Skip to main content

Problems working with SQL Azure

שלום לכולם
שנה חדשה וזה זמן לסכם 3 שנות עבודה עם SQL Azure.
אז כן - אני נהנה לעבוד עם מוצר זה הוא חוסך המון כאבי ראש אולם הוא מוגבל, בפוסט זה אציין מספר מגבלות שאם הן יתוקנו (וכן אני מבין את הקושי בתיקונים - אולם נקודות אלו מהוות מחסום כניסה)

  1. מגבלת מקום של 150 GB -  זו בעיה לארגונים גדולים להיכנס כאשר יש מגבלת גודל, אם היה אפשר להגדיל בסיסי נתונים הדבר היה מקל על כניסה של ארגונים ל SQL Azure.
  2. קישור בין שני בסיסי נתונים באותו שרת - זו בעיה מהותית של ארכיטקטורה של תוכנה, אם וכאשר יש צורך לעיתים ליצור 2 בסיסי נתונים כיום אפשרות התקשורת ביניהם - גם אם הם באותו שרת - היא רק דרך האפליקציה - לא שזה רע כל כך אולם המון פעמים זה מסרבל את תצורת העבודה.
  3. הרצה של תהליכים ארוכים - לעיתים יש צורך להריץ תהליך עידכון ארוך או בניה של אינדקס גדול, בעולם הרגיל אנו יוצרים job שרץ בתוך השרת ונתנים לו לרוץ כמה שעות שהוא רוצה - פה לעומת זאת, אין agent ואי אפשר להריץ כלום מתוך השרת, וריצות ארוכות נחתכות על ידי ה resource governer והנה אנו שוב תקועים בעובדה ומחפשים work around.
  4. t-sql - ישנם רבים מידי סינטקסים שלא נתמכים, הדבר מפריע במיוחד ל DBA's רגישים שלא אוהבים שנוגעים להם בפינה האהובה שלהם.
  5. אי אפשר לאתחל את הסרביס או לעשות לו פעולות דרסטיות - לעיתים יש צורך בפעולה קשה ואגרסיבית, ואציג פה דוגמא קטנה שחויתי לאחרונה. יש לי כלי שמנטר ומתריע כאשר בסיס הנתונים מגיע ל85% מהגודל וממילא אני צריך לבצע פעולת Scale ולהגדיל את הגודל. בפורטל אפילו יש התרעה יפה שמציגה את המצב.

משום מה התעלמתי מכל ההתרעות והגעתי לקצה כמות השימוש - או אז בסיס הנתונים הפך להיות סוג של read only, מה שצריך להתבצע על ידי היה מיד להגדיל את הגודל אולם ההגדלה לא תפסה ולא יכלתי להגדיל כלום. כמובן שבדיוק אז עלתה הבעיה על ידיד הלקוחות שרצו פתרון מיידי - אז מחקתי 2 אינדקסים גדולים ועוד טבלה בינונית שלא הייתי חייב אותה, גם זה לא עזר כי ה rebuid מתבצע אוטמטית על ידי מנגנון ה azure אולם לא על ידי וכך המקום לא התפנה. מיד חשבתי על רעיון יפה אחר - עשיתי rename לבסיס הנתנוים ויצרתי בסיס נתונים חדש עם סכמה זהה, אולם הוא היה ריק, גם זה לא עזר למרות שהגודל היה רשום 0 - עדיין אי אפשר היה לכתוב לבסיס הנתונים - אילו המכונה ייתה בשליטתי מן הסתם זה היה נתר תוך דקה אולם פה לקח למערכת 3-5 שעות לתפוס את השינוי ולא היה כלום שיכולתי לעשות. לכן - אסור לטעות .
6. מחיר - יללה תורידו עוד המחרים למרות ההורדות הרבות אנו רוצים עוד הורדות כדי שזה יהווה תחות ראויה עם סטורג'ים מקומיים או עם vm's.

מעבר לבעיות אלו באמת העבודה היא כה קלה ונוחה ניתן לגשת מפורטל וובי, ניתן לעבוד בתצורות שונות ואין בעיות של חומרה ותוכנה ורשיונות.
כמובן כשרציתי לכתוב פוסט זה למחרת ראיתי את Brent ozar כותב בלוג על נושא דומה לאלו ומעלה שאלון על השינויים שהיינו רוצים לבצע
ניתן לקרוא עליו פה:


טוב לא נתאר שוב את כל הטוב מההתחלה - רק נאחל שנה טובה ומעוננת ומוזמנים ליין בבלוגים ההיסטוריים והחדשים...
בהצלחה
פיני 
Labels:

Comments

Post a Comment

Popular posts from this blog

How to restore deleted Azure Synapse dedicated SQL pool

  Existing dedicated pool can be easily restored from Azure portal or PowerShell command, but for now deleted pool could be restored from PowerShell only! Example: # Connect to Azure with system-assigned managed identity $AzureContext = (Connect-AzAccount -Identity).context # set and store context $AzureContext = Set-AzContext -SubscriptionName $AzureContext.Subscription -DefaultProfile $AzureContext # $AzureContext = Set-AzContext -SubscriptionName $SubscriptionName -DefaultProfile $AzureContext $SubscriptionName="Databases" $ResourceGroupName="stg-rg-we" $ServerName="stg-synapse-we"   $DatabaseName="sql_we_2023_11_07_13_42" $NewDatabaseName="sql_dp_we_deleted" ######################################## $token = (Get-AzAccessToken -ResourceUrl https://database.windows.net).Token $SubscriptionId = "ce088f9e-1111111a3914b" $DedicatedPoolEndPoint = "stg-synapse-we.sql.azuresynapse.net" $DedicatedPoolName = $DatabaseNam...
Post a Comment
Read more

The journey to the Lakehouse

A long time has passed since the last post, we have gone through a long and tedious journey to adapt what Azure offers us, to our needs. Our needs were simple, the Current Datawarehouse (SQL Server on VM inazure) served the BI. ML teams worked on GCP, we want to let both teams to work on Azure in a platform that will have the ability to scale and will not fail every 2 days. We checked: Snowflake on azure Synapse analytics GCP We decided to go for the full Azure product for the reasons: Migration time support costs Synapse as a platform contains many components, and the challenge was to find what fits  us as an organization and as a group. The knowledge of the people and their abilities influenced the plans. Here's what we planned and what we did: We start to put everything in the Data Lake in parquet or delta format, build on top of Azure ADLS gen 2. We had to move some data to T-SQL compatible platform, so this involves setting up a dedicated Synapse pool , which is a fully man...
Post a Comment
Read more

Configuring secondary database in Azure SQL DB - Bug found

Hi All Last week we had an issue with a secondary DB in geo replication and fail over group. To make the long story short we had to delete the secondary and recreate a secondary from scratch . And now let me tell you the story, we build a DB in P6 tier - very high, expensive and highly available. Then we add a geo replication copy via the platform, like it shows here. This is take from MSFT documentation: https://docs.microsoft.com/en-us/azure/azure-sql/database/active-geo-replication-overview It is written:  " Both primary and secondary databases are required to have the same service tier. It is also strongly recommended that the secondary database is created with the same backup storage redundancy and compute size (DTUs or vCores) as the primary. If the primary database is experiencing a heavy write workload, a secondary with lower compute size may not be able to keep up with it. That will cause redo lag on the secondary, and potential unavailability of the secondary. To mit...
Post a Comment
Read more