SQL Azure for DBAs and Data Engineers

Hi All Long time no posts, i have been busy in last few months on a hard day 2 day work and did not  had the chance to publish some posts. So i have decided to sit and write some "Back to Basic" posts. Today i will write about how to create an Azure SQL Db from the portal. Choose the Subscription. RG - if its in special Project connect to its RG (Resource group is a virtual collection of resources in order to easy manage budgets.) DB Name Server - choose the correct or create one(Server has limited manage capabilities on the DB like security, backup policies and other rules) Choose no (elastic pool is a feature that will not be explained here) This is the server tier, means the power of the DB and by pass the payments of the DB (i will have special post on the new tiers options, for this post i will leave the default) This is the Storage redundancy , for now leave it in the default option. now we will move to the Networking tab: 8 - 9. Configuration of networking and s...

Hi All Last week we had an issue with a secondary DB in geo replication and fail over group. To make the long story short we had to delete the secondary and recreate a secondary from scratch . And now let me tell you the story, we build a DB in P6 tier - very high, expensive and highly available. Then we add a geo replication copy via the platform, like it shows here. This is take from MSFT documentation: https://docs.microsoft.com/en-us/azure/azure-sql/database/active-geo-replication-overview It is written:  " Both primary and secondary databases are required to have the same service tier. It is also strongly recommended that the secondary database is created with the same backup storage redundancy and compute size (DTUs or vCores) as the primary. If the primary database is experiencing a heavy write workload, a secondary with lower compute size may not be able to keep up with it. That will cause redo lag on the secondary, and potential unavailability of the secondary. To mit...

שלום לכולם והיום על שיפורים בקונפיגורציות של Azure SQL DB in v-Core mode       תחת v-Core mode יש 3 אפשרויות: General Purpose Provisioned Server Less Hyper Scale  Business Critical בכל אחד מאלו אפשר לקבוע את כמות ה CPU והכמות סטורג'   כאשר Hyper Scale זו טכנולוגיה אחרת ועליה נכתוב בפעם אחרת.   General Purpose vs Business Critical - ההבדל ביניהם הוא האם ה SSD הוא מקומי בתוך השרת או שזה סטורג' מרכזי.   בכל אחד משני אלו עד היום אפשר היה לבחור בין Gen4 & Gen 5 כאשר ההבדל ביניהם הוא זה:   Gen 4 CPUs are based on Intel E5-2673 v3 (Haswell) 2.4 GHz processors. Gen 5 CPUs are based on Intel E5-2673 v4 (Broadwell) 2.3 GHz processors.     עכשיו הוסיפו עוד 2 אפשרויות M-Series FSv2 Series זה נהיה מורכב - שימו לב תחת General Purpose אפשר לבחור רק  FSv2 בנוסף ל Gen4 \ Gen5     תחת Business Critical אפשר לבחור רק M בנוסף ל Gen4 \ Gen5...

שלום לכולם והפעם נציג את האפשרות שבסיס הנתונים יהיה ב - Pause. ובכך העלות על ה Compute לא יתבצע אלא רק העלות על Storage. עד היום אם רציתם בסיס נתונים בעלות נמוכה וגם כשהוא לא פעיל היה אפשר לשים אותו או ב tier - basic or in Standard 0 שהעלות שלו היא הגונה 15 דולר לחודש על 250 ג'יגה. מיקרוסופט הציעו סוג חדש שכשהוא לא פעיל x שעות הוא נכנס למצב של pause ואז אין עלות אלא על storage. בחישוב מהיר שלי עולה כי אם בסיס הנתונים קטן מ 90 ג'יגה והוא לא פעיל רוב הזמן כדאי לעבור אליו. איך זה עובד? אם הוא מזהה 0 DTU במשך הזמן שהוגדר הוא קופא, בפניה הראשונה מקבלים שגיאה. ואז בפניה השנייה אחרי שממתינים כמה שניות בסיס הנתונים דלוק. התהליך פשוט: הולכים למסך קונפיגורציה בוחרים את Serveless מגדירים תוך כמה שעות ללא פעילות הוא ייכנס למצב pause. מגדירים מינימום cpu ומקסימים cpu. מגדירים כמה storage יוקצה. וזהו. מצורפים המסכים הבאים: מסך ההגדרה עצמו. מסך של בסיס נתונים פעיל מסך של בסיס נתונים שנעצר מסך של שגיאה מ SSMS בחיבור. ומסכים של המסך הראשי - בו יש גרף טיפה אחרת שמציג מידע...

שלום רב וגם היום על ניהול עלויות. לאחרונה מיקרוסופט שיחררו מסך שבוא אפשר סוף סוף להבין על מה התשלום וליצור התרעות תקציב וכדומה. להלן הדרך להגיע עליו ומה האפשרויות השונות במסכים. יש להקליק ולהגיע למסך הזה. במסך זה יהיו רשימת ה Subscriptions ונגיע לרצוי לנו. לאחר הלחיצה על האנלזיה נגיע למסך כזה שבו יש פילטרים וחיתוכים גם דרך הגרפים עצמם וגם פילטרים למעלה: לאחר מכן אפשר לשחק בסוגי החיתוכים למשל רוצים חיתוך יומי ולא מצטבר: לאחר מכן נגיע למסך לחיתוך לפי סוג או לפי ה meter name, יש אפשרויות רבות אבל זה הדוח שאני הכי אוהב מראה ברמת ריסורס כמה אני חייב ומה העלות המדוייקת בקיצור עכשיו אפשר להבין יותר טוב על מה משלמים ולמחוק או לעצור דברים שלא בשימוש. יש גם אפשרות להגדיר תקציב והתרעות. זו ניראות חשובה !  

שלום רב פוסט זה אני כותב לאחר מספר פעמים שהתופעה הזו התרחשה, מדובר על עליית מחרים בשירותים של azure. אני רוצה להתמקד בשני נושאים: New Alert system Azure SQL DB PRS tiers הנקודה הראשונה: כחלק מהשירותים שניתנו למשתמשי השירותים המנוהלים - קיבלנו מערכת התרעות סבירה ונוחה, ניתן היה להגדיר התרעות כאשר ה DB עובד קשה מידי DTU גבוה או הגענו ל 90% מהסטורג' וכדומה. לא מזמן קפצה הודעה שההתרעות הללו ייפסקו ב 30 ביוני ראו תמונה: ואז הולכים להגדיר התרעה חדשה: מסך יותר משוכלל שנותן התרעות לפי שלבים ומצבים, פה הגדרתי אם DTU מעל 85% לזמן מסויים: ואז מגדירים את ההתרעה - וראה זה פלא יש עלות!!! סנט להתרעה: כאשר ממש לא ברור אם זה פר התרעה או פר הגדרה, נכון סכום נמוך - אבל במאות שירותים ובמאות ריסורסים זה מגיע למאות דולרים ובמצטבר עוד שורה שמנה בחשבונית. הנקודה השנייה: היה שירות ב DB שנקרא PRS שהוא נתן יכולות של Premium tier עם SLA יותר נמוך. לא שמנו עליו production אבל הוא היה מעולה לבדוק , Load test בעלות הגונה. והנה גם את זה מורידים בסוף יוני - אותה הודעה מלמ...

שלום רב מיקרוסופט התקדמו מאד במתן האפשרויות ב SQL Azure לנטר ולדעת מה קורה בבסיס הנתונים. המדדים נשמרים במחסן נתונים ומתחלקים ל 2 אגפים : AzureMetrics אלו המדדים הראשים של AZURE שם הם אוספים הכל גם למכונות לסטורג וכמובן לבסיסי נתונים. למשל בעולם של SQL Azure מדובר על DTU וכל מה שאפשר לצפות בגרפים בפורטל. AzureDiagnostics פה מדובר על מטריקות יותר מתקדמות תחת אגף זה נכנסים קטגוריות כמו Audit שהחלטה לשלוח לשמירה, Query store, המלצות, Wait type של DBA וגם Insights. בקיצור אגף מרתק ומעניין - וארחיב עליו בקרוב בפוסט מורחב. כאשר מחליטים לקשר Azure SQL לאגף - הולכים לבסיס הנתונים מקשרים אותו והמערכת מלבד מתחילה לשמור נתונים...(היא שומרת אותם בבסיס הנתונים הידוע בשם Kusto או בשמו החדש Azure Data Explorer, וגם על כך אני מבטיח פוסט בקרוב ממש) השמירה היא ל 30 יום. ואז אפשר לתחקר בשפת ה  Kusto ( עוד פוסט בקרוב אמרנו?...) או בדשבורדים שמיקרוסופט נתנו, או אפילו ב Power bi (וואו גם על זה עוד פוסט?... בכיף.) העיקר שיהיה אפשר לתחקר. בקיצור ים של DATA נשמר - רק קחו ונצלו אותו. להלן ...

שלום רב מעקב אחרי שינויים בבסיס נתונים זה דבר בסיסי. מי שינה קונפיגורציה של בסיס הנתונים ומתי. מי עשה שינויים בסכמה או ב DATA ומתי. מי שינה קונפיגורציה של השרת ומתי. בקיצור הרבה מידע לדעת. בשירות המנוהל SQL Azure DB , הקונפיגורציות הן ברמות שונות, יש ברמת של T-sql, יש ברמה של PowerShell ויש פעולות שעושים בפורטל. אחד הדברים שקשים זה מה הסטאטוס של בקשה שביצעתי בפורטל למשל לעשות Scale לבסיס נתונים, או ליצור לו רפליקציה. ל Activities Logs נכתב לוג של הפעולות. אבל אין אתה יודע מה הסטאטוס. לאחרונה עליתי על עוד מקום שנרשם שם הכל, למשל שיכפול בסיס נתונים, קינפוג של רפליקציה ועוד ועוד. אז ככה: יש ללכת ל RG של בסיס הנתונים ולגשת לספריה הקרויה Deployment.    פה רואים כל מה שקרה ב RG. לדוגמא פה רואים שיש Deployment שבוא בביצוע כעת (יצירת רפליקה): אפשר לראות שיש היסטוריה של שגיאות : וכמובן מה השגיאה שארעה למשל פה הגענו לגבול ה TDU שבשרת הזה: לעיתים אין הסבר לכישלון ואז רק רואים קוד שגיאה: כשלוחצים על מה שכן הצליח רואים פרטים רבים: זהו עוד מידע לצ...

שלום רב למי שיש הרבה בסיסי נתונים מפוזרים בענן רוצה לצבור עליהם מידע לצרכים שונים יכול ליצור סקריפט PowerShell שיעבור על כל ה Subscriptions ויאסוף מידע שקיים ב PowerShell. וכן המקום לפינת הקיטור היומית - ידידינו ממיקרוסופט מה עם Backward Compatability? היו לי פרמטרים שיכלנו לשאוב למשל כמה גודל בסיס הנתונים וכרגע אי אפשר לדעתי. נכון נותנים את המידע במקומות אחרים אבל נוח שזה יעבוד שנים - וסקריפט שעבד לי שנים - לאחרונה הפסיק לעבוד. יש לזה המון שימושים למשל רוצים לראות באילו בסיסי נתונים יש המלצות למשל להוסיף אינדקס ואתה לא רוצה לעבור בפורטל לכל בסיס נתונים. או מתי הגיבוי הראשון או הגיבוי האחרון שיש. אז הנה סקריפט בסיסי ממש - מוזמנים לשפר ולשתף עם הקהילה. ראשית עליכם לוודא שהמודולים של Azure מותקנים אצלכם (הרצה חד פעמית במחשב) install-module -Name AzureRM -Force עושים לוגאין ליוזר שלכם ב Azure (חד פעמית בסשין) Add-AzureRmAccount מריצים את הסקריפט להנאתכם Write-Host "Login to Azure..." -ForegroundColor Cyan $subscription = ( Get-AzureRmSu...