SQL Azure for DBAs and Data Engineers

Hi All In the last few month Brent Ozar gae us 2 masterpiece blogs related to Azure SQL DB:   How fast can a $21,468/mo Azure SQL DB load data?     In this blog Brent compared the abilities of Azure SQL DBs to load Data - he compared all combinations of vCors tiers. (When I asked him about comparing the Standard\Premium tiers, he told me to do it.... :-) )   There’s a bottleneck in Azure SQL DB storage throughput.   In this blog Brent showed us that in the vCors world the storage throughput has limit and there is not need to pay so much money when you need to upload lots of data.   So I took have taken up his challenge and done a comparison in Azure SQL DB in Standard\Premium tiers. I have created a new DB with 1 Table. I have generated 7 GB of DATA, and created the file in my local on premise drive (Yes, do not kill me, I did not had the time to put it on azure), and uploaded it via BCP command.   bcp "TableNam...

Hi All Since we got change in Azure SQL DB tiers last week - and have now P15 tier, I have collected some data about the tiers and put it all in 1 table. I collected data from 3 sources: Prices from MSFT link: https://azure.microsoft.com/en-us/pricing/details/sql-database/ All other details documented by MSFT : https://azure.microsoft.com/en-us/documentation/articles/sql-database-service-tiers/?rnd=1 RAM and CPU by query some DMV's, I took the idea from Tomas Zuber: http://www.tomaszuber.com/2015/09/02/azure-sql-database-p11-and-p4-utilization/  and from Dimitri Furman : https://blogs.msdn.microsoft.com/dfurman/2015/04/02/collecting-performance-counter-values-from-a-sql-azure-database/   Please note - all the DATA is not relevant to: Elastic DB pools - collections few Azure SQL DB to a one pool. Stretch DB - Migrated Tables from SQL Serve 2016 to Azure SQL DB. SQL DWH - DB for DWH in Azure that can be stopped.   Changes can happened d...

שלום לכולם עד לא מזמן היו לנו אפשרויות לעשות מכונות עם תימחור וביצועים עם 2 סוגים business and web אחרי כן הכניסו את עולם 3 השכבות basic, standard, premiunm כאשר בכל שכבה מספר מוגדר של יכולת וביצועים שנמדדים ב DTU ועלות קבועה. להלן מסך של הגירסאות האפשריות: P3 הוגדר כ 800 DTU. הדבר גרם לבילבולים כי אם p2 הוא גדול ב P2 ... :-) מ P1 הייתה מצפה ש p3 יהיה גדול p3 מp1 או אם באותו יחס אז פי 2 מ P2... לא משנה לא נתבלבל... העיקר כרגע שינו וזה המצב (רק ב v12): אתם רואים את השינויים ואת האפשרויות.. נסו ותהנו.  

שלום לכולם אנו DBA's תן לנו SSD, תן לנו יותר RAM, תנו לנו עוד Cores, שימו את הלוגים על דיסקים מהרים - תמי תמיד יש לנו בקשות ותלונות לכולם.... רק לא לנו עצמינו. אבל האמת המרה היא שמה שחשוב בסוף זה ה Latancy, כמה זמן לקח לפעולה להתבצע - ובאמת באמת לא משנה מה התשתית של הברזלים, אצלינו באיטורו - לקוחות מכניסים טרזקציות כספיות... בסוף בסוף זה באמת לא משנה מה רץ ועל מה רץ - חשוב שזה ירוץ מהר - שפוזיציה לא תיכנס ביותר מ 20 MS לצורך העניין. ולכן בעובדינו בענן ובמיוחד בחלק ה PAAS  שלו, אין לדעת מה רץ מאחורי הקלעים, אנו לא יודעים אילו מכונות מריצות מה והיכן יושבים הלוגים. אז איך נמדוד כמה מה מתאים לנו ועל מה אנו צריכים להושיב את בסיס הנתונים שלנו? ומהו הכלי לביצוע benchmark? ובכן ב SQL Azure הכלי הוא מדידת DTU . לפני זמן מה כשהכריזו על  SQL Database elastic pools, מיד התחלתי לבדוק את המוצר, ולנסות להבין האם הוא מממש את ההבטחה שיוצריו הבטיחו לנו. תוך כדי בדיקות וחקירות, הבנתי שבכדי להסביר את המוצר ומה שעומד מאחריו לא אוכל להתחמק מלהסביר על ה DTU. הסבר על ה DTU רציתי לעשות מ...

שלום לכולם אתמול בלילה במקרה קראתי את הבלוג של Bob Beachemin שהוא חלק מ SQLSkills ושם הוא הזכיר בחצי משפט על זה שעכשיו יש דחיסה בבסיסי הנתונים בענן - לא האמנתי למראה עיניי. ישר רצתי לבדוק ואכן זה עובד. אז ראשית התודות ל - @bobbeach שאגב לקח לי בשניה האחרונה את הפוסט על Extended Events ב Azure. דחיסה.... כן כן סוף סוף יש תמיכה בדחיסה - אפשר לדחוס טבלאות ואינדקסים ובכך לצמצם את גודל בסיס הנתונים ולהפחית עלויות. כמובן יש מחיר של cpu, ועוד ההשפעות של דחיסה  - אולם יש דחיסה אפשר להקטין בסיסי נתונים ולשלם פחות ועדיין לקבל ביצועים. פיצ'ר זה הוא סנונית ראשונה של פיצ'רים שלא היו עד היום ומנעו פעילות טובה בענן - הייתי צריך לעשות מיגרציה של בסיס נתונים ותמיד מנע אותי הענן מלהעלות כמו שהוא את בסיס הנתונים כי היתה לי דחיסה על הרבה בסיסי נתונים. ב - etoro אנו שומרים כל מיני לוגים שמחוקרים מהם פעילות לקוחות וזה צריך להיות זמין כל הזמן תקופה ארוכה, נוח למתחקרים לתחקר בסיס נתונים רלציוני אולם מחירו לא היה כדאי עכשיו - גם הוסיפו שכבות וגם עושים דחיסה ובכך מורידים עוד גודלו של בסיס הנת...

שלום לכולם המהפכה הגיעה, שנים חיכינו לפיצ'רים רבים והנה רבים מהם הגיעו. וכן זו מהפכה - אולי הרצינית ביותר מאז שהתחיל כל העניין הזה של SQL as  PAAS. אז על מה מדובר? היום אתחיל בראשון מבין 3 פוסטים שאני מתכנן לשבועיים הקרובים (בלי נדר כמו שאומרים...), בנושא המהפכה האחרונה ב SQL Azure. (די נמאס לי לשנות שם כל יומיים - אז שזה יישאר SQL Azure :-) ) אם עד היום כשיצרת בסיס נתונים היו 2 אפשרויות או Web Edition Business Edition כאשר אין הבדל ביניהם מלבד הגודל האפשרי של בסיס הנתונים בכל אחד מין הגירסאות. בספטמבר 2013 כתבתי פוסט לאחר שהוצגה תוספת של Premium לגירסאות הקיימות עיינו http://www.sqlazure.co.il/2013/09/working-with-premium-for-sql-database.html ועכשיו משנים את הקונספט, יהיו 3 רמות של שירות שיינתנו על ידי Azure כאשר גם בתוכם יש חלוקה והמבנה הוא כזה: Basic Edition Standard Edition S1 - 5DTUs S2 - 25DTUs Premium Edition P1 - 100DTUs P2 - 200DTUs P3 - 800DTUs DTU =  database throughput units   כאשר כל רמה כזו יש לה מאפיינים, חלק...

שירות חדש ששוחרר לאחרונה ב Azure עבור Sql DataBase וככה כתוב בתיעוד: Premium for SQL Database. By reserving a fixed amount of capacity for your SQL Database and its secondary replicas, Premium for SQL Database will deliver more predictable performance for cloud applications relative to existing SQL Database Web and Business Editions.  כלומר, ניתן עבור תשלום כלשהוא לעקוף את אחת הבעיות הגדולות בענן וזה שירותים יעודיים. בענן אי אפשר לערוב תמיד לביצועים עקב שיתוף משאבים - ופה מבטיחים ייעוד משאבים צריך להירשם לשרות זה - וכעבור מספר ימים אתה מקבל אישור. לאחר מכן כשמקבלים אישור המסך נראה כך לאחר מכן כשיש לך אפשרות ברמת השרת להיות בתוכנית זו ניתן לבחור שאתה רוצה להפעיל את המצב של לקוח  Premium. אם בוחרים את האפשרות זה מופיע כך וכאן צריך לבחור אחת משתי אפשרויות של שמירה  P1 or P2 והנה תיאור ההסבר להבדלים ביניהם כלומר  P2 מציע פי 2 ביצועים לאפליקציות שדורשות יותר משאבים בתוכנית זו ניתנת אפשרות לאפשר ביצ...

בפרק זה נבחן כיצד בודקים ביצועים ב SQL Azure. מה ניתן ומה לא ניתן לבצע עליו. אם ב SQL Server בצורה רגילה אנו יכולים להשפיע על ביצועים ב - 2 אופנים: 1. שיפור שאילתות ושיפור אינדקסים 2. שיפור חומרה - למשל כתיבת לוגים ל Raid 10  או הגדלת CPU וכדומה הרי ב SQLAzure מכיוון שאין לנו יכולת שליטה על החומרה אנו חייבים להתמקד אך ורק בשיפור ברמת התוכנה, כשניצפה בעיות של IO עלינו להתמקד בניתוח השאילתא הבעייתית.