2019-05-30

Cost Management in Azure

שלום רב
וגם היום על ניהול עלויות.
לאחרונה מיקרוסופט שיחררו מסך שבוא אפשר סוף סוף להבין על מה התשלום וליצור התרעות תקציב וכדומה.
להלן הדרך להגיע עליו ומה האפשרויות השונות במסכים.




יש להקליק ולהגיע למסך הזה.




במסך זה יהיו רשימת ה Subscriptions ונגיע לרצוי לנו.




לאחר הלחיצה על האנלזיה נגיע למסך כזה שבו יש פילטרים וחיתוכים גם דרך הגרפים עצמם וגם פילטרים למעלה:




לאחר מכן אפשר לשחק בסוגי החיתוכים למשל רוצים חיתוך יומי ולא מצטבר:



לאחר מכן נגיע למסך לחיתוך לפי סוג או לפי ה meter name,

יש אפשרויות רבות


אבל זה הדוח שאני הכי אוהב מראה ברמת ריסורס כמה אני חייב ומה העלות המדוייקת


בקיצור עכשיו אפשר להבין יותר טוב על מה משלמים ולמחוק או לעצור דברים שלא בשימוש.
יש גם אפשרות להגדיר תקציב והתרעות.
זו ניראות חשובה !












 

2019-05-06

Rising prices of Azure

שלום רב
פוסט זה אני כותב לאחר מספר פעמים שהתופעה הזו התרחשה, מדובר על עליית מחרים בשירותים של azure.
אני רוצה להתמקד בשני נושאים:
  1. New Alert system
  2. Azure SQL DB PRS tiers
הנקודה הראשונה:
  • כחלק מהשירותים שניתנו למשתמשי השירותים המנוהלים - קיבלנו מערכת התרעות סבירה ונוחה, ניתן היה להגדיר התרעות כאשר ה DB עובד קשה מידי DTU גבוה או הגענו ל 90% מהסטורג' וכדומה.
  • לא מזמן קפצה הודעה שההתרעות הללו ייפסקו ב 30 ביוני ראו תמונה:


  • ואז הולכים להגדיר התרעה חדשה:

  • מסך יותר משוכלל שנותן התרעות לפי שלבים ומצבים, פה הגדרתי אם DTU מעל 85% לזמן מסויים:
  • ואז מגדירים את ההתרעה - וראה זה פלא יש עלות!!! סנט להתרעה:

  • כאשר ממש לא ברור אם זה פר התרעה או פר הגדרה, נכון סכום נמוך - אבל במאות שירותים ובמאות ריסורסים זה מגיע למאות דולרים ובמצטבר עוד שורה שמנה בחשבונית.
הנקודה השנייה:
  • היה שירות ב DB שנקרא PRS שהוא נתן יכולות של Premium tier עם SLA יותר נמוך.
  • לא שמנו עליו production אבל הוא היה מעולה לבדוק , Load test בעלות הגונה.
  • והנה גם את זה מורידים בסוף יוני - אותה הודעה מלמעלה, וממש אין שום פתרון הגיוני. זה יגרום לעליית עלויות ביותר מפי 4.
ההתנהגות הזו מצביעה על שינוי שקורה במיקרוסופט לאחרונה, פחות מקשיבים ללקוחות, וממוקדים רק מטרה אחת, לא חשוב מה הלקוח חושב, חשוב מהי השורה התחתונה...
אלו תזכורות לימים אחרים במיקרוסופט.

לא ואל תגידו מולטי קלאוד, האחרים עוקצים בנקודות אחרות...

מה שמאכזב במיוחד זה שפשוט מודיעים שמורידים לך את השירות וזהו, וכל אלטרנטיבה היא הרבה יותר יקרה.....
חבל מאד.




 

2019-03-04

Azure SQL DB tiers comparison

Hi All
In the last few month Brent Ozar gae us 2 masterpiece blogs related to Azure SQL DB:
 
 
In this blog Brent compared the abilities of Azure SQL DBs to load Data - he compared all combinations of vCors tiers. (When I asked him about comparing the Standard\Premium tiers, he told me to do it.... :-) )
 
 
In this blog Brent showed us that in the vCors world the storage throughput has limit and there is not need to pay so much money when you need to upload lots of data.
 
So I took have taken up his challenge and done a comparison in Azure SQL DB in Standard\Premium tiers.
I have created a new DB with 1 Table.
I have generated 7 GB of DATA, and created the file in my local on premise drive (Yes, do not kill me, I did not had the time to put it on azure), and uploaded it via BCP command.
 
bcp "TableName" in "T:\MyTable.bcp"  -S"myservername.database.windows.net" -UUserName@myservername -P"Password" -n -d"DBName"
 
After each test I have truncate the table and changed the tier.
 
Here are the main results:
  
 
Rows/second
Time(MS)
Cost per month
S2
             4,071
           18,184,812
 $                    73.0
S4
             4,083
           18,129,531
 $                  294.0
S6
             9,007
              8,219,047
 $                  588.0
S9
           18,733
              3,952,062
 $              2,354.0
S12
           15,054
              4,917,703
 $              4,415.0
P1
             3,670
           20,168,375
 $                  456.0
P4
           22,851
              3,239,875
 $              1,825.0
P11
           22,188
              3,336,688
 $              6,868.0
P15
           24,487
              3,023,344
 $            15,698.0
 
It is clearest to see if we view the results in a chart of cost vs Rows\Second.
 
 
What does the Charts shows us?
Most cost effective is S9 tier, but as we would expect P15 is the fastest  
 
Below are various graphs of resource utilization for each tier.
 
S2 tier Log IO and Data IO took time
 
 
S4 Had only LOG IO issues
 
S6 - the same chart.
 
S12 Log IO is 100% and I have also added the DTU.
P4 looks the Same


 
 
P11 start to change Log IO was 100% only for a short time
 
 
P15 \ P11 \ P4 on the same Chart
 
 
 
In conclusion - Just as Brent found, Log IO is the bottleneck, the storage write operations. 
Log IO is the bottleneck but you get what you pay for, the more you pay the more I/O. Therefore the effects of the Log IO bottleneck are reduced the more resources/money you throw at the problem.
 
Next time I will test reads operations and CPU's
 
Have a good day.

2019-01-03

Static Data Masking in SQL Server

סיפור המעשה התחיל לפני שנים מספר, אז אמרתי לחבר צוות שלי: יללה חייבים לבדוק את הגיבויים.
אז איך בודקים גיבויים? משחזרים.

אכן רעיון מעולה - ויותר טוב זה לחבר אליו אפליקציה ולוודא שהדברים עובדים...

אבל אז הבנו שמידע הלקוחות נחשף - אז בנינו סקריפט שמעדכן את המידע בטבלאות הרלוונטיות. ומאז הכל דבש (כמובן לבנות סקריפט שרץ ומעדכן מידע על טבלאות ענק זה לא רק עדכון פשוט אלא חייבים לעשותו בלופ ובטרנזקציות קטנות.... וצריך הבנה בזה)

באו החכמים ממיקרוסופט (באמת ישבו על זה צוותים ובנו GUI מדהים) ופיתחו את הפיצ'ר הידוע בשם :
Static Data Masking.

ראשית מהיכן מריצים?
מ SSMS 18 ומעלה. אין פה תלות לגירסת בסיס הנתונים.

מהו במהותו? מגדירים שדות שיימוסכו - רץ גיבוי - רץ שיחזור ואז יש הרצת עדכון לשדות הממוסכים לפי הגדרת השדות למיסוך כמובן ב Bulk אחד. מעדכנים בפועל את המידע הקיים.

הפיצ'ר במהותו נכון אבל באמת לא נראה לי שמישהו שיש לו בסיס נתונים בגודל מעל כמה GB יוכל להשתמש בו - העדכון כמובן עף על טבלאות גדולות.
למשל אם מעדכנים כמה שדות באותה טבלה הוא מריץ לכל עמודה עדכון בפני עצמו, כמובן שזה לא יעיל....

בגלל שזה תוכנן כך - הנתונים הרגישים זמינים בקובץ הגיבוי וזה כשלעצמו לא יעבור לדעתי, בקרת רגולציה...

אז בקיצור החברים ממיקרוסופט השקיעו במסכים באמת מורכבים מפורטים וטובים...
אבל באמת? להשקיע בזה זמן? לא ברור לי מי קובע שם סדרי עדיפויות.
ותודה ליצחק וואנון ה DBA הבלתי נלאה...

הלינק לדוקומנטציה: