דילוג לתוכן הראשי

What is Azure SQL Database DTU and its connection to SQL Database elastic pools - Part 1

שלום לכולם
אנו DBA's תן לנו SSD, תן לנו יותר RAM, תנו לנו עוד Cores, שימו את הלוגים על דיסקים מהרים - תמי תמיד יש לנו בקשות ותלונות לכולם.... רק לא לנו עצמינו.

אבל האמת המרה היא שמה שחשוב בסוף זה ה Latancy, כמה זמן לקח לפעולה להתבצע - ובאמת באמת לא משנה מה התשתית של הברזלים, אצלינו באיטורו - לקוחות מכניסים טרזקציות כספיות... בסוף בסוף זה באמת לא משנה מה רץ ועל מה רץ - חשוב שזה ירוץ מהר - שפוזיציה לא תיכנס ביותר מ 20 MS לצורך העניין.

ולכן בעובדינו בענן ובמיוחד בחלק ה PAAS  שלו, אין לדעת מה רץ מאחורי הקלעים, אנו לא יודעים אילו מכונות מריצות מה והיכן יושבים הלוגים.
אז איך נמדוד כמה מה מתאים לנו ועל מה אנו צריכים להושיב את בסיס הנתונים שלנו? ומהו הכלי לביצוע benchmark?

ובכן ב SQL Azure הכלי הוא מדידת DTU.

לפני זמן מה כשהכריזו על  SQL Database elastic pools, מיד התחלתי לבדוק את המוצר, ולנסות להבין האם הוא מממש את ההבטחה שיוצריו הבטיחו לנו.
תוך כדי בדיקות וחקירות, הבנתי שבכדי להסביר את המוצר ומה שעומד מאחריו לא אוכל להתחמק מלהסביר על ה DTU.

הסבר על ה DTU רציתי לעשות מזמן. זהו מושג חובה בהבנת התנהלות של SQL Azure.
אבל התחמקתי מההסבר כי ל DBA קלאסי קשה עם המושג הזה (כמו שהסברתי למעלה).

אז הנה הכריחו אותי להסביר.

היום אסביר על DTU , ובפוסט הבא, אם וכאשר אגיע לכך, אסביר על SQL Database elastic pools .

DTU לפי ההגדרה הרישמית הוא:

Database Throughput Unit (DTU): DTUs provide a way to describe the relative capacity of a performance level of Basic, Standard, and Premium databases. DTUs are based on a blended measure of CPU, memory, reads, and writes. As DTUs increase, the power offered by the performance level increases. For example, a performance level with 5 DTUs has five times more power than a performance level with 1 DTU. A maximum DTU quota applies to each server. For more information on DTU quotas
 

משפט המפתח:
blended measure of CPU, memory, reads, and writes
לקחו מדידה של המטריקות הללו והרכיבו מדד של DTU, שבסופו של דבר נמדד ב אחוזים כלומר אם אתם מגיעים ל 100% DTU זהו סימן שאתה מנצל את כל משאבי החומרה המיועדים לחומרה - לא ינתקו קוננקשין, אין פה מגבלה של ביצוע - אלא פשוט העבודה תתבצע יותר לאט.
 
כיצד הם מחשבים DTU?
התשובה היא די פשוטה יש טבלה בכל בסיס נתונים שדוגם את המדדים כל כמה שניות, אגב הוא שומר אותם באגרגציה של 5 דקות בבסיס הנתונים master, ועל סמך המדדים הללו יש נוסחא לחישוב DTU.
שמו של ה DMV הוא:
sys.dm_db_resource_stats

שמכיל את העמודות:
avg_cpu_percent
avg_log_write_percentavg_data_io_percent
avg_memory_usage_percent
 
ומתוך מידע זה יש DTU.
בפורטל החדש כאשר לוחצים על בסיס נתונים עולה הגרף של DTU ישר למעלה.


אפשר גם ליצור התרעה דרך הפורטל במידה וה DTU גבוה מידי.

נקודה חשובה נוספת שיש ליזכור - הדברים משתנים מידי פעם - אם למשל פעם p1 היה 100 DTU היום הוא יותר.

עוד נקודה אחרונה לפני לינקים וטבלאות מידע - ל  DTU יש מיגלה ברמת Server כלומר לסרבר מוגדר כמה DTU הוא יכול להיות סך הכל וכל בסיס הנתונים המרכיבים אותו לא יכולים להיות בסכום גבוה ממה שמוגדר.

SQL Server ב Azure זו יחידה לוגית שמגדירה כמה נושאים משותפים של בסיס נתונים כמו חוקי firewall  וגם DTU.

מספר לינקים חשובים:

טבלאות והסברים מה יש בכל tier ברמה של כמה טרנזקציות לשניה, וכמה DTU התמונה מאד ברורה ממאמר זה:
https://msdn.microsoft.com/en-us/library/azure/dn741336.aspx

הסבר על ה benchmark:
https://msdn.microsoft.com/en-us/library/azure/dn741327.aspx

בלוג של בחור מדהים שביצע השוואות בין tiers שונים וכתב כמה בלוגים בנושא - הבעיה שוב שכל כמה חודשים יש שיפורים והתוצאות נכונות לזמנן אולם זה נותן תמונה מעניינת ולרוב נכונה לגבי מה יש ומה אין.
https://cbailiss.wordpress.com/2014/09/16/performance-in-new-azure-sql-database-performance-tiers/
עד כאן להיום...
אם לא הייתי ברור או הארכתי מידי מוזמנים לשלוח מייל ולשאול

יללה נלך לראות ברצלונה באיירן..
פיני
 

תגובות

פוסטים פופולריים מהבלוג הזה

על בעיות של ניהול פיתוח לענן

על ניהול סביבת פיתוח מול הענן:   הבעיה המרכזית בניהול פיתוח לענן שייכת לתחום הבדיקות  - שום ענן מקומי ושם אימולטור אינו מדמה במאה אחוזים את מה שקורה בענן עצמו. בכל רכיבי הבדיקות, על בעיה זו ניתן להתגבר בשיטת עבודה טובה והקמת מערכת בדיקות בענן עצמו. על ניהול גרסאות מול הענן:    במידה ואתם עובדים מול לקוחות רגילים ומול לקוחות הרוצים מוצרים בענן  - מהי הדרך הטובה ביותר לנהל את הפיתוח כך שאפשר יהיה לתחזק את שתי המערכות ואת שתי סביבות הבדיקות? אפשר לומר כי מטרת מנהל הפיתוח היא להקים סביבת פיתוח אחת - אם הדבר לא אפשרי צריך למצוא את הפתרון לסינכרון 2 הסביבות. Check List -   למנהל המבולבל - מה הצוות צריך לבצע לפני העלאה לענן: על הפרוייקט להיות מקומפל בסביבת VS2010 - רצוי 64 Bits ולא 32. יש להריץ בענן מקומי (אימולטור) ולראות שהכול עובד כהלכה במידה ואתה משתמש ב Registery או ב Event Log עליך ליצור קובץ StartUp command שבעצם ירוץ בעליית ה Role וייצור את מה שצריך במחשב המיועד לך בענן. יש ליצור חבילה להעלאה - רצוי לשמור חבילה זו עם מספר ותיאור כללי. יש להעלות את החבילה ולבדוק שהכול רץ ועו

ועוד קצת על ניהול פיתוח לענן

היום עקב תקלה קטנה מול מיקרוסופט בוצע disable לחשבון. הדבר גרם לאתר לא לעבוד וכמובן 3 רולים נוטרלו. כשחזרו לחיים נדרשנו לעשות מחדש deploy ל 3 הרולים. (רוצים הסבר קטן לעבודה על הענן? ובכן תמצית הדבר הוא שכשאנו עוקפים נהלים שאנו יצרנו בשרתים שלנו מיקרוסופט - לא מרשים לעקוף וכך הכל חייב להתנהל לפי הספר... מה שתעלה לענן זה מה שירוץ ואם תשנה - השינויים יימחקו...) הבעיה החלה כאשר הסתבר שלא כל קבצי ה deploy נשמרו על מכונת הגירסה וכי אחד הקבצים שודרג לגירסא חדשה שטרם עלתה לענן.... הדבר גזל 4 שעות בנסיון להחזיר את הגירסה... מסקנתי היא כי חייב להיות נוהל שמירת קבצי deploy מיד אחרי העלתם לענן - ובכך לשמור גיבוי לעת צרה - נכון - אל תצעקו עליי - בוצע לייבל ב TFS - ואפשר למשוך ולקמפל - אבל תראו לי עובד אחד שעשה את זה תוך חמש דקות....? יש לציין לטובה את ה SQL Azure - שלו - לא קרה כלום כל העת... כל הכבוד ל SQL... ובנימה יותצר רצינית - אל תשכחו לגבות כל מה שעולה ... - במיוחד אצלך . אגב בענן עצמו - זה כבר יגובה אל דאגה... ערב טוב

Azure SQL DB tiers comparison

Hi All In the last few month Brent Ozar gae us 2 masterpiece blogs related to Azure SQL DB:   How fast can a $21,468/mo Azure SQL DB load data?     In this blog Brent compared the abilities of Azure SQL DBs to load Data - he compared all combinations of vCors tiers. (When I asked him about comparing the Standard\Premium tiers, he told me to do it.... :-) )   There’s a bottleneck in Azure SQL DB storage throughput.   In this blog Brent showed us that in the vCors world the storage throughput has limit and there is not need to pay so much money when you need to upload lots of data.   So I took have taken up his challenge and done a comparison in Azure SQL DB in Standard\Premium tiers. I have created a new DB with 1 Table. I have generated 7 GB of DATA, and created the file in my local on premise drive (Yes, do not kill me, I did not had the time to put it on azure), and uploaded it via BCP command.   bcp "TableName" in "T:\MyTable.bcp"