2015-08-13

New Pricing and Performance tiers in SQL AZURE

שלום לכולם

עד לא מזמן היו לנו אפשרויות לעשות מכונות עם תימחור וביצועים עם 2 סוגים
business and web
אחרי כן הכניסו את עולם 3 השכבות
basic, standard, premiunm
כאשר בכל שכבה מספר מוגדר של יכולת וביצועים שנמדדים ב
DTU
ועלות קבועה.

להלן מסך של הגירסאות האפשריות:


P3 הוגדר כ 800 DTU.
הדבר גרם לבילבולים כי אם p2 הוא גדול ב P2 ... :-) מ P1 הייתה מצפה ש p3 יהיה גדול p3 מp1 או אם באותו יחס אז פי 2 מ P2...
לא משנה לא נתבלבל... העיקר כרגע שינו וזה המצב (רק ב v12):

אתם רואים את השינויים ואת האפשרויות..

נסו ותהנו.
 

2015-06-25

SQL Azure Elastic Pools - Review

ערב טוב
אז זהו הגיע זמן הפוסט על "SQL Azure Elastic Pools", ניסינו - התנסינו - למדנו ועכשיו יודעים על זה דבר או שניים.
ראשית זהו כלי בעל פוטנציאל מדהים שכאשר יעבוד חלק ויושלמו כל המרכיבים שלו זה שינוי מהותי.
שנית הוא בשל חלקית - אבל ככה היום עושות כל חברות הווב - מובייל - ענן... מוציאות משהו שלם לחצאין ונתנים לקהל להיות ה QA. אני מקבל את זה וזורם עם זה.

את הפוסט הזה אחלק ל 4 חלקים:
  1. הסבר קצר ולינקים להסברים על המוצר ועל חלקיו השונים.
  2. הסבר ודוגמאות על מה רואים בפורטל בחלקים השונים
  3. מהם ג'ובים? כיצד הם פועלים ומה האפשרויות מהם.
  4. מה הלאה...
נתחיל בהסבר קצר ובלינקים: המוצר הזה נועד להכניס לפול אחד מספר בסיס נתונים באותו שרת (נקווה שבעתיד הפול יוכל להכיל מספר שרתים), וכשהם בפול אחד ישנה דינמיות בהקצאת המשאבים בין בסיס הנתונים - אם עד היום כל בסיס נתונים היה יישות עצמאית בעלת יכולת עבודה וביצועים משלה ה DTU היה רק שלה, פה מכניסים לפול אחד מספר בסיסי נתונים וההגדרה של הסטורג' ושל ה DTU היא לא ברמת בסיס נתונים אלא ברמת הפול.
אם עד היום בסיס נתונים אחד מהדרגה S0 היה יכול להיות עד 250 GB, היום אם מכניסים אותו ועוד בסיס נתונים אחד לפול ואפשר במקסימום עד 1200 GB שזה שיםור עצום - אולם אם נכניס 15 בסיס נתונים תהיה לנו הרעה בהקצאת הסטורג'.
ואותו הדבר לביצועים - עם הזמן נלמד היכן האיזון.
זו ההגדרה של הפול באופן כללי מאד.
הלינקים הרלוונטים של איך יוצרים ומשתמשים מצא פה:

 
 

ומכאן לנקודה השניה מה רואים בפורטל ואיך זה בעצם עובד:

זו תמונה מעמוד הביית של הפורטל
אנו רואים פה קיצורי דרך לרכיבים הקריטיים של ה Pool. אני הולך משמאל לימין:
 
Resource Group (I know I need to explain abut that too) - of all my components in the pool
Sql Server V12 that hold few DB's that exists in the Pool
Elastic Pool itself
Resource Group  that holds the components  related to Jobs
 


אלו קיצורי הדרך והסימנים החשובים עכשיו נלחץ על ה - Pool עצמו ונראה מה רואים - אני פתחתי פה שני Blaeds - זוכרים את המושג הזה? אם היינו בשנות ה 80 היינו אומרים זה כמו ה windows - היום בעידן המובייל אלו מסכי הזזה....

מה רואים פה? ובכן ב etoro אני עובדים במקום מסויים באפליקציה על Shards DB's, הם חייבים להיות זהים מבחינת הסכמה ומאוזנים בביצועים. האפליקציה כותבת לכל Shard לפי טבלת מיפויים ובכך מאוזנת גם בקריאה וגם בכתיבה. פה אדגים מה רואים ב Elastic Pool על 4 בסיסי נתונים שיש ב Pool:
  1. גרף קטן שמראה תנודות של DTU וסטורג' ברמת ה Pool
  2. הגדרת ה Pool
  3. מה המקסימום DTU שיש ברמת בסיס הנתונים שנמצא ב Pool וכך אפשר לראות מי צרכן כבד או על חוסר איזון
  4. גרף קטן שמראה את מה שהטבלה מראה...
  5. קונפיגורציה של ה Pool: גרף קטן שמראה כמה אנו מנצלים מהגדרת ה storage של ה Pool וה DTU של ה Pool. וכפתורי לחיצה כאשר ההגדרה היא פה מה המקסימום שה Pool יוכל להגיע הן ברמת DTU והן ברמת Storage - רק היום הודיעו שהמינימום ירד ל 100 - דבר שמוריד הרבה עליות למי שרק בודק את המערכת.
  6. קונפיגורציה של ה Pool: גרף קטן שמראה כמה אנו מנצלים מהגדרת ה DTU של ה Pool ברמת בסיס נתונים אחד. וכפתורי לחיצה כאשר ניתן להגדיר מינימום ומקסימום לכל DB



ועכשיו אחרי שברור איך מקנפגים ומה רואים נעבור לעולם התוכן השני שזה הג'ובים: כשמו - לא - כן הוא זהו תהליך הרצה שניתן להריץ שוב ושוב של T-SQL אולם כרגע אי אפשר לקבוע לו לוח זמנים.

למה זה טוב?
זה מעולה הוא מריץ על כל בסיסי הנתונים שב Pool את אותו ה Query אם זה עידכון סטטיסטיקות - ואם זה  Deploy חד פעמי. במקום לעבור בסיס נתונים אחד אחד זה רץ על הכל..
גונב לאוזניי שממש בקרוב יהיה ניתן לעבוד בבסיס נתונים אחד עם כמה
external data source
שזה אומר שתוכל לעבוד מול בסיס נתונים אחרים או משהו כזה אבל זה לא כרגע...

בקיצור לוחצים על הלינק  של יצירת ג'וב


נוצרים מספר רכיבים ב Azure שמנהלים את הג'ובים - בעיקרון רכיבים אלו שקופים מבחינתינו מלבד התשלום החודשי - אבל באמת זהו סכום אפסי. יש פה אפליקציה, סטורג, ובסיס נתונים.
זהו ה
 Resource Group  that holds the components  related to Jobs
שהזכרתי למעלה.


 
 
מכיוון שאני אוהב בסיס נתונים וזהו בסיס הנתונים הרלוונטי שהוא כמו MSDB:
 
 
נחזור לג'ובים - אחרי שיצרנו את כל הרכיבים ניתן לייצר כמה ג'ובים שרוצים פשוט ממלאים יוזר וססמא שהם אחידים בכל בסיסי הנתונים.  הנה דוגמא לרשימה של ג'ובים כאשר לכל אחד ניתם להיכנס ולהריץ מחדש - כאמור עדיין אין אפשרות לקבוע לוז ריצה קבוע.
 
 
 
ניתן לראות לוגים של  הצלחות של הג'ובים ברמה כללית וברמה של כל DB לעצמו:
 
 
 
וניתן לראות לוגים של  כשלונות של הג'ובים ברמה כללית וברמה של כל DB לעצמו:
 
 
 
 
עד כאן.
 
לסיכום:
בצורה קלה ומהירה אפשר לייצר ישות חדשה בעולם ה SQL Azure DB, יישות שנקראת POOL והיא יישות ברמת תשלומים וברמת ניהול.
היא מתאימה לצרכים מסויימים כמו שירותים SAASים  או Shards - אבל אם נחשוב מחוץ לקופסא יש פה פוטנציאל למשהו הרבה יותר רחב.
 
נסו ותהנו
פיני


2015-06-14

Azure New Portal: 'Multi Blades' improvements

שלום רב
אז רגע לפני שאוציע בלוג על Elastic Pools, אני רוצה לכתוב על שיפור מאד משמעותי שבוצע לפני מספר שבועות בפורטל החדש. השיפור מציע יכולת ניטור ועבודה על מספר בליידים (Blade) בו זמנית.

בלייד בפורטל החדש משמעותו מסך שנפתח בלחיצה על לינק כל שהוא.
עד היום אפשר היה לפתוח Blade אחד בלבד בכל לחיצה.
מהגירסא האחרונה של הפורטל אפשר לפתוח כמה  Blades שרוצים ומתאים לצרכים שלי.
אפשר ללכת למשל ליישות הוירטואלית הנקראית SQL Server ובו יש כמה בסיסי נתונים לסמן כמה בסיסי נתונים ואז להקיש מקש ימין Compare ונפתחים כמה  Blades שרוצים.

אני רוצה להראות דווקא דוגמא של Resource Group שזו גם ישות וירטואלית שמתארת הקשר לוגי של רכיבים, שיש בהם Storage, redis, DB  וסרביס.

 

 
לאחר הפתיחה אנו מסמנים ב V את הרכיבים הרצויים שאנו רוצים שייפתחו
 
 ואז מקישים מקש ימים Compare 


ואז נפתחים כמה Blades בו בזמן וניתן לראות תמונה רחבה יותר...
פה למשל רואים 3 רכיבים פתוחים בו בזמן.




פיתוח זה מאד נוח. ואני כבר עושה בו שימוש.
נסו ותהנו.
פיני

2015-05-12

What is Azure SQL Database DTU and its connection to SQL Database elastic pools - Part 1

שלום לכולם
אנו DBA's תן לנו SSD, תן לנו יותר RAM, תנו לנו עוד Cores, שימו את הלוגים על דיסקים מהרים - תמי תמיד יש לנו בקשות ותלונות לכולם.... רק לא לנו עצמינו.

אבל האמת המרה היא שמה שחשוב בסוף זה ה Latancy, כמה זמן לקח לפעולה להתבצע - ובאמת באמת לא משנה מה התשתית של הברזלים, אצלינו באיטורו - לקוחות מכניסים טרזקציות כספיות... בסוף בסוף זה באמת לא משנה מה רץ ועל מה רץ - חשוב שזה ירוץ מהר - שפוזיציה לא תיכנס ביותר מ 20 MS לצורך העניין.

ולכן בעובדינו בענן ובמיוחד בחלק ה PAAS  שלו, אין לדעת מה רץ מאחורי הקלעים, אנו לא יודעים אילו מכונות מריצות מה והיכן יושבים הלוגים.
אז איך נמדוד כמה מה מתאים לנו ועל מה אנו צריכים להושיב את בסיס הנתונים שלנו? ומהו הכלי לביצוע benchmark?

ובכן ב SQL Azure הכלי הוא מדידת DTU.

לפני זמן מה כשהכריזו על  SQL Database elastic pools, מיד התחלתי לבדוק את המוצר, ולנסות להבין האם הוא מממש את ההבטחה שיוצריו הבטיחו לנו.
תוך כדי בדיקות וחקירות, הבנתי שבכדי להסביר את המוצר ומה שעומד מאחריו לא אוכל להתחמק מלהסביר על ה DTU.

הסבר על ה DTU רציתי לעשות מזמן. זהו מושג חובה בהבנת התנהלות של SQL Azure.
אבל התחמקתי מההסבר כי ל DBA קלאסי קשה עם המושג הזה (כמו שהסברתי למעלה).

אז הנה הכריחו אותי להסביר.

היום אסביר על DTU , ובפוסט הבא, אם וכאשר אגיע לכך, אסביר על SQL Database elastic pools .

DTU לפי ההגדרה הרישמית הוא:

Database Throughput Unit (DTU): DTUs provide a way to describe the relative capacity of a performance level of Basic, Standard, and Premium databases. DTUs are based on a blended measure of CPU, memory, reads, and writes. As DTUs increase, the power offered by the performance level increases. For example, a performance level with 5 DTUs has five times more power than a performance level with 1 DTU. A maximum DTU quota applies to each server. For more information on DTU quotas
 

משפט המפתח:
blended measure of CPU, memory, reads, and writes
לקחו מדידה של המטריקות הללו והרכיבו מדד של DTU, שבסופו של דבר נמדד ב אחוזים כלומר אם אתם מגיעים ל 100% DTU זהו סימן שאתה מנצל את כל משאבי החומרה המיועדים לחומרה - לא ינתקו קוננקשין, אין פה מגבלה של ביצוע - אלא פשוט העבודה תתבצע יותר לאט.
 
כיצד הם מחשבים DTU?
התשובה היא די פשוטה יש טבלה בכל בסיס נתונים שדוגם את המדדים כל כמה שניות, אגב הוא שומר אותם באגרגציה של 5 דקות בבסיס הנתונים master, ועל סמך המדדים הללו יש נוסחא לחישוב DTU.
שמו של ה DMV הוא:
sys.dm_db_resource_stats

שמכיל את העמודות:
avg_cpu_percent
avg_log_write_percentavg_data_io_percent
avg_memory_usage_percent
 
ומתוך מידע זה יש DTU.
בפורטל החדש כאשר לוחצים על בסיס נתונים עולה הגרף של DTU ישר למעלה.


אפשר גם ליצור התרעה דרך הפורטל במידה וה DTU גבוה מידי.

נקודה חשובה נוספת שיש ליזכור - הדברים משתנים מידי פעם - אם למשל פעם p1 היה 100 DTU היום הוא יותר.

עוד נקודה אחרונה לפני לינקים וטבלאות מידע - ל  DTU יש מיגלה ברמת Server כלומר לסרבר מוגדר כמה DTU הוא יכול להיות סך הכל וכל בסיס הנתונים המרכיבים אותו לא יכולים להיות בסכום גבוה ממה שמוגדר.

SQL Server ב Azure זו יחידה לוגית שמגדירה כמה נושאים משותפים של בסיס נתונים כמו חוקי firewall  וגם DTU.

מספר לינקים חשובים:

טבלאות והסברים מה יש בכל tier ברמה של כמה טרנזקציות לשניה, וכמה DTU התמונה מאד ברורה ממאמר זה:
https://msdn.microsoft.com/en-us/library/azure/dn741336.aspx

הסבר על ה benchmark:
https://msdn.microsoft.com/en-us/library/azure/dn741327.aspx

בלוג של בחור מדהים שביצע השוואות בין tiers שונים וכתב כמה בלוגים בנושא - הבעיה שוב שכל כמה חודשים יש שיפורים והתוצאות נכונות לזמנן אולם זה נותן תמונה מעניינת ולרוב נכונה לגבי מה יש ומה אין.
https://cbailiss.wordpress.com/2014/09/16/performance-in-new-azure-sql-database-performance-tiers/
עד כאן להיום...
אם לא הייתי ברור או הארכתי מידי מוזמנים לשלוח מייל ולשאול

יללה נלך לראות ברצלונה באיירן..
פיני
 

2015-05-03

Azure New Portal: 'Browse' improvements

שלום רב
סוף סוף אפשר להתחיל לפלטר בפורטל החדש.
השבוע הוסיפו את הפיצ'ר המדהים של פילטר לפי Subscription וחיפוש לפי שם.
 
1. יש ללחוץ על BROWSE.
2. בדוגמא לחצתי על All Resources.
ובמסך שנגלה לעיין יש 4 פיצ'רים חדשים:
1. בחירת עמודות - יש כל מיני אפשרויות וסידור שלהם.
2. פילטור לפי Subscription.
3. חיפוש לפי שם - אצלינו באיטורו, הרשימה ארוכה וזה דבר חיוני לעבודה תקינה.
4. וכשהרשימה ארוכה - וזה לא מופיע פה בתמונה יש כפתור Load More- לוחצים עליו והרשימה מתארכת...
 
 
אז תודה לחברים שהוסיפו את זה  ועכשיו מחכים למיון - קליק על ראש העמודה ולמיין

 


מעבר לזה הוספו עוד דברים שקודם לא ניתן היה לעשות בפורטל החדש כמו Automation ועוד  ועוד.

ניתן לקרוא פירוט התוספות ועוד תוספות רבות אחרות בלינק הבא:
http://azure.microsoft.com/blog/2015/04/28/azure-preview-portal-improvements-april-update/

אבל על כך - אם יהיה זמן בעתיד.

פיני

2015-04-05

Azure New Portal: SQL Azure View

שלום לכולם וחג שמח
היום קצת אספר על הפורטל החדש של Azure.
הפורטל החדש בתחילתו היה מקור לא אכזב של ייאוש ומחשבות, של מה הם חשבו לעצמם?

כיום המצב כבר הרבה יותר טוב - עד כדי כך שהרבה פעולות אני עושה מהפורטל החדש ונהנה.
הוא מהיר יותר, נוח יותר וגם מראה על הרבה מחשבה שהושקעה בו.

הפורטל החדש עובר שידרוג כל שבועיים, ורואים את השיפור מגירסה לגירסה.

מצד שני עדיין אני מחכה לאפשרות לעדכן גודל בסיס נתונים, לפתוח 2 בליידים של בסיסי נתונים בו זמנית, ועוד מספר נושאים שאי אפשר מהפורטל החדש.

אז אתחיל בסקירת הפיתוח של עמוד הבית.
עמוד הבית שלי מלא קיצורי דרך - לינק על קיצור הדרך מביא ישר לאן שאני רוצה וחוסך זמן כל כניסה וכל פעילות, מצד שני כרגע אין אפשרות שיהיו 2 בליידים פתוחים וזה קצת חבל.
אבל מעיקרון מסך קיצורי דרך הוא מצויין.
הנה דוגמא של מסספר שירותים עם קיצורי דרך כמו בסיסי נתונים סטורג' ומכונות וירטואליות:




כמובן אפשר להוסיף עוד הרבה כפתורים.
עכשיו לעיקר - לחצתי על בסיס נתונים אחד והגעתי למסך שבו יש פירוט על בסיס הנתונים.
עד היום היו 3 מסכי מוניטור נפרדים שניטרו רק 3 דברים:
חיבורים
סטורג'
DTU

כמתואר בצילום הבא:



 אולם מעכשיו, הוסיפו לינק קטן בכל מסך כזה:


בלחיצה עליו נפתח בלייד - יאללה איזו מילה - בלייד.
ובו אפשרות לבחור גרף או עמודות, טווח זמן  ומה המטריקה הרצוייה.


כמובן הוסיפו פה עוד מטריקות שלא היו קודם לכן
לאחר הוספת המטריקות הנוספות המסך נראה כך:


אני בחרתי להוסיף למטריקה של ה DTU את המטריקות המרכיבות את ה DTU שזה CPU, DATAIO,LOGIO וחסר לי כמובן Memory, בתיקווה שזה ייתווסף מתי שהוא.
בכל מקרה כשהכל על גרף אחד רואים הלימה ברורה בין המטריקות.

לא זו בלבד שניתן לשפר גרפים אפשר להוסיף עוד גרפים למסך עצמו: לוחצים למעלה בבלייד על ה שלש נקודות ואז על Customize:



מכאן נפתח מסך הניהול של הבלייד - אפםשר לעשות הכל - למחוק מסכים, להוסיף, להעלות, להוריד, לקבוע גודל, לשנות שם ומה לא. המסך נהיה אפרפר, ומפה ניתן לעשות הכל, כמו שאמרתי


פה אני לוחץ על ה שלש נקודות ועולות לי אפשרויות לקבוע גודל מסך.


אני בוחר על Clone ומכפיל את המסך של המטריקות שהוספתי למעלה.
לאחר מכן פותח אותו לעריכה ונותן לו זמן של שבוע אחורה.



כמובן הפעילות כבר נהיית הרבה יותר נוחה ומלאה.
נקווה לתפקוד יפה, מהיר ומועיל בהמשך.

נסו ותהנו
חג שמח
פיני

2015-03-11

SQL Azure V12 S3 tier

שלום לכולם
להזכירכם החל מ 1.4.15 מחירי S3 tier - יקפצו פי 2 מ 75 דולר לחודש ל 150 דולר לחודש.
סכום גבוה מאד.
נקווה שהחברים ייתעשתו ולא יעלו המחיר.

מצד שני יש ליזכור שהמחירים של S2 and S1 ירדו לא מזמן למשל S2 ירד מ 100 דולר לחודש ל 75 דולר בחודש.

בכל מקרה שימו לב כדי שהחיוב החודשי לא יקפוץ לפתע פתאם.

http://azure.microsoft.com/en-us/pricing/details/sql-database/

פיני

2015-03-04

Audit Log in Azure New Portal

שלום לכולם
ביומיים האחרונים פורסמו מספר שיפורים בפורטל החדש, הדבר המועיל ביותר כרגע נראה כמו מסך AuditLog חדש.

לפני כן אציין שביימים החארונים ישנן מספר בעיות ב SQL Azure שמדווחות ומטופלות, התדירות שלהן גבהוה כפי שאני לא זוכר שנים.
יש לציין שלא מדובר בבעיות נגישות.

Audit Log יכיל בפירוט רב כמעט כל מה שקורא בחשבון שלך החל מהתקנות , תיקונים התרעות וכדומה.
כיצד מגיעים:
ניגשים לכפתור Browse
ומשם לוחצים על הלוג
יש סיכום יפה






לחיצה על השורה מובילה לדף פירוט



ולחיצה על השורה מובילה לדף פירוט נוסף



ערב טוב

2015-02-25

Dynamic Data Masking on SQL Azure

שלום לכולם

בלוג יסודי של גרי רשף בנושא 
Dynamic Data Masking

גרי כדרכו ירד לפרטים הקטנים.


http://blogs.microsoft.co.il/gerireshef/2015/02/25/dynamic-data-masking/

2015-02-19

Geo-Replications Types in SQL Azure

שלום לכולם וחורף נעים
והיום דווקא לא על V12...
היום על DR.
ישנן 2 אפשרויות לרפלק את בסיסי הנתונים שלנו עבור DR:

  • Standard Geo-replication
  • Active Geo-replication
לפני שאסביר בקצרה על ההבדלים - יש לשים לב שבכל רגע נתון אפשר לעצור רפליקציה ולשחרר את בסיס הנתונים המשני ובכך לאפשר  Fail Over.

ההבדלים בין אפשרויות אלו מתחלקים לכמה נושאים והנה תקציר קצר שלהם:

Standard Geo-replication Active Geo-replication
  • Not Readable
  •  Readable
  • Azure choose the target location
  • Any location you can choose
  • Only 1 replication
  • Up to 4 replications
  • Fail Over rules by MSFT
  • Manually failing over a database
  • 75% of DB cost
  • Full DB Cost

מספר נקודות להבהרה:
  • אי אפשר לבדוק בצורה אמיתית fail over כי בזמן הבדיקה בסיס הנתונים של הייצור - חשוף ללא dr. כי בזמן הניתוק יש בעיה.
  • הרפליקציה היא א-סינכורנית.
  • הפסקת רפליקציה יכולה להתבצע מהמאסטר או מהרפליקות - אם היא מתבצעת מהרפליקות היא מתבצעת מיידית כלומר ייתכן מידע שיילך לאיבוד. אם היא מהמאסטר אפשר להחליט אם ייכלו לאיבוד טרנקציות.
  • שלא כמו AO שם השרת ברפליקה לא יכול להיות זהה - ולכן במקרה של fail over חייבים לשנות קונפיגורציה.


הנה לינקים קצרים בנושא :

כאשר בלינק הזה יש לפתוח את ההרחבות הבאות: