SQL Azure for DBAs and Data Engineers

סיפור המעשה התחיל לפני שנים מספר, אז אמרתי לחבר צוות שלי: יללה חייבים לבדוק את הגיבויים. אז איך בודקים גיבויים? משחזרים. אכן רעיון מעולה - ויותר טוב זה לחבר אליו אפליקציה ולוודא שהדברים עובדים... אבל אז הבנו שמידע הלקוחות נחשף - אז בנינו סקריפט שמעדכן את המידע בטבלאות הרלוונטיות. ומאז הכל דבש (כמובן לבנות סקריפט שרץ ומעדכן מידע על טבלאות ענק זה לא רק עדכון פשוט אלא חייבים לעשותו בלופ ובטרנזקציות קטנות.... וצריך הבנה בזה) באו החכמים ממיקרוסופט (באמת ישבו על זה צוותים ובנו GUI מדהים) ופיתחו את הפיצ'ר הידוע בשם : Static Data Masking. ראשית מהיכן מריצים? מ SSMS 18 ומעלה. אין פה תלות לגירסת בסיס הנתונים. מהו במהותו? מגדירים שדות שיימוסכו - רץ גיבוי - רץ שיחזור ואז יש הרצת עדכון לשדות הממוסכים לפי הגדרת השדות למיסוך כמובן ב Bulk אחד. מעדכנים בפועל את המידע הקיים. הפיצ'ר במהותו נכון אבל באמת לא נראה לי שמישהו שיש לו בסיס נתונים בגודל מעל כמה GB יוכל להשתמש בו - העדכון כמובן עף על טבלאות גדולות. למשל אם מעדכנים כמה שדות באותה טבלה הוא מריץ לכל עמודה עדכון בפ...

שלום לכולם אנו DBA's תן לנו SSD, תן לנו יותר RAM, תנו לנו עוד Cores, שימו את הלוגים על דיסקים מהרים - תמי תמיד יש לנו בקשות ותלונות לכולם.... רק לא לנו עצמינו. אבל האמת המרה היא שמה שחשוב בסוף זה ה Latancy, כמה זמן לקח לפעולה להתבצע - ובאמת באמת לא משנה מה התשתית של הברזלים, אצלינו באיטורו - לקוחות מכניסים טרזקציות כספיות... בסוף בסוף זה באמת לא משנה מה רץ ועל מה רץ - חשוב שזה ירוץ מהר - שפוזיציה לא תיכנס ביותר מ 20 MS לצורך העניין. ולכן בעובדינו בענן ובמיוחד בחלק ה PAAS  שלו, אין לדעת מה רץ מאחורי הקלעים, אנו לא יודעים אילו מכונות מריצות מה והיכן יושבים הלוגים. אז איך נמדוד כמה מה מתאים לנו ועל מה אנו צריכים להושיב את בסיס הנתונים שלנו? ומהו הכלי לביצוע benchmark? ובכן ב SQL Azure הכלי הוא מדידת DTU . לפני זמן מה כשהכריזו על  SQL Database elastic pools, מיד התחלתי לבדוק את המוצר, ולנסות להבין האם הוא מממש את ההבטחה שיוצריו הבטיחו לנו. תוך כדי בדיקות וחקירות, הבנתי שבכדי להסביר את המוצר ומה שעומד מאחריו לא אוכל להתחמק מלהסביר על ה DTU. הסבר על ה DTU רציתי לעשות מ...

שלום רב סוף סוף אפשר להתחיל לפלטר בפורטל החדש. השבוע הוסיפו את הפיצ'ר המדהים של פילטר לפי Subscription וחיפוש לפי שם.   1. יש ללחוץ על BROWSE. 2. בדוגמא לחצתי על All Resources. ובמסך שנגלה לעיין יש 4 פיצ'רים חדשים: 1. בחירת עמודות - יש כל מיני אפשרויות וסידור שלהם. 2. פילטור לפי Subscription. 3. חיפוש לפי שם - אצלינו באיטורו, הרשימה ארוכה וזה דבר חיוני לעבודה תקינה. 4. וכשהרשימה ארוכה - וזה לא מופיע פה בתמונה יש כפתור Load More- לוחצים עליו והרשימה מתארכת...     אז תודה לחברים שהוסיפו את זה  ועכשיו מחכים למיון - קליק על ראש העמודה ולמיין    מעבר לזה הוספו עוד דברים שקודם לא ניתן היה לעשות בפורטל החדש כמו Automation ועוד  ועוד. ניתן לקרוא פירוט התוספות ועוד תוספות רבות אחרות בלינק הבא: http://azure.microsoft.com/blog/2015/04/28/azure-preview-portal-improvements-april-update/ אבל על כך - אם יהיה זמן בעתיד. פיני

שלום לכולם וחג שמח היום קצת אספר על הפורטל החדש של Azure. הפורטל החדש בתחילתו היה מקור לא אכזב של ייאוש ומחשבות, של מה הם חשבו לעצמם? כיום המצב כבר הרבה יותר טוב - עד כדי כך שהרבה פעולות אני עושה מהפורטל החדש ונהנה. הוא מהיר יותר, נוח יותר וגם מראה על הרבה מחשבה שהושקעה בו. הפורטל החדש עובר שידרוג כל שבועיים, ורואים את השיפור מגירסה לגירסה. מצד שני עדיין אני מחכה לאפשרות לעדכן גודל בסיס נתונים, לפתוח 2 בליידים של בסיסי נתונים בו זמנית, ועוד מספר נושאים שאי אפשר מהפורטל החדש. אז אתחיל בסקירת הפיתוח של עמוד הבית. עמוד הבית שלי מלא קיצורי דרך - לינק על קיצור הדרך מביא ישר לאן שאני רוצה וחוסך זמן כל כניסה וכל פעילות, מצד שני כרגע אין אפשרות שיהיו 2 בליידים פתוחים וזה קצת חבל. אבל מעיקרון מסך קיצורי דרך הוא מצויין. הנה דוגמא של מסספר שירותים עם קיצורי דרך כמו בסיסי נתונים סטורג' ומכונות וירטואליות: כמובן אפשר להוסיף עוד הרבה כפתורים. עכשיו לעיקר - לחצתי על בסיס נתונים אחד והגעתי למסך שבו יש פירוט על בסיס הנתונים. עד היום היו 3 מסכי מוניטור נפרדים שניטרו רק ...

שלום לכולם היום בערב שעה 23:00 שעון ישראל יוצאת מיקרוסופט בהכרזה על יציאה של פיצ'רים חדשים בענן... אני אעקוב הערב ואציג בימים הקרובים את מה שרלוונטי לעולם בסיסי הנתונים. יהיה מדובר על פורטל חדש SSRS משופר - כנראה DATASync - מנוע חדש - שמי שהתקין את המנוע הקודם יהיה צריך כנראה - לבצע שידרוג. נחכה ונראה מה ישדרגו ב SQL Azure - כנראה עכשיו נדע למה שודרגו הגירסאות בחודש האחרון ברחבי העולם. על כל אלו ועוד - בימים הקרובים בנתיים  אצרף את הלינק הרשמי בקשר להכרזה הלילה. יום נעים http://blogs.msdn.com/b/ windowsazure/archive/2012/06/ 06/announcing-new-windows- azure-services-to-deliver- hybrid-cloud.aspx

שלום רב  ביום ראשון העברתי Webinar על SQL Azure          זו הכתובת: את ההקלטה של ה- Webinar  ניתן לראות כאן: https://www311.livemeeting. com/cc/0000000379_116/view?cn= &id=HQKGS7&pw פה הייתה לי טעות קטנה בסוף - אני מבטיח בהזדמנות להעלות סרטון עם תיקונים. - לא עברה הרשומה ב SQLAzure DataSync פשוט כי לא שמרתי אותה... מצטער טעיתי יש webinar יותר ישן  בכתובת הזו: https://www311.livemeeting. com/cc/0000000379_116/view?cn= &id=8B4QJ7-1    אין צורך למלא Key אלא רק שם

שלום לכולם ביום ראשון 2011-11-27 ל Webinar, מאיר דודאי מארח אותי והפעם כולם  מוזמנים למעבר כללי על כל הקשור ל SQL Azure בפורטל של ה Azure. אשתדל לעבור על הדברים הבאים: 1.       הצגת הפורטל עצמו של ה Azure – מעבר כללי – חלקי הפורטל וחיבור לשרתים פיזיים Roles. 2.       הצגת החלק בפורטל שרלוונטי ל:   SQL Azure SQL Data sync   SQL reporting 3.       כניסה ל Manager של SQL Azure שאילתות טבלאות פרוצדורות אציג מה שונה הכניסה דרך הפורטל לעבודה ב SSMS 4.       הצגת Azure table storage מה יש בפורטל אם יספיק הזמן נציג כלים שעובדים על ה ATS  כולם מוזמנים להירשם דרך ההזמנה הרישמית: הזמנה רשמית באתר sqlserver.co.il או דרך הלינק של ה livemeeting: https://www311.livemeeting.com/lrs/0000000379_116/Registration.aspx?pageName=3kfx3q6qmzh8g2xl ניפגש..

כידוע אחד הצרכים של מנהלי פיתוח ושל מנתחי מערכות הינה האייקונים בה יציגו את המערכת. כיצד יוצג בסיס נתונים, כיצד יוצג שרת אפליקציות או שירות של יצירת דוחות וכדומה. עם השנים השתרשו מספר Icons שמהווים סוג של סטנדרט עולמי לגבי הצגת בסיס נתונים, שרותי ווב וכדומה. בענן הבעיה חמורה כפליים. אין תקן אחיד וכל אחד מצייר משהו ולידו ציור של ענן, ייתכן שזה טוב אולם זה מחמיר עקב השירותים המיוחדים של הענן. כיום אני מכיר 2 מקורות אדם שעובד הרבה עם Azure ומנסה ליצור מין תקן ועשה הרבה אייקונים לשלל השירותים של הענן ולהלן הלינק: http://davidpallmann.blogspot.com/2011/09/windows-azure-design-pattern-icons.html שמו הוא David Pallmann, הוא יצר מגוון גדול מאוד של אייקונים שניתן להשתמש בהם ואף להגדיל אותם או להקטין מבלי לפגוע ברזולוציה. אדם נוסף בשם Josh Twist שיצר גם הוא אייקונים אולם ללא מגוון רחב, מצד שני הם יותר מובנים: http://www.thejoyofcode.com/Cloud_Artwork.aspx מעניין איך מיקרוסופט עצמה טרם הוציאה סט של אייקונים. נסו ותהנו

בפוסט זה אבצע סקירה על הכלים השונים הקיימים בשוק – שמבצעים פעולות שונות מול ה azure , אני מתנצל מראש על סגנון הכתיבה הטרחני משהו ועל הקיצור הנמרץ שקיצרתי בכל סקירה וסקירה, אם המוני בית ישראל יצביעו ברגלים אתן פרוט רב על כל כלי וכלי. אסקור כלים שונים החל בכלי ניטור ותצוגה על מצב השרתים, עבור לפעולות מול ה storage , וכלה בדוחות על ביצועים. לא אציג למרות שזה היה מתבקש  - כיצד לגשת ל SQL Azure – מי שרוצה מוזמן לראות את אחד הפוסטים הראשונים... J כל הכלים שיוצגו פה הם כלים שנבחנו לאורך זמן והם חינמיים . אציג את היתרונות והחסרונות שלהם מנקודת המבט שלי. זו נקודת מבט אחת ויכול להיות שלא מצאתי את שראוי להיות ראוי למרות שראוי הוא. אצרף תמונות לראות את ה GUI שלהם. מי שיודע על עוד כלים אני אשמח לקבל דיווח, אבדוק ואדווח, מי שכתב כלי ולא הגעתי אליו אני מבקש את סליחתו מראש. נתחיל בכלי ניטור על פעילות השרתים שקיימים ב Azure : Spotlight on Azure של חברת Quest : כידוע ב Azure נרכשים שרתים בגדלים מסויימים לבצע פעולות מסוייומת – שרתי ווב ושרתי אפליקציות. חברת Quest  כתבה מוצר יפה לעין, ...

היום עקב תקלה קטנה מול מיקרוסופט בוצע disable לחשבון. הדבר גרם לאתר לא לעבוד וכמובן 3 רולים נוטרלו. כשחזרו לחיים נדרשנו לעשות מחדש deploy ל 3 הרולים. (רוצים הסבר קטן לעבודה על הענן? ובכן תמצית הדבר הוא שכשאנו עוקפים נהלים שאנו יצרנו בשרתים שלנו מיקרוסופט - לא מרשים לעקוף וכך הכל חייב להתנהל לפי הספר... מה שתעלה לענן זה מה שירוץ ואם תשנה - השינויים יימחקו...) הבעיה החלה כאשר הסתבר שלא כל קבצי ה deploy נשמרו על מכונת הגירסה וכי אחד הקבצים שודרג לגירסא חדשה שטרם עלתה לענן.... הדבר גזל 4 שעות בנסיון להחזיר את הגירסה... מסקנתי היא כי חייב להיות נוהל שמירת קבצי deploy מיד אחרי העלתם לענן - ובכך לשמור גיבוי לעת צרה - נכון - אל תצעקו עליי - בוצע לייבל ב TFS - ואפשר למשוך ולקמפל - אבל תראו לי עובד אחד שעשה את זה תוך חמש דקות....? יש לציין לטובה את ה SQL Azure - שלו - לא קרה כלום כל העת... כל הכבוד ל SQL... ובנימה יותצר רצינית - אל תשכחו לגבות כל מה שעולה ... - במיוחד אצלך . אגב בענן עצמו - זה כבר יגובה אל דאגה... ערב טוב

על ניהול סביבת פיתוח מול הענן:   הבעיה המרכזית בניהול פיתוח לענן שייכת לתחום הבדיקות  - שום ענן מקומי ושם אימולטור אינו מדמה במאה אחוזים את מה שקורה בענן עצמו. בכל רכיבי הבדיקות, על בעיה זו ניתן להתגבר בשיטת עבודה טובה והקמת מערכת בדיקות בענן עצמו. על ניהול גרסאות מול הענן:    במידה ואתם עובדים מול לקוחות רגילים ומול לקוחות הרוצים מוצרים בענן  - מהי הדרך הטובה ביותר לנהל את הפיתוח כך שאפשר יהיה לתחזק את שתי המערכות ואת שתי סביבות הבדיקות? אפשר לומר כי מטרת מנהל הפיתוח היא להקים סביבת פיתוח אחת - אם הדבר לא אפשרי צריך למצוא את הפתרון לסינכרון 2 הסביבות. Check List -   למנהל המבולבל - מה הצוות צריך לבצע לפני העלאה לענן: על הפרוייקט להיות מקומפל בסביבת VS2010 - רצוי 64 Bits ולא 32. יש להריץ בענן מקומי (אימולטור) ולראות שהכול עובד כהלכה במידה ואתה משתמש ב Registery או ב Event Log עליך ליצור קובץ StartUp command שבעצם ירוץ בעליית ה Role וייצור את מה שצריך במחשב המיועד לך בענן. יש ליצור חבילה להעלאה - רצוי לשמור חבילה זו עם מספר ותיאור כללי. יש להעלות ...

בפרק זה נציג מספר דוגמאות לאילו פונקציות ורכיבים אין ב SQL Azure לעומת SQL Server, לכל אחד ואחד מהרשימה נקדיש בעתיד פוסט בפני עצמו אין job agent אין קריאה בין 2 בסיס נתונים באותו השרת אין אפשרות לפקודה של select into - אלא חייבים להגדיר את הטבלה קודם ואז insert into. אין גיבויים ושחזורים לכל טבלה חייב להיות Clustered Index אין אפשרות לקבוע הודעות מערכת דרך sp_addmassage ועוד ועוד הרשימה קיימת באתרי מיקרוסופט וגם יכולה להשתנות בכל גירסה. זה הלינק לרשימת הפקודות הלא נתמכות ב SQL Azure או כמו שהם קוראים לזה: Unsupported Transact-SQL Statements  אם גוללים עמוד למעלה יש רשימה של פונקציות מערכת נתמכות ולא נתמכות. אפשר לומר כי כרגע הסטנדרטים יותר נמוכים ממה שהורגלנו אליהם, מצד שני זה מאפשר תמיכה בוירטואליות של הפעילות בענן. כשניגשים לפתח צריך להחליט האם כותבים בתקן של SQL Azure ואז ניתן לתחזק בקלות את הסביבות גם בענן וגם בסביבת הפיתוח או לא. הכל לשיקול המנהל.

יש לזכור כי הגירסה של ה SQL Azure יכולה להשתנות ללא יכול שליטה שלנו המשתמשים לכן אין בשום פנים ואופן להשתמש במספר הגירסה שלו בצורה אפליקטיבית, (לא שאני מכיר משיהו שעושה את זה אבל כדאי להיזהר). בכדי לדעת את מספר הגירסא יש להריץ Select @@version כרגע הגירסה היא : Microsoft SQL Azure (RTM) - 11.0.1467.26   Aug 30 2011 23:41:16   Copyright (c) Microsoft Corporation