SQL Azure for DBAs and Data Engineers

שלום לכולם לאחר היוזר גרופ האחרון חשבתי לעצמי שצריך לעשות קצת סדר בנושא   SQL Server on the cloud . כזכור יש תצורת עבודה בענן הקרויה PAAS (Platform as a service) ובקיצור – אין מחשב להתחבר והכל מנוהל על ידי הספק. ויש תצורת עבודה בענן הקרויה IAAS ( Infrastructure as a service ) ובקיצור מקבלים מכונה וירטואלית כמו שיש לך מכונה וירטואלית באירגון עצמו, היתרון לעומת מכונה וירטולית היא שאתה מקבל מכונה שכבר מותקן עליה SQL Server לפי גירסה או Edition שאתה בוחר. בואו נצלול לפרטים: SQL Server as PAAS – מוגש לציבור ככל הידוע לי רק על ידי שני ספקים מיקרוסופט ואמזון. הענן של אמזון נקרא AWS- Amazon Web Service – זהו שרות הענן הגדול ביותר והנפוץ ביותר. שירות ה PAAS שלו נקרא RDS – Relational Database , לא ניתן להיכס למכונה יש מספר מגבלות מ גירסה רגילה שאנו מכירים והוא ניתן בגירסאות של 2008 R2 וכן ב 2012 בקומבינציות שונות, עקב היותו PAAS יש לו מגבלות שונות שצריך להכיר, כתבתי על זה פוסט נחמד לפני זמן מה, צריך לומר שבבסיסו המנוע הוא גירסת ה SQL Server הרלוונטית (זהו כמובן...

בדקו את הציוץ של ‎@krisherpi: https://twitter.com/krisherpi/status/426332195452493824

‘etoro’  has some production services on the MSFT cloud- Azure. One of those services is some logs written from Client side. It’s written into service that write it to Q in Azure and then Service from Azure read the Q and insert the data into DB. From time to time we get picks in the messages – this load cannot handled well with  the service calling from the Q and we need to increase the number of readers from the Q. So we configured the instances to be scale by schedule. It means that during week day  we will have 4 cores – and during night or weekends we will have only 1 core. As you can see in the picture the auto change in the configuration.     What is really amazing is that we can do it by targets CPU level, Or by numbers of messages in the Q. It also help in reducing the costs. This is really easy to configure, very friendly and very important to understand in the world of cloud. Pini

שלום לכולם שנה חדשה וזה זמן לסכם 3 שנות עבודה עם SQL Azure. אז כן - אני נהנה לעבוד עם מוצר זה הוא חוסך המון כאבי ראש אולם הוא מוגבל, בפוסט זה אציין מספר מגבלות שאם הן יתוקנו (וכן אני מבין את הקושי בתיקונים - אולם נקודות אלו מהוות מחסום כניסה) מגבלת מקום של 150 GB -  זו בעיה לארגונים גדולים להיכנס כאשר יש מגבלת גודל, אם היה אפשר להגדיל בסיסי נתונים הדבר היה מקל על כניסה של ארגונים ל SQL Azure. קישור בין שני בסיסי נתונים באותו שרת - זו בעיה מהותית של ארכיטקטורה של תוכנה, אם וכאשר יש צורך לעיתים ליצור 2 בסיסי נתונים כיום אפשרות התקשורת ביניהם - גם אם הם באותו שרת - היא רק דרך האפליקציה - לא שזה רע כל כך אולם המון פעמים זה מסרבל את תצורת העבודה. הרצה של תהליכים ארוכים - לעיתים יש צורך להריץ תהליך עידכון ארוך או בניה של אינדקס גדול, בעולם הרגיל אנו יוצרים job שרץ בתוך השרת ונתנים לו לרוץ כמה שעות שהוא רוצה - פה לעומת זאת, אין agent ואי אפשר להריץ כלום מתוך השרת, וריצות ארוכות נחתכות על ידי ה resource governer והנה אנו שוב תקועים בעובדה ומחפשים work around. t-sql - ישנם רבים מיד...

ערב טוב והפעם פוסט קצר על יצירת VM-Virtual Machine, המכיל SQL Server 2014. אחד היתרונות הגדולים של Windows Azure על פני AWS הינו בהיצע של הגלריה של VM. מעבר לכל האפשרויות שמיקרוסופט מציעה לאנשי 'לא-מיקרוסופט', מוצרים כמו לינוקס אובונטו וכדומה, מיקרוסופט מציעה משום מה גם מוצרי מיקרוסופט מתקדמים כמו SQL Server 2014. האפשרות הזו מאפשרת דרך קלה להתנסות במוצר החדש מבלי להתקין אותו, למשל התקנה של 2014 דורשת מערכת הפעלה מתקדמת ומי שלא רוצה לשדרג - לא חייב לשדרג יכול להתחבר למכונה הוירטואלית בקלות ולהתנסות. ניתן גם לכבות אותה כשלא משתמשים וכך לחסוך קצת כסף. האמת? אני ללא ידע IT, כמעט כלל יצרתי מכונה, הוספתי לה דיסק של 1TB, ויצרתי יוזר נוסף שייכנס אליה. להלן המסלול ליצירת המכונה - נסו ותהנו - האמת שהתרשמתי - יותר ויותר אפשר להבין את המהפכה של הענן. אז בואו נתחיל ביצירת מכונה וירטואלית דרך הפורטל: לאחר שעולה הרשימה ניתן לבחור באפשרות שסימנתי: לאחר כמה קליקים נוספים נוצרת מכונה. עכשיו בצורה מאד פשוטה לוחצים על Attach Disk - ובמספר קליקים מצרפים למכונה דיס...

שלום לכולם  לאחרונה היתווסף טאב חדש תחת SQLDatabase בפורטל של AZURE. הטאב קרוי:  CONFIGURE בפוסט זה אסקור את מה התפקיד שלו ולמה סוף סוף נהיה רגועים לפני DEPLOY. אז ככה - אחת הבעיות הגדולות שהיו לנו כמנהלי בסיס נתונים ב SQL Database הייתה סוג של גיבוי לפני ביצוע שינויים או סתם גיבוי רגיל. כן אני מכיר את ה COPY - בטח שאני מכיר כתבתי על זה פוסט אי שם ב 2011 אבל יקר - SQL Database כל כך יקר ואני לא רוצה לשלם סתם. כן - לעשות את זה כ HDV בבלוב שמקושר ל VM - זה באמת אחלה - ואכתוב על זה בפוסט הבא - אבל שוב לשחזר ממנו זה לא הכי נוח. אז הוחלט ב AZURE להתחשב בנו ויצרו את הפונקציה  CONFIGURE  הקונספט הוא פשוט - יוגדר תהליך קבוע - או לא קבוע שישמור את בסיס הנתונים ל Azure storage - כיצד זה מתבצע? לבסיס הנתונים נוצר עותק, אחרי כן הוא מועבר ל blob, ויושב לו שם בנחת עד שמחליטים לשחזר ממנו. פשוט וקל.  תיאור התהליך אפשרות ללחוץ ברמת DB, ואז יש 2 אפשרויות או NONE ואז לא עולה כלום על המסך. כאשר בוחרים ב CONFIGURE עולה מסך שמגדיר לאן בסיס הנתונים יישמ...

שירות חדש ששוחרר לאחרונה ב Azure עבור Sql DataBase וככה כתוב בתיעוד: Premium for SQL Database. By reserving a fixed amount of capacity for your SQL Database and its secondary replicas, Premium for SQL Database will deliver more predictable performance for cloud applications relative to existing SQL Database Web and Business Editions.  כלומר, ניתן עבור תשלום כלשהוא לעקוף את אחת הבעיות הגדולות בענן וזה שירותים יעודיים. בענן אי אפשר לערוב תמיד לביצועים עקב שיתוף משאבים - ופה מבטיחים ייעוד משאבים צריך להירשם לשרות זה - וכעבור מספר ימים אתה מקבל אישור. לאחר מכן כשמקבלים אישור המסך נראה כך לאחר מכן כשיש לך אפשרות ברמת השרת להיות בתוכנית זו ניתן לבחור שאתה רוצה להפעיל את המצב של לקוח  Premium. אם בוחרים את האפשרות זה מופיע כך וכאן צריך לבחור אחת משתי אפשרויות של שמירה  P1 or P2 והנה תיאור ההסבר להבדלים ביניהם כלומר  P2 מציע פי 2 ביצועים לאפליקציות שדורשות יותר משאבים בתוכנית זו ניתנת אפשרות לאפשר ביצ...