SQL Azure for DBAs and Data Engineers

שלום לכולם והיום על שיפורים בקונפיגורציות של Azure SQL DB in v-Core mode       תחת v-Core mode יש 3 אפשרויות: General Purpose Provisioned Server Less Hyper Scale  Business Critical בכל אחד מאלו אפשר לקבוע את כמות ה CPU והכמות סטורג'   כאשר Hyper Scale זו טכנולוגיה אחרת ועליה נכתוב בפעם אחרת.   General Purpose vs Business Critical - ההבדל ביניהם הוא האם ה SSD הוא מקומי בתוך השרת או שזה סטורג' מרכזי.   בכל אחד משני אלו עד היום אפשר היה לבחור בין Gen4 & Gen 5 כאשר ההבדל ביניהם הוא זה:   Gen 4 CPUs are based on Intel E5-2673 v3 (Haswell) 2.4 GHz processors. Gen 5 CPUs are based on Intel E5-2673 v4 (Broadwell) 2.3 GHz processors.     עכשיו הוסיפו עוד 2 אפשרויות M-Series FSv2 Series זה נהיה מורכב - שימו לב תחת General Purpose אפשר לבחור רק  FSv2 בנוסף ל Gen4 \ Gen5     תחת Business Critical אפשר לבחור רק M בנוסף ל Gen4 \ Gen5...

שלום לכולם אכן הרבה זמן לא כתבתי, אשתדל לחזור לעצבי בקרוב. והיום בקצרה על ניהול טבלאות temporal. בקצרה ב SQL Server - החלו להשתמש ברעיון של שמירה אוטמטית של שינויים בנתונים בטבלה. ואפשר לתשאל גם את הטבלה ההיסטורית וגם את הנוכחית בשליפה אחת: https://docs.microsoft.com/en-us/sql/relational-databases/tables/querying-data-in-a-system-versioned-temporal-table /*State of entire table AS OF specific date in the past*/ SELECT [DeptID], [DeptName], [SysStartTime],[SysEndTime] FROM [dbo].[Department] FOR SYSTEM_TIME AS OF '2015-09-01 T10:00:00.7230011' ; אחת הבעיות זה ניהול הטבלה ההיסטורית אי אפשר למחוק ממנה בצורה רגילה - ואצלי ב SQL Azure הדבר נהיה משמעותי עקב מגבלת הגודל. לכן עלינו על נושא ה RETENTION שזה פיצ'ר מדהים שניתן בכל SQL Server ולהפתעתי גם ב SQL Azure. יש אפשרות להגדיר כמה זמן יישמר המידע בטבלת היסטוריה. כאשר יש סרביס מאחורה שרץ ומוחק מה שצריך ללא עומס מיוחד בבסיס הנתונים - לא הצלחתי להבין היכן זה רץ ומה חלונות הזמן שלהם. הגדרה זו ה...

שלום רב הפוסט היום מיועד ל  DBA's. מן הסתם אחרים פחות יבינו אולם פה אני אסביר לכם גם למה אני כל כך אוהב את הענן. ובמיוחד את SQL Azure. פשוט מדהים וכיף - אז ככה מי מה DBA's שקוראים פוסט זה לא יודע מהו Compatibility Level? 2 הצביעו - יפה. אז הנה הסבר קצר: לבסיס נתונים יש version שזה מספר הגירסה של בסיס הנתונים, אולם בכדי שתהיה תמיכה לאחרו הוסיפו החכמים את המימד של Compatibility Level. כלומר בסיס נתונים יכול להיות בגירסה מתקדמת אולם ה Compatibility Level יהיה מכוון לגירסה ישנה יותר ואז חלק מהשפה וחלק מהמנוע יעבוד על פי גירסה ישנה יותר. זו הטבלה המדוייקת שנלקחה מהלינק הזה https://msdn.microsoft.com/library/bb510680(SQL.130).aspx  :     אם קוראים בכתובים אפשר לראות למשל ש: Compatibility-level setting of 130 - The Insert in an Insert-select statement is multi-threaded or can have a parallel plan. Compatibility-level setting of 120 or lower  - The Insert in an Insert-select statement is single-threaded.    כלומר שגם אם תבצע Inser...

Hi All   So After a month of using Cross Database Queries in SQL Azure DB, I can say that we have a very useful tool.   We can use in many scenarios, I will show today one.   We are using 10 shards DB's to balance read operations to many DB's. The write operations goes to the DB's as well.   I' as a DBA wants to know the status of all DB's, so instead of creating PowerShell that connect to all of the DB's I have created external tables in 1 DB that reads the     sys . dm_db_resource_stats     from all DB's' so I have now 1 real table and 9 external tables.   I have created a view that reads from al 10 tables' and now I see all data from all shards.   I also put it in PowerBI and I see it in a visual way - and also in my Mobile.   Here I have in the first line DTU AVG value for each shard in the last 10 minutes, 1 clock that avg all shards.   The second line is the DTU real value in the ...

שלום לכולם אנו DBA's תן לנו SSD, תן לנו יותר RAM, תנו לנו עוד Cores, שימו את הלוגים על דיסקים מהרים - תמי תמיד יש לנו בקשות ותלונות לכולם.... רק לא לנו עצמינו. אבל האמת המרה היא שמה שחשוב בסוף זה ה Latancy, כמה זמן לקח לפעולה להתבצע - ובאמת באמת לא משנה מה התשתית של הברזלים, אצלינו באיטורו - לקוחות מכניסים טרזקציות כספיות... בסוף בסוף זה באמת לא משנה מה רץ ועל מה רץ - חשוב שזה ירוץ מהר - שפוזיציה לא תיכנס ביותר מ 20 MS לצורך העניין. ולכן בעובדינו בענן ובמיוחד בחלק ה PAAS  שלו, אין לדעת מה רץ מאחורי הקלעים, אנו לא יודעים אילו מכונות מריצות מה והיכן יושבים הלוגים. אז איך נמדוד כמה מה מתאים לנו ועל מה אנו צריכים להושיב את בסיס הנתונים שלנו? ומהו הכלי לביצוע benchmark? ובכן ב SQL Azure הכלי הוא מדידת DTU . לפני זמן מה כשהכריזו על  SQL Database elastic pools, מיד התחלתי לבדוק את המוצר, ולנסות להבין האם הוא מממש את ההבטחה שיוצריו הבטיחו לנו. תוך כדי בדיקות וחקירות, הבנתי שבכדי להסביר את המוצר ומה שעומד מאחריו לא אוכל להתחמק מלהסביר על ה DTU. הסבר על ה DTU רציתי לעשות מ...

Hi Today some English in the Post :-) Yesterday when I logged into the new and the Old Azure Portal I saw a new button 'Open In Visual Studio' under the SQL Database tab: I asked myself - is it related to the new announcement about open source and cross platform of .NET.  So I clicked on the button in both the new and the old portal. I was asked to install update 4 for my VS 2013. After this was installed, I again clicked on the new button - the world did not blow up. It appears that it just opens the "SQL Server Object Explorer" with a regular connection to the DB. I do not think its worthwhile to work with this but then I had a brainwave that now I can do comparisons with my code or with other DBs very quickly. So for now its not so important feature, lets see what they will do with it next time. Pini

ערב טוב והפעם פוסט קצר על יצירת VM-Virtual Machine, המכיל SQL Server 2014. אחד היתרונות הגדולים של Windows Azure על פני AWS הינו בהיצע של הגלריה של VM. מעבר לכל האפשרויות שמיקרוסופט מציעה לאנשי 'לא-מיקרוסופט', מוצרים כמו לינוקס אובונטו וכדומה, מיקרוסופט מציעה משום מה גם מוצרי מיקרוסופט מתקדמים כמו SQL Server 2014. האפשרות הזו מאפשרת דרך קלה להתנסות במוצר החדש מבלי להתקין אותו, למשל התקנה של 2014 דורשת מערכת הפעלה מתקדמת ומי שלא רוצה לשדרג - לא חייב לשדרג יכול להתחבר למכונה הוירטואלית בקלות ולהתנסות. ניתן גם לכבות אותה כשלא משתמשים וכך לחסוך קצת כסף. האמת? אני ללא ידע IT, כמעט כלל יצרתי מכונה, הוספתי לה דיסק של 1TB, ויצרתי יוזר נוסף שייכנס אליה. להלן המסלול ליצירת המכונה - נסו ותהנו - האמת שהתרשמתי - יותר ויותר אפשר להבין את המהפכה של הענן. אז בואו נתחיל ביצירת מכונה וירטואלית דרך הפורטל: לאחר שעולה הרשימה ניתן לבחור באפשרות שסימנתי: לאחר כמה קליקים נוספים נוצרת מכונה. עכשיו בצורה מאד פשוטה לוחצים על Attach Disk - ובמספר קליקים מצרפים למכונה דיס...

  שלום רב היום הוכרזו 4 תוספות חדשות ל Windows Azure SQL Database הידוע בשמו SQL Azure. הראשונה והחשובה ביניהם היא בנושא Linked Server. כלומר ניתן לקשר בין בסיסי נתונים מקומיים לבין אלו בענן באמצעות שאילתות מוכרות וידועות. הדבר מאפשר גמישות מדהימה בשילוב העבודה עם בסיס הנתונים בענן ועם בסיסים מקומיים. השניה מהיום ניתן להשתמש ב Recursive Triggers. הודעה נוספת היא בדבר אפשרות שימוש  DBCC SHOW_STATISTICS. אפשרות גדלה והולכת לעקוב אחרי ביצועי המערכת ובסיס הנתונים בענן. אחרונה היא בנושא אבטחה – מהיום אפשר לכפות חוקי אבטחה ב SQL Database Firewall, לא רק ברמת השרת אלא גם ברמת בסיס הנתונים עצמו. זהו הלינק להכרזה: Announcing Updates to Windows Azure SQL Database

בסוף שבוע שעבר יצאה מיקרוסופט בהכרזה חגיגית בדבר החידושים האחרונים שהעלו לענן. אנו נסקור בפוסט זה כמה חידושים – עם התמקדות בעולם בסיסי הנתונים. ראשית אתחיל בפורטל הניהול עצמו עד היום היה הפורטל לניהול העניינים בענן כתוב ב silverlight, מעתה הפורטל כתוב ב HTML 5 כלומר ניתן יהיה לנהל עתה גם בטאבלטים ובעוד מכשירים. בחץ הכתום כניסה לפורטל הקיים בחץ הירוק כניסה לפורטל החדש לאחר לחיצה על החץ הירוק נכנים למסך שמכניס אותך לפורטל החדש – ניתן להיכנס אליו ישירות דרך: https://manage.windowsazure.com/ הפורטל החדש מחולק ל3 אזורים מרכזיים, באיזור הירוק רשימה של כל הרכיבים האפשריים, באיזור הצהוב פירוש של הרכיבים עצמם ובאיזור האדום לוחצים אם רוצים להוסיף רכיבים למערכת בענן. כאשר לוחצים על רשומה באיזור הצהוב מקבלים פירוט על הרכיב שלחצנו – מבחינת ביצועים וכדומה – (פירוט אביא פעם אחרת) אין מה לומר – יפה ופשוט.. אם לוחצים על ה + באיזור האדום קופצת רשימה של רכיבים שאפשר להוסיף לפי ההרשאות שלך בענן עד כאן הפורטל החדש ממש בקיצור נמרץ ועתה אביא גם כן בקצרה על 2 חידושים מרכזיים ששוחררו בגירסת ...

שלום רב ובכן גרסת sqlserver 2012 מתקרבת ומתקרבת, השמועות מדברות על אחת היציאות לאוויר הגדולות ביותר של מוצר מבית Microsoft, ולנו אנשי ה SQL Azure מה נותר לעשות? לחייך בחיוך ולומר - רבותי לנו כבר יש את זה ב Production... ועל מה אני מדבר? ובכן כידוע כאשר יוצאת גירסה חדשה של מוצר מבית מיקרוסופט ישנו תהליך שלם של יציאה לאוויר העולם - החל בקריאת שם למוצר, עבור לשליחת מספר דוגמאות והמשך בשחרור CTP שונים . גרסת SQLServer2012 עומדת לצאת ותספק המון חידושים שניתן לקרוא עליהם מכאן ועד... הענן אולי... מבחינת ה DBA's האפליקטיבים מדובר בעיקר על פקודות חדשות ועל חידושים בשפת ה T-SQL. כולם מצפים בקוצר רוח. מי לא זוכר איך אי שם בשנת 2005 חיכינו ל TRY and Catch שעולם ה SQL Server חווה לראשונה, מי לא זוכר את שנת 2008 בה חיכינו כל כך הרבה ל Select top @a... ועוד ועוד. כזה הוא הטבע שלנו. ואנו שאנו כבר בענן - כלומר עובדים כבר עם ה SQL Azure יודעים שלא נצטרך יותר CTP למיניהם, ולא נצטרך התקנות ואישורי IT להורדות של מאות MB של קוד וסרביסים או סרברים (כן  - בטח שנצטרך - נצטרך לשדרג את ה SSMS...

בפרק זה נציג מספר דוגמאות לאילו פונקציות ורכיבים אין ב SQL Azure לעומת SQL Server, לכל אחד ואחד מהרשימה נקדיש בעתיד פוסט בפני עצמו אין job agent אין קריאה בין 2 בסיס נתונים באותו השרת אין אפשרות לפקודה של select into - אלא חייבים להגדיר את הטבלה קודם ואז insert into. אין גיבויים ושחזורים לכל טבלה חייב להיות Clustered Index אין אפשרות לקבוע הודעות מערכת דרך sp_addmassage ועוד ועוד הרשימה קיימת באתרי מיקרוסופט וגם יכולה להשתנות בכל גירסה. זה הלינק לרשימת הפקודות הלא נתמכות ב SQL Azure או כמו שהם קוראים לזה: Unsupported Transact-SQL Statements  אם גוללים עמוד למעלה יש רשימה של פונקציות מערכת נתמכות ולא נתמכות. אפשר לומר כי כרגע הסטנדרטים יותר נמוכים ממה שהורגלנו אליהם, מצד שני זה מאפשר תמיכה בוירטואליות של הפעילות בענן. כשניגשים לפתח צריך להחליט האם כותבים בתקן של SQL Azure ואז ניתן לתחזק בקלות את הסביבות גם בענן וגם בסביבת הפיתוח או לא. הכל לשיקול המנהל.

כידוע בבסיס הנתונים של הענן אין באפשרות המשתמשים לבצע כלל גיבויים. פקודת BackUp לא עובדת ב SQLAzure! ישנם 2 סוגי גיבויים: 1. בתור גיבוי יומי או לפי פרק זמן לצורך ניהול אסונות - פה בענן ישנה רפליקציה אוטמטית המתוארת בפרק על הארכיטקטורה, במידה ורוצים גיבויים נוספים למשל בין DATA Centers האפשרויות לביצוע שלהם הן:    א. כלים חינמיים להורדה מהאינטרנט שלמשל מעבירים כל טבלה ל ATS, ואז יש גיבוי למידע.    ב. כלים בעלות כספית שמבצעים בצורה מסודרת גיבויים כמו Red Gate, שמגבה ומעביר אליך את בסיס הנתונים    ג. כלים שהענן עצמו מציע כמו Sql Azure DataSync - שעליו נפרט במקום אחר, ממילא לא זמין כרגע.    ד. ניתן לבצע COPY בתוך אותו שרת לבסיס הנתונים על ידי פקודה. וכ בעצם ייבצר גיבוי מלא. ישנה פקודה שמראה כל זמן נתון מה מצבו של ה COPY וכמה הועתק.  CREATE DATABASE DBName_Copy AS COPY OF DBName ניטור מצבו של ה COPY 'SELECT name, STATE, state_desc,* FROM sys.databases WHERE name = 'DBName_copy 2. בתור גיבוי לצורך שמירת בסיס נתונים או לפני ביצוע פעול...

• כאשר עובדים ב SSMS ישנם מספר דברים שונים בין עבודה על שרת רגיל לבין עבודה על SQL Azure להלן מספר דוגמאות: מקש ימין על פרוצדורה לדוגמא אין Alter או אין EXecute :   מקש ימין על טבלה לדוגמא אין select or edit ואין Design:

כאן נדון על היתרונות ועל החסרונות של Azure Table Storageמול SQLAzure: SQL Azure VS Azure Table Storage(ATS) טוב אז מה יש לנו כאן עולם בסיס הנתונים היחסי בעל הקשרים – Relational או מה שאנו מכירים בשם ה SQL ( Structured Query Language ) מול עולם שמירת המידע כפי שהוא או בשמו החדשני והחתרני noSQL , היום נדון בקצרה מתוך עולמו של הענן מה עדיף? מתי להשתמש בזה ומתי להשתמש בזה מהן היתרונות והחסרונות של כל עולם, ואיפה אנו כ DBA נחייה בעולמו של ה noSQL ? לפני שארחיב אני רוצה להצהיר כי לא אפרט יותר מידי מעולם ה .net עצמו שקשור קשר הדוק לנושא של גישה ופניה לבסיס הנתונים או לזיכרון. אני רק רוצה לדבר על מה יש ומה אין בענן. נדבר פה היום על : השוואת עלויות: זה הנושא הכי קל בענן כי הוא הכי נגיש והכי ניתן לכימות – הרי זה הענן... ובכן SQL Azure – כמות של  50GB עולים כ 500$ לחודש. ATS –כמות של  50GB עולים כ 7.5$ לחודש. טוב טוב לא צריך להמשיך הא? הרי ברור מה ניקח.... טוב חכו עד סוף ההרצאה ותחליטו. השוואת אפשרויות ויכולות: ATS – מכיל tables, blobs, queues : Blob : 1.   ...