SQL Azure for DBAs and Data Engineers

I recently moved a role From being a DBA Manager, Who is responsible for the operational databases. I moved to manage the data engineering group. So what exactly is the difference between the two functions? DBA - Production Databases: SQL\ NoSQL- 24*7, powerful server on premise or on the cloud, managed or semi managed, security tasks, high performance is a target, multiregional, HA as top priority. Developers are using Microservices - so we have many applications many services and many many Databases. Many kinds of DB's like Cloud IAAS and PAAS. Secure and audit the data is must. The Clusters must have Uptime as long as we can achive. Data Modeling - is so important too. Challenges and Problems in the data bases systems Lots of DB’s Lots of creators / no standards Lots of Consumers (Query, tools, SLA) Raw data Lots of data resources Data silos In Data Engineering we have other challenges for example we have Data lake and Data Warehouses : Batch process. Stream Process. many data ...

מיקרוסופט משקיעה מאמצים רבים – כך נראה להקל עלינו את העברות הנתונים לענן. ישנם סוגים שונים של צרכים בהעברת בסיס נתונים לענן. ישנו כמובן תהליך מגרציה של מבנה ותוכן בסיס הנתונים לענן ולכן יצרו במיקרוסופט כלים שונים. קיים כלי מרכזי שהוא חלק מהמוצר הרגיל של SQL Server וכמובן גם של SQL Azure (ועליו אכתוב פוסט נפרד) זהו ה DATA Tier Application או בשמו המקוצר DAC. הכלי יכול להעלות גם data וגם מבנה של בסיס נתונים. קיימים כלים נוספים של חברות שונות – חינמיים ובעלי עלויות שמעבירים DATA אל הענן. ברצוני לתאר היום ממש בקצרה את הכלי הקרוי Microsoft CodeName –Data Transfer מתוך המעבדות של SQL Azure. מעבדות אלו מוציאות אחת לכמה זמן כלים שמקלים על העבודה או מאפשרים ערך מוסף בנוסף למוצר הבסיסי. הכתובת של המעבדות כולן הוא ב SqlAzurelabs.com . ננסה בעתיד לתת סקירה על כולן  - היום אתן סקירה קצרה על Data Transfer. זוהי תוכנה שהעלו ומאפשר להעביר טבלאות וקבצים לענן – או לטבלה או ל Blob. המסך הראשוני מתוך המעבדות נראה כך: לאחר לחיצה עליו נכנסים למעבדה עצמה מעולה לחצתם? נכנסתם – וכאן ישנה ה...

שלום רב שוחררה גרסה חדשה של הפורטל ובה 2 תוספות מרכזיות במיוחד עבור   SQL Azure 1.        - D ATA Sync כעת זמין ואפשר לסנכרן בין בסיסי נתונים בענן או בין בסיסי נתונים בענן לבין שרתים בארגון 2.        Reporting כעת זמין כלומר האפשרות שגם הפורטל של SSRS יהיה זמין בענן עצמו . בכנס שהסתיים זה עתה  SQL Pass -   הכריזו על מספר תוספות שחלקן כבר זמינות וחלקן יהיו זמינות בקרוב, במהלך היום אעלה פוסט שיכיל את הרשימה של הדברים החדשים ופה אתאר בקצרה את הסרביס הקרוי DATA Sync : אחד הצרכים המרכזיים בבסיסי נתונים בענן הוא גיבויי, וכן העברת טבלאות לבסיסי נתונים אחרים לצורך ייצור דוחות או כל צורך אפליקטיבי אחר . DATA sync בעיקרון הוא דו כיווני – כלומר יכול לבצע סינכרון הלוך ושוב – צורך זה לטעמי פחות חשוב ויש לדעת איך לקנפג נכון כדי שהעידכון יהי חד כיווני. לכן יצרו את הסרביס הקרוי DATA Sync – שבא מקיצורה של המילה סנכרון מידע .... כרגע סרביס זה נגיש לכולם דרך הפורטל. אפשר לסנכרן טבלה עמו...