דילוג לתוכן הראשי

רשומות

The journey to the Lakehouse

פוסטים אחרונים

From DBA to Data Engineer in Azure

I recently moved a role From being a DBA Manager, Who is responsible for the operational databases. I moved to manage the data engineering group. So what exactly is the difference between the two functions? DBA - Production Databases: SQL\ NoSQL- 24*7, powerful server on premise or on the cloud, managed or semi managed, security tasks, high performance is a target, multiregional, HA as top priority. Developers are using Microservices - so we have many applications many services and many many Databases. Many kinds of DB's like Cloud IAAS and PAAS. Secure and audit the data is must. The Clusters must have Uptime as long as we can achive. Data Modeling - is so important too. Challenges and Problems in the data bases systems Lots of DB’s Lots of creators / no standards Lots of Consumers (Query, tools, SLA) Raw data Lots of data resources Data silos In Data Engineering we have other challenges for example we have Data lake and Data Warehouses : Batch process. Stream Process. many data

Back to Basic - create new Azure SQL DB

Hi All Long time no posts, i have been busy in last few months on a hard day 2 day work and did not  had the chance to publish some posts. So i have decided to sit and write some "Back to Basic" posts. Today i will write about how to create an Azure SQL Db from the portal. Choose the Subscription. RG - if its in special Project connect to its RG (Resource group is a virtual collection of resources in order to easy manage budgets.) DB Name Server - choose the correct or create one(Server has limited manage capabilities on the DB like security, backup policies and other rules) Choose no (elastic pool is a feature that will not be explained here) This is the server tier, means the power of the DB and by pass the payments of the DB (i will have special post on the new tiers options, for this post i will leave the default) This is the Storage redundancy , for now leave it in the default option. now we will move to the Networking tab: 8 - 9. Configuration of networking and secur

Configuring secondary database in Azure SQL DB - Bug found

Hi All Last week we had an issue with a secondary DB in geo replication and fail over group. To make the long story short we had to delete the secondary and recreate a secondary from scratch . And now let me tell you the story, we build a DB in P6 tier - very high, expensive and highly available. Then we add a geo replication copy via the platform, like it shows here. This is take from MSFT documentation: https://docs.microsoft.com/en-us/azure/azure-sql/database/active-geo-replication-overview It is written:  " Both primary and secondary databases are required to have the same service tier. It is also strongly recommended that the secondary database is created with the same backup storage redundancy and compute size (DTUs or vCores) as the primary. If the primary database is experiencing a heavy write workload, a secondary with lower compute size may not be able to keep up with it. That will cause redo lag on the secondary, and potential unavailability of the secondary. To mitigat

Availability Zones in Azure and the relation to SLA in Azure SQL DB

שלום לכולם כאשר מקנפגים Azure SQL DB מנוהל והוא תחת Premium or Business Critical Toers מיקרוסופט שואלים אותך: Would you like to make this database zone redundant? מה זו השאלה הזו? מה ההשפעה שלה ומה העלות שלה? אז עשינו ובדקנו מה ההשפעה. הלינק הבסיסי להסבר הקונפיגורציה הזו הוא זה: https://azure.microsoft.com/is-is/blog/azure-sql-database-now-offers-zone-redundant-premium-databases-and-elastic-pools/ מה זה אומר? זה מסביר על המושג הקריטי Availability Zones ועל השימוש שלו ב SLA של הדיבי שלנו. ובכן בכל דאטה סנטר בענן יש בעצם 3 דאטה סנטרים, הכל מנותק אחד מהשני. https://docs.microsoft.com/en-us/azure/availability-zones/az-overview לכל Azure SQL DB יש 3 עותקים ניסתרים, מיקרוסופט נותנת אופציה לשמור את אחד העותקים הניסתרים ב Availability Zone אחר. הדבר מעלה את ה SLA כך שאם יש תקלה ב Availability Zone אחד זה לא משפיע על ה DB. לכן אני ממליץ בחום לכולם לאפשר את הקונפיגורציה הזו.

Azure SQL DB Tiers - Improvments in hardware options

שלום לכולם והיום על שיפורים בקונפיגורציות של Azure SQL DB in v-Core mode       תחת v-Core mode יש 3 אפשרויות: General Purpose Provisioned Server Less Hyper Scale  Business Critical בכל אחד מאלו אפשר לקבוע את כמות ה CPU והכמות סטורג'   כאשר Hyper Scale זו טכנולוגיה אחרת ועליה נכתוב בפעם אחרת.   General Purpose vs Business Critical - ההבדל ביניהם הוא האם ה SSD הוא מקומי בתוך השרת או שזה סטורג' מרכזי.   בכל אחד משני אלו עד היום אפשר היה לבחור בין Gen4 & Gen 5 כאשר ההבדל ביניהם הוא זה:   Gen 4 CPUs are based on Intel E5-2673 v3 (Haswell) 2.4 GHz processors. Gen 5 CPUs are based on Intel E5-2673 v4 (Broadwell) 2.3 GHz processors.     עכשיו הוסיפו עוד 2 אפשרויות M-Series FSv2 Series זה נהיה מורכב - שימו לב תחת General Purpose אפשר לבחור רק  FSv2 בנוסף ל Gen4 \ Gen5     תחת Business Critical אפשר לבחור רק M בנוסף ל Gen4 \ Gen5     על סידרה M, על הכוח שלה ועל היכולות שלה אפשר לקרוא פה https:/

Cloud SQL for SQL Server at GCP - Part 2

שלום לכולם והיום נסביר איך עושים scale up and scale down. אם התרגלנו ב Azure SQL DB להעלות Tier ולהוריד Tier על ידי בחירת Tier ואז הכל יושפע וישתנה ממנו, פה ניתנת אפשרות להוסיף זזכרות מעבדים וסטורג'. הדבר הוא יותר דינמי כי אפשר לפתור בעיה ספציפית, אבל מצש שני נותן לנו אין סוף אפשרויות לביצוע ולעיתים אתה לא יודע מה להחליט ומה עולה כמה. להלן המסכים: נכנסים למסך הקונפיגורציה על ידי לחיצה על הלינק המסומן:     מכאן המסך מתפצל לסוגי קונפיגורציות - אנו נתמקד בחומרה:         אנו נשנה את מה שצריך למשל זיכרון ו cpu. נשנה את הסטורג' ובצד ימין יש סיכום.     לחצנו סימנו ובחרנו ואז לאחר האישור מופיעה ההודעה שהשרת יעבור איתחול בכדי לתפוס את השינויים.  כמה דקות אחרי כן כשהשרת עולה - הכל מקונפג לפי ההגדרות. זהו ממש פשוט... תבצעו את זה ובפעם הבאה נתחיל לבדוק ולראות מה שונה ומה שווה... ניתן לבדוק בהרצת שאילתות אלו לבדיקת cpu וזיכרון: -- CPU assigned to database SELECT  scheduler_id,  cpu_id,  status,  is_online FROM sys.dm_os_schedulers WHERE status