Skip to main content

Compression in SQL Azure - Yes we have!!!

שלום לכולם
אתמול בלילה במקרה קראתי את הבלוג של Bob Beachemin שהוא חלק מ SQLSkills ושם הוא הזכיר בחצי משפט על זה שעכשיו יש דחיסה בבסיסי הנתונים בענן - לא האמנתי למראה עיניי.
ישר רצתי לבדוק ואכן זה עובד. אז ראשית התודות ל - @bobbeach

שאגב לקח לי בשניה האחרונה את הפוסט על Extended Events ב Azure.

דחיסה.... כן כן סוף סוף יש תמיכה בדחיסה - אפשר לדחוס טבלאות ואינדקסים ובכך לצמצם את גודל בסיס הנתונים ולהפחית עלויות.
כמובן יש מחיר של cpu, ועוד ההשפעות של דחיסה  - אולם יש דחיסה אפשר להקטין בסיסי נתונים ולשלם פחות ועדיין לקבל ביצועים.
פיצ'ר זה הוא סנונית ראשונה של פיצ'רים שלא היו עד היום ומנעו פעילות טובה בענן - הייתי צריך לעשות מיגרציה של בסיס נתונים ותמיד מנע אותי הענן מלהעלות כמו שהוא את בסיס הנתונים כי היתה לי דחיסה על הרבה בסיסי נתונים.

ב - etoro אנו שומרים כל מיני לוגים שמחוקרים מהם פעילות לקוחות וזה צריך להיות זמין כל הזמן תקופה ארוכה, נוח למתחקרים לתחקר בסיס נתונים רלציוני אולם מחירו לא היה כדאי עכשיו - גם הוסיפו שכבות וגם עושים דחיסה ובכך מורידים עוד גודלו של בסיס הנתונים ובכך משלמים פחות.

אתמול בצהריים הרצתי פקודה זו על בסיס הנתונים של סביבת ה QA של הלוגים הללו:

ALTER TABLE [dbo].[ExternalLogs] REBUILD PARTITION = ALL 
WITH (DATA_COMPRESSION = PAGE)
GO 

כמובן - סוף סוף - לא הייתה שגיאה שזה לא נתמך והפקודה רצה והנה התוצאה:
בסיס הנתונים ירד מ 22.69 - ל 8.44
MB.



כרגע אני עסוק בהורדת גודל הטבלאות הגדולות - שזה נושא יותר בעייתי בגלל אורך טרנזקציות בענן אבל זה נושא לדיון אחר.

פיני

Labels:

Comments

Post a Comment

Popular posts from this blog

How to restore deleted Azure Synapse dedicated SQL pool

  Existing dedicated pool can be easily restored from Azure portal or PowerShell command, but for now deleted pool could be restored from PowerShell only! Example: # Connect to Azure with system-assigned managed identity $AzureContext = (Connect-AzAccount -Identity).context # set and store context $AzureContext = Set-AzContext -SubscriptionName $AzureContext.Subscription -DefaultProfile $AzureContext # $AzureContext = Set-AzContext -SubscriptionName $SubscriptionName -DefaultProfile $AzureContext $SubscriptionName="Databases" $ResourceGroupName="stg-rg-we" $ServerName="stg-synapse-we"   $DatabaseName="sql_we_2023_11_07_13_42" $NewDatabaseName="sql_dp_we_deleted" ######################################## $token = (Get-AzAccessToken -ResourceUrl https://database.windows.net).Token $SubscriptionId = "ce088f9e-1111111a3914b" $DedicatedPoolEndPoint = "stg-synapse-we.sql.azuresynapse.net" $DedicatedPoolName = $DatabaseNam...
Post a Comment
Read more

The journey to the Lakehouse

A long time has passed since the last post, we have gone through a long and tedious journey to adapt what Azure offers us, to our needs. Our needs were simple, the Current Datawarehouse (SQL Server on VM inazure) served the BI. ML teams worked on GCP, we want to let both teams to work on Azure in a platform that will have the ability to scale and will not fail every 2 days. We checked: Snowflake on azure Synapse analytics GCP We decided to go for the full Azure product for the reasons: Migration time support costs Synapse as a platform contains many components, and the challenge was to find what fits  us as an organization and as a group. The knowledge of the people and their abilities influenced the plans. Here's what we planned and what we did: We start to put everything in the Data Lake in parquet or delta format, build on top of Azure ADLS gen 2. We had to move some data to T-SQL compatible platform, so this involves setting up a dedicated Synapse pool , which is a fully man...
Post a Comment
Read more

From DBA to Data Engineer in Azure

I recently moved a role From being a DBA Manager, Who is responsible for the operational databases. I moved to manage the data engineering group. So what exactly is the difference between the two functions? DBA - Production Databases: SQL\ NoSQL- 24*7, powerful server on premise or on the cloud, managed or semi managed, security tasks, high performance is a target, multiregional, HA as top priority. Developers are using Microservices - so we have many applications many services and many many Databases. Many kinds of DB's like Cloud IAAS and PAAS. Secure and audit the data is must. The Clusters must have Uptime as long as we can achive. Data Modeling - is so important too. Challenges and Problems in the data bases systems Lots of DB’s Lots of creators / no standards Lots of Consumers (Query, tools, SLA) Raw data Lots of data resources Data silos In Data Engineering we have other challenges for example we have Data lake and Data Warehouses : Batch process. Stream Process. many data ...
Post a Comment
Read more