Skip to main content

Short Overview on Microsoft CodeName “Data Transfer” from SQLAzure Labs

מיקרוסופט משקיעה מאמצים רבים – כך נראה להקל עלינו את העברות הנתונים לענן.
ישנם סוגים שונים של צרכים בהעברת בסיס נתונים לענן. ישנו כמובן תהליך מגרציה של מבנה ותוכן בסיס הנתונים לענן ולכן יצרו במיקרוסופט כלים שונים.
קיים כלי מרכזי שהוא חלק מהמוצר הרגיל של SQL Server וכמובן גם של SQL Azure (ועליו אכתוב פוסט נפרד) זהו ה DATA Tier Application או בשמו המקוצר DAC. הכלי יכול להעלות גם data וגם מבנה של בסיס נתונים.
קיימים כלים נוספים של חברות שונות – חינמיים ובעלי עלויות שמעבירים DATA אל הענן.
ברצוני לתאר היום ממש בקצרה את הכלי הקרוי Microsoft CodeName –Data Transfer מתוך המעבדות של SQL Azure.
מעבדות אלו מוציאות אחת לכמה זמן כלים שמקלים על העבודה או מאפשרים ערך מוסף בנוסף למוצר הבסיסי.
הכתובת של המעבדות כולן הוא ב SqlAzurelabs.com.
ננסה בעתיד לתת סקירה על כולן  - היום אתן סקירה קצרה על Data Transfer.
זוהי תוכנה שהעלו ומאפשר להעביר טבלאות וקבצים לענן – או לטבלה או ל Blob.

המסך הראשוני מתוך המעבדות נראה כך:
Data transfer from labs1
לאחר לחיצה עליו נכנסים למעבדה עצמה

Data transfer from labs2 start here

מעולה לחצתם? נכנסתם – וכאן ישנה האפשרות להיכן להעביר את הקובץ – האם כטבלה או כקובץ ב ATS:
Data transfer from labs3 choose dest
עכשיו לוחצים על הכפתור הרצוי – במקרה שלנו לחצתי על SQL Azure כלומר העברת הקובץ לבסיס הנתונים עצמו.
ממלאים במסך שנפתח את פרטי בסיס הנתונים עצמו ולוחצים next:
Data transfer from labs4 conn
עולה מסך שמאפשר לבחור קובץ להעלות:
image
בוחרים קובץ ולוחצים Analyze.
כאן המקום לציין שיש הגבלה לגודל של הקובץ, יש הגבלה לתווים מסויימים למשל אם יש תוים בשפה שלא נתמכת ועוד כל מיני דברים שונים.
לאחר העלאת הקובץ מקבלים דוח על היסטוריה של העלאות וסטטוס של כמה רשומות עלו ועוד

Data transfer from labs5 sum
הקובץ עלה בצורת טבלה לבסיס הנתונים.
ניכנס ל SQL Azure, והנה הטבלה:
Data transfer from labs7

זהו זו המעבדה, נוח – כן, ידידותי – כן. ישתמשו בזה הרבה? לא בטוח – תלוי לאיזה צורך.
נסו ותהנו.

Comments

Popular posts from this blog

How to restore deleted Azure Synapse dedicated SQL pool

  Existing dedicated pool can be easily restored from Azure portal or PowerShell command, but for now deleted pool could be restored from PowerShell only! Example: # Connect to Azure with system-assigned managed identity $AzureContext = (Connect-AzAccount -Identity).context # set and store context $AzureContext = Set-AzContext -SubscriptionName $AzureContext.Subscription -DefaultProfile $AzureContext # $AzureContext = Set-AzContext -SubscriptionName $SubscriptionName -DefaultProfile $AzureContext $SubscriptionName="Databases" $ResourceGroupName="stg-rg-we" $ServerName="stg-synapse-we"   $DatabaseName="sql_we_2023_11_07_13_42" $NewDatabaseName="sql_dp_we_deleted" ######################################## $token = (Get-AzAccessToken -ResourceUrl https://database.windows.net).Token $SubscriptionId = "ce088f9e-1111111a3914b" $DedicatedPoolEndPoint = "stg-synapse-we.sql.azuresynapse.net" $DedicatedPoolName = $DatabaseNam...

The journey to the Lakehouse

A long time has passed since the last post, we have gone through a long and tedious journey to adapt what Azure offers us, to our needs. Our needs were simple, the Current Datawarehouse (SQL Server on VM inazure) served the BI. ML teams worked on GCP, we want to let both teams to work on Azure in a platform that will have the ability to scale and will not fail every 2 days. We checked: Snowflake on azure Synapse analytics GCP We decided to go for the full Azure product for the reasons: Migration time support costs Synapse as a platform contains many components, and the challenge was to find what fits  us as an organization and as a group. The knowledge of the people and their abilities influenced the plans. Here's what we planned and what we did: We start to put everything in the Data Lake in parquet or delta format, build on top of Azure ADLS gen 2. We had to move some data to T-SQL compatible platform, so this involves setting up a dedicated Synapse pool , which is a fully man...

Configuring secondary database in Azure SQL DB - Bug found

Hi All Last week we had an issue with a secondary DB in geo replication and fail over group. To make the long story short we had to delete the secondary and recreate a secondary from scratch . And now let me tell you the story, we build a DB in P6 tier - very high, expensive and highly available. Then we add a geo replication copy via the platform, like it shows here. This is take from MSFT documentation: https://docs.microsoft.com/en-us/azure/azure-sql/database/active-geo-replication-overview It is written:  " Both primary and secondary databases are required to have the same service tier. It is also strongly recommended that the secondary database is created with the same backup storage redundancy and compute size (DTUs or vCores) as the primary. If the primary database is experiencing a heavy write workload, a secondary with lower compute size may not be able to keep up with it. That will cause redo lag on the secondary, and potential unavailability of the secondary. To mit...