Skip to main content

What can we do with "Azure Automation"

שלום לכולם
פוסט זה נכתב בהשראת פוסט שכתב  ממיקרוסופט, שם המאמר:


כשקראתי את המאמר הזה פצחתי בריקוד, סוף סוף לא נהייה תלויים במפתחים צהלתי, ועל מה כל המהומה?

אין לנו Agent ב SQL Azure.

איזה DBA יכול לתפקד ללא Agent?

אז עד היום כשרצינו שמשהו ירוץ לפי לוח זמנים ב SQL Azure קבוע, היינו מתחננים למפתחים שיבנו לנו אפליקציה ושתריץ מה שצריך.

ועכשיו סוף סוף יש כלי שמריץ סקריפטים של PS כפי שאנו רוצים על בסיס קבוע.

בדקתי, בחנתי, ניסיתי וזה עובד ועובד טוב.

אולם הבעיה המרכזית כרגע היא שעדיין מדיניות ה Fair Share, מדיניות זו מגבילה הרצות בבסיסי הנתונים עד כחצי שעה, ומדיניות זו עדיין קיימת.

כלומר אם אתה רוצה להריץ בניה של אינדקס על טבלה ענקית זה יעוף אחרי כחצי שעה.

יש המון פרטים, איך יוצרים, איך בודקים, יש הגדרת הרשאות יש יצירת סקריפט ובדיקה שלו ואז מבצעים Publish ונוצר runbook.

ואז ניתן לתת לו לוח זמנים.

אני משתמש בו לעידכוני סטטיסטיקות ול reindex לטבלה מאד חשובה, אולם עדיין לטבלאות גדולות אין אפשרות להריץ תהליכים גדולים.

ה Azure automation נמצא בתפרטי הראשי מתחת ל CDN.


פה שמתי סקריפט שמובא במאמר שבודק גודל של בסיס נתונים ואם צריך לרוקן טבלה מרוקן...

להלן היסטוריה של ג'וב



ואם לוחצים על ההיסטוריה הנה ה output

להלן אצרף סקריפט שעושה update statistics לטבלה אחת , כאשר הסקריפט ניגש לבסיס נתונים Master ומשם עובר על כל בסיסי הנתונים - ויש לנו שם טבלה אחת ועובר עליה ומעדכן סטטיסטיקות.
הסקריפט מקבל 2 פרמטרים - אחד שם של הרשאות ושנית שם של שרת.

לא ארד לפרטים של איך מריצים זה מאד אינטואטיבי וקל.
אשמח לקבל מיילים אם יש בעית.

workflow update_statistcs
{
    param
    (
        # Fully-qualified name of the Azure DB server 
        [parameter(Mandatory=$true)] 
        [string] $SqlServerName,

        # Credentials for $SqlServerName stored as an Azure Automation credential asset
        # When using in the Azure Automation UI, please enter the name of the credential asset for the "Credential" parameter
        [parameter(Mandatory=$true)] 
        [PSCredential] $Credential
    )

    inlinescript
    {

        # Setup credentials   
        $ServerName = $Using:SqlServerName
        $UserId = $Using:Credential.UserName
        $Password = ($Using:Credential).GetNetworkCredential().Password

        # Setup threshold for % of maximum DB size
        $Threshold = 0.8

        # Create connection to Master DB
        $MasterDatabaseConnection = New-Object System.Data.SqlClient.SqlConnection
        $MasterDatabaseConnection.ConnectionString = "Server = $ServerName; Database = Master; User ID = $UserId; Password = $Password;"
        
        $MasterDatabaseConnection.Open();

        # Create command to query the current size of active databases in $ServerName
        $MasterDatabaseCommand = New-Object System.Data.SqlClient.SqlCommand
        $MasterDatabaseCommand.Connection = $MasterDatabaseConnection
        $MasterDatabaseCommand.CommandTimeout = 0
        $MasterDatabaseCommand.CommandText = 
            " 
                SELECT 
                       database_name,
                       storage_in_megabytes [SizeMB]
                FROM 
                       [sys].[databases] as db
                INNER JOIN
                       [sys].[resource_usage] as rs
                ON
                       rs.database_name = db.name
                WHERE
                       [time] = (SELECT Max([time]) FROM [sys].[resource_usage] WHERE database_name = db.name)
                GROUP BY 
                       database_name, storage_in_megabytes
            "
        # Execute reader and return tuples of results <database_name, SizeMB>
        $MasterDbResult = $MasterDatabaseCommand.ExecuteReader()

        # Proceed if there is at least one database
        if ($MasterDbResult.HasRows)
        {
            # Create connection for each individual database
            $DatabaseConnection = New-Object System.Data.SqlClient.SqlConnection
            $DatabaseCommand = New-Object System.Data.SqlClient.SqlCommand

            # Iterate through each database under $ServerName
            while($MasterDbResult.Read())
            {
                $DbName = $MasterDbResult[0]
                $DbSize = $MasterDbResult[1]

                # Apply conditions for user databases (i.e., not master DB)
                if($DbName -ne "Master")
                {
                    # Setup connection string for $DbName
                    $DatabaseConnection.ConnectionString = "Server=$ServerName; Database=$DbName; User ID=$UserId; Password=$Password;"
                    $DatabaseConnection.Open();

                    # Create command for a specific database $DBName
                    $DatabaseCommand.CommandTimeout = 0
                    $DatabaseCommand.Connection = $DatabaseConnection
                    $DatabaseCommand.CommandText = " update statistics DataRetention  with sample 10 PERCENT;"

                    # Execute query and return single scalar result 
                    $DbResultBytes = $DatabaseCommand.ExecuteScalar()
                    $MaxDbSizeMB = $DbResultBytes/(1Mb)

                    
                    # When the current $DbSize is greater than a percentage ($Threshold) of the $MaxDbSizeMB
                    # then perform a certain action, in this example, truncate a table on that database
                     
                        $start=Get-Date
                        Write-Output "Perform update statistics NewsFeedStream.Streams on $DbName :  $start"
                     

                    # Close connection to $DbName
                    $DatabaseConnection.Close()        
                }
            }
        } 

        # Close connection to Master DB
        $MasterDatabaseConnection.Close() 
    }    
}

Comments

Popular posts from this blog

Extended Events in SQL Azure

Hi Everybody   Today an English post about 'Extended Events in SQL Azure', some of you shorten the name to 'EE' and some to 'XEvent'. I Love EE so this is how I will call it in this post.   This feature was introduce in SQL Server 2008 and its should help collecting DATA about what is running in the Server.   More Details about this SQL Server feature can be found in this Link: https://msdn.microsoft.com/library/bb630282.aspx?f=255&MSPPError=-2147217396   There are a few differences between EE in SQL Azure and regular SQL Server: In SQL Server versions the EE are on the Server level and therefore you create sessions on Server. In SQL Azure the server is a virtual entity - so the EE is in DB level and you create the session on DataBase. In SQL Server versions the EE can write to files on the server. SQL Azure does not have drives for files (SQL Azure is PAAS.....:-)). There is an option to write to blob storage, for this we need t...

How to restore deleted Azure Synapse dedicated SQL pool

  Existing dedicated pool can be easily restored from Azure portal or PowerShell command, but for now deleted pool could be restored from PowerShell only! Example: # Connect to Azure with system-assigned managed identity $AzureContext = (Connect-AzAccount -Identity).context # set and store context $AzureContext = Set-AzContext -SubscriptionName $AzureContext.Subscription -DefaultProfile $AzureContext # $AzureContext = Set-AzContext -SubscriptionName $SubscriptionName -DefaultProfile $AzureContext $SubscriptionName="Databases" $ResourceGroupName="stg-rg-we" $ServerName="stg-synapse-we"   $DatabaseName="sql_we_2023_11_07_13_42" $NewDatabaseName="sql_dp_we_deleted" ######################################## $token = (Get-AzAccessToken -ResourceUrl https://database.windows.net).Token $SubscriptionId = "ce088f9e-1111111a3914b" $DedicatedPoolEndPoint = "stg-synapse-we.sql.azuresynapse.net" $DedicatedPoolName = $DatabaseNam...

The journey to the Lakehouse

A long time has passed since the last post, we have gone through a long and tedious journey to adapt what Azure offers us, to our needs. Our needs were simple, the Current Datawarehouse (SQL Server on VM inazure) served the BI. ML teams worked on GCP, we want to let both teams to work on Azure in a platform that will have the ability to scale and will not fail every 2 days. We checked: Snowflake on azure Synapse analytics GCP We decided to go for the full Azure product for the reasons: Migration time support costs Synapse as a platform contains many components, and the challenge was to find what fits  us as an organization and as a group. The knowledge of the people and their abilities influenced the plans. Here's what we planned and what we did: We start to put everything in the Data Lake in parquet or delta format, build on top of Azure ADLS gen 2. We had to move some data to T-SQL compatible platform, so this involves setting up a dedicated Synapse pool , which is a fully man...