Skip to main content

What can we do with "Azure Automation"

שלום לכולם
פוסט זה נכתב בהשראת פוסט שכתב  ממיקרוסופט, שם המאמר:


כשקראתי את המאמר הזה פצחתי בריקוד, סוף סוף לא נהייה תלויים במפתחים צהלתי, ועל מה כל המהומה?

אין לנו Agent ב SQL Azure.

איזה DBA יכול לתפקד ללא Agent?

אז עד היום כשרצינו שמשהו ירוץ לפי לוח זמנים ב SQL Azure קבוע, היינו מתחננים למפתחים שיבנו לנו אפליקציה ושתריץ מה שצריך.

ועכשיו סוף סוף יש כלי שמריץ סקריפטים של PS כפי שאנו רוצים על בסיס קבוע.

בדקתי, בחנתי, ניסיתי וזה עובד ועובד טוב.

אולם הבעיה המרכזית כרגע היא שעדיין מדיניות ה Fair Share, מדיניות זו מגבילה הרצות בבסיסי הנתונים עד כחצי שעה, ומדיניות זו עדיין קיימת.

כלומר אם אתה רוצה להריץ בניה של אינדקס על טבלה ענקית זה יעוף אחרי כחצי שעה.

יש המון פרטים, איך יוצרים, איך בודקים, יש הגדרת הרשאות יש יצירת סקריפט ובדיקה שלו ואז מבצעים Publish ונוצר runbook.

ואז ניתן לתת לו לוח זמנים.

אני משתמש בו לעידכוני סטטיסטיקות ול reindex לטבלה מאד חשובה, אולם עדיין לטבלאות גדולות אין אפשרות להריץ תהליכים גדולים.

ה Azure automation נמצא בתפרטי הראשי מתחת ל CDN.


פה שמתי סקריפט שמובא במאמר שבודק גודל של בסיס נתונים ואם צריך לרוקן טבלה מרוקן...

להלן היסטוריה של ג'וב



ואם לוחצים על ההיסטוריה הנה ה output

להלן אצרף סקריפט שעושה update statistics לטבלה אחת , כאשר הסקריפט ניגש לבסיס נתונים Master ומשם עובר על כל בסיסי הנתונים - ויש לנו שם טבלה אחת ועובר עליה ומעדכן סטטיסטיקות.
הסקריפט מקבל 2 פרמטרים - אחד שם של הרשאות ושנית שם של שרת.

לא ארד לפרטים של איך מריצים זה מאד אינטואטיבי וקל.
אשמח לקבל מיילים אם יש בעית.

workflow update_statistcs
{
    param
    (
        # Fully-qualified name of the Azure DB server 
        [parameter(Mandatory=$true)] 
        [string] $SqlServerName,

        # Credentials for $SqlServerName stored as an Azure Automation credential asset
        # When using in the Azure Automation UI, please enter the name of the credential asset for the "Credential" parameter
        [parameter(Mandatory=$true)] 
        [PSCredential] $Credential
    )

    inlinescript
    {

        # Setup credentials   
        $ServerName = $Using:SqlServerName
        $UserId = $Using:Credential.UserName
        $Password = ($Using:Credential).GetNetworkCredential().Password

        # Setup threshold for % of maximum DB size
        $Threshold = 0.8

        # Create connection to Master DB
        $MasterDatabaseConnection = New-Object System.Data.SqlClient.SqlConnection
        $MasterDatabaseConnection.ConnectionString = "Server = $ServerName; Database = Master; User ID = $UserId; Password = $Password;"
        
        $MasterDatabaseConnection.Open();

        # Create command to query the current size of active databases in $ServerName
        $MasterDatabaseCommand = New-Object System.Data.SqlClient.SqlCommand
        $MasterDatabaseCommand.Connection = $MasterDatabaseConnection
        $MasterDatabaseCommand.CommandTimeout = 0
        $MasterDatabaseCommand.CommandText = 
            " 
                SELECT 
                       database_name,
                       storage_in_megabytes [SizeMB]
                FROM 
                       [sys].[databases] as db
                INNER JOIN
                       [sys].[resource_usage] as rs
                ON
                       rs.database_name = db.name
                WHERE
                       [time] = (SELECT Max([time]) FROM [sys].[resource_usage] WHERE database_name = db.name)
                GROUP BY 
                       database_name, storage_in_megabytes
            "
        # Execute reader and return tuples of results <database_name, SizeMB>
        $MasterDbResult = $MasterDatabaseCommand.ExecuteReader()

        # Proceed if there is at least one database
        if ($MasterDbResult.HasRows)
        {
            # Create connection for each individual database
            $DatabaseConnection = New-Object System.Data.SqlClient.SqlConnection
            $DatabaseCommand = New-Object System.Data.SqlClient.SqlCommand

            # Iterate through each database under $ServerName
            while($MasterDbResult.Read())
            {
                $DbName = $MasterDbResult[0]
                $DbSize = $MasterDbResult[1]

                # Apply conditions for user databases (i.e., not master DB)
                if($DbName -ne "Master")
                {
                    # Setup connection string for $DbName
                    $DatabaseConnection.ConnectionString = "Server=$ServerName; Database=$DbName; User ID=$UserId; Password=$Password;"
                    $DatabaseConnection.Open();

                    # Create command for a specific database $DBName
                    $DatabaseCommand.CommandTimeout = 0
                    $DatabaseCommand.Connection = $DatabaseConnection
                    $DatabaseCommand.CommandText = " update statistics DataRetention  with sample 10 PERCENT;"

                    # Execute query and return single scalar result 
                    $DbResultBytes = $DatabaseCommand.ExecuteScalar()
                    $MaxDbSizeMB = $DbResultBytes/(1Mb)

                    
                    # When the current $DbSize is greater than a percentage ($Threshold) of the $MaxDbSizeMB
                    # then perform a certain action, in this example, truncate a table on that database
                     
                        $start=Get-Date
                        Write-Output "Perform update statistics NewsFeedStream.Streams on $DbName :  $start"
                     

                    # Close connection to $DbName
                    $DatabaseConnection.Close()        
                }
            }
        } 

        # Close connection to Master DB
        $MasterDatabaseConnection.Close() 
    }    
}

Comments

Popular posts from this blog

Availability Zones in Azure and the relation to SLA in Azure SQL DB

שלום לכולם כאשר מקנפגים Azure SQL DB מנוהל והוא תחת Premium or Business Critical Toers מיקרוסופט שואלים אותך: Would you like to make this database zone redundant? מה זו השאלה הזו? מה ההשפעה שלה ומה העלות שלה? אז עשינו ובדקנו מה ההשפעה. הלינק הבסיסי להסבר הקונפיגורציה הזו הוא זה: https://azure.microsoft.com/is-is/blog/azure-sql-database-now-offers-zone-redundant-premium-databases-and-elastic-pools/ מה זה אומר? זה מסביר על המושג הקריטי Availability Zones ועל השימוש שלו ב SLA של הדיבי שלנו. ובכן בכל דאטה סנטר בענן יש בעצם 3 דאטה סנטרים, הכל מנותק אחד מהשני. https://docs.microsoft.com/en-us/azure/availability-zones/az-overview לכל Azure SQL DB יש 3 עותקים ניסתרים, מיקרוסופט נותנת אופציה לשמור את אחד העותקים הניסתרים ב Availability Zone אחר. הדבר מעלה את ה SLA כך שאם יש תקלה ב Availability Zone אחד זה לא משפיע על ה DB. לכן אני ממליץ בחום לכולם לאפשר את הקונפיגורציה הזו.

How to restore deleted Azure Synapse dedicated SQL pool

  Existing dedicated pool can be easily restored from Azure portal or PowerShell command, but for now deleted pool could be restored from PowerShell only! Example: # Connect to Azure with system-assigned managed identity $AzureContext = (Connect-AzAccount -Identity).context # set and store context $AzureContext = Set-AzContext -SubscriptionName $AzureContext.Subscription -DefaultProfile $AzureContext # $AzureContext = Set-AzContext -SubscriptionName $SubscriptionName -DefaultProfile $AzureContext $SubscriptionName="Databases" $ResourceGroupName="stg-rg-we" $ServerName="stg-synapse-we"   $DatabaseName="sql_we_2023_11_07_13_42" $NewDatabaseName="sql_dp_we_deleted" ######################################## $token = (Get-AzAccessToken -ResourceUrl https://database.windows.net).Token $SubscriptionId = "ce088f9e-1111111a3914b" $DedicatedPoolEndPoint = "stg-synapse-we.sql.azuresynapse.net" $DedicatedPoolName = $DatabaseNam...

Configuring secondary database in Azure SQL DB - Bug found

Hi All Last week we had an issue with a secondary DB in geo replication and fail over group. To make the long story short we had to delete the secondary and recreate a secondary from scratch . And now let me tell you the story, we build a DB in P6 tier - very high, expensive and highly available. Then we add a geo replication copy via the platform, like it shows here. This is take from MSFT documentation: https://docs.microsoft.com/en-us/azure/azure-sql/database/active-geo-replication-overview It is written:  " Both primary and secondary databases are required to have the same service tier. It is also strongly recommended that the secondary database is created with the same backup storage redundancy and compute size (DTUs or vCores) as the primary. If the primary database is experiencing a heavy write workload, a secondary with lower compute size may not be able to keep up with it. That will cause redo lag on the secondary, and potential unavailability of the secondary. To mit...