2014-09-21

What can we do with "Azure Automation"

שלום לכולם
פוסט זה נכתב בהשראת פוסט שכתב  ממיקרוסופט, שם המאמר:


כשקראתי את המאמר הזה פצחתי בריקוד, סוף סוף לא נהייה תלויים במפתחים צהלתי, ועל מה כל המהומה?

אין לנו Agent ב SQL Azure.

איזה DBA יכול לתפקד ללא Agent?

אז עד היום כשרצינו שמשהו ירוץ לפי לוח זמנים ב SQL Azure קבוע, היינו מתחננים למפתחים שיבנו לנו אפליקציה ושתריץ מה שצריך.

ועכשיו סוף סוף יש כלי שמריץ סקריפטים של PS כפי שאנו רוצים על בסיס קבוע.

בדקתי, בחנתי, ניסיתי וזה עובד ועובד טוב.

אולם הבעיה המרכזית כרגע היא שעדיין מדיניות ה Fair Share, מדיניות זו מגבילה הרצות בבסיסי הנתונים עד כחצי שעה, ומדיניות זו עדיין קיימת.

כלומר אם אתה רוצה להריץ בניה של אינדקס על טבלה ענקית זה יעוף אחרי כחצי שעה.

יש המון פרטים, איך יוצרים, איך בודקים, יש הגדרת הרשאות יש יצירת סקריפט ובדיקה שלו ואז מבצעים Publish ונוצר runbook.

ואז ניתן לתת לו לוח זמנים.

אני משתמש בו לעידכוני סטטיסטיקות ול reindex לטבלה מאד חשובה, אולם עדיין לטבלאות גדולות אין אפשרות להריץ תהליכים גדולים.

ה Azure automation נמצא בתפרטי הראשי מתחת ל CDN.


פה שמתי סקריפט שמובא במאמר שבודק גודל של בסיס נתונים ואם צריך לרוקן טבלה מרוקן...

להלן היסטוריה של ג'וב



ואם לוחצים על ההיסטוריה הנה ה output

להלן אצרף סקריפט שעושה update statistics לטבלה אחת , כאשר הסקריפט ניגש לבסיס נתונים Master ומשם עובר על כל בסיסי הנתונים - ויש לנו שם טבלה אחת ועובר עליה ומעדכן סטטיסטיקות.
הסקריפט מקבל 2 פרמטרים - אחד שם של הרשאות ושנית שם של שרת.

לא ארד לפרטים של איך מריצים זה מאד אינטואטיבי וקל.
אשמח לקבל מיילים אם יש בעית.

workflow update_statistcs
{
    param
    (
        # Fully-qualified name of the Azure DB server 
        [parameter(Mandatory=$true)] 
        [string] $SqlServerName,

        # Credentials for $SqlServerName stored as an Azure Automation credential asset
        # When using in the Azure Automation UI, please enter the name of the credential asset for the "Credential" parameter
        [parameter(Mandatory=$true)] 
        [PSCredential] $Credential
    )

    inlinescript
    {

        # Setup credentials   
        $ServerName = $Using:SqlServerName
        $UserId = $Using:Credential.UserName
        $Password = ($Using:Credential).GetNetworkCredential().Password

        # Setup threshold for % of maximum DB size
        $Threshold = 0.8

        # Create connection to Master DB
        $MasterDatabaseConnection = New-Object System.Data.SqlClient.SqlConnection
        $MasterDatabaseConnection.ConnectionString = "Server = $ServerName; Database = Master; User ID = $UserId; Password = $Password;"
        
        $MasterDatabaseConnection.Open();

        # Create command to query the current size of active databases in $ServerName
        $MasterDatabaseCommand = New-Object System.Data.SqlClient.SqlCommand
        $MasterDatabaseCommand.Connection = $MasterDatabaseConnection
        $MasterDatabaseCommand.CommandTimeout = 0
        $MasterDatabaseCommand.CommandText = 
            " 
                SELECT 
                       database_name,
                       storage_in_megabytes [SizeMB]
                FROM 
                       [sys].[databases] as db
                INNER JOIN
                       [sys].[resource_usage] as rs
                ON
                       rs.database_name = db.name
                WHERE
                       [time] = (SELECT Max([time]) FROM [sys].[resource_usage] WHERE database_name = db.name)
                GROUP BY 
                       database_name, storage_in_megabytes
            "
        # Execute reader and return tuples of results <database_name, SizeMB>
        $MasterDbResult = $MasterDatabaseCommand.ExecuteReader()

        # Proceed if there is at least one database
        if ($MasterDbResult.HasRows)
        {
            # Create connection for each individual database
            $DatabaseConnection = New-Object System.Data.SqlClient.SqlConnection
            $DatabaseCommand = New-Object System.Data.SqlClient.SqlCommand

            # Iterate through each database under $ServerName
            while($MasterDbResult.Read())
            {
                $DbName = $MasterDbResult[0]
                $DbSize = $MasterDbResult[1]

                # Apply conditions for user databases (i.e., not master DB)
                if($DbName -ne "Master")
                {
                    # Setup connection string for $DbName
                    $DatabaseConnection.ConnectionString = "Server=$ServerName; Database=$DbName; User ID=$UserId; Password=$Password;"
                    $DatabaseConnection.Open();

                    # Create command for a specific database $DBName
                    $DatabaseCommand.CommandTimeout = 0
                    $DatabaseCommand.Connection = $DatabaseConnection
                    $DatabaseCommand.CommandText = " update statistics DataRetention  with sample 10 PERCENT;"

                    # Execute query and return single scalar result 
                    $DbResultBytes = $DatabaseCommand.ExecuteScalar()
                    $MaxDbSizeMB = $DbResultBytes/(1Mb)

                    
                    # When the current $DbSize is greater than a percentage ($Threshold) of the $MaxDbSizeMB
                    # then perform a certain action, in this example, truncate a table on that database
                     
                        $start=Get-Date
                        Write-Output "Perform update statistics NewsFeedStream.Streams on $DbName :  $start"
                     

                    # Close connection to $DbName
                    $DatabaseConnection.Close()        
                }
            }
        } 

        # Close connection to Master DB
        $MasterDatabaseConnection.Close() 
    }    
}

2014-09-08

New Metric for SQL Azure - DTU

שלום לכולם
וכן גם זה סוף סוף הגיע, מה הגיע? מידע - שהיה חסר לנו.
אז מה היה חסר לנו?
כאשר יצרו ב SQL Azure את 3 השכבות - ההבדלים ביניהם הוגדרו לפי מושג שנקרא DTU - שהיווה שיכלול של טרנזקציות לשניה ועוד מספר מדדים:

Service Tier Performance Level DTU
Basic   5
Standard S1 20
Standard S2 50
Premium P1 100
Premium P2 200
Premium P3 800


אגב עוד נושא חדש שיהיה החודש זה tier חדש - S0, אבל זה נושא אחר.

בקיצור ה DTU שצרכנו לא היה ידוע ולאחרונה הוסיפו אותו למוניטור בפורטל.
הנה תמונה של שני בסיסי נתונים באחד הצריכה היא כמעט כל הזמן 100% - מה שאומר שאולי לא תהיה לי ברירה אלא לשנות קוד או לשדרג לשכבה יותר יקרה.
הוסיפו מטריקה זו ל monitor שלכם ותהנו.
אגב טרם מצאתי את ה View שמכיל מידע זה.



2014-09-01

Auditing in SQL Azure - Azure SQL Database

צהריים טובים
לאחרונה ניכנס פיצ'ר ממש חשוב, הפיצ'ר קשור ל Audit.
כלומר הקלטה של כל מה שעובר מול בסיס הנתונים החל בשינויי סכמה, שליפת data, ושינוי data, הרשאות ובעיות אבטחה, הכל מוקלט.

כיצד לבצע enable לפיצ'ר הזה ?
כנסו דרך הפורטל החדש תעמדו על בסיס הנתונים בפורטל החדש - קופץ מסך ובו חלקים ניטור וכדומה - שם יש חלק שנקרא Operations. לוחצים עליו ומשם ניתן לבצע enable.

כדי לתפוס כל מה שעובר לבסיס הנתונים צריך לשנות חיבור לבסיס הנתונים.

תתחברו לבסיס הנתונים דרך ה - connection string  הזה:

vj8edro6od.database.windows.net - without auditing
vj8edro6od.database.secure.windows.net - with auditing

כלומר כל מה שעובר דרך Secure נתפס על ידי שרת הפרוקסי ומאוחסן ב Azure table Storage.

כאשר מכאן יש 2 מסלולי תיחקור - אחד ישירות מול הטבלה למשל עם הכלי הנקרא Azure Storage Explorer, ופה מתחקרים את הטבלה עצמה - שימו לב, לא ב SQL.

מסלול שני הניתן ע"י מיקרוסופט - מורידים excel template שרק מתחברים ממנו ל טבלה ואז בצורה גרפית יפה וברורה אפשר לראות מה בוצע על ידי מי - חיתוכים יפים, בקיצור החברים עשו עבודה טובה.

עדיין פעולות מהפורטל לא נתפסות על ידי השרת וכן מהפרוטל וובי של ה sql עצמו.

מעבר לזה יש וידאו טוב שמסביר ומציג את הדברים שימו לב למבטא הישראלי של אייל כרמל. החברים מחיפה פיתחו את זה.

הנה הלינק לוידאו שמסביר היטב את הנושא הזה:

הנה לינק כללי להכרזה


נסו ותהנו - אני כבר מרוצה וזה עובד ממש טוב
פיני