2014-11-17

What this new Button:'Open In Visual Studio' in SQL Azure

Hi
Today some English in the Post :-)

Yesterday when I logged into the new and the Old Azure Portal I saw a new button 'Open In Visual Studio' under the SQL Database tab:




I asked myself - is it related to the new announcement about open source and cross platform of .NET. 

So I clicked on the button in both the new and the old portal. I was asked to install update 4 for my VS 2013. After this was installed, I again clicked on the new button - the world did not blow up. It appears that it just opens the "SQL Server Object Explorer" with a regular connection to the DB.

I do not think its worthwhile to work with this but then I had a brainwave that now I can do comparisons with my code or with other DBs very quickly.

So for now its not so important feature, lets see what they will do with it next time.

Pini

2014-10-29

2014-09-21

What can we do with "Azure Automation"

שלום לכולם
פוסט זה נכתב בהשראת פוסט שכתב  ממיקרוסופט, שם המאמר:


כשקראתי את המאמר הזה פצחתי בריקוד, סוף סוף לא נהייה תלויים במפתחים צהלתי, ועל מה כל המהומה?

אין לנו Agent ב SQL Azure.

איזה DBA יכול לתפקד ללא Agent?

אז עד היום כשרצינו שמשהו ירוץ לפי לוח זמנים ב SQL Azure קבוע, היינו מתחננים למפתחים שיבנו לנו אפליקציה ושתריץ מה שצריך.

ועכשיו סוף סוף יש כלי שמריץ סקריפטים של PS כפי שאנו רוצים על בסיס קבוע.

בדקתי, בחנתי, ניסיתי וזה עובד ועובד טוב.

אולם הבעיה המרכזית כרגע היא שעדיין מדיניות ה Fair Share, מדיניות זו מגבילה הרצות בבסיסי הנתונים עד כחצי שעה, ומדיניות זו עדיין קיימת.

כלומר אם אתה רוצה להריץ בניה של אינדקס על טבלה ענקית זה יעוף אחרי כחצי שעה.

יש המון פרטים, איך יוצרים, איך בודקים, יש הגדרת הרשאות יש יצירת סקריפט ובדיקה שלו ואז מבצעים Publish ונוצר runbook.

ואז ניתן לתת לו לוח זמנים.

אני משתמש בו לעידכוני סטטיסטיקות ול reindex לטבלה מאד חשובה, אולם עדיין לטבלאות גדולות אין אפשרות להריץ תהליכים גדולים.

ה Azure automation נמצא בתפרטי הראשי מתחת ל CDN.


פה שמתי סקריפט שמובא במאמר שבודק גודל של בסיס נתונים ואם צריך לרוקן טבלה מרוקן...

להלן היסטוריה של ג'וב



ואם לוחצים על ההיסטוריה הנה ה output

להלן אצרף סקריפט שעושה update statistics לטבלה אחת , כאשר הסקריפט ניגש לבסיס נתונים Master ומשם עובר על כל בסיסי הנתונים - ויש לנו שם טבלה אחת ועובר עליה ומעדכן סטטיסטיקות.
הסקריפט מקבל 2 פרמטרים - אחד שם של הרשאות ושנית שם של שרת.

לא ארד לפרטים של איך מריצים זה מאד אינטואטיבי וקל.
אשמח לקבל מיילים אם יש בעית.

workflow update_statistcs
{
    param
    (
        # Fully-qualified name of the Azure DB server 
        [parameter(Mandatory=$true)] 
        [string] $SqlServerName,

        # Credentials for $SqlServerName stored as an Azure Automation credential asset
        # When using in the Azure Automation UI, please enter the name of the credential asset for the "Credential" parameter
        [parameter(Mandatory=$true)] 
        [PSCredential] $Credential
    )

    inlinescript
    {

        # Setup credentials   
        $ServerName = $Using:SqlServerName
        $UserId = $Using:Credential.UserName
        $Password = ($Using:Credential).GetNetworkCredential().Password

        # Setup threshold for % of maximum DB size
        $Threshold = 0.8

        # Create connection to Master DB
        $MasterDatabaseConnection = New-Object System.Data.SqlClient.SqlConnection
        $MasterDatabaseConnection.ConnectionString = "Server = $ServerName; Database = Master; User ID = $UserId; Password = $Password;"
        
        $MasterDatabaseConnection.Open();

        # Create command to query the current size of active databases in $ServerName
        $MasterDatabaseCommand = New-Object System.Data.SqlClient.SqlCommand
        $MasterDatabaseCommand.Connection = $MasterDatabaseConnection
        $MasterDatabaseCommand.CommandTimeout = 0
        $MasterDatabaseCommand.CommandText = 
            " 
                SELECT 
                       database_name,
                       storage_in_megabytes [SizeMB]
                FROM 
                       [sys].[databases] as db
                INNER JOIN
                       [sys].[resource_usage] as rs
                ON
                       rs.database_name = db.name
                WHERE
                       [time] = (SELECT Max([time]) FROM [sys].[resource_usage] WHERE database_name = db.name)
                GROUP BY 
                       database_name, storage_in_megabytes
            "
        # Execute reader and return tuples of results <database_name, SizeMB>
        $MasterDbResult = $MasterDatabaseCommand.ExecuteReader()

        # Proceed if there is at least one database
        if ($MasterDbResult.HasRows)
        {
            # Create connection for each individual database
            $DatabaseConnection = New-Object System.Data.SqlClient.SqlConnection
            $DatabaseCommand = New-Object System.Data.SqlClient.SqlCommand

            # Iterate through each database under $ServerName
            while($MasterDbResult.Read())
            {
                $DbName = $MasterDbResult[0]
                $DbSize = $MasterDbResult[1]

                # Apply conditions for user databases (i.e., not master DB)
                if($DbName -ne "Master")
                {
                    # Setup connection string for $DbName
                    $DatabaseConnection.ConnectionString = "Server=$ServerName; Database=$DbName; User ID=$UserId; Password=$Password;"
                    $DatabaseConnection.Open();

                    # Create command for a specific database $DBName
                    $DatabaseCommand.CommandTimeout = 0
                    $DatabaseCommand.Connection = $DatabaseConnection
                    $DatabaseCommand.CommandText = " update statistics DataRetention  with sample 10 PERCENT;"

                    # Execute query and return single scalar result 
                    $DbResultBytes = $DatabaseCommand.ExecuteScalar()
                    $MaxDbSizeMB = $DbResultBytes/(1Mb)

                    
                    # When the current $DbSize is greater than a percentage ($Threshold) of the $MaxDbSizeMB
                    # then perform a certain action, in this example, truncate a table on that database
                     
                        $start=Get-Date
                        Write-Output "Perform update statistics NewsFeedStream.Streams on $DbName :  $start"
                     

                    # Close connection to $DbName
                    $DatabaseConnection.Close()        
                }
            }
        } 

        # Close connection to Master DB
        $MasterDatabaseConnection.Close() 
    }    
}

2014-09-08

New Metric for SQL Azure - DTU

שלום לכולם
וכן גם זה סוף סוף הגיע, מה הגיע? מידע - שהיה חסר לנו.
אז מה היה חסר לנו?
כאשר יצרו ב SQL Azure את 3 השכבות - ההבדלים ביניהם הוגדרו לפי מושג שנקרא DTU - שהיווה שיכלול של טרנזקציות לשניה ועוד מספר מדדים:

Service Tier Performance Level DTU
Basic   5
Standard S1 20
Standard S2 50
Premium P1 100
Premium P2 200
Premium P3 800


אגב עוד נושא חדש שיהיה החודש זה tier חדש - S0, אבל זה נושא אחר.

בקיצור ה DTU שצרכנו לא היה ידוע ולאחרונה הוסיפו אותו למוניטור בפורטל.
הנה תמונה של שני בסיסי נתונים באחד הצריכה היא כמעט כל הזמן 100% - מה שאומר שאולי לא תהיה לי ברירה אלא לשנות קוד או לשדרג לשכבה יותר יקרה.
הוסיפו מטריקה זו ל monitor שלכם ותהנו.
אגב טרם מצאתי את ה View שמכיל מידע זה.



2014-09-01

Auditing in SQL Azure - Azure SQL Database

צהריים טובים
לאחרונה ניכנס פיצ'ר ממש חשוב, הפיצ'ר קשור ל Audit.
כלומר הקלטה של כל מה שעובר מול בסיס הנתונים החל בשינויי סכמה, שליפת data, ושינוי data, הרשאות ובעיות אבטחה, הכל מוקלט.

כיצד לבצע enable לפיצ'ר הזה ?
כנסו דרך הפורטל החדש תעמדו על בסיס הנתונים בפורטל החדש - קופץ מסך ובו חלקים ניטור וכדומה - שם יש חלק שנקרא Operations. לוחצים עליו ומשם ניתן לבצע enable.

כדי לתפוס כל מה שעובר לבסיס הנתונים צריך לשנות חיבור לבסיס הנתונים.

תתחברו לבסיס הנתונים דרך ה - connection string  הזה:

vj8edro6od.database.windows.net - without auditing
vj8edro6od.database.secure.windows.net - with auditing

כלומר כל מה שעובר דרך Secure נתפס על ידי שרת הפרוקסי ומאוחסן ב Azure table Storage.

כאשר מכאן יש 2 מסלולי תיחקור - אחד ישירות מול הטבלה למשל עם הכלי הנקרא Azure Storage Explorer, ופה מתחקרים את הטבלה עצמה - שימו לב, לא ב SQL.

מסלול שני הניתן ע"י מיקרוסופט - מורידים excel template שרק מתחברים ממנו ל טבלה ואז בצורה גרפית יפה וברורה אפשר לראות מה בוצע על ידי מי - חיתוכים יפים, בקיצור החברים עשו עבודה טובה.

עדיין פעולות מהפורטל לא נתפסות על ידי השרת וכן מהפרוטל וובי של ה sql עצמו.

מעבר לזה יש וידאו טוב שמסביר ומציג את הדברים שימו לב למבטא הישראלי של אייל כרמל. החברים מחיפה פיתחו את זה.

הנה הלינק לוידאו שמסביר היטב את הנושא הזה:

הנה לינק כללי להכרזה


נסו ותהנו - אני כבר מרוצה וזה עובד ממש טוב
פיני

2014-08-24

SQL Azure Geo Replication

Hi
Today i will publish a post of a friend, Yitzchak Wahanon - @YitzWahanon

He wrote this post about Premium Tier, but meanwhile we have non readable replica in Standard Tier too.
Its all of the same but the main change is - that its not readable. Only MSFT will decide if it will be available for us.

This Post include lots of images, its important to understand the Process.

Creation

Already have 1 Server, so need to start by creating the database.
Create a new database
Needs to be Premium Edition:



 Create a new server in a different Geo location.

Within the Source database, Click on Geo_Replication: - Click on “Add Replica” at the bottom


Choose Server - obviously in a different location to the source:




 Accept to pay lots of money:



Progress and steps are reported at the bottom of the screen:


 If you connect to the secondary server then you can see that the database is being copied


 Go back to the source and it will show that the geo-replication is active



Now configure IP access to the new server.


Testing

Insert a record in the Source and see it almost immediately replicated to the Copy


 Try Inserting into the Copy



 Create another server in another geo location and another replica



In the SQL Databases you now have 


 Try changing the scale of a replica


 Try changing the scale of the master:


Stop the replica on the master































































Note the Geo-Replication screen takes time to update.

After you stop geo-replication the Copy database still exists, just marked with “None” in the Replication column. The database is also read/write now





















2014-08-13

Deleted picture

שלום חברים
משום מה לאחרונה גוגל מוחקים לי מהבלוג חלק מהתמונות.
איני מבין מדוע ואני בבירורים.
אם למישהו יש צורך בבלוג ספציפי עם תמונות הוא יכול לשלוח לי בקשה במייל ואשלח את הבלוג עם התמונות עצמן.
אני מצטער על אי הנוחות

פיני

2014-08-04

Azure New Portal and SQL Database

שלום לכולם

מיקרוסופט עובדים על פורטל חדש.
לוותיק ב Azure כמוני הפורטל הנוכחי נקרא פורטל חדש, ואני עוד זוכר את הפורטל הישן - הנה תזכורות קטנה:


הוסף כיתוב


וואו זה באמת היה מזמן...
אז הלכו לפורטל חדש עוד יותר :-)
הרעיון המרכזי הוא שיטת עבודה מודולרית - חולנות קופצים הצידה ועוד ועוד, המתודולוגיה הראשית היא שהפורטל יהיה זמין לכל סוגי המכשירים ויהיה אפשר לראות הכל ובצורה אחידה. טאבלט סלולר או מחשב אישי בהכל ניראה אותו דבר.
אם היום הפורטל הוא HTML5, ובעיקרון כן עולה בסוגים שונים של מכשירים, הבעיה היא שהפריימים זזים ויש בעיה ברזולוציות. ועכשיו עניינים אלו אמורים להיפטר.

וגם מראה חדש וצעיר לא מזיק אף פעם....

בקשר לבסיסי הנתונים ניתן ליצור שרת ולתת לו שם (זה משהו חדש :-) ), ניתן לראות גרף גדילה, אפשר לשנות tier, אולם עדיין אי אפשר לבצע הרבה מהדברים שיש בפורטל הקודם.


מצורפות מספר תמונות

המסך הראשי - בצד שמאל אפשרויות של פעולה, ובאמצע מסך על מצב ה DataCenters



כאשר לוחצים על שורת פעולות ולוחצים על SQL database כמו שרואים פה:


ואז בלחיצה קופץ כל המסך שמאלה ועולה רשימה של בסיסי הנתונים:


טבלת בסיסי הנתונים. כאשר לוחצים על בסיס נתונים חדש, קופץ כל המסך ..... כן שמאלה ועולים כל מיני תתי מסכים עם אפשרויות שונות כל תת מסך מקפיץ נתונים ודברים הרלוונטים אליו (גודל, מוניטור,גדילה, סוג בסיס נתונים ו audit... ועל זה ארחיב בפוסט הקרוב)


כאשר לוחצים על אחד המסכים למשל מסך Pricing tier
עולות אפשריות של סוג בסיס הנתונים פרטי תשלום וכדומה, בלחיצה על כל כפתור ניתן לשנות... זו המקבילה לכפתור scale בפורטל הקודם, פה למשל בחרתי s2 והוא מסומן.



זהו עד כאן סקירה קצרה זו

בשורות טובות
פיני

2014-06-30

Alerting and Monitoring on SQL Azure

שלום רב
היום אכתוב על נושא של התרעות וכלי ניטור ש Azure נותן לנו כחלק מהמוצר.
(לפני זמן רב כתבתי על כלים חינמיים לניטור, וכן השוותי בין AWS לבין Azure), המוצר עצמו מאד התפתח ואנו עדים לכלי התרעה מובנים במוצר, כלי התרעה מובנים נוצרים על ידי מטריקות מדידה, להלן מטריקות המדידה.
ניגשים למסך של בסיסי נתונים בפורטל בוחרים בסיס נתונים רצוי לוחצים על Monitor, ואז רואים גרפים נחמדים.
בתחתית המסך לוחצים על אפשרות הוספת Metrics.















כאשר בוחרים Metrics רצויים לנו לפי קריטריונים שונים:



ואז במסך הראשי ניתן להוריד או להוסיף מהמסך ומהגרף Metrics רצויים לך על ידי לחיצה על העיגול הקטן:
הנה לפני:


והנה אחרי:

שימו לב לעמודה הכי ימנית
Alert Rules
לחלק מהמדדים ניתן להגדיר התרעה ולחלק מהמדדים לא ניתן להגדיר התרעה, נלך לעמוד על metric שניתן להגדיר עליו התרעה.
ברגע שנעמוד עליו בתחתית העמוד יש כפתור:
Add Rule





ואז בלחיצה נכנסים למסך של 
Define Alert


ממלאים מה שצריך כמו למי לשלוח את ההתרעה מה הגבול שממנה תישלח ההתרעה וכל כמה זמן לבדוק את המערכת.
וזו ההגדרה עצמה:

זהו הגדרנו התרעות. כאשר יגיע הגבול וההתרעה תיקפוץ - גם יישלח מייל וגם בפורטל יסומן בסיס הנתונים שיש לו התרעה - עד לשיחרור ההתרעה.
הנה metric שמוגדרת לו התרעה:



והנה כאשר נכנסים למסך של בסיס הנתונים  Active alert מסומן ובולט לעין:


הנה המייל שהגיע למי שצריך בנוגע להתרעה עצמה, המייל ברור - וכאשר נקטין בסיס הנתונים או נגדיל טווח ההתרעה יישלח מייל שהכל בסדר.



כדי לנהל את כל ההתרעות כולן יש מסך מיוחד שנקרא:
Management Services דרכו ניתן להגיע לכל ההתרעות לערוך אותן לשחרר אותן ולראות היסטוריה שלהן:




אם נלחץ על ההתרעה עצמה נראה מה קרה:



עד כאן הכל ברור אני מקווה.
מנגנון ההתרעות קיים לא רק על בסיסי נתונים - להיפך דווקא בבסיסי נתונים הוא עני ב Metrics שניתן לכמת לכדי התרעה.
ברוב הקומפוננטות האחרות יש לו עושר רב יותר של התרעות

נסו ותהנו.
פיני





2014-06-02

Compression in SQL Azure - Yes we have!!!

שלום לכולם
אתמול בלילה במקרה קראתי את הבלוג של Bob Beachemin שהוא חלק מ SQLSkills ושם הוא הזכיר בחצי משפט על זה שעכשיו יש דחיסה בבסיסי הנתונים בענן - לא האמנתי למראה עיניי.
ישר רצתי לבדוק ואכן זה עובד. אז ראשית התודות ל - @bobbeach

שאגב לקח לי בשניה האחרונה את הפוסט על Extended Events ב Azure.

דחיסה.... כן כן סוף סוף יש תמיכה בדחיסה - אפשר לדחוס טבלאות ואינדקסים ובכך לצמצם את גודל בסיס הנתונים ולהפחית עלויות.
כמובן יש מחיר של cpu, ועוד ההשפעות של דחיסה  - אולם יש דחיסה אפשר להקטין בסיסי נתונים ולשלם פחות ועדיין לקבל ביצועים.
פיצ'ר זה הוא סנונית ראשונה של פיצ'רים שלא היו עד היום ומנעו פעילות טובה בענן - הייתי צריך לעשות מיגרציה של בסיס נתונים ותמיד מנע אותי הענן מלהעלות כמו שהוא את בסיס הנתונים כי היתה לי דחיסה על הרבה בסיסי נתונים.

ב - etoro אנו שומרים כל מיני לוגים שמחוקרים מהם פעילות לקוחות וזה צריך להיות זמין כל הזמן תקופה ארוכה, נוח למתחקרים לתחקר בסיס נתונים רלציוני אולם מחירו לא היה כדאי עכשיו - גם הוסיפו שכבות וגם עושים דחיסה ובכך מורידים עוד גודלו של בסיס הנתונים ובכך משלמים פחות.

אתמול בצהריים הרצתי פקודה זו על בסיס הנתונים של סביבת ה QA של הלוגים הללו:

ALTER TABLE [dbo].[ExternalLogs] REBUILD PARTITION = ALL 
WITH (DATA_COMPRESSION = PAGE)
GO 

כמובן - סוף סוף - לא הייתה שגיאה שזה לא נתמך והפקודה רצה והנה התוצאה:
בסיס הנתונים ירד מ 22.69 - ל 8.44
MB.



כרגע אני עסוק בהורדת גודל הטבלאות הגדולות - שזה נושא יותר בעייתי בגלל אורך טרנזקציות בענן אבל זה נושא לדיון אחר.

פיני