Skip to main content

על בעיות של ניהול פיתוח לענן


  1. על ניהול סביבת פיתוח מול הענן: הבעיה המרכזית בניהול פיתוח לענן שייכת לתחום הבדיקות  - שום ענן מקומי ושם אימולטור אינו מדמה במאה אחוזים את מה שקורה בענן עצמו. בכל רכיבי הבדיקות, על בעיה זו ניתן להתגבר בשיטת עבודה טובה והקמת מערכת בדיקות בענן עצמו.
  2. על ניהול גרסאות מול הענן:  במידה ואתם עובדים מול לקוחות רגילים ומול לקוחות הרוצים מוצרים בענן  - מהי הדרך הטובה ביותר לנהל את הפיתוח כך שאפשר יהיה לתחזק את שתי המערכות ואת שתי סביבות הבדיקות? אפשר לומר כי מטרת מנהל הפיתוח היא להקים סביבת פיתוח אחת - אם הדבר לא אפשרי צריך למצוא את הפתרון לסינכרון 2 הסביבות.
  3. Check List - למנהל המבולבל - מה הצוות צריך לבצע לפני העלאה לענן:
    1. על הפרוייקט להיות מקומפל בסביבת VS2010 - רצוי 64 Bits ולא 32.
    2. יש להריץ בענן מקומי (אימולטור) ולראות שהכול עובד כהלכה
    3. במידה ואתה משתמש ב Registery או ב Event Log עליך ליצור קובץ StartUp command שבעצם ירוץ בעליית ה Role וייצור את מה שצריך במחשב המיועד לך בענן.
    4. יש ליצור חבילה להעלאה - רצוי לשמור חבילה זו עם מספר ותיאור כללי.
    5. יש להעלות את החבילה ולבדוק שהכול רץ ועובד תקין.
    6. יש להעביר אתר ל PROD
  4. כיצד מנהלים קבצי publish - הקבצים - או החבילות שנוצרות  אינן נשמרות ויכול להיווצר מצב שנדרסה גירסה. לכן מומלץ לשמור בספריה מיוחדת על חבילה עם תיאור כללי ועם פרטים כלליים.
  5. תיעוד בעיית התיעוד, גם היא מהווה בעיה למנהל הפיתוח - ניתן לומר כי עולמות התיעוד וההצגה הסכמתית של המערכת - אינה דומה מערכת שמוצגת כמנוהלת בתוך האירגון עם הצגת האחראים לבין מערכת שיושבת מחוץ למה שהארגון מנהל.
  6. ניהול גרסה מקומית פעילה ועובדת מול גרסה לענן והיכן מתבצעות הבדיקות - פה מגיעים לבעיה המרכזית שבענן אין אפשרות להגיע לתאימות באתר מקומי מול אתר הענן (הדבר בא במיוחד לידי ביטוי לחברה שרוצה להחזיק 2 גירסאות של אתרים  - לענן ולשימוש בתוך החברה.)- אם נתאר אפליקציה קטנה המורכבת משלושה רכיבים: ,SQLAzure,Web Role,Worker Role.
    1. כעת נפרק את 3 הרכיבים לגורמים וניראה מה יש בענן מקומי, SQL 2008R2 או כל גירסה אחרת אינה תואמת את גירסת ה SQL Azure ובעצם הבדיקה אינה אמיתית. לכן ניתן לבדוק ב SQL Server רגיל אבל לדעת את מגבלת הבדיקות.
    2. כידוע בעת קימפול בmode של ענן נוצר ענן מקומי - יש לשים לב כי גם ה WEB site אינם מדמים במלוא מובן המילה את מה שיקרה בענן. יש שוני בהגבלות של 32 מול 64 BITS, ועוד הבדלים שונים.
    3. גם סרביסים רגילים סובלים ממה שמוזכר בנקודה מספר 2
לסיכום ניתן לומר כי הקונפליקטים בהם חי מנהל הפיתוח מול הצוות ומול מקבלי ההחלטות באים לידי ביטוי במישור של ציפיות והגדרות - מה רוצים מהמוצר והיכן רוצים שהוא יחיה, כמו כל מוצר - ככל שרוצים יותר סביבות חיים אפשריות למוצר - הדבר דורש תחזוקה רבה יותר וזמן פיתוח רב יותר.


עוד אכתוב בהמשך פוסטים - המציגים גם פתרונות יצירתיים לבעיות שעלו, וכן על ארכיטקטורה בכלל.

Comments

Popular posts from this blog

How to restore deleted Azure Synapse dedicated SQL pool

  Existing dedicated pool can be easily restored from Azure portal or PowerShell command, but for now deleted pool could be restored from PowerShell only! Example: # Connect to Azure with system-assigned managed identity $AzureContext = (Connect-AzAccount -Identity).context # set and store context $AzureContext = Set-AzContext -SubscriptionName $AzureContext.Subscription -DefaultProfile $AzureContext # $AzureContext = Set-AzContext -SubscriptionName $SubscriptionName -DefaultProfile $AzureContext $SubscriptionName="Databases" $ResourceGroupName="stg-rg-we" $ServerName="stg-synapse-we"   $DatabaseName="sql_we_2023_11_07_13_42" $NewDatabaseName="sql_dp_we_deleted" ######################################## $token = (Get-AzAccessToken -ResourceUrl https://database.windows.net).Token $SubscriptionId = "ce088f9e-1111111a3914b" $DedicatedPoolEndPoint = "stg-synapse-we.sql.azuresynapse.net" $DedicatedPoolName = $DatabaseNam...

The journey to the Lakehouse

A long time has passed since the last post, we have gone through a long and tedious journey to adapt what Azure offers us, to our needs. Our needs were simple, the Current Datawarehouse (SQL Server on VM inazure) served the BI. ML teams worked on GCP, we want to let both teams to work on Azure in a platform that will have the ability to scale and will not fail every 2 days. We checked: Snowflake on azure Synapse analytics GCP We decided to go for the full Azure product for the reasons: Migration time support costs Synapse as a platform contains many components, and the challenge was to find what fits  us as an organization and as a group. The knowledge of the people and their abilities influenced the plans. Here's what we planned and what we did: We start to put everything in the Data Lake in parquet or delta format, build on top of Azure ADLS gen 2. We had to move some data to T-SQL compatible platform, so this involves setting up a dedicated Synapse pool , which is a fully man...

From DBA to Data Engineer in Azure

I recently moved a role From being a DBA Manager, Who is responsible for the operational databases. I moved to manage the data engineering group. So what exactly is the difference between the two functions? DBA - Production Databases: SQL\ NoSQL- 24*7, powerful server on premise or on the cloud, managed or semi managed, security tasks, high performance is a target, multiregional, HA as top priority. Developers are using Microservices - so we have many applications many services and many many Databases. Many kinds of DB's like Cloud IAAS and PAAS. Secure and audit the data is must. The Clusters must have Uptime as long as we can achive. Data Modeling - is so important too. Challenges and Problems in the data bases systems Lots of DB’s Lots of creators / no standards Lots of Consumers (Query, tools, SLA) Raw data Lots of data resources Data silos In Data Engineering we have other challenges for example we have Data lake and Data Warehouses : Batch process. Stream Process. many data ...