לוח המחוונים של האנליטיקה היה תקין ביום שלישי. עד חמישי הוא הראה ירידה של 23 אחוזים ברכישת לקוחות, שצוות העסקים התייחס אליה כאות עסקי אמיתי, ארגון מחדש של תקציבי שיווק, השהיית קמפיינים והעלאת הנושא לדירקטוריון. צוות הנדסת הנתונים גילה ביום שישי ששירות המעלה הוסיף עמודה הניתנת ל-null ל- registrations טבלה שישה ימים קודם לכן. צינור ה-ETL לא עודכן. החישוב שגזר את מדד הרכישה התייחס למספרים האפסים החדשים כאפסים במקום לא לכלול אותם. לא נשלחה הודעה על שינוי סכימה. לא הופר חוזה באופן שיצר שגיאה. הצינור פעל בהצלחה; הוא ייצר מספרים שגויים שנראו נכונים.
סחף סכמות מייצג מוטציה מבנית, בניגוד לבעיות איכות נתונים שבהן הערכים שגויים, סחף סכמות מפר את החוזה בין המקור ליעד. בסביבת מסד נתונים מונוליטית עם מנהל בסיס נתונים מרכזי ששולט בכל ה-DDL, חוזה זה נאכף על ידי רשות יחידה. במערכת מבוזרת, שבה עשרות שירותים עצמאיים מחזיקים כל אחד במאגר נתונים משלו, שבה זרמי אירועים נושאים סכמות Avro שמתפתחות באופן עצמאי, שבה ממשקי קבצים שטוחים בין משימות אצווה של מיינפריים לפלטפורמות ניתוח ענן מגדירים חוזים מרומזים שאינם קיימים בתיעוד של אף אחת מהמערכות, החוזה מבוזר על פני כל גבול במערכת. סחף סכמות בסביבה מבוזרת אינו מחכה שמנהל בסיס נתונים יעשה טעות. הוא נובע מפעולה רגילה של צוותים אוטונומיים המקבלים החלטות הגיוניות באופן אינדיבידואלי ללא נראות מלאה על כל צרכן במורד הזרם של הנתונים שלהם.
מיפוי גבול הסכימה הישנה
SMART TS XL מזהה כל חוזה בפורמט קובץ שטוח המחבר תוכנות מיינפריים לפלטפורמות אנליטיקה מודרניות.
גלו עוד…מהי סחף סכמה ומה היא לא
סחף סכימה הוא שינוי במבנה של ארטיפקט נתונים שאינו בא לידי ביטוי בצרכנים של אותו ארטיפקט. הדגש על צרכנים הוא מה שמבדיל סחיפה מהעברה מתוכננת: שינוי שם של עמודה המבוצע בו זמנית בטבלת המקור וכל שאילתה צורכת היא העברה של סכימה. שינוי שם של אותו שם המבוצע רק בטבלת המקור, ומשאיר את הצרכנים לקרוא שמות עמודות ישנים, הוא סחף סכימה.
צינורות נתונים מסתמכים על חוזה אמון בין מערכת המקור למחסן היעד. חוזה זה הוא הסכימה: המבנה המוסכם, סוגי הנתונים ושמות העמודות המגדירים את מערך הנתונים. כאשר צוותים במעלה הזרם משנים את מסד הנתונים של היישומים שלהם מבלי להודיע לצוות הנתונים, הם מפרים חוזה זה.
סחף סכימה אינו זהה לסחף נתונים. סחף נתונים הוא שינוי בהתפלגות הסטטיסטית של ערכים בתוך סכימה יציבה, ערכי סדר ממוצעים יורדים, שיעורי אפס עולים, התפלגויות קטגוריות משתנות. שניהם אותות חשובים לאיכות נתונים, אך הם דורשים גישות זיהוי שונות ומצביעים על סיבות שורש שונות. מערכת זיהוי שינויי סכימה המנטרת שמות וסוגי עמודות לא תתפוס סחף נתונים; מערכת ניטור התפלגות לא תתפוס הוספות והסרות של עמודות.
סחיפה של סכימה גם לא תמיד מזיקה. מעקב אחר חומרת הסחיפה לאורך זמן מסייע להבחין בין מחזורי פיתוח פעילים (סחיפה שפירה) לבין חוסר יציבות (סחיפה קריטית). הוספה תואמת לאחור של עמודה הניתנת ל-null לטבלה היא סחיפה של סכימה, הסכימה השתנתה, אך היא לא עשויה לשבש אף צרכן שמתעלם מהעמודה החדשה. סיווג הסחיפה כשפירה או קריטית דורש הבנת הצרכנים במורד הזרם וכיצד הם מטפלים בשינוי.
ארבעת סוגי סחף הסכימה
מערכות נתונים מבוזרות מייצרות סחף סכימה לאורך ארבעה ממדים נפרדים, שכל אחד מהם דורש מנגנוני זיהוי שונים:
סוג 1: סחיפה מבנית
שינויים בהגדרת הסכימה הפיזית: הוספות עמודות, הסרות עמודות, שינויי שמות של עמודות, שינויי סוגי נתונים, הוספות או הסרות של אילוצים, הוספות והסרות של טבלאות. זוהי הצורה הבולטת ביותר של סחיפת סכימה והנפוצה ביותר המטופלת על ידי כלי תצפית. שאילתות INFORMATION_SCHEMA של מסד הנתונים, השוואות רישום סכימות ויומני ביקורת של כלי הגירה לוכדים סחיפה מבנית ביעילות עבור מערכות מחוברות.
זיהוי: השוואת תמונת מצב של סכימה מול בסיס; סקר INFORMATION_SCHEMA; השוואת גרסאות של רישום סכימה.
סוג 2: סחיפה סמנטית
שינויים במשמעות של שדה קיים ללא שינויים בהגדרתו. עמודה בשם
statusשהכילו בעבר ערכיםACTIVE,INACTIVE,PENDINGכעת מכיל ערכים1,2,3מכיוון שהשירות המייצר שינה את הספירה שלו. הסכימה, שם העמודה, סוג הנתונים, האילוץ הניתן ל-null, נותרו ללא שינוי. החוזה הסמנטי שבור. צרכנים שניתחו ערכי סטטוס מחרוזות מקבלים כעת מספרים שלמים שהלוגיקה שלהם אינה מטפלת בהם.סחיפה סמנטית וסחיפה בהקשר הן חדשות יותר בשיחה ופחות מנוטרות באופן דרמטי, למרות ששניהם אחראים לנתח הולך וגדל של כשלים בתוכניות בינה מלאכותית. סחיפה סמנטית היא הקשה ביותר לזיהוי אוטומטי מכיוון שהיא אינה מייצרת אות מבני, היא דורשת ניטור של התפלגות ערכים (היחס בין ערכים ידועים לשינויים בערכים לא ידועים) או בדיקת חוזים מפורשת.
גילוי: ניטור התפלגות ערכים; כללי אימות ערכים מותרים; מבחני חוזים הקובעים ערכים תקפים ספציפיים.
סוג 3: סחף פורמט
שינויים בקידוד או בפורמט של ערכים בתוך שדות ללא שינוי מבני. שדה חותמת זמן שהכיל בעבר מחרוזות UTC ISO 8601 מכיל כעת מספרים שלמים של Unix epoch. שדה מטבע שהכיל בעבר סכומים עשרוניים מכיל כעת סכומים בסנטים כמספרים שלמים. העמודה קיימת, הסוג עדיין תקף עבור הערכים החדשים, אך מוסכמת הניתוח השתנתה.
סחף פורמט נפוץ במיוחד בגבולות של מערכות מבוזרות, שבהן שירות אחד מבצע סדרה של נתונים בפורמט שאחר מבצע ביטול סדרה, ובגבול המעבר בין מדור קודם למודרני, שבו תוכניות COBOL כותבות קבצים שטוחים עם מוסכמות ספציפיות של מיקום בתים שתהליכי ETL במורד הזרם תלויים בהם.
זיהוי: יצירת פרופילים סטטיסטיים של טווחי ערכים ודפוסים; כללי אימות פורמטים בשדות ספציפיים; מבחני חוזי גבול.
סוג 4: סחף חוזה
שינויים בהבטחות הזמינות, הרעננות או הנפח של מקור נתונים. מערכת המקור סיפקה בעבר מערך נתונים עד 3 לפנות בוקר UTC מדי יום; כעת היא מספקת אותו עד 6 בבוקר, ובכך מפרה בשקט תהליכים במורד הזרם שהניחו רעננות של 3 לפנות בוקר. מערכת המקור הבטיחה בעבר מינימום של 1,000 רשומות ביום; תקופות עם תעבורה נמוכה מייצרות כעת פחות. אף אחד מהשינויים אינו שינוי סכימה במובן המבני, אך שניהם מפרים את החוזה בין היצרן לצרכן.
גילוי: ניטור טריות; גילוי אנומליות נפח; התראות מבוססות SLA.
מדוע מערכות מבוזרות מגבירות את הבעיה
במערכת מונוליטית עם מסד נתונים יחיד וצוות יישומים יחיד, שינויי סכימה הם אירועים מבוקרים. מנהל ה-DBA כותב את ההעברה, המפתח מעדכן את השאילתות, והשינוי נפרס יחד. הסיכון לסחיפה של הסכימה קיים אך מוגבל להיקף הסמכות היחידה.
מערכות מבוזרות מסירות את הסמכות היחידה הזו. כל שירות מחזיק בבעלות על הנתונים שלו. כל צוות מקבל החלטות לגבי סכמות באופן עצמאי. צרכני הנתונים של כל שירות נמצאים לעתים קרובות מחוץ למודעות המיידית של אותו צוות, במיוחד כאשר הצרכן הוא פלטפורמת נתונים, צינור אנליטיקה או נקודת אינטגרציה מדור קודם שאף צוות מוצר לא מתחזק באופן פעיל.
Distributed Schema Drift Propagation Path:
Order Service Kafka Topic Analytics Pipeline
┌─────────────────┐ ┌───────────────┐ ┌──────────────────────┐
│ orders table │──>│ order.created │───>│ orders_fact table │
│ + coupon_id │ │ Avro schema │ │ (missing coupon_id) │
│ (new column) │ │ v1 still used │ │ pipeline runs fine │
│ │ │ │ │ coupon data silently │
│ │ │ │ │ dropped │
└─────────────────┘ └───────────────┘ └──────────────────────┘
▼
BI Dashboard
┌──────────────────┐
│ coupon_revenue │
│ always = $0 │
│ (no error shown) │
└──────────────────┘
הדיאגרמה ממחישה את דפוס ההתפשטות: צוות שירות ההזמנות מוסיף coupon_id למסד הנתונים שלהם. אם הם גם מעדכנים את סכמת האירועים של קפקא כך שתכלול coupon_id, יש לעדכן את צינור הניתוח כדי לצרוך אותו. אם סכימת קפקא עדיין בגרסה 1, השדה לעולם לא יגיע לצינור. אם הצינור מתעדכן אך מודל לוח המחוונים של BI לא מתרענן, השדה קיים במחסן אך נעדר מהדוח. הסחיפה יכולה לגרום לאובדן נתונים שקט בכל אחד מארבעה גבולות, וכל גבול דורש מנגנון זיהוי שונה.
כשלים שקטים בצינורות נתונים, לוחות מחוונים מיושנים, סחיפות בסכמות ומערכות נתונים לא שלמות הפכו לסיכונים תפעוליים משמעותיים בסביבות נתונים ארגוניות מודרניות. מחסניות נתונים מודרניות נכשלות מהר יותר מסביבות מסורתיות, עם טרנספורמציות שבורות, כשלים בטריות ושחיתות נתונים שקטה המתפשטת בצינורות נתונים הרבה לפני שצוותים מזהים בעיות באופן ידני.
המאפיין "שקט" הוא מה שהופך את סחף הסכימה המבוזרת ליקר. שגיאה שמייצרת חריג מוזכרת ומתוקנת. שינוי שמייצר מספרים שגויים בשקט פועל מבלי להתגלות עד שמתקבלת החלטה עסקית המבוססת על מספרים אלה מייצרת תוצאה נראית לעין.
גישות גילוי לפי שכבה
זיהוי סחיפות סכמות דורש כלים וטכניקות שונים עבור כל שכבה של מערכת מבוזרת:
שכבת מסד נתונים ומחסן
שכבת הגילוי הבוגרת ביותר. טבלאות INFORMATION_SCHEMA בכל מסד נתונים ומחסן מרכזיים מספקות תמונת מצב של מטא-נתונים הניתנת לשאילתה:
SQL
-- Detect structural schema changes since a baseline snapshot
-- Run daily; alert when new differences appear
WITH current_schema AS (
SELECT
table_name,
column_name,
data_type,
is_nullable,
column_default,
ordinal_position
FROM information_schema.columns
WHERE table_schema = 'production'
),
baseline AS (
-- Previous snapshot stored in schema_baseline table
SELECT * FROM schema_monitoring.schema_baseline
WHERE snapshot_date = CURRENT_DATE - 1
)
SELECT
'ADDED' AS change_type,
c.table_name,
c.column_name,
c.data_type,
CURRENT_DATE AS detected_date
FROM current_schema c
LEFT JOIN baseline b
ON c.table_name = b.table_name
AND c.column_name = b.column_name
WHERE b.column_name IS NULL
UNION ALL
SELECT
'REMOVED' AS change_type,
b.table_name,
b.column_name,
b.data_type,
CURRENT_DATE
FROM baseline b
LEFT JOIN current_schema c
ON b.table_name = c.table_name
AND b.column_name = c.column_name
WHERE c.column_name IS NULL
UNION ALL
SELECT
'TYPE_CHANGED' AS change_type,
c.table_name,
c.column_name,
c.data_type || ' (was: ' || b.data_type || ')' AS data_type,
CURRENT_DATE
FROM current_schema c
JOIN baseline b
ON c.table_name = b.table_name
AND c.column_name = b.column_name
WHERE c.data_type <> b.data_type;
כלים שמאפשרים אוטומציה של דפוס זה: בדיקות סכימה של dbt, ציפיות עמודות של Great Expectations, ניטור תקינות טבלאות של Monte Carlo, ניטור סחף סכימה של Acceldata.
שכבת הזרמת אירועים
נושאי קפקא משתמשים ברישומי סכמות (Confluent Schema Registry, AWS Glue Schema Registry, Apicurio) כדי לשלוט באבולוציה של Avro, Protobuf ו-JSON Schema. הרישום אוכף כללי תאימות בזמן הפרסום:
יאמל
# Confluent Schema Registry: compatibility rule configuration
# Applied per topic; enforces at producer registration time
compatibility:
BACKWARD:
# New schema can read data written with old schema
# Safe: consumers can be updated after producers
allows: add_optional_fields, remove_fields_with_defaults
blocks: rename_fields, change_types, add_required_fields
FORWARD:
# Old schema can read data written with new schema
# Safe: consumers can be deployed before producers
allows: add_required_fields, rename_with_aliases
blocks: remove_fields_used_by_consumers
FULL:
# Both backward and forward compatible
# Strictest: ensures zero-downtime evolution
allows: add_optional_fields_with_defaults
blocks: everything_else
רישום הסכימה אינו מונע סחיפה סמנטית, שדה ששמו וסוגו לא השתנו אך משמעותו השתנתה עובר בדיקות תאימות. בדיקות חוזים (Pact, AsyncAPI testing) נדרשות לאימות סמנטי.
שכבת ה-API
ישנן ארבע גישות שונות באופן מהותי ללכידת סטיות בסכימת API: הבדלים בין מפרט למפרט, ניטור בין מפרט למציאות, ניטור בין מציאות למציאות וזיהוי מבוסס תעבורה. רוב הבלבול בתחום זה נובע מאנשים המשווים כלים בין גישות שונות.
עבור ממשקי API של שירות פנימיים בארכיטקטורת מיקרו-שירותים, בדיקות חוזים מונעות-צרכן (Pact) הן הגישה האמינה ביותר: כל צרכן מציין את החוזה שהוא דורש מהיצרן, החוזים מאומתים מול יישום היצרן ב-CI, וכל שינוי שמפר חוזה של צרכן נכשל בחבילת הבדיקות של היצרן לפני הפריסה.
גבול מערכת המורשת: היכן שהסחף הופך לבלתי נראה
כל גישת זיהוי שתוארה לעיל פועלת עבור מערכות שחושפות מטא-נתונים של סכמות דרך ממשקים הניתנים לשאילתה: INFORMATION_SCHEMA, רישומי סכמות, מפרטי OpenAPI. בגבול בין מערכות מיינפריים מדור קודם לפלטפורמות נתונים מודרניות, ממשקים אלה אינם קיימים.
תוכנית COBOL המייצרת קובץ שטוח לילי לצריכה על ידי צינור ETL בענן מגדירה סכימה מרומזת בלוגיקת הכניסה והפלט של FD. ה"סכימה" של הקובץ השטוח, מיקומי הבייטים, סוגי הנתונים, שדות עשרוניים ארוזים ב- COMP-3 ומבני REDEFINES, קיימת בקוד המקור של COBOL, ולא באף רישום או מאגר מטא-נתונים שכלי תצפית מודרניים יכולים לבצע שאילתות לגביו.
קובול
*> This FD entry IS the schema contract for the nightly extract
*> Any change here constitutes schema drift for the downstream ETL
FD CUSTOMER-EXTRACT-FILE
LABEL RECORDS ARE STANDARD
RECORD CONTAINS 350 CHARACTERS.
01 CUSTOMER-EXTRACT-REC.
05 CUST-ID PIC 9(10). *> Bytes 1-10
05 CUST-NAME PIC X(40). *> Bytes 11-50
05 CUST-BALANCE PIC S9(11)V99 COMP-3. *> Bytes 51-57 (packed)
05 CUST-STATUS-CD PIC X(2). *> Bytes 58-59
05 CUST-OPEN-DATE PIC 9(8). *> Bytes 60-67: YYYYMMDD
05 FILLER PIC X(283). *> Bytes 68-350
אם צוות COBOL משתנה CUST-BALANCE החל מ- PIC S9(11)V99 COMP-3 ל PIC S9(13)V99 COMP-3, תוך הוספת שתי ספרות של דיוק כדי לטפל בערכי איזון גדולים יותר, השדה מתרחב מ-7 בתים ל-8 בתים בפורמט עשרוני ארוז. כל שדה אחרי בית 50 זז מיקום אחד. הקובץ השטוח שצינור ה-ETL קורא כעת מכיל את כל השדות אחרי CUST-BALANCE במיקומי בתים שגויים. צינור ה-ETL אינו מייצר שגיאה; הוא קורא בתים 51-57 כ-CUST-BALANCE ומפרש את הבית הבא (שהוא כעת הבית הראשון של הייצוג המורחב של CUST-BALANCE) כחלק מ-CUST-STATUS-CD. הצינור פועל. המספרים שגויים. אין התראת סחיפה של סכימה מופעלת.
זהו הסוג המסוכן ביותר של סחיפת סכמה בסביבות ארגוניות: שינויים מבניים במערכות מדור קודם שמתפשטים בשקט דרך ממשקי קבצים שטוחים ללא מנגנון זיהוי בשני הקצוות.
שלושה מאפיינים הופכים את סחף הגבולות מדור קודם למסוכן באופן ייחודי:
הסכימה אינה נראית לכלי תצפית. מונטה קרלו אינה יכולה להתחבר לקובץ VSAM. Acceldata אינה יכולה לבצע שאילתה על ערך FD. הדרך היחידה לזהות את השינוי היא להשוות את מקור ה-COBOL לגרסה קודמת, פעולת ניתוח קוד, לא פעולת ניטור נתונים.
ההתפשטות שקטה. ממשקי קבצים שטוחים אינם מאמתים את מבנה הרשומה; הם קוראים בתים. שינוי במערך הבייטים מייצר ערכים שגויים, לא שגיאות.
רדיוס הפיצוץ רחב. ספר עותקים של COBOL הכלול ב-300 תוכניות הוא סכימה המשותפת ל-300 תוכניות. שינוי בספר העותקים, המקבילה ל-DDL ALTER TABLE, משפיע על כל 300 בו זמנית, וכל צרכן במורד הזרם של כל מערך נתונים המיוצר על ידי כל אחת מ-300 התוכניות הללו יורש את הסחיפה.
חוזי סכמה: פורמליזציה של מה שבדרך כלל משתמע
הפתרון המבני לסחיפה של סכימה הוא הפיכת חוזים מרומזים למפורשים, הגדרת מהי הסכימה, מי תלוי בה ואילו שינויים מותרים, לפני ביצוע שינוי ולא אחרי שהוא שובר משהו.
| שכבת החוזה | מה זה שולט | כלים | שווה ערך מדור קודם |
|---|---|---|---|
| DDL של מסד נתונים | מבנה טבלה, סוגי עמודות, אילוצים | ליקוויבייס, פלייוויי, אטלס | סקריפטים להגירת DB2 DDL |
| סכמת אירועים | מבנה קפקא/זרם אירועים | רישום סכמות מצטברות, אפיקוריו | לא רלוונטי (לקובץ שטוח אין רישום) |
| חוזה API | ציפיות ממשק REST/gRPC | OpenAPI, Pact, AsyncAPI | לא רלוונטי (אין מפרט לממשק הקובץ) |
| איכות מידע | התפלגויות ערך, טריות, נפח | תקוות גדולות, מבחני DBT | לא רלוונטי (אין מסגרת בדיקה מקורית) |
| חוזה פורמט קובץ | פריסת בתים של קובץ שטוח, מיקומי שדות | ערך COBOL FD (מקור האמת) | בקרת גרסאות של ספר עותקים |
הערך "בקרת גרסאות של ספר עותקים" בעמודה המקבילה מדור קודם הוא המנגנון המעשי לניהול התפתחות סכימת COBOL: התייחסות לספר העותקים כאל ארטיפקט גרסאי עם תהליך אישור שינויים, ניהול רישום של אילו תוכניות כוללות כל ספר עותקים, ודרישת ניתוח השפעה לפני אישור כל שינוי בספר העותקים.
תהליך עבודה של אישור שינויים בפנקס:
- היזם מציע שינוי ב
CUSTMSTR.CPY - ניתוח השפעה מזהה כל תוכנית הכוללת
CUSTMSTR.CPY(ניתוח סטטי) - כל קובץ שטוח שנוצר על ידי תוכניות אלה מזוהה כאירוע שינוי סכימה
- כל צרכן במורד הזרם של קבצים שטוחים אלה מקבל הודעה
- בדיקות אימות צרכנים מבוצעות מול הפריסה החדשה
- השינוי מאושר רק כאשר כל הצרכנים מאשרים תאימות
זרימת עבודה זו משקפת את תבנית אכיפת התאימות של רישום סכמות, המוחלת על שכבת COBOL שבה לא קיים רישום סכמות מקורי.
ארכיטקטורת ניטור עבור סחף סכמה מבוזר
ארכיטקטורת ניטור סחיפה של סכימה מלאה מכסה את כל ארבעת סוגי הסחיפה בכל שכבות המערכת:
מסד נתונים של תצלומי בזק של סכימה. אחסן תצלום בזק יומי של כל מטא-נתונים של INFORMATION_SCHEMA בטבלה, כל גרסת סכימת אירועים רשומה, כל גרסת מפרט API, ו(עבור מערכות מדור קודם) כל גרסת ספר עותקים. מסד הנתונים של תצלומי הבזק הוא קו הבסיס שאליו מושווה המצב הנוכחי.
צינור זיהוי שינויים. עבודות השוואה יומיות רצות מול מסד הנתונים של תמונות הבזק, ומזהות תוספות, הסרות, שינויי סוג ושינויי אילוצים בכל שכבה מנוטרת. שינויים בדרגת חומרה גבוהה, שינויי סוג שאינם תואמים לאחור, הסרות עמודות, הוספות שדות נדרשים, מפעילים התראות מיידיות. שינויים בדרגת חומרה נמוכה, הוספות עמודות הניתנות לאפס, שינויי אינדקס, יוצרים התראות מייעצות.
רישום השפעת צרכנים. קטלוג הממפה כל ארטיפקט סכימה לצרכנים הידועים שלו: אילו צינורות קוראים מאיזו טבלאות, אילו שירותים צורכים אילו נושאי Kafka, אילו עבודות ETL מעבדות אילו קבצים שטוחים. כאשר מזוהה שינוי סכימה, רישום השפעת הצרכנים קובע את רדיוס הפיצוץ, כמה צרכנים מושפעים ואילו הם הקריטיים ביותר.
חבילת בדיקות חוזים. בדיקות אוטומטיות המאמתות הנחות צרכנים לגבי סכמות יצרנים. הפעלה בכל פריסה הנוגעת לשירות ייצור נתונים. הפריסה נכשלת אם חוזה שצרכן רשום תלוי בו מופר.
ניטור גבולות מדור קודם. עבור מערכות מיינפריים: השוואת ספרי עותקים מבוקרי גרסאות, ניטור הגדרות מערך נתונים של JCL, ואימות פורמט קובץ שטוח מול הסכימה המוגדרת בערך FD של התוכנית המייצרת. שכבה זו דורשת ניתוח קוד ולא ניטור נתונים, תוך זיהוי שינויים במקור COBOL המהווים שינויים בסכימה עבור צרכנים במורד הזרם.
ניטור מתוזמן חשוב יותר ממה שצוותים רבים מניחים. ההנחיות של Acceldata בנוגע לניתוח סחיפה מתוזמן ממליצות על השוואות אוטומטיות מול קו בסיס יציב בקצב שבועי או דו-שבועי, ומציינות במפורש כי המתנה לבדיקות אד-הוק לאחר כשל אינה מספיקה. עבור ניטור גבולות מדור קודם ספציפי, הקצב צריך להתאים ללוח הזמנים של פריסת COBOL: כל שחרור ספר עותקים לייצור צריך להפעיל ניתוח השפעה מיידי של הסכימה במקום להמתין להשוואה המתוכננת הבאה.
איך SMART TS XL מטפל בסחף סכמות בסביבות מדור קודם
SMART TS XL מטפל בפער הזיהוי בגבול המערכת הישנה, השכבה שבה כלי התצפית המודרניים נעצרים והיכן שסחיפת הסכימה המסוכנת ביותר נותרת בלתי מזוהה.
יכולת ניתוח הקוד הסטטי מנתחת כל ערך FD ב-COBOL, איבר COPY ופסקת SELECT כדי לייצר ייצוג מובנה של כל ארטיפקט של סכימה בסביבה הישנה. כאשר ניתוח זה מופעל על שתי גרסאות של בסיס הקוד, לפני ואחרי פריסה, ההבדלים מהווים את יומן השינויים של הסכימה הישנה: אילו ספרי עותקים השתנו, אילו הגדרות שדות השתנו, ומה היו הפריסות שלפני ואחרי. זוהי השוואת תמונת המצב של הסכימה שהוחלת על שכבת COBOL.
מיפוי תלות היישומים מספק את רישום ההשפעה על הצרכן עבור סכמות מדור קודם: אילו תוכניות כוללות כל ספר עותקים, אילו תוכניות מייצרות אילו מערכי נתונים של קבצים שטוחים, אילו עבודות JCL מפעילות אילו תוכניות. כאשר יומן שינויי הסכימה מזהה ספר עותקים שעבר שינוי, מפת התלות מייצרת מיד את רשימת הצרכנים, כל תוכנית הכוללת את ספר העותקים וכל קובץ שטוח במורד הזרם שתוכניות אלה מייצרות. זהו חישוב רדיוס הפיצוץ שקובע האם שינוי בספר עותקים הוא שינוי פנימי בסיכון נמוך או אירוע בסיכון גבוה המשפיע על מאות תוכניות ועשרות צרכנים במורד הזרם.
יכולת ניתוח ההשפעה ממירה את רדיוס הפיצוץ להיקף תיקון מובנה: עבור כל צרכן שזוהה על ידי מפת התלות, אילו שינויים נדרשים כדי להתאים לסכימה החדשה, ובאיזה סדר יש להחיל שינויים אלה? עבור צרכני גבול מדור קודם למודרניים, צינורות ETL שקוראים קבצים שטוחים שנוצרו על ידי תוכניות COBOL, ניתוח ההשפעה מזהה את שינויי מיקום השדה הספציפיים ושינויי סוג הנתונים שיש לעדכן כדי לשקף את תצורת מיפוי העמודות של צינור ETL.
יכולת החיפוש הארגוני הופכת את גילוי ארטיפקטים של סכימה לניתן לשאילתה: מצא כל תוכנית שקוראת שדה במיקום בייט ספציפי (זיהוי צרכנים שיושפעו משינוי פריסה), כל ספר עותקים שמגדיר שדה ספציפי (זיהוי ארטיפקט הסכימה שיש לגרסאות ולשלוט בשינויים), כל תוכנית שמפיקה פלט למערך נתונים ספציפי (זיהוי היצרנים ששינויי הסכימה שלהם חייבים להפעיל הודעות צרכנים). יכולת חיפוש זו תומכת הן בתהליך עבודה פרואקטיבי של ניהול סכימה והן בחקירת אירוע לאחר סחיפה.
עבור ארגונים המנהלים מודרניזציה מורשת תוכניות הכוללות העברת נתוני מחשב מרכזי לפלטפורמות מודרניות, SMART TS XLניתוח הסכימה של מספק את תיעוד הסכימה המקורית שכלי הגירה דורשים, את הגדרות ערך ה-FD המלאות והעדכניות ואת מבני ספר העותקים המגדירים מהם הנתונים בפועל, ולא רק מה הם היו כאשר נכתב מפרט ההגירה המקורי.
החוזה שאף אחד לא כתב הוא עדיין חוזה
סחף סכמות במערכות מבוזרות אינו בעיה חדשה. זוהי בעיה ישנה שארכיטקטורה מבוזרת מקשה על פתרון, משום שהסמכות שאכפה חוזי סכמות במערכות מונוליטיות, מנהל הבסיס המרכזי, צוות היישומים היחיד, בסיס הקוד המאוחד, פוזרה על פני עשרות שירותים עצמאיים, שכל אחד מהם מקבל החלטות הגיוניות באופן אינדיבידואלי עם נראות לא מלאה על כל צרכן במורד הזרם.
הפתרון אינו לרכז מחדש את הסמכות על הסכימה. מדובר ביצירת חוזים מרומזים המפורשים, רישוםם במערכות שיכולות להשוות את המצב הנוכחי למצב הבסיסי, לאכוף כללי תאימות בגבולות שבהם מוצגים שינויים, ולנטר הפרות בגבולות שבהם מתפשטים שינויים. עבור מערכות מודרניות, הכלים לכך קיימים ומשתפרים במהירות. עבור מערכות מדור קודם בגבול עם פלטפורמות מודרניות, פער הכלים הוא אמיתי ומשמעותי, פורמט הקובץ השטוח שהוא חוזה סכימה עבור צינור ETL בענן אינו נראה לכל כלי תצפית מודרני אלא אם כן מקור ה-COBOL המגדיר אותו מנותח ומעודכן כארטיפקט סכימה.
לוח המחוונים שהראה ירידה של 23 אחוזים ברכישת לקוחות לא טעה לגבי הנתונים שקיבל. הוא טעה לגבי משמעות הנתונים, משום שהסכימה שהגדירה את משמעות הנתונים השתנתה בגבול שבו לא נרשם חוזה ואף ניטור לא צפה. גבול זה, בכל מקום בו הוא קיים במערכת מבוזרת, מדור קודם או מודרנית, הוא המקום אליו תוכניות לזיהוי סחיפות סכימה חייבות להגיע.


