ניהול מטא-נתונים עבור מערכות נתונים מרובות עשורים

השדה TRANS-AMT-CD בתוכנית COBOL נמצאת בייצור מאז 1981. ערך ה-FD מגדיר זאת כ- PIC S9(9)V99 COMP-3, שדה מספרי עשרוני ארוז עם סימן, אחת עשרה ספרות, שתי ספרות אחרי הנקודה העשרונית המשתמעת. אלו הם המטא-דאטה הטכניים. המטא-דאטה העסקי, מה המשמעות האמיתית של TRANS-AMT-CD, באיזה מטבע הוא נקוב, האם שתי הספרות אחרי הנקודה העשרונית המשתמעות מייצגות סנטים או נקודות בסיס, האם ערך שלילי מייצג זיכוי או חיוב, וכיצד יש לפרש ערך אפס, לא קיימים בשום מקום בבסיס הקוד. הם היו קיימים במסמך מפרט פונקציונלי שהודפס בשנת 1981, אוחסן בארון תיוק, ולא נראו מאז. שני המפתחים שידעו במקור מה המשמעות של TRANS-AMT-CD פרשו שניהם בשנת 2014.

זהו מצב המטא-דאטה שכל ארגון עם מערכות נתונים רב-עשוריות מתמודד איתו, וזוהי סיטואציית המטא-דאטה שמסגרות ניהול נתונים מודרניות לא נועדו לטפל בה. Collibra, Alation, Atlan וכל פלטפורמת קטלוג נתונים ארגונית אחרת מצוינות בניהול מטא-דאטה עבור נתונים שכבר תוארו, מסדי נתונים בענן עם סכמות מתועדות, מחסני נתונים עם סמנטיקה מוגדרת של עמודות, נקודות קצה של API עם מפרטי OpenAPI. הם לא נועדו לשחזר מטא-דאטה שמעולם לא נאספה רשמית, שקיימת רק בהתנהגות של תוכניות שנכתבו לפני שניהול מטא-דאטה היה תחום, וששונו על ידי עשרות מפתחים במשך ארבעה עשורים מבלי שאף אחד עדכן רשומה מרכזית של משמעות כל שדה.

ניהול מטא-נתונים עבור מערכות נתונים מרובות עשורים אינו אותה בעיה כמו ניהול מטא-נתונים עבור מערכות מודרניות. הוא דורש גישה שונה באופן מהותי, גישה שמתחילה בחילוץ מטא-נתונים ממקורות מקור ולא בבליעה של מטא-נתונים ממערכות מחוברות.

שלוש השכבות של מטא-נתונים מדור קודם

הבנת בעיית המטא-דאטה במערכות רב-עשוריות דורשת הכרה בכך שמטא-דאטה בסביבות אלו קיימות בשלוש שכבות נפרדות, לכל אחת יכולת חילוץ שונה, שלמות שונה והשלכות ממשל שונות.

מטא-דאטה טכני היא השכבה הניתנת לחילוץ הטובה ביותר. היא מתארת ​​את המבנה הפיזי של נתונים: שמות שדות, סוגי נתונים, אורכים, מיקומים בתוך רשומות, מפרטי דיוק מספריים והקשרים בין שדות בתוך פריסת רשומה. בסביבות COBOL, מטא-דאטה טכני קיים בארטיפקטים של קוד מקור: ערכי FD מגדירים פריסות רשומות, איברי COPY מגדירים מבני נתונים לשימוש חוזר, משפטי SELECT מגדירים ארגון קבצים ושיטות גישה, ומשפטי JCL DD מגדירים את מערכי הנתונים הקשורים לכל ביצוע תוכנית. שכבה זו ניתנת לקריאה על ידי מכונה באופן עקרוני, מנתח שמבין את תחביר COBOL יכול לחלץ אותה מקוד המקור, אך היא מופצת על פני אלפי קבצי מקור במקום להיות מרוכזת ברישום סכמות.

מטא-נתונים תפעוליים מתארים כיצד נתונים נעים במערכת: אילו תוכניות מייצרות אילו מערכי נתונים, אילו תוכניות צורכות אותם, באיזה רצף, ודרך אילו טרנספורמציות. בסביבות מיינפריים, מטא-נתונים תפעוליים מופצים על פני זרמי משימות של JCL (המגדירים רצפי ביצוע ושיוך מערכי נתונים), גרפי קריאות לתוכניות (המגדירים זרימת נתונים בין-תוכניות) ותצורת המתזמן (המגדירה תזמון ותלות). שכבה זו ניתנת גם לחילוץ על ידי מכונה מארטיפקטים של המקור, אם כי החילוץ דורש הבנה לא רק של תוכניות בודדות אלא גם של הקשרים ביניהן.

מטא-נתונים עסקיים או סמנטיים היא השכבה הכי פחות ניתנת לחילוץ והכי יקרת ערך. היא עונה על שאלות שמטא-דאטה טכנית לא יכולה לענות עליהן: מה עושה TRANS-AMT-CD מה באמת אומר במונחים עסקיים? מהם הערכים התקפים עבור ACCT-TYPE-CD ומה מסמל כל ערך? איזה כלל עסקי קובע מתי CUST-STATUS-FLG מעברים מ A ל Iשכבה זו קיימת, כאשר היא בכלל קיימת, במסמכי מפרט, בזיכרון המפתחים, בידע מוסדי המוחזק על ידי עובדים שאולי פרשו, ובלוגיקה הפרוצדורלית של תוכניות שאוכפות כללי עסקיים באמצעות משפטי IF ובלוקים של EVALUATE ולא באמצעות אילוצי מסד נתונים.

אתגר המטא-דאטה עבור מערכות רב-עשוריות הוא ששלוש השכבות הללו נוהלו בצורה שונה, או לא נוהלו כלל, לאורך עשרות שנים של התפתחות המערכת. מטא-דאטה טכנית נלכדה בקוד המקור אך מעולם לא פורמלית למילון נתונים. מטא-דאטה תפעולי הייתה מרומזת בזרמי עבודה של JCL אך מעולם לא תועדה כרשומת שושלת. מטא-דאטה עסקית תועדה במפרטים בזמן הפיתוח הראשוני ומעולם לא עודכנה עם התפתחות המערכות.

בעיית סחף המטא-דאטה

בכל שנה, כאשר מערכת רב-עשורה פועלת ללא ניהול מטא-דאטה שיטתי, הפער בין המטא-דאטה הקיימים בתיעוד פורמלי לבין המטא-דאטה המשקף את ההתנהגות הנוכחית בפועל של המערכת מתרחב. סחיפה זו מתרחשת באמצעות ארבעה מנגנונים:

שדה שמשמעותו אבולוציה. תחום שהוגדר עם משמעות עסקית אחת בשנת 1978 עשוי לצבור משמעויות נוספות במהלך העשורים שלאחר מכן. ACCT-TYPE-CD ייתכן שהבדיל במקור בין חשבונות עובר ושב לחשבונות חיסכון. במשך ארבעים שנה, ייתכן שנוספו קודים נוספים לייצוג חשבונות שוק כספים, תעודות פיקדון, חשבונות IRA וחשבונות נאמנות, כאשר כל תוספת מתועדת רק בקוד התוכנית המטפל בערך הקוד החדש, ולא באף הגדרת שדה מרכזית. שם השדה וסוגו נותרו ללא שינוי; משמעותו הסמנטית הפכה מורכבת יותר באופן משמעותי.

שימוש חוזר בשקט. שדות עוברים לעיתים שימוש מחדש ללא שינוי שם. שדה ששימש למטרה אחת הופך להיות לא נוח להרחבה, ומפתח משתמש בערך שלא נוצל בעבר של שדה דגל סמוך כדי לקודד פיסת מידע אחרת. TRANS-FLAG-1 כעת עשוי לקודד שלושה מושגים שונים בהקשרים שונים של תוכניות, שניתן להבחין ביניהם רק על ידי בחינת אילו תוכניות קראו את השדה ובאילו תנאים. המטא-דאטה הטכני, שם השדה, הסוג, האורך, אינם מספקים אינדיקציה לכך שהשדה עמוס סמנטית.

הצטברות REDEFINES. כפי שנדון בהקשרים של ניתוח VSAM, פסקאות REDEFINES מכוסות על אותו אחסון פיזי עם פרשנויות שונות של שדות. כל גרסה של REDEFINES עשויה להיות נוספה בנקודה שונה בהיסטוריה של המערכת, על ידי מפתחים שונים, למטרות עסקיות שונות. ניתן לשחזר את המשמעות הסמנטית המלאה של היררכיית REDEFINES, איזו גרסה חלה מתי, מה המשמעות של השדות של כל גרסה, רק על ידי ניתוח כל התוכניות הניגשות לכל גרסה והתנאים שבהם הן עושות זאת.

סטייה במחברת. כאשר מחברת COBOL סטנדרטית משתנה כדי להתאים אותה לדרישה חדשה, תוכניות שכללו את מחברת העותקים ולא עודכנו כדי לטפל בשדה החדש עשויות להתנהג בצורה שגויה או פשוט להתעלם מהשדה החדש. במשך עשרות שנים של אבולוציה, גרסאות מרובות של מה שנחשב לכאורה לאותו מחברת עשויות להתקיים בספריות שונות, כאשר תוכניות שונות משתמשות בגרסאות שונות. המטא-דאטה עבור שדה המוגדר במחברת העותקים עשוי להשתנות בין תוכניות בהתאם לגרסה של מחברת העותקים שכל תוכנית כוללת.

מה כלי מטא-דאטה מודרניים לא יכולים לעשות עבור נתונים מדור קודם

שוק קטלוגי הנתונים הארגוניים התבגר משמעותית. Collibra, Alation, Atlan, Microsoft Purview ו-Informatica Axon הן פלטפורמות מתוחכמות לניהול מטא-נתונים בסביבות נתונים מודרניות. הן מצטיינות ב: גילוי אוטומטי של סכמות ממסדי נתונים מחוברים, מעקב אחר שושלת נתונים ברמת העמודה על פני צינורות ETL, תחזוקת מילוני מונחים עסקיים עם הגדרות מונחים אוצרות, והצגת מדדי איכות נתונים לצד רשומות מטא-נתונים.

מה כלים אלה אינם יכולים לעשות עבור מערכות COBOL ומיינפריים מרובות עשרות שנים:

הם לא יכולים להתחבר למה שהם לא יכולים לראות. קטלוגים מודרניים מגלים מטא-דאטה דרך מחברים, חיבורי JDBC למסדי נתונים, אינטגרציות API עם שירותי ענן, אינטגרציות סורקים עם פלטפורמות נתמכות. קבצי VSAM, תוכניות COBOL וזרמי עבודות JCL אינם כוללים מחברי קטלוג סטנדרטיים. הקטלוג לא יכול לגלות את מה שאין לו מנגנון להגיע אליו. הנתונים המנוהלים על ידי מערכות אלה הם למעשה בלתי נראים לקטלוג, מה שאומר שרשומות השושלת עבור ניתוחי ענן במורד הזרם הנגזרות מנתונים אלה אינן שלמות או חסרות.

הם לא יכולים לחלץ מטא-נתונים שקיימים רק בקוד. קטלוג נתונים המחובר למסד נתונים של DB2 יכול לקרוא את סכימת מסד הנתונים, הגדרות טבלה, שמות עמודות, סוגי נתונים ואינדקסים. הוא לא יכול לקרוא את תוכנית COBOL שמאכלסת את טבלת DB2 כדי להבין אילו כללי עסקיים שולטים באוכלוסייה, אילו גרסאות REDEFINES קיימות ברשומת המקור, או אילו שמות תנאים ברמה 88 מגדירים את התוקף הסמנטי של כל שדה. המטא-נתונים ברמת הקוד, השכבה שבה נמצאת בפועל המשמעות העסקית של נתונים מדור קודם, דורשים ניתוח קוד, לא סריקת קטלוג.

הם אינם יכולים לשחזר משמעות שמעולם לא נלכדה. אפילו עם חילוץ מטא-דאטה טכני מושלם, לא ניתן לשחזר באופן אוטומטי את המשמעות העסקית של שדות שמעולם לא תועדו רשמית. שכבה זו דורשת שילוב של ניתוח קוד (כדי לחשוף את כללי העסק שתוכניות מיישמות על הנתונים, שהם מייצגים משמעות עסקית) ובדיקה אנושית (כדי לאמת את המשמעות המשוחזרת מול ידע מוסדי כל עוד ידע זה עדיין קיים).

גישת שחזור המטא-דאטה

עבור מערכות מרובות עשרות שנים שבהן מטא-דאטה פורמלי מעולם לא נאסף או שסטה באופן משמעותי מהמציאות הנוכחית, ניהול מטא-דאטה דורש שלב שחזור לפני שלב הממשל. גישת השחזור מחלצת את השכבות הניתנות לשחזור ומזהה את הפערים שבהם נדרש ידע אנושי.

שלב 1: חילוץ מטא-דאטה טכני מארכיטקטורות מקור.

ניתוח כל ערך COBOL FD, חבר COPY, פסוקית SELECT ומשפט JCL DD כדי ליצור מלאי מטא-נתונים טכני ברמת השדה:

קובול

* Source FD entry -- technical metadata extraction target
FD  TRANSACTION-FILE
    LABEL RECORDS ARE STANDARD
    RECORD CONTAINS 200 CHARACTERS.
01  TRANSACTION-RECORD.
    05  TRANS-DATE          PIC 9(8).          *> YYYYMMDD format
    05  TRANS-TYPE-CD       PIC XX.            *> See 88-level values
        88 TRANS-PAYMENT    VALUE 'PM'.
        88 TRANS-REFUND     VALUE 'RF'.
        88 TRANS-ADJUSTMENT VALUE 'AJ'.
        88 TRANS-REVERSAL   VALUE 'RV'.
    05  TRANS-AMT-CD        PIC S9(9)V99 COMP-3.
    05  TRANS-CURRENCY-CD   PIC X(3).          *> ISO 4217
    05  TRANS-DETAIL        REDEFINES TRANS-TYPE-CD.
        10  TRANS-MERCH-ID  PIC X(12).
        10  TRANS-AUTH-CD   PIC X(6).
        10  FILLER          PIC X(84).

מערך FD יחיד זה, חילוץ מטא-נתונים טכני מייצר: שמות שדות, סוגי נתונים, אורכים, מיקומים, דיוק עשרוני ארוז של TRANS-AMT-CD (9 ספרות, 2 ספרות אחרי הנקודה, עם סימן), ארבעת הערכים הסמנטיים של TRANS-TYPE-CD כפי שמוגדר על ידי שמות התנאים בני 88 הרמות, ומבנה REDEFINES שיוצר שתי פרשנויות חופפות של בתים 10-105 של הרשומה.

שמות התנאים ברמה 88 חשובים במיוחד כמטא-נתונים: TRANS-PAYMENT, TRANS-REFUND, TRANS-ADJUSTMENT, TRANS-REVERSAL ארבעה פריטים של אוצר מילים עסקי שקוד ה-COBOL עצמו מספק, בעלי משמעות רבה יותר מהמונח הבסיסי PM, RF, AJ, RV ערכים שקטלוג נתונים שסורק את מסד הנתונים יראה.

שלב 2: חילוץ מטא-נתונים תפעוליים מתלות התוכנית.

בנה את מפת השושלת התפעולית על ידי מעקב אחר זרימות נתונים דרך גרף תלות התוכנית:

• אילו תוכניות כותבות אל TRANSACTION-FILE (מפיקים)
• אילו תוכניות קוראות מ TRANSACTION-FILE (צרכנים)
• אילו שלבי עבודה של JCL מפעילים כל יצרן וצרכן, ובאיזה רצף
• אילו מערכי נתונים ומסדי נתונים במורד הזרם מקבלים נתונים שהומרו מ TRANSACTION-FILE

מפת שושלת זו היא המטא-דאטה התפעולי שכלי קטלוג נתונים זקוקים להם לצורך ויזואליזציה של שושלת, אך אינם יכולים לבנות ללא גישה לקוד תוכנית המקור ול-JCL.

שלב 3: חילוץ כללי עסקיים כפרוקס של מטא-נתונים סמנטיים.

כללי עסקים המקודדים בלוגיקת COBOL PROCEDURE DIVISION הם מקדמי משמעות עסקית. תוכנית שמאמתת TRANS-AMT-CD כדי לוודא שהוא נופל בטווחים מסוימים לפני העיבוד, הוא מספק ראיות לגבי הטווח התקף של השדה. תוכנית שממירה TRANS-AMT-CD ליחידה אחרת לפני כתיבה למערכת במורד הזרם חושפת מוסכמה עשרונית או מוסכמה ליחידות מרומזת.

חילוץ כללי עסקיים אלה באמצעות ניתוח קוד מייצר קבוצה של מטא-נתונים סמנטיים משוערים: טווחי האימות המוחלים על כל שדה, הטרנספורמציות המתרחשות בין המקור ליעד, והתנאים שבהם נתיבי קוד שונים מבוצעים. מטא-נתונים סמנטיים משוערים אלה אינם מדויקים, הם מראים מה תוכניות עושות עם הנתונים, לאו דווקא מה הנתונים נועדו להביע, אך ניתן לשחזר אותם מהקוד באופן שלא ניתן לשחזר במסמך המפרט המקורי.

שלב 4: אימות אנושי והעשרה סמנטית.

המטא-דאטה הטכני והתפעולי שחולץ והמטא-דאטה הסמנטית המשוערת מהווים את הבסיס לפגישות אימות אנושיות עם מומחי תחום ומפתחים פורשים. המטרה היא להמיר סמנטיקה משוערת לסמנטיקה מאומתת, תוך אימות ש... TRANS-AMT-CD פירושו מה שהקוד מרמז על משמעותו, זיהוי מקרים שבהם התנהגות הקוד אינה משקפת עוד את המשמעות העסקית המיועדת, ולכידת ידע מוסדי על היסטוריית השטח שניתוח קוד אינו יכול לשחזר.

שלב זה מוגבל בזמן על ידי זמינות המומחיות בתחום: בכל שנה שחולפת, עוד ועוד ידע זה פוחת עם האנשים המחזיקים בו.

פער המטא-דאטה הישן בגבול המערכת המודרנית

גירעון המטא-דאטה שנוצר על ידי מערכות רב-עשוריות אינו נשאר בתוך סביבת ה-Legacy. הוא מתפשט במורד הזרם: כל מערכת אנליטית, מחסן נתונים וצינור למידת מכונה שצורכים נתונים ממערכות Legacy יורשים את פער המטא-דאטה.

מחסן נתונים בענן שמקבל מדי לילה קובץ שטוח מתוכנית אצווה של COBOL מכיל, בהגדרות העמודות שלו, את השם שצוות הנדסת הנתונים בחר לשמש לעמודות בעת בניית צינור ה-ETL. אם השדה המקורי היה TRANS-AMT-CD ומפתח ה-ETL נתן שם לעמודת היעד transaction_amountנראה כי למחסן הנתונים יש מטא-נתונים מלאים: שם עמודה, סוג נתונים, תיאור עסק שנוספו לקטלוג. מה שהקטלוג לא מתעד הוא ש transaction_amount מקורו TRANS-AMT-CD in TRANSACTION-FILE, אשר נוצר על ידי תוכנית COBOL בשם TRNSRC01, אשר פועל במשימת JCL TRANSDAY כל לילה בשעה 2 לפנות בוקר, ואשר מיישמת המרת מטבע ספציפית שקודדה קשיח בשנת 1987 על סמך מוסכמה לשער חליפין שעשויה להיות עדיין מעודכנת או לא.

רשומת המטא-דאטה במורד הזרם נראית שלמה. השושלת שבורה בגבול ה-legacy. כל עומס עבודה אנליטי או בינה מלאכותית שתלוי בהבנת המקור והמשמעות של transaction_amount יש פער שבו סיפור המקור האמיתי של ערך זה אינו מתועד.

הממצא של גרטנר, לפיו 60 אחוז מפרויקטים של בינה מלאכותית שאינם נתמכים על ידי נתונים מוכנים לבינה מלאכותית יינטשו עד 2026, הוא בחלקו הצהרה של מטא-דאטה. מודלים של בינה מלאכותית שצורכים transaction_amount מבלי לדעת שמקורו בשדה COBOL עשרוני ארוז עם נקודה עשרונית משתמעת, הנקוב במטבע שייתכן שהומר באמצעות מוסכמת שער חליפין משנת 1987, מתאמנים על נתונים שמקורם אינו ברור. המודל אינו יכול לדעת כיצד לבטוח בהקשר זה או להתאים אותו להקשר זה מכיוון שהמטא-דאטה שיעבירו אותו אינו קיים באף קטלוג שהמודל או צינור הנתונים שלו יכולים לגשת אליו.

בניית תוכנית לניהול מטא-נתונים עבור מערכות מדור קודם

תוכנית לניהול מטא-נתונים עבור מערכות נתונים מרובות עשרות שנים כוללת ארבעה רכיבים השונים מיישומי קטלוג נתונים ארגוניים סטנדרטיים:

רכיב 1: חילוץ מטא-נתונים מקוד המקור. לפני שכל כלי קטלוג יוכל לשלוט במטא-נתונים מדור קודם, יש לחלץ את המטא-נתונים מארכיטקטורת המקור שבה הם נמצאים. חילוץ זה חייב לכסות: ערכי FD וספרי עותקים (מטא-נתונים טכניים עבור מבני נתונים), משפטי SELECT (ארגון קבצים ושיטת גישה), משפטי JCL DD (שיוכי מערכי נתונים ומאפייני קבצים), ושמות תנאים ברמה 88 (אוצר מילים של ערכים סמנטיים המוטמעים בקוד המקור). הפלט הוא מלאי מטא-נתונים ברמת השדה שניתן לטעון לקטלוג כנקודת התחלה להעשרה עסקית.

רכיב 2: שחזור שושלת נתונים. יש לשחזר את שושלת הנתונים עבור מערכות מדור קודם מניתוח תלות תוכניות ולא ממעקב שושלת של כלי ETL. מפת השושלת עוקבת אחר נתונים מתוכנית COBOL המקורית שלה דרך תוכניות טרנספורמציה ביניים ועד לצרכנים הסופיים שלה, כולל תהליכי ETL המספקים אותם למערכות אנליטיות מודרניות. שחזור זה סוגר את פער השושלת בגבול המערכות מדור קודם, ומחבר את המטא-נתונים של עמודת מחסן הנתונים בענן למטא-נתונים של ערך COBOL FD באמצעות שרשרת מתועדת של תלויות תוכניות.

רכיב 3: העשרה סמנטית באמצעות מומחיות בתחום. מטא-נתונים טכניים שחולצו מספקים את המבנה; משמעות עסקית מאושרת דורשת מומחיות בתחום. תהליך ההעשרה משתמש במטא-נתונים הטכניים כהנחיה מובנית לראיונות עם מומחים: "תחום זה מוגדר כ" PIC S9(9)V99 COMP-3, הוא אומת כלא-שלילי ב-14 תוכניות, והוא מומר לסולם שונה לפני כתיבה למסד הנתונים במורד הזרם, האם תוכל לאשר מה הוא מייצג ומה משמעות ההמרה?" גישה מובנית זו משתמשת בניתוח קוד כדי למקסם את ערך המידע של כל אינטראקציה עם מומחה, מה שמאפשר העשרה מהירה ושלמה יותר מאשר סקירות תיעוד לא מובנות.

רכיב 4: שילוב ממשל עם פלטפורמות קטלוג מודרניות. לאחר חילוץ, שחזור והעשרת מטא-נתונים מדור קודם, יש לשלב אותם עם תשתית ממשל המטא-נתונים המודרנית. שילוב זה מחבר את מלאי המטא-נתונים מדור קודם לקטלוג הנתונים הארגוני, ומספק: שושלת ברמת העמודה ממקור COBOL ליעד ענן, מילון מונחים עסקי המקושר להגדרות שדות מדור קודם, ומטא-נתונים של איכות נתונים עבור מערכי נתונים מדור קודם המאכלסים את אותה מסגרת ממשל כמו מטא-נתונים של מערכת מודרנית.

איך SMART TS XL מחלץ מטא-נתונים מדור קודם

SMART TS XL מטפל בשני המרכיבים הראשונים של תוכנית ניהול המטא-דאטה מדור קודם, חילוץ מטא-דאטה מקוד מקור ושחזור שושלת, על ידי יישום ניתוח סטטי על תיק העבודות המלא של COBOL, JCL ומחברות.

יכולת ניתוח הקוד הסטטי מנתחת כל ערך FD, איבר COPY, פסוקית SELECT והגדרה ברמה 88 בתיק ה-COBOL, ומייצרת את מלאי המטא-דאטה הטכני ברמת השדה: כל שם שדה, סוג נתונים, אורך, מפרט COMP, חברות REDEFINES ושם תנאי ברמה 88 בכל תוכנית וספר עותקים בסביבה. עבור תיק עבודות של אלפי תוכניות COBOL, חילוץ זה מייצר תוך שעות את מלאי המטא-דאטה הטכני שתיעוד ידני היה דורש שנים כדי לייצר אותו, אם בכלל היה ניתן לייצר אותו במלואו.

מיפוי תלות האפליקציה בונה את מפת השושלת התפעולית: כל קשר בין תוכנית למערכת נתונים (אילו תוכניות מייצרות אילו מערכי נתונים ואילו צורכות אותם), כל תלות בין תוכנית לתוכנית (אילו תוכניות קוראות לאילו אחרות ואילו נתונים זורמים ביניהן), וכל קשר בין JCL לתוכנית (אילו שלבי עבודה מפעילים אילו תוכניות באיזה רצף). מפת השושלת הזו היא שכבת המטא-דאטה התפעולית שסוגרת את הפער בין מערכות מקור מדור קודם לבין רשומות השושלת של קטלוג הנתונים המודרני.

יכולת ההרחבה של JCL עוקבת אחר שרשרת הביצוע המלאה של כל משימת JCL: פתרון הפניות PROC, הרחבת פרמטרים סמליים ובניית מטא-דאטה תפעוליים מלאים עבור הייצור והצריכה של כל מערך נתונים, הקשר התזמון, המשימות התלויות ורצף הביצוע הקובע את מאפייני העיתוי והטריות של כל מערך נתונים.

יכולת החיפוש הארגוני הופכת את מלאי המטא-דאטה שחולץ לניתן לשאילתה בכל תוכנית ניהול המטא-דאטה: מצא כל שדה המוגדר כ-COMP-3 (שדות רגישים לדיוק הדורשים מיפוי יעד קפדני), כל תוכנית שקוראת שדה ספציפי (זיהוי כל הצרכנים של פיסת נתונים ספציפית לצורך העשרה שושלתית וסמנטית), כל שם תנאי בן 88 רמות התואם למונח עסקי ספציפי (מיפוי אוצר מילים עסקי להגדרות שדה טכניות). יכולת חיפוש זו תומכת בתהליך העשרה סמנטית, ומאפשרת למומחי תחום למצוא את כל השימושים של שדה או ערך ספציפיים לפני אישור משמעותם העסקית.

עבור ארגונים המבצעים מודרניזציה מורשת תוכניות, SMART TS XLחילוץ המטא-דאטה של ​​מספק את הבסיס שלפני ההגירה: המטא-דאטה הטכני ברמת השדה שכלי הגירה צריכים כדי למפות שדות מקור לסכמות יעד, השושלת התפעולית שתוכניות הגירה צריכים כדי לרצף נכון הגירות של מערכי נתונים, ואוצר מילים סמנטי בן 88 רמות המאפשר מיפוי מדויק מערכי קוד COBOL להגדרות אילוץ יחסי.

הדחיפות של שחזור מטא-נתונים לפני שהידע פוסק

לבעיית שחזור המטא-דאטה יש דד-ליין טבעי שאינו חל על רוב אתגרי ניהול הנתונים: פרישתם של המפתחים המחזיקים בידע המוסדי שניתוח קוד אינו יכול לשחזר. כמעט שליש ממתכנתי COBOL יפרשו עד 2030. גיל מהנדסי המיינפריים הממוצע הוא 58.7. כל שנה שעוברת ללא חילוץ מטא-דאטה שיטתי והעשרה סמנטית מצמצמת את החלון שבו אימות אנושי של מטא-דאטה ששוחזרו אפשרי.

המטא-דאטה הטכני, הגדרות השדות, מפרטי הסוגים, תלויות התוכנית, שושלת הנתונים, ניתנים לשחזור מקוד המקור ללא הגבלת זמן, כל עוד קוד המקור קיים. המטא-דאטה הסמנטית, מה המשמעות של כל שדה במונחים עסקיים, מהן ההחלטות ההיסטוריות מאחורי עיצוב השדות, מהן המוסכמות המשתמעות שהמפרטים הטכניים אינם מתעדים, ניתנים לשחזור רק מאנשים שמכירים אותם, ורק כל עוד הם זמינים.

תוכנית לניהול מטא-נתונים עבור מערכות רב-עשוריות, שמתחילה בחילוץ טכני וממשיכה להעשרה סמנטית, בעוד שמומחיות בתחום עדיין זמינה, מייצרת בסיס מטא-נתונים שלם וניתן לשחזור. אותה תוכנית, הנדחית עד לאחר שהידע פוסל, מייצרת בסיס מטא-נתונים טכני שהוא מדויק אך לא שלם, נכון לגבי מבנה הנתונים, ושותק לגבי משמעותם.

מטא-דאטה הוא המפה. מערכות רב-עשורי קברו אותה.

ניהול נתונים עבור מערכות מודרניות מתחיל במטא-דאטה עדכני, נגיש ומתועד לפחות באופן חלקי. ניהול נתונים עבור מערכות מרובות עשרות שנים מתחיל במטא-דאטה המפוזר על פני אלפי קבצי קוד מקור, מתועדים חלקית במפרטים שקדמו לאינטרנט, וחלקית נשמרים בזיכרונם של מפתחים המתקרבים לפרישה.

הנתיב מ"קבור" ל"מנוהל" עובר דרך חילוץ, שחזור והעשרה, בסדר זה. מטא-דאטה טכני שחולץ מקוד המקור מספק את המלאי ההתחלתי. שושלת תפעולית ששוחזרה מתלות התוכנית מספקת את מפת המקור. העשרה סמנטית שאומתה על ידי מומחיות בתחום מספקת את המשמעות העסקית שהופכת את המטא-דאטה הטכני לניתנים לפעולה עבור ניתוח, בינה מלאכותית וממשל.

פלטפורמות קטלוג נתונים מודרניות הן היעד עבור מטא-נתונים אלה, לא נקודת ההתחלה. לפני ש-Collibra יכולה לשלוט בהם, Alation יכולה לקטלג אותם ומדעני נתונים יכולים לסמוך עליהם, יש למצוא תחילה את המטא-נתונים שמערכות מרובות עשורים מכילות, בערכי ה-FD, בספרי העותקים, בשמות התנאים בני 88 הרמות, ובכללים העסקיים המקודדים בארבעים שנות לוגיקת PROCEDURE DIVISION.

המפה קיימת. רק צריך לקרוא אותה.