Enhedsrelationsdiagrammer fra ældre databaseskemaer

Enhedsrelationsdiagrammer fra ældre databaseskemaer

IN-COM Oktober 5, 2026 , , ,

Forbind SchemaSpy til en moderne PostgreSQL-database, og den producerer et komplet ERD på få minutter: hver tabel, hver kolonne, hver relationslinje trukket fra de fremmednøglebegrænsninger, som databasen håndhæver. Diagrammet er nøjagtigt, fordi skemaet er komplet, og databasen selv ved, hvilke enheder der findes, hvad deres attributter er, og hvad der relaterer dem til hinanden. Værktøjet læser kataloget; diagrammet vises.

Forbind den samme værktøjskategori til en mainframe DB2-database fra 1987, et VSAM-filsystem eller en hierarkisk IMS-database, og resultatet er anderledes på alle vigtige måder. For DB2 får du tabeller og kolonner, men ingen relationslinjer, fordi de fremmednøglebegrænsninger, der ville tegne disse linjer, aldrig blev defineret. Relationerne findes, men de findes i COBOL PROCEDURE DIVISION-logik, ikke i en DB2 REFERENCES-klausul. For VSAM får du ingenting, der er ingen katalogpost, der beskriver, hvilke felter der findes i en VSAM-fil; disse oplysninger findes i FD-poster og kopibøger fordelt på tværs af tusindvis af COBOL-kildefiler. For IMS er segmenthierarkiet, der definerer datastrukturen, i DBD-kilden (Database Description), ikke i et format, som relationelle ERD-værktøjer kan læse. Den ERD, som moderniseringsteams har brug for, den der viser, hvilke enheder der findes, hvad deres attributter er, og hvordan de relaterer, kan ikke produceres af et standard ERD-værktøj fra en ældre database uden kildekodeanalyse.

VSAM-skema fra kilde, ikke katalog

SMART TS XL udtrækker COBOL-joinmønstre og læser sekvenser for at identificere alle relationer, som DB2-kataloget aldrig har deklareret.

FÅ MERE AT VIDE…

Hvorfor standard ERD-værktøjer fejler for ældre databaser

Standardværktøjet til reverse engineering af ERD forudsætter et specifikt sæt betingelser: en kørende databaseserver, der er tilgængelig via JDBC, et skema med deklarerede tabeller og kolonner, og fremmednøglebegrænsninger, der formelt deklarerer relationerne mellem tabeller. Givet disse betingelser er ERD-generering et løst problem. SchemaSpy, Dataedo, dbForge, Aqua Data Studio og snesevis af lignende værktøjer producerer nøjagtige ERD'er fra enhver JDBC-tilgængelig relationsdatabase på få minutter.

Ældre databasemiljøer overtræder alle disse antagelser:

Skemaet findes ikke i databasen. VSAM-filer gemmer poster som byte-strømme. Postlayoutet, hvilke bytes der repræsenterer hvilke felter, hvilken datatype hvert felt bruger, og hvad feltets forretningsmæssige betydning er, findes i COBOL FD-poster og COPY-medlemmer, ikke i noget databasekatalog. Der findes ingen VSAM-ækvivalent til INFORMATION_SCHEMA. En VSAM-fil, der har været i produktion i fyrre år, kan have sit postlayout defineret i en kopibog, som 200 programmer inkluderer, hvor de faktiske feltdefinitioner kun er synlige ved at parse disse kildefiler.

Relationerne findes i koden, ikke i skemaet. Selv når et DB2-skema er tilgængeligt via JDBC, er de fremmednøglebegrænsninger, som ERD-værktøjer bruger til at tegne relationslinjer, ofte fraværende. DB2 på z/OS har historisk set tilladt, og mange organisationer har praktiseret, håndhævelse af referentiel integritet gennem COBOL-programlogik i stedet for gennem begrænsninger på databaseniveau. Et COBOL-program, der læser en CUSTOMER-post efter CUST-ID, validerer, at CUST-ID'et findes før behandling, og derefter læser de tilknyttede KONTO-poster, implementerer en kunde-til-konto-relation. Denne relation er reel og betydningsfuld for ERD. Den er usynlig for ethvert værktøj, der kun læser DB2-kataloget.

Datastrukturen er ikke relationel. IMS (Information Management System) og IDMS organiserer data i hierarkiske segmenttræer, ikke relationelle tabeller. Forældre-barn-relationerne mellem IMS-segmenter er defineret i DBD-kildefiler, ikke i fremmednøglebegrænsninger. En IMS PCB (Program Communication Block) definerer, hvilke segmenttyper et program kan tilgå, og i hvilken rækkefølge. ERD'en for en IMS-database er et segmenthierarkidiagram, ikke et kragefodsrelationsdiagram, og den skal være afledt af DBD-kilden snarere end af et relationskatalog.

De tre ældre databasetyper og deres ERD-udfordringer

DB2 på z/OS: Synligt skema, usynlige relationer

DB2 på z/OS er i princippet en relationsdatabase med et forespørgselsvenligt katalog. SYSCOLUMNS, SYSTABLES og SYSTABLEPART leverer entitets- og attributdefinitionerne. Udfordringen er relationslaget.

IBM DB2 på z/OS understøtter begrænsninger af referentiel integritet, men deres anvendelse i produktionssystemer har historisk set været inkonsekvent. Ydelseshensyn i batchbehandlingstiden førte til, at mange organisationer deaktiverede begrænsningskontrol og i stedet håndhævede relationer i COBOL-kode. Et DB2-skema med 500 tabeller kan have færre end 20 fremmednøglebegrænsninger deklareret, ikke fordi tabellerne ikke er relaterede, men fordi de resterende relationer blev anset for at være for dyre at håndhæve på databaseniveau og i stedet håndhæves af COBOL-programmer.

En DB2 ERD, der produceres udelukkende ud fra kataloget, viser enhederne og deres attributter korrekt. Den viser relationerne forkert, enten ved at tegne de 20 deklarerede FK-relationer, mens de 480 ikke-deklarerede mangler, eller ved at tegne slet ingen relationer.

SQL'en til at udtrække, hvad kataloget leverer:

sql

-- DB2 z/OS: extract declared tables and columns (entity/attribute layer)
SELECT
    T.NAME          AS entity_name,
    C.NAME          AS attribute_name,
    C.COLTYPE       AS data_type,
    C.LENGTH        AS field_length,
    C.SCALE         AS decimal_scale,
    C.NULLS         AS nullable,
    C.KEYSEQ        AS primary_key_sequence
FROM SYSIBM.SYSTABLES  T
JOIN SYSIBM.SYSCOLUMNS C
    ON C.TBNAME   = T.NAME
    AND C.TBCREATOR = T.CREATOR
WHERE T.TYPE = 'T'
ORDER BY T.NAME, C.COLNO;

-- DB2 z/OS: extract declared referential constraints (incomplete relationship layer)
SELECT
    R.RELNAME       AS relationship_name,
    R.TBNAME        AS child_table,
    R.REFTBNAME     AS parent_table,
    R.DELETERULE    AS delete_rule,
    R.UPDATERULE    AS update_rule
FROM SYSIBM.SYSRELS R
ORDER BY R.TBNAME;

Den anden forespørgsel returnerer muligvis nul eller meget få rækker for et ældre DB2-skema, ikke fordi relationerne ikke findes, men fordi de ikke blev deklareret. ERD-linjerne for ikke-deklarerede relationer skal komme fra COBOL-kildeanalyse.

VSAM-filer: Skema findes kun i kildekoden

Et VSAM KSDS (Key-Sequenced Data Set) lagrer poster fysisk sorteret efter en primærnøgle. Primnøglen er en byte-offset og -længde i posten. Hvad disse bytes repræsenterer i forretningsmæssige termer, hvad de resterende bytes indeholder, og hvordan denne post relaterer sig til poster i andre VSAM-filer, er ikke defineret nogen steder i VSAM-metadata. De findes kun i COBOL FD-posterne og COPY-medlemmerne, som programmer bruger til at læse og skrive filen.

Rekonstruktion af en VSAM-enhedsdefinition fra kildekode:

COBOL

      *> FD entry: the entity definition for CUSTOMER-FILE
      *> This IS the ERD entity "Customer" with its attributes
       FD  CUSTOMER-FILE
           LABEL RECORDS ARE STANDARD
           RECORD CONTAINS 350 CHARACTERS.
       01  CUSTOMER-RECORD.
           COPY CUSTMSTR.           *> Attribute definitions in copybook

      *> CUSTMSTR copybook expands to:
       01  CUSTOMER-RECORD.
           05  CUST-ID          PIC 9(10).       *> Primary key
           05  CUST-NAME        PIC X(40).       *> Customer name
           05  CUST-DOB         PIC 9(8).        *> Date of birth
           05  CUST-STATUS-CD   PIC X(2).        *> Status code
               88 CUST-ACTIVE   VALUE 'AC'.
               88 CUST-INACTIVE VALUE 'IN'.
           05  CUST-OPEN-DATE   PIC 9(8).        *> Account open date
           05  CUST-REGION-CD   PIC X(4).        *> Region (FK to REGION-FILE)
           05  FILLER           PIC X(286).

Fra denne FD-post har ERD-enheden "Kunde" seks attributter med deres typer, længder og en primærnøgle (CUST-ID). Værdierne på 88 niveauer definerer de gyldige værdier for CUST-STATUS-CD, som knyttes til ERD-begrænsninger eller opregnede typedefinitioner i målskemaet. Feltet CUST-REGION-CD ser ud til at være en fremmednøgle til REGION-FILE, men dette kan kun bekræftes ved at analysere COBOL PROCEDURE DIVISION for at verificere, at et program læser REGION-FILE ved hjælp af værdien CUST-REGION-CD som nøgle.

Relationslinjen i ERD'en mellem kunde og region findes ikke i VSAM-kataloget, men i COBOL-programlogikken.

IMS hierarkiske databaser: Segmenttræer, ikke relationelle tabeller

IMS organiserer data som hierarkiske segmenttræer. En rodsegmenttype (den overordnede enhed) har en eller flere underordnede segmenttyper. Hvert underordnet segment kan have sine egne underordnede segmenter. Den resulterende træstruktur er IMS-ækvivalenten til en ERD, men det er ikke en relationel ERD, det er et indeslutningshierarki, hvor underordnede poster fysisk gemmes i eller ved siden af ​​deres overordnede poster.

IMS-datastrukturen er defineret i en DBD-kildefil (Database Description):

DBD    NAME=CUSTDB,ACCESS=HDAM
DATASET DD1=CUSTDD,DEVICE=3390
SEGM   NAME=CUSTROOT,BYTES=200,FREQ=1000
FIELD  NAME=(CUSTID,SEQ),BYTES=10,START=1,TYPE=C
FIELD  NAME=CUSTNAME,BYTES=40,START=11,TYPE=C
FIELD  NAME=CUSTSTAT,BYTES=2,START=51,TYPE=C
SEGM   NAME=ACCTSEGS,PARENT=CUSTROOT,BYTES=100,FREQ=5
FIELD  NAME=(ACCTNO,SEQ),BYTES=12,START=1,TYPE=C
FIELD  NAME=ACCTBAL,BYTES=13,START=13,TYPE=P
SEGM   NAME=TXNSEGS,PARENT=ACCTSEGS,BYTES=80,FREQ=20
FIELD  NAME=(TXNDATE,SEQ),BYTES=8,START=1,TYPE=C
FIELD  NAME=TXNAMT,BYTES=13,START=9,TYPE=P

Denne DBD definerer tre enhedstyper i et overordnet-underordnet-barnebarn-hierarki: CUSTROOT (Kunde) indeholder ACCTSEGS (Konto), som indeholder TXNSEGS (Transaktion). I ERD-termer:

  • Kunde (1) —- har (mange) —- Konto
  • Konto (1) —- har (mange) —- Transaktion

ERD-linjerne er en-til-mange fra forælder til barn. Kardinaliteten er kodet i FREQ-parameteren (gennemsnitlige forekomster) og i de fysiske adgangsmønstre, der er synlige i PCB-definitioner. Enhedsattributterne er FIELD-definitionerne under hvert SEGM.

Konvertering af en IMS hierarkisk struktur til en relationel ERD til migreringsmåldesign kræver, at den implicitte forældre-barn fremmednøgle, som IMS håndhæver fysisk, gøres eksplicit: ACCTSEGS tilhører altid præcis én CUSTROOT. I det relationelle målskema bliver dette en FK-kolonne i kontotabellen, der refererer til kundens primære nøgle.

COBOL-koden som relationsspecifikation

Relationslaget i ERD for enhver ældre databasetype, DB2, VSAM eller IMS, findes primært i COBOL PROCEDURE DIVISION dataadgangsmønstre. Tre mønstre er de mest almindelige relationsindikatorer:

Sekventiel læsning med nøglekvalificering. Et program læser fil A for at få en nøgleværdi og bruger derefter denne nøgle til at læse fil B:

COBOL

       PROCESS-CUSTOMER.
           READ CUSTOMER-FILE
               KEY IS WS-CUST-KEY
               INVALID KEY PERFORM CUST-NOT-FOUND
           END-READ

           MOVE CUST-ID TO WS-ACCT-SEARCH-KEY
           READ ACCOUNT-FILE
               KEY IS WS-ACCT-SEARCH-KEY
               INVALID KEY PERFORM ACCT-NOT-FOUND
           END-READ.

Dette mønster etablerer en relation: Kunden relaterer sig til kontoen via KUNDE-ID. ERD-linjen er: KUNDE (1) —- har (0 eller flere) —- KONTO.

Kardinaliteten (én kunde til én konto eller én kunde til mange konti) bestemmes af, om den anden LÆSNING efterfølges af et UDFØR INDTIL EOF-mønster til sekventiel scanning:

COBOL

       READ-ALL-ACCOUNTS.
           MOVE CUST-ID TO WS-ACCT-KEY
           START ACCOUNT-FILE KEY >= WS-ACCT-KEY
           PERFORM UNTIL WS-ACCT-EOF = 'Y'
               READ ACCOUNT-FILE NEXT RECORD
                   AT END MOVE 'Y' TO WS-ACCT-EOF
               END-READ
               IF NOT WS-ACCT-EOF
                   PERFORM PROCESS-ACCOUNT
               END-IF
           END-PERFORM.

Mønsteret PERFORM UNTIL EOF efter en START fastslår, at én KUNDE har mange KONTI, kardinaliteten er en-til-mange.

Opslags-/valideringsmønster. Et program læser en referencefil for at validere en kodeværdi i hovedposten:

COBOL

       VALIDATE-REGION.
           MOVE CUST-REGION-CD TO WS-REGION-KEY
           READ REGION-FILE
               KEY IS WS-REGION-KEY
               INVALID KEY MOVE 'INVALID' TO WS-VALIDATION-STATUS
           END-READ.

Dette etablerer en fremmednøgle-relation: CUSTOMER.CUST-REGION-CD refererer til REGION.REGION-CD. ERD-linjen er: REGION (1) —- klassificerer (0 eller mere) —- CUSTOMER.

Indlejret SQL-joinmønster. For programmer, der tilgår DB2, er indlejrede SQL SELECT-sætninger med JOIN-klausuler den mest eksplicitte relationsspecifikation:

COBOL

       EXEC SQL
           SELECT C.CUST-NAME, A.ACCT-BALANCE
           INTO  :WS-CUST-NAME, :WS-ACCT-BAL
           FROM  CUSTOMER C
           JOIN  ACCOUNT  A ON A.CUST-ID = C.CUST-ID
           WHERE C.CUST-ID = :WS-KEY-CUST-ID
       END-EXEC.

JOIN ON-klausulen er den eksplicitte FK-relation: ACCOUNT.CUST-ID refererer til CUSTOMER.CUST-ID. Denne relation findes muligvis ikke i DB2's SYSRELS-tabel, men den er definitivt til stede i COBOL-kildekoden.

Håndtering af REDEFINES: Flere entitetstyper i én post

VSAM-poster, der bruger REDEFINES, skaber en specifik ERD-modelleringsudfordring: den samme fysiske post indeholder forskellige attributsæt afhængigt af et diskriminatorfelt. Dette knyttes til ERD-konceptet med undertypeenheder, en overordnet entitetstype (den fælles post) og flere undertypeenheder (REDEFINES-varianterne).

ERD-repræsentationen:

TRANSACTION (supertype)
    |-- TXN-TYPE = 'PM' --> PAYMENT-TRANSACTION (subtype)
    |-- TXN-TYPE = 'RF' --> REFUND-TRANSACTION (subtype)
    |-- TXN-TYPE = 'AJ' --> ADJUSTMENT-TRANSACTION (subtype)

I det relationelle målskema kan dette implementeres som:

  • Arv fra én tabel: én tabel med alle kolonner, variantspecifikke kolonner kan nulles
  • Klasse-tabel arv: én tabel for supertypen, én pr. undertype med en FK til supertypen
  • Arv fra betontabeller: separat tabel pr. undertype, ingen supertypetabel

ERD'en skal repræsentere REDEFINES-hierarkiet nøjagtigt, så beslutningen om målskemadesignet kan træffes med fuldt kendskab til variantstrukturen.

Opbygning af det komplette ERD: Kombinationsmetoden

En komplet ERD til et ældre databasemiljø kræver en kombination af tre kilder:

Kilde 1: Databasekatalog. For DB2, udtræk tabeller, kolonner og deklarerede FK-begrænsninger fra SYSCOLUMNS og SYSRELS. For IMS, udtræk segmenttyper og feltdefinitioner fra DBD-kilden. For VSAM er der intet katalog, fortsæt direkte til kilde 2.

Kilde 2: COBOL FD-poster og kopibøger. For hver datafil i omfanget skal du udtrække postlayoutet fra FD-posten og det COPY-medlem, den refererer til. Dette producerer entitetsattributdefinitionerne for VSAM-filer og supplerer DB2-kataloget med forretningsmetadata på kolonneniveau (feltbeskrivelser fra kopibogskommentarer, gyldige værdier på 88-niveau som begrænsningsdefinitioner, COMP-3-præcision som datatypepræcision).

Kilde 3: COBOL PROCEDURE DIVISION adgangsmønstre. For hvert program, der tilgår data i omfanget, udtrækkes dataadgangsmønstrene: hvilke filer læses med hvilke nøgler, hvilke join-mønstre etablerer relationer mellem filer, hvilke valideringsmønstre etablerer fremmednøglerelationer til referencefiler. Dette producerer de relationslinjer, som hverken databasekataloget eller FD-posterne indeholder.

De tre kilder tilsammen producerer en ERD, der nøjagtigt repræsenterer:

  • Alle enheder (tabeller, VSAM-filer, IMS-segmenter) med deres attributter
  • Alle eksplicit deklarerede relationer (fra DB2-katalogets FK-begrænsninger)
  • Alle implicit håndhævede relationer (fra COBOL-kodemønstre)
  • Alle undertypestrukturer (fra REDEFINES-hierarkier)
  • Alle referencedatarelationer (fra valideringsopslagsmønstre)

Denne kombinerede ERD er den datamodelspecifikation, som design af migreringsmålskemaer kræver.

Brug af Legacy ERD til Target Schema Design

Den ældre ERD tjener tre specifikke formål i målskemadesign:

Primærnøglekortlægning. Primnøglen i en VSAM KSDS, nøglefeltet i en DB2-tabel og sekvensfeltet i et IMS-segment er alle kortlagt til primære nøgler i det ønskede relationsskema. COBOL-feltdefinitionen (PIC 9(10), PIC X(12)) bestemmer målkolonnetypen.

Definition af fremmednøgle. Hver relationslinje i det ældre ERD, der blev håndhævet i COBOL-kode, bliver en eksplicit FK-begrænsning i det ønskede relationsskema. COBOL-håndhævelsen erstattes af håndhævelse på databaseniveau, hvilket er den korrekte funktionsmåde for et moderne relationssystem.

Undertypenormalisering. REDEFINES-hierarkier i VSAM-poster bliver et af de tre arvskortlægningsmønstre (enkelt-tabel, klasse-tabel eller konkret-tabel) afhængigt af forretningskravene til forespørgselsydeevne, null-tolerance og adgangsmønster.

Præcisionsbevarende typekortlægning. COMP-3 pakkede decimalfelter med specifik præcision (PIC S9(9)V99 COMP-3) kortlægges til DECIMAL(11, 2) i målskemaet, ikke til FLOAT, som mister præcision, og ikke til VARCHAR, som mister den numeriske begrænsning. ERD'ens attributdefinitioner skal indeholde disse præcisionsmetadata for at forhindre tab af datakvalitet under migrering.

Hvordan SMART TS XL Rekonstruerer ældre ERD'er

SMART TS XL's statisk kodeanalyse analyserer alle COBOL FD-poster, COPY-medlemmer og PROCEDURE DIVISION-dataadgangsmønstre på tværs af hele porteføljen. Ud fra denne analyse produceres entitets- og attributdefinitionerne for hver datafil i omfanget, inklusive VSAM-filer, der ikke har nogen databasekatalogpost, og relationskortet afledt af dataadgangsmønstre i COBOL-kilden.

Applikationsafhængighedskortlægningen sporer datastrømmen mellem programmer og datalagre: hvilke programmer tilgår hvilke filer, med hvilke nøgler, i hvilke adgangsmønstre. Denne operationelle afhængighedskortlægning er kilden til de relationslinjer, som det ældre ERD's kodeafledte relationslag kræver, kunde-til-konto-relationen, som DB2-kataloget ikke deklarerer, men COBOL JOIN ON-klausulen gør.

Effektanalysefunktionen gør ERD'en brugbar til migreringsplanlægning: Når en beslutning om et målskema ændrer en enheds primære nøglestruktur, identificerer effektanalysen hvert COBOL-program , der tilgår den pågældende enhed, og som kræver tilsvarende ændringer. ERD'en viser datamodellen; effektanalysen viser programomfanget af enhver ændring af den.

Analysen af ​​den ældre modernisering producerer VSAM-strukturopgørelsen, hver FD-post med dens feltdefinitioner, REDEFINES-hierarkier, COMP-3-præcisionsspecifikationer og gyldige værdier på 88 niveauer, der danner entitetsattributlaget i den komplette ældre ERD. For organisationer, der ikke formelt har dokumenteret deres VSAM-skemaer, er denne strukturopgørelse den første komplette datamodel, de nogensinde har haft.

Virksomhedssøgningsfunktionen gør ERD-resultaterne forespørgbare: find alle programmer , der tilgår en bestemt enhed, alle felter, der ser ud til at være en fremmednøgle til en bestemt referencefil, alle REDEFINES-hierarki, der opretter enhedsundertyper. Denne søgefunktion understøtter den iterative ERD-konstruktionsproces, hvor den opbygger, verificerer og forfiner den ældre datamodel, før designet af migreringsmålskemaet færdiggøres.

ERD'en som databasen aldrig opbevarede

Enhver moderne database har sit eget skema. PostgreSQL, MySQL, Oracle og SQL Server vedligeholder katalogtabeller, der beskriver alle enheder, attributter og relationer, som databasen indeholder. Reverse engineering af en ERD fra disse systemer er hurtig, præcis og fuldt automatiseret.

Ældre databaser blev bygget på andre præmisser. VSAM antager, at skemaet er kendt af de programmer, der bruger det, og ikke gemt i selve filen. DB2 på z/OS tillod referentiel integritet at leve i COBOL-kode af ydeevneårsager, hvilket gav mening i 1987 og nu er arkitektonisk gæld, som ethvert moderniseringsprogram skal løse. IMS gemmer sit skema i DBD-kildefiler, som relationelle ERD-værktøjer ikke kan læse.

Det ERD, som disse systemer aldrig formelt har vedligeholdt, eksisterer ikke desto mindre, fordelt på tværs af FD-poster, kopibøger, PROCEDURE DIVISION-dataadgangsmønstre, indlejrede SQL-join-klausuler og IMS DBD-definitioner. Rekonstruktionen af ​​det kræver systematisk læsning af alle disse kilder og kombination af dem i den samlede datamodel, som det ældre databasemiljø implicit indeholdt og aldrig eksplicit registrerede.

Den rekonstruktion er forudsætningen for ethvert korrekt design af migreringsmålskemaer. Målskemaet, der designes uden den, er designet til en ældre datamodel, som ingen har set fuldt ud.