從傳統資料庫模式建立實體關係圖

從傳統資料庫模式建立實體關係圖

內部網路 2026 年 10 月 5 日 , , ,

將 SchemaSpy 連接到現代 PostgreSQL 資料庫,即可在幾分鐘內產生完整的 ER 圖:包括每個表、每一列以及根據資料庫強制執行的外鍵約束繪製的每條關係線。該圖準確無誤,因為資料庫模式完整,資料庫本身知道存在哪些實體、它們的屬性以及它們之間的關係。工具讀取目錄,即可產生 ER 圖。

將相同類別工具連接到 1987 年的大型主機 DB2 資料庫、VSAM 檔案系統或 IMS 層次資料庫,結果在所有重要方面都截然不同。對於 DB2,您只能取得表格和列,而無法取得關係線,因為用於繪製這些關係線的外鍵約束從未定義。關係確實存在,但它們存在於 COBOL 過程部邏輯中,而不是 DB2 引用子句中。對於 VSAM,您什麼也得不到,因為沒有目錄條目描述 VSAM 檔案中存在哪些欄位;這些資訊存在於分佈在數千個 COBOL 原始檔案中的 FD 條目和副本中。對於 IMS,定義資料結構的段層次結構位於 DBD(資料庫描述)來源中,而不是關係型 ERD 工具可以讀取的任何格式。現代化團隊所需的 ERD(顯示存在哪些實體、它們的屬性是什麼以及它們之間的關係)無法透過任何標準 ERD 工具在不進行原始碼分析的情況下從遺留資料庫中產生。

VSAM 架構來自來源,而非目錄

SMART TS XL 提取 COBOL 連接模式和讀取序列,以識別 DB2 目錄中未聲明的每個關係。

了解更多…

為什麼標準ERD工具無法處理傳統資料庫

標準的ERD逆向工程工具假定存在一組特定條件:一個可透過JDBC存取的正在運行的資料庫伺服器、一個包含已聲明表和列的模式,以及正式聲明表間關係的外鍵約束。在這些條件下,ERD生成問題便迎刃而解。 SchemaSpy、Dataedo、dbForge、Aqua Data Studio以及數十種類似工具都能在幾分鐘內從任何可透過JDBC存取的關聯式資料庫產生精確的ERD。

傳統資料庫環境違反了上述所有假設:

資料庫裡沒有架構資訊。 VSAM檔案以位元組流的形式儲存記錄。記錄佈局(即哪些位元組代表哪些欄位、每個欄位使用的資料類型以及欄位的業務意義)存在於 COBOL FD 條目和 COPY 成員中,而不是任何資料庫目錄中。 VSAM 中沒有與 INFORMATION_SCHEMA 等效的東西。一個已在生產環境中使用了四十年的 VSAM 文件,其記錄佈局可能定義在一個包含 200 個程式的副本中,而實際的欄位定義只能透過解析這些來源文件才能看到。

關係存在於程式碼中,而非模式中。即使可以透過 JDBC 存取 DB2 模式,ERD 工具用於繪製關係線的外鍵約束也常常缺失。歷史上,z/OS 上的 DB2 允許(許多組織也確實這樣做了)透過 COBOL 程式邏輯而非資料庫層級約束來強制執行引用完整性。一個 COBOL 程式透過 CUST-ID 讀取 CUSTOMER 記錄,在處理之前驗證 CUST-ID 是否存在,然後讀取關聯的 ACCOUNT 記錄,這便實現了客戶到帳戶的關係。這種關係對 ERD 來說是真實且重要的。但對於任何僅讀取 DB2 目錄的工具而言,這種關係是不可見的。

資料結構並非關係型結構。 IMS(資訊管理系統)和IDMS以層次結構段樹而非關係表的形式組織資料。 IMS段之間的父子關係在DBD來源檔中定義,而非外鍵約束定義。 IMS程序通訊區塊(PCB)定義了程式可以存取哪些段類型以及存取順序。 IMS資料庫的ERD是段層次結構圖,而非關係圖,並且必須從DBD原始檔而非關係目錄產生。

三種傳統資料庫類型及其ERD挑戰

z/OS 上的 DB2:可見模式,不可見關係

從原則上講,z/OS 上的 DB2 是一個具有可查詢目錄的關聯式資料庫。 SYSCOLUMNS、SYSTABLES 和 SYSTABLEPART 提供了實體和屬性定義。真正的挑戰在於關係層。

IBM DB2 on z/OS 支援引用完整性約束,但其在生產系統中的應用歷來不一致。在批次時代,出於效能考慮,許多組織禁用了約束檢查,轉而使用 COBOL 程式碼強制執行關係。一個包含 500 個表的 DB2 模式可能只聲明了不到 20 個外鍵約束,這並非因為這些表之間沒有關聯,而是因為其餘關係在資料庫層級強制執行的成本過高,因此改為 COBOL 程式強制執行。

僅根據目錄產生的 DB2 ERD 可以正確顯示實體及其屬性。但它對關係的顯示不正確,要么只繪製了 20 個已聲明的外鍵關係而遺漏了 480 個未聲明的關係,要么根本不繪製任何關係。

用於擷取目錄內容的 SQL 語句:

SQL

-- DB2 z/OS: extract declared tables and columns (entity/attribute layer)
SELECT
    T.NAME          AS entity_name,
    C.NAME          AS attribute_name,
    C.COLTYPE       AS data_type,
    C.LENGTH        AS field_length,
    C.SCALE         AS decimal_scale,
    C.NULLS         AS nullable,
    C.KEYSEQ        AS primary_key_sequence
FROM SYSIBM.SYSTABLES  T
JOIN SYSIBM.SYSCOLUMNS C
    ON C.TBNAME   = T.NAME
    AND C.TBCREATOR = T.CREATOR
WHERE T.TYPE = 'T'
ORDER BY T.NAME, C.COLNO;

-- DB2 z/OS: extract declared referential constraints (incomplete relationship layer)
SELECT
    R.RELNAME       AS relationship_name,
    R.TBNAME        AS child_table,
    R.REFTBNAME     AS parent_table,
    R.DELETERULE    AS delete_rule,
    R.UPDATERULE    AS update_rule
FROM SYSIBM.SYSRELS R
ORDER BY R.TBNAME;

對於舊版 DB2 模式,第二個查詢可能會傳回零行或極少行,這並非因為關係不存在,而是因為關係未宣告。未聲明關係的 ER 圖行必須透過 COBOL 原始碼分析取得。

VSAM 檔案:架構僅存在於原始碼中

VSAM KSDS(鍵序資料集)依照主鍵的實體順序儲存記錄。主鍵是記錄內的位元組偏移量和長度。這些位元組在業務上代表什麼,其餘位元組包含什麼,以及此記錄與其他 VSAM 檔案中的記錄有何關聯,這些在 VSAM 元資料中均未定義。它們僅存在於程式用於讀寫檔案的 COBOL FD 條目和 COPY 成員中。

從來源檔案重建 VSAM 實體定義:

科博爾

      *> FD entry: the entity definition for CUSTOMER-FILE
      *> This IS the ERD entity "Customer" with its attributes
       FD  CUSTOMER-FILE
           LABEL RECORDS ARE STANDARD
           RECORD CONTAINS 350 CHARACTERS.
       01  CUSTOMER-RECORD.
           COPY CUSTMSTR.           *> Attribute definitions in copybook

      *> CUSTMSTR copybook expands to:
       01  CUSTOMER-RECORD.
           05  CUST-ID          PIC 9(10).       *> Primary key
           05  CUST-NAME        PIC X(40).       *> Customer name
           05  CUST-DOB         PIC 9(8).        *> Date of birth
           05  CUST-STATUS-CD   PIC X(2).        *> Status code
               88 CUST-ACTIVE   VALUE 'AC'.
               88 CUST-INACTIVE VALUE 'IN'.
           05  CUST-OPEN-DATE   PIC 9(8).        *> Account open date
           05  CUST-REGION-CD   PIC X(4).        *> Region (FK to REGION-FILE)
           05  FILLER           PIC X(286).

根據此 FD 條目,ERD 實體「Customer」具有六個屬性,包括它們的類型、長度和一個主鍵 (CUST-ID)。 88 級值定義了 CUST-STATUS-CD 的有效值,這些值會對應到目標模式中的 ERD 約束或枚舉類型定義。欄位 CUST-REGION-CD 似乎是 REGION-FILE 的外鍵,但這只能透過分析 COBOL PROCEDURE DIVISION 來確認,以驗證程式是否使用 CUST-REGION-CD 的值作為鍵來讀取 REGION-FILE。

ERD 中客戶與區域之間的關係線不在 VSAM 目錄中,而是在 COBOL 程式邏輯中。

IMS 層次資料庫:段樹,而非關係表

IMS 將資料組織成層次結構的段樹。根段類型(父實體)可以擁有一個或多個子段類型。每個子段類型又可以擁有自己的子段類型。由此產生的樹狀結構相當於 IMS 中的 ER 圖,但它並非關係型 ER 圖,而是一個包含層次結構,其中子記錄實際儲存在其父記錄內部或與其相鄰。

IMS資料結構在DBD(資料庫描述)來源檔案中定義:

DBD    NAME=CUSTDB,ACCESS=HDAM
DATASET DD1=CUSTDD,DEVICE=3390
SEGM   NAME=CUSTROOT,BYTES=200,FREQ=1000
FIELD  NAME=(CUSTID,SEQ),BYTES=10,START=1,TYPE=C
FIELD  NAME=CUSTNAME,BYTES=40,START=11,TYPE=C
FIELD  NAME=CUSTSTAT,BYTES=2,START=51,TYPE=C
SEGM   NAME=ACCTSEGS,PARENT=CUSTROOT,BYTES=100,FREQ=5
FIELD  NAME=(ACCTNO,SEQ),BYTES=12,START=1,TYPE=C
FIELD  NAME=ACCTBAL,BYTES=13,START=13,TYPE=P
SEGM   NAME=TXNSEGS,PARENT=ACCTSEGS,BYTES=80,FREQ=20
FIELD  NAME=(TXNDATE,SEQ),BYTES=8,START=1,TYPE=C
FIELD  NAME=TXNAMT,BYTES=13,START=9,TYPE=P

此資料庫定義 (DBD) 定義了父-子-孫子層次結構中的三種實體類型:CUSTROOT(客戶)包含 ACCTSEGS(帳戶),ACCTSEGS 包含 TXNSEGS(交易)。以實體關係圖 (ERD) 表示:

  • 客戶(1)-擁有(多個)-帳戶
  • 帳戶(1)-有(許多)-交易

ERD圖中的元素是父元素到子元素的一對多關係。基數由FREQ參數(平均出現次數)和PCB定義中可見的物理存取模式編碼。實體屬性是每個SEGM下的FIELD定義。

將 IMS 層級結構轉換為關係型 ERD 以進行遷移目標設計,需要明確定義 IMS 實際強制執行的隱式父子外鍵:ACCTSEGS 始終且僅屬於一個 CUSTROOT。在目標關係模式中,這將成為 Account 表中引用 Customer 主鍵的外鍵列。

COBOL 代碼作為關係規範

對於任何傳統資料庫類型(例如 DB2、VSAM 或 IMS),ERD 的關聯層主要存在於 COBOL 流程部的資料存取模式中。以下三種模式是最常見的關係指示符:

帶鍵限定的順序讀取。程式讀取檔案 A 取得鍵值,然後使用該鍵讀取檔案 B:

科博爾

       PROCESS-CUSTOMER.
           READ CUSTOMER-FILE
               KEY IS WS-CUST-KEY
               INVALID KEY PERFORM CUST-NOT-FOUND
           END-READ

           MOVE CUST-ID TO WS-ACCT-SEARCH-KEY
           READ ACCOUNT-FILE
               KEY IS WS-ACCT-SEARCH-KEY
               INVALID KEY PERFORM ACCT-NOT-FOUND
           END-READ.

此模式建立了一種關係:客戶透過 CUST-ID 與帳戶關聯。 ERD 行是:客戶 (1) —- 擁有 (0 或多個) —- 帳戶。

基數(一個客戶對應一個帳戶,或一個客戶對應多個帳戶)取決於第二個 READ 操作後是否跟有 PERFORM UNTIL EOF 模式以進行順序掃描:

科博爾

       READ-ALL-ACCOUNTS.
           MOVE CUST-ID TO WS-ACCT-KEY
           START ACCOUNT-FILE KEY >= WS-ACCT-KEY
           PERFORM UNTIL WS-ACCT-EOF = 'Y'
               READ ACCOUNT-FILE NEXT RECORD
                   AT END MOVE 'Y' TO WS-ACCT-EOF
               END-READ
               IF NOT WS-ACCT-EOF
                   PERFORM PROCESS-ACCOUNT
               END-IF
           END-PERFORM.

START 之後的 PERFORM UNTIL EOF 模式顯示一個 CUSTOMER 可以有多個 ACCOUNTS,基數是一對多。

尋找/驗證模式。程式讀取參考文件以驗證主記錄中的代碼值:

科博爾

       VALIDATE-REGION.
           MOVE CUST-REGION-CD TO WS-REGION-KEY
           READ REGION-FILE
               KEY IS WS-REGION-KEY
               INVALID KEY MOVE 'INVALID' TO WS-VALIDATION-STATUS
           END-READ.

這建立了一個外鍵關係:CUSTOMER.CUST-REGION-CD 引用 REGION.REGION-CD。 ERD 行是:REGION (1) —- 分類 (0 或更多) —- CUSTOMER。

嵌入式 SQL 連線模式。對於存取 DB2 的程式而言,具有 JOIN 子句的嵌入式 SQL SELECT 語句是最明確的關係規格:

科博爾

       EXEC SQL
           SELECT C.CUST-NAME, A.ACCT-BALANCE
           INTO  :WS-CUST-NAME, :WS-ACCT-BAL
           FROM  CUSTOMER C
           JOIN  ACCOUNT  A ON A.CUST-ID = C.CUST-ID
           WHERE C.CUST-ID = :WS-KEY-CUST-ID
       END-EXEC.

JOIN ON 子句明確指定了外鍵關係:ACCOUNT.CUST-ID 引用 CUSTOMER.CUST-ID。此關係可能不存在於 DB2 的 SYSRELS 表中,但肯定存在於 COBOL 原始碼中。

處理 REDEFINES:一條記錄中的多個實體類型

使用 REDEFINES 的 VSAM 記錄會帶來特殊的 ERD 建模挑戰:同一實體記錄會根據判別欄位的不同而包含不同的屬性集。這對應於 ERD 中的子類型實體概念,即父實體類型(普通記錄)和多個子類型實體(REDEFINES 變體)。

實體關係圖表示:

TRANSACTION (supertype)
    |-- TXN-TYPE = 'PM' --> PAYMENT-TRANSACTION (subtype)
    |-- TXN-TYPE = 'RF' --> REFUND-TRANSACTION (subtype)
    |-- TXN-TYPE = 'AJ' --> ADJUSTMENT-TRANSACTION (subtype)

在目標關係模式中,這可以實現為:

  • 單表繼承:一個包含所有列的表,變體特定的列可為空。
  • 類別表繼承:一個表用於超類型,每個子類型一個表,子類型之間透過外鍵指向超類型。
  • 具體表繼承:每個子類型使用單獨的表,沒有超類型表。

ERD 必須準確地表示 REDEFINES 層次結構,以便在充分了解變體結構的情況下做出目標模式設計決策。

建立完整的ER圖:組合方法

完整的傳統資料庫環境實體關係圖 (ERD) 需要結合以下三個來源:

來源 1:資料庫目錄。對於 DB2,從 SYSCOLUMNS 和 SYSRELS 中提取表格、列和已宣告的外鍵約束。對於 IMS,從 DBD 來源提取段類型和欄位定義。對於 VSAM,沒有目錄,請直接執行來源 2。

來源 2:COBOL FD 條目和副本簿。對於範圍內的每個資料文件,從 FD 條目及其引用的 COPY 成員中提取記錄佈局。這將產生 VSAM 檔案的實體屬性定義,並使用列級業務元資料(來自副本簿註釋的欄位描述、作為約束定義的 88 級有效值、作為資料類型精度的 COMP-3 精度)補充 DB2 目錄。

來源 3:COBOL 流程部存取模式。對於每個存取作用域內資料的程序,提取資料存取模式:哪些檔案使用哪些鍵讀取,哪些連接模式建立檔案之間的關係,哪些驗證模式建立指向引用檔案的外鍵關係。這將產生資料庫目錄和檔案描述符條目中均未包含的關係線。

這三個資料來源結合起來產生的實體關係圖(ERD)能夠精確地表示:

  • 所有實體(表、VSAM 檔案、IMS 段)及其屬性
  • 所有明確宣告的關係(來自 DB2 目錄外鍵約束)
  • 所有隱式強制的關係(來自 COBOL 程式碼模式)
  • 所有子類型結構(來自 REDEFINES 層級結構)
  • 所有參考資料關係(來自驗證查找模式)

此組合式ER圖是遷移目標模式設計所需的資料模型規格。

使用傳統ER圖進行目標模式設計

傳統ER圖在目標模式設計有三個具體用途:

主鍵映射。 VSAM KSDS 的主鍵、DB2 表的鍵字段以及 IMS 段的序列字段都會對應到目標關係模式中的主鍵。 COBOL 欄位定義(PIC 9(10)、PIC X(12))決定目標列類型。

外鍵定義。在原有ER圖中,所有透過COBOL程式碼強制執行的關係線,在目標關係模式中都會變成顯式的外鍵約束。 COBOL程式碼的強制執行被資料庫層級的強制執行所取代,這才是現代關係系統的正確行為。

子類型規範化。根據查詢效能、空值容忍度和存取模式的業務需求,VSAM 記錄中的 REDEFINES 層次結構會變成三種繼承映射模式之一(單表、類別表或具體表)。

精度保持型映射。具有特定精度的 COMP-3 壓縮十進位字段(PIC S9(9)V99 COMP-3)在目標模式中映射到 DECIMAL(11, 2) 類型,而不是映射到會丟失精度的 FLOAT 類型,也不是映射到會丟失數值約束的 VARCHAR 類型。 ERD 的屬性定義必須包含此精度元數據,以防止遷移過程中資料品質下降。

SMART TS XL 重構傳統ER圖

SMART TS XL“ 靜態程式碼分析 解析整個產品組合中的每個 COBOL FD 條目、COPY 成員和 PROCEDURE DIVISION 資料存取模式。透過此分析,它產生範圍內每個資料檔案的實體和屬性定義,包括沒有資料庫目錄條目的 VSAM 文件,以及從 COBOL 原始程式碼中的資料存取模式派生的關係圖。

應用程式依賴關係映射追蹤程式和資料儲存之間的資料流:哪些程式存取哪些文件,使用哪些鍵,以及採用哪些存取模式。此操作依賴關係對應是傳統 ERD 程式碼衍生關係層所需的關係線的來源,例如 DB2 目錄未宣告但 COBOL JOIN ON 子句聲明的客戶到帳戶關係。

影響分析功能可讓ERD用於遷移規劃:當目標模式決策變更實體的主鍵結構時,影響分析會辨識出所有存取該實體的COBOL程序,並指出這些程序需要進行相應的變更。 ERD展示資料模型;影響分析則顯示對其進行的任何變更所涉及的程序範圍。

遺留系統現代化分析會產生 VSAM 結構清單,其中包含每個 FD 條目及其欄位定義、REDEFINES 層次結構、COMP-3 精確度規格和 88 階有效值,這些條目構成了完整遺留 ERD 的實體屬性層。對於尚未正式記錄其 VSAM 模式的組織而言,此結構清單是他們擁有的第一個完整的資料模型。

企業級搜尋功能使ERD結果可查詢:尋找存取特定實體的每個程式、指向特定引用檔案的每個外鍵欄位、以及建立實體子類型的每個REDEFINES層次結構。此搜尋功能支援迭代式ERD建置流程,可在最終確定遷移目標模式設計之前建置、驗證和完善遺留資料模型。

資料庫從未保留的ERD

每個現代資料庫都維護自己的模式。 PostgreSQL、MySQL、Oracle 和 SQL Server 都維護目錄表,用於描述資料庫中包含的每個實體、屬性和關係。從這些系統中逆向工程 ER 圖既快速又準確,而且完全自動化。

傳統資料庫的建構是基於不同的前提。 VSAM 假定使用該資料庫的程式已知其模式,而不是將模式儲存在檔案本身中。 DB2 on z/OS 允許將引用完整性保留在 COBOL 程式碼中,這在 1987 年出於效能考量是合理的,但現在已成為架構上的缺陷,每個現代化專案都必須解決。 IMS 將其模式儲存在關係型 ERD 工具無法讀取的 DBD 原始檔中。

儘管這些系統從未正式維護過實體關係圖 (ERD),但它仍然存在,分散在功能描述符 (FD) 條目、副本、流程部門 (PROCEDURE DIVISION) 資料存取模式、嵌入式 SQL 連接子句以及 IMS DBD 定義中。重建該 ERD 需要係統地讀取所有這些來源,並將它們合併成統一的資料模型,而該模型是遺留資料庫環境隱含包含但從未明確記錄的。

這種重構是所有正確遷移目標模式設計的前提。如果沒有進行重構,目標模式的設計就無法滿足需求,因為它是基於一個無人完全了解的遺留資料模型。