Диаграммы «сущность-связь» из схем устаревших баз данных

Диаграммы «сущность-связь» из схем устаревших баз данных

Подключите SchemaSpy к современной базе данных PostgreSQL, и она за считанные минуты создаст полную ERD-диаграмму: каждую таблицу, каждый столбец, каждую линию связи, построенную на основе ограничений внешнего ключа, которые обеспечивает база данных. Диаграмма точна, потому что схема полная, сама база данных знает, какие сущности существуют, каковы их атрибуты и что связывает их друг с другом. Инструмент считывает каталог; диаграмма появляется.

Если подключить инструмент одной и той же категории к базе данных DB2 мэйнфрейма 1987 года, файловой системе VSAM или иерархической базе данных IMS, результат будет отличаться по всем важным параметрам. В случае DB2 вы получаете таблицы и столбцы, но не линии связей, поскольку ограничения внешних ключей, которые должны были бы их отображать, никогда не были определены. Связи существуют, но они находятся в логике COBOL PROCEDURE DIVISION, а не в предложении DB2 REFERENCES. В случае VSAM вы ничего не получаете, нет записи в каталоге, описывающей, какие поля существуют в файле VSAM; эта информация находится в записях FD и копибуках, распределенных по тысячам исходных файлов COBOL. В случае IMS иерархия сегментов, определяющая структуру данных, находится в исходном коде DBD (Database Description), а не в каком-либо формате, который могут прочитать реляционные инструменты ERD. ERD, необходимая командам модернизации, та, которая показывает, какие сущности существуют, каковы их атрибуты и как они связаны, не может быть создана ни одним стандартным инструментом ERD из устаревшей базы данных без анализа исходного кода.

Схема VSAM из исходного кода, а не из каталога.

SMART TS XL Извлекает шаблоны объединения COBOL и последовательности чтения для выявления всех связей, которые каталог DB2 никогда не объявлял.

УЗНАТЬ БОЛЬШЕ…

Почему стандартные инструменты для создания ER-диаграмм не подходят для устаревших баз данных

Стандартный инструмент обратного проектирования ERD предполагает наличие определенного набора условий: работающий сервер базы данных, доступный через JDBC, схема с объявленными таблицами и столбцами, а также ограничения внешних ключей, формально определяющие связи между таблицами. При наличии этих условий генерация ERD является решенной задачей. SchemaSpy, Dataedo, dbForge, Aqua Data Studio и десятки аналогичных инструментов позволяют за считанные минуты получить точные ERD из любой реляционной базы данных, доступной через JDBC.

Устаревшие среды баз данных нарушают каждое из этих предположений:

Схема не хранится в базе данных. Файлы VSAM хранят записи в виде потоков байтов. Структура записи, какие байты представляют какие поля, какой тип данных используется каждым полем, каково его бизнес-значение, существует в записях дескрипторов файлов COBOL и членах COPY, а не в каком-либо каталоге базы данных. В VSAM нет эквивалента INFORMATION_SCHEMA. Файл VSAM, используемый в производственной среде в течение сорока лет, может иметь структуру записи, определенную в копибуке, который включает 200 программ, при этом фактические определения полей видны только при анализе этих исходных файлов.

Взаимосвязи находятся в коде, а не в схеме. Даже когда схема DB2 доступна через JDBC, ограничения внешнего ключа, которые инструменты ERD используют для построения линий связей, часто отсутствуют. DB2 на z/OS исторически допускала, и многие организации практиковали, обеспечение ссылочной целостности с помощью логики программы на COBOL, а не с помощью ограничений на уровне базы данных. Программа на COBOL, которая считывает запись CUSTOMER по CUST-ID, проверяет существование CUST-ID перед обработкой, а затем считывает связанные записи ACCOUNT, реализует связь «клиент-счет». Эта связь реальна и важна для ERD. Она невидима для любого инструмента, который считывает только каталог DB2.

Структура данных не является реляционной. Системы управления информацией (IMS) и IDMS организуют данные в иерархических сегментных деревьях, а не в реляционных таблицах. Отношения «родитель-потомок» между сегментами IMS определяются в исходных файлах DBD, а не в ограничениях внешних ключей. Блок связи программы (PCB) в IMS определяет, к каким типам сегментов может обращаться программа и в какой последовательности. Диаграмма иерархии сегментов (ERD) для базы данных IMS представляет собой диаграмму иерархии сегментов, а не реляционную диаграмму типа «воронья лапка», и она должна быть получена из исходного кода DBD, а не из реляционного каталога.

Три типа устаревших баз данных и проблемы, связанные с их использованием в ER-диаграммах.

DB2 на z/OS: видимая схема, невидимые связи.

DB2 на z/OS, в принципе, представляет собой реляционную базу данных с каталогом, к которому можно обращаться с запросами. SYSCOLUMNS, SYSTABLES и SYSTABLEPART предоставляют определения сущностей и атрибутов. Сложность заключается в уровне связей.

IBM DB2 на z/OS поддерживает ограничения ссылочной целостности, но их внедрение в производственные системы исторически было непоследовательным. Соображения производительности в эпоху пакетной обработки привели многие организации к отключению проверки ограничений и вместо этого к обеспечению связей в коде COBOL. Схема DB2 с 500 таблицами может иметь менее 20 объявленных ограничений внешних ключей не потому, что таблицы не связаны между собой, а потому, что оставшиеся связи были сочтены слишком затратными для обеспечения на уровне базы данных и вместо этого обеспечивались программами COBOL.

Диаграмма ERD, созданная на основе каталога DB2, корректно отображает сущности и их атрибуты. Однако связи отображаются некорректно: либо отображаются 20 объявленных связей внешних ключей, но отсутствуют 480 необъявленных, либо связи вообще не отображаются.

SQL-запрос для извлечения информации из каталога:

SQL

-- DB2 z/OS: extract declared tables and columns (entity/attribute layer)
SELECT
    T.NAME          AS entity_name,
    C.NAME          AS attribute_name,
    C.COLTYPE       AS data_type,
    C.LENGTH        AS field_length,
    C.SCALE         AS decimal_scale,
    C.NULLS         AS nullable,
    C.KEYSEQ        AS primary_key_sequence
FROM SYSIBM.SYSTABLES  T
JOIN SYSIBM.SYSCOLUMNS C
    ON C.TBNAME   = T.NAME
    AND C.TBCREATOR = T.CREATOR
WHERE T.TYPE = 'T'
ORDER BY T.NAME, C.COLNO;

-- DB2 z/OS: extract declared referential constraints (incomplete relationship layer)
SELECT
    R.RELNAME       AS relationship_name,
    R.TBNAME        AS child_table,
    R.REFTBNAME     AS parent_table,
    R.DELETERULE    AS delete_rule,
    R.UPDATERULE    AS update_rule
FROM SYSIBM.SYSRELS R
ORDER BY R.TBNAME;

Второй запрос может вернуть ноль или очень мало строк для устаревшей схемы DB2 не потому, что связи не существуют, а потому, что они не были объявлены. Строки ERD для необъявленных связей должны быть получены из анализа исходного кода COBOL.

Файлы VSAM: Схема существует только в исходном коде.

В файле VSAM KSDS (Key-Sequenced Data Set) записи физически упорядочены по простому ключу. Простой ключ представляет собой смещение в байтах и ​​длину внутри записи. Что эти байты означают в бизнес-терминах, что содержат оставшиеся байты и как эта запись связана с записями в других файлах VSAM, нигде не определяется в метаданных VSAM. Они существуют только в записях файловых дескрипторов COBOL и членах COPY, которые программы используют для чтения и записи файла.

Восстановление определения сущности VSAM из исходного кода:

кобол

      *> FD entry: the entity definition for CUSTOMER-FILE
      *> This IS the ERD entity "Customer" with its attributes
       FD  CUSTOMER-FILE
           LABEL RECORDS ARE STANDARD
           RECORD CONTAINS 350 CHARACTERS.
       01  CUSTOMER-RECORD.
           COPY CUSTMSTR.           *> Attribute definitions in copybook

      *> CUSTMSTR copybook expands to:
       01  CUSTOMER-RECORD.
           05  CUST-ID          PIC 9(10).       *> Primary key
           05  CUST-NAME        PIC X(40).       *> Customer name
           05  CUST-DOB         PIC 9(8).        *> Date of birth
           05  CUST-STATUS-CD   PIC X(2).        *> Status code
               88 CUST-ACTIVE   VALUE 'AC'.
               88 CUST-INACTIVE VALUE 'IN'.
           05  CUST-OPEN-DATE   PIC 9(8).        *> Account open date
           05  CUST-REGION-CD   PIC X(4).        *> Region (FK to REGION-FILE)
           05  FILLER           PIC X(286).

Исходя из этой записи FD, сущность ERD «Customer» имеет шесть атрибутов с указанием их типов, длины и первичного ключа (CUST-ID). Значения уровня 88 определяют допустимые значения для CUST-STATUS-CD, которые сопоставляются с ограничениями ERD или определениями перечисляемых типов в целевой схеме. Поле CUST-REGION-CD, по-видимому, является внешним ключом к REGION-FILE, но это можно подтвердить только путем анализа COBOL PROCEDURE DIVISION, чтобы убедиться, что программа считывает REGION-FILE, используя значение CUST-REGION-CD в качестве ключа.

Связь между клиентом и регионом на диаграмме ERD находится не в каталоге VSAM, а в логике программы COBOL.

Иерархические базы данных IMS: сегментные деревья, а не реляционные таблицы.

IMS организует данные в виде иерархических сегментных деревьев. Корневой сегмент (родительская сущность) имеет один или несколько дочерних сегментов. Каждый дочерний сегмент может иметь свои собственные дочерние сегменты. Полученная древовидная структура является эквивалентом ERD в IMS, но это не реляционная ERD, а иерархия вложенности, где дочерние записи физически хранятся внутри или рядом с родительскими записями.

Структура данных IMS определяется в исходном файле DBD (Database Description):

DBD    NAME=CUSTDB,ACCESS=HDAM
DATASET DD1=CUSTDD,DEVICE=3390
SEGM   NAME=CUSTROOT,BYTES=200,FREQ=1000
FIELD  NAME=(CUSTID,SEQ),BYTES=10,START=1,TYPE=C
FIELD  NAME=CUSTNAME,BYTES=40,START=11,TYPE=C
FIELD  NAME=CUSTSTAT,BYTES=2,START=51,TYPE=C
SEGM   NAME=ACCTSEGS,PARENT=CUSTROOT,BYTES=100,FREQ=5
FIELD  NAME=(ACCTNO,SEQ),BYTES=12,START=1,TYPE=C
FIELD  NAME=ACCTBAL,BYTES=13,START=13,TYPE=P
SEGM   NAME=TXNSEGS,PARENT=ACCTSEGS,BYTES=80,FREQ=20
FIELD  NAME=(TXNDATE,SEQ),BYTES=8,START=1,TYPE=C
FIELD  NAME=TXNAMT,BYTES=13,START=9,TYPE=P

Данная диаграмма баз данных определяет три типа сущностей в иерархии «родитель-потомок-внук»: CUSTROOT (Клиент) содержит ACCTSEGS (Счет), который содержит TXNSEGS (Транзакция). В терминах ERD:

  • У клиента (1) —- есть (много) —- счетов
  • Счет (1) —- имеет (много) —- Транзакция

Диаграммы ERD представляют собой отношения «один ко многим» от родителя к потомку. Мощность множества закодирована в параметре FREQ (среднее количество вхождений) и в шаблонах физического доступа, видимых в определениях PCB. Атрибутами сущностей являются определения полей (FIELD) в каждом SEGM.

Для преобразования иерархической структуры IMS в реляционную ERD-диаграмму для проектирования целевой модели миграции необходимо явно указать неявный внешний ключ «родитель-потомок», который IMS физически обеспечивает: ACCTSEGS всегда принадлежит ровно одному CUSTROOT. В целевой реляционной схеме это становится столбцом внешнего ключа в таблице Account, ссылающимся на первичный ключ Customer.

Код COBOL как спецификация взаимосвязей

Связующий слой ERD для любого типа устаревших баз данных, будь то DB2, VSAM или IMS, в основном представлен шаблонами доступа к данным COBOL PROCEDURE DIVISION. Наиболее распространенными индикаторами связей являются три шаблона:

Последовательное чтение с указанием ключа. Программа считывает файл A, чтобы получить значение ключа, а затем использует этот ключ для чтения файла B:

кобол

       PROCESS-CUSTOMER.
           READ CUSTOMER-FILE
               KEY IS WS-CUST-KEY
               INVALID KEY PERFORM CUST-NOT-FOUND
           END-READ

           MOVE CUST-ID TO WS-ACCT-SEARCH-KEY
           READ ACCOUNT-FILE
               KEY IS WS-ACCT-SEARCH-KEY
               INVALID KEY PERFORM ACCT-NOT-FOUND
           END-READ.

Эта схема устанавливает связь: Клиент связан с Учетной записью через CUST-ID. Строка ERD выглядит так: КЛИЕНТ (1) —- имеет (0 или более) —- УЧЕТНУЮ ЗАПИСЬ.

Мощность множества (один клиент на один счет или один клиент на множество счетов) определяется тем, следует ли за вторым вызовом READ шаблон PERFORM UNTIL EOF для последовательного сканирования:

кобол

       READ-ALL-ACCOUNTS.
           MOVE CUST-ID TO WS-ACCT-KEY
           START ACCOUNT-FILE KEY >= WS-ACCT-KEY
           PERFORM UNTIL WS-ACCT-EOF = 'Y'
               READ ACCOUNT-FILE NEXT RECORD
                   AT END MOVE 'Y' TO WS-ACCT-EOF
               END-READ
               IF NOT WS-ACCT-EOF
                   PERFORM PROCESS-ACCOUNT
               END-IF
           END-PERFORM.

Шаблон PERFORM UNTIL EOF, следующий за START, указывает на то, что у одного клиента много учетных записей, и кардинальность равна «один ко многим».

Шаблон поиска/проверки. Программа считывает справочный файл для проверки значения кода в основной записи:

кобол

       VALIDATE-REGION.
           MOVE CUST-REGION-CD TO WS-REGION-KEY
           READ REGION-FILE
               KEY IS WS-REGION-KEY
               INVALID KEY MOVE 'INVALID' TO WS-VALIDATION-STATUS
           END-READ.

Это устанавливает связь внешнего ключа: CUSTOMER.CUST-REGION-CD ссылается на REGION.REGION-CD. Строка ERD выглядит так: REGION (1) —- классифицирует (0 или более) —- CUSTOMER.

Встроенный шаблон SQL-соединения. Для программ, обращающихся к DB2, встроенные SQL-операторы SELECT с предложениями JOIN являются наиболее явным указанием связей:

кобол

       EXEC SQL
           SELECT C.CUST-NAME, A.ACCT-BALANCE
           INTO  :WS-CUST-NAME, :WS-ACCT-BAL
           FROM  CUSTOMER C
           JOIN  ACCOUNT  A ON A.CUST-ID = C.CUST-ID
           WHERE C.CUST-ID = :WS-KEY-CUST-ID
       END-EXEC.

Предложение JOIN ON представляет собой явную связь внешнего ключа: ACCOUNT.CUST-ID ссылается на CUSTOMER.CUST-ID. Эта связь может отсутствовать в таблице SYSRELS базы данных DB2, но она определенно присутствует в исходном коде COBOL.

Обработка переопределений: несколько типов сущностей в одной записи

Записи VSAM, использующие REDEFINES, создают специфическую задачу моделирования ERD: одна и та же физическая запись содержит разные наборы атрибутов в зависимости от поля-дискриминатора. Это соответствует концепции сущностей подтипов в ERD, родительскому типу сущности (общей записи) и нескольким сущностям подтипов (вариантам REDEFINES).

ERD-представление:

TRANSACTION (supertype)
    |-- TXN-TYPE = 'PM' --> PAYMENT-TRANSACTION (subtype)
    |-- TXN-TYPE = 'RF' --> REFUND-TRANSACTION (subtype)
    |-- TXN-TYPE = 'AJ' --> ADJUSTMENT-TRANSACTION (subtype)

В целевой реляционной схеме это можно реализовать следующим образом:

  • Наследование по одной таблице: одна таблица со всеми столбцами, столбцы, специфичные для варианта, допускают значения NULL.
  • Наследование по таблицам классов: одна таблица для супертипа, по одной для каждого подтипа с внешним ключом к супертипу.
  • Наследование на основе конкретных таблиц: отдельная таблица для каждого подтипа, нет таблицы супертипов.

Диаграмма ERD должна точно представлять иерархию REDEFINES, чтобы решение о проектировании целевой схемы могло быть принято с полным пониманием структуры вариантов.

Построение полной ERD-диаграммы: комбинированный подход

Для построения полной ERD-диаграммы для устаревшей среды баз данных необходимо объединить три источника:

Источник 1: Каталог баз данных. Для DB2 извлеките таблицы, столбцы и объявленные ограничения внешних ключей из SYSCOLUMNS и SYSRELS. Для IMS извлеките типы сегментов и определения полей из источника DBD. Для VSAM каталог отсутствует, переходите непосредственно к Источнику 2.

Источник 2: Записи дескрипторов файловой системы COBOL и копибук-файлы. Для каждого файла данных в области видимости извлеките структуру записи из записи дескриптора файловой системы и члена COPY, на который она ссылается. Это создаст определения атрибутов сущности для файлов VSAM и дополнит каталог DB2 бизнес-метаданными на уровне столбцов (описания полей из комментариев копибук-файла, допустимые значения уровня 88 в качестве определений ограничений, точность COMP-3 в качестве точности типа данных).

Источник 3: Шаблоны доступа к данным в разделе процедур COBOL. Для каждой программы, обращающейся к данным в области видимости, извлеките шаблоны доступа к данным: какие файлы считываются с какими ключами, какие шаблоны объединения устанавливают связи между файлами, какие шаблоны проверки устанавливают связи внешних ключей со ссылками на файлы. Это позволит получить строки связей, которые отсутствуют как в каталоге базы данных, так и в записях раздела процедур.

Совокупное использование трех источников позволяет получить ERD-диаграмму, которая точно отражает:

  • Все сущности (таблицы, файлы VSAM, сегменты IMS) с их атрибутами.
  • Все явно заявленные связи (из ограничений внешнего ключа каталога DB2)
  • Все неявно установленные отношения (из шаблонов кода COBOL)
  • Все структуры подтипов (из иерархий REDEFINES)
  • Все взаимосвязи между справочными данными (на основе шаблонов проверки)

Эта объединенная ERD-диаграмма представляет собой спецификацию модели данных, необходимую для проектирования целевой схемы миграции.

Использование устаревшей ERD для проектирования целевой схемы

Устаревшая ERD-диаграмма выполняет три конкретные функции при проектировании целевой схемы:

Сопоставление первичных ключей. Первичный ключ VSAM KSDS, ключевое поле таблицы DB2 и поле последовательности сегмента IMS сопоставляются с первичными ключами в целевой реляционной схеме. Определение поля COBOL (PIC 9(10), PIC X(12)) определяет тип целевого столбца.

Определение внешнего ключа. Каждая строка связи в устаревшей ERD, которая контролировалась в коде COBOL, становится явным ограничением внешнего ключа в целевой реляционной схеме. Контроль, осуществляемый в COBOL, заменяется контролем на уровне базы данных, что является правильным поведением для современной реляционной системы.

Нормализация подтипов. Переопределение иерархий в записях VSAM позволяет использовать один из трех шаблонов отображения наследования (одна таблица, таблица класса или конкретная таблица) в зависимости от бизнес-требований к производительности запросов, устойчивости к нулевым значениям и шаблону доступа.

Сопоставление типов с сохранением точности. Упакованные десятичные поля COMP-3 с заданной точностью (PIC S9(9)V99 COMP-3) отображаются в целевой схеме на DECIMAL(11, 2), а не на FLOAT, что приводит к потере точности, и не на VARCHAR, что приводит к потере числового ограничения. Определения атрибутов ERD должны содержать эти метаданные о точности, чтобы предотвратить потерю качества данных во время миграции.

Как SMART TS XL Реконструирует устаревшие ERD-диаграммы

SMART TS XLАвтора статический анализ кода Анализирует каждую запись дескриптора файла COBOL, член COPY и шаблон доступа к данным PROCEDURE DIVISION по всему портфелю. На основе этого анализа он создает определения сущностей и атрибутов для каждого файла данных в области действия, включая файлы VSAM, которые не имеют записи в каталоге базы данных, а также карту связей, полученную из шаблонов доступа к данным в исходном коде COBOL.

Карта зависимостей приложения отслеживает поток данных между программами и хранилищами данных: какие программы обращаются к каким файлам, с какими ключами, по каким шаблонам доступа. Эта карта операционных зависимостей является источником линий связей, необходимых для уровня связей, создаваемого кодом в устаревшей ERD-диаграмме, — связи «клиент-учетная запись», которую каталог DB2 не объявляет, но объявляет предложение COBOL JOIN ON.

Возможность анализа влияния делает ERD полезной для планирования миграции: когда решение о целевой схеме изменяет структуру первичного ключа сущности, анализ влияния выявляет каждую программу COBOL, которая обращается к этой сущности и потребует соответствующих изменений. ERD показывает модель данных; анализ влияния показывает масштаб изменений в ней для конкретной программы.

Анализ модернизации устаревших систем создает структурный реестр VSAM, включающий каждую запись функциональной дескриптора с определениями полей, иерархиями REDEFINES, спецификациями точности COMP-3 и 88 допустимыми значениями, который формирует слой атрибутов сущностей полной ERD-диаграммы устаревших систем. Для организаций, которые не задокументировали свои схемы VSAM, этот структурный реестр является первой полной моделью данных, которая у них когда-либо была.

Функция корпоративного поиска позволяет запрашивать результаты ERD-диаграммы: находить каждую программу, обращающуюся к определенной сущности, каждое поле, являющееся внешним ключом к определенному ссылочному файлу, каждую иерархию REDEFINES, создающую подтипы сущностей. Эта функция поиска поддерживает итеративный процесс построения ERD-диаграммы, создавая, проверяя и уточняя устаревшую модель данных до завершения проектирования целевой схемы миграции.

Диаграмма ERD, которую база данных никогда не сохраняла.

Каждая современная база данных хранит свою собственную схему. PostgreSQL, MySQL, Oracle и SQL Server поддерживают таблицы каталога, описывающие каждую сущность, атрибут и связь, содержащиеся в базе данных. Обратное проектирование ERD на основе этих систем выполняется быстро, точно и полностью автоматизировано.

Устаревшие базы данных были построены на других предпосылках. VSAM предполагает, что схема известна программам, которые её используют, а не хранится в самом файле. DB2 на z/OS позволяла сохранять ссылочную целостность в коде COBOL по соображениям производительности, которые имели смысл в 1987 году и теперь представляют собой архитектурный долг, который должна устранить каждая программа модернизации. IMS хранит свою схему в исходных файлах DBD, которые не могут прочитать инструменты реляционной ERD-диаграммы.

Тем не менее, ERD-диаграмма, которую эти системы никогда официально не поддерживали, существует, распределенная по записям FD, книгам копирования, шаблонам доступа к данным PROCEDURE DIVISION, встроенным SQL-соглашениям JOIN и определениям IMS DBD. Для ее восстановления требуется систематическое изучение всех этих источников и их объединение в единую модель данных, которая неявно содержалась в устаревшей среде баз данных и никогда не была явно зафиксирована.

Эта реконструкция является необходимым условием для правильного проектирования целевой схемы миграции. Целевая схема, разработанная без нее, предназначена для устаревшей модели данных, которую никто полностью не видел.