當中心上線時,每位客戶都有清晰的黃金記錄。其中一條規則將國家/地區欄位標準化為三字母 ISO 代碼,這對於下游所有現代系統來說都是正確的選擇。兩週後,財務部門發現 31,000 位客戶的稅額有誤。舊版計費程式將國家/地區欄位與兩位字母代碼進行比較。所有標準化值都傳遞到 EVALUATE 語句的 WHEN OTHER 分支,並應用了預設稅率。一切正常。整合完全按照設計運行,而設計過程中從未考慮過讀取資料的程式。
主資料管理承諾每個業務實體都擁有一筆可信記錄。然而,與遺留系統的整合卻讓這項承諾面臨現代系統所沒有的限制。遺留資料來源通常不提供 API,其金鑰也因係統而異。定義有效客戶的規則存在於程序邏輯中,而非模式。而且,它們會持續寫入資料:批次載入程式、線上維護介面和介面作業不斷修改中心本應擁有的記錄。
下方所示的整合路徑包含七個步驟,每個步驟都會產生下一個步驟所需的工件。與原有系統相關的特定工作位於第二、三、四步,以及第六步的回寫部分。這些部分在通用主資料管理 (MDM) 路線圖中被壓縮為一個名為「連接來源系統」的條目,而整合成敗也取決於此。
為什麼傳統系統整合是主資料管理 (MDM) 的困難?
已發布的 MDM 指南以類似的方式描述了整合工作:清點來源系統、分析其特性、設計黃金記錄、定義匹配和生存機制、加載初始資料以及同步變更。流程合理,且預設來源系統可以使用標準工具進行描述和連接。現代系統確實可以做到這一點。 SaaS CRM 會發布其架構、變更事件和寫入 API。而傳統核心系統則不會發布這些資訊。它提供的是原始程式碼、副本、作業計劃以及 VSAM 和 IMS 等格式的資料集,而標準整合工具難以處理這些格式。標準路線圖中的每個假設都需要相應的轉換。下表將每個假設與傳統系統的實際情況進行了對應。
| MDM路線圖假設 | 遺產現實 |
|---|---|
| 該來源發布了其模式 | 該模式是一個副本,其中 REDEFINES 變體由記錄中的代碼選擇。 |
| 屬性是類型化的,並且可以為空。 | 壓縮小數、固定長度填充文本,以及用空格或零代替空值 |
| 每個來源都有一個寫入路徑 | 線上畫面、夜間載入程式和介面作業都會更新同一筆記錄。 |
| 驗證結果可以從約束條件中讀取。 | 驗證存在於許多程式的 IF 和 EVALUATE 邏輯中。 |
| 來源可以透過 API 接受寫回請求。 | 更新必須透過符合規則的程序進行,而不是繞過規則。 |
| 變更事件可用 | 只能從日誌或批次擷取資料推斷出變更。 |
七個步驟概覽
以下每個步驟都會產生下一步無法完成的內容。表格展示了最終產物以及使其與標準版本不同的特定於舊版本的工作。順序至關重要。在尋找資料之前選擇樣式,可以確保項目對資料來源的支援程度保持誠實。在設計同步之前找到所有寫入者,可以避免循環和覆蓋,而這些循環和覆蓋會破壞大多數共存設計。在匹配數據之前轉換數據,可以避免填充文字和哨兵值所導致的錯誤匹配。最後進行驗證和管理,可以形成閉環,因為無人監控的中心節點最終會淪為資料的另一個副本。
| 步驟 | 神器 | 遺留問題相關工作 |
|---|---|---|
| 1. 選擇款式 | 每個領域和來源的風格決策 | 樣式要與每個舊版原始碼可接受的樣式相匹配 |
| 2. 在程式碼中尋找主數據 | 主屬性圖 | 閱讀規格手冊、REDEFINES、關鍵結構與規格集 |
| 3. 找到每一位作者和讀者 | 權威地圖 | 庫存批次載入器和依賴程式碼值的分支 |
| 4. 安全提取與轉化 | 轉換規則和拒絕數 | 處理 EBCDIC、COMP-3、哨兵空白字元和佈局變體 |
| 5. 匹配並生存 | 比賽規則與生存政策 | 解析具有不同鍵的檔案之間的身份 |
| 6. 雙向同步 | 同步設計與循環預防 | 請透過官方認可的程序回复,不要繞過這些程序。 |
| 7. 證明並治理 | 關鍵績效指標與變更控制 | 主副本變更時,重新驗證映射關係 |
七個步驟詳解
這些步驟依序描述,每個步驟的結構都一致:目標、工作內容、產生的工件以及確認完成的檢查。第二步到第四步的細節刻意比典型的主資料管理 (MDM) 指南更為詳盡,因為這些步驟決定了中心是否可信。每個步驟也列出了它所避免的故障,因為明確指出故障名稱有助於更清晰地理解步驟順序的原因。如果遺留工作涉及程式碼分析,則步驟中會明確說明,因為在這些情況下,讀取原始程式碼的工具會改變步驟的耗時。範例僅供參考,但其中的模式是所有遺留系統中普遍存在的。
步驟 1:為每個領域和來源選擇樣式
目標:使主資料管理 (MDM) 實現方式與每個遺留系統實際支援的功能相符。常用的實現方式有四種:註冊中心、整合、共存、集中式。
工作。根據領域和資料來源(當資料來源不同時)確定相應的風格。合適的風格是滿足業務需求的最低級別風格,因為每提升一個級別,對原有系統的要求就更高。
| 次數 | 中心的功能 | 遺留系統必須支援什麼 | 風險 |
|---|---|---|---|
| 註冊表 | 連結跨來源記錄;資料保持不變 | 僅供閱讀 | 低 |
| 合併 | 複製、配對並合併到中心;來源資料不更新。 | 提取或變更捕獲 | 媒材 |
| 共存 | 在來源檔案持續創作的同時,同步黃金唱片。 | 安全寫入路徑和變更來源追蹤 | 高 |
| 集中 | 記錄只能在中心建立和編輯。 | 退役或重新配置傳統建立和編輯路徑 | 最高 |
工件。針對每個領域和來源的風格決策,並記錄原因。
檢查。所有標記為共存或集中式的來源都已確認寫入路徑,這是第三步驟建立的。
步驟 2:在程式碼中尋找主數據
目標:找到主實體定義的所有位置及其所攜帶的每個屬性,包括標準分析無法看到的變體和代碼集。
工作內容:針對每個主實體(例如客戶、產品、帳戶或供應商),在文件定義、副本簿和資料庫定義中找到其記錄佈局。列出屬性及其類型、有效值和鍵。捕獲 REDEFINES 變體及其選擇依據。
科博爾
01 CUSTOMER-RECORD.
05 CUST-ID PIC 9(10).
05 CUST-TYPE PIC X(1).
88 CUST-PERSON VALUE 'P'.
88 CUST-ORG VALUE 'O'.
05 CUST-STATUS PIC X(2).
88 CUST-ACTIVE VALUE 'AC'.
88 CUST-INACTIVE VALUE 'IN'.
88 CUST-SUSPENDED VALUE 'SU'.
05 CUST-COUNTRY PIC X(2).
05 CUST-OPEN-DATE PIC 9(8).
05 CUST-BODY PIC X(120).
05 CUST-PERSON-DATA REDEFINES CUST-BODY.
10 PERS-LAST-NM PIC X(30).
10 PERS-FIRST-NM PIC X(20).
10 PERS-BIRTH-DT PIC 9(8).
10 FILLER PIC X(62).
05 CUST-ORG-DATA REDEFINES CUST-BODY.
10 ORG-LEGAL-NM PIC X(60).
10 ORG-REG-NO PIC X(20).
10 FILLER PIC X(40).
這段記錄中有三件事對母帶製作至關重要。 CUST-TYPE 是鑑別符,它決定了記錄在黃金記錄中是代表個人還是組織。 88 級名稱是用來表示狀態的舊式詞彙表,而兩位字母的國家/地區欄位是其他程式所依賴的舊式約定。同樣的 120 個字節,僅僅一個字符的不同,就代表不同的含義,因此任何未包含鑑別符的映射都會加載錯誤的字段。
工件。主屬性映射:屬性、位置、類型、有效值以及更改它的寫入者。
檢查完畢。黃金記錄模式中的每個屬性都至少有一個來源位置,並且在真實資料中找到的每個鑑別器值都有已記錄的佈局。
第三步:找到每一位作者和每一位讀者
目標:在設計任何同步之前,先了解哪些程式會變更每個主屬性,以及哪些程式依賴其值。
工作內容:對映射表中的每個屬性執行使用位置分析。對每個程式進行分類:應用驗證的線上維護程式、批次載入程式、介面饋送程式、實用程式和唯讀使用者。標記已核准的入口點,即執行規則的程序以及任何直接寫入欄位的程序。然後檢查讀取器中是否存在依賴特定值的分支。
| 屬性 | 作家 | 讀者 | 讀者如何利用它 |
|---|---|---|---|
| 客戶狀態 | 4:線上維護、休眠批次、詐欺凍結、遷移載入器 | 38 | 11. 使用 EVALUATE 對程式碼值進行分支 |
| 海關-國家 | 2:線上維護、地址饋送 | 26 | 與兩位字母代碼進行比對,以選擇稅收和監管規則 |
| PERS-LAST-NM | 3:線上維護、KYC導入、名稱變更批量 | 41 | 展示、匹配、聲明打印 |
| 組織註冊號碼 | 1:線上維護 | 9 | 監管報告 |
CUST-COUNTRY 行是問題的開端,一句話概括。如果一個中心樞紐在不了解 26 個程序都使用兩位字母代碼進行比對的情況下就對值進行標準化,那麼這 26 個程序都會出現問題。解決方案需要慎重選擇:要么在整合邊界保留原有詞彙表,要么更改讀取器,但這將是一個更大的專案。
工件。權威圖:對於每個屬性,其作者、其認可的入口點及其讀者及其值依賴關係。
檢查。在啟用任何回寫功能之前,未知寫入者的數量為零。上線後發現的寫入者會覆蓋正常值,而不會被任何人察覺。
第四步:安全提取與轉換
目標:將原有價值遷移到中心,同時保持其意義不變。
工作內容:為每個遺留結構定義轉換規則,並衡量轉換失敗的情況,而不是默默地進行修正。下表列出了導致轉換缺陷最多的結構。
| 遺留構造 | 樞紐代表 | 陷阱 |
|---|---|---|
| PIC 9(8) 日期,YYYYMMDD | ISO日期 | 零或 99999999 用作未知數的哨兵。 |
| COMP-3 壓縮十進位 | 十進制,依聲明的比例尺 | 映射到浮點數,損失精度。 |
| EBCDIC文本 | UTF-8的 | 國家字元的代碼頁錯誤 |
| 空格或零視為空值 | 顯式空值 | 空白值也算已填入。 |
| 88級代碼集 | 帶有映射表的參考資料 | 沒有映射的值會被靜默刪除 |
| 重新定義變體 | 子類型實體 | 應用佈局時未檢查鑑別器 |
| 固定長度填充名稱 | 修剪過的繩子 | 填充會破壞相等性比較。 |
工件。轉換規則,依規則統計拒絕次數。
檢查。對樣本進行往返測試,可以重現每個屬性的舊值,並且每次拒絕都會記錄原因。
第五步:配對並生存
目標:決定哪些記錄代表同一個現實世界的實體,以及當記錄間的屬性值不一致時,哪個屬性值占主導地位。
工作流程:由於傳統資料來源使用不同的金鑰來識別相同客戶,因此必須根據屬性來確定客戶身分。首先進行標準化,然後根據確定性規則產生候選客戶,接著對接近匹配項的情況應用機率匹配,並將不確定部分分配給管理員。
SQL
-- Deterministic candidates across two staged legacy customer tables
SELECT a.cust_id AS key_in_custmstr,
b.holder_id AS key_in_acthld,
a.birth_dt,
a.postal_norm
FROM stg_custmstr a
JOIN stg_acthld b
ON UPPER(TRIM(a.last_nm)) = UPPER(TRIM(b.last_nm))
AND a.birth_dt = b.birth_dt
AND a.postal_norm = b.postal_norm
WHERE a.cust_type = 'P';
生存策略會單獨決定每個屬性。以配置形式記錄的策略是可審查的,並且它明確了第三步驟中的詞彙決策。
雅姆
survivorship:
status:
rule: most_authoritative_source
order: [online_maintenance, dormancy_batch, migration_loader]
fallback: most_recent_update
legal_name:
rule: most_authoritative_source
order: [kyc_system, custmstr, acthld]
country:
rule: standardize_then_most_recent
vocabulary: iso_3166_alpha2 # legacy programs compare two-letter codes
birth_date:
rule: majority_vote
conflict_action: send_to_steward
工件。匹配規則、閾值和生存策略,並為每個屬性提供回退方案。
已確認。管理員佇列已配備人員,並已抽取部分自動合併的配對樣本進行審核,以排除錯誤合併。
步驟六:雙向同步
目標:保持中心系統和原有系統來源的一致性,避免循環和繞過原有規則。
工作。為每個方向選擇傳輸方式。樞紐端變更來自批次提取或基於日誌的變更擷取。源端變更是最困難的部分,它們遵循一個原則:必須按照授權的程序進行寫入,絕不能繞過它。下表總結了常見模式。
| 信號模式 | 方向 | 潛伏 | 遺留影響 | 注意事項 |
|---|---|---|---|---|
| 批量提取和加載 | 來源到中心 | 幾小時到一天 | 低 | 錯過日內變化 |
| 基於日誌的變更捕獲 | 來源到中心 | 秒到分鐘 | 低到中等 | 除非已標記,否則捕獲中心本身的寫回。 |
| 佇列或 API 前門 | 樞紐來源 | 秒 | 媒材 | 需要對已批准的程序進行封裝。 |
| 事件鏡像 | 從源頭到樞紐和消費者 | 秒 | 媒材 | 需要每位作家都為這條溪流貢獻力量。 |
直接寫入 VSAM 檔案或 DB2 表會繞過授權程式應用的驗證、稽核和下游觸發器。透過這種方式寫入會保留原有規則,並確保責任歸屬不變。變更來源標籤可防止循環:當中心節點寫入來源節點時,後續的變更擷取會被標記為中心節點發起,中心節點會忽略該變更擷取。
Hub golden record update
|
v
Integration layer: maps hub vocabulary to legacy vocabulary, tags change origin as HUB
|
v
Sanctioned entry point: online maintenance program (applies validation and audit)
|
v
VSAM or DB2 master record
|
v
Change capture: hub ignores any change tagged origin = HUB, so no ping-pong loop
每個屬性一次只能有一個擁有者,這部分內容記錄在第三步驟的權限對應表中。如果兩個系統都創建了一個沒有聲明所有者的屬性,那麼它們會互相覆蓋,這樣一來,中心節點只會讓問題變得更複雜,而不是更簡單。
工件。一種同步設計,包含每個屬性的傳輸、所有權、衝突規則和循環預防功能。
檢查完畢。來自每一方的測試更新都會傳播一次,方向正確,詞彙表正確,並且不會產生迴聲。
第七步:證明並保持真實
目標:證明整合方案有效,並使其在原有系統發生變化時仍能持續運作。
工作。追蹤能夠揭示衰退的指標,並將變更控製附加到整合所依賴的工件上。
| 測量 | 它顯示了什麼 |
|---|---|
| 金唱片報道 | 與黃金唱片相關的原始記錄佔比;已發布的指南建議目標值應在90%以上。 |
| 重複率變化前後 | 匹配機制是否有效 |
| 未映射的程式碼值 | 舊值,無中心映射 |
| 服務生排隊年齡 | 不確定比賽結果是否已解決 |
| 同步延遲 | 從變化發生到變化到來之間的時間 |
| 寫回拒絕率 | 中心更新份額被官方程序拒絕 |
| 和解中斷 | 中心和源之間的差異無緣無故 |
變更控制與衡量同等重要。主副本的變更會改變映射所依據的佈局,而新編寫者也會改變權威映射。這兩種情況都應觸發映射的重新驗證,並使用與建置映射時相同的「使用位置」和「影響」查詢。將網域從共存模式遷移到集中式模式,應基於舊編寫者已停用的證據,而不是基於日曆。
常見故障模式
大多數集成失敗都會重複發生。下表列出了反覆出現的失敗案例、失敗原因以及相應的預防措施。
| 失敗 | 因素 | 阻止 |
|---|---|---|
| 樞紐值打破了舊分支 | 讀者無法辨識的標準化值 | 第三步:讀者分析;在門口繪製詞彙圖 |
| 同步循環 | 不更改來源標籤 | 步驟 6 原始標籤 |
| 直接寫入繞過驗證 | Hub 直接寫入檔案或表 | 步驟 6 認可的入境點 |
| 載入的佈局錯誤 | 重新定義歧視者,從未進行過畫像分析 | 步驟 2 鑑別器覆蓋率 |
| 一夜之間,黃金價值被徹底覆蓋。 | 未列出的批量裝載機 | 第三步:作家清單 |
| 精度損失 | COMP-3 映射到浮點數 | 步驟 4 轉換規則 |
| 孤兒主唱片 | 已失效的程式和文件仍被計入活動來源。 | 第二步驟中的死代碼識別 |
常見問題
對於遺留系統,我們應該使用哪一種 MDM 架構?選擇滿足業務需求的最低要求架構。註冊表或整合架構適用於無法安全接受更新的資料來源。共存架構需要安全的寫入路徑和循環預防機制,而集中式架構則需要棄用原有的建立和編輯路徑。
我們需要變更資料擷取嗎?對於近乎即時的資料整合,通常需要。批量提取則適用於每日或更慢的需求。無論選擇哪種方式,都要標記源自中心節點的變更,以避免回寫操作產生重複。
中心伺服器可以直接寫入 VSAM 檔案或 DB2 表嗎?可以,但不應該這樣做。直接寫入會繞過舊程式應用的驗證和稽核機制。應該透過已經強制執行這些規則的程序進行寫入。
為什麼要在轉換後而不是轉換前進行配對?填滿、哨兵值和代碼頁差異會導致錯誤的匹配結果。先進行轉換和標準化,可以為匹配器提供乾淨的輸入。
MDM 與資料目錄有何關係?資料目錄記錄了現有資料及其流動方式。中心負責解析和維護可信任記錄。對於舊版資料來源,資料目錄和中心都依賴相同的程式碼派生屬性和血緣關係資訊。
SMART TS XLASK AI 和 MCP 連接器支援傳統 MDM 集成
SMART TS XL 為第二步到第四步以及第六步的遺留部分提供了結構性證據,其 ASK AI 和 MCP 連接器功能決定了整合團隊中有多少人可以使用該證據。
跨語言企業搜尋功能可在來源庫、副本和資料庫定義中尋找主屬性,從而建立主屬性映射。應用程式依賴關係映射傳回每個副本的寫入器、讀取器和共用程序,即權威映射。 JCL擴充和作業對應功能可解析更新主記錄的批次載入器和介面作業及其運作順序,從而找到未列出的寫入器。靜態程式碼分析功能可揭示程式中的驗證和衍生邏輯,這是中心必須遵循或替換的真正主控邏輯。遺留系統現代化分析功能可識別死程式碼和未引用的文件,從而避免將其視為活動來源。結構影響分析功能可顯示對中心詞彙表或主副本的變更將產生哪些影響。
在經過驗證的上下文中詢問 AI 整合工程師和資料管理員可以使用簡明語言,針對實際程式、副本簿、表格和作業的範圍結果集提出這些問題。例如,哪些程式更新客戶狀態,哪些分支基於其值進行操作;哪些作業和程序會存取客戶文件;以及適用於國家/地區欄位的每個驗證規則。這些請求會成為權限對應或生存策略的輸入。調查結果會與來源行保持關聯,因此,對某條規則有異議的管理員可以開啟其背後的程式碼;此外,儲存的提示允許在主副本簿發生變更時重新執行相同的問題。 SMART TS XL MCP 連接器 它將相同的答案整合到 ChatGPT、Claude、Copilot、Gemini 和 Grok 等已批准的助手程式中,因此整合工程師無需離開他們正在使用的工具,即可查詢哪些程式會將國家/地區欄位與兩位字母代碼進行比較。存取權限為唯讀、身份驗證和基於角色的。
| 整合需求 | 證據 | 權限 |
|---|---|---|
| 主屬性圖 | 佈局、REDEFINES 變體、代碼集、鍵 | 企業搜索 |
| 權威地圖 | 作家、讀者、抄本分享者 | 應用程式依賴關係映射 |
| 未列出的批次寫入器 | 更新主記錄的作業和程序 | JCL擴充和作業映射 |
| 驗證和推導規則 | 程式中的規則邏輯 | 靜態程式碼分析和 ASK AI |
| 即時源範圍 | 死的、未被引用的程式碼 | 傳統現代化分析 |
| 詞彙和練習冊變化的影響 | 受影響的節目和節目 | 結構影響分析 |
| 管家和工程師的問題 | 用簡單易懂的語言提供與來源相關的答案 | ASK AI 和 MCP 連接器 |
三個界限確保預期準確。 SMART TS XL 它並非主資料管理 (MDM) 中心。它不進行匹配、合併或儲存黃金記錄,也不運行變更擷取或執行同步。它提供整合設計所依賴的結構性證據。其分析基於結構,因此動態呼叫和運行時配置會被標記出來以供審查,而實際資料值的分析則使用資料分析工具完成。關於風格、詞彙和資料保留的決策仍然由資料所有者做出,他們現在擁有關於舊系統運作的經過驗證的記錄。
中心架構只是簡單部分,真正的挑戰在於那些撰寫經典文章的作者。
開篇故事中的樞紐建構得非常正確。它的匹配機制合理,生存規則也經過深思熟慮,其標準化的數值按照任何現代標準來看都是正確的。它所缺少的是一個讀取資料的程式列表,而這個列表其實一直都存在於程式碼中。
將遺留系統與主資料管理系統集成,主要工作在於了解這些系統的功能:主資料儲存在哪裡、誰會修改它、誰依賴它的值以及哪些規則來保護它。首先做好這一點,專案的其餘部分就只是普通的MDM工程。如果忽略這一點,整合中心就會變成一個已經存在過多寫入器的系統中又多了一個寫入器,而且還有一個特殊的「特殊之處」:遺留系統根本不知道它的存在。


