새벽 2시 47분에 알림이 들어왔습니다. 야간 잔액 조정 작업이 데이터 예외 오류로 비정상 종료되었다는 내용이었습니다. 대시보드에는 알림 내용 그대로 작업 하나, 단계 하나, 비정상 종료 코드 하나만 표시되고, 오류 원인에 대한 정보는 전혀 없었습니다. 당직 엔지니어는 원인을 파악하면 20분이면 해결할 수 있을 거라고 예상했습니다. 하지만 그 후로 프로그램, 관련 필드, 작성자, 그리고 어제 변경된 사항들을 찾아내는 데 거의 3시간이 걸렸습니다. 오류를 감지한 도구들이 애초에 이러한 질문들에 답할 수 있도록 설계되지 않았기 때문입니다.
검색 기반 근본 원인 분석은 이러한 질문들을 코드, 데이터 정의, 종속성 그래프, 변경 이력 등 시스템 전체의 색인화된 모델에 대한 질의로 간주합니다. 증상은 첫 번째 검색어가 되며, 이는 비정상 종료 코드, 작업 이름, 필드 또는 오류 메시지일 수 있습니다. 각 질의는 후보 원인 집합을 좁히고 열어서 확인할 수 있는 증거를 반환하므로, 조사 과정은 기억에 의존하여 추측하는 대신 검색 공간을 줄여나가는 방식으로 진행됩니다.
대부분의 근본 원인 분석 지침은 풍부한 원격 측정 데이터(로그, 메트릭, 트레이스)를 기반으로 하며, 시간 경과에 따른 신호 상관관계를 파악하는 데 중점을 둡니다. 이러한 방식은 시스템이 자체적으로 원인을 설명할 수 있도록 계측되어 있을 때 효과적입니다. 그러나 많은 운영 환경은 그렇지 않습니다. 메인프레임 배치 처리, 장기간 사용되는 공유 데이터베이스, 오래된 서비스는 오류 코드와 작업 이름 외에는 거의 아무런 정보를 출력하지 않으며, 진정한 증거는 소스 코드와 변경 기록에 있습니다. 사고 조사 결과, 많은 운영 환경 사고의 원인이 코드 및 구성 변경이라는 사실이 지속적으로 밝혀지고 있으며, 따라서 코드와 변경 기록을 분석하는 것이 가장 중요한 과제입니다.
폭발 반경을 빠르게 확인하세요
SMART TS XL 익숙하지 않은 프로그램을 검증된 맥락에 기반하여 쉬운 언어로 설명하고, 모든 설명은 해당 출처와 연결됩니다.
자세히 알아보세요…경보와 코드 발생 사이에 사건 발생 시간이 사라지는 이유는 무엇입니까?
사고 관리는 탐지, 분류, 진단, 완화로 나뉘는데, 처음 두 단계는 상당 부분 자동화되어 있습니다. 모니터링 시스템은 몇 초 안에 장애를 감지하고, 라우팅 시스템은 이를 적임자에게 전달합니다. 하지만 진단 단계에서는 여전히 엔지니어가 직접 증상을 코드의 특정 위치와 연결하고, 최종적으로 원인을 찾아내야 하므로 시간이 가장 많이 소요됩니다. 이러한 연결 과정은 일련의 조회 작업으로 이루어집니다. 어떤 프로그램, 어떤 명령문, 어떤 데이터, 어떤 호출자, 그리고 최근 변경 사항 등을 찾아야 합니다. 인덱스를 이용하면 조회가 빠르지만, 소스 코드 라이브러리, 위키, 그리고 기억 속의 정보를 일일이 조합해야 할 경우에는 시간이 오래 걸립니다. 아래 그림은 조회 작업이 쿼리 작업으로 바뀌면서 3시간이 걸리는 조사 시간이 얼마나 단축되는지 보여줍니다.
| 단계 (예시) | 수동 조사 | 검색 기반 조사 |
|---|---|---|
| 감지 및 페이지 | 2 분 | 2 분 |
| 코드를 찾으세요 | 55 분 | 3 분 |
| 논리를 이해하세요 | 40 분 | 8 분 |
| 무엇이 바뀌었는지 찾아보세요 | 35 분 | 6 분 |
| 폭발 반경을 측정하십시오 | 25 분 | 3 분 |
| 수정하고 검증하세요 | 25 분 | 16 분 |
| 금액 | 182 분 | 38 분 |
거의 움직이지 않는 부분을 주목하세요. 수정 자체는 어느 방법을 사용하든 시간이 거의 비슷하게 걸리고, 결과 검증에는 여전히 사람이 필요합니다. 검색은 수정 시간을 단축시키지 않습니다. 검색은 수정 작업 이전에 발생하는 발견 비용을 제거해 줄 뿐이며, 바로 이 부분에서 대부분의 시간이 소모됩니다.
검색 중심 근본 원인 분석이란 무엇인가
검색 기반 근본 원인 분석은 코드, 데이터 정의, 종속성 및 변경 기록의 색인화된 모델에 대한 구조화된 쿼리를 사용하여 모든 진단 단계를 표현하는 조사 방법입니다. 이는 관찰 가능성을 대체하는 것이 아니라, 다른 질문에 대한 답을 제시합니다. 원격 측정 데이터는 시스템 성능 저하가 발생한 시점과 위치를 알려주는 반면, 검색 데이터는 어떤 코드가 원인인지, 해당 코드가 어떤 부분에 영향을 미치는지, 그리고 그 주변에서 어떤 변경 사항이 있었는지를 알려줍니다. 원격 측정 데이터는 증상과 발생 시점을 제공하고, 검색 데이터는 위치와 원인을 제공하는 방식으로 두 가지를 함께 활용할 때 가장 효과적입니다.
| 외형 치수 | 원격 측정 기반 RCA | 검색 기반 RCA |
|---|---|---|
| 출발점 | 시계열 데이터의 경고 또는 이상 현상 | 증상 용어: 비정상 종료 코드, 작업, 필드, 메시지 |
| 1차 증거 | 로그, 메트릭, 추적, 이벤트 | 소스, 종속성 그래프, 데이터 정의, 변경 기록 |
| 핵심 운영 | 시간에 따른 상관관계 | 코드 전반에 걸친 구조적 쿼리 |
| 다음과 같은 경우에 가장 효과적입니다. | 시스템에 계측 장비가 설치되어 있습니다. | 부동산은 색인화되어 있습니다. |
| 약할 때 | 원격 측정 데이터가 거의 없습니다. | 동작은 인덱스가 볼 수 없는 런타임 상태에 따라 달라집니다. |
| 답변 | 언제 어디서 열화되었습니까? | 코드의 어느 부분에서, 어떤 부분을 건드리는지, 무엇이 바뀌었는지 |
7단계 탐색 사다리
이 방법은 사다리와 같습니다. 각 단계는 바로 아래 단계에 의존하기 때문입니다. 맨 위 단계의 질문은 아래 단계의 답변만큼만 가치가 있으며, 단계를 건너뛰는 것은 조사가 추측으로 전락하는 가장 흔한 원인입니다. 첫 번째 단계에서는 증상을 위치와 논리적 경로로 변환합니다. 중간 단계에서는 종속성과 변경 이력을 고려하여 유력한 원인 목록을 작성합니다. 상위 단계에서는 이 목록을 확실한 증거와 비교하여 검증하고, 원인이 영향을 미쳤을 가능성이 있는 다른 모든 요소로 범위를 넓힙니다. 마지막 단계는 다음 엔지니어가 이전 엔지니어보다 더 높은 단계에서 시작할 수 있도록 합니다. 아래 표는 이러한 과정을 요약하고, 다음 섹션에서는 각 단계를 차례로 설명합니다.
| 렁 | 이름 | 문제 | 쿼리 형태 | 증거 반환됨 |
|---|---|---|---|---|
| 1 | 찾기 | 오류가 발생하는 코드는 어디에 있습니까? | 증상 용어에서 인공물로 | 프로그램, 라이브러리, 작업, 단계 |
| 2 | 알다 | 고장 발생 시점에 어떤 역할을 하나요? | 논리로의 인공물 | 명령문, 제어 흐름, 관련 필드 |
| 3 | 범위 | 무엇이 그것을 먹이로 삼고, 무엇이 그것을 소비하는가? | 종속인과 데이터에 대한 아티팩트 | 통화자, 작가, 독자, 데이터 세트 |
| 4 | 변화 | 그 범위 안에서 무엇이 바뀌었나요? | 기록 변경 가능 범위 | 변경 창에서의 프로모션 및 수정 |
| 5 | 확인하기 | 증거가 가설을 뒷받침하는가? | 폐기 또는 벌목에 대한 가설 | 바이트, 값 또는 메시지 일치 |
| 6 | 넓히다 | 같은 원인으로 인해 영향을 받는 다른 것은 무엇입니까? | 소비자에게 미치는 영향 | 조용한 오류 및 다운스트림 파일 |
| 7 | 기록 | 다음번 사고는 어떻게 예방할 수 있을까요? | 예방적 통제의 원인 | 연결된 레코드, 게이트, 저장된 쿼리 |
1단계: 찾기
첫 번째 쿼리는 경고에서 제공하는 정보를 구체적인 결과물로 변환합니다. 비정상 종료는 프로그램과 오프셋 이름을, 실패한 작업은 단계를, 오류 메시지는 모듈이나 테이블을 지정합니다. 해당 이름을 검색하면 프로그램, 프로그램이 속한 라이브러리, 그리고 해당 프로그램을 실행하는 작업들이 반환됩니다. 이 단계의 목표 시간은 한 시간이 아니라 몇 분이며, 추적해야 할 핵심 지표는 첫 번째 정확한 결과물을 얻는 데 걸리는 시간입니다.
2단계: 이해하기
문제의 원인이 되는 코드를 찾았다면, 다음 질문은 오류 발생 지점에서 해당 코드가 어떤 동작을 하는지 묻는 것입니다. 컴파일 목록은 오류가 발생한 오프셋을 해당 구문에 매핑하고, 검색 계층은 주변 제어 흐름과 해당 구문이 접근하는 필드를 제공합니다. 목표는 프로그램 전체를 읽는 것이 아니라 관련 경로만 읽는 것입니다. 40년 된 프로그램을 전문가가 4천 줄이나 읽어야만 엔지니어가 어떤 5줄이 중요한지 알 수 있는 것은 말이 안 됩니다.
3단계: 범위
검색과 읽기를 구분하는 기준은 바로 범위입니다. 오류가 발생한 구문의 필드에 대한 사용처 쿼리는 해당 필드에 값을 쓰는 모든 프로그램, 읽는 모든 프로그램, 그리고 그 사이에 있는 데이터 세트까지 모두 반환합니다. 이렇게 하면 오류의 원인을 추정할 수 있는 후보 집합을 얻을 수 있습니다. 왜냐하면 한 프로그램에서 발생한 데이터 예외는 거의 항상 상위 프로그램에서 발생하기 때문입니다. 이 범위를 고려하지 않으면 조사가 오류가 발생한 프로그램에만 국한되어 오류를 유발한 프로그램을 놓치게 됩니다.
4단계: 변경
변경 기록은 범위가 지정되기 전까지는 큰 의미가 없습니다. 지난주에 발생한 모든 프로모션의 원시 목록은 의미 없는 정보일 뿐입니다. 범위 쿼리에서 반환된 아티팩트로 필터링된 동일한 목록은 대개 한두 개의 항목으로 구성된 간결한 목록이 됩니다. 필터링 기간은 작업 주기에 따라 달라지며, 다음 섹션에서는 가장 최근의 변경 사항이 항상 시작점으로 적합한 것은 아닌 이유를 설명합니다.
5단계: 확인
검색을 통해 가설이 세워지고, 확실한 증거가 이를 뒷받침합니다. 덤프 데이터, 로그 기록 또는 실패한 입력 데이터는 가설이 예측한 특징을 포함하고 있거나 포함하지 않습니다. 이 단계를 건너뛰면 그럴듯하지만 잘못된 원인이 수정되는 동안 실제 원인은 다음 실행을 기다리게 됩니다. 바이트, 값 또는 메시지가 가설과 일치할 때까지 모든 검색 결과를 단서로 간주하십시오.
6단계: 넓히기
원인이 하나의 증상만 나타내는 경우는 드뭅니다. 한 소비자를 다운시킨 동일한 상위 변경 사항이 다른 소비자에게는 아무런 오류 메시지 없이도 빈 페이지를 출력하거나 잘못된 합계를 기록하는 문제를 일으킬 수 있습니다. 이러한 경우, 원인을 추적하여 소비자들을 거쳐 오류를 찾아내고, 오류 메시지 없이 발생한 문제까지 파악합니다. 바로 이 단계가 해결된 문제가 하루 만에 데이터 품질 문제로 다시 나타나는 것을 방지하는 핵심적인 부분입니다.
7번째 단계: 기록
마지막 단계에서는 다음 조사에서 활용할 수 있는 형태로 결과를 기록합니다. 단순히 데이터 오류 때문에 작업이 실패했다는 기록만으로는 아무런 도움이 되지 않습니다. 원인을 원천 자료, 오류를 발생시킨 변경 사항, 그리고 오류를 잡아낼 수 있었던 검사 절차와 연결하는 기록은 일회성 복구를 재사용 가능한 패턴으로 바꿔줍니다. 이후 반복되는 문제는 여러 단계를 거쳐 해결됩니다.
처리된 문제: 야간 균형 조정 작업의 S0C7
아래 기록은 오전 2시 47분 페이지를 기준으로 단계별 진행 과정을 보여줍니다. 수치는 예시일 뿐이며, 이 순서는 조사 과정이 진행되는 방식입니다. 문제가 된 명세서는 팩티드 디블릿 조정 금액이 포함된 덧셈 계산입니다.
02:47 Page: NIGHTBAL STEP030 ABEND S0C7 in BALCALC
02:49 Q1 search BALCALC: library, job NIGHTBAL step STEP030 located
02:52 Compile listing: offset 0004A2 maps to line 1187 (COMPUTE using ADJ-AMOUNT)
02:55 Q2 where-used ADJ-AMOUNT: written by ADJLOAD, read by BALCALC and ADJRPT
03:01 Q3 changes in scope since last good run: ADJLOAD promoted 18:10 (CR-4471)
03:06 Q4 explain ADJLOAD change: new 'ZR' branch initializes the whole record to SPACES
03:09 Dump check: ADJ-AMOUNT holds X'4040404040' on the failing record, hypothesis confirmed
03:12 Q5 widen: ADJRPT also reads ADJ-AMOUNT, prints blanks, no abend; 2 downstream files affected
03:25 Fix applied: numeric fields initialized to zero in the 'ZR' branch; rerun from STEP020
오류가 발생한 구문과 오류를 유발한 변경 사항은 서로 다른 두 프로그램에 존재하므로, 사용 위치 쿼리가 중요한 것입니다.
코볼
* BALCALC, line 1187: fails when ADJ-AMOUNT is not valid packed data
COMPUTE WS-NEW-BAL = IN-BALANCE + ADJ-AMOUNT.
* ADJLOAD, promoted 18:10 (CR-4471): the new branch
IF ADJ-REASON-CD = 'ZR'
MOVE SPACES TO ADJ-RECORD
MOVE WS-ACCT-NO TO ADJ-ACCT-NO
WRITE ADJ-RECORD
ELSE
PERFORM BUILD-ADJUSTMENT
END-IF.
EBCDIC에서 공백은 16진수 40이므로, 공백으로 이루어진 그룹 이동으로 채워진 압축 필드에는 유효한 압축 십진수가 아닌 바이트가 저장됩니다. 이 필드를 건드리는 다음 산술 명령문에서 데이터 예외가 발생합니다. 비정상 종료 코드와 작업 이름만 알고 있던 엔지니어는 BALCALC부터 시작해서 첫 한 시간을 그 논리를 읽는 데 허비했을 것입니다. 하지만 필드에서 검색한 엔지니어는 6분 만에 ADJLOAD에 도달하고 22분 만에 확인 덤프를 얻었습니다.
변화 수명: 마지막 배포가 항상 원인은 아닌 이유
사고 분석은 흔히 경험 법칙에서 시작합니다. 즉, 장애 발생 직전에 변경된 사항이 원인일 가능성이 높다는 것입니다. 지속적으로 실행되는 서비스에서는 이 법칙이 좋은 첫 번째 추측이 될 수 있습니다. 하지만 배치 처리 환경에서는 변경 사항이 배포되는 즉시 적용되는 것이 아니라, 해당 변경 사항이 포함된 코드가 다음에 실행될 때 적용되기 때문에 이 법칙이 적용되지 않습니다. 월말 작업에 대한 변경 사항은 몇 주 동안 적용되지 않을 수 있고, 연간 규제 작업에 대한 변경 사항은 거의 1년 동안 적용되지 않을 수도 있습니다.
사고 상관관계 연구는 이러한 현상을 '변경 수명'이라는 개념으로 포착합니다. 각 유형의 변경은 사고를 유발하기까지 예상되는 지연 시간이 있으며, 그 이후에는 사고의 원인이 될 가능성이 낮아집니다. 검색 중심 분석에서 이 개념은 실질적으로 시계가 아닌, 실패한 작업의 주기로 정의되는 '변경 기간'으로 표현됩니다.
| 유형 변경 | 사고를 유발할 수 있을 때 | 검색 창 |
|---|---|---|
| 일상적인 업무 중 코드 변경 | 다음 예정된 운행에서 | 지난번 성공적인 실행 이후 |
| 월말 업무 중 코드 변경 | 다음 달 말까지는 최대 약 31일 후입니다. | 해당 주기의 마지막 실행 이후로 |
| 분기별 또는 연간 작업의 코드 변경 | 다음 주기에는 최대 1년 후입니다. | 해당 주기의 마지막 실행 이후로 |
| 공책 변경 | 각 포함 프로그램이 다시 컴파일되고 승격될 때, 그 시점은 프로그램마다 다를 수 있습니다. | 코피북 편집 이후, 포함자별로 |
| 데이터 또는 참조 테이블 변경 | 다음 읽기에서 | 최근 좋은 성적을 낸 이후로 |
| 매개변수 또는 JCL 변경 | 다음 직장 시작 시 | 최근 좋은 성적을 낸 이후로 |
해당 창은 변경 사항에 직접 연결됩니다. 쿼리는 다음과 같습니다. 이 작업 주기의 마지막 성공 실행 시점과 현재 시점 사이에 범위 내 아티팩트에 대한 모든 변경 사항을 표시합니다. 이 하나의 필터가 유용한 최종 후보 목록과 관련 없는 프로모션 목록을 구분하는 기준이 됩니다.
일반적인 증상에 대한 쿼리 패턴
반복되는 증상에는 반복적인 쿼리가 필요합니다. 일반적인 증상 각각에 대해 가장 먼저 떠올리는 두 가지 쿼리를 기록해 두는 팀은 동일한 코드가 실행될 때마다 조사 과정을 처음부터 다시 시작하는 수고를 덜 수 있습니다. 아래 패턴은 많은 환경에서 두 가지 유형의 증상이 모두 나타나기 때문에 고전적인 메인프레임 증상과 최신 증상을 함께 제시합니다.
| 징후 | 첫 번째 쿼리 | 두 번째 질문 | 일반적인 근본 원인 분류 |
|---|---|---|---|
| ABEND S0C7 (데이터 예외) | 프로그램 및 오류 메시지의 필드 | 각 숫자 필드의 사용처를 작성자에 초점을 맞춰 설명합니다. | 상위 스트림에서 잘못된 압축 데이터가 전송되었습니다. 그룹이 초기화되지 않았습니다. |
| ABEND S0C4 (보호 예외) | 프로그램, 테이블 및 첨자 필드 | 변경된 매개변수를 전달하는 호출자 | 첨자 범위를 벗어남, 연결 불일치 |
| ABEND S806 (모듈을 찾을 수 없음) | 실패한 단계의 프로그램 이름 | 업무 및 최근 승진 관련 도서관 참고 자료 | 프로모션 기회를 놓쳤고, 도서관을 잘못 골랐습니다. |
| SQL코드 -811 | 프로그램과 SELECT INTO 문 | 표 및 주요 정의, 최근 주요 변경 사항 | 중복 행으로 인해 고유성이 손실되었습니다. |
| SQL코드 -305 | 프로그램 및 호스트 변수 | 컬럼의 null 허용 여부 변경 | 새로운 null 허용 열, 결측치 표시 변수 |
| 합계 오류, 비정상 종료 없음 | 전체에 공급되는 분야 | 작가와 최근의 논리 변화 | 데이터 또는 논리의 무음 변경 |
| 배포 후 Java 서비스 오류 발생 | 엔드포인트 및 예외 | 통화 프로그램 및 사용된 데이터 계약 | 계약 변동 |
사고 발생 전 검색 계층 구축
사고 발생 중에 구축된 인덱스는 너무 늦게 구축된 인덱스입니다. 검색 기반 분석은 모델이 이미 존재하고, 최신 상태이며, 이전에 사용된 적이 있는 경우에만 새벽 2시 47분에도 제대로 작동합니다. 아래 체크리스트는 이러한 방식이 효과를 발휘하기 위한 최소한의 조건을 설명합니다.
- 운영 환경의 모든 프로그램, 카피북, JCL 멤버 및 스키마는 고아 코드와 참조되지 않은 코드를 포함하여 모두 인덱싱됩니다.
- 의존성 그래프는 주간 일정이 아닌 모든 프로모션마다 다시 구축됩니다.
- 사용처, 호출자 및 하위 소비자 쿼리는 몇 초 내에 반환됩니다.
- 변경 기록은 검색 결과로 반환되는 아티팩트 집합을 기준으로 필터링할 수 있습니다.
- 실패한 작업에서 프로그램, 라이브러리로의 매핑은 조회 가능합니다.
- 온콜 엔지니어는 읽기 권한을 가지고 있으며 사고 발생 상황 외에서도 해당 도구를 사용했습니다.
- 저장된 검색어는 가장 흔한 증상 10가지에 대한 정보를 담고 있습니다.
- 사고 기록은 작업 이름뿐만 아니라 원본 자료와도 연결됩니다.
최신 정보의 중요성은 강조되어야 합니다. 실제 운영 환경보다 일주일 정도 뒤처진 의존성 그래프는 틀림없이 잘못된 호출자를 반환할 것이며, 이를 맹신하는 엔지니어는 인덱스가 전혀 없는 엔지니어보다 더 많은 시간을 허비하게 됩니다.
제대로 작동하는지 측정하기
측정되지 않는 관행은 습관으로 되돌아갑니다. 네 가지 측정 지표는 검색 단계가 진단 시간을 단축하는지 여부를 파악하며, 각각은 단계별로 대응됩니다.
| 메트릭 | 정의 | 그것이 드러내는 것 |
|---|---|---|
| 첫 번째 관련 유물이 나타나는 데 걸린 시간 | 최초로 올바른 프로그램 또는 데이터 세트에 대한 알림 | 위치 지정 링의 효율성 |
| 폭발 반경을 조준할 시간 | 피해를 입은 소비자 명단이 확인되었습니다. | 효과 범위 및 확대 |
| 반복 발생률 | 이전에 기록된 원인과 일치하는 사건의 비율 | 기록 경신이 학습에 도움이 되는지 여부 |
| 연관 원인 비율 | 원천 자료와 연결된 근본 원인 기록의 비율 | 사건 기록에 있는 증거의 질 |
검색 방향이 잘못되었을 때
검색을 통해 범위를 좁힐 수는 있지만 정답을 보장할 수는 없습니다. 네 가지 상황에서는 확실하지만 불완전한 결과가 나오며, 각각의 상황은 실행 계획서에 기록해 둘 가치가 있습니다.
- 동적 호출. 변수에 저장된 이름을 사용하여 다른 프로그램을 호출하는 경우, 순전히 정적인 관점에서는 해당 종속성이 숨겨집니다. 동적 호출이 범위 내에 있는 경우 결과에 표시를 해야 합니다.
- 생성되거나 복사된 코드입니다. 빌드 시점에 생성된 코드 또는 라이브러리 간에 복사된 코드는 인덱스에 저장된 내용과 다를 수 있습니다.
- 런타임 구성. 매개변수, 환경 또는 의존성 주입에 의해 결정되는 동작은 소스 코드에서 전혀 나타나지 않을 수 있습니다.
- 여러 가지 요인이 복합적으로 작용했습니다. 많은 사고는 잠재적 결함과 사고를 유발한 변경 사항이 결합된 형태로 발생합니다. 목표는 사고 발생 원인 사슬에서 특정 변경을 통해 사고를 예방할 수 있었던 지점을 찾는 것이지, 처음 발견된 연결 고리를 찾는 것이 아닙니다.
안전장치는 확인 단계입니다. 검색을 통해 도출된 모든 가설은 근본 원인으로 확정되기 전에 덤프 데이터, 로그 또는 실패한 입력값과 비교하여 검증됩니다.
자주 묻는 질문
검색 기반 근본 원인 분석이란 무엇일까요? 이는 코드, 데이터 정의, 종속성 및 변경 기록의 색인화된 모델에 대한 구조화된 쿼리를 각 진단 단계로 수행하는 사고 조사 방법입니다. 첫 번째 쿼리는 증상에 대한 분석이며, 각 답변을 통해 후보 원인을 좁혀나가 최종적으로 하나의 원인을 확정하는 증거를 도출합니다.
관찰 기반 근본 원인 분석과 어떻게 다른가요? 관찰 기반 분석은 로그, 메트릭, 트레이스를 시간 경과에 따라 연관시켜 시스템 성능 저하가 발생한 시점과 위치를 보여줍니다. 검색 기반 분석은 소스 코드와 시스템 구조를 쿼리하여 어떤 코드가 문제의 원인인지, 그리고 그 코드가 어떤 부분에 영향을 미치는지 밝혀냅니다. 두 분석 방법은 서로 다른 질문에 답하며, 함께 사용할 때 가장 효과적입니다.
추적 정보가 없는 메인프레임 배치 작업에도 사용할 수 있을까요? 네, 가능합니다. 바로 그 부분에서 가장 큰 장점이 드러납니다. 배치 작업은 일반적으로 비정상 종료 코드, 작업 이름, 덤프 파일을 생성합니다. 코드, 데이터 정의, 변경 기록에는 원격 측정 데이터에는 없는 증거가 담겨 있으므로, 이러한 정보만으로도 문제 해결의 시작을 위한 충분한 단서를 얻을 수 있습니다.
AI가 검색을 대체할까요? 아닙니다. AI는 검증된 결과 집합 위에 구축될 때 가장 유용합니다. 예를 들어 익숙하지 않은 프로그램을 설명하거나, 차이점을 요약하거나, 사건 기록을 작성하는 데 활용될 수 있습니다. 구조화된 검색 기반이 없다면 AI 답변은 신뢰할 만한 근거를 갖지 못합니다.
방법 SMART TS XLASK AI와 MCP 커넥터는 검색 기반 근본 원인 분석을 지원합니다.
SMART TS XL 사다리가 의존하는 인덱싱된 모델을 제공하며, ASK AI 및 MCP 커넥터 기능은 온콜 엔지니어가 사다리를 얼마나 빨리, 그리고 어디에서 오를 수 있는지를 결정합니다.
코드베이스 전반에 걸친 엔터프라이즈 검색은 오류 발생 위치 파악 및 오류 이해 단계를 포괄합니다. 비정상 종료 코드, 작업 이름, 필드 또는 프로그램 이름을 검색하면 해당 아티팩트, 라이브러리, 실행 중인 작업, 그리고 오류 발생 지점 주변의 제어 흐름이 반환됩니다. 검색 기능은 COBOL, JCL 및 이들 간의 관계를 이해하기 때문에 특정 필드에 대한 쿼리는 해당 문자열을 포함하는 모든 파일이 아니라 읽기/쓰기 및 재정의된 필드를 반환합니다. 애플리케이션 종속성 매핑은 시스템 환경 변화에 따라 재구축된 모델을 기반으로 호출자, 호출된 프로그램, 공유 카피북 및 데이터 세트 흐름을 반환하여 검색 범위를 확장합니다. 구조적 영향 분석은 오류가 발생한 프로그램뿐만 아니라 그 너머의 소비자까지 동일한 그래프를 확장하여, 오류 발생 사실을 알리지 않았던 숨겨진 오류를 찾아냅니다. 정적 코드 분석은 오류 발생 전 오류를 감지할 수 있었던 패턴과 같은 기록 단계에서 사용되는 구조적 정보를 제공합니다.
ASK AI는 검증된 컨텍스트 위에 자연어를 적용하여 사고를 분류합니다. 엔지니어는 빈 프롬프트 상자 대신 실제 프로그램, 카피북, 테이블, 작업 등 범위가 지정된 결과 집합을 기반으로 작업하며, 어떤 프로그램이 규칙을 적용하는지, 작업 체인은 어떻게 작동하는지, 익숙하지 않은 프로그램은 어떤 작업을 수행하는지 등을 일반 언어로 질문할 수 있습니다. 발견 사항은 소스 코드 라인과 연결되어 있으므로 엔지니어는 각 문장 뒤에 있는 라인(코드 라인)을 열어 확인할 수 있으며, 이를 통해 AI 출력은 확인 절차 내에서만 유효합니다. 저장 및 공유되는 프롬프트는 위의 증상 쿼리 패턴을 모든 온콜 엔지니어가 실행할 수 있는 재사용 가능한 런북 항목으로 변환합니다.
The SMART TS XL MCP 커넥터 조직에서 이미 승인한 ChatGPT, Claude, Copilot, Gemini, Grok 등의 어시스턴트에도 동일한 지능을 제공합니다. 전화로 호출된 엔지니어는 어시스턴트에게 오류가 발생한 프로그램과 해당 프로그램이 영향을 미치는 모든 부분을 설명해 달라고 요청할 수 있으며, 어시스턴트는 소스 코드 검색, 제어 흐름 분석, 상호 참조 보고서 작성 도구를 호출합니다. 답변은 다음과 같은 정보를 바탕으로 제공됩니다. SMART TS XL 예를 들어, 두 개의 DB2 테이블을 읽는 분석 프로그램은 네 개의 배치 작업에서 호출되고, 다른 사이클과 세 개의 카피북을 공유하며, 각 단계는 해당 소스 라인에 연결됩니다. 접근 권한은 읽기 전용이며, 인증 및 역할 기반으로 제공되므로 승인된 담당자는 조직에서 부여한 권한 내에서 작업할 수 있습니다.
| 사다리 발판 | 엔지니어에게 필요한 것 | 그 질문에 답할 수 있는 능력 |
|---|---|---|
| 찾기 | 증상 용어에서 파생된 프로그램, 라이브러리 및 직업 | 기업 검색 |
| 알다 | 제어 흐름 및 실패 경로에 대한 쉬운 설명 | 기업 검색 및 ASK AI |
| 범위 | 작성자, 독자, 발신자 및 데이터셋 흐름 | 애플리케이션 종속성 매핑 |
| 변화 | 변경 기록을 필터링하는 데 사용되는 아티팩트 세트 | 그래프에서 가져온 의존성 범위 |
| 확인하기 | 덤프와 비교할 소스 라인 | ASK AI 또는 MCP 커넥터를 통한 소스 검색 |
| 넓히다 | 같은 원인의 하위 소비자 | 구조적 영향 분석 |
| 기록 | 재발을 방지하는 구조적 패턴 | 정적 코드 분석 |
두 가지 경계선이 기대치를 정확하게 유지합니다. SMART TS XL 소스와 구조를 분석합니다. 실시간 로그, 덤프 또는 메트릭을 읽지 않으므로 확인 단계에서 이러한 아티팩트와 관찰 가능성 스택을 함께 사용합니다. 변경 이력은 버전 관리 또는 변경 관리 기록에서 가져옵니다. SMART TS XL'의 종속성 범위는 필터링에 도움이 되며 대체하지 않습니다. 함께 사용하면 원격 측정은 감지하고, 검색은 위치 파악 및 범위 설정을 지원하며, 증거는 확인을 제공하고, 기록은 교훈을 전달합니다.
대시보드는 어디가 아픈지 알려주고, 검색은 왜 아픈지 알려줍니다.
새벽 2시 47분에 오는 오류 메시지는 계속될 겁니다. 프로덕션 환경은 흔히 발생하는 오류로 인해 문제가 생깁니다. 급하게 브랜치를 추가했거나, 필드를 잘못 초기화했거나, 금요일에 카피북을 편집했거나 하는 이유죠. 3시간짜리 야간 작업과 40분짜리 야간 작업을 가르는 것은 복구 작업 자체가 아닙니다. 복구에 걸리는 시간은 어느 쪽이든 거의 비슷하니까요. 핵심은 엔지니어가 비정상 종료 코드 발생 시점부터 해당 필드, 작성자, 변경 사항, 그리고 그 여파까지 얼마나 빨리 대응할 수 있느냐에 있습니다.
검색 기반 근본 원인 분석은 단순히 기억에 의존하는 과정이 아니라 체계적인 절차로 만들어줍니다. 증상에서 시작하여 7단계에 걸쳐 원인을 추적하고, 작업 주기의 변경 사항을 고려하며, 모든 단서를 확실한 증거와 대조하여 검증하고, 더 상위 단계의 조사를 위한 기록을 남깁니다. 사건 발생 전에 색인을 구축하고, 최신 상태로 유지하며, 쿼리를 연습하십시오. 원인은 항상 코드와 변경 기록에 있습니다. 검색은 바로 그 원인을 해 뜨기 전에 찾아내는 방법입니다.


