検索主導型根本原因分析

生産現場におけるインシデントに対する検索主導型根本原因分析

午前2時47分にページが届いた。夜間バランスジョブがデータ例外で異常終了したという内容だ。ダッシュボードにはページに記載されていた内容がそのまま表示されている。ジョブは1つ、ステップは1つ、異常終了コードは1つだが、原因については何も書かれていない。オンコール担当のエンジニアは、原因が分かれば20分で修正できると分かっている。しかし、その後はプログラム、フィールド、ライター、そして昨日変更された内容を探し出すのに3時間近くかかる。なぜなら、障害を検出したツールは、これらの疑問に答えるように設計されていなかったからだ。

検索主導型の根本原因分析では、これらの質問それぞれを、コード、データ定義、依存関係グラフ、変更履歴といった、インデックス化されたシステムモデルに対するクエリとして扱います。異常終了コード、ジョブ名、フィールド、エラーメッセージなど、症状が最初の検索語となります。各クエリによって候補となる原因が絞り込まれ、開いて確認できる証拠が返されるため、記憶に頼って推測するのではなく、検索範囲を縮小していくことで調査が進みます。

根本原因分析のガイダンスの多くは、ログ、メトリクス、トレースといった豊富なテレメトリ層を前提としており、時間軸に沿ったシグナルの相関関係の分析に重点を置いています。これは、システムが自らを説明できるような仕組みになっている場合に有効です。しかし、多くの本番環境はそうではありません。メインフレームのバッチ処理、長期間運用されている共有データベース、古いサービスなどは、障害コードとジョブ名以外にはほとんど情報を出力せず、真の証拠はソースコードと変更履歴にあります。インシデント調査では、本番環境におけるインシデントの大部分はコードや構成の変更が原因であることが繰り返し判明しており、そのため、コードと変更履歴こそが最も価値のある調査対象となります。

爆発範囲を素早く確認する

SMART TS XL 馴染みのないプログラムを、検証済みの文脈に基づいて平易な言葉で解説し、すべての発見事項をそのソースコードにリンクさせる。

さらに詳しく…

アラート発生からコード発動までの間にインシデント発生時間が消える理由

インシデント管理は、検出、トリアージ、診断、緩和の4つに分けられ、最初の2つは高度に自動化されています。監視によって障害が数秒以内に検出され、ルーティングによって適切な担当者に送信されます。診断は依然としてエンジニアが行う作業であり、症状をコード内の場所、そして原因に結びつける必要があるため、時間がかかります。その結び付けは、どのプログラム、どのステートメント、どのデータ、どの呼び出し元、どの最近の変更点かといった一連のルックアップです。各ルックアップは、インデックスが応答する場合は高速ですが、ソースライブラリ、Wiki、メモリから人が回答を組み立てる場合は時間がかかります。以下の図は、ルックアップがクエリになると、3時間の調査がどのように短縮されるかを示しています。

フェーズ(例)手動調査検索主導型の調査
検出してページングする2 min2 min
コードを見つける55 min3 min
論理を理解する40 min8 min
何が変わったのか調べてみよう35 min6 min
爆発範囲を測る25 min3 min
修正と検証25 min16 min
トータル182 min38 min

ほとんど変化のないものに注目してください。修正自体にかかる時間はどちらの方法でもほぼ同じで、検証には依然として人間による結果確認が必要です。検索によって修復時間が短縮されるわけではありません。検索によって、修復の前に存在する発見コストが削減されるのです。つまり、時間の大部分はそこで費やされていたのです。

検索主導型根本原因分析の意味

検索駆動型根本原因分析は、コード、データ定義、依存関係、変更記録のインデックス付きモデルに対して、すべての診断ステップを構造化クエリとして表現する調査手法です。これは可観測性の代替となるものではなく、異なる問いに答えるものです。テレメトリは、システムが劣化した日時と場所を示します。検索は、どのコードが原因か、そのコードが何に影響を与えているか、そしてその付近で何が変更されたかを示します。テレメトリが症状とタイミングを提供し、検索が場所と原因を提供するというように、この2つを組み合わせることで最高の効果を発揮します。

次元テレメトリー駆動型RCA検索主導型RCA
出発点時系列データにおけるアラートまたは異常症状を表す用語:異常終了コード、ジョブ、フィールド、メッセージ
主な証拠ログ、メトリクス、トレース、イベントソース、依存関係グラフ、データ定義、変更記録
コアオペレーション時間経過に伴う相関関係コード全体にわたる構造クエリ
最適な効果を発揮するのはシステムは計測機器を備えている不動産はインデックス化されています
弱いときテレメトリデータはほとんど存在しない動作は、インデックスが認識できない実行時状態に依存します。
答えいつ、どこで劣化したかコードのどの部分に触れ、何が変更されたのか

七段式捜索梯子

この方法は、各段が下の段に依存しているため、はしごのようなものです。最上段のクエリは、その下の回答の質に左右され、段を飛ばしてしまうと、調査が推測に陥る最も一般的な原因となります。最初の段では、症状を場所と論理パスに変換します。中間段では、依存関係と変更履歴を取り込み、それらを組み合わせて、考えられる原因の候補リストを作成します。最上段では、候補リストを確固たる証拠と照らし合わせて検証し、原因が影響を与えた可能性のある他のすべての要素に視野を広げます。最後の段では、次のエンジニアがこのはしごをこのエンジニアよりもさらに高い位置から開始できるようにします。表は、この手順の概要を示しており、その後のセクションでは、各段を順に説明します。

ラング名前メッセージクエリ形状証拠が返還された
1見つけるエラーが発生しているコードはどこにありますか?症状用語からアーティファクトへプログラム、ライブラリ、ジョブ、ステップ
2わかる故障発生時にはどのような動作をしますか?アーティファクトからロジックへステートメント、制御フロー、関連するフィールド
3対象領域それを養い、消費するものは何か?依存者とデータへの成果物発信者、執筆者、読者、データセット
4前日比そのスコープ内で何が変わったのか?記録を変更する範囲変更ウィンドウでのプロモーションと編集
5確認します証拠はその仮説を裏付けているか?ダンプまたはログの仮説一致するバイト、値、またはメッセージ
6広げる同じ原因によって他にどのようなものが影響を受けるのか?消費者に原因を与えるサイレント障害と下流ファイル
7USBレコーディング次の事件を防ぐにはどうすればよいか?予防的管理の原因リンクされたレコード、ゲート、保存されたクエリ

1段階目:場所を特定する

最初のクエリは、アラートが提供する情報を具体的な成果物に変換します。異常終了の場合はプログラム名とオフセット、ジョブ失敗の場合はステップ名、エラーメッセージの場合はモジュール名またはテーブル名が示されます。その名前を検索すると、プログラム、それが存在するライブラリ、およびそれを実行するジョブが返されます。この段階の目標は1時間ではなく数分であり、追跡する価値のある指標は、最初の正しい成果物に到達するまでの時間です。

2段階目:理解する

アーティファクトが見つかったら、次のクエリは、それが障害発生時に何をしているかを問い合わせます。コンパイルリストは、障害が発生したオフセットをステートメントにマッピングし、検索レイヤーは、そのステートメントが影響を与える周辺の制御フローとフィールドを提供します。目的は、プログラム全体ではなく、関連するパスのみを読み取ることです。40年前のプログラムであれば、エンジニアがどの5行が重要かを把握するために、専門家が4000行も読み込む必要はありません。

3段階目:スコープ

スコープとは、検索と読み取りを区別する部分です。エラーが発生したステートメント内のフィールドに対して使用箇所クエリを実行すると、それらのフィールドを書き込むすべてのプログラム、読み取るすべてのプログラム、およびそれらの間のデータセットが返されます。その結果は、原因の候補セットとなります。なぜなら、あるプログラムで発生したデータ例外は、ほぼ必ず上流の別のプログラムによって生成されるからです。この段階を経なければ、調査はエラーが発生したプログラム内に留まり、エラーの原因となったプログラムを見逃してしまうことになります。

4段階目:変化

変更記録は、スコープが設定されるまではほとんど意味を持ちません。過去1週間のすべてのプロモーションをそのままリストアップしても、ノイズに過ぎません。スコープクエリによって返される成果物に絞り込んだ同じリストは、多くの場合1つか2つのエントリからなるショートリストになります。フィルタの適用範囲はジョブのサイクルによって異なり、次のセクションでは、最新の変更が必ずしも適切な開始点ではない理由を説明します。

5段目:確認

検索によって仮説が立てられ、確固たる証拠によってそれが裏付けられます。ダンプ、ログレコード、または失敗した入力には、仮説が予測する特徴が含まれているか、含まれていないかのどちらかです。この段階を省略すると、もっともらしいが間違った原因が修正され、真の原因は次の実行まで保留されることになります。バイト、値、またはメッセージが一致するまで、すべての検索結果を手がかりとして扱います。

6段目:広げる

原因が単一の症状を引き起こすことは稀です。あるコンシューマーに障害を引き起こした上流の変更が、別のコンシューマーでは異常終了を起こさずに空白を印刷したり、合計金額を誤って書き込んだりするなどの問題を引き起こす可能性があります。この拡張クエリは、原因をコンシューマーを通して外側へと追跡し、誰にも通知されなかった障害を見つけ出します。これは、修正されたインシデントが翌日データ品質に関する苦情として再発するのを防ぐための重要なステップです。

7段目:記録

最後の段階では、次の調査で利用できる形式で調査結果を記録します。単に「データ不良が原因でジョブが失敗した」とだけ記録しても何も得られません。原因をソースアーティファクト、原因となった変更、そして原因を検出できたはずのチェックにリンクさせた記録であれば、一度限りの修復作業を再利用可能なパターンに変えることができます。その後、同様の事象が繰り返される場合、さらに数段階上の段階へと進んでいきます。

処理済みインシデント: 夜間バランスジョブにおけるS0C7

以下のログは、午前2時47分のページから始まる一連の処理を追っています。数値はあくまで例示であり、この順序は調査の進行状況を示しています。問題となっているのは、小数点以下の調整額を含む加算処理です。

02:47  Page: NIGHTBAL STEP030 ABEND S0C7 in BALCALC
02:49  Q1 search BALCALC: library, job NIGHTBAL step STEP030 located
02:52  Compile listing: offset 0004A2 maps to line 1187 (COMPUTE using ADJ-AMOUNT)
02:55  Q2 where-used ADJ-AMOUNT: written by ADJLOAD, read by BALCALC and ADJRPT
03:01  Q3 changes in scope since last good run: ADJLOAD promoted 18:10 (CR-4471)
03:06  Q4 explain ADJLOAD change: new 'ZR' branch initializes the whole record to SPACES
03:09  Dump check: ADJ-AMOUNT holds X'4040404040' on the failing record, hypothesis confirmed
03:12  Q5 widen: ADJRPT also reads ADJ-AMOUNT, prints blanks, no abend; 2 downstream files affected
03:25  Fix applied: numeric fields initialized to zero in the 'ZR' branch; rerun from STEP020

エラーが発生したステートメントと、そのエラーを引き起こした変更は、2つの異なるプログラムに存在するため、使用箇所クエリが重要になります。

COBOL

      * BALCALC, line 1187: fails when ADJ-AMOUNT is not valid packed data
       COMPUTE WS-NEW-BAL = IN-BALANCE + ADJ-AMOUNT.

      * ADJLOAD, promoted 18:10 (CR-4471): the new branch
       IF ADJ-REASON-CD = 'ZR'
           MOVE SPACES TO ADJ-RECORD
           MOVE WS-ACCT-NO TO ADJ-ACCT-NO
           WRITE ADJ-RECORD
       ELSE
           PERFORM BUILD-ADJUSTMENT
       END-IF.

EBCDICでは、スペースは16進数で40なので、スペースのグループ移動で埋められたパックフィールドには、有効なパック10進数ではないバイトが格納されます。次にそのフィールドにアクセスする算術演算によって、データ例外が発生します。異常終了コードとジョブ名しか知らされていないエンジニアは、BALCALCから始めて最初の1時間をそのロジックの読み取りに費やしたでしょう。フィールドから検索したエンジニアは、6分でADJLOADに到達し、22分で確認ダンプを取得しました。

変更のライフサイクル:最後のデプロイが必ずしも原因ではない理由

インシデント分析は、多くの場合、経験則から始まります。つまり、障害発生直前に変更された項目が原因である可能性が高いというものです。継続的に実行されるサービスでは、この法則は良い最初の推測となります。しかし、バッチ処理環境では、変更が反映された時点では有効にならないため、この法則は成り立ちません。変更が有効になるのは、その変更を含むコードが次に実行されるときです。月末処理への変更は数週間放置されることがあり、年次規制関連処理への変更はほぼ1年も放置されることがあります。

インシデント相関研究では、これを「変更のライフサイクル」という概念で捉えています。つまり、各タイプの変更には、インシデントを引き起こすまでの予想される遅延時間と、インシデントの原因となる可能性が低くなる時点が存在します。検索主導型分析の場合、実際には、変更ウィンドウは、時計ではなく、障害が発生したジョブのサイクルによって定義されます。

タイプを変更する事故を引き起こす可能性がある場合検索ウィンドウ
日常業務におけるコード変更次回の運行予定時に前回の成功以来
月末処理におけるコード変更次の月末の運行では、約31日後までそのサイクルの最後の実行以来
四半期または年次ジョブにおけるコード変更次のサイクルでは、最長で1年後そのサイクルの最後の実行以来
ノートの変更各インクルードプログラムが再コンパイルされ、プロモーションされるとき、これはプログラムによって異なる場合がありますコピーブックの編集以降、インクルーダーごとに
データまたは参照テーブルの変更次の読書で前回の好調以来
パラメータまたはJCLの変更次の仕事の開始時に前回の好調以来

ウィンドウは変更処理に直接接続されます。クエリは次のようになります。このジョブのサイクルが最後に正常に実行されてから現在までの間に、対象となる成果物に対して行われたすべての変更を表示する。この1つのフィルターによって、有用な候補リストと、関連性のないプロモーションが1週間分も続くリストを区別することができます。

一般的な症状に対するクエリパターン

繰り返し発生する症状には、繰り返し発生するクエリが必要です。共通の症状ごとに最初の2つのクエリを書き留めておくチームは、同じコードが実行されるたびに調査をやり直す必要がなくなります。以下のパターンは、多くのシステム環境では両方の症状が存在するため、従来のメインフレームの症状と最新の症状を組み合わせたものです。

症状最初のクエリ2番目の質問典型的な根本原因の分類
ABEND S0C7 (データ例外)プログラムと失敗したステートメント内のフィールド各数値フィールドの使用箇所(執筆者に焦点を当てて)上流からの無効なパックデータ、初期化されていないグループ
ABEND S0C4 (保護例外)プログラム、テーブル、および添え字フィールド変更されたパラメータを渡す呼び出し元添え字が範囲外、リンクの不一致
ABEND S806 (モジュールが見つかりません)失敗したステップのプログラム名職務における図書館関連の参考文献および最近の昇進昇進を逃した、図書館を間違えた
SQLコード -811プログラムとSELECT INTOステートメント表と凡例の定義、最近の主な変更点重複行、一意性の喪失
SQLコード -305プログラムとそのホスト変数列のNULL許容性の変更新しいnull許容列、欠落インジケーター変数
合計金額が間違っていますが、不成立はありません。総量を供給する分野作家と最近の論理の変化サイレントデータまたはロジックの変更
デプロイ後にJavaサービスでエラーが発生するエンドポイントと例外呼び出しプログラムと消費データ契約契約の変動

インシデント発生前に検索レイヤーを構築する

インシデント発生時に作成されたインデックスは、作成が遅すぎたインデックスです。検索駆動型分析は、モデルが既に存在し、最新であり、かつ過去に使用されたことがある場合にのみ、午前2時47分に有効に機能します。以下のチェックリストは、この手法が有効となるための最低限の状態を示しています。

  • 本番環境にあるすべてのプログラム、コピーブック、JCLメンバー、スキーマは、孤立したコードや参照されていないコードも含め、インデックス化されます。
  • 依存関係グラフは、週単位ではなく、プロモーションのたびに再構築されます。
  • 使用箇所、呼び出し元、および下流の消費者のクエリは数秒で返されます
  • 変更レコードは、検索によって返されるアーティファクトのセットによってフィルタリングできます。
  • 失敗したジョブからプログラム、ライブラリへのマッピングはクエリ可能です。
  • オンコールエンジニアは閲覧権限を持ち、インシデント発生時以外でもツールを使用している。
  • 最も頻繁に見られる10の症状について、保存済みのクエリが存在します。
  • インシデント記録は、ジョブ名だけでなく、ソースアーティファクトにもリンクしている。

鮮度は非常に重要です。本番環境から1週間遅れた依存関係グラフは、誤った呼び出し元を誤って返してしまう可能性があり、それを鵜呑みにするエンジニアは、インデックスを全く持っていないエンジニアよりも多くの時間を無駄にすることになります。

効果測定

測定されない実践は習慣化してしまう。検索層が診断時間を短縮しているかどうかを捉える4つの指標があり、それぞれが診断プロセスの各段階に対応している。

メトリック それが明らかにするもの
最初の関連アーティファクトまでの時間最初の正しいプログラムまたはデータセットに警告を発する位置特定ラダーの有効性
爆発半径を計測するまでの時間影響を受けた消費者の確認済みリストへの警告範囲の有効性と拡大
再発率過去に記録された原因と一致するインシデントの割合記録の階段が学習に役立っているかどうか
関連原因率ソースアーティファクトに関連付けられた根本原因レコードの割合事件記録における証拠の質

捜索が間違った方向を指し示す場合

検索によって範囲は絞り込まれるものの、必ずしも答えが得られるとは限らない。確実ではあるものの不完全な結果が得られる状況が4つあり、それぞれを手順書に記載しておく価値がある。

  1. 動的な呼び出し。 変数に格納された名前で別のプログラムを呼び出す場合、その依存関係は純粋に静的な視点からは隠蔽されます。スコープ内に動的な呼び出しが存在する場合は、結果にフラグを付ける必要があります。
  2. 生成またはコピーされたコード。 ビルド時に生成されたコード、またはライブラリ間でコピーされたコードは、インデックスの内容と異なる場合がある。
  3. 実行時設定。 パラメータ、環境、または依存性注入によって駆動される動作は、ソースコード上では全く確認できない場合があります。
  4. 複数の要因が影響している。 多くのインシデントは、潜在的な欠陥とそれを引き起こす変更が組み合わさって発生します。目標は、最初に見つかったリンクではなく、特定の変更によってインシデントを防ぐことができたであろう因果関係の連鎖上のポイントを見つけることです。

安全策は確認段階です。検索で得られた仮説はすべて、根本原因と断定される前に、ダンプ、ログ、または失敗した入力データと照合して検証されます。

よくある質問

検索主導型根本原因分析とは何でしょうか?これは、コード、データ定義、依存関係、変更記録のインデックス付きモデルに対して、各診断ステップで構造化されたクエリを実行するインシデント調査手法です。最初のクエリは症状を対象とし、各回答によって候補原因が絞り込まれ、最終的に証拠によって原因が確定されます。

可観測性に基づく根本原因分析とはどう違うのでしょうか?可観測性は、ログ、メトリクス、トレースを時系列で相関付け、システムが劣化した日時と場所を示します。一方、検索駆動型分析は、ソースコードと構造を照会して、どのコードが原因なのか、そしてそれが何に影響を与えているのかを示します。これらは異なる疑問に答えるものであり、組み合わせることで最も効果を発揮します。

トレース情報のないメインフレームのバッチジョブにも有効でしょうか?はい、有効です。そして、まさにそのような場合にこそ、この技術は真価を発揮します。バッチ処理では通常、異常終了コード、ジョブ名、ダンプが出力されます。コード、データ定義、変更記録には、テレメトリには含まれていない証拠が含まれているため、これらがあれば問題解決の糸口となります。

AIは検索に取って代わるのか?いいえ。AIは、検証済みの検索結果に基づいて活用することで最も効果を発揮します。例えば、馴染みのないプログラムの説明、差分の要約、インシデント記録の作成などです。基盤となる構造化された検索がなければ、AIの回答は信頼できる根拠を何も持ちません。

認定条件 SMART TS XLASK AIとMCPコネクタは、検索主導型の根本原因分析をサポートします。

SMART TS XL このシステムは、ラダーが依存するインデックス付きモデルを提供し、そのASK AIとMCP Connectorの機能によって、オンコールエンジニアがどれだけ速く、どこからラダーを登れるかが決まります。

コードベース全体にわたるエンタープライズ検索は、特定と理解の各段階をカバーします。異常終了コード、ジョブ名、フィールド、またはプログラム名を指定すると、アーティファクト、そのライブラリ、それを実行するジョブ、および障害発生箇所周辺の制御フローが返されます。検索は COBOL、JCL、およびそれらの間の関係を理解するため、フィールドに対するクエリでは、たまたま文字列を含むすべてのファイルではなく、リーダー、ライター、および再定義が返されます。アプリケーション依存関係マッピングは、環境の変化に応じて再構築されるモデルから呼び出し元、呼び出されるプログラム、共有コピーブック、およびデータセットフローを返すことで、スコープを強化し、段階を広げます。構造的影響分析は、同じグラフを障害が発生したプログラム以外のコンシューマーにも拡張し、誰にも通知されないサイレント障害を発見できるようにします。静的コード分析は、レコード段階で使用される構造的事実、たとえば昇格前に欠陥を検出できたであろうパターンを提供します。

インシデントトリアージ用のASK AIは、検証済みのコンテキストに自然言語を適用します。エンジニアは、空のプロンプトボックスではなく、実際に関連するプログラム、コピーブック、テーブル、ジョブのスコープ付き結果セットに基づいて作業し、どのプログラムがルールを適用しているか、ジョブチェーンがどのように動作するか、馴染みのないプログラムが何をするかといった質問を平易な言葉で尋ねます。発見事項はソース行にリンクされたままなので、エンジニアは任意のステートメントの背後にある行を開いて確認でき、AIの出力は確認の範囲内に収まります。保存および共有されたプロンプトにより、上記の症状クエリパターンが、オンコールエンジニアが実行できる再利用可能なランブックエントリに変換されます。

その SMART TS XL MCPコネクタ 組織が既に承認しているアシスタント(ChatGPT、Claude、Copilot、Gemini、Grokなど)に同じインテリジェンスをもたらします。電話で呼び出しを受けたエンジニアは、アシスタントに障害が発生したプログラムとその関連するすべてのものを説明するように依頼でき、アシスタントはソース取得、制御フロー、相互参照レポートのためのツールを呼び出します。回答は、 SMART TS XL 例えば、2つのDB2テーブルを読み込むプログラムが4つのバッチジョブから呼び出され、別のサイクルと3つのコピーブックを共有し、各ステップがソース行にリンクされているような分析プログラムを考えてみましょう。アクセスは読み取り専用で、認証済みかつロールベースであるため、承認されたアシスタントは組織が付与した権限の範囲内で作業できます。

はしごの段エンジニアが必要とするものそれに答える能力
見つける症状用語からプログラム、ライブラリ、および仕事エンタープライズサーチ
わかる制御フローと、障害発生経路の平易な言葉による説明エンタープライズ検索とASK AI
対象領域ライター、リーダー、呼び出し元、およびデータセットの流れアプリケーション依存関係マッピング
前日比変更レコードをフィルタリングするアーティファクトのセットグラフからの依存関係スコープ
確認しますダンプと比較するソース行ASK AIまたはMCPコネクタによるソース検索
広げる同じ原因による下流の消費者構造的影響分析
USBレコーディング再発を防ぐ構造パターン静的コード分析

2つの境界線によって、予測の正確性が保たれる。 SMART TS XL ソースと構造を分析します。ライブログ、ダンプ、メトリクスは読み取らないため、確認ステップではそれらのアーティファクトとオブザーバビリティスタックを併用します。変更履歴はバージョン管理または変更管理レコードから取得されます。 SMART TS XL依存関係スコープはフィルタリングに役立ち、置換は行いません。これらを組み合わせることで、テレメトリは検出、検索は特定と範囲指定、証拠は確認、そして記録は教訓を伝達します。

ダッシュボードはどこに問題があるかを教えてくれる。検索はなぜ問題があるのか​​を教えてくれる。

午前2時47分のページは今後も届き続けるだろう。本番環境の障害は、よくある理由で発生する。急いでブランチを追加したり、フィールドの初期化を誤ったり、コピーブックを金曜日に編集したりといった具合だ。3時間かかる夜と40分で終わる夜を分けるのは、修復にかかる時間ではない。修復にかかる時間はどちらの場合もほぼ同じだ。重要なのは、エンジニアが異常終了コードからフィールド、書き込み担当者、変更内容、そして影響範囲へとどれだけ迅速に対応できるかである。

検索主導型の根本原因分析は、記憶力に頼る作業ではなく、手順として実行可能なものにします。症状から始まり、7段階のステップを辿り、ジョブサイクルの変更ライフサイクルを尊重し、あらゆる手がかりを確固たる証拠と照らし合わせ、次の調査をより上位の段階へと進めるための記録を残します。インシデント発生前にインデックスを作成し、常に最新の状態に保ち、クエリをリハーサルしておきましょう。原因は常にコードと変更記録の中に存在します。検索こそが、夜明け前にその原因にたどり着くための手段なのです。