Analyses post-mortem des échecs de modernisation

Analyses post-mortem des échecs de modernisation : causes profondes communes

Entre 70 et 79 % des projets de modernisation des systèmes existants n'atteignent pas leurs objectifs. Cette statistique figure dans tous les articles consacrés au sujet, et chacun d'eux propose ensuite les mêmes cinq explications génériques : un manque d'alignement des parties prenantes, une sous-estimation du budget, un glissement de périmètre, des erreurs de sélection des fournisseurs et une conception erronée de la technologie comme solution à un problème d'entreprise. Ces explications ne sont pas fausses. Elles ne constituent pas non plus des analyses a posteriori. Ce sont des diagnostics posés de l'extérieur, sans accès aux éléments internes qui permettraient de révéler la cause précise et la possibilité de remédier à l'échec au cœur de chaque cas.

Une analyse post-mortem est une analyse structurée des événements, de leurs causes et, plus précisément, de la cause profonde, c'est-à-dire la défaillance qui, si elle avait été corrigée, aurait modifié le résultat. Les analyses post-mortem sont importantes car elles permettent de distinguer les symptômes des causes. Le dépassement budgétaire est un symptôme. La cause profonde de ce dépassement réside dans le fait que l'estimation du périmètre était basée sur une compréhension incomplète du système à remplacer, car l'analyse structurelle qui aurait permis d'en déterminer le périmètre réel n'a jamais été réalisée. Corriger le processus budgétaire ne résout pas le problème à la racine. En revanche, effectuer l'analyse structurelle avant de s'engager sur le périmètre le permet.

Extraire d'abord la logique métier

SMART TS XL produit le nombre réel de programmes, le graphe de dépendances et le pourcentage de code mort avant toute approbation du budget de modernisation.

EN SAVOIR PLUS…

Que contient une véritable autopsie de la modernisation ?

Les analyses post-mortem figurant dans les documents de clôture de projet et les rétrospectives de conseil contiennent généralement les éléments suivants : une chronologie des décisions clés, une liste des dépassements budgétaires et de leurs montants, une section sur les « leçons apprises » recommandant une meilleure communication et une implication accrue des parties prenantes, et une conclusion selon laquelle l’équipe a fait de son mieux dans des circonstances difficiles. Ces documents servent des objectifs organisationnels, permettent de clôturer les comptes et de préserver la réputation, mais ils identifient rarement la cause profonde, spécifique, technique et traitable qui aurait permis d’inverser le processus.

Une analyse post-mortem utile pour le programme suivant comprend :

Objectif déclaré et résultat obtenu. Ce que le programme était censé réaliser et ce qu'il a réellement accompli, de manière précise et mesurable. Il ne s'agit pas d'« améliorer l'agilité », mais de « remplacer le système de traitement des sinistres par une plateforme native du cloud qui réduit le délai de traitement des sinistres de 8 à 2 jours ». L'écart entre l'objectif déclaré et le résultat obtenu constitue le point de départ de l'analyse des causes profondes.

Cause immédiate vs cause profonde. La cause immédiate est celle qui ressort généralement de l'analyse post-mortem : échec de la bascule, résultats incorrects de la migration des données, environnement de test non représentatif de la production. La cause profonde explique pourquoi : l'échec de la bascule est dû à une erreur dans la cartographie des dépendances et au fait que 14 systèmes dépendant de l'application remplacée n'avaient pas été mis à jour ; la migration des données a produit des résultats incorrects car le schéma comportait 40 variantes non documentées, absentes des spécifications de migration ; l'environnement de test n'était pas représentatif de la production car la configuration de l'environnement de production n'avait pas été documentée.

Les preuves manquantes. Quelles informations précises, si elles avaient été disponibles au moment de la décision cruciale, auraient pu la modifier ? Cette question met en lumière la défaillance du processus de renseignement, ce processus organisationnel et analytique censé produire des informations exactes sur le système en cours de modernisation.

Ce que l'analyse structurelle aurait révélé. Pour chaque échec de modernisation dont la cause principale se situe au niveau du code (ce qui est le cas pour la plupart d'entre eux), le rapport d'incident doit documenter ce qu'une analyse structurelle approfondie du système existant, réalisée avant le projet, aurait mis en évidence : le nombre réel de programmes, le graphe de dépendances, les variantes du schéma de données, le pourcentage de code mort et la logique métier intégrée. C'est ce scénario contrefactuel qui confère au rapport d'incident toute sa valeur pratique.

Cause première : Complexité non découverte

Le schéma : L'équipe de modernisation évalue le périmètre du projet en se basant sur les composants système documentés. Or, le système réel est plus complexe que ne le décrit la documentation. L'estimation du périmètre est donc erronée au moment de l'engagement, lorsque toute modification s'avère la plus coûteuse.

Affaire TSB Bank (2018). La migration informatique de TSB Bank a transféré les comptes clients de la plateforme Lloyds Banking Group vers un nouveau système Proteo4UK. 1.9 million de clients se sont retrouvés bloqués. La migration avait nécessité trois ans de préparation. La cause immédiate a été la mise en service elle-même. La cause profonde, comme l'a documenté l'audit indépendant de Slaughter and May, résidait dans le fait que le périmètre de la migration ne reflétait pas fidèlement la complexité des données clients, le nombre de types de comptes, les variantes de produits et les cas particuliers au sein de la clientèle. Le système source avait accumulé des décennies d'évolution produit ; le système cible n'avait pas été validé par rapport à l'ensemble des fonctionnalités qu'il allait recevoir.

L'analyse structurelle a échoué : aucun inventaire de comptes connu ne recensait de manière exhaustive l'ensemble des types de comptes et des variantes de produits avant la finalisation de la conception de la migration. Cette dernière s'est basée sur la documentation existante, et non sur le contenu réel du système.

Au niveau du code, cela s'avère plus complexe qu'un système bancaire central basé sur COBOL, dont la documentation décrit 12 types de comptes tandis que les entrées FD du code source en définissent 47, avec des variantes REDEFINES pour chacun. L'analyse structurelle, qui examine les entrées FD et les copybooks, en identifie 47, alors que la migration basée sur la documentation n'en gère que 12. L'écart est découvert lors de la bascule.

Cause racine 2 : Échec de l’extraction de la logique métier

Le schéma : Le système de remplacement est conçu à partir d’un cahier des charges. Ce dernier ne rend pas compte de l’intégralité de la logique métier du système existant. Le système de remplacement se comporte différemment dans les cas non décrits par le cahier des charges, c’est-à-dire des cas que le système existant gérait correctement.

Le projet de dossier virtuel du FBI (abandonné en 2005 après 170 millions de dollars de dépenses). Ce projet visait à remplacer un système de gestion des dossiers papier par une plateforme numérique. Après 170 millions de dollars de développement, le système a été abandonné sans être déployé. L'analyse post-mortem du GAO a identifié des exigences inadéquates comme cause principale. Plus profondément, les exigences découlaient de la spécification du système idéal, et non d'une analyse systématique du fonctionnement réel du système existant. Les dossiers traités par des procédures informelles, des solutions de contournement accumulées et le savoir-faire institutionnel n'ont pas été pris en compte dans les exigences. Le système de remplacement n'aurait pas pu les gérer.

L'analyse structurelle a échoué : aucune analyse systématique du comportement réel du processus existant, équivalente à une analyse statique pour un système logiciel, n'a été réalisée avant la finalisation des exigences. Ces dernières constituaient un document de conception, et non une description du comportement existant.

Au niveau du code, cela équivaut à ceci : un programme COBOL comportant 847 branches conditionnelles dans son instruction EVALUATE, représentant 847 conditions de règles métier spécifiques accumulées au fil de trente ans d’évolutions réglementaires, ne peut être remplacé par un système dont la documentation décrit seulement 20 conditions. L’analyse structurelle qui comptabilise les clauses EVALUATE WHEN en dénombre 847. Le système de remplacement spécifié dans la documentation en implémente 20. Les 827 conditions restantes sont découvertes lorsque des données de production réelles rencontrent des conditions que le nouveau système ne gère pas.

Cause racine 3 : Découverte des dépendances en cours d’exécution

Le schéma : Le plan de migration repose sur l'hypothèse que le système à remplacer présente un ensemble spécifique de dépendances. Lors de l'exécution de la migration, des dépendances supplémentaires, non prévues initialement, sont découvertes. Ces dépendances sont découvertes au pire moment, une fois le calendrier validé, les ressources allouées et les corrections de trajectoire extrêmement coûteuses.

Le système de paie de Queensland Health (2010). Le remplacement du système de paie de Queensland Health a engendré une situation où 35 000 employés hospitaliers ont été indûment rémunérés, certains sous-payés, d'autres surpayés, pendant plusieurs mois après la mise en service du nouveau système. La cause immédiate résidait dans la complexité des règles de rémunération du personnel soignant : majorations pour travail posté, indemnités, calculs des heures supplémentaires et variations des conditions d'emploi, autant d'éléments que le nouveau système n'avait pas correctement intégrés. La cause profonde, quant à elle, était que l'ampleur réelle de cette complexité – 24 000 règles de paie distinctes – était inconnue lors de la définition du périmètre du projet. Ce dernier a été approuvé sur la base d'une estimation fondée sur une connaissance partielle de l'ensemble des règles de paie.

L'erreur d'analyse structurelle : les 24 000 règles de rémunération régissant l'indemnisation des employés de Queensland Health étaient intégrées à la logique de traitement du système de paie existant. L'extraction et la validation de l'ensemble des règles avant la conception du système de remplacement auraient permis d'en définir précisément le périmètre. Le projet a été défini sans cet inventaire.

En termes de code : un programme de paie COBOL, dont la complexité semble gérable d'après la documentation, mais dont la division PROCEDURE contient 24 000 conditions de règles réparties sur des centaines de paragraphes et de sections, ne peut être remplacé par un système conçu à partir d'une simple analyse de la documentation de politique interne. L'analyse structurelle qui recense l'ensemble des règles (chaque condition IF, chaque branche EVALUATE, chaque formule COMPUTE) permet d'établir le cahier des charges. Ce cahier des charges, issu des documents de politique interne, est à l'origine des 35 000 bulletins de paie erronés.

Cause racine 4 : Erreur de périmètre de migration des données

Le principe : la migration des données est conçue à partir du schéma documenté. Le schéma réel contient des variantes, des extensions et des structures de données historiques non présentes dans la documentation. La migration convertit correctement le schéma documenté. Les données des variantes de schéma non documentées ne sont pas migrées ou le sont incorrectement.

Modernisation du dossier médical électronique (DME) du Département des anciens combattants (coût total estimé entre 10 et 37 milliards de dollars). Le projet de modernisation du DME du Département des anciens combattants, visant à remplacer VistA par un système commercial sur étagère (Cerner), a vu son coût total estimé passer de 10 à 37 milliards de dollars, alors que seulement une fraction des 171 centres médicaux prévus sont opérationnels après des années d'efforts. L'évaluation du GAO (Government Accountability Office) cite systématiquement les difficultés de migration des données comme un facteur déterminant : les données des patients dans VistA, accumulées pendant des décennies à l'aide de schémas, de conventions de saisie et d'une terminologie clinique ayant évolué localement et différant d'un centre médical à l'autre, ont été compromises. Le modèle de données du système Cerner ne prenait pas en charge toutes ces variations, engendrant des problèmes de qualité des données qui ont affecté les soins cliniques.

L’analyse structurelle a échoué : l’inventaire complet des variantes de schémas des 171 implémentations VistA, chacune ayant évolué localement pendant des décennies, n’était pas achevé avant la finalisation de la conception de la migration. Une conception de migration qui ne tient pas compte de l’inventaire complet des schémas ne peut pas migrer l’intégralité des données avec précision.

Au niveau du code : un système de fichiers VSAM dont l’organisation des enregistrements a évolué au fil de 40 ans d’ajouts REDEFINES, avec 47 variantes d’organisation documentées et un nombre inconnu de variantes non documentées visibles uniquement dans les entrées COBOL FD, ne peut être entièrement migré par un processus conçu à partir des 47 variantes documentées. L’analyse structurelle des entrées FD et de la logique du programme identifie toutes les variantes. La migration conçue à partir de la documentation omet celles que la documentation a omises.

Cause racine 5 : Code mort comptabilisé dans le périmètre

Le problème : l’estimation du périmètre comptabilise tous les programmes du portefeuille. Un pourcentage important de ces programmes ne reçoit aucun appel entrant depuis un chemin d’exécution en production ; il s’agit de code mort. L’effort de migration est engagé pour l’ensemble de ces programmes, y compris le code mort. Du temps et du budget sont ainsi consacrés à la migration de programmes qui ne fonctionneront jamais dans le nouvel environnement.

Cette cause profonde est moins spectaculaire que les autres : elle n’entraîne ni échec de migration ni erreurs de paie, mais elle est omniprésente et coûteuse à long terme. L’expérience du secteur montre régulièrement que 15 à 25 % des programmes des grands portefeuilles de systèmes existants sont inaccessibles depuis n’importe quel chemin d’exécution de production. Un portefeuille COBOL de 4 000 programmes compte généralement entre 600 et 1 000 programmes inactifs. Migrer ces programmes, quel qu’en soit le coût, représente une dépense importante et évitable.

L'analyse structurelle présente une lacune : les inventaires de programmes issus des listes de membres PDS ou des entrées CMDB recensent tout ce qui existe. L'analyse d'accessibilité, qui retrace chaque chemin d'exécution de production depuis chaque flux de travaux JCL, n'identifie que les programmes effectivement exécutés. La différence réside dans la réduction du périmètre du code mort qui aurait pu être effectuée.

Le point commun : des projets qui ont débuté sans savoir ce qu’ils remplaçaient.

À la lumière de ces cinq catégories de causes profondes, un schéma se dégage systématiquement : le programme a défini ses engagements clés, son périmètre, son calendrier, son approche et son budget avant même d’avoir réalisé une analyse structurelle approfondie du système à remplacer.

La banque TSB s'est engagée sur un plan de migration avant même de connaître l'intégralité des comptes clients. Le FBI a défini des exigences avant d'extraire l'ensemble des règles du processus existant. Queensland Health s'est engagée sur le périmètre d'un projet avant même de connaître l'intégralité des règles de paie. Le Département des Anciens Combattants (VA) s'est engagé sur un plan de migration avant même de connaître l'intégralité des variantes du schéma VistA. Les organisations qui s'engagent sur des estimations de périmètre recensent systématiquement tous les programmes, y compris ceux inaccessibles, avant que l'analyse du code mort ne réduise le périmètre.

(cite index=”44-1″>La plupart des analyses a posteriori des projets de modernisation ayant échoué pointent du doigt les dépassements de budget, les dérives du périmètre ou le mauvais choix des fournisseurs. Ce ne sont que des symptômes. Le problème est plus profond.

L'analyse pré-mortem : comment réaliser une analyse post-mortem avant l'échec

Une analyse pré-mortem applique la rigueur de l'analyse post-mortem avant même le début du projet. L'équipe imagine l'échec du projet et se demande : quelles en sont les causes ? Cet exercice permet de faire émerger les modes de défaillance les plus probables avant même qu'ils ne surviennent, au moment où leur correction est la plus économique.

Dans le cadre d'un programme de modernisation des systèmes existants, les questions préalables à l'analyse des causes profondes correspondent directement aux cinq causes principales :

Concernant la cause racine 1 (complexité non détectée) : l’estimation du périmètre est-elle issue de la documentation ou d’une analyse structurelle du système ? Si elle provient de la documentation, quel est l’écart entre l’inventaire documenté et l’inventaire structurel ? Une analyse structurelle par échantillonnage a-t-elle été réalisée pour estimer cet écart ?

Concernant la cause racine n° 2 (échec de l’extraction de la logique métier) : une extraction systématique de la logique métier du code du système existant a-t-elle été effectuée ? Combien de conditions de règles métier le système existant implémente-t-il ? Existe-t-il un plan de validation qui teste le système de remplacement par rapport à l’ensemble des règles, et non seulement aux règles documentées ?

Pour la cause racine 3 (découverte des dépendances en cours d'exécution) : le graphe de dépendances complet du système remplacé a-t-il été construit à partir de l'analyse du code ? Existe-t-il des programmes considérés comme autonomes qui ont des dépendances entrantes non visibles dans la documentation ? La séquence de migration a-t-elle été validée par rapport au graphe de dépendances ?

Pour la cause racine 4 (erreur de périmètre de migration des données) : l’inventaire complet du schéma de données, incluant toutes les variantes REDEFINES, tous les champs COMP-3 et toutes les structures de données historiques, a-t-il été extrait du code source plutôt que de la documentation du schéma ? La spécification de migration a-t-elle été élaborée à partir de cet inventaire structurel ?

Pour la cause racine 5 (code mort comptabilisé dans le périmètre) : une analyse du code mort a-t-elle été effectuée pour identifier les programmes sans chemin d’exécution en production ? L’estimation du périmètre a-t-elle été ajustée pour exclure le code mort du périmètre de migration ?

Si l'une de ces questions ne peut être résolue par des preuves, non pas par des documents, des entretiens ou des estimations, mais par une analyse structurelle du code lui-même, l'analyse pré-mortem a identifié une vulnérabilité qui pourrait devenir la cause première d'une analyse post-mortem.

Comment SMART TS XL Élimine le déficit de renseignements avant l'engagement

Chaque cause profonde recensée dans cette analyse post-mortem remonte à une connaissance incomplète du système remplacé au moment de l'engagement. SMART TS XL produit les preuves structurelles qui comblent cette lacune en matière de connaissances.

L' analyse statique du code génère un inventaire complet des programmes, y compris ceux non documentés, avec une évaluation préliminaire de la complexité de chaque composant. Le nombre réel de programmes, et non celui documenté, constitue le point de départ d'une estimation précise du périmètre. Pour chaque programme, l'inventaire de la logique métier (chaque branche conditionnelle, chaque formule de calcul, chaque condition de règle) représente la spécification à laquelle le programme de remplacement doit se conformer.

La cartographie des dépendances applicatives construit le graphe de dépendances complet : toutes les dépendances entrantes et sortantes de chaque programme, y compris celles non documentées. Ce graphe détermine l’ordre des migrations, et la découverte des dépendances pendant leur exécution constitue la troisième cause d’échec de la modernisation. Identifier les dépendances avant la validation permet d’éviter les mauvaises surprises en cours d’exécution.

L' analyse de modernisation du système existant identifie le code mort, c'est-à-dire les programmes sans aucune référence entrante depuis un chemin d'exécution en production. En supprimant le code mort de l'estimation du périmètre avant tout engagement, on réduit ce périmètre à ce qui doit réellement être migré, et non à ce qui existe déjà dans le portefeuille. Cette réduction du périmètre constitue l'un des avantages financiers les plus directs de l'analyse structurelle préalable au projet.

La fonctionnalité d'analyse d'impact permet de répondre à la question préalable à toute modification proposée : si ce programme est migré, quel est le périmètre complet des mises à jour, des tests et des validations nécessaires ? Le périmètre d'impact, issu du graphe de dépendances structurelles, transforme les questions de risque préalables, initialement qualitatives, en réponses chiffrées et circonscrites.

La fonction de recherche d'entreprise permet d'interroger les données structurelles dans l'ensemble du programme : trouver chaque programme appliquant une règle métier spécifique, chaque ensemble de données contenant une variante de schéma spécifique, chaque programme dépendant d'un composant partagé spécifique. Cette capacité d'interrogation permet à l'analyse pré-mortem d'obtenir des réponses précises plutôt que des interrogations générales, et transforme le constat post-mortem « nous ne connaissions pas le schéma complet » en une défaillance spécifique et évitable, assortie d'une mesure de prévention spécifique et identifiable.

Conclusion : L’autopsie que vous ne pouvez pas vous permettre d’écrire

Les cinq causes profondes identifiées dans cette analyse – complexité non détectée, échec de l'extraction de la logique métier, découverte des dépendances en cours d'exécution, erreur de périmètre de migration des données et code mort comptabilisé dans le périmètre – ne sont pas des défaillances aléatoires. Il s'agit de défaillances prévisibles du processus d'intelligence : ce processus aurait dû produire une connaissance précise du système modernisé avant que le programme ne prenne sa forme définitive.

Ce sont également des échecs évitables. Non pas par une meilleure gestion de projet, ni par des fournisseurs plus expérimentés, ni par une meilleure harmonisation des relations avec les parties prenantes, bien que tous ces éléments soient utiles. Ils sont évitables en réalisant l'analyse structurelle du système existant avant la définition du périmètre, le choix de l'approche et l'approbation du budget. L'analyse qui révèle le nombre réel de programmes, le graphe de dépendances réel, l'inventaire complet de la logique métier et les variantes réelles du schéma de données est celle qui transforme un constat a posteriori de « nous ne savions pas » en « nous l'avons découvert à temps ».

L'analyse post-mortem rédigée trois ans après l'échec d'un programme est coûteuse et fastidieuse. L'analyse structurelle effectuée avant le lancement du programme ne l'est pas.