Diagnostika pomalé CI v podnikovém měřítku

Úzká místa v sestavování kanálu: Diagnostika pomalé CI v podnikovém měřítku

Vývojář ve velké finanční instituci odešle pull request. Spustí se proces CI. Pokud byla fronta krátká, obdrží výsledek o čtyřicet sedm minut později. Pokud byla fronta dlouhá, vývojář již změnil kontext, začal něco jiného a nyní musí obnovit duševní stav, ve kterém byl při odeslání pull requestu. Toto přepnutí kontextu nepředstavuje problém s produktivitou. Vynásobte to 800 inženýry, z nichž každý čeká na 47minutové smyčky zpětné vazby, a celkové náklady na vývojářské hodiny jsou měřitelné ve finanční tabulce, nejen na DevOps dashboardu. Pomalá CI v podnikovém měřítku je konkurenční nevýhodou kvantifikovanou v inženýrské kapacitě, která by jinak mohla být použita k vytváření funkcí.

Týmy používající dashboardy v reálném čase a okamžitá upozornění snížily průměrnou dobu do vyřešení až o 50 % a při efektivním směrování upozornění se doba odezvy zkrátila o 30 %. Tato vylepšení jsou dosažitelná, ale před aplikací oprav vyžadují diagnostiku skutečného úzkého hrdla. Většina rad pro optimalizaci CI používá univerzální řešení problémů, které mají specifické příčiny. Ukládání závislostí do mezipaměti pomáhá, když je úzkým hrdlem instalace závislostí. Nic nedělá, když je úzkým hrdlem sada 20 000 testů s 3% nespolehlivostí, bezpečnostní kontrola, která serializuje po všech testech, nebo graf sestavení, který překompiluje 4 000 modulů při změně jedné sdílené knihovny. Úzká hrdla podnikové CI vyžadují podnikovou diagnostiku před podnikovými opravami.

Mrtvý kód mimo sestavení

SMART TS XL identifikuje nedosažitelné programy a moduly, které navyšují rozsah sestavení, aniž by přispívaly k jakékoli cestě provádění produkčního prostředí.

ZJISTĚTE VÍCE…

Proč je podniková CI jiná

Rada, která funguje pro startup s 10 inženýry – ukládat node_moduly do mezipaměti, paralelizovat testy a používat akce GitHubu – není pro podnik špatná. Je nedostatečná. Podniková CI funguje v rozsahu, který zavádí režimy selhání, které v menších prostředích jednoduše neexistují:

Rozsah kódové základny. Monorepozitář s 50 miliony řádků kódu napříč 400 službami nelze považovat za 50 000řádkový repozitář pro jednu službu. Inkrementální správnost sestavení, která zajišťuje, že se znovu sestaví pouze moduly ovlivněné změnou, vyžaduje přesný graf závislostí na úrovni repozitáře. Bez něj je jedinou bezpečnou možností sestavit vše a sestavení všeho v 50 milionech řádkové kódové základně trvá dlouho bez ohledu na to, kolik ukládáte do mezipaměti.

Velikost týmu. Na omezeném trhu s talenty se inženýři vyhýbají společnostem s frustrujícími pracovními postupy. Pomalý proces CI se stává problémem morálky. Když během pracovní doby tlačí kód 500 inženýrů, sdílené fronty úloh se spustí za 15 minut, když je fronta prázdná, se spustí za 45 minut, když čeká 200 úloh. Doba čekání ve frontě je problém plánování kapacity, nikoli problém optimalizace kódu, a tyto dva problémy vyžadují různá řešení.

Rozsah požadavků na shodu. U předpisů jako SOC 2, ISO 27001 a GDPR jsou bezpečnostní kontroly integrovány do procesů. SAST, DAST a skenování kontejnerů prodlužují dobu, pokud nejsou správně optimalizovány. Podnik, který v reakci na regulační požadavky přidal do svého procesu skenování SAST, skenování závislostí SCA, detekci tajných dat a kontrolu politik IaC, mohl přidat 15–20 minut času pro kontrolu shody, který se sériově spouští po testech. Tyto kontroly před třemi lety neexistovaly; nyní jsou nejdelší fází.

Měřítko testovací plochy. Sada 20 000 testů s 2% nestálostí testů obsahuje 400 testů, které v daném běhu selžou nedeterministicky. Každé nestálé selhání spustí vyšetřování, opakované spuštění nebo, co je horší, normalizaci selhání, kdy se inženýři naučí ignorovat červené kanály. V podnikovém měřítku nestálé testy nejsou nepříjemností; jsou systémovým problémem spolehlivosti, který narušuje důvěru v samotný systém CI.

Nejprve měřte: Čtyři důležité metriky distribučního kanálu

Nemůžete opravit, co jste nezměřili. Před jakoukoli optimalizací stanovte základní měření pro čtyři metriky, které charakterizují stav procesů v podnikovém měřítku:

Doba sestavení P50 a P95. Medián doby sestavení (P50) udává typickou zkušenost vývojáře. 95. percentil (P95) udává, jak špatná je nejhorší zkušenost. Pipeline s P50 12 minut a P95 45 minut má problém s dlouhým ocasem, určitá kombinace nestálosti, soupeření o fronty a limitů zdrojů vytváří závažné odlehlé hodnoty. Pipeline s P50 30 minut a P95 35 minut má rovnoměrně pomalé sestavení, které vyžaduje strukturální optimalizaci.

praštit

# GitHub Actions: extract P50 and P95 build times via API
gh api repos/{owner}/{repo}/actions/runs \
  --field per_page=100 \
  --jq '[.workflow_runs[] | select(.status=="completed") |
         .run_duration_ms / 1000] |
        sort |
        {
          p50: .[(length * 0.5 | floor)],
          p95: .[(length * 0.95 | floor)],
          count: length
        }'

Poměr doby čekání ve frontě a doby provádění. Pokud kanál běží 15 minut, ale před spuštěním zůstane ve frontě 20 minut, je problém optimalizace provádění méně důležitý než problém kapacity běžců. Měřte oba samostatně.

praštit

# GitLab CI: extract queue duration and execution duration
# Via GitLab API for recent pipelines
curl --header "PRIVATE-TOKEN: $GITLAB_TOKEN" \
  "$GITLAB_URL/api/v4/projects/$PROJECT_ID/pipelines?per_page=50" |
  jq '[.[] | {
    id: .id,
    duration: .duration,
    queued_duration: .queued_duration,
    queue_ratio: (.queued_duration / .duration * 100)
  }] | sort_by(.queue_ratio) | reverse'

Míra nespolehlivého testování. Procento selhání pipeline způsobených testy, které při opětovném spuštění projdou bez jakékoli změny kódu. Míra nespolehlivého testování nad 1 procento vytváří dostatek šumu, že vývojáři začnou selhání pipeline ignorovat.

Náklady na běh pipeline. Podle zprávy Flexera State of the Cloud Report z roku 2025 organizace utrácejí odhadem o 28 % více než cloudové zdroje. Hlavním faktorem jsou úlohy CI/CD, zejména sestavování kontejnerů a dočasná prostředí. Sledování nákladů na běh umožňuje měřitelnou optimalizaci z finančního hlediska, což rezonuje s vedením inženýrů.

Sedm typů úzkých míst v podnikové CI

Pochopení hlavní příčiny pomalosti určuje, která oprava se použije. Ne všechny pomalé kanály jsou pomalé ze stejného důvodu:

Úzké hrdlo 1: Vytvoření grafu s nadměrnou aproximací

Systém sestavení znovu sestaví moduly, které nemusel znovu sestavovat, protože nemá přesný graf závislostí. Změna knihovny nástrojů spustí znovu sestavení každé služby v monorepozitáři, protože systém sestavení nedokáže určit, že danou knihovnu skutečně importují pouze dvě služby. To je hlavní příčina jevu „vše se znovu sestaví při každé změně“ ve velkých monorepozitářích.

Úzké hrdlo 2: Selhání zneplatnění mezipaměti

Ukládání do mezipaměti je nakonfigurováno, ale neefektivní. Klíče mezipaměti jsou příliš široké (zneplatněné nesouvisejícími změnami), příliš úzké (chyby jsou příliš časté) nebo založené na proměnlivých vstupech (časová razítka, názvy větví) spíše než na haších obsahu. Důsledek: mezipaměť existuje, kanál ji zřejmě používá, ale zásahy do mezipaměti jsou v praxi vzácné.

Úzké hrdlo 3: Nafouklost a nestálost testovací sady

Testovací sada se rozrostla a nyní zahrnuje pomalé integrační testy, které běží při každém PR, nestabilní testy, které způsobují opakované spuštění bez hodnoty signálu, a redundantní testy, které pokrývají stejné kódové cesty. Při 20 000 testech i průměrná doba provádění 3 ms vede k 60sekundové testovací fázi, než se započítá paralelizace.

Úzké hrdlo 4: Sériové bezpečnostní skenování

SAST, SCA, detekce tajných kódů a skenování kontejnerů se spouštějí postupně po dokončení testů. Každý diagnostický nástroj běží nezávisle, skenuje celou kódovou základnu a trvá 5–8 minut. Čtyři skeny za sebou přidávají 20–32 minut. Jejich paralelní spuštění jako samostatné skupiny úloh, která se spouští při zahájení testů, nikoli po něm, eliminuje tuto režii.

Úzké hrdlo 5: Souboj o počet běžců

Fond běžců je dimenzován pro průměrné zatížení, nikoli pro maximální zatížení. Ve dnech, kdy je tým aktivní, na konci sprintu, v dnech vydání, v pátek odpoledne, se časy čekací fronty v kanálu zvyšují, protože každý dostupný běžec je obsazený. Řešením je automatické škálování běžců, nikoli větších běžců.

Úzké hrdlo 6: Artefakty a nafouklý obraz

Velikost obrazů Dockeru narostla na 4 GB, protože nikdo neodstranil nepotřebné balíčky. Artefakty sestavení se kopírují v plném rozsahu, i když je pro následný přenos potřeba pouze malá podmnožina. Přenos 4 GB mezi fázemi pipeline trvá déle než samotné fáze.

Úzké hrdlo 7: Instalace závislostí bez efektivního ukládání do mezipaměti

Instalace npm, instalace pip, mvn dependency:resolve, instalace balíčku, která se spouští při každém spuštění pipeline, protože klíč mezipaměti neodráží správně obsah souboru lockfile závislostí. Toto je nejčastěji řešené úzké hrdlo a stále nejčastěji chybně konfigurovaná oprava.

Problém grafu závislostí: Proč je nejdůležitější vědět, co se má stavět

Ze sedmi typů úzkých hrdel má úzké hrdlo č. 1, nadměrná aproximace grafu sestavení, největší potenciální dopad v podnikovém měřítku a ve standardních pokynech pro optimalizaci CI se mu dostává nejmenší pozornosti. Důvodem je, že jeho řešení vyžaduje strukturální znalost kódové základny, nejen změny konfigurace pipeline.

Moderní systémy pro sestavování monorepozitářů v JavaScriptu a TypeScriptu, jako jsou Nx, Turborepo a Bazel, implementují analýzu „ovlivněných cílů“: na základě sady změněných souborů určí minimální sadu balíčků, služeb a testů, které by mohly být těmito změnami ovlivněny, a sestaví/otestují pouze tyto cíle. Analýza je rychlá, protože tyto nástroje udržují explicitní graf závislostí balíčků repozitáře.

Pro podniková monorepozitáře v Javě, C# nebo Pythonu existují ekvivalentní nástroje (Bazel, Pants, Gradle se skenováním sestavení), ale jejich správná konfigurace vyžaduje značné investice. Pro polyglotní podniková prostředí, která zahrnují více jazyků, musí graf závislostí zahrnovat závislosti napříč jazyky, služba Java, která volá utilitu Pythonu, musí být ve stejném grafu závislostí jako utilita Pythonu, kterou volá, jinak nebude změna utility Pythonu detekována jako ovlivňující službu Java.

yaml

# GitHub Actions: affected-only build using Nx (monorepo example)
name: CI

on: [pull_request]

jobs:
  affected:
    runs-on: ubuntu-latest
    outputs:
      matrix: ${{ steps.affected.outputs.matrix }}
    steps:
      - uses: actions/checkout@v4
        with:
          fetch-depth: 0  # Required: Nx needs full history to compute affected

      - name: Compute affected projects
        id: affected
        run: |
          # Nx identifies only affected packages since base branch
          AFFECTED=$(npx nx show projects --affected --base=origin/main \
                     --json 2>/dev/null | jq -c '{include: [.[] | {project: .}]}')
          echo "matrix=$AFFECTED" >> $GITHUB_OUTPUT

  build-affected:
    needs: affected
    runs-on: ubuntu-latest
    strategy:
      matrix: ${{ fromJson(needs.affected.outputs.matrix) }}
    steps:
      - uses: actions/checkout@v4
      - name: Build ${{ matrix.project }}
        run: npx nx build ${{ matrix.project }}
      - name: Test ${{ matrix.project }}
        run: npx nx test ${{ matrix.project }}

Matice dynamicky obsahuje pouze dotčené projekty, pokud se změna dotkne auth-service a auth-service je závislý na user-service, oba jsou v matici. Pokud se dotkne analytics-service pouze, auth-service a user-service nejsou vůbec postaveny.

Systematický diagnostický protokol

Před jakýmkoli rozhodnutím o optimalizaci dodržujte tento postup:

Krok 1: Shromážděte základní měření. Spusťte výše uvedené příkazy pro extrakci metrik na posledních 100 spuštěních v kanálu. Před provedením jakýchkoli úprav stanovte P50, P95, poměr front, míru nestabilních testů a náklady na spuštění.

Krok 2: Vizualizace kritické cesty v pipeline. Identifikace nejdelšího sekvenčního řetězce fází. Většina optimalizací pipeline zrychluje nesprávnou fázi, paralelizace něčeho, co nebylo na kritické cestě, nevede k žádnému zlepšení celkového času pipeline.

Krok 3: Kategorizujte úzké hrdlo. V porovnání se sedmi typy úzkých hrdl: jedná se o pomalost v době čekání ve frontě (úzké hrdlo 5) nebo v době provádění (úzká hrdla 1-4, 6-7)? Pokud je doba čekání ve frontě delší než 30 procent celkové doby trvání kanálu, je primárním problémem kapacita běžce a optimalizace na úrovni kódu jsou druhořadé.

Krok 4: Zaměřte se na nejdelší fázi kritické cesty. Změřte trvání jednotlivých fází. Fáze, která na kritické cestě trvá nejdéle, je fáze, kterou je třeba opravit jako první. 15minutová testovací fáze s paralelně probíhajícími 5minutovými bezpečnostními kontrolami představuje testovací problém. Stejný pipeline se kontrolami probíhajícími sériově po testech představuje problém se strukturou pipeline.

Krok 5: Použijte konkrétní opravu identifikovaného úzkého hrdla. Přiřaďte opravu k hlavní příčině, místo abyste aplikovali každou optimalizaci z kontrolního seznamu.

Krok 6: Změřte zlepšení. Po aplikaci opravy znovu spusťte základní měření. Oprava, která snižuje P50 o 5 minut, ale zvyšuje P95 o 10 minut, zlepšila typický zážitek a zhoršila nejhorší možný zážitek, což nemusí být správný kompromis.

Konkrétní opravy nejvýznamnějších úzkých míst

Ukládání do mezipaměti, které skutečně funguje (Úzké hrdlo 7):

yaml

# GitHub Actions: content-hash caching for Node.js
- name: Cache dependencies
  uses: actions/cache@v4
  with:
    path: ~/.npm
    key: ${{ runner.os }}-node-${{ hashFiles('**/package-lock.json') }}
    restore-keys: |
      ${{ runner.os }}-node-
# hashFiles produces a cache key based on lockfile content, not branch name
# The key changes only when the lockfile changes, not on every commit

Paralelní bezpečnostní skenování (úzké hrdlo 4):

yaml

# Run security scans in parallel with tests, not after
jobs:
  test:
    runs-on: ubuntu-latest
    steps:
      - run: npm test

  security:
    runs-on: ubuntu-latest   # Starts at the same time as 'test'
    steps:
      - uses: semgrep/semgrep-action@v1
      - uses: snyk/actions/node@master

  deploy:
    needs: [test, security]   # Both must pass before deploy
    # Total time: max(test_duration, security_duration)
    # Not: test_duration + security_duration

Karanténa nespolehlivého testování (úzké hrdlo 3):

Správný přístup k nespolehlivým testům je netolerovat je a neopakovat je tiše. Explicitně je označte, nasměrujte je do karanténní sady, která běží odděleně od hlavní brány, a sledujte míru jejich nespolehlivosti v průběhu času:

yaml

# Jest: quarantine flaky tests with a custom tag
# Run quarantined tests separately, not as PR gate
- name: Run stable tests (PR gate)
  run: jest --testPathIgnorePatterns="quarantine"

- name: Run quarantined tests (non-blocking, for tracking)
  run: jest --testPathPattern="quarantine" || true
  # || true: never fails the pipeline; results tracked separately

Starší verze kanálu: Rozsah kompilace COBOLu

Problém s úzkým hrdlem podnikové CI se rozšiřuje i do prostředí mainframe, kde krokem „sestavení“ je kompilace COBOLu v systému z/OS. Doby kompilace COBOLu u velkých programů jsou značné a výchozí přístup ve starších prostředích, kdy se vše překompiluje při jakékoli změně, vytváří stejný problém s překompilováním, který Nx a Bazel řeší u moderních monorepozitářů.

V prostředí COBOL je závislostí, která řídí rozsah kompilace, copybook: sdílený člen zahrnutý libovolným počtem programů. Změna často zahrnutého copybooku, sdíleného 300 programy, spustí rekompilaci všech 300 programů, pokud systém sestavení nemá podrobnou mapu závislostí. Pokud je mapa závislostí přesná a systém sestavení ví, které programy obsahují změněný copybook, může omezit rozsah kompilace přesně na ty programy, které jsou skutečně ovlivněny.

Toto je ekvivalent analýzy „ovlivněného cíle“ aplikované na COBOL: nesestavovat vše, sestavovat pouze to, čeho se změněná příručka dotkne. Pro změnu v příručce, která ve skutečnosti ovlivní 12 programů místo 300, je rozsah kompilace 25krát menší. V podnikových dobách kompilace COBOLu se toto snížení přímo projeví v rychlosti kompilace.

Jak SMART TS XL Podporuje přesnou CI řízenou závislostmi

SMART TS XLJe mapování závislostí aplikací vytváří graf závislostí mezi jazyky, který vyžaduje přesná analýza ovlivněných cílů. Pro prostředí COBOL to znamená: každý program, který obsahuje každou sešit, každý program, který volá každý podprogram, a každou úlohu JCL, která volá každý program. Když se sešit změní, mapa závislostí okamžitě vytvoří přesný seznam programů, které je třeba znovu zkompilovat, nikoli celé portfolio, ale konkrétně ovlivněnou podmnožinu.

Pro podniková prostředí zahrnující COBOL, Javu, Python a JCL mapa závislostí zahrnuje závislosti napříč jazyky: služba Java, která volá program v COBOLu prostřednictvím rozhraní CICS, má v mapě závislost na tomto programu v COBOLu. Pokud se program v COBOLu změní, měly by integrační testy služby Java spadat do dotčeného rozsahu. Bez tohoto grafu závislostí napříč jazyky systém CI buď test integrace v Javě neprojde (falešně bezpečné), nebo vše znovu sestaví (falešně drahé).

Díky funkci analýzy dopadů lze tuto analýzu ovlivněného cíle dotazovat v reálném čase: vzhledem k dané změněné komponentě, jaká je kompletní sada programů, služeb a testů, které je třeba ověřit? Tento dotaz je vstupem pro rozhodnutí o plánování CI, které úlohy se v tomto kanálu spouštějí, protože je tato změna vyžaduje, a které úlohy lze přeskočit, protože graf závislostí ukazuje, že nejsou ovlivněny.

Funkce statické analýzy kódu identifikuje vzory kódu, které zpomalují sestavení na úrovni kódu: hluboce vnořené podmíněné struktury, které způsobují dlouhé doby kompilace, duplicitní kód, který nafukuje rozsah sestavení, a nefunkční kód, který zabírá kapacitu kompilace, aniž by přispíval k běžícímu systému. Odebrání nefunkčního kódu z rozsahu kompilace proporcionálně zkracuje dobu sestavení, kód, který neexistuje, nemůže sestavení zpomalit.

Funkce podnikového vyhledávání podporuje diagnostiku CI ve vícejazyčných portfoliích: nalezení každého programu, který závisí na konkrétní komponentě (pro určení rozsahu dotčené cílové rebuildy), každého sešitu, který je zahrnut ve více než prahovém počtu programů (pro identifikaci závislostí kompilace s největším dopadem), každého modulu bez vstupních odkazů (mrtvého kódu, který lze vyloučit z rozsahu sestavení). Tyto vyhledávací dotazy jsou diagnostické dotazy, které předcházejí optimalizaci CI řízené závislostmi.

Závěr: Diagnóza před optimalizací, pokaždé

Vzor, který charakterizuje každý neúspěšný pokus o optimalizaci CI, je stejný: použití generické opravy na nediagnostikovaný specifický problém. Paralelizace testů, když je úzkým hrdlem doba čekání ve frontě. Škálování běžců, když je úzkým hrdlem rozsah sestavení. Přidání ukládání do mezipaměti, když je úzkým hrdlem nestabilní testování, což způsobuje opakovaná spuštění, která zneplatňují výsledky uložené v mezipaměti.

Pomalá CI v podnikovém měřítku je diagnostikovatelná. Data generuje měřicí rámec. Sedm typů úzkých míst poskytuje diagnostickou taxonomii. Analýza grafu závislostí identifikuje hlavní příčinu problémů v rozsahu sestavení, které představují největší příležitosti k optimalizaci. Konkrétní opravy vyplývají z konkrétní diagnózy.

Proces, který se spouští za 12 minut místo 47, není proces, který aplikoval všechny optimalizace z kontrolního seznamu. Je to proces, který nejprve měřil, identifikoval nejdelší fázi na kritické cestě, konkrétně ji opravil a opakoval, dokud nezbylo nic, co by stálo za opravu. Tato disciplína, měření, diagnostika, cílení, oprava, validace je rychlejší a spolehlivější než jakákoli jednotlivá optimalizační technika.