- Microsoft v minulém týdnu postihl velký výpadek klíčových služeb
- Podle prvotního vyšetřování za něj nemohl hackerský útok, ale kombinace několika faktorů
- Hlavním spouštěčem byla chyba z července letošního roku, která se projevila až po přetížení hlavní systémové brány
Microsoft na konci minulého týdne postihl rozsáhlý výpadek většiny klíčových služeb – téměř 24 hodin nefungovaly produkty jako Outlook, Exchange Online, Teams, OneDrive, SharePoint nebo Copilot. Redmondští od začátku tohoto výpadku tvrdili, že za výpadkem není žádný hackerský útok nebo umělá inteligence. Podle prvotního vyšetřování se jednalo o kombinaci několika technických problémů.
Červencový bug a přesměrování Teams
Microsoft v souvislosti s rozsáhlým výpadkem identifikoval tři klíčové příčiny:
- starší chyba v kódu síťové infrastruktury – v červenci letošního roku se do síťové infrastruktury Microsoftu dostal latentní bug, který se za běžných okolností nijak neprojevoval. Aktivoval se až za specifických podmínek vysoké zátěže
- přesun provozu platformy Teams – síťový provoz Microsoftu obvykle běží přes několik síťových bran. Přibližně 15 hodin před incidentem byl veškerý provoz Teams přesunutý na hlavní bránu, která zároveň obsluhuje i službu Exchange online a další služby
- snížená kapacita serverů – kvůli jiné nesouvisející události byla kapacita serverů Microsoftu v době výpadku snížena o zhruba 14 procent
Kombinace těchto faktorů způsobila řetězovou reakci – hlavní bránu se podařilo přesunem provozu Teams zcela zahltit, a jelikož Microsoft používá automatické přesměrování provozu na další brány, brzy došlo k zahlcení všech.
Kaskádový pád všech služeb
První problémy byly zachyceny ve Švýcarsku, velice brzy se ale rozšířily do dalších regionů – během několika hodin přestalo správně fungovat víc než 80 procent všech Exchange serverů. Některé servery se automaticky kvůli vysokému vytížení přepnuly do režimu údržby a přestaly odpovídat. Po restartu je okamžitě zahltily nahromaděné dotazy uživatelů čekajících na připojení, takže záhy vznikla „restartovací smyčka“ – infrastruktura se snažila opakovaně vracet do provozu, avšak okamžitě došlo k jejímu přetížení.
Inženýři Microsoftu analyzovali výpisy pádů, logy a kernel dumpy, jelikož zpočátku nebylo vůbec jasné, co se stalo. Nakonec se ukázalo, že celý problém způsobila chyba, která se do infrastruktury dostala v červenci letošního roku a dosud se neprojevovala – aktivovala se až v extrémní zátěži. V testech se tuto chybu lokalizovat nepodařilo, Microsoft totiž k testům používá jiné konfigurace hardwaru, na nichž se závada neprojevila.
Inženýři Microsoftu zpočátku prověřovali, zda se nejedná o DDoS útok nebo o jinou formu cíleného napadení, nakonec ale narazili na onu červencovou chybu. Ve snaze zachránit situaci probíhal v Microsoftu hromadný hovor zaměstnanců, přičemž v jednu chvíli dosáhl maximální úrovně 1000 účastníků. Po nalezení chyby bylo údajně velmi obtížné situaci napravit, neboť automatizované procesy nebyly navržené na obnovení služby z takto rozsáhlého výpadku.
Microsoft nyní pracuje na závěrečné zprávě, která má selhání síťové infrastruktury objasnit podrobněji. Z této zprávy pravděpodobně vyplynou i závěry, jak celý systém nastavit tak, aby se podobná chyba v budoucnu neopakovala.
