Pana globală Microsoft 365, cauzată de o eroare software veche de luni de zile

O eroare software introdusă în iulie a stat la baza penei mondiale Microsoft 365 din 12 noiembrie, care a lăsat mai mult de 80% dintre serverele de tip gateway ale companiei fără răspuns timp de aproape 24 de ore.

Pana a început la ora 11:20 ET joi, 12 noiembrie, și s-a încheiat la ora 11:10 ET în ziua următoare, afectând servicii precum Outlook, Exchange Online, Teams și Copilot. Utilizatorii nu au putut să-și acceseze e-mailurile, iar livrarea mesajelor a înregistrat întârzieri semnificative.

Microsoft a identificat trei cauze: o eroare software nedetectată anterior, creșterea traficului în urma unui failover Microsoft Teams și reducerea capacității disponibile a serverelor.

Eroarea provenea dintr-o actualizare implementată în iulie pe serverele de gateway ale Microsoft 365. Deși fusese activă mai mult de trei luni fără incidente, aceasta conținea un defect care putea supraîncărca serverele în anumite condiții de trafic.

Microsoft a recunoscut că testele prealabile nu au identificat problema, deoarece laboratoarele foloseau hardware mai puțin performant decât cel din producție.

Cauza a fost un conflict de blocare (lock contention) într-un proces intern, ceea ce a făcut ca mașina să devină indisponibilă.

„Problema de contention se agravează pe mașini cu mai multe nuclee și hardware mai nou, în timp ce testele noastre de sarcină tindeau să se concentreze pe hardware mai slab, cu mai puține nuclee”, a explicat Charles Lamanna, vicepreședinte executiv Microsoft pentru Copilot, Agents și Platform.

Eroarea a fost declanșată după ce Microsoft Teams a trecut automat pe infrastructura de rețea folosită de Exchange Online cu aproximativ 15 ore înainte de penei, amplificând traficul pe acele servere.

Totodată, aproximativ 14% din capacitatea serverelor de gateway era deja indisponibilă din cauza unei probleme separate. Combinația dintre traficul sporit și capacitatea redusă a activat eroarea.

În mai puțin de două ore, defectul s-a propagat în întreaga flotă de servere, iar mecanismele de protecție menite să împiedice răspândirea problemelor între regiuni nu au reușit să conțină căderea.

Recuperarea a fost îngreunată de faptul că repornirea serverelor afectate le suprasolicita din nou din cauza traficului acumulat.

Alte servicii precum Teams, OneDrive și SharePoint au putut comuta pe infrastructuri alternative și s-au restabilit mai devreme, însă această opțiune nu a existat pentru Exchange Online.

Microsoft a implementat ulterior un patch, iar impactul activ asupra clienților s-a încheiat la 11:10 ET pe 13 noiembrie.

Lamanna și-a cerut scuze, spunând „ne pare profund rău pentru impactul asupra tuturor clienților noștri și recunoaștem efectele pe care aceasta le-a avut asupra activității și operațiunilor lor normale.”

Microsoft a precizat că investigația continuă și că un raport final după incident urma să fie publicat în zilele următoare.