Microsoft ha pubblicato il report preliminare sul problema tecnico che ha provocato l’interruzione dei servizi del 12 novembre. Il documento è consultabile nell’Admin Center di Microsoft 365, quindi esclusivamente da parte degli amministratori. Charles Lamanna, dirigente dell’azienda di Redmond, ne ha condiviso i punti principali su X.
Approfondisci: Nuova interruzione del servizio email Outlook di Microsoft
La causa del disservizio risiede nella combinazione di tre fattori, che insieme hanno determinato il sovraccarico e la mancata risposta dei server di Microsoft 365. Il primo elemento è un aggiornamento introdotto nel mese di luglio: per diverse settimane successive alla sua applicazione non era emerso alcun problema.
Il bug latente e i test di carico
In seguito si è manifestato il difetto rimasto nascosto, descritto come un “contention lock” all’interno di un processo interno, vale a dire un accesso contemporaneo alla medesima risorsa. “Il contention lock si è manifestato principalmente sui server con hardware recente e un numero maggiore di core, mentre i test di carico erano stati effettuati su hardware più vecchio e meno core.” La divergenza tra le macchine impiegate nelle prove e quelle utilizzate in produzione ha quindi favorito la comparsa del problema.
Microsoft 365 poggia su due sistemi di gateway di rete indipendenti ed eterogenei, realizzati per assicurare isolamento ed elevata disponibilità. Grazie a questa configurazione, i singoli servizi possono trasferirsi sull’altro gateway in caso di interruzioni o malfunzionamenti, un meccanismo noto come failover.
Il failover e la capacità ridotta
“Circa 15 ore prima dell’interruzione, Teams ha eseguito il failover dal gateway di rete alternativo a quello principale che supporta anche Exchange Online, incrementando il carico e modificando i flussi di traffico.” Si tratta di una procedura standard, che in condizioni normali non avrebbe comportato conseguenze particolari.
Tuttavia, nello stesso periodo, il 14% della capacità dei server per il gateway di rete era fuori servizio a causa di un problema non correlato del giorno precedente. “Il 14% della capacità era quindi disponibile, mentre il restante 86% era sufficiente per gestire il carico.” La riduzione, di per sé, non avrebbe avuto effetti rilevanti sul funzionamento del servizio.
Il sovraccarico e il guasto a cascata
La combinazione dei tre elementi ha fatto accumulare ai server milioni di richieste, fino a quando hanno cessato di rispondere durante il picco di traffico negli Stati Uniti. Il quadro ricordava un attacco DDoS, pur essendo originato da un difetto interno.
“Il sistema di gestione del traffico ha instradato gli utenti verso altri endpoint, causando un guasto a cascata perché la stessa quantità di carico è stata distribuita su meno server.” Quando il servizio è crollato, oltre l’80% dei server era fuori uso.
Il ripristino dei servizi
Teams, OneDrive, SharePoint e Office sono stati spostati fuori dal gateway e hanno quindi potuto essere ripristinati prima di Exchange Online, che invece non può essere spostato. “Il ripristino completo ha richiesto più tempo del solito perché i server tornati in servizio venivano immediatamente sopraffatti dal traffico in attesa.” Le macchine che tornavano operative risultavano così nuovamente sovraccaricate e perdevano reattività.
Una volta individuato il difetto originario, quello introdotto a luglio, gli ingegneri hanno applicato il fix e hanno riportato progressivamente online tutti i servizi di Microsoft 365. Il report finale era atteso per il fine settimana, con ulteriori dettagli.