Da giovedì pomeriggio (UTC) fino a venerdì mattina, il servizio Exchange Online di Microsoft non è riuscito, per buona parte del tempo, ad accettare e consegnare la posta. Come provider di invio email, consegniamo ogni giorno milioni di messaggi a caselle ospitate da Microsoft: per questo le nostre code funzionano come un sensore in tempo reale sull’infrastruttura di posta di Microsoft.
Di conseguenza, le nostre code verso i domini ospitati da Microsoft si sono allungate moltissimo. Ora si stanno svuotando e le consegne stanno tornando alla normalità. Più sotto condividiamo anche cosa hanno mostrato i nostri dati di consegna, ora per ora.
Cosa è successo
Il disservizio è iniziato tra le 16:17 e le 17:45 UTC circa di giovedì 12 novembre, e il servizio ha cominciato a riprendersi verso le 11:20 UTC di venerdì 13 novembre. Microsoft lo ha registrato come incidente EX1550543 (Exchange Online) e MO1550821 (gli altri servizi Microsoft 365 che dipendono da Exchange Online).
- Giovedì, ~17:30 UTC: i sistemi di monitoraggio indipendenti (ThousandEyes, Kentik, Cloudflare) rilevano connessioni a Microsoft 365 non riuscite in tutto il mondo.
- Giovedì, 17:54 UTC: il primo aggiornamento pubblico di Microsoft segnala problemi di accesso alle caselle di posta nelle Americhe; poco dopo conferma che potrebbe essere coinvolta qualsiasi area geografica.
- Giovedì sera: Microsoft sospende i rilasci, riavvia i server e reindirizza il traffico, ma i primi interventi non reggono.
- Venerdì, 11:20 UTC: il traffico di Exchange Online inizia a riprendersi.
- Venerdì, ~14:00 UTC: Microsoft comunica che le code di posta sono vicine ai livelli normali.
Cosa hanno visto le nostre code
Con questi volumi giornalieri, i nostri dati di consegna diventano un resoconto dettagliato di come si è evoluto l’incidente. Quando Exchange Online rallenta o smette di accettare posta, ce ne accorgiamo nel giro di pochi minuti dai nostri log di consegna, spesso prima ancora che arrivi un aggiornamento ufficiale.
In una giornata normale, quasi tutti i messaggi che consegniamo a Microsoft vengono accettati al primo tentativo, in circa 4 secondi. Nella fascia delle 17:00 UTC di giovedì i nostri nuovi tentativi verso Microsoft hanno cominciato a salire, e alle 18:00 UTC un messaggio su sette doveva essere ritentato. Il dato coincide con l’inizio del problema rilevato dai sistemi di monitoraggio di rete indipendenti e con il primo aggiornamento pubblico di Microsoft delle 17:54 UTC.
Il disservizio si è poi sviluppato in due ondate. I nuovi tentativi hanno toccato un picco di circa il 52% giovedì in tarda serata, sono calati durante la notte man mano che Microsoft rimetteva in funzione alcuni server, e sono poi risaliti a circa l’80% venerdì mattina. Per la posta inviata alle 09:00 UTC di venerdì, il messaggio mediano ha atteso circa due ore e mezza prima di essere accettato; per il 5% più lento della posta di giovedì sera, l’attesa è stata di 10-13 ore.
Anche la ripresa è ben visibile. Dalle 12:00 UTC di venerdì la quota di posta da ritentare è scesa rapidamente, e alle 16:00 UTC il tempo mediano di consegna era tornato a circa 6 secondi.
Cosa ha significato per le tue email
Quando il server di posta del destinatario non riesce ad accettare un messaggio, il server mittente non si arrende: lo tiene in coda e riprova a intervalli regolari. È esattamente quello che è successo con la posta indirizzata ai domini ospitati da Microsoft: i messaggi sono stati trattenuti e ritentati, non respinti.
Dato che il disservizio è durato quasi 18 ore, le code si sono allungate molto più del solito. Molti messaggi inviati giovedì pomeriggio e sera sono arrivati nelle caselle solo venerdì mattina. Microsoft ha inoltre esteso a 48 ore il proprio timeout per le email, così la posta rimasta bloccata nei suoi sistemi viene conservata invece di essere scartata.
Il disservizio ha colpito anche i servizi che ruotano attorno alla casella di posta: Teams, SharePoint, Copilot e l’accesso agli account hanno avuto problemi laddove dipendono da Exchange Online. È possibile che i destinatari, semplicemente, non riuscissero ad aprire la posta, anche quando era già arrivata.
La situazione attuale
Microsoft ha ripreso ad accettare la posta e le nostre code si stanno svuotando a ritmo costante. Dei circa 3,6 milioni di messaggi che abbiamo inviato a Microsoft da giovedì, circa 16.000 (meno dello 0,5%) sono ancora in attesa di un nuovo tentativo. Secondo i dati di rete di Kentik, quando venerdì mattina Exchange Online è tornato operativo, il suo traffico è rimasto per un breve periodo circa il 19% sopra la norma, perché l’arretrato accumulato da tutta internet è arrivato in un colpo solo.
A venerdì pomeriggio (UTC), Microsoft segnala miglioramenti costanti ma non ha ancora dichiarato l’incidente completamente risolto. Puoi seguire lo stato ufficiale sulla pagina di stato dei servizi cloud di Microsoft. Alcuni destinatari potrebbero ancora riscontrare brevi ritardi o problemi di accesso intermittenti mentre si smaltisce l’ultima parte dell’arretrato. Stiamo monitorando da vicino le consegne verso i domini Microsoft e aggiorneremo questo articolo in caso di novità.
Cosa fare
Nella maggior parte dei casi, niente: i messaggi in coda vengono consegnati automaticamente.
- Non reinviare. Reinviare campagne o email transazionali non farebbe che aumentare l’arretrato e potrebbe far ricevere ai destinatari dei duplicati.
- Aspettati numeri anomali per gli invii di giovedì. Per i destinatari Microsoft, i tempi di consegna, apertura e clic risulteranno spostati a venerdì, e le aperture potrebbero sembrare basse finché l’arretrato non sarà smaltito.
- Verifica i messaggi con scadenza. Codici monouso, reimpostazioni della password e offerte a tempo inviati durante il disservizio potrebbero essere arrivati troppo tardi per essere utili. Dove serve, valuta un messaggio di follow-up.
