Det var den 19 november som Microsofts Office 365, Dynamics, Azure-tjänster med mera låg oåtkomligt för användarna på grund av problem med inloggningen. Problem med Microsofts multifaktorsautentisering (MFA) spred sig över stora delar av världen och ställde till det för miljontals användare.

Strax efter incidenten, som varade i 14 timmar, kunde Microsoft endast ge vaga förklaringar till problemen, men lovade återkomma med en utförlig rapport. Den rapporten presenterades igår och visar på tre olika grundorsaker.

Dessutom upptäckte Microsoft luckor i övervakningen av tjänsterna, som medförde att deras tekniker inte upptäckte problemen utan tvärtom fick indikationer om att alla lampor var gröna, rapporterar ZDNet.

En grundorsak var att MFA-tjänstens front-ends upplevde fördröjningar mot sina bufferttjänster, en annan var ett "race condition" vid processning av responserna från MFA-tjänstens back-end. Dessa två problem uppstod efter att ny kod rullades ut i datacentren mellan den 13 och 16 november.

Den tredje grundorsaken, som triggades av de första två, resulterade i att MFA-tjänstens back-end slutade processa begäran från front-end, trots att allt såg korrekt ut för Microsofts övervakningssystem.

Problemen för användarna började i Europa, spred sig sedan i Emea- och Apac-regionerna, för att till sist drabba användare i Nordamerika. Även efter att teknikerna lagt på en hotfix som gick förbi MFA-tjänstens buffertar fortsatte problemen, och som lök på laxen fungerade inte telemetrin och övervakningen som den borde.

Som åtgärder föreslår rapporten bland annat en genomgång av uppdateringsprocesserna som ska vara genomförd i december, en genomgång av övervakningssystemen som även den ska vara klar i december, samt översyn av de processer som ska se till att problem av detta slag inte sprider sig mellan datacentren. Den ska vara genomförd i januari.

Microsoft ber sina användare om ursäkt, men ger inga indikationer om ersättningar för eventuella förluster som incendenten orsakat.

Läs också:
Microsoft startade om Azure – nu funkar inloggningen igen
Äntligen! Nu kan du säkra ditt Microsoft-konto med säkerhetsnyckel