NoorSadaNoorSada
СРОЧНОТехнологииРазвивается✓ 3 источника

Майкрософт объяснила глобальный сбой почты 365 дефектом шлюза, появившимся в июле

В предварительном отчете о расследовании инцидента говорится, что из-за дефекта более 80 процентов серверов сетевого шлюза не отвечали во время сбоя 12 ноября.

Скорость:

ℹ️ Озвучка браузером · студийный голос ИИ скоро

DR
Daniel Reyes
· 2 мин чтения
Зеленое здание дата-центра за забором с мощеной дорогой и облачным небом · Иллюстративное фото · Фото: Hay Kranen / CC BY 4.0

Майкрософт заявила, что дефект программного обеспечения, появившийся в июльском обновлении 2024 года для серверов сетевого шлюза Майкрософт 365, стал причиной аварии, из-за которой Эксчейндж Онлайн и другие сервисы были недоступны в течение суток на прошлой неделе; об этом говорится в предварительном отчете о расследовании инцидента, опубликованном компанией 15 ноября.

По словам Майкрософт, обновление прошло нагрузочное тестирование и на момент развертывания не вызвало последствий. В отчете указано, что нагрузочные тесты "как правило, ориентировались на более слабое оборудование с меньшим числом ядер", тогда как дефект — конкуренция за блокировки внутри внутреннего процесса Виндоус, истощавшая ресурсы процессора и памяти — усиливался на машинах с большим числом ядер и более новым оборудованием.

Триггером стали два события, совпавшие по времени. В 01:07 UTC 12 ноября Тимс переключился на основной шлюз, поддерживающий Эксчейндж Онлайн, что вызвало резкий рост нагрузки, при этом почти 14 процентов серверных мощностей сетевого шлюза были выведены из строя. Майкрософт заявила, что у сервиса был достаточный запас мощности, чтобы выдержать любое из этих событий по отдельности.

В течение двух часов дефект проявился во всем парке серверов. "В худший момент, — говорится в отчете, — более 80 процентов серверов не отвечали". Автоматизированные процессы восстановления не были рассчитаны на возврат сервиса из такого состояния, а простой откат был невозможен, поскольку дефекту было несколько месяцев. Вместо этого инженеры подготовили обновление, возвращавшее ветку кода в Виндоус к ранее известному рабочему состоянию, и применили его к группам серверов.

Система мониторинга аномалий подключения Майкрософт зафиксировала рост проблем с подключением в 16:03 UTC 12 ноября; первый запрос в службу поддержки поступил в 16:33 UTC. К 00:30 UTC 13 ноября компания определила согласование соединений как основную причину, а в 07:20 UTC применила меры по устранению. В 16:10 UTC было подтверждено, что сервис работает нормально; последнее обновление для клиентов вышло в 04:15 UTC 14 ноября.

Тимс, УанДрайв, ШэарПойнт и приложения Офис смогли переключиться в обход неисправной инфраструктуры сетевого шлюза; Эксчейндж Онлайн не смог этого сделать из-за масштаба — отчет называет это причиной столь длительного сбоя в Аутлуке. Окончательный отчет о расследовании инцидента должен быть опубликован 20 ноября.

Источники — откуда мы это знаем

3 независимых источника подтвердили это