Microsoft работает над устранением серьезных сбоев в работе Microsoft 365, которые уже второй день влияют на пользователей. Функции поиска и другие возможности в Exchange Online, SharePoint, OneDrive, Teams и Microsoft 365 Copilot временно недоступны, несмотря на то, что большая часть почтовой переписки в Exchange Online восстановлена.
Согласно отчету, опубликованному IT-отделом Университета Пенсильвании, основанному на данных из консоли администратора Microsoft, инцидент начался 31 августа в 11:55 утра по UTC, когда Microsoft начала расследование увеличения количества сообщений от пользователей о проблемах с Exchange Online.
К 12:33 утра по UTC, Microsoft сообщила, что выявила общую закономерность сбоев, связанных с запросами к Exchange Online, касающихся аутентификации и подключения к протоколам. Компания работает над возможными решениями.
Примерно через час компания заявила, что была определена потенциальная корректирующая мера для затронутой инфраструктуры, и сейчас проводится оценка ее внедрения.
Однако, через еще час, Microsoft сообщила, что проблема распространилась не только на Exchange Online, но и на другие сервисы Microsoft 365, хотя и не назвала это полным отключением.
Компания сообщила о ряде проблем в работе различных сервисов Microsoft 365, включая: затрудненное подключение и поиск в Exchange Online, SharePoint Online и OneDrive for Business, проблемы с доступом к файлам, синхронизацией и загрузкой контента, поиском в Teams, отображением календарей и статуса, а также работе с Microsoft 365 Copilot, требующим данных из Microsoft 365.
Вскоре компания официально определила время начала инцидента как 15:08 по UTC, и вскоре указала на причину – «проблему в основной конфигурации аутентификации, используемой несколькими сервисами Microsoft 365».
После этого Microsoft провела несколько часов, тестируя различные способы восстановления затронутых компонентов аутентификации и выясняя причины их неисправности. В 16:36 по UTC компания заявила, что пересматривает недавние изменения и ищет способы безопасного восстановления компонентов, включая возможность отката последнего обновления инфраструктуры, затронутой инцидентом.
К 17:55 по UTC Microsoft сообщила, что проведенные тесты показали положительные результаты, и компания продолжает тестирование и внедрение стратегий для восстановления работы необходимых компонентов аутентификации.
Впоследствии, примерно в 18:40 по Гринвичу, крупная технологическая компания приступила к реализации конкретных мер по восстановлению основных компонентов аутентификации, затронутых инцидентом. Одновременно компания сообщила о первых признаках восстановления в определенных сценариях и заявила о планах постепенного расширения этих мер.
Впоследствии Microsoft расширила применяемые действия и начала перезапуск отдельных сегментов инфраструктуры.
Поток почты восстановлен, но поиск по-прежнему не работает
Восстановление работы сервисов для всех крупных клиентов, затронутых инцидентом, не произошло мгновенно.
Несмотря на то, что Microsoft к концу понедельника сообщила о значительном восстановлении доступа к электронной почте в Exchange Online, компания предупредила, что некоторые организации могут столкнуться с задержками в работе почтовых очередей и потребуется дополнительное время для их устранения.
Впоследствии компания заявила о полном восстановлении работы почтовой системы во всех частях инфраструктуры и переключила внимание на восстановление функциональности поиска.
Однако, это частичное восстановление не означало окончание инцидента.
Microsoft продолжала работать над проблемами, связанными с поиском, в течение вторника, перезапуская затронутую инфраструктуру и снова применяя исправление для компонента аутентификации во всех затронутых системах.
В своем последнем обновлении, опубликованном в 02:39 по UTC, компания сообщила, что эти усилия принесли "определенный прогресс", и показатели работоспособности сервиса, связанных с поиском, в образце затронутой инфраструктуры постепенно улучшаются.
Компания продолжает работу по устранению проблем в других частях инфраструктуры, однако, пока не предоставила оценку времени полного восстановления.
Компания сообщила, что предоставит предварительные сроки восстановления, как только они будут определены. Это означает, что продолжительность сбоя пока не ясна, поскольку инцидент уже длится второй день. Для компаний это может привести к задержкам в работе и ограничить доступ сотрудников к важной информации и инструментам до полного восстановления сервисов.
