GitHub возобновил работу после почти восьмичасового перебоя, который оказал влияние на ряд ключевых инструментов для разработчиков, включая Actions, запросы на слияние, API, операции с Git, Webhooks и Copilot. Это привело к сбоям в рабочих процессах разработки программного обеспечения на платформе.
«Проблема устранена. Благодарим за терпение и понимание, пока мы решали этот вопрос», – говорится на странице статуса компании.
Сбои были впервые зафиксированы в 13:40 по UTC 17 августа. Изначально GitHub зафиксировал снижение производительности в некоторых частях платформы. Вскоре сбои распространились на API Requests, Actions, Webhooks, Issues и запросы на слияние (PRs).
В пик инцидента, GitHub зафиксировал около 20% ошибок в работе веб-интерфейса и трафика API. Загрузка архивов и скачивание исходного кода репозиториев также столкнулись с ошибками в размере около 50%, в то время как аутентификация SAML и OIDC, SCIM и синхронизация команд также были затронуты.
ИИ-ассистент для программирования Copilot также столкнулся с проблемами доступности, начиная с 14:31 по UTC. Компания позже сообщила, что некоторые проблемы с аутентификацией Copilot сохранялись даже после восстановления других частей платформы.
Восстановление не было линейным
В 16:36 по московскому времени компания сообщила о выявлении проблемного компонента и принятии необходимых мер.
Однако, процесс восстановления сервисов происходил неравномерно.
Служба Git Operations вновь столкнулась с ухудшением производительности, а запросы к API временно вернулись к прежнему состоянию. GitHub впоследствии заявила об устранении проблемы с Git Operations и восстановлении нормальной работы API к 19:01 по московскому времени.
Тем не менее, другие сервисы продолжали работать с проблемами, в основном связанными с аутентификацией. Компания сообщила о временном отключении повторных попыток получения токенов аутентификации после обнаружения случайных сбоев в аутентификации. Позже компания заявила, что проблемы с аутентификацией Copilot по-прежнему влияют на некоторые приложения.
"Мы продолжаем расследовать случайные сбои в аутентификации. Временно отключили повторные попытки получения токенов аутентификации, и мы видим положительные изменения. Мы продолжаем мониторинг, прежде чем окончательно внедрить это решение", – говорится в сообщении компании.
Компания окончательно устранила эти проблемы в 20:45 по московскому времени. Инцидент был признан решенным в 21:15, спустя почти 8 часов после его сообщения.
Серьёзные перебои в работе: корпоративные команды столкнулись с проблемами
Несмотря на то, что инцидент не привел к полному прекращению работы сервисов, значительное количество и разнообразие затронутых сервисов оказали существенное влияние на работу команд разработки, поскольку компания все больше выходит за рамки простого хранения исходного кода.
Команды разработчиков активно используют API, рабочие процессы, pull requests и интеграции как неотъемлемые части своих процессов разработки программного обеспечения. Поэтому, если несколько из этих компонентов выйдут из строя одновременно, это может серьезно повлиять на рабочие процессы, даже если базовый доступ к репозиторию останется.
На данный момент GitHub не определила конкретный "проблемный компонент", вызвавший сбой, и не объяснила, почему сбой затронул такое большое количество сервисов одновременно.
В отчете компании о результатах анализа инцидента, доступном для ознакомления, не указано, была ли причина сбоя в неисправности инфраструктуры, обновлении программного обеспечения, проблеме с аутентификацией или в другом.
На странице статуса GitHub указано, что "подробный анализ первопричины будет опубликован, как только он станет доступен".
Статья изначально была опубликована на портале InfoWorld.
