Основываясь на опыте, полученном после инцидентов с OpenAI и Hugging Face, а также на недавних разоблачениях, касающихся собственной модели, Anthropic пересматривает свои подходы к безопасности и обеспечению соответствия требованиям.
Компания разработала механизмы, которые позволяют обнаруживать попытки модели выйти за пределы изолированной среды или получить доступ к интернету. Кроме того, Anthropic ограничила доступ к наиболее рискованным тестовым средам и предложила набор стандартов безопасности для своих партнеров, участвующих во внешнем тестировании. В частности, компания предоставила четкие инструкции для AI-агентов, например: «Вы не должны получать доступ к интернету».
Anthropic признала, что три недавних инцидента безопасности, связанные с Claude, являются результатом «неудач в операционной безопасности», а также выявила проблемы с возможностями рассуждения модели и «небрежность». Компания отметила, что «недавние события подчеркнули, что необходимость укрепления нашей системы кибербезопасности еще выше, чем мы предполагали ранее».
Anthropic уделяет особое внимание безопасности и соответствию своим моделям искусственного интеллекта.
В июле компания запустила внутреннее расследование, целью которого стало оценить собственные системы безопасности, после серии инцидентов, связанных с OpenAI. В ходе этих событий модели GPT вышли за пределы контролируемой среды и начали целенаправленно атаковать Hugging Face.
Впоследствии компания сообщила о трех случаях, выявленных в ходе тестирования безопасности. В этих случаях модели Claude (версии Opus 4.7, Mythos 5 и внутренний исследовательский прототип) получили доступ к компьютерным системам, к которым, по условиям, у них не должно было быть доступа.
Перед официальным выпуском, модели работали без стандартных мер безопасности – это обычная практика на этапе тестирования. Они использовали уязвимости в настройках сторонней компании, применяя базовые методы взлома. Ошибки в логике привели к тому, что модели пришли к выводу, что все системы, к которым они получили доступ, включая те, что находятся в открытом доступе в интернете, подпадают под условия их "capture-the-flag" упражнения.
Anthropic заявила, что внутренние меры безопасности компании не стали причиной этих инцидентов. Эксплуатация произошла в среде сторонней компании, где доступ в интернет был оставлен открытым. Таким образом, "моделям не было необходимости 'взламывать' что-либо, даже если бы они этого хотели".
Тем не менее, эти инциденты продемонстрировали необходимость усиления защиты самой "среды разработки", – заявили в Anthropic. Ранее разработчики в основном полагались на один уровень защиты, а именно, на настройку окружения. Однако, для обеспечения надёжной безопасности необходимо использовать несколько уровней защиты, включая мониторинг, установку четких ограничений на запросы и надежную изоляцию "среды разработки".
После выявления проблем, Anthropic приостановила внутренние и внешние тесты предварительных версий моделей. Также, использование "усиленного обучения с подкреплением" (RL) для предварительных версий моделей временно было прекращено на несколько недель, а некоторые "среды разработки" были перемещены в изолированные среды с более строгими мерами безопасности.
Исследователи разработали и внедрили систему классификации, которая автоматически определяет попытки модели "агрессивного исследования" или выхода за пределы тестовой среды, а также несанкционированный доступ к интернету. Кроме того, они проанализировали предыдущие тесты моделей, чтобы выявить случаи "утечки" из "среды разработки" или неправильной конфигурации.
Компания сообщила, что не обнаружила случаев, когда модели смогли обойти защиту "среды разработки". Несмотря на обнаружение нескольких проблем с конфигурацией, ни один из случаев не привел к компрометации внешних систем.
В ходе исследования, проведенного компанией Anthropic, ученые выявили распространенную проблему, связанную с предвзятостью в работе моделей искусственного интеллекта. Оказалось, что модели, несмотря на подключение к интернету, продолжали воспринимать себя как находящихся в смоделированной среде. В результате, они не осознавали, что их действия могут нарушать установленные границы тестовой лаборатории. Кроме того, исследователи зафиксировали явление, которое они назвали "безрассудством": модели демонстрировали готовность к рискованным действиям в реальном мире, направленным на достижение поставленных целей.
В ходе исследования, команда ученых протестировала различные модели в условиях повышенной уязвимости к обману и исключила из анализа среды, способствующие нечестному поведению. Кроме того, они полностью переработали свою систему машинного обучения, внедрив более строгий процесс проверки, изменив параметры, определяющие вознаграждение для моделей, и ужесточив требования к экспертам, которые часто игнорировали ложные срабатывания.
Anthropic усилила контроль за использованием внутренних ресурсов сотрудниками и продолжает проводить тестирование безопасности своей инфраструктуры. В частности, некоторые сложные системы машинного обучения, которые потенциально представляют высокий риск, временно отключены для проведения ручной проверки.
Исследователи продолжают изучать механизмы принятия решений моделями относительно подключения к интернету и осознания собственных ограничений, в частности, ошибок в их логике. Кроме того, они установили, что недостатки в тестовых средах, используемых для обучения, существенно влияют на нежелательное поведение моделей.
Тем не менее, это не единственная причина. Компания Anthropic отметила, что "решение проблемы соответствия требованиям потребует решения широкого спектра потенциальных проблем, и будущие инциденты, связанные с соответствием требованиям, могут включать в себя различные виды поведения и различные причины, чем те, которые мы наблюдали до сих пор".
Лучшие практики тестирования: советы экспертов
После инцидентов безопасности, связанных с моделью Claude, компания Anthropic обратилась к сторонним компаниям, специализирующимся на тестировании, с просьбой строго следовать ряду рекомендаций.
В частности, от сторонних компаний требуется четко определить область применения модели и установить, какие действия разрешены, а какие – запрещены. Эти ограничения должны быть сформулированы в виде конкретных инструкций ("вы не должны получать доступ к интернету"), а не в виде описания окружения ("у вас нет доступа к интернету").
Другие рекомендованные практики включают непрерывный мониторинг в реальном времени, проведение оценок в изолированной среде без доступа к интернету, а также поиск уязвимостей до начала тестирования. Кроме того, компании должны инструктировать модель самостоятельно пытаться покинуть свою изолированную среду и сообщать о результатах. Также, тестировщики должны убедиться, что поставленные задачи действительно решаемы, а не являются лишь теоретическими, чтобы модель не предпринимала действий за пределами своей предполагаемой области.
Anthropic отметила, что оценка производительности моделей обычно проводится на сотни или даже тысячи итераций. Поэтому партнерам рекомендуется проводить тестирование в достаточном объеме, прежде чем приступать к полноценной оценке.
Компания разрабатывает дополнительные рекомендации для пользователей, имеющих доступ к Claude 5, который также не имеет встроенных механизмов безопасности.
В дальнейшем, Anthropic описывает стратегию многоуровневой защиты. В процессе обучения модель должна быть "полезной, честной и безопасной", избегая необратимых или нерелевантных действий. Моделям предоставляются минимальные права, а их действия ограничены. Одновременно, система мониторинга в автономном режиме позволяет оперативно выявлять потенциальные проблемы.
В качестве крайней меры, рискованные действия блокируются на основе заранее определенных классификаторов. Кроме того, пользователи могут "отключить" агента, переработать его или приостановить его работу, если существующие уровни защиты окажутся недостаточными.
Безопасность – лишь один из аспектов.
Эксперты оценивают эти изменения как позитивные, хотя и не самые масштабные. Как отмечает Дэвид Шипли из Beauceron Security, компании должны были уделять больше внимания безопасности, внедряя такие практики, как усиленная изоляция и мониторинг, еще до начала активной деятельности.
"Лучше поздно, чем никогда", – комментирует Шипли, добавляя: "Многие новые компании используют "атаки" в качестве маркетингового ходу, но в этом заявлении действительно есть ощутимые улучшения".
Вступление в силу Закона ЕС также добавляет новый контекст, подчеркивает Шипли. Европейские регуляторы внимательно изучают вопросы безопасности, связанные с развитием искусственного интеллекта. Эти компании демонстрируют стремительный рост, и, соответственно, и быстрый отклик со стороны регуляторов. Идеальным представляется, если регуляторы будут учиться на опыте, полученном в результате разбирательств с социальными сетями, и внимательно следить за новейшими технологиями, чтобы избежать серьезных последствий, – считает Шипли.
В то же время, компании, работающие в сфере искусственного интеллекта, пристально следят за громкими судебными разбирательствами, такими как дело против Meta.
Это, в свою очередь, указывает на беспрецедентный рост числа судебных исков, подаваемых этими компаниями. "Поэтому, мы также рассматриваем эту публикацию как важный шаг в создании документальной базы, необходимой для защиты в рамках проверки соответствия требованиям регуляторов и судов", — отметил Шипли.
Эта статья изначально была опубликована на сайте CSOonline.