Несмотря на то, что модель Jev, представленная компанией TypeSafe в прошлом месяце, позиционируется как обладающая значительными преимуществами перед обычными большими языковыми моделями, новый отчет о безопасности, опубликованный в среду, утверждает, что её упрощённая архитектура делает её более уязвимой к определённым видам атак, по сравнению с традиционными моделями.
«В некоторых случаях [Jev] оказывается ещё более уязвимой к атакам, как при использовании специально подготовленных текстов, так и при внедрении запросов, что может привести к сбоям в работе модели и, как следствие, к неверным и даже катастрофическим результатам», – говорится в блоге исследователей из HiddenLayer.
Компания TypeSafe не прокомментировала многочисленные запросы.
Новый инструмент от Google: Copilot или что-то еще?
Существует дебаты о том, относится ли Jev к классу больших языковых моделей (LLM). Компания TypeSafe считает, что это не так, в то время как HiddenLayer полагает, что Jev, скорее всего, принадлежит к этой категории. TypeSafe даже предложила собственное название для этой категории: System One. Компания TypeSafe описывает System One как "новый класс передовых моделей, предназначенных для быстрого и структурированного принятия решений, которые могут быть непосредственно использованы в программном обеспечении". Jev – первая, и пока единственная, модель, классифицированная как System One.
Jev – это оптимизированная модель, разработанная для работы между различными системами. Ее архитектура позволяет выполнять задачи быстрее и потреблять меньше ресурсов. Однако, Казимир Шулц, директор по исследованиям безопасности в HiddenLayer (один из авторов блога), отмечает, что акцент на скорости может привести к упрощению некоторых проверок и механизмов безопасности, которые присутствуют в традиционных LLM. Это может сделать Jev уязвимой для определенных атак, которые обычно обнаруживаются и предотвращаются в современных LLM, – заявил он в интервью.
Несмотря на это, Шулц подчеркивает, что "Jev – отличный инструмент. Его стоит использовать. Он обеспечивает гораздо более быстрый отклик". При этом он добавляет, что "у Jev нет всех защитных механизмов, которые есть в традиционных LLM, поэтому некоторые атаки на него могут быть успешными, хотя и должны были быть неэффективными".
TokenBreak», например, обычно неэффективен при работе с большими языковыми моделями, но Jev, напротив, уязвим к подобным атакам прямо из коробки», – отметил Шулц.
Хотя простая вставка символов перед ключевыми словами, как в оригинальной атаке TokenBreak, не дала существенных результатов, блог HiddenLayer отмечал: «Мы обнаружили, что увеличение количества искажений и повышение их точности значительно повысили эффективность атак».
Однако, несмотря на то, что традиционные языковые модели обычно способны распознавать такие атаки, было отмечено: «Модели System One, похоже, уязвимы. Поэтому этот тип декодеров следует использовать с осторожностью, поскольку они подвержены как атакам на авторегрессивные языковые модели, так и атакам на классификаторы текста, что предоставляет потенциальным злоумышленникам больше возможностей».
В публикации приводятся примеры:
«На смоделированной странице оформления заказа, где реклама, контролируемая злоумышленником, заставила браузер отклониться от покупки пользователя [и отреагировать на рекламу], несмотря на инструкции рассматривать текст страницы как ненадежный», – говорится в сообщении. «В отдельном тесте классификации, изменения, внесенные с помощью TokenBreak, привели к снижению показателей токсичности запросов, которые обе модели изначально отмечали».
В статье анализируются потенциальные риски, связанные с использованием Jev.
"Браузер может немедленно перейти к выбранному элементу. Система модерации может разрешить ввод, оценка токсичности которого ниже установленного порога. Система маршрутизации может перенаправить запрос в другое приложение или рабочий процесс. Каждое из этих действий превращает оценку модели в оперативное решение, и, следовательно, в потенциальный риск", – отмечается в статье. "При тестировании моделей System One, необходимо проводить оценку в том приложении, где они будут использоваться. Важно включать в тесты ненадежные веб-страницы, ввод, содержащий вводящую в заблуждение информацию, связанную с задачей, и измененные вводы, которые сохраняют смысл, но меняют свою форму. Необходимо отслеживать выбранные действия и оценки, а также проводить независимую проверку результатов, имеющих практическую ценность. Важно помнить, что, по сути, речь идет о языковых моделях".
Аналитики подтвердили как методологию, так и технические выводы, представленные в отчете, при этом отмечая, что вывод о том, что новый подход небезопасен, может быть несколько предвзятым со стороны поставщика безопасности.
Филлип Харрис, аналитик IDC, подчеркнул, что методология, описанная в статье, является обоснованной и соответствует общепринятым практикам тестирования систем искусственного интеллекта. "Создание контролируемой тестовой среды и поиск возможностей для манипуляций – это правильный подход", – отметил Харрис.
Однако, Надер Хенеин, вице-президент аналитической компании Gartner, добавил, что Jev, представленный 15 сентября, – относительно новый продукт, и, по его мнению, некоторые сообщения о проблемах были преждевременными.
"Jev пройдет через тот же процесс развития, что и все остальные модели, включая уязвимость к даже самым простым попыткам манипуляций", – сказал Хенеин. "Этот продукт был выпущен всего месяц назад, поэтому удивление его проблемами схоже с удивлением, когда ребенок начинает облизывать губы".
Тем не менее, Фрэнк Диксон, ведущий аналитик в Dickson Research, отметил, что те же качества, которые делают Jev таким привлекательным, также подвергают его риску.
"Jev может выбирать только из вариантов, которые предлагает разработчик", – сказал он. "Это ограничивает возможности для атак. Однако, если в меню есть опция "нажать на любой элемент на странице", то и реклама злоумышленника будет в меню. Это архитектурное решение, и его принимает покупатель".
Эксперт подчеркнул: "Jev позволяет принимать решения, опираясь на искусственный интеллект, быстрее и дешевле. Это также означает, что ошибки в принятии решений будут возникать быстрее и дешевле. Скорость – это ключевое преимущество, но это не гарантия безопасности".
Независимый технологический консультант Стивен Эрик Фишер поддержал эту точку зрения.
"Ограничения формата решения не обязательно означают его неправильность, ненадежность или негативные последствия", – отметил он, добавив, что "пример оформления заказа, представленный в статье, демонстрирует, как агент может быть перенаправлен от основной задачи из-за информации, полученной через менее безопасный компонент его операционной среды. То, что агент, несмотря на четкие инструкции не доверять информации на странице, отреагировал на вредоносную рекламу, особенно важно".
Статья изначально была опубликована в InfoWorld.
