Не стоит забывать о последствиях своих действий. Это обнаружила компания Microsoft совсем недавно. Оказалось, что искусственный интеллект, призванный повысить безопасность операционной системы Windows и помогающий компании выявлять уязвимости, может, наоборот, ускорить работу хакеров в поиске недостатков, чем сама Microsoft способна их устранять.
Это поставило Microsoft перед непростым дилеммой. Стоит ли компании инвестировать значительные средства в оперативное устранение всех уязвимостей в сфере безопасности, выявленных с помощью искусственного интеллекта? Или же лучше сосредоточиться на наиболее критичных проблемах и решать менее важные вопросы позже, при меньших затратах?
Принятое руководством компании решение может иметь серьезные последствия. В течение многих лет Microsoft подвергалась критике со стороны различных ведомств в правительстве США из-за частых случаев взлома ее технологий, что потенциально ставило под угрозу безопасность страны. Некоторые члены Конгресса предложили ограничить государственные контракты с компанией до тех пор, пока Microsoft не продемонстрирует способность обеспечить более высокий уровень безопасности. Это может привести к потере миллиардов долларов в виде федеральных контрактов.
Для более глубокого понимания возможных угроз, давайте рассмотрим, как современные технологии искусственного интеллекта могут помочь в обнаружении уязвимостей и ошибок в программном коде.
Новые разработки от Mythos и Project Glasswing: как искусственный интеллект меняет правила кибербезопасности
Проблемы безопасности, связанные с использованием искусственного интеллекта в Microsoft, возникли после запуска модели Mythos AI от Anthropic. Эта модель была разработана специально для решения задач в области кибербезопасности и биологических исследований. Основная цель – максимально быстрое выявление уязвимостей в программном обеспечении, чтобы компании-разработчики и фирмы по кибербезопасности могли оперативно устранять их до того, как хакеры обнаружат эти "дыры".
Первые тесты Anthropic показали, что Mythos оказался чрезвычайно эффективным в обнаружении уязвимостей в системе Windows. Как сообщает Axios, всего через 31 минуту модель сгенерировала первый рабочий пример эксплойта для уязвимости ядра Windows.
Anthropic отметила, что тестирование Mythos "подтверждает важный факт: модели искусственного интеллекта достигли уровня кодирования, когда они могут превзойти даже самых опытных специалистов в поиске и эксплуатации уязвимостей программного обеспечения".
"Mythos Preview уже обнаружил тысячи критических уязвимостей, включая те, которые присутствуют во всех основных операционных системах и веб-браузерах. Учитывая темпы развития искусственного интеллекта, не за горами момент, когда подобные возможности станут широко доступны, потенциально даже в руках тех, кто не заинтересован в их безопасном использовании. Последствия – для экономики, общественной безопасности и национальной безопасности – могут быть серьезными.
Компания Anthropic разработала проект по обеспечению безопасности под названием Project Glasswing. По словам представителей Anthropic, это "срочная мера для защиты от потенциальных угроз".
В проекте участвуют такие крупные компании, как Microsoft, Google, Amazon, Nvidia и Apple. Идея кажется привлекательной: выявлять и устранять уязвимости до того, как ими воспользуются злоумышленники, обеспечивая тем самым безопасность всех пользователей. Однако, есть ряд потенциальных проблем.
Оказывается, система Mythos, используемая в проекте, предоставляет доступ к ней практически всем. При этом Mythos обнаруживает уязвимости и ошибки гораздо быстрее, чем компании, особенно Microsoft, могут их исправить. Как сообщает Pro Publica в конце июля, "Microsoft испытывает трудности с оперативным устранением выявленных проблем".
Поздняя реакция: Google и OpenAI пытаются догнать Copilot в гонке за ИИ-ассистентами для разработчиков
Microsoft в настоящее время уделяет особое внимание устранению наиболее серьезных ошибок и уязвимостей в своих продуктах. Согласно информации, полученной от Pro Public, "внутренние документы указывают на то, что Microsoft планирует в будущем решать проблемы средней степени серьезности, выявленные Mythos. В документах не упоминаются ошибки с низкой степенью серьезности".
Такой подход вполне характерен для многих компаний при определении объема работ по устранению уязвимостей. Однако некоторые эксперты считают, что в эпоху искусственного интеллекта такая стратегия безопасности может оказаться рискованной.
Вин Нгуен, бывший главный специалист по ИИ и ведущий научный сотрудник в Национальном центре кибербезопасности США, а ныне – технический советник Anthropic и старший исследователь в Council on Foreign Relations, особенно обеспокоен тем, что текущая стратегия устарела. Он заявил Pro Publica: "Сейчас проблема заключается в том, что можно объединить четыре ошибки с низкой степенью серьезности, и это может привести к возникновению уязвимости высокой степени серьезности. Если вы – Microsoft, ваша текущая стратегия triage может недооценивать риски".
Уже сейчас Microsoft испытывает трудности с поддержанием актуальности патчей безопасности после запуска Mythos. Выпуск July Patch Tuesday исправил наибольшее количество ошибок в истории компании – 622. И ситуация будет только усложняться.
Microsoft в зоне риска из-за новых разработок конкурентов
Microsoft столкнулась со значительными проблемами в сфере безопасности. Еще год назад компания подверглась серьезной кибератаке, в результате которой была взломана система Sharepoint. В заражение вошли не менее десятков тысяч серверов, включая крупные корпорации и важные государственные учреждения.
Среди пострадавших оказались Национальные институты здоровья (NIH) и Национальное управление по ядерной безопасности (NNSA), отвечающее за безопасность атомного арсенала страны. Также были затронуты Департамент внутренней безопасности (DHS), Агентство кибербезопасности и инфраструктурной защиты, Администрация транспортной безопасности, Пограничная служба и Федеральное агентство по управлению в чрезвычайных ситуациях, а также многие другие организации.
Даже до этого момента некоторые члены Конгресса выражали обеспокоенность недостаточной безопасностью продуктов Microsoft и даже угрожали расторгнуть контракты с компанией. В частности, сенаторы Эрик Шмит (R-MO) и Рон Вайдэн (D-OR) направили письмо в Министерство обороны с просьбой ограничить использование продукции Microsoft.
Мы выражаем серьёзную обеспокоенность тем, что Министерство обороны продолжает увеличивать свою зависимость от компании Microsoft, в то время как Конгресс и администрация рассматривают тревожные случаи провалов в кибербезопасности, приведших к масштабной утечке информации о переписке высокопоставленных американских чиновников.
Хотя хакерская атака или подобное письмо пока не привели к каким-либо последствиям, ситуация может измениться мгновенно в случае новой крупной атаки. Кажется, что злоумышленники могут начать использовать скорость обнаружения уязвимостей и ошибок в системе Mythos, особенно если Microsoft не предпримет своевременные меры по их устранению.
Следующая масштабная атака, использующая искусственный интеллект, может представлять серьёзную опасность – не только для бизнеса и правительств, но и для самой компании Microsoft.
