Perplexity во вторник анонсировала новую функцию, позволяющую запускать ИИ полностью на локальном компьютере. Компания заявляет, что это обеспечит сохранение "личных данных на устройстве и передачу в облако только в тех случаях, когда это действительно необходимо для выполнения задачи".
Новый сервис, получивший название "Portable Computer", представляет собой локальную версию Perplexity AI, работающую на Nvidia DGX Spark с Qwen 3.8 27B или с PPLX 27B – улучшенной версией модели Qwen. Perplexity также сообщила, что в ближайшее время появится возможность выбора модели с 30B параметрами. Координатор, планировщик, маршрутизатор инструментов, планировщик задач, надежная очередь задач и локальный индекс поиска работают непосредственно на устройстве.
Для работы "Portable Computer" требуется операционная система Linux, поддержка Windows планируется в ближайшее время.
Наиболее важные преимущества для корпоративных ИТ-отделов – обещание Perplexity сохранять данные на устройстве и не использовать "токены" для локальной работы. Клиенты будут платить только тогда, когда система явно запросит передачу вычислений в облако "для более продвинутых исследований и рассуждений".
Тенденция к выполнению как можно большего объема работы локально набирает обороты, поскольку пользователи стремятся снизить затраты на "токены" и минимизировать потребность в все более дорогих и мощных системах искусственного интеллекта.
Пользователь может захотеть, чтобы конфиденциальные данные договора оставались локально, но при этом передавались в облако для получения актуальной информации о рынке или последних сделках», – говорится в заявлении Perplexity. «Локальный "оркестратор" на портативном компьютере может передать задачу в облако для получения актуальной информации, использования браузера, подключенных приложений или одной из 15+ передовых моделей для расширенного анализа. Благодаря подключенным приложениям, портативный компьютер работает с Google Drive, Gmail, Slack и GitHub».
Аман Махапат, главный стратег компании Tribeca Softtech, базирующейся в Нью-Йорке, отметил, что ему понравились все возможности, представленные в предложении.
«Локальный запуск модели – это уже стандарт, который требует два года», – сказал Махапат. «Локальный запуск всего агента означает, что решение о необходимости использования облака принимается непосредственно на устройстве, моделью, обученной для сохранения работы локально и передачи в облако при необходимости».
Растущие потребности в аппаратном обеспечении
Однако, некоторые эксперты и аналитики выразили сомнения в том, насколько экономически целесообразно и эффективно использование данной технологии для крупных предприятий на текущем этапе развития.
Надер Хенеин, вице-президент аналитического агентства Gartner, отметил: «Некоторые из представленных моделей Perplexity могут сейчас работать на мощных ноутбуках с обычными видеокартами, однако пока сложно говорить о практической ценности, пока не будет известна стоимость [портативного компьютера]».
Флавио Вилланустре, главный специалист по информационной безопасности (CISO) в группе LexisNexis Risk Solutions, также подчеркнул: «Требования к аппаратному обеспечению довольно высоки, особенно учитывая текущие цены на компоненты, такие как оперативная память, видеокарта и т.д. Для нормальной работы потребуется, как минимум, локальная видеокарта с 24 ГБ видеопамяти».
«Хотя это может помочь снизить текущие затраты, для реализации потребуется значительная первоначальная инвестиция в специализированное оборудование», — добавил он.
Опасения по поводу контроля над использованием облачных сервисов
Однако, некоторые эксперты выразили обеспокоенность недостаточным уровнем информированности о том, как принимаются решения о работе в локальной или облачной среде. Например, пользователи могут автоматически соглашаться на предложение использования облачных вычислений, рассматривая это как стандартную часть пользовательского соглашения. Или злоумышленник может использовать методы инженерии запросов или другие тактики, чтобы внедрить скрытые команды, которые заставляют систему переходить в облако, не предупреждая пользователя.
Джастин Грейс, генеральный директор консалтинговой фирмы Acceligence, отметил: «Важно отличать локальную работу от полной локальной работы, поскольку это имеет первостепенное значение. Пользователи часто соглашаются на запросы, которые они не полностью понимают, а все более автономные ИИ-агенты работают с файлами, приложениями, подключениями и рабочими процессами, которые могут быть гораздо сложнее, чем пользователи могут себе представить. ИИ должен запрашивать разрешение, но компания должна иметь возможность установить ограничения: «Вам не разрешено запрашивать».
Майк Уилкис, главный ИТ-специалист по безопасности в компании Aikido Security, предложил один из способов предотвратить использование облачных сервисов: жестко ограничить доступ к этим системам, чтобы они не могли взаимодействовать с внешними ресурсами. Он выразил сомнение в том, что такая мера будет приемлемой.
Я не думаю, что ни агенты, ни их пользователи будут в восторге, если компании решат проблему безопасности, просто блокируя доступ к сети. Для многих важных сценариев использования, подключение – это критически важный аспект», – заявил Уилкс. «Например, компания, занимающаяся профессиональной торговлей, может захотеть обрабатывать конфиденциальные данные и позиции локально, при этом получая актуальную информацию о рынке, отчеты SEC, новости или другую полезную информацию».
Махапат также отметил, что встроенные механизмы не смогут полностью предотвратить несанкционированное перемещение данных в облако. «Проблема не в технических ограничениях Perplexity, а в самой структуре системы. Сейчас требуется запрос на разрешение, который фактически является согласием, а не контролем. Он зависит от того, насколько точно вероятностная модель классифицирует конфиденциальный контент, определяет объем передаваемых данных и насколько пользователь может оценить поступающий запрос, который он не может полностью проверить. Эти факторы могут работать непредсказуемо».
Эксперт подчеркнул, что если на устройстве, где также доступны сервисы Gmail, Drive, Slack и GitHub, реализован и функционирует канал для передачи данных в облако, то это соответствует подходу, который активно используется в Copilot в этом году. Для обеспечения корпоративной безопасности необходимо, чтобы контроль осуществлялся на сетевом уровне, а не на уровне приложений, однако в данном продукте такая возможность отсутствует.
Для этого потребуется обязательное использование прокси-сервера, проверка DLP (Data Loss Prevention) для каждого запроса, строгие правила классификации, которые блокируют определенные категории данных независимо от оценки модели, а также неизменяемый журнал, фиксирующий, какие данные покидают устройство. "Изолированная среда выполнения обеспечивает кодовую изоляцию, но не решает проблему контроля за передачей данных", – добавил эксперт.
Представитель компании Perplexity задал вопрос о возможности централизованного определения правил эскалации для администраторов предприятий, при котором локальные настройки не смогут их переопределять, и при этом вести полный журнал аудита всех передаваемых данных. "Если эскалация происходит на основе согласия пользователя и оценки модели, то это продукт, ориентированный на потребителя и обеспечивающий высокий уровень конфиденциальности, а не продукт для предприятий, ориентированный на соответствие нормативным требованиям", – отметил он, добавив: "Компания, которая предоставит централизованную политику эскалации с обязательным контролем выгрузки и аудитом, не поддающимся подделке, получит конкурентное преимущество на регулируемом рынке локального искусственного интеллекта".
Perplexity отвечает на вызовы конкурентов
В ответ на запрос о комментарии, менеджер по коммуникациям Perplexity, Беджио Шах, предоставила письменное заявление, в котором опровергает утверждение о том, что данные могут автоматически передаваться в облако без явного согласия пользователя. Она подчеркнула: «Содержимое, хранящееся локально, не может автоматически инициировать передачу в облако и не обходит настройки продукта. Для передачи данных в облако требуется явное подтверждение для каждой операции, а также включение режима работы, ограничивающего доступ только к локальным данным».
Шах отметила, что такая передача данных возможна только в том случае, если пользователь предварительно включил соответствующую опцию в настройках приложения. «Если эта опция не активирована, передача данных в облако невозможна», – заявила она, подчеркнув, что продукт накладывает ограничения на доступные данные и действия для пользователя.
Она добавила, что пользователь должен также подтвердить запрос на отправку части задачи в облако непосредственно в приложении, и что, как показано в вводном видео, всплывающее окно с запросом имеет тот же размер, что и поле ввода. Кроме того, она отметила: «Передача данных в облако разрешена только один раз и не распространяется на остальные части задачи или на последующие сеансы».
