Стоимость использования больших языковых моделей (LLM) снижается, но общие затраты на ИИ растут
Недавнее исследование Gartner предсказывает, что к 2030 году стоимость токенов в больших языковых моделях (LLM) упадет на 95%, однако затраты на обработку результатов в рамках автоматизированных рабочих процессов вырастут более чем в пять раз в течение следующих двух лет. Это связано с тем, что разработчики приложений на базе ИИ используют все больше токенов, а также более сложные и, следовательно, более дорогие LLM. Аналитики Gartner называют это явление "парадоксом вывода".
Как отмечают Вилл Соммер и Сабине Циммерхансле в своем отчете, "темп инноваций опережает текущие затраты". "На рынке сложилась иллюзия снижения стоимости токенов", – заключают эксперты. Покупатели ошибочно полагают, что улучшение экономической ситуации на рынке LLM автоматически приведет к снижению их затрат. Однако, на самом деле, это не произойдет.
Колонии" агентов активно потребляют ресурсы
Аналитики отмечают, что искусственный интеллект приносит значительную пользу, зачастую превосходя человека в выполнении рутинных задач, причем зачастую быстрее. Кроме того, интеллектуальные агенты способны быстрее выявлять закономерности в отдельных системах. Например, по данным Gartner, агенты поддержки клиентов сократили время ответа на 99%.
Тем не менее, по мнению Sommer и Zimmerhansl, с развитием искусственного интеллекта растет потребность в токенах, и их стоимость может колебаться. Более продвинутые агенты, способные к рассуждению, могут стоить в 150 раз дороже базовых чат-ботов при выполнении одной задачи.
Простой чат-бот должен обработать запрос и предоставить "вероятностно адекватный" ответ. Однако, по мере развития, агенты должны уметь не только отвечать, но и задавать вопросы, адаптироваться к возникающим проблемам, а также работать непрерывно, часто незаметно, в фоновом режиме.
"Им необходимо проверять свои результаты на точность, без участия человека", – утверждают аналитики. "Им также нужно обмениваться информацией с другими агентами".
Разработка и эксплуатация таких систем требует значительных ресурсов, и потребление токенов растет экспоненциально, особенно когда активируются и взаимодействуют друг с другом все больше автономных агентов. Это влечет за собой "очень высокие затраты на вычислительные ресурсы" еще до того, как пользователь получит результат, отмечают аналитики.
Стоимость аппаратного обеспечения для обучения моделей, способных к продвинутому рассуждению, в 2,5 раза выше, чем для обучения простых чат-ботов аналогичного размера, сообщают исследователи. Кроме того, затраты на вычисления для агентов в 5 раз выше, и для выполнения аналогичных задач агентам требуется в 5-30 раз больше токенов, чем чат-боту.
"Представьте себе, какие затраты возникнут при работе с сотнями агентов, способных выполнять десятки или даже сотни задач в час", – заявили аналитики. Затраты продолжают стремительно расти, поскольку агенты разбивают многие задачи на несколько небольших, обращаются к более сложным моделям и требуют мультимодальных данных.
"Объем вычислительных ресурсов, необходимых для реализации этих возможностей, поражает воображение", – отметили аналитики.
Для оценки влияния систем, основанных на принципах агентства, компания Gartner разработала модель экономики токенов, учитывающую различные сценарии обучения и работы. В эту модель были включены различные варианты архитектуры (количество слоев, использование больших языковых моделей в качестве "судьи" или в виде комбинации экспертов), технологические улучшения, характеристики оборудования и другие факторы, влияющие на стоимость (стоимость данных, инфраструктуры, электроэнергии, оплаты труда).
В ходе исследования были протестированы 12 различных моделей искусственного интеллекта с разными возможностями. Было установлено, что стоимость базовых сценариев работы составляет около 0,05 доллара за токен; суммирование и поиск информации – примерно 0,10 доллара; более сложные сценарии – около 0,30 доллара; а планирование и обучение – примерно 0,40 доллара за токен. Это означает, что стоимость одного токена для задач планирования и обучения в 8-10 раз выше, чем для базовых сценариев.
Эксперты Sommer и Zimmerhansl отмечают: "Стоимость, скорее всего, будет расти, и нет никакой гарантии, что эта стоимость будет расти пропорционально. Возврат инвестиций от каждой новой генерации технологий будет достигнут с трудом".
Экономия в эпоху искусственного интеллекта: как Google, OpenAI и Copilot помогают компаниям оптимизировать расходы
Gartner отмечает, что компании могут эффективно контролировать расходы на использование моделей искусственного интеллекта, разрабатывая и поддерживая сложные, многофункциональные системы. Важно также иметь возможность оценивать рентабельность инвестиций и эффективность рабочих процессов.
Ключевым фактором станет оркестрация, позволяющая оптимизировать затраты и повысить производительность. Поэтому, по мнению Gartner, компании должны создавать системы, которые будут автоматически направлять запросы к наиболее экономически выгодной модели, и по умолчанию ограничивать использование передовых моделей для простых задач. Также важно внедрить ценообразование на основе фактического использования, перейдя от фиксированных платежей за вычислительные ресурсы к тарифным планам, которые масштабируются в зависимости от потребностей.
Эксперты также рекомендуют внедрять непрерывные циклы обновления моделей. "Рассматривайте каждую новую версию модели как "новый автомобиль", который теряет стоимость с первого дня", – заключают они, и предлагают использовать механизмы тонкой настройки данных и самообучения.
Разработчики также должны устанавливать минимальные стандарты для работы с искусственным интеллектом: определять критерии успеха и меры по снижению рисков и обеспечению соответствия требованиям на ранних этапах. "Не допускайте развертывание, пока сценарии не будут протестированы на устойчивость к колебаниям цен на токены и затратам на соответствие требованиям", – подчеркивают аналитики.
Gartner рекомендует при планировании разработки продуктов учитывать стоимость каждой функции искусственного интеллекта. Это означает, что каждая функция должна прогнозировать и отслеживать свои затраты, опираясь на четкий показатель результата, например, количество автоматизированных задач или успешно решенных проблем. Это позволит выявить неэффективные процессы, требующие оптимизации или, в крайнем случае, отзыва.
Тем не менее, возврат инвестиций вполне возможен, но для этого потребуются значительные усилия в сложных рабочих процессах. Аналитики подчеркнули, что предприятия не могут полагаться только на традиционные системы и процессы. "Использование универсальных решений в области автономного интеллекта может привести к неконтролируемо высоким затратам, которые в несколько раз превысят затраты на оптимизированные экосистемы продуктов", – отмечают эксперты.
