Генеральный директор Google Сундар Пичаи в ходе недавнего обсуждения финансовых результатов сказал прямо: компания готова пожертвовать краткосрочной выручкой облачного бизнеса, чтобы в первую очередь направить вычислительные мощности на передовые исследования в области ИИ, и при этом отметил, что предложение вычислительных мощностей на 2027 год уже трудно забронировать заранее. Для компаний, занимающихся прикладными решениями на нижестоящем уровне, это не новость, а сигнал. Сам верхний уровень гонится за картами, поэтому аренда GPU и ресурсы для инференса у облачных провайдеров будут оставаться в долгосрочном дефиците, и надежда на то, что цены на API больших моделей будут падать так же, как последние два года, — это допущение, которое придётся пересмотреть. За годы работы с корпоративной интеграцией ИИ я видел слишком много команд, которые строили бюджетные модели на «в следующем году будет дешевле», а при продлении подписки получали неприятный сюрприз.
Напряжение на верхнем уровне передаётся в API в трёх вещах
Во-первых, снижение удельных цен флагманских моделей замедлится — производители охотнее будут конкурировать новыми версиями, а не снижением цен. Во-вторых, разрыв в экономической эффективности между лёгкими и малыми моделями будет и дальше увеличиваться, потому что разница в стоимости инференса никуда не денется. В-третьих, корпоративные клиенты с оплатой по факту потребления первыми почувствуют давление на счета, а пространство для переговоров о годовых пакетах с фиксированным объёмом, наоборот, сузится. Одним словом: если на верхнем уровне вычислительные мощности не забронировать, то на нижнем не стоит рассчитывать на одностороннее снижение удельных цен на API. В такой ситуации оптимизация затрат — не опция, а необходимость.
Пять действий, которые действительно работают
Маршрутизация по уровням задач — первое, что я продвигаю. Проще говоря, не позволяйте флагманской модели заниматься грубой работой вроде классификации, извлечения данных и распознавания намерений. В одном нашем проекте по интеллектуальной поддержке клиентов мы перевели сопоставление FAQ и классификацию эмоций на лёгкую модель, и только заявки, требующие многошагового рассуждения, шли через флагманскую модель — общая стоимость вызовов снизилась примерно на 60%, а ответы стали даже быстрее. В этом и преимущество единого подключения нескольких моделей: стратегия маршрутизации прописывается на уровне шлюза, бизнес-код менять не нужно.
Сокращение контекста — недооценённый пункт. Многие команды бездумно загружают всю историю диалога, число токенов удваивается, арезультат не обязательно лучше. Мы проводили сравнение: при сжатии диалогов длиннее 8 раундов в резюме входные токены в среднем сократились на 40%, а качество ответов осталось практически тем же.
Кэширование и пакетная обработка подходят для сценариев с повторяющимися запросами. Одинаковые или очень похожие вопросы при попадании в кэш возвращаются сразу и не тарифицируются повторно; офлайн-задачи накапливаются в пакеты и отправляются вместе, что снижает удельную стоимость. В вопросах-ответах по базе знаний эти два пункта дают заметный эффект.
Мониторинг оплаты по факту потребления обязателен. Без мониторинга вы просто не знаете, куда уходят деньги — какой интерфейс, какой арендатор, какая модель сжигает бюджет. Мы проставили теги каждой бизнес-линии, и в конце месяца сразу видно аномальные вызовы.
Сравнение цен у нескольких поставщиков — последняя страховка. У моделей одного уровня цены у разных каналов могут различаться на ощутимую величину. Мы использовали агрегаторную платформу API для больших моделей token8341 для единого подключения нескольких моделей: один Key даёт доступ к отечественным и основным моделям, сравнение цен и переключение выполняются в одном месте, и нам не нужно поддерживать пять наборов SDK. token8341 по охвату отечественных моделей и оплате по факту потребления хорошо подходит для наших сценариев.
Разбор счетов: что действительно экономит деньги
Приведу разбор реального проекта. До оптимизации в месячном счёте флагманская модель занимала более 70% потребления токенов, но запросов, которым она действительно была нужна, было менее 30%. После внедрения маршрутизации по уровням доля флагманской модели упала примерно до 30%, а общая стоимость снизилась более чем вдвое. Сокращение контекста дало около 15% снижения. После того как доля попаданий в кэш достигла 30%, удалось сэкономить ещё часть. Эти три пункта — реальные деньги.
Стоит сказать и о псевдооптимизации. Некоторые верят, что «достаточно перейти на более дешёвую модель», в результате точность падает, и стоимость ручной подстраховки оказывается выше сэкономленных денег на API. Другие ради экономии токенов урезают контекст до такой степени, что страдает качество, и повторные переспросы обходятся дороже. У оптимизации есть границы:результат и стоимость нужно смотреть вместе, а не только на удельную цену. Агрегаторные решения вроде платформы token8341 помогают наладить сравнение цен и маршрутизацию, но правильность стратегии всё равно должна подтверждаться вашими собственными данными оценки.
Чек-лист самопроверки затрат
Сейчас можно пройтись по пунктам: есть ликлассификация моделей по сложности задач; есть ли стратегия резюмирования или усечения контекста; кэшируются ли частые повторяющиеся запросы; есть ли пакетная обработка офлайн-задач; ведётся ли мониторинг потребления по бизнес-линиям и арендаторам; проводится ли регулярное сравнение цен у нескольких поставщиков; оценивается ли точность ключевых задач вместе со стоимостью. Если из этих семи пунктов выполняются пять, счёт обычно заметно меняется.
В период дефицита вычислительных мощностей экономия достигается не ожиданием снижения цен, а тем, чтобы каждый токен тратился там, где нужно. Агрегаторная платформа API для больших моделей token8341 может помочь с единым подключением нескольких моделей и оплатой по факту потребления, но настоящие оптимизационные действия всё равно нужно применять к собственной структуре вызовов. Для дальнейшего чтения стоит следить за изменениями в правилах тарификации моделей разных производителей и за проектированием стратегий маршрутизации.