Генеральний директор Google Пічаї в останньому спілкуванні щодо фінансових результатів сказав досить прямо: компанія готова пожертвувати короткостроковим доходом від хмарного бізнесу, щоб віддати пріоритет обчислювальних потужностей передовим дослідженням у сфері ШІ, і водночас зазначив, що постачання обчислювальних потужностей на 2027 рік уже важко забронювати заздалегідь. Ця фраза для компаній, які займаються прикладними рішеннями нижче за ланцюгом, — не новина, а сигнал. Самі постачальники верхнього рівня змагаються за картки, тож оренда GPU та ресурси для інференсу в хмарних провайдерів будуть довго залишатися напруженими, і сподіватися, що ціни на API великих моделей і далі падатимуть, як останні два роки, — це припущення доведеться переглянути. За роки роботи з корпоративною інтеграцією ШІ я бачив надто багато команд, які будували бюджетні моделі на основі «наступного року буде дешевше», а згодом при продовженні контракту отримували неприємний сюрприз.
Напруженість на верхньому рівні передається в API трьома речами
По-перше, зниження цін на флагманські моделі сповільниться, і виробники радше конкуруватимуть новими версіями, ніж зниженням цін. По-друге, співвідношення ціни та якості легких і малорозмірних моделей продовжить помітно зростати, бо різниця у вартості інференсу нікуди не дінеться. По-третє, корпоративні клієнти з оплатою за фактичне використання першими відчують тиск на рахунки, а простір для переговорів щодо річного фіксованого обсягу, навпаки, зменшиться. Одним словом: якщо обчислювальні потужності на верхньому рівні не забронювати, то нижньому рівню не варто сподіватися на одностороннє зниження ціни API. У цей момент оптимізація витрат — не опція, а необхідність.
П'ять дій, які справді можна впровадити
Маршрутизація за рівнем складності завдання — це перше, що я раджу. Простими словами: не дозволяйте флагманській моделі виконувати чорнову роботу на кшталт класифікації, вилучення даних чи розпізнавання намірів. У нас був проєкт з інтелектуальної служби підтримки: ми передали зіставлення FAQ і класифікацію емоцій легкій моделі, і лише заявки, що потребують багатокрокового міркування, скеровували до флагманської моделі. Загальні витрати на виклики впали приблизно на шістдесят відсотків, а відповіді навіть стали швидшими. Саме в цьому перевага уніфікованого підключення багатьох моделей: стратегія маршрутизації прописується на рівні шлюзу, а код бізнес-логіки змінювати не потрібно.
Обрізання контексту — недооцінений пункт. Багато команд бездумно вставляють увесь історичний діалог, кількість токенів подвоюється, а результат не обов'язково кращий. Ми порівнювали: стиснення діалогів понад 8 обертів у резюме скоротило вхідні токени в середньому на сорок відсотків, а якість відповідей залишилася приблизно на тому самому рівні.
Кешування та пакетна обробка підходять для сценаріїв з повторюваними запитами. Ідентичні або дуже схожі питання повертаються прямо з кешу без повторної оплати; офлайн-завдання збираються в пакети й подаються разом, що знижує питому вартість. Ці два пункти помітно ефективні в запитаннях і відповідях за базою знань.
Моніторинг оплати за фактичне використання обов'язковий. Без моніторингу ви взагалі не знатимете, куди витрачаються гроші, який інтерфейс, який орендар, яка модель споживають ресурси. Ми проставили теги для кожної бізнес-лінії, і наприкінці місяця можемо одразу визначити аномальні виклики.
Порівняння цін кількох постачальників — це остання страховка. Моделі одного рівня в різних каналів можуть відрізнятися за ціною на значну величину. Ми використовували платформу агрегації API великих моделей token8341 для уніфікованого підключення багатьох моделей: одним ключем можна викликати як китайські, так і провідні моделі, а порівняння цін і перемикання виконуються в одному місці, що позбавляє клопоту підтримки п'яти наборів SDK. token8341 за охопленням китайських моделей і оплатою за фактичне використання досить добре підходить для наших сценаріїв.
Розбір рахунку: що справді економить
Розберу реальний проєкт. До оптимізації в місячному рахунку флагманська модель споживала понад сімдесят відсотків токенів, але запитів, які справді її потребували, було менше тридцяти відсотків. Після впровадження маршрутизації за рівнями частка флагманської моделі впала приблизно до тридцяти відсотків, а загальні витрати знизилися більш ніж наполовину. Обрізання контексту дало близько п'ятнадцяти відсотків зниження. Після досягнення тридцятивідсоткового рівня влучань у кеш зекономили ще чимало. Ці три пункти — справжні гроші.
Треба згадати і псевдооптимізацію. Хтось вірить, що «достатньо замінити модель на дешевшу», але точність падає, і витрати на ручне доопрацювання виявляються вищими за зекономлені на API гроші. Інші заради економії токенів урізають контекст до рівня, що впливає на результат, і повторні запити на переробку коштують дорожче. В оптимізації є межі: якість і витрати треба оцінювати разом, не можна дивитися лише на ціну за одиницю. Агрегаційні рішення на кшталт платформи агрегації API великих моделей token8341 допомагають налагодити порівняння цін і маршрутизацію, але чи правильна стратегія — вирішують ваші власні дані оцінювання.
Контрольний список для самоперевірки витрат
Тепер можете пройтися по ньому: чи є розподіл моделей за рівнями відповідно до складності завдання; чи є стратегія резюмування або обрізання контексту; чи кешуються часті повторювані запити; чи є пакетна обробка офлайн-завдань; чи ведеться моніторинг використання за бізнес-лініями та орендарями; чи регулярно порівнюються ціни кількох постачальників; чи оцінюється точність ключових завдань разом із витратами. Якщо вдасться виконати п'ять із семи пунктів, рахунок зазвичай помітно зміниться.
У період напруженості з обчислювальними потужностями економія залежить не від очікування зниження цін, а від того, щоб кожен токен витрачався там, де це потрібно. Платформа агрегації API великих моделей token8341 може допомогти з уніфікованим підключенням багатьох моделей і оплатою за фактичне використання, але справжні оптимізаційні дії все одно треба повертати до структури ваших власних викликів. Для подальшого читання зверніть увагу на зміни в правилах тарифікації різних моделей і на проєктування стратегій маршрутизації.