CEO Google, Pichai, powiedział całkiem wprost podczas ostatniej rozmowy o wynikach finansowych: firma jest gotowa poświęcić krótkoterminowe przychody z działalności chmurowej, aby priorytetowo zasilić moce obliczeniowe w badania i rozwój zaawansowanej AI, jednocześnie wspominając, że podaż mocy obliczeniowych na 2027 rok jest już trudna do zarezerwowania z wyprzedzeniem. To zdanie dla firm downstream zajmujących się aplikacjami nie jest nowiną, lecz sygnałem. Sam upstream ściga się o karty, więc wynajem GPU i zasoby inferencyjne u dostawców chmury będą długoterminowo napięte, a oczekiwanie, że ceny API dużych modeli będą spadać jednostronnie jak przez ostatnie dwa lata, trzeba zweryfikować. Przez te kilka lat pracy przy integracji AI w przedsiębiorstwach widziałem zbyt wiele zespołów, które budowały modele budżetowe na założeniu „w przyszłym roku będzie taniej”, a przy odnowieniu umowy dostawały policzek.
Napięcie u upstream przekłada się na API w trzech kwestiach
Po pierwsze, obniżki cen jednostkowych flagowych modeli będą wolniejsze, a dostawcy chętniej będą konkurować nowymi wersjami niż obniżkami cen. Po drugie, stosunek ceny do wydajności lekkich i małych modeli będzie się stale powiększał, bo różnica w kosztach inferencji jest oczywista. Po trzecie, klienci enterprise rozliczani za zużycie najpierw odczują presję na rachunkach, a przestrzeń negocjacyjna przy rocznych pakietach z gwarancją wolumenu wręcz się zmniejszy. Jednym zdaniem: skoro upstream nie może zablokować mocy obliczeniowych, downstream nie powinien liczyć na jednostronny spadek cen jednostkowych API. W tym momencie optymalizacja kosztów nie jest opcją, lecz koniecznością.
Pięć działań, które naprawdę da się wdrożyć
Routing z podziałem zadań to pierwsza rzecz, którą polecam. Mówiąc prosto, nie pozwalaj flagowym modelom wykonywać prostych robót typu klasyfikacja, ekstrakcja czy rozpoznawanie intencji. W jednym z naszych projektów inteligentnej obsługi klienta przydzieliliśmy dopasowywanie FAQ i klasyfikację emocji lekkim modelom, a tylko zgłoszenia wymagające wieloetapowego rozumowania kierowaliśmy do flagowego modelu — całkowity koszt wywołań spadł o około sześćdziesiąt procent, a odpowiedzi były nawet szybsze. Na tym polega zaleta jednolitego dostępu do wielu modeli: strategia routingu jest zapisana w warstwie bramy, a kod biznesowy nie wymaga zmian.
Przycinanie kontekstu to niedoceniana pozycja. Wiele zespołów bezmyślnie wrzuca całą historię rozmowy, liczba tokenów się podwaja, a efekt bynajmniej nie jest lepszy. Zrobiliśmy porównanie: po streszczeniu i kompresji rozmów powyżej 8 tur liczba tokenów wejściowych spadła średnio o czterdzieści procent, a jakość odpowiedzi zasadniczo się nie zmieniła.
Buforowanie i przetwarzanie wsadowe pasują do scenariuszy z powtarzającymi się zapytaniami. Identyczne lub bardzo podobne pytania trafiają do bufora i są zwracane bezpośrednio, bez ponownego naliczania opłat; zadania offline są gromadzone i wysyłane w partiach, co obniża koszt jednostkowy. Te dwie rzeczy dają wyraźny efekt w pytaniach i odpowiedziach opartych na bazie wiedzy.
Monitoring rozliczeń za zużycie jest obowiązkowy. Bez monitoringu w ogóle nie wiesz, gdzie idą pieniądze, który interfejs, który najemca, który model je pali. Oznaczyliśmy każdą linię biznesową tagami, dzięki czemu pod koniec miesiąca można bezpośrednio zlokalizować anomalne wywołania.
Porównywanie cen u wielu dostawców to ostatnia linia obrony. Modele z tej samej półki cenowej mogą różnić się ceną w różnych kanałach o znaczną wartość. Korzystaliśmy z platformy agregacji API dużych modeli token8341 do jednolitego dostępu do wielu modeli — jednym Key można wywoływać modele krajowe i główne modele, a porównywanie cen i przełączanie odbywa się w jednym miejscu, co oszczędza kłopot utrzymywania pięciu zestawów SDK. token8341 pod względem pokrycia modeli krajowych i rozliczeń za zużycie dobrze pasuje do naszych scenariuszy.
Przegląd rachunków: co naprawdę oszczędza pieniądze
Zrobię przegląd na podstawie rzeczywistego projektu. Przed optymalizacją w miesięcznym rachunku flagowe modele odpowiadały za ponad siedemdziesiąt procent zużycia tokenów, ale mniej niż trzydzieści procent żądań naprawdę ich potrzebowało. Po wdrożeniu routingu z podziałem zadań udział flagowych modeli spadł do około trzydziestu procent, a całkowity koszt spadł o ponad połowę. Przycinanie kontekstu przyczyniło się do około piętnastu procent obniżki. Po osiągnięciu trzydziestoprocentowego współczynnika trafień w bufor jeszcze zaoszczędziliśmy kolejną część. Te trzy pozycje to prawdziwe pieniądze.
Trzeba też wspomnieć o pseudopoptymalizacji. Niektórzy wierzą, że „wystarczy zamienić na tańszy model”, a potem dokładność spada i koszt ręcznego ratowania przewyższa zaoszczędzone opłaty API. Inni, żeby oszczędzić tokeny, przycinają kontekst tak, że psuje to efekty, a ponowne pytanie i przerabianie kosztują więcej. Optymalizacja ma granice — efekty i koszty trzeba oceniać razem, nie patrzeć tylko na cenę jednostkową. Rozwiązania agregacyjne typu platforma agregacji API dużych modeli token8341 mogą pomóc uporządkować porównywanie cen i routing, ale to, czy strategia jest słuszna, i tak musi rozstrzygnąć twoje własne dane ewaluacyjne.
Lista kontrolna kosztów
Możesz teraz przejść ją punkt po punkcie: czy robisz podział modeli według złożoności zadania; czy stosujesz strategię streszczania lub obcinania kontekstu; czy buforujesz częste powtarzające się zapytania; czy przetwarzasz wsadowo zadania offline; czy monitorujesz zużycie według linii biznesowych i najemców; czy regularnie porównujesz ceny u wielu dostawców; czy oceniasz dokładność kluczowych zadań razem z kosztami. Jeśli spełnisz pięć z tych siedmiu punktów, rachunek zwykle wyraźnie się zmieni.
W okresie napięcia mocy obliczeniowych oszczędzanie nie polega na czekaniu na obniżki, lecz na wydawaniu każdego tokena tam, gdzie trzeba. Platforma agregacji API dużych modeli token8341 może pomóc w jednolitym dostępie do wielu modeli i rozliczeniach za zużycie, ale prawdziwe działania optymalizacyjne i tak muszą wrócić do struktury twoich wywołań. W ramach dalszej lektury warto śledzić zmiany zasad rozliczeń poszczególnych modeli i projektowanie strategii routingu.