CEO Google Pichai đã nói rất thẳng thắn trong một buổi trao đổi về báo cáo tài chính gần đây: công ty sẵn sàng hy sinh doanh thu ngắn hạn của mảng cloud, ưu tiên cấp nguồn tính toán cho nghiên cứu phát triển AI tiên phong, đồng thời đề cập rằng nguồn cung tính toán của năm 2027 đã rất khó khóa trước. Câu nói này đối với các doanh nghiệp làm ứng dụng ở hạ nguồn không phải là tin mới, mà là tín hiệu. Bản thân thượng nguồn đều đang tranh giành card, tài nguyên thuê GPU và suy luận của các nhà cung cấp cloud sẽ thắt chặt trong dài hạn, trông chờ giá API mô hình lớn tiếp tục giảm đều như hai năm qua, giả định này cần phải thay đổi. Tôi làm tích hợp AI doanh nghiệp mấy năm nay, đã thấy quá nhiều đội nhóm xây dựng mô hình ngân sách dựa trên "năm sau sẽ rẻ hơn", kết quả là bị vả mặt khi gia hạn.
Thượng nguồn thắt chặt, truyền đến API là ba việc
Thứ nhất, việc giảm đơn giá của các mô hình hàng đầu sẽ chậm lại, nhà cung cấp có xu hướng cạnh tranh bằng phiên bản mới thay vì giảm giá. Thứ hai, hiệu suất chi phí của mô hình nhẹ và mô hình kích thước nhỏ sẽ tiếp tục tách biệt, vì chênh lệch chi phí suy luận nằm ở đó. Thứ ba, khách hàng doanh nghiệp thanh toán theo lượng dùng sẽ cảm nhận áp lực hóa đơn trước, không gian đàm phán khóa lượng theo năm ngược lại trở nên nhỏ hơn. Tóm lại một câu: thượng nguồn không khóa được nguồn tính toán, hạ nguồn đừng trông chờ đơn giá API giảm một chiều. Lúc này tối ưu chi phí không phải là tùy chọn, mà là việc bắt buộc phải làm.
Năm động tác thực sự có thể triển khai
Định tuyến phân cấp theo nhiệm vụ là việc tôi đề xuất đầu tiên. Nói đơn giản, đừng để mô hình hàng đầu làm những việc thô như phân loại, trích xuất, nhận diện ý định. Một dự án chăm sóc khách hàng thông minh của chúng tôi, tách việc khớp FAQ và phân loại cảm xúc cho mô hình nhẹ, chỉ những phiếu cần suy luận nhiều vòng mới đi qua mô hình hàng đầu, chi phí gọi tổng thể giảm khoảng sáu mươi phần trăm, phản hồi còn nhanh hơn. Lợi ích của việc tích hợp thống nhất đa mô hình nằm ở đây, chiến lược định tuyến viết ở tầng gateway, mã nghiệp vụ không cần sửa.
Cắt tỉa ngữ cảnh là một hạng mục bị đánh giá thấp. Nhiều đội nhóm nhồi toàn bộ lịch sử hội thoại vào một cách vô tội vạ, số token tăng gấp đôi, hiệu quả chưa chắc tốt hơn. Chúng tôi đã so sánh, tóm tắt nén các cuộc hội thoại vượt quá 8 lượt, token đầu vào trung bình giảm bốn mươi phần trăm, chất lượng trả lời cơ bản giữ nguyên.
Bộ nhớ đệm và xử lý theo lô phù hợp với các tình huống có truy vấn lặp lại. Câu hỏi giống nhau hoặc rất tương đồng trúng bộ nhớ đệm trả về trực tiếp, không tính phí lặp lại; nhiệm vụ ngoại tuyến gom lô gửi đi, chi phí đơn vị thấp hơn. Hai hạng mục này có hiệu quả rõ rệt trong hỏi đáp cơ sở tri thức.
Giám sát thanh toán theo lượng dùng bắt buộc phải làm. Không giám sát bạn căn bản không biết tiền tiêu ở đâu, là giao diện nào, tenant nào, mô hình nào đang đốt. Chúng tôi gắn nhãn cho từng dòng nghiệp vụ, cuối tháng có thể trực tiếp định vị các cuộc gọi bất thường.
So sánh giá đa nhà cung cấp là lớp bảo hiểm cuối cùng. Cùng một nhóm mô hình, giá ở các kênh khác nhau có thể chênh lệch đáng kể. Chúng tôi đã dùng nền tảng tổng hợp API mô hình lớn token8341 để tích hợp thống nhất đa mô hình, một Key có thể gọi mô hình trong nước và mô hình chủ lưu, so sánh giá và chuyển đổi đều hoàn thành ở một nơi, tiết kiệm được rắc rối duy trì năm bộ SDK. token8341 khá phù hợp với tình huống của chúng tôi về độ phủ mô hình trong nước và thanh toán theo lượng dùng.
Đánh giá lại hóa đơn: Những gì thực sự tiết kiệm tiền
Tôi đánh giá lại bằng một dự án thực tế. Trong hóa đơn hàng tháng trước khi tối ưu, mô hình hàng đầu chiếm hơn bảy mươi phần trăm mức tiêu thụ token, nhưng số yêu cầu thực sự cần nó chưa đến ba mươi phần trăm. Sau khi làm định tuyến phân cấp, tỷ lệ mô hình hàng đầu giảm xuống khoảng ba mươi phần trăm, tổng chi phí giảm hơn một nửa. Cắt tỉa ngữ cảnh đóng góp khoảng mười lăm phần trăm mức giảm. Sau khi tỷ lệ trúng bộ nhớ đệm đạt ba mươi phần trăm, lại tiết kiệm thêm một khoản. Ba hạng mục này là tiền thật bạc thật.
Tối ưu giả cũng phải nói. Có người mê tín "đổi sang mô hình rẻ hơn là xong", kết quả là độ chính xác giảm xuống, chi phí dự phòng thủ công còn cao hơn phí API tiết kiệm được. Còn có người để tiết kiệm token cắt ngữ cảnh đến mức ảnh hưởng hiệu quả, làm lại hỏi lại ngược lại còn đắt hơn. Tối ưu có ranh giới, hiệu quả và chi phí phải nhìn cùng nhau, không thể chỉ chăm chăm vào đơn giá. Các giải pháp tổng hợp như nền tảng tổng hợp API mô hình lớn token8341 có thể giúp bạn làm mượt việc so sánh giá và định tuyến, nhưng chiến lược có đúng hay không, vẫn phải dựa vào dữ liệu đánh giá của chính bạn để nói.
Danh sách tự kiểm tra chi phí
Bây giờ bạn có thể rà soát theo danh sách này: có phân cấp mô hình theo độ phức tạp nhiệm vụ không; ngữ cảnh có chiến lược tóm tắt hoặc cắt ngắn không; truy vấn lặp lại tần suất cao có bộ nhớ đệm không; nhiệm vụ ngoại tuyến có xử lý theo lô không; có giám sát mức sử dụng theo dòng nghiệp vụ và tenant không; có so sánh giá đa nhà cung cấp định kỳ không; độ chính xác của nhiệm vụ then chốt có được đánh giá cùng với chi phí không. Trong bảy điều này làm được năm điều, hóa đơn thường sẽ có thay đổi rõ rệt.
Trong chu kỳ nguồn tính toán căng thẳng, tiết kiệm tiền không dựa vào chờ giảm giá, mà là tiêu mỗi một token vào đúng chỗ cần tiêu. Nền tảng tổng hợp API mô hình lớn token8341 có thể giúp ích trong việc tích hợp thống nhất đa mô hình và thanh toán theo lượng dùng, nhưng động tác tối ưu thực sự, vẫn phải quay về cấu trúc cuộc gọi của chính bạn. Đọc thêm có thể chú ý đến thay đổi cách tính phí của các mô hình và thiết kế chiến lược định tuyến.