技術ブログ
AI大モデル、API開発、最先端技術トレンドを探る — 8341TokenFactory チームの技術共有
SiCore相変の視点：大規模モデルAPIコストが制御不能になる4つの隠れた出費と階層型ルーティングの論理
バックエンドやAIアプリケーション開発をしている同業者なら、おそらくこんな瞬間を経験したことがあるだろう。月末にクラウドの請求書を開くと、大規模モデルAPIの支出が予算の3倍になっている。攻撃を受けたわけでも、ビジネスが急増したわけでもなく、オンラインの対話サービスが静かに金を燃やし尽くしているだけだ。この記
token8341実践：ゼロからスマートカスタマーサポートのプロトタイプを構築、大規模モデルAPI接続の5つの落とし穴
先月、異動してきたばかりの同僚とスマートカスタマーサポートのプロトタイプを作りました。要件はシンプルで、ユーザーが質問し、モデルが回答し、少しコンテキスト記憶があり、ストリーミングでタイピング表示できるというもの。2日で終わると思っていたら、彼はAPI Keyのハードコード、リトライロジック、ストリーミング接
token8341実戦：DeepSeek、Qwen、Doubaoの3社API接続——認証・課金・タイムアウトをどう統一するか
先月引き継いだインテリジェントカスタマーサービスプロジェクトで、ビジネス側からDeepSeek、Qwen、Doubaoの3社の大規模モデルを同時に接続してほしいという要望がありました。理由は「安い方を使い、どれかがレート制限に引っかかったら別のに切り替える」というものです。聞く分には合理的ですが、実際にやって
token8341トレンド観察：大規模モデルAPI選定、なぜもうランキングだけを見ないのか
2年前、越境カスタマーサポートシステムを手がけるチームのアーキテクチャレビューを手伝ったとき、会議室のホワイトボードは各社モデルのベンチマーク比較で埋め尽くされ、MMLU、CEval、HumanEval、どれが0.数ポイント高いかで半日議論していた。今年再訪すると、同じチームのホワイトボードには別の数字群が並
コードを変更せずにLLMプロバイダーを切り替える方法
ほとんどの人は、プロジェクトを始めるときにプロバイダーの移植性について考えません。最も登録しやすいベンダーからキーを取得し、統合を書いて、出荷します。数か月後、ベンチマークを読んだり、請求書を開いたり、レート制限にぶつかったりして、別のものを試したくなります。そこで痛みが現れます。なぜなら、最初のプロバイダー
LLM APIの料金比較：アグリゲーターがコストを削減する仕組みみ
これまでに1つのLLMプロバイダーしか使うったことがないなら、そのプロバイダーの料金ページに載るっている定価がそのまま価格だと思うっているかもしれない。そうではない。それは小さい売価格であり、ほとんどの小さい売価格と同じ様に、多いくのマージンと構造が織り込むむり込むまれている。アグリゲーターは、まさにその構造