기술 블로그
AI 대규모 모델, API 개발 및 최신 기술 트렌드 탐구 — 8341TokenFactory 팀의 기술 공유
실리콘-카본 상변화 관점: 대규모 모델 API 비용 폭주를 일으키는 네 가지 숨은 비용과 계층형 라우팅 논리
백엔드와 AI 애플리케이션 개발을 하는 동료들이라면 아마 이런 순간을 겪어봤을 것이다. 월말에 클라우드 청구서를 열어보니 대규모 모델 API 지출이 예산의 3배다. 공격을 받은 것도 아니고, 비즈니스가 폭증한 것도 아닌데, 온라인 대화 서비스가 조용히 돈을 태워버린 것이다. 이
token8341 실전: 제로에서 스마트 고객서비스 프로토타입 구축하기, 대규모 언어 모델 API 연동의 5가지 함정
지난달에 갓 전환 배치된 동료와 함께 스마트 고객서비스 프로토타입을 만들었는데, 요구사항은 아주 간단했습니다. 사용자가 질문하면 모델이 답변하고, 약간의 컨텍스트 기억이 있고, 스트리밍 타이핑이 되는 것. 이틀이면 끝낼 것 같았는데, 결과적으로 그는 API Key 하드코딩, 재
token8341 실전: DeepSeek, Qwen, Doubao 세 가지 API 연동, 인증·과금·타임아웃을 어떻게 통일할까
지난달 지능형 고객 서비스 프로젝트를 맡았는데, 비즈니스 담당자는 DeepSeek, Qwen, Doubao 세 가지 대규모 모델을 동시에 연동하라고 요구했습니다. 이유는 "어디가 저렴한지에 따라 쓰고, 어디가 속도 제한이 걸리면 다른 걸로 전환한다"는 것이었습니다. 듣기에는 합
token8341 트렌드 관찰: 대규모 모델 API 선정, 왜 더 이상 순위표만 보지 않는가
2년 전 한 크로스보더 고객서비스 시스템을 만드는 팀의 아키텍처 리뷰를 도왔을 때, 회의실 화이트보드에는 각 모델의 벤치마크 비교가 가득했다. MMLU, CEval, HumanEval, 누가 0.몇 퍼센트 높은지를 두고도 한참을 논쟁했다. 올해 다시 가보니, 같은 팀의 화이트보
코드를 변경하지 않고 LLM 제공업체를 전환하는 방법
대부분의 사람들은 프로젝트를 시작할 때 제공업체 이식성을 고려하지 않습니다. 가장 가입하기 쉬운 벤더에서 키를 받아 통합을 작성하고 배포합니다. 몇 달 후 벤치마크를 읽거나, 청구서를 열거나, 속도 제한에 부딪히면서 다른 것을 시도하고 싶어집니다. 바로 그때 문제가 드러나는데,
LLM API 가격 비교: 어그리게이터가 비용을 절감해 주는 방법
LLM 제공업체를 한 곳만 사용해 본 적이 있다면, 그 제공업체의 가격 페이지에 있는 정가가 곧 가격이라고 생각하기 쉽습니다. 하지만 그렇지 않습니다. 그것은 소비자가 가격이며, 대부분의 소비자가 가격처럼 그 안에는 상당한 마진과 구조가 녹아 있습니다. 어그리게이터는 바로 그