기술 블로그
AI 대규모 모델, API 개발 및 최신 기술 트렌드 탐구 — 8341TokenFactory 팀의 기술 공유
실리콘-카본 상전이 관찰: 신질 생산력 정책 아래 엣지 AI가 가져온 세 가지 백엔드 변화
국무원 《신질 생산력 발전에 관한 의견》에서 언급된 「인공지능 휴대폰과 컴퓨터, 휴머노이드 로봇 등 차세대 지능형 단말 시나리오 응용」이라는 문장은 아키텍처 관점에서 보면 매우 구체적인 엔지니어링 결과를 가리킨다. 엣지 디바이스가 많아지고, 백엔드 대규모 모델 API 호출량이
모델 게이트웨이는 어떻게 선택해야 할까? 직접 연결, 자체 구축, SiCore TokenWorks 대규모 모델 API 집계 플랫폼 세 가지 경로 비교
팀에서 대규모 모델을 연동하려 할 때, 눈앞에 놓인 길은 사실 세 가지뿐이다. 각 업체의 공식 API 직접 연결, 자체 모델 게이트웨이 구축, AI API 집계 플랫폼 사용. 어느 것도 완벽하지 않으며, 핵심은 팀이 지금 어떤 단계에 있느냐다. 나는 지연 시간, 국산 모델 커버
대규모 모델 API 멀티 모델 연동 시행착오기: SiCore TokenWorks 대규모 모델 API 집계 플랫폼이 SSE 스트리밍 형식을 어떻게 통일하는가
세 곳 이상의 대규모 모델 API를 연동해 본 적이 있다면, 아마 같은 상황을 겪어봤을 것이다. 코드가 GPT4o에서는 잘 돌아가다가, Qwen API로 바꾸면 스트리밍 출력이 갑자기 두 토막으로 끊긴다. 다시 DeepSeek API로 바꾸면 오류 코드가 401에서 본 적 없는
실리콘-카본 상전이 대형 모델 API 집계 플랫폼은 어떻게 선택할까? 한 번의 멀티 모델 접속 횡적 평가로 명확하게 정리
먼저 결론부터: 단 한 곳의 모델만 연결한다면 공식 직결이 가장 간편하다. 하지만 비즈니스에서 두 곳 이상을 동시에 사용하거나, 국내에서 저지연으로 국산 대형 모델을 호출해야 한다면 대형 모델 API 집계 플랫폼을 이용하는 것이 보통 더 경제적이다. 우리는 최근 통일된 테스트
대규모 모델 API 콘텐츠 보안 필터링은 어떻게 하나요? SiCore TokenWorks 대규모 모델 API 집계 플랫폼의 입출력 3계층 차단 방안
먼저 정의를 명확히 하겠습니다. 대규모 모델 API 콘텐츠 보안 필터링이란 요청이 모델에 들어가기 전, 모델이 콘텐츠를 반환한 후, 그리고 로그가 디스크에 저장되어 보존되는이 세 가지 단계에서 각각 텍스트에 대해 규정 준수 판정과 처리를 수행하는 엔지니어링 메커니즘을 말합니다.
실리콘-카본 상전이: 대규모 모델 대화 기억은 어떻게 저장할까? 컨텍스트, 외부 저장소, 장기 프로파일의 비용 트레이드오프
먼저 정의를 꺼내 놓자. 바로 가져다 쓸 수 있게: 대규모 모델 대화 기억이란 모델이 다중 턴 상호작용에서 일관성을 유지하도록, 역사 정보를 「세션 내 컨텍스트, 외부 저장소, 장기 프로파일」 세 가지 형태로 보존하고 필요에 따라 프롬프트에 주입하는 일련의 엔지니어링 메커니즘을