컨티뉴엄 AI, OrcaRouter 인프라 업그레이드로 첫 토큰 생성 시간 최대 45% 단축

노형석 기자

작성일 2026-11-05 08:24

컨티뉴엄 AI(CONTINUUM AI)가 개발한 인공지능 라우팅 플랫폼 OrcaRouter가 전면적인 플랫폼 인프라 업그레이드를 완료했다고 3일 밝혔다. 이번 업그레이드를 통해 첫 토큰 생성 시간(TTFT)이 최대 45% 단축되었으며, 대용량 프롬프트 처리 시 발생하던 타임아웃 오류가 수정되어 추론 속도와 안정성이 동시에 향상되었다.

OrcaRouter는 이번 업그레이드로 플랫폼 전반에 걸쳐 P50, P90, P99 구간의 TTFT를 최대 45%까지 단축했다. TTFT는 사용자 요청 후 첫 번째 토큰이 출력되기까지 걸리는 대기 시간을 의미하며, P50은 중앙값, P90과 P99는 각각 응답이 가장 느린 상위 10%와 1%의 '꼬리 구간(Tail Latency)'을 나타낸다. 이 세 지표가 동시에 개선되었다는 것은 평균 속도 향상을 넘어 느린 응답 구간까지 안정적으로 처리할 수 있게 되었음을 시사한다.

또한, 대용량 요청 처리 시 발생하던 타임아웃 문제를 해결하고, 동일 클러스터 내에서 긴 프롬프트 입력 시 짧은 요청의 응답이 지연되던 현상을 차단했다. 이는 큰 요청과 작은 요청 간의 자원 경합을 완화하여 전반적인 처리 효율성을 높였다.

이번 인프라 개편은 특정 모델이나 리전에 국한되지 않고 플랫폼 전체를 대상으로 진행되었다. OrcaRouter는 지난 11월 1일 DeepSeek V4.1 Flash 클러스터를 우선 정비한 데 이어, 이번에는 더 넓은 범위의 전사 인프라를 개편했으며, 이 변경 사항은 모든 호스팅 모델에 일괄 적용된다.

대화형 애플리케이션에서는 사용자의 대기 시간을 직접적으로 줄여주고, 자동화 파이프라인에서는 전체 실행 루프가 특정 요청으로 인해 병목 현상을 겪는 것을 방지한다. 기존 API 사용자는 별도 조치 없이 속도 향상을 체감할 수 있으며, 모델별 상세 성능 데이터는 각 모델 페이지의 성능 섹션에서 확인할 수 있다.

다만, 이번 발표에서 '최대 45%'는 성능 개선의 상한선이며, 모델별, 리전별, 요청 크기별 세부 측정 수치와 독립 기관의 검증 데이터는 공개되지 않았다. 또한, 타임아웃 수정의 구체적인 기술적 원인 및 상세 조치 내역도 공지에는 포함되지 않았다.

OrcaRouter는 단일 API 키와 엔드포인트로 Claude Opus 5.5, GPT-6.1 Sol, Gemini 3.8 Flash 등 200개 이상의 모델을 제공하며, 약 40%의 비용 절감과 1밀리초 미만의 라우팅 오버헤드를 제공한다. 자체 호스팅 버전인 OrcaRouter-Lite는 MIT 라이선스로 제공된다.