AI Papers

[논문] 기업용 실시간 음성 에이전트를 처음부터 구축하기: 기술 튜토리얼

scott

07 3월 2026 — 4 min read

기업용 실시간 음성 에이전트를 처음부터 구축하기: 기술 튜토리얼

📄 논문 | Jielin Qiu, Zixiang Chen, Liangwei Yang et al.

게재일: 2026. 3. 6. | arXiv: 2603.05413v1

📥 PDF 다운로드 🔗 원문 보기

📝 한국어 요약

본 연구는 기업 수준의 실시간 음성 에이전트를 처음부터 구축하는 방법을 단계별로 설명하는 기술 튜토리얼입니다. 저자들은 단일 음성-음성 모델이 아닌, STT→LLM→TTS의 파이프라인 구조가 실시간 상호작용에 더 적합함을 밝혔습니다. 이를 통해 947ms의 낮은 지연 시간을 달성하는 완전한 코드베이스를 공개하여 실무자들이 실시간 음성 에이전트를 직접 구축할 수 있도록 돕습니다.

💡 핵심 발견

네이티브 음성-음성 모델은 고품질 오디오 생성이 가능하지만 실시간 상호작용에는 너무 느립니다(첫 오디오 생성 시간 약 13초).
업계 표준 접근 방식은 STT→LLM→TTS의 계단식 스트리밍 파이프라인을 사용합니다.
'실시간'의 핵심은 단일 빠른 모델이 아니라 구성 요소 간의 스트리밍과 파이프라이닝입니다.

🎓 교육적 시사점

이 연구는 복잡한 AI 시스템을 구축하는 데 있어 단순히 강력한 모델을 선택하는 것뿐만 아니라, 구성 요소 간의 효율적인 파이프라인 설계가 얼마나 중요한지 보여줍니다. 또한 실제로 구동 가능한 완전한 코드베이스를 공개함으로써 이론을 넘어 실제 구현에 도움을 주어 AI 교육의 실용성을 높이는 데 기여할 것입니다.

📖 초록 (한국어 번역)

저희는 기본 원칙에서 출발하여 기업 수준의 실시간 음성 에이전트를 구축하는 기술 튜토리얼을 제시합니다. 25개가 넘는 오픈소스 음성-음성 모델과 수많은 음성 에이전트 프레임워크가 존재하지만, 개별 구성 요소부터 작동하는 스트리밍 음성 에이전트에 이르기까지 전체 파이프라인을 설명하는 단일 자원은 없었습니다. 체계적인 조사를 통해 다음과 같은 사실을 발견했습니다. (1) Qwen2.5-Omni와 같은 네이티브 음성-음성 모델은 고품질 오디오 생성이 가능하지만 실시간 상호작용에는 너무 느립니다(첫 오디오 생성 시간 약 13초); (2) 업계 표준 접근 방식은 STT→LLM→TTS의 계단식 스트리밍 파이프라인을 사용하며, 각 구성 요소가 출력을 다음 구성 요소로 스트리밍합니다; (3) '실시간'의 핵심은 단일 빠른 모델이 아니라 구성 요소 간의 스트리밍과 파이프라이닝입니다. 저희는 Deepgram(스트리밍 STT), 함수 호출 기능이 있는 vLLM으로 제공되는 LLM(스트리밍 텍스트 생성), ElevenLabs(스트리밍 TTS)를 사용하여 완전한 음성 에이전트를 구축했으며, 클라우드 LLM API를 사용한 측정 결과 P50 첫 오디오 생성 시간이 947ms(최적의 경우 729ms)이며, NVIDIA A10G GPU에서 자체 호스팅되는 vLLM을 사용할 때도 유사한 지연 시간을 달성했습니다. 저희는 모든 구성 요소에 대해 작동하는 테스트된 코드가 포함된 튜토리얼로 전체 코드베이스를 공개합니다.

📋 원문 초록 (Abstract)

We present a technical tutorial for building enterprise-grade realtime voice agents from first principles. While over 25 open-source speech-to-speech models and numerous voice agent frameworks exist, no single resource explains the complete pipeline from individual components to a working streaming voice agent with function calling capabilities. Through systematic investigation, we find that (1) native speech-to-speech models like Qwen2.5-Omni, while capable of high-quality audio generation, are too slow for realtime interaction ($\sim$13s time-to-first-audio); (2) the industry-standard approach uses a cascaded streaming pipeline: STT $\rightarrow$ LLM $\rightarrow$ TTS, where each component streams its output to the next; and (3) the key to ``realtime'' is not any single fast model but rather \textit{streaming and pipelining} across components. We build a complete voice agent using Deepgram (streaming STT), vLLM-served LLMs with function calling (streaming text generation), and ElevenLabs (streaming TTS), achieving a measured P50 time-to-first-audio of 947ms (best case 729ms) with cloud LLM APIs, and comparable latency with self-hosted vLLM on NVIDIA A10G GPU. We release the full codebase as a tutorial with working, tested code for every component.

본 요약은 AI가 작성했습니다. 원문은 위의 링크에서 확인하세요.