일레븐랩스, ‘더빙 v2’ 출시… 전 세계 92개 언어 지원
이달 6일부터 일레븐 API로 제공
구글 검색 선호 매체로 추가
AI 오디오 연구 및 개발 전문 스타트업 일레븐랩스(ElevenLabs)는 이달 6일부터 신규 더빙 AI 모델 ‘더빙 v2(Dubbing v2)’를 ‘일레븐 API(ElevenAPI)’로 제공한다고 10일 밝혔다.
지난 5월 28일 UI 버전으로 선행 공개됐던 더빙 v2는 음성을 음성으로 직접 변환하는(audio-to-audio) 아키텍처를 채택한 모델이다. 이번 API 공개로 개발자와 기업들은 자사 제품 및 워크플로우에 직접 연동하고 통합할 수 있게 됐다.
특히 기존의 ‘음성 인식 → 번역 → 음성 합성(클론 보이스)’ 파이프라인 방식과 달리, 입력된 음성을 기반으로 음성 출력을 직접 생성하기 때문에 원본의 감정 표현과 퍼포먼스의 섬세한 뉘앙스를 더 충실하게 반영할 수 있다는 것이 회사 측의 설명이다.
아울러 더빙 v2는 감정·퍼포먼스의 재현력이 향상됐고, 발화 타이밍과 영상 간 싱크 정확도 역시 개선됐다. 또 전 세계 92개를 지원하는 자연스러운 다국어 번역을 제공한다. 다만 라이브 스트리밍 영상 등의 실시간 다국어 더빙 기능은 이번 출시 범위에 포함돼 있지 않다.
한편 일레븐랩스는 이번 모델이 콘텐츠 로컬라이제이션, 다국어 마케팅, 다국어 더빙, 해외 콘텐츠의 한국어 더빙 등 글로벌 고객을 대상으로 한 기업들의 고품질 콘텐츠 제작과 양방향 언어 번역에 활용될 것으로 기대하고 있다.
일레븐랩스 관계자는 “기존 영화 및 TV급 품질의 더빙 작업은 분당 수백 달러 규모의 높은 비용이 소요됐다”며 “더빙 v2는 이러한 고품질 더빙을 합리적인 비용을 더 폭넓은 기업 고객층이 이용할 수 있도록 지원하는 것을 목표로 한다”고 밝혔다.
뉴스콘텐츠는 저작권법 제7조 규정된 단서조항을 제외한 저작물로서 저작권법의 보호대상입니다. 본 기사를 개인블로그 및 홈페이지, 카페 등에 게재(링크)를 원하시는 분은 반드시 기사의 출처(로고)를 붙여주시기 바랍니다. 영리를 목적으로 하지 않더라도 출처 없이 본 기사를 재편집해 올린 해당 미디어에 대해서는 합법적인 절차(지적재산권법)에 따라 그 책임을 묻게 되며, 이에 따른 불이익은 책임지지 않습니다.
- 에디터최석영 (csyeong720@ditoday.com)
