원본 감정·톤을 90개 언어로… 일레븐랩스 ‘더빙 v2’ 출시
원본 특징 살린 다국어 더빙… IP 해외 진출 비용 절감
구글 검색 선호 매체로 추가
AI 오디오 연구·개발 전문 스타트업 일래븐랩스(ElevenLabs)는 영상·오디오 콘텐츠의 번역과 더빙을 한층 자연스럽게 구현하는 신규 AI 더빙 모델 ‘더빙 v2(Dubbing v2)’를 출시했다고 16일 밝혔다.
이번에 공개된 ‘더빙 v2’는 텍스트 스크립트에만 의존해 오디오를 생성하던 기존 AI 더빙의 한계인 감정과 전달력 손실 문제를 크게 개선했다. 원본 음성에 담긴 감정, 톤, 억양, 말의 간격, 전달 방식 등 화자의 실제 ‘퍼포먼스’를 직접 분석하고 이를 다국어 음성에 그대로 반영해 단순 번역을 넘어 더 자연스럽고 몰입감 있는 다국어 더빙 경험을 제공한다.
대한민국은 드라마, 영화, K-팝, 웹툰·웹소설 기반 IP, 게임, 애니메이션, VTuber 및 크리에이터 영상 등 전 세계를 대상으로 하는 강력한 콘텐츠 자산을 보유하고 있다. 하지만 기존에는 글로벌 진출을 위해 번역, 대본 작성, 성우 녹음, 오디오 편집, 타이밍 조정 등 막대한 제작 공정과 비용이 소요됐다.
일레븐렙스에 따르면, ‘더빙 v2’는 한국어 원본 콘텐츠의 화자나 캐릭터가 가진 감정 표현과 목소리의 개성을 최대한 살리며, 영어를 비롯한 90개 이상의 언어로 효율적인 확장을 지원한다.
특히 원본에서 느낄 수 있는 화자의 의도와 콘텐츠의 온도를 다른 언어권 시청자에게 그대로 전달할 수 있다. 번역 방식도 단어 직역하는 게 아닌 목표 언어의 문맥에 가장 자연스럽게 들리는 표현으로 조정해 시청자의 몰입감을 극대화한다.
음성 타이밍도 자동 조정한다. 번역 후 생성된 음성이 원본 음성의 시작과 종료 타이밍에 맞춰 정렬되도록 설계됐다. 이는 영상 자체를 조작하거나 립싱크를 강제 생성하는 방식이 아니라, 발화 타이밍을 매끄럽게 맞춰 영상 시청의 어색함을 줄여준다. 또 자동 보이스 클로닝(Voice Cloning) 기능으로 원본 화자의 음색, 피치 등을 자동 반영해 별도의 수동 클로닝 과정 없이도 화자의 개성을 살린 다국어 더빙 생성이 가능하다.
아울러, 90개 이상의 언어 스펙트럼을 지원해 영상, 팟캐스트, 기업 비즈니스 등 다양한 오디오·비디오 포맷으로 확장할 수 있다.
일레븐랩스는 국내 시장에서 이번 모델을 활발히 도입할 것으로 예상하고 있다. 드라마·영화·애니메이션 등 IP와 게임 및 인터랙티브 콘텐츠를 포함한 문화 콘텐츠 영역을 비롯해, VTuBER 및 유튜브 크리에이터, 교육·관광 및 공공 정보, 기업 교육과 브랜드 메시지 분야에서도 활용 가능할 것으로 전망된다.
앞서 일레븐랩스의 음성 AI 기술은 국내 지상파 방송사의 다큐멘터리 제작에 적용되는 등 한국 시장에서 완성도를 입증받아 왔다. SBS는 지난해 다큐멘터리 ‘괴물의 시간’ 제작 과정에 일레븐랩스의 오디오 AI 기술을 도입해 실존 인물의 목소리를 재생성했다. SBS는 국내 방송사 최초로 자체 개발한 인식형 AI 모델을 방송 제작 현장에 적용한 매체다.
홍상원 일레븐랩스 한국 총괄은 “번역된 음성이 마치 원본 화자가 실제로 그 언어를 구사한 것처럼 느끼게 만드는 것은 그동안 AI 더빙 분야의 가장 큰 난제 중 하나였다”며 “이번에 선보인 ‘더빙 v2’는 정교한 감정 재현력과 뛰어난 싱크를 바탕으로 국내 크리에이터와 마케터, 콘텐츠 기업들이 언어의 장벽을 넘어 전 세계 사람들과 더 깊고 자연스럽게 소통하는 강력한 교두보가 될 것”이라고 강조했다.
한편, ‘더빙 v2’는 일레븐랩스 UI(플랫폼)를 통해 다국어 더빙 제작을 지원한다. 대규모 콘텐츠 제작 워크플로우 또는 기존 시스템과 연동을 검토하는 기업 및 엔터프라이즈 고객을 위한 API도 순차 확대될 예정이다.
뉴스콘텐츠는 저작권법 제7조 규정된 단서조항을 제외한 저작물로서 저작권법의 보호대상입니다. 본 기사를 개인블로그 및 홈페이지, 카페 등에 게재(링크)를 원하시는 분은 반드시 기사의 출처(로고)를 붙여주시기 바랍니다. 영리를 목적으로 하지 않더라도 출처 없이 본 기사를 재편집해 올린 해당 미디어에 대해서는 합법적인 절차(지적재산권법)에 따라 그 책임을 묻게 되며, 이에 따른 불이익은 책임지지 않습니다.
- 에디터최석영 (csyeong720@ditoday.com)
