뉴스

딥엘, 음성 번역 AI ‘오러’ 공개… 감정·말투 변화 실시간 반영

어조·강세·발화 속도까지 번역 음성에 적용

(자료=딥엘)

글로벌 언어 AI 기업 딥엘(DeepL)이 화자의 감정과 어조, 말하는 방식의 변화를 실시간으로 반영하는 음성 번역 AI 모델 ‘오러(Aure)’를 12일 공개했다.

이번 오러는 기존에 딥엘이 선보인 음성 보존 기술을 한 단계 더 확장한 모델로 딥엘의 실시간 AI 음성 번역 제품인 ‘딥엘 보이스(DeepL Voice)’에 적용되며, 일반적인 화자의 발언 번역은 물론 어조와 감정부터 강세와 발화 속도까지 화자의 말하는 방식에 나타나는 변화를 번역 음성에 지속적으로 반영하는 것이 특징이다. 

기존 딥엘 보이스는 대화 초반의 고정된 음성 샘플을 기준으로 번역 음성을 생성해왔다. 때문에 화자가 누구인지는 반영할 수 있었지만 대화 도중 달라지는 감정이나 강세, 발화 속도, 비꼬는 표현처럼 발화 내용과 실제 의미가 달라지는 상황까지 실시간으로 표현하는 데는 한계가 있었다. 오러는 입력되는 음성을 지속적으로 분석하고 번역된 내용과 원본 음성을 함께 활용해 각 문장을 어떤 방식으로 전달할지 결정한다.

이를 통해 단순히 말의 내용을 전달하는 것을 넘어, 대화를 자연스럽고 효과적으로 만드는 화자의 개성과 미묘한 뉘앙스, 표현까지 더욱 충실하게 보존할 수 있다는 것이 회사 측의 설명이다.

실제 대화 환경에 대응하기 위한 기술적 개선도 이뤄졌다. 오러는 배경 소음과 울림, 오디오 왜곡 속에서 화자의 고유한 음성 특성과 운율을 분리해 추출하고, 다른 언어로 옮기는 과정에서도 악센트를 과장하거나 원래 목소리를 왜곡하지 않도록 설계됐다. 특히 딥엘은 화자의 음성 특성과 운율, 발화 내용을 각각 분리하는 학습 기법과 강화학습을 결합해 번역 정확도와 음성 품질을 유지하면서도 자연스러운 결과를 구현했다고 설명했다.

또한 입먼 오러는 같은 사람의 목소리도 상황에 따라 달라질 수 있다는 점도 반영한다. 예를 들어 피곤하거나 활기찬 상태, 스트레스를 받는 상황에서 나타나는 말투 차이를 구분해 화자가 말하는 순간의 목소리에 맞춰 번역 음성을 조정한다. 중요한 발표를 앞두고 말을 잠시 멈추거나 협상 중 목소리에 힘을 싣는 상황, 좋은 소식을 전하며 말투가 밝아지는 변화 등도 실시간 번역에 반영할 수 있다.

신규 모델은 별도의 설정 없이 ‘딥엘 보이스 포 온라인 미팅’, ‘딥엘 보이스 포 인퍼슨 컨버세이션’, ‘딥엘 보이스 API’에 자동 적용돼 사용이 가능하며, 딥엘은 출시 초기엔 한국어를 비롯해 영어, 독일어, 스페인어, 프랑스어, 이탈리아어, 일본어, 포르투갈어 등 8개 국가 및 지역 언어를 지원해 점진적으로 지원 언어를 확대할 예정이다.

야렉 쿠틸로브스키 딥엘 창업자 겸 CEO는 “목소리는 정체성을 이루는 핵심 요소이면서 감정을 표현하고 협업하며 다른 사람과 관계를 맺는 데 중요한 역할을 한다”며 이어 “이제 오러를 통해 표현의 아주 미세한 변화까지 발생하는 순간 바로 포착해 다른 언어로 번역된 화자의 목소리에 실시간 반영할 수 있게 됐다”며 “이는 언어가 바뀌더라도 말하는 사람의 고유한 특성이 충실히 유지되는 단계로 나아가는 중요한 진전”이라고 강조했다.

  • 에디터김동욱 (jkkims@ditoday.com)

성장하는 실무자를 위한
단 하나의 뉴스레터

뉴스레터 구독하기