自動での吹き替えにより、映画や番組を不自然に感じる経験をしたことがある人々に朗報だ。キャラクターが変わる度に一貫しない声のトーンや、感情の抑揚が失われることがよくある。しかしながら、ElevenLabsが開発した新たなAI技術は、これらの課題を解決しようとしている。

ElevenLabsは10月10日、自らを「AI Dubbing」と称する技術を公開した。この技術は、オリジナルの声やそのニュアンスを保ったまま、コンテンツの言語を変換することが可能。わずか数分での言語変換を通じて、多くの視聴者が自分の母国語でコンテンツを楽しむことができる。

この「AI Dubbing」技術は、ElevenLabsの音声合成、音声クローニング、そしてテキストやオーディオ処理の技術を融合させることで、翻訳時にも元のコンテンツの質感を損なわない。

さらに、この技術は「Eleven Multilingual v2」というモデルを利用し、20以上の言語をサポート。その中には、英語、日本語、中国語から、フランス語、スペイン語、アラビア語など、世界の主要な言語が含まれている。

10日より、この「AI Dubbing」サービスが提供され始め、料金は翻訳したいテキストの文字数によって決まる。