SadTalker

オープンソースの「写真+音声」トーキングヘッド、セルフホスティング可能。

概要

SadTalkerはAIデジタルアクター＆リップシンクツールです。オープンソースの「写真+音声」トーキングヘッド、セルフホスティング可能。

編集部の見解 — 短編ドラマ制作におけるSadTalker

SadTalkerは西安交通大学とTencent AI Labによる、CVPR 2023発表のプロジェクトで、1枚のポートレート写真と音声トラックから、3DMMモーションモデリングを用いてトーキングヘッドを生成する。任意でGFPGANによる顔の高画質化も可能だ。ショートドラマにおける我々の率直な見立てはこうだ——ナレーション挿入カットや様式化されたフラッシュバックの顔には使える古典的な低コストの基礎技術だが、感情的な重みを担うシーンには向かない。

LivePortraitと比べると、SadTalkerは音声駆動型であるのに対し、LivePortraitは演技駆動型だ——演者は不要で音声ファイルさえあればよく、完全合成型のパイプラインに向いている。Apache 2.0ライセンスで完全オフラインの自前ホストが可能な点は、未発表の脚本にとって実質的なプライバシー面での利点になる。ただし大きなアップデートは2023年で止まっており、安定しているが老朽化していると見るべきだ——Syncのような新しいホスト型リップシンクの方がレンダリング品質では上回る。

おすすめの人

オフラインで、単一の写真から音声駆動のトーキングヘッドを、ライセンス費用ゼロで生成したい完全合成型パイプライン向け。

注意点

2023年以降、大きなアップデートは止まっている。出力品質は現行のホスト型リップシンクツールに劣る。