And Family Voice 研究所
音声処理

AIが家族の対話を「声」で再現する未来：複数話者・長時間対応の音声合成技術『MOSS-TTSD』

📄 MOSS-TTSD: Text to Spoken Dialogue Generation

✍️ Zhang, Y., Yu, D., Lin, Z., Jiang, B., Chen, M., Jiang, Y., Zhao, Y., Zhang, Y., Yuan, Y., Chen, H., Huang, K., Zhan, J., Chang, C., Fei, Z., Li, S., Yang, X., Cheng, Q., Qiu, X.

📅 論文公開: 2026年3月

音声合成 TTS 対話生成 話者分離 プライバシー

3つのポイント

  1. 1

    テキストの台本から、複数人が自然に対話する音声を最大60分間も生成できる新しいAI技術が提案されました。

  2. 2

    短い音声サンプル（数秒程度）をAIに聞かせるだけで、その人の声を再現して対話に登場させることができます。

  3. 3

    生成された対話音声で「誰が話しているか」が正しいか、また「声が本人に似ているか」を客観的に評価する新しい手法も開発されました。

論文プロフィール

  • 著者 / 発表年: Yuqian Zhang氏ら / 2026年
  • 掲載先: arXiv (cs.SD, cs.CL)
  • 研究対象: テキストからの対話音声生成（Spoken Dialogue Generation）
  • 研究内容: 複数の話者が登場する長時間の対話（最大60分、5話者）を、テキストの台本から自然な音声として生成するモデル「MOSS-TTSD」を提案。短い音声から特定の人の声を再現する機能も備えています。

エディターズ・ノート

家族の会話を記録するとき、私たちはテキスト情報だけでなく、その場の温かい雰囲気や声の調子も一緒に記憶しています。

今回ご紹介する論文は、テキストの台本から、まるでポッドキャストのように複数人の自然な対話音声を生成する技術に関する研究です。

この技術は、And Family Voiceが目指す「プライバシーを守りながら、家族の記憶を豊かに残す」という未来に、新しい可能性を示してくれます。テキストの記録が、いつか「声の記録」として安全に蘇る日を想像しながら、ぜひお読みください。

実験デザイン

本研究では、テキストで書かれた対話の台本から、実際に話しているかのような音声データを生成するモデル「MOSS-TTSD」を開発しました。

モデルの仕組み

MOSS-TTSDは、以下のような流れで対話音声を生成します。

  1. 入力: 「話者A: こんにちは」「話者B: お元気ですか？」のように、誰が話したかを示すタグ付きのテキストを入力します。
  2. 声の再現: 特定の話者の声を再現したい場合、その人の短い音声クリップ（数秒）を同時に参照させます（Zero-shot Voice Cloning）。
  3. 音声生成: モデルが文脈を理解し、話者の交代や声のトーンを考慮しながら、一貫性のある長時間の対話音声を一括で生成します。

この仕組みにより、従来の音声合成（TTS）が苦手としていた、複数話者間の自然なやり取りや、長時間の会話でも破綻しない安定性を実現しようとしています。

🔍 Zero-shot Voice Cloningとは？

「Zero-shot Voice Cloning」とは、AIモデルの学習データに全く含まれていない人の声でも、ほんの数秒の音声サンプルを与えるだけで、その声をコピーして任意のテキストを読み上げさせることができる技術です。

これにより、事前に特定の声でモデルを再学習させる必要がなく、柔軟に様々な人の声で音声を生成できます。この技術はエンターテイメントに応用される一方、声のアイデンティティやプライバシー保護の観点から慎重な扱いが求められます。

評価と結果

研究チームは、生成された音声の品質を客観的・主観的な側面から評価しました。特に、対話音声ならではの品質を測るため、独自の評価フレームワーク「TTSD-eval」を提案しています。

  • 話者割り当て精度 (Speaker Attribution Accuracy): 生成された音声で、意図した話者（例：話者A）が正しく話しているかの精度。
  • 話者類似度 (Speaker Similarity): 再現された声が、元の参照音声とどれだけ似ているか。
  • 自然さ (MOS): 人が聴いて、どれだけ自然な会話に聞こえるかの主観評価。

論文の結果によると、MOSS-TTSDはこれらの指標において、既存のオープンソースや商用の音声合成モデルを上回る性能を示したと報告されています。

各モデルの対話音声生成品質の比較（概念図） 0 18 36 54 72 90 総合的な品質スコア 65 既存モデルA 72 既存モデルB 90 MOSS-TTSD
各モデルの対話音声生成品質の比較（概念図）
項目 総合的な品質スコア
既存モデルA 65
既存モデルB 72
MOSS-TTSD 90
各モデルの対話音声生成品質の比較（概念図）
🔍 新しい評価の仕組み「TTSD-eval」の工夫

従来の対話音声評価では、まず話者分離ツール（誰がいつ話したかを判定するツール）で音声を分析し、その結果をもとに評価することが一般的でした。しかし、この方法では話者分離ツールの誤差が評価結果に影響を与えてしまう問題がありました。

本研究で提案された「TTSD-eval」は、元のテキスト台本と生成音声を直接照合する「強制アライメント」という技術を用いることで、話者分離ツールへの依存をなくし、より客観的で正確な評価を可能にしています。

技術的背景

この研究は、テキストを音声に変換する Text-to-Speech (TTS) 技術の延長線上にあります。

従来のTTSは、一人の話者がニュース記事のようなまとまった文章を読み上げるタスクに最適化されてきました。しかし、私たちが日常的に行う「対話」は、話者が頻繁に入れ替わり、相手の発言に応じて声のトーンも変化するなど、より複雑な要素を含みます。

MOSS-TTSDは、こうした対話特有の文脈（誰が誰に応答しているか、会話全体の一貫性など）を捉えるためのモデル構造を工夫することで、これまでのTTS技術の限界を乗り越えようとしています。

And Family Voice としての解釈

プロダクトの思想との接続

And Family Voiceは現在、家族の会話を「テキスト」として記録し、プライバシーを守りながら資産として残すことを大切にしています。この研究は、その未来に「声」という新しい可能性をもたらすものです。

  • 音声記録の新しい形とプライバシー: MOSS-TTSDのような技術が発展し、将来的に端末上で安全に実行できるようになれば、「テキスト化された会話記録から、元の対話音声を再構成する」といった体験が考えられます。その際、本研究で示された声の再現技術（Voice Cloning）は、 音声匿名化 技術と表裏一体です。元の声の特徴を別の自然な声に置き換えつつ、会話の雰囲気は保ったまま再生することで、プライバシーを一層保護しながら、より豊かな形で思い出を振り返る手助けができるかもしれません。私たちは、単に音声を残すのではなく、「プライバシーを守りながら、どのように記憶の価値を高めるか」という問いを探求し続けます。
  • 話者分離技術への示唆: And Family Voiceは、オンデバイスで「誰が話したか」を区別する話者分離技術を重視しています。MOSS-TTSDが対話の中で話者ごとの声の特徴を一貫して生成できるのは、話者の音響的特徴をうまくモデル化できているからです。この知見は、私たちの話者分離モデルが、より少ないデータで、より正確に家族一人ひとりの声を識別するためのヒントを与えてくれます。

日常生活で意識できるヒント

音声アシスタントやスマートスピーカーに自分の声を登録する際、その声データがどのように利用されるか、プライバシーポリシーを少しだけ確認してみることをお勧めします。私たちの「声」は、指紋と同じようにユニークな個人情報です。どのような技術が、どのような目的で自分の声を使おうとしているのかを意識することは、デジタル社会におけるプライバシー感覚を養う第一歩になります。

読後感

もし、あなたの家族の思い出の会話を、テキストだけでなく「声」で安全に残せるとしたら、どんな会話を、誰の声で聴いてみたいですか？