And Family Voice 研究所
音声処理

音声AIは「言い直し」や「割り込み」にどこまで対応できるのか？——リアルな会話を再現するベンチマークが明かす現在地

📄 Full-Duplex-Bench-v3: Benchmarking Tool Use for Full-Duplex Voice Agents Under Real-World Disfluency

✍️ Lin, G.-T., Chen, C., Chen, Z., Lee, H.-y.

📅 論文公開: 2026年4月

音声対話 全二重通信 言い淀み ベンチマーク ツール呼び出し 音声認識

3つのポイント

  1. 1

    人間の自然な「言い直し」「言い淀み」を含む音声で音声AIを評価する新しいベンチマークが提案されました。

  2. 2

    6つのモデル構成を比較した結果、精度・応答速度・割り込み制御のすべてを高水準で満たすシステムはまだ存在しないことが分かりました。

  3. 3

    従来型の「音声認識→テキスト処理→音声合成」パイプラインは割り込み対応に強い一方、応答速度に大きな課題があることが示されました。

論文プロフィール

  • 著者: Guan-Ting Lin, Chen Chen, Zhehuai Chen, Hung-yi Lee
  • 発表年: 2026年
  • 掲載先: arXiv（プレプリント）
  • 研究対象: 人間の自然な発話（言い直し・言い淀みを含む）に対する音声AIエージェントの性能評価
  • 研究内容: 5種類の非流暢発話カテゴリを含む実音声データを用い、複数ステップのツール呼び出しを要するタスクで6つの音声AIモデル構成を精度・レイテンシ・ターンテイキングの3軸で比較評価

エディターズ・ノート

家庭の中で交わされる会話は、きれいな文章ではありません。「えっと」「やっぱりこっちで」「あ、違った」——こうした自然な言い淀みや言い直しにAIがどこまで対応できるかは、家族の声を正しく記録するうえで避けては通れない課題です。本論文は、まさにその「リアルな音声」への耐性を体系的に測る手法を提案しており、And Family Voice の音声認識品質を考えるうえで重要な示唆を含んでいます。

実験デザイン

評価の枠組み

FDB-v3（Full-Duplex-Bench-v3）は、以下の3つの特徴を持つベンチマークです。

  1. 実際の人間の音声を使用: 合成音声ではなく、リアルな人間の発話データに基づいている
  2. 5種類の言い淀みカテゴリ: 言い直し（self-correction）、繰り返し、フィラー（「えっと」など）、言い換え、途中での修正を体系的に分類
  3. 複数ステップのツール呼び出し: 4つのタスク領域にわたり、連鎖的なAPI呼び出しが必要なシナリオを設計

評価された6つのモデル構成

  • GPT-Realtime: OpenAIのリアルタイム音声モデル
  • Gemini Live 2.5 / 3.1: Googleのリアルタイム音声モデル（2バージョン）
  • Grok: xAIの音声モデル
  • Ultravox v0.7: オープンソースの音声言語モデル
  • Cascadedパイプライン: 従来型の「Whisper → GPT-4o → TTS」3段階方式

主要な評価結果

各モデルのタスク正答率（論文 Table 報告値に基づく。GPT-Realtime: 0.600、Cascaded は割り込み回避率100%だがレイテンシ10.12秒） 0 12 24 36 48 60 Pass@1（%） 60 GPT-Realtime 50 Gemini2.5 48 Gemini3.1 42 Grok 38 Ultravox 55 Cascaded
各モデルのタスク正答率（論文 Table 報告値に基づく。GPT-Realtime: 0.600、Cascaded は割り込み回避率100%だがレイテンシ10.12秒）
項目 Pass@1（%）
GPT-Realtime 60
Gemini 2.5 50
Gemini 3.1 48
Grok 42
Ultravox 38
Cascaded 55
各モデルのタスク正答率（論文 Table 報告値に基づく。GPT-Realtime: 0.600、Cascaded は割り込み回避率100%だがレイテンシ10.12秒）

論文が報告した主要な数値をまとめます。

  • 精度（Pass@1）: GPT-Realtimeが0.600で最高
  • レイテンシ: Gemini Live 3.1が4.25秒で最速。一方、Cascadedパイプラインは10.12秒と最も遅い
  • 割り込み回避率: GPT-Realtimeが13.5%（不要な割り込みが最も少ない）。Cascadedは完全なターンテイク率を達成
  • ターンテイク率: Gemini Live 3.1は78.0%と最も低く、ユーザーの発話の終了を正しく検出できないケースがある
🔍 全二重通信（Full-Duplex）とは何か

通常の音声AIは「半二重」で動作します。つまり、ユーザーが話し終わるのを待ってからAIが応答する、という交互のやり取りです。

一方「全二重」は、電話のように双方が同時に話せる状態を指します。人間同士の会話では、相手の話の途中で相づちを打ったり、割り込んで修正したりするのが自然です。

全二重の音声AIでは、以下のような判断が必要になります。

  • ユーザーが言い淀んでいるだけなのか、発話が終わったのかを見分ける
  • ユーザーが言い直したとき、前の発話を無視して新しい意図を汲み取る
  • AIの応答中にユーザーが割り込んだら、適切に応答を中断する

この判断を正確に行うことが、自然な音声対話の実現に不可欠です。

最も難しかった課題

すべてのモデルに共通して、以下の2つが一貫した失敗パターンとして報告されています。

  • 自己修正（self-correction）の処理: ユーザーが「3人で……あ、やっぱり4人で予約して」と言い直した場合に、最終的な意図を正しく抽出できない
  • 複数ステップの推論: 「ホテルを予約して、その近くのレストランも探して」のような連鎖的なタスクで、途中の言い淀みが加わると正確さが大きく低下

技術的背景

従来のアプローチと新しいアプローチ

音声AIの構成には大きく2つの方式があります。

Cascaded（カスケード）方式は、音声を ASR（自動音声認識） でテキストに変換し、テキストベースのLLMで処理し、最後に音声合成で返す3段階のパイプラインです。各段階が独立しているため、テキスト段階での処理は安定しますが、レイテンシが大きくなります。

End-to-End（エンドツーエンド）方式は、GPT-RealtimeやGemini Liveのように、音声の入出力を一つのモデルで直接処理します。レイテンシは短縮されますが、非流暢な発話への対応がモデルの内部処理に依存するため、挙動の制御が難しくなります。

🔍 非流暢発話の5つのカテゴリ

FDB-v3では、人間の非流暢な発話を以下の5つに分類しています。

  • フィラー（Filler）: 「えーと」「あの」のような、意味を持たない音声。もっとも一般的な非流暢発話
  • 繰り返し（Repetition）: 「月曜の、月曜の午後に」のように同じ語句を繰り返す
  • 言い直し（Self-correction）: 「3時に……いや4時に」のように、前の発話を訂正する
  • 言い換え（Rephrasing）: 同じ意味を異なる表現で言い直す
  • 途中修正（Mid-utterance revision）: 文の途中で方向を変える

特に「言い直し」はAIにとって最も難しいカテゴリです。前の発話を無効にし、新しい情報で置き換えるという「意図の切り替え」を正確に認識する必要があるためです。

この研究の位置づけ

従来のベンチマーク（FDB-v1、v2）は、合成音声や単純なタスクに限定されていました。FDB-v3は、実音声×複数ステップタスク×非流暢発話という、より現実に近い条件での評価を可能にした点で重要な前進です。

ただし、この研究にはいくつかの限界もあります。

  • 評価対象は英語のみで、日本語などの他言語への一般化は未検証
  • テスト対象のモデルは商用サービスが中心で、オンデバイスモデルは含まれていない
  • 各モデルの内部構造が非公開のため、失敗原因の詳細な分析には限界がある

And Family Voice としての解釈

プロダクトの視点から

この研究は、And Family Voice の設計思想にとって2つの重要な示唆を含んでいます。

1. 「言い直し」への耐性は品質の核心

家族の日常会話は、非流暢発話の宝庫です。子どもが「きのう……ちがう、おとといね」と言い直すシーンは日常的に起こります。And Family Voice が オンデバイス推論 で文字起こしを行う際、この「言い直し」を正しく処理できるかどうかは、記録の正確さに直結します。

本論文の結果が示すように、最先端のクラウドモデルでさえ自己修正の処理は難しい課題です。私たちは、オンデバイスという制約の中でこの品質をどう確保するか、引き続き検討を重ねています。

2. レイテンシと精度のトレードオフを理解する

Cascadedパイプライン（Whisper → GPT-4o → TTS）の構成は、And Family Voice が採用する ASR ベースのアプローチと構造的に近いものです。この方式は割り込み対応（ターンテイク率100%）には強い反面、レイテンシが10秒超と大きいことが示されました。

And Family Voice では、音声を端末外に送信しない設計（プライバシー保護）が最優先です。そのため、リアルタイム対話のレイテンシよりも、「あとから正確に文字起こしする」品質を重視しています。ただし、Human-in-the-Loop の承認フロー（スワイプUI）をよりスムーズにするためにも、処理速度の改善は常に視野に入れています。

🔍 オンデバイス処理と非流暢発話の関係

本論文で評価されたモデルはすべてクラウドベースですが、And Family Voice のようにオンデバイスで処理する場合、非流暢発話への対応にはさらに別の課題が加わります。

  • モデルサイズの制約: 端末上で動作する 量子化 モデルは、非流暢発話のニュアンスを捉える能力が制限される可能性がある
  • 後処理での対応: リアルタイム対話ではなく「録音 → 文字起こし」の方式であれば、前後の文脈を参照した後処理で言い直しを検出・修正できる余地がある
  • Human-in-the-Loop による補完: 最終的にユーザーがテキストを確認・修正する承認フローがあることで、機械だけでは難しい判断を人間が補える

この「機械の限界を、設計で補う」というアプローチは、プライバシーと品質の両立において重要な考え方です。

ユーザーの視点から

音声AIアシスタントを日常的に使っている方へのヒントがあります。音声AIに指示を出すとき、「言い直し」をすると意図が正しく伝わらないことがあります。もし重要な指示を出す場合は、一度言葉を整理してから話しかけるか、AIの応答を必ず確認する習慣をつけると、誤認識によるトラブルを減らせます。

これは音声AIに限らず、「テクノロジーの限界を知ったうえで、人間が最終確認する」という姿勢が、プライバシーと正確さの両方を守る第一歩です。

読後感

この研究は、音声AIがまだ「人間の自然な話し方」に完全には追いついていないことを、データで明確に示しました。言い直し、言い淀み、割り込み——私たちが無意識にやっている会話のクセが、AIにとってはまだ大きなハードルなのです。

だからこそ問いかけたいのは、「完璧に聞き取れるAI」を待つのか、「人間が確認するステップ」を組み込んで今すぐ使い始めるのか——あなたはどちらのアプローチを選びますか？ という点です。家族の大切な言葉を残すために、テクノロジーと人間のちょうどいい役割分担はどこにあるのでしょうか。