JPH05216618A - 音声対話システム - Google Patents

Abstract

(57)【要約】 【目的】 本発明は、ユーザとシステムの音声対話を行
う際に、システム側からユーザへの応答出力として音声
応答に画面表示を併用するようにしている。 【構成】 音声入力が与えられると、入力音声の意味内
容を音声理解部１１で理解し、この理解の結果に基づい
て対話管理部１２により応答内容の意味的な決定を行
い、この決定された応答内容に基づいて応答生成部１３
により音声応答出力および画面表示出力を生成し、これ
ら音声応答出力および画面表示出力をディスプレイ１４
およびスピーカ１５より出力するように構成している。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声認識や音声合成を
含む各種の入出力手段を利用する音声対話システムに関
するものである。

【０００２】

【従来の技術】近年、文字、音声、図形、映像などのマ
ルチメディアを入力、出力および加工処理することで、
人間とコンピュータとの対話（Human-Computer Interac
tion）を様々な形態で行うことが可能になっている。

【０００３】特に、最近になってメモリ容量や計算機の
パワーが飛躍的に向上したことでマルチメディアを扱え
るワークステーションやパーソナルコンピュータが開発
され、種々のアプリケーションが開発されてきている
が、これらはいずれも単に種々のメディアを出し入れす
るだけのもので各種メディアを有機的に融合するまでに
至っていない。

【０００４】一方、従来からの数値データに代わって文
字を含む言語データが一般的になり、白黒のイメージデ
ータはカラー化や図形、アニメーション、三次元グラフ
ィックス、さらには動画が扱えるように拡張されてきて
いる。また、音声やオーディオ信号についても、単なる
音声の信号レベルの入出力の他に音声認識や音声合成の
機能が研究開発されつつあるが、ヒューマンインターフ
ェースとして使用するには性能が不安定で実用化は限定
された分野に限られているのが現状である。

【０００５】すなわち、上述したように文字、テキス
ト、音声、グラフィックデータなどについては、従来の
入出力処理（記録−再生）から各種メディアの理解や生
成機能へと発展が続いている。換言すると、各メディア
の表層的処理からメディアの内容や構造、意味的内容を
扱い、人間と計算機の対話をより自然に快適に行うこと
を目的とした音声やグラフィックスなどのメディアの理
解や生成を利用する対話システムの構築が検討されつつ
ある。

【０００６】しかして、音声認識については、孤立単語
認識から連続単語認識、連続音声認識へと発展してお
り、実用化のために応用を限定した方向（task-oriente
d ）でも開発が進められている。このような応用場面で
は、音声対話システムとしては、音声の文字面の認識よ
りも音声の発話内容の理解が重要であり、例えば、キー
ワードスポッティングをベースに応用分野の知識を利用
した音声理解システムも研究されてきている。一方、音
声合成についても従来の文−音声変換（text-to-speec
h）システムからイントネーションを重視した対話用の
音声合成システムの研究が例えば本発明者等によって行
われてきており、音声対話への応用が期待されている。

【０００７】しかし、音声などのメディアの理解と生成
は単なるデータの入出力と異なり、メディアの変換の際
には情報の欠落やエラーが不可避である。すなわち、音
声理解は情報量の多い音声パターンデータから音声の発
話の内容や発話者の意図を抽出する処理であり、情報の
圧縮を行う過程で音声認識エラーや曖昧性が生じる。従
って、音声対話システムとしては上述した認識エラーや
曖昧性などの音声認識の不完全さに対処するためシステ
ム側からユーザに適切な質問や確認を行い対話制御によ
りスムーズに対話を進行する必要がある。

【０００８】ところで、対話システム側からユーザに何
等かの対話をする場合、音声認識の不完全さをカバー
し、計算機の状況を適確に伝えることが、使い勝手のよ
いヒューマンインターフェースとして重要である。とこ
ろが、従来の音声対話システムでは、音声応答として単
に文を棒読みするテキスト合成が行われることが多かっ
たためメリハリがなく聞ずらかったり、冗長であること
があった。あるいは、音声応答がなく、計算機からの応
答はすべてテキストとして画面上に応答文を表示した
り、あるいは図形データや映像、アイコンや数値を表示
するシステムが一般的であり、視覚への負担が重くなっ
ていた。

【０００９】このように最近では、上述したいろいろな
対話システムが開発されてきているが、音声認識の不完
全さに対処するためのシステム側からの応答における種
々のメディアの利用に関する検討は、これまで十分にな
されておらず、音声認識技術の大きな問題となってい
た。言い換えると、音声認識は、不安定であり、雑音や
不要語に対して弱く、ユーザの意図が音声で効率よく伝
えることが困難であるため、電話などの音声メディアだ
けにしか使えないような制約の強い場面に応用が限られ
ていた。

【００１０】

【発明が解決しようとする課題】このように従来の音声
認識、合成技術を利用した音声対話システムでは、それ
ぞれ別個に開発された音声認識、音声合成、画面表示の
各技術を単に組み合わせただけのものであり、音声の対
話という観点からの十分な考慮がなされていない。すな
わち、音声認識機能には、認識誤りや曖昧性があり、音
声合成機能は人間の発声よりも明瞭度が悪く、イントネ
ーションの制御も不十分のため意図や感情の伝達能力が
不足しており、自然性に欠けるという根本的な問題があ
る。また、システム側での音声認識結果を用いて妥当な
応答を生成するのも、現状の技術では不十分である。一
方、応答を音声と組み合わせて画像表示することにより
伝達能力が向上することが期待できるが、瞬間的に連続
で時系列的な音声応答に対して二次元平面的、三次元空
間的な画面表示をどのように活用し、両者のタイミング
を制御するかは未解決の問題である。また、他のメディ
アを利用する音声対話システムとして何を表示すべきか
大切な課題である。

【００１１】本発明は、上記事情に鑑みてなされたもの
で、システムとユーザの音声対話を効率よく、しかも正
確に行うことができ、使い勝手の著しい改善を可能にし
た音声対話システムを提供することを目的とする。

【００１２】

【課題を解決するための手段】本発明は、音声入力が与
えられ該入力される音声の意味内容を理解する音声理解
手段、音声理解手段での理解結果に基づいて応答内容の
意味的な決定を行う対話管理手段、対話管理手段で決定
された応答内容に基づいて音声応答出力および画面表示
出力を生成する応答生成手段、応答生成手段で生成され
た音声応答出力および画面表示出力を出力する出力手段
により構成されている。

【００１３】対話管理手段は音声理解手段の理解結果に
基づいて音声応答を行う発話者の人物像に関する人物像
情報、音声応答に対応する発声文の応答内容テキスト情
報および音声応答の内容に関連した理解内容を可視化す
る可視化情報をそれぞれ応答内容として出力するように
している。

【００１４】応答生成手段は対話管理手段より出力され
る音声応答を行う発話者の人物像情報に基づいて人物像
の動作および表情の少なくとも一方の画面表示出力を生
成するようにしている。

【００１５】また、応答生成手段は対話管理手段より出
力される音声応答を行う発話者の人物像情報に基づいて
人物像の動作および表情の少なくとも一方の画面表示出
力を生成するとともに各画面表示に対応する音声の感情
または強弱を有する音声応答出力を生成するようにして
いる。

【００１６】さらに、人の動きに関する人状態を検出す
る人状態検出手段を有し、該人状態検出手段の検出結果
に基づいて対話管理手段にて応答内容の意味的な決定を
行うようにしている。

【００１７】そして、音声入力が可能か否かのアイコン
を表示可能にしている。

【００１８】また、本発明は、音声入力が与えられ該入
力される音声の意味内容を理解する音声理解手段と、こ
の音声理解手段での理解結果に基づいてシステム応答出
力を出力する応答出力手段と、システムとユーザとの対
話を、前記音声理解手段に音声入力が与えられるユーザ
状態と前記応答出力手段からシステム応答出力が出力さ
れるシステム状態との間の状態遷移を制御することによ
り、管理する対話管理手段とを具備することを特徴とす
る。

【００１９】さらに本発明は、音声入力が与えられ該入
力される音声の意味内容を該音声入力中のキーワードを
検出することにより理解する音声理解手段と、システム
とユーザとの対話の状態に応じて、前記音声理解手段に
より検出する音声入力中のキーワードを予め制限してお
く対話管理手段と、前記音声理解手段での理解結果に基
づいてシステム応答出力を出力する応答出力手段とを具
備することを特徴とする。

【００２０】

【作用】この結果、本発明は、ユーザとシステムとの間
の対話を行う際に、音声認識、音声応答に加えて、シス
テム側からユーザへの応答出力として応答の画面表示を
併用するようになる。この時、システム側からの音声の
発話者に対応する人物像の表示を行うことにより、発話
者のイメージがシステムの機能を代表するようになり、
ユーザは画面上の人物に向かって発声することを自然に
行うことができ、また、画面上の人物の口の動きや表情
で対話の進行状況や音声認識の信頼性を把握できる。

【００２１】一方、システムからの応答内容に関して
は、応答文を表す文字列を表示するほか、対象物（例え
ば商品、概念などの物や事）や数などについては図形な
どで表示することから、応答内容をユーザに素早く伝え
ることもできる。さらに、音声認識は、誤認識や曖昧性
が多発する不完全なものであり、音声の内容を理解する
際に、ユーザの意図しない誤った情報が計算機側に伝え
られることがあるが、音声応答の他に、視覚による各応
答表示を並行して用いることで、音声対話の効率を大幅
に向上させ、自然性や使い勝っての改善を可能にでき
る。また、音声合成音は、自然音声に比べて低いので、
発話者の表情、応答文、応答内容の視覚化を併用するこ
とは対話の改善に極めて有用である。

【００２２】

【実施例】以下、本発明の一実施例を図面に従い説明す
る。

【００２３】図１は音声対話システムとしての画面表示
を加えたシステムの概略構成を示している。

【００２４】音声対話システムは、入力される音声の意
味内容を理解する音声理解部１１、音声理解部１１での
理解結果に基づいて応答内容の意味的な決定を行う対話
管理部１２、対話管理部１２で決定された応答内容に基
づいて音声応答出力および画面表示出力を生成する応答
生成出力部１３、応答生成出力部１３で生成された画面
表示を出力する画面表示出力部１４および音声応答を出
力する音声出力部１５により構成されている。

【００２５】音声理解部１１は、音声の文字面の認識、
すなわち単語や文の認識でなく、ユーザの発話した入力
音声の理解を行い意味内容を抽出する。そして、理解し
た意味内容を表す入力意味表現を生成し対話管理部１２
に送る。

【００２６】対話管理部１２では入力音声の入力意味表
現に対して、対話の履歴や現在の対話の状態に関する情
報と対話の進行方法や応用分野の知識を用いて応答内容
の意味的な決定を行ない、音声応答に対応する発声文の
応答内容情報を応答生成出力部１３に出力する。

【００２７】さらに、対話管理部１２では、省略や指示
代名詞を含む話し言葉を処理し、音声理解の性能向上や
処理量の削減とともに自然な対話を可能にしている。ま
た、対話管理部１２は、ディスプレイ１４に表示出力さ
れて音声応答を行う発話者の人物像情報、および音声応
答の内容に関連した理解内容の可視化する情報である可
視化情報を応答生成出力部１３に出力する。

【００２８】また、対話管理部１２で生成された出力意
味表現を音声理解部１１へ送り、出力意味表現から次の
発話のキーワードや構文的意味的規則を絞り、次の発話
の音声理解性能の向上をはかることが可能となる。

【００２９】応答生成出力部１３は対話管理部１２から
入力された応答内容情報に基づいて生成された応答文を
合成音声でスピーカー１５より出力するとともに、人物
像情報および応答文に基づいて動作や表情が決定された
音声応答を行う人物像をディスプレイ１４に視覚的に表
示し、また、それまでの対話によりシステムが理解した
内容を分かりやすく可視化するための情報である可視化
情報に基づき生成された内容可視化情報をディスプレイ
１４に視覚的に表示して、複数のメディアを利用してマ
ルチモーダル的に応答をユーザに提示する。つまり、オ
ーディオ情報と視覚情報を併用してユーザに提示するこ
とにより音声対話システムのヒューマンインターフェー
スが改善され、自然な対話が可能となる。

【００３０】また、応答生成部１３から現在応答を出力
中である旨の情報を対話管理部１２に送る。対話管理部
１２では、上記情報を音声理解部１１へ送り、例えば入
力音声の終始端検出処理や、キーワード検出処理のタイ
ミングを制御することにより音声理解性能の向上をはか
ることが可能となる。

【００３１】次に、上述した音声対話システムの各部に
ついて、ここでは応用としてファースト・フードでの注
文タスクを想定してさらに詳しく説明する。

【００３２】まず音声理解部１１について説明する。音
声理解部１１については、先に述べたようにここでの役
割は、テキスト入力や音声ワードプロセッサのように文
字面を認識するのではなく音声の意味内容や発話者の意
図や状況を理解することを目的としている。

【００３３】この場合、不特定ユーザを対象とする券売
機、航空機や列車の座席予約システム、銀行の現金自動
引出機などでは、話者間の音声の違い、不要語、口語の
話し方の違い、雑音の影響などにより実際に音声認識技
術を応用しても十分な認識性能が期待できないことがあ
り、とくに発話された文の高精度認識に困難を極めてい
る。これについて、連続発声された音声から、まずキー
ワードの候補列を解析して発話内容を理解する方法が例
えば文献（坪井宏之、橋本秀樹、竹林洋一：“連続音声
理解のためのキーワードラティスの解析”日本音響学会
講演論文集、１−５−１１、ｐｐ．２１−２２、１９９
１−１０）に提案されており、この方法を用いれば、限
定した応用では、利用者の発話に極力制限を設けずに、
自由な発声を高速に理解できるようになる。

【００３４】図２は、上述したキーワードを利用した音
声理解部１１の概略構成を示している。

【００３５】この場合、音声理解部１１は、キーワード
検出部２１と構文意味解析部２２から構成している。そ
して、キーワード検出部２１は、音声分析部２１ａとキ
ーワードスポッティング処理部２１ｂにより構成し、構
文意味解析部２２は文始端判定部２２ａ、文候補解析部
２２ｂ、文終端判定部２２ｃ、文候補テーブル２２ｄに
より構成している。

【００３６】キーワード検出部２１では、音声分析部２
１ａにより入力音声をローパスフィルタ（ＬＰＦ）を通
し標本化周波数１２ｋＨz 、量子化ビット１２bitsでＡ
／Ｄ変換してディジタル信号に変換し、次いで、スペク
トル分析、さらにはＦＦＴを用いたのちに周波数領域で
の平滑化をそれぞれ行い、さらに対数変換を行って１６
チャンネルのバンドパスフィルタ（ＢＰＦ）より８msご
とに音声分析結果を出力し、この出力に対してキーワー
ドスポッティング処理が実行される。この場合のキーワ
ードスポッティング処理は、例えば文献（金沢、坪井、
竹林：”不要語を含む連続音声中からの単語検出”電子
情報通信学会音声研究会資料、ｓｐ９１−２２、ｐｐ．
３３−３９、１９９１−６）に開示された方式により行
うことができる。

【００３７】これによりキーワード検出部２１では、連
続した入力音声よりキーワードの候補系列（ラティス）
を抽出するようになる。図３は、ファースト・フード店
での店頭での注文のやりとりを音声対話で行うのに適用
した場合の連続入力音声「ハンバーガとポテトとコーヒ
ー３つ下さい」より抽出されたキーワードの候補系列の
例を示している。

【００３８】なお、上述の音声分析やキーワード検出処
理は、他の文献（“高速ＤＳＰボードを用いた音声認識
システムの開発“日本音響学会講演論文集、３−５−１
２、１９９１−３）にあるようなＤＳＰボードを用いる
ことでリアルタイム処理も可能である。

【００３９】次に、このようにして検出されたキーワー
ド候補系列が構文意味解析部２２により構文意味解析さ
れ、図４に示すような音声入力に対する入力意味表現が
求められる。

【００４０】ここでは応用をファースト・フードのタス
クに限定しており、フレーム形式の入力意味表現は、入
力発話が注文処理の種類を表すＡＣＴフレームと注文内
容を表す注文品フレームから構成される。そして、ＡＣ
Ｔフレームには“注文”、“追加”、“削除”、“置
換”など、注文に関する処理についての意味情報が表現
され、一方、注文品フレームには、品名、サイズ、個数
のスロットからなる、注文品の内容を表現できるように
している。

【００４１】即ち、キーワード検出部２１で得られキー
ワードラティスは構文意味解析部２２に送られる。構文
意味解析部２２は、文始端判定部２２ａ、文候補処理部
２２ｂ、文終端判定部２２ｃから成り、文候補テーブル
２２ｄを持つ。構文意味解析部２２は、キーワードラテ
ィス中の個々の単語を左から右に向かって処理してい
く。

【００４２】文始端判定部２２ａは、現在処理している
単語が文の始端となりうるか否かを構文的意味的制約に
より判定する。もしそれが文の始端となりうるならば、
その単語を新しい部分文候補として、文候補テーブル２
２ｄに登録する。

【００４３】文候補解析部２２ｂは、当該単語および文
候補テーブル２２ｄ中の各部分文候補に関して、構文的
意味的時間的制約から、それらが接続しうるか否かを判
定する。もし接続しうるならば、部分文候補をコピー
し、それに入力単語を接続し、それを文候補テーブル２
２ｄに登録する。

【００４４】文終端判定部２２ｃは、直前に文候補解析
部２２ｂで処理された部分文候補が、構文的意味的に文
として成立しうるか否かを判定し、成立するならばその
部分文候補のコピーを構文意味解析部２２の出力として
出力する。

【００４５】出力された文候補は、構文解析と同時に意
味解析が行われており、従ってこれがそのまま入力意味
表現を意味する。以上の処理は入力に対してパイプライ
ン的に行われる。かくして、入力音声に対する複数の入
力意味表現を得ることができる。

【００４６】この場合のファーストフード・タスクで
は、キーワードとして図５に示すようなものを用いてい
るが、対話の状況によっては、別の発話が同じ意味とな
ることもある。すなわち、キーワードに基づく音声理解
では、“１つ”と“１個”は同じ意味表現であり、また
“下さい”を“お願いします”も同じ意味表現になるこ
とがあり、表層的な文字面の入力音声の表現とは異なっ
てくる。ここが音声認識と音声理解の相違点であり、本
発明で扱う音声対話システムにおいては、応用分野の知
識を用いたタスク依存の音声理解処理が必要となってい
る。

【００４７】次に対話管理部１２について説明する。本
発明による音声対話システムでは、図１に示すように音
声理解部１１から出力される入力意味表現は対話管理部
１２に送られ、対話の知識や応用分野の知識さらに対話
の履歴や状態の情報を用いて応答内容の意味的な決定を
行ない、確認応答のための応答内容情報てある出力意味
表現を生成し応答生成出力部１３に出力する。なお、出
力意味表現は図６に示すように、入力意味表現と同様に
フレーム形式の表現を用いている。

【００４８】本実施例では、入力音声の一つの発話の内
容表現として図４に示す入力意味表現を用いているが、
さらに、対話開始からのシステムが理解した内容とし
て、それまでの注文の内容を記憶する注文テーブルを図
７に示すように別途用意している。また、対話の履情と
して対話進行にともなう注文テーブルの変化を図８の例
に示すような一つ前の質問応答時点の注文テーブル（旧
注文テーブル）の形で用意している。さらに、対話の状
況を表す対話状況情報を対話管理部１２に保持してい
る。こ対話状況情報は、現在の対話の状態、次に遷移す
る状態、対話の繰返し回数、確信度、強調項目、対話の
履歴等の情報を含むもので、後述する応答生成出力部１
３において人物像情報として利用されるものである。

【００４９】注文テーブルは、入力意味表現のＡＣＴ情
報と注文内容に基づき書き替えられたもので、形式は入
力意味表現からＡＣＴ情報を取り去った注文内容のみの
テーブルである。つまり、この注文テーブルは、対話を
開始してからそれまでの対話で理解した内容を反映した
ものである。また、旧注文テーブルは注文テーブルと同
一の構成であり、一つ前の対話時点での質問応答での注
文テーブルを保持し、対話の履歴情報として注文テーブ
ルの状態を記録するものである。

【００５０】このように対話管理部１２では、入力音声
の意味表現（入力意味表現）および対話の履歴情報（旧
注文テーブル）、対話システムの状態に基づき、対話の
進行方法や応用分野の知識を用いて応答出力の内容を表
す応答内容情報（出力意味表現）を生成する。つまり、
入力意味表現と注文テーブルを参照し、その時点のシス
テムの状態（ステート番号）に依存した処理を行い、応
答生成の内容と応答ＡＣＴからなる応答生成の内容を表
現した出力意味表現を生成するようにしている。上述し
たようにこの場合の出力意味表現は、入力意味表現と同
様にフレーム形式の表現を用いている。さらに、対話の
履歴情報（旧注文テーブル）と対話システムの状態に基
づき、対話状況情報を生成し、応答生成出力部１３が応
答画面表示の人物像情報として参照できるようにしてい
る。

【００５１】図９は、対話管理部の内部における状態遷
移の一例を示している。

【００５２】この例では対話の進行方法や応用分野の知
識に基づいた状態遷移の表現により対話を管理進行する
ようにしている。対話管理部１２は、大きくユーザ７２
とシステム７１のそれぞれの状態に二分される。

【００５３】ここで、ユーザ７２の状態の役割は、ユー
ザの発話の入力意味表現に応じてシステム７１の状態に
遷移することであり、一方、システム７１の状態の役割
は、理解した発話内容に応じて、注文テーブルの内容を
変更し、応答の出力意味表現を出力して、対話の流れを
進行し、ユーザ７２の状態に遷移することである。この
ように、システムの内部状態を二分して持つことによ
り、ユーザとシステムとの多様なやり取りが表現でき、
柔軟な対話の進行が可能となる。

【００５４】又、この時用いられる対話状況情報は、処
理中の対話管理の状態名と部分的な対話の繰り返し回数
を表し、進行中の対話の状態名、次に遷移する状態名、
同一の話題について同じ質問を繰り返すなどの部分的な
対話が繰り返される回数が逐次記録され容易に参照でき
るようになっており、システムの状態を自然に分かりや
すく伝えるために、応答生成出力部１３の人物像の表
情、動き、および音声応答の感情、強調などの人物像情
報として利用し応答生成出力に利用される。

【００５５】さて、図９では、対話管理部１２におい
て、ユーザ（客）の存在が検知されると、システム７１
の初期状態Ｓ０から対話がスタートして、挨拶、注文要
求に関する出力意味表現を生成し、応答生成出力部１３
に送られユーザ７２の初期状態Ｕ０に遷移する。さら
に、対話の履歴情報（旧注文テーブル）は初期化され、
システムの状態の状態Ｓ０から状態Ｕ０への遷移に基づ
き、対話状況情報が生成される。この対話情況情報は、
応答生成出力部１３が応答画面表示の人物像情報として
参照できるようにしている。

【００５６】すると、応答生成部１３では、この出力意
味表現に基づいて、システム状態、対話の履歴情報、注
文テーブルを参照しながら音声応答、人物像、テキス
ト、内容可視化情報を生成する。

【００５７】この時、ユーザ７２の初期状態Ｕ０では、
次の発話の入力意味表現ＡＣＴ情報が“注文”であると
きには、一般的な注文の流れでシステム７１の対話進行
状態ＳＰとユーザの対話進行状態ＵＰの間の遷移へと移
行する。

【００５８】一方、入力意味表現のＡＣＴ情報が、注文
以外の場合には、そのユーザの発話は予期していないユ
ーザの発話と見なされ、システム７１の対話修正状態Ｓ
１０に遷移する。

【００５９】もし、システム７１の対話修正状態Ｓ１０
に遷移した場合には、システム７１は入力意味表現、注
文テーブルやその履歴情報を用いて、ユーザ７２から受
け取った音声入力が予期せぬ内容であったり、良く聞こ
えなかった旨を状況に応じて適当な応答でユーザ７２に
伝えたり、注文の内容を一品目づつ詳細に確認するため
の出力意味表現を出力し、ユーザ７２の対話進行状態Ｕ
Ｐに遷移するようになる。すると、応答生成部１３で
は、この出力意味表現に基づいてシステム状態、対話の
履歴情報、注文テーブルを参照しながら音声応答、人物
像、テキスト、内容可視化情報を生成する。

【００６０】このようにしてシステム７１とユーザ７２
の間でやり取りが続き、ユーザ７２での発話とシステム
７１での応答が行われ状態が遷移して行くが、ユーザ７
２が目的とする注文を終えた場合、すなわちシステム７
１の全注文の確認応答に対して、ユーザ７２が肯定を意
味する発話をした場合、システム７１の終了状態Ｓ９に
移り、対話を終了する。

【００６１】図１０はユーザの状態の処理のフローチャ
ートを示している。

【００６２】この場合、最初に複数の入力意味表現を読
み込み（ステップＳ８１）、省略表現の推論を行い（ス
テップＳ８２）、各入力意味表現の確からしさに関する
得点付け（スコアリング）を行う（ステップＳ８３）。
次いで、上記入力意味表現候補の中から最もスコアの高
い入力意味表現を選択し（ステップＳ８４）、発話アク
トを決定し（ステップＳ８５）、発話アクトに基づきシ
ステムの状態に遷移するようになる（ステップＳ８
６）。

【００６３】一方、図１１はシステムの状態の処理のフ
ローチャートを示している。

【００６４】この場合、最初に入力意味表現に基づき注
文テーブルの内容を変更し（ステップＳ９１）、その時
点におけるシステムの状態を考慮して出力意味表現を生
成し（ステップＳ９２）、応答内容を出力し（ステップ
Ｓ９３）、ユーザの状態へ遷移するようになる（ステッ
プＳ９４）。応答生成部１３では、生成された出力意味
表現に基づいて、音声応答、人物像、テキスト、内容可
視化情報を生成する。

【００６５】以上のように、本実施例システムにおいて
は、ユーザとシステムとに分けて、相手側からメッセー
ジを受け取った場合に、種々の知識、状況、メッセージ
内容を考慮した処理が可能であり、柔軟で尤もらしい処
理が可能なる。

【００６６】次に、図１２は、本実施例システムにおけ
る対話処理の具体例を示すものである。

【００６７】この場合、システムでは、ユーザの発話に
対し前回の状態の図１２（ｂ）に示す注文テーブルと図
１２（ａ）に示す出力意味表現が提示されているとする
と、これらに基づいて、図１２（ｃ）に示すように「御
注文はハンバーガ１つ、コーヒーを２つ、コーラの大を
４つですね」の確認メッセージを生成し、これに基づく
音声応答、確認のテキスト、注文テーブルの品物の絵と
個数を、音声メディアと視覚メディアを用いてマルチモ
ーダル的にユーザに提示するようになる。

【００６８】これに対して、ユーザが図１２（ｃ）に示
すように「コーラを１つ追加して下さい。」と音声入力
したとすると、図１に示す音声理解部１１では、上述し
たようにキーワード候補の検出を行った後に、キーワー
ド候補系列（キーワードラティス）の解析（パージン
グ）を行い、ユーザの発話に対する図１２（ｄ）と図１
２（ｅ）に示す入力意味表現候補１と入力意味表現候補
２を得る。

【００６９】ここでの各候補は、確からしさについての
スコア（得点）Ｄを持っており、入力意味表現候補１は
Ｄ１、入力意味表現候補２はＤ２のスコアを有し、それ
ぞれスコア順に並べられる。

【００７０】この場合は、スコアＤ１の入力意味表現候
補１では、ＡＣＴ情報は追加、品名はコーラ、サイズは
不定、個数は１となっており、スコアＤ２の入力意味表
現候補２では、ＡＣＴ情報は削除、品名はポテト、サイ
ズは大、個数は２となっている。

【００７１】そして、ユーザの状態での処理は図１３に
示すように実行される。

【００７２】まず、入力意味表現候補１については、前
回の出力意味表現のコーラのサイズが大であったことを
参照し、コーラの今回の追加注文もサイズが大であると
推論することで省略表現を補う（ステップＳ１１１）。
入力意味表現候補２については、とくに省略はないので
この推論は行われない（ステップＳ１１３）。

【００７３】次に、妥当性のチェックを行う。すなわ
ち、注文テーブルの内容と入力意味表現候補を照らし合
わせ矛盾の有無を調べる（ステップＳ１１２、ステップ
１１４）。

【００７４】この例では、入力意味表現候補２について
は、入力意味表現の発話ＡＣＴが“削除”で品名がポテ
トの大にもかかわらず、注文テーブルにポテトはないの
でスコアＤ２がＤ２′＝Ｄ２×α（α＜１．０）の処理
により、小さくされる処理を行う。

【００７５】次に、入力意味表現候補のスコアを比較す
る（ステップＳ１１５）。この場合、Ｄ２′＜Ｄ１′な
ので候補１を選択する。一方、ユーザからの入力の発話
ＡＣＴは“追加”であると決定し（ステップＳ１１
６）、追加確認を行うシステムの状態ＳＡに遷移するよ
うになる（ステップＳ１１７）。ここで、追加確認を行
うシステムの状態ＳＡは、注文テーブルを入力意味表現
に基づいてコーラの大を１つ追加するように書き換え
る。

【００７６】この場合、システムでの状態の処理は図１
４に示すように実行される。

【００７７】即ち、この状態でシステム側では、ユーザ
への確認応答を図１５（ｂ）に示す応答ＡＣＴリストか
ら選択し出力意味表現を決定する。この例では、入力意
味表現のＡＣＴが追加であるので応答ＡＣＴは第４番目
の追加確認が選択され、これらの情報を用いて応答出力
（応答文）が決定され出力が行われる。

【００７８】まず、注文テーブルにコーラの大を１つ追
加する（ステップＳ１２１）。そして、ここでの図１５
（ａ）に示す入力意味表現の発話ＡＣＴは追加なので、
応答ＡＣＴを追加確認として選択し、これら情報から図
１５（ｃ）に示す出力意味表現が求められる（ステップ
Ｓ１２２）。次いで、応答出力（応答文）を決定して出
力する（ステップＳ１２３）。この場合の応答文は、図
１６に示すシステムの応答の表現例に基づいて決定さ
れ、例えば「確認します。コーラの大を１つ追加です
ね。」のように出力される。そして、ステップＳ１２４
に進み、追加確認の応答ＡＣＴを受けたユーザの状態Ｕ
Ａに遷移し、ユーザの状態での処理が行われるようにな
る。

【００７９】尚、対話管理部１２は、上述のように求め
た出力意味表現と共に、音声理解部１１から受け取った
ユーザの発声速度と各キーワードの尤度を応答生成出力
部１３に送る。

【００８０】ここで、ユーザの発声速度は次のように求
められる。即ち、図２における音声理解部１１のキーワ
ードスポッティング処理部２１ｂで、得られたキーワー
ドとその始終端、およびそれらを基に得られるユーザの
発声速度を検出する。また、音声理解結果の各キーワー
ドの尤度を入力意味表現とともに対話管理部１２に出力
する。ユーザの発声速度は、キーワードスポッティング
処理部２１ｂから得られる単語の始終端とその単語が分
かれば、例えば図１７のように求めることができる。即
ち、ユーザの発声から３つのキーワード“ハンバー
ガ”、“ポテト”、“ください”がそれぞれ始端ｔ１か
つ終端ｔ２、始端ｔ３かつ終端ｔ４、始端ｔ５かつ終端
ｔ６と検出されたとき、これらキーワードのモーラ数は
６，３，４であることから、ユーザの平均発声速度は

【数１】 ｛６／（ｔ２−ｔ１）＋３／（ｔ４−ｔ３）＋４／（ｔ６−ｔ５）｝／３ のように算出できる。

【００８１】このようにして得られたユーザの発声速度
と尤度は、入力意味表現と共に対話管理部１２へ入力さ
れる。

【００８２】対話管理部１２は図９から図１６で説明さ
れた処理に基づき生成された出力意味表現に、音声理解
部１１から入力されたユーザの発声速度と、キーワード
の尤度を応答生成出力部１３に入力する。このときの出
力意味表現の例を図１８に示す。

【００８３】次に応答生成出力部１３について説明す
る。本発明による応答生成出力部１３では応答内容情報
である出力意味表現、対話情況情報と対話履歴情報から
なる人物像情報、およびそれまでの対話によりシステム
が理解した内容を分かりやすく可視化するための可視化
情報に基づいて、音声応答、人物像、テキスト、内容可
視化情報を生成出力する。ここで、音声応答、人物像、
テキストは出力意味表現と人物像情報に基づいて、その
対話状況を考慮して伝える内容をわかり易く呈示できる
ように表情や感情・強調を持って生成される。また、内
容可視化情報はシステムの理解している対話の内容を表
示して、対話の進行状況をわかり易くするためのもので
あり、対話管理部１２から出力される可視化情報に基づ
いて生成出力されるものである。

【００８４】図１９は応答生成出力部１３の構成の一例
を示している。応答生成部１３は応答文生成部１３１、
人物像表情決定部１３２、人物像生成部１３３、感情・
強調決定部１３４、音声応答生成部１３５、内容可視化
情報生成部１３６、出力統合制御部１３７から構成され
る。

【００８５】応答生成出力部１３は対話管理部１２から
出力意味表現と人物像情報を受けとり、応答文生成部１
３１で応答する文とその構造情報を生成する。生成され
た応答文と対話管理部１２からの人物像情報に基づき、
人物像表情決定部１３２では画面表示で音声応答する人
物像の表情を決定し、決定された表情の人物像を人物像
生成部１３３で生成し出力統合制御部１３７に出力す
る。また、生成された応答文と文構造情報および対話管
理部１２からの人物像情報に基づき、音声応答の感情表
現や強調する部分を感情・強調決定部１３４で決定し、
感情や強調を持つ音声応答を音声応答生成部１３５で生
成し出力統合制御部１３７に出力する。さらに、生成さ
れた応答文はテキスト情報として出力統合制御部１３７
に出力する。また、応答内容に関連した理解内容を可視
化して表示するために、応答生成出力部１３は対話管理
部１２から出力される可視化情報を受けとり、内容可視
化情報生成部１３６で内容可視化情報を生成し出力統合
制御部１３７に出力する。

【００８６】出力統合制御部１３７は表情を持つ人物
像、感情や強調を持つ音声応答、テキスト情報、内容可
視化情報を各部から受けとり、時間的な呈示順序を制御
しながら、画面表示出力部１４と音声出力部１５に出力
して利用者に応答内容を統合して表示する。

【００８７】次に、応答生成出力部１３の各部の動作を
図１９に基づき説明する。

【００８８】まず、応答生成出力部１３の各部で処理さ
れる情報について説明する。

【００８９】出力意味表現は図６に示したような入力意
味表現と同様なフレーム形式であり、ＡＣＴ情報は応答
におけるアクションを示している。

【００９０】人物像情報は画面表示出力部１４に表示さ
れる音声応答する人物像の表情や音声応答の感情・強調
の情報であり、図２０に示すような構造である。システ
ム状態番号、ユーザ状態番号は対話管理部１２の対話処
理においてシステム状態からユーザ状態へ遷移して出力
意味表現を生成する際のそれぞれの状態の番号を示して
いる。図２０に示すＳＰ１、ＵＰ３はそれぞれ図１９の
対話状態遷移のシステム側の状態集合ＳＰの１つ状態
を、ユーザ側の状態集合ＳＵの１つの状態を示してい
る。繰り返し回数は対話の中で部分的に同じ質問を繰り
返して行なったり、同じ内容について繰り返して確認を
行なうような場合の回数である。強調項目は出力意味表
現の中で特に確認する必要がある場合の項目を示す。確
信度は出力意味表現に基づいて対応する内容の確信度を
示し、対話管理部１２で入力意味表現の尤度に基づてい
入力意味表現の解釈を行なった際に得られるスコアＤで
ある。応答文生成部１３１は、対話管理部１２で生成さ
れた出力意味表現から応答文とその文構造を生成する。
文生成には、一般に書き換え規則を使うもの、穴埋めに
よるもの、木構造から合成する方法、意味構造から合成
する方法が知られているが、ここでは穴埋めによる方法
で説明する。

【００９１】出力応答文の生成は、例えば図２１のよう
にＡＣＴ情報ごとに品目、サイズ、個数を埋め込む穴の
空いた応答文型とその文構造を用意しておき、図２２
（ａ）に示すフローチャートにしたがって出力意味表現
をもとに空きを埋める方法で実現できる。すなわち、ま
ずステップＳ１４１で繰り返しの回数を示す変数ｎを０
に設定し、次にステップＳ１４２で出力意味表現の品目
数を変数Ｍにセットする。図２２（ｂ）の出力意味表現
の場合には、Ｍは２である。次に、ステップ１４３で注
文一品目分の品名、サイズ、個数を応答文に埋め込む。
次にステップＳ１４４で繰り返し変数ｎを加算しなが
ら、ステップＳ１４５により埋め込みが完了するまで繰
り返す。図２２（ｂ）の出力意味表現を図２２（ｃ）の
応答文型に埋め込むと、図２２（ｄ）のように「確認し
ます。コーラの大は１つ、ポテトの小は３つですね。」
と応答文が得られる。

【００９２】人物像表情決定部１３２は、応答文生成部
１３１で生成された文と対話管理部１２から入力される
人物像情報から人物像の表情を決定する。人物像表情決
定部１３２の一例を図２３に示す。システム状態番号、
ユーザ状態番号、繰り返し回数、確信度は人物像情報か
ら得られるものであり、あらかじめそれぞれの値に対し
ての人物像とその表情をテーブルの形式で表現したもの
である。例えば、繰り返し回数が一回までの場合の確認
で確信度が高い場合には普通の表情で確認を行い、確信
度が低い場合には戸惑ったような表情で確認を行なうよ
うになっている。

【００９３】人物像生成部１３３は、人物像表情決定部
１３２から出力された人物像と表情の情報から画面に表
示する画像を生成する。この時、表示時間や人物像を変
化させるための制御が行なわれる。例えば、人物像が音
声応答する際の口の動作や挨拶する時のおじぎの動作が
生成できるように、静止画を用いる場合には複数の画像
が用意され、動画を用いる場合には連続した動作の人物
像と表情の動画が指定される。また、コンピュータグラ
フィックスを利用する際には指定された動作の画像が生
成される。

【００９４】感情・強調決定部１３４は、人物像情報か
ら応答する音声の強調や感情を決定する。感情・強調決
定部１３４の一例を図２４に示す。人物像表情決定部１
３２と同様の表現形式であり、システム状態番号、ユー
ザ状態番号、繰り返し回数、確信度から、あらかじめそ
れぞれの値に対しての人物像と音声応答の感情をテーブ
ルの形式で表現したものである。例えば、繰り返し回数
が一回までの場合の確認で確信度が高い場合には普通の
音声で確認を行ない、確信度が低い場合には戸惑ったよ
うな音声で確認を行なうようになっている。また、確認
する場合に強調して利用者に確認内容をわかり易く伝え
るために人物像情報には強調項目がある。これは対話管
理部１２で応答内容を出力意味表現として生成する際に
確認すべき項目を決定したものである。感情・強調決定
部１３４では応答文中の強調すべき項目を出力意味表現
からとりだして次の音声応答生成部１３５に伝える。

【００９５】音声応答生成部１３５は、応答文生成部１
３１と感情・強調決定部１３４からの出力に基づき音声
合成を行なう。音声の生成方式としては従来からある録
音編集型なども利用可能であるが、本実施例では強調や
感情を持つ応答に特徴があり、音声生成部の制御により
実現するためには音声規則合成が望ましい。

【００９６】音声応答生成部１３５の構成の一例を図２
５に示す。音声応答生成部１３５は、音韻処理部１５
１、韻律処理部１５２、制御パラメータ生成部１５３、
音声波形生成部１５４からなる。

【００９７】ここでは、感情・強調決定部１３４から入
力される強調する語句（句）と感情の種類、および生成
された応答文とその構造を基に音韻処理部１５１と韻律
処理部１５２において各々音韻処理、韻律処理を行なっ
て、音声波形生成部１５４で使用される制御パラメータ
の時系列を制御パラメータ生成部１５３から音声波形生
成部１５４に出力する。

【００９８】音韻処理部１５１は、応答文生成部１３１
で生成された応答文とその文構造を基に、鼻音化や無声
化、連濁といった一般に良く知られた音韻規則に従い出
力応答文の読みを決定、単音記号列を出力する。

【００９９】韻律処理部１５２では応答文とその構造、
強調する語の情報および感情の種類を基に、基本周波数
パターンやパワー、継続時間、ポーズの位置などの韻律
成分を決定する。

【０１００】特に基本周波数パターン生成は、図２６の
モデルに示すように、点線で示したあらかじめ強調しな
い場合と実線で示した強調した場合の各応答文のアクセ
ント成分やフレーズ成分の多きさを分析して記憶してお
き、合成時に語句、句にその成分を使うことで実現でき
る。また、平叙文と疑問文と命令文というように文の種
類を分類し、文の種類毎にアクセントやフレーズの規則
を作成してもよい。例えば文献（広瀬、藤崎、河井“連
続音声合成システム−特に韻律的特徴の合成−”、日本
音響学会音声研究会資料Ｓ８５−４３（１９８５））の
ように、単語のアクセント型、文の切れ目からの語の位
置、修飾関係から平叙文の規則を決めることができる。

【０１０１】感情を伴った韻律は、文献（K.Sheahan,Y.
Yamashita,Y.Takebayashi,“Synthsis of Nonverbal Ex
pressions for Human-Computer Interaction”日本音響
学会講演論文集２−４−６（１９９０．３））に述べら
れているように、おもに基本周波数の変化の割合とダイ
ナミックレンジ、発声時間長、エネルギーによって制御
される。従って、図２７に示すように喜びの場合には感
情を伴わない場合に対してアクセントを１．２倍、発声
時間を０．９倍、エネルギーを２dB大きくし、図２８に
示す悲しみの場合にはアクセントを０．９倍、発声時間
を１．１倍、エネルギーを２dB小さくする。これにより
喜びを伴ったときは、一語一語はっきりと、やや早口に
なった音声が合成でき、悲しみを伴ったときは抑揚が少
なく、やや遅い合成音を生成することが可能である。

【０１０２】基本周波数の制御は図４１で用いたものに
限らず、直線近似を用いた方法や音の高低のレベルで基
本周波数パターンを表現する方法があり、ここに述べた
ものに限らず、発明の主旨を逸脱しないならば種々の方
法を利用してもよい。

【０１０３】制御パラメータ生成部１５３では、音韻処
理部１５１と韻律処理部１５２からの音韻シンボルと韻
律シンボルを基に、音声波形生成部１５４で使う制御パ
ラメータを決定する。この制御パラメータ生成部１５３
では発声速度の制御も行なうため、ユーザの発声速度に
合わせて音声を合成することが可能となり、ユーザの発
声のペースで対話を進行することも可能である。

【０１０４】このため制御パラメータ生成部で得られた
発話時間長は人物像の口動作と音声応答の同期をとるた
めに出力統合制御部１３７に出力される。

【０１０５】尚、この応答生成出力部１３では、応答文
の生成はすでに述べたような応答文生成部１３１、感情
・強調決定部１３４、音声応答生成部１３５により行わ
れるが、ここで、発声速度は応答文の長さに反映するた
めに参照する。テンポの良い対話がなされている時に
は、応答は短い方が良く、ユーザが戸惑うなどの理由で
ゆっくり発声する時には、丁寧に省略などせずに応答す
るのが良いからである。例えば発声速度が９モーラ毎秒
より速ければ、短い応答文型を選ぶようにすることで、
これは実現される。

【０１０６】また、対話管理部１２から与えられる各キ
ーワードの尤度は、例えば確認の場面で文末の「ですね
／ですか」を使い分けるのに利用される。すなわち、キ
ーワードの平均尤度が例えば設定域値０．５より低い、
もしくはどれかのキーワードの尤度が非常に低い時には
「ですか」を使い、尤度が高い時には「ですね」を使
う。これにより、他の応答出力に加え、応答文からも計
算機の理解の程度が分かるようになり、ユーザが対話を
行ないやすくなる。

【０１０７】なお、「ですね／ですか」は文型のテーブ
ルとして持たずに、文型を決定してから変更できるよう
にしてもよい。また、「でございます／でございます
か」のように、丁寧な応答か否かの情報を使うなどして
別の言葉を使用しても良い。

【０１０８】音声波形生成部１５４は、例えば図２９に
示すようなホルマント型合成器による規則合成を利用す
る。これれは例えば、標本化周波数を１２ｋＨz 、８ms
ecごとに合成パラメータを更新し、音源にはインパルス
にローパスフィルターをかけたものを利用することで音
声合成ができる。しかし、合成器の構成、音源の種類、
標本化周波数等も一般的に知られものを利用することが
可能である。

【０１０９】尚、この図２９に示すホルマント型合成器
から成る音声波形生成部１５４においては、制御パラメ
ータ合成器１６９から入力された制御パラメータがイン
パルス発生器１６１、雑音発生器１６２、ローパスフィ
ルタ１６３Ａ，１６３Ｂ、振幅制御器１６７、ハイパス
フィルタ１６８、共振器１６６Ａ，１６６Ｂにそれぞれ
分配される。

【０１１０】可視化情報は、対話中にシステムに伝えた
内容、システムが理解している内容、システムの状態な
どの情報であり、この可視化情報を基に内容可視化情報
生成部１３６が内容可視化情報を生成しユーザに視覚的
に呈示することにより、システムの状態や理解内容をシ
ステムと利用者が共有することが可能となり、対話を自
然にわかり易く進めることができる。

【０１１１】本実施例では注文テーブルを可視化情報と
して用いている。注文テーブルには既に利用者が注文し
たすべての品目、サイズ、個数が記録されており、対話
の各時点での注文内容を確認することができる。これに
より、例えば品目が多い注文を行なった時に、それぞれ
の品目とサイズ、個数を音声応答だけで時間的に連続し
て聞く場合よりも視覚的に表示して並列的に注文の内容
を伝えることが可能となる。内容可視化情報生成部１３
６はこの可視化内容情報に基づき画像の生成を行なう。
ここでの画像生成方式としては人物像生成部１３３で述
べたような方式が利用できる。すなわち表示時間や表示
像を変化させるための制御が行なわれ、静止画を用いる
場合には複数の画像が用意され、動画を用いる場合には
連続した動作の表示像の画像が指定される。また、コン
ピュータグラフィックスを利用する際には指定された動
作の画像が生成される。

【０１１２】出力統合制御部１３７は、人物像生成部１
３３の出力である表情を持つ人物像の画像情報、音声応
答生成部１３５の出力である感情や強調を持つ音声応答
の信号情報、応答文の文字列であるテキスト情報、内容
可視化情報生成部１３６の出力である内容可視化情報を
各部から受けとり、時間的な呈示順序を制御しながら、
画面表示出力部１４と音声出力部１５に出力して利用者
に応答内容を統合して呈示する。

【０１１３】ここで重要なことはそれぞれの出力を個別
に呈示すれば良いのではなく、個々出力情報の時間的な
関係を考慮しながら呈示する必要があることである。例
えば、人物像が音声応答に合わせながら口を動作させる
場合に音声応答出力と口動作の制御の同期やおじぎをし
ながら挨拶する場合の画像出力と音声出力の同期をとる
必要がある。また、それぞれの出力の呈示順序を制御す
ることが重要である。

【０１１４】図３０、３１、３２、３３に出力の呈示順
序の時間制御の例を示す。図３０は最初の挨拶の場面の
制御であり、まだ注文はないので、内容可視化情報は表
示されないが、挨拶のテキスト情報をｔ０の時点で表示
し、同時に人物像は「いらっしゃいませ」、続けて「ご
注文をどうぞ」という音声応答に合わせて口を動作させ
ながら、注文をうながす。このように発声している内容
と人物像画面の同期をとり、あらかじめ分かり易いよう
にｔ０の時点でテキスト情報をすべて表示する。

【０１１５】図３１では既にハンバーガ１つとコーラ１
つを注文済みの場面であり、応答確認内容の「ご注文は
ハンバーガを１つ、コーヒーを１つですね」のテキスト
情報をｔ０の時点まで表示する。次いで人物像と音声応
答を開始する時点のｔ０に内容可視化情報を新しく更新
しハンバーガ３つ、コーヒー２つ、コーラ１つを表示す
るようにする。また、人物像は音声の発声に合わせてｔ
０からｔ３まで口を動かすように制御する。

【０１１６】この例で示した時間制御は音声応答の長さ
を基準に決められている。すなわち、図３０では「いら
っしゃいませ」によりｔ０からｔ１まで、「ご注文をど
うぞ」によりｔ１からｔ２までの継続時間が決まる。こ
のそれぞれの継続時間は音声応答生成部１３５で決まる
ものであり、音声応答信号とその継続時間が出力統合制
御部１３７に送られ時間制御に利用される。ここで述べ
た他にも呈示する内容可視化情報や人物像の画像の表示
時間を基準に時間制御を行なうことも可能である。

【０１１７】図３２は、最初の注文を受けた後の全注文
の確認の場面の制御であり、確認する品目はハンバーガ
２つ、チーズバーガー１つ、コーヒー３つの３品目であ
る。図３２では、応答内容の「ご注文はハンバーガが２
つ、チーズバーガーが１つ、コーヒーが３つですね」の
テキスト情報をｔ０の時刻で表示するとともに音声応答
と、それに合わせた人物像の口の動作を開始する。音声
の「ご注文は」までは、内容可視化情報の表示は行わな
いが、注文内容を発声し始めるｔ１の時点で内容可視化
情報として、ハンバーガ２つ、チーズバーガー１つ、コ
ーヒー３つを表示するようにする。また人物像は音声の
発声に合わせてｔ０からｔ４まで口を動かすように制御
する。

【０１１８】ここで、全注文の確認の応答文は応答文生
成部１３１で生成されるが、確認する品目の数が多くな
ると生成される応答文は長くなり、音声応答の長さも長
くなる。しかし、図３２の例において、利用者はｔ１の
時点で表示される内容可視化情報により、音声応答を最
後まで聞かずとも、システムの応答内容もしくはシステ
ムの状態や理解内容を理解することができるため、内容
可視化情報を表示した後のｔ１から音声応答が終わるｔ
４までに出力される情報は利用者にとって冗長な応答で
ある。

【０１１９】このため、本実施例では図３３に示すよう
に、全注文の確認で、確認する品目が３つ以上ある場合
は、出力の呈示順序を変え、最初のｔ０の時点で直前の
応答文テキストを一端消去し、内容可視化情報として、
注文内容であるハンバーガ２つ、チーズバーガー１つ、
コーヒー３つを表示する。次に、この内容可視化情報の
表示の処理が終ったｔ１の時点で「これでよろしいです
か」という応答文テキストを表示するとともに、人物像
と音声応答を開始する。この例で示した時間制御は、対
話管理部１２で生成された出力意味表現のＡＣＴ情報と
品目数をもとに出力統合制御１３７で行われ、応答文
は、応答文生成部１３１で生成される。

【０１２０】またこれは、全注文の確認に限定されるも
のではなく、その他の確認の際に、応答確認内容の品目
が多い場合や複雑でわかりづらい場合にも、最初に視覚
的応答出力を行った後、指示代名詞等を用いて短縮表現
にした音声応答を行うことにより、対話を短時間に効率
的に行うことも可能である。

【０１２１】尚、確認する品目数に代えて、他の音声応
答の長さを示す指標、例えば音声応答中のワード数やモ
ーラ数等、を用いて上述のような応答出力の変更を制御
しても良い。

【０１２２】さらに、出力統合制御部１３７はそれぞれ
の画像表示情報の表示場所を制御している。例えば、画
像出力装置１４の画面上で人物像を左上に、内容可視化
情報を右に、テキスト情報を左下に制御し表示すること
が出来る。この表示位置は出力統合制御部１３７の制御
の基に変更可能である。

【０１２３】以上のように本発明は、音声の入出力と画
面表示の併用して対話を進めることを特徴としている
が、ここで本発明における画面表示について実際の例を
具体的に説明する。

【０１２４】まず、図３４は初期画面を示すもので、客
が店頭にいない場合や近くに来ない場合には、「〜へよ
うこそ」など画面に文を表示するのみで、音声応答は出
力しない。

【０１２５】ここで、ユーザ（客）がシステム（カウン
ターやドライブスルーの窓口等）に接近したような場
合、例えば、圧力センサー付きのフロアーマットや監視
カメラの画像等のセンサー情報によりユーザを検知する
と、図３５に示すようにシステムは「いらっしゃいま
せ、御注文をどうぞ。」と漢字かな混り文で表示すると
ともに、ほほえみの表情の店員を画面上に表示して音声
応答を出力する（図９の状態Ｓ０）。

【０１２６】この時、ユーザの検知は、人の動きや位置
を考慮し、特に、立ち止まりを検出した時点で上記の処
理を実行し安心してユーザとの音声対話をスタートさせ
ることが重要である。特に、店員の笑顔は、客をリラッ
クスさせる効果があり、明るい声を合成することも望ま
しい。これらの技術はすでに開発されており、また、録
音された合成音や自然音声を用いることも可能である。

【０１２７】この状態から、ユーザが画面を見ながら、
仮に早口で注文を「え〜、ハンバーガを２つとあの〜コ
ーヒーを２つお願いします。あ〜」と行なったとする。
すると、システムでは、図９の状態Ｕ０のユーザの発音
を処理するが、いま聞きとれない部分があり、図１に示
す音声理解部１１から何の結果も得られないとすると、
対話管理部１２ではリジェクトに対応する。

【０１２８】この場合、図３６に示すようにシステムは
「はっきり聞きとれませんでした。もう一度お願いしま
す。」と漢字かな混じり文を表示するとともに、申し訳
なさそうな表情の店員を画面上に表示して音声応答す
る。この状態では、システム側は、ユーザの注文を全く
聞きとれず、その時点の注文テーブルは何もない（空）
状態なので、注文に関する画面表示は何もなされない。
また、店員の表情生成は、応答文の関与として出力され
る。この場合、図９のユーザの状態Ｕ０から、リジェク
ト対話修正状態Ｓ１０に移し、ここで応答と表情が決定
されることになる。

【０１２９】次に、このシステムからの応答を受けとっ
たユーザが、前回よりもはっきりとした話し方で「ハン
バーガ２つとコーヒー２つ下さい。」と注文を行なった
とすると、前述した音声理解処理、対話処理が実行さ
れ、入力意味表現と注文テーブルを生成した後、出力意
味表現が決定される。そして、出力意味の応答ＡＣＴが
“全確認”となると、次の応答として図３７に示す画面
表示と音声応答が併用して行なわれる。

【０１３０】この場合、システムは「御注文は、ハンバ
ーガ２つ、コーヒーを２つですね。」と漢字かな混り文
で表示するとともに、店員の顔を画面上に表示して音声
応答を出力するようになる。この時の店員の表情と音声
応答の感情については、前述したように文と状態を考慮
して決定され、ここでは普通の表情と音声応答が出力さ
れる。また、応答文とともに、注文テーブルの内容が画
面表示され、ユーザは自分の要求した品物かどうか、個
数かを短時間で確認するようになる。

【０１３１】この場合、品物の表示は、個数を数字で現
さず品物を注文個数だけ並べた状態を画面表示してもか
まわない。ここでは数字の情報が重要なのでハンバーガ
等の品物と同じ高さの領域を設けて数字を表示してい
る。すなわち、個数（数字）についての情報は重要であ
り、ユーザにそのことを自然に伝えられるようにしてい
る。また、数字の表示サイズについても、大きさで大体
の情報が伝えられるので、大きさを変えて表示すること
も有効であり、また、文字情報を併用したり、カラー情
報などを併用して出力することにより、音声応答やテキ
スト応答よりもリアルなイメージを自然に素早くユーザ
に伝えることが可能となり、より高速な確認対話を実現
している。一方、店員に関する人物像については、リア
ルな表情よりも、伝えたいポイントが伝わる情報量のす
くない絵が有効である。また、上記の画像表示は、三次
元グラフィックスを用いても当然に行なうことができ
る。

【０１３２】さて、システム側からの注文品を確認され
てユーザが「え〜と、まあ、それでいいや」と少し迷い
ながら発音したとする。すると、システムでは、音声理
解部１１からの何の結果も得られないことで、対話管理
部１２がリジェクトに対応する。この場合、図３８に示
すようにシステムは「すみません。もう一度入力して下
さい。」と漢字かな混り文を表示するとともに、店員を
画面上に表示して音声応答する。この場合のメッセージ
は、上述した図３６の場合よりも手短なものであり、音
声対話を手短に伝えるように状態と対話の履歴情報を用
いて応答文が決定される。また、店員の顔の表情につい
ても応答文に対応して、申し訳なさそうなものが出力さ
れる。

【０１３３】この画面表示のポイントは、現状でシステ
ム側が理解している注文の内容を右側の領域に表示して
いる点である。この注文品の表示は、注文テーブルをそ
のまま表示するので、音声が持つ一過性の欠点を補うこ
とができる。すなわち、追加や置換や削除についての確
認は音声応答、応答文で一部分の局所的な注文について
行なうが、対話の進行に伴う蓄積された注文、確認の結
果である注文品の表示による効果は大きい。

【０１３４】そして、このような表示は、前述した対話
管理部１２での処理で容易に実現できる。また、部分確
認に視覚表示を用いることも可能であり、注文品の全表
示を続けて別の表示領域で行なうこともできる。さら
に、全注文品の表示を一時的に隠し、部分確認にユーザ
の意識を集中させるために、部分確認の画面表示を行な
うこともできる。すなわち、両者の長所を組み合わせた
表示方法の併用を状況により使い分けて行なうことが効
果的である。

【０１３５】この後、ユーザがはっきりした声で「それ
で、いいです。」と発声すると、システムはこれを肯定
と理解して図９のＳ９に遷移し、図３９に示すようにシ
ステムは「ありがとうございました」と漢字かな混り文
を表示するとともに、頭を下げた店員を画面上に表示し
て音声応答し、対話を終了する。

【０１３６】この時の応答文生成、笑顔の生成、おじぎ
をするジェスチャーの生成も、上述したのと同様の処理
により行なう。また、合計金額の表示なども、種々の応
答（音声、画面表示）で行なえる。

【０１３７】なお、上述した図３８の確認の場合、図４
０に示すように「はい」、「いいえ」と答を誘導するよ
うに画面表示を行なうのも効果的である。この場合、聞
き返しや訂正の回数の情報が使え、システムは「すみま
せん。御注文はハンバーガを２つ、コーヒーを２つです
か。はいか、いいえでお答え下さい。」のような状況に
応じた対話が行える利点がある。

【０１３８】図４１は、このような実施例での処理手順
を簡単にまとめたものである。

【０１３９】この場合、フロアマット２２０がユーザを
検知すると、ユーザからの音声入力についてキーワード
検出部２１によりキーワードを検出し、単語候補系列２
２２を求め、次いで、構文意味解析部２２でキーワード
に基づく音声理解を行ない、入力意味表現２２４を求め
る。そして、さらに対話制御部１２で対話と応用分野の
知識による対話処理が行なわれ、出力意味表現２２６を
求め、これを応答生成部１３に与えて、ここでの規則合
成による音声応答出力と画面表示出力とから成るマルチ
モーダルは応答を行う。

【０１４０】以上の説明は、ファースト・フードの注文
の例で行なったが、情報サービスやマルチメディア、ワ
ークステーションおよび通信ネットワークを用いた座席
予約システムなどへの運用も可能である。

【０１４１】次に、本発明の他の実施例を図４２により
説明する。

【０１４２】図４２は、本発明の音声対話システムに人
の動き状態を検出する機能を組み込んだものを示してい
る。この場合、人状態検出は、システムが対話を自動的
に始め、そして終了させるのに必要な機能で、対話の開
始、終了におけるユーザの状態や反応を理解すること
で、対話を自然に進めることを可能とするものである。
人状態検出の方法としては、光、超音波、赤外線圧力な
どを処理して行うことが考えられるが、ここでは、大人
一人を検出できるフロアマットを利用した例について述
べる。

【０１４３】図４２では、図１で述べたと同様な音声入
力部２３１、音声理解部２３２、対話管理部２３４、応
答生成部２３５、ディスプレイ２３６、スピーカ２３７
の他に人状態検出部２３３を設ける構成になっている。

【０１４４】この場合、人状態検出部２３３は、図４３
に示すようにマットに人が乗っている場合には人状態検
出意味表現１を、マット上から人が降りた状態には人状
態検出意味表現２を出力するようになっていて、これら
の出力を対話管理部２３４に通知するようにしている。

【０１４５】対話管理部２３４は、人状態検出部２３３
からの人状態検出意味表現の他に、上述した実施例と同
様に音声理解部２３２からも入力意味表現を取り込み、
対話の知識や対話の履歴情報を用いて確認応答のための
出力意味表現を生成する。

【０１４６】この場合、対話管理部２３４では音声理解
部２３２からの入力意味表現と人状態検出部２３３から
の人状態検出意味表現を受け取る際に、対話の状態によ
りそれぞれの意味表現を順に処理したり、優先的に処理
することができ、ユーザの状態や各種の反応を理解し対
話を進めることができるようになっている。

【０１４７】しかして、ユーザがマットに乗ると人状態
検出部２３３より人状態検出意味表現１が出力され対話
管理部２３４に送られる。すると、対話管理部２３４よ
り挨拶の出力意味表現１が応答生成出力部２３５に送ら
れ、応答出力として「いらっしゃいませ、ご注文をどう
ぞ」がディスプレイ２３６およびスピーカ２３７より出
力される。

【０１４８】次に、ユーザが「ハンバーガとコーヒー２
つづつ」と入力すると、音声理解部２３２より入力意味
表現１が出力され対話管理部２３４に送られる。これに
より対話管理部２３４では、入力意味表現と注文テーブ
ルの内容を参照し、出力意味表現２を出力し、応答生成
出力部２３５を通して「ハンバーガ２こにコーヒー２こ
ですね」の応答が出力されるようになる。

【０１４９】この場合、通常は、図４４に示すように
「ハンバーガ２こコーヒー２こですね」「はい」「あり
がとうございました。」というように対話が進んでいく
が、ユーザが途中でマット上から離れてしまったような
場合は図４５のようになる。

【０１５０】すなわち、出力意味表現２の「ハンバーガ
２こにコーヒー２こですね」の応答が出力された後で、
人状態検出部２３３より人状態検出意味表現２が出力さ
れ、対話管理部２３４に入力されるようになる。この場
合は、対話管理部２３４は発話内容の確認を行なわれず
にユーザが立ち去ったことから、注文内容の登録は行な
わずに、出力意味表現４の「ご利用ありがとうございま
した」という自然な応答を出力するようになる。

【０１５１】このようにして、人状態検出部２３３を対
話管理部２３４と組み合わせることにより、ユーザの状
態や反応を理解することが可能となり、自然に対話を進
めることができる。

【０１５２】なお、本実施例では人の状態検出にマット
を用いたが、これに限られるものではなく、監視カメラ
などの他の方法を用いてもよい。

【０１５３】次に、このような処理を図４６のフローチ
ャートにより説明する。

【０１５４】この場合、システムは対話管理２３４にお
いて状態（ｓｔａｔｅ）＃０，＃１，＃２，＃３を持
ち、初期状態は状態＃０である（ステップＳ２８１）。
状態＃０においては人状態検出意味表現の人状態ＡＣＴ
が「人存在」であるかを確認し（ステップＳ２８２）、
人がいる場合には状態を＃１にし、挨拶の出力意味表現
により応答を生成し出力するようになる（ステップＳ２
８３）。

【０１５５】次に、状態＃１において、音声理解部２３
２から入力意味表現の発話ＡＣＴが注文の場合は（ステ
ップＳ２８４，Ｓ２８５）、対話知識に基づいて注文内
容の確認の出力意味表現を送出し応答を出力するように
なる。また、発話ＡＣＴがはいの場合は（ステップＳ２
８７）、状態を＃２にするとともに、発話アクトはいに
対応する出力意味表現により応答を出力するようになる
（ステップＳ２８８）。また、発話ＡＣＴがいいえの場
合は（ステップＳ２８９）、注文内容の再確認の出力意
味表現を送出し応答を出力するようになる。さらに、人
状態検出意味表現の人状態ＡＣＴが「人不在」であるこ
とを確認した場合は（ステップＳ２９１）、状態を＃３
にする。

【０１５６】そして、状態＃２においては、お礼１とし
て「ありがとうございました」を出力し（ステップＳ２
９３，Ｓ２９４）、状態＃３においては、お礼２として
「ご利用ありがとうございました」を出力するようにな
る（ステップＳ２９５，Ｓ２９６）。

【０１５７】次に、本発明の他の実施例を図４７により
説明する。

【０１５８】この実施例は、図１で述べた音声理解部１
１、応答生成出力部１３での音声入出力、人状態検出を
行う部分について詳述するものである。

【０１５９】この場合、音声対話システム全体は図４７
に示すように演算部２９１、メモリ部２９２、保存部２
９３、保存部インターフェース２９３１、通信部２９
４、通信部インターフェース２９４１、Ａ／Ｄ部２９
５、マット部２９６、演算処理部２９７、Ｄ／Ａ部２９
８、表示部２９９から構成されている。

【０１６０】ここで、Ａ／Ｄ部２９５は、マイク２９５
１、フィルタ増幅部２９５２、Ａ／Ｄ変換部２９５３、
Ａ／Ｄ変換部インターフェース２９５４からなってい
る。フィルタ増幅部２９５２は、マイク２９５１からの
入力の増幅およびＡ／Ｄ変換のための高域遮断フィルタ
機能を有している。ここでのフィルタの遮断周波数は、
Ａ／Ｄ変換のサンプリング周波数で決まるが、例えば１
２ｋＨz でサンプリングする場合には、５．４ｋＨz で
高域周波数成分を遮断するようになる。また、Ａ／Ｄ変
換部２９５３は増幅された入力音声を、例えば１６ｋＨ
z 又は１２ｋＨzでデジタル化し、Ａ／Ｄ変換部インタ
ーフェース２９５４内に一時保存するとともに、演算部
２９１の制御によりメモリ部２９２に転送するようにし
ている。

【０１６１】マット部２９６はマット２９６１、マット
制御部２９６２、マット制御部インターフェース２９６
３からなっていて、マット２９６１上での人の存在／不
在をマット制御部２９６２で検出し、この結果をマット
制御部インターフェース２９６３を通じて転送するよう
にしている。

【０１６２】演算処理部２９７は、高速演算処理部２９
７１、高速演算処理部インターフェース２９７２からな
っている。高速演算処理部２９７１は音声理解処理、応
答生成処理さらには画像処理による人状態検出処理など
の大量な演算に必要な処理に使用する。この場合、この
ような処理は、同時に処理する必要があり、複数の高速
演算処理部２９７１を同時に使用できるようにしてい
る。また、それぞれの演算処理は、演算部２９１の制御
の下に入力データをメモリ部２９２から高速演算処理部
２９７１に転送し、処理終了後に結果をメモリ部２９２
に転送するようにしている。

【０１６３】Ｄ／Ａ部２９８はＤ／Ａ変換部インターフ
ェース２９８１、Ｄ／Ａ変換部２９８２、フィルタ増幅
部２９８３、スピーカ２９８４からなり、演算部２９１
の制御の下でメモリ部２９２に記憶されたデジタルデー
タをＤ／Ａ変換部インターフェース２９８１を通じてＤ
／Ａ変換部２９８２に転送し、ここで一定周期、例えば
１２ｋＨz でアナログデータに変換し、フィルタ増幅部
２９８３を通してスピーカ２９８４に出力するようにし
ている。この場合、Ｄ／Ａ変換部２９８２はデータの一
時保存部を有し、メモリ部２９２からのデータ転送を高
速に行うことで、演算部２９１が他の処理も行うことが
できるようにしている。

【０１６４】表示部２９９は表示制御部インターフェー
ス２９９１、表示制御部２９９２、ディスプレイ２９９
３からなり、演算部２９１の制御の下で画像、文字、図
形、動画情報、色や輝度、濃度情報の変化などの情報を
表示制御部２９９２よりディスプレイ２９９３に表示す
るようにしている。

【０１６５】通信部２９４は、外部の計算機、情報処理
器、サービス処理機器などと制御情報データの通信を行
うもので、各データは演算部２９１の制御により通信部
インターフェース２９４１を通じてやり取りされる。

【０１６６】保存部２９３は、演算部２９１の制御の下
に音声理解、対話管理、応答生成に必要なデータ、制御
情報、プログラム、中間情報などを保存している。

【０１６７】演算部２９１はメモリ部２９２に記憶され
た各部の情報、実行プログラム、そのためのプログラム
を使用してＡ／Ｄ部２９５、マット部２９６、演算処理
部２９７、Ｄ／Ａ部２９８、通信部２９４、保存部２９
３の制御を行うようにしている。

【０１６８】ここで、演算部２９１が実行するプログラ
ムは、図１で述べた音声理解部１１、対話管理部１２、
応答生成出力部１３での処理を行い、マルチタスクの形
式で実行される。そのためのタスクの切り替えは、一定
時間ごとに順次行われるが、各部の処理や入出力が完了
した場合など、処理を優先させる必要がある場合には、
割り込みにより、その処理を優先させる。

【０１６９】上述ではＡ／Ｄ部２９５、Ｄ／Ａ部２９８
については、それぞれ個別に動作できるようにしてい
る。これにより、音声入力、合成音出力を同時に、しか
も別々に取り扱うことができるので、合成音出力中でも
音声入力が可能となり、合成音キャンセルにより入力音
声の検出および認識が可能になる。

【０１７０】しかし、これらＡ／Ｄ部２９５、Ｄ／Ａ部
２９８の構成として、図４８（ａ）に示すように共通の
Ａ／Ｄ、Ｄ／Ａ変換部インターフェース３０１を用いる
ようにしたり、図４８（ｂ）に示すように共通のＡ／
Ｄ、Ｄ／Ａ変換部インターフェース３０２、Ａ／Ｄ、Ｄ
／Ａ変換フィルタ部３０３および増幅部３０４を用いる
ようにしてもよい。

【０１７１】ところが、このような構成では、データの
やり取りを同時に双方向でできず、入力か出力のどちら
かに限られてしまうため、合成音出力中の音声入力の受
付けと同時に合成音を出力することができない。

【０１７２】この場合、ユーザは音声入力の受付け状態
を知る手段がないときに、受付けられていない発話につ
いての応答を待ったり、発話の前半が入力されなかった
りする不都合が生じる。そこで、音声の入出力許可状態
を画像表示することによりユーザに対して計算機側が音
声の入出力許可状況を伝えることができる。特に、画像
表示と文字表示を組み合わせることで、例えば、図４９
に示すように「くちびる」と「ＳＰＥＡＫ」により発声
できる状態、図５０に示すように封止された「くちび
る」と「ＬＩＳＴＥＮ」により発声できない状態をそれ
ぞれ表示することができる。

【０１７３】このように各入出力機器の状態、状況を別
の出力機器により伝えることができ、より自然で分かり
やすい対話が可能になる。さらに、各入出力機器の状況
だけでなく、ユーザに対し重要なことで注意して聞いて
もらう必要がある場合や対話管理において音声入力を行
ってほしくない場合などにも画像表示と文字表示の組み
合わせや、さらに色や輝度、濃度の変化などにより注意
を促すことができる。

【０１７４】本発明は、上記実施例にのみ限定されず、
要旨を変更しない範囲で、適宜変形して実施できる。

【０１７５】

【発明の効果】以上説明したように、本発明では、シス
テム側からユーザへ応答を出力する際に、音声応答の他
に、人物（の顔）を表示システムに対する親近感を持た
せると同時に音声応答と同期して口を動かし、ユーザの
注目点を定め、使い勝手を向上させている。また、同一
画面上に、音声応答の品質の低さをカバーするため音声
応答文もテキスト・データの形で表示し、音声の発話速
度よりも速くユーザは応答文を受けとることを可能とす
る。さらに、同一画面上に応答内容を視覚化（Ｖｉｓｕ
ａｌｉｚａｔｉｏｎ）したものを表示し、種々の応用に
適した形態で伝達すべき重要なメッセージの意味や内容
を、人物表示音声応答や音声応答文と同期させて出力す
ることにより、ユーザが一見してわかるようなシステム
側からユーザへの高速なメッセージの伝達が実現でき
る。

【０１７６】以上のように種々の形態の応答をシステム
側から同一画面上に並行にユーザに出力するため、ユー
ザは状況に応じて適当な個々の応答を選択したり、２種
類、あるいは、３種類の形態の応答データを同時に受け
とることが可能となり各メディアの有する特徴を活かす
という効果が得られ、ユーザにとっての自由度が増し、
使い勝手のよいマルチモーダルなヒューマンインターフ
ェースが実現できる。

【０１７７】この結果、従来問題であった音声対話シス
テムの音声確認部の誤確認や曖昧性に基づく不完全さ
を、対話によりスピーディに効率的にカバーし、対話の
進行により、ユーザの意図していることの理解が容易に
なる。

【０１７８】また、入力側にマットやカメラ等による人
状態検出手段を設け、ユーザ検出とともに、単に合成音
を出すだけではなく表示画面上の人物の顔を明るくし、
笑顔にするようにもできるので、対話のタイミングが良
くなるばかりでなく、ユーザが驚かずに安心して使える
ユーザフレンドリーな音声インターフェースが実現でき
る。さらに、マルチモーダル音声対話システムに適用す
ることにより、使い勝手の良い自然なシステムが得ら
れ、コンピュータの操作性が著しく向上するという効果
が得られる。

【０１７９】また、音声応答のキャンセル機能を加える
ことにより、音声応答中にでも画面表示結果をユーザが
みて、常時、割り込む（Ｉｎｔｅｒｒｕｐｔ）ことが可
能になり、スピーディーな音声による対話が可能であ
り、音声認識性能が低い場合でも対話のやり取りでカバ
ーし、意図の伝達やデータ入力の能率を大幅に改善でき
る。

【０１８０】以上を総合すると本発明では、音声認識と
音声合成と対話管理機能を具備する音声対話システムに
おいて、システム側からユーザへの応答に際して時系列
情報である音声応答と並行して、応答内容の可視化を行
い、特に、表情やジェスチャーの表示、品物やサイズ、
種別等の対償物（オブジェクト）の表示、応答文の文字
出力を並行して行うことができることから、ユーザは同
時に様々な観点から応答を受け取ることがてきるように
なり、自由度が増し、必要に応じて正確な情報を選択で
き、親しみ易さ、効率、快適さの改善、目や耳の疲労度
の軽減等に効果的である。

【図面の簡単な説明】

【図１】本発明の一実施例の概略構成を示す図。

【図２】音声理解部の詳細構成を示す図。

【図３】キーワード候補系列を説明するための図。

【図４】入力意味表現の一例を示す図。

【図５】キーワードの内容を示す図。

【図６】出力意味表現の一例を示す図。

【図７】注文テーブルの一例を示す図。

【図８】旧注文テーブルの一例を示す図。

【図９】対話管理部の内部における状態遷移の一例を示
す図。

【図１０】ユーザ状態の処理を説明するためのフローチ
ャート。

【図１１】システム状態の処理を説明するためのフロー
チャート。

【図１２】対話処理の具体的な例を示す図。

【図１３】図１２に示す対話処理におけるユーザ状態の
処理を説明するための図。

【図１４】対話処理におけるシステム状態の処理を説明
するための図。

【図１５】図１４における対話処理の具体的な例を示す
図。

【図１６】システムからの出力応答文の例を示す図。

【図１７】ユーザの発声速度の求め方を説明する図。

【図１８】対話管理部の出力の一例を示す図。

【図１９】応答生成出力部の詳細構成を示す図。

【図２０】人物像情報の一例を示す図。

【図２１】応答文型の例を示す図。

【図２２】応答文生成部における応答文の生成のフロー
チャートと具体例を示す図。

【図２３】人物像表情決定部の一例を示す図。

【図２４】感情・強調決定部の一例を示す図。

【図２５】音声応答生成部の詳細構成を示す図。

【図２６】基本周波数パターンモデルの一例を示す図。

【図２７】喜びを併う応答の場合の基本周波数パターン
の変化を示す図。

【図２８】悲しみを併う応答の場合の基本周波数パター
ンの変化を示す図。

【図２９】音声波形生成部の具体的構成の一例を示す
図。

【図３０】出力呈示順序の時間制御の例を示すタイミン
グチャート。

【図３１】出力呈示順序の時間制御の他の例を示すタイ
ミングチャート。

【図３２】出力呈示順序の時間制御の他の例を示すタイ
ミングチャート。

【図３３】出力呈示順序の時間制御の他の例を示すタイ
ミングチャート。

【図３４】表示画面での表示例を示す図。

【図３５】表示画面での表示例を示す図。

【図３６】表示画面での表示例を示す図。

【図３７】表示画面での表示例を示す図。

【図３８】表示画面での表示例を示す図。

【図３９】表示画面での表示例を示す図。

【図４０】表示画面での表示例を示す図。

【図４１】対話処理の手順を簡単にまとめて示す図。

【図４２】本発明の他の実施例の概略構成を示す図。

【図４３】人状態検出部を説明するための図。

【図４４】図４２に示す他の実施例の動作を説明するた
めの図。

【図４５】図４２に示す他の実施例の動作を説明するた
めの図。

【図４６】図４２に示す他の実施例の動作を説明するた
めのフローチャート。

【図４７】本発明の他の実施例の概略構成を示す図。

【図４８】図４７に示す他の実施例の一部を変形した例
を示す図。

【図４９】表示画面での表示例を示す図。

【図５０】表示画面での表示例を示す図。

【符号の説明】

１１，２３２ 音声理解部 １２，２３４ 対話管理部 １３，２３５ 応答生成部 １４，２３６ ディスプレイ １５，２３７ スピーカ ２１ キーワード検出部 ２１ａ 音声分析部 ２１ｂ キーワードスポッティング処理部 ２２ 構文意味解析部 ２２ａ 文始端判定部 ２２ｂ 文候補解析部 ２２ｃ 文終端判定部 ２２ｄ 文候補テーブル ２３１ 音声入力部 ２３３ 人状態検出部 ２９１ 演算部 ２９２ メモリ部 ２９３ 保存部 ２９４ 通信部 ２９５ Ａ／Ｄ部 ２９６ マット部 ２９７ 演算処理部 ２９８ Ｄ／Ａ部 ２９９ 表示部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ１０Ｌ 3/00 ５７１ Ｈ 8842−5Ｈ (72)発明者 坪井 宏之 神奈川県川崎市幸区小向東芝町１ 株式会 社東芝研究開発センター内 (72)発明者 貞本 洋一 神奈川県川崎市幸区小向東芝町１ 株式会 社東芝研究開発センター内 (72)発明者 山下 泰樹 神奈川県川崎市幸区小向東芝町１ 株式会 社東芝研究開発センター内 (72)発明者 永田 仁史 神奈川県川崎市幸区小向東芝町１ 株式会 社東芝研究開発センター内 (72)発明者 瀬戸 重宣 神奈川県川崎市幸区小向東芝町１ 株式会 社東芝研究開発センター内 (72)発明者 新地 秀昭 東京都青梅市新町1385番地 東芝ソフトウ ェアエンジニアリング株式会社内 (72)発明者 橋本 秀樹 東京都青梅市新町1385番地 東芝ソフトウ ェアエンジニアリング株式会社内

Claims (4)

【特許請求の範囲】
1. 【請求項１】 音声入力が与えられ該入力される音声の
   意味内容を理解する音声理解手段と、 この音声理解手段での理解結果に基づいて対応内容の意
   味的な決定を行う対話管理手段と、 この対話管理手段で決定された応答内容に基づいて音声
   応答出力および画面表示出力を生成する応答生成手段
   と、 この応答生成手段で生成された音声応答出力および画面
   表示出力を出力する出力手段とを具備することを特徴と
   する音声対話システム。
2. 【請求項２】 音声入力が与えられ該入力される音声の
   意味内容を理解する音声理解ステップと、 この音声理解ステップでの理解結果に基づいて応答内容
   の意味的な決定を行う対話管理ステップと、 この対話管理ステップで決定された応答内容に基づいて
   音声応答出力および画面表示出力を生成する応答生成ス
   テップと、 この応答生成ステップで生成された音声応答出力および
   画面表示出力を出力する出力ステップとをから成ること
   を特徴とする音声対話方法。
3. 【請求項３】 音声入力が与えられ該入力される音声の
   意味内容を理解する音声理解手段と、 この音声理解手段での理解結果に基づいてシステム応答
   出力を出力する応答出力手段と、 システムとユーザとの対話を、前記音声理解手段に音声
   入力が与えられるユーザ状態と前記応答出力手段からシ
   ステム応答出力が出力されるシステム状態との間の状態
   遷移を制御することにより、管理する対話管理手段とを
   具備することを特徴とする音声対話システム。
4. 【請求項４】 音声入力が与えられ該入力される音声の
   意味内容を該音声入力中のキーワードを検出することに
   より理解する音声理解手段と、 システムとユーザとの対話の状態に応じて、前記音声理
   解手段により検出する音声入力中のキーワードを予め制
   限しておく対話管理手段と、 前記音声理解手段での理解結果に基づいてシステム応答
   出力を出力する応答出力手段とを具備することを特徴と
   する音声対話システム。