JPH09218770A - 対話処理装置および対話処理方法 - Google Patents

Abstract

(57)【要約】 【課題】 利用者と自然なインタラクションが可能な対
話装置を提供すること。 【解決手段】 利用者の入力から、特定の言語表現ある
いは韻律特徴を持つ音声言語入力や、うなずき、目配せ
など非言語メッセージの抽出によって利用者からの相槌
表現を抽出し、これに応じて対話を制御する。さらに、
特定の言語表現、韻律特徴、あるいは視線一致を求める
ＣＧ顔画像等の提示によって、利用者へ相槌を要求する
表現を提示し、これに対する反応に応じて対話を制御す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、自然言語入力、音
声情報入力、視覚情報入力、操作入力のうち少なくとも
一つの入力あるいは出力を通じて利用者と対話する対話
処理装置および対話処理方法に関する。

【０００２】

【従来の技術】近年、パーソナルコンピュータを含む計
算機システムにおいて、従来のキーボードやマウスなど
による入力と、ディスプレイなどによる文字や画像情報
の出力に加えて、音声情報や画像情報などマルチメディ
ア情報を入出力することが可能になって来ている。

【０００３】また、自然言語解析や自然言語生成、ある
いは音声認識や音声合成技術あるいは対話処理技術の進
歩などによって、利用者と音声入出力を対話する音声対
話システムへの要求が高まっており、自由発話による音
声入力によって利用可能な対話システムである“ＴＯＳ
ＢＵＲＧ−ＩＩ”（信学論、ＶｏｌＪ７７−Ｄ−ＩＩ、
Ｎｏ．８，ｐｐ１４１７−１４２８，１９９４）など、
様々な音声対話システムの開発がなされている。

【０００４】このような音声入出力に加え、例えばカメ
ラを使った視覚情報入力を利用したり、あるいは、タッ
チパネルや、ペンや、タブレットや、データグローブ
や、フットスイッチや、対人センサや、ヘッドマウント
ディスプレイやフォースディスプレイ（提力装置）な
ど、様々な入出力デバイスを通じて利用者と授受できる
情報を利用して、利用者とインタラクションを行なうマ
ルチモーダル対話システムへの要求が高まっている。

【０００５】このマルチモーダルインタフェースは、人
間同士の対話においても、例えば音声など一つのメディ
ア（チャネル）のみを用いてコミュニケーションを行な
っている訳ではなく、身振りや手ぶりあるいは表情とい
った様々なメディアを通じて授受される非言語メッセー
ジを駆使して対話することによって、自然で円滑なイン
タラクションを行なっている（“Ｉｎｔｅｌｌｉｇｅｎ
ｔ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅｓ”，
Ｍａｙｂｕｒｙ Ｍ．Ｔ，Ｅｄｓ．，ＴｈｅＡＡＡＩ
Ｐｒｅｓｓ／Ｔｈｅ ＭＩＴ Ｐｒｅｓｓ，１９９
３）ことから考えても、自然で使いやすいヒューマンイ
ンタフェースを実現するための一つの有力な方法として
期待が高まっている。

【０００６】従来、音声対話システムは、利用者から、
例えばマイクなどを通じて入力される音声入力を取り込
み、例えば信号強度などによって音声分析単位の候補を
推定し、分析単位項の例えばＦＦＴ（高速フーリエ変
換）などを用いた分析によって特徴パターンなどを抽出
し、あらかじめ用意した標準パターンと抽出パターンと
を、例えば、複合類似度法、ＤＰ（ダイナミックプログ
ラミング）法、あるいはＨＭＭ（隠れマルコフモデル）
などを用いた照合を行ない、入力された音声の認識を行
い、音声認識結果に対して、構文解析、意味解析、など
を行なうことで利用者からの入力の意味内容や発話意図
を抽出する。次に、データベース検索などの問題解決手
段によって利用者の要求への応答の意味内容や発話意図
を生成し、これを文法規則や辞書を用いた自然言語生成
処理によって発話文を生成する。そして、波形編集方式
やフォルマント合成方式などの音声合成処理によって、
応答の音声を生成し、これを利用者に提示することによ
って、利用者との音声による対話を行なうようにしてい
る。

【０００７】また、従来のマルチモーダル対話システム
では、上記の音声対話システムでの音声入出力に加え
て、例えばカメラを使った視覚情報入力を利用したり、
あるいは、タッチパネルや、ペンや、タブレットや、デ
ータグローブや、フットスイッチや、対人センサや、ヘ
ッドマウントディスプレイや、フォースディスプレイ＃
（提力装置）など、様々な入出力デバイスを通じて利用
者と授受できる情報を利用して、利用者とインタラクシ
ョンを行なう様にしている。

【０００８】従来、こういった音声対話システムあるい
はマルチモーダル対話システムにおいて利用者へなんら
かの応答を提示する際には、あらかじめ用意していた発
話文を提示したり、あるいは定型パターンに対して必要
情報を追加して生成した発話文を、例えば音声合成処理
して音声出力として利用者に提示するようにしていた。
しかし、この方法では、利用者に提示される発話文は、
定型的であったり、単純な文に限られ、複雑な内容を提
示することは出来なかった。

【０００９】あるいは、例えば、自然言語を生成するた
めの規則である文法規則と、例えば単語の統誤的あるい
は意味的情報などを含む辞書情報の少なくとも一方を利
用する文生成処理によって、発話文を生成し出力する音
声対話システムあるいはモーダル対話システムにおいて
も、かりに複雑な内容を持つ発話文を生成したとして
も、それを合成音声として利用者に提示する場合には、
複雑な内容を利用者が理解することが困難であるため、
複雑な情報を利用者へ確実に伝達することが困難であっ
た。

【００１０】また、人間同士の対話においては、例えば
複雑な内容を含む発話を受け取る場合に、聞き手が適宜
相槌を行なうことによって、話し手の発話に能動的に働
きかけ、聞き手にとって適切な情報を量ごとに段階的に
受けとったり、発話速度を制御させたり、例えば聞き誤
りや聞き漏らしあるいは話し手の誤解などが発見された
場合など、何らかの問題が生じた場合に、即座に割り込
みを行ない、その解消のための対話を行なうことが出来
るなど、対話において相槌が重要な役割を果たしてい
る。

【００１１】しかし、従来の対話システムにおいては、
相槌は音声認識処理における不要語として排除された
り、仮に認識を行なったとしても、その適切な利用方法
が開発されていなかったため、認識された相槌を利用し
て、対話を適切に制御することが出来なかった。

【００１２】そして、上述の様な人間同士の対話におい
て見られた相槌による能動的な働きかけを、利用者と対
話システムの間で行なうことが不可能であるため、例え
ば複雑な内容を対話によって授受しようとする場合に、
複数の単純な文で伝達したい情報を表現し、個々の文を
提示するたびに、その内容が正しく伝達できたかどうか
について、逐次確認のための質問を行なうなどの処理を
行なう必要があった。

【００１３】しかし、この様な対話を行ない、逐次確認
を行なうことは、非常に繁雑であり対話システムの利用
者の負担を増加させると言う問題があった。

【００１４】と同時に、この様な逐次確認を行なわない
場合は、伝達したい情報を確実に伝えることが困難とな
り、利用者と対話システムの間のコミュニケーションの
確実性が得られないという問題があった。

【００１５】さらに、人間同士の対話では、相槌などの
非言語メッセージは、例えば音声メディアだけを利用し
て提示される訳ではなく、例えば、うなずきや視線一致
あるいは表情変化など、他の様々なメディアを利用して
提示されている。

【００１６】しかし従来の音声対話システムでは、入力
として音声のみを対象としているため、このような音声
メディア以外を利用して提示される相槌など非言語メッ
セージを扱うことが出来なかった。

【００１７】また、従来のマルチモーダル対話システム
において、仮に非言語メッセージを抽出出来た場合で
も、相槌を適切に利用して対話を制御する方法がなかっ
たため、相槌を利用した利用者との円滑なコミュニケー
ションを行なうことが不可能であった。

【００１８】また、従来の対話システムにおいては、相
槌を利用した対話制御を行なうことが出来なかったた
め、利用者へ何らかの情報を提示する際に、対話システ
ムは現在提示中の情報を利用者が確かに受けとっている
かどうかを確認することが出来なかった。

【００１９】また、利用者へ何らかの情報を提示する際
に、対話システムは現在提示中の情報を利用者が理解し
ていることを確認することが出来なかった。

【００２０】また、利用者へ何らかの情報を提示した際
に、例えば利用者からの要求によって、あるいは対話シ
ステムの判断によって、伝達しようとして利用者に提示
した情報内容が、利用者に伝達されているかどうかにつ
いて確認の質問を行なう際に、従来の対話システムで
は、最初の情報の提示中に、利用者が発した相槌を処理
することが出来ないため、提示した情報の内、現在利用
者が理解していると推測出来る部分を判断することが不
可能であった。したがって、確認質問を行なう情報内容
を適切に限定して利用者に質問することが出来ず、利用
者は不要な質問にも解答する必要が出るため、その負担
が増加するという問題があった。

【００２１】一方、人間同士の対話では、例えば確実に
伝達したい情報や複雑な情報を、聞き手に対して提示す
る場合、その情報が確実に聞き手に伝達されたかどうか
を確認するために、話し手は、例えば、文末あるいはフ
レーズの最後に、「連用形語尾＋てぇ」といった特別の
言語表現を用いたり、イントネーションの上げ下げ（ラ
イズアンドフォール）などの特定のイントネーション変
化などの韻律的特徴を付与したり、あるいは、聞き手に
視線一致（アイコンタクト）を要求するために聞き手の
顔に視線を向けるといった特定の新対動作など視覚的な
非言語メッセージを付加することによって、聞き手に対
して、話し手への相槌を要求するための表現を提示し、
能動的に聞き手とのインタラクションを図り、対話を制
御し、円滑で確実な対話を実現している。

【００２２】ところが、従来の音声対話システムおよび
マルチモーダル対話システムでは、上述のような相槌を
要求する表現による、聞き手である利用者への能動的な
働きかけを行なうことが出来なかったため、利用者と対
話システムの間で、円滑で確実な対話を行なうことが出
来なかった。

【００２３】また、人間同士の対話では、上述のような
相槌を要求する表現の提示による、話し手から聞き手へ
の能動的な働きかけに加えて、この働きかけに対する、
例えば相槌の提示や、非提示といった聞き手の反応に応
じて、進行中の情報の提示や対話の進行について、聞き
手が話し手の話しを聞いているかどうか、あるいは提示
している情報を理解しているかどうかを話し手が確認す
る埋め込み対話を行なうなど、場面場面に応じた制御す
ることによって、聞き手と話し手の間で、円滑で確実な
コミュニケーションを実現している。

【００２４】しかし、従来の音声対話システムでは、マ
ルチモーダル対話システムでは、相槌を要求する表現の
提示による話し手の聞き手に対する能動的な働きかけ
が、不可能であるため、上述のような働きかけへの聞き
手の反応に応じた対話の制御を行なうことが出来ず、結
果として、聞き手と話し手の間での円滑で確実なコミュ
ニケーションを実現することができなかった。

【００２５】さらに、マルチモーダル対話システムは、
複数の入出力メディアが利用可能であるが、伝達すべき
情報の意味内容および発話意図を表す情報や非言語メッ
セージを、どのメデイアを用いて利用者に提示すべきか
を決定する手段を持っていないため、上述のような相槌
を要求する表現を利用者に提示しようとする場合に、ど
のメディアを通じて提示すれば良いかを決定することが
出来なかった。

【００２６】

【発明が解決しようとする課題】上記したように、従来
技術においては、あらかじめ用意していた発話文を提示
したり、定型パターンに必要情報を追加して生成した発
話文を、例えば音声合成処理して音声出力として利用者
に提示する音声対話システムあるいはマルチモーダル対
話システムでは、複雑な内容を提示することは出来ない
という問題点があった。

【００２７】また、自然言語を生成するための規則であ
る文法規則に応じた文生成処理によって、発話文を生成
し出力する音声対話システムあるいはモーダル対話シス
テムにおいても、かりに複雑な内容を持つ発話文を生成
したとしても、複雑な情報を利用者へ確実に伝達するこ
とが困難であるという問題点があった。

【００２８】また、従来の音声対話システムおよびマル
チモーダル対話システムにおいては、仮に相槌の認識を
行なったとしても、認識された相槌を利用して、対話を
適切に制御することが出来ないという問題点があった。

【００２９】また、従来の音声対話システムおよびマル
チモーダル対話システムにおいては、複雑な内容を対話
によって授受しようとする場合に、逐次確認のための質
問を行なうなどの処理を行なう必要があるが、この場
合、利用者の負担が増加してしまう。同時に、逐次確認
を行なわない場合は、利用者と対話システムの間のコミ
ュニケーションの確実性が得られないという問題があっ
た。

【００３０】また、従来の音声対話システムでは、入力
として音声のみを対象としているため、このような音声
メディア以外を利用して提示される相槌など非言語メッ
セージを扱うことが出来ないという問題点があった。

【００３１】また、従来のマルチモーダル対話システム
では、相槌を利用した利用者との円滑なコミュニケーシ
ョンを行なうことが不可能であるという問題点があっ
た。

【００３２】また、従来の対話システムにおいては、対
話システムは現在提示中の情報を利用者が確かに受けと
っているかどうかを確認することが出来ないという問題
があった。

【００３３】また、対話システムは現在提示中の情報を
利用者が理解していることを確認することが出来ないと
いう問題があった。

【００３４】また、従来の対話システムでは、利用者に
提示した情報内容が、利用者に伝達されているかどうか
について確認の質問を行なう際に、現在利用者が理解し
ていると推測出来る部分を判断することが不可能である
ため、確認質問を行なう情報内容を適切に限定して利用
者に質問することが出来ず、利用者が不要な質問に解答
する必要が出て負担が増加するという問題があった。

【００３５】また、従来の音声対話システムおよびマル
チモーダル対話システムは、相槌を要求する表現によ
る、利用者への能動的な働きかけを行なうことが出来な
いという問題があった。

【００３６】また、従来の音声対話システムおよびマル
チモーダル対話システムでは、相槌を要求する表現に対
する聞き手の反応に応じた対話の制御を行なうことが出
来ないという問題があった。

【００３７】さらに、従来のマルチモーダル対話システ
ムは、相槌を要求する表現を利用者に提示しようとする
場合に、どのメディアを通じて提示すれば良いかを決定
することが出来ないという問題があった。

【００３８】以上示したように、従来の音声対話システ
ムおよびマルチモーダル対話システムでは、対話におい
て重要な役割を果たす相槌を適切に扱うことが出来ない
ため利用者と対話システムの間での円滑な対話を実現す
ることが出来ず、対話システムとの間で不自然な対話を
強いられ利用者の負担が増加したり、確実な情報の授受
が出来なくなると言う問題があった。

【００３９】本発明はこのような課題に着目してなされ
たものであり、音声対話システムあるいはマルチモーダ
ル対話システムにおいて、利用者に対して、複雑な内容
を確実に伝達することを目的とする。

【００４０】また、相槌を利用して、対話を適切に制御
することを目的とする。

【００４１】また、複雑な内容を対話によって授受しよ
うとする場合に、利用者に対して逐次確認のための質問
を行なうことによる利用者の負担を回避し、かつ、同時
に、利用者と対話システムの間のコミュニケーションの
確実性を得ることを目的とする。

【００４２】また、音声メディア以外を利用して提示さ
れる相槌など非言語メッセージを扱うことを目的とす
る。

【００４３】また、利用者が対話システムが現在提示中
の情報を確かに受けとっているかどうかを確認すること
を可能にするものである。

【００４４】また、対話システムが現在提示中の情報を
利用者が理解していることを確認することを目的とす
る。

【００４５】また、利用者に提示した情報内容が、利用
者に伝達されているかどうかについて確認の質問を行な
う際に、現在利用者が理解していると推測出来る部分を
判断し、確認質問を行なう情報内容を適切に限定して利
用者に質問し、不要な質問に解答することによる利用者
の負担の増加を回避することを目的とする。

【００４６】また、相槌を要求する表現を用いて、対話
において利用者への能動的な働きかけを行なうことを目
的とする。

【００４７】また、相槌を要求する表現に対する聞き手
の反応に応じた対話の制御を行なうことを目的とする。

【００４８】さらに、相槌を要求する表現を利用者に提
示しようとする場合に、適切なメディアを選択すること
を目的とする。

【００４９】以上示したように、本発明の目的は、対話
において重要な役割を果たす相槌を利用して、または、
利用者に相槌を要求する表現を利用することによって利
用者に能動的に働きかけ、利用者と対話システムの間で
の円滑で確実な対話を実現し、利用者の負担を軽減する
ことを可能にする対話処理装置および対話処理方法を提
供することにある。

【００５０】

【課題を解決するための手段】上記の目的を達成するた
めに、第１の発明に係る対話処理装置は、利用者によっ
て、キーボードなどを通じて入力される自然言語入力
と、マイクなどを通じて入力される音声情報入力と、カ
メラなどを通じて入力される視覚情報入力と、マウスな
どを通じて入力される操作入力のうち、少なくとも一つ
の入力を取り込んで所定の解析を行ない、該入力の一部
あるいは全部を表現する記述と、前記入力の意味内容
と、利用者の意図のうち、少なくとも一つを含む入力メ
ッセージ情報を生成する入力手段と、この入力手段から
の入力メッセージ情報に応じた問題解決を行ない、利用
者からの要求に対する応答のための情報の提示や利用者
との協調による問題解決に必要な質問など、利用者へ伝
達すべきメッセージの内容と、利用者への提示の仕方や
意図のうち、少なくとも一つを表す問題解決情報を出力
する問題解決手段と、この問題解決手段からの問題解決
情報に基づいて、自然言語による発話文の生成と、合成
音声の生成と、コンピュータグラフィックスなどによる
顔表情や身体動作の生成のうち少なくとも一つを行い、
これを出力メッセージとして利用者へ出力する出力生成
手段と、前記入力手段からの入力メッセージ情報に対し
て、所定の言語解析と、音声信号の解析と、視覚情報の
解析と、操作入力の解析のうち、少なくとも一つを行な
うことによって、相槌を表す表現を認識し、利用者から
提示される相槌表現の種類と、対話機能と、入力された
時刻などの時間情報のうち、少なくとも一つを含む相槌
表現認識情報を出力する相槌表現認識手段とを具備す
る。

【００５１】また、第２の発明に係る対話処理装置は、
第１の発明において、前記相槌表現認識情報に基づい
て、前記入力手段と、問題解決手段と、出力生成手段の
うち、少なくとも一つを制御する対話通信制御手段をさ
らに具備する。

【００５２】また、第３の発明に係る対話処理装置は、
第２の発明において、前記対話通信制御手段は、利用者
から提示される相槌表現の種類と、対話機能と、入力さ
れた時刻などの時間情報とを含む相槌表現認識情報に基
づいて、前記問題解決情報の提示方法に関する制御信号
としての出力制御情報を出力し、前記出力生成手段はこ
の出力制御情報に応じて、利用者へ出力する出力メッセ
ージの統語構造、表層表現、提示タイミング、提示速
度、フレージングの少なくとも一つを調整する。

【００５３】また、第４の発明に係る対話処理装置は、
第２の発明において、前記出力生成手段は、前記問題解
決情報に基づいて利用者からの相槌が期待される相槌期
待位置を検出し、これを相槌期待情報として利用者へ出
力する時刻に関する情報とともに出力し、前記対話通信
制御手段は、前記相槌表現認識情報と前記相槌期待情報
とを比較し、利用者からの相槌の不提示が、あらかじめ
設定した条件以上に発生した場合には、利用者との通信
路が適切に保たれているかどうかに関する質問を前記出
力生成手段を通じて行ない、かつ、前記質問に対する利
用者からの応答を前記入力手段を通じて受け取り、この
応答に応じて利用者との対話の制御を行なう。

【００５４】また、第５の発明に係る対話処理装置は、
第２の発明において、前記出力生成手段は、前記問題解
決情報に基づいて利用者からの相槌が期待される相槌期
待位置を検出し、これを相槌期待情報として利用者へ出
力する時刻に関する情報とともに出力し、前記対話通信
制御手段は、前記相槌表現認識情報と前記相槌期待情報
とを比較し、利用者からの相槌の不提示が、あらかじめ
設定した条件を満たした場合には、利用者へ出力した情
報が正しく伝達されているかどうかに関する確認の質問
を前記出力生成手段を通じて行ない、かつ、前記確認の
質問に対する利用者からの応答を前記入力手段を通じて
受け取り、この応答に応じて利用者との対話の制御を行
なう。

【００５５】また、第６の発明に係る対話処理装置は、
第５の発明において、前記入力メッセージ情報と、前記
問題解決情報と、前記相槌期待情報と、前記相槌表現認
識情報とを適宜保存する対話情報記録手段をさらに具備
し、前記対話通信制御手段は、利用者への質問を行なう
際に、前記対話情報記録手段の内容を参照し、了承のな
い項目が存在する場合は、それを優先して利用者に確認
するとともに、利用者から了承の意図を表す相槌が得ら
れている場合には、その部分を確認質問から省いて利用
者に対して確認の質問を行なうよう制御する。

【００５６】また、第７の発明に係る対話処理装置は、
第２の発明において、前記問題解決手段からの問題解決
情報を受け取り、自然言語表現の文あるいはフレーズ末
の表現の変更、構文構造の変更、音声合成における韻律
制御による文あるいはフレーズ末のイントネーションの
変更、コンピュータグラフィックスによる顔表情の生成
などに基づいて、あらかじめ定めた所定の規則を用い
て、利用者からの相槌を要求する表現である相槌要求表
現を生成する相槌要求表現生成手段をさらに具備し、こ
の相槌要求表現生成手段は、前記対話通信制御手段の制
御の基に、前記相槌要求表現を、これを提示する時刻に
関する情報とともに相槌要求提示情報として出力する。

【００５７】また、第８の発明に係る対話処理装置は、
第７の発明において、前記対話通信制御手段は、前記相
槌表現認識情報と、前記相槌要求提示情報とを比較し、
利用者からの相槌の不提示があらかじめ設定した条件を
満たした場合には、利用者へ出力した情報が正しく伝達
されているかどうかに関する確認の質問を前記出力生成
手段を通じて行ない、かつ、前記確認の質問に対する利
用者からの応答を前記入力手段を通じて受け取り、この
応答に応じて利用者との対話の制御を行なう。

【００５８】また、第９の発明に係る対話処理装置は、
第３または第７の発明において、前記対話通信制御手段
は、前記相槌表現認識情報と、前記相槌要求提示情報と
を比較し、利用者からの相槌の不提示があらかじめ設定
した条件を満たした場合には、利用者の確認を得た上
で、対話を中断あるいは停止あるいは初期状態に戻すよ
うに制御する。

【００５９】また、第１０の発明に係る対話処理装置
は、第７の発明において、前記対話通信制御手段は、前
記相槌表現認識情報に含まれる相槌表現の種類に応じ
て、あらかじめ設定した所定の規則を用いて、利用者に
提示する相槌要求表現の種類を決定する。

【００６０】また、第１１の発明に係る対話処理装置
は、第７の発明において、前記出力生成手段は、前記問
題解決情報に基づいて利用者からの相槌が期待される相
槌期待位置を検出し、これを相槌期待情報として利用者
へ出力する時刻に関する情報とともに出力し、前記対話
通信制御手段は、前記相槌表現認識情報と前記相槌期待
情報とを比較し、利用者からの相槌の不提示が、あらか
じめ設定した条件以上に発生した場合には、利用者との
通信路が適切に保たれているかどうかに関する質問を前
記出力生成手段を通じて行ない、かつ、前記質問に対す
る利用者からの応答を前記入力手段を通じて受け取り、
この応答に応じて利用者との対話の制御を行なう。

【００６１】また、第１２の発明に係る対話処理装置
は、第７の発明において、前記入力メッセージ情報と、
前記問題解決情報と、前記相槌期待情報と、前記相槌表
現認識情報とを適宜保存する対話情報記録手段をさらに
具備し、前記対話通信制御手段は、利用者への質問を行
なう際に、前記対話情報記録手段の内容を参照し、了承
のない項目が存在する場合は、それを優先して利用者に
確認するとともに、利用者から了承の意図を表す相槌が
得られている場合には、その部分を確認質問から省いて
利用者に対して確認の質問を行なうよう制御する。

【００６２】また、第１３の発明に係る対話処理方法
は、利用者によって、キーボードなどを通じて入力され
る自然言語入力と、マイクなどを通じて入力される音声
情報入力と、カメラなどを通じて入力される視覚情報入
力と、マウスなどを通じて入力される操作入力のうち、
少なくとも一つの入力を取り込んで所定の解析を行な
い、該入力の一部あるいは全部を表現する記述と、前記
入力の意味内容と、利用者の意図のうち、少なくとも一
つを含む入力メッセージ情報を生成する入力工程と、こ
の入力メッセージ情報に応じた問題解決を行ない、利用
者からの要求に対する応答のための情報の提示や利用者
との協調による問題解決に必要な質問など、利用者へ伝
達すべきメッセージの内容と、利用者への提示の仕方や
意図のうち、少なくとも一つを表す問題解決情報を出力
する問題解決工程と、この問題解決情報に基づいて、自
然言語による発話文の生成と、合成音声の生成と、コン
ピュータグラフィックスなどによる顔表情や身体動作の
生成のうち少なくとも一つを行ない、これを出力メッセ
ージとして利用者へ出力する出力生成工程と、前記入力
メッセージ情報に対して、所定の言語解析と、音声信号
の解析と、視覚情報の解析と、操作入力の解析のうち、
少なくとも一つを行なうことによって、相槌を表す表現
を認識し、利用者から提示される相槌表現の種類と、対
話機能と、入力された時刻などの時間情報のうち、少な
くとも一つを含む相槌表現認識情報を出力する相槌表現
認識工程とを具備する。

【００６３】また、第１４の発明に係る対話処理方法
は、第１３の発明において、前記相槌表現認識情報に基
づいて、前記入力解析工程と、前記問題解決工程と、前
記出力生成工程のうち、少なくとも一つを制御する対話
通信制御工程をさらに具備する。

【００６４】また、第１５の発明に係る対話処理方法
は、第１４の発明において、前記問題解決情報を受け取
り、自然言語表現の文あるいはフレーズ末の表現の変
更、構文構造の変更、音声合成における韻律制御による
文あるいはフレーズ末のイントネーションの変更、コン
ピュータグラフィックスによる顔表情の生成などに基づ
いて、あらかじめ定めた所定の規則を用いて、利用者か
らの相槌を要求する表現である相槌要求表現を生成する
相槌要求表現生成工程をさらに具備し、この相槌要求表
現生成工程は、前記対話通信制御工程の制御の基に、前
記相槌要求表現を、これを提示する時刻に関する情報と
ともに相槌要求提示情報として出力する。

【００６５】

【発明の実施の形態】以下、図面を参照して本発明の一
実施例に係る対話処理装置および対話処理方法について
説明する。

【００６６】図１は、本発明の一実施例に係る対話処理
装置の構成を示す図であり、本対話処理装置１０は、入
力部１と相槌表現認識部４からなる入力解析部７と、相
槌要求表現生成部６と出力部３とからなる出力生成部８
と、対話通信制御部５と対話管理問題解決部２とからな
る対話部９とから構成されている。

【００６７】図１において、入力部１は、例えばマイ
ク、カメラ、キーボード、マウス、ペン、タブレット、
データグローブ、フットスイッチ、対人センサなどの少
なくとも一つの入力デバイスを通じて利用者および環境
からの入力メッセージを受け取り、例えば音声認識処理
（発話内容理解、イントネーションやアクセント等の韻
律認識、話者認識など）、言語解析処理（統語解析、照
応解決、省略補完処理など）、画像認識処理（視線検出
処理、顔向き検出処理、身体動作ジェスチャ認識、表情
認識処理など）、動作解析処理（データグローブ出力デ
ータの理解、フットスイッチなど）、操作入力データの
解釈処理（ウインドウシステムのイベントの理解、ボタ
ン操作の理解など）、照応解決処理、および意味解析処
理などの処理のうち、少なくとも一つの解析処理を施す
ことによって、入力メッセージの元信号の一部あるいは
全部を表現する記述、および該入力の意味内容、および
利用者の意図のうち、少なくとも一つを含む入力メッセ
ージ情報を生成して、対話管理問題解決部２に出力す
る。

【００６８】図２は、入力部１によって生成される入力
メッセージ情報の例を表しており、本実施形態の入力メ
ッセージ情報は、メッセージＩＤ、入力音声信号情報
Ａ、入力画像情報Ｂ、入力操作情報Ｃ、発話意図情報
Ｄ、命題内容情報Ｅ、時間情報Ｆ、入力メディア情報
Ｇ、統語構造情報Ｈ、フレーズ未表現情報（韻律特徴情
報）Ｉ、およびジェスチャ表現情報Ｊなどから構成され
ている。

【００６９】図２に示した入力メッセージ情報では、メ
ッセージＩＤの欄には対応する入力メッセージの識別記
号が記録されている。また、入力音声信号情報Ａ、およ
び入力画像信号情報Ｂ、および入力操作信号情報Ｃの欄
には、対応する入力メッセージの、例えばマイクなどか
ら得られた音声信号と、例えばカメラなどから得られた
画像信号と、例えばマウスやペンなどから得られた操作
入力信号が、例えばディジタル化されたり、あるいはウ
インドウシステム等のイベントとして記号化され、それ
ぞれ記録される。なお、図２において記号「−」は該当
する内容が空であることを表している。また、記号
「＜」と記号「＞」で囲まれた部分は、記述の都合で、
記録されている内容に対応する内容の説明文を記載して
いる。

【００７０】また、発話意図情報Ｄの欄には、入力部１
によって行なわれた解析によって得られた入力メッセー
ジにこめられた利用者の発話意図が記載されるようにし
ており、例えば、図２のメッセージＩＤ＝＃１の例で
は、「何らかの動作（Ｘ）を行なう方法を尋ねる」とい
う意図を表現する記号「Ａｓｋ＿Ｈｏｗ＿ｔｏ＿ｄｏ＿
Ｘ」が記載されている。

【００７１】また、命題内容情報Ｅの欄には、同様に入
力部１によって行なわれた解析によって得られた入力メ
ッセージの利用者の発話意図以外の意味内容が記載され
るようにしており、例えば、図２のメッセージＩＤ＝Ｉ
＃１の例では、「利用者（Ｕ）があるカバー（Ｃｏｖｅ
ｒ＃１）を外す方法」を表す記述「Ｍｅａｎ（Ｕ，Ｒｅ
ｍｏｖｅ（Ｃｏｖｅｒ＃１）＝Ｘ）」が記載されてい
る。なお、これら２つの欄に現れている記号「Ｘ」など
の文字は変数を表しており、発話意図情報Ｄおよび命題
内容情報Ｅの双方で、本入力メッセージが、「利用者
（Ｕ）があるカバー（Ｃｏｖｅｒ＃１）を外す方法を、
利用者が尋ねている」ものであると解析されたことを表
現している。

【００７２】また、図２に示す入力メッセージ情報にお
いて、時間情報Ｆの欄には、対応する入力メッセージの
入力された時間が記録されるようにしており、図２のメ
ッセージＩＤ＝Ｍ＃１の例では、開始時刻がｔ１で、終
了時刻がｔ２であったことが記載されている。

【００７３】また、図２に示す入力メッセージ情報にお
いて、入力メディア情報Ｇの欄には、対応する入力メッ
セージにおいて利用されたメディアの種類を表す記号が
記録され、例えば、図２のメッセージＩＤ＝Ｉ＃１の例
では、音声入力とポインティングジェスチャ（指さしに
よる指し示し動作）によってこのメッセージが入力され
たことを表していることになる。

【００７４】また、図２に示す入力メッセージ情報にお
いて、統語構造情報Ｈの欄には、入力メッセージの統語
解析結果が記録される。なおここで、記号「…」は、本
実施形態の説明に不要な部分を省略したことを表してい
る。

【００７５】また、韻律特徴情報Ｉの欄には、対応する
入力メッセージの音声入力のフレーズ末の韻律的特徴の
分析結果が記録される。なおここで記号「↑」はフレー
ズ末において、例えば疑問などを表すピッチの上昇（ラ
イズ）が検出されたことを表現している。

【００７６】また、ジェスチャ表現情報Ｊの欄には、対
応する入力メッセージのジェスチャ解析結果が記録さ
れ、例えば図２のメッセージＩＤ＝Ｉ＃１の例では、あ
るカバー（Ｃｏｖｅｒ＃１）に対する指さし指示（ポイ
ンティング動作）が検出されたことを表している。

【００７７】図１において、対話管理問題解決部２は、
入力部１からの入力メッセージ情報を受けとり、対応す
る入力メッセージでの利用者の要求を表す、発話意図情
報Ｄおよび命題内容情報Ｅを参照して、例えばあらかじ
め用意したデータベースの検索処理や、あらかじめ用意
した推論規則を用いた推論エンジンの動作や、数値演算
処理などのうち、少なくとも一つの問題解決処理を行な
うことによって、利用者からの要求を解決する応答を行
なうための出力メッセージ情報を出力する。

【００７８】あるいは、利用者からの要求を解決するた
めに、例えば不足情報や追加条件を利用者から聞き出す
ためや、あるいは、利用者が犯していると考えられる誤
解部分を推測しその誤解の解消するための質問を行なっ
たり、あるいは、入力部１においてなされる利用者から
の入力メッセージの解釈処理結果の誤りを解消するため
の利用者への問い合わせや確認を行なうための、出力メ
ッセージ情報の生成と、問い合わせなどのための埋め込
み対話を行なうための例えば階層プランナや状態遷移線
図による対話モデルなどを利用した対話管理などを行な
うようにしている。

【００７９】図３は、対話管理問題解決部２によって生
成される問題解決情報としての出力メッセージ情報の内
容の一例を表しており、本実施形態の出力メッセージ情
報は、メッセージＩＤ、発話意図情報Ａ、命題内容情報
Ｂ、および提示メディア情報Ｃなどから構成されてい
る。

【００８０】図３に示す出力メッセージ情報では、メッ
セージＩＤの欄には対応する出力メッセージに対して付
与した識別記号が記録されている。また、発話意図情報
Ａの欄には、本装置から利用者へ提示すべき出力メッセ
ージに含まれている発話意図に関する情報が示されてお
り、例えば、図３のメッセージＩＤ＝Ｏ＃１の出力メッ
セージでは、「利用者（Ｕ）に、命題内容情報Ｂの欄の
変数Ｐ、Ｑ、Ｒ、ＳＴ、およびＶに対応する動作を行な
うことを知らせる（Ｉｎｆｏｒｍする）」という意図を
表す記述「Ｉｎｆｏｒｍ（Ｕ、（Ｐ＜Ｑ＜Ｒ＜Ｓ＜Ｔ＜
Ｖ））」が記載されている。なお、ここで、記号「＜」
は、提示する意味内容の時間的関係に関する制約情報を
表現しており、左から右への時間的な前後（先行後続）
関係を表している。つまり、メッセージＩＤ＝Ｏ＃１の
例では、まず最初に記号Ｐに対応する内容を知らせ、次
に記号Ｑの対応する内容を、そして記号Ｖに対応する内
容を最後に伝達することを表現していることになる。

【００８１】そして、命題内容情報Ｂの欄には、対応す
る出力メッセージで利用者に提示すべき情報の意味内容
が記述されている（ただし、この例では複数の意味内容
記述が含まれている）。ここでも図２に示した入力メッ
セージの命題内容情報Ｂの欄と同様の記述法が使われて
おり、例えば、図３のメッセージＩＤ＝Ｏ＃１の例の、
命題内容情報Ｂの欄の「Ｄｅｔａｔｃｈ（Ｃａｂｌｅ＃
２）＝Ｒ」の部分は、あるケーブル（Ｃａｂｌｅ＃２）
を取り外すことを表現しているとともに、この意味内容
を、変数「Ｒ」で参照することを表していることにな
る。

【００８２】また、出力メッセージ情報の提示メディア
情報Ｃの欄には、対応するメッセージを利用者に提示す
る場合に利用すべきメディアを記録する用にしており、
例ええば図３のメッセージＩＤ＝Ｏ＃１の場合は、その
内容が「Ｓｐｅｅｃｈ」であることから、本メッセージ
を音声メディアを使って利用者に提示することになる。

【００８３】以上説明した通り、出力メッセージ情報は
利用者に提示すべきメッセージの意味内容、発話意図、
および利用メディアなどを記述したものであり、例え
ば、図３のメッセージＩＤ＝Ｏ＃１の例全体では、「利
用者（Ｕ）に、まず、あるケーブル（Ｃａｂｌｅ＃１）
を外し、次にあるアース線（Ｅａｒｔｈ＃１）を外し、
次にあるケーブル（Ｃａｂｌｅ＃２）を外し、次にある
ねじ（Ｓｃｒｅｗ＃１）を外し、次にあるねじ（Ｓｃｒ
ｅｗ＃２）を外し、最後にカバー（Ｃｏｖｅｒ＃１）を
外すことを、音声メディアを使って、伝える」という内
容を表していることになる。

【００８４】図１に於いて、出力部３は、対話管理問題
解決部２から供給される出力メッセージ情報に基づき、
自然言語生成処理（発話文生成、構文構造生成、語彙選
定、代名詞化処理、パラフレーズ処理、省略表現導入な
ど）、音響信号生成（警告音生成など）、音声合成処理
（意味表現からの生成、自然言語文章からの合成な
ど）、韻律制御処理（アクセント、イントネーション、
フレーズ制御、ポーズ制御など）、コンピュータグラフ
ィックス（ＣＧ）などによる画像情報生成（顔画像、表
情、身振り合成、図表情報や文字情報の生成など）、あ
るいはフィードバックなどのために提示すべき力の生成
処理などの少なくとも一つを行なって、利用者へ提示す
べき出力メッセージを生成し、例えばディスプレイ（Ｃ
ＲＴ）、スピーカ、ヘッドマウントディスプレイ（ＨＭ
Ｄ）、フォースディスプレイ（提力装置）などのうち、
少なくとも１つの出力デバイスを通じて、利用者への出
力メッセージを提示するようにしている。

【００８５】また出力部３は、出力メッセージ情報から
出力メッセージの構造情報である出力構造情報を生成し
て相槌要求生成部６の内部に記録するとともに、相槌要
求表現生成部６の内部処理によって修正される出力構造
情報に応じて、利用者へ提示する出力メッセージを生成
するようにしている。

【００８６】図１に於いて、相槌表現認識部４は、入力
部１から出力される入力メッセージ情報を受けとり、利
用者からの入力メッセージに含まれる相槌表現を抽出
し、相槌入力情報として出力する。

【００８７】図４は、相槌表現認識部４の内部構成の一
例を表しており、受けとった入力メッセージ情報を保持
する入力メッセージ情報記憶部４ａと、入力メッセージ
情報記憶部４ａの内容に対して、相槌表現抽出規則記憶
部４ｃの内容を参照した照合処理を行なうことによって
相槌表現を抽出し、相槌表現認識情報としての相槌入力
情報を生成して出力する相槌表現抽出処理部４ｂと、入
力メッセージ情報から相槌表現を抽出するための規則を
保持する相槌表現抽出規則記憶部４ｃとから構成されて
いる。

【００８８】図５は、入力メッセージ情報記憶部４ａの
内容の一例を表しており、入力部１から出力され、相槌
表現認識部４へ渡された入力メッセージ情報の内で、相
槌表現認識部４で利用される情報が、メッセージＩＤ情
報、時間情報Ａ、メディア情報Ｂ、統語構造情報Ｃ、韻
律特徴情報Ｄ、およびジェスチャ表現情報Ｅなどに分類
されて記録される。

【００８９】図６は、相槌表現抽出規則記憶部４ｃの内
容の例を表しており、入力メッセージから相槌表現を抽
出するとともに、抽出した相槌表現の対話機能を判定す
るための規則が、統語特徴情報Ａ、韻律特徴Ｂ、ジェス
チャ特徴情報Ｃ、および対話通信機能情報Ｄなどと分類
されて記録される。

【００９０】相槌表現抽出規則記憶部４ｃの各エントリ
において、統語特徴情報Ａの欄には対応する相槌表現の
統語構造における特徴が記録されており、例えば図６の
格納アドレスＱ１のエントリでは、その内容が「Ｓ（Ｉ
ＴＪ（はい）」であることから、間投詞（ＩＴＪ＝Ｉｎ
ｔｅｒｊｅｃｔｉｏｎ）「はい」のみから構成される発
話文（Ｓ）であるという特徴を表現している。また、格
納アドレスＱ６のエントリでは、統語特徴情報Ａの内容
が記号「｛＊｝」となっているが、これは記号「＊」に
よって任意の表現について条件が満たされることと、記
号「｛」および「｝」によって表現が存在しなくても条
件が満たされるということを表現しているものである。

【００９１】相槌表現抽出規則記憶部４ｃの各エントリ
において、韻律特徴情報Ｂの欄には対応する相槌表現の
韻律的特徴を記載するが、記号「↑」は有標の（＝マー
クされた：標準的な表現でなく何らかのコミュニケーシ
ョン上の意図の下に意識的に付与された）発話末イント
ネーションの上昇（ライズ）があるということを表現し
ており、記号「↓」は有標の発話末イントネーションの
下降（フォール）があるということを表現している。ま
た、記号「↑↓」は有標の発話末イントネーションの上
昇＋下降（ライズアンドフォール）があることを表して
いる。なおここでも、記号「＊」は任意の特徴が条件を
満たすことを表しており、また記号「｛」および記
号「｝」で囲まれた表現は必ずしも満足する必要のない
選択的な条件であることを表している。

【００９２】相槌表現抽出規則記憶部４ｃの各エントリ
において、ジェスチャ特徴情報Ｃの欄には、対応する相
槌表現のジェスチャにおける特徴が記載されており、入
力部１による処理によって抽出され分類されたジェスチ
ャの種類に関する条件が記載される。なお、アイコンタ
クトとは話し手と聞き手の間で視線を一致させる動作を
表す。

【００９３】また、相槌表現抽出規則記憶部４ｃの各エ
ントリにおいて、対話通信機能情報Ｄの欄には、統語特
徴情報Ａ、韻律特徴情報Ｂ、およびジェスチャ特徴情報
Ｃに記載された条件を満たす相槌表現が持つ、対話機能
が記載されるここで、記号「成功」は、対話システムが
提示した情報が、聞き手である利用者に無事に伝達され
たことを確認する対話機能を持つものであることを表し
ており、記号「失敗」は、提示した情報が利用者に無事
に伝達されなかったことを表す対話機能を持つ相槌表現
であることを表す。なお記号「保留」は、対話システム
が提示した情報が、利用者に完全には伝達できなかった
が、その問題の解消を今すぐには行わず、現在提示中の
話を先に進めて欲しいという意味を表す対話機能を持つ
相槌表現であることを表す記号である。

【００９４】つまり、具体的には、例えば図６の格納ア
ドレスＱ４のエントリは、発話末にイントネーション下
降の韻律特徴を持つ、「えぇ」という間投詞のみで構成
される発話とともに、アイコンタクトが見られた場合に
は、話し手から聞き手へ提示した情報が正しく伝達され
たことを表す相槌が存在することを表す規則である。な
お、ここで、ジェスチャ特徴情報Ｃの内容が「｛アイコ
ンタクト｝」であり、記号「｛」および記号「｝」がつ
いていることから、ここではアイコンタクトというジェ
スチャ特徴が存在しない場合にも同様の相槌が存在する
ことも同時に表現していることになる。

【００９５】また、例えば、格納アドレス＝Ｑ６のエン
トリでは、ジェスチャ特徴として、うなづきが存在する
場合には、特定の統語的特徴および韻律的特徴が存在し
なくても、つまり極端な例としては発声がなされなかっ
た場合でも、提示した情報の伝達が正しくなされたこと
を表す相槌表現が存在することを表現する規則となって
いる。

【００９６】以上説明した入力メッセージ情報記憶部４
ａ、および相槌表現抽出規則記憶部４ｃの内容を参照し
て、相槌表現抽出処理部４ｂによって相槌表現の抽出処
理が行なわれる。

【００９７】相槌表現抽出処理部４ｂでは、以下に示す
相槌表現抽出手順Ａに従った処理が行なわれる。

【００９８】［相槌表現抽出手順Ａ］ ａ１ 新しい入力メッセージ情報Ｉｉが、入力部１から
相槌表現認識部４へ渡され、入力メッセージ情報記憶部
４ａに新しいエントリＰｉが生成され、Ｉｉの中の情報
の種類に応じて、エントリＰｉの各欄に情報が記録され
る。

【００９９】ａ２ エントリＰｉの内容と相槌表現抽出
規則記憶部４ｃの各エントリＱｊとを順次比較すること
で、条件を満たすエントリを検索する。

【０１００】ａ３ 条件を満たすエントリＱｊｉが存在
した場合には、エントリＱｊｉとエントリＰｉの内容を
参照して、対応する情報を複写することによって、相槌
入力情報を生成し、相槌表現認識部４から本実施形態に
係る対話処理装置の他の構成要素へ出力する。

【０１０１】ａ４ ａ１へ進む。

【０１０２】図７は、相槌入力情報の内容の一例を表し
ており、これが、メッセージＩＤ、統語特徴情報Ａ、韻
律特徴情報Ｂ、ジェスチャ特徴情報Ｃ、対話通信機能情
報Ｄ、時間情報Ｅ、および利用メディア情報Ｆなどから
構成されている。例えば、この図７の例では、メッセー
ジＩＤ＝Ｉ＃２の入力メッセージが、発話末のイントネ
ーションの下降をともなった、間投詞「えぇ」との表現
とうなづきによる相槌表現が認識され、同時にその対話
通話機能が「成功」であることが判明したことを表して
いる。

【０１０３】図１に於いて、対話通信制御部５は、入力
部１から得られる入力メッセージ情報、および相槌表現
認識部４から得られる相槌入力情報、および相槌要求表
現生成部６から得られる相槌期待情報のうち、少なくと
も一つに基づいて、入力部１、出力部２、対話管理問題
解決部３、相槌表現認識部４、および相槌要求表現生成
部６のうち、少なくとも一つの動作を制御する。

【０１０４】なお、この対話通信制御部５が本実施形態
において中心的な役割を担う部分であるため、対話通信
制御部５の処理のながれなど詳細な説明については、後
ほど詳しく説明を行なうこととする。

【０１０５】図１に於いて、相槌要求表現生成部６は、
対話管理問題解決部２から得られる出力メッセージ情報
から利用者に提示する出力メッセージを生成する出力部
３に新たな機能を付与するものであり、対話通信制御部
５の制御に従って、利用者へ提示する出力メッセージ
に、利用者からの相槌を要求する表現（以後、「相槌要
求表現」と呼ぶ）を追加するための出力メッセージ情報
への変更を行なう。また、利用者へ提出する出力メッセ
ージから利用者の相槌が期待される位置（以後、「相槌
期待位置」と呼ぶ）を検出し、これらに関する情報を、
相槌期待情報として生成し、対話通信制御部５へ適宜送
るようにしている。

【０１０６】図８は、相槌要求表現生成部６の内部構成
の一例を表しており、出力構造情報記憶部６ａと、相槌
要求表現生成処理部６ｂと、相槌要求表現生成規則記憶
部６ｃと、相槌期待位置検出処理部６ｄと、相槌期待位
置検出規則記憶部６ｅとから構成されている。

【０１０７】出力構造情報記憶部６ａは、対話管理問題
解決部２で生成された出力メッセージ情報から出力部３
によって生成される出力メッセージの構造情報を記憶す
るものである。出力構造情報記憶部６ａの内容は、相槌
要求表現生成処理部６ｂ、相槌期待位置検出処理部６
ｃ、および出力部３などから参照され、また、相槌要求
表現生成処理部６ｂでの処理によって適宜、内容の追加
および変更がなされるようにしている。さらに、出力構
造情報記憶部６ａの内容は出力部３からも参照され、利
用者に提示する出力メッセージの生成に利用される。

【０１０８】図９は、出力構造情報記憶部６ａの内容の
一例を示しており、出力構造情報は、メッセージＩＤ情
報、サブＩＤ情報Ａ、メディア情報Ｂ、メッセージ構造
情報Ｃ、確認フラグ情報Ｄ、及び時間情報Ｅなどといっ
た様に分類されて記録される。

【０１０９】出力構造情報記憶部６ａの各エントリに於
いて、メッセージＩＤ情報の欄には、対応する出力メッ
セージの識別記号が記録される。また、サブＩＤ情報Ａ
の欄には、あるメッセージＩＤに対応する出力メッセー
ジ情報が複数の命題内容を含む場合の、命題内容の識別
記号を記録する。よって、例えば、図９の格納アドレス
＝Ｒ１およびＲ２のエントリは、メッセージＩＤ情報の
内容が同一「１」であることから、同一の出力メッセー
ジを構成する部分同士であることが分かる。また、サブ
ＩＤ情報Ａの内容が同一の「１」であることから、両者
が同一の命題内容を表現する構成部分であることが分か
る。

【０１１０】また、出力構造情報記憶部６ａの各エント
リに於いて、メディア情報Ｂの欄には、対応する出力メ
ッセージの構成部分を利用者に提示する場合に用いるメ
ディアに関する制約情報が記録される。また、メッセー
ジ構造情報Ｃの欄には、対応する出力メッセージの構成
部分の統語構造や意味表現あるいは品詞情報など、出力
部３での出力メッセージの生成処理のための情報が、例
えば節や句といった構造的な単位ごとに記録される。

【０１１１】例えば、図９の格納アドレス＝Ｒ１のエン
トリにおいて、メッセージ構造情報Ｃの欄には、あるケ
ーブル（Ｃａｂｌｅ＃１）を表す名詞「ケーブル１」を
対象格としてもつ、文の一部を構成する名詞句構造を表
す記述「Ｓ（ＮＰ（Ｎ：ケーブル１，Ｒｅｆ：Ｃａｂｌ
ｅ＃１，Ｃａｓｅ：対象格）」が記録されており、メデ
ィア情報Ｂの欄には、音声メディアを利用してこの情報
を利用者に提示することを意味する記述「音声」が記録
されている。なお、ここでは、例えば、図９の格納アド
レス＝Ｒ１およびＲ２のエントリの様に、サブＩＤ情報
Ａが同一のエントリのメッセージ構造情報を記録されて
いる順番に連結した全体で、対応する命題内容を表現す
る構造情報が記録される。

【０１１２】なお、このメッセージ構造情報Ｃの欄に
は、例えば、図９の格納アドレス＝Ｒ２０のエントリの
メッセージ構造情報Ｃの欄に現れる記述「韻律：
［↑］」の様に、出力部３で行なわれる出力メッセージ
の生成における韻律上の制約条件も記録出来る。また、
例えば、格納アドレス＝Ｒ３０のエントリのメッセージ
構造情報Ｃの欄に現れる記述「Ｇｅｓｔｕｒｅ：［Ｎｏ
ｄｄｉｎｇ］）の様に、うなずきなどの非言語メッセー
ジの提示を指定する構造情報も記録できる。

【０１１３】また、出力構造情報記憶部６ａの各エント
リに於いて、確認フラグ情報Ｄの欄には、利用者に提示
した対応する出力メッセージ情報の構成部分が、利用者
に正しく伝達されたかどうかに関する確認がなされたか
どうかについての情報が、対話通信制御部５の制御に従
って記録される。

【０１１４】ここで、記号「Ｔ」は、例えば利用者から
「はい」などといった対話における通信の成功を意味す
る相槌が入力されたことなどにより、対応する情報の利
用者への伝達が正しくなされたことへの確認がなされた
ことを表す。

【０１１５】また、記号「Ｆ」は、例えば利用者から
「えっ」などといった対話における通信が失敗したこと
を表す相槌が入力されることなどにより、対応する情報
の利用者への伝達が正しくなされなかったことが確認さ
れたことを表す。

【０１１６】また、記号「Ｈ」は、利用者から、対応す
る情報の利用者への伝達が正しくなされなかったが、し
ばらく情報の提示を継続して欲しいとの対話機能をも
つ。例えば「はぁ」などといった相槌がなされたことな
どにより、対話における伝達失敗部分に関する保留がな
されていることを表す。

【０１１７】また、記号「−」は対応する情報が利用者
に対してまだ提示されていないことを表し、記号「Ｕ」
は対応する情報の利用者への伝達が正しくなされたかど
うかについての確認がまだなされていないことを表して
いる。

【０１１８】また、出力構造情報記憶部６ａの各エント
リに於いて、時間情報Ｅの欄には、対応する出力メッセ
ージが実際に利用者に提示された開始時間および終了が
記録される。なお、未提示の出力メッセージ情報に対応
するエントリでは、時間情報Ｅの欄に記号「−」を記録
する。

【０１１９】図１０は、相槌要求表現生成規則記憶部６
ｃの内容の例を示しており、相槌要求表現生成処理部６
ｂから参照される相槌要求表現生成規則が、メディア情
報Ａ、書換え選定情報Ｂ、および構造置換規則Ｃなどと
分類されて記録される。

【０１２０】相槌要求表現生成規則記憶部６ｃの各エン
トリに於いて、メディア情報Ａの欄には、対応する規則
を適用する対象となる出力構造情報記憶部６ａのエント
リのメディア情報Ｂの欄に対する制約が記録されてい
る。また、書換前提情報Ｂの欄には、出力構造情報記憶
部６ａのエントリのメッセージ構造情報Ｃの内容に対す
る制約が記載されている。また、構造置換規則情報Ｃの
欄には、出力構造情報記憶部６ａのエントリのメッセー
ジ構造情報Ｃの内容の変更方法に関する規則が記載され
ている。なお、書換前提情報Ｂおよび構造置換規則情報
Ｃの欄において記号Ｘなどは変数を表しており、書換前
提情報Ｂの欄の対応する位置に存在する記述を、構造書
換規則の対応する位置に挿入することを表している。

【０１２１】またここで、記号「（Ｐ）」は発声におけ
るポーズ（例えば１００〜２００ｍｓ程度の無音区間）
の提示を意味しており、記号「↑」、「↓」、および
「↑↓」は、それぞれイントネーションのライズ（上
昇）、フォール（下降）、およびライズアンドフォール
を表している。

【０１２２】例えば、図１０の相槌要求表現生成規則記
憶部６ｃの内容の例の格納アドレスＳ１のエントリで
は、音声メディアを利用してある動詞Ｘの終止形を使っ
た動詞句を提示するための出力構造情報は、その動詞Ｘ
を連用中止形変更し、ランズアンドフォールの韻律（イ
ントネーション）変化とポーズを追加することによっ
て、利用者に対して相槌を要求する相槌要求表現を生成
することが出来ることを表している。

【０１２３】また、例えば、格納アドレス＝Ｓ３のエン
トリでは、音声によって何らかの発話文を構成するある
名詞句Ｘを利用者に提示するための出力構造情報は、そ
の名詞句Ｘの後に、ライズアンドフォールの韻律変化
と、ポーズを追加し、さらに利用者からのアイコンタク
ト（視線一致）を要求するために利用者の顔に視線を向
ける動作による非言語メッセージを、例えばコンピュー
タグラフィックスによる顔画像で表現することで、相槌
要求表現を提示出来ることを表している。

【０１２４】相槌要求表現生成処理部６ｂは以下の相槌
要求表現生成手順Ｂに従った処理によって動作する。

【０１２５】［相槌要求表現生成手順Ｂ］ ｂ１ 対話通信制御部５から、ある出力メッセージ情報
に対応するメッセージＩＤ：Ｘｏへの相槌要求表現の追
加が指示された場合には、ｂ２へ進む。

【０１２６】ｂ２ 出力構造情報記憶部６ａを検索し、
メッセージＩＤ情報の内容がＸｏであり、かつ確認フラ
グ情報Ｄの内容が「−」であるエントリの組Ｙ（Ｒｉ，
Ｒｊ，…Ｒｎ）を検索する。

【０１２７】ｂ３ エントリの組Ｙに含まれる各エント
リＲｉに対し順に、ｂ４〜ｂ５の処理を行なう。

【０１２８】ｂ４ 相槌要求表現生成規則記憶部６ｃを
参照し、エントリＲｉのメディア情報Ｂ、およびメッセ
ージ構造情報Ｃの内容を適合する相槌要求表現生成規則
記憶部６ｃのエントリＳｉを検索する。

【０１２９】ｂ５ 該当するエントリＳｉが見つかった
場合は、エントリＲｉのメッセージ構造情報Ｃの内容
に、エントリＳｉの書換え前提情報Ｂと、構造置換規則
情報Ｃの内容を利用した書換え処理を行ない、ｂ６へ進
む。

【０１３０】ｂ６ ｂ１へ進む。

【０１３１】以上の処理によって、対話通信制御部５の
指示に応じて、ある出力メッセージを通じて、利用者へ
の相槌要求表現を提示する場合に、相槌要求表現生成規
則によって相槌要求表現を生成可能であれば、最も早く
提示される出力メッセージ情報の構成部分に対して相槌
要求表現が付与されることとなる。

【０１３２】続いて、相槌要求表現生成部６の残りの構
成要素について説明を行なう。

【０１３３】図１１は、相槌期待位置検出規則記憶部６
ｅの内容の一例を示しており、相槌期待位置検出処理部
６ｃで行なわれる利用者からの相槌が期待される位置の
検出処理で参照される規則が、メディア情報Ａ、および
期待位置情報Ｂなどと分類され記録される。

【０１３４】相槌期待位置検出規則記憶部６ｅの各エン
トリにおいて、メディア情報Ａの欄には、対応する規則
を適応する対象となる、出力構造情報記憶部６ａの各エ
ントリのメディア情報Ｂへの制約情報が記載されてい
る。

【０１３５】また、相槌期待位置検出規則記憶部６ｅの
各エントリにおいて、期待位置情報Ｂの欄には、出力構
造情報記憶部６ａの各エントリのメッセージ構造Ｃへの
制約情報と、検出された期待を表す記号「△」を記録す
るようにしている。

【０１３６】なお、ここでの処理によって付与される記
号「△」は、上述の相槌要求表現生成処理においては無
視されるものとする。

【０１３７】相槌期待位置検出処理部６ｄは、下記の相
槌期待位置検出処理手順Ｃに従って動作し、出力構造情
報記憶部６ａにその構造情報が記録されている利用者へ
の出力メッセージの中から、利用者からの相槌が期待で
きる位置の検出と、出力部３を通じて、各期待位置を利
用者に提示した時間に関する情報を相槌期待情報として
生成し、適宜対話通信制御部５へ送るようにしている。

【０１３８】［相槌期待位置検出処理手順Ｃ］ ｃ１ 対話管理問題解決部２から出力メッセージ情報Ｏ
ｘが、相槌要求表現生成部６へ渡され、出力構造情報６
ａに新しいエントリの組Ｚ（Ｒｉ〜Ｒｊ）が生成され、
Ｏｘの情報が格納された場合には、エントリの組Ｚに含
まれる各エントリ（Ｒｉ〜Ｒｊ）に対してｃ３〜ｃ７の
処理を施す。 ｃ２ 相槌要求表現生成処理部６ｂによって、出力構造
情報６ａのあるエントリＲｋのメッセージ構造情報Ｃの
内容が変更された場合には、エントリＲｋに対して、ｃ
３〜ｃ７の処理を行なう。

【０１３９】ｃ３ 処理対象の出力構造情報６ａのエン
トリＲｘに対してｃ４〜ｃ７の処理を行なう。

【０１４０】ｃ４ エントリＲｘの、メディア情報Ｂお
よびメッセージ構造情報Ｃの内容と、相槌期待位置検出
規則記憶部６ｅの全てのエントリの適応を試み、エント
リＴｉについては、エントリＴｉの期待位置情報Ｂの内
容にしたがって、エントリＲｘのメッセージ構造情報Ｃ
の対応する位置に記号「△」を追加する。

【０１４１】ｃ５ エントリＲｘのメッセージ構造情報
Ｃの欄を調べ、同一の位置に複数の記号「△」が連続し
ている場合は、一つの記号「△」を残し、残りの重複し
ている記号「△」を全て削除する。

【０１４２】ｃ６ 検出したエントリＲｘの各相槌可能
位置（記号「△」のある位置）に対してユニークな期待
位置ＩＤ（例えばＢｘ）を付与しＲｘのメッセージ構造
情報Ｃの欄の対応する記号「△」の後ろに記録する。

【０１４３】ｃ７ エントリＲｘに対して、相槌可能位
置情報を生成し対話通信制御部５へ出力する。

【０１４４】ｃ８ 出力部３を通じて利用者へ出力メッ
セージが実際に提示された場合に、提示された出力メッ
セージに対応する出力情報記憶部６ａの各エントリＲｙ
に対してｃ９の処理を行なう。

【０１４５】ｃ９ エントリＲｙのメッセージ構造情報
Ｃの中に存在する各相槌可能位置（記号「△」部）につ
いて、それらが利用者に提示された時間を記録し、期待
位置ＩＤととにも、相槌期待情報として対話通信管理部
５へ出力する。

【０１４６】ｃ１０ ｃ１へ戻る。

【０１４７】図１２は、 相槌期待位置検出処理部６ｄ
によって生成される相槌期待情報の例を示しており、検
出した相槌期待位置が含まれる出力構造情報記憶部６ａ
のエントリＲｂの格納アドレス、メッセージＩＤ情報、
サブＩＤ情報、および期待位置ＩＤなどが含まれてい
る。あるいは、上記の相槌期待位置検出処理手順Ｃのス
テップｃ９では、期待位置ＩＤと、その相槌期待位置が
利用者に提示された時間である提示時間情報が含まれて
いる。

【０１４８】続いて、対話通信制御部５について説明す
る。

【０１４９】対話通信制御部５は、下記の対話制御手順
Ｄ、および内容確認対話Ｅおよびチャンネルチェック処
理手順Ｆにしたがって動作する。

【０１５０】［対話制御手順Ｄ］ ｄ０ 初期動作として、利用者に対して相槌要求を行な
ったか否かを表現するフラグである相槌要求提示レジス
タに記号「Ｆ」を記録する。

【０１５１】ｄ１ 相槌認識部４から相槌入力情報Ｂｉ
が得られた場合には、ｄ２〜ｄ５の処理を行なう。

【０１５２】ｄ２ Ｂｉに含まれる時間情報Ｅの内容
と、出力構造情報記憶部６ａの各エントリＲｉの時間情
報Ｅの内容を参照し、Ｂｉの時間区間と重複する時間区
間を持つエントリＲｉあるいは、Ｂｉに先行しもっと近
い時間区間を持つエントリＲｉを検索する。

【０１５３】ｄ３ Ｂｉの対話通信機能情報Ｄの内容が
「成功」の場合は、エントリＲｉの確認フラグ情報Ｄの
欄に、記号「Ｔ」を記録し、時間情報Ｅの内容を参照し
て、エントリＲｉより時間的に先行して利用者に提示さ
れた出力メッセージに対応する、出力構造情報記憶部６
ａの全てのエントリの確認フラグ情報Ｄの内容を「Ｔ」
に変更し、要求提示レジスタに記号「Ｆ」を記録する。

【０１５４】ｄ４ Ｂｉの対話通信機能情報Ｄの内容が
「保留」の場合は、エントリＲｉの確認フラグ情報Ｄの
欄に、記号「Ｈ」を記録する。

【０１５５】ｄ５ Ｂｉの対話通信機能情報Ｄの内容が
「失敗」の場合は、エントリＲｉの確認フラグ情報Ｄの
欄に記号「Ｆ」を記録し、要求提示レジスタに記号
「Ｆ」を記録して［内容確認対話手順Ｅ］に沿った処理
を行なう。

【０１５６】ｄ６ 相槌要求表現生成部６から、相槌期
待情報Ｅｊが得られた場合は、ｄ７〜ｄ１０の処理を行
なう。

【０１５７】ｄ７ 出力構造情報記憶部６ａの内容を参
照し、確認フラグ情報Ｄの内容が「Ｕ」および「Ｈ」で
あるエントリの組Ｗを検索する。

【０１５８】ｄ８ エントリの組Ｗに含まれる各エント
リＲｋのメッセージ構造情報Ｃの内容を参照し、そこに
含まれる相槌期待位置の総数Ｓを計算する。

【０１５９】ｄ９ Ｓがあらかじめ設定した閾値Ｔｈ以
上であり、かつ要求提示レジスタの内容が「Ｆ」である
場合は、出力構造情報６ａを参照し、時間情報Ｅの内容
が「−」であるエントリのメッセージＩＤ情報Ｍｘを検
索し、メッセージＭｘについて相槌要求表現を生成する
よう相槌要求表現生成部６に指示を出し、要求提示レジ
スタに記号「Ｔ」を記録する。

【０１６０】ｄ10 Ｓがあらかじめ設定した閾値Ｔｈ以
上で、かつ要求提示レジスタの内容が「Ｔ」である場合
は、要求提示レジスタに記号「Ｆ」を記録し、「チャン
ネルチェック対話手順Ｆ」に従った処理を行なう。

【０１６１】ｄ11 ｄ１へ戻る。

【０１６２】［内容確認対話手順Ｅ］ ｅ１ 出力構造情報記憶部６ａを参照し、エントリＲｉ
の内容を、出力部３を通じて再度利用者に提示する。

【０１６３】ｅ２ この出力メッセージの提示からあら
かじめ定めたある時間Ｔｅ以内に相槌認識部４から相槌
入力情報Ｂ１が得られた場合は、ｅ３〜ｅ４の処理を行
なう。

【０１６４】ｅ３ Ｂ１の対話通信機能情報Ｄの内容が
「成功」である場合は、内容確認対話手順Ｅを終了し、
対話制御手順Ｄのステップｄ３へ戻る。

【０１６５】ｅ４ Ｂ１の対話通信機能情報Ｄの内容が
「保留」である場合は、内容確認対話手順Ｅを終了し、
対話制御手順Ｄのステップｄ４へ戻る。

【０１６６】ｅ５ Ｂ１の対話通信機能情報Ｄの内容が
「失敗」である場合は、ステップｅ６へ進む。

【０１６７】ｅ６ 出力構造情報記憶部６ａを参照し、
確認フラグ情報Ｄの内容が「Ｈ」であるエントリＲｍが
存在する場合は、その内容を、出力部３を通じて、再度
利用者に提示する。

【０１６８】ｅ７ この出力メッセージの提示からあら
かじめ定めたある時間Ｔｅ以内に相槌認識部４から相槌
入力情報Ｂｎが得られた場合は、ｅ８〜ｅ９の処理を行
なう。

【０１６９】ｅ８ ｅ３と同様の処理を行なう。

【０１７０】ｅ９ ｅ４と同様の処理を行なう。

【０１７１】ｅ10 Ｂｍの対話通信機能情報Ｄの内容が
「失敗」である場合は、ステップｅ１１へ進む。

【０１７２】ｅ11 出力構造情報記憶部６ａを参照し、
確認フラグ情報Ｄの内容が「Ｕ」であるエントリＲｍが
存在する場合は、それらの内容を、出力部３を通じて、
再度利用者に提示する。

【０１７３】ｅ12 この出力メッセージの提示からあら
かじめ定めたある時間Ｔｅ以内に相槌認識部４から相槌
入力情報Ｂｏが得られた場合は、ｅ１３〜ｅ１５の処理
を行なう。

【０１７４】ｅ13 ｅ３と同様の処理を行なう。

【０１７５】ｅ14 ｅ４と同様の処理を行なう。

【０１７６】ｅ15 Ｂｏの対話通信機能情報Ｄの内容が
「失敗」である場合は、ステップｅ１６へ進む。

【０１７７】ｅ16 内容確認手順対話手順Ｅを終了し
て、対話制御手順Ｄのステップｄ１へ戻る。

【０１７８】［チャンネルチェック処理手順Ｆ］ ｆ１ 入力メッセージ情報記憶部４ｂを参照し、メディ
ア情報Ｂの欄の内容を参照して、利用者が入力に利用し
ているメディアの種類を得る。

【０１７９】ｆ２ 例えば、特願平０２−２０５２０２
の「マルチモーダル対話装置」と同様の処理を行なうこ
とによって、利用者への質問を行なう場合に利用すべき
メディアＭａを選択する。

【０１８０】ｆ３ メディアＭａを用いて、利用者に対
して、例えば音声メディアであれば、「もしもし」とい
った呼びかけを行なったり、あるいは画像メディアであ
れば、画面に例えば「聞いていますか」といった質問文
などを文字表示するなどして利用者に対するチャンネル
チェックのための出力メッセージを提示する。

【０１８１】ｆ４ この出力メッセージの提示からあら
かじめ定めたある時間Ｔｅ以内に相槌認識部４から相槌
入力情報Ｂｐが得られた場合は、ｆ５〜ｆ７の処理を行
なう。

【０１８２】ｆ５ Ｂｐの対話通信機能情報Ｄの内容が
「成功」である場合は、チャンネルチェック処理手順Ｆ
を終了し、対話制御手順Ｄのステップｄ３へ戻る。

【０１８３】ｆ６ Ｂ１の対話通信機能情報Ｄの内容が
「保留」である場合は、チャンネルチェック処理手順Ｆ
を終了し、対話制御手順Ｄのステップｄ４へ戻る。

【０１８４】ｆ７ Ｂ１の対話通信機能情報Ｄの内容が
「失敗」である場合は、ステップｆ８へ進む。

【０１８５】ｆ８ 内容確認対話手順Ｅに従った処理を
行なう。

【０１８６】図１３は、上述の対話制御手順Ｄ、および
内容確認対話Ｅおよびチャンネルチェック処理手順Ｆに
したがって、対話通信制御部５で行なわれる対話制御処
理の処理の流れを表すフローチャートである。図１３に
おいて、「ｄ１」あるいは「ｅ５」などといった記号は
それぞれ、対応する処理手順の対応する処理ステップを
表しており、図中の３つの破線で囲まれた矩形領域は、
それぞれが、対話制御手順Ｄ、および内容確認対話対応
手順Ｅおよびチャンネルチェック手順Ｆの範囲を表して
いる。

【０１８７】図１４は、上記したフローチャートに沿っ
た制御プログラムによって動作し、本発明の効果を実現
する計算機システムの構成を表している。図１４に於い
て、本計算機システムは、各種の入力装置１０１と、各
種の出力装置１０２と、これら入出力装置１０１、１０
２を動作させるための入出力装置ドライバ１０３と、中
央演算装置（ＣＰＵ）１０４と、プログラム及びデータ
などを記憶するメモリ１０５と、記憶媒体１０７にプロ
グラムやデータなどを記憶したり、あるいは記憶媒体１
０７からのプログラムやデータの読み込みを行なう記録
装置１０６とから構成されている。なお、ここでの記憶
媒体１０７としては、フロッピーディスクや、光磁気デ
ィスクや、磁気テープ、コンパクトディスク、紙テー
プ、フラッシュメモリパックなどが利用可能である 図
１３にフローチャートを示したアルゴリズムをプロクラ
ムなどで記述し、これを中央演算装置で実行することに
よっても、本発明を実施することが可能である。

【０１８８】以上が本装置の構成とその機能である。

【０１８９】続いて、上述した対話処理装置および対話
処理方法について、図を参照して更に詳しく説明する。

【０１９０】ここでは、利用者が、マルチモーダル対話
システムに対して、ある装置（コンピュータＡ）の保守
を行なうために、そのカバーを開く方法について問い合
わせを行ない、それに対して対話装置が利用者へ解答を
示すという場面を想定し、説明を行なう。

【０１９１】まず、初期動作として、対話制御手段Ｄの
ｄ０によって、対話通信制御部５の内部レジスタである
相槌要求提示レジスタに記号「Ｆ」が記録される。

【０１９２】そして、利用者が対話システムに対して、
対象であるコンピュータＡを指さしながら、「この本体
カバーの外し方は↑」という音声を発生し、入力部１の
解析により、入力メッセージが図２に示す入力メッセー
ジ情報（Ｉ＃１）から得られる。

【０１９３】続いて、この入力メッセージ情報は対話管
理問題解決部２へと渡され、問題解決処理が行なわれ、
利用者からの要求への解答となる出力メッセージを生成
するための、図３に示したような、出力メッセージ情報
（Ｏ＃１）が得られる。

【０１９４】なお、ここで、入力メッセージ情報（Ｉ＃
１）は、相槌表現認識部４へも送られ、上述の手順にし
たがって相槌表現の抽出処理が行なわれるが、ここで
は、相槌表現は含まれていないため、相槌表現は抽出さ
れない。

【０１９５】つづいて、出力メッセージ情報（Ｏ＃１）
から出力部３における自然言語生成処理、および音声合
成処理などによって、例えば、「まずケーブル１を外
す。続いてアース線１を外す。続いてケーブル２を外
す。続いてねじ１を取り除く。続いてねじ２を取り除
く。最後にカバー１を開く。」などといった出力メッセ
ージが順次生成される。

【０１９６】この出力部３の処理と同時に、出力メッセ
ージ情報（Ｏ＃１）が相槌要求表現生成部６に渡される
ことによって、例えば図９に例を示したように出力構造
情報記憶部６ａに対応する情報が順次記録される。そし
て、相槌期待位置検出手順Ｃに沿った相槌期待位置検出
処理部６ｄの働きによって、相槌化期待位置が順次検索
され、相槌期待位置が発見されるたびに、例えば図１２
に示したような相槌期待情報が生成され、対話進行管理
部５へと渡される。

【０１９７】対話進行管理部５では、相槌期待情報が与
えられるたびに、対話制御手順Ｄのｄ６〜ｄ１０に従っ
た処理が行なわれ、相槌要求表現の生成を相槌要求表現
生成部６へ指示すべきかどうかの判断がなされていく。

【０１９８】いま、出力構造情報記憶部６ａの各エント
リにおいて、確認フラグ情報Ｄおよび時間情報Ｅの欄に
は記号「−」が記録されるようにしてあるため、相槌期
待位置検出処理手順Ｃに従った相槌期待位置検出処理部
６ｄの、相槌期待位置検出規則記憶部６ｄを参照した処
理によって、利用者からの相槌が期待される位置が検出
され、例えば、ある時点ｔａにおいて、図１５に示すよ
うな結果が得られたとする。

【０１９９】この時点ｔａにおいては、図１５の各エン
トリの確認フラグ情報Ｄの内容と時間情報Ｅの内容とか
ら、今までに、エントリＲ１〜Ｒ５に対応する情報が利
用者に提示されているが、そのどのメッセージに対して
も利用者からの相槌がなされていないことが分かり、そ
の中の相槌可能位置としてＢ＃１〜Ｂ＃５の５か所が検
出されている。

【０２００】この時点ｔａでの対話通信制御部５の対話
制御手順Ｄのステップｄ７の処理によって、図１５のエ
ントリＲ１〜Ｒ５が検索され、ステップｄ８の処理によ
って、相槌期待位置の総数Ｓ＝５が算出される。（ここ
で、ｄ９での閾値Ｔｈが５であったと仮定する。）続い
てステップｄ９の処理によって、Ｓ≧Ｔｈの条件が満た
されており、かつ要求提示レジスタの内容が「Ｆ」であ
ることから、相槌要求表現の生成が決定される。その結
果、確認フラグ情報Ｄの内容が「−」であるエントリＲ
６が検出される。さらに、エントリＲ６のメッセージＩ
Ｄ情報の内容からＭｘ＝Ｏ＃１が決定され、相槌要求表
現生成部６に対して、メッセージ（Ｏ＃１）に関して相
槌要求表現を生成するように制御がなされる。

【０２０１】この対話通信管理部５の制御によって、相
槌要求表現生成手順Ｂに沿った相槌期待位置検出処理部
６ｄの処理によって、例えば、図１５のエントリＲ６の
メッセージ構造情報Ｃの内容 「ＶＰ（Ｖｅｒｂ：外す、属性：［終止］ )）△（Ｂ＃
６）」 が、例えば図１０の相槌要求表現生成規則記憶部６ｃの
エントリＳ１の規則によって、 「ＶＰ（Ｖｅｒｂ：外す、属性：［連用中止］、 韻律：［↑↓（Ｐ）］ )）△（Ｂ＃６）」 へと書換えられたとする。この情報に基づき、出力部３
は、図１５の出力構造情報記憶部６ａのエントリＲ６の
内容を利用者に提示する際に、 〜次にケーブル２を外しぃ↑↓（Ｐ） と、韻律上の特徴（ライズアンドフォールとポーズ）を
付与し語尾を変更した相槌要求表現を示すことが出来
る。

【０２０２】この相槌要求表現に対して、利用者が例え
ば「えぇ」といった間投詞を発したり、あるいはうなづ
き動作を行なうなどして、対話における通信の成功を意
味する相槌を行なえば、対話通信制御部５は対話制御手
順Ｄのステップｄ３に従い、出力構造記憶部６ａの該当
エントリの確認フラグ情報Ｄを「Ｔ」に書き換えること
で、それまでに対話システムが提示した情報の内で利用
者から明示的な確認がなされていないものについても確
認がなされたこととできる。

【０２０３】以上に、説明した処理例による対話の様子
をまとめて表示すると以下の様になる。

【０２０４】 利用者 「この本体カバーの外し方は↑」 システム「まず、ケーブル１を外す続いてアース線を外
す……続いてケーブル２を外しぃ↑↓（Ｐ）」 利用者 「えぇ」 システム「次に、〜」 これは、対話システムからの出力に対してしばらく利用
者からの相槌がないので、対話システムは以上に説明し
た処理によって、利用者からの相槌を要求する表現を生
成して提示し、この例では、利用者が「えぇ」と相槌を
打ったことにより、対話システムからの能動的な働きか
けによって、情報が利用者へ正しく伝達されていること
が確認されている。

【０２０５】あるいは、この相槌要求表現に対して、例
えば「えっ」という間投詞を発したりするなど対話にお
ける通信の失敗を表す相槌を発した場合や、利用者が相
槌を行なわなかった場合は、内容確認対話手順Ｅに沿っ
た対話が行なわれ、まず、ステップｅ１で、現在提示中
の情報を再度提示し、その反応に応じて利用者からの対
話における通信の成功を意味する相槌が得られた場合に
は、内容確認対話を終え通常の対話制御へ戻る。

【０２０６】この例に関する対話の様子をまとめて表示
すると以下の様になる。

【０２０７】 利用者 「この本体カバーの外し方は↑」 システム「まず、ケーブル１を外す続いてアース線を外
す… 利用者 「えっ↑」 システム「ケーブル２を外すのです」 利用者 「あそう↓」 システム「次に、〜」 あるいは、この内容確認対話による再度の情報提示に対
して利用者から、対話における通信の成功を意味する相
槌（反応）が得られなかった場合にも、出力構造情報記
憶部６ａの確認フラグ情報Ｄを参照した対話通信制御部
５の内容確認対話手順Ｅにしたがった処理によって、ま
ず、利用者から対話における通信の成否の保留を意味す
る反応のあった情報について再提示を行ない、それで解
決出来なかった場合に、確認のとれていない情報を再提
示するなど、段階的な情報の再提示が可能となる。

【０２０８】この例に関する対話の様子をまとめて表示
すると以下の様になる。

【０２０９】 利用者 「この本体カバーの外し方は↑」 システム「まず、ケーブル１を外す続いてアース線を外
す… 利用者 「はぁ↓」 （保留を意
味する相槌）…続いてケーブル２を外しぃ↑↓（Ｐ）」 利用者 「えっ↑」 システム「ケーブル２を外すのです」 利用者 「なに↑」 システム「アース線を外すのです。」 利用者 「あそう↓」 システム「次に、〜」 以上、上記した実施形態によれば、音声対話システムあ
るいはマルチモーダル対話システムにおいて、利用者に
対して、複雑な内容を確実に伝達することが可能にな
る。

【０２１０】また、相槌を利用して、対話を適切に制御
することが可能になる。

【０２１１】また、複雑な内容を対話によって授受しよ
うとする場合に、利用者に対して逐次確認のための質問
を行なうことによる利用者の負担を回避し、かつ、同時
に、利用者と対話システムの間のコミュニケーションの
確実性を得ることが可能になる。

【０２１２】また、音声メディア以外を利用して提示さ
れる相槌など非言語メッセージを扱うことが可能とな
る。

【０２１３】また、対話システムは現在提示中の情報を
利用者が確かに受けとっているかどうかを確認すること
が可能になる。

【０２１４】また、対話システムは現在提示中の情報を
利用者が理解していることを確認することが可能にな
る。

【０２１５】また、利用者に提示した情報内容が、利用
者に伝達されているかどうかについて確認の質問を行な
う際に、現在利用者が理解していると推測できる部分を
判断し、確認質問を行なう情報内容を適切に限定して利
用者に質問し、利用者に不要な質問に解答することによ
る利用者の負担の増加を回避することが可能になる。

【０２１６】また、相槌を要求する表現を用いて、対話
において利用者への能動的な働きかけを行なうことが可
能になる。

【０２１７】また、相槌を要求する表現に対する聞き手
の反応に応じた対話の制御が可能になる。

【０２１８】さらに、相槌を要求する表現を利用者に提
示しようとする場合に、適切なメディアを選択すること
が可能になる。

【０２１９】以上示したように、本実施形態は、対話に
おいて重要な役割を果たす相槌を利用して、または、利
用者に相槌を要求する表現を利用することによって利用
者に能動的に働きかけ、利用者と対話システムの間での
円滑で確実な対話を実現し、利用者の負担を軽減するこ
とが可能になる。

【０２２０】なお、本発明に係る対話処理装置および対
話処理方法の構成および効果も上述した例に限定される
ものではない。

【０２２１】例えば、上述の実施形態の相槌要求表現生
成部６を省いた構成による実現も可能である。その場
合、出力部３は、対話制御問題解決部２から供給される
出力メッセージ情報から直接出力メッセージを生成する
ことになる。また、上述の実施形態では、マルチモーダ
ル対話システムにおける実現例を示したが、音声のみを
利用する音声対話システムにおいても実現が可能であ
る。

【０２２２】

【発明の効果】以上説明したように、本発明によれば、
音声対話システムあるいはマルチモーダル対話システム
において、利用者に対して、複雑な内容を確実に伝達す
ることが可能になる。

【０２２３】また、相槌を利用して、対話を適切に制御
することが可能になる。

【０２２４】また、複雑な内容を対話によって授受しよ
うとする場合に、利用者に対して逐次確認のための質問
を行なうことによる利用者の負担の回避し、かつ、同時
に、利用者と対話システムの間のコミュニケーションの
確実性を得ることが可能になる。

【０２２５】また、音声メディア以外を利用して提示さ
れる相槌など非言語メッセージを扱うことが可能にな
る。

【０２２６】また、利用者が対話システムが現在提示中
の情報を確かに受けとっているかどうかを確認すること
が可能になる。

【０２２７】また、利用者が対話システムが現在提示中
の情報を理解していることを確認することが可能にな
る。

【０２２８】また、利用者に提示した情報内容が、利用
者に伝達されているかどうかについて確認の質問を行な
う際に、現在利用者が理解していると推測出来る部分を
判断し、確認質問を行なう情報内容を適切に限定して利
用者に質問し、利用者に不要な質問に解答することによ
る利用者の負担の増加を回避することが可能になる。ま
た、相槌を要求する表現を用いて、対話において利用者
への能動的な働きかけを行なうことが可能になる。

【０２２９】また、相槌を要求する表現に対する聞き手
の反応に応じた対話の制御が可能になる。

【０２３０】さらに、相槌を要求する表現を利用者に提
示しようとする場合に、適切なメディアを選択すること
が可能になる。

【０２３１】以上示したように、本発明は、対話におい
て重要な役割を果たす相槌を利用して、または、利用者
に相槌を要求する表現を利用することによって利用者に
能動的に働きかけ、利用者と対話システムの間での円滑
で確実な対話を実現し、利用者の負担を軽減することが
可能になる等の、実用上多大な効果が奏せられる。

【図面の簡単な説明】

【図１】対話処理装置の構成例を示す図である。

【図２】入力メッセージ情報の内容の一例を示す図であ
る。

【図３】出力メッセージ情報の内容の一例を示す図であ
る。

【図４】相槌表現認識部の内部構成の一例を示す図であ
る。

【図５】入力メッセージ情報記憶部の内容の一例を示す
図である。

【図６】相槌表現抽出規則記憶部の内容の一例を示す図
である。

【図７】相槌入力情報の内容の一例を示す図である。

【図８】相槌要求表現生成部の内部構成の一例を示す図
である。

【図９】出力構造情報記憶部の内容の一例を示す図であ
る。

【図１０】相槌要求表現生成規則記憶部の内容の一例を
示す図である。

【図１１】相槌期待位置検出規則記憶部の内容の一例を
示す図である。

【図１２】相槌期待情報の一例を示す図である。

【図１３】対話通信処理部の処理のながれを示すフロー
チャートである。

【図１４】計算機システムの構成の一例を示す図であ
る。

【図１５】時点ｔａにおける出力構造情報記憶部の内容
の一例を示す図である。

【符号の説明】

１…入力部、２…対話管理問題解決部、３…出力部、４
…相槌表現認識部、５…対話通信制御部、６…相槌要求
表現生成部。

Claims (15)

【特許請求の範囲】
1. 【請求項１】 利用者によって、キーボードなどを通じ
   て入力される自然言語入力と、マイクなどを通じて入力
   される音声情報入力と、カメラなどを通じて入力される
   視覚情報入力と、マウスなどを通じて入力される操作入
   力のうち、少なくとも一つの入力を取り込んで所定の解
   析を行ない、該入力の一部あるいは全部を表現する記述
   と、前記入力の意味内容と、利用者の意図のうち、少な
   くとも一つを含む入力メッセージ情報を生成する入力手
   段と、 この入力手段からの入力メッセージ情報に応じた問題解
   決を行ない、利用者からの要求に対する応答のための情
   報の提示や利用者との協調による問題解決に必要な質問
   など、利用者へ伝達すべきメッセージの内容と、利用者
   への提示の仕方や意図のうち、少なくとも一つを表す問
   題解決情報を出力する問題解決手段と、 この問題解決手段からの問題解決情報に基づいて、自然
   言語による発話文の生成と、合成音声の生成と、コンピ
   ュータグラフィックスなどによる顔表情や身体動作の生
   成のうち少なくとも一つを行い、これを出力メッセージ
   として利用者へ出力する出力生成手段と、 前記入力手段からの入力メッセージ情報に対して、所定
   の言語解析と、音声信号の解析と、視覚情報の解析と、
   操作入力の解析のうち、少なくとも一つを行なうことに
   よって、相槌を表す表現を認識し、利用者から提示され
   る相槌表現の種類と、対話機能と、入力された時刻など
   の時間情報のうち、少なくとも一つを含む相槌表現認識
   情報を出力する相槌表現認識手段と、 を具備したことを特徴とする対話処理装置。
2. 【請求項２】 前記相槌表現認識情報に基づいて、前記
   入力手段と、問題解決手段と、出力生成手段のうち、少
   なくとも一つを制御する対話通信制御手段を、 さらに具備したことを特徴とする請求項１記載の対話処
   理装置。
3. 【請求項３】 前記対話通信制御手段は、利用者から提
   示される相槌表現の種類と、対話機能と、入力された時
   刻などの時間情報とを含む相槌表現認識情報に基づい
   て、前記問題解決情報の提示方法に関する制御信号とし
   ての出力制御情報を出力し、 前記出力生成手段はこの出力制御情報に応じて、利用者
   へ出力する出力メッセージの統語構造、表層表現、提示
   タイミング、提示速度、フレージングの少なくとも一つ
   を調整することを特徴とする請求項２記載の対話処理装
   置。
4. 【請求項４】 前記出力生成手段は、前記問題解決情報
   に基づいて利用者からの相槌が期待される相槌期待位置
   を検出し、これを相槌期待情報として利用者へ出力する
   時刻に関する情報とともに出力し、 前記対話通信制御手段は、前記相槌表現認識情報と前記
   相槌期待情報とを比較し、利用者からの相槌の不提示
   が、あらかじめ設定した条件以上に発生した場合には、
   利用者との通信路が適切に保たれているかどうかに関す
   る質問を前記出力生成手段を通じて行ない、かつ、前記
   質問に対する利用者からの応答を前記入力手段を通じて
   受け取り、この応答に応じて利用者との対話の制御を行
   なうことを特徴とする請求項２記載の対話処理装置。
5. 【請求項５】 前記出力生成手段は、前記問題解決情報
   に基づいて利用者からの相槌が期待される相槌期待位置
   を検出し、これを相槌期待情報として利用者へ出力する
   時刻に関する情報とともに出力し、 前記対話通信制御手段は、前記相槌表現認識情報と前記
   相槌期待情報とを比較し、利用者からの相槌の不提示
   が、あらかじめ設定した条件を満たした場合には、利用
   者へ出力した情報が正しく伝達されているかどうかに関
   する確認の質問を前記出力生成手段を通じて行ない、か
   つ、前記確認の質問に対する利用者からの応答を前記入
   力手段を通じて受け取り、この応答に応じて利用者との
   対話の制御を行なうことを特徴とする請求項２記載の対
   話処理装置。
6. 【請求項６】 前記入力メッセージ情報と、前記問題解
   決情報と、前記相槌期待情報と、前記相槌表現認識情報
   とを適宜保存する対話情報記録手段をさらに具備し、 前記対話通信制御手段は、利用者への質問を行なう際
   に、前記対話情報記録手段の内容を参照し、了承のない
   項目が存在する場合は、それを優先して利用者に確認す
   るとともに、利用者から了承の意図を表す相槌が得られ
   ている場合には、その部分を確認質問から省いて利用者
   に対して確認の質問を行なうよう制御することを特徴と
   する請求項５記載の対話処理装置。
7. 【請求項７】 前記問題解決手段からの問題解決情報を
   受け取り、自然言語表現の文あるいはフレーズ末の表現
   の変更、構文構造の変更、音声合成における韻律制御に
   よる文あるいはフレーズ末のイントネーションの変更、
   コンピュータグラフィックスによる顔表情の生成などに
   基づいて、あらかじめ定めた所定の規則を用いて、利用
   者からの相槌を要求する表現である相槌要求表現を生成
   する相槌要求表現生成手段をさらに具備し、この相槌要
   求表現生成手段は、前記対話通信制御手段の制御の基
   に、前記相槌要求表現を、これを提示する時刻に関する
   情報とともに相槌要求提示情報として出力することを特
   徴とする請求項２記載の対話処理装置。
8. 【請求項８】 前記対話通信制御手段は、前記相槌表現
   認識情報と、前記相槌要求提示情報とを比較し、利用者
   からの相槌の不提示があらかじめ設定した条件を満たし
   た場合には、利用者へ出力した情報が正しく伝達されて
   いるかどうかに関する確認の質問を前記出力生成手段を
   通じて行ない、かつ、前記確認の質問に対する利用者か
   らの応答を前記入力手段を通じて受け取り、この応答に
   応じて利用者との対話の制御を行なうことを特徴とする
   請求項７記載の対話処理装置。
9. 【請求項９】 前記対話通信制御手段は、前記相槌表現
   認識情報と、前記相槌要求提示情報とを比較し、利用者
   からの相槌の不提示があらかじめ設定した条件を満たし
   た場合には、利用者の確認を得た上で、対話を中断ある
   いは停止あるいは初期状態に戻すように制御することを
   特徴とする請求項３又は７記載の対話処理装置。
10. 【請求項１０】 前記対話通信制御手段は、前記相槌表
    現認識情報に含まれる相槌表現の種類に応じて、あらか
    じめ設定した所定の規則を用いて、利用者に提示する前
    記相槌要求表現の種類を決定することを特徴とする請求
    項７記載の対話処理装置。
11. 【請求項１１】 前記出力生成手段は、前記問題解決情
    報に基づいて利用者からの相槌が期待される相槌期待位
    置を検出し、これを相槌期待情報として利用者へ出力す
    る時刻に関する情報とともに出力し、 前記対話通信制御手段は、前記相槌表現認識情報と前記
    相槌期待情報とを比較し、利用者からの相槌の不提示
    が、あらかじめ設定した条件以上に発生した場合には、
    利用者との通信路が適切に保たれているかどうかに関す
    る質問を前記出力生成手段を通じて行ない、かつ、前記
    質問に対する利用者からの応答を前記入力手段を通じて
    受け取り、この応答に応じて利用者との対話の制御を行
    なうことを特徴とする請求項７記載の対話処理装置。
12. 【請求項１２】 前記入力メッセージ情報と、前記問題
    解決情報と、前記相槌期待情報と、前記相槌表現認識情
    報とを適宜保存する対話情報記録手段をさらに具備し、 前記対話通信制御手段は、利用者への質問を行なう際
    に、前記対話情報記録手段の内容を参照し、了承のない
    項目が存在する場合は、それを優先して利用者に確認す
    るとともに、利用者から了承の意図を表す相槌が得られ
    ている場合には、その部分を確認質問から省いて利用者
    に対して確認の質問を行なうよう制御することを特徴と
    する請求項７記載の対話処理装置。
13. 【請求項１３】 利用者によって、キーボードなどを通
    じて入力される自然言語入力と、マイクなどを通じて入
    力される音声情報入力と、カメラなどを通じて入力され
    る視覚情報入力と、マウスなどを通じて入力される操作
    入力のうち、少なくとも一つの入力を取り込んで所定の
    解析を行ない、該入力の一部あるいは全部を表現する記
    述と、前記入力の意味内容と、利用者の意図のうち、少
    なくとも一つを含む入力メッセージ情報を生成する入力
    工程と、 この入力メッセージ情報に応じた問題解決を行ない、利
    用者からの要求に対する応答のための情報の提示や利用
    者との協調による問題解決に必要な質問など、利用者へ
    伝達すべきメッセージの内容と、利用者への提示の仕方
    や意図のうち、少なくとも一つを表す問題解決情報を出
    力する問題解決工程と、 この問題解決情報に基づいて、自然言語による発話文の
    生成と、合成音声の生成と、コンピュータグラフィック
    スなどによる顔表情や身体動作の生成のうち少なくとも
    一つを行ない、これを出力メッセージとして利用者へ出
    力する出力生成工程と、 前記入力メッセージ情報に対して、所定の言語解析と、
    音声信号の解析と、視覚情報の解析と、操作入力の解析
    のうち、少なくとも一つを行なうことによって、相槌を
    表す表現を認識し、利用者から提示される相槌表現の種
    類と、対話機能と、入力された時刻などの時間情報のう
    ち、少なくとも一つを含む相槌表現認識情報を出力する
    相槌表現認識工程と、 を具備したことを特徴とする対話処理方法。
14. 【請求項１４】 前記相槌表現認識情報に基づいて、前
    記入力解析工程と、前記問題解決工程と、前記出力生成
    工程のうち、少なくとも一つを制御する対話通信制御工
    程をさらに具備したことを特徴とする請求項１３記載の
    対話処理方法。
15. 【請求項１５】 前記問題解決情報を受け取り、自然言
    語表現の文あるいはフレーズ末の表現の変更、構文構造
    の変更、音声合成における韻律制御による文あるいはフ
    レーズ末のイントネーションの変更、コンピュータグラ
    フィックスによる顔表情の生成などに基づいて、あらか
    じめ定めた所定の規則を用いて、利用者からの相槌を要
    求する表現である相槌要求表現を生成する相槌要求表現
    生成工程をさらに具備し、この相槌要求表現生成工程
    は、前記対話通信制御工程の制御の基に、前記相槌要求
    表現を、これを提示する時刻に関する情報とともに相槌
    要求提示情報として出力することを特徴とする請求項１
    ４記載の対話処理方法。