JP4679254B2

JP4679254B2 - 対話システム、対話方法、及びコンピュータプログラム

Info

Publication number: JP4679254B2
Application number: JP2005168781A
Authority: JP
Inventors: 愛矢野; 達郎松本; 和雄佐々木; 理渡辺; 誠之福井; 安英松本; 英人木原
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2004-10-28
Filing date: 2005-06-08
Publication date: 2011-04-27
Anticipated expiration: 2025-06-08
Also published as: JP2006154724A; US20060095268A1

Description

本発明は、利用者とコンピュータとの間で対話シナリオ情報に沿って自動的に行う対話を円滑に進行するよう第三者が支援することができる対話システム、対話方法、及びコンピュータプログラム
に関する。

近年、音声認識システム（ＡＳＲ：Auto Speech Recognition）を用いたボイスポータル等の音声対話システム（ＩＶＲ：Interactive Voice Response）が普及し始めている。音声対話システムを用いることにより、例えばチケット予約サービス、宅配便の再配達依頼サービス等のサービスを、サービス拠点毎に要員を配置することなく提供することができ、２４時間対応の具現化、人件費の抑制等、多大なメリットを享受することができる。

一方、利用者の発話に対して自動的に応答することから、円滑な対話を進行させるためには、正確に音声認識されることが重要な課題となる。しかし、音声認識精度を向上させた場合であっても入力された発話に対する誤認識を完全に排除することは困難であり、対話が繰り返しループに入り込んで進行することができなくなる、利用者の考えとは全く異なる方向へ対話が進行する等、円滑に対話を進行させることができないという問題点があった。

斯かる問題点を解決すべく、例えば特許文献１では、利用者から、一定時間、何等発話されないことを検知した場合、事前に準備しておいた支援シナリオに沿って対話を進行させる音声対話システムが開示されている。

また、特許文献２では、対話シナリオに基づいて対話の進捗度を算出し、対話進捗度が所定の閾値よりも低い場合、第三者により対話内容を更新する、利用者とともに三者対話にする、第三者と利用者とが対話する等の対話支援を行う音声対話システムが開示されている。
特開２０００−０４８０３８号公報特開２００２−２０２８８２号公報

しかし、特許文献１に開示してある音声対話システムは、対話の進行状況を利用者からの発話入力の有無により判断しており、誤認識による繰り返し対話、利用者の意図していない方向へ誘導された対話等を検出することができない。また、あらゆるケースを想定して支援用の対話シナリオを作成する必要があり、実装時の対話シナリオの作成がより困難になるという問題点があった。

特許文献２に開示してある音声対話システムは、対話を支援する第三者が、直接音声を入力することにより対話を支援するものであり、人間対人間の対話を行うことにより対話シナリオに沿った対話へと誘導することができ、利用者の発話により生じた誤認識が生じることがない。しかし、対話シナリオが完了するまで第三者が支援を継続する必要があり、複数の利用者がある場合、利用者の数だけ支援を行う第三者を用意することが困難であることから、対話が滞った利用者に対して支援を行うことができない場合が生じうるという問題点があった。

また、音声対話システムとの対話が、第三者との直接対話に切り替わることにより、利用者にとっては対話に違和感が生じるという問題点もあった。

本発明は斯かる事情に鑑みてなされたものであり、利用者が違和感を生じることなく、第三者が、複数の対話に対して効果的に支援を行うことができる対話システム、対話方法、及びコンピュータプログラムを提供することを目的とする。

上記目的を達成するために第１発明に係る対話システムは、発話を受け付ける手段と、受け付けた発話を認識する手段と、認識した結果及び対話の進行手順を記述した対話シナリオ情報に基づいて対話を進行させる手段と、前記受け付けた発話に対する応答を出力する手段とを備える対話システムにおいて、通信手段を介してデータを送受信することが可能に接続してある対話支援装置を有し、該対話支援装置は、対話が成立しているか否かを判断する対話成立判断手段と、該対話成立判断手段が、前記対話が成立していないと判断した場合、前記対話を一時停止する対話停止手段と、該対話停止手段で停止した対話の最後に受け付けた発話に対する複数の認識候補を表示する認識候補表示手段と、該認識候補表示手段で表示した前記複数の認識候補の中から一の認識候補の選択を受け付ける手段と、受け付けた一の認識候補を送出する手段とを備え、前記対話支援装置から前記一の認識候補を受け付けた場合、一時停止した部分から前記対話シナリオ情報に沿って対話を再開する手段を備えることを特徴とする。

また、第２発明に係る対話システムは、第１発明において、前記対話成立判断手段は、前記対話シナリオ情報に基づいた対話の状態遷移履歴を記憶する対話履歴記憶手段と、前記認識した結果及び前記状態遷移履歴に基づいて、前記受け付けた発話が誤って認識されたか否かを判断する誤認識判断手段とを備えることを特徴とする。

また、第３発明に係る対話システムは、第１又は第２発明において、複数の前記対話シナリオ情報に基づいて複数の対話が進行しており、前記対話毎の進捗の度合を示す対話進捗度を算出する手段と、前記対話進捗度を含む条件に基づいて前記対話毎の優先度を算出する優先度算出手段とを備えることを特徴とする。

また、第４発明に係る対話方法は、コンピュータが、発話を受け付け、受け付けた発話を認識し、認識した結果及び対話の進行手順を記述した対話シナリオ情報に基づいて対話を進行させ、前記受け付けた発話に対する応答を出力する対話方法において、前記コンピュータは、対話が成立しているか否かを判断し、前記対話が成立していないと判断した場合、前記対話を一時停止し、停止した対話の最後に受け付けた発話に対する複数の認識候補を表示し、表示した前記複数の認識候補の中から一の認識候補の選択を受け付け、前記一の認識候補を受け付けた場合、一時停止した部分から前記対話シナリオ情報に沿って対話を再開することを特徴とする。

また、第５発明に係るコンピュータプログラムは、コンピュータが、発話を受け付け、受け付けた発話を認識し、認識した結果及び対話の進行手順を記述した対話シナリオ情報に基づいて対話を進行させ、前記受け付けた発話に対する応答を出力する対話システムに接続してある他のコンピュータで実行することが可能なコンピュータプログラムにおいて、前記他のコンピュータを、前記対話が成立しているか否かを判断する対話成立判断手段、該対話成立判断手段が、前記対話が成立していないと判断した場合、前記対話を一時停止する対話停止手段、該対話停止手段で停止した対話の最後に受け付けた発話に対する複数の認識候補を表示する認識候補表示手段、該認識候補表示手段で表示した前記複数の認識候補の中から一の認識候補の選択を受け付ける手段、及び受け付けた一の認識候補を外部へ送出する手段として機能させることを特徴とする。

第１発明、第４発明、及び第５発明では、自動応答を行う対話システムにおいて、対話が成立していない場合、対話を一時停止し、停止した対話の最後に受け付けた発話に対する複数の認識候補を表示し、複数の認識候補の中から対話を促進するように一の認識候補を選択して、一時停止した部分から対話シナリオ情報に沿って対話を再開する。これにより、第三者である例えばオペレータが、利用者がシステムとの間で行っている対話に滞りを発見した場合、利用者が対話を停止する直前に発した発話に対する認識の誤りを正すことができ、正しい認識結果に基づいて、対話シナリオに沿った対話を再開することができる。

第２発明では、対話シナリオ情報に基づいた対話の状態遷移履歴を記憶しておき、認識の結果による誤認識であるか否かの判断に加えて、状態遷移履歴により、例えば対話シナリオ情報に沿った対話がループしている等の異常が発生しているか否かを判断し、受け付けた発話が誤って認識されたか否かを判断する。これにより、明らかに認識が誤っていると判断が困難である場合であっても、対話の状態遷移履歴から対話が滞っている状態であるか否かを検出することができ、より精度良く利用者と対話システムとの対話が円滑に行われているか否かを判断することが可能となる。

第３発明では、複数の対話シナリオ情報に基づいて複数の対話が進行している状態にて、対話毎の進捗の度合を示す対話進捗度を算出し、対話進捗度を含む条件に基づいて対話毎の優先度を算出する。これにより、優先度の高い対話から順に支援を行うことができ、対話数に対して少ないオペレータ数であっても効果的に対話を支援することが可能となる。

第１発明、第４発明及び第５発明によれば、第三者である例えばオペレータが、利用者がシステムとの間で行っている対話に滞りを発見した場合、利用者が対話を停止する直前に発した発話に対する認識の誤りを正すことができ、正しい認識結果に基づいて、対話シナリオに沿った対話を再開することができる。したがって、オペレータが一の対話に拘束されること無く、対話が滞っている対話についてのみ誤認識を正すよう支援することにより、容易に対話シナリオに沿った対話へ修復することができ、利用者が違和感を生じること無く、効果的に対話を促進することが可能となる。

第２発明では、明らかに認識が誤っていると判断が困難である場合であっても、対話の状態遷移履歴から対話が滞っている状態であるか否かを検出することができ、より精度良く利用者と対話システムとの対話が円滑に行われているか否かを判断することが可能となる。

第３発明によれば、優先度の高い対話から順に支援を行うことができ、対話数に対して少ないオペレータ数であっても、対話が滞っている対話に対して効果的に支援を行うことが可能となる。

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。

（実施の形態１）
以下、本発明の実施の形態１に係る対話システムについて図面に基づいて具体的に説明する。本実施の形態では、音声対話システムを例に挙げて説明する。図１は、本発明の実施の形態１に係る音声対話システムの構成を示すブロック図である。図１に示すように、本実施の形態１に係る音声対話システムは、利用者の発話を受け付け、利用者に対して応答音声を出力する音声入出力部２０を備えた自動応答システム１０と、インターネット等のネットワーク網３０を介して接続してある対話支援装置４０を備えている。

図２は、本発明の実施の形態１に係る音声対話システムの自動応答システム１０の構成を示すブロック図である。自動応答システム１０は、少なくとも、ＣＰＵ（中央演算装置）１１、記録手段１２、ＲＡＭ１３、ネットワーク網３０等の外部の通信手段と接続する通信インタフェース１４、及びＤＶＤ、ＣＤ等の可搬型記録媒体１６を用いる補助記録手段１５で構成される。

ＣＰＵ１１は、内部バス１７を介して自動応答システム１０の上述したようなハードウェア各部と接続されており、上述したハードウェア各部を制御するとともに、記録手段１２に記録されている処理プログラム、例えば利用者による発話を受け付け、音声認識するプログラム、対話シナリオ情報を読出し応答を生成するプログラム、生成した応答を再生出力するプログラム等に従って、種々のソフトウェア的機能を実行する。

記録手段１２は、内蔵される固定型記録装置（ハードディスク）、ＲＯＭ等で構成され、通信インタフェース１４を介した外部のコンピュータ、又はＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体１６から取得した、自動応答システム１０として機能させるために必要な処理プログラムを記録している。記録手段１２は、処理プログラムだけではなく、自動応答を行うための対話シナリオを記述した対話シナリオ情報１２１、対話シナリオに沿った対話の状態遷移の履歴情報である状態遷移履歴情報１２２等を記録する。

ＲＡＭ１３は、ＤＲＡＭ等で構成され、ソフトウェアの実行時に発生する一時的なデータを記録する。通信インタフェース１４は内部バス１７に接続されており、ネットワーク網３０と通信することができるよう接続することにより、後述する対話支援装置４０との間で処理に必要とされるデータを送受信することができる。

音声入出力部２０は、マイクロフォン等の音声入力装置により利用者の発話を受け付け、音声データに変換してＣＰＵ１１へ送出する機能、及びＣＰＵ１１の指示により、生成した応答に対応する合成音声をスピーカ等の音声出力装置から再生出力する機能を備えている。

補助記録手段１５は、ＣＤ、ＤＶＤ等の可搬型記録媒体１６を用い、記録手段１２へ、ＣＰＵ１１が処理するプログラム、データ等をダウンロードする。また、ＣＰＵ１１が処理したデータをバックアップすべく書き込むことも可能である。

ネットワーク網３０には、複数の自動応答システム１０、１０、・・・が接続されており、自動応答システム１０、１０、・・・で行われている対話を支援する対話支援装置４０が接続されている。なお、本実施の形態１では、複数の自動応答システム１０、１０、・・・と対話支援装置４０とは、物理的に別個のコンピュータである場合について説明するが、特にこれに限定されるものではなく、１つの自動応答システム１０を構成するコンピュータが、対話支援装置４０を兼用しても良い。

また図１に示すように、本発明の実施の形態１に係る音声対話システムの対話支援装置４０は、少なくとも、ＣＰＵ（中央演算装置）４１、記録手段４２、ＲＡＭ４３、ネットワーク網３０等の外部の通信手段と接続する通信インタフェース４４、入力手段４５、出力手段４６及びＤＶＤ、ＣＤ等の可搬型記録媒体４８を用いる補助記録手段４７で構成される。

ＣＰＵ４１は、内部バス４９を介して対話支援装置４０の上述したようなハードウェア各部と接続されており、上述したハードウェア各部を制御するとともに、記録手段４２に記録されている処理プログラム、例えば対話が成立しているか否かを判断するプログラム、対話を一時停止する、又は再開するプログラム、停止した対話の最後に入力された発話に対する複数の認識候補を表示し、選択を受け付けるプログラム等に従って、種々のソフトウェア的機能を実行する。

記録手段４２は、内蔵される固定型記録装置（ハードディスク）、ＲＯＭ等で構成され、通信インタフェース４４を介した外部のコンピュータ、又はＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体４８から取得した、対話支援装置４０として機能させるために必要な処理プログラムを記録している。

ＲＡＭ４３は、ＤＲＡＭ等で構成され、ソフトウェアの実行時に発生する一時的なデータを記録する。通信インタフェース４４は内部バス４９に接続されており、ネットワーク網３０と通信することができるよう接続することにより、処理に必要とされるデータを送受信することができる。

入力手段４５は、画面上に表示された情報を選択するマウス等のポインティングデバイス、又は画面上でテキストデータを打鍵により入力するキーボード等である。出力手段４６は、画像を表示出力する液晶表示装置（ＬＣＤ）、表示ディスプレイ（ＣＲＴ）等の表示装置である。

補助記録手段４７は、ＣＤ、ＤＶＤ等の可搬型記録媒体４８を用い、記録手段４２へ、ＣＰＵ４１が処理するプログラム、データ等をダウンロードする。また、ＣＰＵ４１が処理したデータをバックアップすべく書き込むことも可能である。

本発明の実施の形態１に係る音声対話システムの自動応答システム１０は、発話者による発話を促すために、記録手段１２に記憶されている対話シナリオ情報１２１に沿って、ＣＰＵ１１の指令により音声入出力部２０から音声出力を行う。例えば、「ご用件は、○○、××、・・・のうちどれですか」等、次に発話者により入力される発話を限定することができる質問を音声出力する。

なお、対話シナリオ情報１２１は、例えばＶｏｉｃｅＸＭＬ（以下、ＶＸＭＬ）シナリオ記述言語により、対話における発話を受け付けることができるよう記述される。すなわち、対話シナリオ情報１２１には、コンピュータ側からの出力の内容、発話に応じた対話の遷移、発話の内容に応じて次に行うべき処理等が記述される。

出力された音声に対して、音声入出力部２０から発話が入力されると、入力された発話は音声の波形データ、または入力された発話を音響分析した結果である発話特徴量を示すデータとして記録手段１２及びＲＡＭ１３に記憶され、ＣＰＵ１１の指令により、ＲＡＭ１３に記憶された発話について音声認識を行う。音声認識処理に用いる音声認識エンジンは特に限定されるものではなく、一般に用いられる音声認識エンジンであれば何でも良い。音声認識結果は、記録手段１２及びＲＡＭ１３に記憶される。

なお、記録手段１２としては、内蔵されているハードディスクに限定されるものではなく、通信インタフェース１４を介して接続されている他のコンピュータに内蔵されているハードディスク等、大容量のデータを記憶することができる記録媒体であれば何でもよい。

ＣＰＵ１１は、記憶してある音声認識結果に基づいて、対話シナリオ情報１２１に沿って、受け付けた発話に対する応答であるシステム発話を生成し、音声入出力部２０へ送出する。音声入出力部２０では、システム発話を合成音声として再生出力する。利用者は、対話シナリオ情報１２１に沿って自動応答システム１０との対話を実行し、ＣＰＵ１１は、受け付けた発話の音声認識結果及びシステム発話の内容を記録手段１２に状態遷移履歴情報１２２として記録する。

なお、受け付けた発話の音声認識結果及びシステム発話の内容を記録手段１２に状態遷移履歴情報１２２として記録するのは、対話シナリオ情報１２１に沿った対話が開始してから終了するまでの全てを記録することに限定されるものではない。例えば、対話エラーを検出した時点から状態遷移履歴情報１２２の記録を開始しても良いし、対話が終了するまで、対話の進行が対話シナリオ情報１２１に沿うまで、又はオペレータが記録の終了を指示するまで、状態遷移履歴情報１２２の記録を続行しても良い。

対話支援装置４０は、上述した利用者と自動応答システム１０との対話を監視し、対話が滞っていると判断した場合に、第三者であるオペレータの介入により対話を支援する。図３は、本発明の実施の形態１に係る音声対話システムの対話支援装置４０のＣＰＵ４１の処理手順を示すフローチャートである。

対話支援装置４０のＣＰＵ４１は、ネットワーク網３０を介して自動応答システム１０とデータの送受信可能に接続してあり、自動応答システム１０の記録手段１２に記録してある状態遷移履歴情報１２２を参照し（ステップＳ３０１）、利用者と自動応答システム１０との対話が成立しているか否かを判断する（ステップＳ３０２）。ＣＰＵ４１が、利用者と自動応答システム１０との対話が成立していないと判断した場合（ステップＳ３０２：ＮＯ）、ＣＰＵ４１は、利用者と自動応答システム１０との対話を一時停止する（ステップＳ３０３）。具体的には、利用者からの発話の受け付け、及び自動応答システム１０にてシステム発話の生成を一時停止する。

本実施の形態１では、対話シナリオ情報に基づいた対話の状態遷移履歴を記録手段１２又はＲＡＭ１３に記憶し、自動応答システム１０の記録手段１２に記録してある状態遷移履歴情報１２２に基づいて、入力された発話が正しく認識されたか否かを判断する。図４は、名前を確認する対話シナリオでの状態遷移の例示図である。図４に示すように、状態１で該対話シナリオが開始し、「お名前をどうぞ」というシステム発話が出力され、状態２へ遷移する。

状態２では、入力された発話を音声認識し、音声認識結果をＲＡＭ１３に記憶する。記憶された音声認識結果が「○○」である場合、該対話シナリオでは「○○さんですね」とのシステム発話が出力され、状態３へ遷移する。

状態３では、入力された発話を音声認識し、音声認識結果をＲＡＭ１３に記憶する。状態３では音声認識結果が「はい」又は「いいえ」の二者択一であると判断できることから、状態３での音声認識結果の信頼度は高い。記憶された音声認識結果が「はい」である場合、状態４へ遷移して対話シナリオを終了するとともに、状態２での音声認識結果が正しいと判断できる。

ＣＰＵ４１は、一時停止した対話の最後に受け付けた発話を状態遷移履歴情報１２２から抽出し（ステップＳ３０４）、抽出した発話に対する複数の音声認識候補を取得する（ステップＳ３０５）。ＣＰＵ４１は、取得した複数の音声認識候補を、例えば音声認識時に算出した評価値順に分類して、出力手段に表示する（ステップＳ３０６）。

図５及び図６は、本発明の実施の形態１に係る音声対話システムの対話支援装置４０での表示画面の例示図である。図５は対話状態を表示する対話監視画面の例示図、図６は対話を修復する対話支援画面の例示図である。

利用者と自動応答システム１０とで行われている対話は、図５に示すように対話を識別する対話番号毎にその状態を表示する。具体的には、対話実行中の顧客名、対話の状態、対話の開始時刻、対話開始後の経過時間等が表示されている。対話の状態は、表示色による識別を行い、例えば対話が正常に行われている場合は青色表示、対話の進捗が遅い場合は黄色表示、対話が滞っている場合は赤色表示を行うことにより、対話の状態を目視確認することができる。

なお、自動応答システムが本実施の形態１のように音声応答システムの場合、対話シナリオはＶＸＭＬで記述されている。オペレータに対して対話エラーが発生したと認識したページ等のエラー状況を提示する場合、対話シナリオの記述のままでは音声で出力され、対話シナリオで想定されている応答内容の候補を視認することもできない。そこで、エラー状況等をオペレータが視認することができるよう、ＶＸＭＬで記述されている対話シナリオの内容をＨＴＭＬに変換する。この場合、対話シナリオに沿った自動応答システム１０が発話する内容と該発話に対する応答内容の候補とが識別可能に変換されて提示されていることが望ましい。

図６の対話支援画面では、対話シナリオの該当ページの記述内容から、自動応答システム１０が発話する内容と、対話シナリオが想定している応答内容とを抽出して、それぞれオペレータに係る表示装置へ出力するための表示内容を記述するＨＴＭＬ文に埋め込む。応答内容の候補は、オペレータが選択可能なように加工しておき、オペレータの操作負担を軽減することが好ましい。また、対話シナリオ情報１２１に加えて認識文法情報を用いることで、応答内容の候補をより確実に特定することが可能となる。なお、認識文法情報に記述されている候補を、記述されている順番通りに選択候補として提示するだけでなく、認識率の高い順番に提示しても良い。また、５０音順、アルファベット順等にソートして提示しても良いし、認識結果として返す値毎にソートし、あるいはマージして提示しても良い。

なお、図６では、認識候補に対応するラジオボタンを選択して、送信ボタン６５を選択するようになっているが、認識候補の特定方法は特にこれに限定されるものではなく、例えば選択候補が、ボタン、リンク等になっており直接選択するものであっても良い。また選択候補がリスト表示され、オペレータによるキーボード入力が何文字か行われた場合、頭何文字かが該当する認識候補までリスト表示がスクロールされ、認識候補が１つに絞り込まれた時点で選択された状態となるものであっても良い。

さらに、オペレータが画面を操作して認識候補を選択する方法に限定されるものではなく、例えば音声により選択する方法であっても良い。この場合、オペレータの音声の認識精度を高めるべく、音声認識エンジンをチューニングしておくことが好ましい。これにより、誤選択を防止し、確実な対話支援を行うことが可能となる。

音声認識エンジンのチューニングは、例えばオペレータにテスト用の音声を入力させ、認識結果に基づいて算出したプロパティ値、例えばノイズレベル、音声の音量、音声認識信頼度、敏感度等の音声認識用のプロパティ値をオペレータ毎に設定する。したがって、オペレータ毎に使用する音声認識エンジンを準備することになる。オペレータ毎の音声認識エンジンは、オペレータを識別する情報、例えばオペレータＩＤに対応付けて記憶しておき、オペレータがログインした時点で、オペレータＩＤに基づいて割当てる。

このように、自動応答システム１０と利用者との間の対話方式と、支援するオペレータの対話方式とが相違する場合、対話方式の相違を解消すべくデータ形式を変換することにより、オペレータの対応の多重度を向上することが可能となる。

図５の対話監視画面には、対話番号毎に対話支援を開始する旨を選択する選択ボタン５１を設けてある。オペレータが選択ボタン５１を選択することにより、対話支援画面へと遷移する。なお、オペレータにより選択ボタン５１が選択された場合、選択された対話に係る利用者に対して「しばらくお待ちください」等のメッセージを出力することが好ましい。対話支援を受けていることを利用者が認識することができ、応答に時間がかかった場合であっても利用者との信頼関係が希薄になることを防止することができるからである。

同様に、自動応答システム１０のみによる対話を実行している場合と、オペレータによる対話支援を行っている場合とで、対話に係る利用者に対して、音声を変更する、テキスト表示の色、フォント等を変更する等、出力形態を変更することが好ましい。これにより、オペレータによる対話支援により生じやすい違和感を軽減することが可能となる。

また、オペレータが意図的に対話支援を必要とする対話を選択することに限定されるものではなく、対話エラーの状況に応じて選択条件を設定しておき、対話システムが対話支援する対話をオペレータに割り当てるものであっても良い。例えば対話エラーの優先度が高い場合、対話支援を行っていないオペレータに優先的に割り当てる、対話支援が完了すると考えられるオペレータに割り当てる等を対話システムが判断することがより望ましい。その他、回線番号ごとに対応するオペレータを事前に割り当てておいても良い。

また、優先度の高いエラーが発生した場合、強制的にオペレータを割当てることも想定される。例えばすべてのオペレータが対応中であり、対応可能なオペレータが存在しない場合、どのオペレータが優先度の高いエラーに対応する等の役割が定まっている場合に、優先度が高いエラーに対応可能なオペレータが存在しない場合等である。

この場合、優先度の低い対話を支援しているオペレータを強制的に割当て、オペレータが割当てられたことによりオペレータ不在となった優先度の低い対話に対して、「お待ちください」のメッセージを出力する、ＢＧＭを出力する等により使用者の不満を緩和することが好ましい。

対話支援画面では、図６に示すように、対話の状態が黄色表示又は赤色表示となった要因を表示する対話エラー内容表示領域６１、対話を行っている利用者に関する情報を表示するユーザデータ表示領域６２、対話シナリオ情報１２１での表示ページの遷移を表示する表示ページ遷移表示領域６３、及び対話エラーが発生したと認識されたページの内容を表示するページ内容表示領域と、対話を正常化すべく正しい音声認識結果を選択可能に表示する音声認識結果指定領域とで構成されるエラー発生ページ表示領域６４からなる。オペレータは、エラー内容表示領域６１、ユーザデータ表示領域６２、及び表示ページ遷移表示領域６３に表示している情報を根拠として、適切な音声認識結果を、エラー発生ページ表示領域６４の音声認識結果指定領域に表示されている複数の音声認識候補の中から１つ選択する。選択された音声認識候補は、修正された音声認識結果として、送信ボタン６５を選択した時点で自動応答システム１０へ送信される。

斯かる対話エラー内容表示領域６１、ユーザデータ表示領域６２、及び表示ページ遷移表示領域６３に表示する情報は、質問に対する応答に応じて、所定の処理へと遷移するように表示が変更していく。したがって、対話エラーが発生したページに至る経過を明確に把握することにより、エラー発生ページの内容のみを表示している場合よりも、効果的な支援を行うことが可能となる。

なお、図６では、対話エラーが発生したと認識されたページに、一組の発話及び応答の候補のみが記述されている例が想定されているが、対話エラーが発生したと認識されたページに複数組の発話及び応答の候補が記述されていても良い。この場合、対話エラーが発生している発話と応答の候補の組を容易に特定すべく、例えば該当箇所の文字、背景等の色を変更する、文字のフォント、大きさ等を変更する、該当箇所の先頭からエラー発生ページ表示領域６４に表示する等することが好ましい。

また、対話エラーが発生したと認識されたページの記述が一定容量以上である場合、特に容量が過大である場合、対象箇所のみを抽出してエラー発生箇所と認識結果候補一覧とを生成し、該当部分のみエラー発生ページ領域６４に表示するようにしても良い。

ＣＰＵ４１は、表示してある複数の音声認識候補の中から一の音声認識候補の選択を受け付け（ステップＳ３０７）、受け付けた一の音声認識候補を、一時停止してある対話の自動応答システム１０に送出する（ステップＳ３０８）。

一の音声認識候補を受け付けた自動応答システム１０は、利用者に対して対話シナリオ情報１２１に沿って生成したシステム発話として、受け付けた一の音声認識候補に対する応答としてシステム発話を生成し、音声入出力部２０へ送出する。音声入出力部２０では、システム発話を合成音声として再生出力する。

これにより、利用者は、対話シナリオ情報により想定されているシステム発話がなされたものと判断し、発話の誤認識が修正された状態で音声対話システムとの対話を、違和感を生じることなく継続することが可能となる。

なお、オペレータが応答内容の候補を選択して、自動応答システム１０に送出した時点でオペレータによる対話支援を終了することに限定されるものではなく、例えばページ表示が切り替わった時点、対話支援画面が閉じられた時点、オペレータ自ら対話支援停止を指示した時点、対話エラーが解消した時点、又は対話エラーが解消してから一定時間経過した時点等で、対話支援を終了するものであっても良い。

上述した説明では、自動応答システム１０の記録手段１２に記録してある状態遷移履歴情報１２２に基づいて、入力された発話が正しく認識されたか否かに基づいて対話が成立しているか否かを判断する方法について説明しているが、対話が成立しているか否かを判断する方法は、これに限定されるものではない。例えば、対話シナリオは、事前に想定してある対話の流れ（順序）に基づいて、利用者と自動応答システム１０との対話が進行するよう作成されているため、利用者と自動応答システム１０との対話が、事前に想定してある対話の流れに沿って進行する場合と、そうでない場合とでは、対話の状態遷移が相違する。したがって、同じ対話を繰り返し行う（一連の同じページの遷移を繰り返す）、対話が想定していない方向に展開している（想定してある対話の流れと異なるページ遷移が発生している）等、対話の遷移状態に基づき対話状況が正常であるか否かを判断し、対話が成立しているか否かを判断する方法を用いても良い。

図７は、切符を購入する対話シナリオでの状態遷移図の例示図である。図７に示すように、状態１で該対話シナリオが開始し、「目的駅名をどうぞ」というシステム発話が出力され、状態２へ遷移する。

状態２では、入力された発話を音声認識し、音声認識結果をＲＡＭ１３に記憶するとともに状態１ａへ遷移する。記憶された音声認識結果が「ＸＸ駅」である場合、該対話シナリオでは「ＸＸ駅ですね」とのシステム発話、及び「大人ですか、子供ですか」とのシステム発話が出力され、状態２ａへ遷移する。

状態２ａでは、入力された発話を音声認識し、音声認識結果をＲＡＭ１３に記憶する。音声認識結果が「大人」、「子供」のいずれでもない「△△」である場合、状態１へと遷移する。このように状態遷移に、対話シナリオ情報に逆行する状態遷移が有る場合には、状態２または状態２ａでの音声認識結果が正しくないと判断できる。また、対話シナリオ情報に逆行する状態遷移が同一箇所で連続して存在する場合にのみ音声認識結果が正しくないと判断する等、判断基準を変更することも可能である。

また、状態遷移履歴に基づいて、音声認識結果を修正した回数を累積し、累積数の大小に応じて音声認識結果が正しいか否か判断する方法を用いることもできる。図７で、状態２ａでの音声認識結果が「大人」または「子供」である場合、状態１ｂへ遷移し、「大人ですね」または「子供ですね」とのシステム発話が出力され、「切符枚数をどうぞ」とのシステム発話が出力された後、状態２ｂへ遷移する。

状態２ｂでは、入力された発話を音声認識し、音声認識結果をＲＡＭ１３に記憶する。音声認識結果が「◎枚」である場合、「◎枚ですね」とのシステム発話を出力して状態３へ遷移する。

状態３では、入力された発話を音声認識し、音声認識結果をＲＡＭ１３に記憶する。状態３では音声認識結果が「はい」または「いいえ」の二者択一であると判断できることから、状態３での音声認識結果の信頼度は高い。記憶された音声認識結果が「いいえ」である場合、状態１ｂへ遷移して、再度切符枚数を入力する発話を行うことで、音声認識結果を修正する。

このように音声認識結果を修正した回数を累積し、累積数が所定の回数以下である場合に、音声認識結果が正しいものと判断する。つまり、発話者が音声認識結果の誤りを修正した回数が少なければ、該音声認識エンジンが正しい認識結果を出力していると判断でき、対話シナリオ情報に沿った対話が成立しているものと判断することができる。

以上のように本実施の形態１によれば、第三者である例えばオペレータが、利用者がシステムとの間で行っている対話に滞りを発見した場合、利用者が対話を停止する直前に発した発話に対する音声認識の誤りを正すことができ、正しい音声認識結果に基づいて、対話シナリオに沿った対話を再開することができる。したがって、オペレータが一の対話に拘束されること無く、対話が滞っている対話についてのみ誤認識を正すよう支援することにより、容易に対話シナリオに沿った対話へ修復することができ、利用者が違和感を生じること無く、効果的に対話を促進することが可能となる。

また、音声認識が誤っていると判断することが困難である場合であっても、対話の状態遷移履歴から対話が滞っている状態であるか否かを検出することができ、より精度良く利用者と音声対話システムとの対話が円滑に行われているか否かを判断することが可能となる。

一方、対話エラーの状況だけでなく、対話の進捗度、対話の種別等を判定して表示することが望ましい。図８は、対話の進捗度を判定して表示する場合の対話状態を表示する対話監視画面の他の例示図である。

利用者と自動応答システム１０とで行われている対話は、図８に示すように対話を識別する対話番号毎にその状態を表示する。具体的には、対話実行中の顧客名、対話の状態、対話の開始時刻、対話開始後の経過時間の他、算出した対話進捗度も表示している。

対話進捗度は、例えば以下のような方法で算出する。対話シナリオ情報１２１に記憶する対話シナリオを記述する際、対話シナリオの先頭、対話シナリオの導入部の終了部分（対話シナリオの中盤部の先頭部分）、及び対話シナリオの中盤部の終了部分（対話シナリオの終盤部の先頭部分）の３箇所にカウント命令を記述しておく。対話シナリオ情報１２１に沿って利用者と自動応答システム１０との対話が進行する場合、カウント命令によりＲＡＭ１３に設けてある対話番号毎のカウンタを‘１’ずつインクリメントする。したがって、対話を開始した場合、カウンタ値は‘１’であることから、対話が導入部に属すると判断することができ、対話シナリオの導入部が終了した場合、カウンタ値は‘２’であることから、対話が中盤部に属すると判断することができ、対話シナリオの中盤部が終了した場合、カウンタ値は‘３’であることから、対話が終盤部に属すると判断することができる。

ＣＰＵ４１は、利用者と自動応答システム１０との対話を監視し、対話が滞っていると判断した場合に、第三者であるオペレータの介入により対話を支援する。図９は、本発明の実施の形態１に係る音声対話システムの対話進捗度対話支援装置４０のＣＰＵ４１の処理手順を示すフローチャートである。

ＣＰＵ４１は、図３のステップＳ３０２で利用者と自動応答システム１０との対話が成立していないと判断した場合（ステップＳ３０２：ＮＯ）、自動応答システム１０のＲＡＭ１３に記憶してあるカウンタから、対応する対話番号のカウンタ値を取得する（ステップＳ９０１）。ＣＰＵ４１は、取得したカウンタ値が‘３’であるか否かを判断し（ステップＳ９０２）、ＣＰＵ４１が、取得したカウンタ値が‘３’であると判断した場合（ステップＳ９０２：ＹＥＳ）、ＣＰＵ４１は、ステップＳ３０３へ処理を戻す。

ＣＰＵ４１が、取得したカウンタ値が‘３’でないと判断した場合（ステップＳ９０２：ＮＯ）、ＣＰＵ４１は、取得したカウンタ値が‘２’であるか否かを判断する（ステップＳ９０３）。ＣＰＵ４１が、取得したカウンタ値が‘２’であると判断した場合（ステップＳ９０３：ＹＥＳ）、ＣＰＵ４１は、カウンタ値が‘３’である対話に対する対話支援処理がすべて終了したか否かを判断する（ステップＳ９０４）。

ＣＰＵ４１が、カウンタ値が‘３’である対話に対する対話支援処理がすべて終了したと判断した場合（ステップＳ９０４：ＹＥＳ）、ＣＰＵ４１は、ステップＳ３０３へ処理を戻す。

ＣＰＵ４１が、取得したカウンタ値が‘２’でないと判断した場合（ステップＳ９０３：ＮＯ）、ＣＰＵ４１は、カウンタ値が‘３’又は‘２’である対話に対する対話支援処理がすべて終了したか否かを判断する（ステップＳ９０５）。

ＣＰＵ４１が、カウンタ値が‘３’又は‘２’である対話に対する対話支援処理がすべて終了したと判断した場合（ステップＳ９０５：ＹＥＳ）、ＣＰＵ４１は、ステップＳ３０３へ処理を戻す。

上述の処理手順では、対話シナリオを導入部、中盤部、及び終盤部の３つに分類して、対話進捗度をカウンタ値として取得している場合について説明しているが、対話シナリオの分類は３つに限定されるものではなく、対話進捗度に順位付けをできる数であればいくつに分類しても良い。

また、対話進捗度をカウンタ値として取得する方法に限定されるものではなく、例えば状態遷移の数をカウントし、遷移数の大小に応じて対話進捗度を評価しても良いし、利用者が入力した発話データ数の大小に応じて対話進捗度を評価しても良いし、対話が開始した後の対話経過時間の長短に応じて対話進捗度を評価しても良い。

これにより、複数の対話エラーが発生している場合に、対話エラー以外の他の情報に基づいて優先的に対応する対話エラーをオペレータが判断するための情報を提示することができ、オペレータが対話エラーの対応順序を正しく判断して、効果的に応答することが可能となる。

また、対話の種別は、例えば対話シナリオに所定のタグを設けておき、単なる情報参照のページ、購入申し込みのページ等の区別を、対応付けたタグの値として記録しておく。対話エラーが発生した場合、対話エラーが発生したページで行われていた対話の種別は、タグの値を取得することにより判別することができる。

これにより、タグの値に応じてオペレータへの表示画面を変更することで、情報参照しているユーザよりも、商品の購入意思を有するユーザを優先的に対応することが可能となる。

なお、対話を支援する順序は、対話進捗度のみで定めることに限定されるものではなく、他の条件と併用して定めるものであっても良い。例えば対話シナリオに対して優先度を設定しても良いし、利用者が入力した発話データの重要性によって優先度を決めても良い。また、対話シナリオ毎に、過去の対話支援履歴を記憶しておき、対話支援する度合の高い対話シナリオを使用する対話ほど優先的に対話支援を行うよう制御しても良い。さらに、利用者毎に過去の対話支援履歴を記憶しておき、対話支援する度合の高い利用者が実行する対話ほど優先的に対話支援を行うよう制御しても良い。対話支援する度合の指標は特に限定されるものではないが、例えば対話時間、対話シナリオ利用回数、過去の支援回数の総数、利用回数に対する支援回数の度合等、どのような指標であっても良い。

（実施の形態２）
本発明の実施の形態２に係る音声対話システムの構成を示すブロック図は、図１及び図２と同様である。上述した実施の形態１では、図５に示す対話監視画面で、対話の状態を表示色により識別している。例えば対話が正常に行われている場合は青色表示、対話の進捗が遅い場合は黄色表示、対話が滞っている場合は赤色表示を行っている。本実施の形態２は、対話が正常に行われているか否か、対話の進捗が遅いか否か、対話が滞っているか否かの判断基準を変更することができる点に特徴を有する。

例えば対話進捗度は、以下のような方法で算出する。対話シナリオ情報１２１に記憶する対話シナリオを記述する際、対話シナリオの先頭、対話シナリオの導入部終了部分、及び対話シナリオの中盤部終了部分の３箇所にカウント命令を記述しておく。対話シナリオ情報１２１に沿って利用者と自動応答システム１０との対話が進行する場合、カウント命令によりＲＡＭ１３に設けてある対話番号毎のカウンタを‘１’ずつインクリメントする。したがって、対話を開始した場合、カウンタ値は‘１’であることから、対話が導入部に属すると判断することができ、対話シナリオの導入部が終了した場合、カウンタ値は‘２’であることから、対話が中盤部に属すると判断することができ、対話シナリオの中盤部が終了した場合、カウンタ値は‘３’であることから、対話が終盤部に属すると判断することができる。以下、カウンタ値を対話進捗度Ｐとする。

また、対話エラーが発生した場合、発生した対話エラーのエラーレベルＥは、以下のような方法で数値化する。すなわち、対話シナリオ上で同一の発話を行った回数、対話ループの発生した回数等を状態遷移履歴情報１２２から抽出し、所定の関数を用いて数値化する。例えば対話シナリオ上で同一の発話を行った回数をＮ１、対話ループの発生した回数をＮ２とし、それぞれの数値化関数をｆ１（ｎ）、ｆ２（ｎ）（ｎは自然数）とした場合、エラーレベルＥは、（数１）を用いて数値化し、値が大きいほどエラーレベルが高く、支援の必要性が高いものと判断することができる。

（数１）
Ｅ＝ｆ１（Ｎ１）＋ｆ２（Ｎ２）

図１０は、本発明の実施の形態２に係る音声対話システムの対話支援装置４０のＣＰＵ４１の処理手順を示すフローチャートである。図１０では、対話が正常に行われているか否かを判断する判断基準を、対話進捗度に応じて変更する場合について説明する。

対話支援装置４０のＣＰＵ４１は、ＲＡＭ１３に記憶してあるカウント値を読込み、対話進捗度Ｐを取得する（ステップＳ１００１）。またＣＰＵ４１は、ＲＡＭ１３から記憶してある発生した対話エラーのエラーレベルＥを取得する（ステップＳ１００２）。

ＣＰＵ４１は、取得した対話進捗度Ｐに応じて、取得したエラーレベルＥを更新する。すなわちＣＰＵ４１は、エラーレベル更新関数Ｆｅ（ｘ、ｙ）（ｘは対話進捗度、ｙはエラーレベル）を用いて更新後のエラーレベルＥを（数２）のように算出する（ステップＳ１００３）。

（数２）
Ｅ＝Ｆｅ（Ｐ、Ｅ）

エラーレベル更新関数Ｆｅ（ｘ、ｙ）は特に限定するものではなく、例えば対話進捗度Ｐの値をエラーレベルＥの値に加算する関数であっても良いし、対話進捗度Ｐの値に応じてエラーレベルＥの値を段階的に変化させるテーブルを備える関数であっても良い。

ＣＰＵ４１は、算出したエラーレベルＥに応じて、対話が正常に行われているか否かを判断する。本実施例では、対話進捗度Ｐが高くなるほど、すなわち対話進捗しているほど対話が正常に行われたか否かを判断する基準値が高くなるよう設定されている。

上述した例では、対話が正常に行われているか否かを判断する判断基準を、対話進捗度に応じて変更する場合について説明しているが、対話の進捗が遅いか否か、又は対話が滞っているか否かの判断基準を変更する場合も同様の処理を行うことができる。また、対話進捗度に応じて変更することに限定されるものではなく、例えば対話の種別等に応じて判断基準を変更するものであっても良い。

これにより、対話進捗度、対話の種別等に応じて、対話が正常に行われているか否かを判断する判断基準、対話の進捗が遅いか否かを判断する判断基準、又は対話が滞っているか否かを判断する判断基準を動的に変更することができ、より実態に即した対話支援を行うことが可能となる。

なお、エラーレベルの変更には、他の条件に基づく加算等に限定されるものではなく、例えばどのような対話エラーであってもエラーレベルを最大値としておき、他の条件に基づいて減算するものであっても良い。

（実施の形態３）
図１１は、本発明の実施の形態３に係る音声対話システムの構成を示すブロック図である。本実施の形態３に係る音声対話システムの構成は、基本的には実施の形態１と同様であることから、同一の符号を付することにより詳細な説明は省略する。本発明の実施の形態３に係る音声対話システムの対話支援装置４０は、少なくとも、ＣＰＵ（中央演算装置）４１、記録手段４２、ＲＡＭ４３、ネットワーク網３０等の外部の通信手段と接続する通信インタフェース４４、入力手段４５、出力手段４６及びＤＶＤ、ＣＤ等の可搬型記録媒体４８を用いる補助記録手段４７で構成される。

ＣＰＵ４１は、内部バス４９を介して対話支援装置４０の上述したようなハードウェア各部と接続されており、上述したハードウェア各部を制御するとともに、記録手段４２に記録されている処理プログラム、例えば対話が成立しているか否かを判断するプログラム、対話を一時停止する、又は再開するプログラム、エラー履歴に応じて対話シナリオ情報を更新するプログラム等に従って、種々のソフトウェア的機能を実行する。

記録手段４２は、内蔵される固定型記録装置（ハードディスク）、ＲＯＭ等で構成され、通信インタフェース４４を介した外部のコンピュータ、又はＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体４８から取得した、対話支援装置４０として機能させるために必要な処理プログラムを記録している。記録手段４２は、処理プログラムだけではなく、対話シナリオ中のエラーが発生した箇所及びエラーの内容を記録するエラー履歴情報４２１、オペレータが行った支援操作の履歴を記録するオペレータ操作履歴情報４２２等を記録する。

対話支援装置４０のＣＰＵ４１は、任意の時点でエラー履歴情報４２１、及びオペレータ操作履歴情報４２２を照会し、統計処理を行うことにより、対話シナリオ中でエラーが発生する確率の高い部分を特定し、エラー発生箇所でのオペレータの操作の類似度、及びオペレータの操作毎の操作発生回数等を算出して記録手段４２に記録する。そして、例えばオペレータの操作毎の操作発生回数が所定の閾値を超える部分については、対話シナリオに何らかの問題点が内在するものと判断し、エラー発生箇所及びオペレータの操作をオペレータ又は自動応答システムの管理者に提示する。

例えば対話シナリオの所定の部分で発声している対話エラーに対し、同じ応答内容の候補を複数回オペレータが選択している場合、選択された応答回数の降順に応答内容の候補を提示する。これにより、対話シナリオに記述されている想定された応答内容が足りない、等の対話シナリオの更新を促すことが可能となる。また、対話シナリオの該当部分に応答内容の候補を自動的に追加するものであっても良い。

これにより、対話シナリオ自体の不適切さに起因する対話エラーを減少させることが期待でき、より利用者にとって違和感無く利用することができる音声対話システムを具現化することが可能となる。

なお、上述した実施の形態１乃至３において、対話が滞っている対話を対話監視画面に表示するだけでなく、対話が滞っている部分を使用している対話シナリオに沿って画面表示しても良い。これにより、対話シナリオのどの部分で誤認識が生じているのかより明確になり、より効果的な対話支援を行うことが可能となる。

また、上述した実施の形態１乃至３において、オペレータが対話支援をすべく利用者が発する音声を聞いた結果、利用者の音声レベルの異常により対話エラーが発生したと判断した場合、図６に示す対話支援画面に、音声レベル（入力レベル／ノイズレベル等）の調整入力手段を設けて、音声レベルを変更することができるようにすることが好ましい。この場合、例えば図６に示す対話支援画面の右上領域に、ノイズレベル、音量レベル、音声認識信頼度、敏感度等のレベルバー、数値入力領域等を設ける。これにより、同一のユーザによる対話エラー発生確率を軽減することができる。

利用者の音声レベルの異常により対話エラーが発生したと判断した場合、対話支援画面からの入力により音声レベルを調整する方法に限定されるものではなく、例えば音声の入力レベル（入力される音声のボリューム等）を段階的に増大させ、利用者の音声を再入力した場合に正しく音声認識される音声レベルに調整する方法であっても良い。

また、利用者のくしゃみ、咳き等に起因する対話エラーが発生した場合、オペレータが対話支援することにより、対話エラーがくしゃみ、咳等に起因すると判断したときは、くしゃみ、咳等に対応する認識結果を選択することなく自動応答システム１０に制御を戻しても良い。

さらに、上記実施の形態１乃至３は、いずれも音声による自動応答システムの例に従って説明しているが、自動応答システムは音声によるものに限定されるものではなく、自動応答システムと利用者との間で対話が可能な手段、例えば文字（テキストデータ）、画像当の入出力によるものであっても良い。

文字の入出力による対話の場合、音声入出力部２０は、キーボード、表示装置等の文字入出力部となる。自動応答システム１０の対話シナリオ情報１２１は、ＶＸＭＬではなく、文字の入出力に適した記述形式で対話内容が記述される。

自動応答システムは、対話シナリオに基づいて、例えばチャットシステムを利用して、対話シナリオ中の質問文が送信され、利用者の表示装置に表示され、利用者はチャットシステムを利用して質問に対する応答を入力する。自動応答システムは、入力された応答と対話シナリオ中に想定してある回答内容とを比較して、応答中に想定してある回答が存在した場合、対話が成立したと判断して対話シナリオに沿った次の処理へと進行する。応答中に想定してある回答が存在しない場合、対話エラーであると判断し、再度質問を行う等により応答の再入力を促す。対話の状況は、逐次監視又は記録しておく。

したがって、音声の場合と同様に、対話エラーの監視、対話状況の表示、対話の支援等を行うことが可能となる。

以上の実施の形態１乃至３に関し、さらに以下の付記を開示する。

（付記１）
発話を受け付ける手段と、
受け付けた発話を認識する手段と、
認識した結果及び対話の進行手順を記述した対話シナリオ情報に基づいて対話を進行させる手段と、
前記受け付けた発話に対する応答を出力する手段とを備える対話システムにおいて、
通信手段を介してデータを送受信することが可能に接続してある対話支援装置を有し、
該対話支援装置は、
対話が成立しているか否かを判断する対話成立判断手段と、
該対話成立判断手段が、前記対話が成立していないと判断した場合、前記対話を一時停止する対話停止手段と、
該対話停止手段で停止した対話の最後に受け付けた発話に対する複数の認識候補を表示する手段と、
該手段で表示した前記複数の認識候補の中から一の認識候補の選択を受け付ける手段と、
受け付けた一の認識候補を送出する手段と
を備え、
前記対話支援装置から前記一の認識候補を受け付けた場合、一時停止した部分から前記対話シナリオ情報に沿って対話を再開する手段を備えることを特徴とする対話システム。

(付記２)
前記対話成立判断手段は、
前記対話シナリオ情報に基づいた対話の状態遷移履歴を記憶する対話履歴記憶手段と、
前記認識した結果及び前記状態遷移履歴に基づいて、前記受け付けた発話が誤って認識されたか否かを判断する誤認識判断手段と
を備えることを特徴とする付記１記載の対話システム。

(付記３)
前記誤認識判断手段は、
前記状態遷移履歴に前記対話シナリオ情報の繰り返し部分が存在するか否かを判断する手段を備え、
該手段で繰り返し部分が存在すると判断した場合、前記受け付けた発話が誤って認識されたと判断するよう構成してあることを特徴とする付記２記載の対話システム。

(付記４)
複数の前記対話シナリオ情報に基づいて複数の対話が進行しており、
前記対話毎の進捗の度合を示す対話進捗度を算出する手段と、
前記対話進捗度を含む条件に基づいて前記対話毎の優先度を算出する優先度算出手段とを備えることを特徴とする請求項１乃至３のいずれか一項に記載の対話システム。

(付記５)
発話を受け付ける音量レベルを変更する受付音量変更手段を備えることを特徴とする付記１乃至４のいずれか１つに記載の対話システム。

(付記６)
前記受付音量変更手段は、発話を受け付ける音量レベルを段階的に変更するようにしてあり、
前記対話成立判断手段が、前記対話が成立していないと判断した場合、受け付けた発話の音量レベルが原因であるか否かを判断する手段と、
該手段で、受け付けた発話の音量レベルが原因であると判断した場合、発話を受け付ける音量レベルを一段階増大する手段と
を備えることを特徴とする付記５記載の対話システム。

(付記７)
発話を受け付ける手段と、
受け付けた発話を認識する手段と、
認識した結果及び対話の進行手順を記述した対話シナリオ情報に基づいて対話を進行させる手段と、
前記受け付けた発話に対する応答を出力する手段とを備える対話システムに、通信手段を介してデータを送受信することが可能に接続してある対話支援装置において、
対話が成立しているか否かを判断する対話成立判断手段と、
該対話成立判断手段が、前記対話が成立していないと判断した場合、前記対話を一時停止する対話停止手段と、
該対話停止手段で停止した対話の最後に受け付けた発話に対する複数の認識候補を表示する手段と、
該手段で表示した前記複数の認識候補の中から一の認識候補の選択を受け付ける手段と、
受け付けた一の認識候補を送出する手段と
を備えることを特徴とする対話支援装置。

(付記８)
前記対話成立判断手段は、
前記対話シナリオ情報に基づいた対話の状態遷移履歴を記憶する対話履歴記憶手段と、
前記認識した結果及び前記状態遷移履歴に基づいて、前記受け付けた発話が誤って認識されたか否かを判断する誤認識判断手段と
を備えることを特徴とする付記７記載の対話支援装置。

(付記９)
前記誤認識判断手段は、
前記状態遷移履歴に前記対話シナリオ情報の繰り返し部分が存在するか否かを判断する手段を備え、
該手段で繰り返し部分が存在すると判断した場合、前記受け付けた発話が誤って認識されたと判断するよう構成してあることを特徴とする付記８記載の対話支援装置。

(付記１０)
複数の前記対話シナリオ情報に基づいて複数の対話が進行しており、
前記対話毎の進捗の度合を示す対話進捗度を算出する手段と、
前記対話進捗度を含む条件に基づいて前記対話毎の優先度を算出する優先度算出手段とを備えることを特徴とする付記７乃至９のいずれか１つに記載の対話支援装置。

(付記１１)
発話を受け付ける音量レベルを変更する受付音量変更手段を備えることを特徴とする付記７乃至１０のいずれか１つに記載の対話支援装置。

(付記１２)
前記受付音量変更手段は、発話を受け付ける音量レベルを段階的に変更するようにしてあり、
前記対話成立判断手段が、前記対話が成立していないと判断した場合、受け付けた発話の音量レベルが原因であるか否かを判断する手段と、
該手段で、受け付けた発話の音量レベルが原因であると判断した場合、発話を受け付ける音量レベルを一段階増大する手段と
を備えることを特徴とする付記１１記載の対話支援装置。

(付記１３)
コンピュータが、発話を受け付け、受け付けた発話を認識し、認識した結果及び対話の進行手順を記述した対話シナリオ情報に基づいて対話を進行させ、前記受け付けた発話に対する応答を出力する対話方法において、
前記コンピュータは、
対話が成立しているか否かを判断し、
前記対話が成立していないと判断した場合、前記対話を一時停止し、
停止した対話の最後に受け付けた発話に対する複数の認識候補を表示し、
表示した前記複数の認識候補の中から一の認識候補の選択を受け付け、
前記一の認識候補を受け付けた場合、一時停止した部分から前記対話シナリオ情報に沿って対話を再開することを特徴とする対話方法。

(付記１４)
前記対話シナリオ情報に基づいた対話の状態遷移履歴を記憶し、
前記認識した結果及び前記状態遷移履歴に基づいて、前記受け付けた発話が誤って認識されたか否かを判断することを特徴とする付記１３記載の対話方法。

(付記１５)
前記状態遷移履歴に前記対話シナリオ情報の繰り返し部分が存在するか否かを判断し、
繰り返し部分が存在すると判断した場合、前記受け付けた発話が誤って認識されたと判断するようにしてあることを特徴とする付記１４記載の対話方法。

(付記１６)
複数の前記対話シナリオ情報に基づいて複数の対話が進行しており、
前記対話毎の進捗の度合を示す対話進捗度を算出し、
前記対話進捗度を含む条件に基づいて前記対話毎の優先度を算出するようにしてあることを特徴とする付記１３乃至１５のいずれか１つに記載の対話方法。

(付記１７)
発話を受け付ける音量レベルを変更することを特徴とする付記１３乃至１６のいずれか１つに記載の対話方法。

(付記１８)
発話を受け付ける音量レベルを段階的に変更し、
対話が成立していないと判断した場合、受け付けた発話の音量レベルが原因であるか否かを判断し、
受け付けた発話の音量レベルが原因であると判断した場合、発話を受け付ける音量レベルを一段階増大することを特徴とする付記１３乃至１６のいずれか１つに記載の対話方法。

(付記１９)
コンピュータが、発話を受け付け、受け付けた発話を認識し、認識した結果及び対話の進行手順を記述した対話シナリオ情報に基づいて対話を進行させ、前記受け付けた発話に対する応答を出力する対話システムに接続してある他のコンピュータで実行することが可能なコンピュータプログラムにおいて、
前記他のコンピュータを、
前記対話が成立しているか否かを判断する対話成立判断手段、
該対話成立判断手段が、前記対話が成立していないと判断した場合、前記対話を一時停止する対話停止手段、
該対話停止手段で停止した対話の最後に受け付けた発話に対する複数の認識候補を表示する手段、
該手段で表示した前記複数の認識候補の中から一の認識候補の選択を受け付ける手段、及び
受け付けた一の認識候補を外部へ送出する手段
として機能させることを特徴とするコンピュータプログラム。

(付記２０)
前記対話成立判断手段を、
前記対話シナリオ情報に基づいた対話の状態遷移履歴を記憶する対話履歴記憶手段、及び
前記認識した結果及び前記状態遷移履歴に基づいて、前記受け付けた発話が誤って認識されたか否かを判断する誤認識判断手段
として機能させることを特徴とする付記１９記載のコンピュータプログラム。

(付記２１)
前記誤認識判断手段を、
前記状態遷移履歴に前記対話シナリオ情報の繰り返し部分が存在するか否かを判断する手段、及び
該手段で繰り返し部分が存在すると判断した場合、前記受け付けた発話が誤って認識されたと判断する手段
として機能させることを特徴とする付記２０記載のコンピュータプログラム。

(付記２２)
複数の前記対話シナリオ情報に基づいて複数の対話が進行しており、
前記他のコンピュータを、
前記対話毎の進捗の度合を示す対話進捗度を算出する手段、及び
前記対話進捗度を含む条件に基づいて前記対話毎の優先度を算出する優先度算出手段
として機能させることを特徴とする付記１９乃至２１のいずれか１つに記載のコンピュータプログラム。

(付記２３)
前記他のコンピュータを、
発話を受け付ける音量レベルを変更する受付音量変更手段
として機能させることを特徴とする付記１９乃至２２のいずれか１つに記載のコンピュータプログラム。

(付記２４)
前記他のコンピュータを、
発話を受け付ける音量レベルを段階的に変更する手段、
前記対話成立判断手段が、前記対話が成立していないと判断した場合、受け付けた発話の音量レベルが原因であるか否かを判断する手段、
該手段で、受け付けた発話の音量レベルが原因であると判断した場合、発話を受け付ける音量レベルを一段階増大する手段
として機能させることを特徴とする付記１９乃至２２のいずれか１つに記載のコンピュータプログラム。

本発明の実施の形態１に係る音声対話システムの構成を示すブロック図である。本発明の実施の形態１に係る音声対話システムの自動応答システムの構成を示すブロック図である。本発明の実施の形態１に係る音声対話システムの対話支援装置のＣＰＵの処理手順を示すフローチャートである。名前を確認する対話シナリオでの状態遷移の例示図である。対話状態を表示する対話監視画面の例示図である。対話を修復する対話支援画面の例示図である。切符を購入する対話シナリオでの状態遷移図の例示図である。対話の進捗度を判定して表示する場合の対話状態を表示する対話監視画面の他の例示図である。本発明の実施の形態１に係る音声対話システムの対話支援装置のＣＰＵの処理手順を示すフローチャートである。本発明の実施の形態２に係る音声対話システムの対話支援装置のＣＰＵの処理手順を示すフローチャートである。本発明の実施の形態３に係る音声対話システムの構成を示すブロック図である。

符号の説明

１０自動応答システム
１１、４１ＣＰＵ
１２、４２記録手段
１３、４３ＲＡＭ
１４、４４通信インタフェース
１５、４７補助記録手段
１６、４８可搬型記録媒体
２０音声入出力部
３０ネットワーク網
４０対話支援装置
４５入力手段
４６出力手段
１２１対話シナリオ情報
１２２状態遷移履歴情報

Claims

発話を受け付ける手段と、
受け付けた発話を認識する手段と、
認識した結果及び対話の進行手順を記述した対話シナリオ情報に基づいて対話を進行させる手段と、
前記受け付けた発話に対する応答を出力する手段とを備える対話システムにおいて、
通信手段を介してデータを送受信することが可能に接続してある対話支援装置を有し、
該対話支援装置は、
対話が成立しているか否かを判断する対話成立判断手段と、
該対話成立判断手段が、前記対話が成立していないと判断した場合、前記対話を一時停止する対話停止手段と、
該対話停止手段で停止した対話の最後に受け付けた発話に対する複数の認識候補を表示する認識候補表示手段と、
該認識候補表示手段で表示した前記複数の認識候補の中から一の認識候補の選択を受け付ける手段と、
受け付けた一の認識候補を送出する手段と
を備え、
前記対話支援装置から前記一の認識候補を受け付けた場合、一時停止した部分から前記対話シナリオ情報に沿って対話を再開する手段を備えることを特徴とする対話システム。
前記対話成立判断手段は、
前記対話シナリオ情報に基づいた対話の状態遷移履歴を記憶する対話履歴記憶手段と、
前記認識した結果及び前記状態遷移履歴に基づいて、前記受け付けた発話が誤って認識されたか否かを判断する誤認識判断手段と
を備えることを特徴とする請求項１記載の対話システム。
複数の前記対話シナリオ情報に基づいて複数の対話が進行しており、
前記対話毎の進捗の度合を示す対話進捗度を算出する手段と、
前記対話進捗度を含む条件に基づいて前記対話毎の優先度を算出する優先度算出手段とを備えることを特徴とする請求項１又は２に記載の対話システム。
コンピュータが、発話を受け付け、受け付けた発話を認識し、認識した結果及び対話の進行手順を記述した対話シナリオ情報に基づいて対話を進行させ、前記受け付けた発話に対する応答を出力する対話方法において、
前記コンピュータは、
対話が成立しているか否かを判断し、
前記対話が成立していないと判断した場合、前記対話を一時停止し、
停止した対話の最後に受け付けた発話に対する複数の認識候補を表示し、
表示した前記複数の認識候補の中から一の認識候補の選択を受け付け、
前記一の認識候補を受け付けた場合、一時停止した部分から前記対話シナリオ情報に沿って対話を再開することを特徴とする対話方法。
コンピュータが、発話を受け付け、受け付けた発話を認識し、認識した結果及び対話の進行手順を記述した対話シナリオ情報に基づいて対話を進行させ、前記受け付けた発話に対する応答を出力する対話システムに接続してある他のコンピュータで実行することが可能なコンピュータプログラムにおいて、
前記他のコンピュータを、
前記対話が成立しているか否かを判断する対話成立判断手段、
該対話成立判断手段が、前記対話が成立していないと判断した場合、前記対話を一時停止する対話停止手段、
該対話停止手段で停止した対話の最後に受け付けた発話に対する複数の認識候補を表示する認識候補表示手段、
該認識候補表示手段で表示した前記複数の認識候補の中から一の認識候補の選択を受け付ける手段、及び
受け付けた一の認識候補を外部へ送出する手段
として機能させることを特徴とするコンピュータプログラム。