JP6899558B2 - 対話制御装置、対話エンジン、管理端末、対話装置、対話制御方法、およびプログラム - Google Patents

Description

本発明は、対話を制御する対話制御装置等に関するものである。

従来、ユーザとのコミュニケーションの柔軟性を向上させることを目的とした音声対話制御装置が存在した。かかる音声対話装置の制御は、音声を取得してから応答を生成するまでの待機時間に、応答の修正要否を判定するための修正条件が満たされたと判定したとき、生成した応答を修正する修正実行部を備える（特許文献１参照）。

また、従来、実際のユーザの発話に適した分類カテゴリの設定が比較的容易に行えるようなメンテナンス性の高い対話システムがあった（特許文献２参照）。かかる対話システムは、対話の状態遷移情報を用いて対話を進行していく。

特開２０１５−２５６９号公報 特開２０１１−２１５７４２号公報

しかしながら、従来の装置においては、対話エンジンを用いた対話において、適切な対話が継続できない場合があった。

具体的には、例えば、ユーザと対話エンジンとの対話が破綻しているにも関わらず、対話を継続するか、対話を終了するかしかなかった。

かかる課題を解決するために、本発明は、対話エンジンからの応答と管理者からの応答とを使い分けて、ユーザ端末に出力することにより、適切な対話を継続することを目的とする。

本第一の発明の対話制御装置は、ユーザが入力した発話に対応するユーザ発話情報をユーザ端末から受信する受信部と、ユーザ発話情報に対応する情報である発話情報を、対話エンジンまたは管理端末のうちの少なくともどちらか一方に出力する発話情報出力部と、発話情報の対話エンジンへの出力に応じて、対話エンジンからの応答である自動応答情報を受け付ける自動応答受付部と、発話情報の管理端末への出力に応じて、管理端末からの応答である手動応答情報を受け付ける手動応答受付部と、自動応答情報に対応する情報である自動情報または手動応答情報に対応する情報である手動情報をユーザ端末に送信する応答送信部とを具備する対話制御装置である。

かかる構成により、対話エンジンからの応答と管理者からの応答とを使い分けて、ユーザ端末に出力することにより、適切な対話を継続できる。

また、本第二の発明の対話制御装置は、第一の発明に対して、対話エンジンを採用するか、管理端末を採用するかを決定する決定部をさらに具備し、応答送信部は、決定が対話エンジンを採用するとの決定の場合は、自動情報をユーザ端末に送信し、決定が管理端末を採用するとの決定の場合は、手動情報をユーザ端末に送信する対話制御装置である。

かかる構成により、対話エンジンからの応答と管理者からの応答とを使い分けて、ユーザ端末に出力することにより、適切な対話を継続できる。

また、本第三の発明の対話制御装置は、第二の発明に対して、対話エンジンを採用する自動モード、または管理端末を採用する手動モードのいずれかを、少なくとも採り得るモード情報が格納されるモード格納部と、モード情報を変更するための予め決められた条件を満たすか否かを判断する判断部と、判断部が予め決められた条件を満たすと判断した場合に、モード情報を変更するモード変更部とをさらに具備し、決定部は、モード格納部のモード情報を取得する対話制御装置である。

かかる構成により、対話エンジンからの応答と管理者からの応答とを使い分けて、ユーザ端末に出力することにより、適切な対話を継続できる。

また、本第四の発明の対話制御装置は、第二の発明に対して、対話エンジンを採用する自動モード、または管理端末を採用する手動モードのいずれかを、少なくとも採り得るモード情報が格納されるモード格納部と、管理端末からモードの変更の指示である変更指示を受け付ける変更指示受付部と、変更指示に応じて、モード格納部のモード情報を変更するモード変更部とをさらに具備し、決定部は、モード格納部のモード情報に従って、対話エンジンを採用するか、管理端末を採用するかを決定する対話制御装置である。

かかる構成により、対話エンジンからの応答と管理者からの応答とを使い分けて、ユーザ端末に出力することにより、適切な対話を継続できる。

また、本第五の発明の対話制御装置は、第一から第四いずれか１つの発明に対して、自動情報を管理端末に出力する自動情報出力部をさらに具備する対話制御装置である。

かかる構成により、対話エンジンからの応答と管理者からの応答とを使い分けて、ユーザ端末に出力することにより、適切な対話を継続できる。

また、本第六の発明の対話制御装置は、第一から第五いずれか１つの発明に対して、手動情報を対話エンジンに出力する手動情報出力部をさらに具備する対話制御装置である。

かかる構成により、対話エンジンからの応答と管理端末からの応答とを使い分けて、ユーザ端末に出力することにより、適切な対話を継続できる。
また、本第七の発明の対話制御装置は、第一から第六いずれか１つの発明に対して、ユーザ端末および管理端末は、ビデオ会議を行える端末であり、ユーザ発話情報および手動応答情報は、映像および音声データを有する対話制御装置である。
かかる構成により、対話エンジンからの応答と、管理端末からのビデオ会議による応答とを使い分けて、ユーザ端末に出力することにより、適切な対話を継続できる。

また、本第八の発明の対話エンジンは、発話情報に対応する自動応答情報を取得するための情報である学習情報が格納される学習情報格納部と、対話制御装置から発話情報を受け付ける発話受付部と、発話受付部が受け付けた発話情報に対応する応答である自動応答情報を、学習情報を用いて取得する応答取得部と、応答取得部が取得した自動応答情報を対話制御装置に出力する応答出力部と、管理端末からの応答である手動応答情報を受け付ける学習受付部と、学習受付部が受け付けた手動応答情報を用いて、学習情報に情報を付加する学習部とを具備する対話エンジンである。

かかる構成により、管理者からの応答を学習できる対話エンジンを提供できる。

また、本第九の発明の管理端末は、対話制御装置から発話情報を受け付ける管理情報受付部と、発話情報、または発話情報から出力用に構成された発話情報を出力する管理者出力部と、発話情報の出力に応じて、手動応答情報を受け付ける管理情報受付部と、手動応答情報を対話制御装置に出力する管理者出力部とを具備する管理端末である。

かかる構成により、例えば、対話が破綻した等の場合に、対話を支援できる管理端末を提供できる。
また、本第十の発明の管理端末は、対話制御装置からモード変更指示を受け付け、かつ対話制御装置から映像および音声データを有する発話情報を受け付ける管理情報受付部と、モード変更指示に応じて、ビデオ会議機能を起動する管理処理部と、発話情報、または発話情報から出力用に構成された発話情報を出力する管理者出力部と、映像および音声データを有する手動応答情報を受け付ける管理情報受付部と、手動応答情報を対話制御装置に出力する管理出力部とを具備する管理端末である。
かかる構成により、例えば、対話が破綻した等の場合に、ビデオ会議機能を用いて対話を支援できる管理端末を提供できる。

また、本第十一の発明の対話装置は、ユーザが入力した発話に対応するユーザ発話情報を受け付ける受付部と、ユーザ発話情報に関する発話情報を、対話エンジンまたは画面のうちの少なくともどちらか一方に出力する発話情報出力部と、発話情報の対話エンジンへの出力に応じて、対話エンジンからの応答である自動応答情報を受け付ける自動応答受付部と、発話情報の画面への出力に応じて、管理者からの応答である手動応答情報を受け付ける手動応答受付部と、自動応答情報に関する自動情報または手動応答情報に関する手動情報を出力する応答出力部とを具備する対話装置である。

かかる構成により、対話エンジンからの応答と管理者からの応答とを使い分けて、ユーザ端末に出力することにより、適切な対話を継続できる。

本発明による対話制御装置によれば、適切な対話を継続できる。

実施の形態１における対話システムＡの概念図 同実施の形態における対話システムＡのブロック図 同対話制御装置２のブロック図 同対話制御装置２の動作について説明するフローチャート 同対話エンジン３の動作について説明するフローチャート 同管理端末４の動作について説明するフローチャート 同破綻判断条件管理表を示す図 同学習情報管理表を示す図 同Ｆｏｏｄｔａｂｌｅを示す図 同管理端末４での出力例を示す図 同手動応答情報管理表を示す図 同ユーザ端末１での出力例を示す図 実施の形態２における対話装置５のブロック図 同対話装置５の動作について説明するフローチャート 上記実施の形態におけるコンピュータシステムの概観図 同コンピュータシステムのブロック図 実施の形態１における管理端末管理表を示す図

以下、対話制御装置等を具備する対話システム等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。

（実施の形態１）
本実施の形態において、対話エンジンの応答を採用する自動モード、管理者の応答を採用する手動モードが存在する対話制御装置を具備する対話システムについて説明する。なお、管理者とは、対話システムの管理に関与する者であり、運営者、支援者等と言っても良く、広く解する。管理者は、ユーザの対話システムの利用を支援する者、という程度のものでも良い。

また、本実施の形態において、モードを自動決定、または自動変更する対話システムについて説明する。なお、本実施の形態において、対話の破綻等を自動検知し、モードを自動変更する。

また、本実施の形態において、管理者からの指示によりモードを変更する対話システムについて説明する。

また、本実施の形態において、自動モードの場合に、対話エンジンからの応答を管理端末に出力する対話システムについて説明する。

さらに、本実施の形態において、手動モードの場合に、管理者からの応答を対話エンジンに提供する対話システムについて説明する。

図１は、本実施の形態における対話システムＡの概念図である。対話システムＡは、１または２以上のユーザ端末１、対話制御装置２、対話エンジン３、および１または２以上の管理端末４を備える。ユーザ端末１、管理端末４は、例えば、いわゆるパーソナルコンピュータ、タブレット端末、スマートフォン等であり、その種類は問わない。なお、ユーザ端末１は、ユーザが使用する端末である。ユーザは、対話エンジンとの対話を行う人である。また、管理端末４は、管理者が使用する端末である。管理端末４は、例えば、ビデオ会議の機能を有し、ユーザと管理者とによる対話を行える端末でも良い。管理端末４は、例えば、電話機能を有し、ユーザと管理者との電話による通話を行える端末でも良い。管理者は、対話の管理者であり、手動モードの場合に、ユーザと対話を行う人である。管理者は、対話を支援する人である、と言っても良い。対話制御装置２は、対話を制御する装置である。対話制御装置２は、例えば、ＡＳＰのサーバ、クラウドサーバ等である。但し、対話制御装置２の種類は問わない。対話エンジン３は、ユーザからの発話の情報を受け付け、応答を返す装置である。対話エンジン３は、例えば、ＡＳＰのサーバ、クラウドサーバ等である。但し、対話エンジン３の種類は問わない。また、対話エンジン３は、発話情報を受け付け、自動応答情報を出力する。対話エンジン３は、公知の対話エンジンでも良い。

また、通常、１以上のユーザ端末１と対話制御装置２とは、インターネット、ＬＡＮ等のネットワークにより通信可能である。また、通常、対話制御装置２と対話エンジン３とは、インターネット、ＬＡＮ等のネットワークにより通信可能である。また、通常、対話制御装置２と１以上の管理端末４とは、インターネット、ＬＡＮ等のネットワークにより通信可能である。ただし、対話制御装置２は、対話エンジン３、管理端末４のうちの１以上の装置を内部に含んでいても良い。つまり、対話制御装置２と対話エンジン３と管理端末４のうちの２以上の装置は、物理的に一の装置で実現されても良い。また、対話制御装置２は、ユーザ端末１、対話エンジン３のうちの１以上の装置を内部に含んでいても良い。つまり、対話制御装置２とユーザ端末１と対話エンジン３のうちの２以上の装置は、物理的に一の装置で実現されても良い。

図２は、実施の形態における対話システムＡのブロック図である。また、図３は、対話制御装置２のブロック図である。

ユーザ端末１は、ユーザ受付部１１、ユーザ処理部１２、ユーザ送信部１３、ユーザ受信部１４、およびユーザ出力部１５を備える。

対話制御装置２は、格納部２１、受信部２２、処理部２３、出力部２４、受付部２５、および送信部２６を備える。

格納部２１は、モード格納部２１１を備える。処理部２３は、決定部２３１、判断部２３２、およびモード変更部２３３を備える。出力部２４は、発話情報出力部２４１、自動情報出力部２４２、および手動情報出力部２４３を備える。受付部２５は、自動応答受付部２５１、手動応答受付部２５２、および変更指示受付部２５３を備える。送信部２６は、応答送信部２６１を備える。

対話エンジン３は、学習情報格納部３１１、発話受付部３２、応答取得部３３、応答出力部３４、学習受付部３５、および学習部３６を備える。

管理端末４は、例えば、管理格納部４１、管理情報受付部４２、管理処理部４３、管理者出力部４４、管理指示受付部４５、および管理出力部４６を備える。管理端末４は、例えば、単に、ビデオ会議機能を有する装置でも良い。また、管理端末４は、例えば、単に、電話機能を有する装置でも良い。

ユーザ端末１を構成するユーザ受付部１１は、ユーザからの発話を受け付ける。発話の受け付けは、音声での受け付けでも良いし、テキストでの受け付けでも良い。ユーザ受付部１１は、ユーザからの発話とユーザを撮影した映像とを受け付けても良い。発話は、ユーザが発した情報、ユーザが入力した情報であれば良い。発話の入力手段は、マイク、キーボード、マウス、メニュー画面、ビデオカメラによるもの等、何でも良い。ユーザ受付部１１は、マイクやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。また、ユーザ受付部１１は、後述する変更指示を受け付けても良い。

ユーザ処理部１２は、ユーザ受付部１１が受け付けた発話から、当該発話に対応するユーザ発話情報を取得する。ユーザ処理部１２は、例えば、音声である発話を音声認識し、テキストであるユーザ発話情報を取得する。なお、ユーザ発話情報は、ユーザが入力した発話と同じでも良い。また、ユーザ発話情報は、ユーザが発した音声データとユーザの映像でも良い。なお、音声データとは、単に音声と言っても良い。つまり、音声データは、デジタルデータでもアナログデータでも良い。

また、ユーザ処理部１２は、ユーザ受信部１４が受信した自動情報または手動情報がテキストの場合、当該を自動情報または手動情報から音声データを生成しても良い。
また、ユーザ処理部１２は、ユーザ端末１が有するビデオ会議機能を起動する処理を行っても良い。そして、ユーザ処理部１２は、管理端末４とのビデオ会議を遂行する機能を実行する。なお、ビデオ会議機能は公知技術なので、詳細な説明は省略する。また、ビデオ会議は、テレビ会議、ビデオカンファレンス等とも言う。
また、ユーザ処理部１２は、ユーザ端末１が有する電話機能を起動する処理を行っても良い。そして、ユーザ処理部１２は、管理端末４との電話を遂行する機能を実行する。

ユーザ送信部１３は、ユーザ処理部１２が取得したユーザ発話情報を対話制御装置２に送信する。ユーザ送信部１３は、ユーザ受付部１１が受け付けた変更指示を対話制御装置２に送信しても良い。

ユーザ受信部１４は、後述する自動情報または後述する手動情報を受信する。

ユーザ出力部１５は、ユーザ受信部１４が受信した自動情報または手動情報を出力する。ユーザ出力部１５は、ユーザ処理部１２が自動情報または手動情報から取得した音声データを音声出力しても良い。なお、かかる場合も、自動情報または手動情報を出力したものとする。また、ここでの出力とは、通常、ディスプレイへの表示、またはスピーカーへの音声出力であるが、プロジェクターを用いた投影、プリンタでの印字、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である、と考えても良い。

対話制御装置２を構成する格納部２１は、各種の情報が格納される。各種の情報とは、例えば、後述するモード情報、対話の履歴、２以上の管理端末管理情報である。対話の履歴は、例えば、ユーザ発話情報、発話情報、自動応答情報、自動情報、手動応答情報、手動情報等である。管理端末管理情報は、対話の話題を特定する話題情報と管理端末４を識別する管理端末識別子との組の情報である。話題情報は、例えば、話題を特定する用語、話題を特定する識別子等である。管理端末識別子は、例えば、ＩＰアドレス、電話番号、ＩＤ等である。

モード格納部２１１は、モード情報が格納される。モード情報は、ユーザとの対話が自動であるか手動であるかを示す情報である。モード情報には、通常、対話エンジン３を採用する自動モード、または管理端末４を採用する手動モードがある。つまり、モード情報は、自動モード、手動モードのいずれかを、少なくとも採り得る。ただし、モード情報は、自動モード、手動モード以外のモードを採り得ても良い。自動モード、手動モード以外のモードとは、例えば、動作しない停止モード等である。また、対話エンジン３を採用することは、対話エンジン３からの応答がユーザ端末１に送信されることである。また、管理端末４を採用することは、管理端末４からの応答がユーザ端末１に送信されることである。

受信部２２は、ユーザ発話情報をユーザ端末１から受信する。また、ユーザ発話情報は、通常、テキストであるが、音声データでも良い。ユーザ発話情報のデータ構造やータタイプは問わない。
受信部２２は、ユーザ端末１から、ビデオ映像と音声データを受信しても良い。かかる場合、ユーザ発話情報は、ビデオ映像と音声データであると考えても良い。

処理部２３は、各種の処理を行う。各種の処理とは、決定部２３１、判断部２３２、モード変更部２３３等が行う処理である。

各種の処理とは、例えば、ユーザ発話情報から発話情報を取得する処理である。処理部２３は、例えば、ユーザ発話情報の受信に応じて、発話識別子を生成する。そして、処理部２３は、例えば、ユーザ発話情報に発話識別子を付加し、発話情報を構成する。なお、発話識別子は、ユーザ発話情報の識別子であり、ユニークな情報である。また、処理部２３は、例えば、最近に生成した発話識別子を１インクリメントし、ユニークな発話識別子を生成する。

また、処理部２３は、例えば、自動応答情報または手動応答情報から自動情報または手動情報を取得しても良い。処理部２３は、例えば、テキストの自動応答情報からその音声データである自動情報を生成しても良い。処理部２３は、例えば、テキストの手動応答情報からその音声データである手動情報を生成しても良い。また、処理部２３は、例えば、自動応答情報または手動応答情報から、送信するデータ構造の自動情報または送信するデータ構造の手動情報を取得しても良い。かかる場合、処理部２３は、例えば、自動応答情報または手動応答情報のデータ構造を変更し、自動情報または手動情報を取得する。なお、処理部２３は、例えば、自動応答情報と自動情報が同じ情報である場合、単に、受付部２５が受け付けた自動応答情報を取得する。また、処理部２３は、例えば、手動応答情報と手動情報が同じ情報である場合、単に、受付部２５が受け付けた手動応答情報を取得する。

決定部２３１は、対話エンジン３を採用するか、管理端末４を採用するかを決定する。なお、対話エンジン３の採用とは、対話エンジン３の応答の採用であり、対話エンジン３の応答である自動応答情報に対する情報である自動情報をユーザ端末１に送信することである。また、管理端末４の採用とは、管理端末４からの応答の採用であり、管理端末４の応答である手動応答情報に対する情報である手動情報をユーザ端末１に送信することである。

決定部２３１は、例えば、モード格納部２１１のモード情報を取得する。そして、決定部２３１は、モード格納部２１１のモード情報に従って、対話エンジン３を採用するか、管理端末４を採用するかを決定する。このモード情報は、例えば、対話エンジン３を採用することを示す自動モード、または管理端末４を採用することを示す手動モードである。

なお、決定部２３１の上記決定の処理は、モード格納部２１１のモード情報の読み出しでも良い。

また、決定部２３１は、発話情報の出力先を決定しても良い。決定部２３１は、例えば、モード格納部２１１のモード情報に従って、発話情報の出力先を対話エンジン３とするか、管理端末４とするかを決定する。また、決定部２３１は、発話情報の出力先を、常に、対話エンジン３と管理端末４との両方にする、としても良い。
また、２以上の管理端末４が存在する場合、決定部２３１は、２以上の管理端末４のうちの一の管理端末４を決定しても良い。かかる場合、決定部２３１は、例えば、１以上の自動応答情報、１以上の手動応答情報、１以上の自動情報、１以上の手動情報のうちの１種類以上の情報を用いて、２以上の管理端末４のうちの一の管理端末４を決定する。つまり、決定部２３１は、例えば、１以上の自動応答情報、１以上の手動応答情報、１以上の自動情報、１以上の手動情報のうちの１種類以上の情報を用いて、ユーザの対話の話題を示す話題情報を取得し、当該話題情報に対応する管理端末識別子を格納部２１から取得する。なお、決定部２３１は、２以上の管理端末４のうち、ランダムに一の管理端末４を決定しても良い。また、決定部２３１は、２以上の管理端末４のうち、他のユーザ端末１と通信中でない一の管理端末４を決定しても良い。さらに、決定部２３１は、２以上の管理端末４のうち、単位期間における、ユーザ端末１との通信頻度が最も少ない一の管理端末４を決定する等しても良い。つまり、決定部２３１が一の管理端末４を決定するアルゴリズムは問わない。また、対話の文等の情報から、の話題を示す話題情報を取得する処理は、例えば、深層学習やＳＶＭ等の機械学習の技術等を用いることにより可能であり、公知技術であるので、詳細な説明を省略する。
なお、２以上の管理端末４が存在する場合、決定部２３１は、２以上の管理端末４のうちの２以上の管理端末４を決定しても良い。

判断部２３２は、予め決められた条件を満たすか否かを判断する。ここで、予め決められた条件とは、モード情報を変更するための条件である。モード情報を変更するための条件は、自動モードから手動モードに変更するための第一の条件、手動モードから自動モードに変更するための第二の条件がある。

第一の条件は、例えば、対話が破綻していることを特定するための条件、管理端末４からの指示を受け付けたこと、ユーザ端末１からの指示を受け付けたこと等である。対話が破綻していることを特定するための条件は、例えば、対話エンジン３からの応答である１または２以上の自動応答情報を用いて対話の破綻を検出するための条件、ユーザ端末１からの１または２以上のユーザ発話情報を用いて対話の破綻を検出するための条件、管理端末４からの入力に基づいて対話の破綻を検出するための条件である。対話が破綻していることを特定するための条件は、例えば、対話エンジン３からの応答である自動応答情報に予め決められた用語（例えば、「理解できなかった」「理解不能」）を含むこと、予め決められた用語を含む自動応答情報が予め決められた期間内に閾値以上または閾値より多い回数受け付けられたこと、受信された２以上の連続するユーザ発話情報が同一または閾値以上の類似度であること、ユーザ発話情報に予め決められた用語（例えば、「何言っているのか」「駄目だな」）を含むこと等である。また、管理端末４からの指示とは、例えば、モード情報を変更する指示、モード情報を指定する指示である。なお、対話の破綻とは、ユーザと対話エンジン３との対話の破綻である。また、予め決められた条件は、例えば、格納部２１に格納されている。

第二の条件は、例えば、管理端末４からの応答を閾値以上の回数受け付けたこと、管理端末４からの指示を受け付けたこと等である。

モード変更部２３３は、判断部２３２が予め決められた条件を満たすと判断した場合に、モード情報を変更する。モード情報の変更とは、通常、モード情報をモード格納部２１１に書き込むことである。モード変更部２３３は、変更指示に応じて、モード格納部２１１のモード情報を変更する。

出力部２４は、各種の情報を出力する。ここでの出力とは、通常、送信である。ただし、出力とは、情報が出力先に渡れば良い。

発話情報出力部２４１は、ユーザ発話情報に対応する情報である発話情報を、対話エンジン３または管理端末４のうちの少なくともどちらか一方に出力する。発話情報出力部２４１は、発話情報を、モード情報に関係なく、対話エンジン３および管理端末４に出力しても良い。ここで、発話情報は、ユーザ発話情報と同じ情報でも良い。また、発話情報は、ユーザ発話情報を音声認識し、得られたテキストでも良い。発話情報は、発話識別子が付加された情報であることは好適である。また、発話情報は、ユーザの音声および映像から構成される情報でも良い。また、発話情報は、ユーザ発話情報と同じ情報でも良い。

自動情報出力部２４２は、自動情報を管理端末４に出力する。自動情報出力部２４２は、自動応答受付部２５１が受け付けた自動応答情報に対応する自動情報を管理端末４に出力する。

手動情報出力部２４３は、手動情報を対話エンジン３に出力する。手動情報出力部２４３は、手動応答受付部２５２が受け付けた手動応答情報に対応する手動情報を管理端末４に出力する。

受付部２５は、各種の情報や指示等を受け付ける。ここでの受け付けとは、通常、受信である。但し、受け付けは、情報等を受け取れれば良い。

自動応答受付部２５１は、発話情報の対話エンジン３への出力に応じて、対話エンジン３からの応答である自動応答情報を受け付ける。自動応答受付部２５１は、例えば、対話エンジン３から自動応答情報を受信する。

手動応答受付部２５２は、発話情報の管理端末４への出力に応じて、管理端末４からの応答である手動応答情報を受け付ける。手動応答受付部２５２は、例えば、管理端末４から手動応答情報を受信する。
手動応答受付部２５２は、常時、管理端末４から手動応答情報を受け付けても良い。かかる場合、例えば、手動応答情報は、管理端末４で受け付けられているビデオ映像と音声である。

変更指示受付部２５３は、管理端末４からモードの変更の指示である変更指示を受け付ける。変更指示受付部２５３は、例えば、管理端末４から変更指示を受信する。この変更指示は、自動モードから手動モードへの変更でも良いし、手動モードから自動モードへの変更でも良い。
変更指示受付部２５３は、ユーザ端末１からモードの変更の指示である変更指示を受け付けても良い。変更指示受付部２５３は、例えば、ユーザ端末１から変更指示を受信する。

送信部２６は、各種の情報を送信する。各種の情報とは、例えば、手動情報、自動情報等である。

応答送信部２６１は、自動応答情報に対応する情報である自動情報または手動応答情報に対応する情報である手動情報をユーザ端末１に送信する。

応答送信部２６１は、決定部２３１の決定が対話エンジン３を採用するとの決定の場合は、自動情報をユーザ端末１に送信しても良い。また、応答送信部２６１は、決定部２３１の決定が管理端末４を採用するとの決定の場合は、手動情報をユーザ端末１に送信しても良い。ここで、自動情報は、自動応答情報と同じ情報でも良い。自動情報と自動応答情報の内容は、通常、同じである。自動情報は、例えば、自動応答情報を音声に変換した音声データである。手動情報は、手動応答情報と同じ情報でも良い。手動情報と手動応答情報の内容は、通常、同じである。手動情報は、例えば、手動応答情報を音声に変換した音声データである。手動情報は、例えば、管理端末４から送信されたビデオ会議の映像と音声データである。

対話エンジン３を構成する学習情報格納部３１１は、１または２以上の学習情報を格納している。なお、単に「学習情報」と言うときは、２以上の学習情報でも良い。また、学習情報とは、発話情報に対応する自動応答情報を取得するための情報である。学習情報は、例えば、発話情報と自動応答情報との組である。また、学習情報は、例えば、発話情報の文字列パターンと自動応答情報の文字列パターンとの組である。また、学習情報は、例えば、会話の状態遷移を示す情報（例えば、特許文献２参照）等でも良い。また、学習情報は、単語の辞書等を含んでも良い。なお、学習情報のデータ構造や内容は問わないことは言うまでもない。

発話受付部３２は、対話制御装置２から発話情報を受け付ける。発話受付部３２は、通常、対話制御装置２から発話情報を受信する。

応答取得部３３は、発話受付部３２が受け付けた発話情報に対応する応答である自動応答情報を、学習情報格納部３１１の学習情報を用いて取得する。なお、かかる応答取得部３３の処理は公知技術である。例えば、応答取得部３３は、発話受付部３２が受け付けた発話情報と対になる自動応答情報を学習情報格納部３１１から検索する。また、例えば、応答取得部３３は、発話受付部３２が受け付けた発話情報に合致する発話情報の文字列パターンを検知し、当該発話情報の文字列パターンと対になる自動応答情報の文字列パターンを取得し、当該自動応答情報の文字列パターンの変数部分に発話情報から抽出した単語または句を代入して、自動応答情報を構成する。

応答出力部３４は、応答取得部３３が取得した自動応答情報を対話制御装置２に出力する。ここでの出力は、通常、送信である。ただし、出力とは、対話制御装置２に自動応答情報が渡されれば良い。

学習受付部３５は、管理端末４からの応答である手動応答情報を受け付ける。ここでの手動応答情報の受け付けは、手動情報の受け付けでも良い趣旨である。

学習部３６は、学習受付部３５が受け付けた手動応答情報を用いて、学習処理を行う。学習処理は、例えば、手動応答情報を用いて、学習情報格納部３１１の学習情報に情報を付加することである。学習処理は、例えば、手動応答情報を用いて、学習情報格納部３１１の学習情報を変更することである。学習情報に情報を付加する処理は、学習情報格納部３１１に新しい学習情報を追記する処理を含む。

学習部３６は、例えば、手動応答情報と当該手動応答情報に対応する発話情報の組である学習情報を学習情報格納部３１１に追記する。

学習部３６は、例えば、手動応答情報と当該手動応答情報に対応する発話情報の組の情報から、状態遷移情報である学習情報に、当該発話情報の前の自動応答情報のノード（状態）の先の状態として、発話情報のノードを付加し、当該発話情報のノードに、手動応答情報のノードを付加する。

学習部３６は、例えば、手動応答情報から手動応答情報のパターンを構成し、かつ当該手動応答情報に対応する発話情報から発話情報のパターンを構成し、発話情報のパターンと応答のパターンとの組である学習情報を学習情報格納部３１１に追記する。なお、応答のパターンは、自動応答情報のパターンとなる。

学習部３６は、例えば、手動応答情報から手動応答情報のパターンを構成し、かつ当該手動応答情報に対応する発話情報から発話情報のパターンを構成し、当該パターンの組に合致する、発話情報のパターンと自動応答情報のパターンの組の出現頻度または出現確率を増加させるように、学習情報格納部３１１の学習情報を更新する。かかる場合、学習情報は、発話情報のパターンと自動応答情報のパターンの組、および出現頻度または出現確率を有する。
手動応答情報がビデオ会議機能を用いた管理者の応答である場合、学習部３６は、例えば、ユーザ端末１から送信されたユーザ発話情報が有するユーザの音声データを音声認識して取得した文の情報と、手動応答情報が有する音声データを音声認識して取得した文の情報とから学習情報を構成し、学習情報格納部３１１に追記する等しても良い。

なお、学習部３６は、例えば、発話情報に対応する発話識別子と手動応答情報に対応する発話識別子とが同一の、発話情報と手動応答情報とを用いて、上記の学習処理を行う。

また、学習部３６が行う手動応答情報を用いた学習処理は種々あり得る。手動応答情報を用いる点を除いて、学習部３６が行う学習処理は他の公知の学習処理のアルゴリズムを用いても良い。

管理端末４を構成する管理格納部４１は、各種の情報が格納される。各種の情報は、例えば、モード情報、発話情報、自動情報、手動応答情報等である。

管理情報受付部４２は、管理者からの手動応答情報を受け付ける。ここでの受け付けは、音声による受け付けでも良いし、キーボードやマウス等の入力手段からの受け付けでも良い。

管理情報受付部４２は、管理者からの手動応答情報を音声で受け付けることは好適である。また、管理情報受付部４２は、管理者からの手動応答情報をキーボード、マウス、タッチパネル、メニュー画面、ビデオカメラによるもの等から受け付けても良い。管理情報受付部４２は、一の手動応答情報を、音声で受け付けたり、キーボード等の入力手段により受け付けたりすることは好適である。つまり、管理情報受付部４２は、音声による受け付け手段と、キーボード、マウス、タッチパネル、またはメニュー画面等の入力手段との両方を具備し、一の手動応答情報をいずれかの手段により受け付けることは好適である。また、手動応答情報は、ビデオ会議機能を用いて取得された映像と音声データでも良い。

管理情報受付部４２は、自動情報を対話制御装置２から受け付ける。また、管理情報受付部４２は、発話情報を対話制御装置２から受け付ける。なお、ここでの受け付けは、通常、受信であるが、情報が管理端末４に渡る処理であれば良い。

管理処理部４３は、各種の処理を行う。各種の処理とは、例えば、管理情報受付部４２が受け付けた自動情報または発話情報を出力するデータ構造にしたり、かかる情報の出力画面を構成したりする処理である。

管理者出力部４４は、各種の情報を出力する。各種の情報とは、例えば、自動情報、自動情報を含む画面、発話情報等である。また、かかる出力は、管理者に向けての出力である。また、出力は、音声出力でも、テキストや画像等での出力でも良い。テキストや画像等での出力は、通常、ディスプレイへの出力である。

管理指示受付部４５は、管理者から各種の指示を受け付ける。各種の指示とは、例えば、モードの変更の指示である変更指示等である。

管理出力部４６は、各種の情報や指示を対話制御装置２に出力する。各種の情報や指示は、例えば、変更指示、モード情報等である。なお、ここでの出力は、通常、送信であるが、情報等が対話制御装置２に渡れば良い。

ユーザ処理部１２、処理部２３、決定部２３１、判断部２３２、モード変更部２３３、応答取得部３３、学習部３６、および管理処理部４３は、通常、ＭＰＵやメモリ等から実現され得る。ユーザ処理部１２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

ユーザ送信部１３、出力部２４、発話情報出力部２４１、自動情報出力部２４２、手動情報出力部２４３、送信部２６、応答送信部２６１、応答出力部３４、および管理出力部４６は、通常、無線または有線の通信手段で実現されるが、放送手段で実現されても良い。

なお、出力部２４、発話情報出力部２４１、自動情報出力部２４２、手動情報出力部２４３、応答出力部３４は、情報を出力する出力手段で実現されても良い。ここでの情報の出力とは、例えば、プログラムによる情報の引き渡しである。

ユーザ受信部１４、受信部２２、受付部２５、自動応答受付部２５１、手動応答受付部２５２、変更指示受付部２５３、発話受付部３２、学習受付部３５、および管理情報受付部４２は、通常、無線または有線の通信手段で実現されるが、放送を受信する手段で実現されても良い。

なお、受付部２５、自動応答受付部２５１、手動応答受付部２５２、変更指示受付部２５３、発話受付部３２、学習受付部３５は、情報を受け付ける受付手段で実現されても良い。ここでの情報の受け付けとは、例えば、プログラムによる情報の引き渡しである。

ユーザ出力部１５は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。ユーザ出力部１５は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

格納部２１、モード格納部２１１、学習情報格納部３１１、および管理格納部４１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。

格納部２１等に情報が記憶される過程は問わない。例えば、記録媒体を介して情報が格納部２１等で記憶されるようになってもよく、通信回線等を介して送信された情報が格納部２１等で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された情報が格納部２１等で記憶されるようになってもよい。

次に、対話システムＡの動作について説明する。まず、ユーザ端末１の動作例について説明する。

ユーザ端末１のユーザ受付部１１は、ユーザからの発話を受け付ける。次に、ユーザ処理部１２は、ユーザ受付部１１が受け付けた発話から、当該発話に対応するユーザ発話情報を取得する。ここで、ユーザ処理部１２は、例えば、音声である発話を音声認識し、テキストであるユーザ発話情報を取得する。次に、ユーザ送信部１３は、ユーザ処理部１２が取得したユーザ発話情報を対話制御装置２に送信する。次に、ユーザ発話情報の送信に応じて、ユーザ受信部１４は、自動情報または手動情報を受信する。なお、自動情報または手動情報は、ユーザの発話に対する応答の情報である。次に、ユーザ出力部１５は、ユーザ受信部１４が受信した自動情報または手動情報を出力する。以上の処理を繰り返す、ユーザと対話エンジン３または管理者との対話が継続される。なお、自動情報または手動情報がテキストの場合、ユーザ出力部１５は、当該テキストを音声合成し、音声出力しても良い。また、ユーザの指示等により、対話は終了する。
なお、ユーザ端末１は、対話制御装置２からの指示により、ビデオ会議機能を起動しても良い。かかる場合は、モードが手動モードに変更された場合である。そして、ビデオ会議機能が起動された後、ユーザ受付部１１は、ユーザからの発話と映像とを受け付ける。そして、ユーザ処理部１２は、発話に対応する情報であり、ユーザからの発話の内容、および映像を含むユーザ発話情報を取得する。次に、ユーザ送信部１３は、ユーザ処理部１２が取得したユーザ発話情報を対話制御装置２に送信する。そして、ユーザ受信部１４は、管理端末４から送信された情報であり、管理者の発話に関する情報と映像とを含む手動情報を受信する。そして、ユーザ出力部１５は、ユーザ受信部１４が受信した手動情報を出力する。なお、モードが手動モードから自動モードに変更された場合、ビデオ会議機能が停止され、上述した対話エンジン３との対話に移行しても良い。

次に、対話制御装置２の動作について、図４のフローチャートを用いて説明する。

（ステップＳ４０１）受信部２２は、ユーザ発話情報をユーザ端末１から受信したか否かを判断する。ユーザ発話情報を受信した場合はステップＳ４０２に行き、受信しない場合はステップＳ４１９に行く。

（ステップＳ４０２）処理部２３は、ユーザ発話情報から発話情報を取得する。

（ステップＳ４０３）決定部２３１は、発話情報の出力先を決定する。特に、決定部２３１は、例えば、モード格納部２１１のモード情報に従って、出力先を対話エンジン３とするか、管理端末４とするかを決定する。なお、決定部２３１は、発話情報の出力先を、常に、対話エンジン３と管理端末４との両方にする、としても良い。また、決定部２３１は、モード情報が手動モードを示す情報である場合、２以上の管理端末４のうちの１以上の管理端末４を決定しても良い。

（ステップＳ４０４）発話情報出力部２４１は、ステップＳ４０３で決定された出力先に、ステップＳ４０２で取得された発話情報を出力する。

（ステップＳ４０５）受付部２５は、発話情報の出力に応じて、自動応答情報または手動応答情報を受け付けたか否かを判断する。受付部２５がかかる情報を受け付けた場合はステップＳ４０６に行き、情報を受け付けない場合はステップＳ４０５に戻る。なお、受付部２５は、自動応答情報および手動応答情報の両方を受け付けても良い。なお、受付部２５は、発話情報の出力に応じるのではなく、常に、手動応答情報を受け付けていても良い。

（ステップＳ４０６）処理部２３は、ステップＳ４０５で受け付けられた自動応答情報または手動応答情報から、自動情報または手動情報を取得する。なお、ステップＳ４０５で、自動応答情報および手動応答情報の両方が受け付けられた場合、処理部２３は、自動応答情報および動応答情報から、自動情報および手動情報を取得する。

（ステップＳ４０７）処理部２３は、自動情報を管理端末４に出力するか否かを判断する。管理端末４に出力する場合はステップＳ４０８に行き、出力しない場合はステップＳ４０９に行く。なお、例えば、自動情報を管理端末４に出力するか否かを示すフラグが格納部２１で管理されており、処理部２３は、かかるフラグを格納部２１から読み出し、判断する。また、処理部２３は、常に、自動情報を管理端末４に出力しても良いし、常に、自動情報を管理端末４に出力しなくても良い。

（ステップＳ４０８）自動情報出力部２４２は、ステップＳ４０６で取得された自動情報を管理端末４に出力する。

（ステップＳ４０９）処理部２３は、手動情報を対話エンジン３に出力するか否かを判断する。対話エンジン３に出力する場合はステップＳ４１０に行き、出力しない場合はステップＳ４１１に行く。なお、例えば、手動情報を対話エンジン３に出力するか否かを示すフラグが格納部２１で管理されており、処理部２３は、かかるフラグを格納部２１から読み出し、判断する。また、処理部２３は、常に、手動情報を対話エンジン３に出力しても良いし、常に、手動情報を対話エンジン３に出力しなくても良い。

（ステップＳ４１０）手動情報出力部２４３は、ステップＳ４０６で取得された手動情報を対話エンジン３に出力する。

（ステップＳ４１１）決定部２３１は、対話エンジン３を採用するか、管理端末４を採用するかを決定する。そして、決定部２３１は、対話エンジン３を採用するとの判断である場合は自動情報を取得し、管理端末４を採用するとの判断である場合は手動情報を取得する。

（ステップＳ４１２）応答送信部２６１は、ステップＳ４１１で取得された自動情報または手動情報をユーザ端末１に送信する。

（ステップＳ４１３）判断部２３２は、モード情報を変更するための条件を満たすか否かを判断する。

（ステップＳ４１４）ステップＳ４１３における判断結果が、条件を満たすとの判断結果である場合はステップＳ４１５に行き、条件を満たさないとの判断結果である場合はステップＳ４１６に行く。

（ステップＳ４１５）モード変更部２３３は、モード格納部２１１のモード情報を変更する。ステップＳ４０１に戻る。

（ステップＳ４１６）処理部２３は、ステップＳ４１５における変更が、手動モードへの変更であるか否かを判断する。手動モードへの変更である場合はステップＳ４１７に行き、手動モードへの変更でない場合はステップＳ４１８に行く。

（ステップＳ４１７）出力部２４は、最新の発話情報を管理端末４に出力する。ステップＳ４０５に戻る。

（ステップＳ４１８）出力部２４は、最新の発話情報を対話エンジン３に出力する。ステップＳ４０５に戻る。

（ステップＳ４１９）変更指示受付部２５３は、管理端末４またはユーザ端末１から変更指示を受け付けたか否かを判断する。変更指示を受け付けた場合はステップＳ４２０に行き、変更指示を受け付けない場合はステップＳ４０１に戻る。

（ステップＳ４２０）モード変更部２３３は、モード格納部２１１のモード情報を変更する。ステップＳ４０１に戻る。

なお、図４のフローチャートにおいて、ステップＳ４１３の判断部２３２の判断処理のタイミングは問わない。

また、図４のフローチャートにおいて、自動情報や手動情報の送信の順序や、送信するか否かの判断の順序等の各種の処理の順序は問わないことは言うまでもない。

また、図４のフローチャートにおいて、ステップＳ４０５で自動応答情報を受け付けない場合、自動情報は出力されない。また、ステップＳ４０５で手動応答情報を受け付けない場合、手動情報は出力されない。

さらに、図４のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

次に、対話エンジン３の動作について、図５のフローチャートを用いて説明する。

（ステップＳ５０１）発話受付部３２は、対話制御装置２から発話情報を受け付けたか否かを判断する。発話情報を受け付けた場合はステップＳ５０２に行き、発話情報を受け付けない場合はステップＳ５０４に行く。

（ステップＳ５０２）応答取得部３３は、ステップＳ５０１で受け付けられた発話情報に対応する自動応答情報を、学習情報格納部３１１の学習情報を用いて取得する。

（ステップＳ５０３）応答出力部３４は、応答取得部３３が取得した自動応答情報を対話制御装置２に出力する。

（ステップＳ５０４）学習受付部３５は、学習対象の手動応答情報を受け付けたか否かを判断する。手動応答情報を受け付けた場合はステップＳ５０５に行き、手動応答情報を受け付けない場合はステップＳ５０１に戻る。

（ステップＳ５０５）学習部３６は、学習受付部３５が受け付けた手動応答情報を用いて、学習情報に、追記する情報を構成する。

（ステップＳ５０６）学習部３６は、ステップＳ５０５で構成した情報を学習情報格納部３１１に追記する。ステップＳ５０１に戻る。

なお、図５のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

次に、管理端末４の動作について、図６のフローチャートを用いて説明する。

（ステップＳ６０１）管理情報受付部４２は、発話情報を対話制御装置２から受け付けたか否かを判断する。発話情報を受け付けた場合はステップＳ６０２に行き、受け付けない場合はステップＳ６０６に行く。

（ステップＳ６０２）管理者出力部４４は、ステップＳ６０１で受け付けられた発話情報を、または管理処理部４３により出力用に構成された発話情報を出力する。

（ステップＳ６０３）管理処理部４３は、発話情報の出力に対応した手動応答情報を出力するか否かを判断する。手動応答情報を出力する場合はステップＳ６０４に行き、手動応答情報を出力しない場合はステップＳ６０１に戻る。なお、手動応答情報を出力する場合は、モード情報が手動モードの場合である。なお、例えば、管理格納部４１のモード情報が「手動モード」である場合、管理処理部４３は、手動応答情報を出力すると判断する。

（ステップＳ６０４）管理情報受付部４２は、手動応答情報を受け付けたか否かを判断する。手動応答情報を受け付けた場合はステップＳ６０５に行き、手動応答情報を受け付けない場合はステップＳ６０４に戻る。

（ステップＳ６０５）管理者出力部４４は、ステップＳ６０４で受け付けられた手動応答情報を対話制御装置２に出力する。ステップＳ６０１に戻る。

（ステップＳ６０６）管理情報受付部４２は、自動情報を対話制御装置２から受け付けたか否かを判断する。自動情報を受け付けた場合はステップＳ６０７に行き、受け付けない場合はステップＳ６０８に行く。

（ステップＳ６０７）管理者出力部４４は、ステップＳ６０６で受け付けられた自動情報を、または管理処理部４３により出力用に構成された自動情報を出力する。ステップＳ６０１に戻る。

（ステップＳ６０８）管理指示受付部４５は、管理者からモードの変更指示を受け付けたか否かを判断する。変更指示を受け付けた場合はステップＳ６０９に行き、変更指示を受け付けない場合はステップＳ６０１に戻る。

（ステップＳ６０９）管理出力部４６は、ステップＳ６０８で受け付けられた変更指示を対話制御装置２に出力する。ステップＳ６０１に戻る。

なお、図６のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
また、管理端末４がビデオ会議機能を有する場合、管理端末４が手動モードへの変更指示等の指示を対話制御装置２から受信することにより、ビデオ会議機能を起動し、ユーザ端末１とのビデオ会議が開始されても良い。そして、かかる場合、自動モードへの変更指示等の指示を対話制御装置２から受信することにより、管理端末４は、ビデオ会議機能を終了しても良い。

以下、本実施の形態における対話システムＡの具体的な動作について説明する。

今、対話制御装置２の格納部２１は、対話が破綻していることを特定するための条件を示す情報である破綻判断条件管理表が格納されている、とする（図７参照）。破綻判断条件管理表は、「ＩＤ」「破綻条件」を有するレコードを１以上管理している。「破綻条件」は、「情報」「条件」を有する。「ＩＤ」は、レコードを識別する情報である。「情報」は、対話の破綻を判断するために使用する情報である。「情報」は、ユーザ発話情報または自動応答情報である。なお、ユーザ発話情報の代わりに発話情報であっても良いし、自動応答情報の代わりに自動情報でも良い。また、「条件」は、対話の破綻を判断するための条件である。「ＩＤ＝１」の条件は、類似度が９０％以上のユーザ発話情報が連続して受け付けられることである。なお、ユーザ発話情報の類似度の算出の処理は、例えば、文の類似度の算出と同一の処理であり、公知技術であるので詳細な説明を省略する。「ＩＤ＝２」の条件は、類似度が９０％以上のユーザ発話情報が、連続して受け付けられる４つのユーザ発話情報の中で、３以上存在することである。「ＩＤ＝３」の条件は、連続して受け付けられる４つの自動応答情報の中で、破綻用語を含む自動応答情報が２以上存在することである。「ＩＤ＝４」の条件は、会話不成立を示す情報を含む自動応答情報が受け付けられたことである。なお、破綻用語は、ここでは、例えば、「理解できなかった」「理解不能」である、とする。また、会話不成立を示す情報は、例えば、自動応答情報に含まれ得るスコア「０」である、とする。さらに、例えば、モード格納部２１１のデフォルトのモード情報は「自動モード」である、とする。

また、対話エンジン３を構成する学習情報格納部３１１は、図８に示す学習情報管理表を格納している、とする。学習情報管理表は、「ＩＤ」「学習情報」を有する１以上のレコードを管理している。「ＩＤ」はレコードを識別する情報である。「学習情報」は「発話情報」と「自動応答情報」との対である。「発話情報」「自動応答情報」は、定数（固定的な文字列）でも良いし、変数を有する情報でも良い。また、「自動応答情報」は、プログラムや検索式（ここでは、例えば、ＳＱＬ文であるが、他の形式でも構わない）などの実行可能な情報でも良い。学習情報の中の｛｝は変数を示し、学習情報の中の＊は０文字以上の文字を示す。また、自動応答情報の中の＄は変数であり、学習情報格納部３１１に値が保持されている。なお、「＄営業日」の値は、ここでは「日曜日、火曜日、水曜日、木曜日、金曜日、土曜日」である、とする。また、自動応答情報の中の「ｉｎｃｌｕｄｅ」は、含まれるか否かの論理演算子である、とする。つまり、「｛ｔｉｍｅＥｘｐｒｅｓｓｉｏｎ｝ ｉｎｃｌｕｄｅ ＄営業日」は、変数「ｔｉｍｅＥｘｐｒｅｓｓｉｏｎ」の情報が変数「営業日」の中に含まれるか否かを判断することを示す。そして、含まれる場合は真「１」を、含まれない場合は偽「０」を返す、とする。

また、学習情報格納部３１１は、図９に示すＦｏｏｄｔａｂｌｅを格納している、とする。Ｆｏｏｄｔａｂｌｅは、「ＩＤ」「料理」「作り方」を有するレコードを１以上格納している。

さらに、学習情報格納部３１１は、料理名を格納しているｆｏｏｄ辞書、作物名を格納しているｃｒｏｐｓ辞書を有する、とする。ｆｏｏｄ辞書には、「カツ丼、牛丼、親子丼、・・・」等の多数の料理名が格納されている。また、ｃｒｏｐｓ辞書には、「お米、ナス、にんじん、・・・」等の多数の作物名が格納されている。

かかる状況において、以下の５つの具体例について説明する。具体例１は、対話制御装置２が対話の破綻を自動検知して、モード情報が自動モードから手動モードに自動的に切り替わる場合である。また、具体例１において、自動で手動モードから自動モードに切り替える処理についても説明する。また、具体例２は、管理者が手動で、モード情報を自動モードから手動モードに切り替える場合である。また、具体例２において、管理者が手動で、モード情報を手動モードから自動モードに切り替える場合についても説明する。また、具体例３は、管理者が入力した手動応答情報を用いて、対話エンジン３が学習を行う場合である。また、具体例４は、モード情報が自動モードから手動モードに自動的に切り替わった場合に、ユーザ端末１と管理端末４との間で、ビデオ会議機能を用いた対話が行われる場合である。さらに、具体例５は、モード情報が自動モードから手動モードに自動的に切り替わった場合に、過去の対話の内容から話題を抽出し、話題に応じた管理端末４を選択し、ユーザ端末１と選択された管理端末４との間で、ビデオ会議機能を用いた対話が行われる場合である。

（具体例１）
今、ユーザは、ユーザ端末１に対して、「おはよう」と音声入力した、とする。すると、ユーザ端末１のユーザ受付部１１は、ユーザからの発話「おはよう」を受け付ける。次に、ユーザ処理部１２は、ユーザの音声入力に対して音声認識し、ユーザ発話情報「おはよう」を取得する。次に、ユーザ送信部１３は、ユーザ発話情報「おはよう」を対話制御装置２に送信する。

次に、対話制御装置２の受信部２２は、ユーザ発話情報「おはよう」をユーザ端末１から受信する。

そして、処理部２３は、ユーザ発話情報「おはよう」から発話情報「１：おはよう」を取得する。つまり、処理部２３は、格納されている発話識別子「０」（発話識別子の初期値である、とする）をインクリメントし、ユニークな発話識別子「１」を生成する。そして、処理部２３は、ユーザ発話情報に発話識別子「１」を付加し、発話情報「１：おはよう」を構成する。

次に、決定部２３１は、モード情報「自動モード」をモード格納部２１１から取得し、発話情報の出力先を「対話エンジン３」と決定する。

次に、発話情報出力部２４１は、対話エンジン３に発話情報「１：おはよう」を送信する。

次に、対話エンジン３の発話受付部３２は、対話制御装置２から発話情報「１：おはよう」を受信する。

次に、応答取得部３３は、発話情報が有する「おはよう」と対になる自動応答情報「おはようございます」を図８の学習情報管理表から取得する。なお、ここで、応答取得部３３は、発話識別子「１」を付加した自動応答情報「１：おはようございます」を取得することは好適である。

次に、応答出力部３４は、応答取得部３３が取得した自動応答情報「１：おはようございます」を対話制御装置２に送信する。なお、送信される自動応答情報は、「おはようございます」でも良い。

次に、対話制御装置２の自動応答受付部２５１は、自動応答情報「１：おはようございます」を対話エンジン３から受信する。

次に、処理部２３は、自動応答情報から、自動情報「おはようございます」を取得する。次に、決定部２３１は、モード情報「自動モード」から対話エンジン３を採用すると決定する。そして、応答送信部２６１は、自動情報「おはようございます」をユーザ端末１に送信する。なお、処理部２３は、自動情報を管理端末４に出力しない、と判断する。

次に、ユーザ端末１のユーザ受信部１４は、自動情報「おはようございます」を受信する。そして、ユーザ出力部１５は、自動情報「おはようございます」を音声出力する。

次に、ユーザは、ユーザ端末１に対して、「来週の木曜日は営業していますか？」と音声入力した、とする。すると、ユーザ端末１のユーザ受付部１１は、ユーザからの発話「来週の木曜日は営業していますか？」を受け付ける。次に、ユーザ処理部１２は、ユーザの音声入力に対して音声認識し、ユーザ発話情報「来週の木曜日は営業していますか？」を取得する。次に、ユーザ送信部１３は、当該ユーザ発話情報を対話制御装置２に送信する。

次に、対話制御装置２の受信部２２は、ユーザ発話情報「来週の木曜日は営業していますか？」をユーザ端末１から受信する。

そして、処理部２３は、当該ユーザ発話情報から発話情報「２：来週の木曜日は営業していますか？」を取得する。つまり、処理部２３は、格納されている発話識別子「１」をインクリメントし、ユニークな発話識別子「２」を生成する。そして、処理部２３は、ユーザ発話情報に発話識別子「２」を付加し、発話情報「２：来週の木曜日は営業していますか？」を構成する。

次に、決定部２３１は、モード情報から発話情報の出力先を「対話エンジン３」と決定する。

次に、発話情報出力部２４１は、対話エンジン３に発話情報「２：来週の木曜日は営業していますか？」を送信する。

次に、対話エンジン３の発話受付部３２は、対話制御装置２から発話情報「２：来週の木曜日は営業していますか？」を受信する。

次に、応答取得部３３は、発話情報が有する「来週の木曜日は営業していますか？」が、図８の学習情報管理表の中の発話情報のパターン「｛ｔｉｍｅＥｘｐｒｅｓｓｉｏｎ｝＊営業していますか？＊」に合致することを検出する。なお、かかる発話情報のパターンは、図８の学習情報管理表の「ＩＤ＝３」の情報である。

次に、応答取得部３３は、「ＩＤ＝３」の自動応答情報を取得する。そして、応答取得部３３は、当該自動応答情報の｛ｔｉｍｅＥｘｐｒｅｓｓｉｏｎ｝に対して「来週の木曜日」を代入し、「＄営業日」の値「日曜日、火曜日、水曜日、木曜日、金曜日、土曜日」から、来週の木曜日が営業日に含まれる（つまり、自動応答情報の実行結果「真」）、と判断する。なお、応答取得部３３は、「来週の木曜日」から曜日を示す「木曜日」を抽出し、「＄営業日」の値に含まれる、と判断する。

次に、応答取得部３３は、自動応答情報のパターン"はい。｛ｔｉｍｅＥｘｐｒｅｓｓｉｏｎ｝は営業しております"を取得する。次に、応答取得部３３は、自動応答情報のパターンの｛ｔｉｍｅＥｘｐｒｅｓｓｉｏｎ｝に対して「来週の木曜日」を代入し、自動応答情報「来週の木曜日は営業しております」を取得する。そして、応答送信部２６１は、自動応答情報「２：来週の木曜日は営業しております」をユーザ端末１に送信する。

次に、対話制御装置２の自動応答受付部２５１は、自動応答情報「２：来週の木曜日は営業しております」を対話エンジン３から受信する。

次に、処理部２３は、自動応答情報から、自動情報「来週の木曜日は営業しております」を取得する。次に、決定部２３１は、モード情報「自動モード」から対話エンジン３を採用すると決定する。そして、応答送信部２６１は、自動情報「来週の木曜日は営業しております」をユーザ端末１に送信する。

次に、ユーザ端末１のユーザ受信部１４は、自動情報「来週の木曜日は営業しております」を受信する。そして、ユーザ出力部１５は、自動情報「来週の木曜日は営業しております」を音声出力する。

以上のように、ユーザと対話エンジン３との対話の動作が繰り返し行われた、とする。そして、対話エンジン３から送信された自動応答情報の中に「理解不能」を含む情報が、２回連続して、対話制御装置２に送信された、とする。なお、対話エンジン３は、受け付けた発話情報に対応する自動応答情報を取得することができなかった場合、「理解不能」を含む自動応答情報を構成し、送信する、とする。また、２回目の「理解不能」を含む自動応答情報に対応するユーザ発話情報は「来週の木曜日のお席の予約は可能ですか？」であった、とする。

そして、対話制御装置２の自動応答受付部２５１が、２度目の「理解不能」を含む自動応答情報を対話エンジン３から受信した、とする。なお、処理部２３は、受信された自動応答情報やユーザ発話情報や手動応答情報等のログを格納部２１に蓄積することは好適である。または、処理部２３は、１度目の「理解不能」を含む自動応答情報を対話エンジン３から受信した際に、当該自動応答情報を格納部２１に蓄積しても良い。

次に、判断部２３２は、２回の連続した「理解不能」を含む自動応答情報が、図７の「ＩＤ＝３」の破綻条件に合致する、と判断する。

次に、モード変更部２３３は、モード格納部２１１のモード情報「自動モード」から「手動モード」に変更する。

次に、処理部２３は、手動モードへの変更である、と判断する。そして、出力部２４は、最新の発話情報「１２：来週の木曜日のお席の予約は可能ですか？」を管理端末４に出力する。なお、「１２」は発話識別子である。

次に、管理端末４の管理情報受付部４２は、発話情報「１２：来週の木曜日のお席の予約は可能ですか？」を対話制御装置２から受信する。

次に、管理者出力部４４は、発話情報のうちの発話内容「来週の木曜日のお席の予約は可能ですか？」を出力する。かかる出力例は、図１０である。図１０において、１００１に発話情報のうちの発話内容が表示されている。

次に、管理者は、図１０の１００２の「Ｙｅｓ」ボタンを押下した、とする。すると、管理情報受付部４２は、「Ｙｅｓ」ボタンの押下を検知し、「Ｙｅｓ」ボタンに対応づけて格納されている手動応答情報「はい。」を、図１１の手動応答情報管理表から取得する。なお、管理格納部４１には、図１０の画面上のボタンに対応する手動応答情報が管理されている。かかる手動応答情報管理表は、図１１である。図１１は、「ＩＤ」「ボタン」「手動応答情報」を有するレコードが管理されている。「ボタン」の各属性値は、図１０のボタンに対応する。次に、管理者出力部４４は、手動応答情報「はい。」を対話制御装置２に送信する。

なお、ここで、管理者は、図１０の画面内のボタンを押下せずに、または図１０の１００３の「音声入力」ボタンを押下した後、「はい。来週の木曜日は、４名様までご予約可能です。」などと、音声入力しても良い。かかる場合、対話制御装置２の管理情報受付部４２は、音声データ「はい。来週の木曜日は、４名様までご予約可能です。」を受け付け、当該音声データを音声認識し、テキストの手動応答情報「はい。来週の木曜日は、４名様までご予約可能です。」を得る。そして、管理者出力部４４は、当該手動応答情報を対話制御装置２に送信する。なお、管理情報受付部４２は、デフォルトで、音声を受け付けても良い。

次に、対話制御装置２の手動情報受付部２５２は、手動応答情報「はい。来週の木曜日は、４名様までご予約可能です。」を受け付ける。そして、処理部２３は、当該手動応答情報を手動情報として取得する。

そして、モード情報が「手動モード」なので、応答送信部２６１は手動情報「はい。来週の木曜日は、４名様までご予約可能です。」をユーザ端末１に送信する。

次に、ユーザ端末１のユーザ受信部１４は、当該手動情報を受信する。次に、ユーザ出力部１５は、手動情報「はい。来週の木曜日は、４名様までご予約可能です。」を音声出力する。

以上の処理により、対話の破綻を自動検知し、自動モードから手動モードの自動切り替えを行うことにより、対話の継続が可能となる。

また、手動モードの状態で、閾値以上の回数の対話（手動応答情報の受信）が行われた場合、判断部２３２は、「手動モード」から「自動モード」にモード情報を変更する、と判断するとする。そして、モード変更部２３３は、モード格納部２１１のモード情報を「手動モード」から「自動モード」に変更する。

以後、上記で説明したような「自動モード」での対話処理が継続される。なお、ユーザ端末１において、図１２に示すようにキャラクタがお話しているように、自動情報または手動情報を音声出力することは好適である。

（具体例２）
今、ユーザは、ユーザ端末１に対して、「牛丼の作り方を教えて」と音声入力した、とする。すると、ユーザ端末１のユーザ受付部１１は、ユーザからの発話「牛丼の作り方を教えて」を受け付ける。次に、ユーザ処理部１２は、ユーザの音声入力に対して音声認識し、ユーザ発話情報「牛丼の作り方を教えて」を取得する。次に、ユーザ送信部１３は当該ユーザ発話情報を対話制御装置２に送信する。

次に、対話制御装置２の受信部２２は、ユーザ発話情報「牛丼の作り方を教えて」をユーザ端末１から受信する。

そして、処理部２３は、当該ユーザ発話情報から発話情報「１：牛丼の作り方を教えて」を取得する。発話情報の「１」は発話識別子である。

次に、決定部２３１は、発話情報の出力先を対話エンジン３および管理端末４と決定する。なお、本具体例において、発話情報の出力先は、常に、対話エンジン３および管理端末４である、とする。

次に、発話情報出力部２４１は、発話情報「１：牛丼の作り方を教えて」を、対話エンジン３および管理端末４に送信する。

そして、管理端末４は、発話情報「１：牛丼の作り方を教えて」を受信し、発話情報に含まれる「牛丼の作り方を教えて」を出力する。

次に、対話エンジン３の発話受付部３２は、対話制御装置２から発話情報「１：牛丼の作り方を教えて」を受信する。

次に、応答取得部３３は、発話情報が有する「牛丼の作り方を教えて」を形態素解析する。そして、応答取得部３３は、取得した形態素「牛丼」をキーとして、辞書を検索し、「牛丼」は｛ｆｏｏｄ｝に含まれることを検出する。次に、応答取得部３３は、「牛丼の作り方を教えて」が図８の学習情報管理表の「ＩＤ＝４」の発話情報に合致することを検出する。そして、応答取得部３３は、「ＩＤ＝４」の自動応答情報を取得し、当該自動応答情報を実行し、図９のＦｏｏｄｔａｂｌｅから料理「牛丼」に対応する作り方「４人前の材料をご紹介します。・・・」を取得する。そして、応答出力部３４は、応答取得部３３が取得した自動応答情報「１：４人前の材料をご紹介します。・・・」を対話制御装置２に送信する。

次に、対話制御装置２の受付部２５は、当該自動応答情報を受け付ける。そして、処理部２３は、当該答情報から、自動情報「４人前の材料をご紹介します。・・・」を取得する。なお、ここでは、自動応答情報と自動情報が同じでも良い。

次に、処理部２３は、自動情報を管理端末４に出力する、と判断する。そして、自動情報出力部２４２は、自動情報「４人前の材料をご紹介します。・・・」を管理端末４に出力する。

次に、決定部２３１は、モード情報「自動モード」から対話エンジン３を採用する、と判断する。そして、応答送信部２６１は、取得された自動情報「４人前の材料をご紹介します。・・・」をユーザ端末１に送信する。

次に、ユーザ端末１のユーザ受信部１４は、自動情報「４人前の材料をご紹介します。・・・」を受信する。そして、ユーザ出力部１５は、当該自動情報を出力する。

次に、ユーザは、ユーザ端末１に対して、「粉末うどんスープはどちらのスープがお勧めですか？」と音声入力した、とする。すると、ユーザ端末１のユーザ受付部１１は、当該ユーザの音声入力を受け付ける。次に、ユーザ処理部１２は、ユーザの音声入力に対して音声認識し、ユーザ発話情報「粉末うどんスープはどちらのスープがお勧めですか？」を取得する。次に、ユーザ送信部１３は、当該ユーザ発話情報を対話制御装置２に送信する。

次に、対話制御装置２の受信部２２は、当該ユーザ発話情報をユーザ端末１から受信する。

そして、処理部２３は、当該ユーザ発話情報から発話情報「２：粉末うどんスープはどちらのスープがお勧めですか？」を取得する。

次に、決定部２３１は、発話情報の出力先を対話エンジン３および管理端末４と決定する。そして、発話情報出力部２４１は、発話情報「２：粉末うどんスープはどちらのスープがお勧めですか？」を、対話エンジン３および管理端末４に送信する。

次に、対話エンジン３は、当該発話情報を受信し、当該発話情報に対応する自動応答情報を取得し、対話制御装置２に送信する。なお、ここでの自動応答情報は、例えば、「理解できない」旨の情報を含む、とする。

また、管理端末４は、当該発話情報を受信し、発話情報に含まれる「粉末うどんスープはどちらのスープがお勧めですか？」を出力する。

そして、この出力を見た管理者は、対話エンジン３には答えられないと判断し、管理端末４にモード情報の変更指示を入力した、とする。そして、管理者は、「粉末うどんスープはＡ社のスープがお勧めです。」と音声入力した、とする。

次に、管理指示受付部４５は、管理者からモードの変更指示（自動モードから手動モードへの変更指示）を受け付ける。そして、管理出力部４６は、かかる変更指示を対話制御装置２に出力する。

また、管理情報受付部４２は、音声データ「粉末うどんスープはＡ社のスープがお勧めです。」を受け付け、当該音声データを音声認識し、テキストに変更する。次に、管理者出力部４４は、テキストの手動応答情報「２：粉末うどんスープはＡ社のスープがお勧めです。」を対話制御装置２に送信する。

次に、対話制御装置２の変更指示受付部２５３は、管理端末４から変更指示を受信する。モード変更部２３３は、モード格納部２１１のモード情報を、手動モードに変更する。

また、手動応答受付部２５２は、管理端末４から手動応答情報を受信する。処理部２３は、受信された自動応答情報および手動応答情報から、自動情報および手動情報を取得する。

次に、決定部２３１は、モード情報「手動モード」から管理端末４を採用する、と決定する。

そして、応答送信部２６１は、取得された手動情報「粉末うどんスープはＡ社のスープがお勧めです。」をユーザ端末１に送信する。

次に、ユーザ端末１は、手動情報「粉末うどんスープはＡ社のスープがお勧めです。」を受信し、出力する。

以上の処理により、管理者が適切に対話に介在し、効果的で継続的な対話を行える。なお、本具体例において、管理者が「自動モード」にモード情報を変更する指示を入力した後、「自動モード」で対話を行うことができる。

（具体例３）
具体例２において、対話制御装置２の手動応答受付部２５２が管理端末４から手動応答情報「２：粉末うどんスープはＡ社のスープがお勧めです。」を受信した後、処理部２３は、手動応答情報を対話エンジン３に送信する、と判断する。

そして、手動情報出力部２４３は、かかる手動応答情報を対話エンジン３に送信する。なお、ここで、手動情報出力部２４３は、手動情報を対話エンジン３に送信しても良い。

次に、対話エンジン３の学習受付部３５は、手動応答情報「２：粉末うどんスープはＡ社のスープがお勧めです。」を受信する。

次に、学習部３６は、学習受付部３５が受け付けた手動応答情報を用いて、学習情報に、追記する情報を構成する。つまり、学習部３６は、手動応答情報「２：粉末うどんスープはＡ社のスープがお勧めです。」が有する発話識別子「２」に対応する発話情報を取得する。そして、発話識別子「２」に対応する発話情報の内容「粉末うどんスープはどちらのスープがお勧めですか？」と手動応答情報の内容「粉末うどんスープはＡ社のスープがお勧めです。」との組を、図８の学習情報管理表に追記する。

なお、学習部３６は、発話情報の内容「粉末うどんスープはどちらのスープがお勧めですか？」のうち、名詞または名詞句「粉末うどんスープ」「スープ」を変数に置き換え、「｛変数１｝はどちらの{変数２}がお勧めですか？」というパターンに変更し、「粉末うどんスープはＡ社のスープがお勧めです。」のうち、名詞または名詞句「粉末うどんスープ」「Ａ社」「スープ」を変数に置き換え、「｛変数３｝は{変数４}の｛変数５｝がお勧めです。」というパターンに変更し、２つのパターンの組を、図８の学習情報管理表に追記するなどしても良い。

つまり、本具体例において、管理者からの入力である手動応答情報を用いて、学習情報をよくすれば良く、学習情報の構造は問わない。
（具体例４）
具体例１と同様に、対話制御装置２を経由して、ユーザ端末１と対話エンジン３との間で対話が進行している状況が続きた後、判断部２３２は、ユーザ発話情報または自動応答情報が、図７に示す条件のいずれかを満たしたと判断した、とする。
次に、モード変更部２３３は、モード格納部２１１のモード情報「自動モード」から「手動モード」に変更する。
次に、処理部２３は、手動モードへの変更である、と判断する。そして、出力部２４は、手動モードへのモード変更指示を管理端末４とユーザ端末１とに送信する。
次に、管理端末４の管理情報受付部４２は、手動モードへのモード変更指示を受信する。
そして、管理端末４の管理処理部４３は、ビデオ会議機能を起動する。そして、管理情報受付部４２は、管理者のビデオ映像と管理者が発した音声データとを有する手動応答情報を受け付ける。
そして、管理処理部４３は、送信する手動応答情報を取得する。
次に、管理者出力部４４は、手動応答情報を対話制御装置２に送信する。
また、ユーザ端末１のユーザ受信部１４は、手動モードへのモード変更指示を受信する。
そして、ユーザ端末１のユーザ処理部１２は、ビデオ会議機能を起動する。そして、ユーザ受付部１１は、ユーザのビデオ映像と、ユーザが発した音声データとを受け付ける。
次に、ユーザ処理部１２は、ユーザ受付部１１が受け付けたビデオ映像と音声データとからユーザ発話情報を取得する。
次に、ユーザ送信部１３は、ユーザ処理部１２が取得したユーザ発話情報を対話制御装置２に送信する。
そして、管理端末４の管理者とユーザ端末１のユーザとは、対話制御装置２を経由したビデオ映像を見ながら、対話を行える。つまり、管理端末４の管理者とユーザ端末１のユーザとは、ビデオ会議を行うことができる。
また、ビデオ会議により、ユーザと管理者とが対話した内容が、対話制御装置２により対話エンジン３に送信されても良い。そして、対話エンジン３の学習受付部３５は、ユーザと管理者との対話の内容を受信する。なお、対話の内容とは、通常、ユーザが発した発話情報と管理者が発した手動応答情報とを有する。
次に、学習部３６は、学習受付部３５が受信したユーザが発した発話情報と管理者が発した手動応答情報とを用いて、学習情報に、追記する情報を構成する。そして、学習部３６は、構成した情報を学習情報管理表（例えば、図８）に追記する。
（具体例５）
今、対話制御装置２の格納部２１は、図１７に示す管理端末管理表を保持している、とする。管理端末管理表は、「ＩＤ」「話題情報」「管理端末識別子」「ＩＰアドレス」を有するレコードを複数格納している。「ＩＤ」は、レコードを識別する情報である。「話題情報」は、話題を特定する１以上の用語を有する。「管理端末識別子」は、管理端末４を識別する情報である。「ＩＰアドレス」は、管理端末４と通信するためのＩＰアドレスアドレスである。
かかえる状況において、具体例１と同様に、対話制御装置２を経由して、ユーザ端末１と対話エンジン３との間で対話が進行している状況が続きた後、判断部２３２は、ユーザ発話情報または自動応答情報が、図７に示す条件のいずれかを満たしたと判断した、とする。
次に、モード変更部２３３は、モード格納部２１１のモード情報「自動モード」から「手動モード」に変更する。
次に、処理部２３は、手動モードへの変更である、と判断する。そして、決定部２３１は、以下のように３つの管理端末４のうちの一の管理端末４を決定する。
つまり、決定部２３１は、本ユーザと対話エンジン３との今までの対話の内容の文の情報を取得する。そして、決定部２３１は、例えば、対話の内容の文からベクトルを構成する。なお、このベクトルは、例えば、Wrod2Vecを用いて構成される。次に、決定部２３１は、深層学習やＳＶＭ等の機械学習の技術を用いて、当該ベクトルから話題を示す情報（ここでは、例えば、「ホテル」）を取得する。次に、決定部２３１は、当該話題を示す情報「ホテル」を含む「ＩＤ＝１」のレコードのＩＰアドレスを「１２３．２０５．０７０．０１８」を図１７の管理端末管理表から取得する。
次に、出力部２４は、「１２３．２０５．０７０．０１８」に対応する管理端末Ａに、手動モードへのモード変更指示を送信する。また、出力部２４は、モード変更指示をユーザ端末１にも送信する。
そして、具体例４で説明したように、ユーザ端末１と管理端末４とはビデオ会議を行える状況になり、ユーザと管理者とは、ビデオ会議機能を介して、対話を行う。

以上、本実施の形態によれば、対話エンジン３からの応答と管理者からの応答とを使い分けて、ユーザ端末に出力することにより、適切な対話を継続できる。

また、本実施の形態によれば、管理者からの応答を学習できる対話エンジン３を提供できる。

また、本実施の形態によれば、例えば、対話が破綻した等の場合に、対話を支援できる管理端末４を提供できる。
また、本実施の形態によれば、例えば、対話が破綻した等の場合に、ビデオ会議や電話による通話に切り替えることができ、対話エンジン３との対話が難しい等の場合でも、ユーザの対話が継続できる。

なお、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ−ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における対話制御装置２を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、ユーザが入力した対話であるユーザ対話情報をユーザ端末から受信する受信部と、前記ユーザ対話情報に対応する情報である対話情報を対話エンジンに出力するか、管理端末に出力するかを決定する決定部と、前記決定部の決定に従って、前記対話情報を対話エンジンまたは管理端末に出力する対話情報出力部と、前記対話情報の前記対話エンジンへの出力に応じて、前記対話エンジンからの応答である自動応答情報を受け付ける自動応答受付部と、前記対話情報の前記管理端末への出力に応じて、前記管理端末からの応答である手動応答情報を受け付ける手動応答受付部と、前記自動応答情報に対応する情報である自動情報または前記手動応答情報に対応する情報である手動情報を前記ユーザ端末に送信する応答送信部として機能させるためのプログラムである。

また、上記プログラムにおいて、コンピュータがアクセス可能な記録媒体は、前記対話情報を対話エンジンに出力する自動モード、または前記対話情報を前記管理端末に出力する手動モードのいずれかを、少なくとも採り得るモード情報が格納されるモード格納部を具備し、コンピュータを、モード情報を変更するための予め決められた条件を満たすか否かを判断する判断部と、前記判断部が予め決められた条件を満たすと判断した場合に、前記モード情報を変更するモード変更部としてさらに機能させ、前記決定部は、前記モード格納部のモード情報を取得するものとして、コンピュータを機能させるプログラムであることは好適である。

また、上記プログラムにおいて、前記判断部は、自動モードから手動モードに自動変更するための条件を満たしたか否かを判断し、前記モード変更部は、前記判断部が予め決められた条件を満たすと判断した場合に、前記モード情報を自動モードから手動モードに変更するものとして、コンピュータを機能させるプログラムであることは好適である。

また、上記プログラムにおいて、前記判断部は、手動モードから自動モードに自動変更するための条件を満たしたか否かを判断し、前記モード変更部は、前記判断部が予め決められた条件を満たすと判断した場合に、前記モード情報を手動モードから自動モードに自動変更するものとして、コンピュータを機能させるプログラムであることは好適である。

また、上記プログラムにおいて、コンピュータにアクセス可能な記録媒体は、前記対話情報を対話エンジンに出力する自動モード、または前記対話情報を前記管理端末に出力する手動モードのいずれかを採り得るモード情報が格納されるモード格納部を具備し、コンピュータを、管理端末からモードの変更の指示である変更指示を受け付ける変更指示受付部と、前記変更指示に応じて、前記モード格納部のモード情報を変更するモード変更部としてさらに機能させ、前記決定部は、前記モード格納部のモード情報に従って、前記受信部が受信したユーザ対話情報に関する対話情報を対話エンジンに出力するか、管理端末に出力するかを決定するものとして、コンピュータを機能させるプログラムであることは好適である。

また、上記プログラムにおいて、コンピュータを、前記自動情報を前記管理端末に出力する自動情報出力部としてさらに機能させるプログラムであることは好適である。

また、上記プログラムにおいて、コンピュータを、前記手動情報を前記対話エンジンに出力する手動情報出力部としてさらに機能させるプログラムであることは好適である。

また、本実施の形態における対話エンジン３を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、対話制御装置から発話情報を受け付ける発話受付部と、前記発話受付部が受け付けた発話情報に対応する応答である自動応答情報を、前記学習情報を用いて取得する応答取得部と、前記応答取得部が取得した自動応答情報を前記対話制御装置に出力する応答出力部と、前記管理端末からの応答である手動応答情報を受け付ける学習受付部と、前記学習受付部が受け付けた手動応答情報を用いて、前記学習情報に情報を付加する学習部として機能させるプログラムである。

また、本実施の形態における管理端末４を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、対話制御装置から発話情報を受け付ける管理情報受付部と、前記発話情報、または前記発話情報から出力用に構成された発話情報を出力する管理者出力部と、前記発話情報の出力に応じて、手動応答情報を受け付ける管理情報受付部と、前記手動応答情報を対話制御装置に出力する管理者出力部として機能させるプログラムである。
また、本実施の形態における管理端末４を実現するソフトウェアは、以下のようなプログラムでも良い。つまり、このプログラムは、コンピュータを、請求項７記載の対話制御装置からモード変更指示を受け付け、かつ請求項７記載の対話制御装置から映像および音声データを有する発話情報を受け付ける管理情報受付部と、前記モード変更指示に応じて、ビデオ会議機能を起動する管理処理部と、前記発話情報、または前記発話情報から出力用に構成された発話情報を出力する管理者出力部と、映像および音声データを有する手動応答情報を受け付ける管理情報受付部と、前記手動応答情報を対話制御装置に出力する管理者出力部として機能させるためのプログラムである。

（実施の形態２）
本実施の形態において、スタンドアロンの対話装置５について説明する。ここでは、対話装置５は、通常、対話エンジン３を有する。また、対話装置５は、例えば、対話システムＡのユーザ端末１、対話制御装置２、対話エンジン３を有する。ただし、ここでの対話装置５は、管理端末４は含まず、管理端末４と通信を行う。

図１３は、本実施の形態における対話装置５のブロック図である。

対話装置５は、格納部５０、受付部５１、発話情報出力部５２、自動応答受付部５３、手動応答受付部５４、応答出力部５５、対話エンジン３を備える。

格納部５０は、各種の情報が格納される。各種の情報とは、例えば、モード情報、自動情報を画面に出力するか否かを示すフラグ等である。

受付部５１は、ユーザが入力した発話に対応するユーザ発話情報を受け付ける。なお、受付部５１は、発話を受け付け、当該発話からユーザ発話情報を構成しても良い。また、ここでの受け付けは、音声データであるユーザ発話情報の受け付けでも良いし、テキストのユーザ発話情報の受け付けでも良い。ここで、受け付けとは、キーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。また、ユーザ発話情報は、音声データとユーザを撮影した映像でも良い。

ユーザ発話情報の入力手段は、キーボードやマウスやメニュー画面によるもの等、何でも良い。受付部５１は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。

発話情報出力部５２は、ユーザ発話情報に関する発話情報を、対話エンジン３または画面のうちの少なくともどちらか一方に出力する。ここでの出力とは、発話情報の引き渡しを行われれば良い。なお、画面への出力とは、管理端末４の画面への出力でも良い。

発話情報出力部５２は、通常、ＭＰＵやメモリ等から実現され得る。発話情報出力部５２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。

自動応答受付部５３は、発話情報の対話エンジン３への出力に応じて、対話エンジン３からの応答である自動応答情報を受け付ける。

手動応答受付部５４は、発話情報の画面への出力に応じて、管理者からの応答である手動応答情報を受け付ける。ここでの受け付けは、管理端末４からの受信でも良い。なお、手動応答情報は、管理者の音声データと管理者を撮影した映像でも良い。

手動応答情報の入力手段は、キーボードやマウスやメニュー画面によるもの音声入力等、何でも良い。手動応答受付部５４は、例えば、無線または有線のネットワークの受信手段等で実現され得る。

応答出力部５５は、自動応答情報に関する自動情報または手動応答情報に関する手動情報を出力する。ここでの出力は、ユーザに対する出力であり、例えば、音声出力、またはディスプレイへの表示である。

応答出力部５５は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。応答出力部５５は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。

次に、対話装置５の動作について、図１４のフローチャートを用いて説明する。図１４のフローチャートにおいて、図４のフローチャートと同一のステップについて、説明を省略する。

（ステップＳ１４０１）受付部５１は、ユーザ発話情報を受け付けたか否かを判断する。ユーザ発話情報を受け付けた場合はステップＳ１４０２に行き、受け付けない場合はステップＳ４１９に行く。

（ステップＳ１４０２）自動応答受付部５３は、対話エンジン３を動作させるか否かを判断する。対話エンジン３を動作させる場合はステップＳ１４０３に行き、対話エンジン３を動作させない場合はステップＳ１４０４に行く。なお、自動応答受付部５３は、例えば、格納部５０のモード情報が自動モードである場合、対話エンジン３を動作させると判断する。

（ステップＳ１４０３）自動応答受付部５３は、対話エンジン３の出力である自動応答情報を取得する。

（ステップＳ１４０４）手動応答受付部５４は、管理者の入力に対応する手動応答情報を取得する。なお、例えば、モード情報が手動モードである場合、手動応答受付部５４は、手動応答情報を取得できるまでウェイトする。

（ステップＳ１４０５）応答出力部５５は、自動情報を画面に出力するか否かを判断する。画面に出力する場合はステップＳ１４０６に行き、出力しない場合はステップＳ４０９に行く。なお、例えば、自動情報を画面に出力するか否かを示すフラグが格納部５０で管理されており、処理部２３は、かかるフラグを格納部５０から読み出し、判断する。また、応答出力部５５は、常に、自動情報を画面に出力しても良いし、常に、自動情報を画面に出力しなくても良い。また、本ステップの処理は、応答出力部５５が行ったが、図示しない判断手段が行っても良い。

（ステップＳ１４０６）応答出力部５５は、自動情報を画面に出力する。

（ステップＳ１４０７）応答出力部５５は、ユーザに出力する情報を取得する。かかる情報は、自動情報または手動情報である。また、応答出力部５５は、例えば、モード情報が自動モードの場合は自動情報を取得し、手動モードの場合は手動情報を取得する。

（ステップＳ１４０８）応答出力部５５は、ステップＳ１４０７で取得した情報を出力する。

（ステップＳ１４０９）出力部２４は、最新の発話情報を画面に出力する。ステップＳ１４０２に戻る。

なお、図１４のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

以上、本実施の形態によれば、対話エンジン３からの応答と管理者からの応答とを使い分けて、ユーザに対して出力することにより、適切な対話を継続できる。

なお、本実施の形態における対話装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータを、ユーザが入力した発話に対応するユーザ発話情報を受け付ける受付部と、前記ユーザ発話情報に関する発話情報を、対話エンジンまたは画面のうちの少なくともどちらか一方に出力する発話情報出力部と、前記発話情報の前記対話エンジンへの出力に応じて、前記対話エンジンからの応答である自動応答情報を受け付ける自動応答受付部と、前記発話情報の前記画面への出力に応じて、管理者からの応答である手動応答情報を受け付ける手動応答受付部と、前記自動応答情報に関する自動情報または前記手動応答情報に関する手動情報を出力する応答出力部として機能させるためのプログラムである。

また、本実施の形態において、対話装置５は、管理端末４と通信した。しかし、対話装置５は、ユーザ端末１と通信しても良い。かかる場合、対話装置５は、管理端末４を具備しても良い。

また、図１５は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態の対話制御装置等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１５は、このコンピュータシステム３００の概観図であり、図１６は、システム３００のブロック図である。

図１５において、コンピュータシステム３００は、ＣＤ−ＲＯＭドライブを３０１２含むコンピュータ３０１と、キーボード３０２と、マウス３０３と、モニタ３０４とを含む。

図１６において、コンピュータ３０１は、ＣＤ−ＲＯＭドライブ３０１２と、ＭＰＵ３０１３と、バス３０１４と、ＲＯＭ３０１５と、ＲＡＭ３０１６と、ハードディスク３０１７とを含む。ＲＯＭ３０１５は、ブートアッププログラム等のプログラムを記憶している。ＲＡＭ３０１６は、ＭＰＵ３０１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供する。ハードディスク３０１７は、通常、アプリケーションプログラム、システムプログラム、及びデータを記憶している。ここでは、図示しないが、コンピュータ３０１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。

コンピュータシステム３００に、上述した実施の形態の対話制御装置等の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３１０１に記憶されて、ＣＤ−ＲＯＭドライブ３０１２に挿入され、さらにハードディスク３０１７に転送されても良い。また、プログラムは、図示しないネットワークを介してコンピュータ３０１に送信され、ハードディスク３０１７に記憶されても良い。プログラムは実行の際にＲＡＭ３０１６にロードされる。プログラムは、ＣＤ−ＲＯＭ３１０１またはネットワークから直接、ロードされても良い。

プログラムは、コンピュータ３０１に、上述した実施の形態の対話制御装置等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切なモジュールを呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３００がどのように動作するかは周知であり、詳細な説明は省略する。

なお、上記プログラムにおいて、情報を送信するステップや、情報を受信するステップなどでは、ハードウェアによって行われる処理、例えば、送信ステップにおけるモデムやインターフェースカードなどで行われる処理（ハードウェアでしか行われない処理）は含まれない。

また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

また、上記各実施の形態において、一の装置に存在する２以上の通信手段は、物理的に一の媒体で実現されても良いことは言うまでもない。

また、上記各実施の形態において、各処理は、単一の装置によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。

本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上のように、本発明にかかる対話制御装置は、対話エンジンからの応答と管理端末からの応答とを使い分けて、ユーザ端末に出力することにより、適切な対話を継続できるという効果を有し、対話システムを構成する対話制御装置等として有用である。

１ ユーザ端末
２ 対話制御装置
３ 対話エンジン
４ 管理端末
５ 対話装置
１１ ユーザ受付部
１２ ユーザ処理部
１３ ユーザ送信部
１４ ユーザ受信部
１５ ユーザ出力部
２１、５０ 格納部
２２ 受信部
２３ 処理部
２４ 出力部
２５、５１ 受付部
２６ 送信部
３２ 発話受付部
３３ 応答取得部
３４、５５ 応答出力部
３５ 学習受付部
３６ 学習部
４１ 管理格納部
４２ 管理情報受付部
４３ 管理処理部
４４ 管理者出力部
４５ 管理指示受付部
４６ 管理出力部
５２、２４１ 発話情報出力部
５３、２５１ 自動応答受付部
５４、２５２ 手動応答受付部
２１１ モード格納部
２３１ 決定部
２３２ 判断部
２３３ モード変更部
２４２ 自動情報出力部
２４３ 手動情報出力部
２５２ 手動情報受付部
２５３ 変更指示受付部
２６１ 応答送信部
３１１ 学習情報格納部

Claims (14)

1. ユーザが入力した発話に対応するユーザ発話情報をユーザ端末から受信する受信部と、
   前記ユーザ発話情報に対応する情報である発話情報を、対話エンジンまたは管理端末のうちの少なくともどちらか一方に出力する発話情報出力部と、
   前記対話エンジンを採用する自動モードにおいて、前記発話情報の前記対話エンジンへの出力に応じて、前記対話エンジンからの応答である自動応答情報を受け付ける自動応答受付部と、
   前記管理端末を採用する手動モードにおいて、前記発話情報の前記管理端末への出力に応じて、前記管理端末からの応答である手動応答情報を受け付ける手動応答受付部と、
   前記自動応答情報に対応する情報である自動情報または前記手動応答情報に対応する情報である手動情報を前記ユーザ端末に送信する応答送信部と、
   前記自動モードから前記手動モードに変更するための第一の条件であり、対話が破綻していることを特定するための第一の条件を満たすか否かを、前記対話エンジンからの応答である１または２以上の自動応答情報の分析結果または前記ユーザ端末からの１または２以上のユーザ発話情報の分析結果を用いて判断する判断部とを具備し、
   前記判断部が前記第一の条件を満たすと判断した場合に、前記自動モードから前記手動モードに変更され、
   前記第一の条件は、
   前記１または２以上の自動応答情報に予め決められた用語を含むこと、予め決められた用語を含む自動応答情報が予め決められた期間内に閾値以上または閾値より多い回数受け付けられたこと、前記受信部が受信した２以上の連続するユーザ発話情報が同一または閾値以上の類似度であること、前記１または２以上のユーザ発話情報に予め決められた用語を含むことのいずれか１以上である、対話制御装置。
2. ユーザが入力した発話に対応するユーザ発話情報をユーザ端末から受信する受信部と、
   前記ユーザ発話情報に対応する情報である発話情報を、対話エンジンまたは管理端末のうちの少なくともどちらか一方に出力する発話情報出力部と、
   前記対話エンジンを採用する自動モードにおいて、前記発話情報の前記対話エンジンへの出力に応じて、前記対話エンジンからの応答である自動応答情報を受け付ける自動応答受付部と、
   前記管理端末を採用する手動モードにおいて、前記発話情報の前記管理端末への出力に応じて、前記管理端末からの応答である手動応答情報を受け付ける手動応答受付部と、
   前記自動応答情報に対応する情報である自動情報または前記手動応答情報に対応する情報である手動情報を前記ユーザ端末に送信する応答送信部と、
   前記自動モードから前記手動モードに変更するための第一の条件であり、対話が破綻していることを特定するための第一の条件を満たすか否かを、前記対話エンジンからの応答である１または２以上の自動応答情報の分析結果または前記ユーザ端末からの１または２以上のユーザ発話情報の分析結果を用いて判断する判断部とを具備し、
   前記判断部が前記第一の条件を満たすと判断した場合に、前記自動モードから前記手動モードに変更され、
   ユーザ端末から前記自動モードから前記手動モードに変更する指示である変更指示を受け付ける変更指示受付部をさらに具備し、
   前記変更指示に応じて、前記管理端末を採用する手動モードに変更される、対話制御装置。
3. 前記自動情報を前記管理端末に出力する自動情報出力部をさらに具備する請求項１または請求項２記載の対話制御装置。
4. 前記手動情報を前記対話エンジンに出力する手動情報出力部をさらに具備する請求項１から請求項３いずれか一項に記載の対話制御装置。
5. 前記ユーザ端末および前記管理端末は、ビデオ会議を行える端末であり、
   前記ユーザ発話情報および前記手動応答情報は、映像および音声データを有する請求項１から請求項４いずれか一項に記載の対話制御装置。
6. 発話情報に対応する自動応答情報を取得するための情報である学習情報が格納される学習情報格納部と、
   対話制御装置から発話情報を受け付ける発話受付部と、
   前記発話受付部が受け付けた発話情報に対応する応答である自動応答情報を、前記学習情報を用いて取得する応答取得部と、
   前記応答取得部が取得した自動応答情報を前記対話制御装置に出力する応答出力部と、
   管理端末からの応答である手動応答情報を受け付ける学習受付部と、
   前記学習受付部が受け付けた手動応答情報を用いて、前記学習情報に情報を付加する学習部とを具備し、
   前記学習受付部は、
   一連の対話の途中で、前記管理端末から手動応答情報を受け付け、
   前記学習部は、
   前記学習受付部が手動応答情報を受け付けた際に、直ちに、前記学習情報に情報を付加し、新たな学習情報を取得し、
   前記応答取得部は、
   前記一連の対話において、前記新たな学習情報を用いて、前記発話受付部が受け付けた発話情報に対応する応答である自動応答情報を取得する対話エンジンであって、
   前記対話制御装置は、
   ユーザが入力した発話に対応するユーザ発話情報をユーザ端末から受信する受信部と、
   前記ユーザ発話情報に対応する情報である発話情報を、対話エンジンまたは管理端末のうちの少なくともどちらか一方に出力する発話情報出力部と、
   前記対話エンジンを採用する自動モードにおいて、前記発話情報の前記対話エンジンへの出力に応じて、前記対話エンジンからの応答である自動応答情報を受け付ける自動応答受付部と、
   前記管理端末を採用する手動モードにおいて、前記発話情報の前記管理端末への出力に応じて、前記管理端末からの応答である手動応答情報を受け付ける手動応答受付部と、
   前記自動応答情報に対応する情報である自動情報または前記手動応答情報に対応する情報である手動情報を前記ユーザ端末に送信する応答送信部と、
   前記自動モードから前記手動モードに変更するための第一の条件であり、対話が破綻していることを特定するための第一の条件を満たすか否かを、前記対話エンジンからの応答である１または２以上の自動応答情報の分析結果または前記ユーザ端末からの１または２以上のユーザ発話情報の分析結果を用いて判断する判断部とを具備し、
   前記判断部が前記第一の条件を満たすと判断した場合に、前記自動モードから前記手動モードに変更される装置である、対話エンジン。
7. 自動モードから手動モードに変更するモード変更指示を受け付け、かつ映像および音声データを有する発話情報を受け付ける管理情報受付部と、
   前記モード変更指示の受け付けに応じて、ビデオ会議機能を起動する管理処理部と、
   前記発話情報、または前記発話情報から出力用に構成された発話情報を出力する管理者出力部と、
   映像および音声データを有する手動応答情報を受け付ける管理情報受付部と、
   前記手動応答情報を対話制御装置に出力する管理出力部とを具備する管理端末。
8. 手動応答情報に対応する１以上のボタンが格納されており、
   ボタンに対する指示を受け付け、
   前記管理情報受付部は、
   当該指示に対するボタンに対応する手動応答情報を取得し、
   前記管理出力部は、
   前記管理情報受付部が取得した手動応答情報を前記対話制御装置に送信する請求項７記載の管理端末。
9. ユーザが入力した発話に対応するユーザ発話情報を受け付ける受付部と、
   前記ユーザ発話情報に関する発話情報を、対話エンジンまたは画面のうちの少なくともどちらか一方に出力する発話情報出力部と、
   前記対話エンジンを採用する自動モードにおいて、前記発話情報の前記対話エンジンへの出力に応じて、前記対話エンジンからの応答である自動応答情報を受け付ける自動応答受付部と、
   管理端末を採用する手動モードにおいて、前記発話情報の前記画面への出力に応じて、管理者からの応答である手動応答情報を受け付ける手動応答受付部と、
   前記自動応答情報に関する自動情報または前記手動応答情報に関する手動情報を出力する応答出力部と、
   前記自動モードから前記手動モードに変更するための第一の条件であり、対話が破綻していることを特定するための第一の条件を満たすか否かを、前記対話エンジンからの応答である１または２以上の自動応答情報の内容または前記ユーザが入力した１または２以上のユーザ発話情報の内容を用いて判断する判断部とを具備し、
   前記判断部が前記第一の条件を満たすと判断した場合に、前記自動モードから前記手動モードに変更され、
   前記第一の条件は、
   前記１または２以上の自動応答情報に予め決められた用語を含むこと、予め決められた用語を含む自動応答情報が予め決められた期間内に閾値以上または閾値より多い回数受け付けられたこと、前記受付部が受け付けた２以上の連続するユーザ発話情報が同一または閾値以上の類似度であること、前記１または２以上のユーザ発話情報に予め決められた用語を含むことのいずれか１以上である、対話装置。
10. 受信部と、発話情報出力部と、自動応答受付部と、手動応答受付部と、応答送信部と、判断部とにより実現される対話制御方法であって、
    前記受信部が、ユーザが入力した発話に対応するユーザ発話情報をユーザ端末から受信する受信ステップと、
    前記発話情報出力部が、前記ユーザ発話情報に対応する情報である発話情報を、対話エンジンまたは管理端末のうちの少なくともどちらか一方に出力する発話情報出力ステップと、
    前記自動応答受付部が、前記対話エンジンを採用する自動モードにおいて、前記発話情報の前記対話エンジンへの出力に応じて、前記対話エンジンからの応答である自動応答情報を受け付ける自動応答受付ステップと、
    前記手動応答受付部が、前記管理端末を採用する手動モードにおいて、前記発話情報の前記管理端末への出力に応じて、前記管理端末からの応答である手動応答情報を受け付ける手動応答受付ステップと、
    前記応答送信部が、前記自動応答情報に対応する情報である自動情報または前記手動応答情報に対応する情報である手動情報を前記ユーザ端末に送信する応答送信ステップと、
    前記自動モードから前記手動モードに変更するための第一の条件であり、対話が破綻していることを特定するための第一の条件を満たすか否かを、前記対話エンジンからの応答である１または２以上の自動応答情報の内容の分析結果または前記ユーザ端末からの１または２以上のユーザ発話情報の内容の分析結果を用いて判断する判断ステップとを具備し、
    前記判断ステップで前記第一の条件を満たすと判断された場合に、前記自動モードから前記手動モードに変更され、
    前記第一の条件は、
    前記１または２以上の自動応答情報に予め決められた用語を含むこと、予め決められた用語を含む自動応答情報が予め決められた期間内に閾値以上または閾値より多い回数受け付けられたこと、前記受信部が受信した２以上の連続するユーザ発話情報が同一または閾値以上の類似度であること、前記１または２以上のユーザ発話情報に予め決められた用語を含むことのいずれか１以上である、対話制御方法。
11. 受信部と、発話情報出力部と、自動応答受付部と、手動応答受付部と、応答送信部と、判断部と、変更指示受付部とにより実現される対話制御方法であって、
    前記受信部が、ユーザが入力した発話に対応するユーザ発話情報をユーザ端末から受信する受信ステップと、
    前記発話情報出力部が、前記ユーザ発話情報に対応する情報である発話情報を、対話エンジンまたは管理端末のうちの少なくともどちらか一方に出力する発話情報出力ステップと、
    前記自動応答受付部が、前記対話エンジンを採用する自動モードにおいて、前記発話情報の前記対話エンジンへの出力に応じて、前記対話エンジンからの応答である自動応答情報を受け付ける自動応答受付ステップと、
    前記手動応答受付部が、前記管理端末を採用する手動モードにおいて、前記発話情報の前記管理端末への出力に応じて、前記管理端末からの応答である手動応答情報を受け付ける手動応答受付ステップと、
    前記応答送信部が、前記自動応答情報に対応する情報である自動情報または前記手動応答情報に対応する情報である手動情報を前記ユーザ端末に送信する応答送信ステップと、
    前記自動モードから前記手動モードに変更するための第一の条件であり、対話が破綻していることを特定するための第一の条件を満たすか否かを、前記対話エンジンからの応答である１または２以上の自動応答情報の内容の分析結果または前記ユーザ端末からの１または２以上のユーザ発話情報の内容の分析結果を用いて判断する判断ステップとを具備し、
    前記判断ステップで前記第一の条件を満たすと判断された場合に、前記自動モードから前記手動モードに変更され、
    前記変更指示受付部が、ユーザ端末から前記自動モードから前記手動モードに変更する指示である変更指示を受け付ける変更指示受付ステップをさらに具備し、
    前記変更指示に応じて、前記管理端末を採用する手動モードに変更される、対話制御方法。
12. コンピュータを、
    ユーザが入力した発話に対応するユーザ発話情報をユーザ端末から受信する受信部と、
    前記ユーザ発話情報に対応する情報である発話情報を、対話エンジンまたは管理端末のうちの少なくともどちらか一方に出力する発話情報出力部と、
    前記対話エンジンを採用する自動モードにおいて、前記発話情報の前記対話エンジンへの出力に応じて、前記対話エンジンからの応答である自動応答情報を受け付ける自動応答受付部と、
    前記管理端末を採用する手動モードにおいて、前記発話情報の前記管理端末への出力に応じて、前記管理端末からの応答である手動応答情報を受け付ける手動応答受付部と、
    前記自動応答情報に対応する情報である自動情報または前記手動応答情報に対応する情報である手動情報を前記ユーザ端末に送信する応答送信部と
    前記自動モードから前記手動モードに変更するための第一の条件を満たすか否かを、前記対話エンジンからの応答である１または２以上の自動応答情報の内容または前記ユーザ端末からの１または２以上のユーザ発話情報の内容を用いて判断する判断部として機能させせるためのプログラムであって、
    前記判断部が前記第一の条件を満たすと判断した場合に、前記自動モードから前記手動モードに変更され、
    前記第一の条件は、
    前記１または２以上の自動応答情報に予め決められた用語を含むこと、予め決められた用語を含む自動応答情報が予め決められた期間内に閾値以上または閾値より多い回数受け付けられたこと、前記受信部が受信した２以上の連続するユーザ発話情報が同一または閾値以上の類似度であること、前記１または２以上のユーザ発話情報に予め決められた用語を含むことのいずれか１以上であるものとして、前記コンピュータを機能させるためのプログラム。
13. 発話情報に対応する自動応答情報を取得するための情報である学習情報が格納される学習情報格納部にアクセス可能なコンピュータを、
    対話制御装置から発話情報を受け付ける発話受付部と、
    前記発話受付部が受け付けた発話情報に対応する応答である自動応答情報を、前記学習情報を用いて取得する応答取得部と、
    前記応答取得部が取得した自動応答情報を前記対話制御装置に出力する応答出力部と、
    管理端末からの応答である手動応答情報を受け付ける学習受付部と、
    前記学習受付部が受け付けた手動応答情報を用いて、前記学習情報に情報を付加する学習部として機能させるためのプログラムであって、
    前記学習受付部は、
    一連の対話の途中で、前記管理端末から手動応答情報を受け付け、
    前記学習部は、
    前記学習受付部が手動応答情報を受け付けた際に、直ちに、前記学習情報に情報を付加し、新たな学習情報を取得し、
    前記応答取得部は、
    前記一連の対話において、前記新たな学習情報を用いて、前記発話受付部が受け付けた発話情報に対応する応答である自動応答情報を取得する、ものとして、前記コンピュータを機能させるためのプログラムであって、
    前記対話制御装置は、
    ユーザが入力した発話に対応するユーザ発話情報をユーザ端末から受信する受信部と、
    前記ユーザ発話情報に対応する情報である発話情報を、対話エンジンまたは管理端末のうちの少なくともどちらか一方に出力する発話情報出力部と、
    前記対話エンジンを採用する自動モードにおいて、前記発話情報の前記対話エンジンへの出力に応じて、前記対話エンジンからの応答である自動応答情報を受け付ける自動応答受付部と、
    前記管理端末を採用する手動モードにおいて、前記発話情報の前記管理端末への出力に応じて、前記管理端末からの応答である手動応答情報を受け付ける手動応答受付部と、
    前記自動応答情報に対応する情報である自動情報または前記手動応答情報に対応する情報である手動情報を前記ユーザ端末に送信する応答送信部と、
    前記自動モードから前記手動モードに変更するための第一の条件であり、対話が破綻していることを特定するための第一の条件を満たすか否かを、前記対話エンジンからの応答である１または２以上の自動応答情報の分析結果または前記ユーザ端末からの１または２以上のユーザ発話情報の分析結果を用いて判断する判断部とを具備し、
    前記判断部が前記第一の条件を満たすと判断した場合に、前記自動モードから前記手動モードに変更される装置である、プログラム。
14. コンピュータを、
    自動モードから手動モードに変更するモード変更指示を受け付け、かつ映像および音声データを有する発話情報を受け付ける管理情報受付部と、
    前記モード変更指示の受け付けに応じて、ビデオ会議機能を起動する管理処理部と、
    前記発話情報、または前記発話情報から出力用に構成された発話情報を出力する管理者出力部と、
    映像および音声データを有する手動応答情報を受け付ける管理情報受付部と、
    前記手動応答情報を対話制御装置に出力する管理者出力部として機能させるためのプログラム。

Images