JP6589514B2 - 対話装置及び対話制御方法 - Google Patents

Description

本発明は、ユーザとの会話を行う対話装置及び対話制御方法に関する。

従来、例えば特許文献１には、ユーザと会話を行う対話装置の一種として、ユーザによる入力語を認識して、会話を終了させる模擬会話システムが開示されている。具体的に、特許文献１の模擬会話システムは、システムから発せられる質問に対して、ユーザの反応がぞんざいであったり横柄であったりする等、好感度の低い場合に、会話を終了させる終了モードに移行する。

特開２００２−１６９５９０号公報

さて、特許文献１の模擬会話システムでは、質問に対するユーザの好感度が低い場合、システム主導によって会話が一方的に打ち切られてしまう。このため、会話が終了するときに、ユーザはシステム全体を好ましく思わない状況になっていることが想到できる。また、会話の終了形態もシステム主導であり、ユーザに対して会話を終えることを一方的に宣告する。これらを経て、ユーザは、システムとの会話に満足しないままとなる。しかし、ユーザの満足を得るために、低い好感度を無視して強引に会話を継続させてしまうと、ユーザは、かえって不満を募らせてしまうこととなる。

本発明は、このような問題に鑑みてなされたものであり、その目的は、ユーザの満足を得られるような会話を実現可能な対話装置及び対話制御方法を提供することにある。

上記目的を達成するため、開示された一つの発明は、ユーザと会話を行う会話実行部（７１，８３）と、会話実行部によるユーザへ向けた会話が継続したか否かを判定する継続判定部（７２）と、継続判定部によって会話が継続したと判定され、且つ、会話実行部による情報提示に対して、ユーザによる興味あり又は会話を継続したいことを示唆する情報の発話及び質問の発話のいずれも無い場合に、会話実行部をユーザへの発話を中断した待機状態にする発話制御部（７３）と、を備える対話装置とする。

この発明において、ユーザへの発話が中断される待機状態に移行するのは、ユーザと対話装置との会話が継続した後である。故に、ユーザが対話装置との会話に満足しないまま、対話装置によって会話が打ち切られてしまう事態は、生じ難くなる。一方で、ユーザと対話装置との会話が継続していた場合には、ユーザによる情報の発話及び質問の発話が無ければ、会話実行部は待機状態とされる。故に、会話を終了させたいというユーザの意思を無視して会話を継続させて、ユーザが不満を募らせてしまう事態は、生じ難くなる。以上のように、会話の継続後に、ユーザの反応に基づいて待機状態へ移行させる制御によれば、対話装置は、ユーザの満足を得られるような会話を実現できる。

また、開示された他の一つの発明は、ユーザと会話を行う会話実行部（７１，８３）を制御する対話制御方法であって、少なくとも一つのプロセッサ（６０ａ）によって実施されるステップとして、会話実行部によるユーザへ向けた会話が継続したか否かを判定する継続判定ステップ（Ｓ１２７〜Ｓ１２９）と、継続判定ステップによって会話が継続したと判定され、且つ、会話実行部による情報提示に対して、ユーザによる興味あり又は会話を継続したいことを示唆する情報の発話及び質問の発話のいずれも無い場合に、会話実行部をユーザへの発話を中断した待機状態にする発話制御ステップ（Ｓ１３５）と、を含む対話制御方法とする。

以上の対話制御方法でも、ユーザとの会話の継続後に、ユーザの反応に基づいて待機状態へ移行させることができるので、ユーザの満足を得られるような会話が実現可能となる。

尚、上記括弧内の参照番号は、本発明の理解を容易にすべく、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、本発明の範囲を何ら制限するものではない。

一実施形態による対話装置の全体構成を示すブロック図である。 運転者における覚醒度と運転のパフォーマンスとの相関を説明するYerkes-Dodson Lawを模式的に示す図である。 制御回路に構築される機能ブロック及びサブブロックを説明する図である。 制御回路にて実施される会話開始処理を示すフローチャートである。 制御回路にて実施される会話実行処理を図６と共に示すフローチャートである。 制御回路にて実施される会話実行処理を図５と共に示すフローチャートである。

図１に示す本発明の一実施形態による対話装置１００は、車両に搭載されており、ユーザとなる車両の搭乗者と会話を行うことができる。対話装置１００は、車両の搭乗者のうちで主に運転者と能動的に対話可能である。対話装置１００は、図２に示すように、運転者において高い運転パフォーマンスを示し得る通常の覚醒状態が維持されるよう、運転者との会話を行う。加えて対話装置１００は、運転者との会話により、漫然状態に陥った運転者及び居眠り状態に陥りかけた運転者の覚醒度を、通常の覚醒状態に引き戻す役割を果たすことができる。

対話装置１００は、図１に示すように、車載状態検出器１０、音声認識操作スイッチ２１、音声入力器２３、及び音声再生装置３０と電気的に接続されている。加えて対話装置１００は、インターネットに接続されており、インターネットを通じて車両の外部から情報を取得することができる。

車載状態検出器１０は、車両に搭載された種々のセンサ及び電子機器である。車載状態検出器１０には、操舵角センサ１１、アクセルポジションセンサ１２、ＧＮＳＳ受信器１４、車内撮像部１６、車外撮像部１７、及び車載ＥＣＵ群１９が少なくとも含まれている。

操舵角センサ１１は、運転者によって操縦されたステアリングホイールの操舵角を検出し、対話装置１００へ向けて検出結果を出力する。アクセルポジションセンサ１２は、運転者によって操作されたアクセルペダルの踏み込み量を検出し、対話装置１００へ向けて検出結果を出力する。

ＧＮＳＳ（Global Navigation Satellite System）受信器１４は、複数の測位衛星から送信される測位信号を受信することにより、車両の現在位置を示す位置情報を取得する。ＧＮＳＳ受信器１４は、取得した位置情報を、対話装置１００及びナビゲーションＥＣＵ（後述する）等へ向けて出力する。

車内撮像部１６は、例えば近赤外光源と組み合わされた近赤外カメラを有している。近赤外カメラは、車両の室内に取り付けられており、近赤外光源から照射された光によって主に運転者の顔を撮影する。車内撮像部１６は、画像解析によって、運転者の両目の視線方向、及び目（まぶた）の開き具合等を、撮影した画像から抽出する。車内撮像部１６は、抽出した運転者の視線方向及び目の開き具合等の情報を、対話装置１００へ向けて出力する。

さらに車内撮像部１６は、複数の近赤外カメラ及び可視光カメラ等を有することにより、例えば運転者の顔以外の範囲を撮影し、手及び体の動きを検出することが可能である。こうした構成であれば、車内撮像部１６は、運転者によって行われる所定のジェスチャを認識し、ジェスチャ入力があった旨の情報を対話装置１００へ向けて出力する。

車外撮像部１７は、例えば車両の周囲を向けた姿勢にて、車内及び車外に取り付けられた可視光カメラである。車外撮像部１７は、車両前方を少なくとも含む車両周囲を撮影する。車外撮像部１７は、画像解析によって、進行方向の道路形状及び車両周囲の道路の混雑具合等を、撮影した画像から抽出する。車外撮像部１７は、道路形状及び混雑具合等を示す情報を、対話装置１００へ向けて出力する。尚、車外撮像部１７は、複数の可視光カメラ、近赤外線カメラ、及び距離画像カメラ等を有していてもよい。

車載ＥＣＵ（Electronic Control Unit）群１９は、それぞれマイコン等を主体に構成されており、統合制御ＥＣＵ、機関制御ＥＣＵ、及びナビゲーションＥＣＵ等を含んでいる。例えばナビゲーションＥＣＵからは、例えば自車両周囲の道路形状を示す情報等が出力される。

音声認識操作スイッチ２１は、運転席の周囲に設けられている。音声認識操作スイッチ２１には、対話装置１００の会話機能について、作動のオン及びオフを切り替えるための操作、並びに待機状態を解除する操作等が車両の搭乗者によって入力される。音声認識操作スイッチ２１は、搭乗者による操作情報を、対話装置１００へ出力する。尚、対話装置１００の会話機能に係る設定値を変更する操作が音声認識操作スイッチ２１に入力可能とされていてもよい。

音声入力器２３は、車室内に設けられたマイク２４を有している。マイク２４は、車両の搭乗者によって発せられた会話の音声を電気信号に変換し、音声情報として対話装置１００へ向けて出力する。マイク２４は、例えばスマートフォン及びタブレット端末等の通信機器に設けられた通話のための構成であってもよい。またマイク２４にて集音された音声データは、対話装置１００へ無線送信されてもよい。

音声再生装置３０は、搭乗者へ向けて情報を出力する出力インターフェースの機能を有する装置である。音声再生装置３０は、表示器、音声制御部３１、及びスピーカ３２を有している。音声制御部３１は、会話文の音声データを取得すると、取得した音声データに基づいてスピーカ３２を駆動する。スピーカ３２は、車室内に設けられており、車室内に音声を出力する。スピーカ３２は、運転者を含む車両の搭乗者に聞き取られるよう、会話文を再生する。

尚、音声再生装置３０は、単純な音響機器であってもよく、又はインスツルメントパネルの上面に設置されたコミュニケーションロボット等であってもよい。さらに、対話装置１００に接続されたスマートフォン及びタブレット端末等の通信機器が、音声再生装置３０の機能を果たしてもよい。

次に、対話装置１００の構成を説明する。対話装置１００は、入力情報取得部４１、音声情報取得部４３、通信処理部４５、情報出力部４７、状態情報処理回路５０、及び制御回路６０等によって構成されている。

入力情報取得部４１は、音声認識操作スイッチ２１と接続されている。入力情報取得部４１は、音声認識操作スイッチ２１から出力された操作情報を取得し、制御回路６０へ提供する。音声情報取得部４３は、マイク２４と接続された音声入力のためのインターフェースである。音声情報取得部４３は、マイク２４から出力された音声情報を取得し、制御回路６０へ提供する。

通信処理部４５は、モバイル通信用のアンテナを有している。通信処理部４５は、アンテナを介して、車両外部の基地局との間で情報の送受信を行う。通信処理部４５は、基地局を通じてインターネットに接続可能である。通信処理部４５は、インターネットを通じて種々のコンテンツ情報を取得可能である。コンテンツ情報には、例えばニュース記事情報、コラム記事情報、ブログ記事情報、自車両が走行している現在地点周辺の混雑具合を示す渋滞情報といった交通情報、並びに現在地点周辺の人気スポット、イベント、及び天気予報といった地域情報等が含まれる。コンテンツ情報は、例えばインターネット上にある少なくとも一つ以上のニュース配信サイトＮＤＳ等から取得される。

情報出力部４７は、音声再生装置３０と接続された音声出力のためのインターフェースである。情報出力部４７は、制御回路６０によって生成された音声データを音声再生装置３０へ向けて出力する。情報出力部４７から出力された音声データは、音声制御部３１によって取得され、スピーカ３２によって再生される。

状態情報処理回路５０は、車載状態検出器１０から出力された情報を取得することにより、主に運転者の状態を推定する。状態情報処理回路５０は、プロセッサ５０ａ、ＲＡＭ、及びフラッシュメモリを有するマイクロコンピュータを主体に構成されている。状態情報処理回路５０には、車載状態検出器１０からの信号を受け取る複数の入力インターフェースが設けられている。状態情報処理回路５０は、プロセッサ５０ａによる所定のプログラムの実行により、負荷判定機能及び覚醒状態判定機能を実現させることができる。

負荷判定機能は、車両が現在走行している道路について、運転者の運転負荷が高いか否かを判定する機能である。状態情報処理回路５０は、操舵角センサ１１及びアクセルポジションセンサ１２から出力される検出結果を取得する。状態情報処理回路５０は、取得した検出結果の推移に基づき、ステアリング及びアクセルペダルの少なくとも一方を運転者が忙しく操作していると推定した場合に、現在の運転負荷が高いと判定する。さらに状態情報処理回路５０は、車内撮像部１６の撮影画像により運転者が大きく身動きしていると推定した場合、及び自車両の速度が高い場合において、現在の運転負荷が高いと判定する。

加えて状態情報処理回路５０は、車両が走行中の道路の形状情報、及び自車両周囲の混雑具合を示す交通情報等を取得する。道路の形状情報は、車外撮像部１７及びナビゲーションＥＣＵから取得可能である。交通情報は、車外撮像部１７及び通信処理部４５から取得可能である。状態情報処理回路５０は、進行方向の道路がカーブ形状である場合、及び車両が渋滞の中を走行していると推定される場合に、現在の運転負荷が高いと判定する。

一方、状態情報処理回路５０は、車両が概ね直線状の道路を走行中であり、且つ、周囲を走行する他の車両及び歩行者も僅かである場合に、現在の運転負荷が低いと判定する。また状態情報処理回路５０は、ステアリング及びアクセルペダルの操作量の変動が僅かである場合にも、運転負荷が低いと判定することができる。

覚醒状態判定機能は、運転者が漫然状態又は居眠り状態にあるか否かを判定する機能である。状態情報処理回路５０は、各センサ１１，１２から取得した検出結果の推移に基づき、ステアリング又はアクセルペダルの緩慢な操作、及び時折入力される大きな修正操作等を検出した場合に、運転者が漫然状態又は居眠り状態にあると判定する。

加えて状態情報処理回路５０は、車内撮像部１６から運転者の両目の視線方向及び目の開き具合といった情報を取得する。状態情報処理回路５０は、両目の視差が不安定であったり進行方向の物体の知覚に適切な状態でなかったりした場合、及び目の開度の低い状態が継続している場合等に、運転者が漫然状態又は居眠り状態にあると判定する。

制御回路６０は、ユーザとの間で交わされる会話を統合的に制御する回路である。制御回路６０は、プロセッサ６０ａ、ＲＡＭ、及びフラッシュメモリを有するマイクロコンピュータを主体に構成されている。制御回路６０には、対話装置１００の他の構成と接続される入出力インターフェースが設けられている。

制御回路６０は、プロセッサ６０ａによって所定の対話制御プログラムを実行する。その結果、制御回路６０は、音声認識部６１、文章処理部８０、及び会話処理部７０を、機能ブロックとして構築する。以下、制御回路６０に構築される各機能ブロックの詳細を、図３及び図１に基づき説明する。

音声認識部６１は、ユーザの発話の内容を取得する。音声認識部６１は、音声情報取得部４３と接続されており、音声情報取得部４３から音声データを取得する。音声認識部６１は、取得した音声データを読み込み、テキストデータに変換する。音声認識部６１は、対話装置１００へ投げ掛けられたユーザの質問、ユーザの独り言、ユーザ同士の会話等、車室内にて運転者を含む搭乗者が発した言葉をテキストデータ化し、文章処理部８０へ提供する。

文章処理部８０は、通信処理部４５を通じてコンテンツ情報を取得し、取得したコンテンツ情報を用いてユーザとの会話に用いられる会話文を生成する。文章処理部８０は、テキストデータ化されたユーザの発話の内容を音声認識部６１から取得し、ユーザの発言に対応した内容の会話文を生成可能である。文章処理部８０は、サブブロックとして、テーマ制御ブロック８１、情報取得ブロック８２、及び会話文生成ブロック８３を含んでいる。

テーマ制御ブロック８１は、音声認識部６１から取得したテキストデータに基づき、ユーザの発話の内容を識別する。テーマ制御ブロック８１は、ユーザの発話の内容に応じて、ユーザに向けられる会話の話題を制御する。具体的に、テーマ制御ブロック８１は、対話装置１００からの情報提示に対するユーザの発話について、ユーザの興味のある情報及び質問を含む発話であるのか、又は実質的に情報の無い発話なのかを判定する。実質的に情報の無い発話とは、「そっか」「ふ〜ん」「へー」といったいい加減な受け答えである。

テーマ制御ブロック８１は、対話装置１００による情報提示が、一連の会話に用いられた話題を完結することができる内容であるか否かを判断する。発話制御ブロック７３は、こうした話題を完結させる情報提示（以下、完結情報提示）に対するユーザの発話について、興味のある情報及び質問を含む発話であるのか、又は実質的に情報の無い発話なのかを判定できる。

テーマ制御ブロック８１は、対話装置１００からの情報提示に対するユーザの反応により、話題の変更が必要なのか否かを判定する。実質的に情報の無い発話があった、及びユーザによる発話が認識されなかった等、ユーザの好感度の低い場合、テーマ制御ブロック８１は、話題の変更が必要であると判定する。また、ユーザの興味のある情報又は質問を含む発話があった場合においても、テーマ制御ブロック８１は、発話の内容に基づいて話題を変更するか否かを判定する。例えば、現在の話題から連想したワードをユーザが発話した場合、テーマ制御ブロック８１は話題を変更する。さらに、ユーザの質問に回答するために話題を変える必要がある場合にも、テーマ制御ブロック８１は、話題を変更する。

情報取得ブロック８２は、会話文に用いられるコンテンツ情報を、通信処理部４５を通じて取得する。情報取得ブロック８２は、テーマ制御ブロック８１によって設定された条件に従い、インターネットからコンテンツ情報を検索可能である。ユーザの好感度を改善するために話題が変更される場合、情報取得ブロック８２は、現在の話題と内容的な繋がりを有するコンテンツ情報の取得を試みる。こうした処理によれば、会話のテーマを変更する前後の会話文に関連性が生じ、自然な話題の遷移が実現される。一方、ユーザへの応答のために話題がされる場合では、情報取得ブロック８２は、ユーザへの回答に必要な情報を含むコンテンツ情報の取得を試みる。例えば、ユーザによって新しいワードが発話された場合、情報取得ブロック８２は、このワードを含むコンテンツ情報の検索を行う。

会話文生成ブロック８３は、情報取得ブロック８２によって取得されるコンテンツ情報等を用いて、ユーザへ向けて発話される会話文を生成する。会話文生成ブロック８３によって生成される会話文の内容は、直前のユーザの発話に対して適用な応答内容となるように、テーマ制御ブロック８１によって制御される。会話文生成ブロック８３は、生成した会話文のテキストデータを会話処理部７０へ提供する。

会話処理部７０は、文章処理部８０によって生成された会話文を用いて、ユーザとの会話を行う。会話処理部７０は、ユーザとの間にて行われる会話を制御するためのサブブロックとして、対話実行ブロック７１、継続判定ブロック７２、及び発話制御ブロック７３を含んでいる。

対話実行ブロック７１は、会話文生成ブロック８３によって生成された会話文のテキストデータを取得し、取得した会話文の音声データを合成する。対話実行ブロック７１は、音節接続方式の音声合成を行ってもよく、又はコーパスベース方式の音声合成を行ってもよい。具体的に対話実行ブロック７１は、会話文のテキストデータから、発話される際の韻律データを生成する。そして対話実行ブロック７１は、予め記憶されている音声波形のデータベースから、韻律データにあわせて音声波形データをつなぎ合わせていく。以上のプロセスにより、対話実行ブロック７１は、会話文のテキストデータを音声データ化することができる。

対話実行ブロック７１は、会話文の音声データを情報出力部４７から音声制御部３１へ出力させて、スピーカ３２によって発話させることにより、ユーザへ向けた会話を実行する。対話実行ブロック７１によって会話が開始されるタイミングは、発話制御ブロック７３によって制御されている。

継続判定ブロック７２は、下記の二つの判定基準が共に満たされたか否かに基づいて、対話装置１００によるユーザへ向けた会話が継続したか否かを判定する。一つ目の判定基準は、ユーザへ向けた会話を開始したときからの経過時間が閾値を超えているか否かである。この閾値となる経過時間は、会話によって運転者のリフレッシュ効果が期待できる時間に設定されており、例えば３〜５分程度である。経過時間の閾値は、一定の値であってもよく、又は、約３〜５分の間又は所定の時間範囲内でランダムに設定されてもよい。二つ目の判断基準は、一つの話題に関して、ユーザと対話装置１００との間で繰り返された会話の回数が閾値（例えば、３〜５回程度）を超えているか否かである。

継続判定ブロック７２は、会話を開始した時点からの経過時間を計測する。継続判定ブロック７２は、一つの話題、即ち一つのコンテンツ情報に基づく会話文の発話回数をカウントする。継続判定ブロック７２は、会話開始からの経過時間が閾値を超え、且つ、繰り返された会話の回数も閾値を超えていた場合、ユーザとの会話が継続したと肯定判定する。

発話制御ブロック７３は、対話実行ブロック７１による会話の実行を制御する。例えば、音声認識操作スイッチ２１への操作によって、対話装置１００の会話機能をオフ状態にする指示が入力されていた場合に、発話制御ブロック７３は、対話実行ブロック７１の作動を停止させる。

発話制御ブロック７３は、状態情報処理回路５０による負荷判定に応じて、対話実行ブロック７１の作動ステータスを禁止状態及び許容状態とのうちで切り替える。具体的に対話実行ブロック７１は、負荷判定機能によって運転負荷が高いと判定された場合に、対話実行ブロック７１の作動ステータスを、発話の開始を禁止する禁止状態とする。一方、負荷判定機能によって運転負荷が低いと判定された場合、発話制御ブロック７３は、対話実行ブロック７１の作動ステータスを発話の開始を許容する許容状態とする。

さらに発話制御ブロック７３は、対話実行ブロック７１の作動ステータスを、許容状態から待機状態へと移行させることができる。発話制御ブロック７３は、継続判定ブロック７２にて会話継続の肯定判定がなされ、テーマ制御ブロック８１にて完結情報提示に対してユーザによる情報の発話及び質問の発話のいずれも無いと判定された場合に、対話実行ブロック７１を待機状態に設定する。

待機状態では、禁止状態と同様に発話の開始が制限され、対話実行ブロック７１による発話は、中断された状態となる。但し、禁止状態は、ユーザの意思による解除が実質的に不可能である一方で、待機状態は、ユーザの発話、ジェスチャ及び音声認識操作スイッチ２１への入力等、ユーザの意思によって解除可能である。

以上のような制御回路６０にて実施される会話開始処理及び会話実行処理の詳細をさらに説明する。まず、会話開始処理の詳細を、図４に基づき、図３を参照しつつ説明する。図４に示す会話開始処理の各ステップは、主に会話処理部７０によって実施される。会話開始処理は、車両の電源がオン状態とされたことに基づいて開始され、車両の電源がオフ状態とされるまで、繰り返し開始される。

Ｓ１０１では、初期設定として、対話実行ブロック７１の作動ステータスを禁止状態に設定し、Ｓ１０２に進む。Ｓ１０２では、状態情報処理回路５０（図１参照）による負荷判定の判定結果を取得し、現在のユーザにおける運転負荷が低いか否かを判定する。Ｓ１０２にて、現在の運転負荷が高いと判定した場合、Ｓ１０６に進む。一方、Ｓ１０２にて、運転負荷が低いと判定した場合には、Ｓ１０３に進む。

Ｓ１０３では、対話実行ブロック７１の作動ステータスを、禁止状態から許容状態へと切り替えて、Ｓ１０４に進む。Ｓ１０４では、会話開始条件が成立しているか否かを判定する。会話開始条件は、例えばユーザが漫然状態又は居眠り状態であるか、運転者の嗜好するカテゴリに属するような新着のコンテンツ情報が有るか、といった条件である。Ｓ１０５にて、会話開始条件が成立していないと判定した場合、会話開始処理を一旦終了する。一方、Ｓ１０４にて、会話開始条件が成立していると判定した場合、Ｓ１０５に進む。

Ｓ１０５では、会話開始処理のサブルーチンとしての会話実行処理（図５及び図６参照）を開始し、Ｓ１０６に進む。Ｓ１０６では、会話実行処理が実施中か否かを判定する。Ｓ１０６にて、会話実行処理が継続していると判定されている場合、Ｓ１０６の判定を繰り返すことにより、会話実行処理の終了を待機する。そして、会話実行処理が終了していると判定した場合には、会話開始処理を一旦終了する。

次に、Ｓ１０５にて開始される会話実行処理の詳細を、図５及び図６に基づき、図３を参照しつつ説明する。会話実行処理の各ステップは、会話処理部７０及び文章処理部８０の各サブブロックの連係によって実施される。

Ｓ１２１では、ユーザとの会話を開始し、Ｓ１２２に進む。Ｓ１２１により、「〜って知ってた？」というような会話文にて、ユーザへの話し掛けが開始される。ユーザへ向けた会話は、会話文を生成する会話文生成ブロック８３と、生成された会話文を音声データに変換する対話実行ブロック７１との協働によって実現される。Ｓ１２２では、会話開始からの時間計測を開始し、Ｓ１２３に進む。

Ｓ１２３では、会話終了条件が成立しているか否かを判定する。会話終了条件は、例えば会話によってユーザが覚醒状態になった、ユーザから会話終了を指示する発話があった、運転負荷が上昇した等の条件である。Ｓ１２３にて、会話終了条件が成立していると判定した場合、Ｓ１４２に進み、Ｓ１２１にて開始した会話を終了する。一方、Ｓ１２３にて、会話終了条件が成立していないと判定した場合、Ｓ１２４に進む。

Ｓ１２４では、ユーザによる発話を認識する処理を行い、Ｓ１２５に進む。ユーザの発話の認識は、音声データをテキストデータ化する音声認識部６１と、生成されたテキストデータを解析するテーマ制御ブロック８１との協働によって実現される。Ｓ１２５では、一連の会話に用いられていた話題が完結可能か否かを判定する。Ｓ１２５にて、話題の完結が不可能であると判定した場合、Ｓ１２９に進む。一方、Ｓ１２５にて、話題の完結が可能であると判定した場合、Ｓ１２６に進む。Ｓ１２６では、Ｓ１２４の処理に基づき、ユーザによる情報の発話及び質問の発話のいずれかがあったか否かを判定する。

Ｓ１２６にて、例えば一連のテーマを元に複数回に亘って行われた会話を完結させるための情報提示に対し、ユーザの興味ありを示唆するような情報及び質問の発話のいずれも無かったと判定した場合、Ｓ１２７に進む。Ｓ１２７では、Ｓ１２２にて計測を開始した時間計測に基づき、会話開始から所定時間が経過したか否かを判定する。Ｓ１２７にて、ユーザへ向けた会話を開始したときからの経過時間が閾値を超えていると肯定判定した場合、Ｓ１２８に進む。Ｓ１２８では、一つの話題に関する会話が所定回数を超えて繰り返されたか否かを判定する。Ｓ１２８にて、一つのコンテンツ情報に基づいて複数回の会話が繰り返されており、その繰り返し回数が閾値を超えていると肯定判定した場合、Ｓ１２９に進む。Ｓ１２９では、Ｓ１２７及びＳ１２８の各肯定判定に基づき、ユーザと対話装置１００（図１参照）との会話が継続していたと判定し、Ｓ１３５に進む。

Ｓ１３５では、対話実行ブロック７１の作動ステータスを許容状態から禁止状態へと移行させて、Ｓ１３６に進む。Ｓ１３６では、Ｓ１２２にて開始された時間計測、及び後述するＳ１３４にてカウントされる会話の繰り返し回数を共にリセットし、Ｓ１３７に進む。Ｓ１３７では、待機状態へ移行したときからの経過時間の計測を開始し、Ｓ１３８に進む。

Ｓ１３８では、Ｓ１２３と同様に、会話終了条件が成立しているか否かを判定する。１３７にて、会話終了条件が成立していると判定した場合、Ｓ１４２に進み、Ｓ１２１にて開始した会話を終了する。一方、Ｓ１３８にて、会話終了条件が成立していないと判定した場合、Ｓ１３９に進む。

Ｓ１３９では、Ｓ１２４と同様に、ユーザによる発話を認識する処理を行い、Ｓ１４０に進む。Ｓ１４０では、会話を再開させる条件が成立しているか否かを判定する。会話再開条件は、例えばＳ１３９にてユーザによる情報の発話及び質問の発話のいずれかが認識された、Ｓ１３７にて計測を開始した経過時間に基づき、待機状態への移行後に所定時間が経過した、等である。加えて、所定のジェスチャ入力が検出された、音声認識操作スイッチ２１（図１参照）への解除入力があった等も、会話再開条件とされる。Ｓ１４０にて、会話再開条件が成立していないと判定した場合、Ｓ１３８〜Ｓ１４０を繰り返すことにより、会話再開条件の成立を待機する。そして、会話再開条件が成立すると、Ｓ１４１に進む。

Ｓ１４１では、対話実行ブロック７１の待機状態を解除し、Ｓ１４２に進む。Ｓ１４１により、対話実行ブロック７１の作動ステータスは、待機状態から許容状態に戻される。Ｓ１４２では、新たな会話の話題を設定すると共に、会話開始からの経過時間の計測を再び開始し、Ｓ１３２に進む。上記のＳ１４１にて、ユーザの発話により会話再開条件が成立していた場合、Ｓ１４２では、ユーザの発話内容を反映した話題が設定される。

一方、上記のＳ１２６にて、ユーザの興味ありを示唆するような情報及び質問の発話があったと判定した場合、Ｓ１３０に進む。Ｓ１３０では、ユーザの発話内容に基づき、話題の変更が必要か否かを判定する。Ｓ１３０にて、話題の変更が必要と判定した場合、Ｓ１３１に進む。Ｓ１３０にて、話題の変更が不要と判定した場合には、Ｓ１３１をスキップして、Ｓ１３２に進む。

また、上記のＳ１２７又はＳ１２８にて、否定判定を行った場合にも、Ｓ１３１に進む。Ｓ１３１では、会話文の生成に用いるコンテンツ情報の切り替えにより、会話の話題を変更する処理を実施し、Ｓ１３２に進む。加えてＳ１３１では、後述するＳ１３４にてカウントされる会話の繰り返し回数をリセットする。Ｓ１３１によれば、テーマ制御ブロック８１によって設定された条件に沿う新たなコンテンツ情報が、情報取得ブロック８２によって取得される。

Ｓ１３２では、ユーザへ提示される会話文を生成し、Ｓ１３３に進む。Ｓ１３３では、Ｓ１３２にて生成された会話文の発話を実行し、Ｓ１３４に進む。Ｓ１３４では、現在の話題について繰り返された会話の回数を計測するカウンタを一回分だけ増加させて、Ｓ１２３に戻る。

ここまで説明した会話実行処理によって実現されるユーザと対話装置１００との会話の一例を、以下説明する。下記の会話には、テニスに関連するニース記事がコンテンツ情報として用いられている。尚、実際の会話では、実存するテニスプレーヤの名前が発話されるが、以下の説明では、直接的な明示を避け、＜テニスプレーヤ＿＿＞と記載する。
対話装置：「＜テニスプレーヤＮＤ＞がＶ、際立つ勝負強さ、っていうニュースって知ってた？」
ユーザ ：「知らなかった」
対話装置：「＜テニスプレーヤＮＤ＞が全豪オープンで２年ぶり５度目の優勝をしたみたいだよ。」
ユーザ ：「決勝の相手は誰だったの？」
対話装置：「＜テニスプレーヤＡＭ＞だったよ。ベスト４はみんなビッグ４だったみたい。」
ユーザ ：「負けた＜テニスプレーヤＡＭ＞はどんな感じだったんだろう？」

以上の一つ目の会話連鎖の最後には、ユーザによって『テニスプレーヤＡＭ』をという情報が発話されている。この発話は、ユーザが会話に興味を示していることを示唆している。故に、テーマ制御ブロック８１は、現在の会話の話題をさらに継続させるため、会話文の生成に用いるコンテンツ情報を、『テニスプレーヤＡＭ』を含むコンテンツ情報へと変更する（図５ Ｓ１３０及びＳ１３１参照）。変更されたコンテンツ情報に基づき、二つ目の会話連鎖が下記のように展開される。
対話装置：「＜テニスプレーヤＡＭ＞といえば、準Ｖの＜テニスプレーヤＡＭ＞は『恥じることではない』って言ってたみたいだよ。」
ユーザ ：「負けたといっても準優勝だからね」
対話装置：「＜テニスプレーヤＡＭ＞は全豪オープンの決勝で、２０１０年は＜テニスプレーヤＲＦ＞に、そして２０１１年と２０１３年は＜テニスプレーヤＮＤ＞に負けていて、『また来年も戻って来て、決勝戦ではもう少し違う結果を期待したいね。』と語り、観客から大きな拍手を受けていたよ。」
ユーザ ：「結構決勝に行っているんだね」
対話装置：「そして自分にも勝てるチャンスがあったと感じていた＜テニスプレーヤＡＭ＞は『明らかに最初の３セットでは自分にもチャンスがあった。第４セットは彼に全て持って行かれてしまった。ベースラインからのリターンも最高だった。』と試合を振り返っていたようなんですよ。」
ユーザ ：「そっか」

以上の二つ目の会話連鎖の最後には、興味の薄れたことを示唆する発話がなされている。このとき、話題が完結できる状態にあり、会話の開始から所定時間が経過しており、且つ『テニスプレーヤＡＭ』をテーマとした複数回の会話が実施されている（図５ Ｓ１２７及びＳ１２８参照）。故に、発話制御ブロック７３は、ユーザの興味なし発話に基づいて、対話実行ブロック７１を待機状態へ移行させる（図６ Ｓ１３５参照）。

そして、例えばユーザの語り掛けを会話再開のトリガとして、対話実行ブロック７１の待機状態は解除される。具体的には、ユーザの発話をきっかけとして、三つ目の会話連鎖が下記のように展開される。
ユーザ ：「そういえば＜テニスプレーヤＡＭ＞って、次はどの試合に出るんだろう？」
対話装置：「しばらく休養して、全米オープンを目指すようですよ。」
ユーザ ：「そっか」

以上の三つ目の会話連鎖の最後には、対話装置１００の情報を提示する言い切りの発話に対して、興味の薄れたことを示唆する発話がなされている。しかし、会話の継続が不十分であるため、待機状態への移行は実施されない。その代わり、テーマ制御ブロック８１がユーザの関心を高めることを目的とした話題の変更を実施する（図５ Ｓ１３１参照）。具体的には、会話のテーマが、『テニスプレーヤＡＭ』に関連した『テニスプレーヤＫＮ』へと変更される。その結果、四つ目の会話連鎖が下記のように展開される。
対話装置：「全米オープンといえば＜テニスプレーヤＫＮ＞も楽しみですね。」
ユーザ ：「そうだね、優勝してほしいな」
対話装置：「＜テニスプレーヤＮＤ＞を抜いて、第４シードだそうですよ。」
（以下、会話継続）

ここまで説明した本実施形態において、ユーザへの発話が中断された待機状態に移行するのは、ユーザと対話装置１００との会話が継続した後である。故に、ユーザが対話装置１００との会話に楽しさや満足感を感じないまま、対話装置１００によって会話が打ち切られてしまう事態は、生じ難くなる。

一方で、ユーザと対話装置１００との会話が継続していた場合には、ユーザによる情報の発話及び質問の発話が無ければ、対話実行ブロック７１は待機状態とされる。故に、会話を終了させたいというユーザの意思を無視して会話を継続させ、ユーザが不満を募らせてしまう事態は、生じ難くなる。

以上のように、ある程度の会話の継続後に、ユーザの反応に基づいて待機状態へ移行させる制御によれば、対話装置１００は、人間との会話に近い自然な会話体験をユーザに提供し得る。したがって、対話装置１００は、ユーザの満足を得られるような会話を実現させることができる。

また本実施形態において、待機状態への移行実施は、一連の会話に用いられた話題を完結させることができる内容の情報提示に対して、ユーザによる情報の発話及び質問の発話のいずれも無い場合に行われる。情報提示によって話題を完結できないような、会話の初期及び中盤では、待機状態への移行は実施されない。故に、中途半端に情報提示がなされただけで、内容的に完結しないまま一方的に会話が打ち切られてしまう事態は、生じなくなる。

加えて本実施形態では、会話がある程度継続する以前の段階で、システム側からの情報提示に対し、ユーザが情報及び質問のいずれも発話しなかった場合には、ユーザの興味なしの様子を推測したテーマ制御ブロック８１により、会話の話題が変更される。こうした処理により、対話装置１００は、ユーザの興味のない話題の会話を早々に切り上げ、新しい話題の会話によってユーザの興味を惹くことができる。その結果、ユーザの満足度は、いっそう高まり得る。

また本実施形態では、会話開始からの経過時間と会話の繰り返し回数とを組み合わせた判定により、ユーザと対話装置１００との会話継続が精度良く推定され得る。以上のような判定基準を組み合わせにより、継続判定ブロック７２は、ユーザとの会話継続を正確に判定して、適切なタイミングで待機状態への移行を実施できる。その結果、対話装置１００は、ユーザが不満を募らせるような会話の引き延ばしを行わなくなる。

さらに本実施形態では、ユーザによって情報の発話及び質問の発話のいずれかがあると、対話実行ブロック７１の待機状態は解除される。その結果、対話装置１００は、待機状態とされていても、ユーザの発話に応じた返答を遅滞なく行うことができる。加えて、対話装置１００によって返答される会話文の内容には、ユーザの発話内容が反映され得る。以上によれば、ユーザの会話に対する満足度は、いっそう高くなる。

加えて本実施形態の発話制御ブロック７３は、対話実行ブロック７１を待機状態に移行させた後に、時間の経過に基づいて、待機状態を解除する。以上によれば、対話装置１００は、ユーザが不満を募らせない程度に繰り返し会話を行い、ユーザである運転者が漫然状態に陥らないよう、覚醒度を維持させる効果を発揮できる。

尚、本実施形態において、対話実行ブロック７１及び会話文生成ブロック８３が「会話実行部」に相当し、継続判定ブロック７２が「継続判定部」に相当し、発話制御ブロック７３が「発話制御部」に相当し、テーマ制御ブロック８１が「話題制御部」に相当する。また、会話実行処理におけるＳ１２７〜Ｓ１２９が「継続判定ステップ」に相当し、Ｓ１３５が「発話制御ステップ」に相当する。

（他の実施形態）
以上、本発明による一実施形態について説明したが、本発明は、上記実施形態に限定して解釈されるものではなく、本発明の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。

上記実施形態では、ユーザとの会話が継続する前に、ユーザによる情報の発話及び質問の発話が無くなった場合、テーマ制御ブロックは、直ちに話題が変更していた。しかし、会話の開始直後においてユーザの反応が芳しくなくても、暫くするとユーザの反応が好転する場合もある。故に、テーマ制御ブロックは、ユーザの反応が低好感度であっても、直ちに話題を変更せずに、現在の話題による会話を継続することも可能であってよい。

上記実施形態における継続判定ブロックは、一連の会話の開始時点又は会話の再開時点からの経過時間を基準として、会話継続を判定していた。しかし、継続判定ブロックは、話題を変更した時点で時間計測のタイマをリセットすることにより、一つの話題についての会話継続時間を基準として、会話継続を判定することが可能である。

また上記実施形態における継続判定ブロックは、一つの話題について繰り返した会話の回数を基準として、会話継続を判定していた。しかし、継続判定ブロックは、一連の会話を開始したとき、又は会話を再開させたときからの繰り返し回数を基準として、会話継続を判定することが可能である。

上記実施形態における会話開始の条件（図４ Ｓ１０４参照）は、適宜変更可能である。例えば、対話装置は、漫然状態を自覚した運転者が運転席周辺に設けられた対話開始スイッチに対して行う入力や、運転者の「雑談しようよ」といった投げ掛け、或いは搭乗者による特定のキーワードの発話等をきかっけとして、ユーザへの雑談を開始可能である。同様に、会話再開の条件（図６ Ｓ１４０参照）も、適宜変更可能である。

上記実施形態において、対話装置１００により一連の会話が開始される直前には、会話開始をユーザに報知するための報知音が、スピーカ３２から出力されてよい。報知音は、ユーザの意識を会話の音声に向けさせることができる。その結果、ユーザは、対話装置１００から投げかけられた会話の始まりの部分を聞き逃し難くなる。

上記実施形態では、対話すること自体を目的とした非タスク指向型の会話を対話装置が行っている場合について、詳細を説明した。しかし、対話装置は、上述した雑談のような会話だけでなく、搭乗者から投げかけられた質問に返答する、搭乗者の指定するお店を予約するといったタスク指向型の会話も行うことができる。

上記実施形態において、制御回路６０のプロセッサ６０ａによって提供されていた会話実行に係る各機能は、例えば専用の集積回路によって実現されていてもよい。或いは、複数のプロセッサが協働して、会話の実行に係る各処理を実施してもよい。さらに、上述のものとは異なるハードウェア及びソフトウェア、或いはこれらの組み合わせによって、各機能が提供されてよい。同様に、状態情報処理回路５０のプロセッサ５０ａによって提供されていた運転負荷判定及び覚醒度判定に係る機能も、上述のものとは異なるハードウェア及びソフトウェア、或いはこれらの組み合わせによって提供可能である。さらに、各プロセッサ５０ａ，６０ａにて実行されるプログラムを記憶する記憶媒体は、フラッシュメモリに限定されない。種々の非遷移的実体的記憶媒体が、プログラムを記憶する構成として採用可能である。

本発明は、スマートフォン及びタブレット端末等の通信機器、並びに車両外部のサーバー等にインストールされる対話制御プログラムにも適用可能である。例えば対話制御プログラムは、車内に持ち込まれる通信端末の記憶媒体に、プロセッサによって実行可能なアプリケーションとして記憶されている。通信端末は、対話制御プログラムに従って運転者と対話可能であり、対話を通じて運転者の覚醒状態を維持させることができる。

また、対話制御プログラムがサーバーの記憶媒体に記憶されている場合、サーバーは、車両及び運転者の状態情報を、インターネットを通じて取得することができる。加えてサーバーは、取得した状態情報に基づき生成した会話文を、車両の音声再生装置へ送信し、スピーカから再生させることができる。以上のように、サーバーに対話制御プログラムがインストールされている場合でも、ユーザである運転者とシステムとの会話が実現できる。そして、サーバー型の対話システムでも、運転者の覚醒状態の維持は可能である。

以上のように、対話制御プログラムを実行する通信機器及びサーバー等によって行われる対話制御方法は、対話装置によって行われる対話制御方法と実質同一となり得る。また本発明は、車両に搭載される対話装置だけでなく、ユーザと会話を行う機能を備えた装置、例えば、現金自動預け払い機、玩具、受付用ロボット、介護用ロボット等にも適用可能である。

さらに本発明は、自動運転を行う車両（自律走行車）に搭載される対話装置にも適用可能である。例えば、「システムからの運転操作切り替え要請にドライバーが適切に応じるという条件のもと、特定の運転モードにおいて自動化された運転システムが車両の運転操作を行う」という自動化レベルの自動運転が想定されている。このような自動運転車両では、運転者（オペレータ）は、運転操作のバックアップのために、待機状態を維持する必要がある。そのため、待機状態にある運転者は、漫然状態及び居眠り状態に陥り易くなると推測される。故に、本発明を適用した対話装置は、自動運転システムのバックアップとして待機状態にある運転者の覚醒度を維持する構成としても、好適なのである。

６０ａ プロセッサ、７１ 対話実行ブロック（会話実行部）、７２ 継続判定ブロック（継続判定部）、７３ 発話制御ブロック（発話制御部）、８１ テーマ制御ブロック（話題制御部）、８３ 会話文生成ブロック（会話実行部）、１００ 対話装置

Claims (8)

1. ユーザと会話を行う会話実行部（７１，８３）と、
   前記会話実行部による前記ユーザへ向けた会話が継続したか否かを判定する継続判定部（７２）と、
   前記継続判定部によって会話が継続したと判定され、且つ、前記会話実行部による情報提示に対して、前記ユーザによる興味あり又は会話を継続したいことを示唆する情報の発話及び質問の発話のいずれも無い場合に、前記会話実行部を前記ユーザへの発話を中断した待機状態にする発話制御部（７３）と、を備えることを特徴とする対話装置。
2. 前記発話制御部は、一連の会話に用いられていた話題を完結させることができる内容の情報提示に対して、前記ユーザによる情報の発話及び質問の発話のいずれも無い場合に、前記会話実行部を待機状態にすることを特徴とする請求項１に記載の対話装置。
3. 前記継続判定部によって会話が継続していないと判定され、且つ、前記会話実行部による情報提示に対して、前記ユーザが情報の発話及び質問の発話のいずれも行わない場合、前記ユーザへ向けた会話の話題を変更する話題制御部（８１）、をさらに備えることを特徴とする請求項１又は２に記載の対話装置。
4. 前記継続判定部は、前記会話実行部が前記ユーザへ向けた会話を開始したときからの経過時間が閾値を超えた場合に、前記ユーザと前記会話実行部との会話が継続したと判定することを特徴とする請求項１〜３のいずれか一項に記載の対話装置。
5. 前記継続判定部は、前記会話実行部と前記ユーザとの間において複数回の会話が繰り返された場合に、前記ユーザと前記会話実行部との会話が継続したと判定することを特徴とする請求項１〜４のいずれか一項に記載の対話装置。
6. 前記発話制御部は、前記会話実行部が待機状態である場合に、前記ユーザによる情報の発話及び質問の発話のいずれかがあったことに基づき、当該会話実行部の待機状態を解除することを特徴とする請求項１〜５のいずれか一項に記載の対話装置。
7. 前記発話制御部は、前記会話実行部を待機状態に移行させた後、所定の時間が経過したことに基づいて、当該会話実行部の待機状態を解除することを特徴とする請求項１〜６のいずれか一項に記載の対話装置。
8. ユーザと会話を行う会話実行部（７１，８３）を制御する対話制御方法であって、
   少なくとも一つのプロセッサ（６０ａ）によって実施されるステップとして、
   前記会話実行部による前記ユーザへ向けた会話が継続したか否かを判定する継続判定ステップ（Ｓ１２７〜Ｓ１２９）と、
   前記継続判定ステップによって会話が継続したと判定され、且つ、前記会話実行部による情報提示に対して、前記ユーザによる興味あり又は会話を継続したいことを示唆する情報の発話及び質問の発話のいずれも無い場合に、前記会話実行部を前記ユーザへの発話を中断した待機状態にする発話制御ステップ（Ｓ１３５）と、を含むことを特徴とする対話制御方法。

Images