JP7442805B2 - 対話支援装置、対話支援方法及びプログラム - Google Patents

Description

特許法第３０条第２項適用 第２０回計測自動制御学会システムインテグレーション部門講演会 令和１年１２月１３日 第２０回計測自動制御学会システムインテグレーション部門講演会予稿集、第１２７８頁－第１２８１頁、公益社団法人計測自動制御学会システムインテグレーション部門

本発明は、対話支援装置、対話支援方法及びプログラムに関する。

近年、コミュニティに積極的には参加していない独居高齢者及び若年者等のコミュニケーション能力の低下が懸念されている。この懸念に対しては、これらの人々のコミュニケーション機会を増加させることが解決策となる。しかしながら、コミュニティに積極的には参加していなかった人々は、対話等のコミュニケーションを継続させることを苦手としている場合がある。

そこで、人と人との二者間の対話の継続を支援することによって二者がコミュニケーションを円滑に行えるようにする対話支援装置が注目されている。このような対話支援装置の開発の一例として、メディエータロボットの開発がある。メディエータロボットは、例えば、対話中の二者の気分が盛り下がった場合に、対話中の二者に新しい話題を提供する。

非特許文献１には、対話中の二者の「ＬＦ／ＨＦ」の相関に基づいて対話の継続を支援するシステムが開示されている。この「ＬＦ／ＨＦ」は、生体指標の一つであり、心拍の低周波帯域のパワースペクトル（Low Frequency : LF）を分子として、心拍の高周波帯域のパワースペクトル（High Frequency : HF）を分母とする値である。

石井滉人、松藤彰宏、下川原（佐藤）英理、山口亨、「対話支援のための生体指標を用いたコミュニケーション誘導」、第20回システムインテグレーション部門講演会（SI2019）、講演番号：2B4-05、pp.1278-1281、2019

しかしながら従来では、「ＬＦ／ＨＦ」等の生体指標の相関が導出されなければ、対話の継続を支援することができないという問題がある。例えば、対話中の二者の気分に相関があるか否かを判定することはできても、対話中の二者の気分の状態（例えば、気分が盛り下がっているか否か）を個人ごとには判定することができない。このため、対話中の二者のうちの一方のみが対話に熱中している（気分が盛り上がっている）場合に、対話中の二者に対して新しい話題を対話支援装置が提供してしまう場合がある。

上記事情に鑑み、本発明は、生体指標の相関を導出することなく対話の継続を支援することが可能である対話支援装置、対話支援方法及びプログラムを提供することを目的としている。

本発明の一態様は、時系列の心拍信号に基づいて生体指標の波形を生成する指標生成部と、基準以上の変動が前記生体指標の波形に発生したか否かを判定する、又は、前記基準以上の変動が前記生体指標の波形に発生していない状態で閾値以上の時間が経過したか否かを判定する判定部と、前記基準以上の変動が前記生体指標の波形に発生したと判定された場合、又は、前記基準以上の変動が前記生体指標の波形に発生していない状態で前記閾値以上の時間が経過したと判定された場合、対話の継続を支援するための処理である対話支援処理を実行する制御部とを備える対話支援装置である。

本発明の一態様は、上記に記載の対話支援装置が実行する対話支援方法であって、時系列の心拍信号に基づいて生体指標の波形を生成する指標生成ステップと、基準以上の変動が前記生体指標の波形に発生したか否かを判定する、又は、前記基準以上の変動が前記生体指標の波形に発生していない状態で閾値以上の時間が経過したか否かを判定する判定ステップと、前記基準以上の変動が前記生体指標の波形に発生したと判定された場合、又は、前記基準以上の変動が前記生体指標の波形に発生していない状態で前記閾値以上の時間が経過したと判定された場合、対話の継続を支援するための処理である対話支援処理を実行する制御ステップとを含む対話支援方法である。

本発明の一態様は、上記に記載の対話支援装置としてコンピュータを機能させるためのプログラムである。

本発明により、生体指標の相関を導出することなく対話の継続を支援することが可能である。

第１実施形態における、指標生成システムの構成例を示す図である。 第１実施形態における、時系列の生体指標の波形例を示す図である。 第１実施形態における、対話支援システムの構成例を示す図である。 第１実施形態における、対話支援装置の動作例を示すフローチャートである。 第２実施形態における、対話支援システムの構成例を示す図である。 第３実施形態における、対話支援システムの構成例を示す図である。

本発明の実施形態について、図面を参照して詳細に説明する。
（第１実施形態）
図１は、第１実施形態における、指標生成システム１の構成例を示す図である。指標生成システム１は、生体指標を生成するシステムである。以下では、生体指標は、一例として「ＬＦ／ＨＦ」である。指標生成システム１は、指標生成装置２と、センサ３－１と、センサ３－２と、操作部４と、通信回線５とを備える。通信回線５は、有線回線でもよいし、無線回線でもよい。指標生成装置２は、受信部２０と、記憶部２１と、指標生成部２２ａと、画像処理部２３と、表示部２４とを備える。

図１には、二人の被験者として、人１００（話者）と人１０１（聴者）とが存在する。人１０１（聴者）は、人１００（話者）が読み上げる文章を聴くことができる。図１では、指標生成装置２は、人１００の「ＬＦ／ＨＦ」と、人１０１の「ＬＦ／ＨＦ」とを生成する。なお、指標生成装置２は、更に多くの被験者のペアごとに、「ＬＦ／ＨＦ」を生成することができる。

以下では、センサ３－１及びセンサ３－２等の各センサ３に共通する事項については、符号の一部を省略して、「センサ３」と表記する。センサ３は、心拍センサである。センサ３は、被験者の時系列の心拍を検出する。すなわち、センサ３－１は、人１００の時系列の心拍を検出する。センサ３－２は、人１０１の時系列の心拍を検出する。

センサ３は、被験者の心拍を検出することが可能なセンサであれば、特定の種類のセンサに限定されなくてもよい。センサ３が心拍を検出する感度は高感度でなくてもよいので、センサ３は、例えば、ＬＥＤ（Light Emitting Diode）を用いる心拍センサでもよい。センサ３は、検出結果に応じた時系列の心拍信号を、受信部２０に送信する。センサ３は、アナログ信号の心拍信号を受信部２０に直接送信してもよいし、デジタル信号の心拍信号を通信回線５を経由させて受信部２０に送信してもよい。

操作部４は、押下操作が可能なスイッチである。人１００（話者）が読み上げる文章を聴いている人１０１（聴者）が文章の内容を面白いと感じている期間にわたって、操作部４は、人１０１によって押下操作される。すなわち、人１０１（聴者）の気分が盛り上がっている期間にわたって、操作部４は、人１０１によって押下操作される。操作部４は、押下操作されている間、オンを示す信号を受信部２０に送信する。すなわち、操作部４は、人１０１の気分が盛り上がっている期間において、オンを示す信号を受信部２０に送信する。これによって、指標生成装置２は、人１０１の気分が盛り上がっている期間又はタイミングを認識することができる。

なお、操作部４は、押下操作されていない間では、オフを示す信号を受信部２０に送信してもよい。すなわち、操作部４は、人１０１の気分が盛り上がっていない期間にわたって、オフを示す信号を受信部２０に送信してもよい。

受信部２０は、オンを示す信号を操作部４から受信する。受信部２０は、オフを示す信号を操作部４から受信してもよい。受信部２０は、時系列の心拍信号をセンサ３から受信する。受信された心拍信号がアナログ信号である場合、受信部２０は、アナログ信号の心拍信号をデジタル信号の心拍信号に変換する。デジタル信号の心拍信号に変換する際のサンプリング周波数は、例えば４Ｈｚである。受信部２０は、例えば、１００秒間ごとに４００点のサンプルを、時系列の心拍信号について生成する。受信部２０は、時系列の心拍信号を、被験者ごとに記憶部２１に記録する。記憶部２１は、時系列の心拍信号を、被験者ごとに記憶する。

指標生成部２２ａは、時系列の心拍信号に基づいて、生体指標「ＬＦ／ＨＦ」の波形を被験者ごとに生成する。指標生成部２２ａは、生体指標「ＬＦ／ＨＦ」の波形を表す情報を、画像処理部２３に出力する。

指標生成部２２ａは、人１００及び人１０１の両者の気分が同期している期間を導出してもよい。例えば、指標生成部２２ａは、人１００の心拍信号の波形と、人１０１の心拍信号の波形との相関係数（ピアソンの積率相関係数）が一定値以上となっている期間を導出してもよい。指標生成部２２ａは、相関係数が一定値以上となっている期間を表す情報を、画像処理部２３に出力する。

画像処理部２３は、時系列の生体指標「ＬＦ／ＨＦ」の波形を表す画像データを生成する。画像処理部２３は、時系列の生体指標の波形を表す画像データを、表示部２４に出力する。画像処理部２３は、人１００及び人１０１の両者の気分が同期している期間を表す画像データ（矩形の画像データ）を、表示部２４に出力してもよい。画像処理部２３は、人１０１（聴者）の気分が盛り上がっている期間を表す画像データ（枠形の画像データ）を、操作部４から受信されたオンを示す信号に基づいて、表示部２４に出力してもよい。

表示部２４は、液晶ディスプレイ等の表示デバイスである。表示部２４は、各被験者の時系列の生体指標の波形を表示する。表示部２４は、人１００及び人１０１の両者の気分が同期している期間を表す画像を表示してもよい。表示部２４は、人１０１（聴者）の気分が盛り上がっている期間を表す画像を表示する。

図２は、第１実施形態における、時系列の生体指標「ＬＦ／ＨＦ」の波形例を示す図である。横軸は、約１００秒間（約４００点のサンプル）の範囲で、経過時間を示す。縦軸は、０から１０までの範囲で、生体指標「ＬＦ／ＨＦ」の値を示す。「ＬＦ／ＨＦ」は、例えば１００点のサンプルごとに、指標生成部２２ａによって生成される。波形の一部において楕円で囲まれた箇所は、人１０１（聴者）の「ＬＦ／ＨＦ」の波形が基準以上に変動した箇所を示す。基準とは、例えば、所定時間内（例えば５秒以内）に「ＬＦ／ＨＦ」の値が１以上増加後に減少するという基準である。基準とは、例えば、所定時間内（例えば５秒以内）に「ＬＦ／ＨＦ」の値が１以上減少後に増加するという基準でもよい。なお、人の「ＬＦ／ＨＦ」の波形が基準以上に変動するタイミングは、その人の気分が実際に盛り上がったタイミングから１０秒以内に発生する場合が多い。

図２では、基準以上に「ＬＦ／ＨＦ」の波形が変動した箇所（楕円で囲まれた箇所）は、１３か所である。人１００及び人１０１の両者の気分が同期している期間と、人１０１（聴者）の気分が盛り上がっている期間とのうちの少なくとも一方に、これら１３か所のうちの１０か所（約７７％）が存在している。したがって、基準以上の波形の変動は、人１０１（聴者）の気分が盛り上がっている状態（熱中している状態）であることを、十分に高い確率で示している。

そこで、対話支援装置は、基準以上に「ＬＦ／ＨＦ」の波形が変動した箇所が検出されない状態で閾値以上の時間が経過したこと（対話中の人のうちの少なくとも一人のみの気分が盛り下がっていること）をトリガーとして、対話の継続を支援する。また、対話支援装置は、基準以上に「ＬＦ／ＨＦ」の波形が変動した箇所が検出されたこと（対話中の人のうちの少なくとも一人のみの気分が盛り上がっていること）をトリガーとして、対話の継続を支援してもよい。

図３は、第１実施形態における、対話支援システム６ａの構成例を示す図である。対話支援システム６ａは、センサ３－３と、通信回線５と、対話支援装置７とを備える。対話支援装置７は、対話の継続を支援する装置である。対話支援装置７は、対話の継続を支援することによって、対話中の人が円滑なコミュニケーションを継続して行えるようにする。なお、第１実施形態において人が対話する相手は、ロボットでもよいし、キャラクタ（人物を模した画像）を画面に表示するタブレット端末のような情報処理装置でもよい。

対話支援装置７は、受信部２０と、記憶部２１と、指標生成部２２ｂと、画像処理部２３と、表示部２４と、判定部７０と、制御部７１と、送信部７２と、音声処理部７３と、音声出力部７４とを備える。

図３には、対話中の人１０２及びロボット２００が存在する。ロボット２００は、情報処理装置を有し、人との対話が可能である。ロボット２００は、人との対話が可能となるように、機械学習の手法によって生成された学習済モデルを予め記憶してもよい。ロボット２００は、話題を変更することを指示するための信号である指示信号を対話支援装置７から受信した場合、対話中の話題を変更する。

なお、ロボット２００は、対話支援装置７の音声処理部７３によって生成された音声データを、対話支援装置７の送信部７２から受信してもよい。ロボット２００は、音声処理部７３によって生成された音声データに基づいて、音声を出力してもよい。すなわち、ロボット２００は、音声処理部７３によって生成された音声データに基づいて、対話支援装置７の機能部の一つとして対話処理を実行してもよい。

センサ３－３は、人１０２の時系列の心拍を検出する。センサ３－３は、検出結果に応じた時系列の心拍信号を、受信部２０に送信する。センサ３－３は、アナログ信号の心拍信号を受信部２０に直接送信してもよいし、デジタル信号の心拍信号を通信回線５を経由させて受信部２０に送信してもよい。

受信部２０は、人１０２の時系列の心拍信号を、センサ３－３から受信する。受信された心拍信号がアナログ信号である場合、受信部２０は、アナログ信号の心拍信号をデジタル信号の心拍信号に変換する。受信部２０は、人１０２の時系列の心拍信号を、記憶部２１に記録する。記憶部２１は、人１０２の時系列の心拍信号を記憶する。

指標生成部２２ｂは、例えば１００点のサンプルごとに、人１０２の「ＬＦ／ＨＦ」を導出する。指標生成部２２ｂは、人１０２の時系列の心拍信号に基づいて、人１０２の「ＬＦ／ＨＦ」の波形を生成する。なお、指標生成部２２ｂは、生体指標「ＬＦ／ＨＦ」の波形を表す情報を、画像処理部２３に出力してもよい。

判定部７０は、基準以上の変動が「ＬＦ／ＨＦ」の波形に発生したか否かを判定する。すなわち、判定部７０は、人１０２が対話に熱中しているか否かを判定する。判定部７０は、所定時間内に「ＬＦ／ＨＦ」の値が増加後に減少又は減少後に増加した場合、基準以上の変動が「ＬＦ／ＨＦ」の波形に発生したと判定する。

判定部７０は、基準以上の変動が「ＬＦ／ＨＦ」の波形に発生していないと判定された場合には、基準以上の変動が「ＬＦ／ＨＦ」の波形に発生していない状態で閾値以上（例えば、１分間以上）の時間が経過したか否かを判定する。すなわち、判定部７０は、人１０２の気分が盛り下がっているか否かを判定する。

なお、人１０２の「ＬＦ／ＨＦ」の値が増加傾向である場合には、人１０２の気分が適度に盛り上がっている場合がある。このような場合には、必ずしも話題を変更しなくてもよい。このため、判定部７０は、基準以上の変動が「ＬＦ／ＨＦ」の波形に発生していない状態で閾値以上の時間が経過したと判定した（人１０２の気分が盛り下がっていると仮判定した）場合には、更に、「ＬＦ／ＨＦ」の値が増加傾向であるか否か（人１０２の気分が適度に盛り上がっているか否か）を判定してもよい。

制御部７１は、閾値以上の時間が経過したと判定された場合、対話の継続を支援するための処理である対話支援処理の一つとして、話題を変更することを指示するための信号である指示信号をロボット２００に対して生成する。制御部７１は、対話の継続を支援するための処理である対話支援処理の一つとして、対話の相手を気にかけるように誘導する処理である誘導処理を人１０２に対して実行してもよい。

なお、制御部７１は、基準以上の変動が人１０２の「ＬＦ／ＨＦ」の波形に発生していない状態で閾値以上の時間が経過したと判定された（人１０２の気分が盛り下がっていると仮判定された）場合でも、人１０２の「ＬＦ／ＨＦ」の値が増加傾向である（人１０２の気分が適度に盛り上がっている）と判定された場合には、対話支援処理の実行を保留してもよい。

送信部７２は、指示信号をロボット２００に送信する。ロボット２００は、指示信号を取得した場合、話題を変更して人１０２との対話を続ける。

画像処理部２３は、表示部２４に表示されるコンピュータグラフィックスのキャラクタ（例えば、人物を模した画像）の画像データを生成する。例えば、画像処理部２３は、制御部７１が人１０２に対して誘導処理を実行する場合、その誘導処理の一つとして、表示部２４に表示されるコンピュータグラフィックスのキャラクタの口が動く動画像データを生成してもよい。表示部２４は、生成されたキャラクタの画像を表示する。対話中の人１０２は、表示部２４に表示された画像を見ることができる。

音声処理部７３は、制御部７１が誘導処理を実行する場合、その誘導処理の一つとして、対話の相手を気にかけることを提案する旨の音声データを生成する。音声出力部７４（スピーカ）は、音声データに応じた音声を出力する。対話中の人１０２は、音声出力部７４から出力された音声を聞くことができる。対話中の人１０２にとっては、対話のロボット２００を気にかけることを提案する旨の音声を、表示部２４に表示されたキャラクタが話しているように見える。

次に、対話支援装置７の動作例を説明する。
図４は、第１実施形態における、対話支援装置７の動作例を示すフローチャートである。受信部２０は、センサ３－３から受信された時系列の心拍信号を、記憶部２１に記録する（ステップＳ１０１）。指標生成部２２ｂは、時系列の心拍信号に基づいて、生体指標「ＬＦ／ＨＦ」の波形を生成する（ステップＳ１０２）。判定部７０は、基準以上の変動が生体指標「ＬＦ／ＨＦ」の波形に発生したか否かを判定する（ステップＳ１０３）。

基準以上の変動が生体指標「ＬＦ／ＨＦ」の波形に発生したと判定された場合（ステップＳ１０４：ＹＥＳ）、制御部７１は、ステップＳ１０８に処理を進める。基準以上の変動が生体指標「ＬＦ／ＨＦ」の波形に発生していないと判定された場合（ステップＳ１０４：ＮＯ）、判定部７０は、予め定められた閾値以上（例えば、１分間以上）の時間が経過したか否かを判定する（ステップＳ１０４）。閾値未満の時間しか経過していないと判定された場合（ステップＳ１０４：ＮＯ）、制御部７１は、ステップＳ１０８に処理を進める。

閾値以上の時間が経過したと判定された場合（ステップＳ１０４：ＹＥＳ）、制御部７１は、話題を変更することを指示するための信号である指示信号を、ロボット２００に対して生成する（ステップＳ１０５）。送信部７２は、指示信号をロボット２００に送信する（ステップＳ１０６）。ロボット２００は、指示信号を取得した場合、話題を変更して人１０２との対話を続ける。

制御部７１は、対話の相手を気にかけるように誘導する処理である誘導処理を実行する。画像処理部２３は、表示部２４に表示されるコンピュータグラフィックスのキャラクタの画像データを生成する。画像処理部２３は、制御部７１が誘導処理を実行する場合、その誘導処理の一つとして、表示部２４に表示されるコンピュータグラフィックスのキャラクタの口が動く動画像データを生成してもよい。音声処理部７３は、制御部７１が誘導処理を実行する場合、その誘導処理の一つとして、対話の相手を気にかけることを提案する旨の音声データを生成する。音声出力部７４（スピーカ）は、音声データに応じた音声を出力する（ステップＳ１０７）。

制御部７１は、図４に示された処理を終了するか否かを判定する。例えば、制御部７１は、予め定められた対話時間が経過した場合、図４に示された処理を終了すると判定する（ステップＳ１０８）。

以上のように、指標生成部２２ｂは、時系列の心拍信号に基づいて、生体指標「ＬＦ／ＨＦ」の波形を生成する。判定部７０は、基準以上の変動が「ＬＦ／ＨＦ」の波形に発生していない状態で閾値以上の時間が経過したか否かを判定する。制御部７１は、閾値以上の時間が経過したと判定された場合、対話の継続を支援するための処理である対話支援処理を実行する。

このように、判定部７０は、所定時間内（例えば、５秒以内）に「ＬＦ／ＨＦ」の値が増加後に減少又は減少後に増加した場合、基準以上の変動が「ＬＦ／ＨＦ」の波形に発生したと判定する。これによって、対話中の人が感じている盛り上がり及び盛り下がり等の気分を個人ごとに解析することができる。制御部７１は、人との対話をロボット（情報処理装置）が実行している場合において、基準以上の変動が「ＬＦ／ＨＦ」の波形に発生していない状態で閾値以上の時間（例えば、１分間以上）が経過したと判定された場合、話題を変更することを指示するための信号である指示信号を、ロボット２００（情報処理装置）に対して生成する。これによって、生体指標「ＬＦ／ＨＦ」の相関を導出することなく、人対ロボットの間の対話の継続を支援することが可能である。対話支援装置７が対話の継続を支援することによって、対話中（会話中）の人は円滑なコミュニケーションを継続して行えるようになる。

判定部７０は、基準以上の変動が「ＬＦ／ＨＦ」の波形に発生していない状態で閾値以上の時間が経過したと判定した場合には、「ＬＦ／ＨＦ」の値が増加傾向であるか否かを判定してもよい。制御部７１は、「ＬＦ／ＨＦ」の値が増加傾向であると判定された場合、対話中の人の気分が盛り上がっている可能性があるので、所定の対話支援処理の実行を保留してもよい。

（第２実施形態）
第２実施形態では、人と人とが対話する点が第１実施形態と相違する。

図５は、第２実施形態における、対話支援システム６ｂの構成例を示す図である。対話支援システム６ｂは、センサ３－３と、通信回線５と、対話支援装置７とを備える。図５には、対話中の人１００及び人１０２が存在する。

センサ３－３は、人１０２の時系列の心拍を検出する。受信部２０は、人１００の時系列の心拍信号と、人１０２の時系列の心拍信号とを、記憶部２１に記録する。指標生成部２２ｂは、人１０２の時系列の心拍信号に基づいて、人１０２の「ＬＦ／ＨＦ」の波形を生成する。指標生成部２２ｂは、生体指標「ＬＦ／ＨＦ」の波形を表す情報を、画像処理部２３に出力してもよい。

判定部７０は、基準以上の変動が「ＬＦ／ＨＦ」の波形に発生したか否かを判定する。すなわち、判定部７０は、人１０２が対話に熱中しているか否かを判定する。判定部７０は、基準以上の変動が「ＬＦ／ＨＦ」の波形に発生していないと判定された場合には、基準以上の変動が「ＬＦ／ＨＦ」の波形に発生していない状態で閾値以上（例えば、１分間以上）の時間が経過したか否かを判定する。すなわち、判定部７０は、人１０２の気分が盛り下がっているか否かを判定する。

なお、判定部７０は、基準以上の変動が「ＬＦ／ＨＦ」の波形に発生していない状態で閾値以上の時間が経過したと判定した（人１０２の気分が盛り下がっていると仮判定した）場合には、更に、「ＬＦ／ＨＦ」の値が増加傾向であるか否か（人１０２の気分が適度に盛り上がっているか否か）を判定してもよい。

制御部７１は、対話の継続を支援するための処理である対話支援処理の一つとして、対話の相手を気にかけるように誘導する処理である誘導処理を、人１０２に対して実行する。画像処理部２３は、制御部７１が誘導処理を実行する場合、その誘導処理の一つとして、表示部２４に表示されるコンピュータグラフィックスのキャラクタの口が動く動画像データを生成してもよい。表示部２４は、生成されたキャラクタの画像（例えば、人物を模した画像）を表示する。音声処理部７３は、制御部７１が誘導処理を実行する場合、その誘導処理の一つとして、対話の相手を気にかけることを提案する旨の音声データを生成する。音声出力部７４（スピーカ）は、音声データに応じた音声を出力する。対話中の人１００及び人１０２にとっては、対話のロボット２００を気にかけることを提案する旨の音声を、表示部２４に表示されたキャラクタが話しているように見える。

以上のように、制御部７１は、人との対話を人が行っている場合において、基準以上の変動が「ＬＦ／ＨＦ」の波形に発生していない状態で閾値以上の時間が経過したと判定された場合、対話の参加者のうちの少なくとも一人に対して、対話の相手を気にかけるように誘導する処理である誘導処理を実行する。

これによって、人１００の生体指標「ＬＦ／ＨＦ」と人１０２の生体指標「ＬＦ／ＨＦ」との相関を導出することなく、人と人との間の対話の継続を支援することが可能である。対話支援装置７が対話の継続を支援することによって、対話中（会話中）の人は円滑なコミュニケーションを継続して行えるようになる。

（第３実施形態）
第３実施形態では、１人以上の人に対してロボット（情報処理装置）が対話（会話）する点が、第１実施形態及び第２実施形態と相違する。

図６は、第３実施形態における、対話支援システム６ｃの構成例を示す図である。対話支援システム６ｃは、センサ３－３と、通信回線５と、対話支援装置７とを備える。対話支援システム６ｃは、更に多くのセンサ３を備えてもよい。第３実施形態では、対話支援システム６ｃは、一例として、センサ３－１と、センサ３－２と、センサ３－３と、通信回線５と、対話支援装置７とを備える。

図６には、人１００、人１０１及び人１０２と対話中のロボット２００が存在する。人１００と人１０１と人１０２とロボット２００とは、例えば、教室内に居る。例えば講師としての役割が与えられたロボット２００が、人１００、人１０１及び人１０２と対話する。

センサ３－１は、人１００の時系列の心拍を検出する。センサ３－２は、人１０１の時系列の心拍を検出する。センサ３－３は、人１０２の時系列の心拍を検出する。受信部２０は、人１００の時系列の心拍信号と、人１０１の時系列の心拍信号と、人１０２の時系列の心拍信号とを、記憶部２１に記録する。

指標生成部２２ｂは、人１００の時系列の心拍信号に基づいて、人１００の「ＬＦ／ＨＦ」の波形を生成する。指標生成部２２ｂは、人１０１の時系列の心拍信号に基づいて、人１０１の「ＬＦ／ＨＦ」の波形を生成する。指標生成部２２ｂは、人１０２の時系列の心拍信号に基づいて、人１０２の「ＬＦ／ＨＦ」の波形を生成する。

判定部７０は、基準以上の変動が人１００の生体指標の波形に発生したか否かを判定する。すなわち、判定部７０は、人１０２が対話に熱中しているか否かを判定する。判定部７０は、基準以上の変動が「ＬＦ／ＨＦ」の波形に発生していないと判定された場合には、基準以上の変動が「ＬＦ／ＨＦ」の波形に発生していない状態で閾値以上（例えば、１分間以上）の時間が経過したか否かを判定する。すなわち、判定部７０は、人１０２の気分が盛り下がっているか否かを判定する。人１０２と人１０３とについても同様である。

なお、判定部７０は、基準以上の変動が「ＬＦ／ＨＦ」の波形に発生していない状態で閾値以上の時間が経過したと判定した（人１０２の気分が盛り下がっていると仮判定した）場合には、更に、「ＬＦ／ＨＦ」の値が増加傾向であるか否か（人１０２の気分が適度に盛り上がっているか否か）を判定してもよい。人１０２と人１０３とについても同様である。

制御部７１は、閾値以上の時間が経過したと判定された場合、対話の継続を支援するための処理である対話支援処理の一つとして、話題を変更することを指示するための信号である指示信号をロボット２００（情報処理装置）に対して生成する。制御部７１は、対話の継続を支援するための処理である対話支援処理の一つとして、対話の相手を気にかけるように誘導する処理である誘導処理を、人１００と人１０２と人１０３とのうちの少なくとも一人に対して実行してもよい。対話中の人々にとっては、対話のロボット２００を気にかけることを提案する旨の音声を、表示部２４に表示されたキャラクタが話しているように見える。

以上のように、制御部７１は、複数人との対話をロボット２００（情報処理装置）が実行している場合において、基準以上の変動が生体指標の波形に発生していない状態で閾値以上の時間が経過したと判定された場合、話題を変更することを指示するための信号である指示信号をロボット２００に対して生成する。制御部７１は、対話の継続を支援するための処理である対話支援処理の一つとして、対話の相手を気にかけるように誘導する処理である誘導処理を、人１００と人１０２と人１０３とのうちの少なくとも一人に対して実行してもよい。

これによって、１人以上の人に対してロボット（情報処理装置）が対話（会話）する場合でも、生体指標の相関を導出することなく、対話の継続を支援することが可能である。対話支援装置７が対話の継続を支援することによって、対話中の人及びロボットは円滑なコミュニケーションを継続して行えるようになる。

対話支援装置７の各機能部のうちの一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサが、不揮発性の記録媒体（非一時的な記録媒体）を有する記憶部に記憶されたプログラムを実行することにより、ソフトウェアとして実現される。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記録媒体である。

対話支援装置７の各機能部のうちの一部又は全部は、例えば、ＬＳＩ（Large Scale Integration circuit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）又はＦＰＧＡ（Field Programmable Gate Array）等を用いた電子回路（electronic circuit又はcircuitry）を含むハードウェアを用いて実現されてもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、対話の継続を支援する装置に適用可能である。

１…指標生成システム、２…指標生成装置、３…センサ、４…操作部、５…通信回線、６ａ，６ｂ，６ｃ…対話支援システム、７…対話支援装置、２０…受信部、２１…記憶部、２２ａ，２２ｂ…指標生成部、２３…画像処理部、２４…表示部、７０…判定部、７１…制御部、７２…送信部、７３…音声処理部、７４…音声出力部、１００…人、１０１…人、１０２…人、２００…ロボット

Claims (6)

1. 時系列の心拍信号に基づいて生体指標の波形を生成する指標生成部と、
   基準以上の変動が前記生体指標の波形に発生したか否かを判定する、又は、前記基準以上の変動が前記生体指標の波形に発生していない状態で閾値以上の時間が経過したか否かを判定する判定部と、
   前記基準以上の変動が前記生体指標の波形に発生したと判定された場合、又は、前記基準以上の変動が前記生体指標の波形に発生していない状態で前記閾値以上の時間が経過したと判定された場合、対話の継続を支援するための処理である対話支援処理を実行する制御部と
   を備え、
   前記判定部は、前記基準以上の変動が前記生体指標の波形に発生していない状態で前記閾値以上の時間が経過したと判定した場合、前記生体指標の値が増加傾向であるか否かを判定し、
   前記制御部は、前記生体指標の値が増加傾向であると判定された場合、前記対話支援処理の実行を保留する、
   対話支援装置。
2. 前記生体指標は、心拍の低周波帯域のパワースペクトルを分子として、心拍の高周波帯域のパワースペクトルを分母とする値であり、
   前記判定部は、所定時間内に前記生体指標の値が増加後に減少又は減少後に増加した場合、前記基準以上の変動が前記生体指標の波形に発生したと判定する、
   請求項１に記載の対話支援装置。
3. 前記制御部は、人との対話をロボットが実行している場合において、前記基準以上の変動が前記生体指標の波形に発生していない状態で閾値以上の時間が経過したと判定された場合、話題を変更することを指示するための信号である指示信号を前記ロボットに対して生成する、
   請求項１又は請求項２に記載の対話支援装置。
4. 前記制御部は、人との対話を人が行っている場合において、前記基準以上の変動が前記生体指標の波形に発生したと判定された場合、又は、前記基準以上の変動が前記生体指標の波形に発生していない状態で前記閾値以上の時間が経過したと判定された場合、対話の参加者のうちの少なくとも一人に対して、対話の相手を気にかけるように誘導する処理である誘導処理を実行する、
   請求項１又は請求項２に記載の対話支援装置。
5. 対話支援装置が実行する対話支援方法であって、
   時系列の心拍信号に基づいて生体指標の波形を生成する指標生成ステップと、
   基準以上の変動が前記生体指標の波形に発生したか否かを判定する、又は、前記基準以上の変動が前記生体指標の波形に発生していない状態で閾値以上の時間が経過したか否かを判定する判定ステップと、
   前記基準以上の変動が前記生体指標の波形に発生したと判定された場合、又は、前記基準以上の変動が前記生体指標の波形に発生していない状態で前記閾値以上の時間が経過したと判定された場合、対話の継続を支援するための処理である対話支援処理を実行する制御ステップと
   を含み、
   前記判定ステップは、前記基準以上の変動が前記生体指標の波形に発生していない状態で前記閾値以上の時間が経過したと判定した場合、前記生体指標の値が増加傾向であるか否かを判定することを含み、
   前記制御ステップは、前記生体指標の値が増加傾向であると判定された場合、前記対話支援処理の実行を保留することを含む、
   対話支援方法。
6. 請求項１から請求項４のいずれか一項に記載の対話支援装置としてコンピュータを機能させるためのプログラム。

Images