JP6544333B2 - コミュニケーション装置 - Google Patents

Description

本発明はコミュニケーション装置に関し、特に顔部を備えるコミュニケーション装置に関する。

近年、ユーザとコミュニケーションをとるコミュニケーション装置の開発が進んでいる。これに関し、コミュニケーション装置に顔部を設け、この顔部の表示を変化させる技術が知られている。

例えば、特許文献１では、顔全体の画像表示を行う表示部を備えたロボットについて開示している。また、特許文献２では、瞼と眼球を備えたロボットにおいて、眼球に対する、瞼の開閉度合い及び瞼の傾斜度合いを変化させることで、ロボットの感情又は視線を表現する技術について開示している。

特開２０１６−１０３２７７号公報 特開２００６−２８９５０８号公報

人間を含む動物は、周辺環境の様子が気になる場合などに、視線をコミュニケーション相手以外に向けることがある。このような視線動作は、感情の表出中に発生することもある。したがって、このような視線動作の表現と感情の表現とを統合して表現することにより、動物として自然な顔の表現が可能となると考えられる。しかしながら、特許文献１では、表示部においてロボットの表情又は視線等について表現することについて開示するものの、表情と視線とを組み合わせた顔の表現方法については提供していない。また、特許文献２に記載のロボットは、音源方向を見る視線を瞼の態様により表現しているが、このロボットは感情を瞼の傾斜により表現するため、視線又は感情のいずれか一方しか表現することができず、視線と感情とを同時に表現することができない。

本発明は、上記した事情を背景としてなされたものであり、顔の自然な表現を行うことができるコミュニケーション装置を提供することを目的とする。

上記目的を達成するための本発明の一態様は、顔部を備えるコミュニケーション装置であって、前記顔部に設けられたディスプレイと、前記コミュニケーション装置の周辺の環境についての情報である環境情報を取得する環境情報取得手段と、前記顔部において表現する前記コミュニケーション装置の視線動作であって、前記環境情報取得手段により取得された環境情報に応じた視線動作を生成する視線動作生成手段と、予め定められた生成規則に従って、前記顔部において表現する前記コミュニケーション装置の感情を生成する感情生成手段と、前記視線動作生成手段により生成された視線動作と前記感情生成手段により生成された感情とを表現する目の画像を前記ディスプレイに表示する表示制御手段とを有するコミュニケーション装置である。
このコミュニケーション装置では、視線動作生成手段により生成された環境情報に応じた視線動作と、感情生成手段により生成された感情とを表現する目の画像がディスプレイに表示される。このため、視線及び感情を統合した表情を提示することができるので、顔の自然な表現を行うことができる。

上記の一態様において、好ましくは、前記環境情報取得手段は、前記環境情報として、コミュニケーション相手が存在する方向と移動物体が存在する方向とを取得し、前記視線動作生成手段は、前記コミュニケーション相手が存在する方向を見る視線動作と、前記移動物体が存在する方向を見る視線動作とを生成し、前記表示制御手段は、前記視線動作生成手段により生成された視線動作から１つの視線動作を選択し、選択された視線動作と前記感情生成手段により生成された感情とを表現する目の画像を前記ディスプレイに表示する。
このような構成によれば、周辺環境に存在する移動物体を見る視線を表示対象の候補とすることができる。このため、周辺環境の様子を気にかけた顔の表現を行うことが可能となる。

上記の一態様において、好ましくは、前記移動物体についての前記環境情報を前記環境情報取得手段が取得する際に、目を閉じた画像が前記ディスプレイに表示されていた場合、前記表示制御手段は、前記移動物体が存在する方向を見る視線動作を選択せずに、前記感情生成手段により生成された感情を表現する目の画像を前記ディスプレイに表示する。
このような構成によれば、移動物体が視認できない状況においては、その移動物体の方向を向く視線は表示されない。したがって、不自然な表示を回避することできる。

上記の一態様において、好ましくは、前記環境情報取得手段は、前記環境情報として、コミュニケーション相手が存在する方向と前記コミュニケーション装置の周辺の環境で発生した音の発生方向とを取得し、前記視線動作生成手段は、前記コミュニケーション相手が存在する方向を見る視線動作と、前記音の発生方向を見る視線動作とを生成し、前記表示制御手段は、前記視線動作生成手段により生成された視線動作から１つの視線動作を選択し、選択された視線動作と前記感情生成手段により生成された感情とを表現する目の画像を前記ディスプレイに表示する。
このような構成によれば、周辺環境における音の発生方向を見る視線を表示対象の候補とすることができる。このため、周辺環境の様子を気にかけた顔の表現を行うことが可能となる。

上記の一態様において、好ましくは、前記表示制御手段は、表現対象の感情が予め定められた感情に該当するときは、前記コミュニケーション相手が存在する方向を見る視線動作を選択する。
このような構成によれば、コミュニケーション相手以外に視線を向けることが不自然な感情表現中に、そのような視線を表現することを回避することできる。このため、自然な表情を提示することができる。

上記の一態様において、好ましくは、コミュニケーション相手との対話内容を判定する対話判定手段をさらに有し、前記視線動作生成手段は、さらに、前記対話判定手段により判定された対話内容に応じた視線動作を生成する。
このような構成によれば、対話内容に応じた視線を感情とともに表示することが可能となる。このため、対話内容に応じた視線により感情の表現を補助することができ、感情表現を豊かにすることができる。

上記の一態様において、好ましくは、前記ディスプレイの表示画面は、前記顔部において表現される目の大きさ及び形状に対応する大きさ及び形状を有する。
このような構成によれば、コミュニケーション装置の顔における目以外の部分をディスプレイにより構成する必要がない。このため、例えば目以外の顔の部分をより現実感のある部材により構成することが可能となる等、目以外の顔の部分の設計自由度を向上することができる。

本発明によれば、顔の自然な表現を行うことができるコミュニケーション装置を提供することができる。

実施の形態にかかるコミュニケーション装置の正面図である。 実施の形態にかかるコミュニケーション装置において、右を見ている視線を表現した画像が表示された例を示す図である。 実施の形態にかかるコミュニケーション装置のハードウェア構成の一例を示すブロック図である。 実施の形態にかかるコミュニケーション装置のソフトウェア構成の一例を示すブロック図である。 ネガティブという感情を顔部に表現する場合の表示例を示す図である。 ポジティブという感情を顔部に表現する場合の表示例を示す図である。 統合部による感情と視線の統合の一例を示す模式図である。 実施の形態にかかるコミュニケーション装置の処理の流れを示すフローチャートである。 統合部による処理の流れを示すフローチャートである。 コミュニケーション相手との触れ合いを交えたコミュニケーション装置の使用例について示す模式図である。 カメラによる撮像画像の一例を示す図である。 コミュニケーション相手と視線を合わせずに泣いた様子を表現する場合の表示例を示す図である。 コミュニケーション相手と視線を合わせずに泣いた様子を表現する場合の表示例を示す図である。 コミュニケーション相手を見ながら泣いた様子を表現する場合の表示例を示す図である。

以下、図面を参照して本発明の実施の形態について説明する。図１は、実施の形態にかかるコミュニケーション装置１の正面図である。図１に示されるように、本実施の形態にかかるコミュニケーション装置１は、動物を模した外観を有する装置であり、顔部１０と、胴部２０と、腕部３０Ａ、３０Ｂと、脚部４０Ａ、４０Ｂとを有する。

顔部１０は、図１に示されるように、目部としてのディスプレイ１１Ａ、１１Ｂ、鼻部１２、耳部１３Ａ、１３Ｂなどが設けられている。ディスプレイ１１Ａは、コミュニケーション装置１の顔の右目を構成している。ディスプレイ１１Ａの表示画面（表示パネル）は、顔部１０において表現される右目の大きさ及び形状に対応する大きさ及び形状を有する。同様に、ディスプレイ１１Ｂは、コミュニケーション装置１の顔の左目を構成している。ディスプレイ１１Ｂの表示画面（表示パネル）は、顔部１０において表現される左目の大きさ及び形状に対応する大きさ及び形状を有する。すなわち、コミュニケーション装置１においては、顔部１０全体がディスプレイにより構成されているのではなく、顔部１０における目に相当する部分のみがディスプレイ１１Ａ、１１Ｂにおいて構成されている。コミュニケーション装置１において、顔部１０の目以外の部分については顔の構成要素を模したディスプレイ以外の部材により構成されている。このように、本実施の形態では、コミュニケーション装置１の顔における目以外の部分は、ディスプレイにより構成されていない。したがって、目以外の顔の部分をより現実感のある部材により構成することが可能となる。また、顔部１０の全てをディスプレイにより構成した場合、後述するカメラ１５０などの各種センサ機器を顔部１０に設けることが難しいが、本実施の形態では、ディスプレイで構成される範囲が限定的であるため、設計自由度を向上することができる。

以下、ディスプレイ１１Ａとディスプレイ１１Ｂとを特に区別せずに言及する場合、単にディスプレイ１１と呼ぶこととする。ディスプレイ１１の表示パネルは例えば液晶パネルであるが、これに限らず他の構成のディスプレイが用いられてもよい。

ディスプレイ１１Ａ、１１Ｂは、それぞれ目についての画像を表示する。このため、ディスプレイ１１の表示により図２に示されるようにコミュニケーション装置１の視線を表現することができる。図２では、右を見ている視線を表現した画像が表示された例を示している。なお、目についての画像は、眼球のみならず、瞼、眉、涙などの目に関連する要素の画像を含んでもよい。

本実施の形態において、鼻部１２は、動物の鼻を模すために、顔部１０において前方に突出している。そして、鼻部１２の突出した先端には、後述する環境測定装置１５として機能するカメラ１５０が設けられている。本実施の形態では、このようにカメラ１５０が顔部の突出した位置に設けられているため、カメラ１５０からコミュニケーション装置１の周辺を見渡すことが可能となる。したがって、カメラ１５０はコミュニケーション装置１の周辺の環境を良好に撮影することができる。

耳部１３Ａ、１３Ｂには、それぞれ、後述する環境測定装置１５として機能するマイクロフォン（不図示）が設けられている。このマイクロフォンにより、コミュニケーション装置１の周辺の環境の音が測定される。なお、マイクロフォンは、耳部１３Ａ又は耳部１３Ｂのいずれか一方のみに設けられていてよいし、顔部１０における耳部１３Ａ、１３Ｂ以外の部分に設けられていてもよいし、コミュニケーション装置１における顔部１０以外の部分に設けられていてもよい。

次に、コミュニケーション装置１のハードウェア構成について説明する。図３は、コミュニケーション装置１のハードウェア構成の一例を示すブロック図である。図３に示されるように、コミュニケーション装置１は、ディスプレイ１１と、スピーカ１４と、環境測定装置１５と、制御装置１６とを有する。

ディスプレイ１１は、制御装置１６の制御に従って、目についての画像を表示する。スピーカ１４は、制御装置１６の制御に従って、音声等を出力する。これにより、コミュニケーション装置１は、コミュニケーション相手に対し、話し掛けることができる。

環境測定装置１５は、コミュニケーション装置１の周辺の環境についての情報を取得するために、周辺の環境を測定する装置である。具体的には、環境測定装置１５には、カメラ１５０及びマクロフォンが含まれる。環境測定装置１５は、測定したデータを制御装置１６に出力する。したがって、環境測定装置１５は、例えば、コミュニケーション相手を含む周辺環境の画像を撮影する。また、環境測定装置１５は、例えば、コミュニケーション相手が発した音声、又は周辺環境における物音などを検出する。なお、環境測定装置１５は、周辺の環境を測定することができる装置であればよく、カメラ１５０及びマイクロフォンに限られない。例えば、環境測定装置１５は、対象物までの距離を測定するレーザレンジファインダ等の距離センサであってもよい。

制御装置１６は、メモリ１６０及びプロセッサ１６１を含む。メモリ１６０は、例えば、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１６０は、プロセッサ１６１により実行されるソフトウェア（コンピュータプログラム）などを格納するために使用される。

このプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、Compact Disc Read Only Memory（CD-ROM）、CD-R、CD-R/W、半導体メモリ（例えば、マスクROM、Programmable ROM（PROM）、Erasable PROM（EPROM）、フラッシュROM、Random Access Memory（RAM））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

プロセッサ１６１は、メモリ１６０からソフトウェア（コンピュータプログラム）を読み出して実行することで、後述する図４に示す各部の処理を行う。このように、制御装置１６は、コンピュータとしての機能を備えている。プロセッサ１６１は、例えば、マイクロプロセッサ、ＭＰＵ（Micro Processing Unit）、又はＣＰＵ（Central Processing Unit）であってもよい。プロセッサ１６１は、複数のプロセッサを含んでもよい。

次に、プロセッサ１６１がソフトウェアを実行することで実現されるコミュニケーション装置１の構成について説明する。図４は、コミュニケーション装置１のソフトウェア構成の一例を示すブロック図である。図４に示されるように、コミュニケーション装置１は、対話判定部１００と、環境情報取得部１１０と、視線動作生成部１２０と、感情生成部１３０と、統合部１４０とを有する。なお、対話判定部１００は対話判定手段と称されることがあり、環境情報取得部１１０は環境情報取得手段と称されることがあり、視線動作生成部１２０は、視線動作生成手段と称されることがあり、感情生成部１３０は感情生成手段と称されることがあり、統合部１４０は表示制御手段と称されることがある。

対話判定部１００は、現在、コミュニケーション相手と対話中であるか否かを判定する。例えば、対話判定部１００は、マイクロフォンにより検出した相手の音声の音量が予め定められた閾値を超える場合に、対話中であると判定する。また、対話判定部１００は、コミュニケーション相手との対話内容を判定してもよい。なお、対話内容の判定は、例えば、マイクロフォンにより検出された音声の解析結果、又はコミュニケーション装置１がコミュニケーション相手に発する音声内容から判定される。

環境情報取得部１１０は、コミュニケーション装置１の周辺の環境についての情報である環境情報を取得する。環境情報取得部１１０は、具体的には、環境測定装置１５から得られたデータを解析することにより環境情報を取得する。例えば、環境情報取得部１１０は、環境情報として、コミュニケーション相手が存在する方向についての情報や、コミュニケーション装置１の周辺の環境に存在する移動物体の存在方向についての情報などを取得する。このため、より詳細には、例えば、環境情報取得部１１０は、環境情報として、コミュニケーション相手の位置、物体の位置、これらの移動の有無などを取得する。例えば、環境情報取得部１１０は、人物の顔の特徴点を用いた画像処理などによりカメラ１５０の撮影画像からコミュニケーション相手の顔の位置を認識することで、コミュニケーション相手の位置又はその移動を検出する。また、例えば、環境情報取得部１１０は、コミュニケーション相手を認識した後で、コミュニケーション相手以外の移動物体がカメラ１５０の撮像範囲内に入った場合、この移動物体をコミュニケーション相手以外の物体として認識することで、この物体の位置又はその移動を検出する。

また、環境情報取得部１１０は、環境情報として、コミュニケーション装置１の周辺の環境で発生した音情報を取得する。例えば、環境情報取得部１１０は、マイクロフォンにより検知された音を解析し、コミュニケーション装置１の周辺の環境で発生した音の発生方向を環境情報として取得する。なお、環境情報取得部１１０は、所定の大きさを超える音の発生方向を環境情報として取得してもよい。

なお、環境情報の取得にあたり、任意の技術を用いることができる。例えば、事前に撮影されたコミュニケーション装置１の周辺の環境の画像と環境情報取得時の撮影画像との差分を取ることにより、コミュニケーション相手及び物体についての情報を取得してもよい。

視線動作生成部１２０は、顔部１０において表現するコミュニケーション装置１の視線動作（より具体的には、視線動作を示すパラメータ）を生成する。その際、視線動作生成部１２０は、環境情報取得部１１０により取得された環境情報に応じた視線動作を生成する。例えば、視線動作生成部１２０は、コミュニケーション相手を見る視線動作、移動物体が存在する方向を見る視線動作、音の発生方向を見る視線動作などを生成する。また、視線動作生成部１２０は、コミュニケーション相手を発見できない場合、コミュニケーション相手を探す視線動作を生成してもよい。コミュニケーション相手を見る視線動作とは、言い換えると、コミュニケーション相手が存在する方向を見る視線動作であり、具体的には、例えば、コミュニケーション相手の顔が存在する方向を見る視線動作である。視線動作生成部１２０は、生成した視線動作を統合部１４０に出力する。なお、視線動作生成部１２０が生成した視線動作は、ディスプレイ１１に表示される視線動作の候補であり、視線動作生成部１２０が生成した視線動作のディスプレイ１１への表示の採否は後述する統合部１４０により決定される。このように、環境情報に応じた視線動作が生成されるため、コミュニケーション装置１が、コミュニケーション相手を視認していること、及び、周辺の環境を認識していることを表現することが可能となる。このため、顔部１０の豊かな表現が実現でき、コミュニケーション装置１に対する愛着や親近感をユーザに抱かせることができる。

感情生成部１３０は、予め定められた生成規則に従って、顔部１０において表現するコミュニケーション装置の感情（より具体的には、感情を示すパラメータ）を生成する。感情生成部１３０により感情が生成され、後述する統合部１４０において感情が表現されることにより、コミュニケーション装置１の気持ち又は状態などをコミュニケーション相手に伝えることができる。よって、コミュニケーションを円滑に進めることを補助することができる。また、コミュニケーション装置１が飽きられることを抑制することもできる。なお、上述の生成規則としては、例えば、次のようなものが挙げられる。ただし、下記の生成規則には限定されない。

第１に、カメラ１５０の撮影画像から取得したコミュニケーション相手の顔からコミュニケーション相手の感情を推定し、その感情に共感する感情をコミュニケーション装置１の感情として生成する生成規則が挙げられる。すなわち、この場合、感情生成部１３０は、コミュニケーション相手の顔に応じた感情を生成することとなる。これにより、コミュニケーション相手の感情に応じた感情を表示することが可能となる。このため、コミュニケーション相手との自然なコミュニケーションを実現することができる。なお、感情の推定は、例えば、所定の顔画像とカメラ１５０の撮影画像とのパターンマッチング等により行うことができる。

第２に、対話判定部１００により判定した対話内容から相手の感情を推定し、その感情に共感する感情をコミュニケーション装置１の感情として生成する生成規則が挙げられる。すなわち、この場合、感情生成部１３０は、対話判定部１００により判定された対話内容に応じた感情を生成することとなる。これにより、対話内容に応じた感情を表示することが可能となる。このため、コミュニケーション相手との自然なコミュニケーションを実現することができる。なお、感情の推定は、例えば、所定の会話内容と対話判定部１００により判定された対話内容とのパターンマッチング等により行うことができる。

第３に、コミュニケーション装置１の内部状態から自発的な感情を生成する生成規則が挙げられる。すなわち、この場合、感情生成部１３０は、内部状態に応じた感情を生成することとなる。これにより、自発的な感情の表示が可能となる。なお、内部状態とは、例えば、コミュニケーション装置１に電力を供給するためのバッテリの残量の減少度合い、コミュニケーション装置１の継続使用時間などである。例えば、感情生成部１３０は、内部状態に応じて疲れなどの感情を生成してもよい。

また、第４に、カメラ１５０の撮影画像から取得したコミュニケーション相手の行動（所作、手振りなど）に基づいて、コミュニケーション装置１の感情を生成する生成規則が挙げられる。この生成規則では、例えば、予め定められた行動に対して予め関連付けられている感情が生成される。すなわち、この場合、感情生成部１３０は、コミュニケーション相手の行動に応じた感情を生成することとなる。これにより、コミュニケーション相手の行動に反応した感情を表示することが可能となる。

なお、感情生成部１３０は、これらの生成規則に基づいて、同時に複数の感情を生成してもよい。感情生成部１３０は、生成した感情を統合部１４０に出力する。

簡単な構成としては、感情生成部１３０は、例えば、ポジティブ、ネガティブという２つの感情のいずれか又は両方を生成するが、感情の種類はこれらに限られない。感情生成部１３０により生成されうる感情の種類を増やすことにより、コミュニケーション装置１において、より豊かな感情表現を実現することが可能となる。なお、本実施の形態では、ネガティブという感情を顔部１０に表現する場合、図５に示すように、泣いた目をした画像がディスプレイ１１に表示されることとなる。また、本実施の形態では、ポジティブという感情を顔部１０に表現する場合、図６に示すように、目を閉じて笑った様子を示す画像がディスプレイ１１に表示されることとなる。

統合部１４０は、視線動作生成部１２０により生成された視線動作と感情生成部１３０により生成された感情とを表現する目の画像をディスプレイ１１に表示するよう制御を行う。ただし、統合部１４０は、表現対象の感情を示す目の画像が目を閉じた画像である場合には、視線動作生成部１２０により生成された視線動作は表示対象とせず、感情のみを表示対象とすることとなる。以下、統合部１４０の具体的な構成について説明する。図４に示したように、統合部１４０は、感情決定部１４１と、視線動作選択部１４２と、表出出力部１４３とを有する。

感情決定部１４１は、感情生成部１３０により生成された感情が複数あった場合、これらの感情から１つの感情を決定する。なお、感情決定部１４１は１の感情を任意の方法により決定すればよい。例えば、感情決定部１４１は、予め定められた選択ルールに従って、感情生成部１３０により生成された複数の感情のうちいずれか１つを選択してもよい。また、感情決定部１４１は、生成規則毎に感情に重みづけを行い、複数の感情を統合した１つの感情を決定してもよい。なお、重みづけの値及び選択ルールは、医療従事者又は介護者などのユーザにより指定されてもよい。

視線動作選択部１４２は、視線動作生成部１２０により生成された視線動作から１つの視線動作を選択する。例えば、視線動作選択部１４２は、コミュニケーション相手を見る視線動作と、周辺の環境に応じた視線動作とが視線動作生成部１２０により生成された場合、いずれの視線動作を表現対象とするべきかを選択する。なお、視線動作選択部１４２は、任意の方法により選択すればよい。例えば、感情決定部１４１により決定された感情に応じて選択してもよいし、環境情報取得部１１０により取得された環境情報に応じて選択してもよいし、その他の要因により従って選択してもよい。より具体的な例を挙げると、視線動作選択部１４２は、感情決定部１４１により決定された感情が所定の感情に該当するか否かによって、視線動作を選択してもよい。例えば、コミュニケーション装置１の感情が怒りである場合、周辺の物音や移動物体が気にならないことが想定される。感情により視線動作を選択することで、このような動物の性質を実現することができる。また、視線動作選択部１４２は、環境情報取得部１１０により取得された音の大きさが所定以上である場合、音源方向を見る視線動作を選択し、所定未満である場合、コミュニケーション相手を見る視線方向を選択してもよい。また、視線動作選択部１４２は、コミュニケーション相手との対話継続時期間が１週間未満の場合、移動物体又は音源の存在方向を見る視線動作を選択し、コミュニケーション相手との対話継続時期間が１週間以上の場合、コミュニケーション相手を見る視線動作を選択してもよい。対話継続期間によるこのような制御を行う理由は、コミュニケーション相手との親密度が低い場合（すなわち対話継続期間が短い場合）には、コミュニケーションに対する集中度合いが低いことが想定されためである。

また、視線動作選択部１４２は、感情決定部１４１において決定された感情を表現しつつ、視線を動かすことが不自然であるか否かを判定してもよい。ここで、不自然である場合の例について説明する。例えば、コミュニケーション装置１が表現する感情が怒り又は驚きなどの特定の感情である場合、周辺の環境の物体の移動や物音に反応する視線動作を表現するのは不自然である。このような場合には、コミュニケーション相手を見る視線を動かさないことが自然である。この制御を実現するために、視線動作選択部１４２は、例えば、表現対象の感情、すなわち感情決定部１４１により決定された感情が、予め定められた感情に該当するときは、不自然であると判定する。このとき、後述する視線動作選択部１４２において、コミュニケーション相手を見る視線動作が選択されることとなる。なお、表現対象となりうる感情毎に不自然であるか否かを予め定義しておき、この定義情報を参照することにより視線動作選択部１４２の判定が行われてもよい。

また、次のような場合も不自然な例に該当する。移動物体についての環境情報を環境情報取得部１１０が取得する際に、図６に示したような目を閉じた画像がディスプレイ１１に表示されていた場合、移動物体の存在方向を見る視線動作は不自然である。これは、目を閉じた状態で移動物体を視認することが不自然であるからである。よって、視線動作選択部１４２は、この場合、移動物体が存在する方向を見る視線動作を選択しない。このため、後述する表出出力部１４３は、移動物体が存在する方向を見る視線動作を選択せずに、感情生成部１３０により生成された感情を表現する目の画像をディスプレイ１１に表示する。つまり、この場合、表出出力部１４３は、コミュニケーション相手を見る視線動作などといった、移動物体が存在する方向を見る視線動作ではない視線動作とともに感情を表示するか、又は、目を閉じた画像により表現される感情を表示することとなる。このような制御が行われることで、移動物体が視認できない状況において、その移動物体の方向を向くような視線の表示を抑制することができる。したがって、不自然な表示を回避することできる。

このように、不自然な表現が抑制されることにより、コミュニケーション相手に違和感を与えることを抑制することができ、コミュニケーション装置１に対する愛着や親近感をユーザに抱いてもらいやすくなる。

表出出力部１４３は、視線動作選択部１４２により選択された視線動作と感情決定部１４１により決定された感情とを表現する目の画像をディスプレイ１１に表示するよう出力の制御を行う。表出出力部１４３は、一例として、次のようにして出力の制御を行う。ここで挙げる例では、視線動作と感情の組み合わせに応じた画像データが予めメモリ１６０に記憶されているものとする。表出出力部１４３は、視線動作選択部１４２及び感情決定部１４１の指示に応じた画像データをメモリ１６０から読み出して、ディスプレイ１１に画像データを出力する。

図７は、統合部１４０による感情と視線の統合の一例を示す模式図である。図７は、感情決定部１４１により「ネガティブ」が表現対象の感情として決定され、視線動作選択部１４２により右方向を見るという視線動作が表現対象の視線動作として選択された場合の例を示している。この場合、統合部１４０は、右方向を向いて泣いた目の画像をディスプレイ１１に表示する。

次に、コミュニケーション装置１における処理の流れについて説明する。図８は、コミュニケーション装置１の処理の流れを示すフローチャートである。コミュニケーション装置１は、図８に示すフローを繰り返す。これにより、例えば、コミュニケーション相手を見る視線で泣いた目の画像が表示されている状態から、コミュニケーション相手以外に目を向ける視線で泣いた目の画像が表示される状態へと変化させることができる。

以下、図８に示すフローチャートに沿って、処理の流れを説明する。まず、対話判定部１００による判定処理が行われ（Ｓ１０）、対話中であるか否かが判定される（Ｓ１１）。対話中ではない場合（Ｓ１１でＮｏ）、表情の出力のための処理は終了する。このため、対話中でない場合の表示制御を省略することができ、バッテリの電力の消費を抑制することができる。対話中である場合（Ｓ１１でＹｅｓ）、環境情報取得部１１０による処理が行われる（Ｓ１２）。続いて、感情生成部１３０による処理（Ｓ１３）及び視線動作生成部１２０による処理（Ｓ１４）が行われる。感情生成部１３０による処理（Ｓ１３）及び視線動作生成部１２０による処理（Ｓ１４）は、並列に行われてもよいし、いずれか一方の処理の後に他方の処理が行われてもよい。そして、最後に、統合部１４０による処理が行われる（Ｓ１５）。

図９は、統合部１４０による処理の流れを示すフローチャートである。以下、図９に沿って、統合部１４０による処理の流れを説明する。まず、感情決定部１４１による処理が行われる（Ｓ１５１）、次に、視線動作選択部１４２による処理が行われる（Ｓ１５２）。なお、感情決定部１４１による処理（Ｓ１５１）と視線動作選択部１４２による処理（Ｓ１５２）は、並列に行われてもよいし、視線動作選択部１４２による処理（Ｓ１５２）の方が先に行われてもよい。その後、表出出力部１４３による処理が行われる（Ｓ１５３）。

以上、コミュニケーション装置１の処理の流れについて説明した。上述のコミュニケーション装置１では、視線動作生成部１２０により生成された環境情報に応じた視線と、感情生成部１３０により生成された感情とを表現する目の画像がディスプレイに表示される。このため、視線及び感情を統合した表情を提示することができるので、顔の自然な表現を行うことができる。また、視線動作生成部１２０により、周辺環境に存在する移動物体及び音源の存在方向を見る視線動作が生成される。このため、周辺環境の様子を気にかけた顔の表現を行うことが可能となる。すなわち、コミュニケーション装置１が周辺の環境を認識していることを表現することができる。また、コミュニケーション装置１では、表現対象の感情が所定の感情である場合にはコミュニケーション相手を見る視線が選択されるため、コミュニケーション相手以外に視線を向けることが不自然な感情表現中に、コミュニケーション相手以外に視線が向けられることを避けることができる。よって、より自然な表情を提示することができる。

コミュニケーション装置１は、コミュニケーション相手との対話のために使用されてもよいし、さらに、コミュニケーション相手との触れ合いを交えて使用されてもよい。触れ合いを交えることにより、より深いコミュニケーションの実現が可能となる。また、コミュニケーション装置１が動物を模している場合、触れ合いを伴うことにより、アニマルセラピーとしての効果も期待される。

図１０は、コミュニケーション相手との触れ合いを交えたコミュニケーション装置１の使用例について示す模式図である。図１０に示す使用例では、まず、泣いた目を表示したコミュニケーション装置１が、触れ合いを促すために、「涙を拭いて？」と音声出力する（図１０の（ａ）参照）。これに応じたコミュニケーション相手が手５０を差し出すと、コミュニケーション装置１は、移動物体である手５０の方向を見つつ泣いた目を表示する（図１０の（ｂ）参照）。なお、手５０が差し出されると、カメラ１５０は、図１１に示すように、例えば、コミュニケーション相手５１とコミュニケーション相手５１の手５０とを撮影することとなる。このため、手５０の位置などといった環境情報が取得されることとなる。続いて、カメラ１５０による撮影画像において手５０の占める領域が所定の割合（例えば半分）以上となると、手５０が近距離に存在していると認識され、コミュニケーション装置１は目を閉じた表示に切り替える（図１０の（ｃ）参照）。そして、手５０が離れると、コミュニケーション装置１は別の感情の表示に切り替える（図１０の（ｄ）参照）。なお、本実施の形態では、図１０の（ａ）から（ｂ）への視線の変動は、視線動作選択部１４２により選択される視線動作の推移により発生し、図１０の（ｂ）から（ｄ）までの表示の切り替えは、感情決定部１４１により決定される感情の推移により発生する。図１０に示した例では、「涙を拭いて？」とコミュニケーション相手に対してお願いすることで、触れ合いを積極的に促している。このため、コミュニケーション装置１とコミュニケーション相手との触れ合いが生じ、セラピー効果を促進することができる。また、その際、コミュニケーション相手の手を認識して視線を手の方向に向けるため、コミュニケーション相手からの働きかけをきちんと認識していることを伝えることができる。したがって、本物の動物とコミュニケーションをとっているような印象をコミュニケーション相手に与えることができる。

次に、上記実施の形態の変形例について説明する。
上記の実施の形態では、視線動作生成部１２０は、環境情報取得部１１０により取得された環境情報に応じた視線動作を生成した。しかしながら、視線動作生成部１２０は、環境情報に限らず、対話内容に基づいて視線動作を生成してもよい。すなわち、視線動作生成部１２０は、さらに、対話判定部１００により判定された対話内容に応じた視線動作を生成してもよい。これにより、例えば、コミュニケーション相手に共感する悲しみの表現と、コミュニケーション装置１の自発的な悲しみの表現とを分けることができる。これについて、具体例を示して説明する。例えば、コミュニケーション相手にコミュニケーション装置１が叱られていると、対話判定部１００により判定された場合、視線動作生成部１２０は、コミュニケーション相手以外の方向に視線を向ける視線動作を生成する。そして、視線動作選択部１４２は、コミュニケーション相手以外の方向に視線を向ける視線動作を表現対象として選択し、感情決定部１４１は悲しみを表現対象として選択する。これにより、図１２又は図１３に示すように、コミュニケーション相手と視線を合わせずに泣いた様子を表現することが可能となる。なお、図１２は、横方向に視線を向けて泣く表示例を示し、図１３は、うつむいて泣く表示例を示している。このようにして自発的な悲しみを表現することができる。また、例えば、コミュニケーション相手が怪我をして悲しんでいることが対話判定部１００により判定された場合、視線動作生成部１２０は、コミュニケーション相手の方向に視線を向ける視線動作を生成する。そして、視線動作選択部１４２は、コミュニケーション相手の方向に視線を向ける視線動作を表現対象として選択し、感情決定部１４１は悲しみを表現対象として選択する。これにより、図１４に示すように、コミュニケーション相手を見ながら泣いた様子を表現することが可能となる。このようにして共感による悲しみを表現することができる。

本変形例によれば、対話内容に応じた視線を感情とともに表示することが可能となる。このため、対話内容に応じた視線によって、感情の表現を補助することができ、感情表現を豊かにすることができる。すなわち、より細やかに表情を制御することができるため、本物の動物のような感情表現を再現することが可能となる。

なお、本発明は上記実施の形態及び変形例に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上記実施の形態では、物体の移動や音の発生についての環境情報に基づいて視線動作が生成されたが、これらに限らず、環境情報として、匂い、温度などの他の情報が用いられてもよい。

１ コミュニケーション装置
１０ 顔部
１１、１１Ａ、１１Ｂ ディスプレイ
１５ 環境測定装置
１６ 制御装置
１００ 対話判定部
１１０ 環境情報取得部
１２０ 視線動作生成部
１３０ 感情生成部
１４０ 統合部
１４１ 感情決定部
１４２ 視線動作選択部
１４３ 表出出力部
１５０ カメラ

Claims (5)

1. 顔部を備えるコミュニケーション装置であって、
   前記顔部に設けられたディスプレイと、
   前記コミュニケーション装置の周辺の環境についての情報である環境情報を取得する環境情報取得手段と、
   前記顔部において表現する前記コミュニケーション装置の視線動作であって、前記環境情報取得手段により取得された環境情報に応じた視線動作を生成する視線動作生成手段と、
   予め定められた生成規則に従って、前記顔部において表現する前記コミュニケーション装置の感情を生成する感情生成手段と、
   前記視線動作生成手段により生成された視線動作と前記感情生成手段により生成された感情とを表現する目の画像を前記ディスプレイに表示する表示制御手段と
   を有し、
   前記環境情報取得手段は、前記環境情報として、コミュニケーション相手が存在する方向と移動物体が存在する方向とを取得し、
   前記視線動作生成手段は、前記コミュニケーション相手が存在する方向を見る視線動作と、前記移動物体が存在する方向を見る視線動作とを生成し、
   前記表示制御手段は、前記視線動作生成手段により生成された視線動作から１つの視線動作を選択し、選択された視線動作と前記感情生成手段により生成された感情とを表現する目の画像を前記ディスプレイに表示し、
   前記移動物体についての前記環境情報を前記環境情報取得手段が取得する際に、目を閉じた画像が前記ディスプレイに表示されていた場合、前記表示制御手段は、前記移動物体が存在する方向を見る視線動作を選択せずに、前記感情生成手段により生成された感情を表現する目の画像を前記ディスプレイに表示する
   コミュニケーション装置。
2. 前記環境情報取得手段は、前記環境情報として、コミュニケーション相手が存在する方向と前記コミュニケーション装置の周辺の環境で発生した音の発生方向とを取得し、
   前記視線動作生成手段は、前記コミュニケーション相手が存在する方向を見る視線動作と、前記音の発生方向を見る視線動作とを生成し、
   前記表示制御手段は、前記視線動作生成手段により生成された視線動作から１つの視線動作を選択し、選択された視線動作と前記感情生成手段により生成された感情とを表現する目の画像を前記ディスプレイに表示する
   請求項１に記載のコミュニケーション装置。
3. 前記表示制御手段は、表現対象の感情が予め定められた感情に該当するときは、前記コミュニケーション相手が存在する方向を見る視線動作を選択する
   請求項１又は２に記載のコミュニケーション装置。
4. コミュニケーション相手との対話内容を判定する対話判定手段をさらに有し、
   前記視線動作生成手段は、さらに、前記対話判定手段により判定された対話内容に応じた視線動作を生成する
   請求項１乃至３のいずれか１項に記載のコミュニケーション装置。
5. 前記ディスプレイの表示画面は、前記顔部において表現される目の大きさ及び形状に対応する大きさ及び形状を有する
   請求項１乃至４のいずれか１項に記載のコミュニケーション装置。

Images