JP4701365B2 - 感情情報通知装置 - Google Patents

Description

この発明は、対象者の表情画像を長期にわたって記録し、かつ事後に検索するための感情情報通知装置の構成に関する。

現代生活は、我々が、職業上や、家庭内や、地域コミュニティの中で様々な役割を果たすことを要求している。

一方で、多くの国において、老齢人口の割合が増加しており、もはや自分のことを自分だけでできるという生活様式が困難になる人の割合も増加している。

日本においては、そのような老人はしばしば家族とともに生活しており、毎日かなりの時間にわたって家族が注意を払うことを要している。このことは、上述のような他の様々な役割を果たすことが要求される介護者にとって、被介護者から目を離せない状態が継続することになり、介護者の大きな精神的・肉体的な負担となる。

最終的には、このような介護者の負担を軽減し、被介護者に向ける注意の一部を肩代わりしてくれるようなシステムが開発されることが望ましい。

一方で、近年、撮像装置で撮影された画像から、撮像装置の周囲の物体の動き等を把握する方法が提案されている。その方法は、動画像のフレーム間でオプティカルフローを測定することにより、写っている物体の動きを把握するものである。

このような「オプティカルフロー」は、画像の各フレームに特徴照合法（パターンマッチング）や、時空間勾配法等を用いることにより求められる（たとえば、特許文献１、非特許文献１を参照）。

また、撮影された画像内での動き検出だけでなく、オプティカルフローを用いて、人間の表情と関連づける試みも報告されている（たとえば、非特許文献２を参照）。
特開２００４−３５５０８２号公報 Barrron, J. L., Fleet, D. J., Beauchemin, S.S.: Performance of optical flow techniques. The International Journal of Computer Vision, 12(1994)pp.43-77 Lyons, M.J., Funk, M., Kuwabara, K. : Segment and Browse: A Strategy for Supporting Human Monitoring of Facial Expression Behaviour, INTERACT 2005 (LNCS 3585), pp. 1120-1123 (2005).

しかしながら、顔画像の変化等を検知した場合に、他の作業をしている介護者に被介護者の心理状態を効果的に通知する方法は、必ずしも明らかではなかった。

本発明は、このような問題点を解決するためになされたものであって、その目的は、他の作業をしている介護者の作業を妨げることなく、被介護者の感情情報を通知することが可能な感情情報通知装置を提供することである。

この発明のある局面に従うと、感情情報通知装置であって、被験者に対する観測情報を得るための検知手段と、観測情報に応じて、被験者の感情状態を判断する感情状態算出手段と、感情状態の判断結果に応じて、外部から入力される音声信号に対して所定の音響効果を付加して出力する音響効果処理手段とを備える。

好ましくは、検知手段は、被験者の顔画像を含む対象画像領域についての動画像データを獲得する撮影手段を含み、感情状態算出手段は、動画像データを格納するための記憶装置と、記憶装置に格納された対象画像領域内において、顔を検出する顔検出手段と、検出された顔に対応する検出領域において、単位領域ごとに動きベクトルを検出する動き検出手段と、検出された動きベクトルの時間変化に基づいて、被験者の感情状態が少なくとも興奮状態であるかを判断する判断処理手段とを含む。

好ましくは、動き検出手段は、検出領域に対応する顔画像データにおいて格子点上の各点についてのオプティカルフローを、異なる複数の速度レベルで算出するオプティカルフロー算出手段を含み、異なる複数の速度レベルに対応したオプティカルフローに基づいて、動きベクトルに関連する情報として、被験者の頭の運動の大きさに相当する第１の情報と、被験者の表情の動きの大きさに相当する第２の情報とを抽出する演算手段をさらに備え、判断処理手段は、第１および第２の情報の累積に応じて、判断処理を行う。

（本発明の概要）
表情は人間の心的な状態の重要な情報を提供するものである。以下に説明するように、本発明は、被験者（被介護者）の感情状態を画像情報から判断し、判断された感情情報を音声情報に重畳された音響効果により介護者に通知するようなシステムである。ただし、被験者（被介護者）の感情状態を判断する手がかりとなるものであれば、検知される対象は表情に限られるものではなく、たとえば、被験者（被介護者）の音声の情報や皮膚抵抗などの生体情報などでもよい。また、被験者は、上述したような年長の被介護者でもよいし、たとえば、新生児のように世話の必要な者でもよい。

つまり、本発明の感情情報通知装置は、画像入力インタフェースを有するパーソナルコンピュータ等のコンピュータと、このコンピュータ上で実行されるソフトウェアと、カメラなどの撮像装置または音声などの情報を入力するためのマイクなどのセンサと、外部の再生装置から入力される音声信号に対して、判断された感情情報に応じた音響効果をこの入力された音声信号に付加して出力するための音響効果処理装置により実現されるものである。より典型的には、人物の顔の映像から、顔部分を抽出するとともに、この顔の内部の動きを検出して、この動き情報から被験者（被介護者）の感情状態を判断する。

なお、コンピュータについては、上述のような汎用コンピュータのみならず、専用機器に組み込まれた組込型のコンピュータであってもかまわない。

［ハードウェア構成］
以下、本発明の実施の形態にかかる感情情報通知装置について説明する。

図１は、本発明の感情情報通知装置１００の構成を示す概略ブロック図である。
図１を参照して、この感情情報通知装置１００は、パーソナルコンピュータなどのコンピュータ１１０と、コンピュータ１１０に接続され、ユーザ（介護者）２への情報を表示するための表示装置としてのディスプレイ１０８と、オーディオ再生装置２００から入力される音声信号に対してコンピュータ１１０が音響効果を付加した後の音声信号を再生するためのスピーカ１２０と、同じくコンピュータ１１０に接続され、ユーザ２からの指示や情報を入力するための入力装置としてのキーボード１０６と、被験者４の顔を含む画像を取込むためのカメラ１０２とを含む。なお、入力装置として、マウスや、タブレットとペンなどをさらに備える構成としてもよい。また、被験者４の感情状態を判断する手がかりとなる情報を取得するためのセンサーとして、マイクや、被験者４の皮膚抵抗の変化を検出し皮膚電気反射（Galvanic Skin Response(GSR)）を検知するために被験者４の皮膚表面に接触された電極等が設けられていてもよい。

また、この実施の形態のシステムでは、カメラ１０２としては、たとえば、ＣＣＤ（固体撮像素子）を含むビデオカメラを用いて、画像データをデジタルデータとしてキャプチャする。

なお、図示しないが、コンピュータ１１０には、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）ドライブなど、外部の記録媒体からのデータを取り込むための装置が設けられているものとする。

さらに、図１を参照して、コンピュータ１１０は、バスＢＳそれぞれに接続された、ＣＰＵ（Central Processing Unit ）１１０４と、ＲＯＭ（Read Only Memory) １１０６と、ＲＡＭ（Random Access Memory）１１０８と、ハードディスク１１１０と、カメラ１０２からの画像を取り込み、オーディオ再生装置２００からの音声信号を受け取り、音響効果の付加された音声信号を出力し、あるいは入力装置１０６からの信号を受け取るなどデータを授受するためのインタフェース部１１０２とを含んでいる。インタフェース部１１０２は、上述したようなセンサが設けられている場合は、これらのセンサからの入力信号を受け取る。

既に述べたように、感情情報通知装置１００として機能する部分の主要部は、コンピュータハードウェアと、ＣＰＵ１１０４により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアはＣＤ−ＲＯＭ等の記憶媒体に格納されて流通し、ＣＤ−ＲＯＭドライブ等により記憶媒体から読取られてハードディスク１１１０に一旦格納される。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから一旦ハードディスク１１１０にコピーされる。そうしてさらにハードディスク１１１０からＲＡＭ１１０８に読出されてＣＰＵ１１０４により実行される。なお、ネットワーク接続されている場合には、たとえば、ハードディスク１１１０に格納することなくＲＡＭ１１０８に直接ロードして実行するようにしてもよい。

図１に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分は、ＣＤ−ＲＯＭや、ハードディスク１１１０等の記憶媒体に記憶されたソフトウェアである。

なお、最近の一般的傾向として、コンピュータのオペレーティングシステムの一部として様々なプログラムモジュールを用意しておき、アプリケーションプログラムはこれらモジュールを所定の配列で必要な時に呼び出して処理を進める方式が一般的である。そうした場合、当該感情情報通知装置を実現するためのソフトウェア自体にはそうしたモジュールは含まれず、当該コンピュータでオペレーティングシステムと協働してはじめて感情情報通知装置が実現することになる。しかし、一般的なプラットフォームを使用する限り、そうしたモジュールまで含ませたソフトウェアを流通させる必要はなく、それらモジュールを含まないソフトウェア自体およびそれらソフトウェアを記録した記録媒体（およびそれらソフトウェアがネットワーク上を流通する場合のデータ信号）が実施の形態を構成すると考えることができる。

［ソフトウェア構成］
図２は、図１に示した感情情報通知装置１００上で動作するソフトウェアの構成を説明するための機能ブロック図である。

以下では、被験者（被介護者）の感情状態を判断する手がかりとなる情報としては、撮影された画像から検知される表情等の情報であるものとする。

図２においては、コンピュータ１１０上で動作するプログラムは、映像モジュールプログラム１２００と、キャプチャされてハードディスク１１１０に格納された動画像から被験者の感情状態を判断し、オーディオ再生装置２００から入力された音声信号に音響効果を付加するための音響効果付加モジュールプログラム１４００とを含む。なお、この音響効果付加モジュールプログラム１４００の機能は、ハードウェアにより実現されてもよい。

本発明では、このような構成とすることで、ユーザ２が作業をしながら聞いているユーザの好みのオーディオ再生装置２００からの音楽等に、被験者の感情に関する情報を重畳して、ユーザ２に対して通知することが可能となる。このため、被験者の感情に所定の変化が検知されない場合は、ユーザ２は所望の音楽等を聞きながら作業を継続することができる。

以下に説明するとおり、感情情報通知装置１００では、動画像が実時間で処理されて、顔の領域が分離され、表情が記録される。顔の動きを解釈するために、オプティカルフロー法が使用される。

映像モジュールプログラム１２００は、対象となる人物とその周りの環境も含めた動画像をカメラ１０２から獲得する画像キャプチャ部１２０２と、キャプチャされた動画像をハードディスク１１１０に格納するための画像データ記録処理部１２０４とを含む。画像キャプチャ部１２０２は、必要に応じて、カメラ１０２から入力されるデジタル動画像データを保存に適した画像フォーマットへとフォーマット変換を行なう。

映像モジュールプログラム１２００は、さらに、ハードディスク１１１０に格納された動画像から顔領域を抽出する顔検出部１２０８と、オプティカルフローに基づいて、抽出された顔自体または顔の内部の画像上の動きを特定するための情報（たとえば、画像内の動きベクトルの分布）の計算を行なうオプティカルフロー算出部１２０６とを含み、オプティカルフロー算出部１２０６は、顔画像の動画像データを算出された動きの属性データとともにハードディスク１１１０に格納する。

すなわち、顔画像の動画像データは、後により詳しく説明するようにして得られる、以下の２つの属性データと時間的に関連づけられながら、ハードディスク１１１０に格納される。

１）頭の剛体的な動きの指標（動きの大きさ：指標１）
２）表情や発話に起因する顔内部の動きの指標（動きの大きさ：指標２）
一方、音響効果付加モジュールプログラム１４００は、ハードディスク１１１０に格納された顔画像から得られた指標情報から指標の変化の特徴を抽出する特徴抽出部１４０２と、特徴抽出部１４０２で抽出された特徴に基づいて、感情の変化を算出する感情モデル算出部１４０４と、オーディオ再生装置２００からの音声信号をインターフェース部１１０２中の音声バッファ１３０を介して受け取り、後に説明するように、算出された感情の変化に対応する情報に応じて受け取った音声信号に対応する音響効果を付加して、スピーカ１２０に対して出力する音響効果処理部１４０６とを含む。

（映像モジュールプログラム１２００）
カメラ１０２からの動画像データの入力は、オプティカルフロー処理の演算量の削減や、ハードディスク１１１０へ格納するためのデータ容量の削減のために、たとえば、６４０×４８０画素から３２０×２４０画素に間引かれる。

周知の顔の検出アルゴリズムにより顔検出部１２０８が、カメラ１０２の視野の中に顔が存在するかどうかを決定し、それがどこに存在しているかも決定する。特に限定されないが、この顔検出のアルゴリズムは、頭の画像の中心の位置にくるように、顔に固定されたアスペクト比の矩形領域を登録する。たとえば、約３０°まで平面から回転している顔も正確に検出することができ、同様に、画像平面内において約３０°傾いた状態の顔も正確に検出することができる。顔画像はスケールされ、３０フレーム／秒までのレートで、各フレームに対応する顔画像が、たとえば、タイムスタンプとともに保存される。

オプティカルフロー算出部１２０６において、画像のオプティカルフロー領域が、さまざまなビデオフレーム間での動きを検出する。検出された動きベクトルは、顔の内部領域全体にわたる動きベクトルの平均とともに、顔画像の動画像データと関連づけてハードディスク１１１０に保存される。

オプティカルフローは、視覚的なシーンにおいて、動きにより、画像領域がずれることを測定する。固定されたカメラと近似的に一定な照明に対しては、オプティカルフローのフィールドは、局所的な速度を計っていることになる。オプティカルフローを計算するために用いる方法としては、特に限定されないが、非特許文献１に記載されている、ブロックマッチングあるいはブロック相関として知られているものを使用することが可能である。

ブロック相関技術を用いることで、ある画像フレームの領域が、それに続くフレーム中の全く同じサイズの領域にマッチングされる。このようなマッチングは、画像間の距離（たとえば、各画素の輝度の差の絶対和または自乗和など）の大きさを最小化することによって決定される。たとえば、１５ｆｐｓのフレームレートのオプティカルフローフィールドにおいては、顔の内部の動作による特徴量の変位は、各時間ステップに対して数ピクセル程度になる。

速度として動きを計測するために、たとえば、１、３、５、７および１０ビデオフレームだけ離れたフレーム間でのオプティカルフローフィールドを計算する。オプティカルフローの値は、さらに、顔検知モジュールによって検出された顔の内部部分に対応している各領域について、対応するフレーム間について平均処理がされる。

図３は、顔画像について検出されたオプティカルフローのフィールドの例を示す図である。

顔の片側をこわばらせる動きをした場合に、顔画像上の格子点（これをフィールドと呼ぶ）の各々において、動きベクトルが白い矢印で示されている。

顔のこわばりの途中や、表情を緩める途中のように動きのある場合には、顔の各部の動きに応じて、動きベクトルが現れているのがわかる。

オプティカルフロー算出部１２０６において算出されるオプティカルフロー値の平均において、上述した１、３、５、７および１０ビデオフレームの間隔において平均処理により求められた動きベクトルの大きさである５つの速度レベルについて、動作速度の分布が求められる。このため、そのような動きが大きく顔全体（頭）が剛体的に動いたことによる動作に対応しているものなのか、あるいは表情や会話に対応するもっと微妙な動作に対応しているものであるかが検知できる。つまり、顔全体が動いているときは、５つの動きベクトルのいずれにもピークが現れるのに対し、顔の内部の動きであれば、ビデオフレーム間隔に依存して、ピークの存在する速度レベルと存在しない速度レベルとが混在するというように、顔の動きの解釈を特徴抽出部１４０２が行なうことができる。

特に限定されないが、特徴抽出部１４０２は、以下の式に従って、上記指標１および指標２に相当する特徴量を算出する。

ここで、添字Ｘは、Ｘ＝｛Ｒ，ＮＲ｝であって、Ｒのときは、指標１の剛体的な動きに対応する特徴量を意味し、ＮＲのときは、指標２の顔内部の動きに対応する特徴量であることを示す。

また、この特徴量の更新は、時間間隔Ｔ（たとえば、０．５秒）で行われる。ｎは、期間［ｔ−Ｔ、ｔ］の間に指標１または指標２がそれぞれ所定のしきい値を超えた回数であり、δは、積算係数（たとえば、０．０５）である。

そして、もう一つの指標（指標３）として、画像内に顔が検出されるかを示す情報を用いる。特徴抽出部１４０２は、この指標３を、画面内から所定の期間（たとえば、１５秒）顔画像が検出されないと、所定レベル以下に減衰するように変化させる。

感情モデル算出部１４０４は、指標３が所定レベル以上である場合には、たとえば、以下の式に従って、感情状態を算出する。

したがって、これも特に限定されないが、たとえば、感情モデル算出部１４０４の算出結果により、「興奮状態」と判断された場合には、音響効果処理部１４０６は、オーディオ再生装置２００から受け取った音声信号に所定の音響効果を付加して、スピーカ１２０に対して出力する。

なお、皮膚電気反射を単独で測定する場合は、たとえば、「皮膚伝導度」が所定の値よりも大きいときを、「興奮状態」と判断することができる。

さらに、たとえば、顔画像と皮膚電気反射を併せて観測する場合は、たとえば、上記のような感情状態の算出結果が「興奮状態」を示すか、または「皮膚伝導度」が所定の値よりも大きいときには、「興奮状態」と判断することができる。

（音響効果付加モジュールプログラム１４００）
図４は、音響効果付加モジュールプログラム１４００において、付加される音響効果の例を示す図である。

以下では、音響効果を以下のようなコード名で呼ぶこととする。
すなわち、「Ｎ」は「音響効果なし」を、「ＬＰ」は「低域透過フィルター処理」を、「ＳＢ」は「２ビート分後方スキップ」を、「ＳＦ」は「２ビート分前方スキップ」を、「ＨＰ」は「高域透過フィルター処理」を、「ｄｕｂ」は「ダブ効果（エコー処理をしつつ、８ビート分の部分を８ビート遅らせて再生）」を、「ＦＳ」は「１２ビート区間を１００〜１０，０００Ｈｚまでフィルタースイープ処理」を、「ＲＷ」は「１ビート分後方に再生してから、前方に再生」を、「ｄｕｂ ＨＰ」は「ダブ処理＋高域透過フィルター処理」を、「ｄｕｂ ＬＰ」は「ダブ処理＋低域透過フィルター処理」を、「Ｔ」は「１ビート期間、テンポを±１０％変更」を、「ＦＧ」は「間欠的なフランジ効果」を、「ｖｏｌ」は「１２ビート期間、振幅を±１０％変更」を、「ＦＧ ＨＰ」は「間欠的なフランジ効果＋高域透過フィルター処理」を、それぞれ示す。

ここで、音響効果付加モジュールプログラム１４００が付加する音響効果は、その音響効果がユーザ２に与える印象が、被験者４の「感情状態」を連想させるものであることが望ましい。このような連想が働く場合は、ユーザ２は、直感的に被験者４の「感情状態」を感知することができる。

図５は、図４に示した音響効果に対する官能実験の結果を示す図である。
この官能実験では、１０人の被験者が、４５個の音楽のサンプル（音楽クリップ）を、それぞれの２０秒間聞いた。音楽サンプルは、異なったジャンルの３つの歌、ボサノバ、クラシック（ソロのピアノ）と電子音楽である。

被験者は、ランダムな順番で、オリジナルの音楽クリップと、それに続いて１４の音響効果が施されたバージョンを聞いて、そして３つの基準に従ってこれらを評価した。まず、音楽から受ける活動レベルの印象を、リラックスしていると感じたときは「１」、通常状態と感じたときは「２」、興奮していると感じたときは「３」と評価した。さらに、そのような音響効果が施されているかどうかを認知できるかについて、「効果が認識できない」ときは「１」、単に感じられるのみのときは「２」、感知できると認識したときは「３」、明らかに感じられるときは「４」、非常に顕著なときは「５」と評価した。また、音楽の不快度を、非常に楽しいときは「１」、楽しいときは「２」、ニュートラルでは「３」、不快なときは「４」、非常に不快なときは「５」と評価した。評価は、各項目について平均された。

図５の結果からは、たとえば、「ＬＰ」「ＦＳ」などは、「リラックス状態」を表現するのに適しており、「ｄｕｂ ＨＰ」「ＲＷ」などは、「興奮状態」を表現するのに適していることがわかる。

以上のとおり、本発明によれば、他の作業をしている介護者の作業を妨げることなく、被介護者の感情情報を通知することが可能となる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の感情情報通知装置１００の構成を示す概略ブロック図である。 感情情報通知装置１００上で動作するソフトウェアの構成を説明するための機能ブロック図である。 顔画像について検出されたオプティカルフローのフィールドの例を示す図である。 音響効果付加モジュールプログラム１４００において、付加される音響効果の例を示す図である。 図４に示した音響効果に対する官能実験の結果を示す図である。

符号の説明

２ ユーザ、４ 被験者、１００ 感情情報通知装置、１０２ カメラ、１０６ キーボード、１０８ ディスプレイ、１１０ コンピュータ、２００ オーディオ再生装置、１１０２ インタフェース部、１１０４ ＣＰＵ、１１０６ ＲＯＭ、１１０８ ＲＡＭ、１１１０ ハードディスク、１２００ 映像モジュールプログラム、１２０２ キャプチャ部、１２０４ 画像データ記録処理部、１２０６ オプティカルフロー算出部、１２０８ 顔検出部、１４００ 音響効果付加モジュールプログラム、１４０２ 特徴抽出部、１４０４ 感情モデル算出部、１４０６ 音響効果処理部。

Claims (1)

1. 被験者に対する観測情報を得るための検知手段を備え、
   前記検知手段は、前記被験者の顔画像を含む対象画像領域についての動画像データを獲得する撮影手段を含み、
   前記観測情報に応じて、前記被験者の感情状態を判断する感情状態算出手段をさらに備え、
   前記感情状態算出手段は、
   前記動画像データを格納するための記憶装置と、
   前記記憶装置に格納された前記対象画像領域内において、顔を検出する顔検出手段と、
   前記検出された顔に対応する検出領域において、単位領域ごとに動きベクトルを検出する動き検出手段とを含み、
   前記動き検出手段は、前記検出領域に対応する顔画像データにおいて格子点上の各点についてのオプティカルフローを、それぞれ異なる複数のフレームだけ離れたフレーム間で前記動きベクトルを算出することによって異なる複数の速度レベルで算出するオプティカルフロー算出手段を有し、
   前記感情状態算出手段は、
   前記異なる複数の速度レベルに対応した前記オプティカルフローに基づいて、前記動きベクトルに関連する情報として、前記被験者の頭の運動の大きさに相当する第１の情報と、前記被験者の表情の動きの大きさに相当する第２の情報とを抽出する演算手段と、
   検出された前記動きベクトルの時間変化に基づき、前記第１および第２の情報の累積に応じて、前記被験者の前記感情状態が少なくとも興奮状態であるかを判断する判断処理手段とをさらに含み、
   前記感情状態の判断結果に応じて、外部から入力される音声信号に対して所定の音響効果を付加して出力する音響効果処理手段をさらに備える、感情情報通知装置。