JP5225870B2 - 情動分析装置 - Google Patents

Description

本発明は、利用者が視認する対象物への情動を分析する装置に関し、特に、一次情動反応以降の高次の情動反応を捉え、対象物に対する興味・関心を精度高く判定する技術に関する。

従来、映像コンテンツに対する興味・関心度合いを算出することにより、その映像コンテンツを評価する装置が知られている（特許文献１を参照）。この映像コンテンツ評価装置は、映像コンテンツを見ている人間の眼球画像をカメラにより撮影し、その眼球画像から視線の動き、瞳孔面積、瞳孔径変化、瞬目発生頻度、眼球停留時間、反応時間等の生理反応データを算出し、これらのデータを映像コンテンツに対する人間の情動反応として扱い、映像コンテンツに対する興味・関心度合いを算出するものである。これにより、映像コンテンツを評価することができる。

このような映像コンテンツ評価装置において、視線の動き、瞳孔面積等は、眼球画像に基づいて算出される。具体的には、視線を検出するために、例えば、眼球へ赤外線を照射して撮影した眼球画像と、赤外線を照射していないときに撮影した眼球画像との差分画像が用いられる（特許文献２を参照）。また、視線を一層精度高く検出するために、例えば、眼球形状モデルが用いられる（非特許文献１を参照）。

ところで、人が見ている対象物等に対する視線の動きを検出するための眼鏡が知られている（非特許文献２を参照）。この眼鏡には、人の眼球を撮影するカメラ（眼球撮影用カメラ）、及びその人が実際に見ている対象物及びその背景等を撮影するカメラ（視野映像撮影用カメラ）が設けられ、眼球撮影用カメラにより撮影された眼球画像、及び視野映像撮影用カメラにより撮影された視野映像を格納する記録媒体を備えている。制御装置は、記憶媒体から眼球画像及び視野映像を読み出し、画像処理を行うことにより、視野映像内の視線の動きを検出し、視点（位置）、瞳孔面積、瞳孔径変化、瞬目発生頻度、眼球停留時間等を算出する。

一方、前述した映像コンテンツ評価装置により映像コンテンツを評価したり、眼鏡に設けられた視野映像撮影用カメラにより撮影された視野映像を評価したりする際に、人は映像コンテンツまたは視野映像に含まれる特定の対象物に興味・関心を示すことになるから、その映像の大局的な動き（グローバル動き）を捉えて対象物を特定することが必要となる（非特許文献３，４及び特許文献３を参照）。

特開２００４−２８２４７１号公報 特開２００７−４４４８号公報 特許３５５１９０８号公報

大野健彦、他２名、「眼球形状モデルに基づく視線測定法」、第８回画像センシングシンポジウム、ｐｐ．３０７−３１２、２００２年 "モバイル型アイマークレコーダ ＥＭＲ−９"、［online］、株式会社ナックイメージテクノロジー、［平成２０年９月１０日検索］、インターネット＜ＵＲＬ：http://www.eyemark.jp/product/emr_9/index.html＞ 秦泉寺久美、他２名、「スプライト生成のためのグローバルモーション算出法と符号化への適用」、電子情報通信学会論文誌 Ｄ−２ Ｖｏｌ．Ｊ８３−Ｄ−２ Ｎｏ．２、ｐｐ．５３５−５４４、２００２年２月 Ｄａｖｉｄ Ａ．Ｆｏｒｓｙｔｈ，Ｊｅａｎ Ｐｏｎｃｅ著、大北剛訳、「コンピュータビジョン」、ＩＳＢＮ９７８−４−３２０−１２１５７−７、共立出版、ｐｐ３５８−３６１，５６１

前述した映像コンテンツ評価装置は、眼球画像から得た視線の動き、瞳孔径等の生理反応データを情動反応として扱い、映像コンテンツに対する興味・関心度合いを算出する。つまり、興味・関心度合いを、視線の動き、瞳孔径等の一次的な情動反応のみに基づいて算出している。

しかしながら、人間の実際の情動反応には、対象物を見たときに脳の皮質下（脳の中心の方）で生じる本能的な反応である一次的な情動反応（一次情動反応）と、人間の意識が関係する高次の情動反応（二次情動反応）とがある。したがって、一次情動反応のみを捉える映像コンテンツ評価装置では、必ずしも正確な興味・関心の度合いを算出することができるとは限らない。すなわち、前述した映像コンテンツ評価装置では、対象物に対する興味・関心の有無を精度高く判定することができなかった。

このため、人が対象物に興味・関心を持つ過程を客観的に捉え、対象物に対する興味・関心の有無を精度高く判定することが望まれていた。

そこで、本発明は上記課題を解決するためになされたものであり、その目的は、人（利用者）が視認する対象物への情動を、一次情動反応及び二次情動反応として捉えることにより、対象物に対する興味・関心を精度高く判定可能な情動分析装置を提供することにある。

上記目的を達成するために、本発明による情動分析装置は、利用者が視認する対象物を含む視野映像を用いて、前記利用者の対象物に対する情動を分析する情動分析装置において、前記利用者の生命現象に伴って変化する生理反応データに基づいて、前記対象物を含む視野映像に対して情動反応を示していることを判定し、一次情動反応有りの判定結果を出力する一次情動反応判定手段と、前記一次情動反応判定手段により出力された一次情動反応有りの判定結果を入力し、その後の前記利用者の顔面の動きに伴って変化する動きの大きさを示す顔面動きデータに基づいて、顔面動きが有ることを判定し、顔面動きＯＫの判定結果を出力する動き判定手段と、前記動き判定手段により出力された顔面動きＯＫの判定結果を入力し、その後の前記生理反応データに基づいて、前記対象物を含む視野映像に対して情動反応を示していることを判定し、二次情動反応有りの判定結果を出力する二次情動反応判定手段と、を備え、前記一次情動反応判定手段により一次情動反応有りの判定結果が出力され、かつ、前記動き判定手段により顔面動きＯＫの判定結果が出力され、かつ、前記二次情動反応判定手段により二次情動反応有りの判定結果が出力された場合に、前記一次情動反応判定手段により情動反応を判定したときの前記生理反応データと、前記二次情動反応判定手段により情動反応を判定したときの前記生理反応データとに基づいて、前記情動反応の程度を判定する、ことを特徴とする。

また、本発明による情動分析装置は、前記利用者の生命現象に伴って変化する生理反応データを、前記利用者の眼球が撮影された眼球画像から得られた眼球の動きに伴う生理反応データとし、前記利用者の顔面動きデータを、前記利用者が視認する情景が撮影された視野映像における基準フレームの映像から任意のフレームの映像への座標変換により得られた顔面動きの大きさと方向を含む顔面動きデータとし、前記一次情動反応判定手段が、前記眼球画像における眼球の瞳孔から得られた前記視野映像内の位置を示す視点が前記視野映像内の所定箇所に所定時間以上存在し、かつ、前記生理反応データと予め設定された第１のしきい値とを比較し、一次情動反応有りを判定して前記一次情動反応有りの判定結果を出力し、前記動き判定手段が、前記一次情動反応判定手段により出力された一次情動反応有りの判定結果を入力し、その後の前記視点の動き方向と前記顔面動き方向とを比較し、これらの動きが逆方向であると判定し、かつ、前記視点の動きの大きさと前記顔面動きの大きさとを比較し、これらの差が所定値以下であると判定し、かつ、前記顔面動きの大きさと予め設定された第２のしきい値とを比較し、顔面動きＯＫを判定して前記顔面動きＯＫの判定結果を出力し、前記二次情動反応判定手段が、前記動き判定手段により出力された顔面動きＯＫの判定結果を入力し、その後の前記視点が視野映像内の中央から所定範囲内の箇所に所定時間以上存在し、かつ、前記生理反応データと予め設定された第３のしきい値とを比較し、二次情動反応有りを判定して前記二次情動反応有りの判定結果を出力する、ことを特徴とする。

また、本発明による情動分析装置は、前記一次情動反応判定手段が、前記顔面動きの大きさが所定値以下となるフェーズ１のときに、前記視点が前記視野映像内の所定箇所に所定時間以上存在し、かつ、前記顔面動きの大きさが所定値を越えるフェーズ２が開始する前に、前記生理反応データと予め設定された第１のしきい値とを比較し、一次情動反応有りを判定して前記一次情動反応有りの判定結果を出力する、ことを特徴とする。

また、本発明による情動分析装置は、前記動き判定手段が、前記一次情動反応判定手段により出力された一次情動反応有りの判定結果を入力し、前記フェーズ１の後に顔面動きの大きさが所定値を超えるフェーズ２のときに、前記視点の動き方向と前記顔面動き方向とを比較し、これらの動きが逆方向であると判定し、かつ、時間的に連続する視点が複数存在する所定範囲内の重心座標を視点停留点としたときの前記視点停留点の動きの大きさと前記顔面動きの大きさとを比較し、これらの差が所定値以下であると判定し、かつ、前記顔面動きの大きさと予め設定された第２のしきい値とを比較し、顔面動きＯＫを判定して前記顔面動きＯＫの判定結果を出力する、ことを特徴とする。

また、本発明による情動分析装置は、前記二次情動反応判定手段が、前記動き判定手段により出力された顔面動きＯＫの判定結果を入力し、前記フェーズ２の後に顔面動きの大きさが所定値以下となるフェーズ３のときに、前記視点が視野映像内の中央から所定範囲内の箇所に所定時間以上存在し、かつ、前記生理反応データと予め設定された第３のしきい値とを比較し、二次情動反応有りを判定して前記二次情動反応有りの判定結果を出力する、ことを特徴とする。

また、本発明による情動分析装置は、さらに、前記フェーズ３が開始した後に、前記視点を含む箇所に存在していた対象物を前記視野映像から抽出し、前記フェーズ２が開始する前に、前記フェーズ３が開始した後の視点を基準にして、前記フェーズ２の顔面動きにより示される箇所に存在していた対象物を前記視野映像から抽出し、前記抽出した両対象物の同一性を求める対象物同定手段、を備えたことを特徴とする。

また、本発明による情動分析装置は、利用者が視認する対象物を含む視野映像を用いて、前記利用者の対象物に対する情動を分析する情動分析装置において、前記利用者が視認する情景が撮影された視野映像における基準フレームの映像から任意のフレームの映像への座標変換により得られた顔面動きの大きさを含む顔面動きデータを用いて、前記顔面動きの大きさと、予め設定された第１のしきい値とを比較し、前記顔面動きの大きさが前記しきい値以下となる時間が所定時間以上の場合に、一次情動反応有りを判定して一次情動反応有りの判定結果を出力する一次情動反応判定手段と、前記一次情動反応判定手段により出力された一次情動反応有りの判定結果を入力し、その後の前記顔面動きの大きさと予め設定された第２のしきい値とを比較し、顔面動きＯＫを判定して前記顔面動きＯＫの判定結果を出力する動き判定手段と、前記動き判定手段により出力された顔面動きＯＫの判定結果を入力し、その後の前記顔面動きの大きさと予め設定された第３のしきい値とを比較し、前記顔面動きの大きさが前記しきい値以下となる時間が所定時間以上の場合に、二次情動反応有りを判定して二次情動反応有りの判定結果を出力する二次情動反応判定手段と、を備え、前記一次情動反応判定手段により一次情動反応有りの判定結果が出力され、かつ、前記動き判定手段により顔面動きＯＫの判定結果が出力され、かつ、前記二次情動反応判定手段により二次情動反応有りの判定結果が出力された場合に、前記視野映像に含まれる対象物に対して情動を示していると判定する、ことを特徴とする。

また、本発明による情動分析装置は、前記利用者の生命現象に伴って変化する生理反応データを、前記利用者の眼球が撮影された眼球画像における眼球の瞳孔から得られた前記視野映像内の位置を示す視点が前記視野映像の所定箇所に存在している視点停留時間とし、前記一次情動反応判定手段が、前記視点停留時間と予め設定された第１のしきい値とを比較し、一次情動反応有りを判定して前記一次情動反応有りの判定結果を出力し、前記二次情動反応判定手段が、前記動き判定手段により出力された顔面動きＯＫの判定結果を入力し、その後の前記視点停留時間と予め設定された第３のしきい値とを比較し、二次情動反応有りを判定して前記二次情動反応有りの判定結果を出力する、ことを特徴とする。

また、本発明による情動分析装置は、前記利用者の顔面動きデータを、前記利用者が視認する情景が撮影された視野映像における基準フレームの映像から任意のフレームの映像への座標変換により得られた顔面動きの大きさを含む顔面動きデータとし、前記一次情動反応判定手段が、前記顔面動きの大きさと予め設定された第１−１のしきい値とを比較し、前記顔面動きの大きさが前記しきい値以下となる時間が所定時間以上であり、かつ、前記生理反応データと予め設定された第１−２のしきい値とを比較し、一次情動反応有りを判定して前記一次情動反応有りの判定結果を出力し、前記動き判定手段が、前記一次情動反応判定手段により出力された一次情動反応有りの判定結果を入力し、その後の前記顔面動きの大きさと予め設定された第２のしきい値とを比較し、顔面動きＯＫを判定して前記顔面動きＯＫの判定結果を出力し、前記二次情動反応判定手段が、前記動き判定手段により出力された顔面動きＯＫの判定結果を入力し、その後の前記顔面動きの大きさと予め設定された第３−１のしきい値とを比較し、前記顔面動きの大きさが前記しきい値以下となる時間が所定時間以上であり、かつ、前記生理反応データと予め設定された第３−２のしきい値とを比較し、二次情動反応有りを判定して前記二次情動反応有りの判定結果を出力する、ことを特徴とする。

また、本発明による情動分析装置は、前記利用者の顔面動きデータを、前記利用者の顔面の動きを捉える加速度センサからのデータを用いて得られた顔面動きデータとする、ことを特徴とする。

また、本発明による情動分析装置は、前記一次情動反応判定手段により情動反応を判定したときの前記生理反応データに基づいて、前記一次情動反応の程度を表す数値データを出力し、前記二次情動反応判定手段により情動反応を判定したときの前記生理反応データに基づいて、前記二次情動反応の程度を表す数値データを出力する手段、を備えたことを特徴とする。

また、本発明による情動分析装置は、前記一次情動反応及び二次情動反応におけるそれぞれの情動の程度を表す数値データに基づいて一次・二次総合情動を表す数値データを算出して外部の制御機器へ出力し、前記一次・二次総合情動を表す数値に基づいて外部の制御機器を動作させる、ことを特徴とする。

また、本発明による情動分析装置は、前記視野映像が視野映像撮影用カメラにより撮影され、前記眼球画像が眼球撮影用カメラにより撮影され、前記視野映像撮影用カメラ及び眼球撮影用カメラが、利用者が装着している眼鏡または帽子に設けられている、ことを特徴とする。

また、本発明による情動分析装置は、前記利用者から離れた箇所から前記利用者を撮影するための顔面撮影用カメラが設けられ、前記利用者の顔面動きデータを、前記顔面撮影用カメラが撮影した顔面映像から得られた顔面動きデータとする、ことを特徴とする。

以上のように、本発明によれば、利用者が視認する対象物への情動を、一次情動反応及び二次情動反応として捉え、対象物に対する興味・関心を判定するようにした。これにより、一次情動のみに基づく判定よりも、対象物に対する興味・関心を精度高く判定することが可能となる。

本発明の第１の実施形態（実施例１）による情動分析装置の構成を示すブロック図である。 対象物に興味・関心を持つ場合の視認過程を示す図である。 図２の視認過程を説明するための全体の視野映像の例を示す図である。 フェーズ１，２，３の視野映像の例を示す図である。 一次・二次情動反応解析制御部による処理を示すフローチャートである。 実施例１によるフェーズ１の一次情動反応判定処理を示すフローチャートである。 実施例１によるフェーズ２の動き判定処理を示すフローチャートである。 実施例１によるフェーズ３の二次情動反応判定処理を示すフローチャートである。 実施例１による対象物同定処理を示すフローチャートである。 視点・瞳孔径解析部により視点を算出する処理を説明する図である。 フェーズ１〜３における情動反応Ｅ（ｔ）の変化を示すグラフである。 実施例１によるフェーズ１〜３の処理を説明する図である。 本発明の第２の実施形態（実施例２）による情動分析装置の構成を示すブロック図である。 実施例２によるフェーズ１の一次情動反応判定処理を示すフローチャートである。 実施例２によるフェーズ２の動き判定処理を示すフローチャートである。 実施例２によるフェーズ３の二次情動反応判定処理を示すフローチャートである。 実施例２による対象物同定処理を示すフローチャートである。 本発明の第３の実施形態（実施例３）による情動分析装置の構成を示すブロック図である。 本発明の第４の実施形態（実施例４）による情動分析装置の構成を示すブロック図である。 本発明の第６の実施形態（実施例６）による情動分析装置の構成を示すブロック図である。 実施例６によるフェーズ１の一次情動反応判定処理を示すフローチャートである。 実施例６によるフェーズ３の二次情動反応判定処理を示すフローチャートである。 本発明の第７の実施形態（実施例７）による情動分析装置の構成を示すブロック図である。 情動反応データ処理部により表示される画面の例を示す図である。 本発明の第１〜７の実施形態による情動分析装置のハードウェア構成を示す概略図である。 一次・二次情動反応解析制御部の構成を示す図である。

以下、本発明を実施するための形態について、図面を参照して説明する。以下に示す実施例１において、情動が分析される利用者は眼鏡を装着しており、その眼鏡には、利用者の眼球を撮影する眼球撮影用カメラ、及びその利用者が視認できる対象物及び背景等の情景を撮影する視野映像撮影用カメラが設けられている。また、利用者は情動分析装置を装着しており、その情動分析装置は、眼鏡に設けられた眼球撮影用カメラにより撮影された眼球画像、及び視野映像撮影用カメラにより撮影された視野映像をそれぞれ入力し、眼球画像に基づいて情動反応Ｅ（ｔ）を算出し、一次情動反応及び二次情動反応の判定等を行って情動反応データを算出するための各種処理を行う。

また、実施例２において、利用者は、視野映像撮影用カメラが設けられた眼鏡、及び情動分析装置を装着している。情動分析装置は、視野映像撮影用カメラにより撮影された視野映像を入力し、一次情動反応及び二次情動反応の判定等を行って情動反応データを算出するための各種処理を行う。尚、視野映像が眼鏡に備えた記憶媒体に格納される場合は、情動分析装置は、その記憶媒体から視野映像を読み出して、各種処理を行うようにしてもよい。この場合、情動分析装置は利用者に装着されていない。

また、実施例３において、利用者は、眼球撮影用カメラ及び視野映像撮影用カメラが設けられた眼鏡、及び情動分析装置を装着している。情動分析装置は、眼球撮影用カメラにより撮影された眼球画像、加速度センサデータ、及び視野映像撮影用カメラにより撮影された視野映像を入力する。そして、眼球画像に基づいて情動反応Ｅ（ｔ）を算出し、一次情動反応及び二次情動反応の判定等を行って情動反応データを算出するための各種処理を行う。

また、実施例４において、利用者は、視野映像撮影用カメラが設けられた眼鏡、及び情動分析装置を装着している。情動分析装置は、加速度センサデータ、及び視野映像撮影用カメラにより撮影された視野映像を入力し、一次情動反応及び二次情動反応の判定等を行って情動反応データを算出するための各種処理を行う。

また、実施例５において、利用者は、眼球撮影用カメラ及び視野映像撮影用カメラが設けられた眼鏡、及び情動分析装置を装着している。情動分析装置は、眼球撮影用カメラにより撮影された眼球画像から得られる視点の停留時間に基づいて、一次情動反応及び二次情動反応の判定等を行って情動反応データを算出するための各種処理を行う。

また、実施例６において、利用者は、視野映像撮影用カメラが設けられた眼鏡、及び情動分析装置を装着している。情動分析装置は、生理反応データ、及び視野映像撮影用カメラにより撮影された視野映像を入力し、生理反応データに基づいて情動反応Ｅ（ｔ）を算出し、一次情動反応及び二次情動反応の判定等を行って情動反応データを算出するための各種処理を行う。

また、実施例７において、利用者は、視野映像撮影用カメラが設けられた眼鏡、及び情動分析装置を装着している。情動分析装置は、生理反応データ、加速度センサデータ、及び視野映像撮影用カメラにより撮影された視野映像を入力し、生理反応データに基づいて情動反応Ｅ（ｔ）を算出し、一次情動反応及び二次情動反応の判定等を行って情動反応データを算出するための各種処理を行う。

尚、眼球画像及び／または視野映像が眼鏡に備えた記憶媒体、または眼鏡に接続された記憶媒体に格納される場合は、情動分析装置は、その記憶媒体から眼球画像及び／または視野映像を読み出して、各種処理を行うようにしてもよい。さらに、眼球画像及び／または視野映像が各カメラから無線または有線の通信回線を通じて情動分析装置へ送り込まれる場合についても、情動分析装置は各種処理を行う。これらの場合、情動分析装置は利用者に装着されていない。加速度センサデータ及び／または生理反応データが記憶媒体に格納される場合や、無線または有線の通信回線を通じて送り込まれる場合についても同様である。以下、実施例１〜７についてそれぞれ説明する。

〔実施例１／構成〕
まず、本発明の第１の実施形態（実施例１）について説明する。図２５は、実施例１の情動分析装置のハードウェア構成を示す図である。尚、後述する実施例２〜７の情動分析装置２〜７のハードウェア構成も、図２５に示すものと同様である。図２５を参照して、この情動分析装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、各種プログラムやテーブル等を記憶するＲＯＭ及びＲＡＭからなる記憶部１０２と、各種アプリケーションのプログラムやデータ等を記憶する記憶装置（ハードディスク装置）１０３と、無線または有線の通信回線を通じてデータの送受信を行う通信部１０４と、眼球撮影用カメラにより撮影された眼球画像、視野映像撮影用カメラにより撮影された視野映像、その他のセンサ（例えば実施例３では加速度センサ）により計測されたデータを入力するインターフェース部１０５と、利用者による数字キー、電源キー等のボタンキーの操作に伴い、所定のデータを入力制御する操作・入力部１０６、液晶ディスプレイ、有機ＥＬディスプレイ等により実現され、利用者が情動分析装置１を操作するための画面等の各種情報を表示する表示部１０７と、充電可能な電池を備え、情動分析装置１として機能させるための電源を供給する電源部１０８とを備えて構成され、これらの各構成要素はシステムバス１０９を介して相互に接続される。また、ＣＰＵ１０１及び記憶部１０２により制御部１００が構成される。

記憶部１０２には、情動分析装置１の基本的な機能を提供するためのＯＳ（オペレーティングシステム）プログラム、通信部１０４を介して外部の端末装置、サーバ等との間で通信を行う通信プログラム、後述する視点・瞳孔径解析処理、視野映像画像処理・顔面動き推定処理、一次・二次情動反応解析処理（一次情動反応判定処理、二次情動反応／動き判定処理、二次情動反応判定処理及び対象物同定処理）、情動反応データ処理を行う情動分析プログラム等が記憶されている。尚、この情動分析プログラムは、通常は記憶装置１０３に記憶されており、情動分析装置１が前記処理を行うときに、ＣＰＵ１０１により記憶装置１０３から記憶部１０２のＲＡＭに読み出されて実行される。

ここで、ＯＳプログラムは、記憶部１０２のＲＯＭに記憶されており、ＣＰＵ１０１によって読み出されて実行されることにより、情動分析装置１の基本的な機能として、記憶部１０２、記憶装置１０３、通信部１０４、インターフェース部１０５、操作・入力部１０６、表示部１０７及び電源部１０８を管理する。そして、このＯＳプログラムがＣＰＵ１０１によって実行された状態で、前述の通信プログラム、情動分析プログラム等が実行される。

制御部１００は、前述のようにＣＰＵ１０１及び記憶部１０２から構成され、ＣＰＵ１０１が記憶部１０２または記憶装置１０３に記憶された各種プログラムを読み出して実行することにより、情動分析装置１全体を統括制御する。このように、情動分析装置１は、図２５に示したハードウェア構成により、制御部１００が情動分析プログラムに従って各種処理を行う。

図１は、実施例１による情動分析装置の構成を示すブロック図であり、制御部１００が情動分析プログラムにより処理を実行する際の機能構成を示している。この情動分析装置１は、視点・瞳孔径解析部１１、視野映像画像処理・顔面動き推定部１２、一次・二次情動反応解析制御部１３及び情動反応データ処理部１４を備えている。

視点・瞳孔径解析部１１は、眼鏡に設けられた眼球撮影用カメラが撮影した利用者の眼球画像を入力し、その眼球画像を解析することにより、後述する視野映像を平面としたときの視点（視野映像における視点の位置座標）及び瞳孔径を算出し、視点及び瞳孔径を一次・二次情動反応解析制御部１３に出力する。

図１０は、視点・瞳孔径解析部１１により視点を算出する処理を説明する図である。図１０において、視線と視野映像の撮像面（情景が仮想的に投影されて撮像対象となる面）との交差点（ｓ，ｕ）は、Ｌを眼球と撮像面との間の距離とし、θをｘ方向（横方向）の偏移角とし、δをｙ方向（縦方向）の偏移角とすると、ｓ＝Ｌｔａｎθ，ｕ＝Ｌｔａｎδとなる。視点・瞳孔径解析部１１は、入力した眼球画像に基づいて瞳孔の輪郭や中心等を算出し、交差点（ｓ，ｕ）を視点として算出すると共に、瞳孔径を算出する。ここで、両眼球間の距離はＬに対して十分に小さく無視できるものとしている。

尚、眼球画像の解析手法についは既知であり、例えば、前述した特許文献１，２及び非特許文献１に記載されている手法を用いる。具体的に説明すると、例えば、視点・瞳孔径解析部１１は、視野映像と眼球画像との間のマッチングを示すためのキャリブレーションデータを予め取得しておき、そのキャリブレーションデータを用いて画像位置から視線方向の変換を行う。キャリブレーションデータは、上下左右に移動する視点位置と、それを追って見る視線方向（偏移角）との対応を示すデータである。まず、視点・瞳孔径解析部１１は、眼球画像の１フレーム単位に対し２値化処理を施し、眼球画像の中の眼球の周りに設定された計測用ウィンドウ内の瞳孔部分の面積を求める。計測用ウィンドウは、初期フレームのみに対し、手動により予め設定される。また、視点・瞳孔径解析部１１は、例えばテンプレートマッチングにより瞳孔に外接する円を抽出し、円の径と瞳孔の中心位置（ｘ，ｙ）を求め、前記キャリブレーションデータを用いて、その中心の水平方向及び垂直方向の各位置を視点位置に変換する。そして、次のフレームを読み込み、そのフレームの眼球中心に合わせて計測用ウィンドウを移動させた後、上記処理を最終フレームまで繰り返す。このようにして、視点・瞳孔径解析部１１は、眼球画像を解析することにより、視点（視野映像における視点の位置座標）及び瞳孔径を算出する。

図１に戻って、視野映像画像処理・顔面動き推定部１２は、眼鏡に設けられた視野映像撮影用カメラが撮影した利用者の視野映像を入力し、視野映像画像処理及び顔面動き推定処理を行い、視野映像及び顔面動きデータ（以下、単に「顔面動き」という。）を一次・二次情動反応解析制御部１３に出力する。ここで、顔面動きは、首振りまたは身体移動に伴う動作をいい、顔面の動きの大きさ及び向きのデータからなる。視野映像画像処理は、入力した視野映像に対して所定の解像度の視野映像を生成する処理、及び、顔面動き推定処理を行うために必要な視野映像に対する処理をいう。また、顔面動き推定処理は、グローバル動き推定により顔面の動き量を得るための処理をいう。

以下、グローバル動き推定について簡単に説明する。グローバル動き推定とは、視野映像における基準フレームと任意のフレームとを比較し、基準フレームに対する任意のフレームのグローバルモーション（カメラモーション等の一組のパラメータで画像全体を表す動き、大局的な動き、カメラ操作に起因する画面全体の動き）を算出することをいう。例えば、カメラモーションには、カメラを左右に振るパン、上下に振るチルト、画像を拡大したり縮小したりするズーム、カメラの位置を変えるドリー及びブーム等があり、これらのパラメータを算出することにより、グローバルモーションを推定する。

グローバルモーションは、視野映像が２次元平面の写像によって得られるものと仮定した場合に、２次元行列の線形変換パラメータで置き換えた変換行列で表すことができる。具体的には、基準フレームの座標系（ｘ０，ｙ０）から任意のフレームの座標系（ｘ１，ｙ１）へのグローバルモーションを示す座標変換は、ａ，ｂ，ｃ，ｄをパラメータとすると、以下の式により表すことができる。ここで、ａ，ｂは拡大・縮小・回転を複合したパラメータであり、ｃ，ｄは平行移動速度を示すパラメータである。具体的には、ｃは、平行移動速度における水平成分を示すパラメータであり、ｄは、平行移動速度における垂直成分を示すパラメータである。

尚、グローバル動き推定手法は既知であるから、ここでは詳細な説明は省略する。詳細については、非特許文献３及び特許文献３の段落５９を参照されたい。このようなグローバル動き推定によって、視野映像のグローバルモーションが算出される。算出される視野映像のグローバルモーションは、視野映像用撮影カメラの動きであり、そのうちカメラ本体の３次元空間での動きのパラメータが、カメラが設けられた眼鏡を装着している利用者の顔面の動きに対応する。視野映像画像処理・顔面動き推定部１２は、グローバル動き推定によりグローバルモーションを算出し、グローバルモーションのうち平行移動量成分を顔面動きの推定近似ベクトルとして出力する。平行移動量成分（平行移動速度の成分）は以下のとおりである。

このとき、基準フレームより過去に撮像したフレームに対するグローバルモーションの平行移動量成分（平行移動速度の成分：前記式（２））が、後述する顔面動きベクトルＶに対応する。このように、視野映像画像処理・顔面動き推定部１２は、視野映像から顔面動き（顔面動きベクトルＶ）を算出する。

また、視点・瞳孔径解析部１１及び視野映像画像処理・顔面動き推定部１２は、視点、瞳孔径、視野映像及び顔面動きについて時間的な対応付けを行い、それぞれ同期したデータとして出力する。すなわち、視点・瞳孔径解析部１１は、視野映像画像処理・顔面動き推定部１２が出力する視野映像の画面毎の視点及び瞳孔径を出力し、視野映像画像処理・顔面動き推定部１２は、視野映像、及びこの視野映像と時間的に対応付けた顔面動きを出力する。

一次・二次情動反応解析制御部１３は、視点・瞳孔径解析部１１から視点及び瞳孔径を入力すると共に、視野映像画像処理・顔面動き推定部１２から視野映像及び顔面動きを入力し、一次情動反応判定処理、動き判定処理を含む二次情動反応判定処理、及び対象物同定処理を行い、利用者が興味・関心を持った対象物についての情動反応データ（例えば、一次情動反応判定処理及び二次情動反応判定処理において処理対象となった全てのデータ）を情動反応データ処理部１４に出力する。

情動反応データ処理部１４は、一次・二次情動反応解析制御部１３から情動反応データを入力し、用途に応じて情動反応データを加工し、対象物に対する評価情報を生成して利用者へ提示したり、生成した評価情報をマーケティング情報として事業者へ提示したりする。情動反応データ処理部１４により生成された評価情報は、例えば通信回線を介して送信される。また、情動反応データ処理部１４は、入力した情動反応データ及び生成した評価情報を、図示しない表示器に表示する。

〔興味・関心を持つ場合の視認過程〕
次に、人が対象物に興味・関心を持つ場合の視認過程について説明する。図２は、その視認過程を示す図である。本発明者らは、鋭意検討を重ねて研究を行った結果、人が対象物に興味・関心を持つ場合の視認過程が、図２に示すように、興味・関心を引く対象物が利用者の目に入るフェーズ１と、フェーズ１からフェーズ３への移行期間であるフェーズ２と、利用者の顔面が対象物に正対し凝視するフェーズ３からなることを見出した。

フェーズ１は、顔面の動きが小さくほぼ静止しており、視線方向が視野映像内の中央部以外の部分にあり、瞳孔が拡大する過程である。これらの条件を満たす場合、対象物に対して一次情動反応が有るものとする。

フェーズ２は、顔面の動きがフェーズ１の視線方向へ向かう動きであり、視線方向が対象物を見続ける方向であって、徐々に視野映像の中央へ向かい、顔面の動きと相対的に逆方向へ移動し、瞳孔がフェーズ１と同様に拡大した状態、または若干狭まる過程である。これらの条件を満たす場合、対象物に対して動き判定ＯＫ（一次情動から二次情動への動きがＯＫ）であるとする。

フェーズ３は、顔面の動きが小さくほぼ静止しており、視線方向が視野映像の中央付近にあり、瞳孔が再度拡大して時間の経過と共に縮小する過程である。これらの条件を満たし、かつフェーズ２の条件を満たす場合、対象物に対して二次情動反応が有るものとする。

これらのフェーズ１〜３について、具体的な視野映像の例を用いて詳細に説明する。図３は、図２の視認過程を説明するための全体の視野映像の例を示す図であり、図４は、図３に示した全体の視野映像において、フェーズ１，２，３の視野映像の例を示す図である。図３及び図４において、Ｄ１はフェーズ１の視野映像を、Ｄ２はフェーズ２の視野映像を、Ｄ３はフェーズ３の視野映像をそれぞれ示す。また、Ｃ１はフェーズ１における利用者の視点を、Ｃ２はフェーズ２における視点を、Ｃ３はフェーズ３における視点をそれぞれ示す。

フェーズ１では、利用者の視点が様々な箇所に移動して定まらない状態において、興味・関心を持つ可能性のある対象物を発見すると、瞳孔径が拡大する。このときの顔面動きはない。そして、フェーズ２にて顔面を動かすきっかけとなる対象物が特定され、これを一次情動反応として捉えることができる。また、このときの視点Ｃ１から、対象物の中で一次情動反応を示した部位を判別することができる。図４の視野映像Ｄ１では、視点Ｃ１の位置から、利用者は、対象物である動物の耳の部位に注目していることがわかる。

フェーズ２では、利用者は対象物を注視しながら顔面を動かし、フェーズ３へ移行して視野映像の中央で対象物を見ようとする。つまり、視野映像Ｄ２は、顔面の動きに伴って、フェーズ１の視野映像Ｄ１からフェーズ３の視野映像Ｄ３へ移行する途中の映像である。このフェーズ２では、前述したように、視野映像Ｄ２の動きをグローバル動き推定により算出し、顔面の動きを推定することができる。このときの視野映像Ｄ２の画面に対する視点Ｃ２の動き（視点の動き）の大きさと視野映像Ｄ２の動き（顔面動き）の大きさはほぼ同じであり、これらの動きの向きは概ね逆方向である。

フェーズ３では、顔面の動きは止まり、対象物は視野映像Ｄ３の中央に位置する。すなわち、利用者は、興味・関心を持った対象物を視野映像Ｄ３の中央で注視しようとし、視点は視野映像Ｄ３の中央付近に位置する対象物内で停留する。そして、視野映像Ｄ３の中央の対象物が特定され、これを二次情動反応として捉えることができる。また、このときの視点Ｃ３から、利用者が対象物をじっくり見て注目した部位を判別することができる。図４の視野映像Ｄ３では、視点Ｃ３の位置から、利用者は、対象物である動物の胴体の部位に注目していることがわかる。

図２、図３及び図４に示したように、このようなフェーズ１〜３の過程を経た場合に、利用者は、対象物である動物に対して興味・関心を持っているものと判定され、そして、最終的にその動物の胴体の部位に興味・関心を持っているものと判別される。

従来の判定手法では、フェーズ１における一次情動反応があったときに、利用者は対象物である動物に対して興味・関心を持っていると判定する。しかし、その直後に、フェーズ１の対象物から視線をそらしたり、その対象物以外の箇所を注視したりする場合は、フェーズ１の対象物に十分な興味・関心を持っているとは言えない。すなわち、従来の判定手法では、フェーズ１において興味・関心の有無を一義的に判定するから、その判定結果の信頼性は必ずしも高くない。そこで、本発明の実施形態の判定手法では、フェーズ１において一次情動反応を捉え、フェーズ２においてフェーズ３への動きを捉え、そして、フェーズ３において二次情動反応を捉えることによって、利用者は対象物に対して興味・関心を持っていると判定する。これにより、対象物に対する興味・関心の有無を精度高く判定することが可能となる。

〔実施例１／一次・二次情動反応解析制御部の処理〕
次に、図１に示した一次・二次情動反応解析制御部１３の処理について説明する。一次・二次情動反応解析制御部１３は、図２に示したフェーズ１〜３の条件を満たすか否かの判定処理を行う。図２６は、一次・二次情動反応解析制御部１３の構成を示す図である。図５は、一次・二次情動反応解析制御部１３による処理を示すフローチャートである。図６は、実施例１によるフェーズ１の一次情動反応判定処理を示すフローチャートである。図７は、実施例１による二次情動反応判定処理に含まれる、フェーズ２の動き判定処理を示すフローチャートである。図８は、実施例１によるフェーズ３の二次情動反応判定処理を示すフローチャートである。図９は、実施例１による対象物同定処理を示すフローチャートである。図１１は、フェーズ１〜３における情動反応Ｅ（ｔ）の変化を示すグラフである。図１２は、実施例１によるフェーズ１〜３の処理を説明する図である。図２に示した一連の条件を具体的な数式による処理として示したものが図６〜図８である。

図２６を参照して、一次・二次情動反応解析制御部１３は、制御手段１３０、記憶手段１３１、一次情動反応判定手段１３２、二次情動反応／動き判定手段１３３、二次情動反応判定手段１３４及び対象物同定手段１３５を備えている。

一次・二次情動反応解析制御部１３の制御手段１３０は、全体の処理を通して、入力した視点、瞳孔径、視野映像及び顔面動きを、同期したデータとして時系列に記憶手段１３１に格納する。また、視点・瞳孔径解析部１１から入力した瞳孔径に基づいて瞬時の情動反応Ｅ（ｔ）を算出し、その情動反応Ｅ（ｔ）の単位時間あたりの積分値を情動反応Ｅとして算出し、記憶手段１３１に格納する。図１１に示すように、制御手段１３０によって、フェーズ１〜３において情動反応Ｅ（ｔ）が算出される。ここで、情動反応Ｅ（ｔ）は、瞳孔径をＤ（ｔ）とし定数をａとすると、例えば、以下の式により表される。この場合、情動反応Ｅ（ｔ）は、瞳孔径Ｄ（ｔ）の拡大量に比例して大きくなる。
Ｅ（ｔ）＝ａ×｛Ｄ（ｔ）−Ｄｍｉｎ｝
ここで、Ｄｍｉｎは利用者の瞳孔径の最小値を表している。また、ａはＤｍａｘを利用者の瞳孔径の最大値としたときに、例えば、
ａ＝１／（Ｄｍａｘ−Ｄｍｉｎ）
で算出し、個体差を取り除くこともできる。

また、制御手段１３０は、単位時間当たりの一次情動反応Ｅの積分値をＥｆ、単位時間当たりの二次情動反応Ｅの積分値をＥｓとして、一次・二次の総合情動の程度を表す値Ｅａｌｌを以下のように算出し、記憶手段１３１に格納する。
Ｅａｌｌ＝Ｅｆ＋ｗ×Ｅｓ
ここで、ｗは、二次情動反応に対する重み値であり、例えばｗ＝１０が用いられる。この場合、二次情動反応Ｅの積分値Ｅｓに対して１０倍の重み付けがなされる。

制御手段１３０は、記憶手段１３１から視点、瞳孔径、視野映像、顔面動き、情動反応Ｅ、一次・二次総合情動の程度を表す値Ｅａｌｌを読み出し、情動反応データとして情動反応データ処理部１４に出力する。この場合、一次・二次情動反応解析制御部１３または情動反応データ処理部１４は、ゲーム機器のような外部の制御機器や、オンライン投票システムのような制御システムへ情動反応データを出力するようにしてもよい。例えば、車の運転シミュレーションゲームを行うゲーム機器へ一次・二次総合情動の程度を表す値Ｅａｌｌが出力された場合、そのゲーム機器は、Ｅａｌｌの数値が、快適に運転できる人の心理状況を表す数値データであると仮定し、Ｅａｌｌの数値に応じて運転シミュレーション中の当該車の加速度に対応付けて、車の速度を変化させる。例えば、Ｅａｌｌの数値に比例する加速度によって速度を上昇させる。このように、一次・二次総合情動の程度を表す値Ｅａｌｌの数値によって、外部の制御機器やシステムを制御することができる。

図５を参照して、一次・二次情動反応解析制御部１３の一次情動反応判定手段１３２は、フェーズ１において一次情動反応判定処理を行う（ステップＳ５０１）。そして、一次情動反応判定手段１３２により一次情動反応が有ると判定された場合に、二次情動反応／動き判定手段１３３は、フェーズ２において、二次情動反応判定処理の一部である、フェーズ１からフェーズ３への動き判定処理を行う（ステップＳ５０２）。そして、二次情動反応／動き判定手段１３３により動き判定ＯＫであると判定された場合に、二次情動反応判定手段１３４は、フェーズ３において二次情動反応判定処理を行う（ステップＳ５０３）。そして、一次情動反応判定手段１３２により一次情動反応が有り、かつ、二次情動反応／動き判定手段１３３により動き判定ＯＫであり、かつ、二次情動反応判定手段１３４により二次情動反応が有ると判定された場合に、対象物同定手段１３５は、フェーズ３において視野映像の画面中央付近に位置する対象物を同定する（ステップＳ５０４）。そして、制御手段１３０は、フェーズ１からフェーズ３までの対象物に対する視認行動を一次・二次情動反応過程の行動であるとして、その対象物に対して興味・関心を持っている（情動を示している）と判定する。

まず、図５に示したフェーズ１における一次情動反応判定処理について説明する。一次・二次情動反応解析制御部１３の制御手段１３０は、一次・二次情動反応解析制御の開始に伴い、一次情動反応判定命令を一次情動反応判定手段１３２に出力する。図６を参照して、一次・二次情動反応解析制御部１３の一次情動反応判定手段１３２は、制御手段１３０から一次情動反応判定命令を入力した場合、記憶手段１３１から視点、顔面動き（顔面動きベクトル）及び情動反応Ｅを読み出し、時間的に連続する隣り合う視点が一定の距離以下（例えば、視点移動の速さの大きさが毎秒５度以下に相当する距離以下であれば停留していると判定する。「福田忠彦、渡辺利夫共著、“ヒューマンスケープ−視覚の世界を探る”、日科技連（１９９５）、ｐｐ．１０６−１０９」を参照されたい。）となる複数の視点からその範囲内の重心座標を算出し、重心座標を視点停留点として扱う。そして、一次情動反応判定手段１３２は、読み出した顔面動きの大きさがしきい値以下の場合に、すなわち顔面動きが微小のフェーズ１において、視点停留点が所定範囲内に所定時間以上存在しているか否かを判定する（ステップＳ６０１）。視点停留点が所定範囲内に所定時間以上存在していると判定した場合（ステップＳ６０１：Ｙ）、ステップＳ６０２へ移行し、視点停留点が所定範囲内に所定時間以上存在していないと判定した場合（ステップＳ６０１：Ｎ）、一次情動反応は無いと判定する（ステップＳ６０４）。

具体的には、視野映像の中心を原点としたときに、視点停留点のベクトルを

とし（以下、ベクトルＳ１という。）、図１２に示すように所定範囲をＡ１（ｘ軸方向のしきい値をｔｈ_ｓ１、ｙ軸方向のしきい値をｔｈ_ｕ１とすると、原点０を中心としたｘ軸の幅２ｔｈ_ｓ１、ｙ軸の幅２ｔｈ_ｕ１で囲まれる矩形範囲。）とすると、ベクトルＳ１が示す視点停留点が所定範囲Ａ１内に存在する条件は、以下の式で表される。
｜ｓ１｜≦ｔｈ_ｓ１，｜ｕ１｜≦ｔｈ_ｕ１
この条件式は、図１２のとおり、視野映像内の有効視野内に視点停留点が存在することを判定する。また、図１１に示すように所定時間をｔｈ_Ｔ１とし、視点停留が継続する時間をΔＴ１とすると、ベクトルＳ１が示す視点停留点がその近傍に停留する時間の条件は、以下の式で表される。
ΔＴ１≧ｔｈ_Ｔ１

そして、一次情動反応判定手段１３２は、フェーズ１終了直前の情動反応Ｅが所定値以上であるか否かを判定する（ステップＳ６０２）。フェーズ１が終了してフェーズ２が開始するタイミングは、入力した顔面動きの大きさがしきい値以下の場合の顔面動きが微小な状態から、顔面動きの大きさがしきい値を越える場合の顔面動きがある状態に変わる時点である。フェーズ１終了直前の情動反応Ｅが所定値以上であると判定した場合（ステップＳ６０２：Ｙ）、一次情動反応は有ると判定し（ステップＳ６０３）、その直前の情動反応Ｅが所定値以上でないと判定した場合（ステップＳ６０２：Ｎ）、一次情動反応は無いと判定する（ステップＳ６０４）。

具体的には、図１１に示すように、フェーズ１終了直前の時間ｔｈ_Ｔ１における単位時間当たりの情動反応ＥをＥ１とし、所定値をｔｈ_Ｅ１とすると、その条件は、以下の式で表される。
Ｅ１≧ｔｈ_Ｅ１

一次情動反応判定手段１３２は、一次情動反応の判定結果、及び一次情動反応有りの判定結果のときの情動反応Ｅ１を制御手段１３０に出力する。制御手段１３０は、一次情動反応判定手段１３２から一次情動反応の判定結果、及び一次情動反応有りの判定結果のときの情動反応Ｅ１を入力し、これらを記憶手段１３１に格納すると共に、情動反応データとして情動反応データ処理部１４に出力する。

このように、一次・二次情動反応解析制御部１３の一次情動反応判定手段１３２は、顔面動きの微小なフェーズ１において、視点停留点が所定範囲内に所定時間以上存在しており、かつ、フェーズ１終了直前の情動反応Ｅが所定値以上である場合に、一次情動反応は有ると判定する。

次に、図５に示したフェーズ２における二次情動反応判定処理の一部である動き判定処理について説明する。一次・二次情動反応解析制御部１３の制御手段１３０は、一次情動反応判定手段１３２から入力した一次情動反応の判定結果が一次情動反応有りの場合、二次情動反応／動き判定命令を二次情動反応／動き判定手段１３３に出力する。図７を参照して、一次・二次情動反応解析制御部１３の二次情動反応／動き判定手段１３３は、制御手段１３０から二次情動反応／動き判定命令を入力した場合、記憶手段１３１から視点及び顔面動き（顔面動きベクトル）を読み出し、読み出した顔面動きの大きさがしきい値を越えるときに、すなわち顔面動きがあるフェーズ２において、以下の処理を行う。まず、読み出した視点に基づいて視点停留点を算出し、その視点停留点の移動量を算出する（ステップＳ７０１）。そして、二次情動反応／動き判定手段１３３は、それと同時に、入力した顔面動きに基づいて顔面の移動量（顔面動きの大きさ）を算出し（ステップＳ７０２）、視点停留点移動量及び顔面移動量から、移動量差分を算出する（ステップＳ７０３）。

そして、二次情動反応／動き判定手段１３３は、視点（視点停留点）の動きと顔面動きとが逆方向で、視点停留点移動量と顔面移動量との間の移動量差分が所定値以下であるか否かを判定する（ステップＳ７０４）。すなわち、視点の動きと顔面の動きとが逆方向であって、これらの動きがほぼ同じ大きさであるか否かを判定する。移動量差分が所定値以下であると判定した場合（ステップＳ７０４：Ｙ）、ステップＳ７０５へ移行し、移動量差分が所定値以下でないと判定した場合（ステップＳ７０４：Ｎ）、動き判定ＮＧと判定する（ステップＳ７０７）。

具体的には、図１２に示すように、視点停留点動きベクトルを

（以下、視点停留点動きベクトルＳという。）とし、顔面動きベクトルを

（以下、顔面動きベクトルＶという。）とし、その移動量差分ベクトルを

（以下、移動量差分ベクトルｅという。）とすると、以下の式のように、視点の動きと顔面の動きとが逆方向であることが条件となる。

ここで、顔面動きベクトルＶは、フェーズ３視野映像の最初のフレームを基準フレームとして、フェーズ１視野映像の最終フレームのグローバルモーションから導いた顔面動きである。また、所定値をｔｈ_ｅとすると、移動量差分が所定値以下である条件は、以下の式で表される。

そして、二次情動反応／動き判定手段１３３は、顔面移動量が所定値以下であるか否かを判定する（ステップＳ７０５）。すなわち、フェーズ１とフェーズ３の視野映像が重なる程度に顔面が動いているか否か、言い換えると、フェーズ２での顔面移動量が一定値以下であるか否かを判定する。例えば、顔面動きベクトルＶが、視野映像の中心を原点としたときに視野映像を大きく外れる位置を指している場合は、フェーズ１に対象物が含まれていないことを意味する。この場合は、顔面移動量が所定値以下でないと判定され、動き判定ＮＧとなる。

二次情動反応／動き判定手段１３３は、ステップＳ７０５において、顔面移動量が所定値以下であると判定した場合（ステップＳ７０５：Ｙ）、動き判定ＯＫと判定し（ステップＳ７０６）、顔面移動量が所定値以下でないと判定した場合（ステップＳ７０５：Ｎ）、動き判定ＮＧと判定する（ステップＳ７０７）。

具体的には、所定値をｔｈ_ｖとすると、その条件は、以下の式で表される。

二次情動反応／動き判定手段１３３は、二次情動反応／動き判定結果、及び二次情動反応／動き判定ＯＫの判定結果のときの顔面動きベクトルＶ等の各種データを制御手段１３０に出力する。制御手段１３０は、二次情動反応／動き判定手段１３３から二次情動反応／動き判定結果、及び二次情動反応／動き判定結果が動き判定ＯＫのときの顔面動きベクトルＶ等の各種データを入力し、これらを記憶手段１３１に格納すると共に、情動反応データとして情動反応データ処理部１４に出力する。

このように、一次・二次情動反応解析制御部１３の二次情動反応／動き判定手段１３３は、顔面動きのあるフェーズ２において、視点の動きと顔面動きとが逆方向で、視点停留点移動量と顔面移動量との間の移動量差分が所定値以下であり、すなわち、視点の動き及び顔面の動きが逆方向であって、これらの大きさがほぼ同じであり、かつ、顔面移動量が所定値以下である、すなわち、フェーズ２における顔面動きの量（顔面移動量）が大きくない場合に、フェーズ１から３への動きはＯＫである（動き判定ＯＫ）と判定する。

次に、図５に示したフェーズ３における二次情動反応判定処理について説明する。この二次情動反応判定処理は、図７に示した動き判定ＯＫと判定された後に続く処理である。一次・二次情動反応解析制御部１３の制御手段１３０は、二次情動反応／動き判定手段１３３から入力した二次情動反応／動き判定結果が動き判定ＯＫの場合、二次情動反応判定命令を二次情動反応判定手段１３４に出力する。図８を参照して、一次・二次情動反応解析制御部１３の二次情動反応判定手段１３４は、制御手段１３０から二次情動反応命令を入力した場合、記憶手段１３１から視点、顔面動き（顔面動きベクトル）及び情動反応Ｅを読み出し、読み出した顔面動きの大きさがしきい値以下のときに、すなわち顔面動きがないフェーズ３において、読み出した視点に基づいて算出した視点停留点が所定範囲内に所定時間以上存在しているか否かを判定する（ステップＳ８０１）。視点停留点が所定範囲内に所定時間以上存在していると判定した場合（ステップＳ８０１：Ｙ）、ステップＳ８０２へ移行し、視点停留点が所定範囲内に所定時間以上存在していないと判定した場合（ステップＳ８０１：Ｎ）、二次情動反応は無いと判定する（ステップＳ８０４）。

具体的には、視野映像の中心を原点としたときに、視点停留点のベクトルを

とし（以下、ベクトルＳ３という。）、図１２に示すように所定範囲をＡ３（ｘ軸方向のしきい値をｔｈ_ｓ３、ｙ軸方向のしきい値をｔｈ_ｕ３とすると、原点０を中心としたｘ軸の幅２ｔｈ_ｓ３、ｙ軸の幅２ｔｈ_ｕ３で囲まれる矩形範囲。）とすると、ベクトルＳ３が示す視点停留点が所定範囲Ａ３内に存在する条件は、以下の式で表される。
｜ｓ３｜≦ｔｈ_ｓ３，｜ｕ３｜≦ｔｈ_ｕ３
この条件式は、図１２にあるとおり、視点停留点が原点０の近傍にあることを判定する。尚、この所定範囲Ａ３を定めるしきい値ｔｈ_ｓ３，ｔｈ_ｕ３を０に近い値とすることにより、一層正確に二次情動反応の有無を判定することができる。

また、図１１に示すように所定時間をｔｈ_Ｔ３とし、視点停留が継続する時間をΔＴ３とすると、ベクトルＳ３が示す視点停留点がその近傍に停留する時間の条件は、以下の式で表される。
ΔＴ３≧ｔｈ_Ｔ３

そして、二次情動反応判定手段１３４は、視点停留時（フェーズ３開始直後）の情動反応Ｅが所定値以上であるか否かを判定する（ステップＳ８０２）。フェーズ２が終了してフェーズ３が開始するタイミングは、入力した顔面動きの大きさがしきい値を越える場合の顔面動きがある状態から、顔面動きの大きさがしきい値以下の場合の顔面動きがない状態に変わる時点である。その直後の情動反応Ｅが所定値以上であると判定した場合（ステップＳ８０２：Ｙ）、二次情動反応は有ると判定し（ステップＳ８０３）、その直後の情動反応Ｅが所定値以上でないと判定した場合（ステップＳ８０２：Ｎ）、二次情動反応は無いと判定する（ステップＳ８０４）。

具体的には、図１１に示すように、フェーズ３開始直後の時間ｔｈ_Ｔ３における単位時間当たりの情動反応ＥをＥ３とし、所定値をｔｈ_Ｅ３とすると、その条件は、以下の式で表される。
Ｅ３≧ｔｈ_Ｅ３

二次情動反応判定手段１３４は、二次情動反応の判定結果、及び二次情動反応有りの判定結果のときの情動反応Ｅ３を制御手段１３０に出力する。制御手段１３０は、二次情動反応判定手段１３４から二次情動反応の判定結果、及び二次情動反応有りの判定結果のときの情動反応Ｅ３を入力し、これらを記憶手段１３１に格納すると共に、情動反応データとして情動反応データ処理部１４に出力する。

このように、一次・二次情動反応解析制御部１３の二次情動反応判定手段１３４は、顔面動きの微小なフェーズ３において、視点停留点が所定範囲内に所定時間以上存在しており、かつ、フェーズ３開始直後の情動反応Ｅが所定値以上である場合に、二次情動は有ると判定する。

次に、図５に示した対象物同定処理について説明する。一次・二次情動反応解析制御部１３の制御手段１３０は、二次情動反応判定手段１３４から入力した二次情動反応判定結果が二次情動反応有りの場合、すなわち、一次情動反応有り及び二次情動反応有りの場合、対象物同定命令を対象物同定手段１３５に出力する。図９を参照して、一次・二次情動反応解析制御部１３の対象物同定手段１３５は、制御手段１３０から対象物同定命令を入力した場合、記憶手段１３１から視点及び視野映像を読み出し、フェーズ３の初期（フェーズ３の開始直後）において、視点停留点の位置を含む対象物を抽出する（ステップＳ９０１）。

具体的には、フェーズ３が開始してから所定時間経過後であるフェーズ３の初期（フェーズ３の開始直後）において、そのときの視野映像の中心に近い視点停留点であるベクトルＳ３が示す位置を中心として、ｘ軸方向及びｙ軸方向にそれぞれ±ａ_ｘ，±ａ_ｙの矩形領域に含まれる対象物（画像）を、ｋ平均法等の画面セグメンテーションによって抽出する。この場合、対象物には視点停留点が含まれる。

尚、対象物抽出手法は既知であり、例えば、非特許文献４のｐ３５８−３６１、特開２００３−４４８６０号公報、特開２００２−３５２２４８号公報に記載されている手法を用いる。具体的に説明すると、例えば、対象物同定手段１３５は、記憶手段１３１から読み出した視野映像において、背景の平均色ベクトルをｕとし、視野映像のある時点における座標（ｘ，ｙ）の色ベクトルをａ（ｘ，ｙ，ｔ）とすると、注目点の色ベクトルと背景平均色ベクトルｕとの差があるしきい値θを越える場合に、その注目点は対象物内に存在し、越えない場合に、その注目点は対象物内に存在しないと判定する。この場合、視点停留点が対象物内に存在するから、視点停留点を中心とした所定の矩形領域を抽出対象領域として判定する。そして、対象物同定手段１３５は、対象物内に存在すると判定した注目点の集合を、対象物（画像）として抽出する。

対象物同定手段１３５は、フェーズ１の終期（フェーズ１の終了直前）において、ステップＳ９０３に示した視点停留点を基準にして、後述するベクトルで示される位置を含む複数の対象物（画像）を抽出する（ステップＳ９０２）。

具体的には、ステップＳ９０１に示したフェーズ３の初期の視点停留点であるベクトルＳ３を基準にして、以下のベクトルで示される座標を算出する。

そして、フェーズ１の終了時点から所定時間前であるフェーズ１の終期（フェーズ１の終了直前）において、その座標の位置に対象物が存在すると仮定し、図示しない記憶部からそのときの視野映像を読み出し、その座標を中心としてｘ軸方向及びｙ軸方向にそれぞれ±ｂ_ｘ，±ｂ_ｙの矩形領域に含まれる対象物を、ステップＳ９０１と同様の手法により抽出する。

対象物同定手段１３５は、ステップＳ９０１にて抽出したフェーズ３の対象物（画像）と、ステップＳ９０２にて抽出したフェーズ１の対象物（画像）との同一性を検査する（ステップＳ９０３）。すなわち、対象物同定手段１３５は、ステップＳ９０１にて抽出したフェーズ３の対象物と、ステップＳ９０２にて抽出したフェーズ１の対象物とが同一であるか否かを判定する（ステップＳ９０４）。両対象物が同一であると判定した場合（ステップＳ９０４：Ｙ）、その対象物は同定した対象物として扱い（ステップＳ９０５）、両対象物が同一でないと判定した場合（ステップＳ９０４：Ｎ）、その対象物は同定した対象物として扱わない。この判定は、ステップＳ９０２において複数の対象物が抽出された場合、個々の対象物に対して行われる。

具体的には、ステップＳ９０２にて抽出したフェーズ１の対象物（画像）が、ステップＳ９０１にて抽出したフェーズ２の対象物（画像）の部分画像であると仮定し、それぞれの対象物（画像）をテンプレート画像としたときのテンプレート検索法または画面内オブジェクト追跡法等により、同一性を検査する。

尚、同一性検査手法は既知であり、例えば、非特許文献４のｐ５６１、特開２００３−４４８６０号公報、特開２００２−３５２２４８号公報に記載されている手法を用いる。具体的に説明すると、例えば、対象物同定手段１３５は、ステップＳ９０２にて抽出したフェーズ１の複数の対象物（画像）を視野映像に基づいてそれぞれ変形させ、ステップＳ９０１におけるフェーズ２の抽出時点の対象物（画像）をそれぞれ予測する。つまり、対象物同定手段１３５は、視野映像のある時点ｔにおける座標（ｘ，ｙ）の画素値をａ（ｘ，ｙ，ｔ）とし、抽出された対象物（画像）の座標（ｘ，ｙ）の画素値をｆ（ｘ，ｙ，ｔ）とし、予測する対象物（画像）の座標（ｘ，ｙ）の画素値をｅ（ｘ，ｙ，ｔ）とし、ｆ（ｘ，ｙ，ｔ）及びｅ（ｘ，ｙ，ｔ）を２値画像で表し、値が０のときその画素は対象物外に存在し、値が１のときその画素は対象物内に存在すると定義する。ここで、視野映像のある時点ｔのａ（ｘ，ｙ，ｔ）のある一点Ｃ（ξ，η）を中心とする半径Ｒの小領域を切り出し、これをブロックＢとする。ブロックＢを前時点のａ（ｘ，ｙ，ｙ−１）に重ね合わせ、ブロックＢを水平・垂直に移動させて画素値のパターンが最も重なり合う場所を探索することにより、その時点ｔにおける点Ｃが前時点のどこにあったかを推定することができる。すなわち、点Ｃのある時点ｔから前時点ｔ−１における移動ベクトル（ｕ（ξ，η），ｖ（ξ，η））を推定する。対象物（画像）は時間と共に動くので、前時点ｔ−１の対象物（画像）をステップＳ９０２において抽出したフェーズ１の対象物（画像）の座標（ｘ，ｙ）のｆ（ｘ，ｙ，ｔ−１）として処理を開始し、移動ベクトル（ｕ（ξ，η），ｖ（ξ，η））を算出することにより、現時点ｔの予測する対象物（画像）のｅ（ｘ，ｙ，ｔ）を以下の式により推定する。
ｅ（ｘ，ｙ，ｔ）＝ｆ（ｘ＋ｕ（ｘ，ｙ），ｙ＋ｖ（ｘ，ｙ），ｔ−１）

このようにして、対象物同定手段１３５は、ステップＳ９０２にて抽出したフェーズ１の対象物（画像）を視野映像に基づいて前記予測処理により変形させ、ステップＳ９０１におけるフェーズ２の抽出時点の対象物（画像）を予測する。この処理を、ステップＳ９０２にて抽出した複数の対象物（画像）について行い、予測対象物（画像）をそれぞれ得る。そして、これらの複数の予測対象物（画像）とステップＳ９０１にて抽出したフェーズ２の対象物（画像）との画素値のパターンをそれぞれ比較し、画素値のパターンが最も近似する対象物（画像）を予測対象物（画像）の中から抽出する。この抽出した対象物を同定した対象物とする。

このように、一次・二次情動反応解析制御部１３の対象物同定手段１３５は、図６〜図８に示した処理により、フェーズ１からフェーズ３までの対象物に対する視認行動を一次・二次情動反応過程の行動であるとし、図９に示した処理により、同定した対象物に対して利用者はより強く興味・関心を持っている（情動を示している）ものと判定する。

そして、制御手段１３０は、記憶手段１３１からそれぞれの判定結果を読み出し、それぞれの判定結果が一次情動反応有り、二次情動反応／動き判定ＯＫ及び二次情動反応有りの場合に、対象物同定手段１３５により同定された対象物に対して情動を示していると判定し、一次情動反応判定処理、二次情動反応判定処理及び対象物同定処理において扱ったデータ及び算出したデータ、並びに同定した対象物等の各種データを、情動反応データとして情動反応データ処理部１４に出力する。

〔実施例１／情動反応データ処理部の処理〕
次に、図１に示した情動反応データ処理部１４の処理について説明する。情動反応データ処理部１４は、前述したとおり、入力した情動反応データ及び生成した評価情報を表示器に表示する。図２４は、情動反応データ処理部１４により表示される画面の例を示す図である。

図２４の上部の領域ａは、情動反応Ｅ（ｔ）を時系列に表示する領域である。情動反応データ処理部１４は、一次・二次情動反応解析制御部１３から入力した情動反応データのうちの情動反応Ｅ（ｔ）を、時系列のグラフとして領域ａに表示する。

図２４の中央部は、パラメータを表示する領域であり、パラメータはオペレータにより入力される。ここでは、フェーズ１において視点停留点を判定するために用いるしきい値ｔｈ_Ｔ１及び情動反応を判定するために用いるしきい値ｔｈ_Ｅ１、フェーズ３において視点停留点を判定するために用いるしきい値ｔｈ_Ｔ３及び情動反応を判定するために用いるしきい値ｔｈ_Ｅ３が表示されている。情動反応データ処理部１４は、オペレータによるスライダｃを左右に移動させる操作に従って、スライダｃの位置に応じたしきい値を算出し、その値を入力用窓ｄに表示する。オペレータによるしきい値入力操作があった場合は、そのしきい値を入力して入力用窓ｄに表示する。情動反応データ処理部１４は、算出または入力したしきい値を、一次及び二次情動反応の判定のために一次・二次情動反応解析制御部１３に出力する。

図２４の下部は、一次及び二次情動反応の判定結果を表示する領域である。情動反応データ処理部１４は、一次・二次情動反応解析制御部１３から入力した情動反応データにより、一次情動反応有りが判定されたフェーズ１の時間領域、動き判定ＯＫが判定されたフェーズ２の時間領域、および二次情動反応有りが判定されたフェーズ３の時間領域をそれぞれ特定する。そして、その時間領域を、時間領域ｂ１，ｂ２，ｂ３等に示すように枠囲いして領域ａ内に表示し、それぞれの判定結果を、その時間領域内の視野映像のうちの代表的な画面のサムネイルと共に領域ｅに表示する。例えば、時間領域ｂ１，ｂ２，ｂ３の番号１，２，３は、領域ｅにおけるＮｏ．１，２，３にそれぞれ対応している。情動反応データ処理部１４は、領域ｅに、一次情動反応有り、動き判定ＯＫ、二次情動反応有りの判定結果をレ点で表示し、総合情動値として、前述した一次・二次の総合情動の程度を表す値Ｅａｌｌを表示する。

尚、スライダｃの移動操作または入力用窓ｄへの入力操作によるしきい値の変更に伴って、そのしきい値に基づいて判定した結果が領域ｅに更新され、時間領域ｂ１，ｂ２，ｂ３等も更新される。また、領域ａには、例えば、一次情動反応有りの場合に白色で、二次情動反応有りの場合に赤色で色分けして表示するようにしてもよい。色分けして表示することにより、情動反応の区分けを明確にすることができ、オペレータは認識しやすくなる。また、図２４の中央に表示したパラメータは例示であり、情動分析装置１にて使用するパラメータが表示され、オペレータにより設定入力される。

このように、情動反応データ処理部１４が図２４に示すような表示を行うことにより、オペレータは、一次情動反応及び二次情動反応の判定結果、そのときの画像等の様々な情報を見ることができ、情動分析を容易かつ正確に行うことができる。

以上のように、実施例１による情動分析装置１によれば、視点・瞳孔径解析部１１が眼球画像を解析して視点及び瞳孔径を算出し、視野映像画像処理・顔面動き推定部１２が視野映像を解析して顔面動きを算出し、一次・二次情動反応解析制御部１３が、フェーズ１において一次情動反応を判定し、フェーズ２及びフェーズ３においてフェーズ１からフェーズ３への動き判定を含む二次情動反応を判定し、そして、利用者が興味・関心を持っている対象物を同定するようにした。これにより、対象物に対する興味・関心の有無とその程度を精度高く判定することが可能となる。

〔実施例２／構成〕
次に、本発明の第２の実施形態（実施例２）について説明する。図１３は、実施例２による情動分析装置の構成を示すブロック図であり、図２５に示したハードウェア構成の下で制御部１００が情動分析プログラムにより処理を実行する際の機能構成を示している。この情動分析装置２は、視野映像画像処理・顔面動き推定部２２、一次・二次情動反応解析制御部２３及び情動反応データ処理部２４を備えている。

図１に示した実施例１の情動分析装置１と、図１３に示す実施例２の情動分析装置２とを比較すると、両装置とも、入力した視野映像を解析して視野映像を出力すると共に、グローバル動き推定によりグローバルモーションを算出して顔面動きを出力する視野映像画像処理・顔面動き推定部１２，２２を備えている点で同一である。また、両装置とも、一次・二次情動反応解析制御部１３，２３から入力した情動反応データに基づいて、対象物に対する評価情報を生成して利用者または事業者へ提示する情動反応データ処理部１４，２４を備えている点で同一である。

一方、実施例１の情動分析装置１は、入力した視点、瞳孔径、視野映像及び顔面動きに基づいて情動反応を解析する一次・二次情動反応解析制御部１３を備えているのに対し、実施例２の情動分析装置２は、視点及び瞳孔径を入力することなく、視野映像及び顔面動きに基づいて情動反応を解析する一次・二次情動反応解析制御部２３を備えている点で相違する。

図１３において、視野映像画像処理・顔面動き推定部２２は、図１に示した視野映像画像処理・顔面動き推定部１２と同様の処理を行い、情動反応データ処理部２４も、図１に示した情動反応データ処理部１４と同様に処理を行う。

一次・二次情動反応解析制御部２３は、視野映像画像処理・顔面動き推定部２２から視野映像及び顔面動きを入力し、一次情動反応判定処理、動き判定を含む二次情動反応判定処理及び対象物同定処理を行い、利用者が興味・関心を持った対象物についての情動反応データを情動反応データ処理部２４に出力する。

〔実施例２／一次・二次情動反応解析制御部の処理〕
次に、図１３に示した一次・二次情動反応解析制御部２３の処理について説明する。一次・二次情動反応解析制御部２３は、図２に示したフェーズ１〜３の条件（顔面の動きの条件）を満たすか否かの判定処理を行う。図１４は、実施例２によるフェーズ１の一次情動反応判定処理を示すフローチャートである。図１５は、実施例２による二次情動反応判定処理に含まれる、フェーズ２の動き判定処理を示すフローチャートである。図１６は、実施例２によるフェーズ３の二次情動反応判定処理を示すフローチャートである。図１７は、実施例２による対象物同定処理を示すフローチャートである。

一次・二次情動反応解析制御部２３の制御手段１３０は、全体の処理を通して、入力した視野映像及び顔面動きを、同期したデータとして時系列に記憶手段１３１に格納する。また、制御手段１３０は、前述のとおり、情動反応Ｅ（ｔ）、及び一次・二次の総合情動の程度を表す値Ｅａｌｌを算出し、記憶手段１３１に格納する。一次・二次情動反応解析制御部２３は、図５に示したように、一次情動反応判定手段１３２がフェーズ１において一次情動反応判定処理を行い（ステップＳ５０１）、二次情動反応／動き判定手段１３３がフェーズ２において、二次情動反応判定処理に含まれるフェーズ１からフェーズ３への動き判定処理を行い（ステップＳ５０２）、二次情動反応判定手段１３４がフェーズ３において二次情動反応判定処理を行い（ステップＳ５０３）、対象物同定手段１３５がフェーズ３において視野映像の画面中央付近に位置する対象物を同定する（ステップＳ５０４）。

まず、フェーズ１における一次情動反応判定について説明する。一次・二次情動反応解析制御部２３の制御手段１３０は、一次・二次情動反応解析制御の開始に伴い、一次情動反応判定命令を一次情動反応判定手段１３２に出力する。図１４を参照して、一次・二次情動反応解析制御部２３の一次情動反応判定手段１３２は、制御手段１３０から一次情動反応判定命令を入力した場合、記憶手段１３１から顔面動きを読み出し、読み出した顔面動きに基づいて顔面移動量を算出する（ステップＳ１４０１）。また、一次情動反応判定手段１３２は、顔面移動量が所定量以下となり、その時間が所定時間以上であるか否かを判定する（ステップＳ１４０２）。この場合の所定量はゼロに近い量である。顔面移動量が所定量以下となり、その時間が所定時間以上であると判定した場合（ステップＳ１４０２：Ｙ）、一次情動反応は有ると判定する（ステップＳ１４０３）。顔面移動量が所定量以下となり、その時間が所定時間以上の場合は、利用者の視点が対象物に位置し、情動反応を示しているものと推定することができるからである。一方、顔面移動量が所定量以下でないと判定した場合、または、顔面移動量が所定量以下の時間が所定時間以上でないと判定した場合（ステップＳ１４０２：Ｎ）、一次情動反応は無いと判定する（ステップＳ１４０４）。

具体的には、顔面動きベクトルを

とし、所定量をｔｈ_Ｖ１とすると、顔面移動量が所定量以下となる条件は、以下の式で表される。

また、顔面移動量が所定量以下である時間をΔＴ１とし、所定時間をｔｈ_Ｔ１とすると、時間の条件は、以下の式で表される。
ΔＴ１≧ｔｈ_Ｔ１

一次情動反応判定手段１３２は、一次情動反応の判定結果、及び一次情動反応有りの判定結果のときの各種データを制御手段１３０に出力する。制御手段１３０は、一次情動反応判定手段１３２から一次情動反応の判定結果、及び一次情動反応有りの判定結果のときの各種データを入力し、これらを記憶手段１３１に格納すると共に、情動反応データとして情動反応データ処理部１４に出力する。

このように、一次・二次情動反応解析制御部２３の一次情動反応判定手段１３２は、フェーズ１において、顔面移動量が所定量以下である時間が所定時間以上の場合、利用者の視点が対象物に位置して情動反応を示していると推定し、一次情動反応は有ると判定する。

次に、フェーズ２における動き判定処理について説明する。一次・二次情動反応解析制御部２３の制御手段１３０は、一次情動反応判定手段１３２から入力した一次情動反応の判定結果が一次情動反応有りの場合、二次情動反応／動き判定命令を二次情動反応／動き判定手段１３３に出力する。図１５を参照して、一次・二次情動反応解析制御部２３の二次情動反応／動き判定手段１３３は、制御手段１３０から二次情動反応／動き判定命令を入力した場合、記憶手段１３１から顔面動きを読み出し、読み出した顔面動きに基づいて顔面移動量を算出する（ステップＳ１５０１）。また、二次情動反応／動き判定手段１３３は、顔面移動量が所定量以下であるか否かを判定する（ステップＳ１５０２）。顔面移動量が所定量以下であると判定した場合（ステップＳ１５０２：Ｙ）、動き判定ＯＫと判定する（ステップＳ１５０３）。一方、顔面移動量が所定量以下でないと判定した場合（ステップＳ１５０２：Ｎ）、動き判定ＮＧと判定する（ステップＳ１５０４）。

具体的には、顔面動きベクトルを

とし、所定量をｔｈ_Ｖとすると、顔面移動量が所定量以下となる条件は、以下の式で表される。

二次情動反応／動き判定手段１３３は、二次情動反応／動き判定結果、及び二次情動反応／動き判定ＯＫの判定結果のときの顔面動きベクトルＶ等の各種データを制御手段１３０に出力する。制御手段１３０は、二次情動反応／動き判定手段１３３から二次情動反応／動き判定結果、及び二次情動反応／動き判定結果が動き判定ＯＫのときの顔面動きベクトルＶ等の各種データを入力し、これらを記憶手段１３１に格納すると共に、情動反応データとして情動反応データ処理部２４に出力する。

このように、一次・二次情動反応解析制御部２３の二次情動反応／動き判定手段１３３は、フェーズ２において、顔面移動量が所定量以下である場合、フェーズ１とフェーズ３の視野映像が重なる程度に顔面が動いていると推定し、フェーズ１から３への動きはＯＫである（動き判定ＯＫ）と判定する。

次に、フェーズ３における二次情動反応判定処理について説明する。この二次情動反応判定処理は、図１５に示した動き判定ＯＫと判定された後に続く処理である。一次・二次情動反応解析制御部２３の制御手段１３０は、二次情動反応／動き判定手段１３３から入力した二次情動反応／動き判定結果が動き判定ＯＫの場合、二次情動反応判定命令を二次情動反応判定手段１３４に出力する。図１６を参照して、一次・二次情動反応解析制御部２３の二次情動反応判定手段１３４は、制御手段１３０から二次情動反応命令を入力した場合、記憶手段１３１から顔面動きを読み出し、読み出した顔面動きに基づいて顔面移動量を算出する（ステップＳ１６０１）。また、二次情動反応判定手段１３４は、顔面移動量が所定量以下となり、その時間が所定時間以上であるか否かを判定する（ステップＳ１６０２）。この場合の所定量は、図１４に示したステップＳ１４０２の所定量と同程度で小さい量（ゼロに近い量）である。顔面移動量が所定量以下となり、その時間が所定時間以上であると判定した場合（ステップＳ１６０２：Ｙ）、二次情動反応は有ると判定する（ステップＳ１６０３）。顔面移動量が所定量以下であって、その時間が所定時間以上の場合は、利用者の視点が映像視野の中央付近の対象物に位置し、情動反応を示しているものと推定することができるからである。一方、顔面移動量が所定量以下でないと判定した場合、または、顔面移動量が所定量以下の時間が所定時間以上でないと判定した場合（ステップＳ１６０２：Ｎ）、二次情動反応は無いと判定する（ステップＳ１６０４）。

具体的には、顔面動きベクトルを

とし、所定量をｔｈ_Ｖ３とすると、顔面移動量が所定量以下となる条件は、以下の式で表される。

また、顔面移動量が所定量以下である時間をΔＴ３とし、所定時間をｔｈ_Ｔ３とすると、時間の条件は、以下の式で表される。
ΔＴ３≧ｔｈ_Ｔ３

二次情動反応判定手段１３４は、二次情動反応の判定結果、及び二次情動反応有りの判定結果のときの各種データを制御手段１３０に出力する。制御手段１３０は、二次情動反応判定手段１３４から二次情動反応の判定結果、及び二次情動反応有りの判定結果のときの各種データを入力し、これらを記憶手段１３１に格納すると共に、情動反応データとして情動反応データ処理部１４に出力する。

このように、一次・二次情動反応解析制御部２３の二次情動反応判定手段１３４は、フェーズ３において、顔面移動量が所定量以下である時間が所定時間以上の場合、利用者の視点が映像視野の中心付近の対象物に位置して情動反応を示していると推定し、二次情動反応は有ると判定する。

次に、対象物同定処理について説明する。一次・二次情動反応解析制御部２３の制御手段１３０は、二次情動反応判定手段１３４から入力した二次情動反応判定結果が二次情動反応有りの場合、すなわち、一次情動反応有り及び二次情動反応有りの場合、対象物同定命令を対象物同定手段１３５に出力する。図１７を参照して、一次・二次情動反応解析制御部２３の対象物同定手段１３５は、制御手段１３０から対象物同定命令を入力した場合、記憶手段１３１から視野映像を読み出し、フェーズ３の初期（フェーズ３の開始直後）において、視野映像の中心の近い位置を含む対象物を抽出する（ステップＳ１７０１）。

具体的には、フェーズ３を開始してから所定時間経過後であるフェーズ３の初期（フェーズ３の開始直後）において、そのときの視野映像の中心に近い所定位置を中心として、ｘ軸方向及びｙ軸方向にそれぞれ±ａ_ｘ，±ａ_ｙの矩形領域に含まれる対象物（画像）を、ｋ平均法等の画面セグメンテーションによって抽出する。この対象物抽出手法は実施例１と同様である。

対象物同定手段１３５は、フェーズ１の終期（フェーズ１の終了直前）の視野映像に含まれる対象物であって、ステップＳ１７０１で読み出した視野映像の中心に近い所定位置を始点にして、フェーズ１からフェーズ３までの間の顔面動きベクトルＶで示される位置を含む複数の対象物（画像）を抽出する（ステップＳ１７０２）。

具体的には、フェーズ１からフェーズ３までの間の顔面動きベクトルを

とすると、視野映像の中心に近い所定位置を始点にして、顔面動きベクトルで示される座標を算出する。フェーズ１の終了時点から所定時間前であるフェーズ１の終期（フェーズ１の終了直前）の視野映像において、前記算出した座標の位置に対象物が存在すると仮定する。つまり、図示しない記憶部からそのときの視野映像を読み出し、算出した座標の位置を中心としてｘ軸方向及びｙ軸方向にそれぞれ±ｂ_ｘ，±ｂ_ｙの矩形領域に含まれる対象物を、ステップＳ１７０１と同様の手法により抽出する。

対象物同定手段１３５は、ステップＳ１７０１にて抽出したフェーズ３の対象物（画像）と、ステップＳ１７０２にて抽出したフェーズ１の対象物（画像）との同一性を、実施例１と同様の手法により検査する（ステップＳ１７０３）。

対象物同定手段１３５は、ステップＳ１７０１にて抽出したフェーズ３の対象物と、ステップＳ１７０２にて抽出したフェーズ１の対象物とが同一であるか否かを判定する（ステップＳ１７０４）。両対象物が同一であると判定した場合（ステップＳ１７０４：Ｙ）、その対象物は同定した対象物として扱い（ステップＳ１７０５）、両対象物が同一でないと判定した場合（ステップＳ１７０４：Ｎ）、その対象物は同定した対象物として扱わない。この判定は、ステップＳ１７０２において複数の対象物が抽出された場合、個々の対象物に対して行われる。

このように、一次・二次情動反応解析制御部２３の対象物同定手段１３５は、図１４〜図１６に示した処理により、フェーズ１からフェーズ３までの対象物に対する視認行動を一次・二次情動反応過程の行動であるとし、図１７に示した処理により、同定した対象物に対して利用者はより強く興味・関心を持っているものと判定する。

そして、制御手段１３０は、記憶手段１３１からそれぞれの判定結果を読み出し、それぞれの判定結果が一次情動反応有り、二次情動反応／動き判定ＯＫ及び二次情動反応有りの場合に、対象物同定手段１３５により同定された対象物に対して情動を示していると判定し、一次情動反応判定処理、二次情動反応判定処理及び対象物同定処理において扱ったデータ及び算出したデータ、並びに同定した対象物等の各種データを、情動反応データとして出力する。

以上のように、実施例２による情動分析装置２によれば、視野映像画像処理・顔面動き推定部２２が視野映像を解析して顔面動きを算出し、一次・二次情動反応解析制御部２３が、顔面動きに基づいて、フェーズ１において一次情動反応を判定し、フェーズ２及びフェーズ３において、フェーズ１からフェーズ３への動き判定を含む二次情動反応を判定し、そして、利用者が興味・関心を持っている対象物を同定するようにした。これにより、対象物に対する興味・関心の有無を精度高く判定することが可能となる。

〔実施例３〕
次に、本発明の第３の実施形態（実施例３）について説明する。図１８は、実施例３による情動分析装置の構成を示すブロック図であり、図２５に示したハードウェア構成の下で制御部１００が情動分析プログラムにより処理を実行する際の機能構成を示している。この情動分析装置３は、視点・瞳孔径解析部３１、顔面動き解析部３２、視野映像画像処理部３３、一次・二次情動反応解析制御部３４及び情動反応データ処理部３５を備えている。

図１に示した実施例１の情動分析装置１と、図１８に示す実施例３の情動分析装置３とを比較すると、両装置とも、入力した眼球画像を解析し、視点及び瞳孔径を出力する視点・瞳孔径解析部１１，３１、視点、瞳孔径、顔面動き及び視野映像を入力して一次及び二次情動反応を解析する一次・二次情動反応解析制御部１３，３４、及び、一次・二次情動反応解析制御部１３，３４から入力した情動反応データに基づいて、対象物に対する評価情報を生成して利用者または事業者へ提示する情動反応データ処理部１４，３５を備えている点で同一である。

一方、実施例１の情動分析装置１は、入力した視野映像を解析して顔面動きを生成する視野映像画像処理・顔面動き推定部１２を備えているのに対し、実施例３の情動分析装置３は、加速度センサデータを入力して解析し、顔面動きを生成する顔面動き解析部３２を備えている点で相違する。

図１８において、視点・瞳孔径解析部３１は、図１に示した視点・瞳孔径解析部１１と同様の処理を行い、視野映像画像処理部３３は、図１に示した視野映像画像処理・顔面動き推定部１２の処理のうち、視野映像を解析して所定の解像度の視野映像を生成する処理を行う。また、一次・二次情動反応解析制御部３４は、図１に示した一次・二次情動反応解析制御部１３と同様の処理を行い、情動反応データ処理部３５は、図１に示した情動反応データ処理部１４と同様の処理を行う。

顔面動き解析部３２は、眼鏡に設けられた加速度センサから加速度センサデータを入力し、加速度センサデータを解析することにより利用者の顔面動き（顔面動きベクトル）を生成し、顔面動きを一次・二次情動反応解析制御部３４に出力する。具体的には、眼鏡に設けられた加速度センサは、利用者の顔面動きを捉え、ｘ，ｙ，ｚ方向の加速度センサデータを顔面動き解析部３２に出力する。顔面動き解析部３２は、加速度センサにより計測されたｘ，ｙ，ｚ方向の加速度センサデータを解析することにより、利用者の顔面の動き（顔面動きベクトルＶ）を特定することができる。すなわち、加速度センサは、縦、横及び高さの３方向の加速度を測定する３軸対応のデバイスの場合、物体に加わる３次元空間のあらゆる方向の加速度を測定する。顔面動き解析部３２は、加速度センサから各方向の加速度を入力し、時間方向にそれぞれ積分することにより、ｘ，ｙ，ｚ方向の速度成分を得る。そして、これらの３つの速度成分からなるベクトルを視野映像の撮像面に射影することによって、視野映像面上での平行移動速度を示すパラメータｃ，ｄ（ｃは視野映像面上における平行移動速度の水平成分、ｄは垂直成分にそれぞれ対応する）からなる顔面動きベクトルを算出する。そして、顔面動き解析部３２は、顔面動き（顔面動きベクトル）を一次・二次情動反応解析制御部３４に出力する。尚、加速度センサからのｘ，ｙ，ｚ方向の加速度センサデータに基づいて、移動速度、移動距離、移動方向等の動き情報を生成する手法については既知である。詳細については、例えば特開２００６−３２０５６６号公報を参照されたい。

また、視点・瞳孔径解析部３１、顔面動き解析部３２及び視野映像画像処理部３３は、視点、瞳孔径、顔面動き及び視野映像について時間的な対応付けを行い、それぞれ同期したデータとして出力する。すなわち、視点・瞳孔径解析部３１は、視野映像画像処理部３３が出力する視野映像の画面毎の視点及び瞳孔径を出力し、顔面動き解析部３２は、視野映像と時間的に対応付けた顔面動きを出力する。

以上のように、実施例３による情動分析装置３によれば、視点・瞳孔径解析部３１が眼球画像を解析して視点及び瞳孔径を算出し、顔面動き解析部３２が加速度センサデータを解析して顔面動きを算出し、視野映像画像処理部３３が、視野映像を解析して所定の解像度の視野映像を生成し、一次・二次情動反応解析制御部３４が、フェーズ１において一次情動反応を判定し、フェーズ２及びフェーズ３において、フェーズ１からフェーズ３への動き判定を含む二次情動反応を判定し、そして、利用者が興味・関心を持っている対象物を同定するようにした。これにより、対象物に対する興味・関心の有無とその程度を精度高く判定することが可能となる。

〔実施例４〕
次に、本発明の第４の実施形態（実施例４）について説明する。図１９は、実施例４による情動分析装置の構成を示すブロック図であり、図２５に示したハードウェア構成の下で制御部１００が情動分析プログラムにより処理を実行する際の機能構成を示している。この情動分析装置４は、顔面動き解析部４２、視野映像画像処理部４３、一次・二次情動反応解析制御部４４及び情動反応データ処理部４５を備えている。

図１３に示した実施例２の情動分析装置２と、図１９に示す実施例４の情動分析装置４とを比較すると、両装置とも、顔面動き及び視野映像を入力して一次及び二次情動反応を解析する一次・二次情動反応解析制御部２３，４４、及び、一次・二次情動反応解析制御部２３，４４から入力した情動反応データに基づいて、対象物に対する評価情報を生成して利用者または事業者へ提示する情動反応データ処理部２４，４５を備えている点で同一である。

一方、実施例２の情動分析装置２は、入力した視野映像を解析して顔面動きを生成する視野映像画像処理・顔面動き推定部２２を備えているのに対し、実施例４の情動分析装置４は、加速度センサデータを入力して解析し、顔面動きを生成する顔面動き解析部４２を備えている点で相違する。

図１９において、視野映像画像処理部４３は、図１３に示した視野映像画像処理・顔面動き推定部２２の処理のうち、視野映像を解析して所定の解像度の視野映像を生成する処理を行う。また、一次・二次情動反応解析制御部４４は、図１３に示した一次・二次情動反応解析制御部２３と同様の処理を行い、情動反応データ処理部４５は、図１３に示した情動反応データ処理部２４と同様の処理を行う。また、顔面動き解析部４２は、図１８に示した実施例３の顔面動き解析部３２と同様の処理を行う。

顔面動き解析部４２及び視野映像画像処理部４３は、顔面動き及び視野映像について時間的な対応付けを行い、それぞれ同期したデータとして出力する。すなわち、顔面動き解析部４２は、視野映像画像処理部４３が出力する視野映像と時間的に対応付けた顔面動きを出力する。

以上のように、実施例４による情動分析装置４によれば、顔面動き解析部４２が加速度センサデータを解析して顔面動きを算出し、視野映像画像処理部４３が、視野映像を解析して所定の解像度の視野映像を生成し、一次・二次情動反応解析制御部４４が、顔面動きに基づいて、フェーズ１において一次情動を判定し、フェーズ２及びフェーズ３において、フェーズ１からフェーズ３への動き判定を含む二次情動を判定し、そして、利用者が興味・関心を持っている対象物を同定するようにした。これにより、対象物に対する興味・関心の有無を精度高く判定することが可能となる。

〔実施例５〕
次に、本発明の第５の実施形態（実施例５）について説明する。実施例５は実施例１または実施例３の変形例であり、情動分析装置５の構成は、実施例１または実施例３と同様である。

実施例５の情動分析装置５において、一次・二次情動反応解析制御部１３，３４は、図５〜図９に示した処理を行うが、これらの処理のうち、図６に示したステップＳ６０２及び図８に示したステップＳ８０２の処理は行わない。すなわち、一次情動反応判定手段１３２は、眼球画像から得た視点停留点が所定範囲内に所定時間以上存在するか否かを判断し、この条件を満たす場合は一次情動反応有りを判定する。また、二次情動反応／動き判定手段１３３が図７に示した動き判定処理により動き判定ＯＫを判定した後、二次情動反応判定手段１３４は、視点停留点が所定範囲内に所定時間存在するか否かを判定し、この条件を満たす場合は二次情動反応有りを判定する。

以上のように、実施例５による情動分析装置５によれば、眼球画像から視点停留位置及び時間を算出し、視野映像または加速度センサデータを解析して顔面動きを算出する。そして、フェーズ１において、視点停留点が所定範囲内に所定時間以上存在していた場合に一次情動反応を判定し、フェーズ２及びフェーズ３において、フェーズ１からフェーズ３への動き判定を行い、視点停留点が所定範囲内に所定時間以上存在していた場合に二次情動反応を判定し、そして、利用者が興味・関心を持っている対象物を同定するようにした。これにより、対象物に対する興味・関心の有無とその程度を精度高く判定することが可能となる。

〔実施例６〕
次に、本発明の第６の実施形態（実施例６）について説明する。図２０は、実施例６による情動分析装置の構成を示すブロック図であり、図２５に示したハードウェア構成の下で制御部１００が情動分析プログラムにより処理を実行する際の機能構成を示している。この情動分析装置６は、生理反応データ調整部６１、視野映像画像処理・顔面動き推定部６２、一次・二次情動反応解析制御部６３及び情動反応データ処理部６４を備えている。

図１３に示した実施例２の情動分析装置２と、図２０に示す実施例６の情動分析装置６とを比較すると、両装置とも、入力した視野映像を解析して視野映像を出力すると共に、グローバル動き推定によりグローバルモーションを算出して顔面動きを出力する視野映像画像処理・顔面動き推定部２２，６２を備えている点で同一である。また、両装置とも、一次・二次情動反応解析制御部２３，６３から入力した情動反応データに基づいて、対象物に対する評価情報を生成して利用者または事業者へ提示する情動反応データ処理部２４，６４を備えている点で同一である。

一方、実施例６の情動分析装置６は、入力した生理反応データを調整する生理反応データ調整部６１を備えているのに対し、実施例２の情動分析装置２は備えていない点で相違する。また、実施例２の情動分析装置２は、視野映像画像処理・顔面動き推定部２２から入力した顔面動きに基づいて一次情動反応及び二次情動反応を判定する一次・二次情動反応解析制御部２３を備えているのに対し、実施例６の情動分析装置６は、生理反応データ調整部６１から入力した生理反応データに基づいて情動反応Ｅ（ｔ）を算出し、一次情動反応及び二次情動反応を判定する一次・二次情動反応解析制御部６３を備えている点で相違する。

図２０において、視野映像画像処理・顔面動き推定部６２は、図１３に示した視野映像画像処理・顔面動き推定部２２と同様の処理を行い、情動反応データ処理部６４は、図１３に示した情動反応データ処理部２４と同様の処理を行う。

生理反応データ調整部６１は、利用者に装着されたセンサから、利用者の体温、脈拍、発汗量、血圧のうちのいずれか一つの生理反応データまたは複数の生理反応データを入力し、同期処理により出力タイミングを調整し、調整した生理反応データを一次・二次情動反応解析制御部６３に出力する。具体的には、生理反応データ調整部６１は、予めメモリに保存しておいた生理反応データの種別毎及び利用者毎の遅延時間を用いて、入力した生理反応データの出力タイミングを調整し、視野映像画像処理・顔面動き推定部６２が出力する視野映像の画面毎に、生理反応データを出力する。これにより、生理反応の遅延時間が異なる利用者毎に、同期した生理反応データを適切なタイミングで出力することができる。

生理反応データ調整部６１及び視野映像画像処理・顔面動き推定部６２は、生理反応データ、視野映像及び顔面動きについて時間的な対応付けを行い、それぞれ同期したデータとして出力する。すなわち、生理反応データ調整部６１は、視野映像画像処理・顔面動き推定部６２が出力する視野映像の画面毎の生理反応データを、生理反応の遅延時間が異なる利用者毎に調整して出力する。

一次・二次情動反応解析制御部６３は、生理反応データ調整部６１から生理反応データを入力すると共に、視野映像画像処理・顔面動き推定部６２から視野映像及び顔面動きを入力する。一次・二次情動反応解析制御部６３の制御手段１３０は、全体の処理を通して、入力した生理反応データ、視野映像及び顔面動きを、同期したデータとして時系列に記憶手段１３１に記憶する。また、生理反応データに基づいて瞬時の情動反応Ｅ（ｔ）、及び一次・二次の総合情動の程度を表す値Ｅａｌｌを算出し、記憶手段１３１に記憶する。尚、情動反応Ｅ（ｔ）の単位時間あたりの積分値を情動反応Ｅとして算出する手法、生理反応データの個体差を取り除く手法、一次・二次の総合情動の程度を表す値Ｅａｌｌの算出手法等については、前述した瞳孔径に基づいて算出する場合と同様であるので、ここでは説明を省略する。生理反応データが複数の場合は、それぞれの生理反応データに基づいて算出した値に対し、予め設定された定数を用いて重み付けを行い加算し、加算結果の生理反応データに基づいて情動反応Ｅ（ｔ）を算出する。

次に、図２０に示した一次・二次情動反応解析制御部６３の処理について説明する。一次・二次情動反応解析制御部６３は、図２に示したフェーズ１〜３の条件（顔面の動きの条件）を満たすか否かの判定処理を行う。図２１は、実施例６によるフェーズ１の一次情動反応判定処理を示すフローチャートである。図２２は、実施例６によるフェーズ３の二次情動反応判定処理を示すフローチャートである。尚、実施例６による二次情動反応判定処理に含まれる、フェーズ２の動き判定処理は、図１５に示した実施例２によるフェーズ２の動き判定処理と同様である。また、実施例６による対象物同定処理は、図１７に示した実施例２による対象物同定処理と同様である。

まず、フェーズ１における一次情動反応判定処理について説明する。一次・二次情動反応解析制御部６３の制御手段１３０は、一次・二次情動反応解析制御の開始に伴い、一次情動反応判定命令を一次情動反応判定手段１３２に出力する。図２１を参照して、一次・二次情動反応解析制御部６３の一次情動反応判定手段１３２は、制御手段１３０から一次情動反応判定命令を入力した場合、記憶手段１３１から顔面動きを読み出し、読み出した顔面動きに基づいて顔面移動量を算出する（ステップＳ２２０１）。また、一次情動反応判定手段１３２は、顔面移動量が所定量以下となり、その時間が所定時間以上であるか否かを判定する（ステップＳ２２０２）。顔面移動量が所定量以下となり、その時間が所定時間以上であると判定した場合（ステップＳ２２０２：Ｙ）、ステップＳ２２０３へ移行する。一方、顔面移動量が所定量以下でないと判定した場合、または、顔面移動量が所定量以下の時間が所定時間以上でないと判定した場合（ステップＳ２２０２：Ｎ）、一次情動反応は無いと判定する（ステップＳ２２０５）。

一次情動反応判定手段１３２は、ステップＳ２２０３において、生理反応データに基づいて算出した情動反応を用いて、フェーズ１終了直前の情動反応が所定値以上であるか否かを判定する（ステップＳ２２０３）。情動反応が所定値以上であると判定した場合（ステップＳ２２０３：Ｙ）、一次情動反応は有ると判定し（ステップＳ２２０４）、情動反応が所定値以上でないと判定した場合（ステップＳ２２０３：Ｎ）、一次情動反応は無いと判定する（ステップＳ２２０５）。

一次情動反応判定手段１３２は、一次情動反応の判定結果、及び一次情動反応有りの判定結果のときの各種データを制御手段１３０に出力する。制御手段１３０は、一次情動反応判定手段１３２から一次情動反応の判定結果、及び一次情動反応有りの判定結果のときの各種データを入力し、これらを記憶手段１３１に格納すると共に、情動反応データとして情動反応データ処理部６４に出力する。

フェーズ２における動き判定処理については、図１５に示した実施例２の動き判定処理と同様であるから、ここでは説明を省略する。次に、フェーズ３における二次情動反応判定処理について説明する。この二次情動反応判定処理は、図１５に示した動き判定ＯＫと判定された後に続く処理である。一次・二次情動反応解析制御部６３の制御手段１３０は、二次情動反応／動き判定手段１３３から入力した二次情動反応／動き判定結果が動き判定ＯＫの場合、二次情動反応判定命令を二次情動反応判定手段１３４に出力する。図２２を参照して、一次・二次情動反応解析制御部６３の二次情動反応判定手段１３４は、制御手段１３０から二次情動反応命令を入力した場合、記憶手段１３１から顔面動きを読み出し、読み出した顔面動きに基づいて顔面移動量を算出する（ステップＳ２３０１）。また、二次情動反応判定手段１３４は、顔面移動量が所定量以下となり、その時間が所定時間以上であるか否かを判定する（ステップＳ２３０２）。顔面移動量が所定量以下となり、その時間が所定時間以上であると判定した場合（ステップＳ２３０２：Ｙ）、ステップＳ２３０３へ移行する。一方、顔面移動量が所定量以下でないと判定した場合、または、顔面移動量が所定量以下の時間が所定時間以上でないと判定した場合（ステップＳ２３０２：Ｎ）、二次情動反応は無いと判定する（ステップＳ２３０５）。

二次情動反応判定手段１３４は、ステップＳ２３０３において、生理反応データに基づいて算出した情動反応を用いて、フェーズ３開始直後の情動反応が所定値以上であるか否かを判定する（ステップＳ２３０３）。情動反応が所定値以上であると判定した場合（ステップＳ２３０３：Ｙ）、二次情動反応は有ると判定し（ステップＳ２３０４）、情動反応が所定値以上でないと判定した場合（ステップＳ２３０３：Ｎ）、二次情動反応は無いと判定する（ステップＳ２３０５）。

二次情動反応判定手段１３４は、二次情動反応の判定結果、及び二次情動反応有りの判定結果のときの各種データを制御手段１３０に出力する。制御手段１３０は、二次情動反応判定手段１３４から二次情動反応の判定結果、及び二次情動反応有りの判定結果のときの各種データを入力し、これらを記憶手段１３１に格納すると共に、情動反応データとして情動反応データ処理部６４に出力する。対象物同定処理については、図１７に示した実施例２の対象物同定処理と同様であるから、ここでは説明を省略する。

そして、制御手段１３０は、記憶手段１３１からそれぞれの判定結果を読み出し、それぞれの判定結果が一次情動反応有り、二次情動反応／動き判定ＯＫ及び二次情動反応有りの場合に、対象物同定手段１３５により同定された対象物に対して情動を示していると判定し、一次情動反応判定処理、二次情動反応判定処理及び対象物同定処理において扱ったデータ及び算出したデータ、並びに同定した対象物等の各種データを、情動反応データとして出力する。

以上のように、実施例６による情動分析装置６によれば、生理反応データ調整部６１が生理反応データを調整し、視野映像画像処理・顔面動き推定部６２が視野映像を解析して顔面動きを算出し、一次・二次情動反応解析制御部６３が、フェーズ１において生理反応データを用いて一次情動反応を判定し、フェーズ２及びフェーズ３においてフェーズ１からフェーズ３への動き判定を行い、生理反応データを用いて二次情動反応を判定し、そして、利用者が興味・関心を持っている対象物を同定するようにした。これにより、対象物に対する興味・関心の有無とその程度を精度高く判定することが可能となる。

〔実施例７〕
次に、本発明の第７の実施形態（実施例７）について説明する。図２３は、実施例７による情動分析装置の構成を示すブロック図であり、図２５に示したハードウェア構成の下で制御部１００が情動分析プログラムにより処理を実行する際の機能構成を示している。この情動分析装置７は、生理反応データ調整部７１、顔面動き解析部７２、視野映像画像処理部７３、一次・二次情動反応解析制御部７４及び情動反応データ処理部７５を備えている。

図２０に示した実施例６の情動分析装置６と、図２３に示す実施例７の情動分析装置７とを比較すると、両装置とも、入力した生理反応データを調整する生理反応データ調整部６１，７１を備えている点で同一である。また、両装置とも、入力した生理反応データ、視野映像及び顔面動きを入力して一次及び二次情動反応を解析する一次・二次情動反応解析制御部６３，７４、及び、入力した情動反応データに基づいて、対象物に対する評価情報を生成して利用者または事業者へ提示する情動反応データ処理部６４，７５を備えている点で同一である。

一方、実施例６の情動分析装置６は、入力した視野映像を解析して顔面動きを生成する視野映像画像処理・顔面動き推定部６２を備えているのに対し、実施例７の情動分析装置７は、加速度センサデータを入力して解析し、顔面動きデータを生成する顔面動き解析部７２を備えている点で相違する。

図２３において、生理反応データ調整部７１は、図２０に示した生理反応データ調整部６１と同様の処理を行う。また、顔面動き解析部７２は、図１８に示した顔面動き解析部３２と同様の処理を行い、視野映像画像処理部７３は、図１８に示した視野映像画像処理部３３と同様の処理を行う。また、一次・二次情動反応解析制御部７４は、図２０に示した一次・二次情動反応解析制御部６３と同様の処理を行い、情動反応データ処理部７５は、図２０に示した情動反応データ処理部６４と同様の処理を行う。

以上のように、実施例７による情動分析装置７によれば、生理反応データ調整部７１が生理反応データを調整し、顔面動き解析部７２が加速度センサデータを解析して顔面動きを算出し、視野映像画像処理部７３が視野映像を解析して所定の解像度の視野映像を生成し、一次・二次情動反応解析制御部７４が、フェーズ１において生理反応データを用いて一次情動反応を判定し、フェーズ２及びフェーズ３において、フェーズ１からフェーズ３への動き判定を行い、生理反応データを用いて二次情動反応を判定し、そして、利用者が興味・関心を持っている対象物を同定するようにした。これにより、対象物に対する興味・関心の有無とその程度を精度高く判定することが可能となる。

尚、実施例１〜７において、対象物同定処理は、図９及び図１７に示したものとは別の処理であってもよい。例えば、ステップＳ９０１，１７０１におけるフェーズ３での抽出時点からフェーズ１へと逆時間方向にフェーズ２の区間をトラッキングして対象物を抽出し、フェーズ１に至ったときに抽出した対象物が、ステップＳ９０２，１７０２においてベクトル計算した位置と大きく離れない位置に存在する場合（その位置に対して所定範囲内に対象物が存在する場合）、その対象物を同定した対象物として扱うようにしてもよい。これにより、対象物同定処理の精度を高めることができる。また、トラッキングが不能となった場合には、対象物を同定できなかったことになる。

以上、実施例を挙げて本発明を説明したが、本発明は前記実施例に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、前記実施例１〜７では、眼鏡を用いるようにしたが、必ずしも眼鏡である必要はなく、例えば、カメラが設けられた帽子であってもよい。要するに、カメラによって利用者の眼球画像及び／または視野映像が撮影されればよい。また、情動分析装置１〜７は利用者が必ずしも装着する必要はなく、情動分析装置１〜７を別の場所で独立して動作させるようにしてもよい。例えば、眼球画像等を記憶媒体に格納させ、別の場所に設置したパーソナルコンピュータ等の情動分析装置１〜７が記憶媒体から眼球画像等を読み出して各種処理を行うようにしてもよい。また、眼球画像等を各種カメラ等から無線または有線の通信回線を通じて送り出し、別の場所に設置された情動分析装置１〜７が受信して各種処理を行うようにしてもよい。

また、前記実施例１，３では、瞳孔径に基づいた情動反応Ｅ（ｔ）を用いて、情動反応の有無を判定するようにしたが、本発明では、情動反応Ｅ（ｔ）は必ずしも瞳孔径に基づいて算出する必要はない。例えば、瞬目回数、視点停留時間等の、眼球画像を解析して得られた生理反応データに基づいて、または、瞳孔径、瞬目回数、視点停留時間等の複数の生理反応データに基づいて算出するようにしてもよい。また、情動反応Ｅ（ｔ）は、眼球画像を解析して得られた生理反応データに加えて、利用者の体温、脈拍、発汗量、血圧等の生理反応データも含めて算出するようにしてもよい。生理反応データが複数の場合は、それぞれの生理反応データに基づいて算出した値に対し、予め設定された定数を用いて重み付けを行い加算する。そして、加算結果生理反応データに基づいて情動反応Ｅ（ｔ）を算出し、一次情動反応及び二次情動反応を判定し、情動反応データを生成する。

また、前記実施例６，７では、利用者の体温、脈拍、発汗量、血圧の生理反応データに基づいた情動反応Ｅ（ｔ）を用いて、情動反応の有無を判定するようにしたが、情動反応Ｅ（ｔ）は必ずしも体温、脈拍、発汗量、血圧に基づいて算出する必要はなく、それ以外の生命現象に伴って変化する生理反応データに基づいて算出するようにしてもよい。

また、前記実施例１，５，６では、眼鏡に設けられた視野映像撮影用カメラにより撮影された視野映像に基づいて顔面動きを算出し、実施例２，３，４，５，７では、加速度センサデータに基づいて顔面動きを算出するようにしたが、利用者から離れた箇所に設けた顔面撮影用カメラにより利用者の顔面を撮影し、その顔面映像に基づいて顔面動きを算出するようにしてもよい。具体的には、利用者に装着されていない外部に設けられた顔面撮影用カメラにより撮影された顔面映像から、予め登録された利用者の顔画像情報に類似する領域を抽出する（後述する（２）を参照）。そして、その抽出した領域内の顔画像に基づいて顔面の向きを映像フレーム毎に検出し（後述する（１）を参照）、対象とする２フレーム間（必ずしも隣接フレームでなくてもよい）における顔の向きの変化を、その経過時間で除算することで、単位時間当たりの顔面動きを算出する。尚、顔面撮影用カメラで撮影された顔面映像に基づいて顔面動きを算出する手法は既知であるから、ここでは詳細な説明を省略する。詳しくは、以下の（１）（２）を参照されたい。
（１）“王様の箱庭：：ｂｌｏｇ Ｊａｖａ（登録商標）Ｓｃｒｉｐｔからから利用できる顔検出ＡＰＩ「ｆａｃｅｋｉｔ」”、［ｏｎｌｉｎｅ］、平成１９年３月２１日、［平成２０年９月２８日検索］、インターネット＜ｈｔｔｐ：／／ｄ．ｈａｔｅｎａ．ｎｅ．ｊｐ／ｍａｓａｙｏｓｈｉ／２００７０３２１＞
（２）“Ｔｕｔｏｒｉａｌ：ＯｐｅｎＣＶ ｈａａｒｔｒａｉｎｉｎｇ（Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｗｉｔｈ Ａ Ｃａｓｃａｄｅ ｏｆ Ｂｏｏｓｔｅｄ Ｃｌａｓｓｉｆｉｅｒｓ Ｂａｓｅｄ ｏｎ Ｈａａｒ−ｌｉｋｅ Ｆｅａｔｕｒｅｓ）”、［ｏｎｌｉｎｅ］、［平成２０年９月２８日検索］、インターネット＜Ｈｔｔｐ：／／ｎｏｔｅ．ｓｏｎｏｔｓ．ｃｏｍ／ＳｃｉＳｏｆｔｗａｒｅ／ｈａａｒｔｒａｉｎｉｎｇ．ｈｔｍｌ＞
これ以外に、顔面動きを算出する手法としては、前記（１）で実現されている顔の向きを実時間で捉えて顔面動きデータを算出するものがある。また、その際のアルゴリズムとしては、前記（２）が用いられる。

１〜７ 情動分析装置
１１，３１ 視点・瞳孔径解析部
１２，２２，６２ 視野映像画像処理・顔面動き推定部
１３，２３，３４，４４，６３，７４ 一次・二次情動反応解析制御部
１４，２４，３５，４５，６４，７５ 情動反応データ処理部
３２，４２，７２ 顔面動き解析部
３３，４３，７３ 視野映像画像処理部
６１，７１ 生理反応データ調整部
１００ 制御部
１０１ ＣＰＵ
１０２ 記憶部
１０３ 記憶装置
１０４ 通信部
１０５ インターフェース部
１０６ 操作・入力部
１０７ 表示部
１０８ 電源部
１０９ システムバス
１３０ 制御手段
１３１ 記憶手段
１３２ 一次情動反応判定手段
１３３ 二次情動反応／動き判定手段
１３４ 二次情動反応判定手段
１３５ 対象物同定手段

Claims (14)

1. 利用者が視認する対象物を含む視野映像を用いて、前記利用者の対象物に対する情動を分析する情動分析装置において、
   前記利用者の生命現象に伴って変化する生理反応データに基づいて、前記対象物を含む視野映像に対して情動反応を示していることを判定し、一次情動反応有りの判定結果を出力する一次情動反応判定手段と、
   前記一次情動反応判定手段により出力された一次情動反応有りの判定結果を入力し、その後の前記利用者の顔面の動きに伴って変化する動きの大きさを示す顔面動きデータに基づいて、顔面動きが有ることを判定し、顔面動きＯＫの判定結果を出力する動き判定手段と、
   前記動き判定手段により出力された顔面動きＯＫの判定結果を入力し、その後の前記生理反応データに基づいて、前記対象物を含む視野映像に対して情動反応を示していることを判定し、二次情動反応有りの判定結果を出力する二次情動反応判定手段と、を備え、
   前記一次情動反応判定手段により一次情動反応有りの判定結果が出力され、かつ、前記動き判定手段により顔面動きＯＫの判定結果が出力され、かつ、前記二次情動反応判定手段により二次情動反応有りの判定結果が出力された場合に、前記一次情動反応判定手段により情動反応を判定したときの前記生理反応データと、前記二次情動反応判定手段により情動反応を判定したときの前記生理反応データとに基づいて、前記情動反応の程度を判定する、ことを特徴とする情動分析装置。
2. 請求項１に記載の情動分析装置において、
   前記利用者の生命現象に伴って変化する生理反応データを、前記利用者の眼球が撮影された眼球画像から得られた眼球の動きに伴う生理反応データとし、
   前記利用者の顔面動きデータを、前記利用者が視認する情景が撮影された視野映像における基準フレームの映像から任意のフレームの映像への座標変換により得られた顔面動きの大きさと方向を含む顔面動きデータとし、
   前記一次情動反応判定手段は、前記眼球画像における眼球の瞳孔から得られた前記視野映像内の位置を示す視点が前記視野映像内の所定箇所に所定時間以上存在し、かつ、前記生理反応データと予め設定された第１のしきい値とを比較し、一次情動反応有りを判定して前記一次情動反応有りの判定結果を出力し、
   前記動き判定手段は、前記一次情動反応判定手段により出力された一次情動反応有りの判定結果を入力し、その後の前記視点の動き方向と前記顔面動き方向とを比較し、これらの動きが逆方向であると判定し、かつ、前記視点の動きの大きさと前記顔面動きの大きさとを比較し、これらの差が所定値以下であると判定し、かつ、前記顔面動きの大きさと予め設定された第２のしきい値とを比較し、顔面動きＯＫを判定して前記顔面動きＯＫの判定結果を出力し、
   前記二次情動反応判定手段は、前記動き判定手段により出力された顔面動きＯＫの判定結果を入力し、その後の前記視点が視野映像内の中央から所定範囲内の箇所に所定時間以上存在し、かつ、前記生理反応データと予め設定された第３のしきい値とを比較し、二次情動反応有りを判定して前記二次情動反応有りの判定結果を出力する、ことを特徴とする情動分析装置。
3. 請求項２に記載の情動分析装置において、
   前記一次情動反応判定手段は、前記顔面動きの大きさが所定値以下となるフェーズ１のときに、前記視点が前記視野映像内の所定箇所に所定時間以上存在し、かつ、前記顔面動きの大きさが所定値を越えるフェーズ２が開始する前に、前記生理反応データと予め設定された第１のしきい値とを比較し、一次情動反応有りを判定して前記一次情動反応有りの判定結果を出力する、ことを特徴とする情動分析装置。
4. 請求項３に記載の情動分析装置において、
   前記動き判定手段は、前記一次情動反応判定手段により出力された一次情動反応有りの判定結果を入力し、前記フェーズ１の後に顔面動きの大きさが所定値を超えるフェーズ２のときに、前記視点の動き方向と前記顔面動き方向とを比較し、これらの動きが逆方向であると判定し、かつ、時間的に連続する視点が複数存在する所定範囲内の重心座標を視点停留点としたときの前記視点停留点の動きの大きさと前記顔面動きの大きさとを比較し、これらの差が所定値以下であると判定し、かつ、前記顔面動きの大きさと予め設定された第２のしきい値とを比較し、顔面動きＯＫを判定して前記顔面動きＯＫの判定結果を出力する、ことを特徴とする情動分析装置。
5. 請求項４に記載の情動分析装置において、
   前記二次情動反応判定手段は、前記動き判定手段により出力された顔面動きＯＫの判定結果を入力し、前記フェーズ２の後に顔面動きの大きさが所定値以下となるフェーズ３のときに、前記視点が視野映像内の中央から所定範囲内の箇所に所定時間以上存在し、かつ、前記生理反応データと予め設定された第３のしきい値とを比較し、二次情動反応有りを判定して前記二次情動反応有りの判定結果を出力する、ことを特徴とする情動分析装置。
6. 請求項５に記載の情動分析装置において、
   さらに、前記フェーズ３が開始した後に、前記視点を含む箇所に存在していた対象物を前記視野映像から抽出し、前記フェーズ２が開始する前に、前記フェーズ３が開始した後の視点を基準にして、前記フェーズ２の顔面動きにより示される箇所に存在していた対象物を前記視野映像から抽出し、前記抽出した両対象物の同一性を求める対象物同定手段、を備えたことを特徴とする情動分析装置。
7. 利用者が視認する対象物を含む視野映像を用いて、前記利用者の対象物に対する情動を分析する情動分析装置において、
   前記利用者が視認する情景が撮影された視野映像における基準フレームの映像から任意のフレームの映像への座標変換により得られた顔面動きの大きさを含む顔面動きデータを用いて、前記顔面動きの大きさと、予め設定された第１のしきい値とを比較し、前記顔面動きの大きさが前記しきい値以下となる時間が所定時間以上の場合に、一次情動反応有りを判定して一次情動反応有りの判定結果を出力する一次情動反応判定手段と、
   前記一次情動反応判定手段により出力された一次情動反応有りの判定結果を入力し、その後の前記顔面動きの大きさと予め設定された第２のしきい値とを比較し、顔面動きＯＫを判定して前記顔面動きＯＫの判定結果を出力する動き判定手段と、
   前記動き判定手段により出力された顔面動きＯＫの判定結果を入力し、その後の前記顔面動きの大きさと予め設定された第３のしきい値とを比較し、前記顔面動きの大きさが前記しきい値以下となる時間が所定時間以上の場合に、二次情動反応有りを判定して二次情動反応有りの判定結果を出力する二次情動反応判定手段と、を備え、
   前記一次情動反応判定手段により一次情動反応有りの判定結果が出力され、かつ、前記動き判定手段により顔面動きＯＫの判定結果が出力され、かつ、前記二次情動反応判定手段により二次情動反応有りの判定結果が出力された場合に、前記視野映像に含まれる対象物に対して情動を示していると判定する、ことを特徴とする情動分析装置。
8. 請求項１に記載の情動分析装置において、
   前記利用者の生命現象に伴って変化する生理反応データを、前記利用者の眼球が撮影された眼球画像における眼球の瞳孔から得られた前記視野映像内の位置を示す視点が前記視野映像の所定箇所に存在している視点停留時間とし、
   前記一次情動反応判定手段は、前記視点停留時間と予め設定された第１のしきい値とを比較し、一次情動反応有りを判定して前記一次情動反応有りの判定結果を出力し、
   前記二次情動反応判定手段は、前記動き判定手段により出力された顔面動きＯＫの判定結果を入力し、その後の前記視点停留時間と予め設定された第３のしきい値とを比較し、二次情動反応有りを判定して前記二次情動反応有りの判定結果を出力する、ことを特徴とする情動分析装置。
9. 請求項１に記載の情動分析装置において、
   前記利用者の顔面動きデータを、前記利用者が視認する情景が撮影された視野映像における基準フレームの映像から任意のフレームの映像への座標変換により得られた顔面動きの大きさを含む顔面動きデータとし、
   前記一次情動反応判定手段は、前記顔面動きの大きさと予め設定された第１−１のしきい値とを比較し、前記顔面動きの大きさが前記しきい値以下となる時間が所定時間以上であり、かつ、前記生理反応データと予め設定された第１−２のしきい値とを比較し、一次情動反応有りを判定して前記一次情動反応有りの判定結果を出力し、
   前記動き判定手段は、前記一次情動反応判定手段により出力された一次情動反応有りの判定結果を入力し、その後の前記顔面動きの大きさと予め設定された第２のしきい値とを比較し、顔面動きＯＫを判定して前記顔面動きＯＫの判定結果を出力し、
   前記二次情動反応判定手段は、前記動き判定手段により出力された顔面動きＯＫの判定結果を入力し、その後の前記顔面動きの大きさと予め設定された第３−１のしきい値とを比較し、前記顔面動きの大きさが前記しきい値以下となる時間が所定時間以上であり、かつ、前記生理反応データと予め設定された第３−２のしきい値とを比較し、二次情動反応有りを判定して前記二次情動反応有りの判定結果を出力する、ことを特徴とする情動分析装置。
10. 請求項１から９までのいずれか一項に記載の情動分析装置において、
    前記利用者の顔面動きデータを、前記利用者の顔面の動きを捉える加速度センサからのデータを用いて得られた顔面動きデータとする、ことを特徴とする情動分析装置。
11. 請求項１から６までのいずれか一項に記載の情動分析装置において、
    前記一次情動反応判定手段により情動反応を判定したときの前記生理反応データに基づいて、前記一次情動反応の程度を表す数値データを出力し、前記二次情動反応判定手段により情動反応を判定したときの前記生理反応データに基づいて、前記二次情動反応の程度を表す数値データを出力する手段、を備えたことを特徴とする情動分析装置。
12. 請求項１１に記載の情動分析装置において、
    前記一次情動反応及び二次情動反応におけるそれぞれの情動の程度を表す数値データに基づいて一次・二次総合情動を表す数値データを算出して外部の制御機器へ出力し、前記一次・二次総合情動を表す数値に基づいて外部の制御機器を動作させる、ことを特徴とする情動分析装置。
13. 請求項２ないし６及び８のうちのいずれか一項に記載の情動分析装置において、
    前記視野映像が視野映像撮影用カメラにより撮影され、前記眼球画像が眼球撮影用カメラにより撮影され、前記視野映像撮影用カメラ及び眼球撮影用カメラが、利用者が装着している眼鏡または帽子に設けられている、ことを特徴とする情動分析装置。
14. 請求項１から１３までのいずれか一項に記載の情動分析装置において、
    前記利用者から離れた箇所から前記利用者を撮影するための顔面撮影用カメラが設けられ、
    前記利用者の顔面動きデータを、前記顔面撮影用カメラが撮影した顔面映像から得られた顔面動きデータとする、ことを特徴とする情動分析装置。

Images