JP6509712B2 - 印象推定装置およびプログラム - Google Patents

印象推定装置およびプログラム Download PDF

Info

Publication number
JP6509712B2
JP6509712B2 JP2015221019A JP2015221019A JP6509712B2 JP 6509712 B2 JP6509712 B2 JP 6509712B2 JP 2015221019 A JP2015221019 A JP 2015221019A JP 2015221019 A JP2015221019 A JP 2015221019A JP 6509712 B2 JP6509712 B2 JP 6509712B2
Authority
JP
Japan
Prior art keywords
image
feature amount
feature
impression
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015221019A
Other languages
English (en)
Other versions
JP2017086529A (ja
Inventor
惇 米家
惇 米家
茂人 古川
茂人 古川
牧夫 柏野
牧夫 柏野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2015221019A priority Critical patent/JP6509712B2/ja
Publication of JP2017086529A publication Critical patent/JP2017086529A/ja
Application granted granted Critical
Publication of JP6509712B2 publication Critical patent/JP6509712B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)

Description

本発明は、視覚によって知覚可能な像に対する印象を推定する技術に関する。
画像に対する好みに応じて瞳孔径が変化することが知られている(例えば、非特許文献1等参照)。注視点解析に基づいて画像評価を行う技術がある(例えば、非特許文献2等参照)。
中森志穂,水谷奈那美,山中敏正,「顔画像に対する好みは,瞳孔径にどう反映されるのか」,日本感性工学会論文誌,Vol. 10 (2010) No. 3,P 321-326. Miyata, Kimiyoshi, et al. "Eye movement analysis and its application to evaluation of image quality." Color and Imaging Conference. Vol. 1997. No. 1. Society for Imaging Science and Technology, 1997.
しかしながら、視覚によって知覚可能な像に対する印象を推定する技術は知られていない。例えば、上述のように画像に対する好みに応じて瞳孔径が変化することは知られているものの、瞳孔径に基づいて画像に対する好みなどの印象を推定する技術は知られていない。また、注視点解析に基づいて画質の評価を行う技術は知られているものの、画像に対する好みのような印象を推定するものではない。
本発明の課題は、視覚によって知覚可能な像に対する印象を推定することである。
第1の像を注視する動物の目の動的な変化に基づく第1特徴量を抽出し、第1特徴量に基づいて少なくとも動物の第1の像に対する印象を推定する。
これにより、視覚によって知覚可能な像に対する印象を推定できる。
図1は、実施形態の印象推定装置の構成を示すブロック図である。 図2は、実施形態の印象推定装置の動作を示すフローチャートである。 図3Aおよび図3Bは、印象の評価対象となる画像の呈示方法を例示した図である。 図4は、マイクロサッカードを例示した図である。 図5Aは、マイクロサッカードの特徴量を説明するための図である。図5Bは、瞳孔径の特徴量を説明するための図である。 図6Aは、視野角を例示した図である。図6Bは、瞳孔径を例示した図である。 図7は、比較特徴量列を例示した図である。 図8Aおよび図8Bは、図3Aおよび図3Bのように呈示された画像に対する印象と特徴量との関係を例示した図である。 図9は、視点の動きを例示した図である。 図10Aおよび図10Bは、印象の評価対象となる画像の呈示方法を例示した図である。 図11Aおよび図11Bは、印象の評価対象となる画像の呈示方法を例示した図である。 図12Aおよび図12Bは、印象の評価対象となる画像の呈示方法を例示した図である。
以下、本発明の実施形態を説明する。以下の説明および図面では同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を付し、説明が重複する場合にはこれを省略する。
[概要]
まず概要を説明する。実施形態では、「第1の像」を注視する動物の目の動的な変化(目の動きおよび瞳孔の大きさの経時変化の少なくとも一方)に基づく「第1特徴量」を抽出し、この「第1特徴量」に基づいて、少なくとも「動物」の「第1の像」に対する印象(印象の度合い)を推定する。「印象」の例は、好んでいるか否かに関するものであり、印象が良いとは好んでいることを、印象が悪いとは好んでいないことを意味する。ただし、これは本発明を限定するものではなく、面白いか否かに関するものや楽しいか否かに関するものなど、その他の「印象」を推定してもよい。また好んでいるか否かのような2値分類に限らず、印象に関する複数クラス(好き嫌いの度合いに対応するクラス)のうち、どのクラスに属するかを推定してもよい。
好ましくは、「第1の像」を注視する「動物」の目の動的な変化に基づく「第1特徴量」と、「第1の像」を注視しない当該「動物」の目の動的な変化に基づく「第2特徴量」とを抽出し、「第1特徴量」と「第2特徴量」とに基づいて、少なくとも当該「動物」の「第1の像」に対する印象を推定する。「第1の像」を注視するときの「第1特徴量」と「第1の像」を注視しないときの「第2特徴量」とを用いることにより、「第1の像」に対する相対的な印象を推定できる。「目の動的な変化」とは、目の動きおよび瞳孔の大きさの経時変化の少なくとも一方の変化を意味する。「目の動き」とは、目の位置の経時変化を意味し、例えば、眼球の動き(眼球の位置の経時変化)および目蓋の動き(目蓋の位置の経時変化)の少なくとも一方を意味する。
「第2特徴量」は、「第1の像」と異なる「第2の像」を注視する「動物」の目の動的な変化に基づく特徴量であってもよいし、特定の注視対象を設定しない状況での「動物」の目の動的な変化に基づく特徴量であってもよい。前者の場合、並べられた「第1の像」と「第2の像」とが同時に呈示されてもよいし、「第1の像」の呈示の後に「第2の像」が呈示されてもよいし、「第2の像」の呈示の後に「第1の像」が呈示されてもよい。後者の場合、「第1の像」がそれ以外の任意の背景とともに呈示されてもよいし、「第1の像」の呈示の後に「第1の像」が非呈示とされてもよいし(例えば、任意の背景のみを呈示)、「第1の像」が非呈示とされた後に「第1の像」が呈示されてもよい。前者の場合、さらに「第2の像」に対する印象が推定されてもよいし、「第2の像」に対する「第1の像」の相対的な印象が推定されてもよいし、「第1の像」に対する「第2の像」の相対的な印象が推定されてもよい。「第1の像」および「第2の像」は、視覚によって知覚可能な像であり、平面に表れる像であってもよいし、立体に表れる像であってもよい。「第1の像」および「第2の像」の例は、静止画や動画などの画像(二次元画像または立体画像)、絵画、イラスト、文字、彫刻などの美術品、時計などの実用品、人(ヒト)や犬などの動物、食物などの自然物である。「第1の像」と「第2の像」とは同じ種別の像であってもよいし、互いに異なる種別の像であってもよい。例えば、「第1の像」と「第2の像」とが共に画像であってもよいし、「第1の像」が目の前に実際に存在するもの(人間など)であり、「第2の像」がデータとして保存可能なもの(画像など)であってもよい。「動物」の例は哺乳類であり、例えば、人間(ヒト)などである。
「第1特徴量」および「第2特徴量」は、「動物」の目の動的な変化に基づくものであればどのようなものでもよい。例えば、眼球の動き(眼球の位置の経時変化)および瞳孔の大きさの経時変化の少なくとも一方に基づく特徴量を「第1特徴量」および「第2特徴量」とできる。このような特徴量の例は、眼球の動きに基づく「マイクロサッカードの特徴」「ラージサッカードの特徴」「注視の特徴」、「瞬目の特徴」、瞳孔の大きさの経時変化に基づく「縮瞳の特徴」「散瞳の特徴」などである。「注視の特徴」の例は、動物による像の「注視時間」、「注視回数」、および「注視領域」の何れかに対応する特徴である。「第1特徴量」および「第2特徴量」は、それぞれ単数であってもよいし、複数であってもよい。
例えば「第1特徴量」の何れかが、「第1の像」を注視する「動物」の眼球の動きに表れるマイクロサッカードの特徴に対応し、「第2特徴量」の何れかが、「第1の像」と並んで配置された「第2の像」を注視する「動物」の眼球の動きに表れるマイクロサッカードの特徴に対応し、「マイクロサッカードの特徴」が、「第1の像」および「第2の像」を通る直線の法線成分の眼球の動きに表れる特徴を含んでもよい。これにより、「第1の像」と「第2の像」との間での視線移動の影響を受けにくい方向成分の「マイクロサッカードの特徴」を利用できる。「第1の像および第2の像を通る直線」の例は、「第1の像」の重心と「第2の像」の重心とを通る直線である。
「動物」に「第1の像」を呈示する「第1時間区間」と、「動物」に「第1の像」を呈示しない「第2時間区間」とが、交互に複数回繰り返され、「第1時間区間」における「動物」の目の動的な変化に基づく特徴量を「第1特徴量」の何れかとし、「第2時間区間」における「動物」の目の動的な変化に基づく特徴量を「第2特徴量」の何れかとしてもよい。これにより、時間経過に基づく「第1特徴量」および「第2特徴量」に対する外乱の影響の度合いを平坦化し、印象の推定精度を向上できる。
「比較特徴量列」を含む情報に基づいて「第1の像」および「第2の像」の少なくとも一方に対する印象が推定されてもよい。「比較特徴量列」とは、複数(複数種類)の「第1特徴量」を含む「第1特徴量列」の各要素と、複数(複数種類)の「第2特徴量」を含む「第2特徴量列」の各要素と、の「比較結果を表す値」を各要素とする列に基づく特徴量列である。このような「比較特徴量列」は、外乱(像に対する印象以外の要因)が「第1特徴量列」や「第2特徴量列」に与えた影響を相殺または抑制したものとなる。そのため、「比較特徴量列」を用いることで印象の推定精度を向上できる。また「比較特徴量列」の要素は「第1特徴量列」の各要素と「第2特徴量列」の各要素との比較結果に基づくため、特徴量と印象との関係が単純な線形関係にない場合でも、容易に印象を推定できる。さらに「比較特徴量列」を用いて印象を推定する場合の精度は、一組の「第1特徴量」と「第2特徴量」とを比較して印象を推定する場合の精度よりも高い。「比較特徴量列」は複数の「第1特徴量」と「第2特徴量」との比較結果に基づくため、「第1特徴量」や「第2特徴量」への外乱(像に対する印象以外の要因)が推定結果に与える影響を抑制できるからである。さらに「比較特徴量列」を用いることにより、特徴量と印象との関係が単純な線形関係にない場合でも、印象を推定することができる。
「第1特徴量列」の要素のすべてが「第1特徴量」であってもよいし、「第1特徴量列」の一部の要素が「第1特徴量」であってもよい。同様に「第2特徴量列」の要素のすべてが「第2特徴量」であってもよいし、「第2特徴量列」の一部の要素が「第2特徴量」であってもよい。「第1特徴量列」と「第2特徴量列」との要素数は等しい。「比較結果を表す値」の例は、「第1特徴量列」の各要素と「第2特徴量列」の各要素との大小関係を表す値である。例えば、「第1特徴量列」の要素が「第2特徴量列」の要素よりも大きい場合にそれらの「比較結果を表す値」を「第1値」とし、「第1特徴量列」の要素が「第2特徴量列」の要素よりも小さい場合にそれらの「比較結果を表す値」を「第2値」とする(基準1)。あるいは「第1特徴量列」の要素が「第2特徴量列」の要素よりも小さい場合にそれらの「比較結果を表す値」を「第1値」とし、「第1特徴量列」の要素が「第2特徴量列」の要素よりも大きい場合にそれらの「比較結果を表す値」を「第2値」としてもよい(基準2)。「第1特徴量列」の要素と「第2特徴量列」の要素とが等しい場合には、「比較結果を表す値」を「第1値」としてもよいし、「第2値」としてもよいし、その他の値としてもよい。ただし「第2値」は「第1値」と異なる。「第1値」>「第2値」であってもよいし、「第2値」>「第1値」であってもよい。例えば「第1値」が1であって「第2値」が0であってもよいし、「第1値」が0であって「第2値」が1であってもよい。このように「比較特徴量列」をバイナリ列(バイナリ特徴量)とすることで、外乱に基づく印象の推定誤差を抑制でき、印象の推定精度を向上できる。さらに、特徴量と印象との関係が単純な線形関係にない場合でも、印象を推定することができる。
「第1特徴量列」および「第2特徴量列」のすべての要素に「基準1」または「基準2」の何れか一方のみが適用されてもよい。あるいは、「第1特徴量列」および「第2特徴量列」の各要素に「基準1」および「基準2」の何れの基準が適用されるかが定められていてもよい。例えば、「第1の像」に好意を持っているときに「比較結果を表す値」がすべて「第1値」となる傾向を示すように、各要素に適用される基準が定められてもよい。逆に、「第1の像」に好意を持っているときに「比較結果を表す値」がすべて「第2値」となる傾向を示すように、各要素に適用される基準が定められてもよい。「比較結果を表す値を各要素とする列」をそのまま「比較特徴量列」としてもよいし、「比較結果を表す値」に「係数」を乗算して得られる値からなる列を「比較特徴量列」としてもよい。例えば、「第1の像に対する印象」との相関が大きい「比較結果を表す値」に乗じられる「係数」の絶対値が、「第1の像に対する印象」との相関がそれよりも小さい「比較結果を表す値」に乗じられる「係数」の絶対値よりも大きくてもよい。ばらつきの小さい「比較結果を表す値」に乗じられる「係数」の絶対値が、それよりもばらつきの大きい「比較結果を表す値」に乗じられる「係数」の絶対値よりも大きくてもよい。これにより、推定精度を向上できる。
複数の「第1特徴量」を含む「第1特徴量列」と複数の「第2特徴量」を含む「第2特徴量列」とが抽出され、少なくともそれらに基づく「比較特徴量列」に基づいて、少なくとも「動物」の「第1の像」に対する印象が推定されてもよい(推定方法1)。例えば、「比較結果を表す値」と「第1の像に対する印象」との関係に基づく「重み係数」が事前学習されており、「比較特徴量列」の要素を「重み係数」で「重み付けして得られる列」に基づいて、この推定が行われてもよい。例えば、「比較特徴量列」の要素を「重み係数」で「重み付け加算して得られる値」に基づいて、この推定が行われてもよい。「重み係数」の例は、「比較結果を表す値」と学習用対象者の回答などによって得られた「第1の像に対する印象(例えば、好き=1、嫌い=0)」との相関係数またはその関数値である。あるいは、「第1特徴量」および「第2特徴量」の何れか、ならびに「比較特徴量列」に基づいて、この推定が行われてもよい(推定方法2)。さらに、「第1特徴量」および「第2特徴量」の何れか、ならびに「重み付けして得られる列」に基づいて、この推定が行われてもよい(推定方法3)。
推定方法1による推定は、「比較特徴量列」に基づく指標(例えば、「比較特徴量列」の要素を加算または重み付け加算して得られる値)と閾値との比較によって行われてもよいし、重回帰分析、k−means、サポートベクターマシーン(SVM)、単純クラスタリングなどによって行われてもよい。推定方法2,3についても同様である。
[第一実施形態]
第一実施形態について説明する。本実施形態では、人の目の動きおよび瞳孔の大きさの経時変化の少なくとも一方に基づく特徴量に基づいて、並べられた2つの画像に対する相対的な好みを推定する。
<印象推定装置の構成および動作>
図1、図2を参照して本実施形態の印象推定装置の構成、および動作について説明する。図1に示すように、本実施形態の印象推定装置10は、画像呈示部11、眼球情報取得部12、特徴量抽出部13、および嗜好推定部14を含む。
《画像呈示部11》
画像呈示部11は、2つの異なる画像α,β(「第1の像」および「第2の像」)を所定の時間区間τにおいて人間(ヒト)である対象者100の視野内に呈示する(S11)。例えば、対象者100の正面に設置したモニターの左右の領域に1つずつ、観察可能な時間の長さで画像を呈示する。図3Aおよび図3Bの例では、モニターの左側の領域に画像αが呈示され、右側の領域に画像β(画像αと異なる画像)が呈示される。すなわち、画像α,βが並んで配置される。
《眼球情報取得部12》
眼球情報取得部12は、前述の時間区間τにおける、対象者100の「目の動的な変化」である「目の動き(例えば眼球の位置の経時変化)」および「瞳孔の大きさの経時変化」の少なくとも一方に関する情報を取得する(S12)。眼球情報取得部12は、取得した目の動的な変化に関する情報を特徴量抽出部13へ出力する。目の動的な変化に基づく特徴量として、「マイクロサッカード(microsaccade)」や「ラージサッカード(large saccade)」に関する特徴量を用いる場合、前述の時間区間τの中に、対象者100が2つの異なる画像α,β(画像領域)(図3A,図3B)をそれぞれ注視したときの一つ以上のマイクロサッカードおよびラージサッカードが含まれるように、その長さが設定される。時間区間τの長さは、数秒から数十秒程度とすることが望ましい。あるいは、対象者100に2つの画像α,βのどちらが好きかを判断するために見比べてもらうように指示し、対象者100が任意のタイミングでボタンを押すことで2つの画像α,βが呈示され、対象者100が再びボタンを押すことでこれらの呈示が終了することにしてもよい。この場合には、結果として画像α,βを呈示していた時間区間を「時間区間」としてもよい。
対象者100の目の動的な変化に関する情報は、例えば赤外線カメラによって取得される。この場合、対象者100に2つの画像α,βのどちらが好きかを判断するために見比べてもらうように指示し、その時の眼球の動きを赤外線カメラで撮像する。眼球情報取得部12は、撮像結果を画像処理することで、フレーム毎(例えば、1000Hzのサンプリング間隔)の眼球の位置の時系列を眼球の動きに関する情報として取得する。眼球情報取得部12は、撮像装置(赤外線カメラ)と画像処理アルゴリズムを実行するコンピュータなどによって実現されてもよいし、撮像装置(赤外線カメラ)を外部装置として、撮像装置から入力された画像を画像処理するアルゴリズムを実行するコンピュータなどによって実現されてもよい。また、眼球情報取得部12は、電極を用いた電位計測法を用いて眼球の動きを測定してもよい。この場合、眼球情報取得部12は、測定装置(電極を含む)と測定装置が測定した電位に基づいて眼球の位置を計算するアルゴリズムを実行するコンピュータなどによって実現されてもよいし、測定装置を外部装置として、測定装置から入力された電位に基づいて眼球の位置を計算するアルゴリズムを実行するコンピュータなどによって実現されてもよい。なお、眼球情報取得部12は左右両方の目の動的な変化に関する情報を取得してもよいし、何れか一方の目の動的な変化に関する情報のみを取得してもよい。本実施形態では、眼球情報取得部12は、一方の目の動的な変化に関する情報のみを取得するものとする。
例えば、瞳孔の大きさとして瞳孔径(瞳孔の半径)を用いる場合には、瞳孔径は赤外線カメラを用いた画像処理法で計測できる。例えば、対象者100にはある1点を注視してもらうようにし、その時の瞳孔が赤外線カメラで撮像されるものとする。眼球情報取得部12は、撮像結果を画像処理することで、フレーム毎(例えば、1000Hzのサンプリング間隔)の瞳孔の大きさの時系列を取得することができる。眼球情報取得部12は、例えば瞳孔を撮影した画像に対して、瞳孔に円をフィッティングし、当該フィッティングした円の半径を瞳孔径として用いることができる。瞳孔径は微細に変動するため、眼球情報取得部12は、所定の時間区間ごとにスムージング(平滑化)した瞳孔径の値を用いれば好適である。図5Bに示した瞳孔の大きさは、各時刻について取得した瞳孔径の全データの平均を0、標準偏差を1としたときのz-scoreを用いて表したものであり、約150ms間隔でスムージングしたものである。ただし、眼球情報取得部12が取得する瞳孔径はz-scoreでなくてもよく、瞳孔径の値そのものであっても良いし、瞳孔の面積や直径など、瞳孔の大きさに対応する値であれば何でも良い。瞳孔の面積や直径を用いる場合も、時間の経過とともに瞳孔の面積または直径が大きくなる区間が散瞳に対応し、時間の経過とともに瞳孔の面積または直径が小さくなる区間が縮瞳に対応する。すなわち、時間の経過とともに瞳孔の大きさが大きくなる区間が散瞳に対応し、時間の経過とともに瞳孔の大きさが小さくなる区間が縮瞳に対応する。なお、眼球情報取得部12は左右両方の瞳孔の大きさの経時変化に関する情報を取得してもよいし、何れか一方の瞳孔の大きさの経時変化に関する情報のみを取得してもよい。本実施形態では、眼球情報取得部12は一方の瞳孔の大きさの経時変化に関する情報のみを取得するものとする。
《特徴量抽出部13》
特徴量抽出部13は、取得した目の動的な変化に関する情報から、画像αを注視する対象者100の目の動的な変化に基づく特徴を一つ以上含む第1特徴量、および、画像βを注視する対象者100の目の動的な変化に基づく特徴を一つ以上含む第2特徴量を抽出する(S13)。言い換えると、特徴量抽出部13は、対象者100が画像αを注視する第1時間区間での目の動的な変化に基づく特徴を一つ以上含む第1特徴量(第1時間区間での特徴量)、および、対象者100が画像βを注視する第2時間区間での目の動的な変化に基づく特徴を一つ以上含む第2特徴量(第2時間区間での特徴量)を抽出する。第1特徴量および第2特徴量は、それぞれスカラーであってもよいし、ベクトル(特徴量列、ベクトル特徴量ともいう)であってもよい。例えば、特徴量抽出部13は、前述の時間区間τに対応する目の動的な変化に関する情報を受け取り、対象者100が各画像α,βを注視するときの「注視(fixation)」「マイクロサッカード(microsaccade)」「ラージサッカード(large saccade)」「縮瞳(miosis)」「散瞳(mydriasis)」「瞬目(blink)」の少なくとも何れかの特徴量を抽出する。ただし、これらは本発明を限定するものではない。特徴量抽出部13は、抽出した第1特徴量および第2特徴量を嗜好推定部14に出力する。以下に各特徴量を例示する。
注視の特徴量:
注視は、ラージサッカードまたは瞬目が生じてから、次のラージサッカードまたは瞬目が生じるまでの時間の目の動きである。「注視の特徴量」としては、前述の時間区間τにおける、対象者100による各画像α,βの注視時間、注視回数、および注視領域の何れかに対応する特徴量を例示できる。対象者100が注視していた領域は、顔の基準点に対する眼球の座標および領域の座標によって定義できる。画像αの注視時間に対応する特徴量は、例えば、時間区間τにおいて、対象者100が画像αの領域を注視していた時間の合計であってもよいし、最も長く画像αを注視し続けていた時間であってもよいし、このような時間の関数値であってもよい。画像αの注視回数に対応する特徴量は、例えば、時間区間τにおいて、対象者100の視点が画像αの外側の領域から画像αに移動した回数であってもよいし、画像βから画像αに移動した回数であってもよいし、このような回数の関数値であってもよい。画像αの注視領域に対応する特徴量は、例えば、時間区間τにおいて注視された画像αの領域の広さであってもよいし、時間区間τのある時点で画像αの領域を注視していたか否かを表す値であってもよいし、それらの関数値であってもよい。これらのことは画像βの注視時間に対応する特徴量、注視回数に対応する特徴量、視領域に対応する特徴量についても同じである。また、注視時間、注視回数、および注視領域のうち複数をベクトル表記した特徴量を用いてもよい。
マイクロサッカードの特徴量:
「マイクロサッカード」とは、眼球の動きに表れる微細な跳躍性眼球運動をいう。人間がある一点を注視しているとき、眼球は完全に動きを止めているわけではなく、固視微動と呼ばれる三種類の眼球運動であるドリフト(drift、trendといってもよい)、トレマ、マイクロサッカード(フリックといってもよい)を行っている。ドリフトは小さな滑らかな動き、トレマは非常に小さな高周波の振動、マイクロサッカードは小さな跳ぶような動きである。図4はマイクロサッカードを説明する図であって、横軸を時間[秒]、縦軸を視野角[度]として注視状態の眼球運動の例を示すグラフである。マイクロサッカードの例であるマイクロサッカードMSを太線で強調して示す。図4に例示するように、マイクロサッカードはある一点を注視している状態において、1〜2秒の間に1回程度、個人の意思とは関係なく(不随意に)表れる眼球の動きであって、小さな跳ぶような動きのことである。マイクロサッカードは、動きの水平方向の成分、垂直方向の成分のどちらからでも取得することができる。本実施形態では、マイクロサッカードが水平方向に偏向する性質に基づき、簡単のため水平方向の成分のみを用いる。しかし、本発明で用いることができるマイクロサッカードの方向成分は水平方向に限定されない。なお、「水平方向」とは、地面と平行な方向に限定する意味ではなく、対象者100の顔に対しての水平方向(眼球の配列方向であり、横方向、幅方向といってもよい)や眼球情報取得部12において水平方向と定義された方向を含む概念である。
特徴量抽出部13は、例えば眼球の位置の時系列について1次階差系列を計算し、1次階差系列の絶対値が所定の第1閾値を上回た時刻を、マイクロサッカードの起きた開始時刻として検出すればよい。ただし1次階差系列の絶対値が所定の閾値を上回る時間の長さが所定の値(通常3ms程度)以上持続しない場合は、検出から除外する。また、後述の基準振幅Aが所定の閾値(通常視野角2°程度)以上の場合はラージサッカードとして、検出から除外する。特徴量抽出部13は、取得された眼球の位置情報にノイズが多く含まれると判定した場合などには、1次階差系列の計算にあたって適当な範囲での移動平均値を用いても良い。検出に用いる閾値には、階差系列の標準偏差の6倍程度の値を用いることが好ましい。
マイクロサッカードの特徴量としては、基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間Tp、減衰率λ、減衰係数ζ、固有角振動数ω、マイクロサッカードの単位時間(例えば1秒)あたりの発生回数Rmなどを例示できる。図5Aは、マイクロサッカードの特徴量について説明する図である。図5Aを参照して、マイクロサッカードの基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間Tp、減衰率λについて説明する。
(1)基準振幅A:マイクロサッカードによる眼球の動きが収束したときの移動量である。
(2)最大速度Vmax:基準振幅A+オーバーシュートの振幅Aoに達するまでの最大の速度である。
(3)持続時間Dm:マイクロサッカードが起きている時間区間の長さである。マイクロサッカードの開始時刻は1次階差系列の絶対値が所定の閾値を上回る時刻で、マイクロサッカードの終了時刻は、オーバーシュートの振幅に達したあとに初めて基準振幅Aに戻る時刻である。
(4)オーバーシュート(overshoot)の振幅Ao:マイクロサッカードによって基準振幅Aを超過した(行き過ぎた)部分の量である。オーバーシュートとは、波形の立ち上がり部分で、波形が基準振幅Aを超えて突出する現象、または、その突出した波形である。言い換えると、オーバーシュートの振幅とは、突出した部分の量である。
(5)オーバーシュートの速度Vo:基準振幅A+オーバーシュートの振幅Aoから基準振幅Aに収束しようとする際の最大の速度である。
(6)立ち上がり時間Tp:基準振幅A+オーバーシュートの振幅Aoに達する(立ち上がる)までにかかる時間である。なお、基準振幅A+オーバーシュートの振幅Aoに達するまでにかかる時間は、最大速度Vmaxからオーバーシュートの速度Voに達するまでにかかる時間と同じ値となる。
(7)減衰率λ:基準振幅Aに対するオーバーシュートの振幅Aoの比である。最大速度Vmaxに対するオーバーシュートの速度Voの比としてもよく、

と表される。
マイクロサッカードが起きている時間区間の眼球位置の時系列を位置制御系のステップ応答としてモデル化することで計算する。位置制御系のステップ応答は、

と表される。ここでG(s)は伝達係数、y(t)は位置、y'(t)は速度を表す。これに基づいて、減衰係数マイクロサッカードの減衰係数ζ、固有角振動数ωは、

と表される。ただし、tは時刻を表すインデックスであり、sはラプラス変換によるパラメタ(複素数)である。固有角振動数ωはマイクロサッカードの応答の速さを表す指標に相当し、減衰係数ζはマイクロサッカードの応答の収束性を表す指標に相当する。
特徴量抽出部13は、マイクロサッカードの減衰係数ζ、固有角振動数ω、基準振幅Aを、マイクロサッカードが起きている間の眼球の位置を関数y(t)でフィッティングし、最小二乗法などによって最適化することで計算してもよい。
マイクロサッカードの減衰係数ζは、運動が左右方向に依存して値が変化する傾向があるため、特徴量抽出部13は、左方向のマイクロサッカードの減衰係数の代表値、右方向のマイクロサッカードの減衰係数の代表値を分けて計算しても良い。
特徴量抽出部13は、例えば、時間区間τにおいて画像αを注視する対象者100のマイクロサッカードを検出し、その基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間Tp、減衰率λ、減衰係数ζ、固有角振動数ω、単位時間あたりの発生回数Rm、発生回数などを、画像αを注視する対象者100の眼球の動きに表れるマイクロサッカードの特徴量(第1時間区間での特徴量)として計算する。同様に特徴量抽出部13は、画像βを注視する対象者100のマイクロサッカードを検出し、その基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間Tp、減衰率λ、減衰係数ζ、固有角振動数ω、単位時間あたりの発生回数Rm、発生回数などを、画像βを注視する対象者100の眼球の動きに表れるマイクロサッカードの特徴量(第2時間区間での特徴量)として計算する。各画像α,βの注視時のマイクロサッカードが時間区間τにおいて複数検出された場合には、一つ一つのマイクロサッカードについて求めた特徴量それぞれの代表値を用いてもよい。複数の値の代表値とは、例えばそれら複数の値の平均値、最大値、最小値、最初の値に対応する値などであり、特に平均値を用いることが好ましい。また、基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間Tp、減衰率λ、減衰係数ζ、固有角振動数ω、単位時間あたりの発生回数Rm、発生回数などの特徴量をベクトル表現したものを用いてもよい。あるいは、上述した複数の代表値をベクトル表現したものを用いてもよい。
ラージサッカードの特徴量:
「ラージサッカード」とは、マイクロサッカードよりも振幅の大きな跳躍性眼球運動をいい、一般に振幅が視野角2度以上の場合をラージサッカード、2度未満のものをマイクロサッカードとする。例えば、図6Aの例では、時間t,t,t,t12からラージサッカードが開始されている。これらの振幅は時間t,t,t10,t13から開始されているマイクロサッカードの振幅よりも大きい。なお、図6Aの正方向はモニターの右方向(画像β側)を表し、負方向はモニターの左方向(画像α側)を表す。特徴量抽出部13は、例えば眼球の位置の時系列について1次階差系列を計算し、1次階差系列の絶対値が前述の「第2閾値」を上回る時刻を、ラージサッカードの起きた開始時刻として検出すればよい。ラージサッカードの特徴量の例は、その基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間Tp、減衰率λ、減衰係数ζ、固有角振動数ω、単位時間あたりの発生回数Rm、発生回数などである。特徴量抽出部13は、例えば、時間区間τにおいて画像αを注視する対象者100のラージサッカードを検出し、その基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間Tp、減衰率λ、減衰係数ζ、固有角振動数ω、単位時間あたりの発生回数Rm、発生回数などを、画像αを注視する対象者100の眼球の動きに表れるラージサッカードの特徴量(第1時間区間での特徴量)として計算する。同様に特徴量抽出部13は、画像βを注視する対象者100のラージサッカードを検出し、その基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間Tp、減衰率λ、減衰係数ζ、固有角振動数ω、単位時間あたりの発生回数Rm、発生回数などを、画像βを注視する対象者100の眼球の動きに表れるラージサッカードの特徴量(第2時間区間での特徴量)として計算する。各画像α,βの注視時のラージサッカードが時間区間τにおいて複数検出された場合には、一つ一つのラージサッカードについて求めた特徴量それぞれの代表値を用いてもよい。また、基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間Tp、減衰率λ、減衰係数ζ、固有角振動数ω、単位時間あたりの発生回数Rm、発生回数などの特徴量をベクトル表現したものを用いてもよい。あるいは、上述した複数の代表値をベクトル表現したものを用いてもよい。
縮瞳の特徴量および散瞳の特徴量:
人がある一点を注視しているとき、瞳孔の大きさは一定ではなく、変化している。図5Bは注視状態における瞳孔の大きさの変化を表す図であり、横軸は時間[秒]を、縦軸は瞳孔の大きさ[z-score]を表す。瞳孔の大きさは交感神経系の支配を受けた瞳孔散大筋によって拡大(散瞳)し、副交感神経系の支配を受けた瞳孔括約筋によって収縮(縮瞳)する。図5Bにおいて、二重線部分は散瞳を表し、破線部分は縮瞳を表す。瞳孔の大きさの変化は主に対光反射、輻輳反射、感情による変化の3つに区別される。対光反射は、網膜に入射する光量を制御するために瞳孔の大きさが変化する反応のことで、強い光に対しては縮瞳、暗所では散瞳が生じる。輻輳反射は、焦点を合わせる際に両眼が内転あるいは外転する運動(輻輳運動)に伴って瞳孔径が変化する反応のことで、近くを見るときには縮瞳、遠くを見るときには散瞳が生じる。感情による変化は、上記のいずれにもよらず外界のストレスに対して生じる反応のことで、怒りや驚き、活発な活動に伴って交感神経が優位となる際には散瞳が生じ、リラックスして副交感神経が優位となる際には縮瞳が生じる。
縮瞳の開始する時刻(以下、縮瞳開始点)は、瞳孔の大きさの時系列から極大点を抽出することによって検出する。縮瞳の終了する時刻(以下、縮瞳終了点)は、縮瞳開始以降初めて散瞳が開始した点、または縮瞳開始以降初めて瞬目が開始した点のうち、時間が早い方とする。縮瞳の振幅Acは、縮瞳開始点から縮瞳終了点までの瞳孔径の差である。縮瞳の持続時間Dcは、縮瞳開始点から縮瞳終了点までの時間差である。縮瞳の平均速度Vcは、(振幅Ac)/(持続時間Dc)である。
散瞳の開始する時刻(以下、散瞳開始点)は、瞳孔径の時系列から極小点を抽出することによって検出する。散瞳の終了する時刻(以下、散瞳終了点)は、散瞳開始以降初めて縮瞳が開始した点、または散瞳開始以降初めて瞬目が開始した点のうち、時間が早い方とする。散瞳の振幅Adは、散瞳開始点から散瞳終了点までの瞳孔径の差である。散瞳の持続時間Ddは、散瞳開始点から散瞳終了点までの時間差である。散瞳の平均速度Vdは、(振幅Ad)/(持続時間Dd)である。
ノイズによる誤検出を防ぐために、縮瞳の持続時間が所定の閾値(例えば、10ms)以下の場合、あるいは縮瞳の振幅が所定の閾値以下の場合は、特徴量抽出部22は、その縮瞳を検出から除外するとよい。同様に、散瞳の持続時間が所定の閾値(例えば、10ms)以下の場合、あるいは散瞳の振幅が所定の閾値以下の場合は、その散瞳を検出から除外するとよい。
特徴量抽出部13は、例えば、時間区間τにおいて画像αを注視する対象者100の眼球の瞳孔径に基づいてこれらの値を計算し、得られた値を「画像αを注視する対象者100の散瞳の特徴量(第1時間区間での特徴量)」とする。同様に、特徴量抽出部13は、例えば、時間区間τにおいて画像βを注視する対象者100の眼球の瞳孔径に基づいてこれらの値を計算し、得られた値を「画像βを注視する対象者100の散瞳の特徴量(第2時間区間での特徴量)」とする。各画像α,βの注視時の瞳孔が時間区間τにおいて複数検出された場合には、一つ一つの瞳孔について求めた特徴量それぞれの代表値を用いてもよい。散瞳の発生回数、散瞳の振幅の大きさ、散瞳の持続時間などの特徴量をベクトル表現したものを用いてもよい。あるいは、上述した複数の代表値をベクトル表現したものを用いてもよい。
瞬目の特徴量:
「瞬目」とは目蓋の開閉運動のことである。瞬目の特徴量の例は、単位時間(例えば1秒間)あたりの瞬目の発生回数、瞬目の発生回数、瞬目の持続時間などである。瞬目の持続時間は、瞬目が起きている時間区間の長さである。特徴量抽出部13は、例えば、眼球運動の位置が所定の閾値を下回る時間区間を、瞬目が起きている時間区間として検出すればよい。ただし、一般に瞬目の生じる時間の長さが最小で75msと考えられていることから、特徴量抽出部13は、検出された時間区間の長さが所定の閾値(たとえば、50ms)を下回る場合は、これをノイズとして瞬目から除外することが望ましい。特徴量抽出部13は、例えば、時間区間τにおいて画像αを注視する対象者100の眼球の瞳孔径に基づいてこれらの値を計算し、得られた値を「画像αを注視する対象者100の瞬目の特徴量(第1時間区間での特徴量)」とする。同様に、特徴量抽出部13は、例えば、時間区間τにおいて画像βを注視する対象者100の眼球の瞳孔径に基づいてこれらの値を計算し、得られた値を「画像βを注視する対象者100の瞬目の特徴量(第2時間区間での特徴量)」とする。各画像α,βの注視時の瞬目が時間区間τにおいて複数検出された場合には、一つ一つの瞬目について求めた特徴量それぞれの代表値を用いてもよい。瞬目の発生回数、瞬目の持続時間などの特徴量をベクトル表現したものを用いてもよい。あるいは、上述した複数の代表値をベクトル表現したものを用いてもよい。
《嗜好推定部14》
嗜好推定部14は、第1特徴量と第2特徴量とに基づいて、対象者100の画像αおよび画像βの少なくとも何れかに対する相対的な印象を推定し、その推定結果を表す情報を出力する(S14)。ここで、印象とは、好んでいるか否かに関するものであり、印象が良いとは好んでいることを、印象が悪いとは好んでいないことを意味する。例えば、嗜好推定部14は、対象者100が2つの異なる画像αおよび画像βのうち一方の画像を他方の画像と比較して好んでいるか否かを推定する。あるいは、嗜好推定部14は、対象者100が2つの異なる画像αおよび画像βのうちのどちらの画像をより好んでいるかを推定する。
《推定方法1》
嗜好推定部14は、例えば、特徴量抽出部13が抽出した複数の第1特徴量を含む第1特徴量列と複数の第2特徴量を含む第2特徴量列とを用い、前述した「比較特徴量列」に基づいて、対象者100の画像αおよび画像βの少なくとも何れかに対する相対的な印象を推定してもよい。例えば、複数の第1特徴量をα,…,αとし、複数の第2特徴量をβ,…,βとし、第1特徴量列を(α,…,α)とし、第2特徴量列を(β,…,β)とし、比較特徴量列を(f,…,f)とする。ただし、mは2以上の整数であり、k=1,…,mについて、α>βのときf=0とし、α<βのときf=1とする(基準11)。その逆に、α>βのときf=1とし、α<βのときf=0としてもよい(基準21)。あるいは、k=1,…,mごとに、基準11が適用されるか基準21が適用されるかが定められていてもよい。例えば、画像αに好意を持っているときにf,…,fがすべて1となる傾向を示すように、各k=1,…,mに適用される基準が定められてもよい。α=βのときには、f=0としてもよいし、f=1としてもよいし、fをその他の値としてもよい。この場合、嗜好推定部14は、比較特徴量列(f,…,f)に基づいて、対象者100の画像αおよび画像βの少なくとも何れかに対する相対的な印象を推定する。この推定方法の具体例を示す。
具体例1:
嗜好推定部14は、以下のFαβを計算し、Fαβ>0.5の場合に対象者100の画像αに対する印象が画像βに対する印象よりも良いと推定し、Fαβ<0.5の場合に対象者100の画像βに対する印象が画像αに対する印象よりも良い(あるいは対象者100の画像αに対する印象が画像βに対する印象よりも悪い)と推定する。Fαβ=0.5の場合には、対象者100の画像αに対する印象が画像βに対する印象よりも良いと推定してもよいし、悪いと推定してもよいし、推定不可能としてもよい。

ただし、事前学習によって、画像αに好意を持っているときにf,…,fがすべて1となり、画像βに好意を持っているときにf,…,fがすべて0となる傾向を示すように、各k=1,…,mに適用される基準(基準11または基準21)が定められている。またrは事前に定められた重み係数である。例えば、事前学習で学習用対象者(人間)に前述のように画像α,βを同時に呈示し、その際に得られた複数のfのサンプルと、それに対応する学習用対象者の回答(画像αを好んでいる:1、画像βを好んでいる:0)のサンプルとの相関係数を得ておき、その相関係数をrとする。学習用対象者は、実際に印象が推定される対象者100と同一人物である必要はない。
具体例2:
事前学習において、学習用対象者に前述のように画像α,βを同時に呈示し、その際に得られた複数の(f,…,f)のサンプルをk−means等によってクラスタリングしておき、学習用対象者が「画像αが画像βよりも好ましい」と回答したときの(f,…,f)のサンプルが属する頻度の高いクラスタCの中心ベクトルcvからの距離に基づいて、印象が未知の画像に対する印象の推定が行われてもよい。例えば、特徴量抽出部13が抽出した第1特徴量列(α,…,α)と第2特徴量列(β,…,β)とを用いて得られた(f,…,f)と中心ベクトルcvとの距離をd(f,…,f)とする。嗜好推定部14は、d(f,…,f)が所定の閾値以下のときに、対象者100の画像αに対する印象が画像βに対する印象よりも良いと推定し、そうでないときに対象者100の画像βに対する印象が画像αに対する印象よりも良いと推定する。その他、SVMを用いてもよい。SVMを用いることにより、学習用対象者が「画像αが画像βよりも好ましい(印象が良い)」と回答したときの(f,…,f)のサンプルによる点群が属する空間と、画像βが画像αよりも好ましいと回答したときの(f,…,f)のサンプルによる点群が属する空間とを分離する超平面を事前に求めることができる。この場合、特徴量抽出部13が抽出した第1特徴量列(α,…,α)と第2特徴量列(β,…,β)とを用いて得られた(f,…,f)がいずれの空間に属するかによって、印象が未知の画像に対する印象を推定できる。
《推定方法2》
嗜好推定部14が、特徴量抽出部13が抽出した第1特徴量と第2特徴量との大小関係または相違の度合いに基づいて、対象者100の画像αおよび画像βの少なくとも何れかに対する相対的な印象を推定してもよい。
あるいは、事前学習において、人間が好みの画像を注視したときに得られた特徴量の集合と、好みではない画像を注視したときに得られた特徴量の集合と、からなるサンプルをk−means等によってクラスタリングしておき、その結果を用いて第1特徴量および第2特徴量のいずれが好ましい印象に対応する特徴量であるかが判断されてもよい。例えば、好みの画像を注視したときに得られた特徴量が属する可能性の高いクラスタの中心(中心ベクトル)からの距離に基づいて、いずれの画像が他方よりも好まれているかを推定してもよい。すなわち第1特徴量および第2特徴量のうち、このクラスタの中心からの距離が近い方の特徴量に対応する画像の方が他方の画像よりも好まれていると推定されてもよい。その他、SVMを用いてもよい。この場合には、学習用対象者が好みの画像を注視したときに得られた特徴量のサンプルによる点群が属する空間と、学習用対象者が嫌いな画像を注視したときに得られた特徴量のサンプルによる点群が属する空間と、を分離する超平面を事前に求めておく。そして、特徴量抽出部13が抽出した第1特徴量および第2特徴量がいずれの空間に属するかを判定したり、超平面との距離を比較したりして、対象者100の画像αおよび画像βの少なくとも何れかに対する印象が推定される。
《推定方法3》
第1特徴量および第2特徴量の何れか、および比較特徴量列に基づいて、対象者100の画像αおよび画像βの少なくとも何れかに対する相対的な印象を推定してもよい。例えば、事前学習において、学習用対象者に前述のように画像α,βを同時に呈示し、その際に得られた第1特徴量、第2特徴量、および比較特徴量列からなるベクトルのサンプルをk−means等によってクラスタリングしておき、学習用対象者が「画像αが画像βよりも好ましい」と回答したときのサンプルが属する頻度の高いクラスタCの中心ベクトルcvからの距離に基づいて、印象の推定が行われてもよい。例えば、特徴量抽出部13が抽出した第1特徴量、第2特徴量、およびそれらに対応する比較特徴量列からなるベクトルと中心ベクトルcvとの距離をdとする。嗜好推定部14は、dが所定の閾値以下のときに、対象者100の画像αに対する印象が画像βに対する印象よりも良いと推定し、そうでないときに対象者100の画像βに対する印象が画像αに対する印象よりも良いと推定する。その他、SVMを用いてもよい。この場合には、学習用対象者が「画像αが画像βよりも好ましい」と回答したときの第1特徴量、第2特徴量、および比較特徴量列からなるベクトルのサンプルによる点群が属する空間と、画像βが画像αよりも好ましいと回答したときの第1特徴量、第2特徴量、および比較特徴量列からなるベクトルのサンプルによる点群が属する空間と、を分離する超平面を事前に求めておく。そして、特徴量抽出部13が抽出した第1特徴量、第2特徴量、およびそれらに対応する比較特徴量列からなるベクトルがいずれの空間に属するかによって、印象の推定が行われる。
<実験結果>
本実施形態の効果を確認するための実験結果を示す。この実験では5名の対象者に対して各2セッションの試験が行われた。ただし、10セッションのうち1セッションは教示不理解のため排除した。各セッションでは比較対象となるペア画像(画像α,βを左右に並べて配置)を呈示した(図3B)。人種4条件×年齢2条件×性別2条件の合計16種類の顔の画像をそれぞれ5個ずつ用いて80枚のペア画像を生成した。各試験では、対象者がペア画像を見比べ、左右に配置されたボタンを押すことによって好きな方の顔を回答した。この際に対象者の目の動的な変化に基づく特徴量を抽出した。これらの合計720回の試行のうち不良試行を排除し、661回の試行を対象に比較特徴量列と回答結果との関係を解析した。
解析では以下のf,…,fからなる比較特徴量列(f,…,f)を計算した。
[注視]
:ボタン押しの直前に対象者が左右いずれの画像領域を見ていたか(左:1,右:0)
:画像呈示中に左右どちらの画像領域の注視時間が長かったか(同上)
:ボタン押し直前500msに左右どちらの画像領域の注視時間が長かったか(同上)
[マイクロサッカード]
:左右どちらの画像領域を注視しているときにマイクロサッカードの発生頻度が高かったか(同上)
:左右どちらの画像領域を注視しているときにマイクロサッカードの固有角振動数が大きかったか(同上)
ただし、振幅が視野角2度以下のものをマイクロサッカードとし、ラージサッカードは含まない。
[ラージサッカード]
:左右どちらの画像領域を到達点とするラージサッカードが多かったか(同上)
[散瞳]
:左右どちらの画像領域を注視しているときに散瞳の発生頻度が長かったか(同上)
:左右どちらの画像領域を注視しているときに散瞳の振幅が大きかったか(同上)
:左右どちらの画像領域を注視しているときに散瞳の持続時間が長かったか(同上)
図7に、図6Aおよび図6Bの測定結果に対応する比較特徴量列(f,…,f)を例示する。この例では、ボタン押しの直前に対象者が左の画像領域を見ており(f=1)、画像呈示中に右の画像領域の注視時間の方が長く(f=0)、ボタン押し直前500msに右の画像領域の注視時間の方が長く(f=0)、左の画像領域を注視しているときの方がマイクロサッカードの発生頻度が高く(f=1)、左の画像領域を注視しているときのほうがマイクロサッカードの固有角振動数が大きく(f=1)、左の画像領域を到達点とするラージサッカードの方が多く(f=1)、左の画像領域を注視しているときの方が散瞳の発生頻度が長く(f=1)、左の画像領域を注視しているときの方が散瞳の振幅が大きく(f=1)、右の画像領域を注視しているときの方が散瞳の持続時間が長い(f=1)。この場合の比較特徴量列は(1,0,0,1,1,1,1,1,0)となる。図8Aにf(ただし、k=1,…,9)のサンプルとそれらに対する対象者の回答(画像αを好んでいる:1、画像βを好んでいる:0)のサンプルとの相関係数r(回答との相関係数)、左の画像αを選択した時のfの平均値(左選択時の平均値)、および右の画像βを選択した時のfの平均値(右選択時の平均値)の関係を示す。図8Bに左の画像αを選択した時のfの平均値と右の画像βを選択した時のfの平均値とを例示する。
推定方法1の具体例1によって印象を推定した結果の回答内容に対する評価は以下の通りである。
推定精度:83.4%
このように、高い精度で対象者の画像に対する好みを推定することができた。
[第1実施形態の変形例1]
印象推定装置10は、画像呈示部11及び眼球情報取得部12を含まなくともよい。すなわち、画像呈示部11及び眼球情報取得部12の少なくとも1つを別装置として構成し、別装置から時間区間ごとの画像及び眼球の位置情報の少なくとも1つを受け取る構成としてもよい。
[第1実施形態の変形例2]
図9は画像α,βの領域と対象者100の視線の移動との関係を例示しており、t〜t13は時間を表している。対象者100は画像αと画像βとの間で視線を移動させ、これらの画像を見比べる。ここで「第1特徴量」の何れかが画像αを注視する対象者100の眼球の動きに表れるマイクロサッカードの特徴に対応し、「第2特徴量」の何れかが画像βを注視する対象者100の眼球の動きに表れるマイクロサッカードの特徴に対応する場合、これらのマイクロサッカードの特徴が、画像αおよび画像βを通る直線Lの法線成分Nの眼球の動きに表れる特徴を含んでもよい。あるいは、このようなマイクロサッカードの特徴が法線成分Nの眼球の動きに表れる特徴のみを含んでいてもよい。これにより、画像αと画像βとの間での視線移動(ラージサッカードなど)の影響を受けにくい方向成分のマイクロサッカードの特徴を利用できる。なお直線Lの例は、画像αの重心と画像βの重心とを通る直線である。
[第2実施形態]
第1実施形態では2つの画像α,βを同時に呈示し、対象者100が画像αを注視するときの第1特徴量と画像βを注視するときの第2特徴量を用い、画像α,βの相対的な印象を推定した。本形態では、1つの画像αのみを呈示し、対象者100が画像αを注視するときの第1特徴量と、対象者100が画像α以外の領域を見ているときの第2特徴量とを用いて画像αの印象を推定する。
<印象推定装置の構成および動作>
図1に示すように、本実施形態の印象推定装置20は、画像呈示部21、眼球情報取得部12、特徴量抽出部23、および嗜好推定部24を含む。
《画像呈示部21》
画像呈示部21は、所定の時間区間τにおいて、背景(Notα)に配置された1つの画像α(第1の像)を対象者100の視野内に呈示する(S21)。例えば、対象者100の正面に設置したモニターに、観察可能な時間の長さで、背景内に配置された画像αを呈示する。図10Aおよび図10Bの例では、モニターの背景内の領域に1つの画像αを呈示する。
《眼球情報取得部22》
眼球情報取得部22は、時間区間τにおける、対象者100の目の動的な変化に関する情報を取得する(S22)。眼球情報取得部22は、取得した目の動的な変化に関する情報を特徴量抽出部23へ出力する。
《特徴量抽出部23》
特徴量抽出部23は、取得した目の動的な変化に関する情報から、画像αを注視する対象者100の目の動的な変化に基づく特徴を一つ以上含む第1特徴量、および、画像α以外の領域を見ている対象者100の目の動的な変化に基づく特徴を一つ以上含む第2特徴量を抽出する(S23)。言い換えると、特徴量抽出部13は、対象者100が画像αを注視する第1時間区間での目の動的な変化に基づく特徴を一つ以上含む第1特徴量(第1時間区間での特徴量)、および、対象者100が画像α以外の領域を見ている第2時間区間での目の動的な変化に基づく特徴を一つ以上含む第2特徴量(第2時間区間での特徴量)を抽出する。特徴量抽出部23は、抽出した第1特徴量および第2特徴量を嗜好推定部24に出力する。
《嗜好推定部24》
嗜好推定部24は、第1特徴量と第2特徴量とに基づいて、対象者100の画像αの画像α以外の領域に対する相対的な印象を推定し、その推定結果を表す情報を出力する(S24)。例えば、前述した嗜好推定部14の処理の「画像β」を「画像α以外の領域」に置換した方法を利用できる。
[第2実施形態の変形例1]
印象推定装置20は、画像呈示部21及び眼球情報取得部12を含まなくともよい。すなわち、画像呈示部21及び眼球情報取得部12の少なくとも1つを別装置として構成し、別装置から時間区間ごとの画像及び眼球の位置情報の少なくとも1つを受け取る構成としてもよい。
[第3実施形態]
第1実施形態では2つの画像α,βを同時に呈示したが、画像αを呈示する第1時間区間で得られた第1特徴量と、何も呈示しない(背景のみを呈示する)第2時間区間で得られた第2特徴量とを用い、画像αの印象を推定してもよい。
<印象推定装置の構成および動作>
図1に示すように、本実施形態の印象推定装置30は、画像呈示部31、眼球情報取得部12、特徴量抽出部33、および嗜好推定部34を含む。
《画像呈示部31》
図11Aに例示するように、画像呈示部31は、例えば、第1時間区間で画像α(第1の像)を対象者100の視野内に呈示し、第1時間区間以外の第2時間区間で画像αを非呈示とする。なお、図11Aの例では、第1時間区間の後に第2時間区間が位置しているが、第2時間区間の後に第1時間区間が位置していてもよい。
《眼球情報取得部12》
眼球情報取得部12は、第1時間区間および第2時間区間を含む時間区間τにおける、対象者100の目の動的な変化に関する情報を取得する(S12)。眼球情報取得部12は、取得した目の動的な変化に関する情報を特徴量抽出部33へ出力する。
《特徴量抽出部33》
特徴量抽出部33は、取得した目の動的な変化に関する情報から、第1時間区間での目の動的な変化に基づく特徴を一つ以上含む第1特徴量(第1時間区間での特徴量)、および、第2時間区間での目の動的な変化に基づく特徴を一つ以上含む第2特徴量(第2時間区間での特徴量)を抽出する。特徴量抽出部33は、抽出した第1特徴量および第2特徴量を嗜好推定部34に出力する。
《嗜好推定部34》
嗜好推定部34は、第1特徴量と第2特徴量とに基づいて、対象者100の画像αの画像α以外の領域に対する相対的な印象を推定し、その推定結果を表す情報を出力する(S34)。
[第3実施形態の変形例1]
印象推定装置30は、画像呈示部31及び眼球情報取得部12を含まなくともよい。すなわち、画像呈示部31及び眼球情報取得部12の少なくとも1つを別装置として構成し、別装置から時間区間ごとの画像及び眼球の位置情報の少なくとも1つを受け取る構成としてもよい。
[第3実施形態の変形例2]
図11Bに例示するように、第1時間区間で画像αを呈示し、第2時間区間で画像β(第2の像)を呈示し、第1時間区間での目の動的な変化に基づく特徴を一つ以上含む第1特徴量、および、第2時間区間での目の動的な変化に基づく特徴を一つ以上含む第2特徴量に基づき、対象者100の画像αおよび画像βの少なくとも何れかに対する相対的な印象を推定してもよい。
[第3実施形態の変形例3]
図12Aに例示するように、画像αを呈示する第1時間区間と何も呈示しない(背景のみを呈示する)第2時間区間とを交互に複数回繰り返し、第1時間区間で得られた第1特徴量と第2時間区間で得られた第2特徴量とを用い、画像αの印象を推定してもよい。あるいは、図12Bに例示するように、画像αを呈示する第1時間区間と画像βを呈示する第2時間区間とを交互に複数回繰り返し、第1時間区間での目の動的な変化に基づく特徴を一つ以上含む第1特徴量、および、第2時間区間での目の動的な変化に基づく特徴を一つ以上含む第2特徴量に基づき、対象者100の画像αおよび画像βの少なくとも何れかに対する相対的な印象を推定してもよい。時間の経過にともなって対象者100の状態(疲労など)や周辺環境が変化することがあり、呈示された画像以外の要因(外乱)によって対象者100の目の運動が変化する場合がある。このような場合でも、第1時間区間と第2時間区間とを交互に複数回繰り返すことで外乱が第1特徴量と第2特徴量とに与える影響を平坦化できる。なお、第1特徴量は複数の第1時間区間で得られた特徴量を平均したものや加算したものであってもよいし、複数の第1時間区間で得られた特徴量を並べたベクトルであってもよい。第2特徴量も複数の第2時間区間で得られた特徴量を平均したものや加算したものであってもよいし、複数の第2時間区間で得られた特徴量を並べたベクトルであってもよい。
[第4実施形態]
第1から3の実施形態では、画像αを注視する対象者100の目の動的な変化に基づく第1特徴量と、画像αを注視しない(画像βなどの画像α以外の領域を注視するか、特定の領域への注視が想定されない)対象者100の目の動的な変化に基づく第2特徴量とを用い、少なくとも画像αに対する印象を推定した。本形態では、画像αを注視する対象者100の目の動的な変化基づく第1特徴量のみを用い、当該画像αに対する印象を推定する。
<印象推定装置の構成および動作>
図1に例示するように、本実施形態の印象推定装置40は、画像呈示部41、眼球情報取得部12、特徴量抽出部43、嗜好推定部44、およびモデル記憶部45を有する。本実施形態では、モデル記憶部25を参照することにより、対象者にとっての画像の印象を推定する。
《画像呈示部41》
画像呈示部41は画像αのみを呈示する。
《眼球情報取得部12》
眼球情報取得部12は、画像αが呈示された時間区間τにおける、対象者100の目の動的な変化に関する情報を取得する(S12)。眼球情報取得部12は、取得した目の動的な変化に関する情報を特徴量抽出部43へ出力する。
《特徴量抽出部43》
特徴量抽出部43は、対象者100の目の動的な変化に関する情報を受け取り、それらから対象者100の目の動的な変化に基づく特徴量を抽出し(ステップS43)、嗜好推定部44に出力する。特徴量の例は、第1実施形態で例示した特徴量の何れかや、それらの複数の特徴量を要素とするベクトル(特徴量ベクトル)である。例えば、マイクロサッカードの減衰係数ζ、減衰率λ、発生頻度Pの少なくとも何れか1つ以上を含む特徴量を抽出する。あるいは、マイクロサッカードの減衰係数ζ、減衰率λ、発生頻度Pの少なくとも何れか1つに加えて、以下の値を要素として含む特徴量ベクトルを特徴量として抽出しても良い(図4及)。
(1)基準振幅A:マイクロサッカードによる眼球の動きが収束したときの移動量。
(2)最大速度Vmax:基準振幅A+オーバーシュートの振幅Aoに達するまでの最大の速度。
(3)立ち上がり時間Tp:基準振幅A+オーバーシュートの振幅Aoに達する(立ち上がる)までにかかる時間である。なお、基準振幅A+オーバーシュートの振幅Aoの値は、最大速度Vmaxからオーバーシュートの速度Voに達するまでにかかる時間と同じ値となる。
(4)オーバーシュート(overshoot)の振幅Ao:マイクロサッカードによって基準振幅Aを超過した(行き過ぎた)部分の量である。オーバーシュートとは、波形の立ち上がり部分で、波形が基準振幅Aを超えて突出する現象、または、その突出した波形である。言い換えると、オーバーシュートの振幅とは、突出した部分の量である。
(5)オーバーシュートの速度Vo:基準振幅A+オーバーシュートの振幅Aoから基準振幅Aに収束しようとする際の最大の速度である。
(6)マイクロサッカードの前後のドリフトの速度Vd:ドリフトとは、前述の通り、固視微動の一つであり、人がある一点を注視しているときの眼球の小さな滑らかな動きのことである。
《嗜好推定部44》
嗜好推定部44は、特徴量を受け取り、その特徴量に基づいて、画像αに対する印象を推定する(S44)。本実施形態では、抽出された特徴量から嗜好推定モデルを用いて(参照することにより)、印象を推定し、出力する。言い換えれば、嗜好推定部44は、特徴量抽出部43で抽出した特徴量を、モデル記憶部45に記憶された嗜好推定モデル(特徴量から印象を推定するためのモデル)にあてはめることにより、印象を推定する。
《モデル記憶部45》
モデル記憶部45は、特徴量を入力として、印象を出力するような嗜好推定モデルが予め記録されている。嗜好推定モデルは、予め1人以上の人について取得した特徴量と印象との関係性を機械学習法により学習することで、作成される。つまり、嗜好推定モデルは、特徴量と印象との相関性を記述したモデルである。
例えば、学習用に用意した画像を学習用対象者に呈示している間の学習用対象者の眼球の位置の時系列情報を取得し、取得した眼球の位置の時系列情報から、特徴量を抽出する。ここで抽出する特徴量は、特徴量抽出部43で抽出する特徴量と同じとする。また、その画像に対する好き嫌いの度合い(rating)を学習用対象者から取得し、抽出した特徴量と好き嫌いの度合いを組とするデータセットを用意する。
同様の特徴量抽出を複数の異なる画像について行い、それぞれの画像についての好き嫌いの度合い(rating)と抽出した特徴量を組とするデータセットを学習用データとして取得する。
この学習用データを入力データとし、機械学習法により、印象と特徴量との関係を学習する。例えば、機械学習法としてSVM等がある。この場合は、画像に付与する好き嫌いの度合い(rating)を、好き(1)または嫌い(0)の2値として、特徴量ベクトルの次元に対応する空間において、好きな(印象が良い)ときの特徴量ベクトルに対応する点群と、嫌いな(印象が悪い)ときの特徴量ベクトルに対応する点群とを分離する超平面を求めることができる。これにより、得られる嗜好推定モデルに、好き嫌いが未知の特徴量(特徴量抽出部23で得られた特徴量)を入力すると、その特徴量が「好き」に対応するか、「嫌い」に対応するかを推定することができる。
例えば、減衰係数(ζ),減衰率(λ),発生頻度(P)を単独で、または、それらの組合せを、要素として含むベクトル(特徴量)を用いて、SVMにより学習を行う。また、減衰係数(ζ),減衰率(λ),発生頻度(P)、ドリフトの速度(Vd)、基準振幅(A),オーバーシュートの振幅(Ao), 最大速度(Vmax),オーバーシュートの速度(Vo)を要素として含む特徴量ベクトルを用いて、SVMにより学習を行う。この特徴量ベクトルに、さらに、立ち上がり時間(Tp)を要素として加えても良い。
要素の数を増やすことで、推定の精度を高めることができる。
印象が好き/嫌い、の2値分類に限らず、複数クラス(好き嫌いの度合いに対応するクラス)に分類するようにSVMを構成することも可能である。あるいは、複数クラス(好き嫌いの度合いに対応するクラス)識別分類するような機械学習法であれば、SVMに限らず他の機械学習法を用いてもよい。
なお、学習用対象者は、実際に印象が推定される対象者100と同一人物である必要はない。また、複数の人について得られた学習データを基に嗜好推定モデルを学習すると、より精度の高い推定を行うことができる。また、対象者毎に、印象に対応して表れる特徴量が異なる場合があるので、学習用対象者を印象の推定を行う対象者100と同一人物として対象者毎に、嗜好推定モデルを作成すれば、個人の特性に合わせたより精度の高い推定を行うことができる。
[その他の変形例等]
なお、本発明は上述の実施の形態に限定されるものではない。例えば、第4実施形態では、画像αを注視する対象者100の目の動的な変化に基づく第1特徴量のみを用い、これと画像の印象との関係性を記述した嗜好推定モデルを参照することで、当該画像αに対する印象を推定した。しかしながら、第1から3実施形態のように得られた第1特徴量および第2特徴量を用い、第1特徴量および第2特徴量と、画像の印象との関係性を記述した嗜好推定モデルを参照することで、画像αおよび画像βの少なくとも一方に対する印象を推定してもよい。この場合には、学習用に用意した「第1の画像」を学習用対象者に呈示している間の学習用対象者の目の動的な変化に基づく第1特徴量と、「第1の画像」を学習用対象者に呈示していない間の学習用対象者の目の動的な変化に基づく第2特徴量を取得する。ここで抽出する特徴量は、特徴量抽出部43で抽出する特徴量と同じとする。学習用対象者の「第1の画像」に対する好き嫌いの度合い(rating)(「第1の画像」を呈示していない状態に対する「第1の画像」を呈示している状態の好き嫌いの度合い、または、「第2の画像」を呈示している状態に対する「第1の画像」を呈示している状態の好き嫌いの度合い)を学習用対象者から取得し、抽出した第1特徴量および第2特徴量と「第1の画像」に対する好き嫌いの度合いを組とするデータセットを用意する。同様の第1特徴量および第2特徴量の抽出を複数の異なる「第1の画像」について行い、それぞれの「第1の画像」に対する好き嫌いの度合い(rating)と、抽出した第1特徴量および第2特徴量とを組とするデータセットを学習用データとして取得する。この学習用データを入力データとし、機械学習法により、「第1の画像」に対する印象と第1特徴量および第2特徴量との関係を学習する。これにより、得られる嗜好推定モデルに、好き嫌いが未知の第1特徴量および第2特徴量(特徴量抽出部43で得られた第1特徴量および第2特徴量)を入力すると、その第1特徴量および第2特徴量が、呈示された画像αが(例えば、画像βよりも)「好き」であること(画像βが「嫌い」)に対応するか、画像αが(例えば、画像βよりも)「嫌い」に対応するかを推定できる。
あるいは、第1特徴量および第2特徴量から得られる比較特徴量列を用い、比較特徴量列と画像の印象との関係性を記述した嗜好推定モデルを参照することで画像αおよび画像βの少なくとも一方に対する印象を推定してもよい。この場合には、学習用に用意した「第1の画像」を学習用対象者に呈示している間の学習用対象者の目の動的な変化に基づく複数の第1特徴量と、「第1の画像」を学習用対象者に呈示していない間の学習用対象者の目の動的な変化に基づく複数の第2特徴量を取得し、これらの情報から比較特徴量列を抽出する。ここで抽出する特徴量は、特徴量抽出部43で抽出する特徴量と同じとする。学習用対象者の「第1の画像」に対する好き嫌いの度合い(rating)を学習用対象者から取得し、抽出した比較特徴量列と「第1の画像」に対する好き嫌いの度合いを組とするデータセットを用意する。同様の比較特徴量列の抽出を複数の異なる「第1の画像」について行い、それぞれの「第1の画像」に対する好き嫌いの度合い(rating)と、抽出した比較特徴量列とを組とするデータセットを学習用データとして取得する。この学習用データを入力データとし、機械学習法により、「第1の画像」に対する印象と比較特徴量列との関係を学習する。これにより、得られる嗜好推定モデルに、好き嫌いが未知の比較特徴量列量(特徴量抽出部43で得られた第1特徴量列および第2特徴量列に基づく比較特徴量列量)を入力すると、その比較特徴量列量が、画像αが(例えば、画像βよりも)「好き」であることに対応するか、画像αが(例えば、画像βよりも)「嫌い」に対応するかを推定できる。
あるいは、第1特徴量および第2特徴量の少なくとも一方、ならびに比較特徴量列を用い、第1特徴量および第2特徴量の少なくとも一方、ならびに比較特徴量列と印象との関係性を記述した嗜好推定モデルを参照することで、画像αおよび画像βの少なくとも一方に対する印象を推定してもよい。この場合には、上述のように学習用に用意した「第1の画像」を学習用対象者に呈示している間の学習用対象者の目の動的な変化に基づく複数の第1特徴量を含む第1特徴量列と、「第1の画像」を学習用対象者に呈示していない間の学習用対象者の目の動的な変化に基づく複数の第2特徴量を含む第2特徴量列を取得し、これらの情報から比較特徴量列を抽出する。ここで抽出する特徴量は、特徴量抽出部43で抽出する特徴量と同じとする。学習用対象者の「第1の画像」に対する好き嫌いの度合い(rating)(「第1の画像」を呈示していない状態に対する「第1の画像」を呈示している状態の好き嫌いの度合い、または、「第2の画像」を呈示している状態に対する「第1の画像」を呈示している状態の好き嫌いの度合い)を学習用対象者から取得し、抽出した第1特徴量および第2特徴量の少なくとも一方、ならびに比較特徴量列と「第1の画像」に対する好き嫌いの度合いを組とするデータセットを用意する。同様の比較特徴量列の抽出を複数の異なる「第1の画像」について行い、それぞれの「第1の画像」に対する好き嫌いの度合い(rating)と、抽出した第1特徴量および第2特徴量の少なくとも一方、ならびに比較特徴量列を組とするデータセットを学習用データとして取得する。この学習用データを入力データとし、機械学習法により、「第1の画像」に対する印象と比較特徴量列との関係を学習する。これにより、得られる嗜好推定モデルに、好き嫌いが未知の第1特徴量および第2特徴量の少なくとも一方、ならびに比較特徴量列を入力すると、その比較特徴量列が画像αが(例えば、画像βよりも)「好き」であることに対応するか、画像αが(例えば、画像βよりも)「嫌い」に対応するかを推定できる。
画像α,βの少なくとも一方に代えて、ポスターや絵画などの平面状の物体や人や彫刻などの立体状の物体などを「第1の像」および「第2の像」の少なくとも一方として対象者100に呈示してもよい。目の動的な変化に基づく特徴量を取得可能なメガネ型ウェアラブルデバイスを用いて「第1特徴量」および「第2特徴量」を取得してもよい。上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な(non-transitory)記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。
上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
10〜40 印象推定装置

Claims (6)

  1. 第1の像を注視する動物の目の動的な変化に基づく第1特徴量を抽出する特徴量抽出部と、
    前記第1特徴量に基づいて、少なくとも前記動物の前記第1の像に対する印象を推定する嗜好推定部と、
    を有し、
    前記特徴量抽出部は、さらに前記第1の像を注視しない前記動物の目の動的な変化に基づく第2特徴量を抽出し、
    前記嗜好推定部は、前記第1特徴量と前記第2特徴量とに基づいて、少なくとも前記動物の前記第1の像に対する印象を推定し、
    記特徴量抽出部は、複数の前記第1特徴量を含む第1特徴量列と複数の前記第2特徴量を含む第2特徴量列とを抽出し、
    前記嗜好推定部は、前記第1特徴量および前記第2特徴量の何れか、ならびに、前記第1特徴量列の各要素と前記第2特徴量列の各要素との比較結果を表す値を各要素とする列に基づく比較特徴量列に基づいて、少なくとも前記動物の前記第1の像に対する印象を推定する、印象推定装置。
  2. 請求項の印象推定装置であって、
    前記第2特徴量の何れかは、前記第1の像と異なる第2の像を注視する前記動物の目の動的な変化に基づく、印象推定装置。
  3. 請求項1または2の印象推定装置であって、
    前記第1特徴量の何れかは、前記第1の像を注視する前記動物の眼球の動きに表れるマイクロサッカードの特徴に対応し、
    前記第2特徴量の何れかは、前記第1の像と並んで配置された第2の像を注視する前記動物の眼球の動きに表れるマイクロサッカードの特徴に対応し、
    前記マイクロサッカードの特徴は、前記第1の像および前記第2の像を通る直線の法線成分の前記眼球の動きに表れる特徴を含む、印象推定装置。
  4. 請求項からの何れかの印象推定装置であって、
    前記動物に前記第1の像を呈示する第1時間区間と、前記動物に前記第1の像を呈示しない第2時間区間と、が交互に複数回繰り返され、
    前記第1時間区間における前記動物の目の動的な変化に基づく特徴量を前記第1特徴量の何れかとし、前記第2時間区間における前記動物の目の動的な変化に基づく特徴量を前記第2特徴量の何れかとする、印象推定装置。
  5. 請求項1からの何れかの印象推定装置であって、
    前記第1特徴量の何れかは、前記動物による前記第1の像の注視時間、注視回数、および注視領域の何れかに対応する、印象推定装置。
  6. 請求項1からの何れかの印象推定装置としてコンピュータを機能させるプログラム。
JP2015221019A 2015-11-11 2015-11-11 印象推定装置およびプログラム Active JP6509712B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015221019A JP6509712B2 (ja) 2015-11-11 2015-11-11 印象推定装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015221019A JP6509712B2 (ja) 2015-11-11 2015-11-11 印象推定装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2017086529A JP2017086529A (ja) 2017-05-25
JP6509712B2 true JP6509712B2 (ja) 2019-05-08

Family

ID=58766825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015221019A Active JP6509712B2 (ja) 2015-11-11 2015-11-11 印象推定装置およびプログラム

Country Status (1)

Country Link
JP (1) JP6509712B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7165910B2 (ja) * 2019-01-24 2022-11-07 パナソニックIpマネジメント株式会社 印象評価システム、及び、印象評価方法
JP7172787B2 (ja) * 2019-03-22 2022-11-16 株式会社Jvcケンウッド 評価装置、評価方法、及び評価プログラム
JP6764982B1 (ja) * 2019-07-29 2020-10-07 清水建設株式会社 分布推定システム、分布推定方法、および、分布推定プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU1091099A (en) * 1997-10-16 1999-05-03 Board Of Trustees Of The Leland Stanford Junior University Method for inferring mental states from eye movements
JP2006268395A (ja) * 2005-03-24 2006-10-05 Fuji Xerox Co Ltd 情報処理装置、情報処理方法及びプログラム
JP2009508553A (ja) * 2005-09-16 2009-03-05 アイモーションズ−エモーション テクノロジー エー/エス 眼球性質を解析することで、人間の感情を決定するシステムおよび方法
JP2010094493A (ja) * 2008-09-22 2010-04-30 Koichi Kikuchi 視認情景に対する視認者情感判定装置
US20110109879A1 (en) * 2009-11-09 2011-05-12 Daphna Palti-Wasserman Multivariate dynamic profiling system and methods
JP5438591B2 (ja) * 2010-05-17 2014-03-12 日本電信電話株式会社 感情強度測定装置、感情強度測定方法、及びプログラム
WO2013018267A1 (ja) * 2011-07-29 2013-02-07 パナソニック株式会社 提示制御装置、及び提示制御方法
WO2013033842A1 (en) * 2011-09-07 2013-03-14 Tandemlaunch Technologies Inc. System and method for using eye gaze information to enhance interactions
JP2013258555A (ja) * 2012-06-12 2013-12-26 Sony Computer Entertainment Inc ヘッドマウントディスプレイ、生体情報管理装置、および生体情報表示方法

Also Published As

Publication number Publication date
JP2017086529A (ja) 2017-05-25

Similar Documents

Publication Publication Date Title
Berg et al. Free viewing of dynamic stimuli by humans and monkeys
Komogortsev et al. Automated classification and scoring of smooth pursuit eye movements in the presence of fixations and saccades
JP7070605B2 (ja) 注目範囲推定装置、その方法およびプログラム
Harezlak et al. Towards accurate eye tracker calibration–methods and procedures
US20200074380A1 (en) Work support device, work support method, and work support program
JP2019535401A (ja) 視覚機能の臨床パラメータを統合的に測定するためのシステム
Sato et al. How much to trust the senses: Likelihood learning
Blignaut et al. Improving the accuracy of video-based eye tracking in real time through post-calibration regression
Rafiqi et al. PupilWare: towards pervasive cognitive load measurement using commodity devices
JP6755839B2 (ja) 運動パフォーマンス推定装置、その方法、およびプログラム
JP6509712B2 (ja) 印象推定装置およびプログラム
WO2018088187A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2014101165A1 (en) Method and system for determining concentration level of a viewer of displayed content
AU2014234955B2 (en) Automatic detection of task transition
JP6479708B2 (ja) 特徴量抽出装置、推定装置、それらの方法、およびプログラム
JP5718494B1 (ja) 印象推定装置、その方法、及びプログラム
Modi et al. Real-time camera-based eye gaze tracking using convolutional neural network: a case study on social media website
JP5829590B2 (ja) 疲労感評価装置、疲労感評価方法、及びプログラム
JP5718495B1 (ja) 印象推定装置、その方法、及びプログラム
JP6377545B2 (ja) 個人識別方法、個人識別装置、プログラム
Sakurai et al. Gaze estimation method using analysis of electrooculogram signals and kinect sensor
JP6445418B2 (ja) 印象推定装置、印象推定方法、およびプログラム
JP7214986B2 (ja) 反射性判定装置、反射性判定方法、プログラム
KR101955293B1 (ko) 시각 피로도 분석 장치 및 그 방법
US10779726B2 (en) Device and method for determining eye movements by tactile interface

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190403

R150 Certificate of patent or registration of utility model

Ref document number: 6509712

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150