JP6479708B2 - 特徴量抽出装置、推定装置、それらの方法、およびプログラム - Google Patents

Description

本発明は、眼の動的な変化から心理状態を推定する技術に関する。

特許文献１，２には、所定の音を受聴可能とする第１時間区間と受聴可能としない第２時間区間での眼球の動きや瞳孔の大きさの変化に基づく特徴量の相違の度合いに基づいて、受聴させた音の目立ち度合いを推定する技術が開示されている。

特許第５７１８４９２号公報 特許第５７１８４９３号公報

しかし、特許文献１，２に開示された技術では、音を受聴可能とする第１時間区間と受聴可能としない第２時間区間とを人為的に設定する必要があった。そのため、任意の環境で得られた眼の動的な変化から心理状態を推定することはできなかった。

本発明の課題は、任意の環境で得られた眼の動的な変化から心理状態を推定することである。

第１時間区間での眼の動的な変化に基づいて得られた第１特徴量と、第２時間区間での眼の動的な変化に基づいて得られた第２特徴量の時系列情報から推定した第１時間区間での特徴量と、の相違の度合いに応じた第３特徴量を得る。

これにより、任意の環境で得られた眼の動的な変化から心理状態を推定できる。

図１は実施形態の装置構成を例示したブロック図である。 図２は実施形態の処理を説明するためのフロー図である。 図３は眼球の動きを例示した図である。 図４はマイクロサッカードの特徴量を説明するための図である。 図５は両眼の瞳孔径の変化を例示した図である。 図６は各時間区間の特徴量を例示するための図である。 図７Ａは実験条件を説明するための図である。図７Ａの上図が刺激間間隔の分布が規則的な条件を表し、下図が刺激間間隔の分布が100msの幅をもつ不規則条件を表し、黒塗りされた長方形が純音の呈示タイミングを表す。図７Ｂは実験によって得られた特徴量S_tを例示したグラフである。

以下、本発明の実施形態を説明する。
［原理］
まず本形態の原理を説明する。各実施形態では、「第１時間区間」での眼の動的な変化に基づいて得られた「第１特徴量」と、「第２時間区間」での眼の動的な変化に基づいて得られた「第２特徴量の時系列情報」から推定した「第１時間区間」での特徴量と、の相違の度合いに応じた「第３特徴量」を得る。「第３特徴量」は、「第２特徴量の時系列情報」を用いて予測された「第１時間区間」での特徴量に対し、実際に「第１時間区間」での眼の動的な変化に基づいて得られた「第１特徴量」がどの程度異なっているかを表す。つまり「第３特徴量」は、「第２時間区間」から予測される特徴量の趨勢からみて「第１時間区間」がどれだけ突飛なものであるかを表す指標である。そのため、「第３特徴量」を用いることで、「第１時間区間」および「第２時間区間」の環境を人為的に設定することなく、任意の環境で得られた眼の動的な変化から対象者の心理状態を推定できる。例えば、「第３特徴量」を対象者の注意度合いおよび驚き度合いの少なくとも一方を表すため、少なくとも「第３特徴量」を含む特徴量から注意度合いおよび驚き度合いの少なくとも一方を推定できる。また「第３特徴量」は「第２時間区間」での「第２特徴量の時系列情報」から予測される特徴量の趨勢（例えば、増加傾向にある、減少傾向にある、定常状態にあるなど）からみた新奇性を表すため、単純に「第２時間区間」での特徴量の平均値などに対する「第１特徴量」の相違の度合いを評価する場合に比べ、高い精度で対象者の心理状態を推定できる。

「第１時間区間」は、「第２時間区間」よりも後（未来）の時間区間であってもよいし、「第２時間区間」よりも前（過去）の時間区間であってもよいし、「第２時間区間」に含まれた時間区間であってもよい。「第１時間区間」は「第２時間区間」の直後または直前の時間区間であってもよいし、「第２時間区間」から離れた時間区間であってもよい。

「第２時間区間」は「第１時間区間」よりも長い時間区間であることが望ましい。「第２時間区間」が長い方が特徴量の趨勢を正確に予測でき、その趨勢に対する「第１時間区間」の新奇性を高い精度で評価できるからである。例えば、「第２時間区間」が複数の「部分時間区間」からなり、「第１時間区間」が１つの「部分時間区間」であってもよい。「部分時間区間」の一例は、信号の処理単位であるフレームやフレームを構成するサブフレームなどである。ただし、「第２時間区間」から特徴量の趨勢を予測できるのであれば、「第２時間区間」と「第１時間区間」との長さが等しくてもよいし、「第２時間区間」が「第１時間区間」よりも短い時間区間であってもよい。

「第２特徴量の時系列情報」は、「第２時間区間」内の複数の時間（時刻）または部分時間区間のそれぞれに対応する複数の特徴量からなる時系列である。すなわち、「第２特徴量の時系列情報」は、「第２時間区間」内の複数の時間または複数の部分時間区間に対応する時系列である。「複数の時間」は、互いに隣り合う離散時間であってもよいし、互いに隣り合わない離散時間であってもよいし、互いに隣り合う離散時間と互いに隣り合わない離散時間とを含んでいてもよい。同様に「複数の部分時間区間」は、互いに隣り合う部分時間区間であってもよいし、互いに隣り合わない部分時間区間であってもよいし、互いに隣り合う部分時間区間と互いに隣り合わない部分時間区間とを含んでいてもよい。

「第１特徴量」および「第２特徴量」は同一の対象者の眼の動的な変化に基づいて得られた特徴量である。「眼の動的な変化」は、眼球自体の動き（眼球の位置の経時変化）であってもよいし、瞳孔の動き（瞳孔径の経時変化）であってもよい。「特徴量」はどのようなものであってもよく、時間や部分時間区間のそれぞれに対応するスカラであってもよいし、時間や部分時間区間のそれぞれに対応する複数の要素からなるベクトルであってもよい。ただし、「第１特徴量」と「第２特徴量」とは同じ種別の特徴量である。また「特徴量」はその時系列からその趨勢を予測可能な要素を含む必要がある。各実施形態では、特徴量の趨勢からの相違具合によって、対象者の注意度合いおよび驚き度合いといった心理状態を評価するため、その前提として「特徴量」の趨勢を予測できなければならないからである。例えば、「第１特徴量」および「第２特徴量」は、眼球のサッカードに基づく特徴量を含むことが望ましい。「サッカード」はマイクロサッカード（micro saccade）であってもよいし、ラージサッカード（large saccade）であってもよい。眼球のサッカードに基づく特徴量としては、眼球の運動方向に基づく特徴量、眼球運動の振幅の絶対値に基づく特徴量、眼球運動の減衰係数に基づく特徴量、眼球運動の固有角振動数に基づく特徴量、眼球のサッカードの発生タイミングに基づく特徴量などを例示できる。特に、サッカードにおける眼球の運動方向や眼球運動の減衰係数などは時系列での依存性が高く、趨勢の予測が効き易い。そのため、「第１特徴量」および「第２特徴量」が、サッカードにおける眼球の運動方向および眼球運動の減衰係数の少なくとも一方に基づく特徴量を含むことが望ましい。また「第１特徴量」および「第２特徴量」が、眼球のサッカードの発生タイミングに基づく特徴量を含むことが望ましい。これにより、時間の進行に応じた特徴量の変化の趨勢を予測し易くなり、対象者の心理状態の推定精度が上がる。

「第１特徴量」および「第２特徴量」が、同一の対象者の一方の眼（例えば、右眼）の動的な変化に由来する値と他方の眼（例えば、左眼）の動的な変化に由来する値との相対量に基づく特徴量を含んでもよい。両眼の動的な変化の相対量には対象者の属性や個性が表れ、そのような相対量に基づく特徴量の趨勢を利用することで、対象者の心理状態を高い精度で推定できる。特に両眼の瞳孔の動きの相対値には対象者の属性や個性が表れる。そのため、「第１特徴量」および「第２特徴量」が、同一の対象者の一方の眼の瞳孔の動きに由来する値と他方の眼の瞳孔の動きに由来する値との相対量に基づく特徴量を含むことが望ましい。「第１特徴量」および「第２特徴量」が、同一の対象者の一方の眼のサッカードに由来する値と他方の眼のサッカードに由来する値との相対量に基づく特徴量を含んでもよい。「αとβとの相対量」は、例えば、αとβとの差分、αからβを減じた値、βからαを減じた値、αをβで除した値、もしくはβをαで除した値、またはそれらの何れかの関数値である。「相対値に基づく特徴量」は、例えば、「相対値」もしくはその関数値、「相対値」もしくはその関数値を要素としたベクトル、または、それらの何れかの関数値である。

「第２特徴量の時系列情報」を用いた「第１時間区間」での特徴量の予測方法に限定はない。例えば、自己回帰モデルやリカレントニューラルネットワークなどの予測モデルや、隠れマルコフモデルなどの確率モデルなどを用い、「第２特徴量の時系列情報」から「第１時間区間」での特徴量を予測してもよい。「対象者」は眼が動的に変化する動物であれば、ヒトであってもよいし、ヒト以外の動物であってもよい。

前述のように「第３特徴量」を含む特徴量を用いることで、対象者の注意度合いや驚き度合いなどの心理状態を推定できる。この推定方法に特に制限はない。例えば、「第３特徴量」が大きいほど注意度合いや驚き度合いが高いと推定してもよいし、「第３特徴量」が閾値よりも大きいか閾値以上の場合に注意度合いや驚き度合いが高いと推定し、そうでない場合に注意度合いや驚き度合いが低いと推定してもよい。または事前またはリアルタイムに得られた「第３特徴量」を含む特徴量を学習データとして教師ありまたは教師なしの機械学習を行って心理状態を表す値を推定するモデルを生成し、新たに得られた「第３特徴量」を含む特徴量をこのモデルに適用することで心理状態を表す値を推定してもよい。例えば、重回帰分析、ｋ−ｍｅａｎｓ、サポートベクターマシーン（SVM）、単純クラスタリング、隠れマルコフモデル、ニューラルネットワーク、ディープラーニングなどを利用できる。

［第１実施形態］
次に図面を用いて第１実施形態を説明する。
＜構成および処理＞
図１に例示するように、本形態のシステムは特徴量抽出装置１１、および、推定装置１２を含む。特徴量抽出装置１１は、眼球情報取得部１１１、特徴量抽出部１１２、および特徴量算出部１１３を含み、推定装置１２は推定部１２１を含む。特徴量算出部１１３は、予測モデル生成部１１３ａおよび予測誤差特徴量計算部１１３ｂを有する。特徴量抽出装置１１および推定装置１２のそれぞれは、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）およびＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。

《眼球情報取得部１１１（図２：ステップＳ１１１）》
眼球情報取得部１１１は、対象者１００の各離散時刻の「眼の動的な変化」に関する時系列情報を取得し、取得した目の動的な変化に関する時系列情報を特徴量抽出部１１２へ出力する。取得される「眼の動的な変化」は、対象者１００の眼球自体の動きであってもよいし、瞳孔の動きであってもよいし、それら両方であってもよい。眼球情報取得部１１１は、両眼の動的な変化に関する時系列情報を取得してもよいし、何れか一方の眼の動的な変化に関する時系列情報を取得してもよい。

対象者１００の「眼球自体の動き」に関する時系列情報は、撮像装置（例えば赤外線カメラ）で対象者１００の眼を撮影して得られた映像に基づいて得られる。眼球情報取得部１１１は、例えば、撮影された映像を画像処理することで、所定の時間区間であるフレーム毎（例えば、1000Hzのサンプリング間隔）の眼球の位置の時系列を眼球の動きに関する時系列情報として取得する。眼球情報取得部１１１は、撮像装置と画像処理アルゴリズムを実行するコンピュータなどによって実現されてもよいし、撮像装置を外部装置として、撮像装置から入力された画像を画像処理するアルゴリズムを実行するコンピュータなどによって実現されてもよい。あるいは、眼球情報取得部１１１は、電極を用いた電位計測法を用いて眼球の動きを測定し、その測定結果に基づいて「眼球自体の動き」に関する時系列情報を取得してもよい。この場合、眼球情報取得部１１１は、測定装置（電極を含む）と測定装置が測定した電位に基づいて眼球の位置を計算するアルゴリズムを実行するコンピュータなどによって実現されてもよいし、測定装置を外部装置として、測定装置から入力された電位に基づいて眼球の位置を計算するアルゴリズムを実行するコンピュータなどによって実現されてもよい。図３に一方の眼球の動きを例示する。図３の横軸は時間［秒］を表し、縦軸は視野角［度］を表す。

対象者１００の「瞳孔の動き」に関する時系列情報は、撮像装置（例えば赤外線カメラ）で対象者１００の眼を撮影して得られた映像に基づいて得られる。例えば、対象者１００にある１点を注視してもらうようにし、その時の瞳孔が赤外線カメラで撮像される。眼球情報取得部１１１は、撮影された映像を画像処理することで、フレーム毎（例えば、1000Hzのサンプリング間隔）の瞳孔の大きさの時系列を取得する。眼球情報取得部１１１は、例えば瞳孔を撮影した画像に対して、瞳孔に円をフィッティングし、当該フィッティングした円の半径を瞳孔径として用いることができる。瞳孔径は微細に変動するため、眼球情報取得部１１１は、所定の時間区間ごとにスムージング(平滑化)した瞳孔径の値を用いれば好適である。図５に右眼と左目の瞳孔の動き（瞳孔径の変化）を例示する。図５の横軸は時間［秒］を表し、縦軸は瞳孔径を表す。この瞳孔径は各時刻で取得した瞳孔径の全データの平均を０、標準偏差を１としたときのz-scoreで表現されている。ただし、眼球情報取得部１１１が取得する「瞳孔の動きに関する時系列情報」は、z-scoreで表現された瞳孔径の時系列でなくてもよく、瞳孔径の値そのものの時系列であってもよいし、瞳孔の面積や直径の時系列であってもよく、瞳孔の大きさに対応する値の時系列であればどのようなものであってもよい。

《特徴量抽出部１１２（ステップＳ１１２）》
特徴量抽出部１１２は、取得された「眼の動的な変化」に関する時系列情報から、所定の時間区間F_t（部分時間区間）での「眼の動的な変化」に基づく特徴量(y_t,1,…,y_t,d)（第１特徴量）、および、所定の時間区間F_t-1,…,F_t-pのそれぞれでの「眼の動的な変化」に基づく特徴量(y_t-1,1,…,y_t-1,d),…,(y_t-p,1,…,y_t-p,d)（第２特徴量）を抽出して出力する。ただし、i=t,t-1,…,t-pは時間区間F_iに対応する離散時間を表すインデックスであり、ｔは離散時間を表すインデックスであり、dは特徴量の要素数、すなわち次元を表す正の整数であり、pは１以上の整数であるが２以上であることが望ましい。ｉやｔは値の大きさが大きいほど、新しい離散時間に対応する。ｐは定数であってもよいし、変数であってもよい。図６に例示するように、時間区間F_tが第１時間区間T₁であり、p個の時間区間F_t-1,…,F_t-pからなる区間が第２時間区間T₂である。特徴量がスカラである場合にはd=1であり、特徴量がベクトルである場合にはdは２以上の整数である。例えば、特徴量抽出部１１２は、各ｔにおいて、対象者１００の「眼球自体の動き」「瞳孔の動き」の少なくとも何れかに基づく特徴量を要素としたスカラまたはベクトルを特徴量(y_i,1,…,y_i,d)（ただし、i=t,t-1,…,t-p）として抽出する。

「眼球自体の動き」に基づく特徴量：
「眼球自体の動き」に基づく特徴量としては、例えば「マイクロサッカード」や「ラージサッカード」の特徴量を例示できる。「マイクロサッカード」および「ラージサッカード」の特徴量を用いる場合は、時間区間F_iはそれぞれ必ず一つだけのマイクロサッカードを含むか、あるいは一つだけのラージサッカードを含むように設定する。このとき、モデルの精度を上げるためには、なるべくマイクロサッカードやラージサッカードの誤検出や検出漏れのないことが望ましい。

マイクロサッカードの特徴量：
「マイクロサッカード」とは、眼球の動きに表れる微細な跳躍性眼球運動をいう。人間がある一点を注視しているとき、眼球は完全に動きを止めているわけではなく、固視微動と呼ばれる三種類の眼球運動であるドリフト(drift、trendといってもよい)、トレマ、マイクロサッカード（フリックといってもよい）を行っている。ドリフトは小さな滑らかな動き、トレマは非常に小さな高周波の振動、マイクロサッカードは小さな跳ぶような動きである。図３を用いてマイクロサッカードを例示する。図３ではマイクロサッカードＭＳ_１〜ＭＳ_３を太線で強調して示す。マイクロサッカードはある一点を注視している状態において、１〜２秒の間に１回程度、個人の意思とは関係なく（不随意に）表れる眼球の動きであって、小さな跳ぶような動きのことである。マイクロサッカードは、動きの水平方向の成分、垂直方向の成分のどちらからでも取得することができる。本実施形態では、マイクロサッカードが水平方向に偏向する性質に基づき、簡単のため水平方向の成分のみを用いる。しかし、本発明で用いることができるマイクロサッカードの方向成分は水平方向に限定されない。なお、「水平方向」とは、地面と平行な方向に限定する意味ではなく、対象者１００の顔に対しての水平方向（眼球の配列方向であり、横方向、幅方向といってもよい）や眼球情報取得部１１１において水平方向と定義された方向を含む概念である。

特徴量抽出部１１２は、例えば眼球の位置の時系列について１次階差系列を計算し、１次階差系列の絶対値が所定の第１閾値を上回った時刻を、マイクロサッカードの開始時刻（発生時刻）として検出すればよい。ただし１次階差系列の絶対値が所定の閾値を上回る時間の長さが所定の値（通常3ms程度）以上持続しない場合は、検出から除外する。また、後述の基準振幅Aが所定の閾値（通常視野角2°程度）以上の場合はラージサッカードとして、検出から除外する。特徴量抽出部１１２は、取得された眼球の位置情報にノイズが多く含まれると判定した場合などには、１次階差系列の計算にあたって適当な範囲での移動平均値を用いても良い。検出に用いる閾値には、階差系列の標準偏差の6倍程度の値を用いることが好ましい。

マイクロサッカードの特徴量としては、マイクロサッカードの発生タイミングに基づく値Z、運動方向に応じた値D、基準振幅Aの絶対値｜A｜、最大速度V_max、持続時間D_m、オーバーシュートの振幅A_oの絶対値｜A_o｜、オーバーシュートの速度V_o、立ち上がり時間K、減衰率λ、減衰係数ζ、固有角振動数ω_ｎ、マイクロサッカードの単位時間（例えば１秒）あたりの発生回数R_mなどを例示できる。前述のように、特にマイクロサッカードの発生タイミングに基づく値Z、運動方向に応じた値D、基準振幅Aの絶対値｜A｜、減衰係数ζを用いることが望ましい。

時間区間F_iで発生したマイクロサッカードの発生タイミングに基づく値Zは、例えば、時間区間F_iの開始時刻M_iであってもよいし、基準となる時間区間RF_tに対応するマイクロサッカードの発生時刻RM_ｔと開始時刻M_ｉとの時間差｜RM_ｔ−M_ｉ｜であってもよいし、開始時刻M_ｉまたは時間差｜RM_ｔ−M_ｉ｜の関数値g(M_ｉ)またはg(｜RM_ｔ−M_ｉ｜)であってもよい。基準となる時間区間RF_tは時間区間F_tに対応し、例えばRF_t=F_t-1である。関数値g(M_ｉ)またはg(｜RM_ｔ−M_ｉ｜)に限定はないが、例えば、代表値M_ｉまたは時間差｜RM_ｔ−M_ｉ｜が大きくなるほど小さくなり、負とならず、特異点を持たない関数の関数値を用いることができる。関数値g(M_ｉ)の例は1/M_ｉやexp(-M_ｉ)などである。「exp」はネイピア数を底とする指数関数を表す。g(｜RM_ｔ−M_ｉ｜)の例は1/｜RM_ｔ−M_ｉ｜やexp(-｜RM_ｔ−M_ｉ｜)などである。ただし、M_ｉや｜RM_ｔ−M_ｉ｜が0の場合には1/M_ｉや1/｜RM_ｔ−M_ｉ｜は∞となる。そのため、M_ｉや｜RM_ｔ−M_ｉ｜が0となるときにg(M_ｉ)やg(｜RM_ｔ−M_ｉ｜)を0としてもよい。このような時間区間F_iで発生したマイクロサッカードの発生タイミングに基づく値Zを特徴量(y_i,1,…,y_i,d)の何れかの要素としてもよい。

時間区間F_iで発生したマイクロサッカードの運動方向に応じた値Dは、当該運動方向ごとに定まる値である。例えば、運動方向に応じた値Dが、左右の運動方向に対応する２値の何れかをとってもよいし、左右上下の運動方向に対応する４値の何れかをとってもよいし、その他ｎ方向の運動方向に対応するｎ値の何れかをとってもよい。一例としては、右方向（左眼から右眼に向かう方向）の運動方向に応じた値Dを第１値（例えば−１）とし、左方向（左眼から右眼に向かう方向）の運動方向に応じた値Dを第２値（例えば１）とする。このような時間区間F_iで発生したマイクロサッカードの運動方向に応じた値Dを特徴量(y_i,1,…,y_i,d)の何れかの要素としてもよい。

次に図４を参照して、マイクロサッカードの基準振幅A、最大速度V_max、持続時間D_m、オーバーシュートの振幅A_o、オーバーシュートの速度V_o、立ち上がり時間K、減衰率λについて説明する。
（１）基準振幅A：マイクロサッカードによる眼球の動きが収束したときの移動量である。
（２）最大速度V_max：基準振幅A＋オーバーシュートの振幅A_oに達するまでの最大の速度である。
（３）持続時間D_m：マイクロサッカードが起きている時間区間の長さである。マイクロサッカードの開始時刻は１次階差系列の絶対値が所定の閾値を上回る時刻で、マイクロサッカードの終了時刻は、オーバーシュートの振幅に達したあとに初めて基準振幅Aに戻る時刻である。
（４）オーバーシュート(overshoot)の振幅A_o：マイクロサッカードによって基準振幅Aを超過した（行き過ぎた）部分の量である。オーバーシュートとは、波形の立ち上がり部分で、波形が基準振幅Aを超えて突出する現象、または、その突出した波形である。言い換えると、オーバーシュートの振幅とは、突出した部分の量である。
（５）オーバーシュートの速度V_o：基準振幅A＋オーバーシュートの振幅A_oから基準振幅Aに収束しようとする際の最大の速度である。
（６）立ち上がり時間K：基準振幅A＋オーバーシュートの振幅A_oに達する（立ち上がる）までにかかる時間である。なお、基準振幅A＋オーバーシュートの振幅A_oに達するまでにかかる時間は、最大速度V_maxからオーバーシュートの速度V_oに達するまでにかかる時間と同じ値となる。
（７）減衰率λ：基準振幅Aに対するオーバーシュートの振幅A_oの比である。最大速度V_maxに対するオーバーシュートの速度V_oの比としてもよく、

と表される。

マイクロサッカードの減衰係数ζ、固有角振動数ω_ｎは、

と表される。固有角振動数ω_ｎはマイクロサッカードの応答の速さを表す指標に相当し、減衰係数ζはマイクロサッカードの応答の収束性を表す指標に相当する。

特徴量抽出部１１２は、マイクロサッカードの減衰係数ζ、固有角振動数ω_ｎ、基準振幅Aを、マイクロサッカードが起きている間の眼球の位置をフィッティングし、最小二乗法などによって最適化することで計算してもよい。

マイクロサッカードの減衰係数ζは、運動が左右方向に依存して値が変化する傾向があるため、特徴量抽出部１１２は、左方向のマイクロサッカードの減衰係数の代表値、右方向のマイクロサッカードの減衰係数の代表値を分けて計算しても良い。

時間区間F_iで発生した上述のようなマイクロサッカードの基準振幅Aの絶対値｜A｜、最大速度V_max、持続時間D_m、オーバーシュートの振幅A_oの絶対値｜A_o｜、オーバーシュートの速度V_o、立ち上がり時間K、減衰率λ、減衰係数ζ、固有角振動数ω_ｎの少なくとも何れかを特徴量(y_i,1,…,y_i,d)の何れかの要素としてもよい。

ラージサッカードの特徴量：
「ラージサッカード」とは、マイクロサッカードよりも振幅の大きな跳躍性眼球運動をいい、一般に振幅が視野角２度以上の場合をラージサッカード、２度未満のものをマイクロサッカードとする。特徴量抽出部１１２は、前述の基準振幅Aが所定の閾値以上となった時刻を、ラージサッカードの起きた開始時刻として検出すればよい。ラージサッカードの特徴量の例は、ラージサッカードの発生タイミングに基づく値Z、運動方向に応じた値D、基準振幅A、最大速度V_max、持続時間D_m、オーバーシュートの振幅A_o、オーバーシュートの速度V_o、立ち上がり時間K、減衰率λ、減衰係数ζ、固有角振動数ω_ｎ、単位時間あたりの発生回数R_m、発生回数などである。これらの具体例は、前述したマイクロサッカードの特徴量の例の「マイクロサッカード」を「ラージサッカード」に置換したものである。時間区間F_iで発生したラージサッカードの特徴量の少なくとも何れかを特徴量(y_i,1,…,y_i,d)の何れかの要素としてもよい。前述した理由より、特にラージサッカードの発生タイミングに基づく値Z、運動方向に応じた値D、基準振幅Aの絶対値｜A｜、減衰係数ζを用いることが望ましい。

「瞳孔の動き」に基づく特徴量：
図５に例示したように、瞳孔の大きさは一定ではなく、変化している。瞳孔の大きさは交感神経系の支配を受けた瞳孔散大筋によって拡大（散瞳）し、副交感神経系の支配を受けた瞳孔括約筋によって収縮（縮瞳）する。瞳孔の大きさの変化は主に対光反射、輻輳反射、感情による変化の３つに区別される。対光反射は、網膜に入射する光量を制御するために瞳孔の大きさが変化する反応のことで、強い光に対しては縮瞳、暗所では散瞳が生じる。輻輳反射は、焦点を合わせる際に両眼が内転あるいは外転する運動（輻輳運動）に伴って瞳孔径が変化する反応のことで、近くを見るときには縮瞳、遠くを見るときには散瞳が生じる。感情による変化は、上記のいずれにもよらず外界のストレスに対して生じる反応のことで、怒りや驚き、活発な活動に伴って交感神経が優位となる際には散瞳が生じ、リラックスして副交感神経が優位となる際には縮瞳が生じる。「瞳孔の動き」に基づく特徴量としては、縮瞳の特徴量や散瞳の特徴量を用いることができる。

縮瞳の特徴量：
縮瞳の開始する時刻（以下、縮瞳開始点）は、瞳孔の大きさの時系列から極大点を抽出することによって検出する。縮瞳の終了する時刻（以下、縮瞳終了点）は、縮瞳開始以降初めて散瞳が開始した点、または縮瞳開始以降初めて瞬目が開始した点のうち、時間が早い方とする。縮瞳の振幅A_cは、縮瞳開始点から縮瞳終了点までの瞳孔径の差である。縮瞳の持続時間D_cは、縮瞳開始点から縮瞳終了点までの時間差である。平均縮瞳の速度V_cは、（振幅A_c）/(持続時間D_c)である。時間区間F_iで発生した縮瞳の振幅A_c、縮瞳の持続時間D_c、平均縮瞳の速度V_c、縮瞳の発生回数などを時間区間F_iでの「瞳孔の動き」に基づく特徴量として用いることができる。特徴量抽出部１１２は、時間区間F_iで発生した縮瞳の振幅A_c、縮瞳の持続時間D_c、平均縮瞳の速度V_c、縮瞳の発生回数の少なくとも何れかを特徴量(y_i,1,…,y_i,d)の何れかの要素としてもよい。時間区間F_iにおいて縮瞳が複数検出された場合、一つ一つの縮瞳について求めた縮瞳の振幅A_c、縮瞳の持続時間D_c、平均縮瞳の速度V_cのそれぞれの代表値の何れかを特徴量(y_i,1,…,y_i,d)の何れかの要素としてもよい。なお、ノイズによる誤検出を防ぐために、縮瞳の持続時間が所定の閾値（例えば、10ms）以下の場合、あるいは縮瞳の振幅が所定の閾値以下の場合は、その縮瞳を検出から除外してもよい。

散瞳の特徴量：
散瞳の開始する時刻（以下、散瞳開始点）は、瞳孔径の時系列から極小点を抽出することによって検出する。散瞳の終了する時刻（以下、散瞳終了点）は、散瞳開始以降初めて縮瞳が開始した点、または散瞳開始以降初めて瞬目が開始した点のうち、時間が早い方とする。散瞳の振幅A_dは、散瞳開始点から散瞳終了点までの瞳孔径の差である。散瞳の持続時間D_dは、散瞳開始点から散瞳終了点までの時間差である。散瞳の平均速度V_dは、（振幅A_d）/(持続時間D_d)である。時間区間F_iで発生した散瞳の振幅A_d、散瞳の持続時間D_d、平均散瞳の速度V_d、散瞳の発生回数などを時間区間F_iでの「瞳孔の動き」に基づく特徴量として用いることができる。特徴量抽出部１１２は、時間区間F_iで発生した散瞳の振幅A_d、散瞳の持続時間D_d、平均散瞳の速度V_d、散瞳の発生回数の少なくとも何れかを特徴量(y_i,1,…,y_i,d)の何れかの要素としてもよい。時間区間F_iにおいて散瞳が複数検出された場合、一つ一つの散瞳について求めた散瞳の振幅A_d、散瞳の持続時間D_d、平均散瞳の速度V_dのそれぞれの代表値の何れかを特徴量(y_i,1,…,y_i,d)の何れかの要素としてもよい。なお、ノイズによる誤検出を防ぐために、散瞳の持続時間が所定の閾値（例えば、10ms）以下の場合、あるいは散瞳の振幅が所定の閾値以下の場合は、その散瞳を検出から除外してもよい。

前述のように、対象者１００の一方の眼（例えば、右眼）の動的な変化に由来する値と他方の眼（例えば、左眼）の動的な変化に由来する値との相対量を特徴量(y_i,1,…,y_i,d)の何れかの要素としてもよい。眼の動的な変化に由来する値としては、前述したマイクロサッカードの特徴量、ラージサッカードの特徴量、縮瞳の特徴量、散瞳の特徴量などを用いることができる。ただし、一方の眼の動的な変化に由来する値と、他方の動的な変化に由来する値とは、同種の特徴量である。「相対量」の具体例は前述の通りである。

《特徴量算出部１１３（ステップＳ１１３）》
特徴量(y_i,1,…,y_i,d)（ただし、i=t,t-1,…,t-p）は特徴量算出部１１３に送られる。例えば、d=5であり、マイクロサッカードの発生タイミングに基づく値Z、運動方向に応じた値D、基準振幅Aの絶対値｜A｜、減衰係数ζ、および固有角振動数ω_ｎを特徴量の要素とする場合、特徴量(y_i,1,…,y_i,5)の要素は以下のようになる。このように第１特徴量(y_t,1,…,y_t,5)と第２特徴量(y_t-1,1,…,y_t-1,5),…,(y_t-ｐ,1,…,y_t-ｐ,5)とは同じ種別の特徴量である。

特徴量算出部１１３は、第１時間区間T₁での対象者１００の眼の動的な変化に基づいて得られた第１特徴量(y_t,1,…,y_t,d)と、第２時間区間T₂での対象者１００の眼の動的な変化に基づいて得られた第２特徴量の時系列情報(y_t-1,1,…,y_t-1,d),…,(y_t-ｐ,1,…,y_t-ｐ,d)から推定した第１時間区間T₁での特徴量(y^_t-1,1,…,y^_t-1,d)と、の相違の度合いに応じた特徴量S_t（第３特徴量）を得て出力する。以下、この処理を例示する。本形態では、ベクトル自己回帰モデルを用い、(y_t-1,1,…,y_t-1,d),…,(y_t-ｐ,1,…,y_t-ｐ,d)から(y^_t-1,1,…,y^_t-1,d)を推定する例を示す。しかし、これは本発明を限定するものではない。なお、(y^_t-1,1,…,y^_t-1,d)の「＾」は本来「ｙ」の真上に表記すべきであるが、記載表記の制約上「＾」を「ｙ」を右上に表記する場合がある。第１特徴量や第２特徴量は必ずしも正規分布をとる特徴量とは限らないため、本形態のようにベクトル自己回帰モデルを用いる場合は、事前にBox-Cox変換等の手法によって特徴量を正規化しても良い。

《予測モデル生成部１１３ａ（ステップＳ１１３ａ）》
予測モデル生成部１１３ａは、これまでの各t’で得られた(y_t’,1,…,y_t’,d),…,(y_t’-ｐ,1,…,y_t’-ｐ,d)を入力とし、以下のベクトル自己回帰モデルの係数c₁,…,c_d，φ_1,1 ⁽¹⁾,…,φ_d,d ⁽¹⁾,…,φ_1,1 ^(p),…,φ_d,d ^(p)を算出して出力する。ここでｔ≧t’である。例えばt’=t,t-1,t-2,...,t-wであり、wはw＜tの整数である。例えば、t-wは時間インデックスの初期値（例えば、t-w=1）である。係数c₁,…,c_d，φ_1,1 ⁽¹⁾,…,φ_d,d ⁽¹⁾,…,φ_1,1 ^(p),…,φ_d,d ^(p)は、例えば、すべてのt’=t,t-1,t-2,...,t-wについての予測誤差（予測残差）ε_t’,1,…,ε_t’,dの大きさを最小化するように選択される。例えば、t’=t,t-1,t-2,...,t-wについてのε_t’,1,…,ε_t’,dの合計やその関数値が最小となるように係数c₁,…,c_d，φ_1,1 ⁽¹⁾,…,φ_d,d ⁽¹⁾,…,φ_1,1 ^(p),…,φ_d,d ^(p)が設定される。

選択された係数c₁,…,c_d，φ_1,1 ⁽¹⁾,…,φ_d,d ⁽¹⁾,…,φ_1,1 ^(p),…,φ_d,d ^(p)は、予測誤差特徴量計算部１１３ｂに送られる。

《予測誤差特徴量計算部１１３ｂ（ステップＳ１１３ｂ）》
予測誤差特徴量計算部１１３ｂは、係数c₁,…,c_d，φ_1,1 ⁽¹⁾,…,φ_d,d ⁽¹⁾,…,φ_1,1 ^(p),…,φ_d,d ^(p)、および、特徴量(y_i,1,…,y_i,d)（ただし、i=t,t-1,…,t-p）を入力とし、以下のようにtに対応する特徴量S_t（第３特徴量）を得て出力する。

ただし、

であり、

であり、［・］^Ｔは［・］の転置である。Σ_ｔはy^_tの分散共分散行列であり、Σ_ｔのi行j列の要素Σ_ｉｊは以下の通りである。

ただし、Ｅ［・］は［・］の期待値を表す。

特徴量S_tは、第１時間区間T₁での対象者１００の眼の動的な変化に基づいて得られた第１特徴量(y_t,1,…,y_t,d)が、第２時間区間T₂での対象者１００の眼の動的な変化に基づいて得られた第２特徴量の時系列情報(y_t-1,1,…,y_t-1,d),…,(y_t-ｐ,1,…,y_t-ｐ,d)から推定した第１時間区間T₁での特徴量(y^_t-1,1,…,y^_t-1,d)の分布において出現しうる確率に応じた値となる（図６）。ここで、(1)式は、一般に特徴量(y_t,1,…,y_t,d)の多変量正規分布の確率密度関数P_tは以下のようになることに基づく。

ここで、μはy_tの平均ベクトルであり、Σ_t’はy_tの分散共分散行列である。特徴量S_tは、第２特徴量から推定された確率分布における第１特徴量の出現確率が０に近いほど大きくなって１に近づき、出現確率が１に近いほど小さくなって０に近づく。つまり、特徴量S_tは、新奇な状態であって対象者１００の注意度合いや驚き度合いが高いほど大きな値となり、逆に、対象者１００の注意度合いや驚き度合いが低いほど小さな値をとる。

《推定部１２１（ステップＳ１２１）》
特徴量S_tは推定装置の推定部１２１に送られる。推定部１２１は、少なくとも特徴量S_tを用い、注意度合いおよび／または驚き度合いといった対象者１００の心理状態を推定し、その推定結果を出力する。

対象者１００の心理状態の推定方法に限定はない。単純な方法としては、推定部１２１は、特徴量S_tと閾値Th₁（ただし、１＞Th₁＞０）を比較し、S_t≧Th₁であれば対象者１００が注意状態および／または驚き状態にある旨の推定結果を出力し、そうでなければ対象者１００が注意状態および／または驚き状態にない旨の推定結果を出力する。

推定部１２１が特徴量S_tと複数の閾値Th_max,…,Th₁（ただし、１＞Th_max＞…＞Th₁＞０、maxは２以上の整数）とを比較し、特徴量S_tが何れの範囲に属するかを表す値を、対象者１００の注意度合いおよび／または驚き度合いを示すレベルを表す推定結果として出力してもよい。あるいは、推定部１２１が特徴量S_tそのものや、特徴量S_tに対する単調関数（単調増加関数や単調減少関数）を注意状態および／または驚き状態を表す推定結果として出力してもよい。

特徴量S_tと前述した時間区間F_tでの「眼の動的な変化」に基づく特徴量の何れかとを要素とするベクトルVF_tを用い、注意度合いおよび／または驚き度合いといった対象者１００の心理状態を推定してもよい。例えば、各ｔでのベクトルVF_tをk-means等によってクラスタリングし、各ベクトルVF_tが属するクラスタを表す情報を推定結果として出力してもよい。

［第２実施形態］
第１実施形態では、予測モデル生成部１１３ａがリアルタイムに係数c₁,…,c_d，φ_1,1 ⁽¹⁾,…,φ_d,d ⁽¹⁾,…,φ_1,1 ^(p),…,φ_d,d ^(p)を更新した。しかしながら、事前に係数c₁,…,c_d，φ_1,1 ⁽¹⁾,…,φ_d,d ⁽¹⁾,…,φ_1,1 ^(p),…,φ_d,d ^(p)を計算しておき、これらの更新しないことにしてもよい。以下ではこれまで説明した事項との相違点を中心に説明し、既に説明した事項については同じ参照番号を引用して説明を簡略化する。

図１に例示するように、本形態のシステムは特徴量抽出装置２１、および、推定装置１２を含む。特徴量抽出装置２１は、眼球情報取得部１１１、特徴量抽出部１１２、および特徴量算出部２１３を含む。特徴量算出部２１３は、予測モデル生成部１１３ａ、予測誤差特徴量計算部１１３ｂ、および記憶部２１３ｃを有する。本形態では、事前処理の段階で、予測モデル生成部１１３ａが過去の各t’（ただし、ｔ＞t’）で得られた(y_t’,1,…,y_t’,d),…,(y_t’-ｐ,1,…,y_t’-ｐ,d)を入力とし、以下のベクトル自己回帰モデルの係数c₁,…,c_d，φ_1,1 ⁽¹⁾,…,φ_d,d ⁽¹⁾,…,φ_1,1 ^(p),…,φ_d,d ^(p)を算出して記憶部２１３ｃに格納しておく。各tでの処理では、ステップＳ１１１，１１２が実行された後、ステップＳ１１３ａの処理が実行されることなく、ステップＳ１１３ｂの処理が実行される。ただし、ステップＳ１１３ｂでは、予測誤差特徴量計算部１１３ｂが、記憶部２１３ｃから抽出した係数c₁,…,c_d，φ_1,1 ⁽¹⁾,…,φ_d,d ⁽¹⁾,…,φ_1,1 ^(p),…,φ_d,d ^(p)、および、特徴量抽出部１１２から送られた特徴量(y_i,1,…,y_i,d)（ただし、i=t,t-1,…,t-p）を入力とし、前述のようにtに対応する特徴量S_t（第３特徴量）を得て出力する。その後、ステップＳ１２１の処理が実行される。これにより、リアルタイムな予測モデル生成処理を省略でき、処理を高速化できる。

［第３実施形態］
本形態は第１または２実施形態の変形例である。本形態では、少なくとも特徴量S_tを事前に学習された予測モデルに適用し、注意度合いおよび／または驚き度合いといった対象者１００の心理状態を推定する。

図１に例示するように、第３実施形態の第１，２実施形態との相違点は、システムが推定装置１２に代えて推定装置３２を有する点である。推定装置３２は、推定部３２１、モデル生成部３２２、および記憶部３２３を有する。本形態では、事前処理の段階で、モデル生成部３２２が、過去の各t”（ただし、ｔ＞t”）で得られた特徴量S_t”を少なくとも含む特徴量（例えば、特徴量S_t”またはベクトルVF_t”）を入力とし、tで得られた特徴量S_tを少なくとも含む特徴量（例えば、特徴量S_tまたはベクトルVF_t）から、注意度合いおよび／または驚き度合いといった対象者１００の心理状態を表す推定結果を出力する心理状態予測モデルを生成し、それを特定する情報（モデルパラメータ等）を記憶部３２３に格納しておく。この学習は特徴量S_t”を少なくとも含む特徴量と心理状態を表す正解ラベルとが関連付けられた学習データを用いた教師あり学習であってもよいし、特徴量S_t”を少なくとも含む特徴量のみを学習データとした教師なし学習であってもよい。ただし、学習データとして用いられる特徴量の種別とtで得られる特徴量の種別とは同一である。心理状態予測モデルとしては、例えば、サポートベクターマシーン、隠れマルコフモデル、ニューラルネットワーク、ディープラーニングなどを用いることができる。各tでの処理では、ステップＳ１１３ｂの処理の後、推定部３２１が記憶部３２３から抽出した情報に基づいて設定される心理状態予測モデルに対し、tで得られた特徴量S_tを少なくとも含む特徴量を適用し、注意度合いおよび／または驚き度合いといった対象者１００の心理状態を表す推定結果を出力する（図２：ステップＳ３２１）。

［実験例］
次に、式（１）を用い、実際の実験で測定されたマイクロサッカードから特徴量S_t（サプライズ値：surprise）を計算し、心理物理実験に基づく評価を行った例を紹介する。実験例においては、特徴量S_tの心理物理評価として、音列消失の検知にかかる反応時間を計測した。

＜心理物理実験：音列消失の検知＞
健常成人６名（平均年齢27.6±1.2歳，女性２名）が実験に参加した。実験では、規則的（図７Ａの上図）あるいは不規則（図７Ａの下図）な間隔で1000Hzの純音（持続時間200ms）がランダムな回数呈示された。被験者には、「音列の呈示が終了した」と感じたタイミングで、なるべく早くボタン押しを行うよう教示した。純音の呈示回数には、8回，10回，12回の３条件を用い、試行毎にランダムに切り替えた。純音同士の呈示時間隔（呈示開始時間の間隔）は、すべて500msの条件（図７Ａの上図：規則呈示条件），500±50ms，500±100ms，500±150ms，500±200msの条件（図７Ａの下図：不規則呈示条件）の計５条件を試行毎にランダムに切り替えた。不規則呈示条件では、呈示時間隔は上記の幅の中で一様分布に従うものとし、一つの試行の中に同じ時間隔は存在しないように設定した。ただし、反応に際する条件の統一のため、各試行の最後の音とその一つ前の音の呈示時間隔はすべて500msとした。呈示時間隔及び呈示回数の条件毎に10回の繰り返しを行い、被験者毎に計150試行を行った。

表２は、各条件において音列消失の検出にかかった平均の反応時間を示したものである。ただし、音列消失の検出にかかった平均の反応時間を「平均±標準偏差」で示し、その単位として「秒」を用いた。

音列消失検知にかかる反応時間は、規則的な音列ほど早かった。規則的な間隔で呈示される音列は、消失のタイミングがはっきりとしており、不規則的な間隔で呈示される音列に比べて消失の検知にかかる反応時間が早くなるものと考えられる。また、音列消失検知にかかる反応時間は、消失までの呈示回数が多いほど早かった。これは試行の繰り返しによる効果を反映しているものと考えられる。すなわち、呈示回数が少ないほど音列が消失する確率は経験的には低くなるため、判断に遅れが生じるものと考えられる。

図７Ｂは、音列消失時刻を０として、その前後で測定されたマイクロサッカードから得られた特徴量S_t（サプライズ値：surprise）を表したものである。図７Ｂの通り、音列の消失直後はいったん減少するものの、1500-2500msにかけて大きなサプライズが検出されることがわかる。このとき、各条件（呈示回数、呈示時間隔の分布幅）において音列消失にかかる平均の反応時間と、式（１）で計算されたマイクロサッカードの特徴量S_t（1500-2500ms）の平均値は弱い負の相関（r=-0.42）を示した。このことから、人間が知覚する「驚き」の度合を、マイクロサッカードから得られた特徴量S_tが一定程度表現しているものと考えられる。

［その他の変形例等］
なお、本発明は上述の実施形態に限定されるものではない。例えば、式（１）に代えて、以下の式によって特徴量S_t（第３特徴量）が得られてもよい。

ただしγは任意の定数である（例えば、０＜γ≦１）。また、前述の式(2)は第１特徴量が多変量正規分布に従っていることを前提としている。しかし、これは本発明を限定するものではない。特徴量S_tの計算にあたっては、第２特徴量の時系列情報に基づいて推定された分布における第１特徴量の確率P_tを計算した上で、一般に

とすることもできる。また、少なくとも特徴量S_tを用い、注意度合いや驚き度合い以外の対象者１００の心理状態を推定してもよい。例えば、少なくとも特徴量S_tを用い、対象者１００のリラックス度合いや緊張度合いなどの心理状態を推定してもよい。

上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。

このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。

上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。

１１，２１ 特徴量抽出装置
１２，３２ 推定装置

Claims (11)

1. 第１時間区間での眼の動的な変化に基づいて得られた第１特徴量と、第２時間区間での眼の動的な変化に基づいて得られた第２特徴量の時系列情報から推定した前記第１時間区間での推定特徴量と、の相違の度合いに応じた第３特徴量を得、
   前記第１特徴量と前記第２特徴量と前記推定特徴量とは同じ種別の特徴量である、特徴量抽出装置。
2. 請求項１の特徴量抽出装置であって、
   前記第１特徴量および前記第２特徴量は、眼球のサッカードに基づく特徴量を含む、特徴量抽出装置。
3. 請求項２の特徴量抽出装置であって、
   前記第１特徴量および前記第２特徴量は、眼球の運動方向および眼球運動の減衰係数の少なくとも一方に基づく特徴量を含む、特徴量抽出装置。
4. 請求項２または３の特徴量抽出装置であって、
   前記第１特徴量および前記第２特徴量は、眼球のサッカードの発生タイミングに基づく特徴量を含む、特徴量抽出装置。
5. 請求項１から４の何れかの特徴量抽出装置であって、
   前記第１特徴量および前記第２特徴量は、一方の眼の動的な変化に由来する値と他方の眼の動的な変化に由来する値との相対量に基づく特徴量を含む、特徴量抽出装置。
6. 請求項１から５の何れかの特徴量抽出装置であって、
   前記第１特徴量および前記第２特徴量は、一方の眼の瞳孔の動きに由来する値と他方の眼の瞳孔の動きに由来する値との相対量に基づく特徴量を含む、特徴量抽出装置。
7. 請求項１から６の何れかの特徴量抽出装置であって、
   前記第３特徴量は、注意度合いおよび驚き度合いの少なくとも一方を表す、特徴量抽出装置。
8. 少なくとも、第１時間区間での眼の動的な変化に基づく第１特徴量と、第２時間区間での眼の動的な変化に基づく第２特徴量の時系列情報から推定した前記第１時間区間での推定特徴量と、の相違の度合いに応じた第３特徴量を用い、注意度合いおよび驚き度合いの少なくとも一方を推定し、
   前記第１特徴量と前記第２特徴量と前記推定特徴量とは同じ種別の特徴量である、推定装置。
9. 第１時間区間での眼の動的な変化に基づいて得られた第１特徴量と、第２時間区間での眼の動的な変化に基づいて得られた第２特徴量の時系列情報から推定した前記第１時間区間での推定特徴量と、の相違の度合いに応じた第３特徴量を得、
   前記第１特徴量と前記第２特徴量と前記推定特徴量とは同じ種別の特徴量である、特徴量抽出方法。
10. 少なくとも、第１時間区間での眼の動的な変化に基づく第１特徴量と、第２時間区間での眼の動的な変化に基づく第２特徴量の時系列情報から推定した前記第１時間区間での推定特徴量と、の相違の度合いに応じた第３特徴量を用い、注意度合いおよび驚き度合いの少なくとも一方を推定し、
    前記第１特徴量と前記第２特徴量と前記推定特徴量とは同じ種別の特徴量である、推定方法。
11. 請求項１から７の何れかの特徴量抽出装置または請求項８の推定装置としてコンピュータを機能させるためのプログラム。

Images