JP6713434B2 - 注目範囲推定装置、学習装置、それらの方法およびプログラム - Google Patents

Description

本発明は、眼の動的な変化から注目範囲を推定する技術に関する。

非特許文献１，２には、ヒトの注意状態とその眼球の動きに表れるマイクロサッカードとの関係性が述べられている。特に、非特許文献２では、注目範囲の大小とマイクロサッカードの発生頻度との関係を定性的に論じている。

J. Laubrock, R. Engbert and R. Kliegl, "Microsaccade dynamics during covert attention," Vision research, vol. 45 (2005), pp. 721-730. 遠藤翔, 小濱剛, 野口大輔, "視覚的注意の集中時に生じるマイクロサッカードの持続的抑制 (視聴覚技術, ヒューマンインタフェースおよび一般)," 映像情報メディア学会技術報告, vol. 37 (2013), pp. 51 - 54.

しかしながら、非特許文献１，２には、注目範囲の大小とマイクロサッカードの発生頻度との関係を統計的にモデル化することは開示されておらず、マイクロサッカードなどの眼の動的な変化から注目範囲を推定することはできなかった。

本発明の課題は、眼の動的な変化から注目範囲を推定することである。

対象者の眼の動的な変化に基づく特徴量を抽出し、眼の動的な変化に基づく特徴量の変数と注目範囲に対応する情報の変数との関係を表す推定モデルと、抽出された特徴量とに基づき、対象者の注目範囲に対応する情報の推定結果を得て出力する。

これにより、眼の動的な変化から注目範囲を推定できる。

図１は実施形態のシステム構成を説明するためのブロック図である。 図２は推定モデル生成部の一例を説明するためのブロック図である。 図３Ａは実施形態の学習処理を説明するためのフロー図である。図３Ｂは実施形態の推定処理を説明するためのフロー図である。 図４は実施形態の学習処理および推定処理を例示するための概念図である。 図５Ａは実施形態の学習処理を説明するための概念図である。図５Ｂおよび図５Ｃは学習処理の根拠となる心理実験を説明するための概念図である。 図６Ａは注視点の移動の様子を説明するための概念図である。図６Ｂは視野角の時系列データをマーク付き点過程に変換する様子を説明するための図である。図６Ｃはマイクロサッカードに基づく特徴量を説明するための図である。 図７は両眼の瞳孔径の変化を例示した図である。 図８はマイクロサッカードと注目範囲の関係性を例示するための概念図である。 図９は注目範囲の半径と特徴量との関係を表すモデルを説明するための概念図である。 図１０Ａおよび図１０Ｂは実験結果を例示した図である。 図１１は３段階の注目範囲と各被験者のマイクロサッカードに基づく特徴量との関係を例示した箱髭図である。 図１２は３段階の注目範囲と各被験者のマイクロサッカードに基づく特徴量との関係を例示した箱髭図である。

以下、本発明の実施形態を説明する。
［概要］
まず本形態の概要を説明する。実施形態では、「対象者」の「眼の動的な変化」に基づく「特徴量」を抽出し、抽出された「特徴量」に基づいて「対象者」の「注目範囲」に対応する情報の「推定結果」を得る。例えば、「対象者」の「眼の動的な変化」に基づく「特徴量」を抽出し、抽出された「特徴量」と「推定モデル」または「分類器（識別器）」とに基づき、当該「対象者」の「注目範囲」に対応する情報の「推定結果」を得て出力する。「対象者」の「眼の動的な変化」とその「対象者」が注目している範囲とには密接な関係がある。本形態ではその関係を「推定モデル」または「分類器」としてモデル化する。これにより、「対象者」の眼の動的な変化から注目範囲を推定できる。なお、本願における「注目範囲」は「注意範囲（注意の範囲）」と同義である。

「対象者」は眼が動的に変化する動物であれば、ヒトであってもよいし、ヒト以外の動物であってもよい。「眼の動的な変化」は、眼球自体の動き（眼球の位置の経時変化）であってもよいし、瞳孔の動き（瞳孔径の経時変化）であってもよい。「特徴量」はどのようなものであってもよく、スカラであってもよいし、複数の要素からなるベクトルであってもよい。「特徴量」は複数の離散時間や時間区間のそれぞれに対応する時系列であってもよいし、時系列でなくてもよい。「特徴量」は、例えば眼球の動きに表れる「サッカード」の特徴を表す情報（「サッカード」の特徴に対応する情報）を含む。「サッカード」はマイクロサッカード（micro saccade）であってもよいし、ラージサッカード（large saccade）であってもよい。眼球の動きに表れる「サッカード」の特徴としては、眼球の運動方向またはその関数値、眼球運動の振幅の絶対値またはその関数値、眼球運動の減衰係数またはその関数値、眼球運動の固有角振動数またはその関数値、眼球のサッカードの発生タイミングまたはその関数値などを例示できる。「特徴量」が、眼球の「縮瞳」または「散瞳」の特徴を表す情報を含んでもよい。眼球の「縮瞳」の特徴としては、縮瞳の振幅、縮瞳の持続時間、平均縮瞳の速度、縮瞳の発生回数などを例示できる。眼球の「散瞳」の特徴としては、散瞳の振幅、散瞳の持続時間、平均散瞳の速度、散瞳の発生回数などを例示できる。ベクトルである「特徴量」が含む複数の要素は、複数種類の特徴を表すものであってもよいし、１種類の特徴を表すものであってもよい。例えば、「特徴量」が「サッカード」の特徴を表す要素と「散瞳」の特徴を表す要素とを含むベクトルであってもよいし、「サッカード」の特徴を表す複数の要素のみを含むベクトルであってもよい。

「特徴量」が、同一の「対象者」の一方の眼（例えば、右眼）の動的な変化に由来する値と他方の眼（例えば、左眼）の動的な変化に由来する値との相対量に基づく特徴を表す情報を含んでもよい。両眼の動的な変化の相対量には対象者の属性や個性が表れ、そのような相対量に基づく特徴を利用することで「注目範囲」の推定精度が向上する。例えば、「特徴量」が、同一の「対象者」の一方の眼のサッカードに由来する値と他方の眼のサッカードに由来する値との相対量に基づく特徴を表す情報を含んでもよい。「αとβとの相対量」は、例えば、αとβとの差分、αからβを減じた値、βからαを減じた値、αをβで除した値、もしくはβをαで除した値、またはそれらの何れかの関数値である。「相対値に基づく特徴を表す情報」は、例えば、「相対値」もしくはその関数値、「相対値」もしくはその関数値を要素としたベクトル、または、それらの何れかの関数値である。

或る主体の「注目範囲」とは、その主体が注目している範囲、すなわち、その主体が視界でとらえようと意識している範囲を意味する。或る主体の「注目範囲」は、その主体が現実に注視している範囲（注視範囲や注視点）よりも広い。或る主体の「注目範囲」は、例えば、その主体の視野範囲よりも狭く、注視範囲や注視点よりも広い範囲である。「注目範囲」に対応する情報は、「注目範囲」に対して定まる情報である。「注目範囲」に対応する情報は、「注目範囲」の形状を特定するための情報（例えば、円の半径や直径、楕円の長軸長や短軸長、三角形や四角形などの多角形の辺の長さ）であってもよいし、「注目範囲」の面積を特定するための情報であってもよい。

例えば、「特徴量」が、「対象者」の「マイクロサッカード」の発生頻度を表す情報と、「マイクロサッカード」の「振動性」を表す情報と、「マイクロサッカード」の「減衰係数」を表す情報と、のうちの少なくとも何れかを含み、「第１特徴量」である「特徴量」に基づいて「第１注目範囲」である「注目範囲」に対応する情報の「推定結果」が得られ、「第２特徴量」である「特徴量」に基づいて「第１注目範囲」よりも狭い「第２注目範囲」である「注目範囲」に対応する情報の「推定結果」が得られるとする。この場合、以下の（１）〜（３）の少なくとも何れかが満たされる。
（１）「第１特徴量」に含まれる情報が表す「マイクロサッカード」の発生頻度が、「第２特徴量」に含まれる情報が表す「マイクロサッカード」の発生頻度よりも高い、または
（２）「第１特徴量」に含まれる情報が表す「マイクロサッカード」の振動性が、「第２特徴量」に含まれる情報が表す「マイクロサッカード」の振動性よりも大きい、または
（３）「第１特徴量」に含まれる情報が表す「マイクロサッカード」の減衰係数が、「第２特徴量」に含まれる情報が表す「マイクロサッカード」の減衰係数よりも小さい。
ただし、「マイクロサッカード」の「振動性」とは、「マイクロサッカード」が生じた際に眼球が基準振幅に対してどの程度オーバーシュートをしたかを表す指標である。オーバーシュートの振幅が大きいほど「マイクロサッカード」の「振動性」が大きい。例えば、「マイクロサッカード」の「振動性」を表す情報の例は、「マイクロサッカード」の減衰率またはその関数値、「マイクロサッカード」の減衰係数またはその関数値である。「マイクロサッカード」の減衰率が大きいほど「マイクロサッカード」の「振動性」は大きい。「マイクロサッカード」の減衰係数が大きいほど「マイクロサッカード」の「振動性」は小さい。

「推定モデル」は、「眼の動的な変化」に基づく「特徴量」の変数と「注目範囲」に対応する情報の変数との関係を表すモデルである。「推定モデル」は、「推定結果」を得る際に逐次的に更新されてもよいし、「推定結果」を得る前に事前に得られていてもよい。「推定モデル」は、例えば統計モデルや確率モデルであり、「特徴量」の変数が与えられた場合における「注目範囲」に対応する情報の変数の条件付き分布を表すモデルであってもよいし、「特徴量」の変数と「注目範囲」に対応する情報との関係を表す状態空間モデルであってもよい。例えば、推定モデルは、「注目範囲」に対応する情報がｒであったときに、眼の動的な変化に基づく特徴を表すκ（例えば、マイクロサッカードの持つ特徴を表すマークκ）をもつ事象が発生する頻度g(r,κ)（例えば、単位時間当たりの発生率である条件付強度関数）に基づいて得られる統計モデル（例えば、g(r,κ)そのもの）である。その他、重回帰分析、k-means、サポートベクターマシーン（SVM）、単純クラスタリング、隠れマルコフモデル、ニューラルネットワーク、ディープラーニングなどを利用した「推定モデル」または「分類器」が用いられてもよい。

何れかの時点の「特徴量」と「推定モデル」または「分類器」とに基づいてその時点の「推定結果」のみを得てもよいし、「特徴量」の時系列と「推定モデル」または「分類器」とに基づいて「推定結果」の時系列を得てもよい。後者の場合、例えば、過去の時点以前の「対象者」の「眼の動的な変化」に基づく「特徴量」の時系列が与えられた場合における、「対象者」が過去の時点に注目していたと推定された各「注目範囲」に応じた「第１事後確率分布」と、「第１事後確率分布」の遷移確率とを用い、過去の時点以前の「対象者」の「眼の動的な変化」に基づく「特徴量」の時系列が与えられた場合における、「対象者」が現時点で注目していると推定される注目範囲の「第２事後確率分布」を得、「第２事後確率分布」と上述の頻度g(r,κ)とを用い、現時点以前の「対象者」の「眼の動的な変化」に基づく「特徴量」の時系列が与えられた場合における、「対象者」が現時点で注目していると推定される「注目範囲」に応じた「第３事後確率分布」を、「推定結果」として得てもよい。なお「過去の時点」は、例えば、「現時点」の一期前（直前）の時点である。

「推定モデル」は学習処理に基づいて得られる。この学習処理では、表示部（例えば、モニタやスクリーンなど）が、複数の「注目範囲」それぞれに応じた位置に「注視対象」を表示する。例えば、表示部は、「注目範囲」の境界線を所定時間表示させた後に当該境界線を非表示とし、その後に当該境界線が表示されていた位置に「注視対象」を表示する。当該「注視対象」が表示されるまでの「対象者」の「眼の動的な変化」に基づく「特徴量」（注視対象が表示されたときの対象者の眼の動的な変化に基づく特徴量）は、当該「注視対象」に対応する「注目範囲」それぞれに対応する「特徴量」として抽出される。このように得られた「注目範囲」のそれぞれに対応する「特徴量」を用い、「眼の動的な変化」に基づく「特徴量」の変数と「注目範囲」に対応する情報の変数との「関係を表す情報」が得られる。「関係を表す情報」は上述の頻度g(r,κ)そのものであってもよいし、頻度g(r,κ)を特定するための情報であってもよい。なお、学習処理は、「注目範囲」の推定の対象となる「対象者」自身の「眼の動的な変化」に基づく「特徴量」を用いて行われることが望ましい。これにより、マイクロサッカード等の「眼の動的な変化」に基づく「特徴量」から「対象者」の「注目範囲」を高い精度で推定できる。ただし、「注目範囲」の推定の対象となる「対象者」以外の「眼の動的な変化」に基づく「特徴量」を用いて学習処理が行われてもよい。

「分類器」は、「眼の動的な変化」に基づく「特徴量」を、「注目範囲」の広さを示す「カテゴリ」の何れか１つに分類する。「分類器」の例は、サポートベクターマシーン、k-means、単純クラスタリングなどである。「分類器」も学習処理によって得られる。「分類器」の学習処理は、複数の大きさの異なる学習用の「注目範囲」である「学習用注目範囲」について、「学習用注目範囲」のそれぞれを見ている学習用の「対象者」である「学習用対象者」から得た「眼の動的な変化」に基づく「特徴量」である「学習用特徴量」を学習用データとして用いる。要するに、学習用データは、「学習用注目範囲」の大きさ（カテゴリ）とそのときの「学習用特徴量」とを一組の学習用データ（学習用データ対）として、カテゴリ毎に複数の学習用対象者から取得した学習用データ対の集合である。
「分類器」の学習処理でも、「推定モデル」の学習処理と同様、表示部が、複数の「注目範囲」それぞれに応じた位置に「注視対象」を表示する。当該「注視対象」が表示されるまでの「対象者」の「眼の動的な変化」に基づく「特徴量」（注視対象が表示されたときの対象者の眼の動的な変化に基づく特徴量）は、当該「注視対象」に対応する「注目範囲」それぞれに対応する「特徴量」として抽出される。抽出された「特徴量」を学習用データとして用い、「眼の動的な変化」に基づく「特徴量」を「注目範囲」の広さを示すカテゴリの何れか１つに分類する「分類器」が得られる。なお、表示部から「注視対象」を表示しつつ「特徴量」を取得し、当該「注視対象」に対応する「特徴量」である学習用データを取得する都度、当該学習用データを用いて「分類器」の学習（更新）をしてもよいが、予め表示部を用いて複数の「学習用対象者」から取得した学習用データ対の集合を学習用データとして、一括して分類器を学習してもよい。「分類器」の学習処理の具体例は、サポートベクターマシーン、k-means、単純クラスタリングなどの学習処理である。要するに、学習用特徴量と当該学習用特徴量に対応するカテゴリ（ラベル）の組からなるラベルあり学習用データの集合を入力として、未知の特徴量をいずれかのカテゴリに分類する（未知の特徴量の属するカテゴリの推定値を出力する）ための識別モデルや識別関数等を学習する識別器の学習処理であれば何でも良い。「注目範囲」の広さを示す「カテゴリ」の種類および／または個数は予め定められていてもよいし、学習処理で定められてもよい。「カテゴリ」の例は、「広(large)」「中(medium)」「狭(small)」や「一番広い」「二番目に広い」・・・「八番目に広い」などのように、「注目範囲」の広さを相対的に表現したものである。「カテゴリ」の他の例は、「半径５ｃｍの円の内側の範囲」「半径１０ｃｍの円の内側の範囲」「半径２０ｃｍの円の内側の範囲」などのように、「注目範囲」の広さを絶対的に表現したものである。なお、この学習処理も、「注目範囲」の推定の対象となる「対象者」自身の「眼の動的な変化」に基づく「特徴量」を用いて行われることが望ましい。これにより、マイクロサッカード等の「眼の動的な変化」に基づく「特徴量」から「対象者」の「注目範囲」を高い精度で推定できる。ただし、「注目範囲」の推定の対象となる「対象者」以外の「眼の動的な変化」に基づく「特徴量」を用いて学習処理が行われてもよい。

［第１実施形態］
次に、図面を用いて第１実施形態を説明する。本形態では「眼の動的な変化」が「マイクロサッカード」である場合を例にとって説明する。ただし、これは本発明を限定するものではなく、その他の「眼の動的な変化」を利用してもよい。
＜構成＞
図１に例示するように、本形態のシステムは、表示装置１０、学習装置１１、および推定装置１２を含む。学習装置１１は、例えば、表示制御部１１１、眼球情報取得部１１２、特徴量抽出部１１３、および学習部１１４を有する。推定装置１２は、例えば、記憶部１２１，１２２、および推定部１２３を有する。推定部１２３は、例えば、予測分布計算部１２３ａ、事後分布計算部１２３ｂ、および記憶部１２３ｃを有する。学習装置１１および推定装置１２のそれぞれは、例えば、ＣＰＵ（central processing unit）等のプロセッサ（ハードウェア・プロセッサ）およびＲＡＭ（random-access memory）・ＲＯＭ（read-only memory）等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。このコンピュータは１個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めＲＯＭ等に記録されていてもよい。また、ＣＰＵのようにプログラムが読み込まれることで機能構成を実現する電子回路（circuitry）ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、１個の装置を構成する電子回路が複数のＣＰＵを含んでいてもよい。

＜処理＞
次に本形態の処理を説明する。マイクロサッカードに基づく特徴量は、そのヒトの注意状態と関係していると考えられている。本形態では、マイクロサッカードに基づく特徴量と注意状態の関係性に着目し、ヒトの眼の動的な変化の測定によって得られたマイクロサッカードに基づく特徴量から、当該ヒトが注目している範囲を推定する手法を提案する。図４に例示するように、本形態では、まず初めに、心理実験によって、各離散時間tでの対象者１００（被験者）の「注目範囲」とマイクロサッカード（ＭＳ_１〜ＭＳ_３）に基づく特徴量κ(t)との関係性を学習する。すなわち、対象者１００が注目する範囲の大きさを共変量とするマーク付き点過程によって、マイクロサッカードに基づく特徴量を表現する。その統計モデルを用い、隠れマルコフモデルの枠組みで逆にマイクロサッカードの対象者１００のマイクロサッカードに基づく特徴量κ(t)から、対象者１００が注目している範囲の時間変化を推定する。この手法により、対象者１００が注目している範囲（注目範囲）の大きさの時間的な変化を推定できる。また、注視点の軌跡のトラッキングと注目範囲の大きさの時間的な変化の推定とを組み合わせることで、対象者１００の視線移動によって移動する注目範囲をトラッキングできる。つまり、本形態では新規な以下の３過程を提案する。
・対象者１００が注目している範囲の時間変化の推定
・特徴量κ(t)の点過程による統計的モデリング
・注視点の軌跡だけでなく、注目範囲を推定できる視線トラッキング

＜学習処理＞
図３Ａを用い、表示装置１０および学習装置１１（図１）によって行われる学習処理を説明する。対象者１００のマイクロサッカードに基づく特徴量と注目範囲の関係性を学習するためには、注目範囲が既知のもとで対象者１００に生じたマイクロサッカードに関する時系列情報が必要である。そこで、対象者１００の注目範囲を操作する実験を実施し、その間の対象者１００のマイクロサッカードに関する時系列情報を取得する。そのために、学習装置１１の表示制御部１１１が表示装置１０に制御信号を送り、各離散時間tで半径r(t)の円形の注目範囲１０１それぞれに応じた位置にターゲット１０３（注視対象）を表示させる。眼球情報取得部１１２は、対象者１００の各離散時間tでの「眼の動的な変化」に関する時系列情報を取得する。以下に具体的に説明する。

モニタ等の表示装置１０は対象者１００の前に設置される。表示制御部１１１は以下のように表示内容を制御する。
まず表示制御部１１１は、表示装置１０の画面中央に十字マーク１０４を表示させる。試行中は対象者１００にこの十字マーク１０４を注視させる（ステップＳ１１１ａ）。次に、表示制御部１１１は、十字マーク１０４に中心が一致する半径r(t)の円であるキュー１０１を短時間だけ表示させる。このキュー１０１が半径r(t)の注目範囲に相当する（ステップＳ１１１ｂ）。その後、表示制御部１１１は、キュー１０１（注目範囲）の境界線を非表示とする。図５Ａでは、キュー１０１の境界線が表示されていた位置１０２を点線で示しているが、実際にはこの点線は表示されない（ステップＳ１１１ｃ）。次に表示制御部１１１は、境界線が表示されていた位置１０２上の上下左右どこかに、黒点のターゲット１０３を表示させる。対象者１００は、ターゲット１０３の表示方向をできるだけ早く入力部（図示せず）に入力する（ステップＳ１１１ｄ）。眼球情報取得部１１２は、各離散時間tでの対象者１００の「眼の動的な変化」に関する時系列情報を取得し、取得した「目の動的な変化」に関する時系列情報を特徴量抽出部１１３へ出力する。この処理の具体例は後述する。表示制御部１１１は各離散時刻tでの半径r(t)を学習部１１４に送る（ステップＳ１１２）。ステップＳ１１１ａ〜Ｓ１１１ｄ，Ｓ１１２の処理は、半径r(t)の大きさを変えながら複数回繰り返される。

なおステップＳ１１１ｄにおいて、境界線が表示されていた位置１０２上にターゲット１０３を表示させることを「Valid」（図５Ｂ）と呼ぶ。一方、ステップＳ１１１ｄにおいて境界線が表示されていた位置１０２上にターゲット１０３を表示させることに代えて、当該位置１０２以外（境界線の外側や内側）にターゲット１０３を表示させることを「Invalid」（図５Ｃ）と呼ぶ。「Valid」の場合に比べ「Invalid」の場合には、ターゲット１０３が表示されてから入力部（図示せず）にその表示方向が入力されるまでの反応時間が長くなる（片側対立仮説のウィルコクソンの順位和検定で有意水準5%で有意）。これにより、ステップＳ１１１ａ〜Ｓ１１１ｄ，Ｓ１１２の過程では、対象者１００の注目範囲がキュー１０１の範囲に制限されていると期待できる。

特徴量抽出部１１３は、送られた「眼の動的な変化」に関する時系列情報を入力とし、各離散時間tでのマイクロサッカードに基づく特徴量κ(t)を得て出力する。すなわち、特徴量抽出部１１３は、前述のキュー１０１が表示された後、ターゲット１０３（注視対象）が表示されるまでの対象者１００のマイクロサッカードに基づく特徴量κ(t)を、キュー１０１（注目範囲）のそれぞれに対応する（キュー１０１の半径r(t)に対応する）特徴量として抽出して出力する。この処理の具体例は後述する。各離散時間tでの特徴量κ(t)は学習部１１４に送られる（ステップＳ１１３）。

学習部１１４は、各離散時間tでのキュー１０１（注目範囲）の半径r(t)および特徴量κ(t)を入力とし、キュー１０１の半径r(t)と特徴量κ(t)との関係性を学習する。すなわち、学習部１１４は、キュー１０１の半径r(t)それぞれに対応する特徴量κ(t)を用い、マイクロサッカードに基づく特徴量と注目範囲に対応する情報の変数rとの関係を表す情報を得る。本形態では、学習部１１４は、キュー１０１の半径（注目範囲に対応する情報）がrであったときに、マークκを持つマイクロサッカードが単位時間あたりに発生する確率（条件付き強度関数）、すなわち頻度g(r,κ)を推定して出力する。ただし、マークκはひとつのマイクロサッカードに着目したときのそのマイクロサッカードのもつ特徴を表す。この処理の詳細は後述する。頻度g(r,κ)は推定装置１２に送られ、その記憶部１２２に格納される（ステップＳ１１４）。

《ステップＳ１１２の詳細》
ステップＳ１１２の詳細を説明する。眼球情報取得部１１２は、対象者１００の各離散時間tの「眼の動的な変化」に関する時系列情報を取得し、取得した眼の動的な変化に関する時系列情報を特徴量抽出部１１３へ出力する。本形態では、「眼の動的な変化」として対象者１００の眼球自体の動きを取得する。眼球情報取得部１１２は、両眼の動的な変化に関する時系列情報を取得してもよいし、何れか一方の眼の動的な変化に関する時系列情報を取得してもよい。

対象者１００の「眼球自体の動き」に関する時系列情報は、撮像装置（例えば赤外線カメラ）で対象者１００の眼を撮影して得られた映像に基づいて得られる。眼球情報取得部１１２は、例えば、撮影された映像を画像処理することで、所定の時間区間であるフレーム毎（例えば、1000Hzのサンプリング間隔）の眼球の位置の時系列を眼球の動きに関する時系列情報として取得する。眼球情報取得部１１２は、撮像装置と画像処理アルゴリズムを実行するコンピュータなどによって実現されてもよいし、撮像装置を外部装置として、撮像装置から入力された画像を画像処理するアルゴリズムを実行するコンピュータなどによって実現されてもよい。あるいは、眼球情報取得部１１２は、電極を用いた電位計測法を用いて眼球の動きを測定し、その測定結果に基づいて「眼球自体の動き」に関する時系列情報を取得してもよい。この場合、眼球情報取得部１１２は、測定装置（電極を含む）と測定装置が測定した電位に基づいて眼球の位置を計算するアルゴリズムを実行するコンピュータなどによって実現されてもよいし、測定装置を外部装置として、測定装置から入力された電位に基づいて眼球の位置を計算するアルゴリズムを実行するコンピュータなどによって実現されてもよい。前述の図４の最上段には一方の眼球の動きを例示した。この眼球の動きを例示した図の横軸は時間［秒］を表し、縦軸は視野角［度］を表す。

《ステップＳ１１３の詳細》
特徴量抽出部１１３は、取得された「眼の動的な変化」に関する時系列情報から、各離散時間tに対応する時間区間F_ｔでのマイクロサッカードに基づく特徴量κ(t)を抽出する。例えば、特徴量抽出部１１３は、各時間区間F_ｔにおいて、対象者１００のマイクロサッカードに基づく特徴を表すマークκ_t,1,…,κ_t,dを要素としたスカラまたはベクトルを特徴量κ(t)=(κ_t,1,…,κ_t,d)として抽出する（図６Ａおよび図６Ｂ）。ただし、ｄは１以上の整数であり、特徴量κ(t)がスカラである場合にはd=1であり、特徴量κ(t)がベクトルである場合にはd≧2である。時間区間F_ｔの例は離散時間tを基準とした固定長の時間区間である。例えば、離散時間tから開始する固定長の時間区間が時間区間F_ｔであってもよいし、離散時間tを中心とした固定長の時間区間が時間区間F_ｔであってもよいし、離散時間tで終了する固定長の時間区間が時間区間F_ｔであってもよい。その他、離散時間tを基準とした可変長の時間区間が時間区間F_ｔであてもよい。マイクロサッカードをマーク付き点過程で表現する場合、特徴量κ(t)は必ずしも同じ長さ（同じd）となるとは限らない。マーク付き点過程で表現する場合、特徴量κ(t)は時間区間F_ｔ内で発生したマイクロサッカードのマークの集合を表すため、すべての離散時間tでdが同一となることは通常ない。時間区間F_ｔ内でマイクロサッカードが発生しなければd=0となり、この場合には特徴量κ(t)は空集合となる。すなわち、空集合の特徴量κ(t)は、時間区間F_ｔ内でマイクロサッカードが発生しなかったことを表す。あるいは、時間区間F_ｔ内でマイクロサッカードが発生しなかった場合に、特徴量κ(t)を特殊な定数に設定してもよい。

マイクロサッカードに基づく特徴量：
本形態では、「眼球自体の動き」に基づく特徴量として「マイクロサッカード」に基づく特徴量を用いる。「マイクロサッカード」とは、眼球の動きに表れる微細な跳躍性眼球運動をいう。人間がある一点を注視しているとき、眼球は完全に動きを止めているわけではなく、固視微動と呼ばれる三種類の眼球運動であるドリフト(drift、trendといってもよい)、トレマ、マイクロサッカード（フリックといってもよい）を行っている。ドリフトは小さな滑らかな動き、トレマは非常に小さな高周波の振動、マイクロサッカードは小さな跳ぶような動きである。図４を用いてマイクロサッカードを例示する。図４の最上段の図および図６ＡではマイクロサッカードＭＳ_１〜ＭＳ_３を太線で強調して示す。マイクロサッカードはある一点を注視している状態において、１〜２秒の間に１回程度、個人の意思とは関係なく（不随意に）表れる眼球の動きであって、小さな跳ぶような動きのことである。マイクロサッカードは、動きの水平方向の成分、垂直方向の成分のどちらからでも取得することができる。本実施形態では、マイクロサッカードが水平方向に偏向する性質に基づき、簡単のため水平方向の成分のみを用いる。しかし、本発明で用いることができるマイクロサッカードの方向成分は水平方向に限定されない。なお、「水平方向」とは、地面と平行な方向に限定する意味ではなく、対象者１００の顔に対しての水平方向（眼球の配列方向であり、横方向、幅方向といってもよい）や眼球情報取得部１１２において水平方向と定義された方向を含む概念である。

特徴量抽出部１１３は、例えば眼球の位置の時系列について１次階差系列を計算し、１次階差系列の絶対値が所定の第１閾値を上回った時刻を、マイクロサッカードの開始時刻（発生時刻）として検出すればよい。ただし１次階差系列の絶対値が所定の閾値を上回る時間の長さが所定の値（通常3ms程度）以上持続しない場合は、検出から除外する。また、後述の基準振幅Aが所定の閾値（通常視野角2°程度）以上の場合はラージサッカードとして、検出から除外する。特徴量抽出部１１３は、取得された眼球の位置情報にノイズが多く含まれると判定した場合などには、１次階差系列の計算にあたって適当な範囲での移動平均値を用いても良い。検出に用いる閾値には、階差系列の標準偏差の6倍程度の値を用いることが好ましい。

マイクロサッカードの特徴としては、マイクロサッカードの発生タイミングに基づく値Z、運動方向に応じた値D、基準振幅Aの絶対値｜A｜、最大速度V_max、持続時間D_m、オーバーシュートの振幅A_oの絶対値｜A_o｜、オーバーシュートの速度V_o、立ち上がり時間K、減衰率λ、減衰係数ζ、固有角振動数ω_ｎ、マイクロサッカードの単位時間（例えば１秒）あたりの発生回数R_mなどを例示でき、これらの少なくとも何れかをマイクロサッカードに基づく特徴量の要素（マーク）とできる。

時間区間F_tで発生したマイクロサッカードの発生タイミングに基づく値Zは、例えば、時間区間F_tの開始時刻M_iであってもよいし、基準となる時間区間RF_tに対応するマイクロサッカードの発生時刻RM_ｔと開始時刻M_ｉとの時間差｜RM_ｔ−M_ｉ｜であってもよいし、開始時刻M_ｉまたは時間差｜RM_ｔ−M_ｉ｜の関数値g(M_ｉ)またはg(｜RM_ｔ−M_ｉ｜)であってもよい。基準となる時間区間RF_tは時間区間F_tに対応し、例えばRF_t=F_t-1である。関数値g(M_ｉ)またはg(｜RM_ｔ−M_ｉ｜)に限定はないが、例えば、代表値M_ｉまたは時間差｜RM_ｔ−M_ｉ｜が大きくなるほど小さくなり、負とならず、特異点を持たない関数の関数値を用いることができる。関数値g(M_ｉ)の例は1/M_ｉやexp(-M_ｉ)などである。「exp」はネイピア数を底とする指数関数を表す。g(｜RM_ｔ−M_ｉ｜)の例は1/｜RM_ｔ−M_ｉ｜やexp(-｜RM_ｔ−M_ｉ｜)などである。ただし、M_ｉや｜RM_ｔ−M_ｉ｜が0の場合には1/M_ｉや1/｜RM_ｔ−M_ｉ｜は∞となる。そのため、M_ｉや｜RM_ｔ−M_ｉ｜が0となるときにg(M_ｉ)やg(｜RM_ｔ−M_ｉ｜)を0としてもよい。このような時間区間F_tで発生したマイクロサッカードの発生タイミングに基づく値Zを特徴量κ(t)の何れかの要素としてもよい。

時間区間F_tで発生したマイクロサッカードの運動方向に応じた値Dは、当該運動方向ごとに定まる値である。例えば、運動方向に応じた値Dが、左右の運動方向に対応する２値の何れかをとってもよいし、左右上下の運動方向に対応する４値の何れかをとってもよいし、その他ｎ方向の運動方向に対応するｎ値の何れかをとってもよい。一例としては、右方向（左眼から右眼に向かう方向）の運動方向に応じた値Dを第１値（例えば−１）とし、左方向（左眼から右眼に向かう方向）の運動方向に応じた値Dを第２値（例えば１）とする。このような時間区間F_tで発生したマイクロサッカードの運動方向に応じた値Dを特徴量κ(t)の何れかの要素としてもよい。

次に図６Ｃを参照して、マイクロサッカードの基準振幅A、最大速度V_max、持続時間D_m、オーバーシュートの振幅A_o、オーバーシュートの速度V_o、立ち上がり時間K、減衰率λについて説明する。
（１）基準振幅A：マイクロサッカードによる眼球の動きが収束したときの移動量である。
（２）最大速度V_max：基準振幅A＋オーバーシュートの振幅A_oに達するまでの最大の速度である。
（３）持続時間D_m：マイクロサッカードが起きている時間区間の長さである。マイクロサッカードの開始時刻は１次階差系列の絶対値が所定の閾値を上回る時刻で、マイクロサッカードの終了時刻は、オーバーシュートの振幅に達したあとに初めて基準振幅Aに戻る時刻である。
（４）オーバーシュート(overshoot)の振幅A_o：マイクロサッカードによって基準振幅Aを超過した（行き過ぎた）部分の量である。オーバーシュートとは、波形の立ち上がり部分で、波形が基準振幅Aを超えて突出する現象、または、その突出した波形である。言い換えると、オーバーシュートの振幅とは、突出した部分の量である。
（５）オーバーシュートの速度V_o：基準振幅A＋オーバーシュートの振幅A_oから基準振幅Aに収束しようとする際の最大の速度である。
（６）立ち上がり時間K：基準振幅A＋オーバーシュートの振幅A_oに達する（立ち上がる）までにかかる時間である。なお、基準振幅A＋オーバーシュートの振幅A_oに達するまでにかかる時間は、最大速度V_maxからオーバーシュートの速度V_oに達するまでにかかる時間と同じ値となる。
（７）減衰率λ：基準振幅Aに対するオーバーシュートの振幅A_oの比である。最大速度V_maxに対するオーバーシュートの速度V_oの比としてもよく、

と表される。

マイクロサッカードの減衰係数ζ、固有角振動数ω_ｎは、

と表される。固有角振動数ω_ｎはマイクロサッカードの応答の速さを表す指標に相当し、減衰係数ζはマイクロサッカードの応答の収束性を表す指標に相当する。

特徴量抽出部１１３は、マイクロサッカードの減衰係数ζ、固有角振動数ω_ｎ、基準振幅Aを、マイクロサッカードが起きている間の眼球の位置をフィッティングし、最小二乗法などによって最適化することで計算してもよい。

マイクロサッカードの減衰係数ζは、運動が左右方向に依存して値が変化する傾向があるため、特徴量抽出部１１３は、左方向のマイクロサッカードの減衰係数の代表値、右方向のマイクロサッカードの減衰係数の代表値を分けて計算しても良い。

時間区間F_tで発生した上述のようなマイクロサッカードの基準振幅Aの絶対値｜A｜、最大速度V_max、持続時間D_m、オーバーシュートの振幅A_oの絶対値｜A_o｜、オーバーシュートの速度V_o、立ち上がり時間K、減衰率λ、減衰係数ζ、固有角振動数ω_ｎの少なくとも何れかを特徴量κ(t)の何れかの要素としてもよい。

《ステップＳ１１４の詳細》
対象者１００の「眼の動的な変化」（例えばマイクロサッカード）がキュー１０１の半径r(t)を引数にとるような条件付強度関数をもつマークつき点過程から生成されていると考える。そのもとで、計測された対象者１００のマイクロサッカードに基づく特徴量κ(t)を用いて条件付強度関数である頻度g(r,κ)の推定を行う。ここでは簡単のため、r(t)が有限個の値しかとらないと仮定する。つまり、∀tに対してr(t)∈｛ξ_１，…，ξ_ｍ｝であるとする。mは１以上の整数である。マークκの例は、マイクロサッカードの基準振幅Aの絶対値｜A｜、最大速度V_max、持続時間D_m、減衰係数ζ、固有角振動数ω_ｎなどを含むベクトルである。

観測区間を(0,T]（左開右閉区間）とし、n個の離散時間t₁，…，t_nで対象者１００のマイクロサッカードが観測され、それぞれのマイクロサッカードに基づく特徴を表すマークκ₁，…，κ_nが得られたとする。ただし、nは正整数であり、離散時間t_i（ただし、i=1，…，n）で得られたマークをκ_iと表記する。また、r_i=r(t_i)と表記する。ここでマイクロサッカードがr(t)を通してのみ時刻に依存するような非定常ポアソン過程から生成されているとする（F. Kloosterman, S. P. Layton, Z. Chen and M. A. Wilson, “Bayesian decoding using unsorted spikes in the rat hippocampus,” Journal of Neurophysiology, vol. 111 (2014), pp. 217 - 227.）。すなわち、マイクロサッカードが次のような条件付強度関数をもつマークつき点過程から生成されていると仮定する。
λ(t,κ|r(t))=g(r(t)，κ)， g: unknown
ただし、λ(t，κ|r(t))は、「時間区間F_ｔにおいてr(t)が与えられたもとでマークがκである事象が単位時間あたりに発生する確率」を表す。

ここで(r_i，κ_i)（ただし、i=1,...,n）が独立同一にある分布にしたがっているとみなし、その(r，κ)=(r_i，κ_i)の分布の確率密度関数をp(r,κ)で表記する。ここでは「眼の動的な変化」としてマイクロサッカードを利用するため、g(r，κ)は「r(t)=rであったときにマークκを持つマイクロサッカードが単位時間当たりに発生する確率」を表す。この場合、g(r，κ)とp(r,κ)の間には次のような関係が成り立つ。

ただし、MSはマイクロサッカードを表し、T_jはr(t)=ξ_jであった時間を表し、n_jはr(t)=ξ_jのときに発生したマイクロサッカードの総数である。上の関係式から、g(r，κ)を推定するためにはp(r,κ)を推定すれば十分であることがわかる。この例ではp(r,κ)を次のようにカーネル密度推定によって推定する。

ただし、K_Hはバンド幅行列がＨのカーネル関数であり、例えばガウシアンカーネルなどを用いることができる。バンド幅行列Ｈは、例えば「Scottのルール」によって定められる。結局、この例では学習部１１４は、入力された(r_i，κ_i)に対して式(2)を計算してp(r,κ)を得、それを用いて式(1)を計算してg(r，κ)を出力する。

＜推定処理＞
次に図３Ｂを用い、推定装置１２（図１）によって行われる推定処理を説明する。推定処理では、新たに眼球情報取得部１１２が各離散時間tでの対象者１００の「眼の動的な変化」に関する時系列情報を取得し、取得した「目の動的な変化」に関する時系列情報を特徴量抽出部１１３へ出力する。この処理の具体例は前述のステップＳ１１２のものと同じである。ただし、表示装置１０での表示は行われない。特徴量抽出部１１３は、送られた「眼の動的な変化」に関する時系列情報を入力とし、各離散時間tでのマイクロサッカードに基づく特徴量κ(t)を得て出力する。特徴量κ(t)は前述のステップＳ１１３と同じ方法で抽出される。ただし、表示装置１０での表示は行われない。推定処理で抽出された特徴量κ(t)は記憶部１２１に格納される。

推定部１２３は、学習処理において記憶部１２２に格納された頻度g(r,κ)（眼の動的な変化に基づく特徴量の変数と注目範囲に対応する情報の変数との関係を表す推定モデル）と、推定処理で上述のように記憶部１２１に逐次格納される特徴量κ(t)（特徴量抽出部１１３で抽出された特徴量κ(t)）とに基づき、対象者１００の注目範囲に対応する情報の推定結果を得て出力する。本形態では、推定部１２３は、頻度g(r,κ)と、特徴量抽出部１１３で抽出された特徴量κ(t)の時系列とに基づき、推定結果の時系列を得て出力する（ステップＳ１２３）。

具体例を示す。この例では、マイクロサッカードを観測変数、注目範囲（キュー）の半径を状態変数とした隠れマルコフモデルを仮定する。この隠れマルコフモデルの仮定のもと、前述の学習処理によって得られた頻度g(r,κ)が与えられている状況で、新たに観測されたマイクロサッカードから、注目範囲の半径の確率分布の系列を推定する（図８）。すなわち、頻度g(r,κ)に基づいて、各時間区間で得られた特徴量の大きさに対する半径の確率分布を推定する。この推定手法には、例えば、フィルタリング、スムージング、ビタビアルゴリズム、バウムウェルチアルゴリズムなどを利用できる。これらの手法は周知であり、例えば（C. M. Bishop, “Pattern Recognition and Machine Learning,” Springer, 2006.）などに開示されている。以下ではフィルタリングを用いる例を詳細に説明する。

フィルタリングを用いる場合、特徴量抽出部１１３は、現時点以前の対象者１００のマイクロサッカードに基づく特徴量の時系列を抽出して、記憶部１２１に格納する。推定部１２３は、（１）過去の時点以前の対象者１００のマイクロサッカードに基づく特徴量の時系列が与えられた場合における、対象者１００が過去の時点に注目していたと推定された各注目範囲に応じた第１事後確率分布と、第１事後確率分布の遷移確率とを用い、過去の時点以前の対象者１００のマイクロサッカードに基づく特徴量の時系列が与えられた場合における、対象者１００が現時点で注目していると推定される注目範囲に応じた第２事後確率分布を得る、予測分布計算処理と、（２）第２事後確率分布と頻度g(r,κ)とを用い、現時点以前の対象者のマイクロサッカードに基づく特徴量の時系列が与えられた場合における、対象者が現時点で注目していると推定される注目範囲に応じた第３事後確率分布を、推定結果として得る、事後分布計算処理と、を繰り返す。以下、詳細に説明する。

推定装置１２は、離散時間tまでのマイクロサッカードの観測に基づく特徴量が与えられたもとでのr(t)の事後確率分布を逐次的に計算する。事後確率分布を逐次的に更新するために、観測区間(0,T]を区間幅Δtごとに{0=t₀<t₁<…<t_Q=T}と分割し、記号を次のように定める。ただし、Qは正整数であり、q=1,...,Qとする。

ここでr_qが時間について不変な確率推移行列Pを持つマルコフ連鎖に従うと仮定する。すなわち、半径r_q（隠れ状態）がマルコフ的に推移し、特徴量κ(t_q)（観測）は半径r_qが与えられたもとで分布が定まるが各時間では独立であると仮定する（図９）。つまり、或るm×mの確率推移行列P=(P_uj)を用いて以下のように表すことができるとする。
(Pr(r_q=ξ₁),…，Pr(r_q=ξ_m))=(Pr(r_q-1=ξ₁),…，Pr(r_q-1=ξ_m))・P
ただし、Pr(β)は事象βが生じる確率であり、mは正整数であり、注目範囲の半径は集合{ξ₁,…，ξ_m}の何れかの要素となると仮定する。(P_uj)はｕ行ｊ列の要素をP_ujとする行列を意味し、u=1,...,mであり、ｊ=1,...,mである。

以上の過程の下、以下の一期先予測分布計算処理（ステップＳ１２３ａ）と事後分布計算処理（ステップＳ１２３ｂ）とが繰り返し実行される。

≪一期先予測分布計算処理（ステップＳ１２３ａ）≫
ステップＳ１２３ａでは、予測分布計算部１２３ａが、記憶部１２３ｃからPr(r_q-1=ξ_u|ν(q-1))（第１事後確率分布）を抽出し、確率推移行列Pを用いて以下のPr(r_q=ξ_u|ν(q-1))（第２事後確率分布）を計算して出力する。

ただし、「ν(q-1)」は「t_q-1までに観測されたマイクロサッカードに基づく特徴量の集合」を表す。また、任意に定められた初期分布Pr(r₀=ξ_u)=Pr(r₀=ξ_u|ν(0))（ただし、u=1,...,m）が記憶部１２３ｃに格納されているものとする。得られたPr(r_q=ξ_u|ν(q))は事後分布計算部１２３ｂに送られる。

≪事後分布計算処理（ステップＳ１２３ｂ）≫
ステップＳ１２３ｂでは、事後分布計算部１２３ｂが、ステップＳ１２３ｂで得られたPr(r_q=ξ_u|ν(q-1))、記憶部１２２から読み込んだg(r,κ)、記憶部１２３ｃから読み込んだsκ_qを入力とし、以下のPr(r_q=ξ_j|ν(q))（第３事後確率分布）を計算して出力する。

ただし、

であり、「ν(q)」は「t_qまでに観測されたマイクロサッカードに基づく特徴量の集合」を表す。事後分布計算部１２３ｂは、このように得たPr(r_q=ξ_j|ν(q))（ただし、ｊ=1,...,m）を記憶部１２３ｃに格納するとともに、離散時間t_qでの注目範囲に応じた推定結果として出力する。これらのステップＳ１２３ａ，Ｓ１２３ｂの処理は、現時点の離散時間tまでに観測されたマイクロサッカードの情報のみを用いて行っている。従って、オンラインで推定結果を逐次的に得ることが可能である。

＜実験結果＞
上述した手法による実験結果を示す。この実験では、眼球情報取得部１１２で取得された２４０秒間のデータに基づいて得られたマイクロサッカードに基づく特徴量を用いてg(r,κ)を学習し、別の２４０秒間のデータに基づいて得られたマイクロサッカードに基づく特徴量を用いてキュー（注目範囲）の半径を推定した。比較のため、この実験ではキューの半径の推定時にも被験者にキューを呈示した（図５Ａ）。図１０Ａおよび図１０Ｂにこの推定結果を示す。なお、これらの図の横軸は離散時間を表し、縦軸はキューの半径を示す。破線は、上述のように推定された各離散時間でのキューの半径についての事後確率分布のうち、離散時間tごとに最も確率の高いものをr(t)とした推定値（Predict）を表す。実線は、この推定処理の際に被験者に呈示したキューの半径（True）を表す。被験者１ではMSE(Means Square Error)の平方根が√MES=47.819となり、そのチャンスレベル√MES=89.256を下回っている。同様に被験者2では√MES=70.569となり、そのチャンスレベル√MES=92.304を下回っている。いずれも、チャンスレベルを下回る推定ができており、注目範囲を有効に推定できていることが分かる。

＜実施形態の特徴＞
以上のように、マイクロサッカードから注目範囲を推定できる。従来の視線トラッキング技術によって得られるのは注視点の軌跡のみであった。そのため、トラッキングの結果からその人が実際に何を見ていたかがわかるわけではない。ある時間窓における注視点の分布によって何に着目していたかを推定するということも考えられるが、このアプローチでは注目している対象がどう移り変わったかなどの時間方向の変化を捉えることができない。一方、本形態の手法によって注目範囲を推定した場合、その推定された注目範囲と注視点のトラッキング結果とを組み合わせることで注目対象の時間変化を詳細に追跡することもできる。特にマイクロサッカードは一点を注視している状態でも発生するため、注視点が動かない状況での注目対象の変化をも捉えることができる。さらにマイクロサッカードは無意識下で発生する現象であるため、各ヒトの意思が推定結果に影響を与えないという点でロバストである。

また、マイクロサッカードと注意状態の関係性についての先行研究は、その関係性が万人について共通であるという仮定のもとで行われてきた。したがって、この関係性については定性的な議論しかされておらず、推定技術に応用するということは考えられていなかった。本形態の手法は、マイクロサッカードと注意状態の関係性が各個人で特有のものであるという仮定をおき、その関係性を心理実験によって学習するというアプローチをとった。このアプローチによって、マイクロサッカードの実データと注意状態の関係性について定量的な議論ができ、推定技術に応用できる。

従来、マイクロサッカードについて統計的な分析を行う際は、その発生頻度に着目するか、もしくは各眼のマイクロサッカードに基づく特徴量の平均的なふるまいに着目するかのどちらかのアプローチがとられていた。前者のアプローチでは頻度という１次元の情報しか利用できないために推定精度をあげることが難しい。その点、後者のアプローチでは使用する特徴量を工夫することで情報の次元を増やすことができるが、推定対象の時間的な変化を推定することができない。さらに、これらの２つのアプローチでは頻度と特徴の間の相関構造についての情報が無視されてしまうという問題がある。例えば「振幅の小さいマイクロサッカードが高頻度で発生する」ことに意味があったとしても、これら２つのアプローチではそれを捉えることができない。本形態では、マーク付き点過程を用いることで、マイクロサッカードの発生頻度と特徴を同時に考慮したモデリングをすることができる。さらに推定対象の時間変化を推定することもできる。

［第２実施形態］
次に、図面を用いて第２実施形態を説明する。第１実施形態では、注目範囲の半径と眼の動的な変化を表す特徴量との関係を学習した推定モデルを用いて、対象者から取得した眼の動的な変化を表す特徴量から注目範囲の大きさ（半径）を推定した。第２実施形態では、注目範囲の大きさ（半径）の代わりに、注目範囲の広さの程度（広いか狭いか等）を推定する。なお、本形態でも「眼の動的な変化」が「マイクロサッカード」である場合を例にとって説明する。ただし、これは本発明を限定するものではなく、その他の「眼の動的な変化」を利用してもよい。

＜構成＞
図１に例示するように、本形態のシステムは、表示装置１０、学習装置２１、および推定装置２２を含む。学習装置２１は、例えば、表示制御部１１１、眼球情報取得部１１２、特徴量抽出部２１３、および学習部２１４を有する。推定装置２２は、例えば、記憶部２２１，２２２、および推定部２２３を有する。学習装置２１および推定装置２２のそれぞれは、例えば、前述の汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。

＜学習処理＞
図３Ａを用い、表示装置１０および学習装置２１（図１）によって行われる学習処理を説明する。本形態でも、対象者１００の注目範囲を操作する実験を実施し、その間の対象者１００のマイクロサッカードに関する時系列情報を取得する。そのために、学習装置２１の表示制御部２１１が表示装置１０に制御信号を送り、各離散時間tで広さＬ（ｔ）の注目範囲それぞれに応じた位置にターゲット１０３（注視対象）を表示させる。眼球情報取得部１１２は、対象者１００の各離散時間tでの「眼の動的な変化」に関する時系列情報を取得する。広さＬ（ｔ）の注目範囲は、予め定められた複数個の注目範囲の候補の何れかである。注目範囲の候補の例は、広い注目範囲Ｌ_Ｌ、中ほどの注目範囲Ｌ_Ｍ、および狭い注目範囲Ｌ_Ｓの３段階の候補である。ただし、注目範囲Ｌ_Ｌは注目範囲Ｌ_Ｍよりも広く、注目範囲Ｌ_Ｍは注目範囲Ｌ_Ｓよりも広い。その他、広い注目範囲Ｌ_Ｌおよび狭い注目範囲Ｌ_Ｓのみからなる２段階の注目範囲の候補としてもよいし、４段階以上の注目範囲の候補としてもよい。広さＬ（ｔ）の注目範囲の形状は円形や多角形等などどのような形状でもよい。広さＬ（ｔ）の注目範囲の一例は、第１実施形態で説明した半径r(t)の円形の内側の範囲である。本形態の場合、注目範囲の候補は注目範囲の広さを示すカテゴリに対応する。例えば、注目範囲の候補が、広い注目範囲Ｌ_Ｌ、中ほどの注目範囲Ｌ_Ｍ、および狭い注目範囲Ｌ_Ｓの３種類である場合、注目範囲Ｌ_Ｌ，Ｌ_Ｍ，Ｌ_Ｓには、「広」，「中」，「狭」のカテゴリがそれぞれ対応する。例えば、注目範囲の候補が、広い注目範囲Ｌ_Ｌ、および狭い注目範囲Ｌ_Ｓの２種類である場合、注目範囲Ｌ_Ｌ，Ｌ_Ｓには、「広」，「狭」のカテゴリがそれぞれ対応する。眼球情報取得部１１２は、対象者１００の各離散時間tでの「眼の動的な変化」に関する時系列情報を取得して出力する。この処理の具体例は、第１実施形態のステップＳ１１１ａ〜Ｓ１１１ｄ，Ｓ１１２の処理である。この例のステップＳ１１１ａ〜Ｓ１１１ｄ，Ｓ１１２の処理も、半径r(t)の大きさを変えながら複数回繰り返される。

特徴量抽出部２１３は、送られた「眼の動的な変化」に関する時系列情報を入力とし、各離散時間tでのマイクロサッカードに基づく特徴量κ(t)を得て出力する。特徴量κ(t)の例は第１実施形態と同じである。また、特徴量κ(t)がマイクロサッカードの発生頻度を表す情報を要素として含んでもよい。例えば、各離散時間tに対応する時間区間F_ｔでのマイクロサッカードの発生回数TPF_ｔ（ただし、TPF_ｔ≧0）についてのF_ｔ/TPF_ｔまたはその関数値（例えば、TPF_ｔ/F_ｔ）を特徴量κ(t)の要素としてもよい。特徴量κ(t)がマイクロサッカードの振動性を表す情報を含んでもよい。マイクロサッカードの振動性を表す情報の例は、減衰率λもしくはその関数値等の減衰率λを表す情報、および／または、減衰係数ζもしくはその関数値等の減衰係数ζを表す情報などである。その他、時間区間F_ｔで発生したi番目のマイクロサッカードからその直前（i-1番目）に発生したマイクロサッカードまでの間の時間もしくはその関数値、および／または、時間区間F_ｔで発生したi番目のマイクロサッカードからその直後（i+1番目）に発生したマイクロサッカードまでの間の時間もしくはその関数値を特徴量κ(t)の要素としてもよい。なお、この例では時間区間F_ｔで発生したマイクロサッカードのうち、時刻の古いものから順番に、１番目のマイクロサッカード、２番目のマイクロサッカード、３番目のマイクロサッカード・・・と呼んでいる。各離散時間tでの特徴量κ(t)は学習部２１４に送られる（ステップＳ２１３）。

学習部２１４は、各離散時間tでの広さＬ（ｔ）の注目範囲および特徴量κ(t)を入力とし、これらの組を学習データとして用いた機械学習法により、「眼の動的な変化に基づく特徴量」を注目範囲の広さを示すカテゴリ（例えば、「広」「中」「狭」の３段階のカテゴリ、「広」「狭」の２段階のカテゴリなど）の何れか１つに分類する分類器を得て、当該分類器を表す情報（パラメータ等）を出力する。言い換えると、学習部２１４は「眼の動的な変化に基づく特徴量」に対応する「注目範囲の広さを示すカテゴリ」を得る分類器を得て出力する。ただし、「眼の動的な変化に基づく特徴量」の種別は、学習処理に用いられた特徴量κ(t)の種別と同一である。例えば、分類器がサポートベクターマシーンであり、注目範囲の広さを示すカテゴリが「広」「狭」の２段階のものである場合、学習部２１４は、この学習用データに含まれる注目範囲が広い場合に対応する特徴量と、注目範囲が狭い場合に対応する特徴量とを精度よく分離する超平面を学習する。これにより、未知の特徴量が与えられたときに、超平面と当該特徴量との位置関係から、当該未知の特徴量が広い注目範囲と狭い注目範囲のどちらに属するかを推定できる。

図１１および図１２は、「広(large)」，「中(medium)」，「狭(small)」の３段階のカテゴリを採用し、複数の被験者が「広」に対応する広い注目範囲Ｌ_Ｌ、「中」に対応する中ほどの注目範囲Ｌ_Ｍ、および「狭」に対応する狭い注目範囲Ｌ_Ｓのそれぞれを見ていたときのマイクロサッカードの特徴量の平均値（被験者ごとの平均値）を示す箱髭図である。ただし、図１１および図１２の横軸は３段階のカテゴリ（「広」「中」「狭」）に対応する注目範囲を表す。図１１の縦軸はマイクロサッカードの発生頻度（Microsaccade Rate）の被験者ごとの平均値を表し、図１２の縦軸はマイクロサッカードの振動性（Microsaccade Damping Rate）の被験者ごとの平均値を表す。

図１１および図１２に例示した結果から、注目範囲が広いほど、マイクロサッカードの発生頻度が高くなり、また、マイクロサッカードの振動性が強くなる傾向が見られる。したがって、マイクロサッカードの発生頻度や振動性が大きいときは注目範囲が広いと推定されやすく、マイクロサッカードの発生頻度や振動性が小さいときは注目範囲が狭いと推定されやすい分類器が学習される。また、振動性が大きいほど減衰係数が小さく、振動性が小さいほど減衰係数が大きい。そのため、特徴量が、対象者のマイクロサッカードの発生頻度を表す情報と、マイクロサッカードの振動性を表す情報と、マイクロサッカードの減衰係数を表す情報と、のうちの少なくとも何れかを含み、分類器が第１特徴量である特徴量に基づいて第１注目範囲である注目範囲に対応する情報の推定結果を得、第２特徴量である特徴量に基づいて第１注目範囲よりも狭い第２注目範囲である注目範囲に対応する情報の推定結果を得るとすると、以下の（１）〜（３）の少なくとも何れかが満たされる。
（１）第１特徴量に含まれる情報が表すマイクロサッカードの発生頻度が、第２特徴量に含まれる情報が表すマイクロサッカードの発生頻度よりも高い。
（２）第１特徴量に含まれる情報が表すマイクロサッカードの振動性が、第２特徴量に含まれる情報が表すマイクロサッカードの振動性よりも大きい。
（３）第１特徴量に含まれる情報が表すマイクロサッカードの減衰係数が、第２特徴量に含まれる情報が表すマイクロサッカードの減衰係数よりも小さい。

学習部２１４から出力された分類器を表す情報は、推定装置２２に送られ、その記憶部２２２に格納される（ステップＳ２１４）。

＜推定処理＞
次に推定装置２２によって行われる推定処理を説明する。本形態の推定処理では、新たに眼球情報取得部１１２が各離散時間tでの対象者１００の「眼の動的な変化」に関する時系列情報を取得し、取得した「目の動的な変化」に関する時系列情報を特徴量抽出部２１３へ出力する。この処理の具体例は前述のステップＳ１１２のものと同じである。ただし、表示装置１０での表示は行われない。特徴量抽出部２１３は、送られた「眼の動的な変化」に関する時系列情報を入力とし、各離散時間tでのマイクロサッカードに基づく特徴量κ(t)を得て出力する。特徴量κ(t)は前述のステップＳ２１３と同じ方法で抽出される。ただし、表示装置１０での表示は行われない。推定処理で抽出された特徴量κ(t)は記憶部２２１に格納される。

推定部２２３には、記憶部２２２から読み出された前述の分類器を表す情報、および記憶部２２１から読み出された上述の特徴量κ(t)が入力される。推定部２２３は、入力された特徴量κ(t)に基づいて対象者１００の注目範囲に対応する情報の推定結果を得て出力する。本形態の推定部２２３は、入力された特徴量κ(t)を注目範囲の広さを示すカテゴリの何れか１つに分類し、分類したカテゴリを表す情報（例えば、注目範囲が広いか狭いかを表す情報）を出力する。分類器が前述のサポートベクターマシーンであり、注目範囲の広さを示すカテゴリが「広」「狭」の２段階のものである場合、推定部２２３は、入力された特徴量κ(t)が学習された超平面に対してどちら側に属するかによって、注目範囲が広いことに対応するカテゴリ「広」と、注目範囲が狭いことに対応するカテゴリのどちらのカテゴリ「狭」に属するかを識別し、その識別結果を推定結果として出力する。上述の実験結果に示されるように、マイクロサッカードの発生頻度や振動性が大きいほうが、マイクロサッカードの発生頻度や振動性が小さいときよりも「注目範囲が広いことに対応するカテゴリ」に属すると推定される可能性が高くなる。すなわち、特徴量が、対象者のマイクロサッカードの発生頻度を表す情報と、マイクロサッカードの振動性を表す情報と、マイクロサッカードの減衰係数を表す情報と、のうちの少なくとも何れかを含み、分類器が第１特徴量である特徴量に基づいて第１注目範囲である注目範囲に対応する情報の推定結果を得、第２特徴量である特徴量に基づいて第１注目範囲よりも狭い第２注目範囲である注目範囲に対応する情報の推定結果を得るとすると、以下の（１）〜（３）の少なくとも何れかが満たされる。
（１）第１特徴量に含まれる情報が表すマイクロサッカードの発生頻度が、第２特徴量に含まれる情報が表すマイクロサッカードの発生頻度よりも高い。
（２）第１特徴量に含まれる情報が表すマイクロサッカードの振動性が、第２特徴量に含まれる情報が表すマイクロサッカードの振動性よりも大きい。
（３）第１特徴量に含まれる情報が表すマイクロサッカードの減衰係数が、第２特徴量に含まれる情報が表すマイクロサッカードの減衰係数よりも小さい。

＜実施形態の特徴＞
本形態では、マイクロサッカード（眼の動的な変化）に基づく特徴量を注目範囲の広さを示すカテゴリの何れか１つに分類することで、マイクロサッカードから注目範囲を推定できる。また、本形態の手法によって注目範囲を推定した場合、その推定された注目範囲と注視点のトラッキング結果とを組み合わせることで注目対象の時間変化を詳細に追跡することもできる。特にマイクロサッカードは一点を注視している状態でも発生するため、注視点が動かない状況での注目対象の変化をも捉えることができる。さらにマイクロサッカードは無意識下で発生する現象であるため、各ヒトの意思が推定結果に影響を与えないという点でロバストである。

［変形例等］
なお、本発明は上述の実施形態に限定されるものではない。例えば、本形態では、推定装置１２１，２２１は学習装置１１，２１に備えられた眼球情報取得部１１２および特徴量抽出部１１３，２１３によって得られた特徴量を用いて注目範囲を推定した。しかし、推定装置１２１，２２１がその他の眼球情報取得部および特徴量抽出部によって得られた特徴量を用い、注目範囲を推定してもよい。例えば、推定装置１２１，２２１が眼球情報取得部および特徴量抽出部を備え、自ら備えた眼球情報取得部および特徴量抽出部によって得られた特徴量を用い、注目範囲を推定してもよい。

また第１実施形態では、離散時間t_qでの注目範囲に応じた推定結果としてPr(r_q=ξ_j|ν(q))（ただし、ｊ=1,...,m）が出力された。しかし、区間(t_q-1,t_q]（ただし、q=1,...,Q）での推定結果として、Pr(r_q=ξ₁|ν(q)),...,Pr(r_q=ξ_m|ν(q))のうち最大の値に対応するξ_j（ただし、ｊ=1,...,m）が出力されてもよい。あるいは、Pr(r_q=ξ₁|ν(q)),...,Pr(r_q=ξ_m|ν(q))のうち、大きいものから所定番目までのものに対応するξ_jが推定結果として出力されてもよい。その他、Pr(r_q=ξ₁|ν(q)),...,Pr(r_q=ξ_m|ν(q))のうち、閾値を越えるものに対応するξ_jが推定結果として出力されてもよい。

また、前述のようにスムージング、ビタビアルゴリズム、バウムウェルチアルゴリズムなどの手法によって推定処理が実行されてもよい。

スムージング：
スムージングを用いた推定処理では、観測区間上で観測されたすべての眼の動的な変化が与えられたもとでのr(t)の事後分布を計算する。オンラインでの推定はできないが、観測されたすべての情報を使うことで推定の精度を上げることができる。

ビタビアルゴリズム：
ある一つの系列を推定値として計算したいとする。このとき、フィルタリングおよびスムージングを用いて計算した半径の事後分布から各離散時間でのMAPを計算し、それを並べた系列を推定値とするという方法が考えられる。しかしながら，このようにして作成した系列は必ずしも最も尤からしい系列にはならない。一方、ビタビアルゴリズムでは状態変数の最尤系列を動的計画法によって計算する。これにより、最も尤からしい半径の系列を得ることができる。

バウムウェルチアルゴリズム：
上述のフィルタリングを用いた例では、任意な確率推移行列Pおよび初期分布Pr(r₀=ξ_u)を用いた。バウムウェルチアルゴリズムを用いることで、特徴量のデータからこれらの確率推移行列Pおよび初期分布Pr(r₀=ξ_u)（ただし、u=1,...,m）を推定できる。確率推移行列Pおよび初期分布Pr(r₀=ξ_u)を適当に与えるのが難しい場合はこのアルゴリズムを用いてデータからそれらの値を推定すればよい。バウムウェルチアルゴリズムの初期値を0とした確率推移行列Pの成分は推定値も0になる。隣の状態にしか遷移しないようなモデルを考えたい場合は、適当な三重対角行列をバウムウェルチアルゴリズムの初期値として与えればよい。

眼球情報取得部１１２は「眼の動的な変化」として対象者１００の眼球自体の動きを取得した。しかしながら、取得される「眼の動的な変化」は、対象者１００の眼球自体の動きであってもよいし、瞳孔の動きであってもよいし、それら両方であってもよい。眼球情報取得部１１２は、両眼の動的な変化に関する時系列情報を取得してもよいし、何れか一方の眼の動的な変化に関する時系列情報を取得してもよい。

対象者１００の「瞳孔の動き」に関する時系列情報は、撮像装置（例えば赤外線カメラ）で対象者１００の眼を撮影して得られた映像に基づいて得られる。この場合、眼球情報取得部１１２は、撮影された映像を画像処理することで、フレーム毎（例えば、1000Hzのサンプリング間隔）の瞳孔の大きさの時系列を取得する。眼球情報取得部１１２は、例えば瞳孔を撮影した画像に対して、瞳孔に円をフィッティングし、当該フィッティングした円の半径を瞳孔径として用いることができる。瞳孔径は微細に変動するため、眼球情報取得部１１２は、所定の時間区間ごとにスムージング(平滑化)した瞳孔径の値を用いれば好適である。図７に右眼と左目の瞳孔の動き（瞳孔径の変化）を例示する。図７の横軸は時間［秒］を表し、縦軸は瞳孔径を表す。この瞳孔径は各時刻で取得した瞳孔径の全データの平均を０、標準偏差を１としたときのz-scoreで表現されている。ただし、眼球情報取得部１１２が取得する「瞳孔の動きに関する時系列情報」は、z-scoreで表現された瞳孔径の時系列でなくてもよく、瞳孔径の値そのものの時系列であってもよいし、瞳孔の面積や直径の時系列であってもよく、瞳孔の大きさに対応する値の時系列であればどのようなものであってもよい。

「眼の動的な変化」に基づく特徴量として、「眼球自体の動き」に基づく特徴量が用いられてもよいし、「瞳孔の動き」に基づく特徴量が用いられてもよい。例えば、マイクロサッカードに基づく特徴量の他、ラージサッカードに基づく特徴量、瞳孔の動きに基づく特徴量、縮瞳に基づく特徴量、散瞳に基づく特徴量などが用いられてもよい。以下に具体例を示す。

ラージサッカードに基づく特徴量：
「眼球自体の動き」に基づく特徴量として、ラージサッカードに基づく特徴量が用いられてもよい。「ラージサッカード」とは、マイクロサッカードよりも振幅の大きな跳躍性眼球運動をいい、一般に振幅が視野角２度以上の場合をラージサッカード、２度未満のものをマイクロサッカードとする。特徴量抽出部１１３は、前述の基準振幅Aが所定の閾値以上となった時刻を、ラージサッカードの起きた開始時刻として検出すればよい。ラージサッカードの特徴の例は、ラージサッカードの発生タイミングに基づく値Z、運動方向に応じた値D、基準振幅A、最大速度V_max、持続時間D_m、オーバーシュートの振幅A_o、オーバーシュートの速度V_o、立ち上がり時間K、減衰率λ、減衰係数ζ、固有角振動数ω_ｎ、単位時間あたりの発生回数R_m、発生回数などであり、これらの少なくとも一部をラージサッカードに基づく特徴量の要素とできる。これらのラージサッカードの特徴は、前述したマイクロサッカードの特徴の「マイクロサッカード」を「ラージサッカード」に置換したものである。時間区間F_tで発生したラージサッカードの特徴量の少なくとも何れかを特徴量κ(t)の何れかの要素としてもよい。前述した理由より、特にラージサッカードの発生タイミングに基づく値Z、運動方向に応じた値D、基準振幅Aの絶対値｜A｜、減衰係数ζを用いることが望ましい。

「瞳孔の動き」に基づく特徴量：
図７に例示したように、瞳孔の大きさは一定ではなく、変化している。瞳孔の大きさは交感神経系の支配を受けた瞳孔散大筋によって拡大（散瞳）し、副交感神経系の支配を受けた瞳孔括約筋によって収縮（縮瞳）する。瞳孔の大きさの変化は主に対光反射、輻輳反射、感情による変化の３つに区別される。対光反射は、網膜に入射する光量を制御するために瞳孔の大きさが変化する反応のことで、強い光に対しては縮瞳、暗所では散瞳が生じる。輻輳反射は、焦点を合わせる際に両眼が内転あるいは外転する運動（輻輳運動）に伴って瞳孔径が変化する反応のことで、近くを見るときには縮瞳、遠くを見るときには散瞳が生じる。感情による変化は、上記のいずれにもよらず外界のストレスに対して生じる反応のことで、怒りや驚き、活発な活動に伴って交感神経が優位となる際には散瞳が生じ、リラックスして副交感神経が優位となる際には縮瞳が生じる。「瞳孔の動き」に基づく特徴量としては、縮瞳に基づく特徴量や散瞳に基づく特徴量を用いることができる。

縮瞳に基づく特徴量：
縮瞳の開始する時刻（以下、縮瞳開始点）は、瞳孔の大きさの時系列から極大点を抽出することによって検出する。縮瞳の終了する時刻（以下、縮瞳終了点）は、縮瞳開始以降初めて散瞳が開始した点、または縮瞳開始以降初めて瞬目が開始した点のうち、時間が早い方とする。縮瞳の振幅A_cは、縮瞳開始点から縮瞳終了点までの瞳孔径の差である。縮瞳の持続時間D_cは、縮瞳開始点から縮瞳終了点までの時間差である。平均縮瞳の速度V_cは、（振幅A_c）/(持続時間D_c)である。時間区間F_tで発生した縮瞳の振幅A_c、縮瞳の持続時間D_c、平均縮瞳の速度V_c、縮瞳の発生回数などを縮瞳の特徴とでき、それらの少なくとも一部を時間区間F_tでの「瞳孔の動き」に基づく特徴量の要素とできる。すなわち、特徴量抽出部１１３は、時間区間F_tで発生した縮瞳の振幅A_c、縮瞳の持続時間D_c、平均縮瞳の速度V_c、縮瞳の発生回数の少なくとも何れかを特徴量κ(t)の何れかの要素としてもよい。時間区間F_tにおいて縮瞳が複数検出された場合、一つ一つの縮瞳について求めた縮瞳の振幅A_c、縮瞳の持続時間D_c、平均縮瞳の速度V_cのそれぞれの代表値の何れかを特徴量κ(t)の何れかの要素としてもよい。なお、ノイズによる誤検出を防ぐために、縮瞳の持続時間が所定の閾値（例えば、10ms）以下の場合、あるいは縮瞳の振幅が所定の閾値以下の場合は、その縮瞳を検出から除外してもよい。

散瞳に基づく特徴量：
散瞳の開始する時刻（以下、散瞳開始点）は、瞳孔径の時系列から極小点を抽出することによって検出する。散瞳の終了する時刻（以下、散瞳終了点）は、散瞳開始以降初めて縮瞳が開始した点、または散瞳開始以降初めて瞬目が開始した点のうち、時間が早い方とする。散瞳の振幅A_dは、散瞳開始点から散瞳終了点までの瞳孔径の差である。散瞳の持続時間D_dは、散瞳開始点から散瞳終了点までの時間差である。散瞳の平均速度V_dは、（振幅A_d）/(持続時間D_d)である。時間区間F_tで発生した散瞳の振幅A_d、散瞳の持続時間D_d、平均散瞳の速度V_d、散瞳の発生回数などを散瞳の特徴とでき、それらの少なくとも一部を時間区間F_tでの「瞳孔の動き」に基づく特徴量の要素とできる。すなわち、特徴量抽出部１１３は、時間区間F_tで発生した散瞳の振幅A_d、散瞳の持続時間D_d、平均散瞳の速度V_d、散瞳の発生回数の少なくとも何れかを特徴量κ(t)の何れかの要素としてもよい。時間区間F_tにおいて散瞳が複数検出された場合、一つ一つの散瞳について求めた散瞳の振幅A_d、散瞳の持続時間D_d、平均散瞳の速度V_dのそれぞれの代表値の何れかを特徴量κ(t)の何れかの要素としてもよい。なお、ノイズによる誤検出を防ぐために、散瞳の持続時間が所定の閾値（例えば、10ms）以下の場合、あるいは散瞳の振幅が所定の閾値以下の場合は、その散瞳を検出から除外してもよい。

前述のように、対象者１００の一方の眼（例えば、右眼）の動的な変化に由来する値と他方の眼（例えば、左眼）の動的な変化に由来する値との相対量を特徴量κ(t)の何れかの要素としてもよい。眼の動的な変化に由来する値としては、前述したマイクロサッカードの特徴、ラージサッカードの特徴、縮瞳の特徴、散瞳の特徴などを用いることができる。ただし、一方の眼の動的な変化に由来する値と、他方の動的な変化に由来する値とは、同種の特徴である。「相対量」の具体例は前述の通りである。

「特徴量」が複数の要素を含み、当該複数の要素が眼の動的な変化に基づく複数種類の特徴をそれぞれ表していてもよい。例えば、「特徴量」が、マイクロサッカードの特徴、ラージサッカードの特徴、縮瞳の特徴、および散瞳の特徴のうち、互いに異なる複数の特徴を表す複数の要素を含んでもよい。すなわち、「特徴量」の要素αがマイクロサッカードの特徴、ラージサッカードの特徴、縮瞳の特徴、および散瞳の特徴の何れかを表し、「特徴量」の要素β（βは要素α以外の要素）がマイクロサッカードの特徴、ラージサッカードの特徴、縮瞳の特徴、および散瞳の特徴のうち、要素αと異なる特徴を表してもよい。

複数の対象者１００から得られた特徴量を用いて学習処理が行われてもよいし、単一の対象者１００から得られた特徴量を用いて学習処理が行われてもよい。また、学習処理の対象となった対象者１００と推定処理の対象となった対象者１００とは同一であってもよいし、同一でなくてもよい。

また、第２実施形態の学習処理では、予め定められた複数個の注目範囲の候補の何れかを広さＬ（ｔ）の注目範囲とし、学習用データには予め正解のラベル（注目範囲の候補）が付与されている前提で識別器を学習する処理として説明した。しかしながら、注目範囲の広さに対応したカテゴリ（正解ラベル）が予め付与されていない学習量特徴量の集合を学習用データとして、識別器を学習するラベルなし学習法を用いて識別器の学習処理を行う構成としてもよい。この場合、「注目範囲の広さを示すカテゴリ」の種別および個数は予め設定されておらず学習処理によって決定される構成とすることも可能である。

上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。

上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な（non-transitory）記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。

このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。

上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。

本発明は、例えば、自動車の運転者の注目範囲を推定し、それに応じて運転者に注意喚起を行うシステムに利用できる。また、スポーツ選手の注目範囲の解析に利用されてもよく、映像や絵画のどこが見られているかの解析に利用されてもよい。その他、注目範囲を推定する様々な産業分野に利用できる。

１１ 学習装置
１２ 推定装置

Claims (15)

1. 対象者の眼の動的な変化に基づく特徴量を抽出する特徴量抽出部と、
   前記特徴量抽出部で抽出された前記特徴量に基づいて前記対象者の注目範囲に対応する情報の推定結果を得る推定部とを有し、
   前記特徴量は、前記対象者のマイクロサッカードの発生頻度を表す情報と、マイクロサッカードの減衰係数を表す情報と、のうちの少なくとも何れかを含み、
   前記推定部が、第１特徴量である前記特徴量に基づいて第１注目範囲である前記注目範囲に対応する情報の前記推定結果を得、第２特徴量である前記特徴量に基づいて前記第１注目範囲よりも狭い第２注目範囲である前記注目範囲に対応する情報の前記推定結果を得、
   （１）前記第１特徴量に含まれる情報が表す前記マイクロサッカードの発生頻度が、前記第２特徴量に含まれる情報が表す前記マイクロサッカードの発生頻度よりも高い、または
   （２）前記第１特徴量に含まれる情報が表すマイクロサッカードの減衰係数が、前記第２特徴量に含まれる情報が表すマイクロサッカードの減衰係数よりも小さい、
   の少なくとも何れかが満たされる、注目範囲推定装置。
2. 請求項１の注目範囲推定装置であって、
   前記推定部は、複数の大きさの異なる学習用注目範囲について、前記学習用注目範囲のそれぞれを見ている学習用対象者から得た眼の動的な変化に基づく学習用特徴量を学習用データとして、眼の動的な変化に基づく特徴量を前記注目範囲の広さを示すカテゴリの何れか１つに分類するよう学習された分類器を用いて、前記特徴量抽出部で抽出した前記特徴量が分類される前記カテゴリを表す情報を前記推定結果として得る、注目範囲推定装置。
3. 対象者の眼の動的な変化に基づく特徴量を抽出する特徴量抽出部と、
   眼の動的な変化に基づく特徴量の変数と注目範囲に対応する情報の変数との関係を表す推定モデルと、前記特徴量抽出部で抽出された前記特徴量とに基づき、前記対象者の注目範囲に対応する情報の推定結果を得て出力する推定部と、を有し、
   前記推定モデルは、前記注目範囲に対応する情報がｒであったときに、前記眼の動的な変化に基づく特徴を表すκを持つ事象が発生する頻度ｇ（ｒ，κ）に基づいて得られるモデルである、注目範囲推定装置。
4. 請求項３の注目範囲推定装置であって、
   前記特徴量抽出部は、前記特徴量の時系列を抽出し、
   前記推定部は、前記推定モデルと、前記特徴量抽出部で抽出された前記特徴量の時系列とに基づき、前記推定結果の時系列を得て出力する、注目範囲推定装置。
5. 請求項３または４の注目範囲推定装置であって、
   前記特徴量抽出部は、前記現時点以前の前記対象者の眼の動的な変化に基づく特徴量の時系列を抽出し、
   前記推定部は、
   過去の時点以前の前記対象者の眼の動的な変化に基づく特徴量の時系列が与えられた場合における、前記対象者が前記過去の時点に注目していたと推定された各注目範囲に応じた第１事後確率分布と、前記第１事後確率分布の遷移確率とを用い、前記過去の時点以前の前記対象者の眼の動的な変化に基づく特徴量の時系列が与えられた場合における、前記対象者が現時点で注目していると推定される注目範囲に応じた第２事後確率分布を得る、予測分布計算部と、
   前記第２事後確率分布と前記頻度ｇ（ｒ，κ）とを用い、前記現時点以前の前記対象者の眼の動的な変化に基づく特徴量の時系列が与えられた場合における、前記対象者が現時点で注目していると推定される注目範囲に応じた第３事後確率分布を、前記推定結果として得る、事後分布計算部と、を含む、注目範囲推定装置。
6. 請求項１から５の何れかの注目範囲推定装置であって、
   前記特徴量は、眼球の動きに表れるサッカードに基づく情報を含む、注目範囲推定装置。
7. 注目範囲のそれぞれに応じた位置に注視対象を表示させる表示制御部と、
   前記注視対象が表示されたときの対象者の眼の動的な変化に基づく特徴量を、前記注目範囲のそれぞれに対応する特徴量として抽出する特徴量抽出部と、
   前記特徴量抽出部で抽出された前記特徴量を学習用データとして用い、眼の動的な変化に基づく特徴量を前記注目範囲の広さを示すカテゴリの何れか１つに分類する分類器を得る学習部と、
   を有する学習装置。
8. 注目範囲のそれぞれに応じた位置に注視対象を表示させる表示制御部と、
   前記注視対象が表示されたときの対象者の眼の動的な変化に基づく特徴量を、前記注目範囲のそれぞれに対応する特徴量として抽出する特徴量抽出部と、
   前記特徴量抽出部で抽出された前記特徴量を用い、眼の動的な変化に基づく特徴量の変数と注目範囲に対応する情報の変数との関係を表す情報を得る学習部と、
   を有する学習装置。
9. 請求項８の学習装置であって、
   前記表示制御部は、前記注目範囲の境界線を表示させた後に前記境界線を非表示とし、前記境界線が表示されていた位置に前記注視対象を表示させる、学習装置。
10. 請求項８または９の学習装置であって、
    前記関係を表す情報は、前記注目範囲に対応する情報がｒであったときに、前記眼の動的な変化に基づく特徴を表すκをもつ事象が発生する頻度ｇ（ｒ，κ）である、学習装置。
11. 対象者の眼の動的な変化に基づく特徴量を抽出する特徴量抽出ステップと、
    前記特徴量抽出ステップで抽出された前記特徴量に基づいて前記対象者の注目範囲に対応する情報の推定結果を得る推定ステップと、を有し、
    前記特徴量は、前記対象者のマイクロサッカードの発生頻度を表す情報と、マイクロサッカードの減衰係数を表す情報と、のうちの少なくとも何れかを含み、
    前記推定ステップが、第１特徴量である前記特徴量に基づいて第１注目範囲である前記注目範囲に対応する情報の前記推定結果を得、第２特徴量である前記特徴量に基づいて前記第１注目範囲よりも狭い第２注目範囲である前記注目範囲に対応する情報の前記推定結果を得、
    （１）前記第１特徴量に含まれる情報が表す前記マイクロサッカードの発生頻度が、前記第２特徴量に含まれる情報が表す前記マイクロサッカードの発生頻度よりも高い、または
    （２）前記第１特徴量に含まれる情報が表すマイクロサッカードの減衰係数が、前記第２特徴量に含まれる情報が表すマイクロサッカードの減衰係数よりも小さい、
    の少なくとも何れかが満たされる、注目範囲推定方法。
12. 対象者の眼の動的な変化に基づく特徴量を抽出する特徴量抽出ステップと、
    眼の動的な変化に基づく特徴量の変数と注目範囲に対応する情報の変数との関係を表す推定モデルと、前記特徴量抽出ステップで抽出された前記特徴量とに基づき、前記対象者の注目範囲に対応する情報の推定結果を得て出力する推定ステップと、を有し、
    前記推定モデルは、前記注目範囲に対応する情報がｒであったときに、前記眼の動的な変化に基づく特徴を表すκを持つ事象が発生する頻度ｇ（ｒ，κ）に基づいて得られるモデルである、注目範囲推定方法。
13. 注目範囲のそれぞれに応じた位置に注視対象を表示させる表示制御ステップと、
    前記注視対象が表示されたときの対象者の眼の動的な変化に基づく特徴量を、前記注目範囲のそれぞれに対応する特徴量として抽出する特徴量抽出ステップと、
    前記注目範囲のそれぞれに対応する特徴量を学習用データとして用い、眼の動的な変化に基づく特徴量を前記注目範囲の広さを示すカテゴリの何れか１つに分類する分類器を得る学習ステップと、
    を有する学習方法。
14. 注目範囲のそれぞれに応じた位置に注視対象を表示させる表示制御ステップと、
    前記注視対象が表示されたときの対象者の眼の動的な変化に基づく特徴に対応する情報を含む特徴量を、前記注目範囲のそれぞれに対応する特徴量として抽出する特徴量抽出ステップと、
    前記注目範囲のそれぞれに対応する特徴量を用い、眼の動的な変化に基づく特徴量の変数と注目範囲に対応する情報の変数との関係を表す情報を得る学習ステップと、
    を有する学習方法。
15. 請求項１から６のいずれかの注目範囲推定装置、または、請求項７から１０のいずれかの学習装置としてコンピュータを機能させるためのプログラム。

Images