JP7070605B2 - 注目範囲推定装置、その方法およびプログラム - Google Patents

注目範囲推定装置、その方法およびプログラム Download PDF

Info

Publication number
JP7070605B2
JP7070605B2 JP2020082652A JP2020082652A JP7070605B2 JP 7070605 B2 JP7070605 B2 JP 7070605B2 JP 2020082652 A JP2020082652 A JP 2020082652A JP 2020082652 A JP2020082652 A JP 2020082652A JP 7070605 B2 JP7070605 B2 JP 7070605B2
Authority
JP
Japan
Prior art keywords
feature amount
range
microsaccade
attention
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020082652A
Other languages
English (en)
Other versions
JP2020124590A (ja
Inventor
惇 米家
茂人 古川
牧夫 柏野
遼平 渋江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JP2020124590A publication Critical patent/JP2020124590A/ja
Application granted granted Critical
Publication of JP7070605B2 publication Critical patent/JP7070605B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Eye Examination Apparatus (AREA)
  • Position Input By Displaying (AREA)

Description

特許法第30条第2項適用 (1)公開日(掲載日) 2017年5月9日 掲載アドレス http://www.kecl.ntt.co.jp/openhouse/2017/exhibition/24/index.html 公開者 日本電信電話株式会社
本発明は、眼の動的な変化から注目範囲を推定する技術に関する。
非特許文献1,2には、ヒトの注意状態とその眼球の動きに表れるマイクロサッカードとの関係性が述べられている。特に、非特許文献2では、注目範囲の大小とマイクロサッカードの発生頻度との関係を定性的に論じている。
J. Laubrock, R. Engbert and R. Kliegl, "Microsaccade dynamics during covert attention," Vision research, vol. 45 (2005), pp. 721-730. 遠藤翔, 小濱剛, 野口大輔, "視覚的注意の集中時に生じるマイクロサッカードの持続的抑制 (視聴覚技術, ヒューマンインタフェースおよび一般)," 映像情報メディア学会技術報告, vol. 37 (2013), pp. 51 - 54.
しかしながら、非特許文献1,2には、注目範囲の大小と無意識下で発生するマイクロサッカードの発生頻度との関係を統計的にモデル化することは開示されておらず、無意識下で発生するマイクロサッカードなどの眼の動的な変化から注目範囲を推定することはできなかった。
以下、無意識下で発生するマイクロサッカードをマイクロサッカードと記載する。
本発明の課題は、眼の動的な変化から注目範囲を推定することである。
対象生物の眼の動的な変化に基づく特徴量を抽出し、眼の動的な変化に基づく特徴量の変数と注目範囲に対応する情報の変数との関係を表す推定モデルと、抽出された特徴量とに基づき、対象生物の注目範囲に対応する情報の推定結果を得て出力する。ただし、眼の動的な変化に基づく特徴量は、対象生物のマイクロサッカードの発生タイミング、減衰係数、固有各振動数またはその関数値、対象生物の眼球の縮瞳の振幅、縮瞳の持続時間、平均縮瞳の速度、縮瞳の発生回数、対象生物の眼球の散瞳の振幅、散瞳の持続時間、平均散瞳の速度、散瞳の発生回数、対象生物の一方の眼の動的な変化に由来する値と他方の眼の動的な変化に由来する値との相対量に基づく値またはその関数値、のうちの少なくとも何れかを含む。
これにより、眼の動的な変化から注目範囲を推定できる。
図1は実施形態のシステム構成を説明するためのブロック図である。 図2は推定モデル生成部の一例を説明するためのブロック図である。 図3Aは実施形態の学習処理を説明するためのフロー図である。図3Bは実施形態の推定処理を説明するためのフロー図である。 図4は実施形態の学習処理および推定処理を例示するための概念図である。 図5Aは実施形態の学習処理を説明するための概念図である。図5Bおよび図5Cは学習処理の根拠となる心理実験を説明するための概念図である。 図6Aは注視点の移動の様子を説明するための概念図である。図6Bは視野角の時系列データをマーク付き点過程に変換する様子を説明するための図である。図6Cはマイクロサッカードに基づく特徴量を説明するための図である。 図7は両眼の瞳孔径の変化を例示した図である。 図8はマイクロサッカードと注目範囲の関係性を例示するための概念図である。 図9は注目範囲の半径と特徴量との関係を表すモデルを説明するための概念図である。 図10Aおよび図10Bは実験結果を例示した図である。 図11は3段階の注目範囲と各被験者のマイクロサッカードに基づく特徴量との関係を例示した箱髭図である。 図12は3段階の注目範囲と各被験者のマイクロサッカードに基づく特徴量との関係を例示した箱髭図である。
以下、本発明の実施形態を説明する。
[概要]
まず本形態の概要を説明する。実施形態では、「対象者」の「眼の動的な変化」に基づく「特徴量」を抽出し、抽出された「特徴量」に基づいて「対象者」の「注目範囲」に対応する情報の「推定結果」を得る。例えば、「対象者」の「眼の動的な変化」に基づく「特徴量」を抽出し、抽出された「特徴量」と「推定モデル」または「分類器(識別器)」とに基づき、当該「対象者」の「注目範囲」に対応する情報の「推定結果」を得て出力する。「対象者」の「眼の動的な変化」とその「対象者」が注目している範囲とには密接な関係がある。本形態ではその関係を「推定モデル」または「分類器」としてモデル化する。これにより、「対象者」の眼の動的な変化から注目範囲を推定できる。なお、本願における「注目範囲」は「注意範囲(注意の範囲)」と同義である。
「対象者」は眼が動的に変化する動物であれば、ヒトであってもよいし、ヒト以外の動物であってもよい。「眼の動的な変化」は、眼球自体の動き(眼球の位置の経時変化)であってもよいし、瞳孔の動き(瞳孔径の経時変化)であってもよい。「特徴量」はどのようなものであってもよく、スカラであってもよいし、複数の要素からなるベクトルであってもよい。「特徴量」は複数の離散時間や時間区間のそれぞれに対応する時系列であってもよいし、時系列でなくてもよい。「特徴量」は、例えば眼球の動きに表れる「サッカード」の特徴を表す情報(「サッカード」の特徴に対応する情報)を含む。「サッカード」はマイクロサッカード(micro saccade)であってもよいし、ラージサッカード(large saccade)であってもよい。眼球の動きに表れる「サッカード」の特徴としては、眼球の運動方向またはその関数値、眼球運動の振幅の絶対値またはその関数値、眼球運動の減衰係数またはその関数値、眼球運動の固有角振動数またはその関数値、眼球のサッカードの発生タイミングまたはその関数値などを例示できる。「特徴量」が、眼球の「縮瞳」または「散瞳」の特徴を表す情報を含んでもよい。眼球の「縮瞳」の特徴としては、縮瞳の振幅、縮瞳の持続時間、平均縮瞳の速度、縮瞳の発生回数などを例示できる。眼球の「散瞳」の特徴としては、散瞳の振幅、散瞳の持続時間、平均散瞳の速度、散瞳の発生回数などを例示できる。ベクトルである「特徴量」が含む複数の要素は、複数種類の特徴を表すものであってもよいし、1種類の特徴を表すものであってもよい。例えば、「特徴量」が「サッカード」の特徴を表す要素と「散瞳」の特徴を表す要素とを含むベクトルであってもよいし、「サッカード」の特徴を表す複数の要素のみを含むベクトルであってもよい。
「特徴量」が、同一の「対象者」の一方の眼(例えば、右眼)の動的な変化に由来する値と他方の眼(例えば、左眼)の動的な変化に由来する値との相対量に基づく特徴を表す情報を含んでもよい。両眼の動的な変化の相対量には対象者の属性や個性が表れ、そのような相対量に基づく特徴を利用することで「注目範囲」の推定精度が向上する。例えば、「特徴量」が、同一の「対象者」の一方の眼のサッカードに由来する値と他方の眼のサッカードに由来する値との相対量に基づく特徴を表す情報を含んでもよい。「αとβとの相対量」は、例えば、αとβとの差分、αからβを減じた値、βからαを減じた値、αをβで除した値、もしくはβをαで除した値、またはそれらの何れかの関数値である。「相対値に基づく特徴を表す情報」は、例えば、「相対値」もしくはその関数値、「相対値」もしくはその関数値を要素としたベクトル、または、それらの何れかの関数値である。
或る主体の「注目範囲」とは、その主体が注目している範囲、すなわち、その主体が視界でとらえようと意識している範囲を意味する。或る主体の「注目範囲」は、その主体が現実に注視している範囲(注視範囲や注視点)よりも広い。或る主体の「注目範囲」は、例えば、その主体の視野範囲よりも狭く、注視範囲や注視点よりも広い範囲である。「注目範囲」に対応する情報は、「注目範囲」に対して定まる情報である。「注目範囲」に対応する情報は、「注目範囲」の形状を特定するための情報(例えば、円の半径や直径、楕円の長軸長や短軸長、三角形や四角形などの多角形の辺の長さ)であってもよいし、「注目範囲」の面積を特定するための情報であってもよい。
例えば、「特徴量」が、「対象者」の「マイクロサッカード」の発生頻度を表す情報と、「マイクロサッカード」の「振動性」を表す情報と、「マイクロサッカード」の「減衰係数」を表す情報と、のうちの少なくとも何れかを含み、「第1特徴量」である「特徴量」に基づいて「第1注目範囲」である「注目範囲」に対応する情報の「推定結果」が得られ、「第2特徴量」である「特徴量」に基づいて「第1注目範囲」よりも狭い「第2注目範囲」である「注目範囲」に対応する情報の「推定結果」が得られるとする。この場合、以下の(1)~(3)の少なくとも何れかが満たされる。
(1)「第1特徴量」に含まれる情報が表す「マイクロサッカード」の発生頻度が、「第2特徴量」に含まれる情報が表す「マイクロサッカード」の発生頻度よりも高い、または
(2)「第1特徴量」に含まれる情報が表す「マイクロサッカード」の振動性が、「第2特徴量」に含まれる情報が表す「マイクロサッカード」の振動性よりも大きい、または
(3)「第1特徴量」に含まれる情報が表す「マイクロサッカード」の減衰係数が、「第2特徴量」に含まれる情報が表す「マイクロサッカード」の減衰係数よりも小さい。
ただし、「マイクロサッカード」の「振動性」とは、「マイクロサッカード」が生じた際に眼球が基準振幅に対してどの程度オーバーシュートをしたかを表す指標である。オーバーシュートの振幅が大きいほど「マイクロサッカード」の「振動性」が大きい。例えば、「マイクロサッカード」の「振動性」を表す情報の例は、「マイクロサッカード」の減衰率またはその関数値、「マイクロサッカード」の減衰係数またはその関数値である。「マイクロサッカード」の減衰率が大きいほど「マイクロサッカード」の「振動性」は大きい。「マイクロサッカード」の減衰係数が大きいほど「マイクロサッカード」の「振動性」は小さい。
「推定モデル」は、「眼の動的な変化」に基づく「特徴量」の変数と「注目範囲」に対応する情報の変数との関係を表すモデルである。「推定モデル」は、「推定結果」を得る際に逐次的に更新されてもよいし、「推定結果」を得る前に事前に得られていてもよい。「推定モデル」は、例えば統計モデルや確率モデルであり、「特徴量」の変数が与えられた場合における「注目範囲」に対応する情報の変数の条件付き分布を表すモデルであってもよいし、「特徴量」の変数と「注目範囲」に対応する情報との関係を表す状態空間モデルであってもよい。例えば、推定モデルは、「注目範囲」に対応する情報がrであったときに、眼の動的な変化に基づく特徴を表すκ(例えば、マイクロサッカードの持つ特徴を表すマークκ)をもつ事象が発生する頻度g(r,κ)(例えば、単位時間当たりの発生率である条件付強度関数)に基づいて得られる統計モデル(例えば、g(r,κ)そのもの)である。その他、重回帰分析、k-means、サポートベクターマシーン(SVM)、単純クラスタリング、隠れマルコフモデル、ニューラルネットワーク、ディープラーニングなどを利用した「推定モデル」または「分類器」が用いられてもよい。
何れかの時点の「特徴量」と「推定モデル」または「分類器」とに基づいてその時点の「推定結果」のみを得てもよいし、「特徴量」の時系列と「推定モデル」または「分類器」とに基づいて「推定結果」の時系列を得てもよい。後者の場合、例えば、過去の時点以前の「対象者」の「眼の動的な変化」に基づく「特徴量」の時系列が与えられた場合における、「対象者」が過去の時点に注目していたと推定された各「注目範囲」に応じた「第1事後確率分布」と、「第1事後確率分布」の遷移確率とを用い、過去の時点以前の「対象者」の「眼の動的な変化」に基づく「特徴量」の時系列が与えられた場合における、「対象者」が現時点で注目していると推定される注目範囲の「第2事後確率分布」を得、「第2事後確率分布」と上述の頻度g(r,κ)とを用い、現時点以前の「対象者」の「眼の動的な変化」に基づく「特徴量」の時系列が与えられた場合における、「対象者」が現時点で注目していると推定される「注目範囲」に応じた「第3事後確率分布」を、「推定結果」として得てもよい。なお「過去の時点」は、例えば、「現時点」の一期前(直前)の時点である。
「推定モデル」は学習処理に基づいて得られる。この学習処理では、表示部(例えば、モニタやスクリーンなど)が、複数の「注目範囲」それぞれに応じた位置に「注視対象」を表示する。例えば、表示部は、「注目範囲」の境界線を所定時間表示させた後に当該境界線を非表示とし、その後に当該境界線が表示されていた位置に「注視対象」を表示する。当該「注視対象」が表示されるまでの「対象者」の「眼の動的な変化」に基づく「特徴量」(注視対象が表示されたときの対象者の眼の動的な変化に基づく特徴量)は、当該「注視対象」に対応する「注目範囲」それぞれに対応する「特徴量」として抽出される。このように得られた「注目範囲」のそれぞれに対応する「特徴量」を用い、「眼の動的な変化」に基づく「特徴量」の変数と「注目範囲」に対応する情報の変数との「関係を表す情報」が得られる。「関係を表す情報」は上述の頻度g(r,κ)そのものであってもよいし、頻度g(r,κ)を特定するための情報であってもよい。なお、学習処理は、「注目範囲」の推定の対象となる「対象者」自身の「眼の動的な変化」に基づく「特徴量」を用いて行われることが望ましい。これにより、マイクロサッカード等の「眼の動的な変化」に基づく「特徴量」から「対象者」の「注目範囲」を高い精度で推定できる。ただし、「注目範囲」の推定の対象となる「対象者」以外の「眼の動的な変化」に基づく「特徴量」を用いて学習処理が行われてもよい。
「分類器」は、「眼の動的な変化」に基づく「特徴量」を、「注目範囲」の広さを示す「カテゴリ」の何れか1つに分類する。「分類器」の例は、サポートベクターマシーン、k-means、単純クラスタリングなどである。「分類器」も学習処理によって得られる。「分類器」の学習処理は、複数の大きさの異なる学習用の「注目範囲」である「学習用注目範囲」について、「学習用注目範囲」のそれぞれを見ている学習用の「対象者」である「学習用対象者」から得た「眼の動的な変化」に基づく「特徴量」である「学習用特徴量」を学習用データとして用いる。要するに、学習用データは、「学習用注目範囲」の大きさ(カテゴリ)とそのときの「学習用特徴量」とを一組の学習用データ(学習用データ対)として、カテゴリ毎に複数の学習用対象者から取得した学習用データ対の集合である。
「分類器」の学習処理でも、「推定モデル」の学習処理と同様、表示部が、複数の「注目範囲」それぞれに応じた位置に「注視対象」を表示する。当該「注視対象」が表示されるまでの「対象者」の「眼の動的な変化」に基づく「特徴量」(注視対象が表示されたときの対象者の眼の動的な変化に基づく特徴量)は、当該「注視対象」に対応する「注目範囲」それぞれに対応する「特徴量」として抽出される。抽出された「特徴量」を学習用データとして用い、「眼の動的な変化」に基づく「特徴量」を「注目範囲」の広さを示すカテゴリの何れか1つに分類する「分類器」が得られる。なお、表示部から「注視対象」を表示しつつ「特徴量」を取得し、当該「注視対象」に対応する「特徴量」である学習用データを取得する都度、当該学習用データを用いて「分類器」の学習(更新)をしてもよいが、予め表示部を用いて複数の「学習用対象者」から取得した学習用データ対の集合を学習用データとして、一括して分類器を学習してもよい。「分類器」の学習処理の具体例は、サポートベクターマシーン、k-means、単純クラスタリングなどの学習処理である。要するに、学習用特徴量と当該学習用特徴量に対応するカテゴリ(ラベル)の組からなるラベルあり学習用データの集合を入力として、未知の特徴量をいずれかのカテゴリに分類する(未知の特徴量の属するカテゴリの推定値を出力する)ための識別モデルや識別関数等を学習する識別器の学習処理であれば何でも良い。「注目範囲」の広さを示す「カテゴリ」の種類および/または個数は予め定められていてもよいし、学習処理で定められてもよい。「カテゴリ」の例は、「広(large)」「中(medium)」「狭(small)」や「一番広い」「二番目に広い」・・・「八番目に広い」などのように、「注目範囲」の広さを相対的に表現したものである。「カテゴリ」の他の例は、「半径5cmの円の内側の範囲」「半径10cmの円の内側の範囲」「半径20cmの円の内側の範囲」などのように、「注目範囲」の広さを絶対的に表現したものである。なお、この学習処理も、「注目範囲」の推定の対象となる「対象者」自身の「眼の動的な変化」に基づく「特徴量」を用いて行われることが望ましい。これにより、マイクロサッカード等の「眼の動的な変化」に基づく「特徴量」から「対象者」の「注目範囲」を高い精度で推定できる。ただし、「注目範囲」の推定の対象となる「対象者」以外の「眼の動的な変化」に基づく「特徴量」を用いて学習処理が行われてもよい。
[第1実施形態]
次に、図面を用いて第1実施形態を説明する。本形態では「眼の動的な変化」が「マイクロサッカード」である場合を例にとって説明する。ただし、これは本発明を限定するものではなく、その他の「眼の動的な変化」を利用してもよい。
<構成>
図1に例示するように、本形態のシステムは、表示装置10、学習装置11、および推定装置12を含む。学習装置11は、例えば、表示制御部111、眼球情報取得部112、特徴量抽出部113、および学習部114を有する。推定装置12は、例えば、記憶部121,122、および推定部123を有する。推定部123は、例えば、予測分布計算部123a、事後分布計算部123b、および記憶部123cを有する。学習装置11および推定装置12のそれぞれは、例えば、CPU(central processing unit)等のプロセッサ(ハードウェア・プロセッサ)およびRAM(random-access memory)・ROM(read-only memory)等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。このコンピュータは1個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めROM等に記録されていてもよい。また、CPUのようにプログラムが読み込まれることで機能構成を実現する電子回路(circuitry)ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、1個の装置を構成する電子回路が複数のCPUを含んでいてもよい。
<処理>
次に本形態の処理を説明する。マイクロサッカードに基づく特徴量は、そのヒトの注意状態と関係していると考えられている。本形態では、マイクロサッカードに基づく特徴量と注意状態の関係性に着目し、ヒトの眼の動的な変化の測定によって得られたマイクロサッカードに基づく特徴量から、当該ヒトが注目している範囲を推定する手法を提案する。図4に例示するように、本形態では、まず初めに、心理実験によって、各離散時間tでの対象者100(被験者)の「注目範囲」とマイクロサッカード(MS~MS)に基づく特徴量κ(t)との関係性を学習する。すなわち、対象者100が注目する範囲の大きさを共変量とするマーク付き点過程によって、マイクロサッカードに基づく特徴量を表現する。その統計モデルを用い、隠れマルコフモデルの枠組みで逆にマイクロサッカードの対象者100のマイクロサッカードに基づく特徴量κ(t)から、対象者100が注目している範囲の時間変化を推定する。この手法により、対象者100が注目している範囲(注目範囲)の大きさの時間的な変化を推定できる。また、注視点の軌跡のトラッキングと注目範囲の大きさの時間的な変化の推定とを組み合わせることで、対象者100の視線移動によって移動する注目範囲をトラッキングできる。つまり、本形態では新規な以下の3過程を提案する。
・対象者100が注目している範囲の時間変化の推定
・特徴量κ(t)の点過程による統計的モデリング
・注視点の軌跡だけでなく、注目範囲を推定できる視線トラッキング
<学習処理>
図3Aを用い、表示装置10および学習装置11(図1)によって行われる学習処理を説明する。対象者100のマイクロサッカードに基づく特徴量と注目範囲の関係性を学習するためには、注目範囲が既知のもとで対象者100に生じたマイクロサッカードに関する時系列情報が必要である。そこで、対象者100の注目範囲を操作する実験を実施し、その間の対象者100のマイクロサッカードに関する時系列情報を取得する。そのために、学習装置11の表示制御部111が表示装置10に制御信号を送り、各離散時間tで半径r(t)の円形の注目範囲101それぞれに応じた位置にターゲット103(注視対象)を表示させる。眼球情報取得部112は、対象者100の各離散時間tでの「眼の動的な変化」に関する時系列情報を取得する。以下に具体的に説明する。
モニタ等の表示装置10は対象者100の前に設置される。表示制御部111は以下のように表示内容を制御する。
まず表示制御部111は、表示装置10の画面中央に十字マーク104を表示させる。試行中は対象者100にこの十字マーク104を注視させる(ステップS111a)。次に、表示制御部111は、十字マーク104に中心が一致する半径r(t)の円であるキュー101を短時間だけ表示させる。このキュー101が半径r(t)の注目範囲に相当する(ステップS111b)。その後、表示制御部111は、キュー101(注目範囲)の境界線を非表示とする。図5Aでは、キュー101の境界線が表示されていた位置102を点線で示しているが、実際にはこの点線は表示されない(ステップS111c)。次に表示制御部111は、境界線が表示されていた位置102上の上下左右どこかに、黒点のターゲット103を表示させる。対象者100は、ターゲット103の表示方向をできるだけ早く入力部(図示せず)に入力する(ステップS111d)。眼球情報取得部112は、各離散時間tでの対象者100の「眼の動的な変化」に関する時系列情報を取得し、取得した「目の動的な変化」に関する時系列情報を特徴量抽出部113へ出力する。この処理の具体例は後述する。表示制御部111は各離散時刻tでの半径r(t)を学習部114に送る(ステップS112)。ステップS111a~S111d,S112の処理は、半径r(t)の大きさを変えながら複数回繰り返される。
なおステップS111dにおいて、境界線が表示されていた位置102上にターゲット103を表示させることを「Valid」(図5B)と呼ぶ。一方、ステップS111dにおいて境界線が表示されていた位置102上にターゲット103を表示させることに代えて、当該位置102以外(境界線の外側や内側)にターゲット103を表示させることを「Invalid」(図5C)と呼ぶ。「Valid」の場合に比べ「Invalid」の場合には、ターゲット103が表示されてから入力部(図示せず)にその表示方向が入力されるまでの反応時間が長くなる(片側対立仮説のウィルコクソンの順位和検定で有意水準5%で有意)。これにより、ステップS111a~S111d,S112の過程では、対象者100の注目範囲がキュー101の範囲に制限されていると期待できる。
特徴量抽出部113は、送られた「眼の動的な変化」に関する時系列情報を入力とし、各離散時間tでのマイクロサッカードに基づく特徴量κ(t)を得て出力する。すなわち、特徴量抽出部113は、前述のキュー101が表示された後、ターゲット103(注視対象)が表示されるまでの対象者100のマイクロサッカードに基づく特徴量κ(t)を、キュー101(注目範囲)のそれぞれに対応する(キュー101の半径r(t)に対応する)特徴量として抽出して出力する。この処理の具体例は後述する。各離散時間tでの特徴量κ(t)は学習部114に送られる(ステップS113)。
学習部114は、各離散時間tでのキュー101(注目範囲)の半径r(t)および特徴量κ(t)を入力とし、キュー101の半径r(t)と特徴量κ(t)との関係性を学習する。すなわち、学習部114は、キュー101の半径r(t)それぞれに対応する特徴量κ(t)を用い、マイクロサッカードに基づく特徴量と注目範囲に対応する情報の変数rとの関係を表す情報を得る。本形態では、学習部114は、キュー101の半径(注目範囲に対応する情報)がrであったときに、マークκを持つマイクロサッカードが単位時間あたりに発生する確率(条件付き強度関数)、すなわち頻度g(r,κ)を推定して出力する。ただし、マークκはひとつのマイクロサッカードに着目したときのそのマイクロサッカードのもつ特徴を表す。この処理の詳細は後述する。頻度g(r,κ)は推定装置12に送られ、その記憶部122に格納される(ステップS114)。
《ステップS112の詳細》
ステップS112の詳細を説明する。眼球情報取得部112は、対象者100の各離散時間tの「眼の動的な変化」に関する時系列情報を取得し、取得した眼の動的な変化に関する時系列情報を特徴量抽出部113へ出力する。本形態では、「眼の動的な変化」として対象者100の眼球自体の動きを取得する。眼球情報取得部112は、両眼の動的な変化に関する時系列情報を取得してもよいし、何れか一方の眼の動的な変化に関する時系列情報を取得してもよい。
対象者100の「眼球自体の動き」に関する時系列情報は、撮像装置(例えば赤外線カメラ)で対象者100の眼を撮影して得られた映像に基づいて得られる。眼球情報取得部112は、例えば、撮影された映像を画像処理することで、所定の時間区間であるフレーム毎(例えば、1000Hzのサンプリング間隔)の眼球の位置の時系列を眼球の動きに関する時系列情報として取得する。眼球情報取得部112は、撮像装置と画像処理アルゴリズムを実行するコンピュータなどによって実現されてもよいし、撮像装置を外部装置として、撮像装置から入力された画像を画像処理するアルゴリズムを実行するコンピュータなどによって実現されてもよい。あるいは、眼球情報取得部112は、電極を用いた電位計測法を用いて眼球の動きを測定し、その測定結果に基づいて「眼球自体の動き」に関する時系列情報を取得してもよい。この場合、眼球情報取得部112は、測定装置(電極を含む)と測定装置が測定した電位に基づいて眼球の位置を計算するアルゴリズムを実行するコンピュータなどによって実現されてもよいし、測定装置を外部装置として、測定装置から入力された電位に基づいて眼球の位置を計算するアルゴリズムを実行するコンピュータなどによって実現されてもよい。前述の図4の最上段には一方の眼球の動きを例示した。この眼球の動きを例示した図の横軸は時間[秒]を表し、縦軸は視野角[度]を表す。
《ステップS113の詳細》
特徴量抽出部113は、取得された「眼の動的な変化」に関する時系列情報から、各離散時間tに対応する時間区間Fでのマイクロサッカードに基づく特徴量κ(t)を抽出する。例えば、特徴量抽出部113は、各時間区間Fにおいて、対象者100のマイクロサッカードに基づく特徴を表すマークκt,1,…,κt,dを要素としたスカラまたはベクトルを特徴量κ(t)=(κt,1,…,κt,d)として抽出する(図6Aおよび図6B)。ただし、dは1以上の整数であり、特徴量κ(t)がスカラである場合にはd=1であり、特徴量κ(t)がベクトルである場合にはd≧2である。時間区間Fの例は離散時間tを基準とした固定長の時間区間である。例えば、離散時間tから開始する固定長の時間区間が時間区間Fであってもよいし、離散時間tを中心とした固定長の時間区間が時間区間Fであってもよいし、離散時間tで終了する固定長の時間区間が時間区間Fであってもよい。その他、離散時間tを基準とした可変長の時間区間が時間区間Fであてもよい。マイクロサッカードをマーク付き点過程で表現する場合、特徴量κ(t)は必ずしも同じ長さ(同じd)となるとは限らない。マーク付き点過程で表現する場合、特徴量κ(t)は時間区間F内で発生したマイクロサッカードのマークの集合を表すため、すべての離散時間tでdが同一となることは通常ない。時間区間F内でマイクロサッカードが発生しなければd=0となり、この場合には特徴量κ(t)は空集合となる。すなわち、空集合の特徴量κ(t)は、時間区間F内でマイクロサッカードが発生しなかったことを表す。あるいは、時間区間F内でマイクロサッカードが発生しなかった場合に、特徴量κ(t)を特殊な定数に設定してもよい。
マイクロサッカードに基づく特徴量:
本形態では、「眼球自体の動き」に基づく特徴量として「マイクロサッカード」に基づく特徴量を用いる。「マイクロサッカード」とは、眼球の動きに表れる微細な跳躍性眼球運動をいう。人間がある一点を注視しているとき、眼球は完全に動きを止めているわけではなく、固視微動と呼ばれる三種類の眼球運動であるドリフト(drift、trendといってもよい)、トレマ、マイクロサッカード(フリックといってもよい)を行っている。ドリフトは小さな滑らかな動き、トレマは非常に小さな高周波の振動、マイクロサッカードは小さな跳ぶような動きである。図4を用いてマイクロサッカードを例示する。図4の最上段の図および図6AではマイクロサッカードMS~MSを太線で強調して示す。マイクロサッカードはある一点を注視している状態において、1~2秒の間に1回程度、個人の意思とは関係なく(不随意に)表れる眼球の動きであって、小さな跳ぶような動きのことである。マイクロサッカードは、動きの水平方向の成分、垂直方向の成分のどちらからでも取得することができる。本実施形態では、マイクロサッカードが水平方向に偏向する性質に基づき、簡単のため水平方向の成分のみを用いる。しかし、本発明で用いることができるマイクロサッカードの方向成分は水平方向に限定されない。なお、「水平方向」とは、地面と平行な方向に限定する意味ではなく、対象者100の顔に対しての水平方向(眼球の配列方向であり、横方向、幅方向といってもよい)や眼球情報取得部112において水平方向と定義された方向を含む概念である。
特徴量抽出部113は、例えば眼球の位置の時系列について1次階差系列を計算し、1次階差系列の絶対値が所定の第1閾値を上回った時刻を、マイクロサッカードの開始時刻(発生時刻)として検出すればよい。ただし1次階差系列の絶対値が所定の閾値を上回る時間の長さが所定の値(通常3ms程度)以上持続しない場合は、検出から除外する。また、後述の基準振幅Aが所定の閾値(通常視野角2°程度)以上の場合はラージサッカードとして、検出から除外する。特徴量抽出部113は、取得された眼球の位置情報にノイズが多く含まれると判定した場合などには、1次階差系列の計算にあたって適当な範囲での移動平均値を用いても良い。検出に用いる閾値には、階差系列の標準偏差の6倍程度の値を用いることが好ましい。
マイクロサッカードの特徴としては、マイクロサッカードの発生タイミングに基づく値Z、運動方向に応じた値D、基準振幅Aの絶対値|A|、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Aoの絶対値|Ao|、オーバーシュートの速度Vo、立ち上がり時間K、減衰率λ、減衰係数ζ、固有角振動数ω、マイクロサッカードの単位時間(例えば1秒)あたりの発生回数Rmなどを例示でき、これらの少なくとも何れかをマイクロサッカードに基づく特徴量の要素(マーク)とできる。
時間区間Ftで発生したマイクロサッカードの発生タイミングに基づく値Zは、例えば、時間区間Ftの開始時刻Miであってもよいし、基準となる時間区間RFtに対応するマイクロサッカードの発生時刻RMと開始時刻Mとの時間差|RM-M|であってもよいし、開始時刻Mまたは時間差|RM-M|の関数値g(M)またはg(|RM-M|)であってもよい。基準となる時間区間RFtは時間区間Ftに対応し、例えばRFt=Ft-1である。関数値g(M)またはg(|RM-M|)に限定はないが、例えば、代表値Mまたは時間差|RM-M|が大きくなるほど小さくなり、負とならず、特異点を持たない関数の関数値を用いることができる。関数値g(M)の例は1/Mやexp(-M)などである。「exp」はネイピア数を底とする指数関数を表す。g(|RM-M|)の例は1/|RM-M|やexp(-|RM-M|)などである。ただし、Mや|RM-M|が0の場合には1/Mや1/|RM-M|は∞となる。そのため、Mや|RM-M|が0となるときにg(M)やg(|RM-M|)を0としてもよい。このような時間区間Ftで発生したマイクロサッカードの発生タイミングに基づく値Zを特徴量κ(t)の何れかの要素としてもよい。
時間区間Ftで発生したマイクロサッカードの運動方向に応じた値Dは、当該運動方向ごとに定まる値である。例えば、運動方向に応じた値Dが、左右の運動方向に対応する2値の何れかをとってもよいし、左右上下の運動方向に対応する4値の何れかをとってもよいし、その他n方向の運動方向に対応するn値の何れかをとってもよい。一例としては、右方向(左眼から右眼に向かう方向)の運動方向に応じた値Dを第1値(例えば-1)とし、左方向(左眼から右眼に向かう方向)の運動方向に応じた値Dを第2値(例えば1)とする。このような時間区間Ftで発生したマイクロサッカードの運動方向に応じた値Dを特徴量κ(t)の何れかの要素としてもよい。
次に図6Cを参照して、マイクロサッカードの基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間K、減衰率λについて説明する。
(1)基準振幅A:マイクロサッカードによる眼球の動きが収束したときの移動量である。
(2)最大速度Vmax:基準振幅A+オーバーシュートの振幅Aoに達するまでの最大の速度である。
(3)持続時間Dm:マイクロサッカードが起きている時間区間の長さである。マイクロサッカードの開始時刻は1次階差系列の絶対値が所定の閾値を上回る時刻で、マイクロサッカードの終了時刻は、オーバーシュートの振幅に達したあとに初めて基準振幅Aに戻る時刻である。
(4)オーバーシュート(overshoot)の振幅Ao:マイクロサッカードによって基準振幅Aを超過した(行き過ぎた)部分の量である。オーバーシュートとは、波形の立ち上がり部分で、波形が基準振幅Aを超えて突出する現象、または、その突出した波形である。言い換えると、オーバーシュートの振幅とは、突出した部分の量である。
(5)オーバーシュートの速度Vo:基準振幅A+オーバーシュートの振幅Aoから基準振幅Aに収束しようとする際の最大の速度である。
(6)立ち上がり時間K:基準振幅A+オーバーシュートの振幅Aoに達する(立ち上がる)までにかかる時間である。なお、基準振幅A+オーバーシュートの振幅Aoに達するまでにかかる時間は、最大速度Vmaxからオーバーシュートの速度Voに達するまでにかかる時間と同じ値となる。
(7)減衰率λ:基準振幅Aに対するオーバーシュートの振幅Aoの比である。最大速度Vmaxに対するオーバーシュートの速度Voの比としてもよく、
Figure 0007070605000001

と表される。
マイクロサッカードの減衰係数ζ、固有角振動数ωは、
Figure 0007070605000002

と表される。固有角振動数ωはマイクロサッカードの応答の速さを表す指標に相当し、減衰係数ζはマイクロサッカードの応答の収束性を表す指標に相当する。
特徴量抽出部113は、マイクロサッカードの減衰係数ζ、固有角振動数ω、基準振幅Aを、マイクロサッカードが起きている間の眼球の位置をフィッティングし、最小二乗法などによって最適化することで計算してもよい。
マイクロサッカードの減衰係数ζは、運動が左右方向に依存して値が変化する傾向があるため、特徴量抽出部113は、左方向のマイクロサッカードの減衰係数の代表値、右方向のマイクロサッカードの減衰係数の代表値を分けて計算しても良い。
時間区間Ftで発生した上述のようなマイクロサッカードの基準振幅Aの絶対値|A|、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Aoの絶対値|Ao|、オーバーシュートの速度Vo、立ち上がり時間K、減衰率λ、減衰係数ζ、固有角振動数ωの少なくとも何れかを特徴量κ(t)の何れかの要素としてもよい。
《ステップS114の詳細》
対象者100の「眼の動的な変化」(例えばマイクロサッカード)がキュー101の半径r(t)を引数にとるような条件付強度関数をもつマークつき点過程から生成されていると考える。そのもとで、計測された対象者100のマイクロサッカードに基づく特徴量κ(t)を用いて条件付強度関数である頻度g(r,κ)の推定を行う。ここでは簡単のため、r(t)が有限個の値しかとらないと仮定する。つまり、∀tに対してr(t)∈{ξ,…,ξ}であるとする。mは1以上の整数である。マークκの例は、マイクロサッカードの基準振幅Aの絶対値|A|、最大速度Vmax、持続時間Dm、減衰係数ζ、固有角振動数ωなどを含むベクトルである。
観測区間を(0,T](左開右閉区間)とし、n個の離散時間t1,…,tnで対象者100のマイクロサッカードが観測され、それぞれのマイクロサッカードに基づく特徴を表すマークκ1,…,κnが得られたとする。ただし、nは正整数であり、離散時間ti(ただし、i=1,…,n)で得られたマークをκiと表記する。また、ri=r(ti)と表記する。ここでマイクロサッカードがr(t)を通してのみ時刻に依存するような非定常ポアソン過程から生成されているとする(F. Kloosterman, S. P. Layton, Z. Chen and M. A. Wilson, “Bayesian decoding using unsorted spikes in the rat hippocampus,” Journal of Neurophysiology, vol. 111 (2014), pp. 217 - 227.)。すなわち、マイクロサッカードが次のような条件付強度関数をもつマークつき点過程から生成されていると仮定する。
λ(t,κ|r(t))=g(r(t),κ), g: unknown
ただし、λ(t,κ|r(t))は、「時間区間Fにおいてr(t)が与えられたもとでマークがκである事象が単位時間あたりに発生する確率」を表す。
ここで(ri,κi)(ただし、i=1,...,n)が独立同一にある分布にしたがっているとみなし、その(r,κ)=(ri,κi)の分布の確率密度関数をp(r,κ)で表記する。ここでは「眼の動的な変化」としてマイクロサッカードを利用するため、g(r,κ)は「r(t)=rであったときにマークκを持つマイクロサッカードが単位時間当たりに発生する確率」を表す。この場合、g(r,κ)とp(r,κ)の間には次のような関係が成り立つ。
Figure 0007070605000003
ただし、MSはマイクロサッカードを表し、Tjはr(t)=ξjであった時間を表し、njはr(t)=ξjのときに発生したマイクロサッカードの総数である。上の関係式から、g(r,κ)を推定するためにはp(r,κ)を推定すれば十分であることがわかる。この例ではp(r,κ)を次のようにカーネル密度推定によって推定する。
Figure 0007070605000004
ただし、KHはバンド幅行列がHのカーネル関数であり、例えばガウシアンカーネルなどを用いることができる。バンド幅行列Hは、例えば「Scottのルール」によって定められる。結局、この例では学習部114は、入力された(ri,κi)に対して式(2)を計算してp(r,κ)を得、それを用いて式(1)を計算してg(r,κ)を出力する。
<推定処理>
次に図3Bを用い、推定装置12(図1)によって行われる推定処理を説明する。推定処理では、新たに眼球情報取得部112が各離散時間tでの対象者100の「眼の動的な変化」に関する時系列情報を取得し、取得した「目の動的な変化」に関する時系列情報を特徴量抽出部113へ出力する。この処理の具体例は前述のステップS112のものと同じである。ただし、表示装置10での表示は行われない。特徴量抽出部113は、送られた「眼の動的な変化」に関する時系列情報を入力とし、各離散時間tでのマイクロサッカードに基づく特徴量κ(t)を得て出力する。特徴量κ(t)は前述のステップS113と同じ方法で抽出される。ただし、表示装置10での表示は行われない。推定処理で抽出された特徴量κ(t)は記憶部121に格納される。
推定部123は、学習処理において記憶部122に格納された頻度g(r,κ)(眼の動的な変化に基づく特徴量の変数と注目範囲に対応する情報の変数との関係を表す推定モデル)と、推定処理で上述のように記憶部121に逐次格納される特徴量κ(t)(特徴量抽出部113で抽出された特徴量κ(t))とに基づき、対象者100の注目範囲に対応する情報の推定結果を得て出力する。本形態では、推定部123は、頻度g(r,κ)と、特徴量抽出部113で抽出された特徴量κ(t)の時系列とに基づき、推定結果の時系列を得て出力する(ステップS123)。
具体例を示す。この例では、マイクロサッカードを観測変数、注目範囲(キュー)の半径を状態変数とした隠れマルコフモデルを仮定する。この隠れマルコフモデルの仮定のもと、前述の学習処理によって得られた頻度g(r,κ)が与えられている状況で、新たに観測されたマイクロサッカードから、注目範囲の半径の確率分布の系列を推定する(図8)。すなわち、頻度g(r,κ)に基づいて、各時間区間で得られた特徴量の大きさに対する半径の確率分布を推定する。この推定手法には、例えば、フィルタリング、スムージング、ビタビアルゴリズム、バウムウェルチアルゴリズムなどを利用できる。これらの手法は周知であり、例えば(C. M. Bishop, “Pattern Recognition and Machine Learning,” Springer, 2006.)などに開示されている。以下ではフィルタリングを用いる例を詳細に説明する。
フィルタリングを用いる場合、特徴量抽出部113は、現時点以前の対象者100のマイクロサッカードに基づく特徴量の時系列を抽出して、記憶部121に格納する。推定部123は、(1)過去の時点以前の対象者100のマイクロサッカードに基づく特徴量の時系列が与えられた場合における、対象者100が過去の時点に注目していたと推定された各注目範囲に応じた第1事後確率分布と、第1事後確率分布の遷移確率とを用い、過去の時点以前の対象者100のマイクロサッカードに基づく特徴量の時系列が与えられた場合における、対象者100が現時点で注目していると推定される注目範囲に応じた第2事後確率分布を得る、予測分布計算処理と、(2)第2事後確率分布と頻度g(r,κ)とを用い、現時点以前の対象者のマイクロサッカードに基づく特徴量の時系列が与えられた場合における、対象者が現時点で注目していると推定される注目範囲に応じた第3事後確率分布を、推定結果として得る、事後分布計算処理と、を繰り返す。以下、詳細に説明する。
推定装置12は、離散時間tまでのマイクロサッカードの観測に基づく特徴量が与えられたもとでのr(t)の事後確率分布を逐次的に計算する。事後確率分布を逐次的に更新するために、観測区間(0,T]を区間幅Δtごとに{0=t0<t1<…<tQ=T}と分割し、記号を次のように定める。ただし、Qは正整数であり、q=1,...,Qとする。
Figure 0007070605000005
ここでrqが時間について不変な確率推移行列Pを持つマルコフ連鎖に従うと仮定する。すなわち、半径rq(隠れ状態)がマルコフ的に推移し、特徴量κ(tq)(観測)は半径rqが与えられたもとで分布が定まるが各時間では独立であると仮定する(図9)。つまり、或るm×mの確率推移行列P=(Puj)を用いて以下のように表すことができるとする。
(Pr(rq1),…,Pr(rqm))=(Pr(rq-11),…,Pr(rq-1m))・P
ただし、Pr(β)は事象βが生じる確率であり、mは正整数であり、注目範囲の半径は集合{ξ1,…,ξm}の何れかの要素となると仮定する。(Puj)はu行j列の要素をPujとする行列を意味し、u=1,...,mであり、j=1,...,mである。
以上の過程の下、以下の一期先予測分布計算処理(ステップS123a)と事後分布計算処理(ステップS123b)とが繰り返し実行される。
≪一期先予測分布計算処理(ステップS123a)≫
ステップS123aでは、予測分布計算部123aが、記憶部123cからPr(rq-1u|ν(q-1))(第1事後確率分布)を抽出し、確率推移行列Pを用いて以下のPr(rqu|ν(q-1))(第2事後確率分布)を計算して出力する。
Figure 0007070605000006
ただし、「ν(q-1)」は「tq-1までに観測されたマイクロサッカードに基づく特徴量の集合」を表す。また、任意に定められた初期分布Pr(r0u)=Pr(r0u|ν(0))(ただし、u=1,...,m)が記憶部123cに格納されているものとする。得られたPr(rqu|ν(q))は事後分布計算部123bに送られる。
≪事後分布計算処理(ステップS123b)≫
ステップS123bでは、事後分布計算部123bが、ステップS123bで得られたPr(rqu|ν(q-1))、記憶部122から読み込んだg(r,κ)、記憶部123cから読み込んだsκqを入力とし、以下のPr(rqj|ν(q))(第3事後確率分布)を計算して出力する。
Figure 0007070605000007
ただし、
Figure 0007070605000008
であり、「ν(q)」は「tqまでに観測されたマイクロサッカードに基づく特徴量の集合」を表す。事後分布計算部123bは、このように得たPr(rqj|ν(q))(ただし、j=1,...,m)を記憶部123cに格納するとともに、離散時間tqでの注目範囲に応じた推定結果として出力する。これらのステップS123a,S123bの処理は、現時点の離散時間tまでに観測されたマイクロサッカードの情報のみを用いて行っている。従って、オンラインで推定結果を逐次的に得ることが可能である。
<実験結果>
上述した手法による実験結果を示す。この実験では、眼球情報取得部112で取得された240秒間のデータに基づいて得られたマイクロサッカードに基づく特徴量を用いてg(r,κ)を学習し、別の240秒間のデータに基づいて得られたマイクロサッカードに基づく特徴量を用いてキュー(注目範囲)の半径を推定した。比較のため、この実験ではキューの半径の推定時にも被験者にキューを呈示した(図5A)。図10Aおよび図10Bにこの推定結果を示す。なお、これらの図の横軸は離散時間を表し、縦軸はキューの半径を示す。破線は、上述のように推定された各離散時間でのキューの半径についての事後確率分布のうち、離散時間tごとに最も確率の高いものをr(t)とした推定値(Predict)を表す。実線は、この推定処理の際に被験者に呈示したキューの半径(True)を表す。被験者1ではMSE(Means Square Error)の平方根が√MES=47.819となり、そのチャンスレベル√MES=89.256を下回っている。同様に被験者2では√MES=70.569となり、そのチャンスレベル√MES=92.304を下回っている。いずれも、チャンスレベルを下回る推定ができており、注目範囲を有効に推定できていることが分かる。
<実施形態の特徴>
以上のように、マイクロサッカードから注目範囲を推定できる。従来の視線トラッキング技術によって得られるのは注視点の軌跡のみであった。そのため、トラッキングの結果からその人が実際に何を見ていたかがわかるわけではない。ある時間窓における注視点の分布によって何に着目していたかを推定するということも考えられるが、このアプローチでは注目している対象がどう移り変わったかなどの時間方向の変化を捉えることができない。一方、本形態の手法によって注目範囲を推定した場合、その推定された注目範囲と注視点のトラッキング結果とを組み合わせることで注目対象の時間変化を詳細に追跡することもできる。特にマイクロサッカードは一点を注視している状態でも発生するため、注視点が動かない状況での注目対象の変化をも捉えることができる。さらにマイクロサッカードは無意識下で発生する現象であるため、各ヒトの意思が推定結果に影響を与えないという点でロバストである。
また、マイクロサッカードと注意状態の関係性についての先行研究は、その関係性が万人について共通であるという仮定のもとで行われてきた。したがって、この関係性については定性的な議論しかされておらず、推定技術に応用するということは考えられていなかった。本形態の手法は、マイクロサッカードと注意状態の関係性が各個人で特有のものであるという仮定をおき、その関係性を心理実験によって学習するというアプローチをとった。このアプローチによって、マイクロサッカードの実データと注意状態の関係性について定量的な議論ができ、推定技術に応用できる。
従来、マイクロサッカードについて統計的な分析を行う際は、その発生頻度に着目するか、もしくは各眼のマイクロサッカードに基づく特徴量の平均的なふるまいに着目するかのどちらかのアプローチがとられていた。前者のアプローチでは頻度という1次元の情報しか利用できないために推定精度をあげることが難しい。その点、後者のアプローチでは使用する特徴量を工夫することで情報の次元を増やすことができるが、推定対象の時間的な変化を推定することができない。さらに、これらの2つのアプローチでは頻度と特徴の間の相関構造についての情報が無視されてしまうという問題がある。例えば「振幅の小さいマイクロサッカードが高頻度で発生する」ことに意味があったとしても、これら2つのアプローチではそれを捉えることができない。本形態では、マーク付き点過程を用いることで、マイクロサッカードの発生頻度と特徴を同時に考慮したモデリングをすることができる。さらに推定対象の時間変化を推定することもできる。
[第2実施形態]
次に、図面を用いて第2実施形態を説明する。第1実施形態では、注目範囲の半径と眼の動的な変化を表す特徴量との関係を学習した推定モデルを用いて、対象者から取得した眼の動的な変化を表す特徴量から注目範囲の大きさ(半径)を推定した。第2実施形態では、注目範囲の大きさ(半径)の代わりに、注目範囲の広さの程度(広いか狭いか等)を推定する。なお、本形態でも「眼の動的な変化」が「マイクロサッカード」である場合を例にとって説明する。ただし、これは本発明を限定するものではなく、その他の「眼の動的な変化」を利用してもよい。
<構成>
図1に例示するように、本形態のシステムは、表示装置10、学習装置21、および推定装置22を含む。学習装置21は、例えば、表示制御部111、眼球情報取得部112、特徴量抽出部213、および学習部214を有する。推定装置22は、例えば、記憶部221,222、および推定部223を有する。学習装置21および推定装置22のそれぞれは、例えば、前述の汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。
<学習処理>
図3Aを用い、表示装置10および学習装置21(図1)によって行われる学習処理を説明する。本形態でも、対象者100の注目範囲を操作する実験を実施し、その間の対象者100のマイクロサッカードに関する時系列情報を取得する。そのために、学習装置21の表示制御部211が表示装置10に制御信号を送り、各離散時間tで広さL(t)の注目範囲それぞれに応じた位置にターゲット103(注視対象)を表示させる。眼球情報取得部112は、対象者100の各離散時間tでの「眼の動的な変化」に関する時系列情報を取得する。広さL(t)の注目範囲は、予め定められた複数個の注目範囲の候補の何れかである。注目範囲の候補の例は、広い注目範囲L、中ほどの注目範囲L、および狭い注目範囲Lの3段階の候補である。ただし、注目範囲Lは注目範囲Lよりも広く、注目範囲Lは注目範囲Lよりも広い。その他、広い注目範囲Lおよび狭い注目範囲Lのみからなる2段階の注目範囲の候補としてもよいし、4段階以上の注目範囲の候補としてもよい。広さL(t)の注目範囲の形状は円形や多角形等などどのような形状でもよい。広さL(t)の注目範囲の一例は、第1実施形態で説明した半径r(t)の円形の内側の範囲である。本形態の場合、注目範囲の候補は注目範囲の広さを示すカテゴリに対応する。例えば、注目範囲の候補が、広い注目範囲L、中ほどの注目範囲L、および狭い注目範囲Lの3種類である場合、注目範囲L,L,Lには、「広」,「中」,「狭」のカテゴリがそれぞれ対応する。例えば、注目範囲の候補が、広い注目範囲L、および狭い注目範囲Lの2種類である場合、注目範囲L,Lには、「広」,「狭」のカテゴリがそれぞれ対応する。眼球情報取得部112は、対象者100の各離散時間tでの「眼の動的な変化」に関する時系列情報を取得して出力する。この処理の具体例は、第1実施形態のステップS111a~S111d,S112の処理である。この例のステップS111a~S111d,S112の処理も、半径r(t)の大きさを変えながら複数回繰り返される。
特徴量抽出部213は、送られた「眼の動的な変化」に関する時系列情報を入力とし、各離散時間tでのマイクロサッカードに基づく特徴量κ(t)を得て出力する。特徴量κ(t)の例は第1実施形態と同じである。また、特徴量κ(t)がマイクロサッカードの発生頻度を表す情報を要素として含んでもよい。例えば、各離散時間tに対応する時間区間Fでのマイクロサッカードの発生回数TPF(ただし、TPF≧0)についてのF/TPFまたはその関数値(例えば、TPF/F)を特徴量κ(t)の要素としてもよい。特徴量κ(t)がマイクロサッカードの振動性を表す情報を含んでもよい。マイクロサッカードの振動性を表す情報の例は、減衰率λもしくはその関数値等の減衰率λを表す情報、および/または、減衰係数ζもしくはその関数値等の減衰係数ζを表す情報などである。その他、時間区間Fで発生したi番目のマイクロサッカードからその直前(i-1番目)に発生したマイクロサッカードまでの間の時間もしくはその関数値、および/または、時間区間Fで発生したi番目のマイクロサッカードからその直後(i+1番目)に発生したマイクロサッカードまでの間の時間もしくはその関数値を特徴量κ(t)の要素としてもよい。なお、この例では時間区間Fで発生したマイクロサッカードのうち、時刻の古いものから順番に、1番目のマイクロサッカード、2番目のマイクロサッカード、3番目のマイクロサッカード・・・と呼んでいる。各離散時間tでの特徴量κ(t)は学習部214に送られる(ステップS213)。
学習部214は、各離散時間tでの広さL(t)の注目範囲および特徴量κ(t)を入力とし、これらの組を学習データとして用いた機械学習法により、「眼の動的な変化に基づく特徴量」を注目範囲の広さを示すカテゴリ(例えば、「広」「中」「狭」の3段階のカテゴリ、「広」「狭」の2段階のカテゴリなど)の何れか1つに分類する分類器を得て、当該分類器を表す情報(パラメータ等)を出力する。言い換えると、学習部214は「眼の動的な変化に基づく特徴量」に対応する「注目範囲の広さを示すカテゴリ」を得る分類器を得て出力する。ただし、「眼の動的な変化に基づく特徴量」の種別は、学習処理に用いられた特徴量κ(t)の種別と同一である。例えば、分類器がサポートベクターマシーンであり、注目範囲の広さを示すカテゴリが「広」「狭」の2段階のものである場合、学習部214は、この学習用データに含まれる注目範囲が広い場合に対応する特徴量と、注目範囲が狭い場合に対応する特徴量とを精度よく分離する超平面を学習する。これにより、未知の特徴量が与えられたときに、超平面と当該特徴量との位置関係から、当該未知の特徴量が広い注目範囲と狭い注目範囲のどちらに属するかを推定できる。
図11および図12は、「広(large)」,「中(medium)」,「狭(small)」の3段階のカテゴリを採用し、複数の被験者が「広」に対応する広い注目範囲L、「中」に対応する中ほどの注目範囲L、および「狭」に対応する狭い注目範囲Lのそれぞれを見ていたときのマイクロサッカードの特徴量の平均値(被験者ごとの平均値)を示す箱髭図である。ただし、図11および図12の横軸は3段階のカテゴリ(「広」「中」「狭」)に対応する注目範囲を表す。図11の縦軸はマイクロサッカードの発生頻度(Microsaccade Rate)の被験者ごとの平均値を表し、図12の縦軸はマイクロサッカードの振動性(Microsaccade Damping Rate)の被験者ごとの平均値を表す。
図11および図12に例示した結果から、注目範囲が広いほど、マイクロサッカードの発生頻度が高くなり、また、マイクロサッカードの振動性が強くなる傾向が見られる。したがって、マイクロサッカードの発生頻度や振動性が大きいときは注目範囲が広いと推定されやすく、マイクロサッカードの発生頻度や振動性が小さいときは注目範囲が狭いと推定されやすい分類器が学習される。また、振動性が大きいほど減衰係数が小さく、振動性が小さいほど減衰係数が大きい。そのため、特徴量が、対象者のマイクロサッカードの発生頻度を表す情報と、マイクロサッカードの振動性を表す情報と、マイクロサッカードの減衰係数を表す情報と、のうちの少なくとも何れかを含み、分類器が第1特徴量である特徴量に基づいて第1注目範囲である注目範囲に対応する情報の推定結果を得、第2特徴量である特徴量に基づいて第1注目範囲よりも狭い第2注目範囲である注目範囲に対応する情報の推定結果を得るとすると、以下の(1)~(3)の少なくとも何れかが満たされる。
(1)第1特徴量に含まれる情報が表すマイクロサッカードの発生頻度が、第2特徴量に含まれる情報が表すマイクロサッカードの発生頻度よりも高い。
(2)第1特徴量に含まれる情報が表すマイクロサッカードの振動性が、第2特徴量に含まれる情報が表すマイクロサッカードの振動性よりも大きい。
(3)第1特徴量に含まれる情報が表すマイクロサッカードの減衰係数が、第2特徴量に含まれる情報が表すマイクロサッカードの減衰係数よりも小さい。
学習部214から出力された分類器を表す情報は、推定装置22に送られ、その記憶部222に格納される(ステップS214)。
<推定処理>
次に推定装置22によって行われる推定処理を説明する。本形態の推定処理では、新たに眼球情報取得部112が各離散時間tでの対象者100の「眼の動的な変化」に関する時系列情報を取得し、取得した「目の動的な変化」に関する時系列情報を特徴量抽出部213へ出力する。この処理の具体例は前述のステップS112のものと同じである。ただし、表示装置10での表示は行われない。特徴量抽出部213は、送られた「眼の動的な変化」に関する時系列情報を入力とし、各離散時間tでのマイクロサッカードに基づく特徴量κ(t)を得て出力する。特徴量κ(t)は前述のステップS213と同じ方法で抽出される。ただし、表示装置10での表示は行われない。推定処理で抽出された特徴量κ(t)は記憶部221に格納される。
推定部223には、記憶部222から読み出された前述の分類器を表す情報、および記憶部221から読み出された上述の特徴量κ(t)が入力される。推定部223は、入力された特徴量κ(t)に基づいて対象者100の注目範囲に対応する情報の推定結果を得て出力する。本形態の推定部223は、入力された特徴量κ(t)を注目範囲の広さを示すカテゴリの何れか1つに分類し、分類したカテゴリを表す情報(例えば、注目範囲が広いか狭いかを表す情報)を出力する。分類器が前述のサポートベクターマシーンであり、注目範囲の広さを示すカテゴリが「広」「狭」の2段階のものである場合、推定部223は、入力された特徴量κ(t)が学習された超平面に対してどちら側に属するかによって、注目範囲が広いことに対応するカテゴリ「広」と、注目範囲が狭いことに対応するカテゴリのどちらのカテゴリ「狭」に属するかを識別し、その識別結果を推定結果として出力する。上述の実験結果に示されるように、マイクロサッカードの発生頻度や振動性が大きいほうが、マイクロサッカードの発生頻度や振動性が小さいときよりも「注目範囲が広いことに対応するカテゴリ」に属すると推定される可能性が高くなる。すなわち、特徴量が、対象者のマイクロサッカードの発生頻度を表す情報と、マイクロサッカードの振動性を表す情報と、マイクロサッカードの減衰係数を表す情報と、のうちの少なくとも何れかを含み、分類器が第1特徴量である特徴量に基づいて第1注目範囲である注目範囲に対応する情報の推定結果を得、第2特徴量である特徴量に基づいて第1注目範囲よりも狭い第2注目範囲である注目範囲に対応する情報の推定結果を得るとすると、以下の(1)~(3)の少なくとも何れかが満たされる。
(1)第1特徴量に含まれる情報が表すマイクロサッカードの発生頻度が、第2特徴量に含まれる情報が表すマイクロサッカードの発生頻度よりも高い。
(2)第1特徴量に含まれる情報が表すマイクロサッカードの振動性が、第2特徴量に含まれる情報が表すマイクロサッカードの振動性よりも大きい。
(3)第1特徴量に含まれる情報が表すマイクロサッカードの減衰係数が、第2特徴量に含まれる情報が表すマイクロサッカードの減衰係数よりも小さい。
<実施形態の特徴>
本形態では、マイクロサッカード(眼の動的な変化)に基づく特徴量を注目範囲の広さを示すカテゴリの何れか1つに分類することで、マイクロサッカードから注目範囲を推定できる。また、本形態の手法によって注目範囲を推定した場合、その推定された注目範囲と注視点のトラッキング結果とを組み合わせることで注目対象の時間変化を詳細に追跡することもできる。特にマイクロサッカードは一点を注視している状態でも発生するため、注視点が動かない状況での注目対象の変化をも捉えることができる。さらにマイクロサッカードは無意識下で発生する現象であるため、各ヒトの意思が推定結果に影響を与えないという点でロバストである。
[変形例等]
なお、本発明は上述の実施形態に限定されるものではない。例えば、本形態では、推定装置121,221は学習装置11,21に備えられた眼球情報取得部112および特徴量抽出部113,213によって得られた特徴量を用いて注目範囲を推定した。しかし、推定装置121,221がその他の眼球情報取得部および特徴量抽出部によって得られた特徴量を用い、注目範囲を推定してもよい。例えば、推定装置121,221が眼球情報取得部および特徴量抽出部を備え、自ら備えた眼球情報取得部および特徴量抽出部によって得られた特徴量を用い、注目範囲を推定してもよい。
また第1実施形態では、離散時間tqでの注目範囲に応じた推定結果としてPr(rqj|ν(q))(ただし、j=1,...,m)が出力された。しかし、区間(tq-1,tq](ただし、q=1,...,Q)での推定結果として、Pr(rq1|ν(q)),...,Pr(rqm|ν(q))のうち最大の値に対応するξj(ただし、j=1,...,m)が出力されてもよい。あるいは、Pr(rq1|ν(q)),...,Pr(rqm|ν(q))のうち、大きいものから所定番目までのものに対応するξjが推定結果として出力されてもよい。その他、Pr(rq1|ν(q)),...,Pr(rqm|ν(q))のうち、閾値を越えるものに対応するξjが推定結果として出力されてもよい。
また、前述のようにスムージング、ビタビアルゴリズム、バウムウェルチアルゴリズムなどの手法によって推定処理が実行されてもよい。
スムージング:
スムージングを用いた推定処理では、観測区間上で観測されたすべての眼の動的な変化が与えられたもとでのr(t)の事後分布を計算する。オンラインでの推定はできないが、観測されたすべての情報を使うことで推定の精度を上げることができる。
ビタビアルゴリズム:
ある一つの系列を推定値として計算したいとする。このとき、フィルタリングおよびスムージングを用いて計算した半径の事後分布から各離散時間でのMAPを計算し、それを並べた系列を推定値とするという方法が考えられる。しかしながら,このようにして作成した系列は必ずしも最も尤からしい系列にはならない。一方、ビタビアルゴリズムでは状態変数の最尤系列を動的計画法によって計算する。これにより、最も尤からしい半径の系列を得ることができる。
バウムウェルチアルゴリズム:
上述のフィルタリングを用いた例では、任意な確率推移行列Pおよび初期分布Pr(r0u)を用いた。バウムウェルチアルゴリズムを用いることで、特徴量のデータからこれらの確率推移行列Pおよび初期分布Pr(r0u)(ただし、u=1,...,m)を推定できる。確率推移行列Pおよび初期分布Pr(r0u)を適当に与えるのが難しい場合はこのアルゴリズムを用いてデータからそれらの値を推定すればよい。バウムウェルチアルゴリズムの初期値を0とした確率推移行列Pの成分は推定値も0になる。隣の状態にしか遷移しないようなモデルを考えたい場合は、適当な三重対角行列をバウムウェルチアルゴリズムの初期値として与えればよい。
眼球情報取得部112は「眼の動的な変化」として対象者100の眼球自体の動きを取得した。しかしながら、取得される「眼の動的な変化」は、対象者100の眼球自体の動きであってもよいし、瞳孔の動きであってもよいし、それら両方であってもよい。眼球情報取得部112は、両眼の動的な変化に関する時系列情報を取得してもよいし、何れか一方の眼の動的な変化に関する時系列情報を取得してもよい。
対象者100の「瞳孔の動き」に関する時系列情報は、撮像装置(例えば赤外線カメラ)で対象者100の眼を撮影して得られた映像に基づいて得られる。この場合、眼球情報取得部112は、撮影された映像を画像処理することで、フレーム毎(例えば、1000Hzのサンプリング間隔)の瞳孔の大きさの時系列を取得する。眼球情報取得部112は、例えば瞳孔を撮影した画像に対して、瞳孔に円をフィッティングし、当該フィッティングした円の半径を瞳孔径として用いることができる。瞳孔径は微細に変動するため、眼球情報取得部112は、所定の時間区間ごとにスムージング(平滑化)した瞳孔径の値を用いれば好適である。図7に右眼と左目の瞳孔の動き(瞳孔径の変化)を例示する。図7の横軸は時間[秒]を表し、縦軸は瞳孔径を表す。この瞳孔径は各時刻で取得した瞳孔径の全データの平均を0、標準偏差を1としたときのz-scoreで表現されている。ただし、眼球情報取得部112が取得する「瞳孔の動きに関する時系列情報」は、z-scoreで表現された瞳孔径の時系列でなくてもよく、瞳孔径の値そのものの時系列であってもよいし、瞳孔の面積や直径の時系列であってもよく、瞳孔の大きさに対応する値の時系列であればどのようなものであってもよい。
「眼の動的な変化」に基づく特徴量として、「眼球自体の動き」に基づく特徴量が用いられてもよいし、「瞳孔の動き」に基づく特徴量が用いられてもよい。例えば、マイクロサッカードに基づく特徴量の他、ラージサッカードに基づく特徴量、瞳孔の動きに基づく特徴量、縮瞳に基づく特徴量、散瞳に基づく特徴量などが用いられてもよい。以下に具体例を示す。
ラージサッカードに基づく特徴量:
「眼球自体の動き」に基づく特徴量として、ラージサッカードに基づく特徴量が用いられてもよい。「ラージサッカード」とは、マイクロサッカードよりも振幅の大きな跳躍性眼球運動をいい、一般に振幅が視野角2度以上の場合をラージサッカード、2度未満のものをマイクロサッカードとする。特徴量抽出部113は、前述の基準振幅Aが所定の閾値以上となった時刻を、ラージサッカードの起きた開始時刻として検出すればよい。ラージサッカードの特徴の例は、ラージサッカードの発生タイミングに基づく値Z、運動方向に応じた値D、基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間K、減衰率λ、減衰係数ζ、固有角振動数ω、単位時間あたりの発生回数Rm、発生回数などであり、これらの少なくとも一部をラージサッカードに基づく特徴量の要素とできる。これらのラージサッカードの特徴は、前述したマイクロサッカードの特徴の「マイクロサッカード」を「ラージサッカード」に置換したものである。時間区間Ftで発生したラージサッカードの特徴量の少なくとも何れかを特徴量κ(t)の何れかの要素としてもよい。前述した理由より、特にラージサッカードの発生タイミングに基づく値Z、運動方向に応じた値D、基準振幅Aの絶対値|A|、減衰係数ζを用いることが望ましい。
「瞳孔の動き」に基づく特徴量:
図7に例示したように、瞳孔の大きさは一定ではなく、変化している。瞳孔の大きさは交感神経系の支配を受けた瞳孔散大筋によって拡大(散瞳)し、副交感神経系の支配を受けた瞳孔括約筋によって収縮(縮瞳)する。瞳孔の大きさの変化は主に対光反射、輻輳反射、感情による変化の3つに区別される。対光反射は、網膜に入射する光量を制御するために瞳孔の大きさが変化する反応のことで、強い光に対しては縮瞳、暗所では散瞳が生じる。輻輳反射は、焦点を合わせる際に両眼が内転あるいは外転する運動(輻輳運動)に伴って瞳孔径が変化する反応のことで、近くを見るときには縮瞳、遠くを見るときには散瞳が生じる。感情による変化は、上記のいずれにもよらず外界のストレスに対して生じる反応のことで、怒りや驚き、活発な活動に伴って交感神経が優位となる際には散瞳が生じ、リラックスして副交感神経が優位となる際には縮瞳が生じる。「瞳孔の動き」に基づく特徴量としては、縮瞳に基づく特徴量や散瞳に基づく特徴量を用いることができる。
縮瞳に基づく特徴量:
縮瞳の開始する時刻(以下、縮瞳開始点)は、瞳孔の大きさの時系列から極大点を抽出することによって検出する。縮瞳の終了する時刻(以下、縮瞳終了点)は、縮瞳開始以降初めて散瞳が開始した点、または縮瞳開始以降初めて瞬目が開始した点のうち、時間が早い方とする。縮瞳の振幅Acは、縮瞳開始点から縮瞳終了点までの瞳孔径の差である。縮瞳の持続時間Dcは、縮瞳開始点から縮瞳終了点までの時間差である。平均縮瞳の速度Vcは、(振幅Ac)/(持続時間Dc)である。時間区間Ftで発生した縮瞳の振幅Ac、縮瞳の持続時間Dc、平均縮瞳の速度Vc、縮瞳の発生回数などを縮瞳の特徴とでき、それらの少なくとも一部を時間区間Ftでの「瞳孔の動き」に基づく特徴量の要素とできる。すなわち、特徴量抽出部113は、時間区間Ftで発生した縮瞳の振幅Ac、縮瞳の持続時間Dc、平均縮瞳の速度Vc、縮瞳の発生回数の少なくとも何れかを特徴量κ(t)の何れかの要素としてもよい。時間区間Ftにおいて縮瞳が複数検出された場合、一つ一つの縮瞳について求めた縮瞳の振幅Ac、縮瞳の持続時間Dc、平均縮瞳の速度Vcのそれぞれの代表値の何れかを特徴量κ(t)の何れかの要素としてもよい。なお、ノイズによる誤検出を防ぐために、縮瞳の持続時間が所定の閾値(例えば、10ms)以下の場合、あるいは縮瞳の振幅が所定の閾値以下の場合は、その縮瞳を検出から除外してもよい。
散瞳に基づく特徴量:
散瞳の開始する時刻(以下、散瞳開始点)は、瞳孔径の時系列から極小点を抽出することによって検出する。散瞳の終了する時刻(以下、散瞳終了点)は、散瞳開始以降初めて縮瞳が開始した点、または散瞳開始以降初めて瞬目が開始した点のうち、時間が早い方とする。散瞳の振幅Adは、散瞳開始点から散瞳終了点までの瞳孔径の差である。散瞳の持続時間Ddは、散瞳開始点から散瞳終了点までの時間差である。散瞳の平均速度Vdは、(振幅Ad)/(持続時間Dd)である。時間区間Ftで発生した散瞳の振幅Ad、散瞳の持続時間Dd、平均散瞳の速度Vd、散瞳の発生回数などを散瞳の特徴とでき、それらの少なくとも一部を時間区間Ftでの「瞳孔の動き」に基づく特徴量の要素とできる。すなわち、特徴量抽出部113は、時間区間Ftで発生した散瞳の振幅Ad、散瞳の持続時間Dd、平均散瞳の速度Vd、散瞳の発生回数の少なくとも何れかを特徴量κ(t)の何れかの要素としてもよい。時間区間Ftにおいて散瞳が複数検出された場合、一つ一つの散瞳について求めた散瞳の振幅Ad、散瞳の持続時間Dd、平均散瞳の速度Vdのそれぞれの代表値の何れかを特徴量κ(t)の何れかの要素としてもよい。なお、ノイズによる誤検出を防ぐために、散瞳の持続時間が所定の閾値(例えば、10ms)以下の場合、あるいは散瞳の振幅が所定の閾値以下の場合は、その散瞳を検出から除外してもよい。
前述のように、対象者100の一方の眼(例えば、右眼)の動的な変化に由来する値と他方の眼(例えば、左眼)の動的な変化に由来する値との相対量を特徴量κ(t)の何れかの要素としてもよい。眼の動的な変化に由来する値としては、前述したマイクロサッカードの特徴、ラージサッカードの特徴、縮瞳の特徴、散瞳の特徴などを用いることができる。ただし、一方の眼の動的な変化に由来する値と、他方の動的な変化に由来する値とは、同種の特徴である。「相対量」の具体例は前述の通りである。
「特徴量」が複数の要素を含み、当該複数の要素が眼の動的な変化に基づく複数種類の特徴をそれぞれ表していてもよい。例えば、「特徴量」が、マイクロサッカードの特徴、ラージサッカードの特徴、縮瞳の特徴、および散瞳の特徴のうち、互いに異なる複数の特徴を表す複数の要素を含んでもよい。すなわち、「特徴量」の要素αがマイクロサッカードの特徴、ラージサッカードの特徴、縮瞳の特徴、および散瞳の特徴の何れかを表し、「特徴量」の要素β(βは要素α以外の要素)がマイクロサッカードの特徴、ラージサッカードの特徴、縮瞳の特徴、および散瞳の特徴のうち、要素αと異なる特徴を表してもよい。
複数の対象者100から得られた特徴量を用いて学習処理が行われてもよいし、単一の対象者100から得られた特徴量を用いて学習処理が行われてもよい。また、学習処理の対象となった対象者100と推定処理の対象となった対象者100とは同一であってもよいし、同一でなくてもよい。
また、第2実施形態の学習処理では、予め定められた複数個の注目範囲の候補の何れかを広さL(t)の注目範囲とし、学習用データには予め正解のラベル(注目範囲の候補)が付与されている前提で識別器を学習する処理として説明した。しかしながら、注目範囲の広さに対応したカテゴリ(正解ラベル)が予め付与されていない学習量特徴量の集合を学習用データとして、識別器を学習するラベルなし学習法を用いて識別器の学習処理を行う構成としてもよい。この場合、「注目範囲の広さを示すカテゴリ」の種別および個数は予め設定されておらず学習処理によって決定される構成とすることも可能である。
上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
上述の構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体の例は、非一時的な(non-transitory)記録媒体である。このような記録媒体の例は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等である。
このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。処理の実行時、このコンピュータは、自己の記憶装置に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP(Application Service Provider)型のサービスによって、上述の処理を実行する構成としてもよい。
上記実施形態では、コンピュータ上で所定のプログラムを実行させて本装置の処理機能が実現されたが、これらの処理機能の少なくとも一部がハードウェアで実現されてもよい。
本発明は、例えば、自動車の運転者の注目範囲を推定し、それに応じて運転者に注意喚起を行うシステムに利用できる。また、スポーツ選手の注目範囲の解析に利用されてもよく、映像や絵画のどこが見られているかの解析に利用されてもよい。その他、注目範囲を推定する様々な産業分野に利用できる。
11 学習装置
12 推定装置

Claims (6)

  1. 対象生物の眼の動的な変化に基づく特徴量を抽出する特徴量抽出部と、
    眼の動的な変化に基づく特徴量の変数と注目範囲の変数との関係を表す推定モデルと、前記特徴量抽出部で抽出された前記特徴量とに基づき、前記対象生物の注目範囲の推定結果を得て出力する推定部と、を有する注目範囲推定装置であって、
    前記特徴量は、
    前記対象生物のマイクロサッカードの減衰係数を表す情報を含む、
    注目範囲推定装置。
  2. 対象生物の眼の動的な変化に基づく特徴量を抽出する特徴量抽出部と、
    眼の動的な変化に基づく特徴量の変数と注目範囲に対応する情報の変数との関係を表す推定モデルと、前記特徴量抽出部で抽出された前記特徴量とに基づき、前記対象生物の注目範囲に対応する情報の推定結果を得て出力する推定部と、を有する注目範囲推定装置であって、
    前記眼の動的な変化に基づく特徴量は、
    前記対象生物のマイクロサッカードの発生頻度を表す情報と、マイクロサッカードの減衰係数を表す情報と、のうちの少なくとも何れかを含み、
    前記推定部が、第1特徴量である前記特徴量に基づいて第1注目範囲である前記注目範囲に対応する情報の前記推定結果を得、第2特徴量である前記特徴量に基づいて前記第1注目範囲よりも狭い第2注目範囲である前記注目範囲に対応する情報の前記推定結果を得、
    (1)前記第1特徴量に含まれる情報が表す前記マイクロサッカードの発生頻度が、前記第2特徴量に含まれる情報が表す前記マイクロサッカードの発生頻度よりも高い、または
    (2)前記第1特徴量に含まれる情報が表すマイクロサッカードの減衰係数が、前記第2特徴量に含まれる情報が表すマイクロサッカードの減衰係数よりも小さい、
    の少なくとも何れかが満たされる、注目範囲推定装置。
  3. 請求項1または2の注目範囲推定装置であって、
    前記特徴量抽出部は、前記特徴量の時系列を抽出し、
    前記推定部は、前記推定モデルと、前記特徴量抽出部で抽出された前記特徴量の時系列とに基づき、前記推定結果の時系列を得て出力する、注目範囲推定装置。
  4. 対象生物の眼の動的な変化に基づく特徴量を抽出する特徴量抽出ステップと、
    眼の動的な変化に基づく特徴量の変数と注目範囲の変数との関係を表す推定モデルと、前記特徴量抽出ステップで抽出された前記特徴量とに基づき、前記対象生物の注目範囲の推定結果を得て出力する推定ステップと、
    を有する注目範囲推定方法であって、
    前記特徴量は、
    前記対象生物のマイクロサッカードの減衰係数を表す情報を含む、注目範囲推定方法。
  5. 対象生物の眼の動的な変化に基づく特徴量を抽出する特徴量抽出ステップと、
    眼の動的な変化に基づく特徴量の変数と注目範囲に対応する情報の変数との関係を表す推定モデルと、前記特徴量抽出ステップで抽出された前記特徴量とに基づき、前記対象生物の注目範囲に対応する情報の推定結果を得て出力する推定ステップと、
    を有する注目範囲推定方法であって、
    前記眼の動的な変化に基づく特徴量は、
    前記対象生物のマイクロサッカードの発生頻度を表す情報と、マイクロサッカードの減衰係数を表す情報と、のうちの少なくとも何れかを含み、
    前記推定ステップで、第1特徴量である前記特徴量に基づいて第1注目範囲である前記注目範囲に対応する情報の前記推定結果を得、第2特徴量である前記特徴量に基づいて前記第1注目範囲よりも狭い第2注目範囲である前記注目範囲に対応する情報の前記推定結果を得、
    (1)前記第1特徴量に含まれる情報が表す前記マイクロサッカードの発生頻度が、前記第2特徴量に含まれる情報が表す前記マイクロサッカードの発生頻度よりも高い、または
    (2)前記第1特徴量に含まれる情報が表すマイクロサッカードの減衰係数が、前記第2特徴量に含まれる情報が表すマイクロサッカードの減衰係数よりも小さい、
    の少なくとも何れかが満たされる、注目範囲推定方法。
  6. 請求項1から4のいずれかの注目範囲推定装置としてコンピュータを機能させるためのプログラム。
JP2020082652A 2016-05-30 2020-05-08 注目範囲推定装置、その方法およびプログラム Active JP7070605B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016107570 2016-05-30
JP2016107570 2016-05-30

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017106157A Division JP6713434B2 (ja) 2016-05-30 2017-05-30 注目範囲推定装置、学習装置、それらの方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2020124590A JP2020124590A (ja) 2020-08-20
JP7070605B2 true JP7070605B2 (ja) 2022-05-18

Family

ID=60575751

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2017106157A Active JP6713434B2 (ja) 2016-05-30 2017-05-30 注目範囲推定装置、学習装置、それらの方法およびプログラム
JP2020082652A Active JP7070605B2 (ja) 2016-05-30 2020-05-08 注目範囲推定装置、その方法およびプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2017106157A Active JP6713434B2 (ja) 2016-05-30 2017-05-30 注目範囲推定装置、学習装置、それらの方法およびプログラム

Country Status (1)

Country Link
JP (2) JP6713434B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6755839B2 (ja) * 2017-08-08 2020-09-16 日本電信電話株式会社 運動パフォーマンス推定装置、その方法、およびプログラム
JP6821611B2 (ja) * 2018-01-22 2021-01-27 日本電信電話株式会社 推定装置、その方法、及びプログラム
JP7118697B2 (ja) 2018-03-30 2022-08-16 株式会社Preferred Networks 注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル
JP7107725B2 (ja) * 2018-04-10 2022-07-27 浜松ホトニクス株式会社 眼球運動特徴量算出システム、眼球運動特徴量算出方法及び眼球運動特徴量算出プログラム
JP7214986B2 (ja) * 2018-06-25 2023-01-31 日本電信電話株式会社 反射性判定装置、反射性判定方法、プログラム
JP7131490B2 (ja) * 2019-06-12 2022-09-06 株式会社デンソー サッカード検出装置、サッカード検出方法、サッカード検出プログラム
JP7131491B2 (ja) * 2019-06-12 2022-09-06 株式会社デンソー サッカード検出装置、サッカード検出方法、サッカード検出プログラム
JP7309152B2 (ja) * 2020-03-04 2023-07-18 日本電信電話株式会社 行動推定装置、行動推定方法および行動推定プログラム
US20240260829A1 (en) * 2021-05-26 2024-08-08 Nippon Telegraph And Telephone Corporation Exercise performance estimation apparatus, exercise performance estimation method, and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013240469A (ja) 2012-05-21 2013-12-05 Tokyo Institute Of Technology 注意位置推定装置
WO2015019542A1 (ja) 2013-08-08 2015-02-12 パナソニックIpマネジメント株式会社 視野算出装置および視野算出方法
JP2015116376A (ja) 2013-12-19 2015-06-25 株式会社デンソー 状態推定装置、および状態推定プログラム
JP2015131069A (ja) 2014-01-16 2015-07-23 日本電信電話株式会社 印象推定装置、その方法、及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013240469A (ja) 2012-05-21 2013-12-05 Tokyo Institute Of Technology 注意位置推定装置
WO2015019542A1 (ja) 2013-08-08 2015-02-12 パナソニックIpマネジメント株式会社 視野算出装置および視野算出方法
JP2015116376A (ja) 2013-12-19 2015-06-25 株式会社デンソー 状態推定装置、および状態推定プログラム
JP2015131069A (ja) 2014-01-16 2015-07-23 日本電信電話株式会社 印象推定装置、その方法、及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
小濱 剛 Takeshi Kohama,固視微動上にみられる視覚的注意の影響,映像情報メディア学会技術報告 ,第21巻 第40号,日本,社団法人映像情報メディア学会,1997年06月19日,頁39-頁44
遠藤 翔 Sho ENDO,視覚的注意の集中時に生じるマイクロサッカードの持続的抑制 Continuous inhibition of microsaccades in attentional concentration,映像情報メディア学会技術報告 Vol.37 No.12 ITE Technical Report,日本,(一社)映像情報メディア学会 The Institute of Image Information and Television Engineers,第37巻, 第12号,p51-54

Also Published As

Publication number Publication date
JP2020124590A (ja) 2020-08-20
JP2017215963A (ja) 2017-12-07
JP6713434B2 (ja) 2020-06-24

Similar Documents

Publication Publication Date Title
JP7070605B2 (ja) 注目範囲推定装置、その方法およびプログラム
US11089985B2 (en) Systems and methods for using mobile and wearable video capture and feedback plat-forms for therapy of mental disorders
EP3617815B1 (en) Work support device, work support method, and work support program
KR102221264B1 (ko) 인간 감정 인식을 위한 딥 생리적 정서 네트워크를 이용한 인간 감정 추정 방법 및 그 시스템
US7344251B2 (en) Mental alertness level determination
JP6755839B2 (ja) 運動パフォーマンス推定装置、その方法、およびプログラム
JP6939533B2 (ja) 注意レベル推定装置、注意レベル推定モデル学習装置、注意レベル推定方法、注意レベル推定モデル学習方法、およびプログラム
Celona et al. A multi-task CNN framework for driver face monitoring
WO2019137538A1 (en) Emotion representative image to derive health rating
CN114648354A (zh) 一种基于眼动追踪和情绪状态的广告测评方法和系统
JP6479708B2 (ja) 特徴量抽出装置、推定装置、それらの方法、およびプログラム
JP6509712B2 (ja) 印象推定装置およびプログラム
JP6377545B2 (ja) 個人識別方法、個人識別装置、プログラム
Sherbakov Computational principles for an autonomous active vision system
JP7522746B2 (ja) 分類方法
US20180082017A1 (en) Method and apparatus for information retrieval
WO2022231589A1 (en) Predicting mental state characteristics of users of wearable devices
Olsen Detecting Human Emotions Using Smartphone Accelerometer Data
JP2017202048A (ja) 特徴量抽出装置、推定装置、それらの方法、およびプログラム
JP7017171B2 (ja) 運動パフォーマンス推定装置、トレーニング装置、それらの方法、およびプログラム
Rajabi et al. Mental Face Image Retrieval Based on a Closed-Loop Brain-Computer Interface
Scardino et al. Recognition of human identity by detection of user activity
Kardam et al. BSPKTM-SIFE-WST: Bispectrum based Channel Selection using Set-Based-Integer-Coded Fuzzy Granular Evolutionary Algorithm and Wavelet Scattering Transform for Motor Imagery EEG Classification
Site et al. Classification of freezing of gait using accelerometer data: A systematic performance evaluation approach
CN118201554A (zh) 认知功能评估系统和训练方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220418

R150 Certificate of patent or registration of utility model

Ref document number: 7070605

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150