JP7070605B2 - 注目範囲推定装置、その方法およびプログラム - Google Patents
注目範囲推定装置、その方法およびプログラム Download PDFInfo
- Publication number
- JP7070605B2 JP7070605B2 JP2020082652A JP2020082652A JP7070605B2 JP 7070605 B2 JP7070605 B2 JP 7070605B2 JP 2020082652 A JP2020082652 A JP 2020082652A JP 2020082652 A JP2020082652 A JP 2020082652A JP 7070605 B2 JP7070605 B2 JP 7070605B2
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- range
- microsaccade
- attention
- estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
Description
以下、無意識下で発生するマイクロサッカードをマイクロサッカードと記載する。
[概要]
まず本形態の概要を説明する。実施形態では、「対象者」の「眼の動的な変化」に基づく「特徴量」を抽出し、抽出された「特徴量」に基づいて「対象者」の「注目範囲」に対応する情報の「推定結果」を得る。例えば、「対象者」の「眼の動的な変化」に基づく「特徴量」を抽出し、抽出された「特徴量」と「推定モデル」または「分類器(識別器)」とに基づき、当該「対象者」の「注目範囲」に対応する情報の「推定結果」を得て出力する。「対象者」の「眼の動的な変化」とその「対象者」が注目している範囲とには密接な関係がある。本形態ではその関係を「推定モデル」または「分類器」としてモデル化する。これにより、「対象者」の眼の動的な変化から注目範囲を推定できる。なお、本願における「注目範囲」は「注意範囲(注意の範囲)」と同義である。
(1)「第1特徴量」に含まれる情報が表す「マイクロサッカード」の発生頻度が、「第2特徴量」に含まれる情報が表す「マイクロサッカード」の発生頻度よりも高い、または
(2)「第1特徴量」に含まれる情報が表す「マイクロサッカード」の振動性が、「第2特徴量」に含まれる情報が表す「マイクロサッカード」の振動性よりも大きい、または
(3)「第1特徴量」に含まれる情報が表す「マイクロサッカード」の減衰係数が、「第2特徴量」に含まれる情報が表す「マイクロサッカード」の減衰係数よりも小さい。
ただし、「マイクロサッカード」の「振動性」とは、「マイクロサッカード」が生じた際に眼球が基準振幅に対してどの程度オーバーシュートをしたかを表す指標である。オーバーシュートの振幅が大きいほど「マイクロサッカード」の「振動性」が大きい。例えば、「マイクロサッカード」の「振動性」を表す情報の例は、「マイクロサッカード」の減衰率またはその関数値、「マイクロサッカード」の減衰係数またはその関数値である。「マイクロサッカード」の減衰率が大きいほど「マイクロサッカード」の「振動性」は大きい。「マイクロサッカード」の減衰係数が大きいほど「マイクロサッカード」の「振動性」は小さい。
「分類器」の学習処理でも、「推定モデル」の学習処理と同様、表示部が、複数の「注目範囲」それぞれに応じた位置に「注視対象」を表示する。当該「注視対象」が表示されるまでの「対象者」の「眼の動的な変化」に基づく「特徴量」(注視対象が表示されたときの対象者の眼の動的な変化に基づく特徴量)は、当該「注視対象」に対応する「注目範囲」それぞれに対応する「特徴量」として抽出される。抽出された「特徴量」を学習用データとして用い、「眼の動的な変化」に基づく「特徴量」を「注目範囲」の広さを示すカテゴリの何れか1つに分類する「分類器」が得られる。なお、表示部から「注視対象」を表示しつつ「特徴量」を取得し、当該「注視対象」に対応する「特徴量」である学習用データを取得する都度、当該学習用データを用いて「分類器」の学習(更新)をしてもよいが、予め表示部を用いて複数の「学習用対象者」から取得した学習用データ対の集合を学習用データとして、一括して分類器を学習してもよい。「分類器」の学習処理の具体例は、サポートベクターマシーン、k-means、単純クラスタリングなどの学習処理である。要するに、学習用特徴量と当該学習用特徴量に対応するカテゴリ(ラベル)の組からなるラベルあり学習用データの集合を入力として、未知の特徴量をいずれかのカテゴリに分類する(未知の特徴量の属するカテゴリの推定値を出力する)ための識別モデルや識別関数等を学習する識別器の学習処理であれば何でも良い。「注目範囲」の広さを示す「カテゴリ」の種類および/または個数は予め定められていてもよいし、学習処理で定められてもよい。「カテゴリ」の例は、「広(large)」「中(medium)」「狭(small)」や「一番広い」「二番目に広い」・・・「八番目に広い」などのように、「注目範囲」の広さを相対的に表現したものである。「カテゴリ」の他の例は、「半径5cmの円の内側の範囲」「半径10cmの円の内側の範囲」「半径20cmの円の内側の範囲」などのように、「注目範囲」の広さを絶対的に表現したものである。なお、この学習処理も、「注目範囲」の推定の対象となる「対象者」自身の「眼の動的な変化」に基づく「特徴量」を用いて行われることが望ましい。これにより、マイクロサッカード等の「眼の動的な変化」に基づく「特徴量」から「対象者」の「注目範囲」を高い精度で推定できる。ただし、「注目範囲」の推定の対象となる「対象者」以外の「眼の動的な変化」に基づく「特徴量」を用いて学習処理が行われてもよい。
次に、図面を用いて第1実施形態を説明する。本形態では「眼の動的な変化」が「マイクロサッカード」である場合を例にとって説明する。ただし、これは本発明を限定するものではなく、その他の「眼の動的な変化」を利用してもよい。
<構成>
図1に例示するように、本形態のシステムは、表示装置10、学習装置11、および推定装置12を含む。学習装置11は、例えば、表示制御部111、眼球情報取得部112、特徴量抽出部113、および学習部114を有する。推定装置12は、例えば、記憶部121,122、および推定部123を有する。推定部123は、例えば、予測分布計算部123a、事後分布計算部123b、および記憶部123cを有する。学習装置11および推定装置12のそれぞれは、例えば、CPU(central processing unit)等のプロセッサ(ハードウェア・プロセッサ)およびRAM(random-access memory)・ROM(read-only memory)等のメモリ等を備える汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。このコンピュータは1個のプロセッサやメモリを備えていてもよいし、複数個のプロセッサやメモリを備えていてもよい。このプログラムはコンピュータにインストールされてもよいし、予めROM等に記録されていてもよい。また、CPUのようにプログラムが読み込まれることで機能構成を実現する電子回路(circuitry)ではなく、プログラムを用いることなく処理機能を実現する電子回路を用いて一部またはすべての処理部が構成されてもよい。また、1個の装置を構成する電子回路が複数のCPUを含んでいてもよい。
次に本形態の処理を説明する。マイクロサッカードに基づく特徴量は、そのヒトの注意状態と関係していると考えられている。本形態では、マイクロサッカードに基づく特徴量と注意状態の関係性に着目し、ヒトの眼の動的な変化の測定によって得られたマイクロサッカードに基づく特徴量から、当該ヒトが注目している範囲を推定する手法を提案する。図4に例示するように、本形態では、まず初めに、心理実験によって、各離散時間tでの対象者100(被験者)の「注目範囲」とマイクロサッカード(MS1~MS3)に基づく特徴量κ(t)との関係性を学習する。すなわち、対象者100が注目する範囲の大きさを共変量とするマーク付き点過程によって、マイクロサッカードに基づく特徴量を表現する。その統計モデルを用い、隠れマルコフモデルの枠組みで逆にマイクロサッカードの対象者100のマイクロサッカードに基づく特徴量κ(t)から、対象者100が注目している範囲の時間変化を推定する。この手法により、対象者100が注目している範囲(注目範囲)の大きさの時間的な変化を推定できる。また、注視点の軌跡のトラッキングと注目範囲の大きさの時間的な変化の推定とを組み合わせることで、対象者100の視線移動によって移動する注目範囲をトラッキングできる。つまり、本形態では新規な以下の3過程を提案する。
・対象者100が注目している範囲の時間変化の推定
・特徴量κ(t)の点過程による統計的モデリング
・注視点の軌跡だけでなく、注目範囲を推定できる視線トラッキング
図3Aを用い、表示装置10および学習装置11(図1)によって行われる学習処理を説明する。対象者100のマイクロサッカードに基づく特徴量と注目範囲の関係性を学習するためには、注目範囲が既知のもとで対象者100に生じたマイクロサッカードに関する時系列情報が必要である。そこで、対象者100の注目範囲を操作する実験を実施し、その間の対象者100のマイクロサッカードに関する時系列情報を取得する。そのために、学習装置11の表示制御部111が表示装置10に制御信号を送り、各離散時間tで半径r(t)の円形の注目範囲101それぞれに応じた位置にターゲット103(注視対象)を表示させる。眼球情報取得部112は、対象者100の各離散時間tでの「眼の動的な変化」に関する時系列情報を取得する。以下に具体的に説明する。
まず表示制御部111は、表示装置10の画面中央に十字マーク104を表示させる。試行中は対象者100にこの十字マーク104を注視させる(ステップS111a)。次に、表示制御部111は、十字マーク104に中心が一致する半径r(t)の円であるキュー101を短時間だけ表示させる。このキュー101が半径r(t)の注目範囲に相当する(ステップS111b)。その後、表示制御部111は、キュー101(注目範囲)の境界線を非表示とする。図5Aでは、キュー101の境界線が表示されていた位置102を点線で示しているが、実際にはこの点線は表示されない(ステップS111c)。次に表示制御部111は、境界線が表示されていた位置102上の上下左右どこかに、黒点のターゲット103を表示させる。対象者100は、ターゲット103の表示方向をできるだけ早く入力部(図示せず)に入力する(ステップS111d)。眼球情報取得部112は、各離散時間tでの対象者100の「眼の動的な変化」に関する時系列情報を取得し、取得した「目の動的な変化」に関する時系列情報を特徴量抽出部113へ出力する。この処理の具体例は後述する。表示制御部111は各離散時刻tでの半径r(t)を学習部114に送る(ステップS112)。ステップS111a~S111d,S112の処理は、半径r(t)の大きさを変えながら複数回繰り返される。
ステップS112の詳細を説明する。眼球情報取得部112は、対象者100の各離散時間tの「眼の動的な変化」に関する時系列情報を取得し、取得した眼の動的な変化に関する時系列情報を特徴量抽出部113へ出力する。本形態では、「眼の動的な変化」として対象者100の眼球自体の動きを取得する。眼球情報取得部112は、両眼の動的な変化に関する時系列情報を取得してもよいし、何れか一方の眼の動的な変化に関する時系列情報を取得してもよい。
特徴量抽出部113は、取得された「眼の動的な変化」に関する時系列情報から、各離散時間tに対応する時間区間Ftでのマイクロサッカードに基づく特徴量κ(t)を抽出する。例えば、特徴量抽出部113は、各時間区間Ftにおいて、対象者100のマイクロサッカードに基づく特徴を表すマークκt,1,…,κt,dを要素としたスカラまたはベクトルを特徴量κ(t)=(κt,1,…,κt,d)として抽出する(図6Aおよび図6B)。ただし、dは1以上の整数であり、特徴量κ(t)がスカラである場合にはd=1であり、特徴量κ(t)がベクトルである場合にはd≧2である。時間区間Ftの例は離散時間tを基準とした固定長の時間区間である。例えば、離散時間tから開始する固定長の時間区間が時間区間Ftであってもよいし、離散時間tを中心とした固定長の時間区間が時間区間Ftであってもよいし、離散時間tで終了する固定長の時間区間が時間区間Ftであってもよい。その他、離散時間tを基準とした可変長の時間区間が時間区間Ftであてもよい。マイクロサッカードをマーク付き点過程で表現する場合、特徴量κ(t)は必ずしも同じ長さ(同じd)となるとは限らない。マーク付き点過程で表現する場合、特徴量κ(t)は時間区間Ft内で発生したマイクロサッカードのマークの集合を表すため、すべての離散時間tでdが同一となることは通常ない。時間区間Ft内でマイクロサッカードが発生しなければd=0となり、この場合には特徴量κ(t)は空集合となる。すなわち、空集合の特徴量κ(t)は、時間区間Ft内でマイクロサッカードが発生しなかったことを表す。あるいは、時間区間Ft内でマイクロサッカードが発生しなかった場合に、特徴量κ(t)を特殊な定数に設定してもよい。
本形態では、「眼球自体の動き」に基づく特徴量として「マイクロサッカード」に基づく特徴量を用いる。「マイクロサッカード」とは、眼球の動きに表れる微細な跳躍性眼球運動をいう。人間がある一点を注視しているとき、眼球は完全に動きを止めているわけではなく、固視微動と呼ばれる三種類の眼球運動であるドリフト(drift、trendといってもよい)、トレマ、マイクロサッカード(フリックといってもよい)を行っている。ドリフトは小さな滑らかな動き、トレマは非常に小さな高周波の振動、マイクロサッカードは小さな跳ぶような動きである。図4を用いてマイクロサッカードを例示する。図4の最上段の図および図6AではマイクロサッカードMS1~MS3を太線で強調して示す。マイクロサッカードはある一点を注視している状態において、1~2秒の間に1回程度、個人の意思とは関係なく(不随意に)表れる眼球の動きであって、小さな跳ぶような動きのことである。マイクロサッカードは、動きの水平方向の成分、垂直方向の成分のどちらからでも取得することができる。本実施形態では、マイクロサッカードが水平方向に偏向する性質に基づき、簡単のため水平方向の成分のみを用いる。しかし、本発明で用いることができるマイクロサッカードの方向成分は水平方向に限定されない。なお、「水平方向」とは、地面と平行な方向に限定する意味ではなく、対象者100の顔に対しての水平方向(眼球の配列方向であり、横方向、幅方向といってもよい)や眼球情報取得部112において水平方向と定義された方向を含む概念である。
(1)基準振幅A:マイクロサッカードによる眼球の動きが収束したときの移動量である。
(2)最大速度Vmax:基準振幅A+オーバーシュートの振幅Aoに達するまでの最大の速度である。
(3)持続時間Dm:マイクロサッカードが起きている時間区間の長さである。マイクロサッカードの開始時刻は1次階差系列の絶対値が所定の閾値を上回る時刻で、マイクロサッカードの終了時刻は、オーバーシュートの振幅に達したあとに初めて基準振幅Aに戻る時刻である。
(4)オーバーシュート(overshoot)の振幅Ao:マイクロサッカードによって基準振幅Aを超過した(行き過ぎた)部分の量である。オーバーシュートとは、波形の立ち上がり部分で、波形が基準振幅Aを超えて突出する現象、または、その突出した波形である。言い換えると、オーバーシュートの振幅とは、突出した部分の量である。
(5)オーバーシュートの速度Vo:基準振幅A+オーバーシュートの振幅Aoから基準振幅Aに収束しようとする際の最大の速度である。
(6)立ち上がり時間K:基準振幅A+オーバーシュートの振幅Aoに達する(立ち上がる)までにかかる時間である。なお、基準振幅A+オーバーシュートの振幅Aoに達するまでにかかる時間は、最大速度Vmaxからオーバーシュートの速度Voに達するまでにかかる時間と同じ値となる。
(7)減衰率λ:基準振幅Aに対するオーバーシュートの振幅Aoの比である。最大速度Vmaxに対するオーバーシュートの速度Voの比としてもよく、
と表される。
と表される。固有角振動数ωnはマイクロサッカードの応答の速さを表す指標に相当し、減衰係数ζはマイクロサッカードの応答の収束性を表す指標に相当する。
対象者100の「眼の動的な変化」(例えばマイクロサッカード)がキュー101の半径r(t)を引数にとるような条件付強度関数をもつマークつき点過程から生成されていると考える。そのもとで、計測された対象者100のマイクロサッカードに基づく特徴量κ(t)を用いて条件付強度関数である頻度g(r,κ)の推定を行う。ここでは簡単のため、r(t)が有限個の値しかとらないと仮定する。つまり、∀tに対してr(t)∈{ξ1,…,ξm}であるとする。mは1以上の整数である。マークκの例は、マイクロサッカードの基準振幅Aの絶対値|A|、最大速度Vmax、持続時間Dm、減衰係数ζ、固有角振動数ωnなどを含むベクトルである。
λ(t,κ|r(t))=g(r(t),κ), g: unknown
ただし、λ(t,κ|r(t))は、「時間区間Ftにおいてr(t)が与えられたもとでマークがκである事象が単位時間あたりに発生する確率」を表す。
次に図3Bを用い、推定装置12(図1)によって行われる推定処理を説明する。推定処理では、新たに眼球情報取得部112が各離散時間tでの対象者100の「眼の動的な変化」に関する時系列情報を取得し、取得した「目の動的な変化」に関する時系列情報を特徴量抽出部113へ出力する。この処理の具体例は前述のステップS112のものと同じである。ただし、表示装置10での表示は行われない。特徴量抽出部113は、送られた「眼の動的な変化」に関する時系列情報を入力とし、各離散時間tでのマイクロサッカードに基づく特徴量κ(t)を得て出力する。特徴量κ(t)は前述のステップS113と同じ方法で抽出される。ただし、表示装置10での表示は行われない。推定処理で抽出された特徴量κ(t)は記憶部121に格納される。
(Pr(rq=ξ1),…,Pr(rq=ξm))=(Pr(rq-1=ξ1),…,Pr(rq-1=ξm))・P
ただし、Pr(β)は事象βが生じる確率であり、mは正整数であり、注目範囲の半径は集合{ξ1,…,ξm}の何れかの要素となると仮定する。(Puj)はu行j列の要素をPujとする行列を意味し、u=1,...,mであり、j=1,...,mである。
ステップS123aでは、予測分布計算部123aが、記憶部123cからPr(rq-1=ξu|ν(q-1))(第1事後確率分布)を抽出し、確率推移行列Pを用いて以下のPr(rq=ξu|ν(q-1))(第2事後確率分布)を計算して出力する。
ステップS123bでは、事後分布計算部123bが、ステップS123bで得られたPr(rq=ξu|ν(q-1))、記憶部122から読み込んだg(r,κ)、記憶部123cから読み込んだsκqを入力とし、以下のPr(rq=ξj|ν(q))(第3事後確率分布)を計算して出力する。
上述した手法による実験結果を示す。この実験では、眼球情報取得部112で取得された240秒間のデータに基づいて得られたマイクロサッカードに基づく特徴量を用いてg(r,κ)を学習し、別の240秒間のデータに基づいて得られたマイクロサッカードに基づく特徴量を用いてキュー(注目範囲)の半径を推定した。比較のため、この実験ではキューの半径の推定時にも被験者にキューを呈示した(図5A)。図10Aおよび図10Bにこの推定結果を示す。なお、これらの図の横軸は離散時間を表し、縦軸はキューの半径を示す。破線は、上述のように推定された各離散時間でのキューの半径についての事後確率分布のうち、離散時間tごとに最も確率の高いものをr(t)とした推定値(Predict)を表す。実線は、この推定処理の際に被験者に呈示したキューの半径(True)を表す。被験者1ではMSE(Means Square Error)の平方根が√MES=47.819となり、そのチャンスレベル√MES=89.256を下回っている。同様に被験者2では√MES=70.569となり、そのチャンスレベル√MES=92.304を下回っている。いずれも、チャンスレベルを下回る推定ができており、注目範囲を有効に推定できていることが分かる。
以上のように、マイクロサッカードから注目範囲を推定できる。従来の視線トラッキング技術によって得られるのは注視点の軌跡のみであった。そのため、トラッキングの結果からその人が実際に何を見ていたかがわかるわけではない。ある時間窓における注視点の分布によって何に着目していたかを推定するということも考えられるが、このアプローチでは注目している対象がどう移り変わったかなどの時間方向の変化を捉えることができない。一方、本形態の手法によって注目範囲を推定した場合、その推定された注目範囲と注視点のトラッキング結果とを組み合わせることで注目対象の時間変化を詳細に追跡することもできる。特にマイクロサッカードは一点を注視している状態でも発生するため、注視点が動かない状況での注目対象の変化をも捉えることができる。さらにマイクロサッカードは無意識下で発生する現象であるため、各ヒトの意思が推定結果に影響を与えないという点でロバストである。
次に、図面を用いて第2実施形態を説明する。第1実施形態では、注目範囲の半径と眼の動的な変化を表す特徴量との関係を学習した推定モデルを用いて、対象者から取得した眼の動的な変化を表す特徴量から注目範囲の大きさ(半径)を推定した。第2実施形態では、注目範囲の大きさ(半径)の代わりに、注目範囲の広さの程度(広いか狭いか等)を推定する。なお、本形態でも「眼の動的な変化」が「マイクロサッカード」である場合を例にとって説明する。ただし、これは本発明を限定するものではなく、その他の「眼の動的な変化」を利用してもよい。
図1に例示するように、本形態のシステムは、表示装置10、学習装置21、および推定装置22を含む。学習装置21は、例えば、表示制御部111、眼球情報取得部112、特徴量抽出部213、および学習部214を有する。推定装置22は、例えば、記憶部221,222、および推定部223を有する。学習装置21および推定装置22のそれぞれは、例えば、前述の汎用または専用のコンピュータが所定のプログラムを実行することで構成される装置である。
図3Aを用い、表示装置10および学習装置21(図1)によって行われる学習処理を説明する。本形態でも、対象者100の注目範囲を操作する実験を実施し、その間の対象者100のマイクロサッカードに関する時系列情報を取得する。そのために、学習装置21の表示制御部211が表示装置10に制御信号を送り、各離散時間tで広さL(t)の注目範囲それぞれに応じた位置にターゲット103(注視対象)を表示させる。眼球情報取得部112は、対象者100の各離散時間tでの「眼の動的な変化」に関する時系列情報を取得する。広さL(t)の注目範囲は、予め定められた複数個の注目範囲の候補の何れかである。注目範囲の候補の例は、広い注目範囲LL、中ほどの注目範囲LM、および狭い注目範囲LSの3段階の候補である。ただし、注目範囲LLは注目範囲LMよりも広く、注目範囲LMは注目範囲LSよりも広い。その他、広い注目範囲LLおよび狭い注目範囲LSのみからなる2段階の注目範囲の候補としてもよいし、4段階以上の注目範囲の候補としてもよい。広さL(t)の注目範囲の形状は円形や多角形等などどのような形状でもよい。広さL(t)の注目範囲の一例は、第1実施形態で説明した半径r(t)の円形の内側の範囲である。本形態の場合、注目範囲の候補は注目範囲の広さを示すカテゴリに対応する。例えば、注目範囲の候補が、広い注目範囲LL、中ほどの注目範囲LM、および狭い注目範囲LSの3種類である場合、注目範囲LL,LM,LSには、「広」,「中」,「狭」のカテゴリがそれぞれ対応する。例えば、注目範囲の候補が、広い注目範囲LL、および狭い注目範囲LSの2種類である場合、注目範囲LL,LSには、「広」,「狭」のカテゴリがそれぞれ対応する。眼球情報取得部112は、対象者100の各離散時間tでの「眼の動的な変化」に関する時系列情報を取得して出力する。この処理の具体例は、第1実施形態のステップS111a~S111d,S112の処理である。この例のステップS111a~S111d,S112の処理も、半径r(t)の大きさを変えながら複数回繰り返される。
(1)第1特徴量に含まれる情報が表すマイクロサッカードの発生頻度が、第2特徴量に含まれる情報が表すマイクロサッカードの発生頻度よりも高い。
(2)第1特徴量に含まれる情報が表すマイクロサッカードの振動性が、第2特徴量に含まれる情報が表すマイクロサッカードの振動性よりも大きい。
(3)第1特徴量に含まれる情報が表すマイクロサッカードの減衰係数が、第2特徴量に含まれる情報が表すマイクロサッカードの減衰係数よりも小さい。
次に推定装置22によって行われる推定処理を説明する。本形態の推定処理では、新たに眼球情報取得部112が各離散時間tでの対象者100の「眼の動的な変化」に関する時系列情報を取得し、取得した「目の動的な変化」に関する時系列情報を特徴量抽出部213へ出力する。この処理の具体例は前述のステップS112のものと同じである。ただし、表示装置10での表示は行われない。特徴量抽出部213は、送られた「眼の動的な変化」に関する時系列情報を入力とし、各離散時間tでのマイクロサッカードに基づく特徴量κ(t)を得て出力する。特徴量κ(t)は前述のステップS213と同じ方法で抽出される。ただし、表示装置10での表示は行われない。推定処理で抽出された特徴量κ(t)は記憶部221に格納される。
(1)第1特徴量に含まれる情報が表すマイクロサッカードの発生頻度が、第2特徴量に含まれる情報が表すマイクロサッカードの発生頻度よりも高い。
(2)第1特徴量に含まれる情報が表すマイクロサッカードの振動性が、第2特徴量に含まれる情報が表すマイクロサッカードの振動性よりも大きい。
(3)第1特徴量に含まれる情報が表すマイクロサッカードの減衰係数が、第2特徴量に含まれる情報が表すマイクロサッカードの減衰係数よりも小さい。
本形態では、マイクロサッカード(眼の動的な変化)に基づく特徴量を注目範囲の広さを示すカテゴリの何れか1つに分類することで、マイクロサッカードから注目範囲を推定できる。また、本形態の手法によって注目範囲を推定した場合、その推定された注目範囲と注視点のトラッキング結果とを組み合わせることで注目対象の時間変化を詳細に追跡することもできる。特にマイクロサッカードは一点を注視している状態でも発生するため、注視点が動かない状況での注目対象の変化をも捉えることができる。さらにマイクロサッカードは無意識下で発生する現象であるため、各ヒトの意思が推定結果に影響を与えないという点でロバストである。
なお、本発明は上述の実施形態に限定されるものではない。例えば、本形態では、推定装置121,221は学習装置11,21に備えられた眼球情報取得部112および特徴量抽出部113,213によって得られた特徴量を用いて注目範囲を推定した。しかし、推定装置121,221がその他の眼球情報取得部および特徴量抽出部によって得られた特徴量を用い、注目範囲を推定してもよい。例えば、推定装置121,221が眼球情報取得部および特徴量抽出部を備え、自ら備えた眼球情報取得部および特徴量抽出部によって得られた特徴量を用い、注目範囲を推定してもよい。
スムージングを用いた推定処理では、観測区間上で観測されたすべての眼の動的な変化が与えられたもとでのr(t)の事後分布を計算する。オンラインでの推定はできないが、観測されたすべての情報を使うことで推定の精度を上げることができる。
ある一つの系列を推定値として計算したいとする。このとき、フィルタリングおよびスムージングを用いて計算した半径の事後分布から各離散時間でのMAPを計算し、それを並べた系列を推定値とするという方法が考えられる。しかしながら,このようにして作成した系列は必ずしも最も尤からしい系列にはならない。一方、ビタビアルゴリズムでは状態変数の最尤系列を動的計画法によって計算する。これにより、最も尤からしい半径の系列を得ることができる。
上述のフィルタリングを用いた例では、任意な確率推移行列Pおよび初期分布Pr(r0=ξu)を用いた。バウムウェルチアルゴリズムを用いることで、特徴量のデータからこれらの確率推移行列Pおよび初期分布Pr(r0=ξu)(ただし、u=1,...,m)を推定できる。確率推移行列Pおよび初期分布Pr(r0=ξu)を適当に与えるのが難しい場合はこのアルゴリズムを用いてデータからそれらの値を推定すればよい。バウムウェルチアルゴリズムの初期値を0とした確率推移行列Pの成分は推定値も0になる。隣の状態にしか遷移しないようなモデルを考えたい場合は、適当な三重対角行列をバウムウェルチアルゴリズムの初期値として与えればよい。
「眼球自体の動き」に基づく特徴量として、ラージサッカードに基づく特徴量が用いられてもよい。「ラージサッカード」とは、マイクロサッカードよりも振幅の大きな跳躍性眼球運動をいい、一般に振幅が視野角2度以上の場合をラージサッカード、2度未満のものをマイクロサッカードとする。特徴量抽出部113は、前述の基準振幅Aが所定の閾値以上となった時刻を、ラージサッカードの起きた開始時刻として検出すればよい。ラージサッカードの特徴の例は、ラージサッカードの発生タイミングに基づく値Z、運動方向に応じた値D、基準振幅A、最大速度Vmax、持続時間Dm、オーバーシュートの振幅Ao、オーバーシュートの速度Vo、立ち上がり時間K、減衰率λ、減衰係数ζ、固有角振動数ωn、単位時間あたりの発生回数Rm、発生回数などであり、これらの少なくとも一部をラージサッカードに基づく特徴量の要素とできる。これらのラージサッカードの特徴は、前述したマイクロサッカードの特徴の「マイクロサッカード」を「ラージサッカード」に置換したものである。時間区間Ftで発生したラージサッカードの特徴量の少なくとも何れかを特徴量κ(t)の何れかの要素としてもよい。前述した理由より、特にラージサッカードの発生タイミングに基づく値Z、運動方向に応じた値D、基準振幅Aの絶対値|A|、減衰係数ζを用いることが望ましい。
図7に例示したように、瞳孔の大きさは一定ではなく、変化している。瞳孔の大きさは交感神経系の支配を受けた瞳孔散大筋によって拡大(散瞳)し、副交感神経系の支配を受けた瞳孔括約筋によって収縮(縮瞳)する。瞳孔の大きさの変化は主に対光反射、輻輳反射、感情による変化の3つに区別される。対光反射は、網膜に入射する光量を制御するために瞳孔の大きさが変化する反応のことで、強い光に対しては縮瞳、暗所では散瞳が生じる。輻輳反射は、焦点を合わせる際に両眼が内転あるいは外転する運動(輻輳運動)に伴って瞳孔径が変化する反応のことで、近くを見るときには縮瞳、遠くを見るときには散瞳が生じる。感情による変化は、上記のいずれにもよらず外界のストレスに対して生じる反応のことで、怒りや驚き、活発な活動に伴って交感神経が優位となる際には散瞳が生じ、リラックスして副交感神経が優位となる際には縮瞳が生じる。「瞳孔の動き」に基づく特徴量としては、縮瞳に基づく特徴量や散瞳に基づく特徴量を用いることができる。
縮瞳の開始する時刻(以下、縮瞳開始点)は、瞳孔の大きさの時系列から極大点を抽出することによって検出する。縮瞳の終了する時刻(以下、縮瞳終了点)は、縮瞳開始以降初めて散瞳が開始した点、または縮瞳開始以降初めて瞬目が開始した点のうち、時間が早い方とする。縮瞳の振幅Acは、縮瞳開始点から縮瞳終了点までの瞳孔径の差である。縮瞳の持続時間Dcは、縮瞳開始点から縮瞳終了点までの時間差である。平均縮瞳の速度Vcは、(振幅Ac)/(持続時間Dc)である。時間区間Ftで発生した縮瞳の振幅Ac、縮瞳の持続時間Dc、平均縮瞳の速度Vc、縮瞳の発生回数などを縮瞳の特徴とでき、それらの少なくとも一部を時間区間Ftでの「瞳孔の動き」に基づく特徴量の要素とできる。すなわち、特徴量抽出部113は、時間区間Ftで発生した縮瞳の振幅Ac、縮瞳の持続時間Dc、平均縮瞳の速度Vc、縮瞳の発生回数の少なくとも何れかを特徴量κ(t)の何れかの要素としてもよい。時間区間Ftにおいて縮瞳が複数検出された場合、一つ一つの縮瞳について求めた縮瞳の振幅Ac、縮瞳の持続時間Dc、平均縮瞳の速度Vcのそれぞれの代表値の何れかを特徴量κ(t)の何れかの要素としてもよい。なお、ノイズによる誤検出を防ぐために、縮瞳の持続時間が所定の閾値(例えば、10ms)以下の場合、あるいは縮瞳の振幅が所定の閾値以下の場合は、その縮瞳を検出から除外してもよい。
散瞳の開始する時刻(以下、散瞳開始点)は、瞳孔径の時系列から極小点を抽出することによって検出する。散瞳の終了する時刻(以下、散瞳終了点)は、散瞳開始以降初めて縮瞳が開始した点、または散瞳開始以降初めて瞬目が開始した点のうち、時間が早い方とする。散瞳の振幅Adは、散瞳開始点から散瞳終了点までの瞳孔径の差である。散瞳の持続時間Ddは、散瞳開始点から散瞳終了点までの時間差である。散瞳の平均速度Vdは、(振幅Ad)/(持続時間Dd)である。時間区間Ftで発生した散瞳の振幅Ad、散瞳の持続時間Dd、平均散瞳の速度Vd、散瞳の発生回数などを散瞳の特徴とでき、それらの少なくとも一部を時間区間Ftでの「瞳孔の動き」に基づく特徴量の要素とできる。すなわち、特徴量抽出部113は、時間区間Ftで発生した散瞳の振幅Ad、散瞳の持続時間Dd、平均散瞳の速度Vd、散瞳の発生回数の少なくとも何れかを特徴量κ(t)の何れかの要素としてもよい。時間区間Ftにおいて散瞳が複数検出された場合、一つ一つの散瞳について求めた散瞳の振幅Ad、散瞳の持続時間Dd、平均散瞳の速度Vdのそれぞれの代表値の何れかを特徴量κ(t)の何れかの要素としてもよい。なお、ノイズによる誤検出を防ぐために、散瞳の持続時間が所定の閾値(例えば、10ms)以下の場合、あるいは散瞳の振幅が所定の閾値以下の場合は、その散瞳を検出から除外してもよい。
12 推定装置
Claims (6)
- 対象生物の眼の動的な変化に基づく特徴量を抽出する特徴量抽出部と、
眼の動的な変化に基づく特徴量の変数と注目範囲の変数との関係を表す推定モデルと、前記特徴量抽出部で抽出された前記特徴量とに基づき、前記対象生物の注目範囲の推定結果を得て出力する推定部と、を有する注目範囲推定装置であって、
前記特徴量は、
前記対象生物のマイクロサッカードの減衰係数を表す情報を含む、
注目範囲推定装置。 - 対象生物の眼の動的な変化に基づく特徴量を抽出する特徴量抽出部と、
眼の動的な変化に基づく特徴量の変数と注目範囲に対応する情報の変数との関係を表す推定モデルと、前記特徴量抽出部で抽出された前記特徴量とに基づき、前記対象生物の注目範囲に対応する情報の推定結果を得て出力する推定部と、を有する注目範囲推定装置であって、
前記眼の動的な変化に基づく特徴量は、
前記対象生物のマイクロサッカードの発生頻度を表す情報と、マイクロサッカードの減衰係数を表す情報と、のうちの少なくとも何れかを含み、
前記推定部が、第1特徴量である前記特徴量に基づいて第1注目範囲である前記注目範囲に対応する情報の前記推定結果を得、第2特徴量である前記特徴量に基づいて前記第1注目範囲よりも狭い第2注目範囲である前記注目範囲に対応する情報の前記推定結果を得、
(1)前記第1特徴量に含まれる情報が表す前記マイクロサッカードの発生頻度が、前記第2特徴量に含まれる情報が表す前記マイクロサッカードの発生頻度よりも高い、または
(2)前記第1特徴量に含まれる情報が表すマイクロサッカードの減衰係数が、前記第2特徴量に含まれる情報が表すマイクロサッカードの減衰係数よりも小さい、
の少なくとも何れかが満たされる、注目範囲推定装置。 - 請求項1または2の注目範囲推定装置であって、
前記特徴量抽出部は、前記特徴量の時系列を抽出し、
前記推定部は、前記推定モデルと、前記特徴量抽出部で抽出された前記特徴量の時系列とに基づき、前記推定結果の時系列を得て出力する、注目範囲推定装置。 - 対象生物の眼の動的な変化に基づく特徴量を抽出する特徴量抽出ステップと、
眼の動的な変化に基づく特徴量の変数と注目範囲の変数との関係を表す推定モデルと、前記特徴量抽出ステップで抽出された前記特徴量とに基づき、前記対象生物の注目範囲の推定結果を得て出力する推定ステップと、
を有する注目範囲推定方法であって、
前記特徴量は、
前記対象生物のマイクロサッカードの減衰係数を表す情報を含む、注目範囲推定方法。 - 対象生物の眼の動的な変化に基づく特徴量を抽出する特徴量抽出ステップと、
眼の動的な変化に基づく特徴量の変数と注目範囲に対応する情報の変数との関係を表す推定モデルと、前記特徴量抽出ステップで抽出された前記特徴量とに基づき、前記対象生物の注目範囲に対応する情報の推定結果を得て出力する推定ステップと、
を有する注目範囲推定方法であって、
前記眼の動的な変化に基づく特徴量は、
前記対象生物のマイクロサッカードの発生頻度を表す情報と、マイクロサッカードの減衰係数を表す情報と、のうちの少なくとも何れかを含み、
前記推定ステップで、第1特徴量である前記特徴量に基づいて第1注目範囲である前記注目範囲に対応する情報の前記推定結果を得、第2特徴量である前記特徴量に基づいて前記第1注目範囲よりも狭い第2注目範囲である前記注目範囲に対応する情報の前記推定結果を得、
(1)前記第1特徴量に含まれる情報が表す前記マイクロサッカードの発生頻度が、前記第2特徴量に含まれる情報が表す前記マイクロサッカードの発生頻度よりも高い、または
(2)前記第1特徴量に含まれる情報が表すマイクロサッカードの減衰係数が、前記第2特徴量に含まれる情報が表すマイクロサッカードの減衰係数よりも小さい、
の少なくとも何れかが満たされる、注目範囲推定方法。 - 請求項1から4のいずれかの注目範囲推定装置としてコンピュータを機能させるためのプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016107570 | 2016-05-30 | ||
JP2016107570 | 2016-05-30 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017106157A Division JP6713434B2 (ja) | 2016-05-30 | 2017-05-30 | 注目範囲推定装置、学習装置、それらの方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020124590A JP2020124590A (ja) | 2020-08-20 |
JP7070605B2 true JP7070605B2 (ja) | 2022-05-18 |
Family
ID=60575751
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017106157A Active JP6713434B2 (ja) | 2016-05-30 | 2017-05-30 | 注目範囲推定装置、学習装置、それらの方法およびプログラム |
JP2020082652A Active JP7070605B2 (ja) | 2016-05-30 | 2020-05-08 | 注目範囲推定装置、その方法およびプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017106157A Active JP6713434B2 (ja) | 2016-05-30 | 2017-05-30 | 注目範囲推定装置、学習装置、それらの方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP6713434B2 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6755839B2 (ja) * | 2017-08-08 | 2020-09-16 | 日本電信電話株式会社 | 運動パフォーマンス推定装置、その方法、およびプログラム |
JP6821611B2 (ja) * | 2018-01-22 | 2021-01-27 | 日本電信電話株式会社 | 推定装置、その方法、及びプログラム |
JP7118697B2 (ja) | 2018-03-30 | 2022-08-16 | 株式会社Preferred Networks | 注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル |
JP7107725B2 (ja) * | 2018-04-10 | 2022-07-27 | 浜松ホトニクス株式会社 | 眼球運動特徴量算出システム、眼球運動特徴量算出方法及び眼球運動特徴量算出プログラム |
JP7214986B2 (ja) * | 2018-06-25 | 2023-01-31 | 日本電信電話株式会社 | 反射性判定装置、反射性判定方法、プログラム |
JP7131490B2 (ja) * | 2019-06-12 | 2022-09-06 | 株式会社デンソー | サッカード検出装置、サッカード検出方法、サッカード検出プログラム |
JP7131491B2 (ja) * | 2019-06-12 | 2022-09-06 | 株式会社デンソー | サッカード検出装置、サッカード検出方法、サッカード検出プログラム |
JP7309152B2 (ja) * | 2020-03-04 | 2023-07-18 | 日本電信電話株式会社 | 行動推定装置、行動推定方法および行動推定プログラム |
US20240260829A1 (en) * | 2021-05-26 | 2024-08-08 | Nippon Telegraph And Telephone Corporation | Exercise performance estimation apparatus, exercise performance estimation method, and program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013240469A (ja) | 2012-05-21 | 2013-12-05 | Tokyo Institute Of Technology | 注意位置推定装置 |
WO2015019542A1 (ja) | 2013-08-08 | 2015-02-12 | パナソニックIpマネジメント株式会社 | 視野算出装置および視野算出方法 |
JP2015116376A (ja) | 2013-12-19 | 2015-06-25 | 株式会社デンソー | 状態推定装置、および状態推定プログラム |
JP2015131069A (ja) | 2014-01-16 | 2015-07-23 | 日本電信電話株式会社 | 印象推定装置、その方法、及びプログラム |
-
2017
- 2017-05-30 JP JP2017106157A patent/JP6713434B2/ja active Active
-
2020
- 2020-05-08 JP JP2020082652A patent/JP7070605B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013240469A (ja) | 2012-05-21 | 2013-12-05 | Tokyo Institute Of Technology | 注意位置推定装置 |
WO2015019542A1 (ja) | 2013-08-08 | 2015-02-12 | パナソニックIpマネジメント株式会社 | 視野算出装置および視野算出方法 |
JP2015116376A (ja) | 2013-12-19 | 2015-06-25 | 株式会社デンソー | 状態推定装置、および状態推定プログラム |
JP2015131069A (ja) | 2014-01-16 | 2015-07-23 | 日本電信電話株式会社 | 印象推定装置、その方法、及びプログラム |
Non-Patent Citations (2)
Title |
---|
小濱 剛 Takeshi Kohama,固視微動上にみられる視覚的注意の影響,映像情報メディア学会技術報告 ,第21巻 第40号,日本,社団法人映像情報メディア学会,1997年06月19日,頁39-頁44 |
遠藤 翔 Sho ENDO,視覚的注意の集中時に生じるマイクロサッカードの持続的抑制 Continuous inhibition of microsaccades in attentional concentration,映像情報メディア学会技術報告 Vol.37 No.12 ITE Technical Report,日本,(一社)映像情報メディア学会 The Institute of Image Information and Television Engineers,第37巻, 第12号,p51-54 |
Also Published As
Publication number | Publication date |
---|---|
JP2020124590A (ja) | 2020-08-20 |
JP2017215963A (ja) | 2017-12-07 |
JP6713434B2 (ja) | 2020-06-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7070605B2 (ja) | 注目範囲推定装置、その方法およびプログラム | |
US11089985B2 (en) | Systems and methods for using mobile and wearable video capture and feedback plat-forms for therapy of mental disorders | |
EP3617815B1 (en) | Work support device, work support method, and work support program | |
KR102221264B1 (ko) | 인간 감정 인식을 위한 딥 생리적 정서 네트워크를 이용한 인간 감정 추정 방법 및 그 시스템 | |
US7344251B2 (en) | Mental alertness level determination | |
JP6755839B2 (ja) | 運動パフォーマンス推定装置、その方法、およびプログラム | |
JP6939533B2 (ja) | 注意レベル推定装置、注意レベル推定モデル学習装置、注意レベル推定方法、注意レベル推定モデル学習方法、およびプログラム | |
Celona et al. | A multi-task CNN framework for driver face monitoring | |
WO2019137538A1 (en) | Emotion representative image to derive health rating | |
CN114648354A (zh) | 一种基于眼动追踪和情绪状态的广告测评方法和系统 | |
JP6479708B2 (ja) | 特徴量抽出装置、推定装置、それらの方法、およびプログラム | |
JP6509712B2 (ja) | 印象推定装置およびプログラム | |
JP6377545B2 (ja) | 個人識別方法、個人識別装置、プログラム | |
Sherbakov | Computational principles for an autonomous active vision system | |
JP7522746B2 (ja) | 分類方法 | |
US20180082017A1 (en) | Method and apparatus for information retrieval | |
WO2022231589A1 (en) | Predicting mental state characteristics of users of wearable devices | |
Olsen | Detecting Human Emotions Using Smartphone Accelerometer Data | |
JP2017202048A (ja) | 特徴量抽出装置、推定装置、それらの方法、およびプログラム | |
JP7017171B2 (ja) | 運動パフォーマンス推定装置、トレーニング装置、それらの方法、およびプログラム | |
Rajabi et al. | Mental Face Image Retrieval Based on a Closed-Loop Brain-Computer Interface | |
Scardino et al. | Recognition of human identity by detection of user activity | |
Kardam et al. | BSPKTM-SIFE-WST: Bispectrum based Channel Selection using Set-Based-Integer-Coded Fuzzy Granular Evolutionary Algorithm and Wavelet Scattering Transform for Motor Imagery EEG Classification | |
Site et al. | Classification of freezing of gait using accelerometer data: A systematic performance evaluation approach | |
CN118201554A (zh) | 认知功能评估系统和训练方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200508 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210706 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210802 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220309 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220418 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7070605 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |