JP7423005B2 - 瞳孔径変化を用いた視線計測用キャリブレーション方法及び装置、並びに視線計測装置及びカメラ装置 - Google Patents
瞳孔径変化を用いた視線計測用キャリブレーション方法及び装置、並びに視線計測装置及びカメラ装置 Download PDFInfo
- Publication number
- JP7423005B2 JP7423005B2 JP2020084816A JP2020084816A JP7423005B2 JP 7423005 B2 JP7423005 B2 JP 7423005B2 JP 2020084816 A JP2020084816 A JP 2020084816A JP 2020084816 A JP2020084816 A JP 2020084816A JP 7423005 B2 JP7423005 B2 JP 7423005B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pupil diameter
- eyeball
- optical axis
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000001747 pupil Anatomy 0.000 title claims description 134
- 238000005259 measurement Methods 0.000 title claims description 81
- 238000000034 method Methods 0.000 title claims description 39
- 230000003287 optical effect Effects 0.000 claims description 126
- 210000005252 bulbus oculi Anatomy 0.000 claims description 119
- 230000008859 change Effects 0.000 claims description 65
- 230000000007 visual effect Effects 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000003384 imaging method Methods 0.000 claims description 9
- 230000003387 muscular Effects 0.000 claims description 2
- 230000002596 correlated effect Effects 0.000 claims 3
- 238000010586 diagram Methods 0.000 description 17
- 210000001508 eye Anatomy 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 9
- 230000001179 pupillary effect Effects 0.000 description 9
- 239000003550 marker Substances 0.000 description 7
- 210000003205 muscle Anatomy 0.000 description 7
- 210000004087 cornea Anatomy 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 241000282326 Felis catus Species 0.000 description 5
- 241001465754 Metazoa Species 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 206010027646 Miosis Diseases 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003547 miosis Effects 0.000 description 2
- 230000002911 mydriatic effect Effects 0.000 description 2
- 238000005312 nonlinear dynamic Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003042 antagnostic effect Effects 0.000 description 1
- 230000002567 autonomic effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Landscapes
- Position Input By Displaying (AREA)
Description
特許文献2に開示された視線計測装置は、ディスプレイ画面を見ているユーザについて、光源からの光が反射した眼球画像をカメラで取得し、眼球画像から角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出し、算出した光軸と、中心窩と角膜の曲率中心とを結ぶ軸である視軸との間のずれを算出し、光軸と視軸との間のずれに基づき、光軸から視軸を求め、ユーザの画面上での注視点を、画面と視軸の交点として算出する。
特許文献3に開示された視線計測装置は、ディスプレイ上の特定の場所を見ているという仮定を設けていないので、その仮定が間違ってしまう場合でも、正しく計算できるといった利点を有するものである。
特許文献4に開示された装置では、動く被写体を撮像する場合にキャリブレーションが可能であるといった制約があり、景色や静止した物などの被写体を撮像する場合には、自動キャリブレーションが行えないといった問題がある。
かかる状況に鑑みて、本発明は、ユーザによる意図的注視が必要なく、ユーザがどこかを注視しなくても自動的にキャリブレーションを行うことができる視線計測用キャリブレーション方法、自動キャリブレーションを備えた視線計測装置およびカメラ装置を提供することを目的とする。
具体的には、本発明の視線計測用キャリブレーション方法は、表示パネルに画像を表示するステップと、眼球の光軸を計測するステップと、眼球の瞳孔径を計測するステップと、計測した光軸と表示パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内の画像の輝度の変化と、瞳孔径の変化との類似度合いから、注視点を特定し、上記の交点に対する注視点の相対位置を算出するステップと、算出した注視点の相対位置を用いて、眼球の視軸と光軸のカッパ角を算出するステップを備える。
画像を表示するステップは、ユーザの前面にある表示パネルに画像を表示するものであり、表示画像は、ユーザに意図的に注視させるマーカである必要はなく、建造物や人や動物の写真、イラストの画像であり、静止画や動画でもよい。自動キャリブレーションでありながら、1つの画像からユーザ固有のカッパ角を算出できるだけではなく、複数の画像や時間経過に伴う複数の探索範囲を用いてカッパ角を算出することができるため、ノイズに対してロバスト性がある。
日本人の典型的な成人の場合、視軸(眼球の中心窩と注視点を結ぶ軸)は、眼球の光軸から、鼻に向かって水平方向に約4~5°、垂直方向に約1.5°下にずれていることが統計的な平均値として知られている。そのため、水平方向は、右眼が-7~3°の範囲、左眼が-3~7°の範囲とし、垂直方向は、右眼と左眼の双方共に-3~3°の範囲とし、探索範囲として設定することができる。探索範囲は、左右それぞれの眼の計測した光軸と表示パネルとの交点を取り囲み、光軸に垂直な面で矩形の範囲で、縦横の長さは眼球と表示パネルの距離と上記の角度範囲から決定される。
本発明の視線計測用キャリブレーションプログラムを実行するコンピュータは、スマートフォンやタブレット端末、カメラ付きノート型PC端末などの携帯端末、並びに、デジタルカメラや一眼レフカメラなどのカメラ装置に搭載できる。
ここで、ファインダ内視野像とは、カメラレンズによる撮影画像を、カメラ内部の表示素子に表示した像の内、ファインダ内視野に入る像をいう。或いは、カメラレンズによる撮影画像を、ミラーを介してペンタミラー又はペンタプリズムで複数回反射させ、最終反射面の反射像の内、ファインダ内視野に入る像をいう。
ファインダ内視野像の輝度は、表示素子の場合は表示画像の輝度から求めることができ、またペンタミラー又はペンタプリズムの場合は、カメラレンズによる撮影画像の輝度から求めることができる。
本発明の視線計測装置によれば、ユーザによる意図的注視を必要とせず、表示パネルの表示画像における注視点を特定することができる。また、本発明のカメラ装置によれば、ユーザによる意図的注視を必要とせず、ファインダ内視野像における注視点を特定することができる。
本発明の視線計測用キャリブレーション方法は、図1のフローに示すとおり、表示パネルに画像を表示し(画像表示ステップS01)、眼球の光軸を計測し(光軸計測ステップS02)、眼球の瞳孔径を計測し(瞳孔径計測ステップS03)、光軸と表示パネルとの交点の周囲の探索範囲内の画像を取得する(探索範囲内画像取得ステップS04)。なお、S02とS03のステップでは、計測用のカメラを共通化でき、またステップ順序が入れ替わってもよい。
そして、ステップS02~ステップS04を繰り返し行い、探索範囲内画像の時系列データと瞳孔径の時系列データを取得する(時系列データ取得ステップS05)。ある一定時間が経過するか、或いは、瞳孔径の変動があるまで繰り返す。繰り返しの後、取得した探索範囲内画像の輝度と瞳孔径の時系列データを比較し、輝度の変化と瞳孔径の変化との類似度合いから注視点を特定する(注視点特定ステップS06)。その後、光軸と表示パネルとの交点に対する注視点の相対位置を算出し(注視点位置算出ステップS07)、注視点の相対位置を用いて眼球の視軸と光軸のカッパ角を算出する(カッバ角算出ステップS08)。
光軸計測ステップS02では、図5に示すように、表示パネルの周囲に設けられた2つのLED光源(11a,11b)と2台のカメラ(10a,10b)を用いて計測を行う。なお、眼球の光軸を計測できれば、1つのLED光源と1台のカメラであっても構わない。眼球の光軸は、図6に示すような角膜3aを球面に近似した眼球の3次元モデルを用いるモデルベースの光軸計測技術が知られている。モデルベースの光軸計測技術によれば、位置が既知であるカメラ2台と光源2を用いて眼球の幾何学的な中心軸である眼球の光軸2をキャリブレーション無しで算出することができる。このモデルベースの光軸計測技術については、上述の特許文献3(特開2019-215688号公報)の段落0037~0062に詳述しているので、本明細書での説明は割愛する。
瞳孔径計測ステップS03では、LED素子は不要であり、2台以上のカメラを用いたステレオ計測により瞳孔径を計測する。画像表示ステップS01において、表示パネルに表示される画像は特に限定されないが、表示画像において暗い部分と明るい部分が混在する画像を用いるのがよい。なお、表示画像は、動画像であっても静止画像であってもよい。
瞳孔径の時系列データを取得することにより、瞳孔径の変化を捉えることができる。なお、瞳孔径は注視している対象の明るさ(画像輝度)だけでなく、精神的な要因によっても変化するが、本発明では、瞳孔径の変化は、明るさ(画像輝度)にのみ起因するものとしている。
探索範囲内画像取得ステップS04では、眼球の光軸と表示パネルとの交点の周囲の探索範囲内の画像を切り出して取得する。眼球の視軸は、眼球の光軸から限られた範囲内に存在する。図6に示すように、探索範囲7は、表示パネル5に表示された画像と光軸2との交点6の周囲で注視点9(視軸8と表示パネル5との交点)が存在する可能性のある範囲の画像である。図7に示す複数の動物(猫)の画像が表示パネルに表示された場合を例に挙げて、注視点の探索範囲について説明する。図7の猫の画像上に、時間iにおける眼球の光軸と表示パネルとの交点(図中、十字マーカ)、時間iにおける眼球の光軸周りの注視点の探索範囲(図中、矩形枠)、時間iから眼球が回転した後の時間jにおける眼球の光軸と表示パネルとの交点、時間jにおける眼球の光軸周りの注視点の探索範囲を表す。眼球の光軸は、モデルベースの光軸計測技術により求めることができるので、探索範囲内の眼球の視軸と表示パネルとの交点(注視点)となる位置を求めることができれば、カッパ角を算出することができる。探索範囲内の画像は、眼球の3次元モデルにおける角膜曲率中心位置を基準として、交点から垂直方向について上下に3°、交点から水平方向について鼻側に7°及び耳側に3°の範囲に存在する表示パネルの画像を切り出す。
図7における時間iとjのそれぞれの探索範囲から、時間iでは、ユーザが黒い猫を見ていたが、時間jでは、白い猫を見ていたことが予測できる。そして、時間iでは、ユーザが黒い猫を見ていたならば瞳孔が拡がり、一方、時間jでは、ユーザが白い猫をみていたならば瞳孔が縮小したことがわかる。
時系列データ取得ステップS05は、ステップS02~ステップS04を繰り返した後、探索範囲内画像の時系列データと瞳孔径の時系列データを取得する。瞳孔径計測ステップS03により計測された瞳孔径は、時系列に並べられ、時系列データとして記憶される。また、探索範囲内画像取得ステップS04により取得された探索範囲内の長方形の画像についても、時系列に並べられ、時系列データとして記憶される。
図10に示すように、瞳孔径の時系列データと探索範囲内画像の時系列データを比較して、探索範囲内のその辺りの画像の輝度変化が、瞳孔径の輝度変化と一致するかを求めることにより、注視点の位置を推測するが、ここで、探索範囲内の長方形の画像は、計算を簡易化するため、それらの画像を図11のようにx×y(10×6ピクセル)の大きさに縮小する。眼球が動き、光軸の向きが変わり、光軸と表示パネルとの交点位置が動く。眼球が動いたときの探索範囲内の画像の輝度の時系列データは、図12に示すように画素毎に時系列データが存在し、下記式2により求められる。ここで、b(x,y)nは、時間nにおける画素(x,y)の輝度を表す。
注視点特定ステップS06について、図2のフローを参照して説明する。図2に示すとおり、注視点特定ステップS06では、時系列データ取得ステップS05で取得した探索範囲内の画像の時系列データから、画素ブロック毎の輝度の時系列データを取得する(ステップS601)。画素ブロックは、画素単位でもよいし、複数の画素で構成される矩形領域でもよい。本実施例では、上述のとおり、光軸周りを切り出した画像を10×6ピクセルの大きさに縮小しており、画素ブロックは画素単位とし、1画素が1°の視野角に相当するようにしている。
そして、輝度の時系列データと瞳孔径の時系列データの各時系列データを正規化する(ステップS602)。データ中の変化のみに注目するため、それぞれの最大値が1、最小値が0になるように各時系列データを正規化する。
図13において、水平または垂直方向の線分fifi+1は、片方の時系列データの1点がもう片方の時系列データの2点に対応することを表し、斜め方向の線分fjfj+1は、片方の時系列データの2点がもう片方の時系列データの2点に対応することを表す。格子点fk=(ik,jk)における時系列データC,Eの計測値に対する2つの距離をδ(fk)と表すと、Fの評価値関数Δ(F)は下記式4で表される。ここで、ωkはfkに関する正の重みであり、Δ(F)の値が小さいほどC,Eの対応付けが良いことを示すものである。以下では、DTWが小さいとは、Fの評価値関数の値が小さいことを意味する。
注視点位置算出ステップは、光軸と表示パネルとの交点に対する注視点の相対位置を算出する。本実施例では、DTWを全ての画素の輝度の時系列データに対して、瞳孔径の時系列データとの距離を計算し、評価値関数の値を求めた後、小さい順に5つ画素を選び、選んだ5つの画素を下記式5で示す重み付け平均をとることにより、注視点(a,b)を求める。ここで、diは i番目に小さいDTWの値、(xi,yi)はi番目に小さいDTWが算出された画素の光軸を中心とした眼球座標系でのx座標、y座標を表す。
カッバ角算出ステップは、注視点の相対位置を用いて眼球の視軸と光軸のカッパ角を算出する。注視点位置算出ステップS07で算出された眼球座標系での注視点(a,b)と角膜曲率中心を結ぶ線が視軸となるため、図6で示したとおり、視軸8と光軸2とのなす角がカッパ角としてx軸方向成分、y軸方向成分としてそれぞれ求められる。
視線計測用キャリブレーション装置1は、光軸計測手段/瞳孔径計測手段12と、画像表示手段14と、注視点位置算出手段16と、カッパ角算出手段18を備える。光軸計測手段/瞳孔径計測手段12は、撮像素子12aとLED素子12bと瞳孔径計測ユニット12cと光軸計測ユニット12dから構成される。光軸計測ユニット12dでは、実空間における3次元的なLED素子12bの位置情報と、撮像素子12aにより撮影されたプルキニエ像(眼球画像上での反射像)の位置を対応付けして光軸を算出する。光軸計測ユニット12dから注視点位置算出手段16へ光軸データが送られる。LED素子12bは、具体的には赤外線LEDを用い、撮像素子12aは赤外線撮像素子を用いる。撮像素子12aは、ユーザの眼球を撮影できるように配置される。
そして、輝度の変化と瞳孔径の変化との類似度合いに基づいて注視点を特定し(165)、光軸と表示パネルとの交点に対する注視点の相対位置を算出する(166)。
上述の視線計測用キャリブレーション方法を用いて、カッパ角を算出し、その精度の評価を行った結果について説明する。評価は、前述の特許文献1(特開2007-136000号公報)の開示された1点キャリブレーションにより算出したカッパ角と比較することにより行った。
視線計測用キャリブレーション方法は、頭部を動かしても機能するが、画像処理での問題を軽減すべく、被験者用の表示パネルから512mm離れた位置に設置したあご台を用いて被験者の頭部を固定することにした。被験者は3名(全員20代男性で、内2名は裸眼で、1名はソフトコンタクトレンズを着用)で、表示パネルに猫(cats)、群衆(crowd)、城(castle)の3種類の画像を表示して行った。実験は、1点キャリブレーション時のカッパ角を取得するために、1点を注視させた後、表示パネルに表示される3種類の画像における好きな場所を6秒間毎に注視するように指示し、そのときの光軸周辺を切り出した画像を取得した。
実験結果を図14に示す。図14(1)~(3)は、それぞれ被験者A,B,Cの推定されたカッパ角をグラフ化したものである。星印マーカが1点キャリブレーション時のカッパ角(one-point)、十字マーカが表示パネル右側のカメラで得られた各画像(cats、crowd、castle)を見ている間の眼球画像を用いて算出したカッパ角(cats0、crowd0、castle0)とパネル左側のカメラで得られた各画像を見ている間の眼球画像を用いて算出したカッパ角(cats1、crowd1、castle1)を表す。横軸はカッパ角の水平方向成分αであり、縦軸はカッパ角の垂直方向成分βを示す。被験者A~Cの1点キャリブレーション時のカッパ角と、全ての実験結果のα、βについて平均値を求め、下記表1に纏めた。
実施例2の注視点特定ステップS06では、図15の概念図及び図16のフロー図に示すように、画素ブロック毎の輝度の時系列データを取得し(ステップS611)、輝度の時系列データと瞳孔径の時系列データの各時系列データを正規化(ステップS612)した後、輝度の時系列変化に基づき、瞳孔径の変化をシミュレートする(ステップS613)。
そして、シミュレートした瞳孔径の変化と、計測した瞳孔径の時系列データとの類似度合いについて、動的時間伸縮法(DTW)によって数値化して(ステップS614)、シミュレートした瞳孔径の変化と、計測した瞳孔径の時系列データとの類似度合いの数値から注視点を特定する(ステップS615)。
前述したように、瞳孔径の変化は、画像の輝度変化に対して遅れ、また画像が明るくなる場合と暗くなる場合とで遅れ具合が異なる。また瞳孔径の変化は、瞳孔の動き方にも影響する。しかしながら、実施例1の実験においては、このような時間遅れや瞳孔の動きは考慮されていない。瞳孔の動きは、例えば、瞳孔筋系モデル(縮瞳筋、散瞳筋モデル)を適用することにより微分方程式として表現できる。
本実施例は、注視点特定ステップにおいて、瞳孔筋系モデルを適用し、画像輝度の時系列変化に基づき、瞳孔径の変化をシミュレートし、シミュレートした瞳孔径の変化と計測した瞳孔径の時系列データとの類似度合いの数値から注視点を特定することにしたものである。瞳孔筋系モデルを瞳孔径の時系列データの類似度合いの計算に組み込むことにより、さらなるカッパ角の算出精度の向上が期待できる。なお、瞳孔筋系モデルに関する詳細については、論文(平田豊,臼井支朗,“瞳孔筋系の非線形動力学モデル”,電子情報通信学会論文誌Vol.77,No.1, pp.170-180, 1994)及び論文(S.Usui et al., “Estimation of Autonomic Nervous Activity Using the Inverse Dynamic Model of the Pupil Muscle Plant” Annals of Biomedical Engineering, Vol.23, pp.375-387,1995)を参照する。
本実施例では、上述の実施例で示した視線計測用キャリブレーション装置を備えるカメラ装置について説明する。図17は、本発明のカメラ装置の一実施形態の概略構成図を示している。
カメラ装置20は、撮影レンズ(22a,22b)とそのピント調節機構22と、レンズの結像面に配置された撮像素子23と、カメラ装置を制御するカメラ制御部24と、撮像素子23が撮像した画像を記憶するメモリ25と、撮像画像を表示する表示パネル26と、ファインダ21を介して表示パネル26に表示された画像を見るための接眼レンズ27と、ファインダ21を覗く眼球3を照明するためのLED素子(28a,28b)と、眼球用撮像素子31と、眼球撮影用の光スプリッタ29と集光レンズ30とを含む構成を備える。
LED素子(28a,28b)と、眼球用撮像素子31と、光スプリッタ29と集光レンズ30とによって、LED素子からの照明の角膜上の反射による反射像を撮像し、また、眼球の瞳孔を撮像し、瞳孔径と光軸を計測するための画像を取得する。上述した視線計測用キャリブレーション装置における表示パネルの画像は、カメラ装置内部の表示パネル26に表示されるファインダ内視野像である。また、ファインダ21の内側に設けられ2つのLED素子(28a,28b)と眼球用撮像素子31が、視線計測用キャリブレーション装置における光軸計測手段の一部を構成する。また、眼球用撮像素子31が、視線計測用キャリブレーション装置における瞳孔径計測手段の一部を構成する。
(1)上述した実施例3のカメラ装置では、表示パネル26がカメラレンズで撮影した画像を表示し、ファインダ21を介して表示画像を覗いているが、表示パネル26を用いる替わりに、ペンタミラー又はペンタプリズムを設け、レンズ光軸32上にミラー(撮影時はミラーが光軸から外れるように可動)を設けて、カメラレンズで撮影した画像を反射させ、ペンタミラー又はペンタプリズムで複数回反射させて、最終反射面による反射像をファインダ21から覗くものでもよい。この場合も、LED素子(28a,28b)と、眼球用撮像素子31と、光スプリッタ29と集光レンズ30とによって、眼球の瞳孔を撮像し、瞳孔径と光軸を計測するための画像を取得する。ファインダ内視野像の輝度は、カメラレンズによる撮影画像の輝度から求める。
2 光軸
3 眼球
3a 角膜
3b 瞳孔
3c 眼球回転中心
5 表示パネル
6 交点
7 探索範囲
8 視軸
9 注視点
10a,10b カメラ
11a,11b LED光源
12 光軸計測手段/瞳孔径計測手段
12a 撮像素子(カメラ)
12b LED素子(LED光源)
12c 瞳孔径計測ユニット
12d 光源計測ユニット
14 画像表示手段
14a 表示パネル
14b 画像表示コントローラ
16 注視点位置算出手段
18 カッパ角算出手段
20 カメラ装置
21 ファインダ
22 ピント調節機構
22a,22b 撮影レンズ
23,31 撮像素子
24 コントローラ
25 メモリ
26 表示素子
27 接眼レンズ
28a,28b LED素子
29 光スプリッタ
30 集光レンズ
31,32 レンズ光軸
33~35 データ信号線
Claims (17)
- 眼球の光軸と表示パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内の画像を取得し、前記交点の周囲の探索範囲内画像の時系列データと瞳孔径の時系列データを比較し、前記探索範囲内画像の輝度変化と瞳孔径変化との類似度合いから、実際に計測した瞳孔径変化と相関がある輝度変化を行う前記探索範囲内画像を探索することにより、注視点を特定することを特徴とする視線計測用キャリブレーション方法。
- 表示パネルに画像を表示するステップと、
眼球の光軸を計測するステップと、
眼球の瞳孔径を計測するステップと、
計測した光軸と表示パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内の画像の輝度の変化と、瞳孔径の変化との類似度合いから、注視点を特定し、前記交点に対する注視点の相対位置を算出するステップと、
算出した前記注視点の相対位置を用いて、眼球の視軸と光軸のカッパ角を算出するステップ、
を備える請求項1の視線計測用キャリブレーション方法。 - 前記注視点の相対位置を算出するステップにおいて、
前記探索範囲内の画像の輝度の変化に基づき、瞳孔径の変化をシミュレートするステップを更に備え、
シミュレートした瞳孔径の変化と、計測した瞳孔径の変化との類似度合いから、注視点を特定することを特徴とする請求項2の視線計測用キャリブレーション方法。 - 前記瞳孔径の変化をシミュレートするステップは、瞳孔筋系モデルを用いて輝度の変化に対する瞳孔径の変化をシミュレートすることを特徴とする請求項3の視線計測用キャリブレーション方法。
- 前記注視点の相対位置を算出するステップにおいて、
前記類似度合いは、最大値と最小値で正規化した輝度の時系列データ及び瞳孔径の時系列データを動的時間伸縮法により算出することを特徴とする請求項2~4の何れかの視線計測用キャリブレーション方法。 - 前記注視点の相対位置を算出するステップにおいて、
前記注視点の特定は、前記類似度合いが大きい順に前記注視点を1つ以上選定し、複数選定の場合には重み付け平均によって相対位置を算出することを特徴とする請求項2~5の何れかの視線計測用キャリブレーション方法。 - 前記注視点の相対位置を算出するステップにおいて、
前記探索範囲内の画像は、眼球座標系における角膜曲率中心位置を基準として、前記交点から人のカッパ角の統計的な平均値に基づいて算出した範囲に存在する表示パネルの画像を、眼球の光軸が正面方向であるとして長方形の画像に変換したものであることを特徴とする請求項2~6の何れかの視線計測用キャリブレーション方法。 - 前記カッパ角を算出するステップは、角膜曲率中心位置と前記交点の位置と前記注視点の相対位置とから、前記カッパ角を算出することを特徴とする請求項2~7の何れかの視線計測用キャリブレーション方法。
- 前記眼球の光軸を計測するステップは、
ユーザの眼球を撮影するために配置されたカメラ手段と光源手段を用いて、眼球の光軸を計測し、
前記表示パネルと前記カメラ手段と前記光源手段との位置関係が既知であることを特徴
とする請求項2~8の何れかの視線計測用キャリブレーション方法。 - 請求項2の視線計測用キャリブレーション方法の各ステップを、コンピュータに実行させるための視線計測用キャリブレーションプログラム。
- 請求項10の視線計測用キャリブレーションプログラムを実行するコンピュータが搭載された携帯端末。
- 請求項10の視線計測用キャリブレーションプログラムを実行するコンピュータが搭載されたカメラ装置。
- 表示パネルに画像を表示する画像表示手段と、
眼球の光軸を計測する光軸計測手段と、
眼球の瞳孔径を計測する瞳孔径計測手段と、
計測した光軸と表示パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内の画像を取得し、前記交点の周囲の探索範囲内画像の時系列データと瞳孔径の時系列データを比較し、前記探索範囲内画像の輝度の変化と、瞳孔径の変化との類似度合いから、実際に計測した瞳孔径の変化と相関がある輝度変化を行う前記探索範囲内画像を探索することにより、注視点を特定し、前記交点に対する注視点の相対位置を算出する注視点位置算出手段と、
算出した前記注視点の相対位置を用いて、眼球の視軸と光軸のカッパ角を算出するカッパ角算出手段、
を備える視線計測用キャリブレーション装置。 - 請求項13の視線計測用キャリブレーション装置を備える視線計測装置であって、
前記カッパ角を用いて眼球の光軸から視軸を算出して、前記表示パネルの表示画像における注視点を特定することを特徴とする視線計測装置。 - 表示パネルに画像を表示する画像表示手段と、
眼球の光軸を計測する光軸計測手段と、
眼球の瞳孔径を計測する瞳孔径計測手段と、
計測した光軸と表示パネルとの交点の周囲で注視点が存在する可能性のある探索範囲内の画像を取得し、前記交点の周囲の探索範囲内画像の時系列データと瞳孔径の時系列データを比較し、前記探索範囲内画像の輝度の変化と、瞳孔径の変化との類似度合いから、実際に計測した瞳孔径の変化と相関がある輝度変化を行う前記探索範囲内画像を探索することにより、前記表示パネルの表示画像における注視点を特定する注視点特定手段、
を備えることを特徴とする視線計測装置。 - 請求項13の視線計測用キャリブレーション装置を備えるカメラであって、
前記表示パネルは、カメラ内部の表示素子又はペンタミラーもしくはペンタプリズムの最終反射面であり、
前記表示パネルの画像は、前記表示素子に表示又はペンタミラーもしくはペンタプリズムに反射されるファインダ内視野像であり、
前記光軸計測手段は、ファインダの内側に設けられる眼球用撮像素子を備え、
前記カッパ角を用いて眼球の光軸から視軸を算出して、ファインダを覗く眼球の視線の先にあるファインダ内視野像における注視点を特定することを特徴とするカメラ装置。 - カメラであって、
カメラレンズで撮影した画像を、ファインダ内視野像として表示する表示素子、又は、複数回反射させファインダ内視野像とするペンタミラーもしくはペンタプリズムと、
カメラのファインダの内側に設けられる眼球用撮像素子を用いて眼球の光軸を計測する光軸計測手段と、
前記眼球用撮像素子を用いて眼球の瞳孔径を計測する瞳孔径計測手段と、
計測した光軸と前記表示素子又はペンタミラーもしくはペンタプリズムの最終反射面との交点の周囲で注視点が存在する可能性のある探索範囲内のファインダ内視野像を取得し、前記交点の周囲の探索範囲内画像の時系列データと瞳孔径の時系列データを比較し、前記探索範囲内画像の輝度の変化と、瞳孔径の変化との類似度合いから、実際に計測した瞳孔径の変化と相関がある輝度変化を行う前記探索範囲内画像を探索することにより、前記ファインダ内視野像における注視点を特定する注視点特定手段、
を備えることを特徴とするカメラ装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020084816A JP7423005B2 (ja) | 2020-05-13 | 2020-05-13 | 瞳孔径変化を用いた視線計測用キャリブレーション方法及び装置、並びに視線計測装置及びカメラ装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020084816A JP7423005B2 (ja) | 2020-05-13 | 2020-05-13 | 瞳孔径変化を用いた視線計測用キャリブレーション方法及び装置、並びに視線計測装置及びカメラ装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021179815A JP2021179815A (ja) | 2021-11-18 |
JP7423005B2 true JP7423005B2 (ja) | 2024-01-29 |
Family
ID=78511551
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020084816A Active JP7423005B2 (ja) | 2020-05-13 | 2020-05-13 | 瞳孔径変化を用いた視線計測用キャリブレーション方法及び装置、並びに視線計測装置及びカメラ装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7423005B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114903427B (zh) * | 2022-04-24 | 2024-09-17 | 温州医科大学附属眼视光医院 | 一种瞳孔直径检测仪器 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006323611A (ja) | 2005-05-18 | 2006-11-30 | Canon Inc | 画像撮影装置及びその制御方法、コンピュータプログラム、記憶媒体 |
JP2013240469A (ja) | 2012-05-21 | 2013-12-05 | Tokyo Institute Of Technology | 注意位置推定装置 |
US20150355815A1 (en) | 2013-01-15 | 2015-12-10 | Poow Innovation Ltd | Dynamic icons |
JP2019215688A (ja) | 2018-06-12 | 2019-12-19 | 国立大学法人神戸大学 | 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2501288B2 (ja) * | 1993-06-21 | 1996-05-29 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 注視点推定装置 |
-
2020
- 2020-05-13 JP JP2020084816A patent/JP7423005B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006323611A (ja) | 2005-05-18 | 2006-11-30 | Canon Inc | 画像撮影装置及びその制御方法、コンピュータプログラム、記憶媒体 |
JP2013240469A (ja) | 2012-05-21 | 2013-12-05 | Tokyo Institute Of Technology | 注意位置推定装置 |
US20150355815A1 (en) | 2013-01-15 | 2015-12-10 | Poow Innovation Ltd | Dynamic icons |
JP2019215688A (ja) | 2018-06-12 | 2019-12-19 | 国立大学法人神戸大学 | 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2021179815A (ja) | 2021-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11495002B2 (en) | Systems and methods for determining the scale of human anatomy from images | |
US6659611B2 (en) | System and method for eye gaze tracking using corneal image mapping | |
Shih et al. | A novel approach to 3-D gaze tracking using stereo cameras | |
Nitschke et al. | Corneal imaging revisited: An overview of corneal reflection analysis and applications | |
US9398848B2 (en) | Eye gaze tracking | |
CN103501406B (zh) | 图像采集系统及图像采集方法 | |
JP6631951B2 (ja) | 視線検出装置及び視線検出方法 | |
CN113808160B (zh) | 视线方向追踪方法和装置 | |
US12056274B2 (en) | Eye tracking device and a method thereof | |
CN109803574A (zh) | 具有显示器、透镜、照明器和图像传感器的可穿戴设备 | |
JP7168953B2 (ja) | 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム | |
EP3542308B1 (en) | Method and device for eye metric acquisition | |
WO2015035745A1 (zh) | 信息观察方法及信息观察装置 | |
CN113260299A (zh) | 用于眼睛追踪的系统和方法 | |
Lander et al. | hEYEbrid: A hybrid approach for mobile calibration-free gaze estimation | |
JP7423005B2 (ja) | 瞳孔径変化を用いた視線計測用キャリブレーション方法及び装置、並びに視線計測装置及びカメラ装置 | |
Nitschke et al. | I see what you see: point of gaze estimation from corneal images | |
JP3711053B2 (ja) | 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体 | |
Nitschke | Image-based eye pose and reflection analysis for advanced interaction techniques and scene understanding | |
Parada et al. | ExpertEyes: Open-source, high-definition eyetracking | |
Arai et al. | Computer input with human eyes only using two Purkinje images which works in a real time basis without calibration | |
Ferhat et al. | Eye-tracking with webcam-based setups: Implementation of a real-time system and an analysis of factors affecting performance | |
Kim et al. | Resolution estimation technique in gaze tracking system for HCI | |
JP2018120299A (ja) | 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法 | |
Chaudhary | Deep into the Eyes: Applying Machine Learning to Improve Eye-Tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20200603 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230302 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230929 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231222 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240109 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7423005 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |