JP5363043B2 - 眼球運動計測装置 - Google Patents
眼球運動計測装置 Download PDFInfo
- Publication number
- JP5363043B2 JP5363043B2 JP2008181766A JP2008181766A JP5363043B2 JP 5363043 B2 JP5363043 B2 JP 5363043B2 JP 2008181766 A JP2008181766 A JP 2008181766A JP 2008181766 A JP2008181766 A JP 2008181766A JP 5363043 B2 JP5363043 B2 JP 5363043B2
- Authority
- JP
- Japan
- Prior art keywords
- bright spot
- cornea
- light
- eye movement
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Description
撮像データSbに含まれる雑音(ノイズ)を軽減するため、雑音処理手段611において、下記の雑音除去処理を行う(図10のステップS1)。なお、平滑化処理は、撮像データSbの幅広い領域に含まれるノイズを軽減し、モフォロジー処理は、撮像データSbの局所的な領域に含まれるノイズを除去する。
D’(x、y)={D(x−1,y)+D(x,y−1)+D(x+1,y)+D(x,y+1)+4×D(x,y)}/8
輝点判定処理手段612は、雑音処理手段611から提供された撮像データSd中の各画素の明るさD’(x、y)と、その周辺画素の明るさD’(x−1,y)、D’(x,y−1)、D’(x+1,y)、及びD’(x,y+1)とを比較し、当該画素の明るさD’(x、y)の値が大きい場合に、当該画素を極大点として検出する(図10のステップS2)。なお、比較対象となる周辺画素としては、行方向及び列方向に隣接する4画素に限らず、斜め方向に隣接する画素も含めた8画素としてもよい。
続いて、輝点判定処理手段612は、極大点抽出処理によって求められた極大点に対し、その極大画素を中心とする所定領域(例えば3×3画素や5×5画素)に対して、下記の輝点判定値を算出する。そして、輝点判定処理手段612は、所定領域内に含まれる全ての画素の判定値が所定の閾値を越えた場合に、当該所定領域を、複数の光源21a〜21d(図1を参照)のいずれかに対応する輝点であると判定する(図10のステップS3)。なお、この所定領域は、照明光学系により決定されるセンサ部51の受光面上の輝点サイズに基づいて、当該輝点を含む適切な大きさに設定されるとよい。
輝点の全体の輝度値を示す輝点判定値である。具体的には、極大点を中心とする所定領域の各画素の明るさD’を合計した数値である。
輝点の面積を示す輝点判定値である。具体的には、極大点を中心とする所定領域において、明るさD’が所定の閾値より大きい画素数をカウントして求める。ここで、所定の閾値は、センサ部51の受光面上におけるノイズレベルより大きな値であることが望ましい。例えば、センサ部51のダークレベルの最大値を所定の閾値としても良いし、或いはセンサ部51のダークレベルの平均値をA、標準偏差をSとして(A+3S)の値を所定の閾値としても良い。
輝点の演算対象領域の境界付近の輝度値から、単独の輝点か否かを判定するための輝点判定値である。具体的には、極大点を中心とする所定領域において、下記で表される周辺部輝度値を中央部輝度値で除した値を輝点判定値とする。
周辺部輝度値:極大点を中心とする所定領域において、最も外側(すなわち境界部分)に位置する画素の明るさD’の合計
中央部輝度値:極大点を中心とする所定領域において、最も外側(境界部分)に位置する画素を除く全ての画素の明るさD’の合計
輝点の演算対象領域において、水平方向の半値幅Wxおよび垂直方向の半値幅Wyを求め、これらの半値幅の比(Wx/Wy)の比を円形度値とする。ここで、半値幅Wx,Wyは、極大点を含む行(x方向)及び列(y方向)において、明るさD’が極大点の明るさD’の1/2を超えた画素の数である。
輝点の演算対象領域において、1次モーメントと0次モーメントとの比(以下、モーメント比という)を求めて輝点のひずみ形状を示す値を得、これを輝点判定値とする。このモーメント比は、極大点の位置を(x,y)とすると、下記の演算により求められる。
0次モーメント:Σ{D(x,y)}
x方向1次モーメント:Σ{i×D(x+i,y)} (但し、i=−m〜+m;mは所定のx方向演算範囲を示す整数)
y方向1次モーメント:Σ{j×D(x,y+j)} (但し、j=−n〜+n;nは所定のy方向演算範囲を示す整数)
x方向モーメント比(Mx):(x方向1次モーメント)/(0次モーメント)
y方向モーメント比(My):(y方向1次モーメント)/(0次モーメント)
(1)輝点合計輝度値が、所定の値より小さい場合
(2)輝点面積が、所定の最小輝点面積より小さい場合、又は所定の最大輝点面積より大きい場合
(3)境界領域輝度値が、所定の最小比より小さい場合
(4)円形度値が、所定の円形度許容値(例えば0.5)より小さい場合
(5)モーメント比の絶対値が、(0.5+許容度)を超える場合(許容度は予め定めた値、例えば0.1)
なお、輝点判定処理手段612は、上記条件(1)〜(5)のうち一部の条件に基づいて、当該領域が輝点であるか否かを判定してもよい。輝点判定処理手段612は、こうして判定した輝点に関する輝点情報Seを位置演算処理手段613へ提供する。
位置演算処理手段613は、輝点情報Seに示された輝点の極大点を中心とする所定領域(例えば3×3画素や5×5画素)の重心位置を演算する(図10に示すステップS4)。輝点の重心位置は、当該輝点における極大点の位置を(x,y)、明るさをD(x,y)として、下記の演算から求められる。
0次モーメント:Σ{D(x,y)}
x方向1次モーメント:Σ{i×D(x+i,y)} (但し、i=−m〜+m;mは所定のx方向演算範囲を示す整数)
y方向1次モーメント:Σ{j×D(x,y+j)} (但し、j=−n〜+n;nは所定のy方向演算範囲を示す整数)
x方向重心位置(Px):x+{(x方向1次モーメント)/(0次モーメント)}
y方向重心位置(Py):y+{(y方向1次モーメント)/(0次モーメント)}
位置演算処理手段613は、こうして得られた輝点の重心位置に関する情報を、輝点位置情報Sfとして出力する。
輝点抽出手段62は、位置演算処理手段613から提供された輝点位置情報Sfの時間変化を、下記の変換式により実際の眼球運動へ変換する(図10に示すステップS5)。
Qx=f(Px)≒(Ax)×(Px)+(Bx)
Qy=f(Py)≒(Ay)×(Py)+(By)
ここで、(Px,Py)は撮像データにおける輝点位置であり、(Qx,Qy)は実際の眼球運動位置である。また、(Ax,Bx)及び(Ay,By)は線形近似の係数である。これらの係数(Ax,Bx)及び(Ay,By)は、例えば模擬眼球を用いて予め求めた眼球の回転角と輝点移動距離との関係に基づいて算出しておくか、或いは提示位置の異なる二つの指標を被検者に提示した場合の輝点の移動距離に基づいて算出しておくとよい。
続いて、輝点抽出手段62は、複数の輝点位置のうち位置精度に関する所定条件を満足する輝点位置を選択(抽出)する(図10に示すステップS6)。本実施形態では、輝点抽出手段62は、複数の輝点位置の時間的変動の度合いに基づいて計測精度の評価を行い、ノイズが小さいと推測される輝点位置を選択する。なお、前述した雑音除去処理、極大点抽出処理、及び輝点判定処理によって1フレーム毎の輝点としての条件(明るさ、形状など)を判定しているので、この輝点抽出処理では、或る一定の時間内に連続して得られた撮像データに関する時系列データに対して、評価を行う。具体的な計測精度の評価方法としては、眼球は滑らかに移動するという前提が成り立つことから、一定期間において、各フレームにおける輝点位置とその直前のフレームにおける輝点位置との差分の標準偏差を求める。そして、標準偏差が所定の閾値より小さい輝点位置について、ランダムなノイズが十分に小さいと判断し、測定結果として選択する。輝点抽出手段62は、選択した輝点位置に関する情報を選択情報Sgとして特徴量算出手段63へ提供する。
各フレームのx方向位置の差分:ΔQx(t=T,n=i)=Qx(t=T,n=i)−Qx(t=T−1,n=i)
各フレームのy方向位置の差分:ΔQy(t=T,n=i)=Qy(t=T,n=i)−Qy(t=T−1,n=i)
差分ΔQxの輝点平均:ΔQ’x(t=T)=Σ(ΔQx(t=T,n=1〜N))/N (但し、Nは選択された輝点の個数)
差分ΔQyの輝点平均:ΔQ’y(t=T)=Σ(ΔQy(t=T,n=1〜N))/N (但し、Nは選択された輝点の個数)
Q’x(t=T)=Q’x(t=T−1)+ΔQ’x(t=T) (但し、初期値Q’x(t=0)は任意の位置に設定する)
Q’y(t=T)=Q’y(t=T−1)+ΔQ’x(t=T) (但し、初期値Q’y(t=0)は任意の位置に設定する)
そして、特徴量算出手段63は、この時系列データに基づいて、ドリフト、フリック、又はトレモアといった固視微動の大きさに関する特徴量を算出する。
Claims (8)
- 角膜に光を照射することにより生じる角膜反射光像を撮像することにより前記角膜の動きを計測する眼球運動計測装置であって、
二次元状に配列された複数の画素を含む光検出部を有し、前記光検出部に入射した前記角膜反射光像を含む撮像データを生成する撮像部と、
前記角膜に光を照射し、前記角膜反射光像として複数の輝点を前記光検出部に結像させる照明光学系と、
演算部と
を備え、
前記演算部は、前記撮像データにおける前記複数の輝点それぞれの位置を算出する輝点位置演算手段と、該複数の輝点位置のうち位置精度に関する所定条件を満足する輝点位置を選択する輝点抽出手段と、該輝点位置の時間変化に関するデータに基づいて眼球運動に関する特徴量を算出する特徴量算出手段とを有し、
前記輝点位置演算手段は、前記撮像データにおいて周囲より明るい領域を抽出し、該領域が前記輝点に該当するか否かを判定する輝点判定処理手段と、前記輝点の位置を演算する位置演算処理手段とを含むことを特徴とする、眼球運動計測装置。 - 角膜に光を照射することにより生じる角膜反射光像を撮像することにより前記角膜の動きを計測する眼球運動計測装置であって、
二次元状に配列された複数の画素を含む光検出部を有し、前記光検出部に入射した前記角膜反射光像を含む撮像データを生成する撮像部と、
前記角膜に光を照射し、前記角膜反射光像として複数の輝点を前記光検出部に結像させる照明光学系と、
前記撮像データにおける前記複数の輝点それぞれの位置を算出し、該複数の輝点位置のうち時間的変動の度合いが所定の閾値より小さい輝点位置を選択し、該輝点位置の時間変化に関するデータに基づいて眼球運動に関する特徴量を算出する演算部とを備えることを特徴とする、眼球運動計測装置。 - 被検者に注視させるための指標を提示することにより視線を一定方向に保つ指標提示部を更に備えることを特徴とする、請求項1または2に記載の眼球運動計測装置。
- 前記照明光学系は、前記複数の輝点のそれぞれに対応する複数の光源を有することを特徴とする、請求項1〜3のいずれか一項に記載の眼球運動計測装置。
- 前記複数の光源と前記角膜との距離が前記複数の光源同士で互いに異なることを特徴とする、請求項4に記載の眼球運動計測装置。
- 前記複数の光源と前記角膜とを結ぶ光軸の方向が前記複数の光源同士で互いに異なることを特徴とする、請求項4に記載の眼球運動計測装置。
- 前記複数の光源の発光輝度が互いに異なることを特徴とする、請求項4に記載の眼球運動計測装置。
- 前記複数の光源のそれぞれは赤外光源であることを特徴とする、請求項4〜7のいずれか一項に記載の眼球運動計測装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008181766A JP5363043B2 (ja) | 2008-07-11 | 2008-07-11 | 眼球運動計測装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008181766A JP5363043B2 (ja) | 2008-07-11 | 2008-07-11 | 眼球運動計測装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010017407A JP2010017407A (ja) | 2010-01-28 |
JP5363043B2 true JP5363043B2 (ja) | 2013-12-11 |
Family
ID=41702875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008181766A Active JP5363043B2 (ja) | 2008-07-11 | 2008-07-11 | 眼球運動計測装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5363043B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5460490B2 (ja) * | 2010-06-29 | 2014-04-02 | 株式会社ニデック | 眼科装置 |
JP5776323B2 (ja) * | 2011-05-17 | 2015-09-09 | 富士通株式会社 | 角膜反射判定プログラム、角膜反射判定装置および角膜反射判定方法 |
JP6130521B2 (ja) * | 2013-05-29 | 2017-05-17 | バーフェリヒト ゲゼルシャフト ミット ベシュレンクテル ハフツング | 眼の光干渉断層撮影のための装置及び眼の光干渉断層撮影のための方法 |
CA2912426C (en) * | 2013-05-31 | 2023-09-26 | Dignity Health | System and method for detecting neurological disease |
KR20180057693A (ko) | 2015-09-24 | 2018-05-30 | 토비 에이비 | 눈 추적 가능한 웨어러블 디바이스들 |
US10565446B2 (en) | 2015-09-24 | 2020-02-18 | Tobii Ab | Eye-tracking enabled wearable devices |
US11353952B2 (en) | 2018-11-26 | 2022-06-07 | Tobii Ab | Controlling illuminators for optimal glints |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3350770B2 (ja) * | 1994-05-11 | 2002-11-25 | 日本光電工業株式会社 | 眼球運動測定装置 |
JPH11206713A (ja) * | 1998-01-26 | 1999-08-03 | Canon Inc | 視線検出用機器およびこれを用いた視線検出装置 |
JP2000316811A (ja) * | 1999-05-14 | 2000-11-21 | Sumitomo Osaka Cement Co Ltd | 眼球運動測定装置 |
JP3200801B2 (ja) * | 1999-06-14 | 2001-08-20 | 八木 聰明 | 撮像装置 |
JP4322693B2 (ja) * | 2004-01-29 | 2009-09-02 | 浜松ホトニクス株式会社 | 眼球運動測定装置 |
-
2008
- 2008-07-11 JP JP2008181766A patent/JP5363043B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2010017407A (ja) | 2010-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5363043B2 (ja) | 眼球運動計測装置 | |
US10893260B2 (en) | Depth mapping with a head mounted display using stereo cameras and structured light | |
KR101709817B1 (ko) | 롤링 이미지 캡처 시스템에서의 주변 보정 | |
US20170192499A1 (en) | Eye tracking through illumination by head-mounted displays | |
EP3123943B1 (en) | Detection device and detection method | |
US20170238800A1 (en) | Method of identifying iris | |
US9993154B2 (en) | Eye gaze detection supporting device and eye gaze detection supporting method | |
TW200919271A (en) | System and method for performing optical navigation using scattered light | |
US8267517B2 (en) | Eyeball motion measurement apparatus | |
JP2018515759A (ja) | オブジェクトの光学的3d測定のためのデバイス | |
EP3011894B1 (en) | Eye gaze detection apparatus and eye gaze detection method | |
WO2012057284A1 (ja) | 三次元形状測定装置、三次元形状測定方法、構造物の製造方法および構造物製造システム | |
JP2014188322A (ja) | 視線検出装置、視線検出方法及びプログラム | |
WO2018164104A1 (ja) | 眼部画像処理装置 | |
JP2012058091A (ja) | 表面検査装置 | |
JP4322693B2 (ja) | 眼球運動測定装置 | |
JP2012130434A (ja) | 瞳孔径計測装置 | |
WO2023008023A1 (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
JP2014211305A (ja) | 物体検出装置および情報取得装置 | |
KR101401395B1 (ko) | 표면각도 측정 광센서 및 이를 이용한 표면각도 및 형상정보 감지방법 | |
JP4175020B2 (ja) | ファインダ装置 | |
US10798350B2 (en) | Split aperture projector/camera | |
JP2024010912A (ja) | 投影映像制御システム、方法及びプログラム | |
JP2023019690A (ja) | 視線検出装置、視線検出方法及び視線検出プログラム | |
JP2023019659A (ja) | 視線検出装置、視線検出方法及び視線検出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120727 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130129 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130325 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130903 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130905 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5363043 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |