JP5158842B2 - 眼球運動計測方法および眼球運動計測装置 - Google Patents

Description

本発明は、眼球の３次元運動を計測する眼球運動計測方法および眼球運動計測装置に関する。

従来より、画像処理を用いて眼球の３軸運動（水平、垂直、回旋）を計測する方法が提案されている（非特許文献１参照）。この眼球運動計測方法では、カメラで撮影した眼球画像から画像処理によって瞳孔画像を抽出し、瞳孔輪郭を楕円と規定して楕円中心を検出することで瞳孔中心を検出する。次に、瞳孔中心から眼球の視線角度（水平回転角と垂直回転角）を算出することで、眼球の水平・垂直運動を計測する。さらに、眼球画像と瞳孔輪郭から虹彩パターンを取得し、基準となる虹彩パターンとパターンマッチングすることで、眼球の回旋角を計測する。
坂下祐輔・藤吉弘亘・平田豊、「画像処理による３次元眼球運動計測」、ＪＳＥＭ 日本実験力学学会特集号「画像処理による生体評価」、２００６年、ｖｏｌ．６、Ｎｏ．３、２３６〜２４３頁

しかしながら、カメラで捉えた瞳孔画像は、実際の瞳孔の角膜屈折による虚像であるため、虚像に基づいて眼球運動を計測する場合には、誤差が生じることとなる。

図１７は、角膜屈折を説明するための模式図である。図１７（ａ）に示すように、カメラから瞳孔Ｄを捉えた場合、角膜Ｃで光の屈折が生じ、実際の瞳孔Ｄより角膜Ｃ側に約０．５ｍｍ浮き上がり、かつ、１３〜１５％程度拡大された虚像Ｄ’として観測される。このため、図１７（ｂ）に示すように、例えば左側の格子パターンを角膜を通して見た場合には、右側の格子パターンのように歪みが生じる。

このため、カメラと眼球回転中心Ｅ_Oとを結ぶカメラ光軸に対する本来の瞳孔Ｄの回転角はαであるのに対し、カメラ光軸に対する瞳孔虚像Ｄ’の回転角はα’となり、α’−αだけ誤差が生じる。この誤差は視線を外側に向けるほど大きくなる。このような誤差を含んだ瞳孔虚像Ｄ’の回転角α’を用いる場合、眼球の水平運動および垂直運動を精度よく計測することができない。

図１８は、視線の向きによる角膜屈折を説明するための模式図である。図１８（ａ）は、視線が正面を向いている場合を示し、図１８（ｂ）は、視線を傾けた場合を示している。角膜Ｃ上の２点Ｐ_C1、Ｐ_C2における光線の屈折度合は、図１８（ａ）に示すように、視線を正面に向けている場合には同じであるが、図１８（ｂ）に示すように、視線を傾けた場合には相違している。したがって、カメラにより虹彩Ｉの画像を取得した場合、正面を向いているときの虹彩パターンと視線を傾けたときの虹彩パターンでは歪みの程度が異なるため、虹彩パターンの類似度が小さくなり、眼球の回旋運動を精度よく計測することができない。

本発明は上記点に鑑み、角膜屈折の影響を考慮して眼球の３次元運動の計測精度を向上させることを目的とする。

上記目的を達成するため、本発明は、計測対象者の眼球を撮影して眼球画像を取得する眼球撮影手段と、角膜における屈折を考慮して前記眼球画像を補正する眼球画像補正手段と、前記眼球画像から虹彩パターンを取得する虹彩パターン取得手段と、基準となる前記虹彩パターンである基準虹彩パターンと、計測対象の前記虹彩パターンである計測虹彩パターンとを比較し、前記基準虹彩パターンに対する前記計測虹彩パターンの相対的な回旋角度を計測する回旋角度計測手段を備えることを第１の特徴としている。

このように、眼球画像を角膜における屈折を考慮した補正することで屈折による歪みを除去することができる。このため、屈折補正後の眼球画像を用いて回旋角度を計測することで、高精度に眼球の回旋角度を計測することができる。さらに、回旋角度を計測する場合には、極座標変換された基準虹彩パターンおよび計測虹彩パターンとを用いることで、虹彩パターンのパターンマッチングを容易に行うことができる。

本発明は、計測対象者の眼球を撮影して眼球画像を取得する眼球撮影手段と、角膜における屈折を考慮して眼球画像を補正する眼球画像補正手段と、眼球画像から瞳孔輪郭を検出するとともに、瞳孔輪郭から瞳孔中心位置を検出する瞳孔中心検出手段と、瞳孔中心位置から眼球の視線角度を検出する視線角度検出手段とを備えることを第２の特徴としている。

このように、眼球画像を角膜における屈折を考慮した補正することで屈折による歪みを除去することができる。このため、屈折補正後の眼球画像を用いて視線角度を計測することで、高精度に眼球の視線角度を計測することができる。

また、瞳孔中心検出手段により、眼球画像補正手段による補正前の眼球画像を用いて第１の瞳孔中心位置を検出し、眼球画像補正手段による補正後の眼球画像を用いて第２の瞳孔中心位置を検出し、眼球画像補正手段が、第１の瞳孔中心位置と第２の瞳孔中心位置との差が所定値より小さくなるまで、眼球画像の補正を繰り返し行うように構成することができる。

このように眼球画像の屈折補正を繰り返し行うことで、角膜での屈折に起因する眼球画像の誤差を徐々に低減することができる。また、補正前後の瞳孔中心位置の差が所定値より小さくなるまで眼球画像の補正を行う構成に限らず、補正前の第１の瞳孔中心位置から検出した第１の視線角度と、補正後の第２の瞳孔中心位置から検出した第２の視線角度の差が所定値より小さくなるまで、眼球画像の補正を行うようにしてもよい。

また、眼球撮影手段から眼球に向かう光の方向ベクトルと眼球撮影手段から眼球に向かう光が角膜で屈折した屈折方向ベクトルとを算出し、方向ベクトル上に存在する補正前の眼球画像を屈折方向ベクトル上に存在する補正後の眼球画像に変換することで、角膜における屈折を考慮して眼球画像を補正することができる。

（第１実施形態）
以下、本発明の第１実施形態について図１〜図１５に基づいて説明する。

図１は、本実施形態の眼球運動計測装置の概念図である。図１（ａ）に示すように、眼球運動計測装置は、画像撮影部１０と画像処理部２０を備えている。画像撮影部１０には、計測対象者の眼球を撮影するためのカメラ１１が設けられている。カメラ１１は、ＣＣＤカメラを用いており、左右の眼球に対してそれぞれ設けられている。画像撮影部１０は、計測対象者の頭部に固定された状態で使用されるので、カメラ１１と眼球中心の相対位置は固定されている。なお、カメラ１１が本発明の眼球撮影手段に相当している。

カメラ１１は、画像撮影部１０における計測対象者の視界を遮らない位置に配置されており、画像撮影部１０における計測対象者の眼球前方には、カメラ１１で計測対象者の眼球を撮影するための反射鏡１２が配置されている。反射鏡１２はハーフミラーであり、計測対象者は反射鏡１２を介して前方を注視することができるとともに、反射鏡１２で反射した計測対象者の眼球をカメラ１１で撮影することができる。

画像撮影部１０には、眼球運動を故意に発生させるために光の強度を任意に調整できる白色ＬＥＤ１３が設けられている。白色ＬＥＤ１３により直接眼領域に光を照射することで、瞳孔の大きさを変化させた瞳孔画像を撮影することができる。さらに、図１（ｂ）に示すように、カメラ１１のレンズ１４の周囲に近赤外線ＬＥＤ１５が配置されている。赤外線ＬＥＤ１５により計測対象者の眼球に近赤外線を照射することで、瞳孔と虹彩との明度差が大きくなるので、画像処理による瞳孔の検出を容易に行うことができる。なお、白色ＬＥＤ１３および赤外線ＬＥＤ１５は、本実施形態の眼球運動計測装置による眼球運動計測に必須な構成ではない。

画像処理部２０としては、ＲＯＭ、ＲＡＭなどのメモリ、ＣＰＵ、ハードディスクなどの記憶装置を備えた周知のパーソナルコンピュータを用いることができ、記憶装置に記憶したプログラムに従って各種演算処理を行うように構成されている。画像処理部２０のＣＰＵは、カメラ１１で撮影した眼球画像を取り込み、その画像を用いて各種処理を実行し、眼球の３次元運動を計測するように構成されている。

次に、上記構成の眼球運動計測装置による眼球運動計測の概略について説明する。図２は、本実施形態の眼球運動計測の概略を示している。図２に示すように、本実施形態の眼球運動計測では、カメラ１１により眼球画像を取得し、瞳孔中心の算出、水平・垂直回転角度（視線角度）の算出、角膜における屈折補正を繰り返し行って、屈折補正後の眼球画像を取得し、瞳孔中心を抽出し、眼球の回旋角度を算出する。

次に、本実施形態の眼球運動計測を図３に基づいて詳細に説明する。図３は、画像処理部２０が行う眼球運動計測の流れを示すフローチャートである。なお、画像処理部２０が行うＳ１７の処理が本発明の眼球画像補正手段に相当し、Ｓ１９の処理が本発明の虹彩パターン取得手段と虹彩パターン変換手段に相当し、Ｓ２０の処理が本発明の回旋角度計測手段に相当し、Ｓ１２またはＳ１４の処理が本発明の瞳孔中心検出手段に相当し、Ｓ１５の処理が本発明の視線角度計測手段に相当している。

まず、カメラ１１により眼球を撮影し、少なくとも瞳孔と虹彩を含む眼球画像を取得する（Ｓ１０）。瞳孔は、視線方向とカメラ１１との位置関係により、楕円形状として画像上に観測される。Ｓ１０で取得した眼球画像は、角膜における屈折の影響を受けた虚像である。

次に、眼球画像から瞳孔輪郭を抽出する（Ｓ１１）。眼球画像に所定の閾値で二値化処理を施し、二値化画像からエッジを抽出する。このエッジが瞳孔輪郭を構成する楕円の輪郭候補点となる。これにより、瞳孔輪郭としての楕円を取得することができる。

次に、瞳孔輪郭から瞳孔中心を取得する（Ｓ１２）。瞳孔中心はＳ１１で得られた楕円の中心として求めることができる。図４は、楕円中心の算出を説明するための図である。楕円中心の算出には、楕円に内接する平行四辺形の成立条件を用いる。つまり、平行四辺形の相対する辺の中点同士を連結すると２本の直線が交わり、その直線の交点が楕円中心（ｘ₀，ｙ₀）となる。

図４（ａ）は上下から順に平行四辺形を求めた場合を示し、図４（ｂ）は左右から順に平行四辺形を求めた場合を示している。図４（ａ）、図４（ｂ）に示すように、欠損した楕円にも対処できるように上下、左右から順に中心に向かって平行四辺形を求めていき、平行四辺形が成立する場合のみ交点の画素に重みをつけて投票する。最終的に投票数が最大の画素を楕円中心（ｘ₀，ｙ₀）として決定する。

次に、アウトライアの除去を行う（Ｓ１３）。カメラ１１により瞳孔画像を撮影する場合には、赤外線照明等が眼球で反射するため、瞳孔の輪郭に欠損が生じ、瞳孔内に多くのアウトライアが存在している。したがって、欠損した瞳孔画像から楕円を検出するためには、アウトライアの除去が必要となる。

図５は、アウトライア除去を説明するための図である。図５（ａ）に示すように、楕円中心をｏ、ある輪郭点をｐ１、ｐ１と楕円中心ｏの対称位置にある輪郭点をｐ２とし、ｏｐ１とｏｐ２とが等しい輪郭点のみを残すことでアウトライアを除去する。本実施形態では、｜ｏｐ１−ｏｐ２｜≦１を満たすｐ１とｐ２を正しい輪郭点として残し、｜ｏｐ１−ｏｐ２｜≦１を満たさないｐ１とｐ２をアウトライアとして除去している。図５（ｂ）の破線がアウトライアとして除去された輪郭候補点を示し、実線がアウトライア除去後の楕円の輪郭を示している。

次に、アウトライア除去後の楕円輪郭を用いて、楕円パラメータの推定を行う（Ｓ１４）。図６は、楕円パラメータを説明するための図である。図６に示すように、楕円は、楕円の中心座標（ｘ₀，ｙ₀）、長軸の長さａ、短軸の長さｂ、ｘ軸方向に対する長軸の回転角φの５つのパラメータから構成されており、数式１で表わすことができる。

楕円を示す数式１は、パラメータに対して線形な形で表わすと、以下の数式２となる。

ここで、数式２に線形最小二乗法を適用し、数式２の各パラメータＡ〜Ｆを推定する。アウトライアを除去した楕円輪郭点に対して誤差が最小となるような反復計算を行うことで、パラメータＡ〜Ｆを求める。

そして、数式１と数式２の関係から、以下の数式３〜６が得られる。

数式２における各パラメータＡ〜Ｆを最小二乗法により推定した後、数式３、４から楕円中心（ｘ₀，ｙ₀）を算出し、数式５から長軸の回転角φを算出し、数式６から楕円の長軸ａと短軸ｂを算出することができる。ただし、数式６で算出された大きい値を長軸ａとし、小さい値を短軸ｂとする。なお、上記Ｓ１２における平行四辺形の成立条件によっても楕円中心（ｘ₀，ｙ₀）が得られているが、Ｓ１４における楕円パラメータの算出を行うことで、より精度の高い楕円中心（ｘ₀，ｙ₀）を得ることができる。

次に、眼球の水平・垂直回転角度θ₁、θ₂（視線角度）を算出する（Ｓ１５）。瞳孔は、カメラ１１で撮影した画像面上を水平・垂直運動しているように観測されるが、実際は眼球中心を中心とした回転運動を行っている。このため、瞳孔の位置計測を行うためには、眼球の水平・垂直方向への回転角を算出する必要があり、眼球形状を球、瞳孔を円とみなして眼球位置計測を行う。

図７は、眼球の回転角を説明するための図である。図７上側の座標系はカメラ１１で撮影したカメラ座標（画像面）を示し、図７下側の座標系は、眼球中心を原点とする世界座標を示している。本実施形態では、カメラ１１の光軸が世界座標のｚ軸と平行になっており、画像面と世界座標のｘｙ面が平行になっている。このため、図７では、瞳孔Ｄが眼球中心Ｅ_O、眼球半径ｒ_Eの球面上を移動した際の画像面に投影される様子が示されている。

眼球中心Ｅ_Oが（ｘ_O，ｙ_O）、眼球半径がｒ_Eとして既知である場合には、瞳孔中心Ｄ_O（ｘ_D，ｙ_D）から眼球の水平方向の回転角度θ₁と、上下方向（垂直方向）の回転角度θ₂は、以下の数式７、８から算出できる。眼球中心Ｅ_O（ｘ_O，ｙ_O）は、計測対象者が正面を向いたときの眼球画像から取得した瞳孔中心Ｄ_Oの座標を用いる。また、眼球半径ｒ_Eはヒト眼球の平均値を用いる。図８は、眼球構造の光学的数値を示しており、本実施形態では最も生体眼球の測定値に近いグルストランド（Gullstrand）の値を用いている。

数式７、８により、眼球の水平回転角度θ₁と垂直回転角度θ₂を算出することができる。ただし、１回目に算出した回転角度θ₁、θ₂は、角膜における屈折補正前の瞳孔から求めているため、誤差が含まれている。

次に、前回算出した眼球の水平・垂直角度θ₁、θ₂のデータが存在するか否かを判定する（Ｓ１６）。この結果、前回算出した眼球の水平・垂直角度θ₁、θ₂のデータが存在しない場合（Ｓ１６：ＹＥＳ）、すなわち１回目の計測である場合には、眼球画像の補正処理を行う（Ｓ１７）。

ここで、眼球画像の補正処理について説明する。図９は、角膜における光線の屈折を説明するための図であり、図９（ａ）は角膜から眼球中心までを示し、図９（ｂ）は角膜表面付近を示している。本実施形態では、図９（ａ）の破線で示すように角膜を球と仮定し、直線と球の屈折原理に基づいて光の屈折計算を行う。

まず、カメラ視線ベクトル（カメラ視点から延びる光線のベクトル）と角膜との交点である角膜上の点Ｐ_Cを求める。カメラ視点位置をＰ_E、カメラ視線ベクトルの単位ベクトルをＥとした場合、カメラ視点ベクトル上の点Ｐはパラメータｔを用いて数式９で表わすことができる。

数式９のパラメータｔを求めることで、カメラ視線ベクトルと角膜との交点である角膜上の点Ｐ_Cを求めることができる。

次に、角膜曲率中心をＳ、角膜曲率半径をｒ_Cとした場合、角膜上の点Ｐ_Cにおける単位法線ベクトルＮは、数式１０で求めることができる。なお、角膜曲率半径ｒ_Cは、図８に示したヒト眼球の平均値を用いる。

次に、光線が角膜で屈折した後の屈折方向ベクトルＴを算出する。光線が虹彩に到達するには、空気中から角膜、角膜から前房と２回の屈折を要するが、角膜の厚みは非常に薄いため、本実施形態の眼球運動計測装置では、その影響を無視することができる。このため、本実施形態では、空気中から前房の屈折計算を行う。空気の屈折率をｎ₁（＝１．０００）、前房の屈折率をｎ₂（＝１．３３６）としたとき、屈折方向ベクトルＴは、数式１１で表わすことができる。数式１１では、相対屈折率ｎ＝ｎ₂／ｎ₁を用いている。

カメラ視線ベクトルＥ上に角膜で屈折した後の瞳孔・虹彩（見かけの瞳孔・虹彩）が存在し、屈折方向ベクトルＴ上に屈折する前の瞳孔・虹彩（実際の瞳孔・虹彩）が存在する。このため、カメラ視線ベクトルＥ上における角膜上の点Ｐ_Cから前房の深さだけ離れた点（補正前の点）を、屈折方向ベクトルＴ上における角膜上の点Ｐ_Cから前房の深さだけ離れた点（補正後の点）に変換することで、屈折補正を行うことができる。なお、前房の深さは図８に示したヒト眼球の平均値を用いる。

このように、眼球画像における少なくとも瞳孔と虹彩を含む領域の画素すべてを屈折補正することで、屈折補正後の眼球画像を得ることができる。屈折補正後の眼球画像では、角膜における屈折の影響が低減されている。

次に、Ｓ１１に戻り、Ｓ１１〜Ｓ１５の一連の処理を行い、屈折補正後の眼球画像を用いて眼球の水平・垂直回転角度を再算出する。そして、前回算出した眼球の水平・垂直角度が存在する場合（Ｓ１６：ＹＥＳ）、すなわち２回目以降の水平・垂直角度の計測である場合には、前回算出した眼球の水平・垂直角度θ₁、θ₂と今回算出した眼球の水平・垂直角度θ₁、θ₂とを比較し、水平角度と垂直角度の差が予め設定した所定値より小さいか否かを判定する（Ｓ１８）。

Ｓ１８の判定処理では、前回算出した眼球の水平角度θ₁と今回算出した眼球の水平角度θ₁の差が第１所定値を下回り、かつ、前回算出した眼球の垂直角度θ₂と今回算出した眼球の垂直角度θ₂の差が第２所定値を下回っているか否かを判定する。ここで「第１所定値」と「第２所定値」は、屈折補正を継続するか否かを判定するための基準となる値であり、要求精度に応じて設定するなど任意に設定することができる。

Ｓ１８の判定処理の結果、水平・垂直角度θ₁、θ₂の差が所定値を下回っていないと判定された場合には（Ｓ１８：ＮＯ）、水平・垂直角度θ₁、θ₂の差が所定値を下回るまで、眼球画像の補正処理Ｓ１７、眼球の水平・垂直回転角度を再算出するためのＳ１１〜Ｓ１５の一連の処理を繰り返し行う。このように、水平・垂直角度θ₁、θ₂の差が小さくなるまで屈折補正を繰り返し行うことにより、角膜屈折の影響による誤差が低減される。

なお、Ｓ１８では判定処理を容易にするために、屈折補正前後の眼球画像から取得した視線角度（水平・垂直回転角度）同士の比較を行っているが、屈折補正前後の眼球画像から取得した瞳孔中心同士を比較し、屈折補正前後の瞳孔中心位置の差が所定値を下回ったか否かを判定するようにしてもよい。この場合、瞳孔中心はＳ１２で算出した瞳孔中心またはＳ１４で算出した楕円中心のいずれも用いることができるが、Ｓ１４で算出した楕円中心を用いる場合の方が高精度な判定を行うことができる。

図１０は、屈折補正の繰り返し処理を説明するための図である。図１０に示すように、１回目に算出した瞳孔中心Ｄ_O1、２回目に算出した瞳孔中心Ｄ_O2、…、ｎ回目に算出した瞳孔中心Ｄ_Onと徐々に補正され、屈折補正を繰り返し行うことで真値に近づいていき、角膜屈折による誤差が低減される。

Ｓ１８の判定処理の結果、水平・垂直角度θ₁、θ₂の差が所定値を下回ったと判定された場合には（Ｓ１８：ＹＥＳ）、眼球画像の補正処理を終了する。補正処理終了後の眼球画像では、角膜屈折による歪みが低減されているので、補正処理終了後の眼球画像から瞳孔中心Ｄ_Oを高精度に算出でき、眼球の水平回転角度θ₁、垂直回転角度θ₂を高精度に算出することができる。

図１１は、屈折補正前後における瞳孔輪郭および瞳孔中心を示している。図１１では、屈折補正後の瞳孔Ｄを実線で示し、屈折補正前の瞳孔Ｄ’を破線で示している。また、屈折補正後の瞳孔中心Ｄ_Oを「＋」で示し、は屈折補正前の瞳孔中心Ｄ_O’を「△」で示している。図１１に示すように、屈折補正後の瞳孔Ｄは屈折補正前の瞳孔Ｄ’に比較して若干縮小されているとともに、視線が傾いている場合には、屈折補正後の瞳孔Ｄおよび瞳孔中心Ｄ_Oは屈折補正前の瞳孔Ｄ’および瞳孔中心Ｄ_O’に比較して内側に移動している。

次に、屈折補正後の眼球画像から虹彩パターンを取得する（Ｓ１９）。虹彩パターンは、瞳孔の輪郭から円弧状に取得する。屈折補正後の眼球画像では、角膜屈折に起因する虹彩パターンの歪みを低減できているので、高精度に虹彩パターンを取得することができる。

ここで、例えば、視線を傾けた場合や光などの影響により瞳孔が縮んだ場合などには、虹彩パターンが変化する。このため、虹彩パターンを取得する幅を固定した場合、眼球画像から取得した虹彩パターンをそのまま用いると、回旋角度を正確に計測することは容易ではない。

図１２は、虹彩パターンの取得を説明するための図である。本実施形態では、瞳孔Ｄの長軸ａと短軸ｂを考慮して取得する虹彩Ｉの幅を決定している。具体的には、瞳孔Ｄの長軸と短軸の比がａ：ｂである場合、取得する長軸上の虹彩パターンと短軸上の虹彩パターンの幅をｍ：ｎ（＝ａ：ｂ）とする。また、本実施形態では、虹彩パターンのパターンマッチングを容易にするために、虹彩パターンを極座標変換して正規化画像を得ている。具体的には、虹彩パターンを（ｘ，ｙ）空間から（θ，ｒ）空間に投影し、円弧状の虹彩パターンを長方形状の虹彩パターンに変換している。（ｘ，ｙ）空間から（θ，ｒ）空間への投影は、上記Ｓ１４で算出した楕円パラメータ（瞳孔中心、楕円の長軸ａ・短軸ｂ、長軸ａの傾き）を用いて、θに対応する瞳孔輪郭点（ｘ_S，ｙ_S）と拡大した楕円の輪郭点（ｘｅ，ｙｅ）を数式１２により求める。

次に、数式１３を用いて、（θ，ｒ）に対応する画像中の（ｘ，ｙ）座標を求めるとともに、輝度値を近傍座標からバイリニア補間により求め、ｒ、θの値とする。

本実施形態では、（θ，ｒ）空間に投影した虹彩パターンを格納する配列の大きさは、θが０．５°刻みに７２０個、ｒが０．２刻みで５０個としており、７２０個の画素の配列から構成される。なお、本実施形態では、虹彩パターンを取得する範囲を瞳孔中心から虹彩パターンが写る６．５ｍｍに相当する１３０ピクセルの範囲としている。

次に、眼球の回旋角度を算出する（Ｓ２０）。眼球の回旋角度は、基準となる虹彩パターンに対する計測対象である虹彩パターンの相対的な回旋角度として算出される。このため、眼球の回旋角度算出に先立ち、予め視線を正面に向け、回旋運動が生じていないときの虹彩パターンを参照用虹彩パターンＲｅｆ（θ，ｒ）として取得しておく。そして、取得した虹彩パターンＴ（θ，ｒ）と所定角度（本実施形態では０．５°）ずつずらしたＲｅｆ（θ，ｒ）との類似度を数式１４を用いて算出し、最も類似した角度を眼球回旋角度θ_Sとして決定する。

次に、本実施形態の眼球測定装置による眼球運動計測結果について説明する。本実施形態では、二人の計測対象者に対して眼球運動計測を行った。

まず、眼球の水平・垂直運動の計測結果について説明する。図１３は、眼球の水平・垂直運動の計測環境を示している。図１３に示すように、計測対象者から１０００ｍｍ離れた平面上に２０固の注目点を用意した。注目点１３が計測対象者の正面に位置している。したがって、注目点１３を基準として左右方向における視線の傾きが眼球の水平角度θ₁となり、注目点１３を基準として上下方向における視線の傾きが眼球の垂直角度θ₂となり、注目点１３を注視したときの眼球の水平角度θ₁および垂直角度θ₂は０°となる。

図１３に示す計測環境では、各注目点１〜２０の水平方向の間隔は４４３ｍｍとなっている。各注目点１〜２０の垂直方向の間隔は、注目点１３より上方が２４０ｍｍ、注目点１３より下方が２６５ｍｍとなっている。なお、注目点７、９、１９、１７で囲まれる領域をエリアＡとし、注目点１、５、２０、１６で囲まれる領域におけるエリアＡを除いた領域をエリアＢとしている。

図１４は、図１３の計測環境で計測した水平・垂直角度θ₁、θ₂の平均誤差を示している。各注目点までの水平・垂直角度θ₁、θ₂を、角膜屈折補正を行わなかった場合と角膜屈折補正を行った場合に分けて計測した。角膜屈折補正では、角膜曲率半径と前房の深さの２つのパラメータとして、生体平均値と各計測対象者の最適値の双方を用いた。なお、図８で示した生体平均値では、角膜曲率半径は７．７ｍｍであり、前房の深さは３．６ｍｍであるのに対し、第１計測対象者の最適値は、角膜曲率半径は７．４ｍｍ、前房の深さは３．５ｍｍであり、第２計測対象者の最適値は、角膜曲率半径は７．６ｍｍ、前房の深さは３．８ｍｍである。

図１４に示すように、屈折補正を行わなかった場合の水平・垂直角度は、注目点１３から離れるにつれて、すなわち水平・垂直角度θ₁、θ₂が大きくなるにつれて誤差が大きくなる。一方、屈折補正を行なった場合には、瞳孔中心を精度よく検出できるため、注目点１３から離れて水平・垂直角度θ₁、θ₂が大きくなっても誤差が小さく、真値とほぼ同じ結果が得られている。また、眼球の水平・垂直回転角度の計測精度は、瞳孔中心精度に大きく左右されるため、屈折補正において生体平均値を用いた場合より最適値を用いた場合の方が、誤差がより小さくなり、水平・垂直角度θ₁、θ₂の計測精度をより向上させることができた。

次に、眼球の回旋運動の計測結果について説明する。眼球の回旋運動の計測は、計測対象者の視線を水平方向に移動させながら行った。本実施形態では、眼球の水平角度を左右方向に１０°以下（０〜１０°）、２０°以下（１０〜２０°）、３０°以下（２０〜３０°）、４０°以下（３０〜４０°）とした場合において、眼球の回旋角度を計測した。

図１５は、計測した眼球の回旋角度の平均誤差を示している。回旋角度計測においても、角膜屈折補正を行わなかった場合と角膜屈折補正を行った場合に分けて計測し、角膜屈折補正では、角膜曲率半径と前房の深さの２つのパラメータを、生体平均値と各計測対象者の最適値の双方を用いた。

図１５に示すように、眼球の水平回転角が±１０°以下の場合には、屈折補正を行わなかった場合と屈折補正を行なった場合の双方とも平均誤差が小さくなっている。これに対し、眼球の水平回転角が大きくなるにつれて、角膜における屈折の影響が大きくなるため、屈折補正を行わなかった場合に対して屈折補正を行なった場合の方が平均誤差が小さくなっている。これは、屈折補正を行うことで楕円パラメータを正確に算出でき、高精度に瞳孔輪郭から虹彩パターンを取得できているためである。特に±３０°以下においては、屈折補正を行わなかった場合より屈折補正を行なった場合の方が眼球の回旋角度をより高精度に計測できる。

なお、水平方向回転角度３５°以上における虹彩パターンは、カメラのピントの影響によりブレが生じる。このため、本実施形態の眼球運動計測装置では水平方向回転角度３５°以上における回旋角度計測が不能となるが、通常、眼球の水平方向回転角度は最大±２５°程度であるため、実際の回旋角度計測においてはほとんど影響が生じない。

また、眼球の回旋角度計測では、屈折補正に生体平均値を用いた場合と最適値を用いた場合とで、平均誤差に大きな差がみられない。これは、眼球の回旋角度計測においては、取得した虹彩パターン全体を用いて回旋角度を算出するため、瞳孔中心の多少のずれには影響されないためであると考えられる。

（第２実施形態）
次に、本発明の第２実施形態について説明する。以下、上記第１実施形態と異なる部分についてのみ説明する。

カメラ１１により瞳孔画像を取得した場合、瞳孔の高速な動きにより虹彩パターンにブレが生じ、眼球の回旋角度を正確に計測できない場合がある。そこで、本第２実施形態では、時系列情報を用いて回旋角度の計測精度低下を防いでいる。

図１６は、時系列情報を用いた眼球回旋角度の計測を説明するための図である。図１６に示すように、時系列的に眼球画像を撮影した場合に、０番目のフレームを初期フレームとし、ｔ番目のフレームを現フレームとする。そして、初期フレームの参照虹彩パターンに対する現フレームの虹彩パターンの回旋角度θ_S(t,0)、参照虹彩パターンに対する１フレーム前の虹彩パターンの回旋角度θ_S(t-1,0)、１フレーム前の虹彩パターンに対する現フレームの虹彩パターンの回旋角度θ_S(t,t-1)をそれぞれ算出する。

θ_S(t,0)とθ_S(t-1,0)＋θ_S(t,t-1)は等しいはずなので、数式１５から参照虹彩パターンに対する現フレームの虹彩パターンの旋回角度θ_Sを求める。

数式１５により、θ_S(t,0)とθ_S(t-1,0)＋θ_S(t,t-1)との差が１°以下の場合には、θ_S(t,0)を正常値として採用する。一方、θ_S(t,0)とθ_S(t-1,0)＋θ_S(t,t-1)との差が１°より大きい場合には、θ_S(t,0)が虹彩パターンのブレによる異常値と判断できるので、採用しない。

以上のように、時系列情報を用いて眼球回旋角度を計測することで、虹彩パターンのブレが生じた場合にも異常値を除去できるので、高精度に眼球の回旋角度を計測することができる。

（他の実施形態）
なお、上記実施形態では、眼球画像の屈折補正を繰り返し行うように構成したが、眼球画像の屈折補正は必ずしも繰り返し行う必要はなく、眼球画像の屈折補正を少なくとも１回行うことで、屈折の影響が軽減された眼球画像を得ることができ、屈折補正を行わない場合より高精度で眼球の水平・垂直角度や回旋角度を計測することができる。

また、上記実施形態では、屈折補正の継続判定処理Ｓ１８を、屈折補正前後の水平・垂直角度θ₁、θ₂に基づいて行ったが、これに限らず、予め設定された所定回数だけ屈折補正を行うように構成してもよい。この場合には、屈折補正の継続判定処理を簡素化することができる。

また、上記実施形態では、虹彩パターン取得処理Ｓ１９において、虹彩パターンを極座標変換し、眼球の回旋角度計測Ｓ２０において、極座標変換された虹彩パターンを用いてパターンマッチングを行ったが、これに限らず、極座標変換される前の（ｘ，ｙ）空間における虹彩パターンを用いて、パターンマッチングを行ってもよい。

眼球運動計測装置の概念図である。 眼球運動計測の概略を示す工程図である。 眼球運動計測の流れを示すフローチャートである。 楕円中心の算出を説明するための図である。 アウトライア除去を説明するための図である。 楕円パラメータを説明するための図である。 眼球の回転角を説明するための図である。 眼球構造の光学的数値を示す図表である。 角膜における光線の屈折を説明するための図である。 屈折補正の繰り返し処理を説明するための図である。 屈折補正前後における瞳孔輪郭および瞳孔中心を示す図である。 虹彩パターンの取得を説明するための図である。 眼球の水平・垂直運動の計測環境を示す図である。 眼球の水平・垂直角度の平均誤差を示す図表である。 眼球の回旋角度の平均誤差を示す図表である。 第２実施形態の時系列情報を用いた回旋角度の計測を説明するための図である。 角膜屈折を説明するための模式図である。 視線の向きによる角膜屈折を説明するための模式図である。

符号の説明

１０…画像撮影部、１１…カメラ、１２…反射鏡、１３…白色ＬＥＤ、１４…レンズ、１５…近赤外線ＬＥＤ、２０…画像処理部

Claims (13)

1. 計測対象者の眼球を撮影して眼球画像を取得する眼球撮影手段と、
   角膜における屈折を考慮して前記眼球画像を補正する眼球画像補正手段と、
   前記眼球画像から虹彩パターンを取得する虹彩パターン取得手段と、
   基準となる前記虹彩パターンである基準虹彩パターンと、計測対象の前記虹彩パターンである計測虹彩パターンとを比較し、前記基準虹彩パターンに対する前記計測虹彩パターンの相対的な回旋角度を計測する回旋角度計測手段と、
   前記眼球画像から瞳孔中心位置を検出する瞳孔中心検出手段と、を備え、
   前記瞳孔中心検出手段は、前記眼球画像補正手段による補正前の前記眼球画像を用いて第１の瞳孔中心位置を検出し、前記眼球画像補正手段による補正後の前記眼球画像を用いて第２の瞳孔中心位置を検出するように構成されており、
   前記眼球画像補正手段は、前記第１の瞳孔中心位置と前記第２の瞳孔中心位置との差が所定値より小さくなるまで、前記眼球画像の補正を繰り返し行うことを特徴とする眼球運動計測装置。
2. 計測対象者の眼球を撮影して眼球画像を取得する眼球撮影手段と、
   角膜における屈折を考慮して前記眼球画像を補正する眼球画像補正手段と、
   前記眼球画像から虹彩パターンを取得する虹彩パターン取得手段と、
   基準となる前記虹彩パターンである基準虹彩パターンと、計測対象の前記虹彩パターンである計測虹彩パターンとを比較し、前記基準虹彩パターンに対する前記計測虹彩パターンの相対的な回旋角度を計測する回旋角度計測手段と、
   前記眼球画像から瞳孔中心位置を検出する瞳孔中心検出手段と、
   前記瞳孔中心位置から眼球の視線角度を検出する視線角度検出手段と、を備え、
   前記瞳孔中心検出手段は、前記眼球画像補正手段による補正前の前記眼球画像を用いて第１の瞳孔中心位置を検出し、前記眼球画像補正手段による補正後の前記眼球画像を用いて第２の瞳孔中心位置を検出するように構成されており、
   前記視線角度検出手段は、前記第１の瞳孔中心位置から第１の視線角度を検出し、前記第２の瞳孔中心位置から第２の視線角度を検出するように構成されており、
   前記眼球画像補正手段は、前記第１の視線角度と前記第２の視線角度との差が所定値より小さくなるまで、前記眼球画像の補正を繰り返し行うことを特徴とする眼球運動計測装置。
3. 前記虹彩パターンを極座標変換する虹彩パターン変換手段を備え、
   前記回旋角度計測手段は、極座標変換された前記基準虹彩パターンおよび前記計測虹彩パターンとを用いて前記回旋角度を計測することを特徴とする請求項１または２に記載の眼球運動計測装置。
4. 計測対象者の眼球を撮影して眼球画像を取得する眼球撮影手段と、
   角膜における屈折を考慮して前記眼球画像を補正する眼球画像補正手段と、
   前記眼球画像から瞳孔輪郭を検出するとともに、前記瞳孔輪郭から瞳孔中心位置を検出する瞳孔中心検出手段と、
   前記瞳孔中心位置から眼球の視線角度を検出する視線角度検出手段と、を備え、
   前記瞳孔中心検出手段は、前記眼球画像補正手段による補正前の前記眼球画像を用いて第１の瞳孔中心位置を検出し、前記眼球画像補正手段による補正後の前記眼球画像を用いて第２の瞳孔中心位置を検出するように構成されており、
   前記眼球画像補正手段は、前記第１の瞳孔中心位置と前記第２の瞳孔中心位置との差が所定値より小さくなるまで、前記眼球画像の補正を繰り返し行うことを特徴とする眼球運動計測装置。
5. 前記瞳孔中心検出手段は、前記眼球画像補正手段による補正前の前記眼球画像を用いて第１の瞳孔中心位置を検出し、前記眼球画像補正手段による補正後の前記眼球画像を用いて第２の瞳孔中心位置を検出するように構成されており、
   前記視線角度検出手段は、前記第１の瞳孔中心位置から第１の視線角度を検出し、前記第２の瞳孔中心位置から第２の視線角度を検出するように構成されており、
   前記眼球画像補正手段は、前記第１の視線角度と前記第２の視線角度との差が所定値より小さくなるまで、前記眼球画像の補正を繰り返し行うことを特徴とする請求項４に記載の眼球運動計測装置。
6. 計測対象者の眼球を撮影して眼球画像を取得する眼球撮影手段と、
   角膜における屈折を考慮して前記眼球画像を補正する眼球画像補正手段と、
   前記眼球画像から瞳孔輪郭を検出するとともに、前記瞳孔輪郭から瞳孔中心位置を検出する瞳孔中心検出手段と、
   前記瞳孔中心位置から眼球の視線角度を検出する視線角度検出手段と、を備え、
   前記瞳孔中心検出手段は、前記眼球画像補正手段による補正前の前記眼球画像を用いて第１の瞳孔中心位置を検出し、前記眼球画像補正手段による補正後の前記眼球画像を用いて第２の瞳孔中心位置を検出するように構成されており、
   前記視線角度検出手段は、前記第１の瞳孔中心位置から第１の視線角度を検出し、前記第２の瞳孔中心位置から第２の視線角度を検出するように構成されており、
   前記眼球画像補正手段は、前記第１の視線角度と前記第２の視線角度との差が所定値より小さくなるまで、前記眼球画像の補正を繰り返し行うことを特徴とする眼球運動計測装置。
7. 前記眼球画像補正手段は、前記眼球撮影手段から前記眼球に向かう光の方向ベクトルと前記眼球撮影手段から前記眼球に向かう光が角膜で屈折した屈折方向ベクトルとを算出し、前記方向ベクトル上に存在する補正前の前記眼球画像を前記屈折方向ベクトル上に存在する補正後の前記眼球画像に変換することを特徴とする請求項１ないし６のいずれか１つに記載の眼球運動計測装置。
8. 眼球撮影手段により計測対象者の眼球を撮影して眼球画像を取得し、
   角膜における屈折を考慮して前記眼球画像を補正し、
   前記眼球画像から虹彩パターンを取得し、
   基準となる前記虹彩パターンである基準虹彩パターンと、計測対象の前記虹彩パターンである計測虹彩パターンとを比較し、前記基準虹彩パターンに対する前記計測虹彩パターンの相対的な回旋角度を計測する眼球運動計測方法であって、
   補正前の前記眼球画像を用いて第１の瞳孔中心位置を検出し、補正後の前記眼球画像を用いて第２の瞳孔中心位置を検出し、
   前記眼球画像の補正は、前記第１の瞳孔中心位置と前記第２の瞳孔中心位置との差が所定値より小さくなるまで、繰り返し行われることを特徴とする眼球運動計測方法。
9. 眼球撮影手段により計測対象者の眼球を撮影して眼球画像を取得し、
   角膜における屈折を考慮して前記眼球画像を補正し、
   前記眼球画像から瞳孔輪郭を検出するとともに、前記瞳孔輪郭から瞳孔中心位置を検出し、
   前記瞳孔中心位置から眼球の視線角度を検出する眼球運動計測方法であって、
   補正前の前記眼球画像を用いて第１の瞳孔中心位置を検出し、補正後の前記眼球画像を用いて第２の瞳孔中心位置を検出し、
   前記眼球画像の補正は、前記第１の瞳孔中心位置と前記第２の瞳孔中心位置との差が所定値より小さくなるまで、繰り返し行われることを特徴とする眼球運動計測方法。
10. 眼球撮影手段により計測対象者の眼球を撮影して眼球画像を取得し、
    角膜における屈折を考慮して前記眼球画像を補正し、
    前記眼球画像から虹彩パターンを取得し、
    基準となる前記虹彩パターンである基準虹彩パターンと、計測対象の前記虹彩パターンである計測虹彩パターンとを比較し、前記基準虹彩パターンに対する前記計測虹彩パターンの相対的な回旋角度を計測する眼球運動計測方法であって、
    補正前の前記眼球画像を用いて第１の瞳孔中心位置を検出し、補正後の前記眼球画像を用いて第２の瞳孔中心位置を検出するとともに、
    前記第１の瞳孔中心位置から眼球の第１の視線角度を検出し、前記第２の瞳孔中心位置から眼球の第２の視線角度を検出し、
    前記眼球画像の補正は、前記第１の視線角度と前記第２の視線角度との差が所定値より小さくなるまで、繰り返し行われることを特徴とする眼球運動計測方法。
11. 眼球撮影手段により計測対象者の眼球を撮影して眼球画像を取得し、
    角膜における屈折を考慮して前記眼球画像を補正し、
    前記眼球画像から瞳孔輪郭を検出するとともに、前記瞳孔輪郭から瞳孔中心位置を検出し、
    前記瞳孔中心位置から眼球の視線角度を検出する眼球運動計測方法であって、
    補正前の前記眼球画像を用いて第１の瞳孔中心位置を検出し、補正後の前記眼球画像を用いて第２の瞳孔中心位置を検出するとともに、
    前記第１の瞳孔中心位置から眼球の第１の視線角度を検出し、前記第２の瞳孔中心位置から眼球の第２の視線角度を検出し、
    前記眼球画像の補正は、前記第１の視線角度と前記第２の視線角度との差が所定値より小さくなるまで、繰り返し行われることを特徴とする眼球運動計測方法。
12. 前記回旋角度の計測は、極座標変換された前記基準虹彩パターンおよび前記計測虹彩パターンとを用いて行われることを特徴とする請求項８ないし１１のいずれか１つに記載の眼球運動計測方法。
13. 前記眼球画像の補正では、前記眼球撮影手段から前記眼球に向かう光の方向ベクトルと前記眼球撮影手段から前記眼球に向かう光が角膜で屈折した屈折方向ベクトルとを算出し、前記方向ベクトル上に存在する補正前の前記眼球画像を前記屈折方向ベクトル上に存在する補正後の前記眼球画像に変換することを特徴とする請求項８ないし１２のいずれか１つに記載の眼球運動計測方法。

Images