JP5163982B2 - 視線計測装置、視線計測プログラム、視線計測方法、および視線計測装置用ディスプレイ - Google Patents
視線計測装置、視線計測プログラム、視線計測方法、および視線計測装置用ディスプレイ Download PDFInfo
- Publication number
- JP5163982B2 JP5163982B2 JP2008156229A JP2008156229A JP5163982B2 JP 5163982 B2 JP5163982 B2 JP 5163982B2 JP 2008156229 A JP2008156229 A JP 2008156229A JP 2008156229 A JP2008156229 A JP 2008156229A JP 5163982 B2 JP5163982 B2 JP 5163982B2
- Authority
- JP
- Japan
- Prior art keywords
- eyeball
- optical axis
- deviation
- axis
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 title claims description 80
- 238000000691 measurement method Methods 0.000 title claims description 4
- 210000005252 bulbus oculi Anatomy 0.000 claims description 257
- 230000003287 optical effect Effects 0.000 claims description 228
- 230000000007 visual effect Effects 0.000 claims description 211
- 210000001508 eye Anatomy 0.000 claims description 142
- 238000004364 calculation method Methods 0.000 claims description 84
- 210000004087 cornea Anatomy 0.000 claims description 76
- 210000001747 pupil Anatomy 0.000 claims description 25
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims 1
- 230000001678 irradiating effect Effects 0.000 claims 1
- 239000013598 vector Substances 0.000 description 104
- 238000000034 method Methods 0.000 description 61
- 238000012545 processing Methods 0.000 description 39
- 230000014509 gene expression Effects 0.000 description 12
- 238000000605 extraction Methods 0.000 description 8
- 210000003786 sclera Anatomy 0.000 description 7
- 238000012937 correction Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 239000012528 membrane Substances 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 241001469893 Oxyzygonectes dovii Species 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
Description
本発明は、視線を計測する視線計測装置に関し、特に、実際に視線計測を行う前に行われるキャリブレーションを行わずに視線計測を行うものに関する。
従来、コンピュータを操作するためのインターフェースの一種として視線インターフェースがある。この視線インターフェースは、利用者の視線をデータとして検出し、検出された視線データを用いてコンピュータの画面上のアイコンなどを操作するものである。
視線インターフェースにおいては、利用者の眼球に赤外線を照射して眼球を撮影し、撮影した画像の角膜表面における赤外線の反射光と瞳孔との距離から算出される方向データを利用者の推定視線データとして検出する技術が用いられている。
視線インターフェースにおいては、利用者の眼球に赤外線を照射して眼球を撮影し、撮影した画像の角膜表面における赤外線の反射光と瞳孔との距離から算出される方向データを利用者の推定視線データとして検出する技術が用いられている。
この技術により算出される推定視線データと、実際の利用者の実視線データとの間には、利用者ごとに異なる誤差が生じる。誤差が生じる原因には、眼球形状の個人差、角膜表面での光の屈折、中心窩の位置に関する個人差など様々な要素がある。
そこで、実視線データに対する推定視線データの誤差を補正するために、利用者別の補正用パラメータを予め算出しておき、算出された推定視線データをこの補正用パラメータで補正するキャリブレーションと呼ばれる処理が行われる。
キャリブレーション処理は、予め定められた複数のマーカを利用者に順に注視させ、それぞれのマーカが注視されたときの推定視線データを検出し、検出された推定視線データと眼球から各マーカへの実際の方向データとの差から算出される補正用パラメータを用いることにより行われる。
そこで、実視線データに対する推定視線データの誤差を補正するために、利用者別の補正用パラメータを予め算出しておき、算出された推定視線データをこの補正用パラメータで補正するキャリブレーションと呼ばれる処理が行われる。
キャリブレーション処理は、予め定められた複数のマーカを利用者に順に注視させ、それぞれのマーカが注視されたときの推定視線データを検出し、検出された推定視線データと眼球から各マーカへの実際の方向データとの差から算出される補正用パラメータを用いることにより行われる。
キャリブレーション処理を行うことにより、利用者の実際の視線により近い方向データを視線データとして検出することが可能になる。
しかし、精度の高い視線データを検出するためには、補正用パラメータを生成する際に利用者に５点から２０点程のマーカを注視させる必要があり、利用者の負担が大きかった。
そこで、特許文献１における視線検出装置では、赤外線カメラ等を用いてキャリブレーション処理を１点のマーカにまで減少させる技術が記載されている。
特開２００７−１３６０００号公報
しかし、精度の高い視線データを検出するためには、補正用パラメータを生成する際に利用者に５点から２０点程のマーカを注視させる必要があり、利用者の負担が大きかった。
そこで、特許文献１における視線検出装置では、赤外線カメラ等を用いてキャリブレーション処理を１点のマーカにまで減少させる技術が記載されている。
しかしながら、特許文献１の視線検出装置には、以下のような改善すべき点がある。特許文献１の視線計測装置では、注視するマーカを減少させてはいるが、依然としてキャリブレーション処理が必要となる、という改善すべき点がある。また、被験者が変わる毎にキャリブレーションを行わなければならない、という改善すべき点がある。
そこで、本発明は、実際に視線計測を行う前に行われるキャリブレーションを行わずに視線計測を行うことができる視線計測装置を提供する。
そこで、本発明は、実際に視線計測を行う前に行われるキャリブレーションを行わずに視線計測を行うことができる視線計測装置を提供する。
本発明者は、様々な検討を重ねた結果、本発明に係る視線計測装置を完成した。本発明における課題を解決するための手段及び発明の効果を以下に示す。
本発明に係る視線計測装置、視線計測プログラム、及び視線計測方法では、所定の画面を見ている被験者について所定の光源からの光が反射した眼球の画像である眼球画像を取得し、前記眼球画像から、角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出し、ａ）ある時刻において、ａ１）一の眼球について、当該眼球に関する光軸−視軸間のずれ候補の初期値を設定し、ａ２）当該一の眼球に関する光軸及び設定したずれ候補を用いて、当該一の眼球に関する視軸を算出し、ａ３）算出した視軸を用いて、前記画面との交点を算出し、ａ４）他の一の眼球について、当該眼球の光軸及び前記交点に基づき、当該眼球に関する光軸−視軸間のずれ候補を算出し、ｂ）他の時刻において、ｂ１）前記一の眼球の光軸−視軸間のずれ候補を用いて、当該一の眼球についての前記画面との交点を算出し、ｂ２）前記他の一の眼球に関する光軸−視軸間のずれ候補を用いて、当該他の一の眼球について前記画面との交点を算出し、ｂ３）前記一の眼球についての前記交点と前記他の一の眼球についての前記交点との間の距離を算出し、ｃ）さらに、ｃ１）前記一の眼球について、所定の範囲に含まれる、新たな当該眼球に関する光軸−視軸間のずれ候補を設定し、ｃ２）前記ａ２）〜ａ４）の処理、ｂ）の処理、及びｃ１）の処理を、所定の範囲に含まれる前記一の眼球及び前記他の一の眼球についての光軸−視軸間のずれ候補の全てについて繰り返し実行し、ｄ）算出した距離の中から最小のもの抽出し、抽出した距離を算出するために用いた前記一の眼球及び前記他の一の眼球についての光軸−視軸間のずれ候補を、それぞれの眼球についての光軸−視軸間のずれと判断し、前記他の時刻以降の時刻において、判断した前記一の眼球及び前記他の一の眼球についての光軸−視軸間のずれを用いて、前記一の眼球及び前記他の一の眼球のそれぞれの光軸をずらしてそれぞれの視軸を求め、前記注視点をそれぞれの視軸の交点として算出する。
これにより、特定の点を注視するキャリブレーションをせずに視線計測を行うことができる。
本発明に係る視線計測装置、視線計測プログラム、及び視線計測方法では、所定の画面を見ている被験者について所定の光源からの光が反射した眼球の画像である眼球画像を取得し、前記眼球画像から、角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出し、ａ）ある時刻において、ａ１）一の眼球について、当該眼球に関する光軸−視軸間のずれ候補の初期値を設定し、ａ２）当該一の眼球に関する光軸及び設定したずれ候補を用いて、当該一の眼球に関する視軸を算出し、ａ３）算出した視軸を用いて、前記画面との交点を算出し、ａ４）他の一の眼球について、当該眼球の光軸及び前記交点に基づき、当該眼球に関する光軸−視軸間のずれ候補を算出し、ｂ）他の時刻において、ｂ１）前記一の眼球の光軸−視軸間のずれ候補を用いて、当該一の眼球についての前記画面との交点を算出し、ｂ２）前記他の一の眼球に関する光軸−視軸間のずれ候補を用いて、当該他の一の眼球について前記画面との交点を算出し、ｂ３）前記一の眼球についての前記交点と前記他の一の眼球についての前記交点との間の距離を算出し、ｃ）さらに、ｃ１）前記一の眼球について、所定の範囲に含まれる、新たな当該眼球に関する光軸−視軸間のずれ候補を設定し、ｃ２）前記ａ２）〜ａ４）の処理、ｂ）の処理、及びｃ１）の処理を、所定の範囲に含まれる前記一の眼球及び前記他の一の眼球についての光軸−視軸間のずれ候補の全てについて繰り返し実行し、ｄ）算出した距離の中から最小のもの抽出し、抽出した距離を算出するために用いた前記一の眼球及び前記他の一の眼球についての光軸−視軸間のずれ候補を、それぞれの眼球についての光軸−視軸間のずれと判断し、前記他の時刻以降の時刻において、判断した前記一の眼球及び前記他の一の眼球についての光軸−視軸間のずれを用いて、前記一の眼球及び前記他の一の眼球のそれぞれの光軸をずらしてそれぞれの視軸を求め、前記注視点をそれぞれの視軸の交点として算出する。
これにより、特定の点を注視するキャリブレーションをせずに視線計測を行うことができる。
本発明に係る視線計測装置は、所定の画面を見ている被験者について所定の光源からの光が反射した眼球の画像である眼球画像を取得する眼球画像取得手段、前記眼球画像から、角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出する光軸算出手段、算出した前記光軸を利用して、当該光軸と、中心窩と角膜の曲率中心とを結ぶ軸である視軸との間のずれを算出するずれ算出手段、前記光軸と前記視軸との間のずれに基づき、前記光軸をずらして前記視軸を求め、被験者の前記画面上での注視点を前記画面と前記視軸の交点として算出する注視点算出手段を有する。
これにより、光軸と視軸との間のずれを考慮した上での視線計測を行うことができる。
これにより、光軸と視軸との間のずれを考慮した上での視線計測を行うことができる。
本発明に係る視線計測装置は、ある時刻において、一の眼球及び他の一の眼球それぞれの光軸と視軸との間のずれ候補の初期値を設定し、他の時刻において、前記一の眼球及び前記他の一の眼球について、当該他の時刻において算出した光軸及び前記ある時刻において設定した前記ずれ候補を用いて評価値を算出し、新たなずれ候補を設定するということを繰り返し、前記評価値を用いて、算出したずれ候補から一の眼球及び他の一の眼球それぞれの光軸と視軸との間の最適なずれを決定する。
これにより、ある時刻及び他の時刻という異なる時刻でのずれ算出処理を実行することによって、最適なずれを決定することができるので、精度よく注視点を算出することができる。
本発明に係る視線計測装置では、所定の範囲内に存在する全ての前記新たなずれ候補を算出する。
これにより、ずれ候補を算出する範囲を限定できるので、効率よく最適なずれを算出することができる。
これにより、ある時刻及び他の時刻という異なる時刻でのずれ算出処理を実行することによって、最適なずれを決定することができるので、精度よく注視点を算出することができる。
本発明に係る視線計測装置では、所定の範囲内に存在する全ての前記新たなずれ候補を算出する。
これにより、ずれ候補を算出する範囲を限定できるので、効率よく最適なずれを算出することができる。
本発明に係る視線計測装置は、ａ）ある時刻において、ａ１）一の眼球について、当該眼球に関する光軸−視軸間のずれ候補の初期値を設定し、ａ２）当該一の眼球に関する光軸及び設定したずれ候補を用いて、当該一の眼球に関する視軸を算出し、ａ３）算出した視軸を用いて、前記画面との交点を算出し、ａ４）他の一の眼球について、当該眼球の光軸及び前記交点に基づき、当該眼球に関する光軸−視軸間のずれ候補を算出し、ｂ）他の時刻において、ｂ１）前記一の眼球の光軸−視軸間のずれ候補を用いて、当該一の眼球についての前記画面との交点を算出し、ｂ２）前記他の一の眼球に関する光軸−視軸間のずれ候補を用いて、当該他の一の眼球について前記画面との交点を算出し、ｂ３）前記一の眼球についての前記交点と前記他の一の眼球についての前記交点との間の距離を算出し、ｃ）さらに、ｃ１）前記一の眼球について、所定の範囲に含まれる、新たな当該眼球に関する光軸−視軸間のずれ候補を設定し、ｃ２）前記ａ２）〜ａ４）の処理、ｂ）の処理、及びｃ１）の処理を、所定の範囲に含まれる前記一の眼球及び前記他の一の眼球についての光軸−視軸間のずれ候補の全てについて繰り返し実行し、ｄ）算出した距離の中から最小のもの抽出し、抽出した距離を算出するために用いた前記一の眼球及び前記他の一の眼球についての光軸−視軸間のずれ候補を、それぞれの眼球についての光軸−視軸間のずれと判断する。
これにより、最適なずれを算出することができるので、精度よく注視点を算出することができる。
これにより、最適なずれを算出することができるので、精度よく注視点を算出することができる。
本発明に係る視線計測装置では、左右の眼球について算出した前記光軸のそれぞれと前記画面との交点の中点を注視点として算出する。これにより、簡単な計算でキャリブレーションなしでの視線計測の計測精度を光軸を視線と近似した場合から向上できる。
本発明に係る視線計測装置では、前記光軸と前記視軸のずれを用いて、前記注視点を算出する。特定の点を注視するキャリブレーションをせずに精度の良い視線計測を行うことができる。
本発明に係る視線計測装置では、角膜の曲率半径が一定となる領域である曲率半径一定領域に形成される第１プルキニエ像を用いて前記角膜の前記曲率中心位置を算出する。これにより、精度良い視線計測を行うことができる。
本発明に係る視線計測装置では、前記角膜の中心部を前記曲率半径一定領域とする。これにより、容易にさらに精度良い視線計測を行うことができる。
本発明に係る視線計測装置では、前記第１プルキニエ像を用いて、前記眼球の前記光軸を算出する。これにより、容易にさらに精度良い視線計測を行うことができる。
本発明に係る視線計測装置では、前記曲率半径一定領域に形成される前記第１プルキニエ像を、複数、用いる。これにより、容易に精度良い視線計測を行うことができる。
本発明に係る視線計測装置では、前記曲率半径一定領域に形成される複数の前記第１プルキニエ像のうち、前記眼球の瞳孔中心に近い二つの前記第１プルキニエ像を用いる。これにより、容易に精度良い視線計測を行うことができる。
本発明に係る視線計測装置では、前記光軸と前記視軸のずれを用いて、前記注視点を算出する。特定の点を注視するキャリブレーションをせずに精度の良い視線計測を行うことができる。
本発明に係る視線計測装置では、角膜の曲率半径が一定となる領域である曲率半径一定領域に形成される第１プルキニエ像を用いて前記角膜の前記曲率中心位置を算出する。これにより、精度良い視線計測を行うことができる。
本発明に係る視線計測装置では、前記角膜の中心部を前記曲率半径一定領域とする。これにより、容易にさらに精度良い視線計測を行うことができる。
本発明に係る視線計測装置では、前記第１プルキニエ像を用いて、前記眼球の前記光軸を算出する。これにより、容易にさらに精度良い視線計測を行うことができる。
本発明に係る視線計測装置では、前記曲率半径一定領域に形成される前記第１プルキニエ像を、複数、用いる。これにより、容易に精度良い視線計測を行うことができる。
本発明に係る視線計測装置では、前記曲率半径一定領域に形成される複数の前記第１プルキニエ像のうち、前記眼球の瞳孔中心に近い二つの前記第１プルキニエ像を用いる。これにより、容易に精度良い視線計測を行うことができる。
本発明に係る視線計測装置に用いる視線計測装置用ディスプレイでは、眼球に光を照射する光源手段であって、眼球における前記光源の反射像が互いに分離したものとなるように前記光源手段がディスプレイの外縁部に複数配置され、角膜の曲率半径一定領域に複数の第１プルキニエ像を形成させている。これにより、角膜の曲率半径一定領域に容易に複数の第１プルキニエ像を形成することが可能となる。
本発明に係るディスプレイでは、前記ディスプレイの外縁部に複数の光源手段を有する。これにより、角膜の曲率半径一定領域に容易に第１プルキニエ像を形成することが可能となる。
本発明に係るディスプレイでは、前記光源手段は、少なくとも前記ディスプレイの上縁部、右縁部及び左縁部に設けられる。これにより、角膜の曲率半径一定領域に容易に第１プルキニエ像を形成することが可能となる。
本発明に係るディスプレイでは、前記視線計測装置の被験者の眼球画像を取得する撮影手段を有する。これにより、容易に眼球画像を取得することができる。
本発明に係るディスプレイでは、前記撮影手段は、前記ディスプレイの下縁部に設けられる。これにより、眼球画像を下側から取得することができることから、目を少し閉じた状態や目の細い人の眼球も撮影することができる。
本発明に係るディスプレイでは、前記ディスプレイの外縁部に複数の光源手段を有する。これにより、角膜の曲率半径一定領域に容易に第１プルキニエ像を形成することが可能となる。
本発明に係るディスプレイでは、前記光源手段は、少なくとも前記ディスプレイの上縁部、右縁部及び左縁部に設けられる。これにより、角膜の曲率半径一定領域に容易に第１プルキニエ像を形成することが可能となる。
本発明に係るディスプレイでは、前記視線計測装置の被験者の眼球画像を取得する撮影手段を有する。これにより、容易に眼球画像を取得することができる。
本発明に係るディスプレイでは、前記撮影手段は、前記ディスプレイの下縁部に設けられる。これにより、眼球画像を下側から取得することができることから、目を少し閉じた状態や目の細い人の眼球も撮影することができる。
以下、本発明の実施形態について、図面を参照しながら詳細に説明していく。
１．視線計測装置の概要
本発明に係る視線計測装置の概要について、図１に示す機能ブロック図を用いて説明する。視線計測装置Ｍ１は、 所定の画面を見ている被験者について所定の光源からの光が反射した眼球の画像である眼球画像を取得する眼球画像取得手段Ｍ１１、前記眼球画像から角膜の曲率中心位置を算出する角膜曲率中心位置算出手段Ｍ１３、前記曲率中心位置に基づき、前記角膜の曲率半径を算出する曲率半径算出手段Ｍ１５、前記曲率半径に基づき、瞳孔の中心位置を算出する瞳孔中心位置算出手段Ｍ１７、前記角膜の曲率中心位置及び前記瞳孔の中心位置に基づき、角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出する光軸算出手段Ｍ１９、及び、算出した前記光軸を利用して、当該光軸と中心窩と角膜の曲率中心とを結ぶ軸である視軸との間のずれを算出するずれ算出手段Ｍ２１、前記光軸と前記視軸との間のずれに基づき、被験者の前記画面上での注視点を算出する注視点算出手段Ｍ２３、を有している。
本発明に係る視線計測装置の概要について、図１に示す機能ブロック図を用いて説明する。視線計測装置Ｍ１は、 所定の画面を見ている被験者について所定の光源からの光が反射した眼球の画像である眼球画像を取得する眼球画像取得手段Ｍ１１、前記眼球画像から角膜の曲率中心位置を算出する角膜曲率中心位置算出手段Ｍ１３、前記曲率中心位置に基づき、前記角膜の曲率半径を算出する曲率半径算出手段Ｍ１５、前記曲率半径に基づき、瞳孔の中心位置を算出する瞳孔中心位置算出手段Ｍ１７、前記角膜の曲率中心位置及び前記瞳孔の中心位置に基づき、角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出する光軸算出手段Ｍ１９、及び、算出した前記光軸を利用して、当該光軸と中心窩と角膜の曲率中心とを結ぶ軸である視軸との間のずれを算出するずれ算出手段Ｍ２１、前記光軸と前記視軸との間のずれに基づき、被験者の前記画面上での注視点を算出する注視点算出手段Ｍ２３、を有している。
ずれ算出手段Ｍ２１は、ａ）ある時刻において、ａ１）一の眼球について、当該眼球に関する光軸−視軸間のずれ候補の初期値を設定し、ａ２）当該一の眼球に関する光軸及び設定したずれ候補を用いて、当該一の眼球に関する視軸を算出し、ａ３）算出した視軸を用いて、前記画面との交点を算出し、ａ４）他の一の眼球について、当該眼球の光軸及び前記交点に基づき、当該眼球に関する光軸−視軸間のずれ候補を算出し、ｂ）他の時刻において、ｂ１）前記一の眼球の光軸−視軸間のずれ候補を用いて、当該一の眼球についての前記画面との交点を算出し、ｂ２）前記他の一の眼球に関する光軸−視軸間のずれ候補を用いて、当該他の一の眼球について前記画面との交点を算出し、ｂ３）前記一の眼球についての前記交点と前記他の一の眼球についての前記交点との間の距離を算出し、ｃ）さらに、ｃ１）前記一の眼球について、所定の範囲に含まれる、新たな当該眼球に関する光軸−視軸間のずれ候補を設定し、ｃ２）前記ａ２）〜ａ４）の処理、ｂ）の処理、及びｃ１）の処理を、所定の範囲に含まれる前記一の眼球及び前記他の一の眼球についての光軸−視軸間のずれ候補の全てについて繰り返し実行し、ｄ）算出した距離の中から最小のもの抽出し、抽出した距離を算出するために用いた前記一の眼球及び前記他の一の眼球についての光軸−視軸間のずれ候補を、それぞれの眼球についての光軸−視軸間のずれと判断する。
注視点算出手段Ｍ２３は、前記他の時刻以降の時刻において、判断した前記一の眼球及び前記他の一の眼球についての光軸−視軸間のずれを用いて、前記注視点を算出する。
これにより、視線計測装置Ｍ１は、特定の点を注視するキャリブレーションをせずに視線計測を行うことができる。
注視点算出手段Ｍ２３は、前記他の時刻以降の時刻において、判断した前記一の眼球及び前記他の一の眼球についての光軸−視軸間のずれを用いて、前記注視点を算出する。
これにより、視線計測装置Ｍ１は、特定の点を注視するキャリブレーションをせずに視線計測を行うことができる。
２．視線計測装置２１のハードウェア構成
視線計測装置２１のハードウェア構成を図２に基づき説明する。視線計測装置２１は、ＣＰＵ２１１、メモリ２１２、ハードディスク２１３、キーボード２１４、マウス２１５、ディスプレイ２１６ａ、２１６ｂ、光学式ドライブ２１７、ＬＥＤ２１８及びカメラ２１９を備えている。
ＣＰＵ２１１は、ハードディスク２１３に記録されているオペレーティング・システム（ＯＳ）、視線計測プログラム等その他のアプリケーションに基づいた処理を行う。メモリ２１２は、ＣＰＵ２１１に対して作業領域を提供する。ハードディスク２１３は、オペレーティング・システム（ＯＳ）、視線計測プログラム等その他のアプリケーション、及び視線計測の結果得られた計測データを記録保持する。
キーボード２１４、マウス２１５は、外部からの命令を受け付ける。ディスプレイ２１６ａは、視線を計測する被験者に見てもらう画像を表示する。ディスプレイ２１６ｂは、ステレオカメラ２１９Ｃ０、２１９Ｃ１で撮像した被験者の眼球画像を、視線計測装置２１の使用者の確認のために表示する。光学式ドライブ２１７は、光学式メディア２１０から視線計測プログラム等のデータを読み取る。
ＬＥＤ２１８は、視線計測装置２１によって視線を計測する被験者に対して、光を照射する。なお、本実施例においては、三つのＬＥＤ２１８Ｌ０、２１８Ｌ１、２１８Ｌ２を用いている。カメラ２１９は、被験者の眼球画像を撮影する。なお、カメラ２１９は、ステレオカメラ２１９Ｃ０、２１９Ｃ１により構成されている。ＬＥＤ２１８及びカメラ２１９の配置位置については後述する。
視線計測装置２１のハードウェア構成を図２に基づき説明する。視線計測装置２１は、ＣＰＵ２１１、メモリ２１２、ハードディスク２１３、キーボード２１４、マウス２１５、ディスプレイ２１６ａ、２１６ｂ、光学式ドライブ２１７、ＬＥＤ２１８及びカメラ２１９を備えている。
ＣＰＵ２１１は、ハードディスク２１３に記録されているオペレーティング・システム（ＯＳ）、視線計測プログラム等その他のアプリケーションに基づいた処理を行う。メモリ２１２は、ＣＰＵ２１１に対して作業領域を提供する。ハードディスク２１３は、オペレーティング・システム（ＯＳ）、視線計測プログラム等その他のアプリケーション、及び視線計測の結果得られた計測データを記録保持する。
キーボード２１４、マウス２１５は、外部からの命令を受け付ける。ディスプレイ２１６ａは、視線を計測する被験者に見てもらう画像を表示する。ディスプレイ２１６ｂは、ステレオカメラ２１９Ｃ０、２１９Ｃ１で撮像した被験者の眼球画像を、視線計測装置２１の使用者の確認のために表示する。光学式ドライブ２１７は、光学式メディア２１０から視線計測プログラム等のデータを読み取る。
ＬＥＤ２１８は、視線計測装置２１によって視線を計測する被験者に対して、光を照射する。なお、本実施例においては、三つのＬＥＤ２１８Ｌ０、２１８Ｌ１、２１８Ｌ２を用いている。カメラ２１９は、被験者の眼球画像を撮影する。なお、カメラ２１９は、ステレオカメラ２１９Ｃ０、２１９Ｃ１により構成されている。ＬＥＤ２１８及びカメラ２１９の配置位置については後述する。
３．ディスプレイ２１６ａ、ＬＥＤ２１８、カメラ２１９の配置
ＣＰＵ２１１が実行する第１プルキニエ像抽出処理は、光軸を推定する際に発生する誤差を減少させることを目的として実行する。ここで、光軸を推定する際に誤差が発生する理由について説明する。
光軸を推定する際に誤差が発生しやすいのは、光源からの光が角膜の周辺部で反射し、第１プルキニエ像が角膜の周辺部に発生する場合である。一般に、角膜の中心部はほぼ球形、つまり真球に近い形状であるが、周辺部になると曲率半径が変化する傾向がある例えば、図３Ａに示すように、角膜が真球であると仮定すれば位置Ａｉで光源からの入射光が反射し、反射した位置Ａｉに円状の第１プルキニエ像が発生する。しかし、実際には、角膜は真球ではないため、位置Ａｉより少し外側の位置Ａｒに第１プルキニエ像が発生する。
ＣＰＵ２１１が実行する第１プルキニエ像抽出処理は、光軸を推定する際に発生する誤差を減少させることを目的として実行する。ここで、光軸を推定する際に誤差が発生する理由について説明する。
光軸を推定する際に誤差が発生しやすいのは、光源からの光が角膜の周辺部で反射し、第１プルキニエ像が角膜の周辺部に発生する場合である。一般に、角膜の中心部はほぼ球形、つまり真球に近い形状であるが、周辺部になると曲率半径が変化する傾向がある例えば、図３Ａに示すように、角膜が真球であると仮定すれば位置Ａｉで光源からの入射光が反射し、反射した位置Ａｉに円状の第１プルキニエ像が発生する。しかし、実際には、角膜は真球ではないため、位置Ａｉより少し外側の位置Ａｒに第１プルキニエ像が発生する。
さらに、図３Ｂに示すように、角膜をはずれて強膜（白目）部分ＰＳで光源からの光が反射した場合、強膜内に反射像Ａｒ’が発生する。ここで、図５（後述）に示す眼球モデルを使用する場合、角膜についてモデル化を行うため、強膜の曲率半径は角膜とは大きく異なることから、強膜での反射像は利用できない。なお、強膜は粗い表面を持っているため、反射像Ａｒ’は、円形状ではなく、いびつな形状となる。
このような角膜形状の問題、角膜外での反射の問題を防ぐために、できるだけ眼球画像における角膜の中心部で光源からの入射光が反射するように、ＬＥＤ２１８Ｌ０〜２１８Ｌ２を図４のように設置することとした。ＬＥＤ２１８Ｌ０はディスプレイ２１６ａに向かって右側のフレームに接する位置に、ＬＥＤ２１８Ｌ１はディスプレイ２１６ａに向かって左側のフレームに接する位置に、ＬＥＤ２１８Ｌ２はディスプレイ２１６ａの上側のフレームに接する位置に、それぞれ配置される。このように、ディスプレイ２１６ａと近接した位置に光源であるＬＥＤ２１８Ｌ０〜２１８Ｌ２を配置することによって、被験者がディスプレイ２１６ａのフレームに近い部分を見たときでも、眼球画像における角膜の中心に近い位置で反射する光源を二つ確保することができる。したがって、光源に基づく第１プルキニエ像を眼球画像における角膜の中心付近に発生させることができる。
また、ディスプレイ２１６の下部には、ステレオカメラ２１９Ｃ０、２１９Ｃ１が配置される。このように、ディスプレイ２１６の下部にステレオカメラ２１９Ｃ０、２１９Ｃ１を配置することによって、目が半分閉じたような場合や目が細い人にも対応することができる。
このような角膜形状の問題、角膜外での反射の問題を防ぐために、できるだけ眼球画像における角膜の中心部で光源からの入射光が反射するように、ＬＥＤ２１８Ｌ０〜２１８Ｌ２を図４のように設置することとした。ＬＥＤ２１８Ｌ０はディスプレイ２１６ａに向かって右側のフレームに接する位置に、ＬＥＤ２１８Ｌ１はディスプレイ２１６ａに向かって左側のフレームに接する位置に、ＬＥＤ２１８Ｌ２はディスプレイ２１６ａの上側のフレームに接する位置に、それぞれ配置される。このように、ディスプレイ２１６ａと近接した位置に光源であるＬＥＤ２１８Ｌ０〜２１８Ｌ２を配置することによって、被験者がディスプレイ２１６ａのフレームに近い部分を見たときでも、眼球画像における角膜の中心に近い位置で反射する光源を二つ確保することができる。したがって、光源に基づく第１プルキニエ像を眼球画像における角膜の中心付近に発生させることができる。
また、ディスプレイ２１６の下部には、ステレオカメラ２１９Ｃ０、２１９Ｃ１が配置される。このように、ディスプレイ２１６の下部にステレオカメラ２１９Ｃ０、２１９Ｃ１を配置することによって、目が半分閉じたような場合や目が細い人にも対応することができる。
４．眼球のモデル
本発明における視線計測装置２１では、視線計測を容易に行うために、眼球についてのモデル（眼球モデル）を設定している。本発明で用いる眼球モデルを図５を用いて説明する。
眼球は、眼球の壁の最外層を構成する外膜を有している。外膜は、眼球の外層である眼球線維膜の前１／６の部分を形成する角膜Ｃ及び眼球の外層である眼球線維膜の後ろ５／６の部分を形成する強膜Ｓにより形成されている。
眼球モデルでは、眼球を、二つの球ｇ１、ｇ２が組み合わさった形状に近似している。角膜Ｃは、小さい球ｇ１の一部によって近似する。また、強膜Ｓは、大きい球ｇ２の一部によって近似する。
角膜Ｃの曲率中心Ａに、レンズ（水晶体）Ｌの中心があると仮定する。また、外部から入射した光は角膜Ｃの曲率中心Ａを通るものと仮定する。
角膜の曲率中心Ａと瞳孔Ｐの瞳孔中心Ｂとを結ぶ軸を光軸ｘ１とする。また、中心窩Ｆと角膜Ｃの曲率中心Ａとを結ぶ軸を視軸ｘ２とする。視軸ｘ２は視線とも呼ばれる。光軸ｘ１と視軸ｘ２とははずれており、両者は、角膜Ｃの曲率中心Ａで交わるものと仮定する。
本発明における視線計測装置２１では、視線計測を容易に行うために、眼球についてのモデル（眼球モデル）を設定している。本発明で用いる眼球モデルを図５を用いて説明する。
眼球は、眼球の壁の最外層を構成する外膜を有している。外膜は、眼球の外層である眼球線維膜の前１／６の部分を形成する角膜Ｃ及び眼球の外層である眼球線維膜の後ろ５／６の部分を形成する強膜Ｓにより形成されている。
眼球モデルでは、眼球を、二つの球ｇ１、ｇ２が組み合わさった形状に近似している。角膜Ｃは、小さい球ｇ１の一部によって近似する。また、強膜Ｓは、大きい球ｇ２の一部によって近似する。
角膜Ｃの曲率中心Ａに、レンズ（水晶体）Ｌの中心があると仮定する。また、外部から入射した光は角膜Ｃの曲率中心Ａを通るものと仮定する。
角膜の曲率中心Ａと瞳孔Ｐの瞳孔中心Ｂとを結ぶ軸を光軸ｘ１とする。また、中心窩Ｆと角膜Ｃの曲率中心Ａとを結ぶ軸を視軸ｘ２とする。視軸ｘ２は視線とも呼ばれる。光軸ｘ１と視軸ｘ２とははずれており、両者は、角膜Ｃの曲率中心Ａで交わるものと仮定する。
５．視線計測装置２１の動作
視線計測装置２１のＣＰＵ２１１の動作を図６に示すフローチャートを用いて説明する。ＣＰＵ２１１は、ステレオカメラ２１９Ｃ０、２１９Ｃ１で撮影した眼球画像を取得する（Ｓ５０１）。ＣＰＵ２１１は、光軸算出処理として、ステップＳ５０３〜Ｓ５１３の処理を実行する。なお、光軸算出処理としては、ステップＳ５０３〜Ｓ５１３の処理だけでなく、種々の方法が存在する。
ＣＰＵ２１１は、取得した眼球画像に対して楕円フィッティングを実行し、眼球画像上から判断される瞳孔中心（画像瞳孔中心）の座標を算出する（Ｓ５０３）。
そして、ＣＰＵ２１１は、第１プルキニエ像抽出処理を実行する（Ｓ５０５）。ＣＰＵ２１１は、第１プルキニエ像抽出処理によって、眼球画像上において、画像瞳孔中心位置に近い二つの第１プルキニエ像の位置を算出する。なお、第１プルキニエ像抽出処理については後述する。
視線計測装置２１のＣＰＵ２１１の動作を図６に示すフローチャートを用いて説明する。ＣＰＵ２１１は、ステレオカメラ２１９Ｃ０、２１９Ｃ１で撮影した眼球画像を取得する（Ｓ５０１）。ＣＰＵ２１１は、光軸算出処理として、ステップＳ５０３〜Ｓ５１３の処理を実行する。なお、光軸算出処理としては、ステップＳ５０３〜Ｓ５１３の処理だけでなく、種々の方法が存在する。
ＣＰＵ２１１は、取得した眼球画像に対して楕円フィッティングを実行し、眼球画像上から判断される瞳孔中心（画像瞳孔中心）の座標を算出する（Ｓ５０３）。
そして、ＣＰＵ２１１は、第１プルキニエ像抽出処理を実行する（Ｓ５０５）。ＣＰＵ２１１は、第１プルキニエ像抽出処理によって、眼球画像上において、画像瞳孔中心位置に近い二つの第１プルキニエ像の位置を算出する。なお、第１プルキニエ像抽出処理については後述する。
次に、ＣＰＵ２１１は、角膜の曲率中心の位置ベクトルＡ（以下、曲率中心位置ベクトルＡ）を算出する（Ｓ５０７）。角膜の曲率中心位置ベクトルＡの算出方法の概要を図７を用いて説明する。ステップＳ５０５で算出した第１プルキニエ像の一つに対応するＬＥＤ（光源ｉ）、ステップＳ５０１で取得した眼球画像を撮影したカメラ（カメラｊ）の光学中心の位置ベクトルＣｊ、眼球画像が記録されるカメラｊのイメージセンサが形成する画像平面上の第１プルキニエ像の位置ベクトルＰ’ｊｉ、及び、角膜の曲率中心位置ベクトルＡは、同一平面（以下、平面Ｍとする）内に存在する。このことから、平面Ｍは、法線ベクトルが（Ｐ’ｊｉ−Ｃｊ）×（Ｌｉ−Ｃｊ）で、カメラｊの光学中心（位置ベクトルＣｊ）を通る平面となる。よって、平面Ｍは、以下の式（１）により算出する。
なお、光源ｉの位置ベクトルをＬｉ、カメラｊの光学中心の位置ベクトルをＣｊ、カメラの画像平面上の第１プルキニエ像の位置ベクトルをＰ’ｊｉ、及び、角膜の曲率中心の位置ベクトルをＡと、それぞれする。(1)式を満たすｘ＝（ｘ，ｙ，ｚ）の集合が平面Ｍを形成する。
ここで、光源ｉの位置Ｌｉはあらかじめ計測し、焦点距離、画像平面の中心位置、レンズひずみ係数等の内部パラメータ、及び、カメラの位置、向き等の外部パラメータはカメラキャリブレーションにより事前に算出して、ハードディスク２１３にあらかじめ記憶しておく。
ステップＳ５０５で算出した第１プルキニエ像に対応するＬＥＤが二つ、及び、カメラが二つ存在することから、四つの平面Ｍを算出することができる。したがって、四つの平面Ｍの交点として、角膜の曲率中心の位置Ａを算出することができる。
図６に戻って、ＣＰＵ２１１は、ステップＳ５０７において角膜の曲率中心位置Ａを算出すると、角膜の曲率半径ｒを算出する（Ｓ５０９）。角膜の曲率半径ｒの算出方法の概要を図７を用いて説明する。角膜の曲率半径ｒを算出するために、まず、光源ｉから出た光が角膜表面で反射する点の位置ベクトルＰｊｉを算出する。点Ｐｊｉは、ＡＰｊｉとＣｊＰｊｉの交点として算出する。
ここで、光源ｉの位置Ｌｉはあらかじめ計測し、焦点距離、画像平面の中心位置、レンズひずみ係数等の内部パラメータ、及び、カメラの位置、向き等の外部パラメータはカメラキャリブレーションにより事前に算出して、ハードディスク２１３にあらかじめ記憶しておく。
ステップＳ５０５で算出した第１プルキニエ像に対応するＬＥＤが二つ、及び、カメラが二つ存在することから、四つの平面Ｍを算出することができる。したがって、四つの平面Ｍの交点として、角膜の曲率中心の位置Ａを算出することができる。
図６に戻って、ＣＰＵ２１１は、ステップＳ５０７において角膜の曲率中心位置Ａを算出すると、角膜の曲率半径ｒを算出する（Ｓ５０９）。角膜の曲率半径ｒの算出方法の概要を図７を用いて説明する。角膜の曲率半径ｒを算出するために、まず、光源ｉから出た光が角膜表面で反射する点の位置ベクトルＰｊｉを算出する。点Ｐｊｉは、ＡＰｊｉとＣｊＰｊｉの交点として算出する。
ＡＰｊｉは、tをパラメータとして、以下の式（２）として表すことができる。
ＣｊＰｊｉは、以下の式（３）として表すことができる。
角膜の曲率半径ｒは、式（２）、式（３）の交点として算出した点の位置ベクトルＰｊｉと角膜曲率中心の位置ベクトルＡとの距離として以下の式（４）により算出する。
図６に戻って、ＣＰＵ２１１は、ステップＳ５０９において角膜の曲率半径ｒを算出すると、実際の瞳孔の中心（瞳孔中心）Ｂの座標を算出する（Ｓ５１１）。瞳孔中心Ｂの座標算出方法の概要を図８を用いて説明する。一般的に、カメラで撮影した眼球画像上で観察できる画像瞳孔中心は、角膜表面での光の屈折があるため、実際の瞳孔中心の位置ベクトルＢとは異なる。
ここで、瞳孔中心の位置ベクトルＢに対応する角膜表面上の点の位置ベクトルＢｊ’’を検出することは非常に難しい。瞳孔中心Ｂ ｊ ’は、ステップＳ５０３でフィッティングした楕円の中心と近似することから、Ｂｊ’’は、以下のカメラへの入射光を表す直線（式（５））と角膜表面を表す球（式（６））との交点として算出する。
点Ｂｊ’’における屈折は、スネルの法則を用いて、以下の式（７）のように表すことができる。
ここで、νｊは入射ベクトルを、ｎｊは点Ｂｊ’’における角膜表面に対する接平面の法線ベクトルを、ρは屈折率の比を、それぞれ表す。また、νｊ、ｎｊ及びρは、それぞれ以下の式（８）、（９）及び（１０）で表すことができる。
ここで、ｎ１は空気の屈折率、ｎ２は実効屈折率≒１．３３７５である。
以上より、カメラから瞳孔中心に向かう光線が角膜表面で屈折し、瞳孔中心Ｂへ向かう直線の式は、以下の式（１１）で表すことができる。
ここで、カメラ２１９Ｃ０から出た光線に対応する瞳孔中心Ｂへ向かう直線の式は、以下の式（１２）で表すことができる。
また、カメラ２１９Ｃ１から出た光線に対応する瞳孔中心Ｂへ向かう直線の式は、以下の式（１３）で表すことができる。
瞳孔中心の位置ベクトルＢは、これら式（１２）、式（１３）の直線の交点として算出することができる。
以上より、カメラから瞳孔中心に向かう光線が角膜表面で屈折し、瞳孔中心Ｂへ向かう直線の式は、以下の式（１１）で表すことができる。
図６に戻って、ＣＰＵ２１１は、算出した角膜曲率中心Ａ及び瞳孔中心Ｂを用いて、角膜曲率中心Ａ及び瞳孔中心Ｂを結ぶ軸（光軸）を、以下の式（１４）により算出する（Ｓ５１３）。
さらに、ＣＰＵ２１１は、注視点算出処理を実行する（Ｓ５１５）。ＣＰＵ２１１は、注視点算出処理によって、被験者が実際にディスプレイ２１６を見ている注視点を算出する。なお、注視点算出処理については後述する。
ＣＰＵ２１１は、ステップＳ５０１〜ステップＳ５１５までの処理を視線計測装置２１の動作が終了するまで繰り返し実行する（Ｓ５１７）。
ＣＰＵ２１１は、ステップＳ５０１〜ステップＳ５１５までの処理を視線計測装置２１の動作が終了するまで繰り返し実行する（Ｓ５１７）。
６．第１プルキニエ像抽出処理
ＣＰＵ２１１が実行する第１プルキニエ像抽出処理は、光軸を推定する際に発生する誤差を減少させることを目的として実行する。第１プルキニエ像抽出においては、図４に示すステレオカメラ２１９Ｃ０、２１９Ｃ１によって撮影される眼球画像に表示されるＬＥＤ２１８Ｌ０〜２１８Ｌ２の三つの反射像のうち、画像瞳孔中心に近いものを二つ選択する。これにより、より球状に近い部分での反射像のみを用いて、光軸を計算することができる。
ＣＰＵ２１１が実行する第１プルキニエ像抽出処理を図９に示すフローチャートを用いて説明する。以下においては、図６に示すステップＳ５０１において、図１０に示すような眼球画像が得られたものとする。
ＣＰＵ２１１は、眼球画像に基づいて、反射像の位置を算出する（Ｓ９０１）。ＣＰＵ２１１は、算出した反射像の位置に基づき、画像瞳孔中心に近い二つの反射像を選択する（Ｓ９０３）。
ＣＰＵ２１１が実行する第１プルキニエ像抽出処理は、光軸を推定する際に発生する誤差を減少させることを目的として実行する。第１プルキニエ像抽出においては、図４に示すステレオカメラ２１９Ｃ０、２１９Ｃ１によって撮影される眼球画像に表示されるＬＥＤ２１８Ｌ０〜２１８Ｌ２の三つの反射像のうち、画像瞳孔中心に近いものを二つ選択する。これにより、より球状に近い部分での反射像のみを用いて、光軸を計算することができる。
ＣＰＵ２１１が実行する第１プルキニエ像抽出処理を図９に示すフローチャートを用いて説明する。以下においては、図６に示すステップＳ５０１において、図１０に示すような眼球画像が得られたものとする。
ＣＰＵ２１１は、眼球画像に基づいて、反射像の位置を算出する（Ｓ９０１）。ＣＰＵ２１１は、算出した反射像の位置に基づき、画像瞳孔中心に近い二つの反射像を選択する（Ｓ９０３）。
ＣＰＵ２１１は、選択した二つの反射像と光源となったＬＥＤとの対応関係を判断する（Ｓ９０５）。以下においては、ステップＳ９０１で算出した反射像の位置から、ｘ座標の値の小さいものをＣｊＰ０、大きいものを、ＣｊＰ１とする。ＣＰＵ２１１は、反射像とＬＥＤとの対応関係を判断するにあたって、以下の式（１５）を用いて角度θを算出する。
ここで、ｙ＝（０，１）である。
そして、ＣＰＵ２１１は、算出したθとＬＥＤ２１８Ｌ０、２１８Ｌ１、２１８Ｌ２との対応関係は以下の表のように判断する。
７．注視点算出処理
ＣＰＵ２１１は、実際の眼球における視軸と光軸とのずれを修正するために、注視点算出処理を実行する。ＣＰＵ２１１が実行する注視点算出処理の概要を説明する。図１１に示すように、一般的に、人が実際に見ている点と、左右の目の光軸とディスプレイとの交点とは一致しない。そこで、ディスプレイ上で人が注視している点（注視点）を、「ディスプレイと左目の光軸との交点」および「ディスプレイと右目の光軸との交点」の中点と推定することとする。なぜならば、左右の目で光軸と視軸のずれは逆方向であり、また、左右の目の水平方向のずれの大きさが等しければ、中点では水平方向の誤差は、ほぼ０°となるからである。
ここで、視軸と光軸のなす角は、日本人の場合、一般的に、水平方向で３．５°〜７．５°（平均５．５°）、垂直方向で０．２５°〜３°（平均１°）となる。なお、視軸とは、眼球のレンズ中心（角膜曲率中心Ａにほぼ等しい）と中心窩Ｆを通る線（図５参照）であり、ディスプレイ上で人が実際に見ている点（注視点）と角膜曲率中心とを結ぶ線と同じものである。
ＣＰＵ２１１は、実際の眼球における視軸と光軸とのずれを修正するために、注視点算出処理を実行する。ＣＰＵ２１１が実行する注視点算出処理の概要を説明する。図１１に示すように、一般的に、人が実際に見ている点と、左右の目の光軸とディスプレイとの交点とは一致しない。そこで、ディスプレイ上で人が注視している点（注視点）を、「ディスプレイと左目の光軸との交点」および「ディスプレイと右目の光軸との交点」の中点と推定することとする。なぜならば、左右の目で光軸と視軸のずれは逆方向であり、また、左右の目の水平方向のずれの大きさが等しければ、中点では水平方向の誤差は、ほぼ０°となるからである。
ここで、視軸と光軸のなす角は、日本人の場合、一般的に、水平方向で３．５°〜７．５°（平均５．５°）、垂直方向で０．２５°〜３°（平均１°）となる。なお、視軸とは、眼球のレンズ中心（角膜曲率中心Ａにほぼ等しい）と中心窩Ｆを通る線（図５参照）であり、ディスプレイ上で人が実際に見ている点（注視点）と角膜曲率中心とを結ぶ線と同じものである。
ＣＰＵ２１１が実行する注視点算出処理を図１２に示すフローチャートを用いて説明する。ＣＰＵ２１１は、以下の式（１６）を用いて左目に関する光軸を、式（１７）を用いて右目に関する光軸を、それぞれ算出する（Ｓ１２０１）。なお、ｔはパラメータ、ＡＲ、ＢＲ、ＡＬ、ＢＬは、ステップＳ５０７、Ｓ５１１（図６参照）において算出した、左右の目のそれぞれについての角膜曲率中心位置ベクトルと瞳孔中心位置ベクトルである。
ＣＰＵ２１１は、算出した光軸と、ディスプレイとの交点を算出する（Ｓ１２０３）。なお、ディスプレイは以下の式（１８）により表すことができる。
ここで、ｎｄはディスプレイの法線ベクトルを、ＤＴＬはディスプレイの左上の位置を示す位置ベクトルを、それぞれ示している。なお、ｎｄは、以下の式（１９）により算出する。
ここで、ＤＴＬはディスプレイの左上の位置を示すベクトルを、ＤＢＲはディスプレイの右下の位置を示すベクトルを、ＤＴＲはディスプレイの右上の位置を示すベクトルを、ＤＢＬはディスプレイの左下の位置を示すベクトルを、それぞれ表す。なお、ＤＴＬ、ＤＢＲ、ＤＴＲ、ＤＢＬはあらかじめ計測し、ハードディスク２１３へ記憶しておく。
そして、ＣＰＵ２１１は、左右、両眼について算出した交点に基づき、その中点を算出し（Ｓ１２０５）、注視点とする（Ｓ１２０７）。
そして、ＣＰＵ２１１は、左右、両眼について算出した交点に基づき、その中点を算出し（Ｓ１２０５）、注視点とする（Ｓ１２０７）。
前述の実施例１においては、注視点算出処理において実際の眼球における視軸と光軸とのずれを修正するにあたって、統計的な視軸と光軸とのずれの値を用いた。本実施例における視線計測装置は、光軸と視軸のずれを算出することにより、より精度の高い推定を行う。
なお、本実施例における視線計測装置２１’は、実施例１における視線計測装置２１と同様の構成を有しており、また、注視点算出処理を除き同様の処理を実行する。したがって、以下においては、実施例１とは異なる注視点算出処理を中心に説明する。また、実施例１と同様の構成については、同様の番号を用いる。
なお、本実施例における視線計測装置２１’は、実施例１における視線計測装置２１と同様の構成を有しており、また、注視点算出処理を除き同様の処理を実行する。したがって、以下においては、実施例１とは異なる注視点算出処理を中心に説明する。また、実施例１と同様の構成については、同様の番号を用いる。
１．視線計測の概要
図５に示すモデルで考えると、右目の視軸と左目の視軸の交点が注視点となる。したがって、右目、左目、それぞれの視軸を算出することができれば、注視点を算出することができる。しかしながら、視軸を直接的に算出することは難しい。一方、光軸については、実施例１の式（１）〜式（１４）用いて算出することが可能である。そこで、本実施例においては、光軸の算出に加えて、光軸と視軸とのずれを算出することによって視軸を算出し、さらに注視点を算出する。
図５に示すモデルで考えると、右目の視軸と左目の視軸の交点が注視点となる。したがって、右目、左目、それぞれの視軸を算出することができれば、注視点を算出することができる。しかしながら、視軸を直接的に算出することは難しい。一方、光軸については、実施例１の式（１）〜式（１４）用いて算出することが可能である。そこで、本実施例においては、光軸の算出に加えて、光軸と視軸とのずれを算出することによって視軸を算出し、さらに注視点を算出する。
中心窩と角膜曲率中心とを結ぶ軸である視軸と瞳孔中心と角膜曲率中心とを結ぶ軸である光軸とは、角膜曲率中心で交差する。ここで、光軸と視軸のずれを変数を使って表すと２つの変数で表すことができる。例えば、光軸と視軸の交点を原点として光軸を基準に考えると、視軸は光軸に垂直な平面上の点と原点を結ぶ直線になる。平面上の点は、２変数によって表すことができる。よって、α、βを光軸と視軸のずれを表す変数に設定する。α、βを用いて視軸ベクトルｃを計算する関数をgとすると、視軸ベクトルｃを以下の式（２０）で表すことができる。
式（２０）で表した視軸ベクトルcを用いると、視軸は、以下の式（２１）で表すことができる。
式（２１）を用いると、視軸と数式により規定された所定の面との交点Ｄ＝（Ｄｘ，Ｄｙ）を算出することも可能となる。なお、モデル化上の誤差、計算誤差等を除けば、交点Ｄは注視点と一致する。
以上の考え方を、時刻ｔ＝ｔ０において、被験者がある点を見ている場合に適用する。
このとき、右目についての視軸−光軸間のずれと所定の面の交点ＤＲとの関係は、以下の式（２２）及び式（２３）で表すことができる。
ここで、ｆＲｘ、ｆＲｙは、それぞれ、視軸−光軸間のずれを表す値αＲ、βＲから、右目に関する所定の面との交点ＤＲ＝（ＤＲｘ，ＤＲｙ）を算出する関数を表している。
このとき、右目についての視軸−光軸間のずれと所定の面の交点ＤＲとの関係は、以下の式（２２）及び式（２３）で表すことができる。
左目についても、右目と同様に、視軸−光軸間のずれと所定の面の交点ＤＬとの関係は、以下の式（２４）及び式（２５）で表すことができる。
次に、時刻ｔ＝ｔ０から時間が経過して、時刻ｔ＝ｔ１において、被験者が時刻ｔ＝ｔ０に見ていた点とは異なる点を見ている場合に適用する。この場合、以下の式（２６）〜式（２９）が得られる。
したがって、ｔ＝ｔ０ｆＲｘ、ｔ＝ｔ０ｆＲｙ、ｔ＝ｔ０ｆＬｘ、ｔ＝ｔ０ｆＬｙ、ｔ＝ｔ１ｆＲｘ、ｔ＝ｔ１ｆＲｙ、ｔ＝ｔ１ｆＬｘ、ｔ＝ｔ１ｆＬｙが分かっていれば、前述の式（２２）〜式（２９）を用いて連立方程式を立てると、式が８つで、未知数がαＲ、βＲ、αＬ、βＬ、ｔ＝ｔ０ＤＲｘ、ｔ＝ｔ０ＤＲｙ、ｔ＝ｔ１ＤＲｘ、ｔ＝ｔ１ＤＲｙの８つとなる。よって、右目の光軸−視軸間のずれ（αＲ，βＲ）、左目の光軸−視軸間のずれ（αＬ，βＬ）を算出できる。
なお、時刻ｔ＝ｔ１以降の時刻ｔにおいては、既にαＲ、βＲ、αＬ、βＬは既知となっている。よって、式（２０）を用いて右目の視軸ベクトルｃＲ、及び、左目の視軸ベクトルｃＬを算出し、さらに、式（２１）を用いて右目の視軸及び左目の視軸を算出する。算出した右目及び左目の視軸から交点を算出できる。算出した交点が注視点となる。
なお、時刻ｔ＝ｔ１以降の時刻ｔにおいては、既にαＲ、βＲ、αＬ、βＬは既知となっている。よって、式（２０）を用いて右目の視軸ベクトルｃＲ、及び、左目の視軸ベクトルｃＬを算出し、さらに、式（２１）を用いて右目の視軸及び左目の視軸を算出する。算出した右目及び左目の視軸から交点を算出できる。算出した交点が注視点となる。
２．視線計測装置２１’の動作
式（２２）〜式（２９）におけるｆＲｘ、ｆＲｙなどについては、単純に水平面からの回転、垂直面からの回転によって処理するもの等、さまざまなものが考えられる。本実施例において、直接、ｆＲｘ、ｆＲｙなどを求めた上で、式（２２）〜式（２９）に基づく連立方程式をたてて、解を求めることは難しい。そこで、視線計測装置２１’では、ｆＲｘ、ｆＲｙなどを求めずに、式（２２）〜式（２９）に基づく連立方程式を満たす解を求める。
視線計測装置２１’のＣＰＵ２１１の動作を図１４に示すフローチャートを用いて説明する。ＣＰＵ２１１は、右目についての光軸と視軸との間のずれを表す値αＲ、βＲ及び左目についての光軸と視軸との間のずれを表す値αＬ、βＬを算出するずれ算出処理を実行する（Ｓ１４０１）。ずれ算出処理は、一連の視線計測装置２１’において一度だけ実施される。
ＣＰＵ２１１は、算出した値αＲ、βＲ、αＬ、βＬを用いて、注視点を算出する注視点算出処理を実行する（Ｓ１４０３）。注視点算出処理は、ずれ算出処理の終了後、所定時間間隔で繰り返し、視線計測装置２１’の動作が終了するまで繰り返し実行される。
以下において、ずれ算出処理（Ｓ１４０１）、及び、注視点算出処理（Ｓ１４０３）を詳細に説明する。
式（２２）〜式（２９）におけるｆＲｘ、ｆＲｙなどについては、単純に水平面からの回転、垂直面からの回転によって処理するもの等、さまざまなものが考えられる。本実施例において、直接、ｆＲｘ、ｆＲｙなどを求めた上で、式（２２）〜式（２９）に基づく連立方程式をたてて、解を求めることは難しい。そこで、視線計測装置２１’では、ｆＲｘ、ｆＲｙなどを求めずに、式（２２）〜式（２９）に基づく連立方程式を満たす解を求める。
視線計測装置２１’のＣＰＵ２１１の動作を図１４に示すフローチャートを用いて説明する。ＣＰＵ２１１は、右目についての光軸と視軸との間のずれを表す値αＲ、βＲ及び左目についての光軸と視軸との間のずれを表す値αＬ、βＬを算出するずれ算出処理を実行する（Ｓ１４０１）。ずれ算出処理は、一連の視線計測装置２１’において一度だけ実施される。
ＣＰＵ２１１は、算出した値αＲ、βＲ、αＬ、βＬを用いて、注視点を算出する注視点算出処理を実行する（Ｓ１４０３）。注視点算出処理は、ずれ算出処理の終了後、所定時間間隔で繰り返し、視線計測装置２１’の動作が終了するまで繰り返し実行される。
以下において、ずれ算出処理（Ｓ１４０１）、及び、注視点算出処理（Ｓ１４０３）を詳細に説明する。
２．１．ずれ算出処理
視線計測装置２１’のＣＰＵ２１１は、一連の動作において、ずれ算出処理を最初に１回だけ実行し、 右目についての光軸と視軸との間のずれを表す値αＲ、βＲ及び左目についての光軸と視軸との間のずれを表す値αＬ、βＬを算出する。ずれ算出処理を図１５に示すフローチャートを用いて説明する。説明に当たっては、図１６に示す図も適宜参照する。
視線計測装置２１’のＣＰＵ２１１は、一連の動作において、ずれ算出処理を最初に１回だけ実行し、 右目についての光軸と視軸との間のずれを表す値αＲ、βＲ及び左目についての光軸と視軸との間のずれを表す値αＬ、βＬを算出する。ずれ算出処理を図１５に示すフローチャートを用いて説明する。説明に当たっては、図１６に示す図も適宜参照する。
視線計測装置２１’のＣＰＵ２１１は、時刻ｔ＝ｔ０において、一方の目、例えば、右目についてステップＳ５０１〜Ｓ５１３（図６参照）を実行し、右目の光軸（図１６Ａ：ベクトルｄＲ）を算出する（Ｓ１５０１）。ＣＰＵ２１１は、右目の光軸に対する視軸のずれを表す値αＲ、βＲの候補（以下、ずれ候補とする。）として初期値αＲ（０）、βＲ（０）を、当該ずれが水平方向で３．５°〜７．５°、垂直方向で０．２５°〜３°の範囲に収まるように適当な値を一つ設定する（Ｓ１５０３）。なお、値αＲ（０）、βＲ（０）は、どのような座標系で、どのような変数をとっても良いが、ずれを垂直方向、水平方向、それぞれの角度に換算すると、前述の範囲に収まる値を取るものとする。ここで、算出した右目の光軸、及び、設定したずれ候補値αＲ（０）、βＲ（０）を用いて「Ａ）第１のずれ算出処理」を実行する（Ｓ１５０５）。これにより、左目の光軸に対する視軸のずれを表す値αＬ、βＬのずれ候補としての初期値αＬ（０）、βＬ（０）を算出する。
ＣＰＵ２１１は、時刻ｔ＝ｔ１において、右目についてステップＳ５０１〜Ｓ５１３（図６参照）を実行し、右目の光軸（図１６Ｂ：ベクトルｄＲ）を算出する（Ｓ１５０７）。ＣＰＵ２１１は、算出した右目の光軸、及び、ステップＳ１５０３で設定した右目のずれ候補値αＲ（０）、βＲ（０）を用いて、右目について、後述の「Ｂ）交点算出処理」を実行する（Ｓ１５０９）。これにより、右目についての視軸（図１６Ｂ：ベクトルｃＲ）を算出し、視軸とディスプレイとの交点ＤＲ（０）を算出する。
ＣＰＵ２１１は、時刻ｔ＝ｔ１において、左目についてステップＳ５０１〜Ｓ５１３（図６参照）を実行し、左目の光軸（図１６Ｂ：ベクトルｄＬ）を算出する（Ｓ１５１１）。ＣＰＵ２１１は、算出した左目の光軸、及び、ステップＳ１５０５で算出した左目のずれ候補値αＬ（０）、βＬ（０）を用いて、左目について、後述の「Ｂ）交点算出処理」を実行する（Ｓ１５１３）。これにより、左目についての視軸（図１６Ｂ：ベクトルｃＬ）を算出し、視軸とディスプレイとの交点ＤＬ（０）を算出する。
ＣＰＵ２１１は、時刻ｔ＝ｔ１において、左目についてステップＳ５０１〜Ｓ５１３（図６参照）を実行し、左目の光軸（図１６Ｂ：ベクトルｄＬ）を算出する（Ｓ１５１１）。ＣＰＵ２１１は、算出した左目の光軸、及び、ステップＳ１５０５で算出した左目のずれ候補値αＬ（０）、βＬ（０）を用いて、左目について、後述の「Ｂ）交点算出処理」を実行する（Ｓ１５１３）。これにより、左目についての視軸（図１６Ｂ：ベクトルｃＬ）を算出し、視軸とディスプレイとの交点ＤＬ（０）を算出する。
そして、ＣＰＵ２１１は、右目の交点ＤＲ（０）と左目の交点ＤＬ（０）との間の距離ε（０）を以下の式（３０）を用いて算出する（Ｓ１５１５）。
ＣＰＵ２１１は、ずれ候補値αR（ｎ）、βR（ｎ）を所定の値δだけずらしながら、新たにずれ候補値αR（ｎ＋１）、βR（ｎ＋１）を設定する（Ｓ１５１７）。ＣＰＵ２１１は、下記の表２の範囲に属するαR（ｎ＋１）、βR（ｎ＋１）について網羅的に、ステップＳ１５０５〜ステップＳ１５１５までの処理を実行し、距離ε（ｎ）を算出する（Ｓ１５１９）。値δとしては、例えばずれを角度換算すると０．１°に相当する値を設定する。なお、αR（ｎ＋１）、βR（ｎ＋１）を抽出する方法については、下記表２の範囲において網羅的に抽出できるものであれば、例示のものに限定されない。値δの大きさは、最終的に算出する注視点の精度に影響するものであり、求める精度によって値δの大きさを設定すればよい。また、例えば、ランダムにαR（ｎ＋１）、βR（ｎ＋１）を抽出するようにしてもよい。
ＣＰＵ２１１は、ステップＳ１５１９において表２の範囲内の全てのずれ候補値αR（ｎ）、βR（ｎ）について距離ε（ｎ）の算出が終了したと判断すると、これまでに算出した距離ε（０）〜ε（ｎ）を評価値として、その中で値が最小となるずれ候補値αR（ｎ）、βR（ｎ）を抽出する（Ｓ１５２１）。ＣＰＵ２１１は、抽出したずれ候補値αR（ｎ）、βR（ｎ）を求めるべき右目のずれαR、βRであると判断する（Ｓ１５２３）。ＣＰＵ２１１は、右目のαR、βRに対応する左目のずれ候補値αＬ（ｎ）、βＬ（ｎ）を抽出し（Ｓ１５２５）、求めるべき左目のαＬ、βＬであると判断する（Ｓ１５２７）。
Ａ）第１のずれ算出処理
第1のずれ算出処理は、一方の目の光軸−視軸間のずれから、他方の目の光軸−視軸間のずれを算出する処理である。ここでは、右目の光軸−視軸間のずれから、左目の光軸−視軸間のずれを算出する。第１のずれ算出処理を図１７に示すフローチャートを用いて説明する。
ＣＰＵ２１１は、右目の光軸−視軸間のずれを代表する値αＲ、βＲが既知であるとすると、後述の「Ｂ）交点算出処理」を実行する（Ｓ１６０１）。これにより、右目の視軸とディスプレイとの交点Ｄ＝（Ｄｘ，Ｄｙ，Ｄｚ）を算出できる。なお、ディスプレイは、前述の式（１８）により算出できる。
次に、ＣＰＵ２１１は、左目について、後述の「Ｃ）第２のずれ算出処理」を実行する（Ｓ１６０３）。この処理により、左目で交点Ｄ＝（Ｄｘ，Ｄｙ，Ｄｚ）を見ているときの、左目のずれαＬ、βＬを算出できる。
第1のずれ算出処理は、一方の目の光軸−視軸間のずれから、他方の目の光軸−視軸間のずれを算出する処理である。ここでは、右目の光軸−視軸間のずれから、左目の光軸−視軸間のずれを算出する。第１のずれ算出処理を図１７に示すフローチャートを用いて説明する。
ＣＰＵ２１１は、右目の光軸−視軸間のずれを代表する値αＲ、βＲが既知であるとすると、後述の「Ｂ）交点算出処理」を実行する（Ｓ１６０１）。これにより、右目の視軸とディスプレイとの交点Ｄ＝（Ｄｘ，Ｄｙ，Ｄｚ）を算出できる。なお、ディスプレイは、前述の式（１８）により算出できる。
次に、ＣＰＵ２１１は、左目について、後述の「Ｃ）第２のずれ算出処理」を実行する（Ｓ１６０３）。この処理により、左目で交点Ｄ＝（Ｄｘ，Ｄｙ，Ｄｚ）を見ているときの、左目のずれαＬ、βＬを算出できる。
Ｂ）交点算出処理
交点算出処理は、光軸と視軸のずれが分かっているときに、式（１）から式（１４）により求めた光軸から視軸を計算し、視軸と所定の面との交点を算出する処理である。
光軸と視軸とのずれを表すα、βを用いて、視軸方向の単位ベクトルｃ（視軸ベクトルｃ）を算出することができる。視軸ベクトルｃを算出する方法は複数考えられるが、例として、リスティングの法則に基づいた算出方法を後述する。
視軸ベクトルｃを算出できれば、視線は式（２１）で表すことができる。一方、ディスプレイについては、式（１８）式で表すことができる。よって、式（２１）及び式（１８）を用いて、視軸とディスプレイとの交点Ｄを算出することができる。
交点算出処理は、光軸と視軸のずれが分かっているときに、式（１）から式（１４）により求めた光軸から視軸を計算し、視軸と所定の面との交点を算出する処理である。
光軸と視軸とのずれを表すα、βを用いて、視軸方向の単位ベクトルｃ（視軸ベクトルｃ）を算出することができる。視軸ベクトルｃを算出する方法は複数考えられるが、例として、リスティングの法則に基づいた算出方法を後述する。
視軸ベクトルｃを算出できれば、視線は式（２１）で表すことができる。一方、ディスプレイについては、式（１８）式で表すことができる。よって、式（２１）及び式（１８）を用いて、視軸とディスプレイとの交点Ｄを算出することができる。
Ｃ） 第２のずれ算出処理
第２のずれ算出処理は、一方の目について、ディスプレイと視軸との交点が既知である時に、その交点を注視点と仮定して、他方の目について、光軸と視軸のずれを求める処理である。
他方の目の角膜曲率中心Ａ及び光軸は、式（１）〜式（１４）式により算出できる。注視点Ｄが分かっている場合、他方の目の視軸方向の単位ベクトルｃ（視軸ベクトルｃ）は、以下の式（３１）で表すことができる。
よって、視軸は、以下の式（３２）により表すことができる。
光軸は、光軸方向の単位ベクトルｄ（光軸ベクトルｄ）を用いて以下の式（３３）で表すことができる。
他方の目について、視軸ベクトルｃと光軸ベクトルｄが求まったので、光軸と視軸のずれα、βを算出することができる。
リスティングの法則を用いた第２のずれ算出処理を後述する。
第２のずれ算出処理は、一方の目について、ディスプレイと視軸との交点が既知である時に、その交点を注視点と仮定して、他方の目について、光軸と視軸のずれを求める処理である。
他方の目の角膜曲率中心Ａ及び光軸は、式（１）〜式（１４）式により算出できる。注視点Ｄが分かっている場合、他方の目の視軸方向の単位ベクトルｃ（視軸ベクトルｃ）は、以下の式（３１）で表すことができる。
リスティングの法則を用いた第２のずれ算出処理を後述する。
２．２．注視点算出処理
視線計測装置２１’のＣＰＵ２１１がずれ算出処理の後に実行する注視点算出処理について、図１８に示すフローチャートを用いて説明する。
ＣＰＵ２１１は、所定の時刻において、右目についてステップＳ５０１〜Ｓ５１３（図６参照）を実行し、右目の光軸を算出する（Ｓ１７０１）。ＣＰＵ２１１は、ステップＳ１５２３で判断した右目についてのずれの値αＲ、βＲを用いて、右目についての視軸を算出する（Ｓ１７０３）。右目の視軸を算出するにあたっては、右目の視軸ベクトルｃＲ、ステップＳ５０７で算出した右の角膜の曲率中心位置ＡＲを用いると、ｘ＝ＡＲ＋ｔｃＲと表すことができる。
視線計測装置２１’のＣＰＵ２１１がずれ算出処理の後に実行する注視点算出処理について、図１８に示すフローチャートを用いて説明する。
ＣＰＵ２１１は、所定の時刻において、右目についてステップＳ５０１〜Ｓ５１３（図６参照）を実行し、右目の光軸を算出する（Ｓ１７０１）。ＣＰＵ２１１は、ステップＳ１５２３で判断した右目についてのずれの値αＲ、βＲを用いて、右目についての視軸を算出する（Ｓ１７０３）。右目の視軸を算出するにあたっては、右目の視軸ベクトルｃＲ、ステップＳ５０７で算出した右の角膜の曲率中心位置ＡＲを用いると、ｘ＝ＡＲ＋ｔｃＲと表すことができる。
ＣＰＵ２１１は、左目についてステップＳ５０１〜Ｓ５１３（図６参照）を実行し、左目の光軸を算出する（Ｓ１７０５）。ＣＰＵ２１１は、ステップＳ１５２７で判断した左目についてのずれの値αＬ、βＬを用いて、左目についての視軸を算出する（Ｓ１７０７）。左目の視軸を算出するにあたっても、右目と同様に、左目の視軸ベクトルｃＬ、ステップＳ５０７で算出した左の角膜の曲率中心位置ＡＬを用いると、ｘ＝ＡＬ＋ｔｃＬと表すことができる。
ＣＰＵ２１１は、右目の視軸と左の視軸の交点Ｄを注視点として算出する（Ｓ１７０９）。
ＣＰＵ２１１は、ステップＳ１７０１〜ステップＳ１７０９までの処理を動作の終了まで繰り返す（Ｓ１７１１）。
以上のように、本実施例に係る視線計測装置では、既知の点を意図して注視することなく、個人依存のパラメータであるずれの値αＲ、βＲ、αＬ、βＬを求めることができ、キャリブレーションを必要とせず、精度良く視線計測を行うことができる。
ＣＰＵ２１１は、右目の視軸と左の視軸の交点Ｄを注視点として算出する（Ｓ１７０９）。
ＣＰＵ２１１は、ステップＳ１７０１〜ステップＳ１７０９までの処理を動作の終了まで繰り返す（Ｓ１７１１）。
以上のように、本実施例に係る視線計測装置では、既知の点を意図して注視することなく、個人依存のパラメータであるずれの値αＲ、βＲ、αＬ、βＬを求めることができ、キャリブレーションを必要とせず、精度良く視線計測を行うことができる。
３．リスティングの法則に基づくＢ）交点算出処理、Ｃ）第２のずれ算出処理
３．１．リスティングの法則
以下において、リスティングの法則について説明する。眼球は、その動作において実行可能な全ての動作をするわけではなく、通常は、ある一定の法則に従って動作している。この一定の法則をリスティングの法則という。リスティングの法則は、眼の回転運動と眼位に関する法則であり、「（ａ）眼球の任意の眼位は、第1眼位から単一の回転で到達できる位置しかとらず、そして、（ｂ）その回転の回転軸は、第1眼位の視軸方向に垂直な平面（リスティング平面）内に存在する」という眼球動作に関する法則をいう。なお、第１眼位は、リスティングの法則を満たす頭部に対する相対的な目の位置であり、およそまっすぐ立ったときに水平に真正面を見たときの方向となる。
３．１．リスティングの法則
以下において、リスティングの法則について説明する。眼球は、その動作において実行可能な全ての動作をするわけではなく、通常は、ある一定の法則に従って動作している。この一定の法則をリスティングの法則という。リスティングの法則は、眼の回転運動と眼位に関する法則であり、「（ａ）眼球の任意の眼位は、第1眼位から単一の回転で到達できる位置しかとらず、そして、（ｂ）その回転の回転軸は、第1眼位の視軸方向に垂直な平面（リスティング平面）内に存在する」という眼球動作に関する法則をいう。なお、第１眼位は、リスティングの法則を満たす頭部に対する相対的な目の位置であり、およそまっすぐ立ったときに水平に真正面を見たときの方向となる。
３．２．リスティングの法則に基づく視軸と光軸の関係
眼球動作前の第１眼位及び動作後の眼位における視軸と光軸との関係を図１３Ａに示す。なお、動作後の眼位には、第１眼位から縦または横に眼球が回転した時の眼球の位置（第２眼位）及び第１眼位から縦または横への回転以外の回転をした時の眼球の位置（第３眼位）を含む。図１３Ａでは、第１眼位における視軸の単位方向ベクトル（第１視軸ベクトル）をａ、第１眼位における光軸の単位方向ベクトル（第１光軸ベクトル）をｂ、眼球動作後の眼位における視軸の単位方向ベクトル（第２視軸ベクトル）をｃ、眼球動作後の眼位における光軸の単位方向ベクトル（第２光軸ベクトル）をｄとしている。
第１視軸ベクトルａは、人がおおよそ真っ直ぐ立って正面を見た時の向きのベクトルである。第１視軸ベクトルａは、頭部の位置とともに変動するベクトルであるため、頭部の位置を画像処理または３次元センサー等で計測し、あらかじめ算出しておく。
眼球動作前の第１眼位及び動作後の眼位における視軸と光軸との関係を図１３Ａに示す。なお、動作後の眼位には、第１眼位から縦または横に眼球が回転した時の眼球の位置（第２眼位）及び第１眼位から縦または横への回転以外の回転をした時の眼球の位置（第３眼位）を含む。図１３Ａでは、第１眼位における視軸の単位方向ベクトル（第１視軸ベクトル）をａ、第１眼位における光軸の単位方向ベクトル（第１光軸ベクトル）をｂ、眼球動作後の眼位における視軸の単位方向ベクトル（第２視軸ベクトル）をｃ、眼球動作後の眼位における光軸の単位方向ベクトル（第２光軸ベクトル）をｄとしている。
第１視軸ベクトルａは、人がおおよそ真っ直ぐ立って正面を見た時の向きのベクトルである。第１視軸ベクトルａは、頭部の位置とともに変動するベクトルであるため、頭部の位置を画像処理または３次元センサー等で計測し、あらかじめ算出しておく。
次に、リスティングの法則に基づく第１眼位及び動作後の眼位における視軸と光軸との関係を図１３Ｂに示す。図１３Ｂでは、図１３Ａにおける各ベクトルａ、ｂ、ｃ、ｄを移動して、始点を一カ所に集め、回転の関係が分かりやすくなるようにしている。図１３Ｂでは、第１眼位から動作後の眼位まで眼球が直接的に動作する際の回転軸をｌとしている。眼球が、第１眼位から角度ψだけ回転動作し動作後の眼位に到達すると、第１視軸ベクトルａは角度ψだけ回転移動し第２視軸ベクトルｃとなり、第１光軸ベクトルｂは角度ψだけ回転移動し第２光軸ベクトルｄとなる。この際、回転軸ｌは、第1視軸ベクトルａに垂直なリスティング平面に存在する。より詳細には、回転軸ｌは、第１視軸ベクトルａ及び第２視軸ベクトルｃに垂直となる。
３．３．リスティングの法則に基づく処理
以下で説明するリスティングの法則に基づくＢ）交点算出処理及びＣ）第２のずれ算出処理では、座標系として第１視軸ベクトルaを基準にした座標系を用いる。ここでは、個人依存のパラメータである光軸と視軸のずれを表す値α、βは、第１光軸ベクトルbを表す二つの変数である。なお、第１光軸ベクトルｂは３次元空間のベクトルであるため、Ｘ軸の値（ｘ）、Ｙ軸の値（ｙ）、Ｚ軸の値（ｚ）の三変数で表すことができるが、第１光軸ベクトルｂを単位ベクトルとすることによって、ｘ２＋ｙ２＋ｚ２＝１の条件が付加されるので、ｘ、ｙが分かればｚも分かる。なお、zの符号は光軸ベクトルとの成す角度が小さくなる方である。よって、第１光軸ベクトルｂを表す値α、βとして、ｘ、ｙを用いればよい。
また、Ｂ）交点算出処理及びＣ）第２のずれ算出処理は、片目を対象として行われる処理である。
以下で説明するリスティングの法則に基づくＢ）交点算出処理及びＣ）第２のずれ算出処理では、座標系として第１視軸ベクトルaを基準にした座標系を用いる。ここでは、個人依存のパラメータである光軸と視軸のずれを表す値α、βは、第１光軸ベクトルbを表す二つの変数である。なお、第１光軸ベクトルｂは３次元空間のベクトルであるため、Ｘ軸の値（ｘ）、Ｙ軸の値（ｙ）、Ｚ軸の値（ｚ）の三変数で表すことができるが、第１光軸ベクトルｂを単位ベクトルとすることによって、ｘ２＋ｙ２＋ｚ２＝１の条件が付加されるので、ｘ、ｙが分かればｚも分かる。なお、zの符号は光軸ベクトルとの成す角度が小さくなる方である。よって、第１光軸ベクトルｂを表す値α、βとして、ｘ、ｙを用いればよい。
また、Ｂ）交点算出処理及びＣ）第２のずれ算出処理は、片目を対象として行われる処理である。
・Ｂ）交点算出処理について
ＣＰＵ２１１が実行するリスティングの法則を用いた交点算出処理を図１９に示すフローチャートを用いて説明する。なお、交点算出処理を実行する際には、光軸と視軸のずれを表す値α、βがステップＳ１５０３、Ｓ１５０５、Ｓ１５１７で既に設定されており、第１光軸ベクトルｂが設定されている場合である。
ＣＰＵ２１１が実行するリスティングの法則を用いた交点算出処理を図１９に示すフローチャートを用いて説明する。なお、交点算出処理を実行する際には、光軸と視軸のずれを表す値α、βがステップＳ１５０３、Ｓ１５０５、Ｓ１５１７で既に設定されており、第１光軸ベクトルｂが設定されている場合である。
ＣＰＵ２１１は、ステップＳ５０７で算出した曲率中心位置Ａ（図６参照）を取得する（Ｓ１９０１）。ＣＰＵ２１１は、ステップＳ５１１で設定した瞳孔中心Ｂ（図６参照）を取得する（Ｓ１９０３）。ＣＰＵ２１１は、ステップＳ５１３（図６参照）おいて算出した光軸に基づき、第２光軸ベクトルｄを以下の式（３４）により算出する（Ｓ１９０５）。
そして、ＣＰＵ２１１は、第１光軸ベクトルｂ及び第２光軸ベクトルｄから、回転軸ｌと回転角度ψを、それぞれ、以下の式（３５）、式（３６）を用いて算出する（Ｓ１９０７）。
ＣＰＵ２１１は、第２視軸ベクトルｃを、第１視軸ベクトルａを回転軸ｌを中心に角度ψだけ回転させることによって算出する（Ｓ１９０９）。第２視軸ベクトルｃの算出には、クォータニオンを用いる。ここで、第１視軸ベクトルａをクォータニオンを用いて表すと、以下の式（３７）となる。
また、回転軸ｌを中心にした角度ψの回転をクォータニオンを用いて表すと、以下の式（３８）となる。
なお、第１視軸ベクトルａ＝（ａｘ，ａｙ，ａｚ）、回転軸ベクトルｌ＝（ｌｘ，ｌｙ，ｌｚ）とする。
したがって、第２視軸ベクトルｃは、クォータニオンを用いて以下の式（３９）として表すことができる。
よって、第２視軸ベクトルｃは、以下の式（４０）として表すことができる。
以上より、ＣＰＵ２１１は、視軸を以下の式（４１）として推定する（Ｓ１９１１）。
ＣＰＵ２１１は、推定した視軸とディスプレイとの交点Ｄ＝（Ｄｘ，Ｄｙ，Ｄｚ）を算出する（Ｓ１９１３）。なお、ディスプレイは、前述の式（１８）により算出できる。
・Ｃ）第２のずれ算出処理について
ＣＰＵ２１１が実行するリスティングの法則を用いた第２のずれ算出処理を図２０に示すフローチャートを用いて説明する。第２のずれ算出処理では、一方の目についてのＢ）交点算出処理により得られたディスプレイとの交点Ｄ＝（Ｄｘ，Ｄｙ，Ｄｚ）が、他方の目についての視軸とディスプレイとの交点Ｄとなる、つまり、右目、左目の両目で交点Ｄを見ていると仮定して、他方の目に関する光軸−視軸間のずれα、β、つまり第１光軸ベクトルｂを算出する。以下においては、Ｂ）交点算出処理によって第１光軸ベクトルｂを算出した目とは異なる目について実行する処理であるため、各ベクトルを表す記号にはプライム記号（’）を付している。
ＣＰＵ２１１が実行するリスティングの法則を用いた第２のずれ算出処理を図２０に示すフローチャートを用いて説明する。第２のずれ算出処理では、一方の目についてのＢ）交点算出処理により得られたディスプレイとの交点Ｄ＝（Ｄｘ，Ｄｙ，Ｄｚ）が、他方の目についての視軸とディスプレイとの交点Ｄとなる、つまり、右目、左目の両目で交点Ｄを見ていると仮定して、他方の目に関する光軸−視軸間のずれα、β、つまり第１光軸ベクトルｂを算出する。以下においては、Ｂ）交点算出処理によって第１光軸ベクトルｂを算出した目とは異なる目について実行する処理であるため、各ベクトルを表す記号にはプライム記号（’）を付している。
ＣＰＵ２１１は、ステップＳ５０７で算出した曲率中心位置Ａを取得する（Ｓ２００１）。ＣＰＵ２１１は、ステップＳ１９１３で算出した交点Ｄを取得する（Ｓ２００３）。
ＣＰＵ２１１は、第２視軸ベクトルｃ’を、以下の式（４２）で算出する（Ｓ２００５）。
また、ＣＰＵ２１１は、第２光軸ベクトルｄ’を、以下の式（４３）で算出する（Ｓ２００７）。
ＣＰＵ２１１は、第２視軸ベクトルｃ’を、以下の式（４２）で算出する（Ｓ２００５）。
ＣＰＵ２１１は、図１３Ｂより、他方の目の回転軸ベクトルｌ’は以下の式（４４）で、回転角ψ’は以下の式（４５）で、それぞれ算出する（Ｓ２００９）。
ＣＰＵ２１１は、第１光軸ベクトルｂ’を、第２光軸ベクトルｄ’を回転軸ｌ’を中心に角度（−ψ’)だけ回転させることによって算出する（Ｓ２０１１）。
第２光軸ベクトルｄ’をクォータニオンを用いて表すと、以下の式（４６）となる。
第２光軸ベクトルｄ’をクォータニオンを用いて表すと、以下の式（４６）となる。
また、回転軸ｌ’を中心にした角度（−ψ’）の回転をクォータニオンを用いて表すと、以下の式（４７）となる。
なお、第２光軸ベクトルｄ’＝（ｄｘ’，ｄｙ’，ｄｚ’）、回転軸ベクトルｌ’＝（ｌｘ’，ｌｙ’，ｌｚ’）とする。
以上より、第１光軸ベクトルｂ’は、クォータニオンを用いて以下の式（４８）として表すことができる。
よって、第１光軸ベクトルｂ’は、以下の式（４９）として表すことができる。
以上より、第１光軸ベクトルｂ’は、クォータニオンを用いて以下の式（４８）として表すことができる。
本発明は、人の視線を計測するための視線計測装置に用いることができる。
２１・・・・・視線計測装置
２１’・・・・・視線計測装置
２１６ａ・・・・・ディスプレイ
２１８Ｌ０・・・・・ＬＥＤ
２１８Ｌ１・・・・・ＬＥＤ
２１８Ｌ２・・・・・ＬＥＤ
２１９Ｃ０・・・・・ステレオカメラ
２１９Ｃ１・・・・・ステレオカメラ
２１’・・・・・視線計測装置
２１６ａ・・・・・ディスプレイ
２１８Ｌ０・・・・・ＬＥＤ
２１８Ｌ１・・・・・ＬＥＤ
２１８Ｌ２・・・・・ＬＥＤ
２１９Ｃ０・・・・・ステレオカメラ
２１９Ｃ１・・・・・ステレオカメラ
Claims (18)
- 所定の画面を見ている被験者について所定の光源からの光が反射した眼球の画像である眼球画像を取得する眼球画像取得手段、
前記眼球画像から角膜の曲率中心位置を算出する角膜曲率中心位置算出手段、
前記曲率中心位置に基づき、前記角膜の曲率半径を算出する曲率半径算出手段、
前記曲率半径に基づき、瞳孔の中心位置を算出する瞳孔中心位置算出手段、
前記角膜の曲率中心位置及び前記瞳孔の中心位置に基づき、角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出する光軸算出手段、
算出した前記光軸を利用して、当該光軸と、中心窩と角膜の曲率中心とを結ぶ軸である視軸との間のずれを算出するずれ算出手段、
前記光軸と前記視軸との間のずれに基づき、被験者の前記画面上での注視点を算出する注視点算出手段、
を有する視線計測装置であって、
前記ずれ算出手段は、
ａ）ある時刻において、
ａ１）一の眼球について、当該眼球に関する光軸−視軸間のずれ候補の初期値を設定し、
ａ２）当該一の眼球に関する光軸及び設定したずれ候補を用いて、当該一の眼球に関する視軸を算出し、
ａ３）算出した視軸を用いて、前記画面との交点を算出し、
ａ４）他の一の眼球について、当該眼球の光軸及び前記交点に基づき、当該眼球に関する光軸−視軸間のずれ候補を算出し、
ｂ）他の時刻において、
ｂ１）前記一の眼球の光軸−視軸間のずれ候補を用いて、当該一の眼球についての前記画面との交点を算出し、
ｂ２）前記他の一の眼球に関する光軸−視軸間のずれ候補を用いて、当該他の一の眼球について前記画面との交点を算出し、
ｂ３）前記一の眼球についての前記交点と前記他の一の眼球についての前記交点との間の距離を算出し、
ｃ）さらに、
ｃ１）前記一の眼球について、所定の範囲に含まれる、新たな当該眼球に関する光軸−視軸間のずれ候補を設定し、
ｃ２）前記ａ２）〜ａ４）の処理、ｂ）の処理、及びｃ１）の処理を、所定の範囲に含まれる前記一の眼球及び前記他の一の眼球についての光軸−視軸間のずれ候補の全てについて繰り返し実行し、
ｄ）算出した距離の中から最小のもの抽出し、抽出した距離を算出するために用いた前記一の眼球及び前記他の一の眼球についての光軸−視軸間のずれ候補を、それぞれの眼球についての光軸−視軸間のずれと判断し、
前記注視点算出手段は、
前記他の時刻以降の時刻において、判断した前記一の眼球及び前記他の一の眼球についての光軸−視軸間のずれを用いて、前記一の眼球及び前記他の一の眼球のそれぞれの光軸をずらしてそれぞれの視軸を求め、前記注視点をそれぞれの視軸の交点として算出すること、
を特徴とする視線計測装置。 - 所定の画面を見ている被験者について所定の光源からの光が反射した眼球の画像である眼球画像を取得する眼球画像取得手段、
前記眼球画像から、角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出する光軸算出手段、
算出した前記光軸を利用して、当該光軸と、中心窩と角膜の曲率中心とを結ぶ軸である視軸との間のずれを算出するずれ算出手段、
前記光軸と前記視軸との間のずれに基づき、前記光軸をずらして前記視軸を求め、被験者の前記画面上での注視点を前記画面と前記視軸の交点として算出する注視点算出手段、
を有する視線計測装置。 - 請求項２に係る視線計測装置において、
前記ずれ算出手段は、さらに、
ある時刻において、一の眼球及び他の一の眼球それぞれの光軸と視軸との間のずれ候補の初期値を設定し、
他の時刻において、前記一の眼球及び前記他の一の眼球について、当該他の時刻において算出した光軸及び前記ある時刻において設定した前記ずれ候補を用いて評価値を算出し、新たなずれ候補を設定するということを繰り返し、
前記評価値を用いて、算出したずれ候補から一の眼球及び他の一の眼球それぞれの光軸と視軸との間の最適なずれを決定すること、
を特徴とする視線計測装置。 - 請求項３に係る視線計測装置において、
前記ずれ算出手段は、さらに、
所定の範囲内に存在する全ての前記新たなずれ候補を算出すること、
を特徴とする視線計測装置。 - 請求項４に係る視線計測装置において、
前記ずれ算出手段は、さらに、
ａ）ある時刻において、
ａ１）一の眼球について、当該眼球に関する光軸−視軸間のずれ候補の初期値を設定し、
ａ２）当該一の眼球に関する光軸及び設定したずれ候補を用いて、当該一の眼球に関する視軸を算出し、
ａ３）算出した視軸を用いて、前記画面との交点を算出し、
ａ４）他の一の眼球について、当該眼球の光軸及び前記交点に基づき、当該眼球に関する光軸−視軸間のずれ候補を算出し、
ｂ）他の時刻において、
ｂ１）前記一の眼球の光軸−視軸間のずれ候補を用いて、当該一の眼球についての前記画面との交点を算出し、
ｂ２）前記他の一の眼球に関する光軸−視軸間のずれ候補を用いて、当該他の一の眼球について前記画面との交点を算出し、
ｂ３）前記一の眼球についての前記交点と前記他の一の眼球についての前記交点との間の距離を算出し、
ｃ）さらに、
ｃ１）前記一の眼球について、所定の範囲に含まれる、新たな当該眼球に関する光軸−視軸間のずれ候補を設定し、
ｃ２）前記ａ２）〜ａ４）の処理、ｂ）の処理、及びｃ１）の処理を、所定の範囲に含まれる前記一の眼球及び前記他の一の眼球についての光軸−視軸間のずれ候補の全てについて繰り返し実行し、
ｄ）算出した距離の中から最小のもの抽出し、抽出した距離を算出するために用いた前記一の眼球及び前記他の一の眼球についての光軸−視軸間のずれ候補を、それぞれの眼球についての光軸−視軸間のずれと判断すること、
を特徴とする視線計測装置。 - 請求項２〜５のいずれかに係る視線計測装置において、さらに、
前記眼球画像から角膜の曲率中心位置を算出する角膜曲率中心位置算出手段、
前記曲率中心位置に基づき、前記角膜の曲率半径を算出する曲率半径算出手段、
前記曲率半径に基づき、瞳孔の中心位置を算出する瞳孔中心位置算出手段、
を有し、
前記光軸算出手段は、
前記角膜の曲率中心位置及び前記瞳孔の中心位置に基づき、角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出すること、
を特徴とする視線計測装置。 - 所定の画面を見ている被験者について所定の光源からの光が反射した眼球の画像である眼球画像を取得する眼球画像取得手段、
前記眼球画像から角膜の曲率中心位置を算出する角膜曲率中心位置算出手段、
前記曲率中心位置に基づき、前記角膜の曲率半径を算出する曲率半径算出手段、
前記曲率半径に基づき、瞳孔の中心位置を算出する瞳孔中心位置算出手段、
前記角膜の曲率中心位置及び前記瞳孔の中心位置に基づき、角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出する光軸算出手段、
前記光軸算出手段を用いて、左右の眼球について算出した前記光軸のそれぞれと前記画面との交点の中点を注視点として算出する注視点算出手段、
を有することを特徴とする視線計測装置。 - 請求項１，６，７のいずれかに係る視線計測装置において、
前記角膜曲率中心位置算出手段は、さらに、
角膜の曲率半径が一定となる領域である曲率半径一定領域に形成される第１プルキニエ像を用いて前記角膜の前記曲率中心位置を算出すること、
を特徴とする視線計測装置。 - 請求項８に係る視線計測装置において、
前記角膜曲率中心位置算出手段は、さらに、
前記眼球画像における前記角膜の中心部を前記曲率半径一定領域とすること、
を特徴とする視線計測装置。 - 請求項９に係る視線計測装置において、
前記光軸算出手段は、さらに、
前記第１プルキニエ像を用いて、前記眼球の前記光軸を算出すること、
を特徴とする視線計測装置。 - 請求項７〜１０に係る視線計測装置のいずれかにおいて、
前記曲率半径一定領域に形成される前記第１プルキニエ像を、複数、用いること、
を特徴とする視線計測装置。 - 請求項１１に係る視線計測装置において、
前記曲率半径一定領域に形成される複数の前記第１プルキニエ像のうち、前記眼球の瞳孔中心に近い二つの前記第１プルキニエ像を用いること、
を特徴とする視線計測装置。 - コンピュータを、視線計測装置として機能させるための視線計測プログラムであって、
前記プログラムは、コンピュータを、
所定の画面を見ている被験者について所定の光源からの光が反射した眼球の画像である眼球画像を取得する眼球画像取得手段、
前記眼球画像から角膜の曲率中心位置を算出する角膜曲率中心位置算出手段、
前記曲率中心位置に基づき、前記角膜の曲率半径を算出する曲率半径算出手段、
前記曲率半径に基づき、瞳孔の中心位置を算出する瞳孔中心位置算出手段、
前記角膜の曲率中心位置及び前記瞳孔の中心位置に基づき、角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出する光軸算出手段、
算出した前記光軸を利用して、当該光軸と、中心窩と角膜の曲率中心とを結ぶ軸である視軸との間のずれを算出するずれ算出手段、
前記光軸と前記視軸との間のずれに基づき、被験者の前記画面上での注視点を算出する注視点算出手段、
を有する視線計測装置であって、
前記ずれ算出手段は、
ａ）ある時刻において、
ａ１）一の眼球について、当該眼球に関する光軸−視軸間のずれ候補の初期値を設定し、
ａ２）当該一の眼球に関する光軸及び設定したずれ候補を用いて、当該一の眼球に関する視軸を算出し、
ａ３）算出した視軸を用いて、前記画面との交点を算出し、
ａ４）他の一の眼球について、当該眼球の光軸及び前記交点に基づき、当該眼球に関する光軸−視軸間のずれ候補を算出し、
ｂ）他の時刻において、
ｂ１）前記一の眼球の光軸−視軸間のずれ候補を用いて、当該一の眼球についての前記画面との交点を算出し、
ｂ２）前記他の一の眼球に関する光軸−視軸間のずれ候補を用いて、当該他の一の眼球について前記画面との交点を算出し、
ｂ３）前記一の眼球についての前記交点と前記他の一の眼球についての前記交点との間の距離を算出し、
ｃ）さらに、
ｃ１）前記一の眼球について、所定の範囲に含まれる、新たな当該眼球に関する光軸−視軸間のずれ候補を設定し、
ｃ２）前記ａ２）〜ａ４）の処理、ｂ）の処理、及びｃ１）の処理を、所定の範囲に含まれる前記一の眼球及び前記他の一の眼球についての光軸−視軸間のずれ候補の全てについて繰り返し実行し、
ｄ）算出した距離の中から最小のもの抽出し、抽出した距離を算出するために用いた前記一の眼球及び前記他の一の眼球についての光軸−視軸間のずれ候補を、それぞれの眼球についての光軸−視軸間のずれと判断し、
前記注視点算出手段は、
前記他の時刻以降の時刻において、判断した前記一の眼球及び前記他の一の眼球についての光軸−視軸間のずれを用いて、前記一の眼球及び前記他の一の眼球のそれぞれの光軸をずらしてそれぞれの視軸を求め、前記注視点をそれぞれの視軸の交点として算出すること、
を特徴とする視線計測装置として機能させること、
を特徴とする視線計測プログラム。 - コンピュータを用いて視線を計測する視線計測方法であって、
前記コンピュータは、
所定の画面を見ている被験者について所定の光源からの光が反射した眼球の画像である眼球画像を取得し、
前記眼球画像から、角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出し、
ａ）ある時刻において、
ａ１）一の眼球について、当該眼球に関する光軸−視軸間のずれ候補の初期値を設定し、
ａ２）当該一の眼球に関する光軸及び設定したずれ候補を用いて、当該一の眼球に関する視軸を算出し、
ａ３）算出した視軸を用いて、前記画面との交点を算出し、
ａ４）他の一の眼球について、当該眼球の光軸及び前記交点に基づき、当該眼球に関する光軸−視軸間のずれ候補を算出し、
ｂ）他の時刻において、
ｂ１）前記一の眼球の光軸−視軸間のずれ候補を用いて、当該一の眼球についての前記画面との交点を算出し、
ｂ２）前記他の一の眼球に関する光軸−視軸間のずれ候補を用いて、当該他の一の眼球について前記画面との交点を算出し、
ｂ３）前記一の眼球についての前記交点と前記他の一の眼球についての前記交点との間の距離を算出し、
ｃ）さらに、
ｃ１）前記一の眼球について、所定の範囲に含まれる、新たな当該眼球に関する光軸−視軸間のずれ候補を設定し、
ｃ２）前記ａ２）〜ａ４）の処理、ｂ）の処理、及びｃ１）の処理を、所定の範囲に含まれる前記一の眼球及び前記他の一の眼球についての光軸−視軸間のずれ候補の全てについて繰り返し実行し、
ｄ）算出した距離の中から最小のもの抽出し、抽出した距離を算出するために用いた前記一の眼球及び前記他の一の眼球についての光軸−視軸間のずれ候補を、それぞれの眼球についての光軸−視軸間のずれと判断し、
前記他の時刻以降の時刻において、判断した前記一の眼球及び前記他の一の眼球についての光軸−視軸間のずれを用いて、前記一の眼球及び前記他の一の眼球のそれぞれの光軸をずらしてそれぞれの視軸を求め、前記注視点をそれぞれの視軸の交点として算出すること、
を特徴とする視線計測方法。 - 請求項１１に係る視線計測装置に用いるディスプレイであって、
眼球に光を照射する光源手段であって、眼球における前記光源の反射像が互いに分離したものとなるように、前記光源手段が前記ディスプレイの外縁部に複数配置され、角膜の曲率半径一定領域に複数の第１プルキニエ像を形成させること、
を特徴とする視線計測装置用ディスプレイ。 - 請求項１５に係るディスプレイにおいて、
前記光源手段は、
少なくとも前記ディスプレイの上縁部、右縁部及び左縁部に設けられること、
を特徴とする視線計測装置用ディスプレイ。 - 請求項１５又は１６に係るディスプレイにおいて、さらに、
前記視線計測装置の被験者の眼球画像を取得する撮影手段を有すること、
を特徴とする視線計測装置用ディスプレイ。 - 請求項１７に係るディスプレイにおいて、
前記撮影手段は、
前記ディスプレイの下縁部に設けられること、
を特徴とする視線計測装置用ディスプレイ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008156229A JP5163982B2 (ja) | 2008-06-16 | 2008-06-16 | 視線計測装置、視線計測プログラム、視線計測方法、および視線計測装置用ディスプレイ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008156229A JP5163982B2 (ja) | 2008-06-16 | 2008-06-16 | 視線計測装置、視線計測プログラム、視線計測方法、および視線計測装置用ディスプレイ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009297323A JP2009297323A (ja) | 2009-12-24 |
| JP5163982B2 true JP5163982B2 (ja) | 2013-03-13 |
Family
ID=41544841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008156229A Active JP5163982B2 (ja) | 2008-06-16 | 2008-06-16 | 視線計測装置、視線計測プログラム、視線計測方法、および視線計測装置用ディスプレイ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5163982B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3413234A1 (en) | 2017-06-09 | 2018-12-12 | Aisin Seiki Kabushiki Kaisha | Gaze-tracking device, program, and method |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5371051B2 (ja) * | 2010-02-25 | 2013-12-18 | 国立大学法人神戸大学 | 視線計測装置、方法及びプログラム |
| WO2011153112A2 (en) * | 2010-05-29 | 2011-12-08 | Wenyu Jiang | Systems, methods and apparatus for making and using eyeglasses with adaptive lens driven by gaze distance and low power gaze tracking |
| JP5858433B2 (ja) * | 2010-12-08 | 2016-02-10 | 国立大学法人静岡大学 | 注視点検出方法及び注視点検出装置 |
| JP5818233B2 (ja) * | 2011-05-24 | 2015-11-18 | 国立大学法人神戸大学 | 視線計測装置および方法 |
| JP6019721B2 (ja) * | 2012-05-07 | 2016-11-02 | 株式会社ニコン | 他覚式変位測定装置、及び他覚式変位測定方法 |
| JP6210023B2 (ja) * | 2013-11-28 | 2017-10-11 | 株式会社Ｊｖｃケンウッド | 視線検出支援装置および視線検出支援方法 |
| JP6324119B2 (ja) * | 2014-03-04 | 2018-05-16 | 国立大学法人静岡大学 | 回転角度算出方法、注視点検出方法、情報入力方法、回転角度算出装置、注視点検出装置、情報入力装置、回転角度算出プログラム、注視点検出プログラム及び情報入力プログラム |
| WO2016098406A1 (ja) | 2014-12-17 | 2016-06-23 | ソニー株式会社 | 情報処理装置、情報処理方法及びプログラム |
| JP6909391B2 (ja) * | 2015-12-01 | 2021-07-28 | 株式会社Ｊｖｃケンウッド | 視線検出装置及び視線検出方法 |
| US10115205B2 (en) | 2016-03-11 | 2018-10-30 | Facebook Technologies, Llc | Eye tracking system with single point calibration |
| CN108780223B (zh) * | 2016-03-11 | 2019-12-20 | 脸谱科技有限责任公司 | 用于生成眼睛模型的角膜球跟踪 |
| JP6948688B2 (ja) * | 2017-02-06 | 2021-10-13 | 国立大学法人神戸大学 | 視線計測装置、視線計測方法および視線計測プログラム |
| JP7168953B2 (ja) * | 2018-06-12 | 2022-11-10 | 国立大学法人神戸大学 | 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3289953B2 (ja) * | 1991-05-31 | 2002-06-10 | キヤノン株式会社 | 視線方向検出装置 |
| JPH0761314B2 (ja) * | 1991-10-07 | 1995-07-05 | コナミ株式会社 | 網膜反射光量測定装置及び該装置を用いた視線検出装置 |
| JPH07191796A (ja) * | 1993-12-27 | 1995-07-28 | Canon Inc | 視線入力システム |
| JP3453911B2 (ja) * | 1995-03-02 | 2003-10-06 | 富士ゼロックス株式会社 | 視線認識装置 |
| SE524003C2 (sv) * | 2002-11-21 | 2004-06-15 | Tobii Technology Ab | Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel |
| JP4537901B2 (ja) * | 2005-07-14 | 2010-09-08 | 日本放送協会 | 視線測定装置および視線測定プログラム、ならびに、視線校正データ生成プログラム |
| JP4649319B2 (ja) * | 2005-11-21 | 2011-03-09 | 日本電信電話株式会社 | 視線検出装置、視線検出方法、および視線検出プログラム |
-
2008
- 2008-06-16 JP JP2008156229A patent/JP5163982B2/ja active Active
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3413234A1 (en) | 2017-06-09 | 2018-12-12 | Aisin Seiki Kabushiki Kaisha | Gaze-tracking device, program, and method |
| US10783663B2 (en) | 2017-06-09 | 2020-09-22 | Aisin Seiki Kabushiki Kaisha | Gaze-tracking device, computable readable medium, and method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009297323A (ja) | 2009-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5163982B2 (ja) | 視線計測装置、視線計測プログラム、視線計測方法、および視線計測装置用ディスプレイ | |
| JP6548171B2 (ja) | 瞳孔検出システム、視線検出システム、瞳孔検出方法、および瞳孔検出プログラム | |
| US9265414B2 (en) | Methods and systems for measuring interpupillary distance | |
| KR102056333B1 (ko) | 안경 렌즈 에지의 표시를 설정하기 위한 방법 및 장치 및 컴퓨터 프로그램 | |
| US9323075B2 (en) | System for the measurement of the interpupillary distance using a device equipped with a screen and a camera | |
| JP2010259605A (ja) | 視線測定装置および視線測定プログラム | |
| JP4232166B2 (ja) | 眼鏡装着シミュレーション方法及び装置 | |
| US10758124B2 (en) | Device and method for distance determination and/or centering using corneal reflections | |
| JP2019194702A (ja) | 累進眼科用レンズの少なくとも１つの光学的設計パラメータを判断する方法 | |
| JP7168953B2 (ja) | 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム | |
| JP2013539073A (ja) | 累進焦点眼鏡用レンズを選択する方法 | |
| JP2018099174A (ja) | 瞳孔検出装置及び瞳孔検出方法 | |
| JP4536329B2 (ja) | アイポイントの位置決定方法及びアイポイント測定システム | |
| KR20200006621A (ko) | 근거리 시력 지점을 결정하기 위한 방법, 장치 및 컴퓨터 프로그램 | |
| JP2013190942A (ja) | 視線誤差補正装置、そのプログラム及びその方法 | |
| JP5590487B2 (ja) | 視線計測方法及び視線計測装置 | |
| JP5714951B2 (ja) | 両眼瞳孔検査装置 | |
| JP2019098024A (ja) | 画像処理装置及び画像処理方法 | |
| US20240061278A1 (en) | Frame adjustment system | |
| JP2013226397A (ja) | 近業目的距離測定装置、並びに近業目的距離測定装置を用いた眼鏡レンズの製造方法及び製造システム | |
| JP2003079577A (ja) | 視線測定装置及びその方法と、視線測定プログラム及びそのプログラムを記録した記録媒体 | |
| JP2011172853A (ja) | 視線計測装置、方法及びプログラム | |
| CN110414302A (zh) | 非接触式的瞳距测量方法及系统 | |
| JP2016057906A (ja) | 視点位置の計測方法及び計測システム | |
| EP4227731A1 (en) | Method and mobile device for determining a visual point of a person |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110209 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110405 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120911 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120913 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121112 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121206 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151228 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5163982 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |