JP6948688B2 - 視線計測装置、視線計測方法および視線計測プログラム - Google Patents

Description

本発明は、車や電車等の乗り物において、カメラと光源の数を増やさなくても精度よく広範囲の視線を計測できる視線計測装置、視線計測方法および視線計測プログラムに関するものである。

従来、コンピュータを操作するためのインタフェースの一種として非接触型の視線計測技術がある。この視線計測技術は、カメラと光源を用いて、ユーザの視線をデータとして検出し、検出された視線データを用いてコンピュータの画面上のアイコンなどを操作するものである。この視線計測技術では、ユーザの眼球に赤外線などの光源からの光を照射して眼球を撮影し、撮影した画像の角膜表面における赤外線などの反射光と瞳孔との距離から算出される方向データをユーザの推定視線データとして検出する。

この技術により算出される推定視線データと、実際のユーザの実視線データとの間には、ユーザごとに異なる誤差が生じる。誤差が生じる原因には、眼球形状の個人差、角膜表面での光の屈折、中心窩の位置に関する個人差など様々な要素がある。
そこで、実視線データに対する推定視線データの誤差を補正するために、ユーザ毎の補正用パラメタを予め算出しておき、算出された推定視線データをこの補正用パラメタで補正するキャリブレーションと呼ばれる処理が行われる。
キャリブレーションは、予め定められた複数のマーカを利用者に順に注視させ、それぞれのマーカが注視されたときの推定視線データを検出し、検出された推定視線データと眼球から各マーカへの実際の方向データとの差から補正用パラメタを算出する。

キャリブレーションを行うことにより、ユーザの実際の視線により近い方向データを視線データとして検出することが可能になる。しかし、精度の高い視線データを検出するためには、補正用パラメタを生成する際に利用者に５点から２０点程のマーカを注視させる必要があり、ユーザの負担が大きいといった問題がある。この問題に鑑みて、キャリブレーションを１点のマーカにまで減少させる技術が開示されている（例えば、特許文献１を参照。）。

特許文献１に開示された技術では、光源の角膜表面での反射光と瞳孔をカメラで撮影することより、眼球画像から角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である眼球の光軸を求める。そして、眼球の光軸と視軸（視線と同等）とのずれ（個人差がある）を、１点を注視するキャリブレーションで求め、その後に計測した光軸をずれの分だけ、軸をずらすことにより正確に視線を求める。かかる技術では、眼球の内部の中心窩の位置がカメラで外部から撮影できないことから、キャリブレーションの際に注視する点数を１点から減らすことは困難である。

一方、本発明者は、既に、両眼の光軸を計測し、ディスプレイ画面上で視軸が交差するという拘束条件を付加することにより、キャリブレーションが不要（キャリブレーションフリー）な視線計測装置を提案している（特許文献２を参照）。
特許文献２に開示された視線計測装置は、ディスプレイ画面を見ているユーザについて、光源からの光が反射した眼球画像をカメラで取得し、眼球画像から角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出し、算出した光軸と、中心窩と角膜の曲率中心とを結ぶ軸である視軸との間のずれを算出し、光軸と視軸との間のずれに基づき、光軸をずらして視軸を求め、ユーザの画面上での注視点を画面と視軸の交点として算出するものである。

また一方、コンピュータを操作するためのインタフェースではなく、車、電車、船などの乗り物の操縦時の視線など遠方を眺めるユーザや、展望台から遠方を眺めるユーザの視線計測を行う状況を想定した場合、ユーザは殆どの時間、前方で遠方のどこかを見ていることになる。このようなユーザは、特別に指定されたどこかを見ることなしに、遠方を眺める視線動作中に自然にキャリブレーションがなされるならば、非常に理想的である。
本発明者は、主に遠方を眺めるユーザの視線計測を、予め定めた注視点を意識的に注視されて行うキャリブレーションではなく、遠方を自然に眺める状態下で、左右両眼の視軸（視線）が平行であることを拘束条件として自動でキャリブレーションを行い、眼球の光軸と視軸のずれを求める視線計測装置を提案している（特許文献３を参照）。

自動車の安全性向上や運転支援のためには、運転者の視線を計測し活用することが重要である。車の運転については、全ての人が自分専用の車を所有しているわけではなく、家族や友人が運転することもある。電車の運転手も途中で交代があり、異なる人が運転することもある。車に乗るたびにユーザキャリブレーションを行うのは煩わしいので、車用の視線計測はキャリブレーションの要らないものが望ましい。また、車用の視線計測では、運転者はルームミラーや左右のドアミラーを見るなど、広範囲に眼球を動かす状況を踏まえる必要がある。

特開２００７−１３６０００号公報 特許第５１６３９８２号公報 国際公開パンフレットＷＯ２０１４／１８８７２７

上述の如く、車用の視線計測では、広範囲に眼球を動かす状況下で視線を計測する必要がある。コンピュータディスプレイ用の視線計測技術をそのまま導入したのであれば、ミラーを見たときなど眼球を左右に大きく動かした際の視線を計測することは困難である。すなわち、広範囲の視線を計測するには、精度を犠牲にするか、カメラを増やすかなどが必要である。

かかる状況に鑑みて、本発明は、車用の視線計測であって、前方の視線を計測できるだけでなく、広範囲の視線を計測できる視線計測装置、視線計測方法および視線計測プログラムを提供することを目的とする。

上記課題を解決すべく、本発明の視線計測装置は、観測者の眼球を撮影するために配置された少なくとも２組のカメラ手段と光源手段を用いて、観測者の視線を計測する装置において、以下の１−１）〜１−３）の構成を備える。
１−１）パラメタ取得手段
観測者の左右の眼球のそれぞれの瞳孔とそれぞれの角膜表面で反射する各２つの光源反射光から、左右の眼球の角膜曲率半径（R）と、角膜曲率中心と瞳孔中心との距離（K）を取得する。
１−２）光軸算出手段
一方のカメラ手段には２つの光源反射光が検出され、他方のカメラ手段には光源反射光が検出されない場合に、検出された２つの光源反射光、予め算出した角膜曲率半径（R）および距離（K）に基づいて、角膜曲率中心位置と瞳孔中心位置を算出し、角膜曲率中心位置と瞳孔中心位置を結ぶ軸である光軸を算出する。

ここで、広範囲に視線を動かすと、眼球が左右に傾き、２つのカメラ手段で撮像する各イメージに映る光源反射光が変わり、カメラ手段には２つの光源反射光が検出されず、１つの光源反射光だけ検出、或は光源反射光が検出されない場合がある。眼球が傾いた際だけでなく、カメラ画像の処理の都合（ノイズや解像度の都合によるもの）によって、１つの光源反射光だけ検出、或は光源反射光が検出されない場合もある。このような場合に、本発明が適用できる。
なお、眼球と検出したカメラの間の距離範囲の制約条件、例えば、自動車の運転手の前方の車内にカメラを設置するような場合では、眼球と検出したカメラの間の距離範囲を３００〜９００ｍｍとする制約条件を加えて、光軸を算出しても構わない。この制約条件は実施態様に依存する。
１−３）注視点算出手段
左右の眼球においてそれぞれ算出された光軸に基づいて注視点を算出する。

また、他の観点から、本発明の視線計測装置は、観測者の眼球を撮影するために配置された少なくとも２組のカメラ手段と光源手段を用いて、観測者の視線を計測する装置において、以下の２−１）〜２−４）の構成を備える。
２−１）パラメタ取得手段
観測者の左右の眼球のそれぞれの瞳孔とそれぞれの角膜表面で反射する各２つの光源反射光から、左右の眼球の角膜曲率半径（R）と、角膜曲率中心と瞳孔中心との距離（K）を取得する。
２−２）光源識別手段
各々の光源手段による各々の光源反射光を識別する。
２−３）光軸算出手段
２つのカメラ手段には各々１つの光源反射光が検出された場合に、検出された２つの光源反射光、上述の光源識別手段を用いて識別された２つの光源反射光に対応する光源手段の位置、予め算出した角膜曲率半径（R）および距離（K）に基づいて、角膜曲率中心位置と瞳孔中心位置を算出し、角膜曲率中心位置と瞳孔中心位置を結ぶ軸である光軸を算出する。
２−４）注視点算出手段
左右の眼球においてそれぞれ算出された光軸に基づいて注視点を算出する。

また、他の観点から、本発明の視線計測装置は、観測者の眼球を撮影するために配置された少なくとも２組のカメラ手段と光源手段を用いて、観測者の視線を計測する装置において、以下の３−１）〜３−４）の構成を備える。
３−１）パラメタ取得手段
観測者の左右の眼球のそれぞれの瞳孔とそれぞれの角膜表面で反射する各２つの光源反射光から、左右の眼球の角膜曲率半径（R）、角膜曲率中心と瞳孔中心との距離（K）、２つの光源反射光の相対位置関係を取得する。
３−２）反射光補完手段
一方のカメラ手段には１つの光源反射光が検出され、他方のカメラ手段には光源反射光が検出されない場合に、予め算出した２つの光源反射光の相対位置関係を用いて、光源反射光を１つ補完して２つの光源反射光が検出されたとする。
ここで、相対位置関係とは、２つの光源反射光の間隔と向きであり、ベクトルで示すことができる。
３−３）光軸算出手段
反射光補完手段により補完された光源反射光と検出された光源反射光、眼球と検出したカメラ手段の間の距離範囲の制約条件、予め算出した角膜曲率半径（R）および距離（K）に基づいて、角膜曲率中心位置と瞳孔中心位置を算出し、角膜曲率中心位置と瞳孔中心位置を結ぶ軸である光軸を算出する。
３−４）注視点算出手段
左右の眼球においてそれぞれ算出された光軸に基づいて注視点を算出する。

ここで、上記３−２）の反射光補完手段は、各々の光源手段による各々の光源反射光を識別した識別結果に基づき、目の輪郭形状における検出された１つの光源反射光の位置に基づき、又は、眼球を左右に傾けた際の瞳孔の移動方向に基づき、検出された光源反射光を基点とする補完する光源反射光の相対位置を判定する。

本発明の視線計測装置において、注視点算出手段は、運転時における運転者の注視点特性から導き出した前方注視対象物と、左右の眼球の光軸との交点の中点を、注視点として算出することができる。これにより、予め定めた注視点をユーザに意識的に注視させて行うキャリブレーションではなく、ユーザの自然な視線動作中に一瞬（カメラ手段による撮像画像の１フレーム）で自動キャリブレーションを行うことができる。

本発明の視線計測装置において、パラメタ取得手段は、それぞれの観測者の左右の眼球の角膜曲率半径（R）、角膜曲率中心と瞳孔中心との距離（K）、および２つの光源反射光の相対位置関係について、事前にキャリブレーションを行い取得することでも構わない。特定ユーザ以外の利用時も視線計測装置を使うために、自動キャリブレーションを行うのが好ましいが、特定ユーザに使用が限られる場合などは、予め定めた注視点をユーザに意識的に注視させて行うキャリブレーションを事前に行い、ユーザ依存パラメタを取得しても構わない。一瞬で行う自動キャリブレーションよりも、精度が高いパラメタを取得できる。

本発明の視線計測装置において、顔が左右に大きく振られ、眼球が左右に大きく傾いた場合に、２組のカメラ手段と光源手段によって、同一又は異なるカメラ手段で瞳孔と１つの光源反射光が検出されるように、顔の移動方向に応じて、カメラ手段と光源手段の少なくとも何れかを移動させる手段を更に備えてもよい。
自動車の中の運転者が、左右のドアミラーを確認するといった動作では、顔が左右に大きく振られ、眼球が左右に大きく傾く。この場合、顔正面に配置された２組のカメラ手段と光源手段では、瞳孔および光源反射光の画像を取得できない場合がある。そのため、顔の移動方向に応じて、カメラ手段と光源手段の少なくとも何れかを移動させて、瞳孔および光源反射光の画像を取得できるようにし、視線計測を可能とする。

本発明の視線計測装置における光源手段は、眼球における光源の反射像が互いに分離したものとなるように各々異なる位置に配置され、各々の光源手段の照射光の形状パターン若しくは波長を異なるものとし、何れかのカメラ手段により撮像された眼球画像上における反射像の位置と実際の光源手段の位置とを対応付けすることができる。
視線を計算するためには、実空間における３次元的な光源位置と、眼球画像上での反射像であるプルキニエ像の位置を対応付ける必要がある。光源手段が複数存在する場合、光源手段が角膜に複数反射しているが、このような場合は、カメラ手段により撮影されたプルキニエ像と実際の光源手段との対応付けを行なう必要がある。
ここで、各々の光源手段の照射光の形状パターンを異なるものにするとは、例えば、ａ）複数の光源手段からなる形状パターンを異なるものとするもの、ｂ）光源手段から照射する光の形状を星形，ハート型，文字型，ＱＲコード（登録商標）に代表される二次元コードなど光源毎にユニークなものとするもの、ｃ）形状が既知のものの自然光を用いるものにより光源手段を判別するものである。また、各々の光源手段の照射光の波長を異なるものにするとは、光の色（可視光波長のみならず赤外線波長も含む）によって光源手段を判別することである。

本発明の視線計測装置における光源手段は、各々の光源手段を順次点灯させられ、或いは、所定時間内に各々の光源手段をユニークに点滅させられ、何れかのカメラ手段により撮像された眼球画像上における反射像の位置と実際の光源手段の位置とを対応付けするができる。
各々の光源手段を順次点灯させるとは、順番に光源手段を点灯させて、眼球に映る光源反射像であるプルキニエ像を対応させることである。また、所定時間内に各々の光源手段をユニークに点滅させるとは、光源手段の点灯／消灯を２値データとし、特定の光源手段と対応付けすることである。

本発明の視線計測方法は、観測者の眼球を撮影するために配置された少なくとも２組のカメラ手段と光源手段を用いて、観測者の視線を計測する方法において、観測者の左右の眼球のそれぞれの瞳孔とそれぞれの角膜表面で反射する各２つの光源反射光から、左右の眼球の角膜曲率半径（R）、角膜曲率中心と瞳孔中心との距離（K）、２つの光源反射光の相対位置関係を取得するパラメタ取得ステップ、下記ａ）〜ｃ）のステップ、左右の眼球においてそれぞれ算出された光軸に基づいて注視点を算出する注視点算出ステップを実行することを特徴とする。
（ステップａ）一方のカメラ手段には２つの光源反射光が検出され、他方のカメラ手段には光源反射光が検出されない場合は、検出された２つの光源反射光、予め算出した角膜曲率半径（R）および距離（K）に基づいて、角膜曲率中心位置と瞳孔中心位置を算出し、角膜曲率中心位置と瞳孔中心位置を結ぶ軸である光軸を算出する第１の光軸算出ステップ
（ステップｂ）２つのカメラ手段には各々１つの光源反射光が検出された場合は、各々の光源手段に由来する光源反射光を識別する光源識別ステップと、検出された２つの光源反射光、光源識別ステップを用いて識別された２つの光源反射光に対応する光源手段の位置、予め算出した角膜曲率半径（R）および距離（K）に基づいて、角膜曲率中心位置と瞳孔中心位置を算出し、角膜曲率中心位置と瞳孔中心位置を結ぶ軸である光軸を算出する第２の光軸算出ステップ
（ステップｃ）一方のカメラ手段には１つの光源反射光が検出され、他方のカメラ手段には光源反射光が検出されない場合は、予め算出した２つの光源反射光の相対位置関係を用いて、光源反射光を１つ補完して２つの光源反射光が検出されたとする反射光補完ステップと、反射光補完ステップにより補完された光源反射光と検出された光源反射光、眼球と検出したカメラ手段の間の距離範囲の制約条件、予め算出した角膜曲率半径（R）および距離（K）に基づいて、角膜曲率中心位置と瞳孔中心位置を算出し、角膜曲率中心位置と瞳孔中心位置を結ぶ軸である光軸を算出する第３の光軸算出ステップ

本発明の視線計測方法において、ステップｃ）の反射光補完ステップは、各々の光源手段による各々の光源反射光を識別した識別結果に基づき、目の輪郭形状における検出された１つの光源反射光の位置に基づき、又は、眼球を左右に傾けた際の瞳孔の移動方向に基づき、検出された光源反射光を基点とする補完する光源反射光の相対的位置を判定する。

本発明の視線計測方法において、パラメタ取得ステップは、それぞれの観測者の左右の眼球の角膜曲率半径（R）、角膜曲率中心と瞳孔中心との距離（K）、および２つの光源反射光の相対位置関係について、事前にキャリブレーションを行い取得することが好ましい。

本発明の視線計測方法において、下記１）〜４）の場合に分けて角膜曲率中心（R）を算出し、下記５）と６）の場合に分けて瞳孔中心を算出し、下記１〜４）の場合の何れかと下記５）と６）の何れかを組合せて、角膜曲率中心位置と瞳孔中心位置を算出し、角膜曲率中心位置と瞳孔中心位置を結ぶ軸である光軸を算出することでもよい。
１）一方のカメラ手段には２つの光源反射光が検出され、他方のカメラ手段には光源反射光が検出されない場合
２）２つのカメラ手段には各々１つの光源反射光が検出される場合
３）一方のカメラ手段には１つの光源反射光が検出され、他方のカメラ手段には光源反射光が検出されない場合
４）一方のカメラ手段には２つの光源反射光が検出され、他方のカメラ手段には１つ又は２つの光源反射光が検出される場合
５）２つのカメラ手段に瞳孔が検出される場合
６）一方のカメラ手段にのみ瞳孔が検出される場合

本発明の視線計測プログラムは、本発明の視線計測方法の各ステップを、コンピュータに実行させるためのものである。

本発明によれば、正面を向いた状態から左右に大きく眼球を傾けて周囲を見る場合において、視線計測が可能といった効果がある。特に、自動車の中の運転者が、前方だけではなく、ルームミラーや左右のドアミラーを確認するといった広範囲の視線動作において、視線計測を行えるといった効果がある。

眼球の形状モデルの説明図 カメラと光源の配置図 光源から出た光線の経路の説明図 １つの経路に着目した図 角膜表面上での屈折の説明図 視線計測装置の機能ブロック図 視線計測装置のハードウェア構成図 光源Ｌ_ｉとカメラ中心Ｃ_ｊと角膜曲率中心Ａを通る平面の説明図 光線の経路パターン（１） 光線の経路パターン（２） 光線の経路パターン（３） 光線の経路パターン（４） 光線の経路パターン（５） 光線の経路パターン（６） 視線計測方法の処理フロー図

上述した従来の視線計測装置では、図１に示すような眼球の形状モデルを用いたモデルベースのアプローチを用いている。このモデルベースのアプローチは、３次元で視線を求めることができ、十分な計測精度を保ったまま、キャリブレーションの簡素化や、頭部移動への対応の実現に有望であり、モデルベースのアプローチにより、キャリブレーションなしで眼球の光軸を求めることができる。

図１に示す形状モデルでは、角膜は球面と近似され、眼球の網膜上で最も解像度が高い場所は中心窩と呼ばれ、眼球のレンズ中心と角膜曲率中心との距離は無視され同一位置とされる。視線は、中心窩と注視点とを結ぶ線と定義され、角膜曲率中心を通るものとされている。中心窩と角膜曲率中心を結ぶ眼球の軸は、視軸と呼ばれる（視線と視軸は同じ線を表す）。光軸は、眼球の幾何学的な中心軸であり、角膜曲率中心と瞳孔中心を結ぶ線と定義される。ここで、視軸と光軸のなす角は、日本人の場合、水平方向で３．５〜７．５°（平均５．５°）、垂直方向で、０．２５〜３．０°（平均１．０°）であり、ずれ角は個人毎に異なることが知られている。眼球の視軸と光軸のなす角は、カッパ角（κ）と定義される。

先ず、図１の形状モデルにおける角膜曲率中心の推定について説明する。上述の特許文献２に開示された技術では、図２に示すように、２組のカメラと点光源がコンピュータディスプレイの周囲に配置されている。観測者がディスプレイの前に位置し、ディスプレイ上の画面を見ている場合には、２つの点光源（Ｌ_０，Ｌ_１）から出た光が、１つの眼球の角膜表面上で反射してカメラのイメージセンサ上に到達する経路は、図３に示すようになる。

図４は、１つの経路に着目した図を示している。以下、アルファベットボールドタイプは、３次元ベクトルを示す。図４に示すように、点光源Ｌ_ｉからの光は、角膜上Ｐ_ｊｉで反射し、Ｃ_ｊを通り、カメラｊのイメージセンサ上にあるＰ´_ｊｉに達する。図４ において、Ｌ_ｉとＣ_ｊとＰ´_ｊｉを含む平面には、角膜は球とモデル化しているので、角膜曲率中心Ａが含まれることになる。Ｌ_ｉとＣ_ｊとＰ´_ｊｉを含む平面は、下記数式１のように表される。ここで、Ｘ（＝（ｘ，ｙ，ｚ）^Ｔ）は、平面上の点を表す。

（数１）
{（Ｐ´_ｊｉ−Ｃ_ｊ）×（Ｌ_ｉ−Ｃ_ｊ）}・（Ｘ−Ｃ_ｊ）＝０ ・・・（式１）

ｉとｊはそれぞれ０，１をとることから、上記数式１で表される平面は４つ存在することになる。そして、全ての面に角膜曲率中心Ａが含まれることから、これらの面が少なくとも３つ求まれば、角膜曲率中心Ａを求めることができる。つまり、図３に示される２台のカメラの２つのイメージセンサに写っている４つの反射光（Ｐ´_００、Ｐ´_０１、Ｐ´_１０、Ｐ´_１１）のうち、３つの反射光が検出できれば角膜曲率中心Ａを求めることができる。

次に、光軸の推定について説明する。図５は、角膜上での屈折についての説明図である。
ここでは、光軸方向を示す単位ベクトルを光軸ベクトルと呼ぶ。図５に示すように、光軸ベクトルｄは角膜曲率中心Ａと瞳孔中心Ｂとカメラｊのレンズ中心Ｃ_ｊを含む面内にある。この面は、下記数式２のように表すことができる。ここで、Ｂ´_ｊは、カメラｊのイメージセンサ上の瞳孔中心位置である。

（数２）
｛（Ｃ_ｊ−Ｂ´_ｊ）×（Ａ−Ｃ_ｊ）｝・（Ｘ−Ｃ_ｊ）＝０ ・・・（式２）

ｊは０，１をとることから、上記数式２で表される平面は２つ存在し、光軸はこれらの２つの平面の交線となる。光軸ベクトルｄは２つの平面の法線ベクトルに垂直な方向なので、下記数式３のように求められる。これから、光軸は下記数式４として求められる。つまり、角膜曲率中心位置Ａが求まっている時には、２つのカメラで瞳孔が検出できれば、眼球の光軸を計算できる。

（数４）
Ｘ＝Ａ＋ｔｄ ・・・（式４）

次に、視線の推定について説明する。上述した通り（上記段落０００５、上記特許文献１を参照）、眼球の光軸と視軸のずれのカッパ角は、場所の分かっている１点を注視するキャリブレーションを行うことにより求めることができる。しかし、キャリブレーション無しで、カッパ角を推定する方法もある。
これは、「右目の光軸と注視対象物との交点」と「左目の光軸と注視対象物との交点」との中点を、注視点とする方法である。かかる中点は注視点の近似を与えることが知られており、注視点は最小二乗誤差（ＲＭＳＥ）１．５８°で推定できる（参考文献：Takashi Nagamatsu, Ryuichi Sugano, Yukina Iwamoto, Junzo Kamahara, and Naoki Tanaka, User-calibration-free Gaze Estimation Method Using a Binocular 3D Eye Model, IEICE Transactions on Information and Systems, Vol. E94-D, No.9, pp.1817-1829, 2011.9）。この方法により、眼球の光軸と視軸のずれであるカッパ角の近似値を求めることができる。この他、対象物（例えばディスプレイ）をしばらく注視する、または、遠方をしばらく注視することにより、カッパ角を求める方法もある。
何れかの方法によりカッパ角を推定して、算出した眼球の光軸をカッパ角分だけ補正することにより、視線（眼球の視軸）を求めることができる。

以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。

本発明の視線計測装置の一実施形態について、図６に示す機能ブロック図を用いて説明する。視線計測装置１００は、光源手段１０、カメラ手段１１、パラメタ取得手段１２、光軸算出手段（１）１３、光源識別手段１４、光軸算出手段（２）１５、反射光補完手段１６、光軸算出手段（３）１７、注視点算出手段１８の９つの構成要素からなる。ここで、パラメタ取得手段１２は、ユーザの正面顔における左右の眼球のそれぞれの瞳孔とそれぞれの角膜表面で反射する各２つの光源反射光から、左右の眼球の角膜曲率半径（R）、角膜曲率中心と瞳孔中心との距離（K）、２つの光源反射光の間隔を取得するが、既知の方法を用いて算出できる。
本実施例では、片眼に対してカメラ２台、点光源２個を用い、眼球の形状モデルを用いたモデルベースのアプローチを用いる。これにより、３次元で視線を求めることができ、十分な計測精度をもたせることができる。注視点算出では、注視対象物と、左右の眼球の光軸との交点の中点を注視点として算出する方法を用いる。これにより、速く（１フレームで）眼球の光軸を求めることが可能である。

ユーザの正面前方の左右に配置された２個のＬＥＤ光源（ＬＥＤ光源は赤外光線を照射するものを用いる）と、ＬＥＤ光源からの光が反射した眼球画像を取得するカメラ（ＬＥＤ光源が赤外光線を照射する場合、赤外線に感度をもつ赤外線カメラ（infrared camera））を用意する。２台のカメラでそれぞれ両眼撮影すればよいが、高解像度で眼球画像を撮るためには、右目用２台、左目用２台の合計４台のカメラを使用する。

図７を参照して、視線計測装置１００のハードウェア構成を説明する。視線計測装置１００は、ＣＰＵ２１１、メモリ２１２、ハードディスク２１３、キーボード２１４、マウス２１５、ディスプレイ２１６、外部メモリ２１７、ＬＥＤ２１８及びカメラ２１９を備えている。ＣＰＵ２１１は、ハードディスク２１３に記録されているオペレーティング・システム（ＯＳ）、視線計測プログラム等その他のアプリケーションに基づいた処理を行う。メモリ２１２は、ＣＰＵ２１１に対して作業領域を提供する。ハードディスク２１３は、オペレーティング・システム（ＯＳ）、視線計測プログラム等その他のアプリケーション、及び視線計測の結果得られた計測データを記録保持する。キーボード２１４、マウス２１５は、外部からの命令を受け付ける。ディスプレイ２１６は、右目用２台、左目用２台のカメラ２１９で撮像した被験者の眼球画像を、視線計測装置１００の使用者の確認のために表示する。外部メモリ２１７は、例えばＵＳＢメモリなどであり、視線計測プログラム等のデータを読み取る。
ＬＥＤ２１８は、視線計測装置１００によって視線を計測する被験者に対して、光を照射する。カメラ２１９は、被験者の眼球画像を撮影する。２台のカメラの場合、それらはステレオカメラとして構成され、両眼の画像を撮影するために用いる。また、４台のカメラの場合、２組のステレオカメラが構成され、左右の眼の画像を撮影するために用いる。

図６の機能ブロック図におけるパラメタ取得手段１２、光軸算出手段１３、１５、１７、反射光補完手段１６、注視点算出手段１８について、図面を参照して詳細に説明する。
（Ａ）パラメタ取得手段について
観測者の左右の眼球のそれぞれの瞳孔とそれぞれの角膜表面で反射する各２つの光源反射光から、個人依存のパラメタである左右の眼球の角膜曲率半径Ｒ、角膜曲率中心と瞳孔中心との距離Ｋ、２つの光源反射光の相対位置関係を取得する。
これらのパラメタは、カメラ２台でそれぞれ点光源の反射光を２個検出できている時に算出する。ここで、一方のカメラに２個の反射光、他方のカメラに１個の反射光が検出できている時にも算出でき、そのような時にパラメタを算出してもよい。パラメタＲは、計算上、３平面が求まれば計算できるからであり、パラメタＫは、パラメタＲを求める条件を満たした上で、カメラ２台にそれぞれ瞳孔が検出できた時に計算できるからである。この他、カメラ２台でそれぞれ点光源を２個検出できない状態が続き、算出不可の場合は、人の平均値を用いることも可能である。角膜曲率半径Ｒの平均値は７．８、角膜曲率中心と瞳孔中心との距離Ｋの平均値は４．２である。
２つの光源反射光の相対位置関係は、光源、カメラ、眼球の位置関係によって変化するものである。自動車などの運転者の場合、固定された椅子に座って運転操作を行うことから、眼球の前後移動が少ない。光源とカメラが固定されている場合は、角膜に反射する２つの光源反射光は常にほぼ一定の相対位置関係で撮影される。このことから、カメラ２台でそれぞれ点光源を２個検出できている時に２つの光源反射光の相対位置関係を取得し、取得した相対位置関係を用いて光軸を算出する。

角膜曲率半径Ｒの導出について説明する。上述の数式１に示す平面の交点として角膜曲率中心Ａを計算する。点光源２個を照射した場合に、カメラ２台で、合わせて３つ以上の光源反射光が撮影された場合にＡを求めることができる。
図８は、点光源Ｌ_ｉとカメラ中心Ｃ_ｊと角膜曲率中心Ａを通る平面である。Ｒの求め方は以下の通りである。まず、Ｒを適当に設定し、角膜の球（Ａを中心とした半径Ｒの球）とＰ´_ｊｉとＣ_ｊを通る直線との交点Ｐ´´_ｊｉを求めて、Ｐ´´_ｊｉでの入射ベクトル（Ｌ_ｉ−Ｐ´´_ｊｉ）と反射ベクトル（Ｃ_ｊ−Ｐ´´_ｊｉ）がＰ´´_ｊｉでの球の法線ベクトル（Ｐ´´_ｊｉ−Ａ）となす角度が等しくなるかどうかを確認する。Ｒを変化させて、これを繰り返し、この反射の関係を満たすようなＲを探索する。Ｒの平均値は、一般に７．８ｍｍであることが知られており、Ｒの値を６ｍｍ〜９ｍｍの範囲で探索するとよい。
上記の計算は、カメラと点光源の組み合わせによって、３〜４パターンの計算が可能である。これらの３〜４パターンから計算した角膜曲率半径の平均値を、最終的なＲの推定値とすると、より安定する。

ここで、角膜曲率中心と瞳孔中心との距離Ｋの導出について説明する。距離Ｋの計算は、角膜曲率中心Ａと角膜曲率半径Ｒが求まっている時のみ可能であり、かつ、瞳孔が両方のカメラで撮れた時のみ可能である。
まず、瞳孔中心位置Ｂを求める。図５より、瞳孔中心から出た光は、角膜表面上のＢ´´_ｊで屈折する。Ｂ´´_ｊの位置で、カメラから光が来た場合の数式にすると、入射ベクトルは下記数式５で表される。

カメラのレンズ中心を通り、ｖ_ｊの方向ベクトルを持つ直線と、角膜曲率中心Ａと角膜曲率半径Ｒの球との交点として、Ｂ´´_ｊの位置を求めることができる。すなわち、下記数式６，７を連立すると求めることができる。ここで、ｔはパラメタである。

Ｂ´´_ｊで屈折したベクトルｔ_ｊは、スネルの法則より、下記数式８で求められる。ここで、ｐ＝ｎ_１／ｎ_２であり、ｎ_１は約１、ｎ_２は約１．３３７５である。

下記数式９は、Ｂ´´_ｊにおける法線ベクトルである。

瞳孔中心Ｂは、２つのカメラからの光線の交点で求められる。角膜での屈折後のこれらの光線の式は下記数式１０および数式１１の通りである。なお、ｔ、sはパラメタである。

以上より、角膜曲率中心Ａと瞳孔中心Ｂとの距離Ｋは、下記数１２により求められる。

（Ｂ）光源算出手段について
光源算出手段について、３通りに分けて説明する。
光源算出手段１は、眼球を左右に傾ける、もしくは、画像処理の都合などにより、一方のカメラ手段には２つの光源反射光が検出され、他方のカメラ手段には光源反射光が検出されない場合に、検出された２つの光源反射光、眼球と検出したカメラの間の距離範囲の制約条件、予め算出した角膜曲率半径（Ｒ）および距離（Ｋ）を用いて、角膜曲率中心位置と瞳孔中心位置を算出し、角膜曲率中心位置と瞳孔中心位置を結ぶ軸である光軸を算出する。
光源算出手段２は、眼球を左右に傾ける、もしくは、画像処理の都合などにより、２つのカメラ手段には各々１つの光源反射光が検出された場合に、検出された２つの光源反射光、それぞれの光源反射光に由来する光源手段と眼球の間の距離範囲の制約条件、予め算出した角膜曲率半径（Ｒ）および距離（Ｋ）を用いて、角膜曲率中心位置と瞳孔中心位置を算出し、角膜曲率中心位置と瞳孔中心位置を結ぶ軸である光軸を算出する。
光源算出手段３は、眼球を左右に傾ける、もしくは、画像処理の都合などにより、一方のカメラ手段には１つの光源反射光が検出され、他方のカメラ手段には光源反射光が検出されない場合に、予め算出した２つの光源反射光の相対位置関係を用いて、補完された光源反射光と検出された光源反射光、眼球と検出したカメラの間の距離範囲の制約条件、予め算出した角膜曲率半径（Ｒ）および距離（Ｋ）を用いて、角膜曲率中心位置と瞳孔中心位置を算出し、角膜曲率中心位置と瞳孔中心位置を結ぶ軸である光軸を算出する。

以下では、角膜曲率中心Ａの位置の導出のやり方について説明し、光源算出手段１〜３に関して詳述していく。
眼球が大きく傾いた場合、特徴点（瞳孔中心とプルキニエ像）の検出ができない場合がある。そこで、特徴点の取得状況に応じて分類し、それぞれの場合の光軸算出手段（算出方法）を用意し、取得できた特徴点の数により、切り替えて計算する。様々な外乱により、反射光が検出できない場合もあるが、これらの場合も含める。
上述のパラメタ取得手段のように、カメラ２台、点光源２個を用いて、1つの眼球を撮影して、特徴点（瞳孔中心と２つのプルキニエ像）を検出すると、個人依存のパラメタである左右の眼球の角膜曲率半径Ｒ、角膜曲率中心と瞳孔中心との距離Ｋ、２つの光源反射光の相対位置関係を取得でき、それから眼球の光軸を算出できる。パラメタ取得手段により取得した上記のパラメタは、特徴点がいくつか検出できない時に、光軸の算出に用いる。

カメラ２台、点光源２個を用いて、1つの眼球を撮影して検出する特徴点について、光源反射光と瞳孔中心に分けて場合分けを行うと以下の場合分けになる。
（１）光源反射光の検出数による角膜曲率中心の計算方法の場合分け
（１ａ）一方のカメラに２個の反射光、他方のカメラに２個の反射光
（１ｂ）一方のカメラに２個の反射光、他方のカメラに１個の反射光
（１ｃ）一方のカメラに２個の反射光、他方のカメラに０個の反射光
（１ｄ）一方のカメラに１個の反射光、他方のカメラに１個の反射光
（１ｅ）一方のカメラに１個の反射光、他方のカメラに０個の反射光
（２）瞳孔の検出による瞳孔中心の計算方法の場合分け
（２ａ）瞳孔が両方のカメラで検出
（２ｂ）瞳孔が一方のカメラでのみ検出

上記（１ａ）と（１ｂ）の場合は、上述のパラメタ取得手段と同様に、眼球の角膜曲率半径Ｒ、角膜曲率中心と瞳孔中心との距離Ｋが計算可能であり、眼球の光軸を算出できる。
上記（１ｃ）と（１ｄ）と（１ｅ）の場合は、パラメタ取得手段により予め取得したパラメタを用いて、眼球の光軸を算出できる。これについては以下説明する。

カメラ２台、点光源２個を用いて、1つの眼球を撮影して検出された反射光が２個の場合は、一方のカメラで２個の反射光が検出され、他方のカメラで反射光が検出されない場合か、或は、２つのカメラそれぞれで１個ずつの反射光が検出された場合である。
ここで、光源はある周期で点滅させるなどして、検出された反射光がどの光源からのものか識別できるものとすると、その組み合わせは、光源と眼球とカメラがなす面の４つの面から２面を選択する組み合わせになり、_４Ｃ_２＝（４×３）／（２×１）＝６通りである。

先ず、角膜曲率中心Ａが乗る直線を求める。角膜曲率中心Ａが乗る平面は２面しか求まらないので、これだけでは角膜曲率中心Ａの位置が決まらない。そこで、角膜曲率中心Ａが乗る直線を求める。点光源ｉ、カメラｊを通る平面は、下記数式１３で表される。一方、点光源ｋ、カメラｌを通る平面は、下記数式１４で表される。

（数１３）
｛（Ｐ´_ｊｉ−Ｃ_ｊ）×（Ｌ_ｉ−Ｃ_ｊ）｝・（Ｘ−Ｃ_ｊ）＝０ ・・・（式１３）

（数１４）
｛（Ｐ´_ｌｋ−Ｃ_ｌ）×（Ｌ_ｋ−Ｃ_ｌ）｝・（Ｘ−Ｃ_ｌ）＝０ ・・・（式１４）

上記数式１３と数式１４の２つの平面の交線を求めるため、交線の方向ベクトルを求める。この交線の方向ベクトルｌは、これら２つ平面の法線ベクトルに直角であるので、下記数式１５に示すようになる。

上述の通り、方向ベクトルは求まったが、直線の位置を決めるには、その直線が通る点を１点定める必要がある。以下のように場合分けして考える。

（ａ）カメラｊとカメラｌが同一で、２面が同一のカメラ中心を通る場合、すなわち、１つのカメラで１つの眼球に反射した反射光が２つ検出できた場合には、光線の経路は、図９と図１０に示す２パターン存在する。
図９は、カメラ０で、Ｐ´_００、Ｐ´_０１が検出できたパターンを示している。一方、図１０は、カメラ１で、Ｐ´_１０、Ｐ´_１１が検出できたパターンを示している。２面はカメラ中心の位置を通るため、角膜曲率中心Ａは、方向ベクトルｌを用いて下記数式１６のように表せる。但し、ｕはパラメタである。

（数１６）
Ａ＝Ｃ_ｊ＋ｕｌ ・・・（式１６）

パラメタｕの探索範囲について説明する。パラメタｕは凡そ眼球とカメラとの間の距離を表しているので、それに対応する範囲（例えばディスプレイの下にカメラがあるような状況では３００〜９００ｍｍの範囲）で探索する。パラメタｕの値があまり大きいと、角膜の球面と上記数式１６で表された直線が交点を持たなくなるため、事前に解があるかどうかのチェックを行う必要がある。
以上から、１つのカメラで１つの眼球に反射した反射光が２つ検出できた場合には、検出された２つの光源反射光、眼球と検出したカメラの間の距離範囲の制約条件、予め算出した角膜曲率半径（Ｒ）および距離（Ｋ）を用いて、角膜曲率中心位置と瞳孔中心位置を算出し、角膜曲率中心Ａの位置と瞳孔中心位置を結ぶ軸である光軸を算出する光源算出手段１を用いる。

（ｂ）点光源ｉと点光源ｋが同一で、２面が同一の点光源をとおる場合、すなわち、２つのカメラで反射光が眼球上にそれぞれ１つ検出できるが、その反射光が同一の光源由来である場合には、光線の経路は、図１１と図１２に示す２パターン存在する。
図１１は、カメラ０で、Ｐ´_００が検出できて、カメラ１でＰ´_１０が検出できたパターンを示している。一方、図１２は、カメラ０でＰ´_０１が検出できて、カメラ１でＰ´_１１が検出できたパターンを示している。２面は点光源の位置を通るため、角膜曲率中心Ａは、方向ベクトルｌを用いて下記数式１７のように表せる。但し、ｕはパラメタである。
（ｂ）の場合、パラメタｕの探索範囲は、パラメタｕは、凡そ眼球と光源との間の距離を表しているのでその範囲で探索する。

（数１７）
Ａ＝Ｌ_ｉ＋ｕｌ ・・・（式１７）

（ｃ）上記（ａ），（ｂ）以外で、２つのカメラで反射光が眼球上にそれぞれ１つ検出できるが、その反射光が異なる光源由来である場合には、光線の経路は、図１３と図１４に示す２パターン存在する。
図１３は、カメラ０で、Ｐ´_００が検出できて、カメラ１でＰ´_１１が検出できたパターンを示している。一方、図１４は、カメラ０でＰ´_０１が検出できて、カメラ１でＰ´_１０が検出できたパターンを示している。直線が通る点は、どの点でもいいが、例えば、ｚ＝０と２面との交点（Ｑ）を求めてそれを用いる。角膜曲率中心Ａは、方向ベクトルｌを用いて下記数式１８のように表せる。但し、ｕはパラメタである。
（ｃ）の場合、パラメタｕは、座標系の取り方にもよるが、ディスプレイ面がｚ＝０であるならば、通常の配置であるならば、ディスプレイ面から３００〜９００ｍｍの範囲を探索すればよい。

（数１８）
Ａ＝Ｑ＋ｕｌ ・・・（式１８）

上記数式１６〜１８におけるパラメタｕは、以下のように求めることができる。角膜曲率中心Ａは上記の直線上に存在するので、反射の関係を用いてパラメタｕを決定する。
まず仮に設定したパラメタｕの値を用いて、角膜曲率中心Ａを計算する。図４で、角膜の球（Ａを中心とした半径Ｒの球）とＰ´_ｊｉとＣ_ｊを通る直線との交点Ｐ´´_ｊｉを求めて、Ｐ´´_ｊｉでの入射ベクトル（Ｌ_ｉ−Ｐ´´_ｊｉ）と反射ベクトル（Ｃ_ｊ−Ｐ´´_ｊｉ）がＰ´´_ｊｉでの球の法線ベクトル（Ｐ´´_ｊｉ−Ａ）となす角度が等しくなるかどうかを確認する。この反射の関係を満たすようにパラメタｕを決定する。

上述のように、パラメタｕの探索範囲は、上記の（ａ）、(ｂ)、(ｃ)で異なり、（ａ）の場合は、パラメタｕは眼球とカメラとの間の距離に対応する範囲で探索する。また、上記の（ｂ）の場合は、パラメタｕは、眼球と光源との間の距離に対応する範囲で探索する。また、上記の（ｃ）の場合は、パラメタｕは、座標系の取り方にもよるが、ディスプレイ面がｚ＝０であるならば、通常の配置であるならば、ディスプレイ面から３００〜９００ｍｍの範囲を探索する。
以上より、角膜曲率中心Ａの位置が求まる。なお、カメラと光源を含む面は２面あるので、パラメタｕの値は２通り求めることが可能である。

以上から、２つのカメラ手段には各々１つの光源反射光が検出された場合には、検出された２つの光源反射光、それぞれの光源反射光に由来する光源手段と眼球の間の距離範囲の制約条件、予め算出した角膜曲率半径（Ｒ）および距離（Ｋ）を用いて、角膜曲率中心位置と瞳孔中心位置を算出し、角膜曲率中心Ａの位置と瞳孔中心位置を結ぶ軸である光軸を算出する光源算出手段２を用いる。

次に、カメラで検出された反射光が１個の場合、すなわち、一方のカメラで角膜上に反射光１つが検出され、他方のカメラでは反射光が検出されない場合について説明する。
角膜が球であれば２つの反射光が観察されるはずであるが、角膜は白目に埋もれている構造のため、目を大きく傾けると、目を向けた方向と反対方向からあてた光が白目の部分に反射するようになり、角膜上で反射光が観察できなくなってしまう。この場合、このままでは、計算ができない。そこで、仮想的に、埋もれているはずの角膜の部分にも反射し、２つの反射光を撮影している状態を作り出すこととする。

例えば、自動車の運転者の場合は、椅子に座っていることから、前後移動が少ない。このような場合は、角膜に反射する２つの反射光は常にほぼ一定の間隔で撮影される。そこで、正面方向を見ている時に、１つの角膜に反射する２つの反射光の相対的な位置関係を保存しておき、それを用いて、１つの反射光しか検出できない場合に、もう一つの反射光を、白目がなければ反射すると推定される場所に、仮想的に補完するのである。

すなわち、一方のカメラ手段には１つの光源反射光が検出され、他方のカメラ手段には光源反射光が検出されない場合に、予め算出した２つの光源反射光の相対位置関係を用いて、補完された光源反射光と検出された光源反射光、眼球と検出したカメラの間の距離範囲の制約条件、予め算出した角膜曲率半径（Ｒ）および距離（Ｋ）を用いて、角膜曲率中心位置と瞳孔中心位置を算出し、角膜曲率中心Ａの位置と瞳孔中心位置を結ぶ軸である光軸を算出する光源算出手段３を用いる。

ここで、瞳孔中心Ｂの算出方法について説明する。瞳孔が両方のカメラで検出できる場合には、上述による計算で求めた角膜曲率中心Ａの位置を用いて、上述の如く、瞳孔中心Ｂを２つのカメラからの光線の交点で求められる。角膜での屈折後の光線の式は前述の数式１０および数式１１である。

また、瞳孔が片方のカメラでしか検出できない場合、すなわち、一方のカメラで瞳孔が検出され、他方のカメラでは瞳孔が検出されない場合、瞳孔中心Ｂの求め方について説明する。図５で、カメラｊ＝０の場合を考える。角膜表面は、角膜曲率中心Ａと角膜曲率半径Ｒを用いて、下記数式１９で表される球面であるとしている。

角膜表面上のＢ´´_０で屈折するベクトルｔ_０は、スネルの法則より、前述の数式８で求められる。瞳孔は、下記数式２０の直線上に存在する。但し、ｖはパラメタである。

パラメタｖの値を求めるのであるが、角膜曲率中心と瞳孔中心との距離Ｋの値も既に計算済であることから、下記数式２１を満たすように、パラメタｖを決定する。角膜の曲率半径は、平均７．８ｍｍであるので、パラメタｖは０〜９の間を探せば十分である。

光軸は、角膜曲率中心Ａと瞳孔中心Ｂとを結ぶ線として求めることができる。

視線計測方法の一実施態様について説明する。
本実施例の視線計測方法の処理フローについて、図１５を参照して説明する。
自動車の運転手の眼球を撮影するために、運転手の両眼の前方方向に、２つのカメラと２つの点光源が車内に配置されているとする。

最初に、パラメタ取得ステップ（S01）で、運転手の左右の眼球のそれぞれの瞳孔とそれぞれの角膜表面で反射する各２つの光源反射光から、左右の眼球の角膜曲率半径（R）、角膜曲率中心と瞳孔中心との距離（K）、２つの光源反射光の相対位置関係を取得する。
次に、眼球を左右に傾けると、２つのカメラで撮像する各イメージに映る光源反射光が変わってくる。その変化をカメラ画像に映る光源反射光で捉える。すなわち、カメラが反射光を取得したかを判断する（ステップS02）。なお、眼球を傾けた際だけでなく、カメラ画像の処理の都合（ノイズや解像度の都合によるもの）によって、光源反射光が検出されない場合も本処理を適用できる。

１）一方のカメラには２つの光源反射光が検出され、他方のカメラには光源反射光が検出されない場合、光源算出１ステップ（S03）で、検出された２つの光源反射光、予め算出した角膜曲率半径（R）および距離（K）に基づいて、角膜曲率中心位置と瞳孔中心位置を算出し、角膜曲率中心位置と瞳孔中心位置を結ぶ軸（光軸）を算出する。

２）２つのカメラには各々１つの光源反射光が検出された場合、まず、光源識別ステップ（S04）で、２つの点光源それぞれに由来する光源反射光を識別し、次に、光源算出２ステップ（S05）で、検出された２つの光源反射光、光源識別ステップを用いて識別された２つの光源反射光に対応する点光源の位置、予め算出した角膜曲率半径（R）および距離（K）に基づいて、角膜曲率中心位置と瞳孔中心位置を算出し、角膜曲率中心位置と瞳孔中心位置を結ぶ軸（光軸）を算出する。

３）一方のカメラには１つの光源反射光が検出され、他方のカメラには光源反射光が検出されない場合、まず、反射光補完ステップ（S06）で、予め算出した２つの光源反射光の相対位置関係を用いて、光源反射光を１つ補完して２つの光源反射光が検出されたとし、次に、光源算出３ステップ（S07）で、補完された光源反射光と検出された光源反射光、眼球と検出したカメラの間の距離範囲の制約条件、予め算出した角膜曲率半径（R）および距離（K）に基づいて、角膜曲率中心位置と瞳孔中心位置を算出し、角膜曲率中心位置と瞳孔中心位置を結ぶ軸（光軸）を算出する。

処理の最後に、注視点算出ステップ（S08）で、左右の眼球においてそれぞれ算出された光軸に基づいて注視点を算出する。
なお、眼球が傾いたか否かを判断（ステップS02）した後の場合分けに関して、４）一方のカメラには２つの光源反射光が検出され、他方のカメラには１つ又は２つの光源反射光が検出される場合を加えても構わない。その場合、運転手の左右の眼球のそれぞれの瞳孔とそれぞれの角膜表面で反射する光源反射光から、左右の眼球の角膜曲率半径（R）と、角膜曲率中心と瞳孔中心との距離（K）が算出でき、算出した角膜曲率半径（R）および距離（K）に基づいて、角膜曲率中心位置と瞳孔中心位置を算出し、角膜曲率中心位置と瞳孔中心位置を結ぶ軸（光軸）を算出できる。

本発明は、広範囲の視線を計測する視線計測装置や視線計測方法として有用であり、車用の視線計測装置として利用が期待できる。

１０ 光源手段
１１ カメラ手段
１２ パラメタ取得手段
１３，１５，１７ 光軸算出手段
１４ 光源識別手段
１６ 反射光補完手段
１８ 注視点算出手段
１００ 視線計測装置

Claims (13)

1. 観測者の眼球を撮影するために配置された少なくとも２組のカメラ手段と光源手段を用いて、観測者の視線を計測する装置において、
   観測者の左右の眼球のそれぞれの瞳孔とそれぞれの角膜表面で反射する各２つの光源反射光から、左右の眼球の角膜曲率半径（R）、角膜曲率中心と瞳孔中心との距離（K）、２つの光源反射光の相対位置関係を取得するパラメタ取得手段と、
   一方のカメラ手段には１つの光源反射光が検出され、他方のカメラ手段には光源反射光が検出されない場合に、正面方向を見ている時における１つの角膜に反射する２つの光源反射光の間隔と向きを用いて、眼球を左右に傾けた際の瞳孔の移動方向に基づき、検出された光源反射光を基点とし、補完する光源反射光の相対位置を判定し、光源反射光を１つ補完して２つの光源反射光が検出されたとする反射光補完手段と、
   前記反射光補完手段により補完された光源反射光と検出された光源反射光、眼球と検出したカメラ手段の間の距離範囲の制約条件、予め算出した前記角膜曲率半径（R）および前記距離（K）に基づいて、角膜曲率中心位置と瞳孔中心位置を算出し、角膜曲率中心位置と瞳孔中心位置を結ぶ軸である光軸を算出する光軸算出手段と、
   左右の眼球においてそれぞれ算出された光軸に基づいて注視点を算出する注視点算出手段、
   を備えたことを特徴とする視線計測装置。
2. 前記注視点算出手段は、運転時における運転者の注視点特性から導き出した前方注視対象物と、左右の眼球の光軸との交点の中点を、注視点として算出することを特徴とする請求項１に記載の視線計測装置。
3. 前記パラメタ取得手段は、それぞれの観測者の左右の眼球の角膜曲率半径（R）、角膜曲率中心と瞳孔中心との距離（K）、および前記２つの光源反射光の相対位置関係について、事前にキャリブレーションを行い取得することを特徴とする請求項１又は２に記載の視線計測装置。
4. 顔が左右に大きく振られ、眼球が左右に大きく傾いた場合に、
   ２組のカメラ手段と光源手段によって、同一又は異なるカメラ手段で、瞳孔と１つの光源反射光が検出されるように、
   顔の移動方向に応じて、カメラ手段と光源手段の少なくとも何れかを移動させる手段を、
   更に備えたことを特徴とする請求項１〜３の何れかに記載の視線計測装置。
5. 前記光源手段は、眼球における光源の反射像が互いに分離したものとなるように各々異なる位置に配置され、
   各々の光源手段の照射光の形状パターン若しくは波長を異なるものとし、何れかのカメラ手段により撮像された眼球画像上における反射像の位置と実際の光源手段の位置とを対応付けすることを特徴とする請求項１〜４の何れかに記載の視線計測装置。
6. 前記光源手段は、各々の光源手段を順次点灯させられ、或いは、所定時間内に各々の光源手段をユニークに点滅させられ、何れかのカメラ手段により撮像された眼球画像上における反射像の位置と実際の光源手段の位置とを対応付けすることを特徴とする請求項１〜５の何れかに記載の視線計測装置。
7. 観測者の眼球を撮影するために配置された少なくとも２組のカメラ手段と光源手段を用いて、観測者の視線を計測する方法において、
   観測者の左右の眼球のそれぞれの瞳孔とそれぞれの角膜表面で反射する各２つの光源反射光から、左右の眼球の角膜曲率半径（R）、角膜曲率中心と瞳孔中心との距離（K）、２つの光源反射光の相対位置関係を取得するパラメタ取得ステップ、
   下記１）〜３）の何れかのステップ、
   左右の眼球においてそれぞれ算出された光軸に基づいて注視点を算出する注視点算出ステップ、
   を実行することを特徴とする視線計測方法：
   １）一方のカメラ手段には２つの光源反射光が検出され、他方のカメラ手段には光源反射光が検出されない場合は、
   検出された２つの光源反射光、予め算出した前記角膜曲率半径（R）および前記距離（K）に基づいて、角膜曲率中心位置と瞳孔中心位置を算出し、角膜曲率中心位置と瞳孔中心位置を結ぶ軸である光軸を算出する第１の光軸算出ステップ、
   ２）２つのカメラ手段には各々１つの光源反射光が検出された場合は、
   各々の光源手段に由来する光源反射光を識別する光源識別ステップ、
   検出された２つの光源反射光、前記光源識別ステップを用いて識別された前記２つの光源反射光に対応する光源手段の位置、予め算出した前記角膜曲率半径（R）および前記距離（K）に基づいて、角膜曲率中心位置と瞳孔中心位置を算出し、角膜曲率中心位置と瞳孔中心位置を結ぶ軸である光軸を算出する第２の光軸算出ステップ、
   ３）一方のカメラ手段には１つの光源反射光が検出され、他方のカメラ手段には光源反射光が検出されない場合は、
   正面方向を見ている時における１つの角膜に反射する２つの光源反射光の間隔と向きを用いて、眼球を左右に傾けた際の瞳孔の移動方向に基づき、検出された光源反射光を基点とし、補完する光源反射光の相対位置を判定し、光源反射光を１つ補完して２つの光源反射光が検出されたとする反射光補完ステップ、
   前記反射光補完ステップにより補完された光源反射光と検出された光源反射光、眼球と検出したカメラ手段の間の距離範囲の制約条件、予め算出した前記角膜曲率半径（R）および前記距離（K）に基づいて、角膜曲率中心位置と瞳孔中心位置を算出し、角膜曲率中心位置と瞳孔中心位置を結ぶ軸である光軸を算出する第３の光軸算出ステップ。
8. 前記反射光補完ステップは、
   各々の光源手段による各々の光源反射光を識別した識別結果に基づき、
   又は、
   目の輪郭形状における検出された１つの光源反射光の位置に基づき、
   又は、
   眼球を左右に傾けた際の瞳孔の移動方向に基づき、
   検出された光源反射光を基点とする補完する光源反射光の相対的位置を判定することを特徴とする請求項７に記載の視線計測方法。
9. 前記パラメタ取得ステップは、それぞれの観測者の左右の眼球の角膜曲率半径（R）、角膜曲率中心と瞳孔中心との距離（K）、および前記２つの光源反射光の相対位置関係について、事前にキャリブレーションを行い取得することを特徴とする請求項７又は８に記載の視線計測方法。
10. 下記１）〜４）の場合に分けて角膜曲率中心（R）を算出し、
    下記５）と６）の場合に分けて瞳孔中心を算出し、
    下記１〜４）の場合の何れかと下記５）と６）の何れかを組合せて、角膜曲率中心位置と瞳孔中心位置を算出し、角膜曲率中心位置と瞳孔中心位置を結ぶ軸である光軸を算出することを特徴とする請求項７〜９の何れかの視線計測方法：
    １）一方のカメラ手段には２つの光源反射光が検出され、他方のカメラ手段には光源反射光が検出されない場合、
    ２）２つのカメラ手段には各々１つの光源反射光が検出される場合、
    ３）一方のカメラ手段には１つの光源反射光が検出され、他方のカメラ手段には光源反射光が検出されない場合、
    ４）一方のカメラ手段には２つの光源反射光が検出され、他方のカメラ手段には１つ又は２つの光源反射光が検出される場合、
    ５）２つのカメラ手段に瞳孔が検出される場合、
    ６）一方のカメラ手段にのみ瞳孔が検出される場合。
11. 請求項７〜１０の何れかの視線計測方法の各ステップを、コンピュータに実行させるための視線計測プログラム。
12. 請求項１〜６の何れかの視線計測装置が搭載された乗り物。
13. 請求項１１の視線計測プログラムを実行するコンピュータが搭載された乗り物。
    

Images