JP6083761B2 - 瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び瞳孔追尾方法 - Google Patents

Description

本発明は、撮影した画像によって対象者の瞳孔、角膜反射及び顔姿勢を検出するための瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法及び、対象者の瞳孔を追尾するための瞳孔追尾方法に関するものである。

対象者の瞳孔を検出する技術は、例えば、医療検査やマンマシンインターフェースのための視線検知（下記特許文献１参照）、自動車を運転中の対象者の眠気検知（下記特許文献２参照）や顔方向検出（下記特許文献３、４参照）、対象者の瞳孔の動きによって指を用いることなくコンピュータやゲーム機器への入力を行う瞳孔マウス（下記特許文献５参照）などに活用され得る。本発明者は、カメラによって撮影した画像から瞳孔を検出する技術を開発してきた。

特許文献１〜５に記載の技術においては、瞳孔の検出には、カメラにより撮影した明瞳孔画像と暗瞳孔画像を差分することで、瞳孔部分を周囲画像から区別する方法を用いている。カメラの開口近くに近赤外線等の光源を設け、カメラの光軸に沿うようにして光を対象者の顔に照射して撮影すると、光は瞳孔から網膜に達して反射し、水晶体、角膜を通ってカメラの開口に戻る。このときの画像は、瞳孔が明るく撮影されており、この画像を明瞳孔画像という。一方、カメラの開口から離した光源による光を対象者の顔に照射して撮影すると、網膜から反射した光はカメラの開口にはほとんど入射しないために、瞳孔は暗く撮影され、この画像を暗瞳孔画像という。瞳孔は周囲の明るさで大きさが変化し、特に明るい場所では小さくなって検出し難くなる。また、対象者が眼鏡着用者である場合には、瞳孔近傍の眼鏡の一部が反射を起こし、眼鏡反射が映り込むことから、瞳孔の検出を単独の画像から行うことは、明瞳孔画像又は暗瞳孔画像のいずれを用いても困難を伴う。しかし、明瞳孔画像から暗瞳孔画像を差し引く差分を行うと、瞳孔部以外の周囲部分は両画像においてほぼ同じような明るさであることから、互いに相殺して、明るさに差がある瞳孔部だけが浮き彫りになる。これによって、瞳孔を容易に検出することができる。

ただし、一般のカメラを使用した場合には、明瞳孔画像と暗瞳孔画像を取得する時刻に差があるため、二枚の画像を取得する間に顔が高速に移動した場合には、明瞳孔画像と暗瞳孔画像との間に位置のずれが生じ、画像差分の効果が十分に得られない場合があった。特に、このような現象は対象者が眼鏡を着用している場合に顕著であり、眼鏡のレンズやフレームによって反射された光の像である眼鏡反射が、画像の差分処理後にも残りやすく、残った眼鏡反射像と瞳孔との区別がつきにくい場合があった。

そこで、上記の眼鏡反射に起因する瞳孔の誤検出を防止するため、いったん瞳孔を検出したら、その後に撮影された画像においては、検出された瞳孔を含む小領域に解析ウィンドウを与え、その小領域内のみから瞳孔を探索することにより瞳孔を追尾することにより、瞳孔の誤検出率の低下を図った（例えば特許文献６参照）。

また、明瞳孔画像と暗瞳孔画像の取得時間差により瞳孔の位置がずれて瞳孔検出が難しくなる問題への対策として、鼻孔の移動量を利用した差分位置補正法（例えば特許文献７参照）、及び角膜反射の移動量を利用した差分位置補正法（例えば特許文献８参照）を提案し、その有効性を示した。

さらに、鼻孔の移動量を利用した差分位置補正法において、対象者の頭部を前後方向に貫通する軸の周りに対象者の頭部が回転する場合には、鼻孔の移動量と瞳孔の移動量が必ずしも一致せず、瞳孔の検出精度が不十分な場合があった。そこで、本発明者は、顔姿勢を利用した差分位置補正法を提案した（例えば特許文献９参照）。

特許第４５１７０４９号公報 特許第４８９９０５９号公報 特許第４４３１７４９号公報 特許第４７６５００８号公報 特許第４８３９４３２号公報 特許第４５６８８３６号公報 特許第４４５２８３２号公報 特許第４４５２８３６号公報 国際公開２０１０／０１０９２６号

しかしながら、上記の技術は、いずれも、カメラに対象者の鼻孔が映ることを前提としている。一般に、人間の鼻孔は、人間の顔の下方に向かって開口している。このため、カメラは対象者の顔に対して下方に設置することが好適である。また、カメラを下側に設置することは、眼鏡反射が画像に入り込むことを避けるためにも好適である。

一方で、瞳孔と角膜反射との相対位置に基づいて視線や注視点を検出する場合、視線や注視点の検出範囲がカメラを中心に０〜３０度程度の範囲に限られる。従って、対象者の正面の広い範囲で注視点等を検出したい場合に、カメラの位置を対象者の顔に対して極度に下方にすることはできない。このため、視線検出や注視点検出を行う場合には、カメラの位置を下方にすることができないことが原因で、鼻孔を検出しにくく、また、同時に眼鏡反射が現れやすい。

また、瞳孔マウスのように、ユーザが頭部を大きく回転させる応用分野においては、ユーザの頭部の向きによって、鼻孔が検出できない状況や、眼鏡レンズ反射が瞳孔に重なる状況が発生しやすい。

さらに、対象者が瞬きを行うことにより画像から瞳孔が消失した場合、画像内に眼鏡反射像が存在すると、この眼鏡反射像を瞳孔として誤検出してしまう場合がある。いったん誤検出が行われると、誤検出された眼鏡反射像を追尾してしまい、瞳孔を正しく検出することができなくなってしまう。

本発明は、これらの問題を解決するためになされたものであり、ユーザの頭部の回転状態及びカメラ位置に制約を与えることなく、ロバスト性及び精度を向上できる瞳孔の検出方法及び追尾方法を提供することを目的とする。

上記の課題を解決するために、本発明の一側面に係る瞳孔検出方法は、第１カメラにより対象者の顔を撮影して第１画像を取得する第１ステップと、第２カメラにより対象者の顔を撮影して第２画像を取得する第２ステップと、第１画像から対象者の瞳孔の候補となる１個以上の第１画像内候補点を抽出する第３ステップと、第２画像から対象者の瞳孔の候補となる１個以上の第２画像内候補点を抽出する第４ステップと、第１画像内候補点のうち１点及び第２画像内候補点のうち１点からなる組み合わせについて、当該組み合わせが３次元空間における同一の点に対応するか否かを判定する第５ステップと、３次元座標における同一の点に対応すると判定された第１画像内候補点と第２画像内候補点との組み合わせについて、当該組み合わせに対応する３次元空間における点を空間内候補点とすることにより、２個以上の空間内候補点を抽出する第６ステップと、抽出された空間内候補点の中から２個の空間内候補点の対を選択し、選択された２個の空間内候補点の対の間の距離を算出する演算を、複数の空間内候補点の対について行う第７ステップと、算出された空間内候補点の対の間の距離が所定範囲内にない空間内候補点の対を除外する第８ステップと、除外されなかった空間内候補点の対の中から、一以上の空間内候補点の対を決定し、決定された一以上の空間内候補点の対の位置に対象者の瞳孔の対が存在すると決定する第９ステップと、を備える。

本発明の一側面に係る瞳孔検出方法によれば、第１カメラ及び第２カメラにより第１画像及び第２画像をそれぞれ取得し、第１画像から第１画像内候補点を抽出し、第２画像から第２画像内候補点を抽出する。そして、第１画像内候補点と第２画像内候補点の組み合わせについて、当該組み合わせが３次元空間における同一の点に対応するか否かを判定し、同一の点に対応すると判定された第１画像内候補点と第２画像内候補点との組み合わせについて、当該組み合わせに対応する３辞典空間における点を空間内候補点とする。さらに、抽出された空間内候補点の中から２個の空間内候補点の対を選択し、選択された対の間の距離を算出する演算を行い、算出された距離が所定範囲内に無い対を除外して、除外されなかった対の中から一以上の空間内候補点の対を選択する。従って、２個のカメラで取得した画像に瞳孔が映っていれば、瞳孔の検出を行うことができるため、ユーザの頭部の回転状態及びカメラ位置に制約を与えることなく、ロバスト性及び精度を向上できる。

また、本発明の一側面に係る角膜反射検出方法は、上記の瞳孔検出方法により対象者の瞳孔を検出する第１９ステップと、第１画像から対象者の角膜反射の候補となる１個以上の第１画像内角膜反射候補点を抽出する第２０ステップと、第２画像から対象者の角膜反射の候補となる１個以上の第２画像内角膜反射候補点を抽出する第２１ステップと、抽出された第１画像内角膜反射候補点及び第２画像内角膜反射候補点からそれぞれ１点ずつを選択する第２２ステップと、第１画像における選択された第１画像内角膜反射候補点の画像内座標及び第２画像における選択された第２画像内角膜反射候補点の画像内座標に基づいて、選択された第１画像内角膜反射候補点及び第２画像内角膜反射候補点の組み合わせに対応する３次元座標を計算する第２３ステップと、計算された３次元座標と検出された瞳孔の３次元座標との位置が所定の範囲内にある場合に、計算された３次元座標を対象者の角膜反射であると判定する第２４ステップと、を備える。

また、本発明の一側面に係る顔姿勢検出方法は、上記の瞳孔検出方法により検出された対象者の一対の瞳孔の３次元座標に基づいて対象者の顔姿勢を検出する。

また、本発明の一側面に係る瞳孔追尾方法は、上記の瞳孔検出方法により、対象者の一対の瞳孔対を検出する第２５ステップと、第１カメラ及び第２カメラのそれぞれによって対象者の顔を撮影して画像を取得する第２６ステップと、一対の瞳孔対を検出するステップが実行された後の第１の時刻、及び第１の時刻より後の第２の時刻における対象者の一対の瞳孔対を検出する第２７ステップと、第１の時刻及び第２の時刻において検出された一対の瞳孔対の絶対位置及び相対位置を計算する第２８ステップと、計算された第１の時刻及び第２の時刻における一対の瞳孔対の絶対位置及び相対位置に基づいて、第２の時刻より後の第３の時刻における一対の瞳孔対の絶対位置及び相対位置を推定する第２９ステップと、推定された第３の時刻における一対の瞳孔対の絶対位置及び相対位置に基づいて、第３の時刻における一対の瞳孔対の各々の瞳孔の画像内座標を推定する第３０ステップと、第３の時刻における第１カメラ及び第２カメラにより撮影された画像のそれぞれにおいて、推定された瞳孔の画像内座標の周囲に小領域を設定する第３１ステップと、第３の時刻における第１カメラ及び第２カメラにより撮影された画像のそれぞれにおいて、設定された小領域において所定の画像処理により瞳孔の位置を決定して、第３の時刻における瞳孔の画像内座標を算出する第３２ステップと、を備える。

本発明によれば、ユーザの頭部の回転状態及びカメラ位置に制約を与えることなく、ロバスト性及び精度を向上できる瞳孔の検出方法及び追尾方法を提供することができる。

本発明の好適な一実施形態を実行するための瞳孔検出装置を示す平面図である。 世界座標系、カメラ座標系及び撮像座標系の関係を示す図である。 世界座標系、左カメラ座標系、右カメラ座標系及び撮像座標系の関係を示す図である。 左右のカメラ及びカメラに映る物体の位置関係を示す図である。 左右のカメラ及びカメラに映る物体の位置関係を示す図である。 左右のカメラで異なる瞳孔を撮影した場合の位置関係を示す図である。 左右のカメラ及びカメラに映る物体の位置関係を示す図である。 瞳孔間距離及び座標に基づく左右の瞳孔対の検出方法を示す図である。 本実施形態の瞳孔検出方法による瞳孔検出結果を示す図である。 従来の瞳孔検出方法による瞳孔検出結果と本実施形態の瞳孔検出方法による瞳孔検出結果を比較して示す図である。 従来の瞳孔検出方法による瞳孔検出結果と本実施形態の瞳孔検出方法による瞳孔検出結果を比較して示す図である。 従来の瞳孔検出方法による瞳孔検出率と本実施形態の瞳孔検出方法による瞳孔検出率を比較して示すグラフである。 従来の瞳孔検出方法による瞳孔検出率と本実施形態の瞳孔検出方法による瞳孔検出率を比較して示すグラフである。 本実施形態の瞳孔検出方法による２人の瞳孔対の検出結果を示す図である。 本実施形態の角膜検出方法を示す図である。 ３個又は４個のカメラの配置方法の例を示す図である。 ３個のカメラによる２人の瞳孔対の検出結果を示す図である。 瞳孔間距離に基づく本実施形態の瞳孔追尾方法を示す図である。 両方のカメラでそれぞれ両方の瞳孔を検出できた場合の瞳孔追尾方法を示す図である。 一方のカメラで一方の瞳孔のみを検出できた場合の瞳孔追尾方法を示す図である。 一方のカメラで一方の瞳孔のみを検出できた場合の瞳孔追尾方法を示す図である。 一方のカメラで一方の瞳孔のみを検出できた場合の瞳孔追尾方法を示す図である。 一方のカメラで一方の瞳孔のみを検出でき、他方のカメラで他方の瞳孔のみを検出できた場合の瞳孔追尾方法を示す図である。 一方のカメラで一方の瞳孔のみを検出でき、他方のカメラで他方の瞳孔のみを検出できた場合の瞳孔追尾方法を示す図である。 一方の瞳孔のみを２個のカメラで検出できた場合の瞳孔追尾方法を示す図である。 従来の瞳孔追尾方法による瞳孔追尾結果と本実施形態の瞳孔追尾方法による瞳孔追尾結果を比較して示す図である。 従来の瞳孔追尾方法による瞳孔追尾結果と本実施形態の瞳孔追尾方法による瞳孔追尾結果を比較して示すグラフである。 本実施形態の顔姿勢検出方法を示す図である。

以下、図面を参照しつつ本発明に係る瞳孔検出方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。

（瞳孔検出方法を実行するための瞳孔検出装置）
まず、本発明にかかる瞳孔検出方法を実行するための瞳孔検出装置の構成について、図面を参照しながら説明する。本瞳孔検出装置は、瞳孔移動を検出することによってパーソナルコンピュータのモニター画面上のカーソルを移動させるポインティングデバイスや、瞳孔の動きを監視して運転者の眠気を検知する眠気検知システム等として利用される。

図１は、本発明の好適な一実施形態である瞳孔検出装置１０を示す平面図である。同図に示すように、瞳孔検出装置１０は、対象者Ａの頭部画像を撮影する２台のカメラである左カメラ２Ａ及び右カメラ２Ｂと、左カメラ２Ａの前面２ａの撮像レンズの近傍に設けられた光源３ａと、左カメラ２Ａの前面２ａから離れた位置に設けられた光源３ｂと、右カメラ２Ｂの前面２ｂの撮像レンズの近傍に設けられた光源３ｃと、右カメラ２Ｂの前面２ｂから離れた位置に設けられた光源３ｄと、左カメラ２Ａ、右カメラ２Ｂ及び光源３ａ〜３ｄと接続された画像処理装置１とを備えている。

左カメラ２Ａ及び右カメラ２Ｂは、対象者Ａの顔画像を生成できる撮像手段であれば特定の種類の物には限定されないが、画像データをリアルタイム性が高く処理できるという点で、ＣＣＤ、ＣＭＯＳ等の撮像素子を内蔵するデジタルカメラを用いる。左カメラ２Ａ又は右カメラ２Ｂのいずれか一方が、第１カメラとして機能し、第１画像を取得する。そして、左カメラ２Ａ又は右カメラ２Ｂのうち他方が第２カメラとして機能し、第２画像を取得する。

光源３ａは、左カメラ２Ａの光軸Ｌ１に沿って、光軸Ｌ１上に位置する対象者Ａをカバーする範囲に向けて、近赤外光成分を有する照明光を照射可能に構成されている。光源３ｂは、光軸Ｌ１からの距離が光源３ａよりも離れた位置に固定され、光軸Ｌ１に沿って対象者Ａをカバーする範囲に向けて、近赤外光成分を有する照明光を照射可能に構成されている。ここで、２つの光源３ａ、３ｂから照射される照明光が同じ波長成分であってもよいし、光源３ａから照射される照明光が光源３ｂから照射される照明光よりも瞳孔を明るくするような異なる波長成分（例えば、光源３ａの中心波長が８５０ｎｍで光源３ｂの中心波長が９５０ｎｍ）を有するように設定すれば、より良く、かつ、光源３ｂは光軸Ｌ１からの距離が光源３ａと等しい位置に固定されていてもよい。この場合は、瞳孔の部分に輝度差を生じさせながら、光源の構成を簡略化及び小型化することができる。光源３ｃ及び光源３ｄの、右カメラ２Ｂ及びその光軸Ｌ２に対する位置関係は、光源３ａ及び光源３ｂの、左カメラ２Ａ及びその光軸Ｌ１に対する位置関係と同様である。

なお、左カメラ２Ａ、右カメラ２Ｂ及び光源３ａ〜３ｄは、対象者Ａが眼鏡をかけていたときの顔画像における反射光の写り込みを防止しやすくする目的で、対象者Ａの顔の高さよりも低い位置（例えば、光軸Ｌ１又は光軸Ｌ２の水平面に対する傾斜角が２０〜３５度となり、光軸Ｌ１又は光軸Ｌ２が対象者Ａの方向を向くような位置）に設けられることが好ましい。

画像処理装置１は、左カメラ２Ａ及び右カメラ２Ｂによる撮像、及び光源３ａ〜３ｄによる照明光の照射を制御するとともに、左カメラ２Ａ及び右カメラ２Ｂによって取得された対象者Ａの頭部画像に基づいて、対象者Ａの瞳孔を検出及び追尾する処理を実行する（詳細は後述する。）。

（瞳孔検出方法及び瞳孔追尾方法）
次に、上述した瞳孔検出装置１０の動作について説明するとともに、瞳孔検出装置１０を用いた瞳孔検出方法及び瞳孔追尾方法について説明する。

（世界座標系とカメラ座標系）
まず、本実施形態において使用される座標系に関して説明する。図２に示すように、世界座標系において、１台のカメラが存在する場合を考える。同図では、カメラ座標系と世界座標系とは平行とされているが、これらの座標系は平行でなくてもよい。

世界座標系の原点からカメラ座標系の原点へのベクトルをｔとし、座標系の相対的な回転を示す３行３列の回転行列をＲ^＊とすると、各カメラ座標系における座標やベクトルＣは、次式（１）により、世界座標系における座標又はベクトルＷに変換できる。

一方、Ｔｓａｉのカメラ較正方法では、次式（２）における３行３列の回転行列Ｒ及び３行１列の並進ベクトルＴが、カメラパラメータとして求められる。

回転行列Ｒ及び並進ベクトルＴは、外部パラメータと呼ばれ、カメラの姿勢を表す。この他、Ｔｓａｉのカメラ較正方法によれば、カメラのひずみ等を表す内部パラメータが得られる。

ここで、回転行列Ｒの逆行列をＲ^−１とすると、式（２）から、次式（３）が得られる。

ここで、Ｔ及びＲ^−１を、それぞれ次式（４）、（５）とする。

すると、式（３）より、次式（６）が得られる。

この式（６）は、式（１）と同じ式となっている。

図２に示すカメラ座標系は直交座標系であり、その原点はＯ_Ｃである。また、カメラ座標系のＸ軸、Ｙ軸及びＺ軸は、それぞれＸ_Ｃ軸、Ｙ_Ｃ軸及びＺ_Ｃ軸で表される。このピンホールモデルでは、原点Ｏ_Ｃがピンホール位置であり、Ｚ_Ｃ軸がカメラの光軸であり、原点から焦点距離ｆの位置に撮像面が存在すると仮定する。撮像座標系のＸ軸はＸ_Ｉ軸で表され、Ｙ軸はＹ_Ｉ軸で表される。撮像座標系のＸ_Ｉ軸及びＹ_Ｉ軸は、それぞれカメラ座標系のＸ_Ｃ軸及びＹ_Ｃ軸に平行である。また、撮像座標系の原点Ｏ_Ｉは、カメラ座標系の光軸上、すなわちＺ_Ｃ軸上に存在する。

このピンホールモデルにおいて、カメラで撮影される３次元空間内の撮影対象Ｐは、撮影対象Ｐとカメラ座標の原点Ｏ_Ｃとを結ぶ直線ＰＯ_Ｃと撮像面との交点Ｐ_ｕ（Ｘ_ｕ，Ｙ_ｕ，ｆ）に投影される。Ｐ_ｕの位置は、撮像座標系では（Ｘ_ｕ，Ｙ_ｕ）に相当する。

なお、実際には、カメラには画像歪みが存在する。この画像歪みのため、撮像座標系において、Ｐは、理想的な位置Ｐ_ｕ（Ｘ_ｕ，Ｙ_ｕ）ではなく、Ｐｕと異なる点Ｐ_ｄ（Ｘ_ｄ，Ｙ_ｄ）に投影される。ただし、Ｔｓａｉのカメラ較正によって求められた歪み値により、Ｐ_ｄ（Ｘ_ｄ，Ｙ_ｄ）を補正してＰ_ｕ（Ｘ_ｕ，Ｙ_ｕ）を計算することが可能である。このカメラの歪み補正に関する記述は省略する。

次に、カメラの台数を２台に増やした場合を考える。図３に、カメラを２台とした場合の座標系の関係を示す。世界座標系における表現の場合には、記号の右肩に添字としてＷを付する。Ｗを添え字として付していない表記は、右カメラ座標系、もしくは、左カメラ座標系の表記である。

式（２）より、図２における右カメラ座標系の原点Ｏ_Ｒは、世界座標系における右カメラ座標系の原点Ｏ_Ｒ ^Ｗを用いて次式（７）で表される。

ここで、Ｒ_Ｒは、世界座標系から右カメラ座標系に変換する場合の回転行列である。Ｔ_Ｒは、世界座標系から右カメラ座標系に変換する場合の並進ベクトルである。投影点の座標Ｐ_Ｒｕも同様に次式（８）で世界座標系に変換できる。

よって、右カメラ原点Ｏ_Ｒから撮像面の投影点Ｐ_Ｒｕへ向かうベクトルＯ_ＲＰ_Ｒｕは、式（３）及び式（４）より、世界座標系のベクトルＯ_Ｒ ^ＷＰ_Ｒｕ ^Ｗを用いて次式（９）で表される。

したがって、式（９）から、Ｏ_Ｒ ^ＷＰ_Ｒｕ ^Ｗは、式（１０）で表される。

同様に、左カメラについて、Ｏ_Ｌ ^ＷＰ_Ｌｕ ^Ｗは、式（１１）で表される。

一方で、式（３）から、右カメラに関して、次の式（１２）が成り立ち、左カメラに関して式（１３）が成り立つ。

式（１２）及び式（１３）から、世界座標系における左カメラ座標系原点Ｏ_Ｌ ^Ｗから右カメラ座標系原点Ｏ_Ｒ ^Ｗへ向かうベクトルＯ_Ｌ ^ＷＯ_Ｒ ^Ｗは、次式（１４）で求まる。

ここで、式（４）及び式（５）より、式（１４）の第１項と第２項は、それぞれ図３中の世界座標系原点から各カメラ座標系原点に向かうベクトルｔ_Ｒ及びｔ_Ｌに相当し、式（１５）及び式（１６）が成立する。

したがって、式（１５）及び式（１６）から、式（１４）は、次式（１７）のように表せる。

（瞳孔検出方法）
次に、本実施形態に係る瞳孔検出方法を説明する。本実施形態に係る瞳孔検出方法は、第１カメラにより対象者の顔を撮影して第１画像を取得する第１ステップと、第２カメラにより上記対象者の顔を撮影して第２画像を取得する第２ステップと、上記第１画像から上記対象者の瞳孔の候補となる１個以上の第１画像内候補点を抽出する第３ステップと、上記第２画像から上記対象者の瞳孔の候補となる１個以上の第２画像内候補点を抽出する第４ステップと、上記第１画像内候補点のうち１点及び上記第２画像内候補点のうち１点からなる組み合わせについて、当該組み合わせが３次元空間における同一の点に対応するか否かを判定する第５ステップと、３次元座標における同一の点に対応すると判定された上記第１画像内候補点と上記第２画像内候補点との組み合わせについて、当該組み合わせに対応する３次元空間における点を空間内候補点とすることにより、２個以上の空間内候補点を抽出する第６ステップと、上記抽出された空間内候補点の中から２個の空間内候補点の対を選択し、選択された２個の空間内候補点の対の間の距離を算出する演算を、複数の空間内候補点の対について行う第７ステップと、上記算出された空間内候補点の対の間の距離が所定範囲内にない空間内候補点の対を除外する第８ステップと、上記除外されなかった空間内候補点の対の中から、一以上の空間内候補点の対を決定し、決定された一以上の空間内候補点の対の位置に上記対象者の瞳孔の対が存在すると決定する第９ステップと、を備えている。

このうち、第１画像から第１画像内候補点を抽出する第３ステップについては、例えば、特許文献１〜５に記載されるように、第１画像として、明瞳孔画像と暗瞳孔画像の画素値の差分を計算して得た差分画像を用いて、この差分画像において画素値が大きい点を第１画像内候補点とすることにより、実行することができる。ただし、第３ステップについては、他の手法で実行してもよく、要は、第１画像内において、瞳孔に特有の大きさ、明るさ等の画像的特徴に基づいて、瞳孔の候補となりうる点を抽出すればよい。第２画像から第２画像内候補点を抽出する第４ステップについても同様である。

以下、上記第１画像内候補点のうち１点及び上記第２画像内候補点のうち１点からなる組み合わせについて、当該組み合わせが３次元空間における同一の点に対応するか否かを判定する第５ステップと、３次元座標における同一の点に対応すると判定された上記第１画像内候補点と上記第２画像内候補点との組み合わせについて、当該組み合わせに対応する３次元空間における点を空間内候補点とすることにより、２個以上の空間内候補点を抽出する第６ステップについて説明する。第５ステップ及び第６ステップの処理方法として、以下で３通りの方法を説明するが、瞳孔検出処理においては、この３通りの方法のうち一部の方法を組み合わせて実行してもよいし、３通りの方法の全てを適宜組み合わせて実行してもよい。

ここで、以下の説明において用いるステレオマッチングという語について説明する。一般に、カメラ較正を済ませた２台のカメラで撮影対象点の３次元座標を求めるとき、各カメラで撮影された画像内のどの点が撮影対象点に対応するかをカメラごとに求める。求められた画像内の点を画像内候補点と呼ぶ。そして、２台のカメラのそれぞれで撮影された画像における画像内候補点を互いに対応付けする。この２台のカメラでの画像内候補点の対応づけのことをステレオマッチングと定義する。したがって、２台のカメラで求められた画像内候補点がいずれも同一の撮影対象点に対応するものである場合、ステレオマッチングが正しく行われたことになる。

（空間内候補点の抽出）
まず、図４を参照して、空間内候補点を抽出する第１の方法を説明する。図４は、図３を簡略化した図である。ここでは、すべて世界座標系で表現されているものとする。いま、左右のカメラのそれぞれに写る物体の位置をＰ_Ｌ、Ｐ_Ｒとすると、各カメラの原点からそれらに向かうベクトルＯ_ＬＰ_Ｌ、Ｏ_ＲＰ_Ｒと同方向のベクトルＯ_ＬＰ_Ｌｕ、Ｏ_ＲＰ_Ｒｕが求まる。

いま、式（１１）により得られるベクトルＯ_ＬＰ_Ｌｕと式（１７）で得られるベクトルＯ_Ｌ ^ＷＯ_Ｒ ^Ｗとの外積により、三角形Ｏ_ＬＰ_ＬＯ_Ｒの法線ベクトルｎ_Ｌが式（１９）で求められる。

同様に、三角形Ｏ_ＬＰ_ＲＯ_Ｒの法線ベクトルｎ_Ｒも次式（１９）で求められる。

ここで、もしＰ_Ｌ＝Ｐ_Ｒである、すなわち、左右のカメラで同一の物体を捉えていたとしたら、ｎ_Ｌ＝ｎ_Ｒとなる。左カメラと右カメラが別の物体を捉えていたらｎ_Ｌ≠ｎ_Ｒとなる。左カメラと右カメラが同一の物体を撮影しているのか否かを判定するために、ｎ_Ｌとｎ_Ｒの内積により、平面Ｏ_ＬＰ_ＬＯ_Ｒと平面Ｏ_ＬＰ_ＲＯ_Ｒのなす角度θを、次式（２０）によって求める。

実際には、カメラ画像からの対象物の座標算出精度やカメラ較正の精度などの限界により、左右のカメラで同一の物体を捉えていても、Ｐ_Ｌ≠Ｐ_Ｒとなりｎ_Ｌ≠ｎ_Ｒとなる。したがって、実際には、閾値Ｔｈを設けて、次式（２１）が満たされる場合に、左右のカメラで同一の対象を捉えていると判定する。

Ｔｈの値は、例えば、０．９９９５とすることが好適である。この場合、θ＝±１．８１２°の範囲に相当し、８０．００ｃｍ先の物体について、２５．３１ｍｍの位置ずれに相当する。

この第１の方法は、２台のカメラを結ぶ直線を軸とした軸周りのＰ_ＬとＰ_Ｒのずれに関して感度が高く、特に有効である。

しかし、逆に、ｎ_Ｌ＝ｎ_Ｒで平面Ｏ_ＬＰ_ＬＯ_Ｒと平面Ｏ_ＬＰ_ＲＯ_Ｒとが平行だとしても、Ｐ_Ｌ＝Ｐ_Ｒとは限らない。その例を図５の（ａ）及び（ｂ）に示す。ここでは、平面Ｏ_ＬＰ_ＬＯ_Ｒと平面Ｏ_ＬＰ_ＲＯ_Ｒは平行である。しかし、Ｐ_Ｌ＝Ｐ_Ｒではない。したがって、カメラを水平に並べてあれば、上下方向のＰ_ＬとＰ_Ｒのずれは検出できるが、左右方向のＰ_ＬとＰ_Ｒのずれは検出できない。ただし、左右方向のずれは、Ｐ_ＬとＰ_Ｒのステレオマッチングの結果、奥行き方向（Ｚ方向）のずれとなって反映される。

図６に、図５の内容を別の表現にして示す。図６（ａ）は図５（ａ）に対応し、図６（ｂ）は図５（ｂ）に対応している。図５（ａ）及び図６（ａ）は、左カメラ２Ａで左瞳孔Ｐ_Ｌを検出しており、右カメラ２Ｂで右瞳孔Ｐ_Ｒを検出している場合である。これらをステレオマッチングすれば、算出される対象の３次元座標は、対象者の顔よりもはるかに後ろに誤検出されるはずである。図５（ｂ）及び図６（ｂ）は、左カメラ２Ａで右瞳孔Ｐ_Ｒを検出しており、右カメラ２Ｂで左瞳孔Ｐ_Ｌを検出している場合である。この場合、算出される対象の３次元画像は、顔よりも前方に誤検出されるはずである。しかし、上述の第１の方法のみでは、この奥行き方向の座標のずれを検出することはできない。

しかしながら、上述の第１の方法は、画像内において対象の撮像座標系における座標を求めた後の演算が容易である。したがって、左カメラ２Ａ及び右カメラ２Ｂにおいて検出された画像内候補点が多数存在する場合、対象者の瞳孔に対応しない画像内候補点を除外するためには、上述の第１の方法は有効な方法である。

具体的には、左右のカメラでそれぞれ得られる画像内候補点の数をそれぞれＮ_Ｌ、Ｎ_Ｒとする。これらの画像内候補点について、総当たりで組み合わせて、上述の第１の方法の一連の演算を行う。組み合わせの数はＮ_Ｌ×Ｎ_Ｒ通りある。このうち、演算の結果、同一の対象を撮影したものでないと判定された画像内候補点の組み合わせは除外される。そして、除外されずに残った組み合わせにおける画像内候補点の座標が、有効な候補点として両カメラの画像上の座標として記憶される。

次に、空間内候補点を抽出するための第２の方法について説明する。

一般に、ステレオマッチングした後に、ステレオマッチングにより求まった画像内候補点の座標から、撮影対象点の３次元座標を求める方法は、次のようになる。この方法は、Ｔｓａｉのカメラ較正によって算出される回転行列Ｒと並進ベクトルＴ（式（２））を利用して求める方法（３次元復元）である。

いま、世界座標系のＺ軸を、カメラから見て奥行き方向にとる。また、ＲとＴはそれぞれ次の式（２２）及び式（２３）で表されるとする。

一般に、対象Ｐのカメラ座標系における座標を（Ｘ_Ｃ，Ｙ_Ｃ，Ｚ_Ｃ）と表現したとき（図１参照）、ピンホールカメラモデルの基本式として次式（２４）が成立する。

これらをもとに、対象Ｐの世界座標系における座標をＭとし、このＭについて、Ａ・Ｍ＝Ｂという形の式に当てはまるように変形すると、カメラ１台について次の２式が得られる。なお、途中の式変形については記載を省略している。

いま、第１カメラにより取得された第１画像から抽出された第１画像内候補点のうち１点を選択する。また、第２カメラにより取得された第２画像から抽出された第２画像内候補点のうち１点を選択する。すると、選択された第１画像内候補点と第２画像内候補点のそれぞれについて、式（２５）と同様の２式が得られる。したがって、Ｍに関して３つの未知数に対して４本の式（過剰方程式）が得られる。このため、Ｍの値を次のように最小自乗法により求める。ここで、Ａが正方行列であれば、Ａ・Ｍ＝Ｂの両辺に、Ａの逆行列Ａ^−１を乗ずればよいが、Ａは正方行列ではないので、Ａには逆行列が存在しない。そこで、Ａの一般逆行列（擬似逆行列）であるＡ^＋＝（Ａ^ＴＡ）^−１Ａ^Ｔを求めて、このＡ^＋を使用して、次式（２６）によりＭが求まる。

第２の方法によれば、具体的に対象候補点の３次元座標が求まる。第１の方法では、左右のカメラの画像内候補点の組み合わせに間違いがあっても、この間違った組み合わせを除外することができない場合があった。しかし、このような間違った組み合わせから第２の方法によって対象点の３次元座標を求めると、求まる対象のカメラからの奥行き方向への距離が適正な範囲にあるかを判定すること、すなわちＺ座標が適正な範囲にあるか否かを判定することによって、図５に示したような左右の瞳孔を取り違えた場合が判定できる。それには、世界座標系において、式（２７）のように、被験者の瞳孔の存在する範囲を、閾値として与えればよい。

また、２台のカメラの向きは、それらの光軸が適当な一点で交わるのが望ましいが、その交点をＳとし、２台のカメラの位置をＯ_Ｒ、Ｏ_Ｌとしたときに、Ｏ_ＲとＯ_Ｌの中点とＳを結ぶ軸をＺ軸とする直交座標系を定義し、その座標系におけるＭの座標を求め、式（２７）を適用してもよい。

特に眼鏡反射は、反射像であるが故に、３次元空間内の１点に実在する物ではない。したがって、一般に、２台のカメラから見たときに、同一の撮影対象点が存在せず、異なる点にある物のように見える。このため、眼鏡反射を画像内候補点とした場合に第２の方法を実行して対象点の３次元座標を計算すると、Ｚ座標の値が適正な範囲にない値となり、眼鏡反射が瞳孔ではないことがわかる。そのため、計算された３次元座標の値が所定の適正な範囲にない場合には、選択された第１画像内候補点と、第２画像内候補点を、３次元座標における同一の点に対応しないものとして除外すればよい。

次に、空間内座標点を抽出するための第３の方法について説明する。

第１の方法は、カメラ２台を結ぶ直線を軸とする軸周りの方向のステレオマッチングの間違いを検出するのに有効であった。眼球反射を瞳孔と区別するとなると、眼鏡反射が瞳孔のすぐそばに現われる場合が多いため、厳密さが要求される。しかし、第１の方法では、ずれの大きさを軸周りの角度として表現しており、上述の軸から対象者の顔までの距離を考慮できない。例えば、瞳孔と眼鏡反射との間の距離が実寸で同じでも、軸から距離に応じて、閾値にすべき値を変えるべきであるが、第１の方法ではＺ軸方向の距離を求めていないので、それができない。

第３の方法では、第２の方法で求めることができたＺ軸方向の距離だけでなく、その距離における各カメラで得られる対象候補点間の距離がわかる。これを利用して、ステレオマッチングが正しいか否かを判定する。次に、計算方法を説明する。

以下、すべて世界座標系における説明である。図７には、カメラが２台あり、ここでは、点Ｏ_１、Ｏ_２にカメラが設置されているとする。点Ｏ_１のカメラでは対象候補点Ｐ_１を撮影し、点Ｏ_２のカメラでは対象候補点Ｐ_２を撮影している。そして、点Ｏ_１と対象候補点Ｐ_１とを結ぶ直線をｇ_１（第１直線）とし、点Ｏ_２と対象候補点Ｐ_２とを結ぶ直線をｇ_２（第２直線）とする。２直線ｇ_１、ｇ_２の方向ベクトルをそれぞれｕ_１＝（Ｌ_１，Ｍ_１，Ｎ_１）、ｕ_２＝（Ｌ_２，Ｍ_２，Ｎ_２）とする。これらは、図２におけるベクトルＯ_ＣＰ_ｕに相当する。また、点Ｏ_１、Ｏ_２の座標をそれぞれＯ_１＝（ｘ_１，ｙ_１，ｚ_１）、Ｏ_２＝（ｘ_２、ｙ_２、ｚ_２）とする。

２直線ｇ_１、ｇ_２の式は、それぞれ次式（２８）、（２９）で表される。

このとき、ｇ_１、ｇ_２の両方に垂直な直線（共通垂線）ｈ_１２を次式（３０）で置く。

ここで、点（ａ_１，ｂ_１，ｃ_１）は、共通垂線上の点であると同時に、直線ｇ_１上の点であるとし、この点をＨ_１とする。ここで、式（２８）の値をｔとおくと、次式（３１）が成り立つ。

式（３１）を式（３０）に代入すると、式（３０）は、次式（３２）と表せる。

一般に、式（２８）、（２９）で表される２直線ｇ_１、ｇ_２が交わる条件は、次式（３３）が成立することである。

したがって、式（２９）で表される直線ｇ_２と式（３２）で表される直線ｈ_１２が交わる条件は、次式（３４）が成立することである。

ここで、ｔ＝ｔ_１とし、かつ、次式（３５）とおく。

式（３４）と式（３５）から、ｔ_１について解くと、次式（３６）が得られる。

このｔ_１を、式（３１）のｔに代入すると、Ｈ_１の座標（ａ_１，ｂ_１，ｃ_１）が次式（３７）のように求まる。

同様に、今度は、直線ｇ_２（式（２９））と共通垂線ｈ_１２との交点をＨ_２＝（ａ_２，ｂ_２，ｃ_２）とおくと、式（３５）〜（３７）に相当する式として、次式（３８）〜（４０）が得られる。

最後に、Ｈ_１とＨ_２の間の距離｜Ｈ_１Ｈ_２｜、すなわち２直線ｇ_１、ｇ_２の最短距離は、式（３５）〜（３７）、式（３８）〜（４０）及び次式（４１）の演算から算出できる。

さらに、Ｈ_１とＨ_２の中点Ｍを次式（４２）で容易に求めることができる。

ステレオマッチングが正しければ、距離｜Ｈ_１Ｈ_２｜は小さな値になり、中点ＭのＺ座標も、対象者が存在する範囲内に入る。したがって、この第３の方法によって、対象候補点Ｐ_１、Ｐ_２が瞳孔であるか否かを判定することができる。具体的には、計算された｜Ｈ_１Ｈ_２｜が所定の閾値以下であること、若しくは中点ＭのＺ座標が所定の下限値と所定の上限値との間にあること、又はこれらの両方を条件として、ステレオマッチングが正しいことを判定することができる。

なお、第１の方法は、第１の方法の説明において、カメラを水平に並べたときに、上下方向のＰ_ＬとＰ_Ｒのずれは検出できるが、左右方向のＰ_ＬとＰ_Ｒのずれは検出できないと述べたが、この問題は、第３の方法においても同じく存在する。

（２点間距離に基づき空間内候補点を選択する方法）
次に、抽出された空間内候補点の中から２個の空間内候補点の対を選択し、選択された２個の空間内候補点の対の間の距離を算出する演算を、複数の空間内候補点の対について行う第７ステップと、上記算出された空間内候補点の対の間の距離が所定範囲内にない空間内候補点の対を除外する第８ステップを実行する方法について説明する。なお、本明細書において、この方法を第４の方法と称することがある。

これまでに述べた第５・６ステップを実行するための第１〜第３の方法は、画像内候補点一個ごとについてステレオマッチングが正しくされているかの判定が主要な目的であった。そして、２個のカメラで選択された画像内候補点から計算される空間内候補点が、本当に対象者の瞳孔を撮影した点であることを確実にするため、本方法の２個の空間内候補点のペアリングを行い、ペアリングされた１対の空間内候補点の距離が人間の瞳孔間距離として妥当な範囲の値であるか否かを判定することにより、瞳孔対候補が本当の瞳孔対であるか判定する。また、この方法は、２人以上の対象者を撮影した場合において、個々の対象者の瞳孔対を検出したり、個々の対象者を区別したりするのに有効である。

いま、第６ステップまでの処理により、複数の空間内候補点が抽出されているものとする。これらの複数の空間内候補点を２個選択して組み合わせを作る。そして、この組み合わせられた１対の空間内候補点の間の距離ｌを、１対の空間内候補点の３次元座標に基づいて計算する。そして、このような距離ｌの計算を、組み合わせ得る全ての組み合わせについて行う。距離ｌは式（４３）で表される。ここで、Ｐ_１及びＰ_２は、組み合わせた２個の空間内候補点の３次元座標であり、Ｐ_１とＰ_２とは異なる点である。

瞳孔対候補として組み合わせ得る空間内候補点の数は、空間内候補点の数をＮとしたとき、式（４４）で与えられる。

計算された距離ｌが、人間の瞳孔間距離として妥当でない値となる空間内候補点の対については、瞳孔対ではないと判定し、その瞳孔対（両瞳孔候補とも）を瞳孔対候補から除外する。距離ｌが適当な空間内候補点の対については、真の瞳孔対であると判定し、その瞳孔対を形成する瞳孔候補を瞳孔と判定する。一般に、人間の瞳孔間距離は約６５ｍｍである。したがって、個人差や輻輳による瞳孔間距離の変化等を考慮すると、距離ｌとして適当な範囲は、６５ｍｍを含んだ所定の範囲とすればよい。例えば、距離ｌが５５ｍｍ〜７０ｍｍでない場合に、選択された空間内候補点の対を真の瞳孔対でないものとして、瞳孔対候補から除外することができる。

なお、ここまで説明した処理を行った後、なお、空間内候補点の対が２対以上残っている場合には、例えば人間の行動特性に基づいて空間内候補点の対を対象者の瞳孔であるとして決定してもよい。例えば、人間が大きく首をかしげる等により２つの瞳孔を結んだ直線が水平面に対して大きく傾斜することはないものと仮定し、空間内候補点の対を結んだ直線が水平面に対してなす角度が小さい対を瞳孔対として決定してもよい。また、元の画像の特徴から、大きさや輝度等が瞳孔と似ているものを画像処理により選択するようにしてもよい。

（瞳孔検出方法の実験）
次に、以上で説明した方法を組み合わせた瞳孔検出方法による瞳孔検出実験の結果について説明する。

実験環境及び方法は次の通りである。蛍光灯がついた室内にて、眼鏡を装着した被験者を、カメラから約８０ｃｍ離れた位置に座らせ、電球により被験者の顔に光を照射した状況で実験を行った。電球による照射を行った理由は、瞳孔を縮小させて眼鏡反射に近い大きさとし、誤検出を発生させやすくするためである。被験者の目の付近での照度は、３６６〜７５１ｌｘであった。

被験者の頭部は特に固定せず、３００フレームの間、目を数回開閉するように指示し、その間の画像を撮影し、従来の瞳孔検出方法と、本実施形態の瞳孔検出方法とで瞳孔検出を行った。

本実験における、本実施形態の瞳孔検出方法の具体的な処理を、図８を参照しながら説明する。まず、２個のカメラのそれぞれで、５個の画像内候補点までを画像処理により検出した。次に、検出された２つのカメラでの画像内候補点を１個ずつ組み合わせてペアリングを行い、ペアリングされた画像内候補点の対を用いて第２の方法によりステレオマッチングを行い、画像内候補点の対に対応する空間内候補点の３次元座標を計算した。被験者の顔はカメラから約８０ｃｍ離れた位置にあるとして、３次元座標のうち、カメラから離れる方向に延びるＺ軸に沿ったＺ座標が７０ｃｍ〜９０ｃｍの範囲内にない場合には、画像内候補点のペアリングが間違っていると判定し、その画像内候補点のペアを除外した。その後、Ｚ軸方向の距離の妥当性を満たした空間内候補点において、２つの空間内候補点の間の距離が６３〜７０ｍｍの間である空間内候補点の対を、真の瞳孔であるとして決定した。

図９は、本実験において撮影された画像及びその画像に対して各種の処理を行った結果を示す写真である。図９は、大きく分けて、左下部分、右下部分、左上部分、右上部分に分けられ、また、右上部分がその上半分と下半分とに分けられる。図９の左下部分は、対象者の瞳孔が明るく映し出された明瞳孔画像である。図９の右下部分は、対象者の瞳孔が暗く映し出された暗瞳孔画像である。図９の左上部分は、明瞳孔画像と暗瞳孔画像の画素値の差分をとって作成した差分画像である。図９の右上部分のうち上半分は、対象者の瞳孔部を拡大して高解像度化した明瞳孔画像である。図９の右上部分のうち下半分は、図９の右上部分の上半分の高解像度した明瞳孔画像を２値化した画像である。なお、以下の図１０、図１１及び図２６においても、各画像は同様に配置されている。

図９の左下部分の明瞳孔画像及び右下部分の暗瞳孔画像には、眼鏡のレンズにより反射された光の映り込みである眼鏡反射や、眼鏡のフレームにより反射された光の映り込みである眼鏡フレーム反射が映っている。これらの眼鏡反射は、差分画像ではある程度ほぼ除去されている。また、明瞳孔画像と暗瞳孔画像では、対象者の瞳孔の明るさが大きく異なるため、図９の左上部分の差分画像では、対象者の瞳孔に相当する部分が明るくなっている。

そして、画像処理装置１が、この明るくなった部分の明るさや大きさ等の画像的特徴に基づいて、この部分に瞳孔があることを検出し、小ウィンドウ（小領域）を瞳孔部分に表示させている。この小ウィンドウは、後述する瞳孔追尾処理を行う際に、瞳孔の位置を推定し、瞳孔を探索する対象領域を限定するためのものである。画像処理装置１は、この小ウィンドウ内において、瞳孔であると考えられる図形を探索することにより、瞳孔追尾処理を行う。図９の右上部分では、対象者の明瞳孔に重なる位置に略円形の図形が表示されている。なお、図９の右上部分において、小さな四角形が表示されているが、この四角形は、対象者の角膜による光の反射像である角膜反射を示す。角膜反射の検出処理については後述する。

図１０は、対象者が目を閉じたときの処理画像である。図１０（ａ）は、従来の瞳孔検出方法による処理画像であり、図１０（ｂ）は、本実施形態の方法による処理画像である。図１０（ａ）、（ｂ）とも、眼鏡の右目レンズ部分による眼鏡反射が差分画像において白い点として残っている。図１０（ａ）では、この眼鏡反射による白い点が瞳孔として誤って検出されており、この部分に小さな四角形が表示されている。これに対し、図１０（ｂ）では、眼鏡反射による白い点を瞳孔として検出せず、未検出となっている。

図１１は、図１０よりも後の時刻の、対象者が目を開いた直後の処理画像である。図１１（ａ）は、従来の瞳孔検出方法による処理画像であり、図１１（ｂ）は、本実施形態の方法による処理画像である。図１１（ａ）では、図１０（ａ）と同様に、眼鏡反射を瞳孔として誤って検出している。これに対し、図１１（ｂ）では、対象者が目を開いたことによって、カメラで撮影できるようになった瞳孔を正しく検出できている。

図１２は、対象者の閉眼時における、左カメラにおける瞳孔の検出率を示す図である。図１２（ａ）は、従来の瞳孔検出方法による瞳孔検出率を示す。図１２（ｂ）は、本実施形態の瞳孔検出方法による瞳孔検出率を示す。図１２（ａ）、図１２（ｂ）のいずれも、５人の被験者を対象者としたときの左右それぞれの瞳孔の検出率を示している。正検出率は、瞳孔を正しく検出できた場合の割合を示す。非検出率は、瞳孔の位置を検出しなかった場合の割合を示す。誤検出率は、瞳孔以外のもの、例えば眼鏡反射を瞳孔であるとして誤って検出した場合の割合を示す。誤検出をいったん行ってしまうと、後述の瞳孔追尾方法を用いて瞳孔を追尾しようとした場合に、誤って検出した眼鏡反射を瞳孔であると誤認識したまま、眼鏡反射を追尾してしまい、長時間にわたって瞳孔を検出できなくなるため、誤検出を行うことは好ましくない。

対象者が閉眼している場合には、カメラには瞳孔が映らない。したがって、瞳孔は検出されないのが正しい。このため、対象者の閉眼時には、正検出率が０％、非検出率が１００％、誤検出率が０％となることが好ましい。図１２（ａ）に示す従来の瞳孔検出方法による場合では、多くの被験者で誤検出が生じている。これに対し、図１２（ｂ）に示す本実施形態の場合では、全ての被験者において誤検出が生じていない。なお、右カメラにおいても、左カメラとほぼ同様の瞳孔検出率が得られる。

図１３は、対象者の開眼時における、左カメラにおける瞳孔の検出率を示す図である。図１３（ａ）は、従来の瞳孔検出方法による瞳孔検出率を示す。図１３（ｂ）は、本実施形態の瞳孔検出方法による瞳孔検出率を示す。対象者の開眼時においても、被験者によっては、従来の瞳孔検出方法によれば誤検出がある程度の割合で生じていたのに対し、本実施形態の瞳孔検出方法によれば誤検出はほぼ生じていない。

（複数人の瞳孔対を検出する方法）
次に、複数人の瞳孔対を検出する場合について説明する。
複数の対象者の瞳孔対を検出する場合にも、前述の第１〜第３の方法により空間内候補点を抽出した後、２点間距離に基づき空間内候補点を選択する方法によって、複数の対象者の瞳孔対を検出することができる。例えば、第１の方法により不適切な画像内候補点を除去し、次に、除去されなかった画像内候補点に対して第２の方法により不適切な画像内候補点を判定して除去し、さらに残った画像内候補点に対して、その画像内候補点に対応する３次元座標を計算し、計算された２点の３次元座標が所定範囲内にあるものを選択することにより判定を行って、複数人の瞳孔対を検出することができる。

図１４に、２人の被験者を対象者として、第１、第２の方法を順に実行した後、２点間距離に基づき空間内候補点を選択する方法を実行することにより瞳孔検出を行った場合の実験結果を示す。図１４（ａ）は、左カメラで撮影した画像を示す。図１４（ｂ）は、右カメラで撮影した画像を示す。図１４（ａ）、図１４（ｂ）とも、４個の画像からなる。左下の画像は、対象者を撮影して取得した明瞳孔画像である。右下の画像は、対象者を撮影して取得した暗瞳孔画像である。左上の画像は、明瞳孔画像と暗瞳孔画像の画素値を差分して生成した差分画像である。左上の画像において、白い十字型の図形は、瞳孔検出処理によって検出した瞳孔の位置を示す。右上の画像は、同一人の左右の瞳孔対を検出した結果を示す。右上の画像において、白い十字型の図形は、瞳孔検出処理によって検出した瞳孔の位置を示す。また、白い十字型の図形を結ぶ白い直線は、同一人の左右の瞳孔対として検出された点を結んで示す。

なお、多数の対象者の瞳孔を検出する場合には、全ての対象者がカメラから同程度の奥行きの位置に並んでいるとは限らない。したがって、第２の方法によってＺ座標が一定範囲に無い瞳孔候補点を除外したり、第３の方法によって、中点ＭのＺ座標が一定範囲に無い瞳孔候補点を除外したりすると、対象者全員の瞳孔対を検出できない場合がある。このため、このような場合には、第１の方法、第３の方法のうち２直線間の最短距離を用いた処理を行って空間内候補点を抽出し、さらに２点間距離に応じて空間内候補点を選択する処理を順に実行することにより、対象者の瞳孔対を決定する。この場合、第１の方法、第３の方法のいずれかを省略してもよい。

（角膜反射検出方法）
次に、本実施形態に係る角膜反射検出方法について説明する。

図１５は、本実施形態に係る角膜反射検出方法を実行するための装置と対象者の眼球とを模式的に示す図である。この角膜反射検出方法においては、左カメラ２Ａと右カメラ２Ｂと、光源３（３ａ，３ｃ）とを用いる。また、角膜を検出するのに先立ち、予め、左カメラ２Ａ及び右カメラ２Ｂを用いて前述の瞳孔検出方法を実行しておき、瞳孔の３次元座標を検出しておく。以下、左カメラ２Ａ、右カメラ２Ｂ及び光源３（３ａ，３ｃ）の位置に応じて場合分けして説明する。

まず、図１５（ａ）の場合について説明する。この場合においては、光源３ａをカメラ２Ａの近傍に設ける。また、光源３ｃをカメラ２Ｂの近傍に設ける。

光源３ａで眼球を照射しながら左カメラ２Ａで第１画像を取得する。また、光源３ｃで眼球を照射しながら右カメラ２Ｂで第２画像を取得する。このようにすると、第１画像には、光源３ａの光が角膜で反射された角膜反射が映り、第２画像には、光源３ｃの光が角膜で反射された角膜反射が映る。ここで、角膜の形状は、角膜球と呼ばれる球面状となっている。このため、第１画像、第２画像のそれぞれに映る角膜反射は、見かけ上、角膜球中心にある光源により発光されたように映る。

したがって、第１画像から対象者の角膜反射の候補となる１個以上の第１画像内角膜反射候補点を抽出し、第２画像から対象者の角膜反射の候補となる１個以上の第２画像内角膜反射候補点を抽出し、これらの第１及び第２画像内角膜反射候補点からそれぞれ１点を選択し、選択された点の画像内座標を用いて、前述した第２の方法や第３の方法を用いて３次元座標を計算すると、ちょうど角膜球中心の位置に光源があるかのように求まる。このようにして、角膜反射の候補となる３次元座標を求めた後、求まった角膜反射候補の３次元座標が、予め検出された瞳孔の３次元座標と所定の範囲内、例えば数ｍｍの範囲内にある場合に、求まった角膜反射候補が本当の角膜反射であると判定する。

図１５（ｂ）の場合、光源３ａ及び光源３ｂの配置は図１５（ａ）の場合と同様である。ただし、撮影時に使用する光源が図１５（ａ）の場合と異なる。すなわち、光源３ｃで眼球を照射しながら左カメラ２Ａで第１画像を取得し、光源３ａで眼球を照射しながら右カメラ２Ｂで第２画像を取得する。後は図１５（ａ）の場合と同様にして角膜反射の候補となる３次元座標を求める。すると、求められる３次元座標は、角膜球の表面上となる。この場合も、角膜反射候補の３次元座標と瞳孔の３次元座標との距離が数ｍｍの範囲内にあるときに、求まった角膜反射候補が本当の角膜反射であると判定することができる。

図１５（ｃ）、図１５（ｄ）の場合、光源３ａ及び光源３ｂに代えて、１個の光源３を用いる。そして、左カメラ２Ａで第１画像を取得する時と、右カメラ２Ｂで第２画像を取得する時のいずれにおいても、光源３により対象者の眼球を照射しておく。この場合、光源３の位置によって、求められる角膜反射の位置が異なる。ただし、いずれの場合も、角膜反射候補の３次元座標と瞳孔の３次元座標との距離が数ｍｍの範囲内にあるときに、求まった角膜反射候補が本当の角膜反射であると判定することができる。

（３個以上のカメラを用いて瞳孔を検出する方法）
これまで、２個のカメラのみを用いて瞳孔を検出する方法について説明を行った。しかし、少なくとも３個のカメラを用いて対象者の顔を撮影し、これらのカメラの中から少なくとも２組の第１カメラ及び第２カメラの組を選択し、選択された第１カメラ及び第２カメラの組のそれぞれを用いて、これまでに説明した２個のカメラを用いた瞳孔検出方法を実行してもよい。

前述した第１〜第４の方法を実行するためには、左カメラ２Ａ及び右カメラ２Ｂの両方によって、瞳孔の画像内候補点を検出できていることが必要である。しかしながら、一方のカメラで撮影された画像において、瞳孔と眼鏡反射が重なっている場合、当該カメラで撮影された画像では瞳孔が画像内候補点として検出できず、前述の第１〜第４の方法をうまく実施できない場合がありうる。そこで、３個以上のカメラを使用することがより好適である。３個のカメラを使用した場合、そのうち１個のカメラで撮影された画像によって瞳孔の画像内候補点を検出できなかった場合にも、他の２個のカメラで撮影された画像を用いて瞳孔の画像内候補点が検出されていれば、前述の第１〜第４の方法を実行することができるため、より確実に瞳孔検出を行うことが可能となる。

図１６に、３個以上のカメラの配置の例を示す。図１６（ａ）は、３個のカメラ２Ａ〜２Ｃの配置の例である。第３カメラ２Ｃは、第１カメラ２Ａと第２カメラ２Ｂとを結ぶ直線から離れた位置に配置されることが好適である。前述の第１の方法又は第３の方法を用いた場合、２個のカメラを結ぶ直線を軸として、この軸を含む平面上に位置する異なる２点をそれぞれ別のカメラで撮影していた場合を除外することが難しかった。例えば、第１カメラ２Ａと第２カメラ２Ｂを水平方向に並べて配置した場合、第１カメラ２Ａと第２カメラ２Ｂが、水平面内で離れた異なる２点をそれぞれ画像内候補点として検出していた場合、このような画像内候補点の組を除外することが難しかった。そこで、第３カメラ２Ｃを第１カメラ２Ａと第２カメラ２Ｂとを結ぶ直線から離れた位置に配置することにより、不適当な画像内候補点の組をより除外しやすくなる。３個のカメラ２Ａ〜２Ｃは、正三角形の各頂点の位置に配置することが好ましい。また、特に眼鏡反射と瞳孔が画像内において重なる問題を考えた場合には、３個のカメラ２Ａ〜２Ｃは、対象者から見た角度で、少なくとも１０度程度は離して設置することが好ましい。

図１６（ｂ）は、４個のカメラ２Ａ〜２Ｄの配置の例である。４個のカメラを配置する場合も、第３カメラ２Ｃ及び第４カメラ２Ｄは、第１カメラ２Ａと第２カメラ２Ｂとを結ぶ直線から離れた位置に配置することが好ましい。カメラ２Ａ〜２Ｄを長方形の４頂点の位置に配置することがより好ましい。特に、カメラ２Ａ〜２Ｄを正方形の４頂点の位置に配置すると、一層好ましい。

なお、この場合、２個のカメラの組ごとに、瞳孔検出結果が得られる。そこで、カメラの組ごとに瞳孔検出結果に対し、例えば座標値の算術平均を計算するなどの演算をすることにより、一の瞳孔検出結果を得るようにしてもよい。

上述のように３個のカメラを使用した場合、次のようにして、対象者の瞳孔対の位置をより正確に求めることもできる。３個のカメラをカメラ１〜３とする。この３個のカメラのうち２個のカメラの組み合わせ（カメラペア）を決定する。これによりカメラペアが３組得られる。カメラ１とカメラ２との組み合わせをカメラペア１−２とし、カメラ２とカメラ３との組み合わせをカメラペア２−３とし、カメラ３とカメラ１との組み合わせをカメラペア３−１とする。なお、使用されるカメラの数は３個には限定されず、少なくとも３個であればよい。また、カメラペアの数も３組には限定されず、少なくとも３組決定すればよい。

この方法では、まずカメラペアごとに瞳孔対の候補を決定する。具体的には、決定された少なくとも３組のカメラペアのそれぞれについて、カメラペアの一方のカメラを第１カメラとし、カメラペアの他方のカメラを第２カメラとし、上述した第１〜第９のステップを備えた瞳孔検出方法により、対象者の瞳孔の対を瞳孔対の候補として決定する。より具体的には、空間内候補点を取得し、第１の方法により、角度θ（式（２０）参照）が式（２１）を満たす空間内候補点を残し、さらに第２の方法又は第３の方法により、空間内候補点の３次元座標を計算する。そして、第４の方法により、２つの空間内候補点の間の距離が人間の瞳孔間距離として妥当でない値となるような２つの空間内候補点の対を、対象者の瞳孔対でないと判断して除外する。除外されずに残った空間内候補点の対を、対象者の瞳孔対の候補として残す。

例として、図１７に示すように、対象者１及び対象者２の２人の対象者の瞳孔対を検出する場合、カメラペア１−２により対象者１の左目の瞳孔候補Ｐ_Ｌ１１２、対象者１の右目の瞳孔候補Ｐ_Ｒ１１２、対象者２の左目の瞳孔候補Ｐ_Ｌ２１２、対象者２の右目の瞳孔候補Ｐ_Ｒ２１２が求められたとする。また、カメラペア２−３により対象者１の左目の第１の瞳孔候補Ｐ_Ｌ１２３、対象者１の左目の第２の瞳孔候補Ｒ_１２３、対象者１の右目の瞳孔候補Ｐ_Ｒ１２３、対象者２の左目の瞳孔候補Ｐ_Ｌ２２３、対象者２の右目の瞳孔候補Ｐ_Ｒ２２３が求められたとする。また、カメラペア３−１により対象者１の左目の瞳孔候補Ｐ_Ｌ１３１、対象者１の右目の瞳孔候補Ｐ_Ｒ１３１、対象者２の左目の瞳孔候補Ｐ_Ｌ２３１、対象者２の右目の瞳孔候補Ｐ_Ｒ２３１が求められたとする。なお、カメラペア２−３により求められた対象者１の左目の第２の瞳孔候補Ｒ_１２３は、実際には対象者１の眼鏡反射像であって、実際の対象者１の瞳孔とは異なる。他の各瞳孔候補は、実際の対象者１の瞳孔に対応する。

次に、決定された瞳孔対の候補のそれぞれについて、両瞳孔（すなわち瞳孔対の候補の一方と他方）を結ぶベクトルの方向ベクトルと両瞳孔の中点とを求める。図１７では、瞳孔候補Ｐ_Ｌ１１２，Ｐ_Ｒ１１２を結ぶベクトルの方向ベクトルはｍ_１１２で、中点はＧ_１１２である。瞳孔候補Ｐ_Ｌ１２３，Ｐ_Ｒ１２３を結ぶベクトルの方向ベクトルはｍ_１２３で、中点はＧ_１２３である。瞳孔候補Ｒ_１２３，Ｐ_Ｒ１２３を結ぶベクトルの方向ベクトルはｍ_Ｅ１２３で、中点はＧ_Ｅ１２３である。瞳孔候補Ｐ_Ｌ１３１，Ｐ_Ｒ１３１を結ぶベクトルの方向ベクトルはｍ_１３１で、中点はＧ_１３１である。瞳孔候補Ｐ_Ｌ２１２，Ｐ_Ｒ２１２を結ぶベクトルの方向ベクトルはｍ_２１２で、中点はＧ_２１２である。瞳孔候補Ｐ_Ｌ２２３，Ｐ_Ｒ２２３を結ぶベクトルの方向ベクトルはｍ_２２３で、中点はＧ_２２３である。瞳孔候補Ｐ_Ｌ２３１，Ｐ_Ｒ２３１を結ぶベクトルの方向ベクトルはｍ_２３１で、中点はＧ_２３１である。

ここで、同じ対象者の瞳孔対については、３組のカメラペアのそれぞれにより得られた方向ベクトルは、それぞれ互いになす角度がほぼ０となる性質を有する。また、３組のカメラペアのそれぞれにより得られた中点は、互いに近接した位置にあるという性質を有する。このような性質を利用することにより、複数の対象者の瞳孔対について、どの瞳孔対の候補がどの対象者の瞳孔に対応するかを区別することができ、また、誤検出された瞳孔候補を排除して正しい瞳孔対を求めることができる。すなわち、一のカメラペアにより決定された瞳孔対の候補について求められた方向ベクトルの向きが、他の複数のカメラペアで決定された瞳孔対の候補について求められた方向ベクトルの向きと所定の閾値以上の角度をなす場合に、上記一のカメラペアにより決定された瞳孔対の候補を除去する。

図１７の例では、中点Ｇ_１１２，Ｇ_１２３，Ｇ_１３１，Ｇ_Ｅ１２３は近接した位置にある。中点Ｇ_２１２，Ｇ_２２３，Ｇ_２３１は、互いに近接した位置にあり、かつ中点Ｇ_１１２，Ｇ_１２３，Ｇ_１３１，Ｇ_Ｅ１２３とは遠く離れた位置にある。このことから、中点Ｇ_１１２，Ｇ_１２３，Ｇ_１３１，Ｇ_Ｅ１２３は1人の対象者（すなわち対象者１）の瞳孔候補の対の中点であり、中点Ｇ_２１２，Ｇ_２２３，Ｇ_２３１は別の1人の対象者（すなわち対象者２）の瞳孔候補の対の中点であることが判定できる。

また、方向ベクトルｍ_Ｅ１２３は、方向ベクトルｍ_１１２，ｍ_１２３，ｍ_１３１となす角度が大きい。これにより、方向ベクトルｍ_Ｅ１２３を求めるために用いられた瞳孔候補Ｒ_１２３が、対象者の真の瞳孔に対応しないことが判定できる。

このような性質から、方向ベクトルの向きにより除去されずに残った瞳孔対の候補について座標の平均値をとり、この平均値を最終的な瞳孔の位置として決定することで、瞳孔の位置をより正しく推定することができる。具体的には、３つのカメラを使用した場合には、例えば、中点がより近接しており方向ベクトルのなす角度が小さくなる２対のカメラペアを選択し、選択されたカメラペアに含まれる２つのカメラに基づいて求められる瞳孔候補の座標の平均値をとり、この平均値を最終的な瞳孔の位置として決定することにより、瞳孔の位置を正しく推定することができる。このようにして瞳孔の位置を正しく推定した後には、推定された瞳孔の位置をカメラ画像に投影することにより、瞳孔追尾の際に瞳孔を探索する対象領域を限定するためのウィンドウを与えることもできる。

なお、図１７において、異なるカメラペアにより検出される瞳孔位置がずれるのは、カメラ較正（ステレオ較正）の誤差による。しかしながら、多くの場合では、瞳孔候補が実際の瞳孔に対応するものであれば、異なるカメラペアで求められる瞳孔候補を結ぶ直線の向き（すなわち方向ベクトルの向き）はほぼ平行となる。これに対し、眼鏡反射像を誤って瞳孔候補として検出した場合には、眼鏡反射を含む瞳孔ペアを結ぶ直線の向き（すなわち方向ベクトルの向き）は平行とならない。

また、カメラが３台しかない場合において、３台のうち１台のカメラで眼鏡反射像が瞳孔像に重なってしまい、これにより瞳孔が検出できない場合がある。この場合、当該１台のカメラを除く２台のカメラからなる１組のカメラペアにおいてしか、瞳孔対を得ることができない。したがって、瞳孔対を１組しか得ることができないため、上述した３組のカメラペアにより求められる瞳孔対の中点及び瞳孔対を結ぶ方向ベクトルを用いて正しい瞳孔対を選択する方法が使用できない。このため、１台のカメラで眼鏡反射像と瞳孔像が重なることを想定した場合には、カメラの台数を少なくとも４台とすることが望ましい。ここで、カメラが３台のみのシステムにおいて、上述の方法（すなわち瞳孔間距離、瞳孔間方向ベクトルの方向、瞳孔間中点を用いて瞳孔対の候補を抽出する方法）を用いて、瞳孔対の候補が１組しか得られない場合には、その瞳孔対の候補は、対象者の真の瞳孔対である可能性が高い。そこで、瞳孔対の候補が１組しか得られなかった場合には、この瞳孔対の候補が真の瞳孔対であるとして信頼してもよい。しかしながら、３台のカメラのうちの１組のカメラペアにおいて、どちらかのカメラにおいて真の瞳孔でない点（例えば眼鏡反射像）を瞳孔候補点として検出する誤検出があった場合には、この真の瞳孔でない瞳孔候補点を含む瞳孔対の候補と、真の瞳孔である瞳孔候補点を含む瞳孔対の候補との、２組の瞳孔対の候補が検出され、２組の瞳孔対の候補のうちどちらの瞳孔対が真の瞳孔対であるかを判断することができない。このため、２組の瞳孔対の候補の両方を除外することとなり、瞳孔対を１組も検出できない結果に終わる。すなわち、誤検出は防げるが、検出率は低下する。カメラ２台の場合についても、同様のことが言える。

なお、図１７において、実際は、瞳孔候補点として空間内候補点を抽出しただけの時点では、ある瞳孔候補点が対象者１の瞳孔である、又は対象者２の瞳孔であると区別することはできず、２つの瞳孔候補点の対が対象者１の瞳孔対又は対象者２の瞳孔対であると区別することもできない。したがって、本来は、例えば瞳孔候補Ｐ_Ｌ１１２と瞳孔候補Ｐ_Ｒ２１２との対や瞳孔候補Ｐ_Ｒ１２３とＰ_Ｌ２２３との対も、瞳孔対の候補として検出されることになる。これらの瞳孔対の候補については、第４の方法を利用して、瞳孔候補の間の距離が瞳孔間距離として妥当でない値となるものを除外することができる。また、次のようにして、真の瞳孔対となり得ない瞳孔対の候補を除外することもできる。

すなわち、前段階までの処理を行った後に残っている瞳孔候補点の間で、総当たりで、相互間の距離を計算する。そして、計算された距離が所定の閾値以下となる瞳孔候補点を一つのグループとするようにグルーピングする。ここで、所定の閾値は、各カメラペアによるステレオ較正の精度に応じて任意に決定し得るが、人間の瞳孔間距離となり得る値よりも小さい値とする必要がある。所定の閾値は、例えば４．５ｃｍとし得る。このようにグルーピングを行うことにより、図１７の例の場合には、瞳孔候補点を、例えば対象者１の右瞳孔の候補点、対象者１の左瞳孔の候補点、対象者２の右瞳孔の候補点、対象者２の左瞳孔の候補点の４つのグループに分ける。このとき、前段階までの処理の結果、眼鏡反射像等の誤検出による候補点を除去することができず、誤検出による候補点がいずれかのグループに含まれている場合がある。この場合、誤検出による候補点を除去するために、上述した瞳孔間距離及び瞳孔間方向ベクトル（さらに瞳孔間中点を利用してもよい）を利用した方法により、誤検出による候補点を除外して瞳孔対を検出することになる。しかしながら、グルーピングを先に行うことにより、瞳孔間距離、瞳孔間方向ベクトルを利用する方法において、候補点間の距離、候補点を結ぶ方向ベクトル、及び候補点間の中点を算出する演算の対象となる瞳孔対の候補の数を大きく減らすことができる。また、カメラの数が３台以上であり、かつ各カメラペアのステレオ較正が正確にできている場合には、前段階までの処理で眼鏡反射の誤検出を極力なくすことができる。このため、グルーピングにより、瞳孔対ではなく片方の瞳孔を独立して検出することができる。

（瞳孔追尾方法）
次に、これまで説明した瞳孔検出方法で対象者の一対の瞳孔の位置を検出した後に、検出された瞳孔を追尾するための瞳孔追尾方法について説明する。

被験者の両目の３次元瞳孔間距離が一定であることを拘束条件として、２個の瞳孔を一つの塊として追尾するために、次のような方法をとる。いま、３次元瞳孔間距離をｌとし、このｌを既知とする。ただし、実際には、いったん瞳孔検出処理を行い、両瞳孔の３次元座標が検出されれば、検出された瞳孔の３次元座標に基づいてｌを決定できる。以後の瞳孔追尾処理においては、このようにして決定されたｌの値を使用すればよい。

図１８は、カメラ較正が済んだカメラを複数配置した中で、ユーザの頭部移動により、２個の瞳孔が移動している状態を表す。左瞳孔Ｐ_Ｌ及び右瞳孔Ｐ_Ｒの３次元座標は、一般には、カメラ較正を行った２台以上のカメラでステレオマッチングすることにより求め、求められた左瞳孔Ｐ_Ｌ及び右瞳孔Ｐ_Ｒの３次元座標に基づいて以下の瞳孔追尾処理を行うものとする。図１８においては、２台のカメラだけを示して、それぞれ左カメラ及び右カメラとし、点Ｏ_Ｌを原点とする左カメラ座標系と、点Ｏ_Ｒを原点とする右カメラ座標系とを示している。ただし、後述のように、一方のカメラでは瞳孔が検出できない場合でも、ステレオマッチング以外の方法で、両瞳孔の３次元座標が推定できるため、その場合にも、推定された左瞳孔Ｐ_Ｌ及び右瞳孔Ｐ_Ｒの３次元座標に基づいて、同様の瞳孔追尾処理を行うことができる。

今、現在（ｔ）のフレームから一つ前（ｔ−１）のフレームで決定した左瞳孔３次元位置、右瞳孔３次元位置、それらの重心位置を、それぞれ、Ｐ_Ｌ、Ｐ_Ｒ、Ｇとし、Ｐ_ＬからＧへ向かう単位ベクトルをｍとすると、両瞳孔重心Ｇおよび瞳孔間単位方向ベクトルｍは次の式（４５）、式（４６）のようになる。

この両瞳孔重心Ｇ、瞳孔間単位方向ベクトルｍ及び瞳孔間距離ｌにより、瞳孔対の絶対位置と相対位置とが求まる。両瞳孔重心Ｇ及び瞳孔間単位方向ベクトルｍは、それぞれ３個の要素からなる（（Ｇ_ｘ，Ｇ_ｙ，Ｇ_ｚ）及び（ｍ_ｘ，ｍ_ｙ，ｍ_ｚ））。これら６個の要素のそれぞれについて、次式（４７）、（４８）で表される予測モデルを適用させる。なお、ここでは、各要素が一定速度で変化することを仮定している。

ここで、ΔＴはフレーム間の時間、ｔは現フレームの時刻、ｔ−１は１つ前のフレーム、ｔ−２は２つ前のフレームを表す。

なお、予測モデルとしてカルマンフィルターを用いてもよい。仮に、さらに、画像の取りこぼしがあった場合や、不定期に画像を取得する場合を想定すると、次のような方法は有効である。いま、２フレーム前と１フレーム前の時刻（実際の時刻）をそれぞれｔ_−２、ｔ_−１とし、現在のフレームの時刻をｔ_０としたとき、各要素が一定速度で変化すると仮定するならば、次式が成り立つ。

ここで、ｗ（ｔ_−２）、ｗ（ｔ_−１）、ｗ（ｔ_０）は、それぞれの時刻の各要素の値である。式（４９）を変形して、現在の時刻の各要素の値は、次式（５０）で与えられる。

さらに、厳密には、単位方向ベクトルｍに関しては、その各要素が独立して、一定速度で変化するというよりも、ｍが一定速度で一定方向に回転することを仮定したほうが、さらに適切である。すなわち、２フレーム前と１フレーム前の単位方向ベクトルｍをそれぞれｍ（ｔ_−２）、ｍ（ｔ_−１）とし、それらが同一の平面上で回転するとする。ｍ（ｔ_−２）とｍ（ｔ_−１）の内積からｍ（ｔ_−２）とｍ（ｔ_−１）のなす角度ξがわかる。角度ξの符号すなわちｍの回転方向は、ｍ（ｔ_−２）とｍ（ｔ_−１）の両方を含む平面をｘ−ｙ平面とする直交座標系において、ｍ（ｔ_−２）とｍ（ｔ_−１）の外積のｚ座標の符号からわかる。したがって、現在のフレームのｍであるｍ（ｔ_０）は、ｍの等速回転を仮定して、ｍ（ｔ_−２）からｍ（ｔ_−１）への回転角速度ω（ｔ_−１）がｍ（ｔ_−１）からｍ（ｔ_０）への回転角速度ω（ｔ_０）と一致するという条件（次式（５１））により求めることができる。

式（４７）及び式（４８）によって、２フレーム前と１フレーム前のＧ及びベクトルｍから、現フレームの両瞳孔重心Ｇ及び瞳孔間単位方向ベクトルｍを予測する（それぞれＧ’、ｍ’とおく）。両瞳孔重心Ｇ及び瞳孔間単位方向ベクトルｍの予測に際しては、式（４７）及び式（４８）に代えて式（４９）及び式（５０）を使用してもよく、式（５１）を使用してもよい。さらに、予測された両瞳孔重心Ｇ’及び瞳孔間単位方向ベクトルｍ’を用いて、現フレームにおける左右の瞳孔の３次元座標Ｐ’_Ｌ及びＰ’_Ｒを次式（５２）、（５３）で求める。

上述の方法と同じ方法で、１フレーム前においても、瞳孔の３次元座標が得られているとすると、それらを各カメラ画像面に投影した点が、画像中の瞳孔に相当する。すなわち、得られた瞳孔の３次元座標をカメラ画像面に投影することにより、瞳孔の画像内座標が得られる。この画像内座標を用いて、１フレーム前の瞳孔部分の画像（小ウィンドウ内の画像）を現フレームの推測される位置にずらしてから差分をする。

ただし、ここで、式（５２）、（５３）で与えた瞳孔間距離ｌは、実際には一定ではないし、カメラ較正の精度が低いと、瞳孔間距離ｌは少し変化しうる。このため、ｌについても式（４７）及び式（４８）の予測モデルを用いて、前のフレームの瞳孔間距離からｌ’を予測して、式（５４）及び式（５５）としてもよい。なお、瞳孔間距離ｌの予測についても、式（４７）及び式（４８）の予測モデルに代えて式（４９）及び式（５０）の予測モデルを用いてもよいし、式（５１）の予測モデルを用いてもよい。

また、式（４７）と式（４８）による予測モデルでは、頭部の急激な並進移動や回転の加速・減速には、対応が難しいため、特許文献８に記載の角膜反射の移動量を利用した差分位置補正法を、行うほうが望ましい。式（４９）及び式（５０）を用いた予測モデルや式（５１）を用いた予測モデルを用いた場合についても、同様に、特許文献８に記載の角膜反射の移動量を利用した差分位置補正法を行うほうが望ましい。ただし、角膜反射は視線の角度によって、いつも存在するとは限らないので、角膜反射が存在しない場合は、そのまま、上記の瞳孔間距離を利用した差分位置補正法により差分位置補正を行う。このように各カメラの画像において、瞳孔の２次元座標が求まったら、ステレオマッチングにより、現フレームにおける瞳孔の３次元座標を求め、あとは繰り返しとなる。

角膜反射検出方法については、既に図１５を参照して説明したが、ここでは角膜反射を検出するための他の方法を説明する。図１５（ａ）〜（ｄ）のどの場合にも、2台の両カメラから得られる角膜反射の３次元座標が、本当の角膜反射の３次元座標であれば、対象者の左右２個の角膜反射間距離は、２個の瞳孔間距離と同様に、ほぼ常に一定の値となる。そこで、本実施形態の瞳孔検出方法と同様の手法を用いて角膜反射を検出することもできる。

具体的な手順は、次の通りである。まず、左右それぞれのカメラによって対象者の顔を撮影して画像を取得する。次に、取得した画像から対象者の角膜反射の候補となる画像内角膜反射候補点を抽出する。このとき、一般に閉眼等により瞳孔が検出できないときは、たいてい角膜反射も検出できないので、すでに検出された瞳孔を中心にした小ウインドウ（小領域）のなかから角膜反射候補点を抽出したほうが効率的である。そして、左右それぞれのカメラにより取得された画像から画像内角膜反射候補点を１点ずつ選択して組み合わせ、この組み合わせに対して、前述の空間内候補点の抽出方法及び２点間距離に基づき空間内候補点を選択する方法を適用することにより対象者の左右の角膜反射の３次元位置を計算する。

そして、計算された角膜反射の３次元座標の位置に基づいて、この角膜反射から数ｍｍの範囲内に瞳孔が存在することを仮定して、角膜球中心から数ｍｍの範囲内に対応する画像内の領域に小ウィンドウ（小領域）を設定する。そして、この小ウィンドウ内において差分処理を行うことにより、瞳孔の位置を決定して、瞳孔の画像内座標を算出する。

また、角膜反射による差分位置補正を行うことで、頭部が移動しても瞳孔検出のロバスト性と位置検出精度が維持できる。以上のように、角膜反射間距離一定の条件により角膜反射を検出すれば、角膜反射検出のロバスト性及び位置検出精度を高めることができるため、画像全体から瞳孔を検出する場合にも、また、角膜反射の移動量を利用した差分位置補正をした瞳孔検出を行う場合に、瞳孔検出のロバスト性及び位置検出精度を高めることができる。

また、瞳孔間距離一定の条件により検出された瞳孔対に関して、例えば、一方の瞳孔のすぐそばに眼鏡反射が存在するときに、２つの瞳孔対が得られることがある。例えば、１つは左眼の本当の瞳孔と右眼の本当の瞳孔からなる瞳孔対で、もう１つは左眼の本当の瞳孔と右眼のそばの眼鏡反射）。このような場合に、両方の瞳孔対を構成する画像中の瞳孔候補点に小ウィンドウを与え、その中について、角膜反射対を得る。角膜反射においても、複数の対が得られる場合がある。そのとき、左眼、右眼のそれぞれにおいて、得られた角膜反射対候補と瞳孔対候補を構成する瞳孔と角膜反射の３次元距離が最も近いものどうしを本当の瞳孔と本当の角膜反射と判断する。

このように、瞳孔間距離を一定とした瞳孔検出と角膜反射間距離を一定にした角膜反射検出を組み合わせることで、瞳孔検出と角膜反射検出の両方のロバスト性と位置検出精度を高めることができる。

次に、瞳孔検出結果を基に、各カメラで左右の瞳孔が検出できたどうかによって場合分けして、さらに次のフレームの瞳孔３次元位置を推定するための方法を示す。

まず、２個の瞳孔ともが２台以上のカメラによって検出できている場合について説明する。図１９のように、カメラ較正を行った２台のカメラＯ_Ｌ、Ｏ_Ｒがあるとする。ここでは、左瞳孔Ｐ_Ｌ及び右瞳孔Ｐ_Ｒの２個の瞳孔がいずれも、２台のカメラの両方によって検出できた場合を考える。

この場合には、先述の方法を用いる。過去の２フレームにおいて、すでに明らかになっている両瞳孔重心Ｇ及び瞳孔間単位方向ベクトルｍから、式（４５）〜式（５３）を使用して、現フレームの瞳孔３次元位置を推定する。それに基づき、各カメラにおいて、現フレームの画像内の各瞳孔の瞳孔位置を推定する。すでに算出されている前のフレームでの瞳孔位置周辺（小ウィンドウ内）の画像を、推定された現フレームの画像内の瞳孔位置にずらしてから、差分を行い、２個の瞳孔の２次元位置を算出する。

その後、画像中の瞳孔検出および瞳孔の３次元位置を算出する。さらに、それらから両瞳孔重心Ｇ及び瞳孔間単位方向ベクトルｍを求め、式（５２）と式（５３）、又は式（５４）と式（５５）により、左右の瞳孔の３次元位置を再算出する。それらの情報を次のフレームにおいて、一つ前のフレームにおける左右の瞳孔３次元位置や両瞳孔重心Ｇ、瞳孔間単位方向ベクトルｍとして使用する。このように、２個の瞳孔がいずれも２台のカメラの両方によって検出できている場合は、両瞳孔の位置情報が対等に扱われる。

次に、２個の瞳孔のうち、１個は２台以上のカメラで検出されており、もう１個は１台のカメラのみによって検出できた場合について説明する。ここでは、上記の、２個の瞳孔がいずれも２台以上のカメラで検出できた場合の説明で述べたように、現フレームにおける左右の瞳孔３次元位置推定の後、差分位置補正を行い、瞳孔検出を行った結果、図２０に示すように，一方のカメラでは両瞳孔が検出でき、もう一方のカメラでは片方の瞳孔が検出できた場合について述べる。図２０の例では、左カメラＯ_Ｌでは左瞳孔Ｐ_Ｌと右瞳孔Ｐ_Ｒの両方が検出できており，右カメラＯ_Ｒでは，左瞳孔Ｐ_Ｌのみ検出できている場合を示している。

この場合、左瞳孔Ｐ_Ｌは両方のカメラで検出できているので、右カメラ画像上の特定の像と左カメラ画像上の特定の像がＰ_Ｌであると仮定して、ステレオマッチングにより左瞳孔Ｐ_Ｌの３次元位置を算出する。それに対し、右カメラＯ_Ｒでは右瞳孔Ｐ_Ｒが検出できていないため、Ｐ_Ｒの３次元位置は未知である。但し、左カメラＯ_Ｌでは右瞳孔Ｐ_Ｒが検出できているため、右瞳孔Ｐ_Ｒは直線Ｏ_ＬＰ_Ｒ上に存在することになる。そこで、右瞳孔Ｐ_Ｒが直線Ｏ_ＬＰ_Ｒ上に存在するという条件と、線分Ｐ_ＬＰ_Ｒの長さが瞳孔間の三次元距離ｌに等しいという条件とからＰ_Ｒの三次元位置を算出する。

すなわち、図２１に示すように、Ｐ_Ｒは、Ｐ_Ｌを中心とした半径ｌの球面上に存在すると仮定する。以下、具体的に、Ｐ_Ｒを算出する方法を述べる。今、世界座標系におけるＰ_Ｌの三次元位置を（Ｐ_ｘ，Ｐ_ｙ，Ｐ_ｚ）とおくと、Ｐ_Ｌを中心とする半径ｌの球面の式は、次式（５６）で表せる。

また，世界座標系において、カメラＯ_Ｌ（ｘ_０，ｙ_０，ｚ_０）と右瞳孔Ｐ_Ｒを結ぶ直線Ｏ_ＬＰ_Ｒの式は、Ｏ_ＬからＰ_Ｒへ向かう単位方向ベクトルｕ_ＬＲ（ｕ_ｘ，ｕ_ｙ，ｕ_ｚ）を用いて次式（５７）で与えられる。

式（５７）の値をパラメータｔとし、このパラメータｔを用いてｘ、ｙ及びｚの値を表すと、次式（５８）になる。

式（５８）を式（５６）へ代入すると、次式（５９）となる。

式（５９）をｔについて解くと、ｔの解によって次の３つの場合に分かれる。第１の場合は、式（５９）の解が１つの場合、すなわち式（５９）が重解を持つ場合である。第２の場合は、式（５９）の解が２つの共役複素数となる場合である。第３の場合は、式（５９）の解が２つの異なる実数となる場合である。

第１の場合、すなわち式（５９）が重解を持つ場合、図２１（ａ）のように、左瞳孔Ｐ_Ｌを中心とする半径ｌの球と直線Ｏ_ＬＰ_Ｒとの交点が１つの場合を表しており（図２１（ａ））、式（５９）で重解として求まったｔを式（５８）へ代入してＰ_Ｒの三次元座標が求まる。ここで求まるＰ_Ｒと、すでに求まっているＰ_Ｌとそれらから求まるＧ、ベクトルｍも求まり、さらに、次のフレームで使用する。

第２の場合、すなわち式（５９）の解が共役複素数になる場合（図２１（ｂ））は、左瞳孔Ｐ_Ｌを中心とする半径ｌの球と直線Ｏ_ＬＰ_Ｒとが交点を持たないことになる。そこで、次に述べるように、直線Ｏ_ＬＰ_Ｒ上でＰ_Ｌからの最近傍点をＰ_Ｒとして求める。

今、Ｐ_Ｒを直線Ｏ_ＬＰ_Ｒ上の任意の点とすると、式（５８）から、ベクトルＰ_ＬＰ_Ｒは、ｔについての１次式である式（６０）で与えられる。

ここで、直線Ｏ_ＬＰ_ＲとＰ_Ｌの間の距離が最短になるのは、Ｐ_ＬＰ_Ｒと直線の方向ベクトルｕ_ＬＲが直交する場合で、次式（６１）のように、ベクトルＰ_ＬＰ_Ｒとベクトルｕ_ＬＲとの内積は０となる。

式（６１）をｔについて解くと、ｔは次式（６２）の通りに求まる。

求まったｔを式（５８）に代入してＰ_Ｒの３次元座標を求める。また、求まったｔを式（６０）に代入すると、２つの瞳孔間距離は、ベクトルＰ_ＬＰ_Ｒの長さ｜Ｐ_ＬＰ_Ｒ｜で求まる。このように、式（５９）の解が共役複素数となる場合、瞳孔間距離｜Ｐ_ＬＰ_Ｒ｜は、式（６３）となる。

そこで、次式（６４）のように適当な制限を設ける。

式（６４）のように、右瞳孔候補と左瞳孔との距離が所定の閾値未満であるとすることにより、画像から得られる右瞳孔候補像が偽りの瞳孔のときに、誤って真の瞳孔と判断しないようにする。ここで、ｌ_ｍａｘは、最大瞳孔間距離であり、あらかじめ設定する。

以上、式（５９）が重解を持つ場合と同様に、求まったＰ_Ｒと、すでに求まっているＰ_Ｌとそれらからも求まるＧ、ベクトルｍを求め、これらの値を次のフレームで使用する。なお、式（５９）の解が共役複素数となる場合は、得られた左瞳孔Ｐ_Ｌと右瞳孔Ｐ_Ｒとの間の距離が、予め求められていた両瞳孔間距離ｌと異なる値となる。これを補正するために、さらに、Ｇとｍが求まった後に、式（５２）と式（５３）、又は式（５４）と式（５５）を使用して、再度、左瞳孔Ｐ_Ｌと右瞳孔Ｐ_Ｒを計算し、それらを次のフレームで使用する。

第３の場合、すなわち式（５９）の解が２つの異なる実数となる場合は、式（５９）で求めたｔを式（５８）へ代入することにより、Ｐ_Ｒの候補として、２つの３次元座標が求まる（図２１（ｃ）中のＰ_ＲとＰ_Ｒ’）。よって、求まった２つの候補のうち、どちらが真の右瞳孔かを推定する必要がある。２つの候補のうちどちらが真の右瞳孔位置であるかを判定するには、求まった候補のうちどちらが式（５２）と式（５３）（又は式（５４）と式（５２））により予測されている現フレームにおけるＰ_Ｒの３次元瞳孔位置に距離が近いかを判定し、２つの候補のうち現フレームのＰ_Ｒの位置に距離が近い方を真の瞳孔位置と判定する。

その上で、式（５９）が重解を持つ場合や共役複素数解をもつ場合と同様に、ここで求まったＰ_Ｒと、すでに求まっているＰ_Ｌとそれらからも求まるＧ、ベクトルｍを求め、次のフレームで使用する。

なお、上記したような、右瞳孔Ｐ_Ｒが左瞳孔Ｐ_Ｌを中心とする半径ｌの球面上にあることを仮定する方法に代えて、右瞳孔Ｐ_Ｒが左瞳孔Ｐ_Ｌを中心とする半径ｌ_ｍｉｎの球面上にあると仮定して計算してもよい。ここで、ｌ_ｍｉｎは、予め決定された瞳孔間距離ｌよりも小さい、瞳孔間距離として考えられる最小値であり、例えば、最初、計測した瞳孔間距離の７５％などにするとよい。なお、近くの対象を見たりすると、輻輳眼球運動により、瞳孔間距離は近づくので瞳孔間距離には一定の許容範囲が必要である。

この方法では、正しく右瞳孔Ｐ_Ｒが検出されるときには、右瞳孔Ｐ_Ｒと左瞳孔Ｐ_Ｌとの間の距離ｌはｌ_ｍｉｎよりも大きいことから、直線Ｏ_ＬＰ_Ｒと、左瞳孔Ｐ_Ｌを中心とする半径ｌ_ｍｉｎの球面とは交点を持たない。このため、式（５９）のｌをｌ_ｍｉｎに置き換えたｔの２次方程式は、共役複素数解を持つ。したがって、前述の第２の場合、すなわち式（５９）が共役複素数解を持つ場合と同様に、図２２のように、単に左瞳孔Ｐ_Ｌから直線Ｏ_ＬＰ_Ｒに対して垂線を下ろしたときの交点を右瞳孔Ｐ_Ｒとする。垂線を下ろしたとき、線分Ｐ_ＬＰ_Ｒは最短となる。

この場合、瞳孔間距離｜Ｐ_ＬＰ_Ｒ｜を求め、それがｌ_ｍａｘより小さいときに右瞳孔Ｐ_Ｒが検出されたとする。そのとき、Ｇ、ｍを求めて、式（５２）と式（５３）、又は式（５４）と式（５５）を使用して、再度、左瞳孔Ｐ_Ｌと右瞳孔Ｐ_Ｒを計算し、それらを次のフレームで使用する。なお、｜Ｐ_ＬＰ_Ｒ｜＜ｌ_ｍｉｎ、又は｜Ｐ_ＬＰ_Ｒ｜＞ｌ_ｍａｘとなった場合は、右瞳孔Ｐ_Ｒは閉眼等で存在しないとする。

最後に、以上のどの場合でも、２台の両方のカメラで検出された方の瞳孔３次元位置がまず決定され、この両カメラで検出された方の瞳孔の位置に基づいて、１台のカメラのみによって検出された方が従属的に検出される。この理由は、１台のカメラによってのみ検出された方が検出される３次元位置の信頼性が低いと考えられるからである。

また、以上説明した例では、左カメラＯ_Ｌでは左瞳孔Ｐ_Ｌと右瞳孔Ｐ_Ｒの両方が検出できており、右カメラＯ_Ｒでは、左瞳孔Ｐ_Ｌのみ検出できている場合を示した。右カメラＯ_Ｒと左瞳孔Ｐ_Ｌと右瞳孔Ｐ_Ｒの両方が検出できており，左カメラＯ_Ｌでは、右瞳孔Ｐ_Ｒのみ検出できている場合も、同様にして、まず右瞳孔Ｐ_Ｒの３次元座標を求め、次いで左瞳孔Ｐ_Ｌの３次元座標を求める。

次に、各瞳孔が別のカメラで検出できている場合について説明する。すなわち、図２３（ａ）のように、左カメラで左瞳孔が検出でき、右カメラで右瞳孔が検出できた場合、又は、図２３（ｂ）のように、左カメラで右瞳孔、右カメラで左瞳孔が検出できた場合について、次に述べる。

図２３（ａ）に示した場合について、まず述べる。ここでは、図２４に示したように、左瞳孔は、左カメラ画像から検出された２次元瞳孔位置から導かれるように、Ｏ_Ｌを通り単位方向ベクトルがｕ_ＬＬである直線（第３直線）上に存在し、右瞳孔は、右カメラ画像からＯ_Ｒを通り単位方向ベクトルがｕ_ＲＲである直線（第４直線）上に存在する。しかし、いずれの瞳孔も、２台のカメラの両方によって検出されてはいないので、ステレオマッチングでは、それらの三次元位置は推定できない。そこで、左瞳孔Ｐ_Ｌについては、式（５２）と式（５３）、又は式（５４）と式（５５）で予測された現フレームにおける左瞳孔Ｐ’_Ｌと右瞳孔Ｐ’_Ｒを結ぶ直線Ｐ’_ＬＰ’_Ｒ（第５直線）と、Ｏ_Ｌを通り単位方向ベクトルがｕ_ＬＬである直線との共通垂線を求める。次いで、求まった共通垂線と、Ｏ_Ｌを通り単位方向ベクトルがｕ_ＬＬである直線との交点を求め、求まった交点を左瞳孔Ｐ_Ｌの３次元座標として求める。この求まった交点は、第３直線と第５直線の両方に接近する接近点である。また、右瞳孔Ｐ_Ｒについては、上記と同様の方法で予測された現フレームにおける左瞳孔Ｐ’_Ｌと右瞳孔Ｐ’_Ｒを結ぶ直線Ｐ’_ＬＰ’_Ｒと、Ｏ_Ｒを通り単位方向ベクトルがｕ_ＲＲである直線との共通垂線を求める。次いで、求まった共通垂線と、Ｏ_Ｒを通り単位方向ベクトルがｕ_ＲＲである直線との交点を求め、求まった交点を右瞳孔Ｐ_Ｒの３次元座標として求める。この求まった交点は、第４直線と第５直線の両方に接近する接近点である。このようにして求められた左瞳孔及び右瞳孔の３次元座標を元に、Ｇとｍを求めた後に、式（５２）と式（５３）、又は式（５４）と式（５５）を使用して、左瞳孔Ｐ_Ｌと右瞳孔Ｐ_Ｒを計算し、それらを次のフレームで使用する。なお、このように、各瞳孔がそれぞれ別のカメラ１台のみによって検出されている状態は、一般に不安定であり、連続してこのような状態が続くと、正しく瞳孔の３次元座標が推定できなくなる。そのような状況の中で、この方法を一定時間以上連続して、例えば１秒間実行し続けると、差分位置補正自体が不正確になるか、全くできなくなる。そこで、このような状態が一定時間以上継続した場合にはこのような処理を止めて、瞳孔に小ウィンドウを与えず、画像全体もしくは瞳孔がありそうな範囲で画像差分をするようにすべきである。

図２３（ｂ）の左カメラで右瞳孔、右カメラで左瞳孔が検出できた場合においても、同様である。

次に、図２５に示すように、１個の瞳孔のみが２台以上のカメラで検出できている場合について説明する。今、２台のカメラで右瞳孔が検出されており、左瞳孔は、どちらのカメラでも検出できなかったとする。このような場合は、例えば、瞳孔マウスなどの応用分野で、ウインクによりマウスクリックの代わりとなる入力操作をする場合に生じる。

このように、１個の瞳孔がどちらのカメラでも検出できていない場合、これまでに、たびたび述べてきたＧとｍの連続性を利用する方法では、この場合、非常に不安定となりやすい。もちろん、数フレームだけは追尾処理を実行して、その後、ウィンドウを解除する方法も考えられる。しかしながら、このような場合、通常、対象者はカーソルを画面上のある位置に停止させるために、頭部を静止させてから、片眼を閉じる。したがって、そのときには、瞳孔の移動はないと考えられる。

そこで、式（５２）と式（５３）、又は式（５４）と式（５５）において、ｍ’＝ｍ、ｌ’＝ｌとし、また、Ｐ’_Ｒを、ステレオマッチングにより求めた右瞳孔の位置Ｐ_Ｒに等しいとして、Ｐ’_ＬとＰ’_Ｒを決定するのが望ましい。なお、後の処理は同様である。ただし、ここでのｌは前のフレームで求まった瞳孔間距離を表す。

（瞳孔追尾方法の実験結果）
次に、ここまでで説明した本実施形態の瞳孔追尾方法の実験結果を説明する。

本実験は、図１に示す瞳孔検出装置１０と同様の装置を用いて行った。より具体的には、本装置は、カメラ（ステレオ）構成された２組の光学系、発光回路、パーソナルコンピュータ等で構成される。光学系は、それぞれ、ノンインターレース方式デジタルカメラ、１６ｍｍレンズ、可視光カットフィルタ、２重リング状近赤外線ＬＥＤ光源からなる。カメラの取得画像は６０ｆｐｓグレースケール画像で、１フレームのサイズは６４０×４８０ピクセルとした。

このような装置を用いて、リング状ＬＥＤ光源の内側ＬＥＤ及び外側ＬＥＤをカメラのストロボ信号により交互に点滅させて明瞳孔画像と暗瞳孔画像をそれぞれ取得し、これらから差分画像を得た。このとき、片方の光源から照射された光が他のカメラに干渉しないように、２台のカメラ間の同期を６５０マイクロ秒ずらした。

実験は、眼鏡装着者４名をカメラから約８０ｃｍ離れた位置に座らせ、電球により被験者の顔に光を照射した状況で行った。ここで、電球は、電球により眼鏡反射を生じさせるというよりも、被験者に電球を眩しく感じさせることによって被験者の瞳孔を小さくさせ、瞳孔と眼鏡反射との区別がつきにくくするために用いた。瞳孔周りの照度は２６２〜３４５ｌｘであった。被験者には、カメラ画像中の瞳孔と眼鏡反射が重なる時間帯が生じるように顔を左右に振らせて、各被験者について画像をそれぞれ３００フレーム撮影した。解析では、撮影された画像を１フレームごとに確認した。

図２６に、顔を左右に動かした場合の従来法および本実施形態の、右カメラにおける処理画像を示す。図２６（ａ）〜（ｃ）は、従来法による処理画像である。図２６（ｄ）〜（ｆ）は、本実施形態の瞳孔追尾方法による処理画像である。従来法では被験者の顔が（ａ）に示す状態から（ｃ）に示す状態に動いた際、（ｂ）に示すように瞳孔と眼鏡反射が重なると、（ｃ）に示すタイミングでは瞳孔ではなく眼鏡反射の追跡が始まった。ここで、従来法では、左右のカメラ毎に、左右の瞳孔毎に追尾をしており、角膜反射の差分位置補正を行って瞳孔検出を行う方法である。これに対し、本実施形態の瞳孔追尾方法では、顔が（ｄ）に示す状態から（ｆ）に示す状態に動き、（ｅ）に示すように瞳孔と眼鏡反射が重なっても、（ｆ）に示すタイミングでは瞳孔を追跡し続けた。

図２７には、右カメラにおける左右の瞳孔の検出率を示した。ここで、正検出率とは、正しく瞳孔を瞳孔と検出した場合で、非検出は、何も検出できなかった場合で、誤検出は、瞳孔以外を瞳孔として誤って検出したことを意味する。

被験者４名のうち３名については、従来法でも正検出率が高かったため、本実施形態の瞳孔追尾方法においても、さらに１００％に近づいた程度の差であった。しかし、残り１名の被験者ＫＭにおいては、従来法では誤検出率が非常に高かったのに対し、図２７の右側のグラフに示すように、本実施形態の瞳孔追尾方法によれば、誤検出率が０に減少した。本実施形態の瞳孔追尾方法においても、非検出率は大きい。しかしながら、非検出となったフレームでは瞳孔に眼鏡反射が重なってカメラに写っていたため、当該フレームで非検出となったことは妥当である。このことは、従来法における非検出率と提案法における非検出率がほぼ同じ値であることからもわかる。なお、左カメラについても同様の結果が得られた。

（顔姿勢検出方法）
次に、本実施形態の顔姿勢検出方法について説明する。この顔姿勢検出方法は、上記の瞳孔検出方法により検出された対象者の一対の瞳孔の３次元座標に基づいて対象者の顔姿勢を検出する方法である。

次の方法により、対象者の頭部の左右の回転と、前後の軸周りの回転を検出できる。今、図２８（ａ）のような世界座標系において、一人の対象者の左瞳孔Ｐ_Ｌ及び右瞳孔Ｐ_Ｒの２個の瞳孔が存在するとする。ここで、世界座標系のＹ_ｗ軸を鉛直軸とし、Ｙ_ｗ軸の正の方向を鉛直方向上向きとする。すなわち、Ｙ_ｗ軸の正の向きが対象者の標準的な頭部姿勢において上向きとなるとする。また、Ｚ_ｗ軸が対象者の頭部を前後に貫く軸である前後軸で、正の方向が対象者の頭部の後方を向く方向とする。図２８（ｂ）は、対象者の頭部の前後軸を中心とした頭部回転のおよその傾きの算出の方法を示している。この図で破線は、Ｘ_ｗ−Ｚ_ｗ平面に平行な直線である。この図での角度γは、瞳孔間単位方向ベクトルｍの水平面からの傾きを示している。角度γは、ベクトルｍの成分を用いて次式（６５）で表せる。

また、２個の瞳孔を頭部上方向から見た顔の水平方向の角度αは、図２８（ｃ）のように示せる。図中の矢印Ｆは、顔の正面方向を示す。角度αは、ベクトルｍの成分を用いて次式（６６）で表現できる。

さらに、対象者の標準的な頭部姿勢における前方（Ｚ_ｗ軸の負方向）から見た角度として顔の前後軸周りの回転角度δは、図２８（ｄ）のように示せる。その角度δは、次式（６７）で計算できる。

なお、これらすべてにおいて、両瞳孔重心Ｇを顔の位置として定義することで、上下方向の回転を除いた、顔姿勢が検出できる。

なお、本方式では、瞳孔位置のみを使用して顔姿勢を検出しており、鼻孔を検出しないため、顔方向は正確に検出できない。しかし、カメラが被験者の顔正面よりかなり下に設置した場合は、鼻孔が画像に写る場合が多く生じるので、鼻孔を画像処理で検出して、特許文献３、４及び９に記載の方法で、鼻孔の位置を使用して顔方向を検出することもできる。鼻孔が検出できた場合とできなかった場合で、顔姿勢検出方法を切り替えて使用することも考えられる。

本明細書では、差分位置補正をすることを主体に述べてきたが、２波長の光源による光の顔からの反射光を波長分離して、明瞳孔画像と暗瞳孔画像の取得タイミングを同時にすることで、差分位置補正が必要がなくなる。そのような場合は、差分位置補正は必要なくなるが、本発明においては、差分位置補正をして差分をする前に、前のフレームで得られた情報から、現フレームの瞳孔の３次元座標を予測し、それを各カメラの現フレーム上の画像上の座標に変換しているので、それを中心とした小ウィンドウを与えることが、本発明の方法と同様の方法で可能である。小ウィンドウを与えることで、眼鏡反射等の誤検出をしにくくなる効果が得られる。ここで述べたことは、非常に短い時間（例えば、０．５マイクロ秒）毎に、明瞳孔画像と暗瞳孔画像を得た場合も、ほぼ同様のことが言える。

追尾することの利点は、瞳孔検出では、左右の瞳孔の区別がつきにくいことである。これまで、瞳孔マウスでは、対象者の右ウインク動作と左ウインク動作を、一般的な手で操作するマウスにおける右クリック操作と左クリック操作に対応させた。その場合、一度、瞳孔を両瞳孔が検出された時点で、右瞳孔と左瞳孔を特定し、その後、一方が非検出になったときも、検出がされ続けている瞳孔が右瞳孔であるか左瞳孔であるかは、追尾に伴う連続性から特定した。もし、追尾をしておらず、フレーム毎に画像全体から瞳孔を検出している場合は、フレーム間の関連づけがされないため、片方の瞳孔が検出できないフレームでは、検出できている瞳孔が右瞳孔か左瞳孔か区別がつかない。

また、車載用では、瞳孔が小さく差分画像においても、瞳孔は暗く、眼鏡反射がなくても検出が難しい。そのような場合、片方の瞳孔が何らかの理由で、検出されなくなった場合、検出できている側の瞳孔が右瞳孔か左瞳孔かが特定されているので、検出できていない方の目のあたりに比較的大きなウィンドウを与えて、その中だけを探索することもした。その場合でも、検出し続けられている瞳孔が左右のどちらかが特定できていることは重要である。

（瞳孔間距離について）
上述したいくつかの実施形態においては、瞳孔間距離を求める工程があった。瞳孔間距離は、対象者の瞳孔対を決定するためには、本来、正確さを要する値である。特に、対象者の眼鏡反射像が瞳孔像と近い位置にある場合には、眼鏡反射像と瞳孔像とを区別するために、瞳孔間距離を正確に求める必要がある。

ここで、特に、２個のカメラを用いる場合において、カメラの較正（ステレオ較正）が正しくできていない場合には、計算により求められた瞳孔間距離は、カメラと対象者との間の距離に応じて、実際の瞳孔間距離との誤差が大きくなる傾向がある。したがって、対象者の頭部がある特定の位置にある場合において、対象者の２個の瞳孔を正しくステレオマッチングして両瞳孔の３次元座標を算出して瞳孔間距離を求めたとしても、対象者の頭部が移動すると、算出される瞳孔間距離が変化する。このため、対象者の眼鏡反射像と瞳孔像との区別がしにくくなる。また、カメラの較正には、常に誤差が伴う。そのため、カメラの較正に誤差があっても、正しい瞳孔対を検出できるようにすることは有益である。

さらに、瞳孔間距離は、対象者の両眼の輻輳角によっても変化する。したがって、瞳孔間距離は常に一定の値をとるものではない。一例として、対象者がディスプレイを見ており、このディスプレイにカメラが取り付けられている場合を想定する。この場合に、対象者の顔がディスプレイに近い場合には、対象者の両眼が内側に寄るため、瞳孔間距離は短くなる。一方、対象者の顔がディスプレイから遠い場合には、対象者の両眼の視軸が平行に近づくため、瞳孔間距離は長くなる。

このため、カメラと対象者の頭部との距離に応じて瞳孔間距離を正しく計算することが望ましい。しかしながら、対象者が眼鏡を使用している場合、対象者の眼鏡反射像を誤って瞳孔像として検出してしまうことがあり、これにより瞳孔間距離を正しく計算することが困難となる場合がある。そこで、仮に瞳孔対を誤検出することがあっても、正しい瞳孔間距離を求めることができる方法について次に述べる。

この方法では、撮像された最新の画像に基づいて瞳孔間距離を計算することを常時継続し、求められた瞳孔間距離の度数分布（ヒストグラム）を作成し、この度数分布を随時更新しながら、度数分布のピークに相当する瞳孔間距離の値（すなわち瞳孔間距離の最頻値（モード））を、最終的な瞳孔間距離の値として決定する。最新の画像に基づいて計算される瞳孔間距離は、誤ったものであってもよい。瞳孔間距離の分解能（すなわち度数分布の各区間の幅）は、例えば０．１ｍｍとすることができる。度数分布の度数の合計は、例えば５０とする。すなわち、常時、最近の５０フレームの画像のそれぞれに基づく瞳孔間距離の値を計算し、計算された５０個の瞳孔間距離の値によりヒストグラムを作成する。この場合、最近の５０フレームのうち、何らかの理由で（例えば対象者が瞬きをしたことにより瞳孔像を検出できない場合を含む）瞳孔間距離が計算できないフレームがある場合には、最近の５０フレーム分の時間に相当する期間のうち、瞳孔間距離が計算可能なフレームで計算された瞳孔間距離のみに基づいてヒストグラムを作成し、このヒストグラムで度数のピークを示す瞳孔間距離を、最終的な瞳孔間距離として決定することが好ましい。最近の５０フレーム分の時間に相当する期間から時間をさかのぼって、瞳孔間距離の値が計算可能であった５０個のフレームに基づいて瞳孔間距離を計算して、計算された瞳孔間距離の値に基づいてヒストグラムを作成することも考えられる。しかしながら、対象者の頭部が移動する状況下では、古い時刻のフレームで計算される瞳孔間距離の値は信頼性が低い。このため、最近の５０フレーム分の時間のみの画像を用いて瞳孔間距離のヒストグラムを作成することがより好ましい。

このようにヒストグラムを利用して瞳孔間距離を決定する方法の利点は、一部の時刻の画像に基づいて誤った瞳孔間距離が計算されたとしても、ヒストグラムを作成して最頻値を採用することにより、誤った瞳孔間距離の値に影響を受けることが非常に少ないという点である。なお、最頻値に代えて、ヒストグラムの度数を瞳孔間距離の最小値又は最大値のいずれかの側から順番に加算し、加算結果が全体の度数の５０％になる値（すなわち瞳孔間距離の中央値（メジアン））を最終的な瞳孔間距離として選択するようにしてもよい。

ここで、上述した実施形態において、第５ステップは、第１画像及び第２画像に基づいて、第１画像内候補点のうち１点及び第２画像内候補点のうち１点からなる組み合わせから、ステレオマッチングにより３次元座標を算出する第１０ステップと、算出された３次元座標の値が所定の範囲にない場合に、組み合わせを、３次元座標における同一の点に対応しないものとして除外する第１１ステップと、を含むこととしてもよい。

また、第５ステップは、第１画像における第１画像内候補点の座標に基づいて、第１画像内候補点と第１カメラとを結ぶ第１直線を決定する第１２ステップと、第２画像における第２画像内候補点の座標に基づいて、第２画像内候補点と第２カメラとを結ぶ第２直線を決定する第１３ステップと、第１直線と第２直線との共通垂線を決定する第１４ステップと、共通垂線の長さが所定の閾値より小さく、かつ共通垂線の中点の３次元座標の値が所定の範囲内にない場合に、組み合わせを、３次元座標における同一の点に対応しないものとして除外する第１５ステップと、を有することとしてもよい。

また、本発明の瞳孔検出方法において、少なくとも３個のカメラによって対象者の顔を撮影する第１６ステップと、少なくとも３個のカメラの中から、少なくとも２組の第１カメラ及び第２カメラの組を選択する第１７ステップと、選択された第１カメラ及び第２カメラの組のそれぞれを用いて、上記のいずれかの瞳孔検出方法により対象者の瞳孔を検出する第１８ステップと、を備えることとしてもよい。

また、上記の瞳孔検出方法により、複数人の瞳孔対を検出することとしてもよい。

また、本発明の瞳孔検出方法において、少なくとも３個のカメラのうち２個のカメラの組み合わせであるカメラペアを少なくとも３組決定するステップと、決定された少なくとも３組のカメラペアのそれぞれについて、カメラペアの一方のカメラを第１カメラとし、カメラペアの他方のカメラを第２のカメラとして、上記の瞳孔検出方法により対象者の瞳孔の対を瞳孔対の候補として決定するステップと、少なくとも３組のカメラペアにより決定された瞳孔対の候補のそれぞれについて、瞳孔対の候補の一方と他方とを結ぶ方向ベクトルを求めるステップと、一のカメラペアにより決定された瞳孔対の候補について求められた方向ベクトルの向きが、他の複数のカメラペアで決定された瞳孔対の候補について求められた方向ベクトルの向きと所定の閾値以上の角度をなす場合に、一のカメラペアにより決定された瞳孔対の候補を除去するステップと、除去するステップにより除去されずに残った対象者の瞳孔対の候補について座標の平均値をとり、平均値を最終的な瞳孔の位置として決定するステップと、を備えていてもよい。

また、上述した実施形態の瞳孔追尾方法において、上記のいずれかの瞳孔検出方法により一対の瞳孔対を検出する第３３ステップと、第３３ステップが実行された後の一の時刻に、第１カメラ及び第２カメラの両方により対象者の第１の瞳孔を検出するとともに、第１カメラ又は第２カメラのいずれか一方のカメラにより対象者の第２の瞳孔を検出する第３４ステップと、第１カメラ及び第２カメラのそれぞれにおける第１の瞳孔の画像内座標に基づいて第１の瞳孔の３次元座標を計算する第３５ステップと、一方のカメラにより取得した第２の瞳孔の画像内座標に基づいて、一方のカメラ及び第２の瞳孔を通る直線を計算する第３６ステップと、計算された直線上に存在し、かつ第１の瞳孔との３次元空間における距離が、瞳孔間距離に基づいて与えられる所定の値となる点を、対象者の第２の瞳孔として決定する第３７ステップと、を備えていてもよい。

また、上記の瞳孔追尾方法において、上記のいずれかの瞳孔検出方法により、対象者の一対の瞳孔対を検出する第３８ステップと、第１カメラ及び第２カメラのそれぞれによって対象者の顔を撮影して画像を取得する第３９ステップと、第３８ステップが実行された後の第１の時刻、及び第１の時刻より後の第２の時刻における対象者の一対の瞳孔対を検出する第４０ステップと、第１の時刻及び第２の時刻において検出された一対の瞳孔対の絶対位置及び相対位置を計算する第４１ステップと、計算された第１の時刻及び第２の時刻における一対の瞳孔対の絶対位置及び相対位置に基づいて、第２の時刻より後の第３の時刻における一対の瞳孔対の絶対位置及び相対位置を推定する第４２ステップと、推定された第３の時刻における一対の瞳孔対の絶対位置及び相対位置に基づいて、第３の時刻における一対の瞳孔対の各々の瞳孔の３次元座標を推定する第４３ステップと、第３の時刻に、第１カメラ又は第２カメラのいずれか一方のカメラにより対象者の第１の瞳孔を検出するとともに、一方のカメラと異なる他方のカメラにより対象者の第２の瞳孔を検出する第４４ステップと、第３の時刻に一方のカメラにより検出した第１の瞳孔の画像内座標に基づいて、一方のカメラ及び第１の瞳孔を通る第３直線を計算する第４５ステップと、第２の時刻に他方のカメラにより検出した第２の瞳孔の画像内座標に基づいて、他方のカメラ及び第２の瞳孔を通る第４直線を計算する第４６ステップと、第１の時刻における第１の瞳孔と第２の瞳孔とを結ぶ第５直線を計算する第４７ステップと、第３直線と第５直線との両方に接近する接近点を、第２の時刻における第１の瞳孔として決定する第４８ステップと、第４直線と第５直線との両方に接近する接近点を、第２の時刻における第２の瞳孔として決定する第４９ステップと、を備えていてもよい。

また、上記の瞳孔追尾方法において、上記のいずれかの瞳孔検出方法により一対の瞳孔対を検出する第５０ステップと、第１カメラ及び第２カメラのそれぞれによって対象者の顔を撮影して画像を取得する第５１ステップと、第５０ステップが実行された後の第１の時刻における対象者の一対の瞳孔対のそれぞれの３次元座標を取得する第５２ステップと、第１の時刻における一対の瞳孔対の相対位置を計算する第５３ステップと、第１の時刻より後の第２の時刻において、対象者の第１の瞳孔又は第２の瞳孔のいずれか一方を第１カメラ及び第２カメラのいずれによっても検出できなかった場合に、第１カメラ及び第２カメラのそれぞれにおける一方と異なる他方の瞳孔の画像内座標に基づいて第２の時刻における他方の瞳孔の３次元座標を計算する第５４ステップと、第５３ステップで計算した第１の時刻における一対の瞳孔対の相対位置及び第５４ステップで計算した第２の時刻における他方の瞳孔の３次元座標に基づいて第２の時刻における一方の瞳孔の３次元座標を計算する第５５ステップと、を備えていてもよい。

また、上記のいずれかの瞳孔検出方法により一対の瞳孔対を検出する第５６ステップと、第５６ステップが実行された後の一の時刻に第１カメラ及び第２カメラのそれぞれによって対象者の顔を撮影して画像を取得する第５７ステップと、第５７ステップにおいて取得した画像から対象者の角膜反射の候補となる画像内角膜反射候補点を抽出する第５８ステップと、第５８ステップにおいて取得した画像内角膜反射候補点に基づいて対象者の左右の角膜球中心の３次元座標を計算する第５９ステップと、第５９ステップにおいて計算された対象者の左右の角膜球中心の３次元座標の位置に基づいて、第１カメラ及び第２カメラのそれぞれによって取得された画像内に小領域を設定する第６０ステップと、第６０ステップにおいて設定された小領域において所定の画像処理により瞳孔の位置を決定して、瞳孔の画像内座標を算出する第６１ステップと、を備えていてもよい。

本発明は、瞳孔検出方法、角膜反射検出方法、顔姿勢検出方法および瞳孔追尾方法を使用用途とし、ユーザの頭部の回転状態及びカメラ位置に制約を与えることなく、ロバスト性及び精度を向上させることができる。

１…画像処理装置、２Ａ…左カメラ、２Ｂ…右カメラ、３，３ａ，３ｂ，３ｃ，３ｄ…光源、１０…瞳孔検出装置。

Claims (13)

1. 第１カメラにより対象者の顔を撮影して第１画像を取得する第１ステップと、
   第２カメラにより前記対象者の顔を撮影して第２画像を取得する第２ステップと、
   前記第１画像から前記対象者の瞳孔の候補となる１個以上の第１画像内候補点を抽出する第３ステップと、
   前記第２画像から前記対象者の瞳孔の候補となる１個以上の第２画像内候補点を抽出する第４ステップと、
   前記第１画像内候補点のうち１点及び前記第２画像内候補点のうち１点からなる組み合わせについて、当該組み合わせが３次元空間における同一の点に対応するか否かを判定する第５ステップと、
   ３次元座標における同一の点に対応すると判定された前記第１画像内候補点と前記第２画像内候補点との組み合わせについて、当該組み合わせに対応する３次元空間における点を空間内候補点とすることにより、２個以上の空間内候補点を抽出する第６ステップと、
   前記抽出された空間内候補点の中から２個の空間内候補点の対を選択し、選択された２個の空間内候補点の対の間の距離を算出する演算を、複数の空間内候補点の対について行う第７ステップと、
   前記算出された空間内候補点の対の間の距離が所定範囲内にない空間内候補点の対を除外する第８ステップと、
   前記除外されなかった空間内候補点の対の中から、一以上の空間内候補点の対を決定し、決定された一以上の空間内候補点の対の位置に前記対象者の瞳孔の対が存在すると決定する第９ステップと、
   を備える瞳孔検出方法。
2. 前記第５ステップは、
   前記第１画像及び前記第２画像に基づいて、前記第１画像内候補点のうち１点及び前記第２画像内候補点のうち１点からなる組み合わせから、ステレオマッチングにより３次元座標を算出する第１０ステップと、
   前記算出された３次元座標の値が所定の範囲にない場合に、前記組み合わせを、３次元座標における同一の点に対応しないものとして除外する第１１ステップと、
   を含む請求項１に記載の瞳孔検出方法。
3. 前記第５ステップは、
   第１画像における第１画像内候補点の座標に基づいて、第１画像内候補点と第１カメラとを結ぶ第１直線を決定する第１２ステップと、
   第２画像における第２画像内候補点の座標に基づいて、第２画像内候補点と第２カメラとを結ぶ第２直線を決定する第１３ステップと、
   前記第１直線と前記第２直線との共通垂線を決定する第１４ステップと、
   前記共通垂線の長さが所定の閾値より小さく、かつ前記共通垂線の中点の３次元座標の値が所定の範囲内にない場合に、前記組み合わせを、３次元座標における同一の点に対応しないものとして除外する第１５ステップと、
   を有する請求項１又は２に記載の瞳孔検出方法。
4. 少なくとも３個のカメラによって対象者の顔を撮影する第１６ステップと、
   前記少なくとも３個のカメラの中から、少なくとも２組の第１カメラ及び第２カメラの組を選択する第１７ステップと、
   前記選択された第１カメラ及び第２カメラの組のそれぞれを用いて、請求項１〜３のいずれか一項に記載の瞳孔検出方法により対象者の瞳孔を検出する第１８ステップと、を備える瞳孔検出方法。
5. 請求項１〜４のいずれか一項に記載の瞳孔検出方法により、複数人の瞳孔対を検出する瞳孔検出方法。
6. 少なくとも３個のカメラのうち２個のカメラの組み合わせであるカメラペアを少なくとも３組決定するステップと、
   前記決定された少なくとも３組のカメラペアのそれぞれについて、前記カメラペアの一方のカメラを第１カメラとし、前記カメラペアの他方のカメラを第２のカメラとして、請求項１〜３のいずれか一項に記載の瞳孔検出方法により対象者の瞳孔の対を瞳孔対の候補として決定するステップと、
   前記少なくとも３組のカメラペアにより決定された瞳孔対の候補のそれぞれについて、前記瞳孔対の候補の一方と他方とを結ぶ方向ベクトルを求めるステップと、
   一のカメラペアにより決定された瞳孔対の候補について前記求められた方向ベクトルの向きが、他の複数のカメラペアで決定された瞳孔対の候補について前記求められた方向ベクトルの向きと所定の閾値以上の角度をなす場合に、前記一のカメラペアにより決定された瞳孔対の候補を除去するステップと、
   前記除去するステップにより除去されずに残った対象者の瞳孔対の候補について座標の平均値をとり、前記平均値を最終的な瞳孔の位置として決定するステップと、を備える瞳孔検出方法。
7. 請求項１〜３のいずれか一項に記載の瞳孔検出方法により対象者の瞳孔を検出する第１９ステップと、
   前記第１画像から前記対象者の角膜反射の候補となる１個以上の第１画像内角膜反射候補点を抽出する第２０ステップと、
   前記第２画像から前記対象者の角膜反射の候補となる１個以上の第２画像内角膜反射候補点を抽出する第２１ステップと、
   前記抽出された第１画像内角膜反射候補点及び第２画像内角膜反射候補点からそれぞれ１点ずつを選択する第２２ステップと、
   前記第１画像における前記選択された第１画像内角膜反射候補点の画像内座標及び前記第２画像における前記選択された第２画像内角膜反射候補点の画像内座標に基づいて、前記選択された第１画像内角膜反射候補点及び第２画像内角膜反射候補点の組み合わせに対応する３次元座標を計算する第２３ステップと、
   前記計算された３次元座標と前記検出された瞳孔の３次元座標との位置が所定の範囲内にある場合に、前記計算された３次元座標を前記対象者の角膜反射であると判定する第２４ステップと、を備える角膜反射検出方法。
8. 請求項１〜６のいずれか一項に記載の瞳孔検出方法により検出された対象者の一対の瞳孔の３次元座標に基づいて前記対象者の顔姿勢を検出する、顔姿勢検出方法。
9. 請求項１〜６のいずれか一項に記載の瞳孔検出方法により、対象者の一対の瞳孔対を検出する第２５ステップと、
   前記第１カメラ及び前記第２カメラのそれぞれによって対象者の顔を撮影して画像を取得する第２６ステップと、
   前記一対の瞳孔対を検出するステップが実行された後の第１の時刻、及び前記第１の時刻より後の第２の時刻における前記対象者の一対の瞳孔対を検出する第２７ステップと、
   前記第１の時刻及び前記第２の時刻において検出された前記一対の瞳孔対の絶対位置及び相対位置を計算する第２８ステップと、
   前記計算された前記第１の時刻及び前記第２の時刻における一対の瞳孔対の絶対位置及び相対位置に基づいて、前記第２の時刻より後の第３の時刻における一対の瞳孔対の絶対位置及び相対位置を推定する第２９ステップと、
   前記推定された前記第３の時刻における一対の瞳孔対の絶対位置及び相対位置に基づいて、前記第３の時刻における一対の瞳孔対の各々の瞳孔の画像内座標を推定する第３０ステップと、
   前記第３の時刻における前記第１カメラ及び前記第２カメラにより撮影された画像のそれぞれにおいて、前記推定された瞳孔の画像内座標の周囲に小領域を設定する第３１ステップと、
   前記第３の時刻における前記第１カメラ及び前記第２カメラにより撮影された画像のそれぞれにおいて、前記設定された小領域において所定の画像処理により瞳孔の位置を決定して、前記第３の時刻における瞳孔の画像内座標を算出する第３２ステップと、
   を備える瞳孔追尾方法。
10. 請求項１〜６のいずれか一項に記載の瞳孔検出方法により一対の瞳孔対を検出する第３３ステップと、
    前記第３３ステップが実行された後の一の時刻に、前記第１カメラ及び前記第２カメラの両方により対象者の第１の瞳孔を検出するとともに、前記第１カメラ又は前記第２カメラのいずれか一方のカメラにより前記対象者の第２の瞳孔を検出する第３４ステップと、
    前記第１カメラ及び前記第２カメラのそれぞれにおける前記第１の瞳孔の画像内座標に基づいて前記第１の瞳孔の３次元座標を計算する第３５ステップと、
    前記一方のカメラにより取得した前記第２の瞳孔の画像内座標に基づいて、前記一方のカメラ及び前記第２の瞳孔を通る直線を計算する第３６ステップと、
    前記計算された直線上に存在し、かつ前記第１の瞳孔との３次元空間における距離が、瞳孔間距離に基づいて与えられる所定の値となる点を、対象者の第２の瞳孔として決定する第３７ステップと、
    を備える瞳孔追尾方法。
11. 請求項１〜６のいずれか一項に記載の瞳孔検出方法により、対象者の一対の瞳孔対を検出する第３８ステップと、
    前記第１カメラ及び前記第２カメラのそれぞれによって対象者の顔を撮影して画像を取得する第３９ステップと、
    前記第３８ステップが実行された後の第１の時刻、及び前記第１の時刻より後の第２の時刻における前記対象者の一対の瞳孔対を検出する第４０ステップと、
    前記第１の時刻及び前記第２の時刻において検出された前記一対の瞳孔対の絶対位置及び相対位置を計算する第４１ステップと、
    前記計算された前記第１の時刻及び前記第２の時刻における一対の瞳孔対の絶対位置及び相対位置に基づいて、前記第２の時刻より後の第３の時刻における一対の瞳孔対の絶対位置及び相対位置を推定する第４２ステップと、
    前記推定された前記第３の時刻における一対の瞳孔対の絶対位置及び相対位置に基づいて、前記第３の時刻における一対の瞳孔対の各々の瞳孔の３次元座標を推定する第４３ステップと、
    前記第３の時刻に、前記第１カメラ又は前記第２カメラのいずれか一方のカメラにより前記対象者の第１の瞳孔を検出するとともに、前記一方のカメラと異なる他方のカメラにより前記対象者の第２の瞳孔を検出する第４４ステップと、
    前記第３の時刻に前記一方のカメラにより検出した前記第１の瞳孔の画像内座標に基づいて、前記一方のカメラ及び前記第１の瞳孔を通る第３直線を計算する第４５ステップと、
    前記第２の時刻に前記他方のカメラにより検出した前記第２の瞳孔の画像内座標に基づいて、前記他方のカメラ及び前記第２の瞳孔を通る第４直線を計算する第４６ステップと、
    前記第１の時刻における第１の瞳孔と第２の瞳孔とを結ぶ第５直線を計算する第４７ステップと、
    前記第３直線と前記第５直線との両方に接近する接近点を、前記第２の時刻における前記第１の瞳孔として決定する第４８ステップと、
    前記第４直線と前記第５直線との両方に接近する接近点を、前記第２の時刻における前記第２の瞳孔として決定する第４９ステップと、
    を備える瞳孔追尾方法。
12. 請求項１〜５のいずれか一項に記載の瞳孔検出方法により一対の瞳孔対を検出する第５０ステップと、
    前記第１カメラ及び前記第２カメラのそれぞれによって対象者の顔を撮影して画像を取得する第５１ステップと、
    前記第５０ステップが実行された後の第１の時刻における前記対象者の一対の瞳孔対のそれぞれの３次元座標を取得する第５２ステップと、
    前記第１の時刻における前記一対の瞳孔対の相対位置を計算する第５３ステップと、
    前記第１の時刻より後の第２の時刻において、対象者の第１の瞳孔又は第２の瞳孔のいずれか一方を前記第１カメラ及び前記第２カメラのいずれによっても検出できなかった場合に、前記第１カメラ及び前記第２カメラのそれぞれにおける前記一方と異なる他方の瞳孔の画像内座標に基づいて前記第２の時刻における前記他方の瞳孔の３次元座標を計算する第５４ステップと、
    前記第５３ステップで計算した前記第１の時刻における前記一対の瞳孔対の相対位置及び前記第５４ステップで計算した前記第２の時刻における前記他方の瞳孔の３次元座標に基づいて前記第２の時刻における前記一方の瞳孔の３次元座標を計算する第５５ステップと、
    を備える瞳孔追尾方法。
13. 請求項１〜６のいずれか一項に記載の瞳孔検出方法により一対の瞳孔対を検出する第５６ステップと、
    前記第５６ステップが実行された後の一の時刻に前記第１カメラ及び前記第２カメラのそれぞれによって対象者の顔を撮影して画像を取得する第５７ステップと、
    前記第５７ステップにおいて取得した画像から前記対象者の角膜反射の候補となる画像内角膜反射候補点を抽出する第５８ステップと、
    前記第５８ステップにおいて取得した画像内角膜反射候補点に基づいて前記対象者の左右の角膜球中心の３次元座標を計算する第５９ステップと、
    前記第５９ステップにおいて計算された前記対象者の左右の角膜球中心の３次元座標の位置に基づいて、前記第１カメラ及び前記第２カメラのそれぞれによって取得された画像内に小領域を設定する第６０ステップと、
    前記第６０ステップにおいて設定された小領域において所定の画像処理により瞳孔の位置を決定して、瞳孔の画像内座標を算出する第６１ステップと、を備える瞳孔追尾方法。