JP6327753B2 - 瞳孔検出用光源装置、瞳孔検出装置及び瞳孔検出方法 - Google Patents

Description

この発明は、撮影した画像によって対象者の瞳孔を検出するための瞳孔検出用光源装置、瞳孔検出装置及び瞳孔検出方法に関する。

対象者の瞳孔を検出する技術は、例えば、肢体が不自由な身体障害者の意思伝達や騒音などで音声による情報伝達が難しい環境における意思伝達のための視線検出に用いられている。視線検出は、カメラに写った瞳孔の中心と光源からの照明光によって得られる角膜反射の相対位置を求めることによって行われるのが一般的である。また、この瞳孔検出技術は、対象者の瞳孔の動きによって指を用いることなくコンピュータやゲーム機器への入力を行う瞳孔マウスへの応用や、自動車関連技術では、運転中の運転者の居眠り防止技術や運転管理技術への利用が検討されている。

そのような瞳孔検出技術の例として、下記特許文献１には、次のような瞳孔検出装置が開示されている。この瞳孔検出装置は、照明光を照射する光源と、対象者の明瞳孔画像及び暗瞳孔画像を撮像するカメラとを備えている。カメラは、対象者に対向して配置され、対象者の像を撮像素子に導入するための開口部を有しており、光源は、開口部の外側において開口部の縁に沿って配置され第１の中心波長の照明光を出射する第１の発光素子と、第１の発光素子の外側に隣接して配置され、第１の中心波長より長い第２の中心波長を有する第２の発光素子とを有する。そして、このような瞳孔検出装置を使用して、第１の発光素子により対象者に照明光を照射しながら明瞳孔画像を撮像し、第２の発光素子により対象者に照明光を照射しながら暗瞳孔画像を撮像し、明瞳孔画像と暗瞳孔画像との画素値の差分を計算する。明瞳孔画像と暗瞳孔画像とでは、対象者の瞳孔の位置での画素値が大きく異なる一方、対象者の瞳孔以外の位置での画素値の差は小さいため、明瞳孔画像と暗瞳孔画像の画素値の差分を計算することにより、対象者の瞳孔の位置を検出することができる。

このように明瞳孔画像及び暗瞳孔画像を利用した瞳孔検出技術における光源の配置としては、様々なものが知られている。例えば下記特許文献２に記載された瞳孔検出装置では、カメラの開口部内から光を照射可能な光源が設けられ、この光源は、対象者の瞳孔内反射が明瞳孔となる第１の波長成分を含む第１の照明光源と、対象者の瞳孔内反射が暗瞳孔となる第２の波長成分を含む第２の照明光源とを含み、独立した第１の照明光源と第２の照明光源の光軸が、いずれもカメラ手段の光軸に一致するように光路変更されている。

下記特許文献３に記載された瞳孔検出装置では、対象者の瞳孔内反射が明瞳孔となる第１の波長成分を含む第１の照明光源からの光が、対象者の顔面側から見て開口部内から出射され、対象者の瞳孔内反射が暗瞳孔となる第２の波長成分を含む第２の照明光源からの光が、開口部の外周に近接し、かつ、互いに回転対称となるような複数の位置から出射される。

下記特許文献４に記載された瞳孔検出装置では、カメラの開口部の縁に沿って複数の発光素子が配置され、この発光素子が、第１の中心波長を有する照明光を出射する第１の発光源と、第１の中心波長より長い第２の中心波長を有する照明光を出射する第２の発光源と、を含んでいる。

特開２００８−１２５６１９号公報 特許第４５２８９８０号公報 特許第４６１３３１５号公報 特開２００８−１３２１６０号公報

ところで、対象者が眼鏡を使用している場合に、光源により出射された光が対象者の眼鏡のレンズやフレーム等により反射されて生じる眼鏡反射像の形状や位置は、光源の形状や位置に依存する。したがって、第１の発光素子の形状や位置が第２の発光素子の形状や位置と異なると、第１及び第２の光源による眼鏡反射像も形状や位置が異なるため、差分処理を行っても、眼鏡反射像の一部分が残ってしまい、残った部分が瞳孔として誤検出されてしまうおそれがある。

上記の特許文献１〜４の瞳孔検出装置における光源の配置には、それぞれ次のような問題がある。特許文献１に記載の瞳孔検出装置では、第２の発光源を第１の発光源に近接して配置した場合に、明瞳孔と暗瞳孔の輝度差が小さくなる。一方、第２の発光源を第１の発光源から離して配置した場合には、明瞳孔と暗瞳孔の輝度差が大きくなる代わりに、明瞳孔画像と暗瞳孔画像の画素値の差分を計算した時に眼鏡反射像が相殺しにくくなり、眼鏡反射像の残骸を対象者の瞳孔として誤って検出しやすくなる。特許文献２，３に記載の瞳孔検出装置では、光源にカメラの開口部内から光を出射させるための光路変換の構成が難しく、また、明瞳孔と暗瞳孔の輝度差が小さい。特許文献４に記載の瞳孔検出装置では、明瞳孔と暗瞳孔の輝度差が小さく、また、開口部の周囲に第１及び第２の発光源を一列に配列しているため、配置可能な発光源の数を多くすることができない。特に、第２の中心波長を有する照明光を出射する第２の発光源１個あたりの明るさは、第１の中心波長を有する照明光を出射する第１の発光源１個あたりの明るさの半分以下であるため、明るさを確保するのに十分な数の第２の発光源を配置しようとすると、第１の発光源の数を減らさなければならず、その結果、対象者の瞳孔を検出できるだけの光量の光を出射しにくい。

本発明は、上記課題に鑑みて為されたものであり、明瞳孔画像と暗瞳孔画像との明暗差を拡大又は維持しながら同時に眼鏡反射像を消失させることのできる瞳孔検出用光源装置、瞳孔検出装置及び瞳孔検出方法を提供することを目的とする。

上記課題を解決するため、本発明の一側面に係る瞳孔検出用光源装置は、対象者の明瞳孔画像及び暗瞳孔画像に基づいて対象者の瞳孔を検出するために用いられ、明瞳孔画像及び暗瞳孔画像を得るための照明光を対象者の顔に向けて照射する瞳孔検出用光源装置であって、対象者に対向して配置され、対象者の瞳孔からの光を通過させるための、カメラに設けられた開口部と、カメラで明瞳孔画像を得るための照明光を、対象者から見て開口部の内側又は近傍の少なくとも一方から、対象者の顔に向けて照射する第１の光源と、カメラで得られた明瞳孔画像における対象者の眼鏡反射像を画像差分によって相殺させることができるだけの眼鏡反射像を形成させるための照明光を、対象者から見て開口部の内側又は近傍の少なくとも一方であって、開口部の中心からの距離が第１の光源の位置と比較して等しいか大きい位置から、対象者の顔に向けて照射する第２の光源と、カメラで暗瞳孔画像を得るための照明光を、対象者から見て開口部から離間した位置から、対象者の顔に向けて照射する第３の光源と、を備える、ことを特徴とする。

本発明の一側面に係る瞳孔検出用光源装置によれば、開口部の内側又は近傍から、第１の光源により、明瞳孔画像を得るための照明光が対象者に向けて出射され、また、開口部の内側又は近傍から、第２の光源により、暗瞳孔画像を得るための照明光が対象者に向けて出射されると共に、開口部から離間した位置から、第３の光源により、暗瞳孔画像を得るための照明光が対象者に向けて出射される。これにより、第１の光源により照明光が出射されているときに明瞳孔画像を撮像し、第２の光源及び第３の光源により照明光が出射されているときに暗瞳孔画像を撮像することで、第１の光源及び第３の光源によって明瞳孔画像と暗瞳孔画像との輝度の差を拡大することができ、また、同時に第２の光源は、第１の光源による眼鏡反射像を画像差分により相殺・消失させることができるだけの輝度と大きさと形状の眼鏡反射像を生じさせることができ、このように撮像された明瞳孔画像と暗瞳孔画像との差分をとることにより、眼鏡反射像を差分により除去し、対象者の瞳孔をより際立たせて検出することができる。

また、本発明の一側面に係る瞳孔検出装置は、上記の瞳孔検出用光源装置と、瞳孔検出用光源装置から出射される照明光によって得られた対象者の明瞳孔画像及び暗瞳孔画像を撮像する撮像手段と、明瞳孔画像及び暗瞳孔画像に基づいて対象者の瞳孔を検出する瞳孔検出手段と、を備え、撮像手段は、明瞳孔画像及び暗瞳孔画像のそれぞれを撮像して画像データを出力する撮像素子と、瞳孔検出用光源装置の開口部と撮像素子との間に設けられ、明瞳孔画像及び暗瞳孔画像を撮像素子に向けて結像する光学系とを有する。

本発明の一側面に係る瞳孔検出装置によれば、第１の光源により照明光が出射されているときに撮像手段により明瞳孔画像を撮像し、第２の光源及び第３の光源により照明光が出射されているときに暗瞳孔画像を撮像することで、第１の光源及び第３の光源により明瞳孔画像と暗瞳孔画像とにおける瞳孔部分の輝度の差を拡大することができ、また、同時に第２の光源は、第１の光源による眼鏡反射像を、画像差分により相殺・消失させることができるだけの輝度と大きさと形状の眼鏡反射像を生じさせることができるため、明瞳孔画像と暗瞳孔画像との差分をとることにより眼鏡反射像を画像差分により消失させて瞳孔を検出することが容易となる。

また、本発明の一側面に係る瞳孔検出方法は、上記の瞳孔検出用光源装置を用いた瞳孔検出方法であって、瞳孔検出用光源装置から出射される照明光によって得られた対象者の明瞳孔画像及び暗瞳孔画像を撮像するステップと、明瞳孔画像及び暗瞳孔画像に基づいて対象者の瞳孔を検出するステップと、を備える。

本発明の一側面に係る瞳孔検出方法によれば、第１の光源により照明光が出射されているときに撮像手段により明瞳孔画像を撮像し、第２の光源及び第３の光源により照明光が出射されているときに暗瞳孔画像を撮像することで、第１の光源及び第３の光源により明瞳孔画像と暗瞳孔画像とにおける瞳孔部分の輝度の差を拡大し、また、同時に第２の光源は、第１の光源による眼鏡反射像を画像差分により相殺・消失させることができるだけの輝度と大きさと形状の眼鏡反射像を生じさせることができるため、明瞳孔画像と暗瞳孔画像との差分をとって瞳孔を検出することが容易となる。

なお、本明細書における明瞳孔及び暗瞳孔について述べると、周囲の明るさ等の条件によっては、明瞳孔であっても、必ずしも瞳孔部の画像が周囲の画像よりも明るいとは限らず、暗瞳孔であっても瞳孔部の画像が周囲の画像よりも暗いとは限らない。本明細書における明瞳孔、暗瞳孔とは、そのときに撮影した２つの画像における瞳孔の間に相対的な明るさの違いがあり、明瞳孔は暗瞳孔に比べて相対的に明るいものであるということである。

本発明の瞳孔検出用光源装置、瞳孔検出装置及び瞳孔検出方法によれば、明瞳孔画像と暗瞳孔画像との明暗差を拡大しながら、同時に眼鏡反射像を消失させることができる。

本発明の第１実施形態に係る瞳孔検出装置の概略構成を示す概念図である。 本発明の第１実施形態に係る瞳孔検出用光源装置の構成及び発光タイミングを示す図である。 本発明の第１実施形態に係る瞳孔検出方法を示すフローチャートである。 光源の形状と、光源によって生じる眼鏡反射像の形状とを示す模式図である。 本発明の第１実施形態に係る瞳孔検出用光源装置の変形例の構成を示す図である。 本発明の第１実施形態に係る瞳孔検出用光源装置の別の変形例の構成及び発光タイミングを示す図である。 本発明の第１実施形態に係る瞳孔検出用光源装置のさらに別の変形例の発光タイミング及び撮像タイミングを示す図である。 本発明の第１実施形態に係る瞳孔検出方法の別の変形例を示すフローチャートである。 本発明の第１実施形態に係る瞳孔検出用光源装置のさらに別の変形例の構成及び発光タイミングを示す図である。 本発明の第２実施形態に係る瞳孔検出用光源装置の構成及び発光タイミングを示す図である。 本発明の第２実施形態に係る瞳孔検出方法を示すフローチャートである。 本発明の第２実施形態の別の変形例に係る瞳孔検出用光源装置の発光タイミング及び撮像タイミングを示す図である。 本発明の第２実施形態のさらに別の変形例に係る瞳孔検出用光源装置の発光タイミング及び撮像タイミングを示す図である。 本発明の第２実施形態のさらに別の変形例に係る瞳孔検出用光源装置の発光タイミング及び撮像タイミングを示す図である。 本発明の変形例に係る瞳孔検出用光源装置における光源の配置を示す概略図である。 本発明の別の変形例に係る瞳孔検出用光源装置における光源の配置を示す概略図である。

以下、図面を参照しつつ本発明に係る瞳孔検出用光源装置、瞳孔検出装置及び瞳孔検出方法の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。

（第１実施形態）
図１は、本発明の第１実施形態に係る瞳孔検出装置の概略構成を示す概念図である。同図に示すように、瞳孔検出装置１は、撮像手段としてのカメラ２と、瞳孔検出用光源装置としての光源３と、制御部としての制御装置４と、を備えている。

カメラ２は、筐体５内にＣＣＤ、ＣＭＯＳ等の撮像素子６と対物レンズ７とが収容されて構成されている。筐体５の観察対象者の眼球Ａと対向する面には、円形状の開口部８が形成されている。対物レンズ７は、開口部８と撮像素子６との間においてその光軸が開口部８の中心軸線と一致するように配置され、撮像素子６は、その受光面が対物レンズ７の光軸Ｌに対して垂直に交わるように固定されている。なお、開口部８の径は、対物レンズ７の径に比較して小さくされ、対物レンズ７の有効径とほぼ同程度にされている。このような構成により、対象者の眼球Ａ付近の像は、開口部８を経てカメラ２内の撮像素子６に向けて導入された後、カメラ２内の対物レンズ７を含む光学系によって、撮像素子６の受光面に収束するように結像される。

撮像素子６は、対象者の眼球Ａの像を撮像することによって画像データを生成して制御装置４に出力する。制御装置４は、光源３の発光強度及び発光タイミング、並びにカメラ２の撮像タイミングを制御する。これとともに、制御装置４は、撮像素子６から出力された画像に基づいて差分処理や瞳孔検出処理を実行することにより、瞳孔検出手段としても機能する。

図２の（ａ）には、図１の光源３を筐体５の外側から見た平面図を示している。光源３は、対象者の顔に向けて照明光を出射するためのものであり、光源３を収容するケーシング９に３つの群の発光素子３Ａ（第１の光源）、３Ｂ（第２の光源）及び３Ｃ（第３の光源）がそれぞれ埋め込まれた構造を有している。光源３のケーシング９は、開口部８の縁部に沿って筐体５の表面の開口部８の外側を覆うように取り付けられている。

発光素子３Ａは、明瞳孔画像を得るための照明光を、対象者の顔に向けて照射するための光源である。明瞳孔画像とは、後述の暗瞳孔画像と比較して対象者の瞳孔が相対的に明るく写った画像をいう。発光素子３Ａは、出力光の中心波長が８５０ｎｍ（第１の中心波長）の複数の半導体発光素子（ＬＥＤ）からなり、開口部８の近傍に位置している。具体的には、発光素子３Ａは、ケーシング９上で、開口部８の外側において開口部８の縁に沿って等間隔でリング状に配設されている。発光素子３Ａは、開口部８の縁にできるだけ近い位置に設けられることが好ましい。これにより、後述するように、発光素子３Ａにより照らし出される対象者の像においては、瞳孔がより明るく映し出され、小さい瞳孔であっても検出が容易になる。

発光素子３Ｂは、発光素子３Ａからの照明光の照射により得られる明瞳孔画像における対象者の眼鏡反射像を画像差分によって相殺させることができるだけの眼鏡反射像を形成させるための照明光を、対象者の顔に向けて照射する光源である。発光素子３Ｂは、出力光の中心波長が９５０ｎｍ（第２の中心波長）の複数のＬＥＤからなり、開口部８の近傍に配置されている。具体的には、発光素子３Ｂは、ケーシング９上で、発光素子３Ａの外側に隣接して等間隔でリング状に配置される。発光素子３Ｂの個数は、発光素子３Ａ以上の個数とされている。発光素子３Ａ及び発光素子３Ｂの数は、対象者の顔での照度のバランスを取れるように、すなわち発光素子３Ａにより対象者の顔に照明光を出射した場合と、発光素子３Ｂにより対象者の顔に照明光を出射した場合との、対象者の顔における照度がほぼ等しくなるように決定される。照度のバランスを取るためには、一般には、発光素子３Ａよりも発光素子３Ｂの個数を増やさなければならない。例えば、発光素子３Ｂの数を発光素子３Ａの数の２倍から３倍程度とする。ただし、発光素子３Ａの数と発光素子３Ｂの数の比は、上記の値に限定されない。

発光素子３Ｃは、暗瞳孔画像を得るための照明光を、対象者の顔に向けて照射するための光源である。暗瞳孔画像とは、前述の明瞳孔画像と比較して対象者の瞳孔が相対的に暗く映った画像をいう。発光素子３Ｃは、ケーシング９上で、発光素子３Ｂから開口部８の外側に離間して配置された複数のＬＥＤからなる。ここで、発光素子３Ｂと発光素子３Ｃとの離間の程度については、発光素子３Ｂと発光素子３Ｃとの単純な距離よりも、対象者から見た場合の発光素子３Ｂと発光素子３Ｃの角度の差が重要となる。つまり、瞳孔検出装置１と対象者の眼球Ａとの距離が大きい場合には、瞳孔検出装置１と対象者の眼球Ａとの距離が小さい場合と比較して、瞳孔検出装置１上における発光素子３Ｂと発光素子３Ｃとの間の距離を大きくする必要がある。具体的には、対象者から見た発光素子３Ｂと発光素子３Ｃとの間の角度、すなわち対象者の眼球Ａと発光素子３Ｂとを結ぶ直線と、対象者の眼球Ａと発光素子３Ｃとを結ぶ直線とがなす角度が、例えば３°程度離れていることが好ましい。

発光素子３Ｃは、発光素子３Ｂと同じく、中心波長９５０ｎｍを有する照明光を対象者に向けて出射する。また、発光素子３Ｃを構成する複数のＬＥＤは、開口部８を挟んで対称な位置に二分されて配置されている。なお、本実施形態において、発光素子３Ｃは、開口部８を挟んで二分された一対の光源の群として配置されているが、ケーシング９上において、開口部８を中心にして互いに異なる方向に配置された光源を２対以上配置するようにしてもよい。発光素子３Ｃが出射する照明光の中心波長は、９５０ｎｍであることが望ましいが、８５０ｎｍであってもよく、その他の波長でも、不可視の近赤外光であればよい。ただし、発光素子３Ｃが出射する照明光の中心波長は、８００ｎｍ〜１０００ｎｍであることが望ましい。

なお、一般に、市販のカメラの感度は、イメージセンサ面に取り付けた光学フィルタのため、可視光に比べて近赤外領域で低下する。近赤外領域においても、波長が長くなるにつれて、さらに感度が低下する。したがって、例えば、波長が８５０ｎｍの場合に比べて、波長が９５０ｎｍの場合の方が、カメラの感度も低下する。さらに、波長が長くなると、ＬＥＤ自体のパワーも落ちるので、カメラ画像に映る顔画像の輝度を同等にするために、上記の８００ｎｍ〜１０００ｎｍの波長範囲では、波長が長いほど多くのＬＥＤが必要となる。逆に言えば、ＬＥＤの使用個数を減らしたい場合は、短い波長を選択すればよい。

上記の８００ｎｍ〜１０００ｎｍという範囲は、次の理由により決定されている。ＬＥＤが出射する光の波長は、レーザのような単一波長ではなく、発光波長に大きな幅が存在する。したがって、ＬＥＤの中心波長が８００ｎｍ〜１０００ｎｍの範囲にあったとしても、ＬＥＤから出射される光には、波長の短い可視光が含まれるためである。したがって、発光素子として、ＬＥＤよりも半値幅が狭い発光素子（例えばスーパールミネッセンスダイオードなど）を使用する場合は、８００ｎｍ〜１０００ｎｍよりも、もっと広い範囲であってよい。

上述の発光素子３Ａ、３Ｂ及び３Ｃの配置により、発光素子３Ｂの光軸Ｌからの距離は、発光素子３Ａの光軸Ｌからの距離よりも大きくなるように設定され、発光素子３Ｃの光軸Ｌからの距離は、発光素子３Ｂの光軸Ｌからの距離よりもさらに大きくなるように設定されている。このとき、発光素子３Ａ、３Ｂ及び３Ｃは、いずれも対物レンズ７の光軸Ｌに沿って照明光を出射するようにケーシング９上に設けられている。また、発光素子３Ａ、３Ｂ及び３Ｃの個数及びそれぞれに対する供給電流は、発光素子３Ａの発光強度と、発光素子３Ｂの発光強度及び発光素子３Ｃの発光強度の和とが等しくなるように適切な個数及び電流値に設定されている。すなわち、発光素子３Ａ、３Ｂ及び３Ｃの発光強度は、発光素子３Ａを発光させたときの撮影対象である対象者の顔面での照度と、発光素子３Ｂ及び発光素子３Ｃを発光させたときの顔面での照度とが同一になるように設定されている。さらに、発光素子３Ａ、３Ｂ及び３Ｃは、制御装置４からの制御信号により、それぞれ独立に発光タイミングを制御可能にされている。

ここで、光源３の発光素子３Ａから対象者の眼球Ａに照明光が出射されると、眼球Ａにおいて明瞳孔画像が生成され、発光素子３Ｂ及び発光素子３Ｃから同時に照明光が出射されると、眼球Ａにおいて暗瞳孔画像が生成される。これは、以下の２つの性質の相乗効果によるものである。第１の性質は、眼球Ａが９００ｎｍより短い波長の照明光を受ける場合には、眼球Ａを構成する媒体によって照明光が吸収されにくいため、９００ｎｍより長い波長の照明光を受ける場合に比較して瞳孔が明るく映るという性質である。第２の性質は、眼球Ａへの照明光がカメラ２の光軸からより離れた位置から入射した場合には、眼球Ａの瞳孔から入射し、眼球内部で反射されて再び瞳孔を通過した照明光がカメラ２に届きにくいため、瞳孔が暗く映るという性質である。

なお、発光素子３Ａ、３Ｂ及び３Ｃとしては、出力光の中心波長が上記波長のものには限定されず、発光素子３Ｂ及び３Ｃとして中心波長が９５０ｎｍの発光素子の代わりに中心波長が９３０ｎｍや９４０ｎｍや９７０ｎｍのものを使用してもよいし、発光素子３Ａとして中心波長が８５０ｎｍの発光素子の代わりに中心波長が８８０ｎｍのものを使用してもよく、およそ９００ｎｍを境に任意の中心波長のものが使用されうる。また、発光素子３Ｃとして、発光素子３Ｂと中心波長が等しいものを使用せず、他の中心波長を有するものを使用してもよい。あくまでも、発光素子３Ａ、３Ｂ及び３Ｃが同じ位置に存在する時に、カメラ画像において対象者の顔領域で同等の明るさになるように発光素子の発光強度を調整した時に（すなわちバランスをとった時に）、より明瞳孔が暗瞳孔よりも明るくなるのが望ましく、それに相当する波長であればよい。ただし、発光素子３Ａ、３Ｂ及び３Ｃとして８５０ｎｍ未満の中心波長の発光素子を用いることは、光源そのものが光って見えて対象者にとって眩しく不快であると同時に、照明を受ける対象者の瞳孔が収縮する等の影響を生じるため、好ましくない。また、中心波長が８５０ｎｍの発光素子を用いた場合、発光素子が発光する光自体を対象者が全く知覚できなくても、光源自体が赤く見えることがあるため、それが不適切な用途では、８７０ｎｍ程度の波長を選ぶことが望ましい場合がある。

次に、本発明の第１実施形態に係る瞳孔検出装置１の動作について説明するとともに、第１実施形態に係る瞳孔検出方法について説明する。図２の（ｂ）は、光源３Ａ、３Ｂ及び３Ｃの発光タイミングを示す模式図であり、図３は、本実施形態に係る瞳孔検出方法を示すフローチャートである。

まず、対象者に開口部８が対向するようにカメラ２を配置させた状態で、制御装置４が光源３Ａを第１の時刻に発光させるとともに、撮像素子６によって対象者の眼球Ａの像を撮像する（ステップＳ１１）。このとき、発光素子３Ａからの照明光により、対象者の明瞳孔画像が撮影される。次に、制御装置４が発光素子３Ｂ及び３Ｃを上記第１の時刻と異なる第２の時刻に発光させるとともに、撮像素子６によって対象者の眼球Ａの像を撮像する（ステップＳ１２）。このとき、発光素子３Ｂ及び３Ｃからの照明光により、対象者の暗瞳孔画像が撮影される。

次に、制御装置４が、ステップＳ１１及びＳ１２において撮影された明瞳孔画像と暗瞳孔画像の差分を計算し、差分画像を生成する（ステップＳ１３）。そして、制御装置４が、差分画像に基づいて対象者の瞳孔の位置を検出する（ステップＳ１４）。その後、瞳孔検出装置１は、上記のステップＳ１１〜Ｓ１４を一定の周期で繰り返し実行する。なお、図２（ｂ）は、上記の瞳孔検出方法における各光源の発光タイミングを示す図であり、図２（ｂ）のＡのタイミングで発光素子３Ａが点灯し、図２（ｂ）のＢ及びＣのタイミングで、発光素子３Ｂ及び３Ｃが同時に点灯する。なお、図２（ｂ）において、バーの長さは、カメラ画像上での対象者の顔上での輝度に与える影響の度合いを示している。Ｂのバー及びＣのバーの長さは、いずれもＡの長さの半分程度である。このことは、発光素子３Ｂ及び発光素子３Ｃによる対象者の顔の輝度に与える影響が、発光素子３Ａによる対象者の顔の輝度に与える影響の半分程度であることを示している。言い換えれば、発光素子３Ｂ及び発光素子３Ｃによる対象者の顔の輝度に与える影響の合計は、発光素子３Ａによる対象者の顔の輝度に与える影響と同程度である。

以上説明した瞳孔検出装置１によれば、開口部８の縁に沿って配置された発光素子３Ａから中心波長８５０ｎｍを有する照明光が対象者に向けて出射され、また、発光素子３Ａの外側に隣接する発光素子３Ｂから、８５０ｎｍより長い中心波長９５０ｎｍを有する照明光が対象者に向けて出射されるとともに、発光素子３Ｂから開口部の外側に離間して配置された発光素子３Ｃから照明光が対象者に向けて出射される。これにより、開口部８を通過する光により対象者の顔画像を撮像するときに、発光素子３Ａにより照明光が出射された場合には、発光素子３Ｂ及び発光素子３Ｃにより照明光が出射された場合と比較して、開口部に近い光源からの光ほど反射光が強くなることと、短波長の光が長波長の光と比較して眼球を構成する媒体によって吸収されにくくなることの２つの理由で、対象者の瞳孔内からの反射光が強くなる。一方、眼鏡反射像については、顔や瞳孔など、対象者の顔における眼鏡反射以外の部分に比べ極端に輝度が強い。そのため、瞳孔検出が容易にできるようにするために、顔をある程度明るく映るようカメラの絞りやゲイン、発光素子の光量を調整すると、眼鏡反射の部分の輝度が飽和する。つまり、顔領域のほぼすべての画素の値が１２５以下で表現されるような画像（以下、第１の画像と称する）において、眼鏡反射のピークが例えば１０００程度の値を示すはずが、画素値の最大値が２５５であるならば、眼鏡反射のほぼ全体が最大値の２５５を示す、すなわち飽和する、ことを意味する。上記の第１の画像を取得する際の発光素子の光量を半分にして、別の画像（以下、第２の画像と称する）を取得したとすると、外部光が存在しなければ、顔領域の画素値は、第１の画像の画素値の半分になる。しかし、眼鏡反射のピークは、いまだに第１の画像の半分の５００程度の値を示すため、第１の画像の場合よりは多少狭くなるものの、眼鏡反射の多くの部分が最大値２５５を示し、飽和する。したがって、第１の画像と第２の画像との差分をとると、眼鏡反射の飽和していた部分の画素値は０となる。以上のように、眼鏡反射の画素が飽和していることは、眼鏡反射を画像差分によって相殺させるにあたって重要である。

さらに、第２の画像取得時にもう１つの光源を別の位置で点灯させ、その光源の光量を、第２の画像の顔領域での画素値が第１の画像の顔領域での画素値に一致するように調整するとする。すると、第２の画像の顔領域の画素値が、第２の画像の顔領域での眼鏡反射像の画素値に足しあわされて、第２の画像の眼鏡反射像はさらに飽和しやすくなり、先述したような眼鏡反射の画素値が飽和した領域が多少狭くなることも防止できるため、第１の画像と第２の画像との差分をとった際に、眼鏡反射が相殺しやすくなる。この時に、第１の画像で明瞳孔が取得され、かつ、後者の画像で暗瞳孔が取得されるように、それぞれの光源の位置や波長が与えられているならば、第１の画像から第２の画像を差し引いて差分画像としたときに、差分画像における顔領域と眼鏡反射部の画像の画素値は０となり、瞳孔領域だけが０よりも大きな値を示し、２値化により瞳孔部が検出できる。

さらに、眼鏡反射の像は、光源を構成する発光素子１個１個がそのまま拡大されて眼鏡反射像として映るのではなく、大きく膨らんだ形状として映る。仮に、図４（ａ）に示すように、多数の発光素子が均等間隔で円状に並んでいるとすると、図４（ｂ）に示すように、眼鏡反射の像は、ドーナツ状に膨らんだ形状となる。図４（ｃ）に示すように、多数の発光素子が、図４（ａ）よりも小さな半径の円状に並んでいるとすると、図４（ｄ）に示すように、眼鏡反射の像は、図４（ｂ）のドーナツ状の形状の内側部分が埋まった、円状の形状になる。このように、２つの画像に使用した光源の１つ１つの位置はあまり重要ではなく、多数の発光素子が全体としてほぼ同じ位置にあるかどうかが眼鏡反射像の位置を決定する。

発光素子３Ａと発光素子３Ｂとが隣接しているため、発光素子３Ｂは、発光素子３Ａによる眼鏡反射像を画像差分により相殺・消失させることができるだけの輝度と大きさと形状の眼鏡反射像を生じさせることができる。また、発光素子３Ｃは発光素子３Ｂから開口部の外側に離間して配置されているため、発光素子３Ｃによって照明光が出射された場合には、対象者の瞳孔からの反射光が少なくなる。したがって、発光素子３Ａにより照明光が出射されているときに明瞳孔画像を撮像し、発光素子３Ｂ及び発光素子３Ｃにより照明光が出射されているときに暗瞳孔画像を撮像することで、発光素子３Ａ及び発光素子３Ｃによって明瞳孔画像と暗瞳孔画像との輝度の差を拡大することができる。また、同時に発光素子３Ａ及び発光素子３Ｂによって眼鏡反射像の輝度及び形状を同様にすることができる。その結果、このようにして撮像された明瞳孔画像と暗瞳孔画像との差分をとることにより対象者の瞳孔をより際立たせて検出させることができる。

また、発光素子３Ｃは、中心波長９５０ｎｍを有する照明光を出射するため、第３の光源によって出射された照明光が眼球を構成する媒体により吸収されるので、暗瞳孔画像における瞳孔の輝度を低くすることができ、対象者の瞳孔をより検出しやすくすることができる。

さらに、発光素子３Ｃは、開口部を挟んで対称な位置に配置された一対の光源であるため、発光素子３Ｃにより照明光が出射された場合の対象者の顔面の輝度のバランスがとりやすくなり、明瞳孔画像と暗瞳孔画像の差分を取った後に対象者の顔面部分に差分が残りにくくなる。これにより、対象者の瞳孔を精度よく検出できる。

次に、本発明の第１実施形態に係る瞳孔検出用光源装置の変形例について説明する。図５は、本発明の第１実施形態に係る瞳孔装置の変形例を示す図である。本変形例においては、発光素子３Ａ、発光素子３Ｂ及び発光素子３Ｃとして、複数のＬＥＤチップが１つのパッケージ内（モールド内）に搭載されたマルチチップＬＥＤを用いている。このようなマルチチップＬＥＤは輝度が高いため、発光素子３Ａ、発光素子３Ｂ及び発光素子３Ｃの個数を少なくすることができる。また、特に発光素子３ＣとしてマルチチップＬＥＤを用いることにより、眼鏡反射像を小さくすることができ、瞳孔検出を掻き消しにくくなる。本変形例では、２個の発光素子３Ａ、２個の発光素子３Ｂ、２個の発光素子３Ｃ、及び開口部８が、一直線上に配置されている。２個の発光素子３Ａは、開口部８を挟むように配置されている。２個の発光素子３Ｂは、開口部８及び２個の発光素子３Ａを挟むように配置されている。２個の発光素子３Ｃは、開口部８、発光素子３Ａ、及び発光素子３Ｂを挟むように、かつ開口部８、発光素子３Ａ、及び発光素子３Ｂから離間した位置に配置されている。なお、発光素子３Ａ、発光素子３Ｂ及び発光素子３Ｃの個数は、２個には限定されず、適宜定めることができる。

図６（ａ）は、本発明の第１実施形態に係る瞳孔検出装置の変形例を示す図である。本変形例においては、発光素子３Ｃが発光素子３Ｂからより離れて設置されている。また、図６（ｂ）は、本変形例における発光素子３Ａ、３Ｂ及び３Ｃの発光タイミングを示す図である。本変形例における発光タイミングも、第１実施形態に係る瞳孔検出用光源装置と同様である。

本変形例の瞳孔検出用光源装置も、第１実施形態に係る光源３と同様に、発光素子３Ｂにより、発光素子３Ａによる眼鏡反射像を画像差分により相殺・消失させることができるだけの輝度と大きさと形状の眼鏡反射像を生じさせることができるため、第１実施形態に係る光源と同様の作用効果を奏する。また、この変形例によれば、発光素子３Ｃが発光素子３Ｂから離れているので、発光素子３Ｃから対象者の瞳孔に入射した後に対象者の眼球Ａ内で反射されて対象者の瞳孔を経てカメラに入射する光がより少なくなるため、暗瞳孔画像において対象者の瞳孔がより暗く映る。

さらに、対象者の視線検出を行う場合には、光源３からの光が対象者の角膜によって反射されて生じる角膜反射像は、参照点として利用される。具体的には、複数の光源を用意し、光源の位置及び角膜反射像の位置に基づいて幾何学的な計算を行うことにより、角膜球中心を求め、瞳孔の三次元画像と角膜球中心を結ぶ直線を視線として求める方法がある。そのような場合に、この変形例によれば、発光素子３Ｂ及び発光素子３Ｃを複数の光源として利用できるため、この変形例は有効である。

なお、本変形例において、発光素子３Ｃの位置を、開口部８を挟んで対称とすると、発光素子３Ｃによって対象者の顔面に照明光を照射したときの対象者の顔面における輝度分布が、発光素子３Ａによって照明光を照射したときの輝度分布と同様になり、差分処理により対象者の顔面部分を消失させて対象者の瞳孔をより検出しやすくなる。

ただし、明瞳孔画像と暗瞳孔画像との差分により、差分画像において対象者の顔面部分を消失させる必要があることから、発光素子３Ｂ及び発光素子３Ｃによる顔面輝度と、発光素子３Ａによる顔面輝度とがほぼ一致する必要があることから、発光素子３Ｂ及び発光素子３Ｃの光源の発光強度を弱くする必要がある。そのため、発光素子３Ｂ及び３Ｃによる角膜反射像が暗くなり、角膜反射像の検出が難しくなる場合がある。そのような場合には、以下の別の変形例が有効である。

図７は、第１実施形態に係る瞳孔検出用光源装置の別の変形例の発光タイミング及び撮像タイミングを示す図であり、図８は、当該変形例による瞳孔検出方法を示すフローチャートである。この変形例においては、カメラ２として、短い時間間隔で連続してフレーム画像を撮影することのできる高速度カメラを使用する。本変形例におけるカメラ２は、具体的には、例えば２ミリ秒の間に４フレームの画像を撮影できるカメラであればよい。

まず、制御装置４が、図７のＡのタイミングで発光素子３Ａを発光させ、同時に図７のＡのタイミングに同期した矢印ａのタイミングで明瞳孔画像Ｇａを撮像する（ステップＳ２１）。次に、制御装置４が、図７のＡのタイミングの直後の矢印ｄのタイミングで、発光素子３Ａ、３Ｂ及び３Ｃのいずれも発光させずに無照明画像Ｇｄを撮像する（ステップＳ２２）。次に、制御装置４が、図７の矢印ｄのタイミングの直後のＢのタイミングで発光素子３Ｂを発光させ、同時に図７のＢのタイミングに同期した矢印ｂのタイミングで暗瞳孔画像Ｇｂを撮像する（ステップＳ２３）。次に、制御装置４が、図７のＢのタイミングの直後のＣのタイミングで発光素子３Ｃを発光させ、同時に図７のＣのタイミングに同期した矢印ｃのタイミングで暗瞳孔画像Ｇｃを撮像する（ステップＳ２４）。なお、制御装置４は、上記のステップＳ２１〜Ｓ２４を、例えば２ミリ秒程度の短い時間内に実行する。

そして、制御装置４が、明瞳孔画像Ｇａと無照明画像Ｇｄとの差分、暗瞳孔画像Ｇｂと無照明画像Ｇｄとの差分、暗瞳孔画像Ｇｃと無照明画像Ｇｄとの差分をそれぞれ計算する（ステップＳ２５）。最後に、制御装置４が、差分画像に基づいて、瞳孔の位置を計算する（ステップＳ２６）。具体的には、制御装置４は、瞳孔検出のための画像の演算として、（ｐａ−ｐｄ）／（ｋ_１（ｐｂ−ｐｄ）＋ｋ_２（ｐｃ−ｐｄ））という式により計算を行う。すなわち、特開２００８−２４６００４号にも記載されているように、明瞳孔画像から発光素子の消灯時における画像を減算したものを、暗瞳孔画像から発光素子の消灯時における画像を減算したもので除算することにより、対象者の瞳孔部のみを抽出する。なお、上記の式において、ｐａは明瞳孔画像Ｇａの画素値、ｐｂは暗瞳孔画像Ｇｂの画素値、ｐｃは暗瞳孔画像Ｇｃの画素値、ｐｄは無照明画像Ｇｄの画素値、ｋ_１及びｋ_２は調整値である。ここで、一般に、対象者の瞳孔部分は、対象者の顔部分よりも大きな画素値を示すため、２値化によって瞳孔部分を抽出することができる。ｋ_１及びｋ_２は、例えば暗瞳孔画像Ｇｂ及び暗瞳孔画像Ｇｃの一方が他方と比較して明るすぎる場合又は暗すぎる場合等に画素値を調整するための係数として設定される。このように明瞳孔画像Ｇａと無照明画像Ｇｄとの差分、暗瞳孔画像Ｇｂと無照明画像Ｇｄとの差分、暗瞳孔画像Ｇｃと無照明画像Ｇｄとの差分を計算することにより、各発光素子によってのみの画像が得られ、外部光の影響を取り除けると同時に、各発光素子の発光強度のバランスをとる必要が小さくなり、便利である。

また、上述のように、光素子の発光強度のバランスをとる必要がないということは、発光素子３Ｂと発光素子３Ｃのそれぞれの顔画像上での明るさを発光素子３Ａのものと同等にすることも可能であることを意味する。その方が、発光素子３Ｂ及び発光素子３Ｃによって発生する角膜反射像の輝度を明るくすることができ、角膜反射が検出しやすくなる。なお、注視点検出に必要な角膜反射は、それぞれ、明瞳孔画像Ｇａと無照明画像Ｇｄとの差分画像、暗瞳孔画像Ｇｂと無照明画像Ｇｄとの差分画像、暗瞳孔画像Ｇｃと無照明画像Ｇｄとの差分画像から検出するのが容易であり、望ましい。

さらに、眼鏡反射は、明瞳孔画像Ｇａ、暗瞳孔画像Ｇｂ、暗瞳孔画像Ｇｃのそれぞれにおいて一般に飽和しているため、発光素子３Ａ、発光素子３Ｂ及び発光素子３Ｃによる顔画像の明るさのバランスによっては、上式のように、除算により瞳孔を検出したとき、眼鏡反射の画素値が瞳孔の画素値を上回ることがある。この理由は次の通りである。発光素子のパワーを上げると、それに比例して、明瞳孔画像Ｇａ、暗瞳孔画像Ｇｂ、及び暗瞳孔画像Ｇｃにおいて、顔部分や瞳孔部分は明るくなる。それに対して、眼鏡反射は飽和しているため、飽和値を超えて明るくなることはない。結果的に、それぞれの画像から無照明画像Ｇｄを差分した画像については、発光素子のパワーが大きいほど、眼鏡反射部分の画素値は相対的に小さくなる。そのため、上式の除算において、光源パワーの大きい画像に対応する項が分母にある場合には、眼鏡反射の画素が、瞳孔よりもむしろ大きな値を示すことになる。

このように、眼鏡反射の画素値が瞳孔の画素値を上回った場合は、瞳孔を正しく検出することができず、眼鏡反射を瞳孔として誤って検出してしまう。この誤検出を防ぐためには、明瞳孔画像Ｇａ、暗瞳孔画像Ｇｂ、暗瞳孔画像Ｇｃのそれぞれにおいて、画素値が飽和している部分を眼鏡反射部分とみなした２値化画像（眼鏡反射部の画素値が０で、他の部分の画素値が１（正論理））を作り、それら３枚の２値化画像の論理積をとった２値画像（論理積画像）を作る。この２値画像は、明瞳孔画像Ｇａ、暗瞳孔画像Ｇｂ、暗瞳孔画像Ｇｃにおける眼鏡反射部分のいずれをも含んでおり、眼鏡反射部分の画素値が０で、その他の部分の画素値が１になる。この２値画像と、瞳孔検出用の画像や角膜反射用の画像との論理積をとることで、より確実に眼鏡反射以外の部分から、瞳孔や角膜画像を検出することができる。

上記の眼鏡反射に関する問題は、当然ながら、図７において、Ａのタイミングで発光素子３Ａを点灯させ、Ｂのタイミングで発光素子３Ｂ及び発光素子３Ｃを同時に点灯させた場合にも、同様に該当し、上記の解決法も同様に適用可能である。

図９は、第１実施形態に係る瞳孔検出用光源装置のさらに別の変形例の構成及び発光タイミングを示す図である。図９の（ａ）は、図１の光源３を筐体５の外側から見た図を示している。図９の（ａ）に示す瞳孔検出用光源装置は、図２の（ａ）に示した瞳孔検出用光源装置の発光素子３Ａ，３Ｂに代えて、発光素子３Ｄを備えている。発光素子３Ｄは、出力光の中心波長が８５０ｎｍである複数のＬＥＤからなる。本変形例において、発光素子３Ｃは、出力光の中心波長が８５０ｎｍである複数のＬＥＤからなる。本変形例において、発光素子３Ｄは、第１の光源としての機能と、第２の光源としての機能とを兼ね備える。

図９（ｂ）は、本変形例における発光素子３Ｃ，３Ｄの発光タイミングを示す図である。図９（ｂ）のＡのタイミングでは、発光素子３Ｄのみを発光させる。このとき、発光素子３Ｄは、第１の光源として機能する。図９（ｂ）のＢのタイミングでは、発光素子３Ｄを発光させ、これと同時の図９（ｂ）のＣのタイミングで発光素子３Ｃを発光させる。このとき、発光素子３Ｄは、第２の光源として機能する。ここで、Ｂ及びＣのタイミングでの発光素子３Ｄの発光強度は、Ａのタイミングでの発光素子３Ｄの発光強度と比べて弱くする。より具体的には、Ａのタイミングでの発光素子３Ｄによる対象者の顔の輝度と、Ｂ及びＣのタイミングでの発光素子３Ｃ及び３Ｄによる対象者の顔の輝度とがほぼ同一になるようにする。

本変形例も、第１実施形態の瞳孔検出用光源装置と同様の作用効果を奏する。さらに、本変形例では、Ａ，Ｂ，Ｃのタイミングで発光する発光素子３Ｃ，３Ｄが、いずれも同じ８５０ｎｍを中心波長としている。この場合、発光素子３Ｃ，３Ｄのいずれか一方の中心波長を例えば８５０ｎｍとし、他方の中心波長を例えば９５０ｎｍという、異なる波長とした場合と比較して、次の利点がある。例えば８５０ｎｍと９５０ｎｍという異なる２波長を中心波長とする発光素子を使用した場合、等価的に８００ｎｍ〜１０００ｎｍの範囲の光を捉えなければならない。すると、例えば８５０ｎｍと９５０ｎｍの中間の９００ｎｍ付近の波長を有する強い外部光が存在すると、瞳孔検出装置がこの外部光の悪影響を受ける。この悪影響を除去するためには、８５０ｎｍと９５０ｎｍの２つの透過ピークを有し、かつ９００ｎｍの波長の光を遮断するような光学フィルタを用意する必要がある。しかしながら、このような光学フィルタは非常に高価であり、また、その厚みも大きいため、瞳孔検出装置の小型化を難しくする。それに対して、本変形例のように、発光素子３Ｃ，３Ｄの中心波長を例えば８５０ｎｍの１波長としていれば、例えば８５０ｎｍに一つの透過ピークを有するのみの光学フィルタを使用することができる。このような光学フィルタは比較的安価である。しかも、発光素子の中心波長を１波長とすることで、ピーク幅を狭くしやすいため、先述の波長９００ｎｍの外部光の影響を減らすことができる。

なお、以上で説明した発光素子３Ａ，３Ｂは、開口部８の近傍に配置され、この開口部８の近傍から照明光を出射していたが、開口部８の内側から照明光を出射するようにしてもよい。一例としては、カメラ２の内部において、対物レンズ７の光軸Ｌ（図１参照）上の位置にハーフミラー等を配置するとともに発光素子３Ａ，３Ｂを光軸Ｌ上から外れた位置に配置することができる。このように発光素子３Ａ，３Ｂ及びハーフミラーを配置することにより、発光素子３Ａ，３Ｂから出射された照明光をハーフミラー等で反射させ、開口部８の内部から照明光を対象者の顔に向けて照射することができる。

さらに、発光素子３Ａ，３Ｂとして複数のＬＥＤを用い、複数のＬＥＤの一部を上述のように配置して開口部８の内部から照明光を照射するとともに、複数のＬＥＤのうちの上記一部以外を開口部８の近傍に配置して、開口部８の近傍から照明光を照射するようにしてもよい。この場合には、対象者から見て、発光素子３Ａ，３Ｂは、開口部８の内側と近傍の両方にまたがった位置から照明光を照射することとなる。ただし、この場合も、対象者から見て、発光素子３Ｂは、発光素子３Ａと比較して、開口部８の中心からの距離が等しいか大きい位置から照明光を照射することが必要である。

（第２実施形態）
次に、本発明の第２実施形態に係る瞳孔検出用光源装置、瞳孔検出装置及び瞳孔検出方法について説明する。この実施形態では、カメラを２台配置し、２台のカメラのそれぞれで対象者の眼球Ａを撮像して明瞳孔画像及び暗瞳孔画像を得て、２台のカメラのそれぞれの座標系において得られた明瞳孔画像及び暗瞳孔画像に基づいて対象者の瞳孔を検出する。さらに、それぞれのカメラの座標系で得られた対象者の瞳孔位置をステレオ校正することによって瞳孔の三次元位置を検出するとともに、その瞳孔の三次元位置と別途検出した角膜反射点を用いて視線方向を検出する。本実施形態の瞳孔検出装置の構成は、図１に示した第１実施形態の瞳孔検出装置と概ね同様であるが、光源３における発光素子及び開口部の配置が異なっている。

図１０（ａ）は、第２実施形態に係る瞳孔検出用光源装置を筐体５の外側から見た平面図である。この瞳孔検出用光源装置には、２つのカメラに対応する開口部８１（第１の開口部）及び開口部８２（第２の開口部）が設けられている。発光素子３Ａ１（第１の光源）及び発光素子３Ａ２（第４の光源）は、出力光の中心波長が８５０ｎｍ（第１の中心波長）の複数のＬＥＤからなる。発光素子３Ａ１は開口部８１の外側において開口部８１の縁に沿って等間隔でリング状に配設されている。発光素子３Ａ２は開口部８２の外側において開口部８１の縁に沿って等間隔でリング状に配設されている。

発光素子３Ｂ１（第２の光源）は、出力光の中心波長が９５０ｎｍ（第２の中心波長）の複数のＬＥＤからなり、発光素子３Ａ１の外側に隣接して等間隔でリング状に配置される。発光素子３Ｂ２（第３の光源）は、出力光の中心波長が９５０ｎｍの複数のＬＥＤからなり、発光素子３Ａ２の外側に隣接して等間隔でリング状に配置される。そして、対象者から見て開口部８１の奥にはカメラＣＭ１（第１のカメラ）が配置され、開口部８２の奥にはカメラＣＭ２（第２のカメラ）が配置されている。

図１０（ｂ）は、この瞳孔検出用光源装置の発光タイミング及び撮像タイミングを示す図であり、図１１は、この瞳孔検出用光源装置を用いた瞳孔検出方法を示すフローチャートである。まず、制御装置４が発光素子３Ａ１を発光させると同時に、カメラＣＭ１で明瞳孔画像Ｇａ１を撮像する（ステップＳ３１）。続いて、制御装置４が発光素子３Ａ２を発光させると同時に、カメラＣＭ２で明瞳孔画像Ｇａ２を撮像する（ステップＳ３２）。なお、カメラＣＭ１及びＣＭ２の間で光のクロストークが生じることを避けるため、制御装置４は、上記のステップＳ３１とステップＳ３２が実行されるタイミングをずらす。

次に、制御装置４が発光素子３Ｂ１及び３Ｂ２を発光させると同時に、カメラＣＭ１で暗瞳孔画像Ｇｂ１を撮像する（ステップＳ３３）。続いて、制御装置４が発光素子３Ｂ１及び３Ｂ２を発光させると同時に、カメラＣＭ２で暗瞳孔画像Ｇｂ２を撮像する（ステップＳ３４）。

次に、制御装置４が明瞳孔画像Ｇａ１と暗瞳孔画像Ｇｂ１との差分画像、及び明瞳孔画像Ｇａ２と暗瞳孔画像Ｇｂ２との差分画像を計算する（ステップＳ３５）。そして、制御装置４が差分画像に基づいて対象者の瞳孔を検出する（ステップＳ３６）。その後、瞳孔検出装置１は、上記のステップＳ３１〜Ｓ３６を一定の周期で繰り返し実行する。

以上で説明した第２実施形態に係る瞳孔検出用光源装置によれば、２台のカメラＣＭ１，ＣＭ２を使用して検出された瞳孔位置をステレオ校正することで対象者の瞳孔の３次元座標を算出して視線検出を行う場合において、発光素子３Ｂ１及び３Ｂ２をカメラＣＭ１及びＣＭ２での撮像の両方に利用することができ、発光素子を配置するための余分なスペースが不要となり、瞳孔検出用光源装置をより小型化することができる。

図１２（ａ）に、第２実施形態の変形例に係る瞳孔検出用光源装置を示す。この変形例は、上記の第２実施形態に係る瞳孔検出用光源装置と異なり、発光素子３Ｃ１（第５の光源）及び発光素子３Ｃ２（第６の光源）をさらに備える点が異なっている。発光素子３Ｃ１は、開口部８１を挟んで発光素子３Ｂ２と対称な位置に配置され、９５０ｎｍの中心波長を有する照明光を対象者に向けて出射する。発光素子３Ｃ２は、開口部８２を挟んで発光素子３Ｂ１と対称な位置に配置され、９５０ｎｍの中心波長を有する照明光を対象者に向けて出射する。

図１２（ｂ）に、この変形例に係る瞳孔検出用光源装置の発光タイミングを示す。まず、制御装置４が発光素子３Ａ１を発光させるとともに、カメラＣＭ１によって対象者の明瞳孔画像を撮像する。続いて、制御装置４が発光素子３Ａ２を発光させるとともに、カメラＣＭ２によって対象者の明瞳孔画像を撮像する。その後、制御装置４が発光素子３Ｂ１、３Ｂ２及び３Ｃ１を発光させるとともに、カメラＣＭ１によって対象者の暗瞳孔画像を撮像する。続いて、制御装置４が発光素子３Ｂ１、３Ｂ２及び３Ｃ２を発光させるとともに、カメラＣＭ２によって対象者の暗瞳孔画像を撮像する。ここで、光のクロストークを避けるため、制御装置４は、カメラＣＭ１とカメラＣＭ２の撮像タイミングをずらす。

上記の変形例の瞳孔検出用光源装置によれば、開口部８１を挟んで対称な位置に配置された発光素子３Ｂ２及び発光素子３Ｃ１により照明光が出射されたときに開口部８１を介してカメラＣＭ１で暗瞳孔画像を撮像し、開口部８２を挟んで対称な位置に配置された発光素子３Ｂ１及び発光素子３Ｃ２により照明光が出射されたときに開口部８２を介してカメラＣＭ２で暗瞳孔画像を撮像することにより、撮像された暗瞳孔画像における対象者の顔面の輝度のバランスがとれ、差分処理により対象者の顔面部分を消失させて瞳孔検出をより容易にすることができる。

なお、発光素子３Ｃ１及び発光素子３Ｃ２が出射する照明光の中心波長は、必ずしも９５０ｎｍでなくてもよく、例えば発光素子３Ａ１及び発光素子３Ａ２が出射する照明光の中心波長と同じ８５０ｎｍであってもよい。また、図１２（ｂ）において、発光素子３Ｂ１、３Ｂ２及び３Ｃ１を発光させるタイミングでは、これらの発光素子に代えて、発光素子３Ａ２、３Ｃ１及び３Ｂ１を発光させてもよい。発光素子３Ｂ１、３Ｂ２及び３Ｃ２を発光させるタイミングでは、これらの発光素子に代えて、発光素子３Ａ１、３Ｃ２及び３Ｂ２を発光させてもよい。さらに、図１２（ａ）に示した発光素子３Ｃ１及び３Ｃ２は、リング状に配置されたＬＥＤでなく、非常に高輝度の集積ＬＥＤでもよく、一般のＬＥＤを正方形状に並べたものであってもよい。

図１３（ａ）に、第２実施形態の別の変形例に係る瞳孔検出用光源装置を示す。この変形例は、第２実施形態の瞳孔検出用光源装置と同様に２つの開口部８１（第１の開口部）、開口部８２（第２の開口部）を備えているが、以下で説明する通り、発光素子の配置が異なっている。

発光素子３Ａ５（第１の光源）は、出力光の中心波長が８５０ｎｍの複数のＬＥＤからなり、開口部８１の外側において開口部８１の縁に沿って等間隔でリング状に配設されている。発光素子３Ａ６（第４の光源）は、出力光の中心波長が８５０ｎｍの複数のＬＥＤからなり、開口部８２の外側において開口部８２の縁に沿って等間隔でリング状に配設されている。そして、発光素子３Ｂ５（第２の光源）は、出力光の中心波長が９５０ｎｍの複数のＬＥＤからなり、発光素子３Ａ５の外側に隣接して配置されている。発光素子３Ｂ６（第５の光源）は、出力光の中心波長が９５０ｎｍの複数のＬＥＤからなり、発光素子３Ａ６の外側に隣接して配置されている。

さらに、開口部８１から見て開口部８２と逆の側に、発光素子３Ｃ５（第３の光源）が配設されている。発光素子３Ｃ５は、発光素子３Ｂ５から開口部８１の外側に離間している。また、開口部８２から見て開口部８１と逆の側に、発光素子３Ｃ６（第７の光源）が配設されている。発光素子３Ｃ６は、発光素子３Ｂ６から開口部８２の外側に離間している。また、開口部８１と開口部８２との中間であって、開口部８１からの距離と開口部８２からの距離が等しい位置を中心にして、発光素子３Ｃ７（第６の光源）が配設されている。発光素子３Ｃ５は、開口部８１を挟んで発光素子３Ｃ７と点対称な位置に配置され、発光素子３Ｃ６は、開口部８２を挟んで発光素子３Ｃ３と点対称な位置に配置されている。発光素子３Ｃ５、３Ｃ６及び３Ｃ７は、いずれも出力光の中心波長が９５０ｎｍの複数のＬＥＤからなり、発光素子３Ｂ５及び３Ｂ６と同様に、等間隔でリング状に配置されている。

図１３（ｂ）に、本変形例の瞳孔検出用光源装置の発光タイミングを示す。まず、制御装置４が発光素子３Ａ５を発光させ、同時にカメラＣＭ１で対象者を撮像する。続いて、制御装置４が発光素子３Ａ６を発光させ、同時にカメラＣＭ２で対象者を撮像する。その後、制御装置４が発光素子３Ｂ５、３Ｃ５及び３Ｃ７を発光させ、同時にカメラＣＭ１で対象者を撮像する。続いて、制御装置４が発光素子３Ｂ６、３Ｃ６及び３Ｃ７を同時に発光させ、同時にカメラＣＭ２で対象者を撮像する。

上記の別の変形例の瞳孔検出用光源装置によれば、開口部８１を挟んで対称な位置に配置された発光素子３Ｃ５及び発光素子３Ｃ７により照明光が出射されたときに開口部８１を介してカメラＣＭ１で暗瞳孔画像を撮像し、開口部８２を挟んで対称な位置に配置された発光素子３Ｃ６及び発光素子３Ｃ７により照明光が出射されたときに開口部８２を介してカメラＣＭ２で暗瞳孔画像を撮像することにより、暗瞳孔画像における対象者の顔面の輝度のバランスがとれ、差分処理により対象者の顔面部分を消失させて瞳孔検出をより容易にすることができるとともに、発光素子３Ｃ７をカメラＣＭ１での撮像時及びカメラＣＭ２での撮像時の両方に共用することが可能となるため、瞳孔検出用光源装置をより小型化することができる。

なお、図１３（ａ）に示した瞳孔検出用光源装置において、図１４に示すように、発光素子３Ｃ５及び発光素子３Ｃ６を省略することもできる。

なお、本発明は、上述した実施形態に限定されるものではない。例えば、図１５に示すように、発光素子３Ｃの取り付け位置は、対象者から見て、発光素子３Ｂに関して、対象者の視野Ｆの中心から離れる方向、すなわち対象者の視線が向く範囲から離れる方向に配置されていることが好ましい。発光素子３Ｃをこのように配置することにより、カメラによって撮影された画像内において、対象者の眼鏡反射像が対象者の瞳孔と重なりにくくなり、眼鏡反射像の影響を受けずに対象者の瞳孔を検出しやすくなる。

また、図１６に示すように、複数のカメラ（図１６の例では４つ）と複数組の発光素子３Ｃ（図１６の例では５組）を、対象者の視野Ｆの周囲に交互に等間隔に配置し、隣り合う発光素子３Ｃが、対象者の視野Ｆの中心とカメラの開口部８の中心とを結ぶ軸に関して対称な位置に配置されるようにしてもよい。

また、図２、６及び１５の発光素子３Ａ及び発光素子３Ｂとして小型の光源、例えばＬＥＤを使用する場合、以下のように発光素子３Ａ及び発光素子３Ｂを、必要な数の比率で分布させてもよい。例えば、発光素子３Ａと発光素子３Ｂを１：２の比率で配置したい場合には、カメラの開口部８の周りに沿って１列に、発光素子３Ａ、発光素子３Ｂ、発光素子３Ｂの３個を１組として、この組を順番に開口部８の周囲に並べる。また、周囲が明るいなどの理由で、発光素子３Ａ及び発光素子３Ｂがより大きな光パワーを要する場合には、上述の一列に並べた発光素子の列の周囲にできるだけ近接して、二列目以降に同様に発光素子３Ａ及び発光素子３Ｂを並べる。また、開口部８の一番近くの１列に発光素子３Ａを並べ、その周囲に近接するように発光素子３Ｂを２列並べる。大きな光パワーを要する場合は、発光素子３Ａを開口部の一番近くに２列並べ、その周囲に近接するように発光素子３Ｂを４列並べてもよい。また、開口部８近くから順に、１列ずつ発光素子３Ａ、発光素子３Ｂ、発光素子３Ｂ、発光素子３Ａ、発光素子３Ｂ、発光素子３Ｂという順に配列してもよいし、発光素子３Ａと発光素子３Ｂとの眼鏡反射像どうしが打ち消しあうならば、発光素子３Ａ、発光素子３Ｂ、発光素子３Ａ、発光素子３Ｂ、発光素子３Ａ、発光素子３Ｂと並べてもよい。

また、図２に示した瞳孔検出用光源装置３において、対象者から見て開口部８の奥側に第１のカメラと第２のカメラとを用意しておいた場合には、瞳孔検出装置を以下のように構成することもできる。

発光素子３Ａの中心波長を８５０ｎｍ（第１の中心波長）とする。発光素子３Ｂ，３Ｃの中心波長を９５０ｎｍ（第２の中心波長）とする。対象者から見て開口部８の奥側に、例えばハーフミラーやダイクロイックミラー等の波長分離手段を設ける。この波長分離手段は、対象者から開口部を経由して波長分離手段に到達した光を波長分離し、波長８５０ｎｍ付近の光を第１のカメラに入射させると共に、波長９５０ｎｍ付近の光を第２のカメラに入射させる。そして、制御装置４は、発光素子３Ａと発光素子３Ｂ，３Ｃとを同時に発光させる。このようにすると、第１のカメラにより、波長８５０ｎｍ付近の光からなる明瞳孔画像を撮影できると共に、第２のカメラにより、波長９５０ｎｍ付近の光からなる暗瞳孔画像を撮影することができる。

また、以上で説明した実施形態においては発光素子としてＬＥＤを用いるものとしたが、ＬＥＤに代えて指向性のある面発光体を用いてもよい。また、本発明の瞳孔検出用光源装置、瞳孔検出装置及び瞳孔検出方法による検出対象は、人間の瞳孔に限定されるものではなく、例えば人間の瞳孔を模した形状とされてロボット等に取り付けられた人工瞳孔を検出対象としてもよい。

また、本発明の瞳孔検出用光源装置とローリングシャッター方式のイメージセンサとを用いて瞳孔検出を行うことも可能である。例えば、特許第４５２８９７６号のように、ローリングシャッター方式のイメージセンサの交互のライン毎に明瞳孔画像データと暗瞳孔画像データとを得て、これらの明瞳孔画像データと暗瞳孔画像データとの差分をとって瞳孔を検出する瞳孔検出装置及び瞳孔検出方法が知られている。本発明の瞳孔検出用光源装置をこのような瞳孔検出装置及び瞳孔検出方法に適用する場合には、例えば明瞳孔画像を得るタイミングで第１の光源（例えば、図２に示した発光素子３Ａ）により対象者の顔を照射し、暗瞳孔画像を得るタイミングで第２の光源（例えば、図２に示した発光素子３Ｂ）及び第３の光源（例えば、図２に示した発光素子３Ｃ）により対象者の顔を照射すればよい。

ここで、本実施形態の瞳孔検出用光源装置において、第２の光源は、暗瞳孔画像における対象者の瞳孔の明るさを明瞳孔画像における対象者の瞳孔の明るさよりも相対的に暗くする中心波長を有する照明光を出射することとしてもよい。この場合には、暗瞳孔画像における対象者の瞳孔の明るさが明瞳孔画像における対象者の瞳孔の明るさよりも相対的に暗くなるため、明瞳孔画像と暗瞳孔画像との差分をとることにより、対象者の瞳孔を一層際立たせて検出することができる。

また、第１の光源が出射する照明光は、第１の中心波長を有し、第２の光源が出射する照明光は、第１の中心波長より長い第２の中心波長を有することとしてもよい。一般に、短波長の光は、長波長の光と比べて、眼球を構成する媒体によって吸収されにくい。このため、第２の光源により出射される、暗瞳孔画像を得るための照明光が、第１の光源により出射される、明瞳孔を得るための照明光と比較して、対象者の瞳孔内から反射されにくくなる。したがって、暗瞳孔画像における対象者の瞳孔の明るさが明瞳孔画像における対象者の瞳孔の明るさよりも一層暗くなり、明瞳孔画像と暗瞳孔画像との差分をとることにより、対象者の瞳孔を一層際立たせて検出することができる。

ここで、第３の光源は、第２の中心波長を有する照明光を出射することとしてもよい。この場合には、第３の光源によって出射された照明光が眼球を構成する媒体により吸収されるため、暗瞳孔画像における瞳孔の輝度を低くすることができ、対象者の瞳孔をより検出しやすくすることができる。

また、第３の光源は、開口部を挟んで対称な位置に配置された少なくとも一対の光源であることとしてもよい。この場合には、第３の光源により照明光が出射された場合の対象者の顔面の輝度のバランスがとりやすくなり、明瞳孔画像と暗瞳孔画像の差分を取った後に対象者の顔面部分に差分が残りにくくなる。これにより、対象者の瞳孔を精度よく検出できる。

また、第３の光源は、対象者から見て、第２の光源に関して、対象者の視野の中心から離れる方向に配置されていることとしてもよい。この場合には、第３の光源が対象者の視野の中心から離れる方向に配置されているため、眼鏡反射像と対象者の瞳孔とが開口部から見て重なりにくくなり、対象者の瞳孔を検出する際の眼鏡反射の悪影響をより低減することができる。

また、上記カメラを第１のカメラとし、上記第１のカメラに設けられた開口部を第１の開口部として、対象者に対向して配置され、対象者の瞳孔からの光を通過させるための、第２のカメラに設けられた開口部である第２の開口部と、第２のカメラで明瞳孔画像を得るための照明光を、対象者から見て第２の開口部の内側又は近傍の少なくとも一方から、対象者の顔に向けて出射する第４の光源と、を備え、第３の光源は、照明光を、対象者から見て第２の開口部の内側又は近傍の少なくとも一方であって、第２の開口部の中心からの距離が第４の光源の位置と比較して等しいか大きい位置から、対象者の顔に向けて照射することとしてもよい。この場合には、第１の開口部を介して第１のカメラで対象者の顔を撮像するとともに第２の開口部を介して第２のカメラで対象者の顔を撮像するようにし、第１の光源により照明光が出射されたときに第１のカメラで明瞳孔画像を撮像し、第４の光源により照明光が出射されたときに第２のカメラで明瞳孔画像を撮像し、第２の光源及び第３の光源により照明光が出射されたときに第１のカメラ及び第２のカメラのそれぞれで暗瞳孔画像を撮像するようにすることができる。そのため、２台のカメラを使用して対象者の瞳孔の３次元座標を算出して視線検出を行う場合において、第２の光源及び第３の光源を第１のカメラ及び第２のカメラでの撮像の両方に利用することができ、光源を配置するための余分なスペースが不要となり、瞳孔検出用光源装置をより小型化することができる。また、このような瞳孔検出用光源装置は、特許第４４９１６０４号公報に記載されているような、２台のカメラをステレオ較正しない場合にも使用できる。

また、第１のカメラで暗瞳孔画像を得るための照明光を、第１の開口部を挟んで第３の光源と対称な位置から、対象者に向けて出射する第５の光源と、第２のカメラで暗瞳孔画像を得るための照明光を、第２の開口部を挟んで第２の光源と対称な位置から、対象者に向けて出射する第６の光源と、をさらに備えることとしてもよい。この場合には、第１の開口部を挟んで対称な位置に配置された第３の光源及び第５の光源により照明光が出射されたときに第１の開口部を介して第１のカメラで暗瞳孔画像を撮像し、第２の開口部を挟んで対称な位置に配置された第２の光源及び第６の光源により照明光が出射されたときに第２の開口部を介して第２のカメラで暗瞳孔画像を撮像することにより、撮像された暗瞳孔画像における対象者の顔面の輝度のバランスがとれ、差分処理により対象者の顔面部分を消失させて瞳孔検出をより容易にすることができる。

また、上記カメラを第１のカメラとし、上記第１のカメラに設けられた開口部を第１の開口部として、対象者に対向して配置され、対象者の瞳孔からの光を通過させるための、第２のカメラに設けられた開口部である第２の開口部と、第２のカメラで明瞳孔画像を得るための照明光を、対象者の顔に向けて出射する第４の光源と、第２のカメラで得られた明瞳孔画像における対象者の眼鏡反射像を画像差分によって相殺させることができるだけの眼鏡反射像を形成させるための照明光を、対象者から見て第２の開口部の内側又は近傍の少なくとも一方であって、第２の開口部の中心からの距離が第４の光源の位置と比較して等しいか大きい位置から、対象者に向けて出射する第５の光源と、第１のカメラ及び第２のカメラで暗瞳孔画像を得るための照明光を、第１の開口部と第２の開口部との中間であって第１の開口部からの距離と第２の開口部からの距離とが等しい位置から、対象者の顔に向けて出射する第６の光源と、第２のカメラで暗瞳孔画像を得るための照明光を、対象者から見て第２の開口部から離間した位置であって第２の開口部を挟んで第６の光源と対称な位置から、対象者の顔に向けて出射する第７の光源と、をさらに備え、第３の光源は、第１の開口部を挟んで第７の光源と対称な位置から照明光を出射することとしてもよい。この場合には、第１の開口部を挟んで対称な位置に配置された第３の光源及び第６の光源により照明光が出射されたときに第１の開口部を介して第１のカメラで暗瞳孔画像を撮像し、第２の開口部を挟んで対称な位置に配置された第６の光源及び第７の光源により照明光が出射されたときに第２の開口部を介して第２のカメラで暗瞳孔画像を撮像することにより、暗瞳孔画像における対象者の顔面の輝度のバランスがとれ、差分処理により対象者の顔面部分を消失させて瞳孔検出をより容易にすることができるとともに、第６の光源を第１のカメラでの撮像時及び第２のカメラでの撮像時の両方に共用することが可能となるため、瞳孔検出用光源装置をより小型化することができる。

また、第１の光源は、対象者から見て、開口部内から照明光を出射することとしてもよい。この場合には、明瞳孔画像を得るための照明光が第１の光源により開口部内から出射されるため、明瞳孔画像における対象者の瞳孔の明るさが一層明るくなり、対象者の瞳孔をより際立たせて検出することができる。

また、第１の光源及び第２の光源は、対象者から見て、開口部内から照明光を出射することとしてもよい。この場合にも、明瞳孔画像を得るための照明光が第１の光源により開口部内から出射されるため、明瞳孔画像における対象者の瞳孔の明るさが一層明るくなり、対象者の瞳孔をより際立たせて検出することができる。

また、本実施形態の瞳孔検出装置において、第１の光源、第２の光源及び第３の光源の発光強度及び発光タイミング、並びに撮像手段の撮像タイミングを制御する制御部をさらに備えていてもよい。この場合には、制御部により第１の光源、第２の光源及び第３の光源並びに撮像手段を制御することにより、撮像手段により撮像される明瞳孔画像及び暗瞳孔画像に基づいて、対象者の瞳孔をより際立たせるとともに眼鏡反射像を消失させて、より容易に対象者の瞳孔を検出することができる。

また、制御部は、第１の光源を第１の時刻に発光させるとともに、第２の光源及び第３の光源を第１の時刻と異なる第２の時刻に発光させることとしてもよい。この場合には、第１の光源が発光している第１の時刻に明瞳孔画像を撮像し、第２の光源及び第３の光源が発光している第２の時刻に暗瞳孔画像を撮像することにより、第１の光源及び第３の光源により明瞳孔画像と暗瞳孔画像とにおける瞳孔部分の輝度の差を拡大しつつ、第２の光源により、第１の光源による眼鏡反射像を画像差分により相殺・消失させることができるだけの輝度と大きさと形状の眼鏡反射像を生じさせることができるため、明瞳孔画像と暗瞳孔画像との差分をとることで、対象者の瞳孔をより際立たせるとともに眼鏡反射像を消失させて、より容易に対象者の瞳孔を検出することができる。

また、制御部は、第１の時刻における第１の光源の発光強度と、第２の時刻における第２の光源の発光強度及び第３の光源の発光強度の和とが等しくなるように第１の光源、第２の光源及び第３の光源を発光させることとしてもよい。この場合には、第１の光源を発光させて撮像される明瞳孔画像と、第２の光源及び第３の光源を発光させて撮像させる暗瞳孔画像とで、対象者の顔面部分や背景の輝度を同等とすることができるため、明瞳孔画像と暗瞳孔画像との差分を取ることにより、対象者の顔面部分や背景を消失させ、対象者の瞳孔をより容易に検出することができる。

また、制御部は、第１の光源を発光させると同時に撮像手段に明瞳孔画像を撮像させ、第２の光源を発光させると同時に撮像手段に第１の暗瞳孔画像を撮像させ、第３の光源を発光させると同時に撮像手段に第２の暗瞳孔画像を撮像させ、第１の光源、第２の光源及び第３の光源のいずれも発光させない状態で撮像手段に無照明画像を撮像させることとしてもよい。この場合には、明瞳孔画像、第１の暗瞳孔画像、及び第２の暗瞳孔画像からそれぞれ無照明画像を差し引く差分を取ることにより、外部光の影響を取り除くことができると同時に、第１の光源、第２の光源及び第３の光源の発光強度のバランスが取れていない状態でも、明瞳孔画像、第１の暗瞳孔画像及び第２の暗瞳孔画像に基づいて、対象者の瞳孔を検出することができる。

また、明瞳孔画像、第１の暗瞳孔画像及び第２の暗瞳孔画像のそれぞれにおいて、輝度が飽和した部分の画素値を０とし、他の部分の画素値を１とした３枚の２値化画像を生成し、３枚の２値化画像の論理積をとった論理積画像を生成し、論理積画像と、明瞳孔画像、第１の暗瞳孔画像及び第２の暗瞳孔画像のそれぞれとの論理積をとり、論理積に基づいて対象者の瞳孔を検出することとしてもよい。この場合、輝度が飽和した部分は眼鏡反射像である可能性が高く、論理積画像では、明瞳孔画像、第１の暗瞳孔画像及び第２の暗瞳孔画像のいずれかで輝度が飽和した部分の画素値が０とされるため、論理積画像と、明瞳孔画像、第１の暗瞳孔画像及び第２の暗瞳孔画像のそれぞれとの論理積をとることにより、眼鏡反射像である可能性が高い部分の画素値を０として対象者の瞳孔を検出することができる。このため、誤って眼鏡反射像を対象者の瞳孔であるとして検出することを防止することができる。

第１の光源が出射する照明光は、第１の中心波長を有し、第２の光源及び第３の光源が出射する照明光は、第１の中心波長と異なる第２の中心波長を有し、撮像手段が、第１のカメラと、第２のカメラと、第１の中心波長を有する光を第１のカメラに入射させると共に第２の中心波長を有する光を第２のカメラに入射させる波長分離手段と、を有し、制御部が、第１の光源、第２の光源及び第３の光源を同時に発光させる、こととしてもよい。この場合、波長分離手段が第１の中心波長を有する光と第２の中心波長を有する光とを波長分離するため、第１の光源が出射する、第１の中心波長を有する照明光により、第１のカメラが明瞳孔画像を撮影するのと同時に、第２の光源及び第３の光源が出射する、第２の中心波長を有する照明光により、第２のカメラが暗瞳孔画像を撮影することができる。このため、明瞳孔画像と暗瞳孔画像の撮影のタイミングの間に対象者が動くことにより、明瞳孔画像と暗瞳孔画像との差分画像に、不必要な差分画素が残ることを防止することができる。

本発明は、瞳孔検出用光源装置、瞳孔検出装置及び瞳孔検出方法を使用用途とし、明瞳孔画像と暗瞳孔画像との明暗差を拡大又は維持しながら同時に眼鏡反射像を消失させることができる。

１…瞳孔検出装置、２…カメラ（撮像手段）、３Ａ，３Ａ１，３Ａ５…発光素子（第１の光源）、３Ａ２，３Ａ６…発光素子（第４の光源）、３Ｂ，３Ｂ１，３Ｂ５…発光素子（第２の光源）、３Ｂ２，３Ｃ…発光素子（第３の光源）、３Ｂ６，３Ｃ１…発光素子（第５の光源）、３Ｃ２，３Ｃ７…発光素子（第６の光源）、３Ｃ６…発光素子（第７の光源）、４…制御装置（制御部）、６…撮像素子、８，８１…開口部（第１の開口部）、８２…開口部（第２の開口部）。

Claims (19)

1. 対象者の明瞳孔画像及び暗瞳孔画像に基づいて対象者の瞳孔を検出するために用いられ、前記明瞳孔画像及び前記暗瞳孔画像を得るための照明光を前記対象者の顔に向けて照射する瞳孔検出用光源装置であって、
   前記対象者に対向して配置され、前記対象者の瞳孔からの光を通過させるための、カメラに設けられた開口部と、
   前記カメラで前記明瞳孔画像を得るための照明光を、前記対象者から見て前記開口部の内側又は近傍の少なくとも一方から、前記対象者の顔に向けて照射する第１の光源と、
   前記カメラで得られた前記明瞳孔画像における対象者の眼鏡反射像を画像差分によって相殺させることができるだけの眼鏡反射像を形成させるための照明光を、前記対象者から見て前記開口部の内側又は近傍の少なくとも一方であって、前記開口部の中心からの距離が前記第１の光源の位置と比較して等しいか大きい位置から、前記対象者の顔に向けて照射する第２の光源と、
   前記カメラで前記暗瞳孔画像を得るための照明光を、前記対象者から見て前記開口部から離間した位置から、前記対象者の顔に向けて照射する第３の光源と、を備える、
   ことを特徴とする瞳孔検出用光源装置。
2. 前記第２の光源は、前記暗瞳孔画像における前記対象者の瞳孔の明るさを前記明瞳孔画像における前記対象者の瞳孔の明るさよりも相対的に暗くする中心波長を有する照明光を出射することを特徴とする、請求項１記載の瞳孔検出用光源装置。
3. 前記第１の光源が出射する照明光は、第１の中心波長を有し、
   前記第２の光源が出射する照明光は、前記第１の中心波長より長い第２の中心波長を有することを特徴とする、請求項１又は２記載の瞳孔検出用光源装置。
4. 前記第３の光源は、前記第２の中心波長を有する照明光を出射する、
   ことを特徴とする請求項３記載の瞳孔検出用光源装置。
5. 前記第３の光源は、前記開口部を挟んで対称な位置に配置された少なくとも一対の光源である、
   ことを特徴とする請求項１〜４のいずれか１項記載の瞳孔検出用光源装置。
6. 前記第３の光源は、前記対象者から見て、前記第２の光源に関して、前記対象者の視野の中心から離れる方向に配置されている、
   ことを特徴とする請求項１〜５のいずれか１項記載の瞳孔検出用光源装置。
7. 前記カメラを第１のカメラとし、前記第１のカメラに設けられた開口部を第１の開口部として、
   前記対象者に対向して配置され、前記対象者の瞳孔からの光を通過させるための、第２のカメラに設けられた開口部である第２の開口部と、
   前記第２のカメラで前記明瞳孔画像を得るための照明光を、前記対象者から見て前記第２の開口部の内側又は近傍の少なくとも一方から、前記対象者の顔に向けて出射する第４の光源と、を備え、
   前記第３の光源は、照明光を、前記対象者から見て前記第２の開口部の内側又は近傍の少なくとも一方であって、前記第２の開口部の中心からの距離が前記第４の光源の位置と比較して等しいか大きい位置から、前記対象者の顔に向けて照射する、
   ことを特徴とする請求項１〜４のいずれか１項記載の瞳孔検出用光源装置。
8. 前記第１のカメラで前記暗瞳孔画像を得るための照明光を、前記第１の開口部を挟んで前記第３の光源と対称な位置から、前記対象者に向けて出射する第５の光源と、
   前記第２のカメラで前記暗瞳孔画像を得るための照明光を、前記第２の開口部を挟んで前記第２の光源と対称な位置から、前記対象者に向けて出射する第６の光源と、をさらに備える、
   ことを特徴とする請求項７記載の瞳孔検出用光源装置。
9. 前記カメラを第１のカメラとし、前記第１のカメラに設けられた開口部を第１の開口部として、
   前記対象者に対向して配置され、前記対象者の瞳孔からの光を通過させるための、第２のカメラに設けられた開口部である第２の開口部と、
   前記第２のカメラで前記明瞳孔画像を得るための照明光を、前記対象者から見て前記第２の開口部の内側又は近傍の少なくとも一方から、前記対象者の顔に向けて出射する第４の光源と、
   前記第２のカメラで得られた前記明瞳孔画像における対象者の眼鏡反射像を画像差分によって相殺させることができるだけの眼鏡反射像を形成させるための照明光を、前記対象者から見て前記第２の開口部の内側又は近傍の少なくとも一方であって、前記第２の開口部の中心からの距離が前記第４の光源の位置と比較して等しいか大きい位置から、前記対象者に向けて出射する第５の光源と、
   前記第１のカメラ及び前記第２のカメラで前記暗瞳孔画像を得るための照明光を、前記第１の開口部と前記第２の開口部との中間であって前記第１の開口部からの距離と前記第２の開口部からの距離とが等しい位置から、前記対象者の顔に向けて出射する第６の光源と、
   前記第２のカメラで前記暗瞳孔画像を得るための照明光を、前記対象者から見て前記第２の開口部から離間した位置であって前記第２の開口部を挟んで前記第６の光源と対称な位置から、前記対象者の顔に向けて出射する第７の光源と、
   をさらに備え、
   前記第３の光源は、前記第１の開口部を挟んで前記第６の光源と対称な位置から照明光を出射する、
   ことを特徴とする請求項１〜４のいずれか１項記載の瞳孔検出用光源装置。
10. 前記第１の光源は、前記対象者から見て、前記開口部内から照明光を出射する、
    ことを特徴とする請求項１〜９のいずれか１項記載の瞳孔検出用光源装置。
11. 前記第１及び第２の光源は、前記対象者から見て、前記開口部内から照明光を出射する、
    ことを特徴とする請求項１〜９のいずれか１項記載の瞳孔検出用光源装置。
12. 請求項１〜１１のいずれか１項記載の瞳孔検出用光源装置と、
    前記瞳孔検出用光源装置から出射される照明光によって得られた前記対象者の明瞳孔画像及び暗瞳孔画像を撮像する撮像手段と、
    前記明瞳孔画像及び前記暗瞳孔画像に基づいて前記対象者の瞳孔を検出する瞳孔検出手段と、を備え、
    前記撮像手段は、前記明瞳孔画像及び暗瞳孔画像のそれぞれを撮像して画像データを出力する撮像素子と、
    前記明瞳孔画像及び前記暗瞳孔画像を前記撮像素子に向けて結像する光学系とを有する、
    ことを特徴とする瞳孔検出装置。
13. 前記第１の光源、前記第２の光源及び前記第３の光源の発光強度及び発光タイミング、並びに前記撮像手段の撮像タイミングを制御する制御部をさらに備えることを特徴とする、
    請求項１２記載の瞳孔検出装置。
14. 前記制御部は、前記第１の光源を第１の時刻に発光させるとともに、前記第２の光源及び前記第３の光源を前記第１の時刻と異なる第２の時刻に発光させることを特徴とする、請求項１３記載の瞳孔検出装置。
15. 前記制御部は、前記第１の時刻における前記第１の光源の発光強度と、前記第２の時刻における前記第２の光源の発光強度及び前記第３の光源の発光強度の和とが等しくなるように前記第１の光源、前記第２の光源及び前記第３の光源を発光させることを特徴とする、
    請求項１４記載の瞳孔検出装置。
16. 前記制御部は、前記第１の光源を発光させると同時に前記撮像手段に明瞳孔画像を撮像させ、前記第２の光源を発光させると同時に前記撮像手段に第１の暗瞳孔画像を撮像させ、前記第３の光源を発光させると同時に前記撮像手段に第２の暗瞳孔画像を撮像させ、前記第１の光源、前記第２の光源及び前記第３の光源のいずれも発光させない状態で前記撮像手段に無照明画像を撮像させることを特徴とする、
    請求項１３記載の瞳孔検出装置。
17. 前記明瞳孔画像、前記第１の暗瞳孔画像及び前記第２の暗瞳孔画像のそれぞれにおいて、輝度が飽和した部分の画素値を０とし、他の部分の画素値を１とした３枚の２値化画像を生成し、前記３枚の２値化画像の論理積をとった論理積画像を生成し、前記論理積画像と、前記明瞳孔画像、前記第１の暗瞳孔画像及び前記第２の暗瞳孔画像のそれぞれとの論理積をとり、前記論理積に基づいて前記対象者の瞳孔を検出することを特徴とする、
    請求項１６記載の瞳孔検出装置。
18. 前記第１の光源が出射する照明光は、第１の中心波長を有し、
    前記第２の光源及び前記第３の光源が出射する照明光は、前記第１の中心波長と異なる第２の中心波長を有し、
    前記撮像手段が、第１のカメラと、第２のカメラと、前記第１の中心波長を有する光を前記第１のカメラに入射させると共に前記第２の中心波長を有する光を前記第２のカメラに入射させる波長分離手段と、を有し、
    前記制御部が、前記第１の光源、前記第２の光源及び前記第３の光源を同時に発光させる、ことを特徴とする請求項１３記載の瞳孔検出装置。
19. 請求項１〜１１のいずれか１項記載の瞳孔検出用光源装置を用いた瞳孔検出方法であって、
    前記瞳孔検出用光源装置から出射される照明光によって得られた前記対象者の明瞳孔画像及び暗瞳孔画像を撮像するステップと、
    前記明瞳孔画像及び前記暗瞳孔画像に基づいて前記対象者の瞳孔を検出するステップと、を備える、
    ことを特徴とする瞳孔検出方法。

Images