以下、添付図面を参照しながら本発明を実施するための形態を詳細に説明する。図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
(第1実施形態)
[瞳孔検出装置]
図1に示されるように、瞳孔検出装置1は、カメラ2と、光源3と、制御装置4と、を備えている。カメラ2は、筐体5と、筐体5内に収容されたCCD、CMOS等の撮像素子6と、筐体5内に収容された対物レンズ7とを有する。このカメラ2は、画像の取得フレームが非常に短い高速度カメラであってもよいし、いわゆる中速度カメラや、60Hz程度の取得フレームを有するカメラであってもよい。筐体5は、観察対象者の眼球Aと対向する面に形成された円形状の開口部8を有する。対物レンズ7は、開口部8と撮像素子6との間に配置されている。対物レンズ7の光軸L1は、開口部8の中心軸線と一致している。撮像素子6は、その受光面が対物レンズ7の光軸L1に対して垂直に交わるように固定されている。撮像素子6は、対象者の眼球Aの像を撮像することによって画像データを生成して制御装置4に出力する。制御装置4は、光源3の発光強度及び発光タイミング、並びにカメラ2の撮像タイミングを制御する。また、制御装置4は、撮像素子6から出力された画像に基づいて差分処理や瞳孔検出処理を実行する。すなわち、制御装置4は、瞳孔検出手段としても機能する。
なお、開口部8の径は、対物レンズ7の径に比較して小さく、対物レンズ7の有効径と略同程度である。このような構成により、対象者の眼球A付近の像は、開口部8を経てカメラ2内の撮像素子6に向けて導入された後、カメラ2内の対物レンズ7を含む光学系によって、撮像素子6の受光面に収束するように結像される。
光源3は、対象者の顔に向けて照明光を出射する。図2(a)に示されるように、光源3は、ケーシング9と、ケーシング9に埋め込まれた光源3A,3B,3Cを有する。ケーシング9は、開口部8の縁部に沿って開口部8の外側を覆うように筐体5に取り付けられている。
光源3Aは、明瞳孔画像を得るための照明光(第1の照明光)を、対象者の顔に向けて照射するための光源である。すなわち、光源3A(第1の光源)は、第1の光照射手段を構成する。明瞳孔画像とは、後述の暗瞳孔画像と比較して対象者の瞳孔が相対的に明るく写った画像をいう。光源3Aは、出力光の中心波長が850nm(第1の中心波長)の複数の半導体発光素子(LED)からなり、開口部8の近傍に位置している。具体的には、光源3Aは、ケーシング9上で、開口部8の外側において開口部8の縁に沿って等間隔でリング状に配設されている。光源3Aは、開口部8の縁にできるだけ近い位置に設けられることが好ましい。これにより、後述するように、光源3Aにより照らし出される対象者の像においては、瞳孔がより明るく映し出され、小さい瞳孔であっても検出が容易になる。
光源3B(第3の光源)は、光源3Aからの照明光の照射により得られる明瞳孔画像における対象者の眼鏡反射像を画像差分によって相殺させることができるだけの眼鏡反射像を形成させるための照明光(第3の照明光)を、対象者の顔に向けて照射する光源である。すなわち、光源3Bは、第3の光照射手段を構成する。ここで、光源3Bは、暗瞳孔画像において、眼鏡反射の画素値を飽和させる。したがって、光源3の発光強度は、眼鏡反射の画素値を飽和させ得るに足りる値であればよい。眼鏡は、顔や瞳孔など、対象者の顔における眼鏡反射以外の部分に比べ光を反射しやすいので、極端に画素値が大きくなりやすい。そうすると、眼鏡反射の画素値を飽和させ得る光源3Bの発光強度は、検出可能な角膜反射を生じさせる光源3Aや後述する光源3Cの発光強度よりもかなり小さくてよい。光源3Bは、出力光の中心波長が所定長の複数のLEDからなり、開口部8の近傍に配置されている。所定長の波長は、例えば、850nmであってもよいし、950nmであってもよい。具体的には、光源3Bは、ケーシング9上で、光源3Aの外側に隣接して等間隔でリング状に配置される。光源3A及び光源3Bの数は、画像中での対象者の顔における輝度のバランスを取れるように、すなわち光源3Aにより対象者の顔に照明光を出射した場合と、光源3Bにより対象者の顔に照明光を出射した場合との、対象者の顔における照度が略等しくなるように決定される。
光源3C(第2の光源)は、暗瞳孔画像を得るための照明光(第2の照明光)を、対象者の顔に向けて照射するための光源である。すなわち、光源3Cは、第2の光照射手段を構成する。暗瞳孔画像とは、前述の明瞳孔画像と比較して対象者の瞳孔が相対的に暗く映った画像をいう。光源3Cは、ケーシング9上で、光源3Bから開口部8の外側に離間して配置された複数のLEDからなる。ここで、光源3Bと光源3Cとの離間の程度については、光源3Bと光源3Cとの単純な距離よりも、対象者から見た場合の光源3Bと光源3Cの角度の差が重要となる。つまり、瞳孔検出装置1と対象者の眼球Aとの距離が大きい場合には、瞳孔検出装置1と対象者の眼球Aとの距離が小さい場合と比較して、瞳孔検出装置1上における光源3Bと光源3Cとの間の距離を大きくする必要がある。具体的には、対象者から見た光源3Bと光源3Cとの間の角度、すなわち対象者の眼球Aと光源3Bとを結ぶ直線と、対象者の眼球Aと光源3Cとを結ぶ直線とがなす角度が、例えば10°程度離れていることが好ましい。この2個の光源3Cによれば、角膜上に2個の反射点が発生する。そして、本実施形態に係る瞳孔検出装置1では、後述するように暗瞳孔画像の角膜反射を利用して、光源3Aに対応する仮想的な角膜反射を推定する。そうすると、暗瞳孔画像において、2個の角膜反射はそれぞれ分離していることが望まれる。したがって、2個の光源3Cは、暗瞳孔画像においてそれぞれの角膜反射が分離して写るように、光源3C間の距離等を調整する。また、前述したように、光源3Bの発光強度は、光源3Cの発光強度と比較して小さく設定されている。したがって、暗瞳孔画像の取得時においては、光源3B,3Cから同時に照明光が出射されるが、光源3Bの照明光に起因する角膜反射は、光源3Cの照明光に起因する角膜反射に比べて極めて弱くなる。そのため、光源3Bの角膜反射が光源3Cにより生じる個々の角膜反射の検出を妨害することはない。もし、光源3Bの角膜反射が光源3Cの角膜反射と同等もしくはやや暗い程度であり、且つ、カメラの分解能が低い場合には、光源3Bと光源3Cとの光源が一体化したような大きな角膜反射像が生じる。この角膜反射像から検出される中心位置は、ばらつきが生じやすい。なぜならば、光源の発光には指向性があるため、対象者の頭部の位置によって、各光源により角膜反射の明るさやサイズが変わりやすいため、それが合成されてできた角膜反射像の輝度分布は揺らぎやすいからである。それに対して、光源3Cにより生じる個々の角膜反射のそれぞれの中心を求めた後に、それら中心から光源3Aの角膜反射の位置を推定するほうが、位置検出精度が高い。以上のことから、光源3Bは、光源3Aによって生じる眼鏡反射を相殺するための光源の役割を果たすため、光源3Bの発光強度は、光源3Bによる眼鏡反射が輝度レベルにおいて飽和しなければならないが、光源3Cにより生じる個々の角膜反射の正確な中心検出の妨害をしない程度に弱く設定すべきである。
光源3Cは、光源3Bと同じく、中心波長950nmを有する照明光を対象者に向けて出射する。また、光源3Cを構成する複数のLEDは、開口部8を挟んで対称な位置に二分されて配置されている。なお、本実施形態において、光源3Cは、開口部8を挟んで二分された一対の光源の群として配置されているが、ケーシング9上において、開口部8を中心にして互いに異なる方向に配置された光源を2対以上配置するようにしてもよい。光源3Cが出射する照明光の中心波長は、950nmであることが望ましいが、850nmであってもよく、その他の波長でも、不可視の近赤外光であればよい。光源3Cが出射する照明光の中心波長は、800nm〜1000nmであることが望ましい。
なお、一般に、市販のカメラの感度は、イメージセンサ面に取り付けた光学フィルタのため、可視光に比べて近赤外領域で低下する。近赤外領域においても、波長が長くなるにつれて、更に感度が低下する。したがって、例えば、波長が850nmの場合に比べて、波長が950nmの場合の方が、カメラの感度も低下する。更に、波長が長くなると、LED自体のパワーも落ちるので、カメラ画像に映る顔画像の輝度を同等にするために、上記の800nm〜1000nmの波長範囲では、波長が長いほど多くのLEDが必要である。逆にいえば、LEDの使用個数を減らしたい場合は、短い波長を選択すればよい。
上記の800nm〜1000nmという範囲は、次の理由により決定されている。LEDが出射する光の波長は、レーザのような単一波長ではなく、発光波長に大きな幅が存在する。したがって、LEDの中心波長が800nm〜1000nmの範囲にあったとしても、LEDから出射される光には、波長の短い可視光が含まれるためである。したがって、発光素子として、LEDよりも半値幅が狭い発光素子(例えばスーパールミネッセンスダイオードなど)を使用する場合は、800nm〜1000nmよりも、もっと広い範囲であってよい。
上述の光源3A,3B,3Cの配置によれば、光源3Bから光軸L1までの距離は、光源3Aから光軸L1までの距離よりも大きい。また、光源3Cから光軸L1までの距離は、光源3Bから光軸L1までの距離よりも更に大きい。このとき、光源3A,3B,3Cは、いずれも対物レンズ7の光軸L1に沿って照明光を出射するようにケーシング9上に設けられている。また、光源3A,3B,3Cの個数及びそれぞれに対する供給電流は、光源3Aの発光強度と、光源3Bの発光強度及び光源3Cの発光強度の和とが等しくなるように適切な個数及び電流値に設定されている。眼鏡反射を相殺するための光源3Bの発光強度は、明瞳孔画像を得るための光源3Aの発光強度よりもかなり暗く設定することが可能であり、例えば、光源3Bの発光強度は、光源3Aの発光強度の1/30とすることができる。光源3A,3B,3Cの発光強度は、光源3Aを発光させたときの撮影対象である対象者の顔面での照度と、光源3B及び光源3Cを発光させたときの顔面での照度とが略同一になるように設定されている。更に、光源3A,3B,3Cは、制御装置4からの制御信号により、それぞれ独立に発光タイミングを制御可能にされている。
ここで、光源3の光源3Aから対象者の眼球Aに照明光が出射されると、眼球Aにおいて角膜反射が生じ、この角膜反射を含む瞳孔が撮像される。これが明瞳孔画像である。光源3B及び光源3Cから同時に照明光が出射されると、眼球Aにおいて角膜反射が生じ、この角膜反射を含む瞳孔が撮像される。これが暗瞳孔画像である。これは、第1の性質及び第2の性質の相乗効果によるものである。第1の性質は、眼球Aが900nmより短い波長の照明光を受ける場合には、眼球Aを構成する媒体によって照明光が吸収されにくいため、900nmより長い波長の照明光を受ける場合に比較して瞳孔が明るく映るという性質である。第2の性質は、眼球Aへの照明光がカメラ2の光軸からより離れた位置から入射した場合には、眼球Aの瞳孔から入射し、眼球内部で反射されて再び瞳孔を通過した照明光がカメラ2に届きにくいため、瞳孔が暗く映るという性質である。
なお、光源3A,3B,3Cとしては、出力光の中心波長が上記波長のものには限定されない。光源3Aとして中心波長が850nmのLEDの代わりに中心波長が830nmや880nmのものを使用してもよい。光源3Aには、およそ900nmを境に任意の中心波長のものを使用してもよい。光源3B及び3Cとして中心波長が950nmのLEDの代わりに中心波長が810nmや830nmや930nmや940nmや970nmのものを使用してもよい。また、光源3Cとして、光源3Bと中心波長が等しいものを使用せず、他の中心波長を有するものを使用してもよい。あくまでも、光源3A,3B,3Cが同じ位置に存在するときに、カメラ画像において対象者の顔領域で同等の明るさになるようにLEDの発光強度を調整したときに(すなわちバランスをとったときに)、より明瞳孔が暗瞳孔よりも明るくなるのが望ましく、それに相当する波長であればよい。ただし、光源3A,3B,3Cとして850nm未満の中心波長のLEDを用いることは、光源そのものが光って見えて対象者にとって眩しく不快であると同時に、照明を受ける対象者の瞳孔が収縮する等の影響を生じるため、好ましくない。また、中心波長が850nmのLEDを用いた場合、LEDが発光する光自体を対象者が全く知覚できなくても、光源自体が赤く見えることがあるため、それが不適切な用途では、870nm程度の波長を選ぶことが望ましい場合がある。なお、810nmや830nm程度の波長を選択した場合には、赤外線透過フィルター(例えば、IR80)を、光源3A,3B,3Cと対象者と間に配置するとよい。この構成によれば、照明光から可視光がカットされるので、対象者が感じる不快感をほぼなくすことができる。
続いて、図3及び図4に示された制御装置4について説明する。
制御装置4は、撮像素子6及び光源3A,3B,3Cの制御と、対象者の瞳孔検出を実行するコンピュータであり得る。制御装置4は、据置型又は携帯型のパーソナルコンピュータ(PC)により構築されてもよいし、ワークステーションにより構築されてもよいし、他の種類のコンピュータにより構築されてもよい。あるいは、制御装置4は複数台の任意の種類のコンピュータを組み合わせて構築されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。
図3に示されるように、制御装置4は、CPU(プロセッサ)101と、主記憶部102と、補助記憶部103と、通信制御部104と、入力装置105と、出力装置106とを備える。CPU101は、オペレーティングシステムやアプリケーション・プログラムなどを実行する。主記憶部102は、ROM及びRAMで構成される。補助記憶部103は、ハードディスクやフラッシュメモリなどで構成される。通信制御部104は、ネットワークカードあるいは無線通信モジュールで構成される。入力装置105は、キーボードやマウスなどを含む。出力装置106は、ディスプレイやプリンタなどを含む。
後述する制御装置4の各機能要素は、CPU101又は主記憶部102の上に所定のソフトウェアを読み込ませ、CPU101の制御の下で通信制御部104や入力装置105、出力装置106などを動作させ、主記憶部102又は補助記憶部103におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部102又は補助記憶部103内に格納される。
図4に示されるように、制御装置4は機能的構成要素として、撮像素子駆動ユニット11と、光源駆動ユニット12と、瞳孔検出ユニット13とを有する。撮像素子駆動ユニット11は、撮像素子6の撮影タイミングを制御する機能要素である。光源駆動ユニット12は、光源3A,3B,3Cの発光タイミングを制御する機能要素である。瞳孔検出ユニット13は、撮像素子6から出力された画像を利用して、当該画像における瞳孔を検出する機能要素である。検出された瞳孔に関する情報の出力先は何ら限定されない。例えば、制御装置4は、結果を画像、図形、又はテキストでモニタに表示してもよいし、メモリやデータベースなどの記憶装置に格納してもよいし、通信ネットワーク経由で他のコンピュータシステムに送信してもよい。
瞳孔検出ユニット13は、機能的構成要素として、情報保持部14と、推定部16と、位置合わせ部17と、差分画像生成部18と、瞳孔検出部19と、を有する。情報保持部14は、第1の情報を保持する機能要素である。第1の情報とは、光源3Aと光源3Cとの間の位置関係を示す情報である。情報保持部14の動作及び第1の情報については、後述する。推定部16は、第1の情報及び暗瞳孔画像に含まれた角膜反射を利用して、第2の情報を推定する機能要素である。第2の情報とは、第1の照明光を照射したと仮定したときに暗瞳孔画像に現れる仮想的な角膜反射の位置を示す情報である。推定部16の動作及び第2の情報については、後述する。位置合わせ部17は、第2の情報及び明瞳孔画像における角膜反射を利用して、明瞳孔画像及び暗瞳孔画像の位置合わせを行う機能要素である。差分画像生成部18は、明瞳孔画像及び前記暗瞳孔画像の差分画像を生成する機能要素である。瞳孔検出部19は、差分画像を利用して瞳孔を取得する機能要素である。
[瞳孔検出方法]
次に、瞳孔検出装置1の動作について説明するとともに瞳孔検出方法について説明する。
まず、対象者に開口部8が対向するようにカメラ2を配置させた状態で、制御装置4が光源3Aを第1の時刻に発光させるとともに、撮像素子6によって対象者の眼球Aの像を撮像する(図5:ステップS1)。このとき、光源3Aからの照明光により、対象者の明瞳孔画像(図6(a)参照)が撮影される。次に、制御装置4が光源3B及び3Cを上記第1の時刻と異なる第2の時刻に発光させるとともに、撮像素子6によって対象者の眼球Aの像を撮像する(図5:ステップS2)。このとき、光源3B及び3Cからの照明光により、対象者の暗瞳孔画像(図6(b)参照)が撮影される。
より詳細には、図2(b)のAのタイミングで光源3Aが点灯し、図2(b)のB及びCのタイミングで、光源3B及び3Cが同時に点灯する。なお、図2(b)において、バーの長さは、カメラ画像上での対象者の顔上での輝度に与える影響の度合いを示している。光源3Bの発光強度は、光源3A,3Cの発光強度よりもかなり暗く設定される。例えば、光源3Bの発光強度は、光源3Aの発光強度の1/30程度に設定してもよい。したがって、カメラ画像上での対象者の顔上での輝度に与える光源3Bの影響は、かなり小さくなるので、図2(b)に示されるように、Bのバーの長さはAのバー及びCのバーよりもかなり短い。
次に、推定部16が、ステップS2において撮像された暗瞳孔画像(図6(b)参照)における仮想角膜反射を推定する(図5:ステップS3)。仮想角膜反射とは、暗瞳孔画像上の光源3Aから出射された第1の照明光による角膜反射である。ここで、図7を参照しつつ、仮想角膜反射の推定における撮像素子6、光源3A,3B及び3Bの位置関係について説明する。撮像素子6、光源3A及び3Bは、暗瞳孔画像において等価の位置にあるとみなせる。これら撮像素子6、光源3A及び3Bは、基準線L2上に配置されている。基準線L2は、光軸L1を通る水平線である。基準線L2は、第1の光源と一方又は他方の第2の光源を通る直線である。例えば、本実施形態のように、光源3Aが複数のLEDで構成され、光源3Cが複数のLEDで構成されている場合、基準線L2は、光源3Aを構成するLEDが配置された領域の中央と、光源3Cを構成するLEDが配置された領域の中央とを通る。第1の光源と一方の第2の光源とを通る基準線と、第1の光源と他方の第2の光源とを通る基準線とは、互いに連続する直線となる場合もある。また、所定の角度(180°を除く)を有する場合もある。更に、基準線L2は、空間座標(例えば図12の世界座標系Fw)における各軸のいずれかに対して平行であってもよいし、各軸のいずれかに対して傾いていてもよい。一方、光源3Cは、基準線L2上において光源3A及び3Bを挟むように配置されている。一方の光源3Cから光軸L1までの距離は、距離DLである。別の光源3Cから光軸L1までの距離は、距離DRである。これら距離DL,DRは、互いに等しくてもよいし、互いに異なっていてもよい。以下の説明においては、距離DL,DRは、互いに等しいものとする。すなわち、光源3Cは、基準線L2上において光軸Lを中点として、対称配置されている。そして、距離DL,DRは第1の情報として情報保持部14に予め保持されている。推定部16は、仮想角膜反射の推定にあたり、距離DL,DRを情報保持部14から得る。
図6(a)に示された明瞳孔画像には、瞳孔Pと、光源3Aにより生成された角膜反射R1とが含まれている。角膜反射R1は、1個の点である。図6(b)に示された暗瞳孔画像には、瞳孔Pと、光源3Cにより生成された角膜反射R2とが含まれている。角膜反射R2は、2個の点である。ここで、暗瞳孔画像における仮想角膜反射の位置は、光源3Aと光源3Cとの位置関係に対応している。本実施形態では光源3Aが2個の光源3Cの中点に配置されているので、光源3Aにより生成される仮想角膜反射R3も光源3Cにより生成される角膜反射R2の中点にあると推定できる。なお、光源3Cの距離DL,DRが互いに異なる場合には、それらの距離比(DL:DR)に基づいて、仮想角膜反射R3を推定することができる。
次に、位置合わせ部17が、ステップS3において推定された仮想角膜反射R3を利用して、暗瞳孔画像と明瞳孔画像の位置合わせを実行する(図5:ステップS4)。この処理では、明瞳孔画像の角膜反射R1に、暗瞳孔画像の仮想角膜反射R3が一致するように暗瞳孔画像を補正する。すなわち、仮想角膜反射R3は、位置合わせのための特徴点としての機能を有する。
次に、差分画像生成部18が、ステップS1において撮像された明瞳孔画像と、ステップS4において位置合わせがなされた暗瞳孔画像の差分を計算し、差分画像(図6(c)参照)を生成する(図5:ステップS5)。そして、瞳孔検出ユニット13が、差分画像に基づいて対象者の瞳孔の位置を検出する(図5:ステップS6)。その後、瞳孔検出装置1は、上記のステップS1〜S6を一定の周期で繰り返し実行する。
[瞳孔検出プログラム]
次に、瞳孔検出装置1を実現するための瞳孔検出プログラムを説明する。図8に示されるように、瞳孔検出プログラムP10は、メインモジュールP11、情報保持モジュールP12、推定モジュールP13、位置合わせモジュールP14、差分画像生成モジュールP15、及び瞳孔検出モジュールP16、を備える。
メインモジュールP11は、瞳孔検出機能を統括的に制御する部分である。情報保持モジュールP12、推定モジュールP13、位置合わせモジュールP14、差分画像生成モジュールP15、及び瞳孔検出モジュールP16を実行することにより実現される機能はそれぞれ、上記の情報保持部14、推定部16、位置合わせ部17、差分画像生成部18、及び瞳孔検出部19の機能と同様である。
瞳孔検出プログラムP10は、例えば、CD−ROMやDVD−ROM、半導体メモリなどの有形の記録媒体に固定的に記録された上で提供されてもよい。また、瞳孔検出プログラムP10は、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。
以上説明した瞳孔検出装置1によれば、開口部8の縁に沿って配置された光源3Aから中心波長850nmを有する照明光が対象者に向けて出射され、また、光源3Aの外側に隣接する光源3Bから、850nmより長い中心波長950nmを有する照明光が対象者に向けて出射されるとともに、光源3Bから開口部8の外側に離間して配置された光源3Cから照明光が対象者に向けて出射される。これにより、開口部8を通過する光により対象者の顔画像を撮像するときに、光源3Aにより照明光が出射された場合には、光源3B及び光源3Cにより照明光が出射された場合と比較して、開口部8に近い光源からの光ほど反射光が強くなることと、短波長の光が長波長の光と比較して眼球を構成する媒体によって吸収されにくくなることの2つの理由により、対象者の瞳孔内からの反射光が強くなる。一方、眼鏡反射像については、顔や瞳孔など、対象者の顔における眼鏡反射以外の部分に比べ極端に輝度が強い。そのため、瞳孔検出が容易にできるようにするために、顔をある程度明るく映るようカメラの絞りやゲイン、LEDの光量を調整すると、眼鏡反射の部分の輝度が飽和する。つまり、顔領域の略全ての画素の値が125以下で表現されるような画像(以下、第1の画像と称する)において、眼鏡反射のピークが例えば1000程度の値を示すはずが、画素値の最大値が255であるならば、眼鏡反射の略全体が最大値の255を示す、すなわち飽和する、ことを意味する。上記の第1の画像を取得する際のLEDの光量を半分にして、別の画像(以下、第2の画像と称する)を取得したとすると、外部光が存在しなければ、顔領域の画素値は、第1の画像における画素値の半分になる。しかし、眼鏡反射のピークは、いまだに第1の画像の半分の500程度の値を示すため、第1の画像の場合よりは多少狭くなるものの、眼鏡反射の多くの部分が最大値255を示し、飽和する。したがって、第1の画像と第2の画像との差分をとると、眼鏡反射の飽和していた部分の画素値は0となる。以上のように、眼鏡反射の画素が飽和していることは、眼鏡反射を画像差分によって相殺させるにあたって重要である。
更に、第2の画像取得時にもう1つの光源を別の位置で点灯させ、その光源の光量を、第2の画像の顔領域での画素値が第1の画像の顔領域での画素値に一致するように調整するとする。すると、第2の画像における顔領域の画素値が、第2の画像の顔領域での眼鏡反射像の画素値に足しあわされて、第2の画像の眼鏡反射像は更に飽和しやすくなり、先述したような眼鏡反射の画素値が飽和した領域が多少狭くなることも防止できるため、第1の画像と第2の画像との差分をとった際に、眼鏡反射が相殺しやすくなる。この時に、第1の画像で明瞳孔が取得され、かつ、後者の画像で暗瞳孔が取得されるように、それぞれの光源の位置や波長が与えられているならば、第1の画像から第2の画像を差し引いて差分画像としたときに、差分画像における顔領域と眼鏡反射部の画像の画素値は0となり、瞳孔領域だけが0よりも大きな値を示し、2値化により瞳孔部が検出できる。
更に、眼鏡反射の像は、光源を構成するLEDの1個1個がそのまま拡大されて眼鏡反射像として映るのではなく、大きく膨らんだ形状として映る。仮に、図9(a)に示すように、多数のLEDが均等間隔で円状に並んでいるとすると、図9(b)に示すように、眼鏡反射の像は、ドーナツ状に膨らんだ形状となる。図9(c)に示すように、多数のLEDが、図9(a)よりも小さな半径の円状に並んでいるとすると、図9(d)に示すように、眼鏡反射の像は、図9(b)のドーナツ状の形状の内側部分が埋まった、円状の形状になる。このように、2つの画像に使用した光源の1つ1つの位置はあまり重要ではなく、多数のLEDが全体として略同じ位置にあるかどうかが眼鏡反射像の位置を決定する。
光源3Aと光源3Bとが隣接しているため、光源3Bは、光源3Aによる眼鏡反射像を画像差分により相殺・消失させることができるだけの輝度と大きさと形状の眼鏡反射像を生じさせることができる。また、光源3Cは光源3Bから開口部の外側に離間して配置されているため、光源3Cによって照明光が出射された場合には、対象者の瞳孔からの反射光が少なくなる。したがって、光源3Aにより照明光が出射されているときに明瞳孔画像を撮像し、光源3B及び光源3Cにより照明光が出射されているときに暗瞳孔画像を撮像することで、光源3A及び光源3Cによって明瞳孔画像と暗瞳孔画像との輝度の差を拡大することができる。また、同時に光源3A及び光源3Bによって眼鏡反射像の輝度及び形状を同様にすることができる。その結果、このようにして撮像された明瞳孔画像と暗瞳孔画像との差分をとることにより対象者の瞳孔をより際立たせて検出させることができる。
ここで、瞳孔検出装置1は、明瞳孔画像と暗瞳孔画像との差分をとる前に、明瞳孔画像と暗瞳孔画像との位置合わせ処理を行う。この位置合わせには、明瞳孔画像に含まれた角膜反射と、暗瞳孔画像に含まれた角膜反射から推定された仮想角膜反射と、が利用される。したがって、明瞳孔画像と暗瞳孔画像との間に対象者が移動した場合であっても精度のよい差分画像を得ることができる。したがって、瞳孔検出装置1は、特に、いわゆる中速度カメラや、60Hz程度の取得フレームを有するカメラに対して有効である。
また、光源3Cは、中心波長950nmを有する照明光を出射するため、第3の光源によって出射された照明光が眼球を構成する媒体により吸収されるので、暗瞳孔画像における瞳孔の輝度を低くすることができ、対象者の瞳孔をより検出しやすくすることができる。
更に、光源3Cは、開口部を挟んで対称な位置に配置された一対の光源であるため、光源3Cにより照明光が出射された場合に対象者の顔面における輝度のバランスがとりやすくなり、明瞳孔画像と暗瞳孔画像の差分を取った後に対象者の顔面部分に差分が残りにくくなる。これにより、対象者の瞳孔を精度よく検出できる。
瞳孔検出装置1、画像検出方法及び画像検出プログラムは、明瞳孔画像と暗瞳孔画像の差分画像に基づいて瞳孔を検出する。明瞳孔画像と暗瞳孔画像の差分画像を得る場合には、明瞳孔画像における特徴点と、暗瞳孔画像における特徴点とを一致させることが望まれる。これら瞳孔検出装置1、画像検出方法及び画像検出プログラムでは、明瞳孔画像における特徴点として光源3Aによる角膜反射を利用し、暗瞳孔画像における特徴点として光源3Cによる角膜反射を利用している。ここでこれら瞳孔検出装置1、画像検出方法及び画像検出プログラムは、第1の情報に基づいて、光源3Aを照射したと仮定したときに暗瞳孔画像に現れる仮想的な角膜反射の位置を推定する(ステップS3)。この推定された仮想的な角膜反射の位置は、明瞳孔画像における角膜反射に対応している。したがって、推定された仮想的な角膜反射を、暗瞳孔画像における位置合わせ用の特徴点として利用することが可能である。そして、明瞳孔画像における角膜反射と、暗瞳孔画像における推定された仮想的な角膜反射とをそれぞれ特徴点として、両画像の位置合わせ処理(ステップS4)を行う。位置合わせ処理を行った画像によれば、精度のよい差分画像を得る(ステップS5)ことができる。したがって、これら瞳孔検出装置、画像検出方法及び画像検出プログラムによれば、瞳孔の検出する(ステップS6)ときの精度を向上することができる。
また、第1の光照射手段は、基準線L2上に配置された光源3Aを有する。また、第2の光照射手段は、基準線L2上において光源3Aを挟むように配置された2個の光源3Cを有する。第1の情報は、基準線L2に沿った光源3Aから一方の光源3Cまでの距離DL、及び基準線L2に沿った光源3Aから他方の光源3Cまでの距離DR、を含む。この構成によれば、光源3Aの位置に対して離間した位置に光源3Cを配置することが可能になる。また、推定部16は、対象者から見たときの光源3A,3Cの見た目の位置関係を利用して仮想的な角膜反射を推定するので、計算処理を簡易にすることができる。
<第2実施形態>
ところで、既に知られているように、瞳孔は、周囲環境の照度に対応して大きさが変化する。例えば、対象者が高照度環境に存在する場合には、対象者の瞳孔が小さくなる。図6(d)は、高照度環境において取得した差分画像の一例である。図6(c)に示された差分画像では、瞳孔Pの領域内に、暗瞳孔画像における角膜反射に対応する領域R4が存在している。一方、図6(d)に示されるように、高照度環境において取得された差分画像において、角膜反射に対応する領域R5の位置は図6(c)と同じであるが、瞳孔Pの大きさが小さくなっている。したがって、領域R5が瞳孔Pのエッジと重畳している(「瞳孔画像が汚れている」ともいう)。領域R5が瞳孔Pのエッジと重畳した場合には、瞳孔中心の検出精度が低下する虞がある。特に、カメラ2における撮像素子6の分解能が十分でないときに、瞳孔中心の検出精度が低下し易くなり、瞳孔Pを利用した視線検出精度にも大きな影響を与えることがある。
上述した問題を軽減する態様として、暗瞳孔画像における角膜反射を生じさせる光源3C間の距離を角度的に広げる態様がある。この場合には、第1実施形態における瞳孔検出方法を利用することにより、精度のよい瞳孔検出を実行することができる。
しかし、物理的に角度を広げることができない場合もあり得る。そこで、物理的な角度を広げることなく、上述した問題を軽減可能な態様である第2実施形態に係る瞳孔検出装置1Aについて説明する。
図10に示されるように、瞳孔検出装置1Aを構成要素は、第1実施形態に係る瞳孔検出装置1と同様である。瞳孔検出装置1Aは、暗瞳孔画像における角膜反射を生じさせる光源3Cの配置が、第1実施形態に係る瞳孔検出装置1と異なっている。
瞳孔検出装置1Aにおける光源3Cは、基準線L2に対して平行であり、且つ基準線L2から所定距離だけ離間した軸線L3上に配置されている。すなわち、瞳孔検出装置1Aでは、撮像素子6よりも下方に光源3Cが配置されている。具体的には、一方の光源3Cは、第1の軸線L4上に配置されている。第1の軸線L4は、光軸L1と基準線L2との交差点Cにおいて、基準線L2と交差している。この交差点Cは、光源3A及び撮像素子6が配置された位置に対応する点であるともいえる。第1の軸線L4と基準線L2との間の角度は、角度εL(第1の角度)である。また、別の光源3Cは、第2の軸線L5上に配置されている。第2の軸線L5は、交差点Cにおいて、基準線L2と交差している。第2の軸線L5と基準線L2との間の角度は、角度εR(第2の角度)である。なお、基準線L2に沿った方向に投影される光軸Lから一方の光源3Cまでの距離DLと、光軸L1から別の光源3Cまでの距離DRと、は、第1実施形態における距離DL,DRと同じである。
なお、図10に示された光源3A,3B,3Cの配置は例示である。図10には、光源3A,3B,3Cが二等辺三角形の頂点のそれぞれに配置された例が示されている。このような配置では、交差点Cからそれぞれの光源3Cまでの距離が互いに等しくなる。しかし、光源3A,3B,3Cの配置は、この配置に限定されることはない。例えば、交差点Cからそれぞれの光源3Cまでの距離は、互いに異なっていてもよい。また、基準線L2に対する第1の軸線L4の角度εLと、基準線L2に対する第2の軸線L5の角度εRとは、互いに等しくてもよいし、異なっていてもよい。
瞳孔検出装置1Aを利用した瞳孔検出方法では、第1実施形態に係る瞳孔検出方法と同様の工程(ステップS1,S2)を実施し、明瞳孔画像と暗瞳孔画像とを取得する。なお、対象者の位置から見たカメラ2に対する光源3Cの方向(角度εL,εR:第2の情報)を予め計測し、情報保持部14に記録しておく。そして、推定部16による仮想角膜反射を推定する工程(図5:ステップS4)では、暗瞳孔画像(図11参照)において、角度εL、εRに相当する傾きの直線L4a,L5aを算出し、それらの直線L4a,L5aの交点C2を光源3Aによる角膜反射として推定する。そして、第1実施形態に係る瞳孔検出方法と同様の工程(ステップS5,S6)を実施し、明瞳孔画像と暗瞳孔画像の位置合わせを実行した後に、差分画像を生成し、瞳孔Pを検出する。
なお、上述した瞳孔検出装置1Aの説明では、光源3A,3B,3C及びカメラ2を含む光学系がディスプレイ(不図示)の下方に設置され、光学系よりも上方に配置されたディスプレイを対象者が見た場合を想定した。例えば、対象者の視線方向と光学系との関係において、対象者が光学系よりも左側の領域に視線を向けた場合には、図10に示された光源3A,3B,3Cの配置を左に90度回転させた設置にすることが望ましい。具体的には、光源3A,3Bに対して左側の領域において、光源3Cが上下方向に離間して配置されてもよい。この配置によれば、基準線L2も左に90度回転し、図10における上下方向に延びる。
第2実施形態に係る瞳孔検出装置1Aによれば、光源3Cによる角膜反射を、瞳孔の領域外に生じさせ易くなる。そうすると、高照度化において対象者の瞳孔が小さくなった場合であっても、暗瞳孔画像における瞳孔のエッジに光源3Cによる角膜反射が重なることを抑制し得る。したがって、瞳孔中心の検出精度の低下を抑制できる。より詳細には、このような光源3Cの配置によれば、対象者がカメラ2に近いところを注視した場合であっても、図11に示されるように、光源3Cによる角膜反射R6が瞳孔Pの外部に現れやすくなる。したがって、瞳孔画像が汚れにくくなり、結果的に視線検出精度が向上する。なお、瞳孔検出装置1Aから出力される結果を利用して、視線を検出するときは、瞳孔画像の中心と光源3Aによる角膜反射の中心との相対位置を利用すればよい。ただし、差分位置補正によれば、光源3Cの角膜反射R6から推定した光源3Aによる角膜反射を用いても同じ結果が得られる。
<第3実施形態>
第1実施形態及び第2実施形態の瞳孔検出方法において、仮想角膜反射の推定は、対象者から見たときの光源3A,3Cの見た目の位置関係を利用した。ここで、光源3A,3Cの見た目の位置関係は、対象者の位置(より厳密には角膜球の位置)によって変化する。したがって、第1実施形態及び第2実施形態の瞳孔検出方法は、推定計算の容易さを重視した近似的な方法である。そこで、第3実施形態の瞳孔検出方法では、仮想角膜反射の推定において、仮想角膜反射を厳密に推定する。すなわち、第3実施形態の瞳孔検出方法は、仮想角膜反射の推定(図5:ステップS3)における処理が第1実施形態及び第2実施形態の瞳孔検出方法と異なり、その他の処理(図5:ステップS1,S2,S4,S5,S6)は、第1実施形態及び第2実施形態の瞳孔検出方法と同様である。
図12に示されるように、瞳孔検出装置1Bは、ディスプレイDの下辺近傍に配置されたカメラ2Aと、カメラ2Aと同じ位置にあると見なせる第1の光源LS0と、ディスプレイDの左辺近傍に配置された第2の光源LS1と、ディスプレイDの右辺近傍に配置された第2の光源LS2とを有する。また、カメラ2A、第1の光源LS0及び第2の光源LS1,LS2の空間位置(座標位置)は既知である。これら空間位置に関する情報(例えば、世界座標系における座標)は、第1の情報として、情報保持部14に保持されている。以下の説明において、世界座標系(基準座標系)Fwは、軸Xw、軸Yw、及び軸Zwにより示される。ディスプレイDは、下辺及び上辺が軸Xwに対して平行であり、右辺及び左辺が軸Ywに対して平行である。したがって、ディスプレイDの法線方向が軸Zwと等価である。また、カメラ2A及び第1の光源LS0が配置された位置は、世界座標系Fwの原点である。なお、カメラ2A、第1の光源LS0及び第2の光源LS1,LS2の配置は例示であり、これらの配置に限定されない。
まず、世界座標系Fwにおける角膜球中心CKの座標を以下の方法によって取得する。角膜が球面の一部であると仮定すると、計算上のモデルとして角膜球が想定できる。角膜球中心は、この角膜球の中心である。
ステップS2を実行することにより、図13に示された暗瞳孔画像が得られる。今、第1の光源LS0はカメラ2Aと同じ位置に存在すると仮定している。そうすると、角膜球が世界座標系Fwにおける任意の位置に存在しても、第1の光源LS0の角膜反射は、第1の光源LS0と角膜球中心CKを通る直線G1上に存在する。したがって、カメラ2Aで取得された画像では、角膜球の中心に第1の光源LS0の角膜反射が必ず存在する。なお、図13では、角膜球の輪郭が見えているとして図示している。
ここで、瞳孔検出装置1Bは、カメラ2Aとは別のカメラ(不図示)を有する。このカメラは、カメラ2Aとは別の位置に配置されている。また、別のカメラは、第1の光源LS0に相当する光源を有している。別のカメラと光源との関係は、カメラ2Aと第1の光源LS0の関係と同じである。一方、カメラ2Aと別のカメラとは、露光のタイミングと第1の光源LS0の発光タイミングとは、わずかにずらしてある。これらタイミングのずれは、カメラ同士におけるクロストークを抑制するためのものであり、ずれは十分に短い。例えば、例えばずれは、500マイクロ秒である。これらカメラは、カメラ較正が行われている。したがって、第1の光源LS0及び第1の光源LS0に対応する別の光源を点灯させると、それぞれのカメラにおいて、カメラと角膜球を結ぶ直線の式が求まる。したがって、同光源によるステレオマッチングにより、角膜球中心CKの座標が算出できる。続いて、角膜球中心CKの座標に基づいて、カメラ2Aから角膜球中心CKに向かう直線G1(ベクトルOCK)が求まる。
次に、仮想角膜反射の座標を以下の方法により算出する。
まず、仮想平面(第1の仮想平面)Q1と、仮想平面(第2の仮想平面)Q2とを規定する。仮想平面Q1は、角膜球中心CKと、第1の光源LS0と、第2の光源LS1とを通る仮想的な平面である。仮想平面Q2は、角膜球中心CKと、第1の光源LS0と、第2の光源LS2とを通る仮想的な平面である。仮想平面Q1,Q2は、角膜球中心CKを通るため、角膜球を半分に輪切りにする平面である。そして、ベクトルOCKの方向からこれら仮想平面Q1,Q2を見た場合、仮想平面Q1,Q2は、図13に示された直線G2,G3に相当する。角膜球を円として表現した場合、これら2本の直線G2,G3は、それぞれ角膜球中心CKを通る。したがって、直線G2,G3の交点G5が円(角膜球を平面視した場合に示される円)の中心となる。円の中心(交点G5)は、角膜球中心CKを暗瞳孔画像平面に投影されたものであり、第1の光源LS0の位置に対応する。したがって、世界座標系Fwにおける仮想平面Q1,Q2を算出し、仮想平面Q1,Q2を利用して暗瞳孔画像における直線G2,G3を算出し、これら直線G2,G3の交点G5を算出することにより、第1の光源LS0が点灯したときに、暗瞳孔画像に写るであろう第1の光源LS0の角膜反射の位置(すなわち仮想角膜反射の位置)が求まる。
次に、2本の直線G2,G3の式を求める方法について説明する。
図12には、仮想視点平面VPが示されている。仮想視点平面VPとは、世界座標系Fwの原点O(カメラ2Aが配置された位置)と、角膜球中心CKを結ぶベクトルOCKを法線とする仮想的な平面である。仮想視点平面VPに含まれるX’軸は、世界座標系FwのXw‐Zw平面と仮想視点平面VPの交線に対応する。角膜球中心CKが移動したとすると、ベクトルOCKの方向が変化するため、仮想視点平面VPも原点を中心に向きが変化する。
ここで、第2の光源LS1と角膜球中心CKとを結ぶ直線G6を考える。直線G6は、仮想視点平面VPと点LS1’において交差する。点LS1’は、仮想視点平面VPの式と、直線G6の式とに基づいて得られる。同様に、第2の光源LS2と角膜球中心CKとを結ぶ直線G7を考える。直線G7は、仮想視点平面VPと点LS2’において交差する。点LS2’は、仮想視点平面VPの式と、直線G7の式とに基づいて得られる。得られた点LS1’,LS2’は、世界座標系Fwに基づく位置であるので、仮想視点平面VPを規定する座標系に変換する。そうすると、仮想視点座標系におけるX’軸と、原点Oと点LS1’とを結ぶ直線との間の角度(第1の仮想面角度)ε1が得られる。この角度ε1は、図13に示された暗瞳孔画像における軸線L6と直線G2との間の角度に対応している。また、仮想視点座標系におけるX’軸と、原点Oと点LS2’とを結ぶ直線との間の角度(第2の仮想面角度)ε2が得られる。この角度ε2は、図13に示された暗瞳孔画像における軸線L6と直線G3との間の角度に対応している。
具体的には、カメラ2Aはカメラ較正を行っている。したがって、カメラ2Aの位置、方向(外部カメラ較正値)、及び焦点距離に関する情報は、既知である。これら情報には、画像中心座標や、内部カメラ較正値がある。したがって、カメラ較正値を利用して、世界座標系Fwからカメラ座標系への座標変換を行い、更にカメラ座標系から画像座標系への変換を行うことが可能である。これら座標変換によれば、世界座標系Fwにおける仮想視点平面VPのX’軸を画像座標系に変換した軸線L6(図13参照)が得られる。したがって、図13における直線G2,G3は、角度ε1,ε2を利用して得ることができる。そして、上述したように直線G2,G3の交点G5は、角膜球中心CKの位置であり、且つ第1の光源LS0による角膜反射の位置を示す。そして、暗瞳孔画像から推定した第1の光源LS0の角膜反射と、明瞳孔画像から検出された第1の光源LS0の角膜反射とを利用して位置合わせを行い(図5:ステップS4)、差分処理を実行する(図5:ステップS5)。
本実施形態の瞳孔検出方法によれば、推定部16は、対象者から見たときの第1の光源LS0及び第2の光源LS1,LS2の見た目の位置関係を利用することなく、仮想的な第1の光源LS0の位置を厳密に算出する。したがって、仮想的な角膜反射の位置を更に精度良く算出することが可能になり、位置合わせ処理の精度も向上する。したがって、この瞳孔検出装置によれば、瞳孔の検出精度を更に向上することができる。
本発明は、前述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々の変形が可能である。
<変形例1>
例えば、第1の光源や第2の光源の数は、上記個数に限定されることはない。例えば、注視点検出のために複数の光源を配置した技術の例として、N. Iqbal, H. Lee, S.-Y. Leeらの論文([2]SmartUser Interface for Mobile Consumer Devices Using Model-Based Eye-GazeEstimation (N. Iqbal, H. Lee, S.-Y. Lee) IEEE Transactions on ConsumerElectronics, Vol. 59, No. 1, February 2013)がある。
暗瞳孔画像における角膜反射を生じさせる光源3Cを、上記論文に記載されたように、ディスプレイ画面の周囲に配置してもよい。この場合、光源3Cの数に対応する直線が設定され、光源3Cの数が多くなると多数の交点が得られる。しかし、図14(a)に示されるように、角膜反射R7をとおり基準線L2に対して所定角度で交差する直線G6,G7の間の角度ε3が、直角に比べて極端に小さくなる(例えば、ε3が30度以下)ことがあり得る。この場合には、矢印A1に沿った方向における交点位置の誤差が大きくなる虞がある。また、図14(b)に示されるように、角膜反射R8をとおり基準線L2に対して所定角度で交差する直線G8,G9の間の角度ε4が、直角に比べて極端に大きくなる(例えば、ε4が120度以上)ことがあり得る。この場合には、矢印A2に沿った方向における交点位置の誤差が大きくなる虞がある。したがって、仮想角膜反射の推定において、図14(a)や図14(b)に示された直線G6,G7及び直線G8,G9の関係とならない光源3Cの組み合わせが選択される。また、図14(a)や図14(b)に示された直線の関係とならないように、光源3Cを配置する。
<変形例2>
また、図15(a)に示されるように、光源3A(第1の光源)が1個であり、光源3D(第2の光源)も1個であってもよい。この場合には、光源3Aの片側に光源3Dが配置される。このような瞳孔検出装置1Dによれば、光源3Dの数を減らすことが可能になる。したがって、瞳孔検出装置1Dの構成を簡易にすることができる。
光源3Aは、明瞳孔画像を取得するための光源であり、例えば850nmの波長を有する光を出射する。光源3Dは、暗瞳孔画像を取得するための光源であり、例えば950nmの波長を有する光を出射する。なお、光源3Dから出射される光の波長は、850nmでもよく、この波長であっても好適な暗瞳孔画像を取得することができる。光源3Bは、眼鏡反射を相殺するため光源であり、例えば850nm又は950nmの波長を有する光を出射する。また、光源3A,3B,3Dから出射される光の波長を全て同じ波長に設定してもよい。全て同じ波長に設定する場合には、例えば、発光強度が高く、かつ、カメラの感度が高い810nmや830nm又はその他の波長が選択されてもよい。なお、810nmや830nm程度の波長を選択した場合には、赤外線透過フィルター(例えば、IR80)を、光源3A,3B,3Cと対象者と間に配置するとよい。この構成によれば、照明光から可視光がカットされるので、対象者が感じる不快感をほぼなくすことができる。
瞳孔検出装置1Dは、はじめに、第1のタイミングにおいて光源3Aを点灯させて明瞳孔画像を取得する。続いて、瞳孔検出装置1Dは、第2のタイミングにおいて光源3B,3Dを点灯させて暗瞳孔画像を取得する。
ここで、光源3Aの発光強度が、光源3B,3Dの発光強度との合計値と略同じになるように、光源3A,3B,3Dのそれぞれの発光強度が設定される。具体的には、対象者の顔面における輝度が略同じになるように光源3A、3B,3Dのそれぞれの発光強度が設定される。発光強度の設定は、光源3A,3B,3Dを構成するLEDの数やLEDに供給される電流値などにより制御してもよい。また、光源3Aと光源3Dの間の距離によって上述した発光強度の関係を実現してもよい。
また、暗瞳孔画像における暗瞳孔を強く撮像するためには、光源3Dによる角膜反射が検出できる発光強度において、できるだけ光源3Dの発光強度を、光源3Bの発光強度よりも大きくすることが望ましい。なお、光源3Aと光源3Dとの間の距離は、差分画像において輝度の傾斜が大きくなり過ぎない程度の距離とすることが望ましい。
<変形例3>
また、図15(b)に示されるように、変形例2に係る瞳孔検出装置1Eは、第1の光源としての光源3Eに第3の光源の機能を持たせることとしてもよい。瞳孔検出装置1Eは、光源3Eと、光源3Dとを備えている。制御装置4の光源駆動ユニット12は、光源3Eに入力する電流を、明瞳孔画像を取得する第1のタイミングと、暗瞳孔画像を取得する第2のタイミングとで異なる値に制御する。より詳細には、光源駆動ユニット12は、第1のタイミングにおいて光源3Eに第1の電流を供給し、第1の発光強度を有する光を出射させる。続いて、光源駆動ユニット12は、第2のタイミングにおいて、光源3Eに第1の電流よりも小さい第2の電流を供給し、第2の発光強度を有する光を出射させると共に、光源3Dに電流を供給し、第3の発光強度を有する光を出射させる。このとき、対象者の顔面における輝度が明瞳孔画像取得時と暗瞳孔画像取得時において略同じになるように光源3E及び光源3Dに供給される電流が光源駆動ユニット12によって制御される。
このような瞳孔検出装置1Eによれば、眼鏡反射を相殺するための第3の光源を構成するLEDが不要になるので、瞳孔検出装置1Eが備えるLEDの数を減らすことができる。したがって、瞳孔検出装置1Eの構成をより簡易にすることができる。