以下、図面を参照しつつ本発明に係る眼部画像処理装置の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。
(第1実施形態)
[瞳孔検出装置]
図1に示されるように、本発明の一実施形態である瞳孔検出装置1は、カメラ2と、照明装置(光源)3と、制御装置4と、を備えている。カメラ2は、筐体5と、筐体5内に収容されたCCD、CMOS等の撮像素子6と、筐体5内に収容された対物レンズ7とを有する。このカメラ2は、画像の1つのフレームの取得時間間隔が非常に短い高速度カメラであってもよいし、いわゆる中速度カメラ、又は60Hz程度のフレームレートを有するカメラであってもよい。筐体5は、観察対象者の眼球Aと対向する面に形成された円形状の開口部8を有する。対物レンズ7は、開口部8と撮像素子6との間に配置されている。対物レンズ7の光軸L0は、開口部8の中心軸線と一致している。撮像素子6は、その受光面が対物レンズ7の光軸L0に対して垂直に交わるように固定されている。撮像素子6は、対象者の眼球Aの像を撮像することによって眼画像データを生成して制御装置4に出力する。制御装置4は、照明装置3の発光強度、点灯タイミング、及び点灯期間、並びにカメラ2の撮像タイミング及び撮像期間を制御する。また、制御装置4は、撮像素子6から出力された眼画像データに基づいて差分処理、瞳孔検出処理、及び角膜反射検出処理を実行する。
なお、開口部8の径は、対物レンズ7の径に比較して小さく、対物レンズ7の有効径と略同程度である。このような構成により、対象者の眼球A付近の像は、開口部8を経てカメラ2内の撮像素子6に向けて導入された後、カメラ2内の対物レンズ7を含む光学系によって、撮像素子6の受光面に収束するように結像される。
照明装置3は、対象者の顔に向けて照明光を出射する。図2に示されるように、照明装置3は、ケーシング9と、ケーシング9に埋め込まれた光源3A,3B,3Cを有する。ケーシング9は、開口部8の縁部に沿って開口部8の外側を覆うように筐体5に取り付けられている。光源3A,3B,3Cは、いずれも対物レンズ7の光軸L0に沿って照明光を出射するようにケーシング9上に設けられている。
光源(第1の光源)3Aは、明瞳孔画像を得るための照明光を、対象者の顔に向けて照射するための光源である。明瞳孔画像とは、後述の暗瞳孔画像と比較して対象者の瞳孔が相対的に明るく写った画像をいう。光源3Aは、例えば、出力光の中心波長が近赤外領域の複数の半導体発光素子(LED)からなり、開口部8の中心からの距離が比較的近い第1の距離D1の位置に配置されている。具体的には、光源3Aを構成する発光素子は、ケーシング9上で、開口部8の外側において開口部8の縁に沿って等間隔でリング状に配設されている。光源3Aは、開口部8の縁にできるだけ近い位置に設けられることが好ましい。これにより、後述するように、光源3Aにより照らし出される対象者の像においては、瞳孔がより明るく映し出され、小さい瞳孔であっても検出が容易になる。光源3Aにより照らし出される対象者の像においては、対象者の角膜反射像も生じる。
光源(第2の光源、暗瞳孔用光源)3Bは、暗瞳孔画像を得るための照明光を、対象者の顔に向けて照射するための光源である。暗瞳孔画像とは、前述の明瞳孔画像と比較して対象者の瞳孔が相対的に暗く映った画像をいう。光源3Bは、例えば、出力光の中心波長が近赤外領域の複数の半導体発光素子(LED)からなり、開口部8の中心からの距離が比較的遠い第2の距離D2の位置に配置されている。この第2の距離D2は第1の距離D1より大きい。具体的には、光源3Bを構成する発光素子は、ケーシング9上で、光源3Aから開口部8の外側に離間して等間隔でリング状に配設されている。
光源(第2の光源、角膜反射発生用光源)3Cは、明瞳孔画像、暗瞳孔画像、及び背景画像において角膜反射像を目立たせて生じさせるための照明光を、対象者の顔に向けて照射するための光源である。背景画像とは、太陽光等の環境光によって照らされた対象者の顔の像が主に映った画像をいう。光源3Cは、例えば、出力光の中心波長が近赤外領域の複数の半導体発光素子(LED)からなり、開口部8の中心からの距離が第3の距離D3の位置に配置されている。この第3の距離D3は第1の距離D1より大きく、第2の距離D2より小さい。具体的には、光源3Cを構成する発光素子は、ケーシング9上で、光源3Aと光源3Bとの間で光源3A,3Bから離間して等間隔でリング状に配設されている。
上記の光源3Aから対象者の眼球Aに照明光が出射されるタイミングでカメラ2によって瞳孔が撮像されると明瞳孔画像が取得され、上記の光源3Bから対象者の眼球Aに照明光が出射されるタイミングでカメラ2によって瞳孔が撮像されると暗瞳孔画像が取得される。これは、次のような性質によるものである。つまり、眼球Aへの照明光がカメラ2の光軸L0から相対的に離れた位置から入射した場合には、眼球Aの瞳孔から入射し、眼球内部で反射されて再び瞳孔を通過した照明光が照明光の方向に戻ってカメラ2に届きにくいため、瞳孔が相対的に暗く映るという性質である。
ここで、光源3Aの出力光の中心波長は、光源3B,3Cの出力光の中心波長と同じ波長に設定されてもよいし、異なる波長に設定されてもよい。ただし、明瞳孔画像取得用の光源である光源3Aは、網膜を反射して戻ってくる光の輝度が強い点で、例えば、850nm等の900nm付近より短い出力光の波長の光源を用いることが望ましい。同様に、暗瞳孔取得用の光源である光源3Bは、網膜を反射して戻ってくる光の輝度が弱い点で、例えば、940nm等の900nm付近より長い出力光の波長の光源を用いることが望ましい。このとき、光源3Cは、対象者の瞳孔に対する照明効果が光源3Aと光源3Bとの間の中間の効果を有していればよく、例えば、光源3Bと同一の波長の940nmの出力光の波長の光源が用いられる。一方で、850nm等の比較的短波長の出力波長の光源3Aを用いると光量が大きい時に対象者によって光源3Aの発光が認識されてしまうため、対象者が車のドライバー等の場合に運転に影響を与えるなどの問題が生じ望ましくない場合がある。その場合は、光源3Aとして、対象者に発光が認識されにくい光源3B,3Cと同様な900nm付近より長波長の光源を用いる。ただし、光源3Aと光源3B,3Cとで出力光の中心波長を同じに設定する場合は、光源の波長によって明瞳孔画像と暗瞳孔画像との間の瞳孔部の輝度差が生じにくくなるため、光源3Aの開口部8からの距離D1と光源3Bの開口部8からの距離D2との差をより大きくすることが望ましい。これにより、カメラ2から見た光源3Aからの照明光による瞳孔を照らす効果と、カメラ2から見た光源3Bからの照明光による瞳孔を照らす効果との差を大きくすることができる。
また、光源3A,3Bの発光強度(発光パワー)は、光源3Aを発光させたときの撮影対象である対象者の顔面での照度と、光源3Bを発光させたときの顔面での照度とが略同一になるように設定されている。更に、光源3A,3B,3Cは、後述する制御装置4からの制御信号により、それぞれ独立に照明光の点灯タイミング及び発光量を制御可能にされている。本実施形態では、光源3A,3B,3Cは、点灯期間が制御可能にされ、その結果として、発光強度と点灯期間との積で決まる発光量が制御されるように構成されている。
続いて、図3及び図4を参照して、瞳孔検出装置1に含まれる制御装置4の構成について説明する。
制御装置4は、撮像素子6及び光源3A,3B,3Cの制御と、対象者の瞳孔及び角膜反射の検出を実行するコンピュータであり得る。制御装置4は、据置型又は携帯型のパーソナルコンピュータ(PC)により構築されてもよいし、ワークステーションにより構築されてもよいし、他の種類のコンピュータにより構築されてもよい。あるいは、制御装置4は複数台の任意の種類のコンピュータを組み合わせて構築されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。
図3に示されるように、制御装置4は、CPU(プロセッサ)101と、主記憶部102と、補助記憶部103と、通信制御部104と、入力装置105と、出力装置106とを備える。CPU101は、オペレーティングシステムやアプリケーション・プログラムなどを実行する。主記憶部102は、ROM及びRAMで構成される。補助記憶部103は、ハードディスクやフラッシュメモリなどで構成される。通信制御部104は、ネットワークカードあるいは無線通信モジュールで構成される。入力装置105は、キーボードやマウスなどを含む。出力装置106は、ディスプレイやプリンタなどを含む。
後述する制御装置4の各機能要素は、CPU101又は主記憶部102の上に所定のソフトウェアを読み込ませ、CPU101の制御の下で通信制御部104や入力装置105、出力装置106などを動作させ、主記憶部102又は補助記憶部103におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部102又は補助記憶部103内に格納される。
図4に示されるように、制御装置4は機能的構成要素として、撮像素子駆動ユニット11と、点灯制御ユニット(点灯制御部)12と、検出ユニット(算出部)13とを有する。撮像素子駆動ユニット11は、撮像素子6の撮影タイミングを制御する機能要素である。具体的には、撮像素子6を所定のフレームレート及び所定の露光時間で繰り返し撮像し、順番に明瞳孔画像、背景画像、及び暗瞳孔画像を取得するように制御する。点灯制御ユニット12は、撮像素子6の撮影タイミングに同期させて、光源3A,3B,3Cの点灯タイミング及び撮像素子6の露光期間内の発光量を制御する機能要素である。本実施形態では、点灯制御ユニット12は、光源3A,3B,3Cの発光量をそれぞれの点灯期間を設定することによって制御している。具体的には、点灯制御ユニット12は、明瞳孔画像の撮像時には光源3A及び光源3Cを連続して(又は同時に)点灯させ、背景画像の撮像時には光源3Cのみを点灯させ、暗瞳孔画像の撮像時には光源3B及び光源3Cを連続して(又は同時に)点灯させるように制御する。検出ユニット13は、撮像素子6から出力された眼画像データを利用して、当該眼画像データにおける瞳孔及び角膜反射を検出する機能要素である。検出された瞳孔及び角膜反射に関する情報の出力先は何ら限定されない。例えば、制御装置4は、結果を画像、図形、又はテキストでモニタに表示してもよいし、メモリやデータベースなどの記憶装置に格納してもよいし、通信ネットワーク経由で他のコンピュータシステムに送信してもよい。
検出ユニット13は、機能的構成要素として、画像取得部14と、差分画像生成部16と、点灯時間設定部17と、瞳孔検出部18と、角膜反射検出部19、とを有する。画像取得部14は、撮像素子6から所定のフレームレートで順番に撮影される明瞳孔画像、背景画像、及び暗瞳孔画像を、眼画像データとして取得する。差分画像生成部16は、明瞳孔画像、背景画像、及び暗瞳孔画像を用いて瞳孔検出用画像を生成する。具体的には、差分画像生成部16は、明瞳孔画像と背景画像とから生成した差分明瞳孔画像と、暗瞳孔画像と背景画像とから生成した差分暗瞳孔画像との間で対応する画素間の輝度の減算もしくは除算を計算することにより、瞳孔検出用画像を生成する。瞳孔検出部18は、瞳孔検出用画像を利用して瞳孔像の位置を算出する機能要素である。角膜反射検出部19は、明瞳孔画像、背景画像、及び暗瞳孔画像を利用して角膜反射像の位置を算出する機能要素である。瞳孔検出部18及び角膜反射検出部19により行われる処理の一例は、次の通りである。まず、瞳孔検出部18は、瞳孔検出用画像を2値化し、孤立点除去、モルフォロジー処理によるノイズ除去、ラベリングを行う。そして、瞳孔検出部18は、最も瞳孔らしい形状を有する画素群を、瞳孔として検出する。このとき、瞳孔がまぶたやまつ毛で隠れた場合にも、まぶたやまつ毛と瞳孔との境界を偽の瞳孔輪郭として排除し、真の瞳孔輪郭のみを楕円フィッティングして、求まる楕円の式から瞳孔像の中心位置を算出する。また、角膜反射検出部19は、明瞳孔画像の瞳孔の近傍から瞳孔輝度よりも高い閾値で2値化し、角膜反射像の中心を、輝度を考慮した重心として求める。瞳孔輝度は、楕円フィッティングした結果得られる楕円の面積ではなく、2値化して得られた瞳孔を構成する画素の輝度平均で与えられる。角膜反射検出部19は、角膜反射像の位置を、背景画像及び暗瞳孔画像を対象にしても算出する。背景画像から角膜反射像を求める際に用いる閾値は、過去に明瞳孔画像から角膜反射像を求める際に用いた閾値と過去に暗瞳孔画像から角膜反射像を求める際に用いた閾値とを参考に決定される。
次に、検出ユニット13の点灯時間設定部17の機能構成について詳細に説明する。
点灯時間設定部17は、取得される明瞳孔画像と暗瞳孔画像との間で、カメラ2の露光時間内での対象者の顔を明るくする度合いが等しくなるように照明装置3の点灯時間を設定するとともに、明瞳孔画像、背景画像、及び暗瞳孔画像における角膜反射像の輝度が目標値で安定化するように照明装置3の点灯時間を設定する。画像での対象者の顔を明るくする度合い(以下、単に「照明強度」と言うものとする。)は、照明装置3の点灯時間のみで決定するものではなく、光源3A,3B,3Cの出力光の波長、光源3A,3B,3Cから顔までの距離、顔における光の反射率、光源3A,3B,3Cの発光強度にも依存する。そのため、点灯時間設定部17は、光源3A,3B,3Cの出力光の波長、及び光源3A,3B,3Cの発光強度を考慮して、それぞれの光源3A,3B,3Cの点灯時間を設定する。点灯時間設定部17は、設定した点灯時間で照明装置3が発光するように、点灯制御ユニット12を経由して光源3A,3B,3Cの動作を制御する。
図5は、点灯時間設定部17及び点灯制御ユニット12によって制御された各光源の点灯タイミングを示すタイミングチャートであり、(a)は、カメラ2の撮像タイミング、(b)は、光源3Aの点灯タイミング、(c)は、光源3Bの点灯タイミング、(d)は、光源3Cの点灯タイミングをそれぞれ示している。図5に示すように、撮像素子駆動ユニット11により、明瞳孔画像が撮像される撮影期間(露光期間、第1の期間)T1、背景画像が撮像される撮影期間(第3の期間)T3、暗瞳孔画像が撮像される撮影期間(第2の期間)T2、及び背景画像が撮像される撮影期間T3がこの順番で設定され、その後、撮影期間T1、T3、T2、T3が周期的に繰り返される。同時に、点灯制御ユニット12により、撮影期間T1に同期して光源3A,3Cが点灯されるように、光源3Aの点灯期間TBの点灯タイミング、及びそれに時間的に重なる光源3Cの点灯期間TCRの点灯タイミングが制御される。また、点灯制御ユニット12により、撮影期間T3に同期して光源3Cのみが点灯されるように、光源3Cの点灯期間TCRの点灯タイミングが制御され、撮影期間T2に同期して光源3B,3Cが点灯されるように、光源3Bの点灯期間TDの点灯タイミング、及びそれに時間的に重なる光源3Cの点灯期間TCRの点灯タイミングが制御される。概念的には、明瞳孔画像の撮像時には、光源3Aが明瞳孔画像を生成するために点灯期間TBだけ点灯されるとともに、光源3Bが消灯され、明瞳孔画像における角膜反射像の強調のために光源3Cが点灯期間TCRだけ点灯される。また、背景画像の撮像時には、環境光によって照らされた顔の像に角膜反射像を発生させるために光源3Cが点灯期間TCRだけ点灯される。また、暗瞳孔画像の撮像時には、光源3Bが暗瞳孔画像を得るために点灯期間TDだけ点灯されるとともに、光源3Aが消灯され、暗瞳孔画像における角膜反射像の強調のために光源3Cが点灯期間TCRだけ点灯される。このとき、明瞳孔画像と暗瞳孔画像とで瞳孔部以外の顔の輝度が同等になるようにするため、照明強度が同じになるように点灯期間TBと点灯期間TDとが設定される。加えて、明瞳孔画像、背景画像、及び暗瞳孔画像間で角膜反射像の輝度のバランスが取れるように、各画像の取得時の点灯期間TCRが等しくなるように設定される。これにより、明瞳孔画像と背景画像との差分画像において、環境光あるいは光源3Cによる輝度成分が差分により相殺され、光源3Aによる輝度成分のみが残ることになる。同様に、暗瞳孔画像と背景画像との差分画像において、環境光あるいは光源3Cによる輝度成分が差分により相殺され、光源3Bによる輝度成分のみが残ることになる。
具体的には、点灯時間設定部17は、明瞳孔画像、背景画像、及び暗瞳孔画像における角膜反射像の輝度値を時間的に一定にするために、前回のタイミングのフレームで取得された明瞳孔画像、背景画像、及び暗瞳孔画像の角膜反射像の輝度値を基に次回のタイミングのフレームの点灯期間TCRを変更する。ここでいう「フレーム」とは1つの明瞳孔画像のフレームと1つの暗瞳孔画像のフレームと1つの背景画像とを含む連続したフレーム(例えば、連続した3フレーム)のことを指すものとする。それに合わせて、点灯時間設定部17は、次回のタイミングのフレームの点灯期間TCRを変更する。すなわち、Ciを前回のフレームの角膜反射像のピークの輝度値とし(iは自然数)、CGをそのピークの所定の目標値とすると、次回のフレームの点灯期間TCR i+1は、前回のフレームの点灯期間TCR iに対して、下記式;
TCR i+1=(CG/Ci)×TCR i (1)
によって計算された値に変更される。言い換えると、点灯時間設定部17は、角膜反射像の輝度値Ciと目標値CGとの大小関係(割合)に比例して、点灯期間TCRを増減させて光源3Cの発光量を調整するように制御する。
次に、検出ユニット13の差分画像生成部16による瞳孔検出用画像の生成機能の詳細について説明する。
差分画像生成部16は、連続した3フレームの明瞳孔画像、背景画像、及び暗瞳孔画像を対象に、差分明瞳孔画像及び差分暗瞳孔画像を算出する。すなわち、差分画像生成部16は、明瞳孔画像と背景画像とを角膜反射像の位置を規準に互いに位置合わせを行った後にそれらの画像間の輝度値の差分を計算することによって差分明瞳孔画像を取得する。その一方で、差分画像生成部16は、暗瞳孔画像と背景画像とを角膜反射像の位置を規準に互いに位置合わせを行った後にそれらの画像間の輝度値の差分を計算することによって差分暗瞳孔画像を取得する。例えば、差分明瞳孔画像又は差分暗瞳孔画像を取得する際には、互いの画像の角膜反射像の位置が一致するように一方の画像の部分領域の画像の位置(座標)をずらした後に、一方の画像と他方の画像との差分画像を、角膜反射像の位置を含む部分領域において計算する。このようにすることで、明瞳孔画像及び暗瞳孔画像において、環境光による輝度成分のノイズが除去される。次に、差分画像生成部16は、差分明瞳孔画像と差分暗瞳孔画像とを角膜反射像の位置を規準に互いに位置合わせを行った後に、それらの画像間で輝度値を減算あるいは除算することによって瞳孔検出用画像を取得する。例えば、瞳孔検出用画像を取得する際には、互いの画像の角膜反射像の位置が一致するように一方の画像の位置(座標)をずらした後に、一方の画像と他方の画像との間での減算あるいは除算を行う。このようにすることで、瞳孔検出用画像において、角膜反射像が除去されて対象者の瞳孔部のみが現れた画像を得ることができる。
図6は、制御装置4の画像取得部14及び差分画像生成部16によって取得された眼画像データの瞳孔部付近の輝度の一次元分布を示すグラフであり、(a)部は明瞳孔画像の一次元分布、(b)部は暗瞳孔画像の一次元分布、(c)部は背景画像の一次元分布、(d)部は瞳孔検出用画像の一次元分布をそれぞれ示している。これらのグラフには、角膜反射を含む直線上の眼画像データの一次元分布を示している。このように、明瞳孔画像と暗瞳孔画像において瞳孔部以外の輝度値ID1,ID2が同等な値となるように光源3A,3Bの発光パワーが調整されている。また、明瞳孔画像においては瞳孔部の輝度値IBが比較的大きな値となっており、暗瞳孔画像においては瞳孔部の輝度値IBが比較的小さな値IEとなっている。さらに、明瞳孔画像、暗瞳孔画像、及び背景画像においては、角膜反射像のピークの輝度値IA1,IA2,IA3が目標値に近づくように制御されているため、輝度値の飽和値IMAXを超えないように一定にされている。そのため、瞳孔検出用画像においては、瞳孔部以外の輝度がほぼ零にされて瞳孔部における輝度値ICのみが現れ、環境光によるノイズ及び角膜反射像が除去されている。その結果、瞳孔検出部18によって算出される瞳孔像の位置の精度が向上する。
以上説明した瞳孔検出装置1によれば、カメラ2の開口部8の中心から比較的近い位置に配置された光源3Aの点灯タイミングに合わせてカメラ2で画像を取得することにより、瞳孔が相対的に明るく写った明瞳孔画像が得られ、その開口部8の中心から比較的遠い位置に配置された光源3Bの点灯タイミングに合わせてカメラ2で画像を取得することにより、瞳孔が相対的に暗く写った暗瞳孔画像が得られる。加えて、光源3A,3Bが消灯され、開口部8の中心から中間的な位置に配置された光源3Cが点灯されたタイミングに合わせてカメラ2で画像を取得することにより、環境光による影響を含む背景画像が角膜反射像を含んで得られる。さらに、明瞳孔画像と背景画像とを角膜反射像を規準にして差分することによって得られた差分明瞳孔画像と、暗瞳孔画像と背景画像とを角膜反射像を規準にして差分することによって得られた差分暗瞳孔画像と、を用いて瞳孔像の位置が算出される。これにより、明瞳孔画像及び暗瞳孔画像と背景画像との間の取得タイミングの時間差に起因した位置ずれを補正することができる。その結果、環境光の影響によるノイズが除去された明瞳孔画像及び暗瞳孔画像を得ることができ、それらを用いることで瞳孔像の位置の検出精度を向上させることができる。
特に、明瞳孔画像の撮像期間T1には光源3A及び光源3Cが点灯され、暗瞳孔画像の撮像期間T2には光源3B及び光源3Cが点灯され、背景画像の撮像期間T3には光源3Cを点灯されている。この場合、明瞳孔画像、暗瞳孔画像、及び背景画像において安定して角膜反射像を発生させることができ、明瞳孔画像及び暗瞳孔画像と背景画像との間の取得タイミングの時間差に起因した位置ずれを確実に補正することができる。その結果、瞳孔像の位置の検出精度を一層向上させることができる。
ここで、特開2008−246004号公報に開示されている瞳孔検出方法においては、明瞳孔画像と暗瞳孔画像のほかに、照明装置を消灯させることによって無照明画像を取得し、明瞳孔画像と無照明画像とを基に差分明瞳孔画像を作成し、暗瞳孔画像と無照明画像とを基に差分暗瞳孔画像を作成した後、差分明瞳孔画像と差分暗瞳孔画像とを用いて瞳孔を検出している。しかし、この方法では、中速度カメラを用いた場合は、対象者の頭部が動くと、明瞳孔画像、暗瞳孔画像、及び無照明画像の間で頭部の位置ずれが生じるため、正確に瞳孔像の位置を求めることができない場合がある。
このような問題を解決するため、国際公開2016/027627号公報に開示された瞳孔検出方法では、差分明瞳孔画像および差分暗瞳孔画像において検出される角膜反射像の位置を基に、無照明画像において仮に照明装置が点灯していたら角膜反射像が発生すると予測される位置を等速モデルを用いて算出し、その位置を基に明瞳孔画像及び暗瞳孔画像と無照明画像との間で位置補正を行ってから差分明瞳孔画像及び差分暗瞳孔画像を取得するようにしている。しかし、この方法では、等速モデルが適用できない場合、すなわち、頭部が動き始めた際、あるいは頭部の動きが止まる直前等、頭部の加速度が大きい時には、位置補正がうまく機能しない場合がある。また、角膜反射は頭部の動きのみで移動するのではなく、眼球の回転によっても移動するが、眼球に回転に伴って角膜反射が移動する場合には等速モデルは成立しない。さらに、中速度カメラあるいは高速度カメラを用いて、明瞳孔画像、無照明画像、及び暗瞳孔画像の1セットを取得し、画像処理を行った後に再度これらの1セットを取得する際には、これらの2セットの間の時間が長くなる場合があり、瞳孔又は角膜反射の画像中の位置の予測が困難となる場合がある。その結果、正確に瞳孔像の位置を求めることができない場合がある。
これらの従来の方法に比較して、本実施形態では、明瞳孔画像及び暗瞳孔画像と背景画像との間の取得タイミングの時間差に起因した位置ずれを補正することができ、瞳孔像の位置の検出精度を確実に向上させることができる。
上述した実施形態では、検出ユニット13が明瞳孔画像と暗瞳孔画像との間で照明強度が等しくなるように光源3A,3Bの発光量が制御されているが特開2016−093253号公報に開示された瞳孔検出用光源装置の制御方法にように、光源3A,3Bの発光量を瞳孔の明るさに応じて調整するように制御してもよい。
また、検出ユニット13は、次に説明するように各光源3A,3B,3Cの点灯期間を制御してもよい。
つまり、図6に例示した明瞳孔画像及び暗瞳孔画像における角膜反射像の輝度値は飽和させないように制御することが好ましい。これは、明瞳孔画像あるいは暗瞳孔画像において眼鏡反射像が発生した場合にはこの眼鏡反射像は輝度が飽和しやすく、眼鏡反射像を角膜反射像あるいは瞳孔像として誤検出することを防ぐためには、眼鏡反射像以外は輝度が飽和しないことが望ましいからである。そこで、角膜反射像の輝度の飽和を防止るために、検出ユニット13は、図7に示すように点灯期間を制御してもよい。図7は、点灯時間設定部17及び点灯制御ユニット12によって制御された各光源の点灯タイミングの別の例を示すタイミングチャートであり、(a)部は、カメラ2の撮像タイミング、(b)部は、光源3Aの点灯タイミング、(c)部は、光源3Bの点灯タイミング、(d)部は、光源3Cの点灯タイミングをそれぞれ示している。
すなわち、点灯時間設定部17により、図5に示した制御方法と同様に、明瞳孔画像と暗瞳孔画像とで瞳孔部以外の顔の輝度が同等になるようにするため、照明強度が同じになるように点灯期間TBと点灯期間TDとが設定される。それとともに、点灯時間設定部17により、明瞳孔画像取得時の撮影期間T1においては、光源3Cの点灯期間が、光源3Cの照明強度が撮影期間T3における光源3Cの照明強度から撮影期間T1における光源3Aの照明強度を差し引いた値になるように設定される。例えば、光源3A,3B,3Cの照度が同一に設定されている場合には、撮影期間T1においては、光源3Cの点灯期間がTCR−TBとなるように設定される。同様に、点灯時間設定部17により、暗瞳孔画像取得時の撮影期間T2においては、光源3Cの点灯期間を、光源3Cの照明強度が撮影期間T3における光源3Cの照明強度から撮影期間T2における光源3Bの照明強度を差し引いた値になるように設定される。例えば、光源3A,3B,3Cの照度が同一に設定されている場合には、撮影期間T2においては、光源3Cの点灯期間がTCR−TDとなるように設定される。このように、点灯時間設定部17により、撮影期間T1における光源3A,3Cの発光量と、撮影期間T2における光源3B,3Cの発光量と、撮影期間T3における光源3Cの発光量とが均一化されるように、光源3Cの発光量が調整される。このような制御により、明瞳孔画像、背景画像、及び暗瞳孔画像における角膜反射像の輝度の高さを同等とすることができる。これにより、背景画像における角膜反射像の輝度を検出可能な程度に十分高くすることができるとともに、明瞳孔画像及び暗瞳孔画像における角膜反射像の輝度の飽和を防ぐことができる。
また、図2に示した照明装置3の構成は一例であり、他の様々な変形形態が可能である。例えば、全ての光源3A,3B,3Cを同心円状に配置する必要は無く、明瞳孔画像と暗瞳孔画像との間の瞳孔の輝度の明暗差を出したい場合には、図8及び図9に示すように、光源3B,3Cを開口部8から離して配置してもよい。すなわち、図8に示す構成においては、光源3B、3Cが、同心円であるリング形状を2つ形成し、これらの2つのリンク形状の光源3B,3Cが開口部8を規準に左右対称となる位置に配置されている。このような構成においては、光源3B,3Cの開口部8の中心からの距離が光源3Aより大きくされ、一部の光源3Cの開口部8の中心からの距離が光源3Bよりも小さくされている。また、図9に示す構成は、超高輝度LEDをから構成される光源3A,3B,3Cが直線上に配置された例である。ここでは、接近して配置された光源3B、3Cの2つの光源群が、開口部8を規準に左右対称となる位置に配置されている。この構成においても、光源3B,3Cの開口部8の中心からの距離が光源3Aより大きくされ、光源3Cの開口部8の中心からの距離が光源3Bよりも小さくされている。
ただし、図8及び図9に示す照明装置3の構成においては、明瞳孔画像取得時に発光する光源3A,3Cの位置と暗瞳孔画像取得時に発光する光源3B,3Cの位置とが異なるため、それぞれの画像で生じる眼鏡反射像が減算あるいは除算によって相殺されにくくなる場合がある。従って、光源3Bは開口部8からできるだけ離さないようにすることが望ましい。その一方で、光源3Bの距離は瞳孔像の明暗差を生じさせるためには大きい方が望ましいので、眼鏡反射像の相殺の効果と瞳孔像の強度とはトレードオフの関係となる。瞳孔像の明暗差を大きくしつつ眼鏡反射像の影響を低減させるためには、検出ユニット13は、図10に示すように照明装置3の点灯期間を制御してもよい。図10は、点灯時間設定部17及び点灯制御ユニット12によって制御された各光源の点灯タイミングの別の例を示すタイミングチャートであり、(a)部は、カメラ2の撮像タイミング、(b)部は、光源3Aの点灯タイミング、(c)部は、光源3Bの点灯タイミング、(d)部は、光源3Cの点灯タイミングをそれぞれ示している。すなわち、点灯時間設定部17は、暗瞳孔画像の撮影期間T2において、光源3Aを点灯期間TBよりもかなり短い期間で一瞬点灯させるように制御してもよい。これにより、撮影期間T2において光源3Aを撮影期間T1よりも小さい発光量で点灯させることができる。この場合、暗瞳孔画像において、明瞳孔画像と一致する位置に輝度値が飽和した眼鏡反射像を発生させることができ、明瞳孔画像と暗瞳孔画像とを対象に減算あるいは除算することにより、眼鏡反射を相殺させることができる。
あるいは、3フレームのうちで光源3Aを2回点灯させることが回路設計上困難であるか、そのようなことを実現する回路設計が面倒である場合には、照明装置3を、図11あるいは図12に示すような構成としてもよい。図11に示す構成例の図8に示す構成例との相違点は、眼鏡反射相殺用の光源3Dが追加されている点である。この光源3Dは開口部8の中心からの距離が光源3Aより大きく光源3Cより小さい位置に配置される。同様に、図12に示す構成例の図9に示す構成例との相違点は、眼鏡反射相殺用の光源3Dが追加されている点である。この光源3Dは開口部8の中心からの距離が光源3Aより大きく光源3Cより小さい位置に配置される。この光源3Dは、図10に示した光源3Aの点灯タイミングと同様に、点灯時間設定部17により、暗瞳孔画像の撮影期間T2において点灯期間TBよりもかなり短い期間で一瞬点灯させるように制御される。なお、図2に示した照明装置3の構成において眼鏡反射が問題となりにくいのは、光源3Aと他の光源3B,3Cとが開口部8を規準にして角度的に近い位置にあるため眼鏡反射像が相殺されやすいためである。
ここで、図8、図9、図11あるいは図12に示した照明装置3は、装置の小型化あるいは光源の配置範囲を狭くすることが要求される場合には、その横幅をできるだけ小さくすることが好ましい。ただし、この場合は暗瞳孔画像取得時あるいは背景画像取得時に発光する光源が作る角膜反射像が、円形のものが2つではなく、横長の楕円の形状、あるいは円形が横に重なった形状になりやすい。これらの2つの円形の像は左右のそれぞれの光源群による像が合成された像であり、それぞれの像の輝度がアンバランスになると(例えば、涙などの影響により)、像全体の輝度の重心が揺らぐことになり結果的に角膜反射像の位置検出の精度に影響する。従って、角膜反射像がせめて楕円の形状になるような照明装置3の横幅が設定されることが好ましい。ただし、左右の光源3B,3Cのセット間の距離が非常に大きく、画像上に角膜反射像が2つ写る場合には、角膜反射検出部19は、それぞれの角膜反射像の中心を求めて、それらの中点を位置補正に必要な角膜反射像の位置として算出する。また、明瞳孔画像において、光源3Aによる角膜反射像と光源3Cによる角膜反射像とを合わせた3つの角膜反射像が分離されて写る場合には、角膜反射検出部19は、中央の角膜反射像の位置を位置補正に必要な角膜反射像の位置として算出する。一方、明瞳孔画像において3つの角膜反射像が重なって写る場合には、角膜反射検出部19は、角膜反射像の重心位置を位置補正に必要な角膜反射像の位置として算出する。この場合も、重なった角膜反射像の大きさが小さくなるように照明装置3の横幅が設定されることが好ましい。ただし、角膜反射像の位置の検出精度は、瞳孔像が小さい時などはそれほど高くなくてよく、画像間を位置補正するのに十分な、すなわち、瞳孔がロバストに検出できるだけの位置の検出精度があれば十分である。
(第2実施形態)
[視線検出装置]
以下、上述した瞳孔検出装置1を応用した第2実施形態にかかる視線検出装置201の構成について説明する。図13は、視線検出装置201の機能構成を示すブロック図である。視線検出装置201は、上述した光源3A,3B,3C,3Dと撮像素子6を含むカメラ2とによってそれぞれ構成される2つの光学系202a,202bと、制御装置4とを備える。ただし、光源3A,3B,3C,3Dは2つの光学系202a,202bとの間で共有されていてもよい。制御装置4の検出ユニット13は、対象者の視線方向を検出するための機能要素として視線検出部20をさらに備えている。
制御装置4の撮像素子駆動ユニット11は、2つの光学系202a,202bの撮像素子6の撮影タイミングを制御し、点灯制御ユニット12は、2つの光学系202a,202bの光源3A,3B,3C,3Dの点灯タイミングを制御する。2つの光学系202a,202bは、互いの撮影タイミング及び点灯タイミングをずらして光源の光が互いに干渉しあわないように制御されることも可能である。また、各カメラ2による撮影の時間差を可能な限り少なくするために、2つの光学系202a,202bの撮像素子6の撮影タイミングが同期するように制御されてもよい。その際、2つの光学系202a,202bの各光源3A,3B,3C,3Dの点灯期間の設定は、上述した点灯時間設定部17による設定手順と同様に、2つの光学系202a,202bで独立に行われる。このような構成にすることで、複数のカメラ2で得られた眼画像データ間の時間差をなくすことができ、複数の瞳孔画像からステレオマッチングで瞳孔の三次元座標を求める際の誤差を小さくすることができ、視線検出の誤差を小さくすることができる。つまり、各光学系のカメラ2間で同期をとっていれば、2台のカメラどうしで眼画像データの取得時間差がないため対象者の頭部の動きによる誤差を少なくすることができる。
詳細には、照明装置3の構成は図2に示した構成であってもよいし、図14に示すように一部の光源が共用された構成であってもよい。図14に示す構成例では、光学系202aとして、第1の光源である光源3A1、暗瞳孔用光源である光源3B1、角膜反射発生用光源である3C1、及び眼鏡反射相殺用光源である3D1が、カメラ2の開口部81の周辺に設けられ、光学系202bとして、第1の光源である光源3A2、暗瞳孔用光源である光源3B2、角膜反射発生用光源である3C2、及び眼鏡反射相殺用光源である3D2が、カメラ2の開口部82の周辺に設けられている。それに加えて、2つの光学系202a,202b間で共用される光源として、暗瞳孔用光源である3B12、及び角膜反射発生用光源である光源3C12が、2つの開口部81,82の中間に設けられている。2つの光学系202a,202b間で共用される光源3B12及び光源3C12は、両方のカメラ2の撮影期間に同期して点灯させるように点灯時間設定部17によって制御される。ここで、光源3B12及び光源3C12は、2つのカメラ2の撮影期間に点灯させる必要があるため、光源の発光素子の耐久性が低下しやすい傾向がある場合には、リング状に配置される発光素子の数を他の光源に比較して2倍程度に増やしてもよい。
照明装置3の構成は、2つの光学系202a,202bのカメラ2の撮影タイミングを同期させる場合には、図15に示すような構成であってもよい。図15に示す構成例では、光学系202aの専用光源として、第1の光源及び眼鏡反射相殺用光源である光源3A1がカメラ2の開口部81の周辺に設けられ、光学系202bの専用光源として、第1の光源及び眼鏡反射相殺用光源である光源3A2がカメラ2の開口部82の周辺に設けられ、光学系202a,202bの共用光源として、暗瞳孔用光源及び角膜反射発生用光源(第2の光源)である光源3B12が、2つの開口部81,82の中間に設けられている。このような照明装置3の構成が採用された場合は、図16に示すように照明装置3の点灯期間が制御される。図16は、点灯時間設定部17及び点灯制御ユニット12によって制御された各光源の点灯タイミングの別の例を示すタイミングチャートであり、(a)部は、カメラ2の撮像タイミング、(b)部は、光源3A1,3A2の点灯タイミング、(c)部は、光源3B12の点灯タイミングをそれぞれ示している。このように、各カメラ2の明瞳孔画像の撮影期間T1においては、光源3A1,3A2、及び光源3B12が点灯され、各カメラ2の暗瞳孔画像の撮影期間T2においては、光源3B12が点灯され、背景画像の撮影期間T3においては、光源3B12のみが点灯される。加えて、各カメラ2の暗瞳孔画像の撮影期間T2においては、非常に小さな発光量で光源3A1,3A2が点灯される。このような制御によれば、各画像の取得時において照明装置3の合計の発光量は同一にされる。それとともに、明瞳孔画像と暗瞳孔画像の間の瞳孔部の輝度差が、第1の光源と第2の光源との間の位置の差によって現れる。
また、2台のカメラ2の距離が十分に取れない場合には、照明装置3は図17に示す構成であってもよい。図17に示す構成では、光学系202a,202bの共用光源として、暗瞳孔用光源及び角膜反射発生用光源である光源3B12が、2つの開口部81,82の外側に2か所に分割して設けられている。このような構成によれば、それぞれのカメラ2の開口部81,82からの距離の差が第1の光源と第2の光源との間で大きくなり、特に、開口部81から開口部82の外側に配置された光源3B12までの距離が大きくなり、開口部82から開口部81の外側に配置された光源3B12までの距離が大きくなる。これにより、照明装置3を小型化しても明瞳孔画像と暗瞳孔画像との間の瞳孔部の輝度差を十分に大きくできる。なお、図14、図15、図17の構成の照明装置3では、明瞳孔画像、暗瞳孔画像、及び背景画像の取得時に左右対称の光量で照明されているので、算出される角膜反射像の位置が安定化される。
制御装置4の視線検出部20は、2つの光学系202a,202bごとに、瞳孔検出用画像を基に検出された瞳孔像の位置と、差分暗瞳孔画像及び差分明瞳孔画像のそれぞれを対象に検出された角膜反射像の位置とを取得する。そして、視線検出部20は、2つの光学系202a,202bに対応して得られた瞳孔像の位置を用いて、対象者の瞳孔の三次元位置を算出する。さらに、視線検出部20は、算出した瞳孔の三次元位置、2つの光学系202a,202bごとに得られた瞳孔像の位置及び角膜反射像の位置とを用いて対象者の視線方向および注視点を検出する。この際、差分明瞳孔画像を差分暗瞳孔画像に対して位置補正した場合は、瞳孔検出用画像上の瞳孔像の中心は暗瞳孔画像の取得時の瞳孔像の中心と一致すると考えられるので、それと同期をとるためにこの瞳孔像の位置と暗瞳孔画像上で検出された角膜反射像の位置とを用いて視線が検出される。一方、差分暗瞳孔画像を差分明瞳孔画像に対して位置補正した場合は、明瞳孔画像上の瞳孔像の位置と明瞳孔画像上で検出された角膜反射像の位置とを用いて視線が検出される。上記の瞳孔三次元位置の算出手法、視線方向および注視点の算出手法は、本発明者らによって開発された手法(国際公開2012/020760号公報参照)を採用することができる。
上述した視線検出装置201によれば、それぞれの2つの光学系において、環境光の影響によるノイズが除去された明瞳孔画像及び暗瞳孔画像を得ることができ、それらを用いることで瞳孔像の位置の検出精度を向上させることができる。さらに、2つの光学系で検出された瞳孔像の位置を利用することで、対象者の視線方向および注視点の検出精度も向上させることができる。
本発明は、上述した実施形態に限定されるものではない。上記実施形態の構成は様々変更されうる。
上述した第1実施形態及び第2実施形態では、制御装置4の検出ユニット13は対象者の瞳孔位置、角膜反射位置、あるいは視線方向を検出していたが、それらに加えて、対象者の顔姿勢を検出してもよい。すなわち、検出ユニット13は明瞳孔画像、背景画像、及び暗瞳孔画像の連続する3フレームについて、それらの画像上の対象者の左右の鼻孔の中心位置を算出する。これらの画像取得時には照明装置3が点灯しているので瞳孔像の位置を規準にしてウィンドウを設定して輝度を基に左右の瞳孔像の位置を算出することができる。そして、検出ユニット13は、それぞれのフレーム上における左右の瞳孔像の位置と左右の鼻孔の中心位置とを用いて、対象者の顔方向(顔姿勢)を示す法線ベクトルをカメラ2のピンホールモデルを用いて算出することができる。鼻孔の中心位置の算出方法、及び顔方向の算出方法は、例えば、国際公開2010/010926号公報に記載の方法を用いることができる。また、検出ユニット13は、同公報に開示された頭部姿勢を用いた明瞳孔画像と暗瞳孔画像との間の位置補正法を用いてもよい。同補正法により瞳孔像の検出時の位置補正が可能となるため、角膜反射像の検出のためのウィンドウもより小さい領域に設定することができる。その結果、角膜反射像の位置検出の精度が向上するだけでなく、画像処理も高速化される。
上述した第2実施形態では、検出ユニット13の角膜反射検出部19は、2つの光学系202a,202bに対応したカメラ21,22で取得された各眼画像上で角膜反射像の位置を検出する際には、次のような処理によって真の角膜反射像か偽の角膜反射像かを判断してもよい。
ここで、カメラ21,22は予めカメラ較正が施されているものとし、2台のカメラ21,22によって同期した(あるいは時間的に接近した)フレームのそれぞれの眼画像上で複数の角膜反射像の候補位置が算出されているものとする。図18〜20は、角膜反射検出部19による角膜反射位置の真偽判定処理を説明するための概念図である。まず、角膜反射検出部19は、一方のカメラ21によって取得された眼画像上で検出された複数の角膜反射像の候補位置と、他方のカメラ22によって取得された眼画像上で検出された複数の角膜反射像の候補位置とから、角膜反射像の候補位置のペアーを総当たりで選択する。そして、角膜反射検出部19は、カメラ21を規準に特定される候補位置のペアーのうちの一方の位置と、カメラ22を規準に特定される候補位置のペアーのうちの他方の位置との間の距離を算出し、その距離を基にその候補位置のペアーの真偽を判定する。
図18に示すように、対象者の角膜を表面が球面である角膜球CBと仮定し、各カメラ21,22にはカメラ中心(ピンホール)と一致しているとみなせる位置に照明装置31,32が取り付けられているとする。このように仮定すると、各カメラ21,22において写る角膜反射R1,R2の方向には角膜球CBの中心Cが存在することになる。従って、カメラ較正が正確であれば、理想的には2つのカメラ21,22から角膜反射R1,R2に向けて伸びる直線L1,L2は、角膜球CBの中心Cで互いに交点を持つ。一方で、2台のカメラ21,22の眼画像上でステレオマッチングの対象である角膜反射像の候補位置のペアーのうちの片方が真の角膜反射像の位置でなければ、図19に示すように、2つのカメラカメラ21,22から伸びる2本の直線L1,L2がねじれの関係になって交点を持たない。
そこで、角膜反射検出部19は、総当たりで選択した候補位置のペアーのそれぞれに関して、2つの直線L1,L2の間で最も距離が小さくなる直線L1,L2上の点(最近点)G1,G2を特定し、それらの最近点G1,G2間の距離G1G2を算出する。そして、角膜反射検出部19は、距離G1G2が予め設定された閾値以下となった候補位置のペアーを真の角膜反射像の位置のペアーと判定する。その後、検出ユニット13では、真の角膜反射像の位置のペアーを用いて、眼画像間の位置補正、瞳孔像の検出、視線検出、顔姿勢検出の処理が実行される。また、角膜反射検出部19は、候補位置のペアーを判定する際には、図20に示すように、2台のカメラ21、22のカメラ中心C1,C2を規準にして、それらのカメラ中心C1,C2と最近点G1を通る平面C1C2G1と、それらのカメラ中心C1,C2と最近点G2を通る平面C1C2G2との間のなす角度δを計算し、その角度δが予め設定された閾値以下となったか否かを判定することによって、真の角膜反射像の位置のペアーを判定してもよい。
このように処理することで、眼画像上で真の角膜反射像を正しく検出することができる。その結果、瞳孔像の位置の検出精度を一層向上させることができる。
ここで、上記実施形態では、第2の光源は、暗瞳孔用光源と、開口部中心からの距離が暗瞳孔用光源より近い角膜反射発生用光源とを含んでおり、点灯制御部は、第1の期間には、第1の光源及び角膜反射発生用光源を点灯させ、第2の期間には、暗瞳孔用光源及び角膜反射発生用光源を点灯させ、第3の期間には、角膜反射発生用光源を点灯させる、こととしてもよい。この場合、明瞳孔画像、暗瞳孔画像、及び背景画像において安定して角膜反射像を発生させることができ、明瞳孔画像及び暗瞳孔画像と背景画像との間の取得タイミングの時間差に起因した位置ずれを確実に補正することができる。
また、点灯制御部は、明瞳孔画像、暗瞳孔画像、及び背景画像における対象者の角膜反射像の輝度が一定となるように、第1の期間、第2の期間、及び第3の期間における角膜反射発生用光源の発光量を調整する、こととしてもよい。この場合、対象者が変わったり、対象者の位置が変動した場合であっても明瞳孔画像、暗瞳孔画像、及び背景画像における対象者の角膜反射像を正しく検出することができ、その結果瞳孔像の位置の検出精度を維持することができる。
また、点灯制御部は、第1の期間における第1の光源及び角膜反射発生用光源の発光量と、第2の期間における暗瞳孔用光源及び角膜反射発生用光源の発光量と、第3の期間における角膜反射発生用光源の発光量とが均一化されるように、第1の期間、第2の期間、及び第3の期間における角膜反射発生用光源の発光量を調整する、こととしてもよい。こうすれば、明瞳孔画像と暗瞳孔画像と背景画像との間で角膜反射像の輝度を同等にすることができ、それらにおける角膜反射像の位置を正しく検出することができる。その結果、環境光の影響によるノイズが効果的に除去された明瞳孔画像及び暗瞳孔画像を得ることができる。
また、点灯制御部は、第2の期間において第1の光源を第1の期間よりも小さい発光量で点灯させるように制御する、こととしてもよい。この場合には、差分明瞳孔画像と差分暗瞳孔画像とを対象に減算あるいは除算することにより対象者の眼鏡反射を相殺することができる。その結果、瞳孔像の位置の検出精度を一層向上させることができる。
また、開口部中心からの距離が第2の光源より近く第1の光源より遠い眼鏡反射相殺用光源をさらに備え、点灯制御部は、第2の期間において眼鏡反射相殺用光源を第1の期間における第1の光源の発光量よりも小さい発光量で点灯させるように制御する、こととしてもよい。この場合にも、差分明瞳孔画像と差分暗瞳孔画像とを対象に減算あるいは除算することにより対象者の眼鏡反射を相殺することができる。その結果、瞳孔像の位置の検出精度を一層向上させることができる。
さらに、カメラと第1の光源と第2の光源とを含む光学系を少なくとも2つ以上備え、算出部は、2つ以上の光学系のそれぞれによって取得された眼画像を対象にして、瞳孔像の位置及び角膜反射像の位置を算出し、瞳孔像の位置及び角膜反射像の位置を基に対象者の視線方向を算出する、こととしてもよい。この場合にも、2つ以上の光学系による瞳孔像の位置の検出精度を向上させることができ、その結果視線方向の検出精度も向上させることができる。
またさらに、算出部は、2つ以上の光学系の一方の光学系によって取得された眼画像上で検出された角膜反射像の複数の候補位置と、2つ以上の光学系の他方の光学系によって取得された眼画像上で検出された角膜反射像の複数の候補位置とのうちから、角膜反射像の候補位置のペアーを選択し、一方の光学系のカメラを規準に特定されるペアーのうちの一方の位置と、他方の光学系のカメラを規準に特定されるペアーのうちの他方の位置との間の距離を基に、候補位置のペアーの真偽を判定する、こととしてもよい。かかる構成を採れば、眼画像上で真の角膜反射像を正しく検出することができる。その結果、瞳孔像の位置の検出精度を一層向上させることができる。
さらにまた、算出部は、眼画像上における対象者の鼻孔の位置をさらに検出し、瞳孔の位置及び鼻孔の位置を基に対象者の顔姿勢を算出する、こととしてもよい。こうすれば、対象者の顔姿勢を精度よく算出することができる。