以下、図面を参照しつつ本発明に係る眼部画像処理装置の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。
(第1実施形態)
[瞳孔検出装置]
図1に示されるように、本発明の一実施形態である瞳孔検出装置1は、カメラ2と、照明装置(光源)3と、制御装置4と、を備えている。カメラ2は、筐体5と、筐体5内に収容されたCCD、CMOS等の撮像素子6と、筐体5内に収容された対物レンズ7とを有する。このカメラ2は、画像の1つのフレームの取得時間間隔が非常に短い高速度カメラであってもよいし、いわゆる中速度カメラ、又は60Hz程度のフレームレートを有するカメラであってもよい。筐体5は、観察対象者の眼球Aと対向する面に形成された円形状の開口部8を有する。対物レンズ7は、開口部8と撮像素子6との間に配置されている。対物レンズ7の光軸L0は、開口部8の中心軸線と一致している。撮像素子6は、その受光面が対物レンズ7の光軸L0に対して垂直に交わるように固定されている。撮像素子6は、対象者の眼球Aの像を撮像することによって眼画像データを生成して制御装置4に出力する。制御装置4は、照明装置3の発光強度、点灯タイミング、及び点灯期間、並びにカメラ2の撮像タイミング及び撮像期間を制御する。また、制御装置4は、撮像素子6から出力された眼画像データに基づいて差分処理、瞳孔検出処理、及び角膜反射検出処理を実行する。すなわち、制御装置4は、瞳孔検出手段及び角膜反射検出手段としても機能する。
なお、開口部8の径は、対物レンズ7の径に比較して小さく、対物レンズ7の有効径と略同程度である。このような構成により、対象者の眼球A付近の像は、開口部8を経てカメラ2内の撮像素子6に向けて導入された後、カメラ2内の対物レンズ7を含む光学系によって、撮像素子6の受光面に収束するように結像される。
照明装置3は、対象者の顔に向けて照明光を出射する。図2に示されるように、照明装置3は、ケーシング9と、ケーシング9に埋め込まれた光源3A,3Bを有する。ケーシング9は、開口部8の縁部に沿って開口部8の外側を覆うように筐体5に取り付けられている。光源3A,3Bは、いずれも対物レンズ7の光軸L0に沿って照明光を出射するようにケーシング9上に設けられている。
光源(第1の光源)3Aは、明瞳孔画像を得るための照明光(第1の照明光)を、対象者の顔に向けて照射するための光源である。明瞳孔画像とは、後述の暗瞳孔画像と比較して対象者の瞳孔が相対的に明るく写った画像をいう。光源3Aは、例えば、出力光の中心波長が近赤外領域の複数の半導体発光素子(LED)からなり、開口部8の中心からの距離が比較的近い第1の距離D1の位置に配置されている。具体的には、光源3Aを構成する発光素子は、ケーシング9上で、開口部8の外側において開口部8の縁に沿って等間隔でリング状に配設されている。光源3Aは、開口部8の縁にできるだけ近い位置に設けられることが好ましい。これにより、後述するように、光源3Aにより照らし出される対象者の像においては、瞳孔がより明るく映し出され、小さい瞳孔であっても検出が容易になる。
光源(第2の光源)3Bは、暗瞳孔画像を得るための照明光(第2の照明光)を、対象者の顔に向けて照射するための光源である。暗瞳孔画像とは、前述の明瞳孔画像と比較して対象者の瞳孔が相対的に暗く映った画像をいう。光源3Bは、例えば、出力光の中心波長が近赤外領域の複数の半導体発光素子(LED)からなり、開口部8の中心からの距離が比較的遠い第2の距離D2の位置に配置されている。この第2の距離D2は第1の距離D1より大きい。具体的には、光源3Bを構成する発光素子は、ケーシング9上で、光源3Aから開口部8の外側に離間して等間隔でリング状に配設されている。この光源3Bは、明瞳孔画像及び暗瞳孔画像の取得時において角膜反射を生じさせるための光源としても共用される。
上記の光源3Aから対象者の眼球Aに照明光が出射されるタイミング(点灯タイミング)でカメラ2によって瞳孔が撮像されると明瞳孔画像が取得され、光源3Aからの照明光が消灯されたタイミング(消灯タイミング)であって、上記の光源3Bから対象者の眼球Aに照明光が出射されるタイミング(点灯タイミング)でカメラ2によって瞳孔が撮像されると暗瞳孔画像が取得される。これは、次のような性質によるものである。つまり、眼球Aへの照明光がカメラ2の光軸L0から相対的に離れた位置から入射した場合には、眼球Aの瞳孔から入射し、眼球内部で反射されて再び瞳孔を通過した照明光がカメラ2に届きにくいため、瞳孔が相対的に暗く映るという性質である。
ここで、光源3Aの出力光の中心波長は、光源3Bの出力光の中心波長と同じ波長に設定されてもよいし、異なる波長に設定されてもよい。ただし、明瞳孔画像取得用の光源である光源3Aは、網膜を反射して戻ってくる光の輝度が強い点で、例えば、850nm等の900nm付近より短い出力光の波長の光源を用いることが望ましい。同様に、暗瞳孔取得用の光源である光源3Bは、網膜を反射して戻ってくる光の輝度が弱い点で、例えば、950nm等の900nm付近より長い出力光の波長の光源を用いることが望ましい。一方で、長い波長の光源の発光パワーは弱くカメラの感度も一般に長波長になるに従って低くなるため、光源3Bは、光源3Aに比べて2倍程度の数の発光素子を備えることが好ましい。多数の発光素子を配置する余地が無い場合には、光源3Bは2重のリング状に発光素子が配置された構造であってもよい。なお、光源3Aと光源3Bとで出力光の中心波長を同じに設定する場合は、両者の中心波長が、850nm、870nm、890nm等に設定される。ただし、その場合は、光源の波長によって明瞳孔画像と暗瞳孔画像との間の瞳孔部の輝度差が生じにくくなるため、光源3Aの開口部8からの距離D1と光源3Bの開口部8からの距離D2との差をより大きくすることが望ましい。これにより、カメラ2から見た光源3Aからの照明光による瞳孔を照らす効果と、カメラ2から見た光源3Bからの照明光による瞳孔を照らす効果との差を大きくすることができる。
また、光源3A,3Bの発光強度(発光パワー)は、光源3Aを発光させたときの撮影対象である対象者の顔面での照度と、光源3Bを発光させたときの顔面での照度とが略同一になるように設定されている。更に、光源3A,3Bは、後述する制御装置4からの制御信号により、それぞれ独立に照明光の点灯タイミング及び発光量を制御可能にされている。本実施形態では、光源3A,3Bは、点灯期間が制御可能にされ、その結果として、発光強度と点灯期間との積で決まる発光量が制御されるように構成されている。
続いて、図3及び図4を参照して、瞳孔検出装置1に含まれる制御装置4の構成について説明する。
制御装置4は、撮像素子6及び光源3A,3Bの制御と、対象者の瞳孔及び角膜反射の検出を実行するコンピュータであり得る。制御装置4は、据置型又は携帯型のパーソナルコンピュータ(PC)により構築されてもよいし、ワークステーションにより構築されてもよいし、他の種類のコンピュータにより構築されてもよい。あるいは、制御装置4は複数台の任意の種類のコンピュータを組み合わせて構築されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。
図3に示されるように、制御装置4は、CPU(プロセッサ)101と、主記憶部102と、補助記憶部103と、通信制御部104と、入力装置105と、出力装置106とを備える。CPU101は、オペレーティングシステムやアプリケーション・プログラムなどを実行する。主記憶部102は、ROM及びRAMで構成される。補助記憶部103は、ハードディスクやフラッシュメモリなどで構成される。通信制御部104は、ネットワークカードあるいは無線通信モジュールで構成される。入力装置105は、キーボードやマウスなどを含む。出力装置106は、ディスプレイやプリンタなどを含む。
後述する制御装置4の各機能要素は、CPU101又は主記憶部102の上に所定のソフトウェアを読み込ませ、CPU101の制御の下で通信制御部104や入力装置105、出力装置106などを動作させ、主記憶部102又は補助記憶部103におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部102又は補助記憶部103内に格納される。
図4に示されるように、制御装置4は機能的構成要素として、撮像素子駆動ユニット11と、点灯制御ユニット(点灯制御部)12と、検出ユニット(算出部)13とを有する。撮像素子駆動ユニット11は、撮像素子6の撮影タイミングを制御する機能要素である。具体的には、撮像素子6を所定のフレームレート及び所定の露光時間で繰り返し撮像し、交互に明瞳孔画像及び暗瞳孔画像を取得するように制御する。点灯制御ユニット12は、撮像素子6の撮影タイミングに同期させて、光源3A,3Bの点灯タイミング及び撮像素子6の露光期間内の発光量を制御する機能要素である。本実施形態では、点灯制御ユニット12は、光源3A,3Bの発光量をそれぞれの点灯期間を設定することによって制御している。具体的には、点灯制御ユニット12は、明瞳孔画像の撮像時には光源3A及び光源3Bを連続して(又は同時に)点灯させ、暗瞳孔画像の撮像時には光源3Bのみを点灯させ、光源3Aを消灯させるように制御する。検出ユニット13は、撮像素子6から出力された眼画像データを利用して、当該眼画像データにおける瞳孔及び角膜反射を検出する機能要素である。検出された瞳孔及び角膜反射に関する情報の出力先は何ら限定されない。例えば、制御装置4は、結果を画像、図形、又はテキストでモニタに表示してもよいし、メモリやデータベースなどの記憶装置に格納してもよいし、通信ネットワーク経由で他のコンピュータシステムに送信してもよい。
検出ユニット13は、機能的構成要素として、画像取得部14と、差分画像生成部16と、点灯時間設定部17と、瞳孔検出部18と、角膜反射検出部19、とを有する。画像取得部14は、撮像素子6から所定のフレームレートで交互に撮影される明瞳孔画像及び暗瞳孔画像を、眼画像データとして取得する。差分画像生成部16は、明瞳孔画像及び暗瞳孔画像の差分画像を生成する。具体的には、差分画像生成部16は、明瞳孔画像及び暗瞳孔画像の対応する画素間の輝度の差分を計算することにより、差分画像を生成する。瞳孔検出部18は、差分画像を利用して瞳孔像の位置を算出する機能要素である。角膜反射検出部19は、明瞳孔画像及び暗瞳孔画像を利用して角膜反射像の位置を算出する機能要素である。瞳孔検出部18及び角膜反射検出部19により行われる処理の一例は、次の通りである。まず、瞳孔検出部18は、差分画像を2値化し、孤立点除去、モルフォロジー処理によるノイズ除去、ラベリングを行う。そして、瞳孔検出部18は、最も瞳孔らしい形状を有する画素群を、瞳孔として検出する。このとき、瞳孔がまぶたやまつ毛で隠れた場合にも、まぶたやまつ毛と瞳孔との境界を偽の瞳孔輪郭として排除し、真の瞳孔輪郭のみを楕円フィッティングして、求まる楕円の式から瞳孔像の中心位置を算出する。また、角膜反射検出部19は、明瞳孔画像の瞳孔の近傍から瞳孔輝度よりも高い閾値で2値化し、角膜反射像の中心を、輝度を考慮した重心として求める。瞳孔輝度は、楕円フィッティングした結果得られる楕円の面積ではなく、2値化して得られた瞳孔を構成する画素の輝度平均で与えられる。角膜反射検出部19は、角膜反射像の位置を、暗瞳孔画像を対象にしても算出する。
次に、点灯時間設定部17の機能構成について詳細に説明する。
点灯時間設定部17は、取得される差分画像における瞳孔部の輝度が目標値に近づくように光源の点灯時間を設定するとともに、明瞳孔画像及び暗瞳孔画像における角膜反射の輝度が目標値に近づくように光源の点灯時間を設定する。点灯時間設定部17は、設定した点灯時間で光源が発光するように、点灯制御ユニット12を経由して光源3A,3Bの動作を制御する。
図5には、点灯時間設定部17及び点灯制御ユニット12によって制御された各光源の点灯タイミングを示すタイミングチャートであり、(a)は、カメラ2の撮像タイミング、(b)は、光源3Aの点灯タイミング、(c)は、光源3Bの点灯タイミングをそれぞれ示している。図5に示すように、点灯制御ユニット12により、カメラ2によって交互に繰り返される明瞳孔画像の撮影期間(露光期間)T1及び暗瞳孔画像の撮影期間(露光期間)T2のうちの撮影期間T1に同期するように、光源3Aの点灯期間TBの点灯タイミング、及びそれに続く光源3Bの点灯期間TCの点灯タイミングが制御され、暗瞳孔画像の撮影期間T2に同期するように、光源3Bの点灯期間TDCの点灯タイミングが制御される。概念的には、明瞳孔画像の撮像時には、光源3Aが明瞳孔画像を生成するために点灯期間TBだけ点灯されるとともに、明瞳孔画像における角膜反射像の強調のために光源3Bが点灯期間TCだけ点灯される。また、暗瞳孔画像の撮像時には、光源3Bが暗瞳孔画像を得るために点灯期間TDだけ点灯されるとともに、それに加えて、暗瞳孔画像における角膜反射像の強調のために光源3Bが点灯期間TCだけ点灯される。このとき、明瞳孔画像と暗瞳孔画像とで瞳孔部以外の顔の輝度が同等になるように、点灯期間TBと点灯期間TDとが同じになるように設定され、明瞳孔画像と暗瞳孔画像とで角膜反射像の輝度のバランスが取れるように、明瞳孔画像の撮像時の合計の点灯期間TB+TCが、暗瞳孔画像の撮像時の点灯期間TDC=TD+TCに等しくなるように設定される。つまり、明瞳孔画像撮影時の点灯期間TC分の点灯による輝度レベルへの影響は、暗瞳孔画像撮像時の点灯期間TC分の点灯による輝度レベルへの影響と同等であるため、差分画像においてそれぞれの影響は相殺されることになり、差分画像における瞳孔部の輝度は明瞳孔画像取得時の光源3Aの点灯期間TB及び暗瞳孔画像取得時の光源3Bの点灯期間TD=TBによって主に左右される。一方で、光源3Aと光源3Bとで対象者の顔面での照度は同じになるように調整されているので、明瞳孔画像撮影時の角膜反射の輝度は合計の点灯期間TB+TCによって左右され、暗瞳孔画像撮影時の角膜反射の輝度は合計の点灯期間TDC=TD+TCによって左右される。
具体的には、点灯時間設定部17は、明瞳孔画像及び暗瞳孔画像における角膜反射像の輝度値を一定にするために、前回のタイミングのフレームで取得された明瞳孔画像及び暗瞳孔画像の角膜反射像の輝度値を基に次回のタイミングのフレームの点灯期間TBと点灯期間TCとの和を変更する。ここでいう「フレーム」とは1つの明瞳孔画像とその直後の1つの暗瞳孔画像との組み合わせのフレームのことを指すものとする(以下、同様。)。それに合わせて、点灯時間設定部17は、次回のタイミングのフレームの点灯期間TDCを変更する。すなわち、Ciを前回のフレームの角膜反射像のピークの輝度値とし(iは自然数)、CGをそのピークの所定の目標値とすると、次回のフレームの点灯期間TDC i+1は、前回のフレームの点灯期間TDC iに対して、下記式;
TDC i+1=(CG/Ci)×TDC i (1)
によって計算された値に変更される。言い換えると、点灯時間設定部17は、角膜反射像の輝度値Ciと目標値CGとの大小関係(割合)に比例して、点灯期間の和TB+TC=TD+TCを増減させるように制御する。
同時に、点灯時間設定部17は、前回のフレームで得られた差分画像における瞳孔像の輝度値を基に次回のフレームにおける点灯期間TB(=点灯期間TD)を変更するように制御する。すなわち、Piを前回のフレームの瞳孔像の輝度値(例えば、平均輝度)、PGを瞳孔像の輝度の所定の目標値とすると、次回のフレームの点灯期間TB i+1は、前回のフレームの点灯期間TB iに対して、下記式;
TB i+1=(PG/Pi)×TB i (2)
によって計算された値に変更される。言い換えると、点灯時間設定部17は、瞳孔像の輝度値Piと目標値PGとの大小関係(割合)に比例して、点灯期間TB(=TD)を増減させるように制御する。これに応じて、次回のフレームの明瞳孔画像撮像時における光源3Bの点灯期間TC i+1は、上記式(1)によって算出された点灯期間TDC i+1を基に、下記式;
TC i+1=TDC i+1−TB i+1 (3)
によって計算された値に変更される。
ここで、点灯時間設定部17は、光源3Aと光源3Bの対象者の顔面での照度バランスが同一とされていることから、点灯期間TDと点灯期間TBとを同一になるように設定している。しかし、発光素子の特性の不均一性などの原因により、このように設定しても、差分画像における瞳孔部以外の輝度が零にならない(相殺されない)場合がある。これを補正するために、使用する波長領域の光がカメラ2に入射しないようにカメラ2の前面に可視光カットフィルター等を設けた状態で、その可視光カットフィルターとカメラ2との間に近赤外線を乱反射する紙などの乱反射物を固定する。この状態で、光源3Aと光源3Bとを交互に同じ発光時間幅で点灯させ、そのときのそれぞれの光源の点灯時に得られた乱反射物の画像中の輝度値の比αを予め計測しておく(αは正の実数。)。そして、点灯時間設定部17は、下記式(4);
TD i+1=α×TB i+1 (4)
を用いて、次回のフレームにおける点灯期間TDを次回のフレームにおける点灯期間TBから計算する。このとき、点灯時間設定部17は、点灯期間TBを点灯期間TDから計算してもよい。さらに、点灯時間設定部17は、数値を置き換えてから、上記式(1)〜(3)を用いて各点灯期間を設定すればよい。つまり、両光源3A,3Bにおいて発光時間幅と発光パワーに線形関係があることが利用されて、暗瞳孔画像の取得時の光源3Bの点灯期間と明瞳孔画像の取得時の光源3Aの点灯期間との関係を比αに応じて補正するように制御される。
なお、点灯時間設定部17は、カメラ2によって取得された眼画像データに2つの目が写っている場合には、2個の瞳孔像の輝度平均をPiとし、2個の角膜反射像の輝度平均をCiとして与えればよい。
図6は、周囲の環境光の輝度レベルが高い高照度環境下における明瞳孔画像及び暗瞳孔画像の撮影時の光源3Bの点灯期間TC=0とした場合に瞳孔検出装置1によって得られる眼画像データの瞳孔部付近の輝度の一次元分布を示すグラフであり、(a)は明瞳孔画像の一次元分布、(b)は暗瞳孔画像の一次元分布、(c)は差分画像の一次元分布をそれぞれ示している。これらのグラフには、角膜反射を含む線分上の眼画像データの一次元分布を示している。このように、明瞳孔画像と暗瞳孔画像において瞳孔部以外の輝度値が同じ値IDとなるように光源3A,3Bのパワーが調整されているため、差分画像においては、瞳孔部以外の輝度が零になっている。また、同様に、明瞳孔画像中の角膜反射の輝度の高さと、暗瞳孔画像中の角膜反射の輝度の高さは同じ値IAになるため、差分画像においては角膜反射像が消失している。このことから、角膜反射像は差分画像からの検出は困難であり、明瞳孔画像及び暗瞳孔画像のそれぞれから検出される。また、高照度環境下では、明瞳孔画像及び暗瞳孔画像における瞳孔部以外の輝度が周囲光に含まれる近赤外光によって大きく上昇すると同時に、周囲光に含まれる可視光によって対象者の瞳孔が小さくなるため、明瞳孔画像の瞳孔部の輝度値と暗瞳孔画像の瞳孔部との輝度値との差ICが出にくくなる。
図7は、図6と同じ環境下における明瞳孔画像及び暗瞳孔画像の撮影時の光源3A,3Bの点灯期間を点灯時間設定部17によって設定した場合に瞳孔検出装置1によって得られる眼画像データの瞳孔部付近の輝度の一次元分布を示すグラフであり、(a)は明瞳孔画像の一次元分布、(b)は暗瞳孔画像の一次元分布、(c)は差分画像の一次元分布をそれぞれ示している。これらのグラフには、図6に示した眼画像データの一次元分布を点線で示し、点灯期間を点灯時間設定部17によって設定した場合に得られた角膜反射を含む線分上の眼画像データの一次元分布を実線で示している。このように、明瞳孔画像と暗瞳孔画像において、光源3Bの点灯期間TCの点灯が追加されているため瞳孔部以外の輝度値が値ID+IFに上昇する。また、同様に、明瞳孔画像中の角膜反射の輝度の高さと、暗瞳孔画像中の角膜反射の輝度の高さは、光源の点灯期間の合計時間TDCの調整により、値IGに上昇し一定値に維持される。さらに、差分画像における瞳孔像の輝度値IHは、点灯期間TB=TDの設定により一定値に制御される。この際、点灯期間TBを増加させる分だけ点灯期間TCを減少させることにより、合計の点灯期間TDCが一定に保たれる。なお、光源3Bが付加的に点灯されるので、瞳孔が小さくなった際に光源3Bの点灯による暗瞳孔の効果が表れやすい。従って、明瞳孔画像及び暗瞳孔画像のどちらにおいても、光源3Bによって瞳孔部以外(角膜反射を含む)が明るくなる度合いに対して、瞳孔部が明るくなる度合いは小さい。図8には、点灯時間設定部17及び点灯制御ユニット12によって制御された各光源の点灯タイミングを示すタイミングチャートであり、(a)は、カメラ2の撮像タイミング、(b)は、光源3Aの点灯タイミング、(c)は、光源3Bの点灯タイミングをそれぞれ示している。この場合は、図5の場合と比較して、差分画像における瞳孔像の輝度を調整するために点灯期間TB=TDが増加するように設定され、その分点灯期間TCが減少するように設定されている。
[視線検出装置]
以下、上述した瞳孔検出装置1を応用した第1実施形態にかかる視線検出装置201の構成について説明する。図9は、視線検出装置201の機能構成を示すブロック図である。視線検出装置201は、上述した光源3A,3Bと撮像素子6を含むカメラ2とによってそれぞれ構成される2つの光学系202a,202bと、制御装置4とを備える。制御装置4の検出ユニット13は、対象者の視線方向を検出するための機能要素として視線検出部20をさらに備えている。
制御装置4の撮像素子駆動ユニット11は、2つの光学系202a,202bの撮像素子6の撮影タイミングを制御し、点灯制御ユニット12は、2つの光学系202a,202bの光源3A,3Bの点灯タイミングを制御する。2つの光学系202a,202bは、互いの撮影タイミング及び点灯タイミングをずらして光源の光が互いに干渉しあわないように制御されることも可能である。本実施形態では、各カメラ2による撮影の時間差を可能な限り少なくするために、2つの光学系202a,202bの撮像素子6の撮影タイミングが同期するように制御される。その際、2つの光学系202a,202bの各光源3A,3Bの点灯期間の設定は、上述した点灯時間設定部17による設定手順と同様に、2つの光学系202a,202bで独立に行われる。このような構成にすることで、複数のカメラ2で得られた眼画像データ間の時間差をなくすことができ、複数の瞳孔画像からステレオマッチングで瞳孔の三次元座標を求める際の誤差を小さくすることができ、視線検出の誤差を小さくすることができる。つまり、各光学系のカメラ2間で同期をとっていれば、2台のカメラどうしで眼画像データの取得時間差がないため対象者の頭部の動きによる誤差を少なくすることができる。
詳細には、制御装置4の点灯時間設定部17は、各光学系202a,202bにおいて設定される点灯期間TB,TC,TD,TDCをそれぞれ点灯期間TBn,TCn,TDn,TDCnとした場合(n=1,2)、点灯期間TBn=TDnとなるように常に制御する。これにより、一方の光学系の光源の光が他方の光学系のカメラ2に入ったとしてもそれぞれのカメラ2によって取得される明瞳孔画像と暗瞳孔画像との間で瞳孔部以外の輝度レベルは一致し、差分画像から安定して瞳孔を検出できる。各光学系202a,202bにおいて、一方の光学系のカメラ2自身に取り付けた光源3A,3Bのうち、明瞳孔効果(瞳孔を明るく映す効果)が強いのはそのカメラ2に取り付けた光源3Aのみである。他方の光学系のカメラ2に取り付けた光源3A,3Bは共に同じ位置にあるとみなせるため、同じレベルの強い暗瞳孔効果(瞳孔を暗く映す効果)を持つ。このことから、一方の光学系のカメラ2での明瞳孔画像及び暗瞳孔画像の撮影時に、他方の光学系のカメラ2の光源が同じパワー(点灯期間)で発光した場合には、他方の光学系のカメラ2の光源は一方の光学系のカメラ2から得られる差分画像における瞳孔像の輝度には影響を与えない。差分画像の瞳孔像の輝度に影響を与えるのは一方の光学系のカメラ2自身に取り付けた光源3Aと光源3Bとの明瞳孔効果の差のみである。
制御装置4の点灯時間設定部17は、各光学系202a,202bごとに、上記式(1)〜(3)を用いて、現在のフレームの眼画像データから得られた角膜反射像の輝度値及び瞳孔像の輝度値を基に、次回のフレームの点灯期間TBn,TCn,TDCnを設定する。この際、点灯時間設定部17は、TB1=TD1=TB2=TD2となるように点灯期間を設定することが好適である。こうすれば、両方のカメラ2で取得された眼画像データ間の瞳孔部以外の輝度レベルが一致し、両方のカメラ2で同じ明るさの顔画像が撮影可能とされる。点灯時間設定部17は、2つの光学系202a,202bの角膜反射像形成のための光源3Bの点灯期間をTC1=TC2と設定し、角膜反射像の輝度レベルに応じて点灯期間TB1+TC1=TB2+TC2を制御する。
制御装置4の視線検出部20は、2つの光学系202a,202bごとに、差分画像を基に検出された瞳孔像の位置と、暗瞳孔画像及び明瞳孔画像のそれぞれを対象に検出された角膜反射像の位置とを取得する。そして、視線検出部20は、2つの光学系202a,202bに対応して得られた瞳孔像の位置を用いて、対象者の瞳孔の三次元位置を算出する。さらに、視線検出部20は、算出した瞳孔の三次元位置、2つの光学系202a,202bごとに得られた瞳孔像の位置及び角膜反射像の位置とを用いて対象者の視線方向および注視点を検出する。上記の瞳孔三次元位置の算出手法、視線方向および注視点の算出手法は、本発明者らによって開発された手法(国際公開2012/020760号公報参照)を採用することができる。
上述した瞳孔検出装置1によれば、カメラ2の開口部8中心から比較的近い位置に配置された光源3A及びその開口部8中心から比較的遠い位置に配置された光源3Bの点灯タイミングに合わせてカメラ2で画像を取得することにより、瞳孔が相対的に明るく写った明瞳孔画像が得られ、光源3Bの消灯タイミングにおける光源3Bの点灯タイミングに合わせてカメラ2で画像を取得することにより、瞳孔が相対的に暗く写った明瞳孔画像が得られ、明瞳孔画像と暗瞳孔画像との差分画像を用いて対象者の瞳孔像の位置が算出され、明瞳孔画像及び暗瞳孔画像を基に角膜反射像の位置が算出される。このとき、明瞳孔画像の角膜反射像の輝度値を基に明瞳孔画像の取得時の光源3A,3Bの点灯期間の和が変更され、暗瞳孔画像の角膜反射像の輝度値を基に暗瞳孔画像の取得時の光源3Bの点灯期間が変更されることにより、明瞳孔画像及び暗瞳孔画像における角膜反射の輝度値を安定化することができる。それと同時に、瞳孔像の輝度値を基に明瞳孔画像の取得時の光源3Aの点灯期間が変更されることにより、差分画像における瞳孔像の輝度を安定化することができる。その結果、光学系と対象者との距離、及び対象者の瞳孔の大きさにかかわらず、画像中の瞳孔及び角膜反射の両方の検出精度を向上させることができる。加えて、カメラ2の開口部8中心からの距離が異なる2つの光源3A,3Bのそれぞれの点灯タイミングに合わせて明瞳孔画像及び暗瞳孔画像を取得し、それらの差分画像を用いて瞳孔像を検出することで、差分画像における瞳孔の検出精度を確保することができる。さらに、暗瞳孔画像における角膜反射の位置も算出することで、時間的連続性を保って角膜反射の位置を精度よく算出することができる。
詳細には、制御装置4は、角膜反射像の輝度値Ciと所定の目標値CGとの関係に比例して明瞳孔画像の取得時の光源3Aの点灯期間TBと光源3Bの点灯期間TCとの和を増減させるように制御するとともに、瞳孔像の輝度値Piと所定の目標値PGとの関係に比例して明瞳孔画像の取得時の光源3Aの点灯期間を増減させるように制御する。この場合、明瞳孔画像における角膜反射像の輝度値を目標値に近づけることができるとともに、差分画像における瞳孔像の輝度値を目標値に近づけることができる。その結果、画像中の瞳孔及び角膜反射の両方の検出精度を確実に向上させることができる。
また、制御装置4は、暗瞳孔画像の取得時の光源3Bの点灯期間TDと、明瞳孔画像の取得時の光源3Aの点灯期間TBとの関係を補正するように制御する、こととしてもよい。この場合には、明瞳孔画像の瞳孔部以外の輝度値と暗瞳孔画像の瞳孔部以外の輝度値とのバランスを保つことができ、差分画像における瞳孔の検出精度をさらに向上させることができる。
上述した視線検出装置201によれば、2つのカメラ2によって取得された眼画像データを対象にして算出された瞳孔像の位置及び角膜反射像の位置を基に対象者の視線方向を算出することで、高精度の視線検出を実現することができる。すなわち、視線検出装置201を構成する制御装置4は、2つの光学系202a,202bによって取得された眼画像データ上の瞳孔像の位置を基に対象者の瞳孔の3次元座標を算出し、算出した瞳孔の3次元座標と、2つの光学系202a,202bによって取得された眼画像データ上の瞳孔像の位置及び角膜反射像の位置とを基に視線方向を算出する。このようにすることで、高精度の視線検出を実現することができる。
より詳細に説明すれば、暗瞳孔画像では瞳孔像が暗くなりやすいため、暗瞳孔画像中での角膜反射は輝度レベルが突出しやすいため比較的検出しやすい。しかしながら、対象者の頭部が動いた場合でも高精度の視線検出を実現するためには、明瞳孔画像及び暗瞳孔画像の両方から角膜反射を検出する必要がある。なぜならば、60fps程度のフレームレートの低いカメラを使用した場合には、明瞳孔画像と暗瞳孔画像とが時間的に大きくずれて取得されるからである。その場合、対象者の頭部が動くと明瞳孔画像と暗瞳孔画像とで瞳孔像の位置がずれる。この状態で求められた差分画像から検出された瞳孔像の位置が不正確となることを防ぐために、本発明者らが開発した手法(特開2008-029702号公報参照)では明瞳孔画像及び暗瞳孔画像から角膜反射を検出して、それらの位置が一致するように瞳孔を含む小領域の画像をずらした後に差分画像を算出している。この手法を採用するためにも、暗瞳孔画像だけでなく明瞳孔画像からも角膜反射を検出する必要がある。しかしながら、明瞳孔画像では、瞳孔が明るくなりすぎると瞳孔部の輝度値が飽和する場合もある。その際、角膜反射が瞳孔部内に生じた場合に明瞳孔画像中で角膜反射がつぶれて消失してしまう。こうなると視線検出は困難となるし、角膜反射を利用した差分画像の上記の算出手法は利用できない。本実施形態によれば、差分画像の瞳孔部の輝度値を目標値に保つことができ、その結果明瞳孔画像中の瞳孔部の輝度値が飽和することを防ぐことができ、明瞳孔画像及び暗瞳孔画像の両方から角膜反射を検出できる。
一方で、眼画像データにおいて瞳孔部以外の部分に対して相対的に輝度の高い瞳孔像を得るには、光源をカメラの開口部に角度的に近い位置に設置する必要がある。特に、瞳孔が小さいと明瞳孔画像中の瞳孔像の輝度が下がるため(暗瞳孔中の瞳孔の輝度はあまり変わらない)、結果的に差分画像中の瞳孔像の輝度も下がる。瞳孔像の輝度が極端に小さくなると、瞳孔部以外の部分の輝度が変動した際に(例えば、頭部の動きがあったり環境が変化した場合)、瞳孔部検出のための閾値の設定が難しくなり、差分画像から瞳孔像を検出する優位性が失われる。そこで、瞳孔が極端に小さくなった場合でも差分画像中で瞳孔像の輝度を最低限のレベルよりは大きくしておくことが望まれる。そもそも、瞳孔が極端に小さくなる状況は太陽からの直射日光が顔にあたった場合が想定され、そのような状況下では明瞳孔画像において瞳孔部のほうがその他の部分よりも輝度が低い場合もあり、一定の閾値で瞳孔像を検出することが困難となる。そのような場合、微分計算により瞳孔像のエッジを検出することも考えられるが、それでも虹彩の部分と瞳孔の部分が輝度においてほとんど変わらない場合も有るので安定して瞳孔像が検出できない。よって、瞳孔が小さいときでも安定して瞳孔像を検出するためには光源をできるだけカメラの開口部に近づけて設置する必要がある。
しなしながら、光源を開口部の近くに設置すると、反対に対象者の瞳孔が大きくなったときに瞳孔像の輝度が高くなり光源の発光パワー(例えば電流量)を下げる必要が出てくる。瞳孔径は一般に2mm〜8mmの範囲で変化すると言われており、瞳孔面積にすると16倍に変化しうる。これは、差分画像の瞳孔像の輝度値の最小値と最大値との比が16であることを意味している。光源の発光パワーを下げると同時に角膜反射像の輝度値も比例して小さくなるため、結果的に眼画像データからの角膜反射の検出が困難となる。特に、乱視の眼球などでは明瞳孔画像の瞳孔の輝度が均一でない場合があるため、瞳孔の輝度が低い部分に角膜反射が重畳したときに瞳孔の輝度の高い部分のほうが角膜反射の存在する部分より輝度が高くなることがありうる。また、角膜反射が瞳孔部の外側に生じた場合、瞳孔部の輝度よりも角膜反射の輝度が低くなるために、角膜反射の検出が困難となる。このような場合、微分絶対値による手法(特開平10−146320号公報参照)を採用しても、角膜反射のエッジよりも瞳孔のエッジのほうが高くなることがあり検出が困難である。微分絶対値の瞳孔のエッジを角膜反射部分よりも低くするためには、瞳孔とその周囲の輝度差ができるだけ小さいことが望まれる。従って、角膜反射を検出しやすくするためには差分画像の瞳孔の輝度ができるだけ小さい方が良い。
さらに、眼画像データにおける角膜反射の輝度値は高いほど良いわけではない。眼鏡をしている対象者の場合、光源の眼鏡反射像が瞳孔の近傍に現れることがある。これまでの発明者らの観察によれば、眼鏡反射像は眼鏡レンズの前面と後面とでの多重反射によって生じると考えられ、画像上に複数現れ、しかも瞳孔の近傍のものは小さなスポット状となる。この眼球反射像は、少しピントがずれた状態の角膜反射像に酷似しており、大きさも同程度で輝度が鋭く立ち上がった形態となり、一般に輝度値は飽和している。従って、角膜反射像が飽和していなければ、輝度値を基に眼鏡反射像と角膜反射像とを容易に区別できる。眼鏡反射像のみが飽和している場合には、明瞳孔画像においては、飽和している部分の輝度値を零に置き換えてから暗瞳孔画像を差分して瞳孔を抽出すれば眼鏡反射像を除外しやすい。このことから、角膜反射像は輝度が高い方が検出しやすいものの、その輝度が飽和しないようにすることが望ましい。
上述した理由から、明瞳孔画像中あるいは差分画像中における瞳孔像の輝度を低く保つためには、明瞳孔画像を得るための光源をカメラの開口部から離すか、瞳孔が光りにくい波長(例えば、940nm)の光を用いることが考えられる。しかしながら、このような構成とすれば、今度は瞳孔が小さい時に瞳孔の輝度が低くなり、ノイズに埋もれて瞳孔像が検出できなくなる。さらに、対象者の頭部が光学系から離れているときには瞳孔が明るくなりやすいが、頭部が光学系に近いときには瞳孔が暗くなりやすい。これは、瞳孔の輝度は、カメラの開口部から光源までの距離ではなく、対象者の瞳孔から見たカメラの開口部と光源との間の角度に依存するからである。従って、カメラの開口部と光源との間の距離が一定であるとしたとき、瞳孔から光学系までの距離が近くなるほど上記角度は大きくなるため、光源から目に照射される光量が増加するにもかかわらず、瞳孔が暗くなることがある。逆に、頭部が光学系に近いときに瞳孔が十分に検出できるだけの輝度を持つように光源の位置を設定した場合に、頭部が光源から離れたときに瞳孔の輝度が飽和することがありうる。そのような事態を防ぐために光源の発光パワーを下げると、今度は角膜反射像の輝度がその分だけ低下し角膜反射が検出しにくくなる。
上述したように、眼画像データにおける瞳孔像の輝度は瞳孔の面積だけでなく瞳孔から光学系までの距離にも依存する。また、瞳孔への入射光と瞳孔からの戻り光の光量比は個々の対象者によって異なる。その要因としては、眼底での反射率の違い、眼内媒体での吸収率の違い等が挙げられる。また、眼鏡を装着している場合と装着していない場合とでは瞳孔像の輝度が異なるし、眼鏡のレンズごとの透過率の違いによっても瞳孔像の輝度が異なる。このような要因から、対象者毎に理論的計算により瞳孔像の輝度を予測することは困難である。本実施形態では、対象者が様々変わっても、頭部と光学系の距離又は瞳孔の大きさが様々に変化しても、差分画像における瞳孔像の輝度と、明瞳孔画像及び暗瞳孔画像における角膜反射像の輝度とを、所望の目標値に安定して維持することができる。
(第2実施形態)
図10には、上述した瞳孔検出装置1及び視線検出装置201に含まれる照明装置の第2の実施形態の構成を示している。同図に示すように、第2実施形態にかかる照明装置203は、ケーシング9に埋め込まれた光源3A,3Bに加えて光源3Cを有する3重リング状の構成を有する。光源3Cも対物レンズ7の光軸L0(図1)に沿って照明光を出射するようにケーシング9上に設けられている。第1実施形態と同様に、光源3Aは明瞳孔画像を得るための照明光を照射するための光源であり、光源3Bは、暗瞳孔画像を得るための照明光を照射するための光源である。光源3Cは、明瞳孔画像及び暗瞳孔画像の取得時において角膜反射を生じさせるための光源として別途設けられる。
具体的には、光源3Cは、例えば、出力光の中心波長が近赤外領域の複数の半導体発光素子(LED)からなり、開口部8の中心からの距離が第3の距離D3の位置に配置されている。この第3の距離D3は、第1の距離D1より大きく、第2の距離D2より小さい。具体的には、光源3Cを構成する発光素子は、ケーシング9上で、光源3Aと光源3Bとの間の位置で光源3A,3Bから離間して等間隔でリング状に配設されている。光源3Cの出力光の中心波長は、光源3A,3Bの出力光の中心波長と同じ波長に設定されてもよいし、異なる波長に設定されてもよい。例えば、光源3Cの出力光の中心波長は、瞳孔が光りにくい波長(例えば、950nm)に設定されてもよい。また、光源3Cの発光素子の数は、光源3A,3Bと同一であってもよいし異なっていてもよい。このような光源3Cの存在により、後述するように、光源3A,3Bにより照らし出される対象者の像においては、角膜反射像の輝度が調整される。
次に、第2実施形態にかかる制御装置4の機能の第1実施形態との相違点について説明する。すなわち、制御装置4の点灯制御ユニット12及び検出ユニット13は、上記構成の光源3Cを含む照明装置203の点灯タイミングを図11に示すように制御する。図11は、点灯時間設定部17及び点灯制御ユニット12によって制御された各光源の点灯タイミングを示すタイミングチャートであり、(a)は、カメラ2の撮像タイミング、(b)は、光源3Aの点灯タイミング、(c)は、光源3Bの点灯タイミング、(d)は、光源3Cの点灯タイミング、をそれぞれ示している。
図11に示すように、点灯制御ユニット12により、カメラ2によって交互に繰り返される明瞳孔画像の撮影期間T1及び暗瞳孔画像の撮影期間T2のうちの撮影期間T1に同期するように、光源3Aの点灯期間TBの点灯タイミングが制御され、暗瞳孔画像の撮影期間T2に同期するように、光源3Bの点灯期間TDの点灯タイミングが制御される。それと同時に、点灯制御ユニット12により、カメラ2の撮影期間T1及び撮影期間T2のそれぞれに同期するように、光源3Cの点灯期間TCの点灯タイミングが制御される。概念的には、明瞳孔画像の撮像時には、光源3Aが明瞳孔画像を生成するために点灯期間TBだけ点灯されると同時に、明瞳孔画像における角膜反射像の強調のために光源3Cが点灯期間TCだけ点灯される。また、暗瞳孔画像の撮像時には、光源3Bが暗瞳孔画像を得るために点灯期間TDだけ点灯されると同時に、暗瞳孔画像における角膜反射像の強調のために光源3Cが点灯期間TCだけ点灯される。これにより、光源3Cの点灯による明瞳孔画像及び暗瞳孔画像における輝度レベルの増加分は差分画像においては相殺されるため、光源3Cの点灯は差分画像における瞳孔像の輝度には影響は与えない。一方で、光源3Cの点灯は、明瞳孔画像及び暗瞳孔画像における角膜反射像の輝度レベルあるいは瞳孔部以外の顔領域の輝度に影響を与える。
制御装置4の点灯時間設定部17は、明瞳孔画像と暗瞳孔画像とで瞳孔部以外の顔の輝度が同等になるように、点灯期間TBと点灯期間TDとが同じになるように設定し、かつ、前回のフレームで取得された差分画像における瞳孔像の輝度が一定となるようにそれぞれの光源3A,3Bの点灯期間TB,TDを設定する。それとともに、点灯時間設定部17は、前回のフレームで取得された明瞳孔画像及び暗瞳孔画像における角膜反射像の輝度が一定となるように光源3Cの点灯期間TCを設定する。なお、点灯時間設定部17は、第1実施形態と同様にして、光源3A〜3Cの発光パワーの比を求めてその比を基にそれぞれの点灯期間を補正するように動作してもよい。
図12は、周囲の環境光の輝度レベルが低い暗闇環境下における明瞳孔画像及び暗瞳孔画像の撮影時の光源3Cの点灯期間TC=0とした場合に瞳孔検出装置1によって得られる眼画像データの瞳孔部付近の輝度の一次元分布を示すグラフであり、(a)は明瞳孔画像の一次元分布、(b)は暗瞳孔画像の一次元分布、(c)は差分画像の一次元分布をそれぞれ示している。このように、暗瞳孔画像において、瞳孔部が瞳孔部周辺に対して輝度が高くなっているのは、環境光に近赤外光がほとんどないために瞳孔周辺が明るくならないことと、環境光に可視光がほとんどないために瞳孔が大きくなっていることと、光源3Bがカメラ2の開口から大きく離れていないために瞳孔が明るくなりやすいこととに起因している。
図13は、図12と同じ環境下における明瞳孔画像及び暗瞳孔画像の撮影時の光源3A,3B,3Cの点灯期間を点灯時間設定部17によって設定した場合に瞳孔検出装置1によって得られる眼画像データの瞳孔部付近の輝度の一次元分布を示すグラフであり、(a)は明瞳孔画像の一次元分布、(b)は暗瞳孔画像の一次元分布、(c)は差分画像の一次元分布をそれぞれ示している。これらのグラフには、図12に示した眼画像データの一次元分布を点線で示し、点灯期間を点灯時間設定部17によって設定した場合に得られた角膜反射を含む線分上の眼画像データの一次元分布を実線で示している。このように、明瞳孔画像と暗瞳孔画像において、光源3Cの点灯期間TCの点灯が追加されているため瞳孔部以外の輝度値が値ID+IFに上昇する。ただし、光源3Cはカメラ2の開口部から2つの光源3A,3Bの中間の距離に配置されているので、光源3Aに比較して瞳孔を明るくする効果が弱く、光源3Bに比較して瞳孔を明るくする効果が強い。そのため、明瞳孔画像及び暗瞳孔画像において瞳孔部以外の部分の輝度レベルの増加量IFよりも瞳孔部の輝度レベルの増加量ILのほうが大きい。また、同様に、明瞳孔画像中の角膜反射の輝度の高さと、暗瞳孔画像中の角膜反射の輝度の高さは、光源3Cの点灯期間TCの調整により、値IGに上昇し一定値に維持される。さらに、差分画像における瞳孔像の輝度値IHは、点灯期間TB=TDの設定により一定値に制御される。
図14は、図12と同じ環境下において瞳孔検出装置1によって得られる眼画像データの瞳孔部付近の輝度の一次元分布を示すグラフである。図14において、(a)は、角膜反射が瞳孔領域内に存在する場合に、明瞳孔画像撮影時の光源3Cの点灯期間TC=0として得られた明瞳孔画像の瞳孔部付近の輝度の一次元分布、(b)は、角膜反射が瞳孔領域外に存在する場合に、明瞳孔画像撮影時の光源3Cの点灯期間TC=0として得られた明瞳孔画像の瞳孔部付近の輝度の一次元分布、(c)は、角膜反射が瞳孔領域内に存在する場合に、明瞳孔画像撮影時に光源3A,3B,3Cの点灯期間を点灯時間設定部17によって設定して得られた明瞳孔画像の瞳孔部付近の輝度の一次元分布、(d)は、角膜反射が瞳孔領域外に存在する場合に、明瞳孔画像撮影時に光源3A,3B,3Cの点灯期間を点灯時間設定部17によって設定して得られた明瞳孔画像の瞳孔部付近の輝度の一次元分布をそれぞれ示している。このように角膜反射が瞳孔領域外に出る状況は、対象者がカメラ2を含む光学系から角度的に離れた位置を見るときに生じ得る。図14(a)及び図14(b)の状況では、角膜反射の輝度の高さIAが小さいため、角膜反射が瞳孔の外に出た時に一定の閾値を用いることでは角膜反射の検出が困難となり、角膜反射の誤検出を招きやすくなる。さらに、場合によっては瞳孔部の輝度ICが不均一になることもあり、そのとき、瞳孔領域中で輝度が高くなった部分と角膜反射が重畳した部分とを区別することが困難となり、角膜反射の誤検出をしやすくなる。
それに対して、図14(c)及び図14(d)の状況では、角膜反射の輝度の高さIGが大きいため、角膜反射が瞳孔領域外に出た場合も角膜反射の検出が容易である。ただし、一定の閾値で角膜反射を検出する際には、角膜反射の輝度の高さIGをより高くするか、瞳孔像の輝度値IJをより低くすることが望ましい。ここで、本実施形態では、瞳孔像の輝度を低くするために光源3A,3Bの発光パワーが同じ比率だけ下げられ、角膜反射の輝度を維持するためにその分だけ光源3Cのパワーが上げられる。
以上説明した第2実施形態によっても、光学系と対象者との距離、及び対象者の瞳孔の大きさにかかわらず、画像中の瞳孔及び角膜反射の両方の検出精度を向上させることができる。
(第3実施形態)
本発明の第3実施形態においては、第2実施形態と同一の構成の照明装置203が採用される。ただし、光源3A〜3Cの用途が異なり、照明装置203の光源3A,3Cは明瞳孔画像を得るための照明光を照射するための光源であり、光源3Bは、暗瞳孔画像を得るための照明光を照射するための光源である。光源3Cは、適切なレベルで明瞳孔画像を得るために光源3Aを補助する光源として設けられる。光源3Aは、高照度環境下等の状況で瞳孔が小さい場合、光学系と瞳孔までの距離が使用しうる最短の距離であり瞳孔が明るくなりにくい場合でも、差分画像から瞳孔像を検出するために十分な明瞳孔効果を発揮する位置に設置されているものとする。ここでいう「十分な明瞳孔効果」とは、例えば、瞳孔部周辺よりも瞳孔部のほうが少しでも輝度レベルが高いことを意味している。光源3Cは、瞳孔が大きい場合、光学系と瞳孔までの距離が使用しうる最大の距離の場合であっても、瞳孔像と角膜反射とが確実に検出できる程度に高い発光パワーに設定されているものとする。また、これらの光源3A〜3Cの発光強度(発光パワー)は、それぞれの光源を発光させたときの撮影対象である対象者の顔面での照度が略同一になるように設定されている。
次に、第3実施形態にかかる制御装置4の機能の第1実施形態との相違点について説明する。すなわち、制御装置4の点灯制御ユニット12及び検出ユニット13は、光源3Cを含む照明装置203の点灯タイミングを図15に示すように制御する。図15は、点灯時間設定部17及び点灯制御ユニット12によって制御された各光源の点灯タイミングを示すタイミングチャートであり、(a)は、カメラ2の撮像タイミング、(b)は、光源3Aの点灯タイミング、(c)は、光源3Cの点灯タイミング、(d)は、光源3Bの点灯タイミング、をそれぞれ示している。
図15に示すように、点灯制御ユニット12により、カメラ2によって交互に繰り返される明瞳孔画像の撮影期間T1及び暗瞳孔画像の撮影期間T2のうちの撮影期間T1に同期するように、光源3Aの点灯期間TB1の点灯タイミングとそれに続く光源3Cの点灯期間TB2の点灯タイミングが制御され、暗瞳孔画像の撮影期間T2に同期するように、光源3Bの点灯期間TCの点灯タイミングが制御される。なお、点灯期間TB1と点灯期間TB2とは、撮影期間T1内で時間的に重なっていてもよいし重なっていなくてもよい。概念的には、明瞳孔画像の撮像時には、光源3A,3Cが明瞳孔画像を生成するために点灯期間TB1,TB2だけ点灯される。また、暗瞳孔画像の撮像時には、光源3Bが暗瞳孔画像を得るために点灯期間TCだけ点灯される。このとき、それぞれの画像の撮像時において、光源3A,3B,3Cの点灯により角膜反射像が生成される。
制御装置4の点灯時間設定部17は、明瞳孔画像及び暗瞳孔画像における角膜反射像の輝度値を一定にするために、前回のタイミングのフレームで取得された明瞳孔画像及び暗瞳孔画像の角膜反射像の輝度値を基に次回のタイミングのフレームの点灯期間TB1と点灯期間TB2との和を変更する。それに合わせて、点灯時間設定部17は、次回のタイミングのフレームの点灯期間TCを変更する。すなわち、点灯時間設定部17は、次回のフレームの点灯期間TC i+1を、前回のフレームの点灯期間TC iに対して、下記式;
TC i+1=(CG/Ci)×TC i (5)
によって計算された値に変更する。同時に、点灯時間設定部17は、次回のフレームの点灯期間TB1 i+1と点灯期間TB2 i+1との和を次回のフレームの点灯期間TC i+1と等しくなるように設定する。言い換えると、点灯時間設定部17は、角膜反射像の輝度値Ciと目標値CGとの大小関係(割合)に比例して、点灯期間TB1と点灯期間TB2との和を増減させるように制御する。
さらに、点灯時間設定部17は、点灯期間の和TB1+TB2を一定にしながら、これらの点灯期間TB1,TB2の比を変化させる。これにより、明瞳孔画像中の角膜反射像の輝度の高さを一定にしたまま、眼画像データ中の瞳孔像の輝度レベルを変化させることができる。ただし、瞳孔像の輝度は対象者の頭部から光学系までの距離、あるいはカメラの視野内の瞳孔像の位置等によっても変化し、光源3A,3Cのそれぞれの明瞳孔効果の強さが明確でないため、点灯期間の制御値の定式化が困難である。そこで、点灯時間設定部17は、前回のフレームで得られた差分画像における瞳孔像の輝度値が所定の目標値よりも小さい場合には、次回のフレームにおける光源3Aの点灯期間TB1を増加させるとともに次回のフレームにおける光源3Cの点灯期間TB2を減少させ、前回のフレームで得られた差分画像における瞳孔像の輝度値が所定の目標値よりも大きい場合には、次回のフレームにおける光源3Aの点灯期間TB1を減少させるとともに次回のフレームにおける光源3Cの点灯期間TB2を増加させるように制御する。詳細には、点灯時間設定部17は、差分画像における瞳孔像の輝度値が目標値よりも高い場合には、光源3Aの点灯期間の割合RB1=TB1/TCを一定比率ΔRだけ短くし、その分、光源3Cの点灯期間の割合RB2=TB2/TCを一定比率ΔRだけ長くする。一方で、差分画像における瞳孔像の輝度値が目標値よりも低い場合には、光源3Aの点灯期間の割合RB1=TB1/TCを一定比率ΔRだけ長くし、その分、光源3Cの点灯期間の割合RB2=TB2/TCを一定比率ΔRだけ短くする。次に、点灯時間設定部17は、光源3Aの点灯期間の割合RB1に点灯期間TCを乗ずることで次のフレームの点灯期間TB1を求め、光源3Cの点灯期間の割合RB2に点灯期間TCを乗ずることで次のフレームの点灯期間TB2を求める。
ただし、上記の点灯期間の割合RB1,RB2の決定方法では、頭部が急激に動いたり環境光の急激な変化により瞳孔面積が急激に変化した場合などに応答性が低下することも想定される。よって、応答性を高めるためには、点灯時間設定部17は、瞳孔輝度Piの目標値PGからのずれ量kを下記式;
k=|Pi−PG|/PG (6)
によって計算し、次回のフレームの点灯期間の割合RB1,RB2を決定する際に用いる一定比率ΔRにずれ量kを乗算するようにしてもよい。これにより、応答性を高めて瞳孔像の輝度を安定化することができる。
以上説明した第3実施形態によっても、明瞳孔画像及び暗瞳孔画像における角膜反射像の輝度値を目標値に近づけることができるとともに、差分画像における瞳孔像の輝度値を目標値に近づけることができる。
(第4実施形態)
図16には、上述した瞳孔検出装置1及び視線検出装置201に含まれる照明装置の第4の実施形態の構成を示している。同図に示すように、第4実施形態にかかる照明装置303は、第3実施形態における光源3A〜3Cに加えて光源3Dを有する4重リング状の構成を有する。光源3Dも対物レンズ7の光軸L0(図1)に沿って照明光を出射するようにケーシング9上に設けられている。この光源3Dは、明瞳孔画像及び暗瞳孔画像における眼鏡反射像を相殺させるための光源として設けられる。第3実施形態では、光源3Aと光源3Bとが離れて設置されているため、光源3Aによる眼鏡反射像と光源3Bによる眼鏡反射像とが相殺できない場合がある。そのため、本実施形態では、光源3Aと光源3Cとの間か、又は光源3Cの外側近傍に別途光源3Dを設け、明瞳孔画像撮影時と暗瞳孔画像撮影時のそれぞれにおいて、同じ時間であって、かつ、眼鏡反射像の輝度が飽和するだけの点灯期間だけ光源3Dを点灯させるように制御される。光源3Dは、光源3C等と同様に、発光素子がリング状に配設された構成を有する。このような構成により、光源3Dは明瞳孔画像及び暗瞳孔画像の取得時に同じ時間だけ点灯されているので、差分画像の瞳孔像の輝度には影響を与えないし、両方の画像中の角膜反射像の輝度あるいは瞳孔部以外の領域の輝度にもほとんど影響を与えない。
具体的には、制御装置4の点灯制御ユニット12及び検出ユニット13は、上記構成の光源3Dを含む照明装置303の点灯タイミングを図17に示すように制御する。図17は、点灯時間設定部17及び点灯制御ユニット12によって制御された各光源の点灯タイミングを示すタイミングチャートであり、(a)は、カメラ2の撮像タイミング、(b)は、光源3Aの点灯タイミング、(c)は、光源3Cの点灯タイミング、(d)は、光源3Dの点灯タイミング、(e)は、光源3Bの点灯タイミング、をそれぞれ示している。
図17に示すように、点灯制御ユニット12及び点灯時間設定部17により、明瞳孔画像撮影時及び暗瞳孔画像撮影時のそれぞれに同期して点灯期間TAでの光源3Dの点灯が制御される。さらに、点灯時間設定部17により、明瞳孔画像取得時の光源3A,3C,3Dの合計の点灯期間と、暗瞳孔取得時の光源3B,3Dの光源の点灯期間とが同一になるように、すなわち、下記式;
TB1+TB2+TA=TC+TA (7)
によって算出される値が同一となるように、点灯期間が制御される。これにより、差分画像における瞳孔像の検出精度を維持できる。このとき、点灯時間設定部17により、第3実施形態と同様にして、点灯期間TB1,TB2が設定される。
(第5実施形態)
上述した第1〜第4実施形態では、光源3Bがカメラ2の開口部8から大きく離れていないため、瞳孔が大きい時あるいは周囲環境が暗い時に暗瞳孔効果が出にくい。瞳孔像の検出率を上げるためには暗瞳孔画像取得時の暗瞳孔効果を強くすることが好ましい。明瞳孔画像取得時の暗瞳孔効果が強ければ、その分明瞳孔取得時の明瞳孔効果がそれほど強くなくて済む。その結果、暗瞳孔画像形成用の光源3A等として、瞳孔からの反射率が比較的低い950nm等の発光波長の発光素子が使用できる。このような場合は、対象者から光源3A等が発光しているのか見えなくなるため好ましい。本実施形態では、暗瞳孔取得時に暗瞳孔効果が出やすい構成の照明装置の構成が採用される。図18には、照明装置の第5の実施形態の構成を示している。同図に示すように、第5実施形態にかかる照明装置403は、同図に示すように、第2実施形態の照明装置203と比較して、光源3Bが2つの光源3B1,3B2に置換されている点が異なる。2つの光源3B1,3B2は、カメラ2の光軸L0(図1)に沿った方向から見て、開口部8の中心から左右に等距離に離れて配設されている。光源3B1,3B2は、例えば、複数又は単数のLED等の発光素子によって構成されており、光軸L0に沿って照明光を出射するように設けられている。
制御装置4の点灯制御ユニット12及び検出ユニット13は、第2実施形態における光源3Bに対する制御と同様にして、光源3B1,3B2の点灯タイミング及び点灯期間を制御する。このとき、明瞳孔画像撮影時の光源3Aの発光パワーと暗瞳孔画像撮影時の光源3B1,3B2の発光パワーの合計とが同一となるように、それぞれの点灯期間が設定される。具体的には、明瞳孔画像の取得時の光源3Aの点灯期間TBと暗瞳孔画像の取得時の光源3B1,3B2の合計の点灯期間TD1+TD2とが等しくなるように設定される。
本実施形態においては、暗瞳孔画像形成用の光源をカメラ2に対して対称な位置に2つ設けることにより、差分画像における顔部分における輝度を一定にすることができ、差分画像の画像処理の負荷を低減することができる。2つの光源3B1,3B2の位置が非対称となると差分画像において主に顔の輪郭部分に明るい部分が生じ、差分画像からの瞳孔検出処理に負荷がかかる。2つの光源3B1,3B2を対称な位置に設けることで、処理負荷が格段に軽減される。ここで、本実施形態においては、画像処理の負荷増が問題にならない場合には、光源3B1,3B2のうちの一方のみが設けられた構成であってもよい。
本実施形態においては、光源3B1と光源3B2との距離が眼画像データにおける角膜反射像が一体化されるほどに小さい場合は、明瞳孔画像においては光源3A,3Cによって生じる角膜反射像が一体化し、暗瞳孔画像においては光源3B1,3B2,3Cによって生じる角膜反射像が一体化する。一方で、光源3B1と光源3B2との距離が大きい場合には、暗瞳孔画像において複数の光源によってずれた位置に角膜反射像が生じ、角膜反射像の位置の検出精度が低下する。これは、角膜反射像に輝度分布のばらつきが生じ、輝度重心が大きく変動する為であると予測される。このような事態を防止するためには、光源3B1,3B2間の距離をさらに大きくして、角膜反射像の位置を完全に分離させることが好ましい。このような構成においては、制御装置4の角膜反射検出部19(図4)は、光源3B1,3B2のそれぞれによって生じた角膜反射像の位置を検出し、それらの平均値を角膜反射像の位置として算出する。このようにすれば、カメラ2の開口部8付近に光源が位置すると仮定した場合にその光源が発光した際の角膜反射像の位置を、高精度に算出することができる。その結果、カメラ2の開口部8近傍の光源による角膜反射の位置を利用した高精度の視線検出が実現できる。
(第6実施形態)
図19には、照明装置の第6の実施形態の構成を示している。同図に示す第6実施形態にかかる照明装置503と、第5実施形態の照明装置403との相違点は、暗瞳孔画像形成用の2つの光源のうちの一方の光源3B1を取り除いた点、及び、角膜反射形成用の光源として、光源3Cと同様な構成の光源3C1に加えて光源3C2が付加されている点である。光源3C2は、光源3B2の近傍において光源3B2を取り囲むように設けられた光源である。光源3C2は、例えば、複数のLED等の発光素子によってリング状に構成されており、光軸L0(図1)に沿って照明光を出射するように設けられている。
制御装置4の点灯制御ユニット12及び検出ユニット13は、第2実施形態における光源3Cに対する制御と同様にして、光源3C1,3C2の点灯タイミング及び点灯期間TC1,TC2を制御する。このとき、点灯時間設定部17は、光源3C1,3C2の発光パワーが等しいため、明瞳孔画像撮影時及び暗瞳孔画像撮影時において、2つの光源3C1,3C2の点灯期間TC1,TC2が互いに同一になり、それぞれの点灯期間TC1,TC2が明瞳孔画像撮影時と暗瞳孔画像撮影時で一定となるように設定する。
本実施形態によれば、眼画像データにおいて光源3Aと光源3C1とによって生じる角膜反射像が一体化し、しかも、光源3Aと光源3C1による角膜反射の輝度と光源3B2と光源3C2による角膜反射の輝度とが同程度にされる。そのため、角膜反射像の位置検出の精度が維持される。また、各光源3C1,3C2は、それぞれ、明瞳孔画像撮影時及び暗瞳孔画像撮影時に同じ点灯期間で発光するので、差分画像においてそれぞれの光源3C1,3C2による効果は相殺される。従って、差分画像を基にした瞳孔像の位置検出の精度も維持される。
図20には、本実施形態の照明装置の変形例の構成を示している。同図に示す第6実施形態の変形例にかかる照明装置603は、光源3C1が光源3Aの近傍に光源3Aから分離して独立して設けられ、光源3C2が、光源3Aの近傍に光源3Aから分離して独立して設けられている。
また、図21には、本実施形態の照明装置の別の変形例の構成を示している。同図に示す第6実施形態の変形例にかかる照明装置703は、光源3B2が角膜反射像形成用の光源(図20の光源3C2)としても共用されている。このような構成により、光源の数を削減して構成を簡略化できる。
本実施形態では、明瞳孔画像及び暗瞳孔画像ともに2つの角膜反射像が生じる。本実施形態を視線検出装置201として応用する場合には、開口部8に近い光源3Aと光源3C1とによって生じる角膜反射像の位置を利用して視線検出を実行することが好適である。なお、図20に示した照明装置603では、光源3Aと光源3C1との位置のずれにより一体化した角膜反射像の位置がずれやすいため、光源3Aと光源3C1との間のカメラ2の光軸L0に沿った方向から見た角度をできるだけ小さくすることが望ましい。ただし、光源3C1は、明瞳孔効果をある程度低くするために、開口部8からある程度は離す必要がある。すなわち、光源3C1を点灯させたときに対象者の顔よりも瞳孔が明るくならないようにすることが好ましい。
(第7実施形態)
上述した視線検出装置201の別の実施形態について説明する。図22は、本発明の別の実施形態にかかる視線検出装置301の機能構成を示し、図23には、図22に含まれる光学系の配置例を示している。本実施形態の視線検出装置301は、光源3A,3Bと撮像素子6とをぞれぞれ含む4つの光学系202a,202b,202c、202dを備える点で視線検出装置201と異なる。視線検出装置301の制御装置4は、4つの光学系202a,202b,202c、202dの撮像タイミング及び点灯期間を独立に制御可能に構成される。なお、視線検出装置301に含まれる光学系の個数は4には限定されず3以上の様々な個数に変更され得る。4つの光学系202a〜202dは、対象者Sの正面方向において、表示面を対象者に向けて水平方向に広がって配置された平面形状あるいは曲面形状のディスプレイ画面204の手前に、水平方向に略等間隔で配置されている。視線検出装置301は、ディスプレイ画面204上の対象者Sの注視点を検出する機能を有する。このような構成の場合、対象者Sから見た時の光学系202a〜202dの方向が大きく異なるため、対象者Sがどの方向を見ているかによって、各カメラ2に写る瞳孔の形状は大きく異なる。一般に、カメラ2の方向から大きく異なる方向を見ると、カメラ2の写る瞳孔は楕円となるため、カメラ2の方向を見た場合に比較して瞳孔の面積が小さくなる。単純計算によると、カメラ2の方向に対して45度傾いた方向を見た場合、楕円の短径は長径の7割程度になり、瞳孔像の輝度も瞳孔の面積と同様に7割程度になる。そこで、制御装置4は、瞳孔像の位置検出の精度低下を防止するために、各光学系202a,202b,202c、202dで独立して点灯期間を制御する。
すなわち、制御装置4の点灯時間設定部17は、光学系202a〜202dのそれぞれの点灯期間TB,TC,TDCを点灯期間TBm,TCm,TDCm(m=1,2,3,4)としたとき、次のようにして、各光学系202a〜202d毎にそれぞれの点灯期間TBm,TCm,TDCmを設定する。具体的には、前回のフレームの角膜反射像の輝度値Cimを基に、次回のフレームにおける点灯期間TDCm i+1を、下記式;
TDCm i+1=(CG/Cim)×TDCm i (8)
によって計算された値に変更する。同時に、点灯時間設定部17は、前回のフレームの瞳孔像の輝度値Pimを基に、次回のフレームの点灯期間TBm i+1を、前回のフレームの点灯期間TBm iに対して、下記式;
TBm i+1=(PG/Pim)×TBm i (9)
によって計算された値に変更する。これに応じて、次回のフレームの点灯期間TCm i+1は、上記式(8)によって算出された点灯期間TDCm i+1を基に、下記式;
TCm i+1=TDCm i+1−TBm i+1 (10)
によって計算された値に変更される。
本実施形態では、同時に4個の光源3Aが点灯し、同時に4個の光源3Bが点灯するので、明瞳孔画像においても暗瞳孔画像においても、最大4個の角膜反射像が画像に写る可能性がある。視線検出部20で実行される視線方向の算出手法においては、カメラ2に取り付けた光源によって生じた角膜反射像を利用して視線方向を検出することを前提としている。仮に、視線検出部20において最大4個のうちカメラ2に取り付けた光源によって生じる角膜反射が正しく判別できない場合は、視線検出の誤差が生じる可能性がある。このような判別は、対象者Sが見ている方向によって各カメラ2に写る角膜反射像が異なることから、単純な処理では不可能である。例えば、対象者Sが光学系202aと光学系202bとの間あたりを見ている際には、光学系202a〜202cの光源による角膜反射は写るが、光学系202dの光源による角膜反射は写らない。対象者Sが光学系202dの光源より右側を見ている際には、光学系202c,202dの光源による角膜反射しか写らない。問題となるのは、対象者Sがどこを向いているかが不明なため、写っている角膜反射の基となる光源が判別しにくい点である。対象者Sが眼鏡を装着している場合には、角膜反射像と輝度及びサイズの点で近い眼鏡反射像が瞳孔の近くに現れた際にさらに角膜反射の判別が難しくなる。
図24は、視線検出装置301によって撮影された眼画像データの例を示す図であり、(a)は、対象者が光学系202bと光学系202cとの間の中間点を見た時の光学系202bのカメラ2で撮影された画像、(b)は、対象者が光学系202bと光学系202cとの間の中間点を見た時の光学系202cのカメラ2で撮影された画像、(c)は、対象者が光学系202aと光学系202bとの間の中間点を見た時の光学系202aのカメラ2で撮影された画像、(d)は、対象者が光学系202aと光学系202bとの間の中間点を見た時の光学系202bのカメラ2で撮影された画像をそれぞれ示している。これらの画像中では、円形で囲んだ輝点の部分が撮影に用いたカメラ2に取り付けた光源による角膜反射を示している。このように、光学系202a〜202dのカメラ2は対象者を見上げるような角度で設けられおり、かつ、4つの光学系202a〜202dが対象者Sを囲むように設けられているので、眼画像データ上の4つの角膜反射は、一直線上に並んで写るわけではなく、湾曲した曲線上に並んで写ることになる。
本実施形態の制御装置4の角膜反射検出部19は、上記のような問題を解決するために、以下のようにして、眼画像データ上からその眼画像データを取得した光学系に含まれる光源による角膜反射像を特定する。
ここで、図25〜27を参照しながら、光学系202aのカメラ2から得られた眼画像データを対象にした制御装置4の角膜反射像の特定機能について説明する。図25には、制御装置4で扱われる世界座標系x−y−zにおける、光学系202a〜202dの位置L1〜L4及び角膜球CBの中心Cを示している。これらの位置L1〜L4は既知であり、角膜球CBの中心Cは、視線検出部20で検出された瞳孔の三次元位置で近似されるものとする。角膜球中心Cと位置L1とを結ぶ線に垂直で、かつ、位置L1を通る平面が仮想平面H1として定義される。この仮想平面H1とx−z平面との交線が平面H1のXC1軸と定義され、平面H1上でXC1軸と垂直な軸がYC1軸と定義される。また、XC1軸と角膜球中心Cとを含む平面がF1と定義され、角膜球中心Cと位置L1,L2を通る平面がF1−2と定義され、角膜球中心Cと位置L1,L3を通る平面がF1−3と定義され、角膜球中心Cと位置L1,L4を通る平面がF1−4と定義される。
角膜反射検出部19は、処理対象のカメラ2の仮想平面H1のXC1軸と角膜球中心Cとを通る平面F1と、3つの平面F1−j(J=2,3,4)とのなす角ε1−jを、それらの平面の法線ベクトルn1,n1−jを基に下記式;
ε1−j=cos−1{(n1,n1−j)/(||n1||・||n1−j||)} (11)
を用いて算出することができる。上記式(11)中、(x,y)は、xとyとの内積を表し、||x||は、xのノルムを表す。そして、角膜反射検出部19は、図26に示すような眼画像データを対象にして、光学系202aの光源により生じた角膜反射の位置を特定する。まず、角膜反射検出部19は、上記式(11)によって算出された傾きε1−jにより、光学系202aの光源によって生じた角膜反射像と他の光学系202b〜202dの光源によって生じた角膜反射像とを結ぶ直線の傾きを認識できる。ただし、平面F1は必ずしも水平方向には沿っていない。次に、角膜反射検出部19は、眼画像データ中の角膜反射像の候補点を複数探索し、それらの複数の候補点から複数の候補点のペアーを総当たりで選択する。さらに、角膜反射検出部19は、選択した複数の候補点のペアーごとに互いの候補点を結ぶ直線の角度ε1−jに相当する角度を算出する。そして、角膜反射検出部19は、角度ε1−2に最も近い角度をもつ候補点のペアーを決定し、そのペアーのうちから光学系202aの光源により生じた角膜反射像を特定する。角膜反射検出部19は、同様の方法で、光学系202b〜202dのカメラ2から得られた眼画像データを対象にして自身のカメラ2に取り付けられた光源によって生じた角膜反射像を特定することができる。
ただし、上記の角膜反射像の特定方法のみだと、多数の光学系を含んでいる場合に、ほぼ同じ角度をもつ候補点のペアーが存在することがありうるため、角膜反射検出部19は、角膜反射像間の距離を利用する機能を併せ持つことが好ましい。図27に示すように、対象者の角膜球中心Cから光学系202aの光源の位置N1までの距離と、対象者の角膜球中心Cから光学系202bの光源の位置N2までの距離とがほぼ等しいと仮定できるときには、対称性から光学系202bの光源による角膜反射の位置R2は、位置N1と角膜球中心Cとを結ぶ線と、位置N2と角膜球中心Cとを結ぶ線との間の二等分線上に存在するとみなせる。光学系202aの光源による角膜反射の位置R1は、位置N1と角膜球中心Cとを結ぶ線上に存在するとみなせる。このような性質を利用して、角膜反射検出部19は、ベクトルCN1とベクトルCN2を利用して、角膜球CB上の角膜反射の位置R2を通る単位法線ベクトルvnを算出することができ、算出した単位法線ベクトルvnと既知の角膜球CBの半径dとを利用して、2つの角膜反射の位置R1,R2を下記式(12),(13)により算出することができる。
R1=C+d・CN1/||CN1|| (12)
R2=C+d・vn (13)
次に、角膜反射検出部19は、算出した2つの角膜反射の位置R1,R2を基に2つの角膜反射間の距離を算出し、その距離をピンホールモデルを利用して画像上の角膜反射間の距離に変換する。そして、角膜反射検出部19は、角膜反射像の候補点のペアーから光学系202aの光源により生じた角膜反射像を特定する際に、角度ε1−2に最も近い角度をもつとともに、候補点のペアーの画像上の距離が求めた角膜反射間の距離に最も近いものを決定する。決定した候補点のペアーから光学系202aの光源により生じた角膜反射像を特定する際には、2つの角膜反射像の左右の位置関係を判定することで特定することができる。その際には、光学系202aと光学系202bとの位置関係だけでなく、光学系202aと光学系202cとの位置関係及び光学系202aと光学系202dとの位置関係も予めわかっているので、それらの関係を利用すれば光学系202aの光源による角膜反射像の位置をより正しく決定することができる。
以上説明した視線検出装置301によれば、1つの光学系に含まれるカメラ2で取得された眼画像データ上の複数の角膜反射像の中から、その光学系に含まれる光源によって生じた角膜反射像が決定され、その角膜反射像の位置を基に視線方向を検出される。これにより、視線方向を正しく検出することができる。
また、眼画像データ上の複数の角膜反射像のペアーを選択し、角膜反射像のペアーを結んだ線の角度及び当該ペアーの距離を基に、1つの光学系によって生じた角膜反射像を含む角膜反射像のペアーが決定され、当該角膜反射像のペアーから1つの光学系によって生じた角膜反射像が特定される。このようにすれば、1つの光学系に含まれるカメラで取得された眼画像データ上の複数の角膜反射像の中から、その光学系に含まれる光源によって生じた角膜反射像を精度よく決定することができる。結果として、視線方向を正しく検出することができる。
本発明は、上述した実施形態に限定されるものではない。上記実施形態の構成は様々変更されうる。
上述した実施形態では、点灯時間設定部17は、1つの明瞳孔画像とその直後の1つの暗瞳孔画像との組み合わせのフレーム単位で点灯期間の設定を制御していたが、制御単位である1つのフレームを構成する画像は、1つの暗瞳孔画像とその直後の1つの明瞳孔画像との組み合わせであってもよい。
また、上述した実施形態にかかる照明装置における各光源の構成は様々変更してもよい。
例えば、第2実施形態にかかる照明装置203においては、光源3Cは光源3Bの外側に配置されてもよい。この場合、光源3Aと光源3Cとの距離が離れるため、前者による眼鏡反射像を後者による眼鏡反射像によって相殺することができなくなり、眼鏡反射が差分画像において残ってしまう可能性もある。しかし、光源3Aによる眼鏡反射を光源3Bによる眼鏡反射によって相殺できたり、角膜反射像の輝度を一定値に制御しながら明瞳孔画像において高輝度部の輝度値を零に置き換えてから画像差分を行った後に眼鏡反射像の部分を区別すれば、誤検出の可能性を低減できる。
また、第2実施形態にかかる照明装置203は、開口部8の中心からの距離が同一の円周上に光源3Bの発光素子と光源3Cの発光素子とが交互に配置された構成であってもよい。また、図28及び図29に示すように、第2実施形態にかかる照明装置203は、光源3A〜3Cを開口部8の中心を通る線に沿って一列に並べて構成されていてもよい。この場合、光源3A〜3Cは、開口部8の両側に左右対称に並ぶように設けられてもよいし、開口部8の片側のみに設けられていてもよい。
上述した実施形態の照明装置においては、カメラ2の開口部8の外側に光源が設けられていたが、明瞳孔画像形成用の光源及び暗瞳孔画像形成用の光源は、開口部8の内側に設けられてもよい。その際は、本発明者らの開発した構成(特開2007-083027号公報参照)を採用すれば、明瞳孔画像形成用の光源と暗瞳孔画像形成用の光源を利用することで精度の高い瞳孔検出が実現できる。そして、角膜反射像強調用の光源を開口部8から離れた位置に配置すれば、眼画像データにおける角膜反射の輝度を上げることができる。同様に、本発明者らの開発した構成(特開2007-111315号公報参照)を採用して、明瞳孔画像形成用の光源を開口部8の内側に配置し、暗瞳孔画像形成用の光源を開口部8の外側に配置してもよい。開口部8の外部に配置された光源が開口部8から十分に離れている場合には、その光源が角膜反射強調用光源として共用されてもよい。開口部8の外部に配置された光源が開口部8から十分に離れていない場合には、角膜反射強調用の光源が開口部8から離れた位置に配置される。
また、上述した第4実施形態においては、眼鏡反射相殺用の光源が設けられ、この光源の点灯が制御されている。他の実施形態においても眼鏡反射相殺用の光源が追加されて、その光源の点灯の制御が可能なように構成されてもよいし、他の光源が眼鏡反射用の光源として共用されてもよい。
第7実施形態にかかる視線検出装置301においては、光学系202a〜202dが水平方向に並んで配置されていたが、例えば、対象者から見て長方形の頂点上に配置されるように構成されてもよい。このような構成においても、角膜が球面であるため、眼画像データ上の角膜反射像の位置は長方形がゆがんだような関係となる。そのため、第7実施形態と同様にして角膜反射像が正確に検出できるので、正しく角膜反射像の位置を検出できる。もし、精度が上がらない場合には、光学系を台形の頂点上に配置するような構成を採用して、角膜反射像のペアーごとに距離と方向が大きく異なるようにしてもよい。
また、第1及び第3実施形態においては、明瞳孔画像及び暗瞳孔画像の角膜反射の輝度値Ciを基に光源の制御が実行されていたが、明瞳孔画像中又は暗瞳孔画像中の角膜反射の輝度の高さを基に光源の制御が実行されてもよい。ここでいう「明瞳孔画像中又は暗瞳孔画像中の角膜反射の輝度の高さ」とは、明瞳孔画像又は暗瞳孔画像における角膜反射付近の輝度分布の根元からピークまでの輝度差(振幅)のことをいう(図6(a),(b)における輝度の高さIA、図7(a),(b)における輝度の高さIG、図12(a),(b)における輝度の高さIA、図13(a),(b)における輝度の高さIG、図14(a)〜(d)における輝度の高さIA,IG)。
また、第1及び第3実施形態においては、明瞳孔画像中又は暗瞳孔画像中の角膜反射の輝度の高さが目標値に近づくように光源の点灯期間を制御する場合には、角膜反射のピークの輝度値が飽和しないように制御することが好ましい。例えば、点灯時間設定部17は、点灯期間TDC i+1を設定する際には、前回のフレームの画像の輝度分布を参照して、輝度値が飽和しないような角膜反射の輝度の高さの目標値を設定する。また、点灯時間設定部17は、次回のフレームでの角膜反射のピークの輝度値の飽和が予測される場合には、計算した点灯期間TDC i+1を所定値ΔRだけ減少させるように制御してもよい。さらに、この場合には、目標値からのずれ量kを式(6)と同様にして計算し、所定値ΔRにずれ量kを乗算した値を用いて点灯期間TDC i+1を制御してもよい。
また、第1〜第6実施形態においては、各光源のカメラ2の露光期間における発光量が、点灯期間を設定することにより制御されていた。その他、各光源の発光量が発光パワーを設定することにより制御されてもよい。また、点滅を高速で交互に周期的に繰り返す動作形態(PWM:Pulse Width Modulation)が可能な光源を採用し、露光期間内での点灯期間と消灯期間との比(デューティ比)を設定することで発光量を制御してもよい。