JP5694161B2

JP5694161B2 - 瞳孔検出装置及び瞳孔検出方法

Info

Publication number: JP5694161B2
Application number: JP2011521790A
Authority: JP
Inventors: 築澤宗太郎; 兼司岡
Original assignee: Panasonic Intellectual Property Corp of America
Current assignee: Panasonic Intellectual Property Corp of America
Priority date: 2010-02-26
Filing date: 2011-01-24
Publication date: 2015-04-01
Anticipated expiration: 2031-01-24
Also published as: EP2541493A1; WO2011105004A1; EP2541493A4; JPWO2011105004A1; CN102439627A; US20120050516A1; US8810642B2; EP2541493B1; CN102439627B

Description

本発明は、瞳孔検出装置及び瞳孔検出方法に関する。

視線検出又は表情検出などでは、瞳孔検出が行われる。この瞳孔検出が照度の低い場合に行われると、「赤目現象」が起きることがある。この赤目現象は、特に、暗所などで瞳孔が大きく開いた状態でフラッシュ撮影した場合に、網膜の血管が撮像されることにより生じる。赤目現象が発生している瞳孔画像の瞳孔周辺画像に対する輝度は、赤目現象が発生していない通常の瞳孔画像の瞳孔周辺画像に対する輝度よりも大きくなる。従って、赤目現象が発生する条件下において、赤目現象の発生していない通常の瞳孔を対象にした瞳孔検出手法を適用しても、安定した瞳孔検出を行うことは困難である。

このような課題に対して、従来、赤目現象が発生した際の瞳孔検出手法が提案されている（例えば、特許文献１参照）。この瞳孔検出方法では、目領域の彩度及び輝度に基づいて、赤目現象が発生している瞳孔画像が検出される。

特開２００９−１７１３１８号公報

しかしながら、上記した従来の瞳孔検出方法では、赤目検出の評価値として、彩度が用いられている。従って、近赤外線を用いたグレースケールの画像に対して、その瞳孔検出を適用すると検出精度が低下してしまうか、又は、そもそも適用することが困難である。また、瞳孔検出結果は、上述の通り、視線検出に用いられることがある。従って、瞳孔検出精度が低下すると、瞳孔検出結果が用いられる処理（例えば、視線検出処理）の精度も低下してしまう。

本発明の目的は、近赤外線を用いたグレースケール画像が用いられる場合でも、精度の高い検出結果を選択し出力することができる瞳孔検出装置、及び瞳孔検出方法を提供することである。

本発明の瞳孔検出装置は、所定の離間距離だけ離れた撮像手段と撮像時に発光する発光手段とからなる第１の撮像ペアと、前記所定の離間距離が第１の撮像ペアよりも大きい第２撮像ペアと、前記第１の撮像ペアによって人物が撮像された第１の人物画像から第１の瞳孔画像を検出し、前記第２の撮像ペアによって前記人物が撮像された第２の人物画像から、第２の瞳孔画像を検出する検出手段と、前記第１の瞳孔画像内の輝度の、前記第１の瞳孔画像外の周辺画像の輝度に対する相対輝度である赤目発生強度の算出値と、赤目発生強度と瞳孔検出精度値との相関特性とに基づいて、前記第１の瞳孔画像の検出結果又は前記第２の瞳孔画像の検出結果を選択的に出力する出力切替手段と、を具備する。

本発明の瞳孔検出方法は、所定の離間距離だけ離れた撮像手段と撮像時に発光する発光手段とからなる第１の撮像ペアと、前記所定の離間距離が第１の撮像ペアよりも大きい第２撮像ペアと、を具備する瞳孔検出装置における、瞳孔検出方法であって、前記第１の撮像ペアによって人物が撮像された第１の人物画像から第１の瞳孔画像を検出し、前記第２の撮像ペアによって前記人物が撮像された第２の人物画像から、第２の瞳孔画像を検出するステップと、前記第１の瞳孔画像内の輝度の、前記第１の瞳孔画像外の周辺画像の輝度に対する相対輝度である赤目発生強度の算出値と、赤目発生強度と瞳孔検出精度値との相関特性とに基づいて、前記第１の瞳孔画像の検出結果又は前記第２の瞳孔画像の検出結果を選択的に出力するステップと、を具備する。

本発明によれば、近赤外線を用いたグレースケール画像が用いられる場合でも、精度の高い検出結果を選択し出力することができる瞳孔検出装置、及び瞳孔検出方法を提供することができる。

本発明の実施の形態１に係る瞳孔検出装置の構成を示すブロック図画像入力部の構成を示すブロック図画像入力部の構成を示すブロック図撮像ユニットの構成を示す図瞳孔検出部の構成を示すブロック図瞳孔検出部の構成を示すブロック図切替判定部の構成を示すブロック図瞳孔検出装置の動作説明に供するフロー図ターゲット画像である顔画像を示す図赤目発生強度の説明に供する図赤目発生強度と瞳孔検出正解率との相関特性の説明に供する図変動傾向特性の説明に供する図本発明の実施の形態２に係る瞳孔検出装置の構成を示すブロック図切替判定部の構成を示すブロック図瞳孔検出装置の動作説明に供するフロー図照度と照度係数との対応関係を示す図本発明の実施の形態３に係る瞳孔検出装置の構成を示すブロック図切替判定部の構成を示すブロック図画像入力部の構成バリエーションを示す図

以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。

［実施の形態１］
［瞳孔検出装置の構成］
図１は、本発明の実施の形態１に係る瞳孔検出装置１００の構成を示すブロック図である。瞳孔検出装置１００は、例えば、自動車の車室内に設けられ、警報装置と接続されて使用される。この警報装置は、瞳孔検出装置１００の検出結果に基づいて、ドライバーの視線方向を検出し、ドライバーが正面を長時間向かなかった場合には、ドライバーに対して警告を行って注意を喚起する。以下では、特に、瞳孔検出装置１００が自動車の車室内に設定された場合を例にとって説明する。

図１において、瞳孔検出装置１００は、画像入力部１０１，１０２と、瞳孔検出部１０３，１０４と、切替判定部１０５と、評価値記憶部１０６とを有する。

画像入力部１０１，１０２は、発光して撮像ターゲット（つまり、ここでは、人物）を照射すると共に、その撮像ターゲットを撮像する。このターゲット画像データは、瞳孔検出部１０３，１０４へそれぞれ出力される。

具体的には、画像入力部１０１は、図２に示すように、撮像部１１１、照射部１１２、及び同期部１１３を有する。

撮像部１１１は、同期部１１３から受け取る同期信号に応じたタイミングで撮像ターゲットを撮像し、ターゲット画像信号を瞳孔検出部１０３へ出力する。撮像部１１１は、ＣＣＤ（Charge Coupled Devices）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサを備えている。

照射部１１２は、同期部１１３から受け取る同期信号に応じたタイミングで発光する。照射部１１２は、赤外線ＬＥＤを備えている。この赤外線ＬＥＤから照射される赤外線は不可視であるが、撮像部１１１では感知される。すなわち、撮像部１１１は、赤外線感度を有している。なお、撮像に十分な光量が得られる場合には、照射部１１２は、同期パルス駆動ではなく、常時点灯していても良い。

同期部１１３は、撮像部１１１及び照射部１１２へ同期信号を出力することにより、照射部１１２の発光タイミングと、撮像部１１１の露光タイミングとを制御する。これにより、撮像ターゲットが照射されたタイミングで、撮像ターゲットを撮像することができる。

また、画像入力部１０２は、図３に示すように、撮像部１２１、照射部１２２、及び同期部１２３を有する。撮像部１２１、照射部１２２、及び同期部１２３は、撮像部１１１、照射部１１２、及び同期部１１３と同じ機能を有している。ただし、撮像部１１１と照射部１１２との離間距離ｄ１（つまり、撮像部１１１の光軸から照射部１１２までの距離）は、撮像部１２１と照射部１２２との離間処理ｄ２よりも短い。すなわち、撮像部１１１で撮像された画像では、撮像部１２１で撮像された画像よりも、赤目現象が発生し易くなっている。

以上の構成を有する画像入力部１０１，１０２は、例えば、図４に示すような撮像ユニット２００を構成する。撮像ユニット２００は、例えば、車のハンドルの上、又は、ダッシュボード上など、運転席の正面に設置される。これにより、照射部１１２，１２２によって運転者の顔が照射されると共に、画像入力部１０１，１０２によって運転者の顔が撮影される。

図１に戻り、瞳孔検出部１０３，１０４は、画像入力部１０１から受け取るターゲット画像及び画像入力部１０２から受け取るターゲット画像から、瞳孔画像を検出する。

具体的には、瞳孔検出部１０３は、図５に示すように、顔検出部１３１と、顔部品検出部１３２と、瞳孔情報算出部１３３とを有する。

顔検出部１３１は、画像入力部１０１から受け取るターゲット画像から顔画像を検出し、顔画像データを顔部品検出部１３２へ出力する。

顔部品検出部１３２は、顔検出部１３１から受け取る顔画像から顔部品群（つまり、目尻、目頭など）を検出し、各顔部品の位置座標を瞳孔情報算出部１３３へ出力する。

瞳孔情報算出部１３３は、顔部品検出部１３２から受け取る、各顔部品の位置座標に基づいて、瞳孔画像の中心位置、及び、瞳孔画像の大きさ（つまり、瞳孔径）を算出する。この瞳孔画像の中心位置、及び、瞳孔画像の大きさは、瞳孔画像検出結果として、画像入力部１０１から出力されたターゲット画像と共に切替判定部１０５へ出力される。なお、瞳孔画像の中心位置及び瞳孔画像の大きさは、右目及び左目のそれぞれについて算出される。

また、瞳孔検出部１０４は、図６に示すように、顔検出部１４１と、顔部品検出部１４２と、瞳孔情報算出部１４３とを有する。顔検出部１４１と、顔部品検出部１４２と、瞳孔情報算出部１４３とは、顔検出部１３１と、顔部品検出部１３２と、瞳孔情報算出部１３３と同様の機能を有している。ただし、処理対象データが画像入力部１０２から受け取るターゲット画像である点で異なっている。

図１に戻り、切替判定部１０５は、画像入力部１０１から受け取るターゲット画像データから「赤目発生強度」を算出し、算出された赤目発生強度と、赤目発生強度と瞳孔検出正解率との相関特性とに基づいて、後段の処理部（例えば、視線方向算出部）へ出力する信号として、瞳孔検出部１０３の瞳孔検出結果及び瞳孔検出部１０４の瞳孔検出結果のいずれかを選択する。

具体的には、切替判定部１０５は、図７に示すように、赤目発生強度算出部１５１と、特性算出部１５２と、出力信号選択部１５３とを有する。

赤目発生強度算出部１５１は、入力画像及び瞳孔画像検出結果に基づいて、赤目発生強度を算出する。この赤目発生強度は、瞳孔検出部１０３から受け取るターゲット画像及び瞳孔画像検出結果について算出される。この赤目発生強度は、瞳孔画像領域内の輝度の瞳孔画像領域の外側に位置する瞳孔画像周辺領域の輝度に対する「相対輝度」を意味する。この赤目発生強度については、後に詳しく説明する。

特性算出部１５２は、赤目発生強度と瞳孔検出正解率（つまり、瞳孔検出精度値）との相関特性に関するデータ（以下では、単に「相関特性データ」と呼ばれることがある）を有している。特性算出部１５２は、赤目発生強度算出部１５１から受け取る赤目発生強度に対応する瞳孔検出正解率を、相関特性データを用いて算出する。この算出された瞳孔検出正解率は、出力信号選択部１５３及び評価値記憶部１０６へ出力される。なお、以下では、この算出された瞳孔検出正解率は、相関特性データにおける瞳孔検出正解率と明確に区別するために、「瞳孔検出信頼度」と呼ばれることがある。

出力信号選択部１５３は、特性算出部１５２から受け取る瞳孔検出信頼度の「変動傾向特性」に基づいて、後段の処理部（例えば、視線方向算出部）へ出力する信号として、瞳孔検出部１０３の瞳孔検出結果及び瞳孔検出部１０４の瞳孔検出結果のいずれかを選択する。

具体的には、特性算出部１５２から過去に出力された瞳孔検出信頼度の履歴が評価値記憶部１０６に記憶されているので、出力信号選択部１５３は、特性算出部１５２から今回受け取った瞳孔検出信頼度と、評価値記憶部１０６に記憶されている瞳孔検出信頼度の履歴とに基づいて、瞳孔検出信頼度の変動傾向特性を算出する。そして、出力信号選択部１５３は、算出した変動傾向特性に基づいて、瞳孔検出部１０３の瞳孔検出結果及び瞳孔検出部１０４の瞳孔検出結果のいずれかを選択し、選択した瞳孔検出結果を後段の処理部に出力する。この瞳孔検出信頼度の変動傾向特性については、後に詳しく説明する。

評価値記憶部１０６は、切替判定部１０５から受け取る瞳孔検出信頼度を、当該瞳孔検出信頼度の特定に用いられたターゲット画像の撮像時刻と対応付けて記憶する。

［瞳孔検出装置１００の動作］
以上の構成を有する瞳孔検出装置１００の動作について説明する。図８は、瞳孔検出装置１００の動作説明に供するフロー図である。図８のフロー図には、上記した警報装置における処理フローも含まれている。すなわち、図８には、瞳孔検出装置１００が警報装置に適用された場合の処理フローが示されている。

図８に示す処理フローは、撮影作業の開始と共にスタートする。撮影作業は、ユーザの操作によって開始されても良いし、外的な何らかの信号をトリガとして開始されても良い。

〈画像取得処理〉
ステップＳ２０１で画像入力部１０１，１０２は、発光して撮像ターゲット（つまり、ここでは、人物）を照射すると共に、その撮像ターゲットを撮像する。これにより、ターゲット画像が取得される。

具体的には、画像入力部１０１の照射部１１２は、不可視の近赤外線光（例えば、波長８５０ｎｍの光）でターゲットを照射する。ターゲットが照射されているタイミングで、撮像部１１１は、そのターゲットを撮像する。撮像部１１１と照射部１１２との離間距離ｄ１は、十分短い（例えば、１０mm）。従って、周辺の照度が低下してくると瞳孔径が大きくなり、撮像部１１１で撮像されたターゲット画像では、赤目現象が発生する。

一方、画像入力部１０２の照射部１２２も、照射部１１２とは別のタイミングで、不可視の近赤外線光（例えば、波長８５０ｎｍの光）でターゲットを照射する。照射部１２２によってターゲットが照射されているタイミングで、撮像部１２１は、そのターゲットを撮像する。撮像部１２１と照射部１２２との離間距離ｄ２は、ｄ１よりも大きい。従って、撮像部１２１で撮像されたターゲット画像では、撮像部１１１で撮像されたターゲット画像よりも、赤目現象の発生確率が低く、仮に赤目現象が発生する場合でも、赤目発生強度が低くなる。ただし、赤目発生強度が十分大きい場合には、瞳孔の光る箇所の輝度が画像の輝度上限に達するため、撮像部１１１で撮像されたターゲット画像と撮像部１２１で撮像されたターゲット画像とでは、同等の赤目現象発生強度が観測されることもある。

撮像部１１１及び撮像部１２１としては、例えば、ＣＭＯＳイメージセンサとレンズを備えたデジタルカメラが想定される。従って、撮像部１１１及び撮像部１２１で撮像されたＰＰＭ（Portable Pix Map file format）形式の画像等が、画像入力部１０１，１０２に含まれる、図示されていない画像記憶部（例えば、ＰＣのメモリ空間）に一時記憶された後、ＰＰＭ形式のまま瞳孔検出部１０３，１０４へ出力される。

〈瞳孔検出処理〉
ステップＳ２０２で顔検出部１３１，１４１は、画像入力部１０１，１０２から受け取るターゲット画像から顔画像を検出する。図９は、ターゲット画像である顔画像を示す図である。図９Ａは、撮像部１１１で撮像した、赤目現象発生時の画像を示す図であり、図９Ｂは、撮像部１２１で撮像した、赤目現象が発生していない時の画像を示す図である。なお、撮像した顔画像では、例えば、画像横方向をＸ軸、画像縦方向をＹ軸とし、１画素が１座標点である。

顔領域検出処理では、例えば、入力画像から、特徴となる画像の候補（つまり、特徴画像候補）を抽出し、抽出された特徴画像候補と、あらかじめ用意した顔領域を表す特徴画像とを比較することにより、類似度の高い特徴画像候補を検出する。類似度は、例えば、あらかじめ取得した平均顔のガボール特徴量と、入力画像をスキャンすることにより抽出されるガボール特徴量とを照合し、両者の差分の絶対値の逆数として求められる。

この場合、顔検出部１３１は、あらかじめ用意したテンプレートと比べて、図９Ａの画像の中で最も相関の高い領域を、顔画像３０１として特定する。図９Ｂの画像中でも同様に、顔画像３１１が特定される。なお、顔領域検出処理は、画像中から肌色領域を検出すること（つまり、肌色領域検出）によって行われても良いし、楕円部分を検出すること（つまり、楕円検出）により行われても良いし、統計的パターン識別手法を用いることにより行われても良い。その他、上記顔検出を行うことができる技術であれば、どのような方法が採用されても良い。

ステップＳ２０３で顔部品検出部１３２，１４２は、顔検出部１３１，１４１から受け取る顔画像から顔部品群（つまり、口角、目尻、目頭など）を検出し、各顔部品の位置座標を瞳孔情報算出部１３３，１４３へ出力する。顔部品群の探索領域は、ステップＳ２０２で特定された顔領域３０１，３１１である。図９Ａ，Ｂには、それぞれ顔部品群３０２，３１２が示されている。

顔部品群検出処理では、例えば、分離度フィルタを用いて、口角、目尻、目頭などの顔部品の端点又は鼻の穴などの２次元座標が検出される。また、あらかじめ複数の顔画像と顔画像に対応する顔部品の位置との対応関係を学習器に学習させておき、顔部品検出部１３２，１４２は、顔画像３０１，３１１が入力された際に、その対応関係に関して最も尤度が高い場所を顔部品として検出しても良い。又は、顔部品検出部１３２，１４２は、標準的な顔部品のテンプレートを用いて、顔画像３０１，３１１内から顔部品を探索しても良い。

ステップＳ２０４で瞳孔情報算出部１３３，１４３は、顔部品検出部１３２，１４２から受け取る、各顔部品の位置座標に基づいて、瞳孔画像の中心位置、及び、瞳孔画像の大きさ（つまり、瞳孔径）を算出する。

瞳孔検出処理では、例えば、ステップＳ２０３で得られた目尻、目頭を含む目領域３０４，３１４に対して円形分離度フィルタが適用される。すなわち、目領域３０４，３１４内で円形分離度フィルタの適用位置を移動させた時に、フィルタの円の内側の平均輝度がフィルタの円の外側の平均輝度よりも高くなる位置の内、最も輝度の分離度が高くなる位置でのフィルタ円に対応する領域を瞳孔領域（図９Ａ，Ｂでは、領域３０３，３１３に対応する）として検出する。このとき、検出した瞳孔に相当する分離度フィルタの円の中心の座標及び直径を、瞳孔画像の中心位置及び瞳孔画像の大きさとして取得する。

〈切替判定処理〉
ステップＳ２０５−Ｓ２０８で切替判定部１０５は、画像入力部１０１から受け取るターゲット画像データから赤目発生強度を算出し、算出された赤目発生強度と、赤目発生強度と瞳孔検出正解率との相関特性とに基づいて、後段の処理部（例えば、視線方向算出部）へ出力する信号として、瞳孔検出部１０３の瞳孔検出結果及び瞳孔検出部１０４の瞳孔検出結果のいずれかを選択する。

具体的には、ステップＳ２０５で赤目発生強度算出部１５１は、入力画像及び瞳孔画像検出結果（つまり、瞳孔画像の中心位置、及び、瞳孔画像の大きさ）に基づいて、赤目発生強度を算出する。

赤目発生強度Ｖは、次の式（１）によって算出される。すなわち、赤目発生強度は、瞳孔周辺の輝度に対して、瞳孔内の輝度がどの程度高いかを表す。

式（１）において、Ｐ１は、図１０に示される目領域画像３０４（３１４）の内の領域４０１、つまり、瞳孔領域４０１の内部領域である。Ｐ２は、図１０に示される目領域画像３０４（３１４）の内の領域４０２、つまり、瞳孔領域４０１の外部領域である。ｂは、各画素の輝度である。Ｎ１は、Ｐ１内に存在する画素の数である。Ｎ２は、Ｐ２内に存在する画素の数である。

この赤目発生強度は、瞳孔検出部１０３から受け取るターゲット画像及び瞳孔画像検出結果について算出される。

ステップＳ２０６で特性算出部１５２は、赤目発生強度算出部１５１から受け取る赤目発生強度に対応する瞳孔検出正解率を、相関特性データを用いて算出する。

この相関特性データは、あらかじめ実験データ又は特性モデルなどによって用意される。また、この相関特性データは、赤目発生強度と瞳孔検出正解率との相関特性を表しており、例えば、図１１に示すように、横軸を赤目発生強度、縦軸を瞳孔検出正解率とし、実験データをプロットしたグラフであっても良い。

図１１において、曲線５０１は、赤目現象が実際に起きたときの、相関特性データを表す。すなわち、曲線５０１は、画像入力部１０１によって得られたターゲット画像から求められる赤目発生強度から得られる曲線である。また、曲線５０２は、赤目現象が起きていないときの、相関特性データを表す。すなわち、曲線５０２は、或る撮影環境で、画像入力部１０１によって得られたターゲット画像から求められる赤目発生強度に対して、同じ撮影環境で、画像入力部１０２によって得られたターゲット画像に基づいて行われる瞳孔検出の正解率をプロットすることにより得られる曲線である。

また、曲線５０１と曲線５０２とは、交点５０３で交わり、交点５０３に対応する瞳孔検出正解率は、切替判断基準値５０４として用いられる。赤目発生強度が切替判断基準値５０４よりも大きいと、瞳孔検出部１０３の瞳孔検出結果の信頼性の方が瞳孔検出部１０４の瞳孔検出結果よりも高くなる。ただし、切替判断基準値は、２つの曲線の交点とするのが最適であるが、必ずしも交点でなくても、例えば、交点の瞳孔検出正解率があらかじめ定められた許容される正解率よりも高い場合には、この許容される正解率を切替判断基準値としても良い。又は、２つの曲線の交点での瞳孔検出正解率に対して、所定値を加算又は減算することにより得られる瞳孔検出正解率を切替判断基準値としても良い。

ステップＳ２０７で特性算出部１５２は、瞳孔検出信頼度を評価値記憶部１０６に記憶させる。評価値記憶部１０６は、切替判定部１０５から受け取る瞳孔検出信頼度を、当該瞳孔検出信頼度の特定に用いられたターゲット画像の撮像時刻と対応付けて記憶する。ただし、撮像時刻と瞳孔検出信頼度とが、後述のステップＳ２０８の処理に必要な量に対して十分多い場合には、評価値記憶部１０６は、撮影時刻が古いものから消去し、消去によって空いた領域に、新たに取得した時刻と瞳孔検出信頼度とを上書きしても良い。

ステップＳ２０８で出力信号選択部１５３は、特性算出部１５２から受け取る瞳孔検出信頼度の「変動傾向特性」に基づいて、後段の処理部（例えば、視線方向算出部）へ出力する信号として、瞳孔検出部１０３の瞳孔検出結果及び瞳孔検出部１０４の瞳孔検出結果のいずれかを選択する。

具体的には、出力信号選択部１５３は、特性算出部１５２から今回受け取った瞳孔検出信頼度と、評価値記憶部１０６に記憶されている瞳孔検出信頼度の履歴とに基づいて、瞳孔検出信頼度の変動傾向特性を算出する。

図１２は、特性算出部１５２から今回受け取った瞳孔検出信頼度と、評価値記憶部１０６に記憶されている瞳孔検出信頼度の履歴とから形成されるグラフを示す図である。このグラフでは、横軸が撮像時刻、縦軸が瞳孔検出信頼度である。なお、ここでは、評価値記憶部１０６に記憶されている瞳孔検出信頼度の値そのものを用いているが、例えば、時間平均をとった値を用いても良いし、又は、はずれ値を除いた時間平均をとった値を用いても良い。

瞳孔検出信頼度の変動傾向特性は、具体的には、次のように算出される。先ず、出力信号選択部１５３は、各撮像時刻における瞳孔検出信頼度の時間変化の勾配を算出する。この瞳孔検出信頼度の時間変化の勾配Ｄ１は、次の式（２）によって算出できる。

ただし、Ｅは、瞳孔検出信頼度であり、ｔは、撮像時刻である。

そして、出力信号選択部１５３は、算出した変動傾向特性に基づいて、瞳孔検出部１０３の瞳孔検出結果及び瞳孔検出部１０４の瞳孔検出結果のいずれかを選択し、選択した瞳孔検出結果を後段の処理部に出力する。

この選択基準は、次の通りである。すなわち、所定の期間（図１２では、期間６０２）において、瞳孔検出信頼度が切替判断基準値５０４よりも小さく、かつ、上記勾配Ｄ_１が連続して負（つまり、連続して瞳孔検出信頼度が減少）であれば、瞳孔検出部１０４の瞳孔検出結果が選択される。つまり、所定の期間内に含まれる、瞳孔検出信頼度の曲線６０３が、切替判断基準値５０４よりも下にあり、かつ、減少傾向にある場合には、瞳孔検出部１０４の瞳孔検出結果が選択される。

また、所定の期間（図１２では、期間６０２）において、瞳孔検出信頼度が切替判断基準値５０４よりも大きく、かつ、上記勾配Ｄ_１が連続して正（つまり、連続して瞳孔検出信頼度が増加）であれば、瞳孔検出部１０３の瞳孔検出結果が選択される。

また、上記２つの基準のいずれも満たされない場合には、瞳孔検出部１０３の瞳孔検出結果及び瞳孔検出部１０４の瞳孔検出結果の内、前回選択された方が、今回も選択される。なお、所定の期間から外れた瞳孔検出信頼度の曲線６０１は出力信号選択部１５３の処理に必要ない部分である。従って、評価値記憶部１０６は、この曲線６０１に相当するデータを削除しても良い。

ここで、一般的に、赤目発生強度が強くなるほど、瞳孔の輝度が虹彩の輝度に対して高くなるので、画像上で瞳孔の検出が容易になる。従って、赤目現象が発生する場合、画像入力部１０１で得られた画像を用いて瞳孔を検出する方が、画像入力部１０２で得られた画像を用いるよりも、検出性能が良くなる。しかし、赤目発生強度が弱い場合、瞳孔の輝度と虹彩の輝度との差が小さくなってしまう。そのため、赤目現象が発生し始めるような状況では、画像入力部１０１で得られた画像では瞳孔の輝度と虹彩の輝度との差がほとんどなくなり、瞳孔の検出が困難となる。一方、画像入力部１０２で得られた画像では、赤目現象の発生が画像入力部１０１で得られた画像よりもさらに弱くなるため、瞳孔が光らず、虹彩の輝度に対して瞳孔の輝度が十分低くなる。そのため、画像入力部１０２で得られた画像では、瞳孔の輝度と虹彩の輝度との差が画像入力部１０１で得られた画像よりも大きくなり、検出性能が、相対的に良くなる。このように、赤目発生強度によって、瞳孔検出部１０３の瞳孔検出結果及び瞳孔検出部１０４の瞳孔検出結果の精度が逆転するので、精度の良い方を適宜選択することにより、後段の処理の精度を向上することができる。

〈視線方向算出処理〉
ステップＳ２０９で視線方向算出部（図示せず）は、ステップＳ２０３で得られた顔部品群の座標と、ステップＳ２０４で得られた瞳孔画像の中心座標とから、視線方向を算出する。

視線方向は、例えば、顔部品群の座標から算出される顔の正面方向の向きを表す顔向きベクトルと、目尻、目頭、瞳孔中心の座標から算出される顔の正面方向に対する視線方向ベクトルとから、算出される。

顔向きベクトルは、例えば、以下の手順で算出される。まず、視線方向算出部は、あらかじめ取得した運転者の顔部品群の三次元座標を回転及び並進させることにより変換する。そして、視線方向算出部は、変換した三次元座標を、ステップＳ２０８で選択された瞳孔検出結果を得るために使用されたターゲット画像に投影する。そして、視線方向算出部は、ステップＳ２０３で検出した顔部品群と最も一致する回転・並進パラメータを算出する。このとき、あらかじめ運転者の顔部品群の三次元座標を取得した際に、運転者の顔が向いている方向を表すベクトルと、決定された回転パラメータによって回転したベクトルとの組みが、顔向きベクトルである。

視線方向ベクトルは、例えば、以下の手順で算出される。まず、視線方向算出部は、所定の方向を顔が向いている場合に、顔向きと同じ方向を見ている時の運転者の顔部品群と瞳孔中心の三次元座標とをあらかじめ記憶する。次に、検出した瞳孔の三次元座標から、視線方向と反対側に所定の距離だけ移動した位置を眼球中心位置として算出する。このとき、上記所定の距離は、一般的な成人眼球の半径である１２ｍｍ程度が適当であるが、上記値に限らず、任意の値を用いても良い。次に、顔向きベクトル算出時に取得した顔の回転・並進パラメータを用いて、検出時の眼球中心の三次元座標を求める。次に、眼球中心を中心とし、半径が上記所定の距離である球上に瞳孔があると想定し、検出された瞳孔中心が上記球上のどこにあるか探索する。最後に、眼球中心と探索された球上の点を結ぶベクトルを視線方向として算出する。

〈警報判定処理〉
ステップＳ２１０で警報装置（図示せず）は、ステップＳ２０９で得られた視線方向から運転者が正面を向いているか否かを判定し、判定結果に基づいて、警報処理を実行する。すなわち、視線方向が所定の時間以上、所定の角度範囲外を向いている場合には、警報が発せられる。この警報は、警告メッセージ含む表示、音声合成ＬＳＩによる音声メッセージ、ＬＥＤ発光、スピーカ等による放音、またはこれらの組み合わせである。

具体的には、警報装置は、正面を向いていないと判定した場合には、警報カウントＷを１つ増加する。そして、警報カウントＷが所定の閾値を超えた場合には、警報装置は、運転者が長時間正面を見ていないと見なして、警報を発する。また、正面を向いていると判定した場合には、警報装置は、警報カウントＷをゼロにする。なお、警報カウントＷは、初期状態ではゼロである。

なお、ステップＳ２１１では終了判定が行われ、終了条件が満たされている場合には、一連の処理が終了する。一方、終了条件が満たされていない場合には、処理フローが、ステップＳ２０１へ戻る。ここで、終了判定は、人手による終了命令の入力によって行われても良いし、外的な何らかの信号をトリガとして行われても良い。

以上のように本実施の形態によれば、瞳孔検出装置１００において、切替判定部１０５が、瞳孔検出部１０３で検出された第１の瞳孔画像内の輝度の、第１の瞳孔画像外の周辺画像の輝度に対する相対輝度である赤目発生強度の算出値と、赤目発生強度と瞳孔検出精度値との相関特性とに基づいて、第１の瞳孔画像の検出結果又は瞳孔検出部１０４で検出された第２の瞳孔画像の検出結果を選択的に出力する。

瞳孔検出部１０３では、互いの離間距離がｄ１である撮像部１１１及び照射部１１２を具備する画像入力部１０１によって撮像された第１の人物画像が用いられる。一方、瞳孔検出部１０４では、互いの離間距離がｄ２である撮像部１２１及び照射部１２２を具備する画像入力部１０２によって撮像された第２の人物画像が用いられる。そして、離間距離ｄ１は、離間距離ｄ２よりも小さい。

こうすることで、相対的に赤目現象が発生し易い第１の瞳孔画像を用いた瞳孔検出の精度推定値に基づいて、第１の瞳孔画像の検出結果又は前記第２の瞳孔画像の検出結果の内から、撮影状況に応じて最適な瞳孔画像の検出結果を選択的に出力することができる。また、選択パラメータとして、彩度と無関係な、第１の瞳孔画像内の輝度の、第１の瞳孔画像外の周辺画像の輝度に対する相対輝度である赤目発生強度が用いられるので、近赤外線を用いたグレースケール画像が用いられる場合でも、精度の高い検出結果を選択し出力することができる。

［実施の形態２］
実施の形態２では、算出された赤目発生強度と、赤目発生強度と瞳孔検出正解率との相関特性とに加えて、照度係数に基づいて、瞳孔検出結果を選択する。

図１３は、本発明の実施の形態２に係る瞳孔検出装置７００の構成を示すブロック図である。図１３において、瞳孔検出装置７００は、照度計測器７０１と、切替判定部７０２と、評価値記憶部７０３とを有する。

照度計測器７０１は、画像入力部１０１，１０２による撮像時の照度を計測し、計測された照度を評価値記憶部７０３へ出力する。照度計測器７０１は、運転者の顔付近、または、運転者の注視方向の照度を計測できる位置に設置される。

切替判定部７０２は、画像入力部１０１から受け取るターゲット画像データ及び画像入力部１０２から受け取るターゲット画像データのそれぞれから「赤目発生強度」を算出し、算出された赤目発生強度と、赤目発生強度と瞳孔検出正解率との相関特性と、計測された照度とに基づいて、後段の処理部（例えば、視線方向算出部）へ出力する信号として、瞳孔検出部１０３の瞳孔検出結果及び瞳孔検出部１０４の瞳孔検出結果のいずれかを選択する。

具体的には、切替判定部７０２は、図１４に示すように出力信号選択部７１１を有する。出力信号選択部７１１は、特性算出部１５２から受け取る瞳孔検出信頼度を照度に基づいて補正し、補正後の瞳孔検出信頼度の「変動傾向特性」に基づいて、後段の処理部（例えば、視線方向算出部）へ出力する信号として、瞳孔検出部１０３の瞳孔検出結果及び瞳孔検出部１０４の瞳孔検出結果のいずれかを選択する。この瞳孔検出信頼度に対する照度による補正については、後に詳しく説明する。

評価値記憶部７０３は、切替判定部７０２から受け取る瞳孔検出信頼度及び照度計測器７０１から受け取る照度を、当該瞳孔検出信頼度の特定に用いられたターゲット画像の撮像時刻と対応付けて記憶する。

以上の構成を有する瞳孔検出装置７００の動作について説明する。図１５は、瞳孔検出装置７００の動作説明に供するフロー図である。

ステップＳ８０１で照度計測器７０１は、画像入力部１０１，１０２による撮像時の照度を計測する。照度計測の対象位置は、運転者の顔周辺又は運転者の注視方向が最適であるが、これに限定するものではなく、例えば、瞳孔検出装置７００が備え付けられた車の外の照度であっても良い。

ステップＳ８０２で切替判定部７０２は、画像入力部１０１から受け取るターゲット画像データ及び画像入力部１０２から受け取るターゲット画像データのそれぞれから「赤目発生強度」を算出し、算出された赤目発生強度と、赤目発生強度と瞳孔検出正解率との相関特性と、計測された照度とに基づいて、後段の処理部（例えば、視線方向算出部）へ出力する信号として、瞳孔検出部１０３の瞳孔検出結果及び瞳孔検出部１０４の瞳孔検出結果のいずれかを選択する。

具体的には、出力信号選択部７１１は、特性算出部１５２から今回受け取った瞳孔検出信頼度及び評価値記憶部７０３に記憶されている瞳孔検出信頼度を、照度に基づいて補正する。この補正は、下記の式（３）によって行われる。すなわち、瞳孔検出信頼度Ｅに対して、照度係数Ｌを乗算することにより、照度反映瞳孔検出信頼度Ｆが算出される。

図１６には、照度と照度係数との対応関係が示されている。図１６に示されているように、照度係数Ｌは、照度が高くなるほど小さくなるように設定さている。図１６Ａ，Ｂに２つの例を示したが、利用可能な、照度と照度係数との対応関係は、これに限定されない。照度に対する照度係数の勾配が正にならない対応関係であれば、どのようなものでも良い。

そして、出力信号選択部７１１は、補正後の瞳孔検出信頼度（つまり、照度反映瞳孔検出信頼度Ｆ）の変動傾向特性に基づいて、後段の処理部（例えば、視線方向算出部）へ出力する信号として、瞳孔検出部１０３の瞳孔検出結果及び瞳孔検出部１０４の瞳孔検出結果のいずれかを選択する。

このとき、変動傾向特性の算出において求められる照度反映瞳孔検出信頼度Ｆの時間変化の勾配Ｄ_２は、下記式（４）によって求められる。

そして、出力信号選択部７１１は、算出した変動傾向特性、及び照度に基づいて、瞳孔検出部１０３の瞳孔検出結果及び瞳孔検出部１０４の瞳孔検出結果のいずれかを選択し、選択した瞳孔検出結果を後段の処理部に出力する。

具体的には、出力信号選択部７１１は、上記した所定の期間６０２内において、照度が予め定められた値以上である場合には、瞳孔検出部１０３の瞳孔検出結果を選択する。

また、出力信号選択部７１１は、上記した所定の期間６０２内において、照度が予め定められた値以下である場合には、算出した変動傾向特性に基づいて、瞳孔検出部１０３の瞳孔検出結果及び瞳孔検出部１０４の瞳孔検出結果のいずれかを選択し、選択した瞳孔検出結果を後段の処理部に出力する。

この選択基準は、次の通りである。すなわち、所定の期間（図１２では、期間６０２）において、瞳孔検出信頼度が切替判断基準値５０４よりも小さく、かつ、上記勾配Ｄ_２が連続して負（つまり、連続して瞳孔検出信頼度が減少）であれば、瞳孔検出部１０４の瞳孔検出結果が選択される。つまり、所定の期間内に含まれる、瞳孔検出信頼度の曲線６０３が、切替判断基準値５０４よりも下にあり、かつ、減少傾向にある場合には、瞳孔検出部１０４の瞳孔検出結果が選択される。

また、所定の期間（図１２では、期間６０２）において、瞳孔検出信頼度が切替判断基準値５０４よりも大きく、かつ、上記勾配Ｄ_２が連続して正（つまり、連続して瞳孔検出信頼度が増加）であれば、瞳孔検出部１０３の瞳孔検出結果が選択される。

また、上記２つの基準のいずれも満たされない場合には、瞳孔検出部１０３の瞳孔検出結果及び瞳孔検出部１０４の瞳孔検出結果の内、前回選択された方が、今回も選択される。

以上のように本実施の形態によれば、瞳孔検出装置７００において、出力信号選択部７１１が、撮像時の照度に基づいて変動傾向特性を補正し、補正後の変動傾向特性に基づいて、第１の瞳孔画像の検出結果又は第２の瞳孔画像の検出結果を選択する。

こうすることで、撮影状況をさらに正確に反映した選択基準に基づいて、第１の瞳孔画像の検出結果又は第２の瞳孔画像の検出結果を選択することができる。

［実施の形態３］
実施の形態３では、複数のモードのそれぞれに対応する相関特性が用意され、選択されたモードに応じた相関特性を用いて、瞳孔検出信頼度を算出する。

図１７は、本発明の実施の形態３に係る瞳孔検出装置９００の構成を示すブロック図である。図１７において、瞳孔検出装置９００は、モード選択部９０１と、切替判定部９０２とを有する。

モード選択部９０１は、用意されている複数のモードの中から１つのモードを選択する。この複数のモードには、例えば、ターゲットである人物がサングラスを掛けている第１のモードと、サングラスを掛けていない第２のモードとが含まれる。選択されたモードに関する情報は、切替判定部９０２へ出力される。

切替判定部９０２は、画像入力部１０１から受け取るターゲット画像データ及び画像入力部１０２から受け取るターゲット画像データのそれぞれから「赤目発生強度」を算出し、算出された赤目発生強度と、赤目発生強度と瞳孔検出正解率との相関特性とに基づいて、後段の処理部（例えば、視線方向算出部）へ出力する信号として、瞳孔検出部１０３の瞳孔検出結果及び瞳孔検出部１０４の瞳孔検出結果のいずれかを選択する。ここで、モードに応じて、最適な、赤目発生強度と瞳孔検出正解率との相関特性は、変化する。従って、切替判定部９０２は、モード選択部９０１から受け取るモード情報応じて、瞳孔検出結果の選択に用いる相関特性を切り換える。

具体的には、切替判定部９０２は、図１８に示すように、特性算出部９１１を有する。特性算出部９１１は、モード選択部９０１で選択可能な複数のモードのそれぞれに対応する相関特性データを有している。そして、モード選択部９０１から受け取るモード情報に対応する相関特性データを選択し、当該相関特性データを用いて、赤目発生強度算出部１５１から受け取る赤目発生強度に対応する瞳孔検出正解率を算出する。

こうして各モードに最適な相関特性を用いて瞳孔検出結果を選択するので、精度の高い瞳孔検出結果を精度良く選択することができる。

［他の実施の形態］
（１）上記各実施の形態では、画像入力部１０１及び画像入力部１０２のそれぞれに、撮像部と照射部とが１つずつ設けられる場合について説明した。しかしながら、本発明は、これに限定されるものではない。例えば、瞳孔検出装置１００は、２つの撮像部及び１つの照射部から構成される撮像ユニットを具備する構成であっても良い（図１９Ａ参照）。逆に、瞳孔検出装置１００は、１つの撮像部及び２つの照射部から構成される撮像ユニットを具備する構成であっても良い（図１９Ｂ参照）。要は、撮像部と照射部とのペアであって撮像部と照射部との離間距離が異なるペアが２つ存在していれば良い。

（２）上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。
また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

２０１０年２月２６日出願の特願２０１０−０４２４５５の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

本発明の瞳孔検出装置、及び瞳孔検出方法は、近赤外線を用いたグレースケール画像が用いられる場合でも、精度の高い検出結果を選択し出力することができるものとして有用である。

１００，７００，９００瞳孔検出装置
１０１，１０２画像入力部
１０３，１０４瞳孔検出部
１０５，７０２，９０２切替判定部
１０６，７０３評価値記憶部
１１１，１２１撮像部
１１２，１２２照射部
１１３，１２３同期部
１３１，１４１顔検出部
１３２，１４２顔部品検出部
１３３，１４３瞳孔情報算出部
１５１赤目発生強度算出部
１５２，９１１特性算出部
１５３，７１１出力信号選択部
２００撮像ユニット
７０１照度計測器
９０１モード選択部

Claims

所定の離間距離だけ離れた撮像手段と撮像時に発光する発光手段とからなる第１の撮像ペアと、
前記所定の離間距離が第１の撮像ペアよりも大きい第２の撮像ペアと、
前記第１の撮像ペアによって人物が撮像された第１の人物画像から、第１の瞳孔画像を検出し、前記第２の撮像ペアによって前記人物が撮像された第２の人物画像から、第２の瞳孔画像を検出する検出手段と、
前記第１の瞳孔画像外の周辺画像の輝度に対する、前記第１の瞳孔画像内の輝度の相対輝度である赤目発生強度の算出値と、赤目発生強度と瞳孔検出精度値との相関特性と、に基づいて、前記赤目発生強度の算出値に対応する瞳孔検出精度値を算出する精度値算出手段と、
前記算出された瞳孔検出精度値の変動傾向特性に基づいて、前記第１の瞳孔画像の検出結果又は前記第２の瞳孔画像の検出結果を選択的に出力する選択手段と、
を具備する瞳孔検出装置。
前記選択手段は、
所定の期間における前記算出された瞳孔検出精度値のすべてが所定の閾値未満であり、かつ、前記算出された瞳孔検出精度値の時間変動傾向が単調減少する変動傾向特性である場合に、前記第１の瞳孔画像の検出結果を選択する請求項１に記載の瞳孔検出装置。
前記所定の閾値は、赤目発生強度と前記第１の瞳孔画像の瞳孔検出精度値との第１の相関特性と、赤目発生強度と前記第２の瞳孔画像の瞳孔検出精度値との第２の相関特性とが交わる点に対応する瞳孔検出精度値である請求項２に記載の瞳孔検出装置。
前記撮像時の照度に基づいて、前記変動傾向特性を補正する補正手段をさらに具備し、
前記選択手段は、前記補正後の変動傾向特性に基づいて、前記第１の瞳孔画像の検出結果又は前記第１の瞳孔画像の検出結果を選択する請求項１に記載の瞳孔検出装置。