JP5538160B2 - 瞳孔検出装置及び瞳孔検出方法 - Google Patents

Description

本発明は、瞳孔検出装置及び瞳孔検出方法に関する。

画像上の瞳孔を検出する場合、瞳孔部分の解像度が低すぎるために、誤検出が頻発することがある。例えば、広範囲を撮影するために撮像装置の画角が大きくなり、目領域の解像度が十分に確保できないような場合である。

画像に基づく一般的な瞳孔検出方法では、瞳孔部分の輝度が瞳孔部分の周辺の輝度よりも低いという第１の特徴、又は、瞳孔が円又は楕円形状であるという第２の特徴が利用される。しかしながら、解像度が十分確保できない場合には、画像上で瞳孔輪郭は、多角形となり、円又は楕円とならないことがある。このような状態で、上記した第２の特徴を用いて瞳孔検出を行うと、誤検出が頻発することになる。目の周辺には、まつげ、虹彩輪郭、目尻・目頭に発生する陰、又は、Ｓ／Ｎ比が悪い場合に発生するノイズ等、実際には形状が円又は楕円でないものの、画像上での輝度が瞳孔部分と同程度に低いものが、多数存在する。そして、解像度が低い場合には、このように形状は瞳孔とは異なるが、輝度が瞳孔部分と同程度に低い部分が、瞳孔として誤検出されてしまう。

このような課題に対して、次のような技術が提案されている。例えば、特許文献１に開示されている技術では、顔画像から目領域が検出され、検出された目領域に対するズーム処理が行われる。そして、瞳孔のエッジが十分観測できるだけ拡大された目領域が撮影されることにより、瞳孔の解像度が瞳孔検出に必要なだけ確保される。

また、瞳孔検出ではないが、目の一部である虹彩を検出する技術として特許文献２に開示されている技術がある。特許文献２に開示されている技術では、目領域から虹彩輪郭が予め検出され、虹彩輪郭が所定の大きさの円になるように、目領域の画像が変換される。

特開2002-282210号公報 特開2008-90483号公報

しかしながら、特許文献１に開示されている技術においては、目領域に対するズーム処理が行われる段階では検出対象である瞳孔の大きさがわからないので、そのズーム倍率を瞳孔検出のためのエッジ検出に最適な値に設定することは難しい。

このため、安定して瞳孔検出を行なうためには、瞳孔が最も小さい場合（例えば、まぶしいときの瞳孔の場合）でも、瞳孔輪郭がエッジとして検出できるだけのズーム倍率が、常に設定される必要がある。

すなわち、ズーム倍率が不十分な場合には、瞳孔が小さければ瞳孔輪郭部分のエッジの画素数が少なくなり、瞳孔検出が不安定になる。このため、瞳孔が小さい場合でも十分なエッジの画素数が確保できるように、ズーム倍率が設定される必要がある。

しかし、瞳孔が小さい場合でも十分なエッジの画素数が確保できるようなズーム倍率が設定された場合、瞳孔が大きいときには、本来必要なエッジの画素数に対して過剰なエッジ画素数が検出されてしまう。このとき、検出性能に対して必要以上の画素数が処理対象となるため、瞳孔検出処理に掛かる計算量が増加してしまう問題がある。

また、特許文献２に開示されている技術においては、目領域画像の変換時に、変換パラメータとして画像上の虹彩輪郭形状が必要となる。従って、この技術を瞳孔検出処理に適用しようとしても、瞳孔検出のために瞳孔検出結果が必要となるため、その適用は困難である。

本発明の目的は、検出対象画像が低解像度であっても瞳孔検出精度を向上することができる瞳孔検出装置及び瞳孔検出方法を提供することである。

本発明の一態様の瞳孔検出装置は、瞳孔の画像を検出する瞳孔検出装置であって、前記瞳孔を含む周辺領域の実スケール値を取得する取得手段と、瞳孔径の実スケール予測値を算出する第１の算出手段と、前記算出された実スケール予測値に基づいて、解像度のターゲット値を算出する第２の算出手段と、前記算出された解像度のターゲット値及び前記周辺領域の実スケール値に基づいて、拡大／縮小倍率を算出し、前記算出された拡大／縮小倍率に基づいて前記周辺領域の画像を正規化する正規化手段と、前記正規化された周辺領域の画像から前記瞳孔の画像を検出する検出手段と、を具備する。

本発明の一態様の瞳孔検出方法は、瞳孔の画像を検出する瞳孔検出方法であって、前記瞳孔を含む周辺領域の実スケール値を取得し、瞳孔径の実スケール予測値を算出し、前記算出された実スケール予測値に基づいて、解像度のターゲット値を算出し、前記算出された解像度のターゲット値及び前記周辺領域の実スケール値に基づいて、拡大／縮小倍率を算出し、前記算出された拡大／縮小倍率に基づいて前記周辺領域の画像を正規化し、前記正規化された周辺領域の画像から前記瞳孔の画像を検出する。

本発明によれば、検出対象画像が低解像度であっても瞳孔検出精度を向上することができる瞳孔検出装置及び瞳孔検出方法を提供することができる。

本発明の実施の形態１に係る瞳孔検出装置の構成を示すブロック図 目領域検出部の構成を示すブロック図 瞳孔検出装置の動作説明に供するフロー図 ターゲット画像である顔画像を示す図 解像度テーブルの例を示す図 本発明の実施の形態２に係る瞳孔検出装置の構成を示すブロック図 本発明の実施の形態３に係る瞳孔検出装置の構成を示すブロック図

以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、実施の形態において、同一の構成要素には同一の符号を付し、その説明は重複するので省略する。

［実施の形態１］
［瞳孔検出装置の構成］
図１は、本発明の実施の形態１に係る瞳孔検出装置１００の構成を示すブロック図である。瞳孔検出装置１００は、例えば、自動車の車室内に設けられ、視線検出装置と接続されて使用される。この視線検出装置は、瞳孔検出装置１００の検出結果に基づいて瞳孔位置を決定し、ドライバーの視線方向を検出する。以下では、特に、瞳孔検出装置１００が視線検出装置に適用された場合について説明する。

図１において、瞳孔検出装置１００は、目領域画像取得部１０１と、目領域実寸算出部１０２と、瞳孔状態予測部１０３と、実寸瞳孔径記憶部１０４と、必要解像度推定部１０５と、テーブル記憶部１０６と、目領域画像正規化部１０７と、瞳孔検出部１０８と、瞳孔実寸算出部１０９とを有する。

目領域画像取得部１０１は、目領域画像を取得し、目領域実寸算出部１０２へ出力する。

具体的には、目領域画像取得部１０１は、画像入力部１１１と、目領域検出部１１２とを有する。

画像入力部１１１は、撮像ターゲット（つまり、ここでは、人物）を撮像する。ここでは、画像入力部１１１は、ステレオカメラを具備し、当該ステレオカメラによってステレオ画像を取得する。このターゲット画像データは、目領域検出部１１２へ出力される。

画像入力部１１１は、例えば、車のハンドルの上、又は、ダッシュボード上など、運転席の正面に設置される。これにより、画像入力部１１１によって運転中の運転者の顔が撮影される。

目領域検出部１１２は、画像入力部１１１から取得されるターゲット画像から、目領域画像を検出する。

具体的には、目領域検出部１１２は、図２に示すように、顔検出部１２１と、顔部品検出部１２２と、目領域決定部１２３とを有する。

顔検出部１２１は、画像入力部１１１から取得されるターゲット画像から顔画像を検出し、検出された顔画像データを顔部品検出部１２２へ出力する。

顔部品検出部１２２は、顔検出部１２１から取得される顔画像データから顔部品群（つまり、口角、目尻、目頭など）を検出し、各顔部品の位置座標を顔画像データとともに目領域決定部１２３へ出力する。

目領域決定部１２３は、各顔部品の位置座標を顔部品検出部１２２から取得し、取得された各顔部品の位置座標に基づいて、顔画像における目領域の位置、大きさ（幅・高さ）を決定する。そして、目領域決定部１２３は、顔画像から目領域画像を切り出し、目領域画像とする。顔画像における目領域の位置および大きさは、目領域検出結果として、目領域画像と共に目領域実寸算出部１０２へ出力される。なお、目領域の位置及び大きさは、右目及び左目のそれぞれについて算出される。

図１に戻り、目領域実寸算出部１０２は、目領域画像取得部１０１から取得される目領域画像データ（実施の形態１では、ステレオ画像データ）および目領域検出結果に基づいて、目領域の実スケール値を算出する。目領域の実スケール値とは、ターゲット画像上の目領域が実際にどれだけの大きさを持つかを表す値である。目領域の実スケール値は、例えば、目領域の幅および高さとして、写っている物体（顔の目周辺部分）の実寸（例えば、幅30mm、高さ20mm）や、目領域画像上の１画素あたりの距離（例えば、1画素0.75mm）で表される。

瞳孔状態予測部１０３は、瞳孔径の実スケール予測値を算出する。具体的には、瞳孔状態予測部１０３は、実寸瞳孔径記憶部１０４に保持されている過去の実寸瞳孔径に基づいて、目領域画像取得部１０１において取得される目領域画像中の瞳孔の実寸を予測して、実スケール予測値を算出する。

実寸瞳孔径記憶部１０４は、瞳孔実寸算出部１０９から取得される瞳孔の実寸を、撮影時刻と併せて記憶する。すなわち、実寸瞳孔径記憶部１０４には、目領域画像取得部１０１によって過去に取得された瞳孔画像から導出される瞳孔径（の履歴）が保持される。

必要解像度推定部１０５は、瞳孔状態予測部１０３において算出された実スケール予測値に基づいて、解像度のターゲット値を算出する。解像度のターゲット値の算出においては、テーブル記憶部１０６に記憶されている解像度テーブルが用いられる。解像度テーブルでは、瞳孔径の実スケール値候補群と、各実スケール値候補において瞳孔検出に必要な画像解像度とが対応付けられている。従って、必要解像度推定部１０５は、解像度テーブルを用いて、瞳孔状態予測部１０３において算出された実スケール予測値と、当該実スケール予測値に対応する必要解像度とに基づいて、解像度のターゲット値を算出する。

テーブル記憶部１０６は、上記した解像度テーブルを保持する。解像度テーブルは、複数の瞳孔径と、予め実験又はシミュレーションなどによって算出された、各瞳孔径の瞳孔を安定して検出するために必要な解像度とを対応付けたテーブルである。解像度テーブルの作成は、例えば、各瞳孔径の画像を複数の解像度で撮影し、各解像度の画像の中で最も瞳孔検出結果が良い解像度を選択し、その解像度を各瞳孔径の瞳孔解像度として対応づけることにより行われる。

目領域画像正規化部１０７は、必要解像度推定部１０５において算出された解像度のターゲット値と、目領域実寸算出部１０２において算出された目領域の実スケール値とに基づいて、拡大／縮小倍率を算出する。具体的には、目領域画像正規化部１０７は、目領域実寸算出部１０２において算出された目領域の実スケール値と、目領域画像取得部１０１から取得される目領域画像に用いられている画素数とに基づいて、単位長当たりの画素数を算出し、算出された単位長当たりの画素数と必要解像度推定部１０５で算出された解像度のターゲット値との比を求めることにより、拡大／縮小倍率を算出する。

そして、目領域画像正規化部１０７は、算出された拡大／縮小倍率に基づいて、目領域画像取得部１０１から取得される目領域画像を正規化する。正規化された目領域画像（つまり、正規化目領域画像）は、瞳孔検出部１０８へ出力される。

また、目領域画像正規化部１０７は、正規化目領域画像における目領域の実寸値を算出し、瞳孔実寸算出部１０９へ出力する。

瞳孔検出部１０８は、目領域画像正規化部１０７から取得される正規化目領域画像から、瞳孔画像を検出する。検出瞳孔画像における、瞳孔中心の座標及び瞳孔径は、視線検出部（図示せず）及び瞳孔実寸算出部１０９へそれぞれ出力される。

瞳孔実寸算出部１０９は、目領域画像正規化部１０７から取得される正規化目領域画像における目領域の実寸値と、瞳孔検出部１０８から取得される瞳孔径とから、瞳孔の実寸を算出する。この実寸瞳孔径は、実寸瞳孔径記憶部１０４で保持される。

［瞳孔検出装置１００の動作］
以上の構成を有する瞳孔検出装置１００の動作について説明する。図３は、瞳孔検出装置１００の動作説明に供するフロー図である。図３のフロー図には、上記した視線検出装置における処理フローも含まれている。

図３に示す処理フローは、撮影作業の開始と共にスタートする。撮影作業は、ユーザの操作によって開始されても良いし、外的な何らかの信号をトリガとして開始されても良い。

＜画像取得処理＞
ステップＳ２０１において、画像入力部１１１は、撮像ターゲット（つまり、ここでは、人物）を撮像する。これにより、ターゲット画像が取得される。

画像入力部１１１は、例えば、ＣＭＯＳイメージセンサおよびレンズを備えたデジタルカメラである。従って、画像入力部１１１において撮像されたＰＰＭ（Portable Pix Map file format）形式の画像等が、画像入力部１１１に含まれる、図示されていない画像記憶部（例えば、ＰＣのメモリ空間）に一時記憶された後、ＰＰＭ形式のまま目領域検出部１１２へ出力される。

＜顔画像検出処理＞
ステップＳ２０２で顔検出部１２１は、画像入力部１１１から取得されるターゲット画像から顔画像を検出する。図４は、ターゲット画像である顔画像を示す図である。なお、撮像した顔画像では、例えば、画像横方向をＸ軸、画像縦方向をＹ軸とし、１画素が１座標点である。

顔領域検出処理では、例えば、ターゲット画像から、特徴となる画像の候補（つまり、特徴画像候補）を抽出し、抽出された特徴画像候補と、予め用意された顔領域を表す特徴画像とを比較することにより、類似度の高い特徴画像候補を検出する。類似度は、例えば、予め取得された平均顔のガボール特徴量と、ターゲット画像をスキャンすることにより抽出されるガボール特徴量とを照合し、両者の差分の絶対値の逆数として求められる。

この場合、顔検出部１２１は、図４の画像４００において顔領域候補群を抽出し、抽出された顔領域候補群と予め用意されたテンプレートとを比べて、最も相関の高い顔領域候補を、顔画像４０１として検出する。なお、顔領域検出処理は、画像中から肌色領域を検出すること（つまり、肌色領域検出）によって行われても良いし、楕円部分を検出すること（つまり、楕円検出）により行われても良いし、統計的パターン識別手法を用いることにより行われても良い。その他、上記顔検出を行うことができる技術であれば、どのような方法が採用されても良い。

＜顔部品検出処理＞
ステップＳ２０３で顔部品検出部１２２は、顔検出部１２１から取得される顔画像から顔部品群（つまり、口角、目尻、目頭など）を検出し、各顔部品の位置座標を目領域決定部１２３へ出力する。顔部品群の探索領域は、ステップＳ２０２において特定された顔画像４０１である。図４には、それぞれ顔部品群４０２が示されている。

顔部品群検出処理では、例えば、分離度フィルタを用いて、口角、目尻、目頭などの顔部品の端点又は鼻の穴などの２次元座標が検出される。また、予め複数の顔画像と顔画像に対応する顔部品の位置との対応関係を学習器に学習させておき、顔部品検出部１２２は、顔画像４０１が入力された場合に、その対応関係に関して最も尤度が高い部分を顔部品として検出しても良い。又は、顔部品検出部１２２は、標準的な顔部品のテンプレートを用いて、顔画像４０１内から顔部品を探索しても良い。

＜目領域決定処理＞
ステップＳ２０４で、目領域決定部１２３は、顔検出部１２１から取得される顔画像と、顔部品検出部１２２から取得される顔部品群から、目の領域を決定する。

目領域決定処理では、例えば、左右それぞれの目において、目尻、目頭を含む矩形領域４０３を目領域として決定し、矩形の左上端点座標と、右下端点座標を、目領域検出結果として取得する。ここでは、目領域の位置、大きさを示すパラメータとして、矩形の左上端点座標と、右下端点座標とが用いられている。

＜目領域実寸算出処理＞
ステップＳ２０５において、目領域実寸算出部１０２は、目領域画像取得部１０１から取得される目領域画像データ（実施の形態１では、ステレオ画像データ）から、目領域の実スケール値を算出する。具体的には、目領域実寸算出部１０２は、目領域画像データから、画像上の特徴点間の特徴距離（画素数）ｐを算出する。この画像上の特徴点間の特徴距離とは、例えば、画像上の目尻と目頭との間の距離である。そして、目領域実寸算出部１０２は、基準距離ｘを特徴距離ｐによって乗算することにより、ｘ／ｐを算出する。特徴距離ｐは、例えば、実空間における目尻と目頭との間の平均的な距離（例えば、28mm）である。従って、ｘ／ｐは、１画素に相当する実寸値を表す。

＜推定瞳孔径算出処理＞
ステップＳ２０６において、瞳孔状態予測部１０３は、瞳孔径の実スケール予測値を算出する。

具体的には、瞳孔状態予測部１０３は、実寸瞳孔径記憶部１０４に保持されている過去の実寸瞳孔径に基づいて、目領域画像取得部１０１から取得される目領域画像に含まれる瞳孔の実寸を予測する。例えば、瞳孔状態予測部１０３は、１フレーム前の実寸瞳孔径をＤ_ｔ−１、２フレーム前の実寸瞳孔径をＤ_ｔ−２とした場合、瞳孔径の実スケール予測値Ｄ_ｔを式（１）によって算出する。

又は、瞳孔状態予測部１０３は、瞳孔径の実スケール予測値Ｄ_ｔを式（２）によって算出しても良い。式（２）中で、Ｖ_ｍは、ヒトの平均的な縮瞳（ここでは、瞳孔が小さくなることを表す）速度である。

又は、瞳孔状態予測部１０３は、カルマンフィルタなどを用いた状態予測を行なっても良い。

＜必要解像度算出処理＞
ステップＳ２０７で、必要解像度推定部１０５は、瞳孔状態予測部１０３において算出された実スケール予測値に基づいて、解像度のターゲット値を算出する。解像度のターゲット値の算出には、テーブル記憶部１０６に記憶されている解像度テーブルが用いられる。この解像度テーブルでは、瞳孔径の実スケール値候補群と、各実スケール値候補において瞳孔検出に必要な画像解像度とが対応付けられている。

テーブル記憶部１０６に記憶されている解像度テーブルは、図５（ａ）のようにグラフ形式で保持されていても良いし、図５（ｂ）のようにテーブル形式で保持されていても良い。解像度テーブルが有する傾向特性は、次の通りである。（１）実寸瞳孔径（つまり、実スケール値候補）が大きい程、対応する必要解像度の値は大きくなる。（２）必要解像度は、実スケール値候補に対して単調減少であり、一定値に収束する。

具体的には、必要解像度推定部１０５は、解像度テーブルを用いて、瞳孔状態予測部１０３において算出された実スケール予測値ａと、当該実スケール予測値に対応する必要解像度ｂとに基づいて、解像度のターゲット値ｂ／ａを算出する。解像度のターゲット値ｂ／ａは、予測される瞳孔径を持つ瞳孔を安定して検出するために必要な、実寸の単位長あたりの画素数である。

＜目領域画像正規化処理＞
ステップＳ２０８において、目領域画像正規化部１０７は、必要解像度推定部１０５において算出された解像度のターゲット値と、目領域実寸算出部１０２において算出された目領域の実スケール値とに基づいて、拡大／縮小倍率を算出する。具体的には、目領域画像正規化部１０７は、目領域実寸算出部１０２で算出された目領域の実スケール値と、目領域画像取得部１０１から取得される目領域画像に用いられている画素数とに基づいて、単位長当たりの画素数を算出し、算出された単位長当たりの画素数と必要解像度推定部１０５で算出された解像度のターゲット値との比を求めることにより、拡大／縮小倍率を算出する。

そして、目領域画像正規化部１０７は、算出された拡大／縮小倍率に基づいて、目領域画像取得部１０１から取得される目領域画像を正規化する。この拡大縮小処理には、バイリニア又はバイキュービックなどの一般的に画像処理で用いられる手法が用いられる。

＜瞳孔探索処理＞
ステップＳ２０９において、瞳孔検出部１０８は、目領域画像正規化部１０７から取得される正規化目領域画像から、瞳孔画像を検出する。瞳孔画像における、瞳孔中心の座標及び瞳孔径は、視線検出部（図示せず）及び瞳孔実寸算出部１０９へそれぞれ出力される。

ステップＳ２１０において、視線検出部（図示せず）は、例えば、顔部品群４０２の座標から算出される顔の正面方向の向きを表す顔向きベクトルと、目尻、目頭、瞳孔中心の座標から算出される顔の正面方向に対する視線方向ベクトルから視線方向を算出する。

顔向きベクトルは、例えば、以下の手順で算出される。まず、予め取得された運転者の顔部品群の三次元座標を回転および並進させることにより変換する。そして、変換された三次元座標を、瞳孔検出に使用されたターゲット画像に投影する。そして、ステップＳ２０３において検出された顔部品群と最も一致する回転・並進パラメータを算出する。この場合、予め運転者の顔部品群の三次元座標を取得した場合に、運転者の顔が向いている方向を表すベクトルと、決定された回転パラメータによって回転したベクトルとの組みが、顔向きベクトルである。

また、視線方向ベクトルは、例えば、以下の手順で算出される。まず、予め、所定の方向を顔が向いている場合に、顔向きと同じ方向を見ている場合の運転者の顔部品群と瞳孔中心の三次元座標とを記憶する。瞳孔中心の検出は、例えば、目領域内において所定の輝度以下の画素の重心をとることにより行なわれる。次に、検出された瞳孔の三次元座標から、視線方向と反対側に所定の距離だけ移動した位置を眼球中心位置として算出する。この場合、上記所定の距離は、一般的な成人眼球の半径である１２ｍｍ程度が適当であるが、上記値に限らず、任意の値を用いても良い。次に、顔向きベクトル算出において取得された顔の回転・並進パラメータを用いて、検出時の眼球中心の三次元座標が算出される。次に、眼球中心を中心とし、半径が上記所定の距離である球上に瞳孔があると想定し、検出された瞳孔中心が上記球上の何れの位置にあるか探索する。最後に、眼球中心と探索された球上の点を結ぶベクトルを視線方向として算出する。

＜瞳孔実寸算出処理＞
ステップＳ２１１で、瞳孔実寸算出部１０９は、目領域画像正規化部１０７から取得される正規化目領域画像における目領域の実寸値と、瞳孔検出部１０８から取得される瞳孔径とから、瞳孔の実寸を算出する。

瞳孔の実寸Ｄ_ｒｔは、正規化目領域画像の拡大縮小倍率をｎとし、検出瞳孔の正規化目領域画像上での瞳孔径をＤ_ｎとしたとき、式（３）によって算出される。この実寸瞳孔径は、実寸瞳孔径記憶部１０４において保持される。

＜終了判定処理＞
ステップＳ２１２においては、終了判定が行なわれる。終了判定は、人手による終了命令の入力によって行われても良いし、外的な何らかの信号をトリガに瞳孔検出装置１００により行われても良い。

ステップＳ２１２において終了すると判定された場合に、図３の処理が終了する。

以上のように本実施の形態によれば、瞳孔検出装置１００において、必要解像度推定部１０５が、瞳孔状態予測部１０３によって算出された実スケール予測値に基づいて、解像度のターゲット値を算出する。そして、目領域画像正規化部１０７が、必要解像度推定部１０５によって算出された解像度のターゲット値と、目領域実寸算出部１０２によって取得された目領域の実スケール値とに基づいて、拡大／縮小倍率を算出し、算出された拡大／縮小倍率に基づいて目領域の画像を正規化する。そして、瞳孔検出部１０８が、目領域画像正規化部１０７によって正規化された目領域の画像から瞳孔画像を検出する。

こうすることで、瞳孔径の実スケール予測値及び目領域の実スケール値に基づいて算出した、実体を反映した拡大／縮小倍率によって目領域画像を拡大／縮小した正規化画像を用いて瞳孔検出することができるので、検出対象画像が低解像度であっても瞳孔検出精度を向上することができる。

また、目領域画像正規化部１０７は、目領域の実スケール値と目領域の画像に用いられている画素数とに基づいて、単位長当たりの画素数を算出し、算出された単位長当たりの画素数と解像度のターゲット値との比を求めることにより、拡大／縮小倍率を算出する。

なお、以上の説明では、解像度のターゲット値が理想の解像度であるとすると、現状の解像度に相当する値を、目領域の実スケール値として説明した。しかしながら、本発明は、これに限定されるものではなく、瞳孔の周辺領域であって画像上で瞳孔画像と解像度が余り変わらない領域の実スケール値であれば良い。

［実施の形態２］
実施の形態２では、目領域の実スケール値が、距離センサによって求められる。

図６は、本発明の実施の形態２に係る瞳孔検出装置５００の構成を示すブロック図である。図６において、瞳孔検出装置５００は、目領域実寸算出部５０１を有する。

目領域実寸算出部５０１は、測距センサを具備し、当該測距センサを用いて目領域の実スケール値を直接的に検出する。測距センサは、例えば、レーザーレンジセンサ、又はTOF（Time-Of-Flight）センサなどである。

検出された目領域の実スケール値は、目領域画像正規化部１０７へ出力される。なお、実施の形態１と同様に、現状の解像度に相当する値は、目領域の実スケール値に限定されるものではなく、瞳孔の周辺領域であって画像上で瞳孔画像と解像度が余り変わらない領域の実スケール値であれば良い。

以上のように本実施の形態によれば、瞳孔検出装置５００において、目領域実寸算出部５０１が、測距センサを具備し、目領域画像正規化部１０７が、算出された解像度のターゲット値及び測距センサで計測された目領域の実スケール値に基づいて、拡大／縮小倍率を算出し、算出された拡大／縮小倍率に基づいて目領域の画像を正規化し、瞳孔検出部１０８が、正規化された目領域の画像から瞳孔画像を検出する。

こうすることで、画像を用いずに目領域の実スケール値を検出することができるので、検出対象画像が低解像度であっても、より正確な目領域の実スケール値を取得することができる。この結果、より正確な目領域の実スケール値に基づいて拡大／縮小倍率を算出することができるので、瞳孔検出精度をさらに向上することができる。

［実施の形態３］
実施の形態３では、照度の平衡状態又は非平衡状態に基づいて、瞳孔径の実スケール予測値の算出方法が切り替えられる。

図７は、本発明の実施の形態３に係る瞳孔検出装置６００の構成を示すブロック図である。図７において、瞳孔検出装置６００は、照度センサ６０１と、瞳孔状態予測部６０２とを有する。

照度センサ６０１は、瞳孔検出装置６００及び撮像ターゲットの周辺の照度を所定の周期で計測し、計測された照度を瞳孔状態予測部６０２へ順次出力する。

瞳孔状態予測部６０２は、照度センサ６０１において計測された照度の履歴に基づいて、照度が平衡状態にあるのか又は非平衡状態にあるのかを判定し、判定結果に基づいて、瞳孔径の実スケール予測値の算出方法を切り替える。

具体的には、瞳孔状態予測部６０２は、照度が平衡状態にあると判定した場合には、瞳孔径の実スケール予測値を、瞳孔検出部１０８において過去に検出された少なくとも２つの瞳孔径に基づいて算出する。すなわち、瞳孔状態予測部６０２は、照度が平衡状態にあると判定した場合には、上記した式（１）を用いて瞳孔径の実スケール予測値を算出する。

一方、瞳孔状態予測部６０２は、照度が非平衡状態にあると判定した場合には、瞳孔径の実スケール予測値を、瞳孔検出部１０８において過去に検出された瞳孔径及び縮瞳速度に基づいて算出する。すなわち、瞳孔状態予測部６０２は、照度が非平衡状態にあると判定した場合には、上記した式（２）を用いて瞳孔径の実スケール予測値を算出する。

以上のように本実施の形態によれば、瞳孔状態予測部６０２は、照度の計測値履歴に基づいて、照度が平衡状態にあるのか又は非平衡状態にあるのかを判定し、判定結果に基づいて、瞳孔径の実スケール予測値の算出方法を切り替える。

こうすることで、撮影環境を反映して瞳孔径の実スケール予測値を算出することができりので、検出対象画像が低解像度であっても、より正確な解像度のターゲット値を取得することができる。この結果、より正確な解像度のターゲット値に基づいて拡大／縮小倍率を算出することができるので、瞳孔検出精度をさらに向上することができる。

なお、上記各実施の形態では、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はソフトウェアで実現することも可能である。

また、上記各実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。

上記各実施の形態で説明した瞳孔検出装置は、パーソナルコンピュータ、ＯＡ機器、携帯電話などの情報端末、又は、自動車、飛行機、船、電車などの移動手段に搭載される情報提供装置に適用して有用である。また、監視装置、警報装置、ロボット、映像音響再生装置などにも適用することができる。

本発明の瞳孔検出装置及び瞳孔検出方法は、検出対象画像が低解像度であっても瞳孔検出精度を向上することができる。

１００，５００，６００ 瞳孔検出装置
１０１ 目領域画像取得部
１０２，５０１ 目領域実寸算出部
１０３，６０２ 瞳孔状態予測部
１０４ 実寸瞳孔径記憶部
１０５ 必要解像度推定部
１０６ テーブル記憶部
１０７ 目領域画像正規化部
１０８ 瞳孔検出部
１０９ 瞳孔実寸算出部
１１１ 画像入力部
１１２ 目領域検出部
１２１ 顔検出部
１２２ 顔部品検出部
１２３ 目領域決定部
６０１ 照度センサ

Claims (6)

1. 瞳孔の画像を検出する瞳孔検出装置であって、
   前記瞳孔を含む周辺領域の実スケール値を取得する取得手段と、
   瞳孔径の実スケール予測値を算出する第１の算出手段と、
   前記算出された実スケール予測値に基づいて、解像度のターゲット値を算出する第２の算出手段と、
   前記算出された解像度のターゲット値及び前記周辺領域の実スケール値に基づいて、拡大／縮小倍率を算出し、前記算出された拡大／縮小倍率に基づいて前記周辺領域の画像を正規化する正規化手段と、
   前記正規化された周辺領域の画像から前記瞳孔の画像を検出する検出手段と、
   を具備し、
   前記第１の算出手段は、前記検出手段によって過去に検出された瞳孔画像から求められる瞳孔径に基づいて、前記実スケール予測値を算出する、
   する瞳孔検出装置。
2. 前記正規化手段は、前記周辺領域の実スケール値と前記周辺領域の画像に用いられている画素数とに基づいて、単位長当たりの画素数を算出し、前記算出された単位長当たりの画素数と前記解像度のターゲット値との比を求めることにより、前記拡大／縮小倍率を算出する、
   請求項１に記載の瞳孔検出装置。
3. 複数の瞳孔径と各瞳孔径に適した解像度とが対応付けられた解像度テーブルを記憶する記憶手段をさらに具備し、
   前記第２の算出手段は、前記解像度テーブルを用いて、前記算出された実スケール予測値に対応する解像度のターゲット値を算出する、
   請求項１乃至２のいずれかに記載の瞳孔検出装置。
4. 前記取得手段は、測距センサを具備し、前記測距センサによって前記周辺領域の実スケールを計測する、
   請求項１に記載の瞳孔検出装置。
5. 前記第１の算出手段は、照度センサで計測された照度の履歴に基づいて、照度が平衡状態にあるのか又は非平衡状態にあるのかを判定し、判定結果に基づいて、瞳孔径の実スケール予測値の算出方法を切り替える、
   請求項１に記載の瞳孔検出装置。
6. 瞳孔の画像を検出する瞳孔検出方法であって、
   前記瞳孔を含む周辺領域の実スケール値を取得し、
   瞳孔径の実スケール予測値を算出し、
   前記算出された実スケール予測値に基づいて、解像度のターゲット値を算出し、
   前記算出された解像度のターゲット値及び前記周辺領域の実スケール値に基づいて、拡大／縮小倍率を算出し、
   前記算出された拡大／縮小倍率に基づいて前記周辺領域の画像を正規化し、
   前記正規化された周辺領域の画像から前記瞳孔の画像を検出し、
   前記実スケール予測値は、過去に検出された前記瞳孔の画像から求められる瞳孔径に基づいて算出される、
   瞳孔検出方法。

Images