JP4307496B2 - 顔部位検出装置及びプログラム - Google Patents

Description

本発明は、顔部位検出装置及びプログラムに係り、特に、顔を撮像した画像から、顔の所定部位の位置を検出する顔部位検出装置及びプログラムに関する。

従来より、前回計測した目位置に基づいて、目探索領域を設定し、目探索領域内で目が見つかったら前回見つけたものと同一とみなす居眠り状態検出装置が知られている（特許文献１、特許文献２）。

また、鼻位置を検出し、検出された鼻位置を基準として、目の探索領域を設定する眼位置検出装置が知られている（特許文献３）。

また、鼻や眉などと上まぶたとの縦方向の距離を調べ、正しく目が検出できているか否かを判断する眼の状態検出装置が知られている（特許文献４）。
特許第３３１２５６２号 特許第３４４４１１５号 特開２０００−６７２２５ 特開２００１−３０７０７６

しかしながら、上記特許文献１及び特許文献２に記載の技術では、顔が大きく左右に移動した場合には、設定した目探索領域から目が外れてしまうため、目を検出することができない、という問題がある。

また、上記特許文献３に記載の技術では、目の探索領域内で、目の候補が複数見つかった場合は、目の位置を検出するために複雑な処理が必要となってしまう、という問題がある。

また、上記特許文献４に記載の技術では、鼻や眉の位置と上まぶたとの位置関係を縦方向にしか調べていないため、顔が左右に動いた場合には、目を正しく検出することができない、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、顔が動いても、顔の目の位置を簡易な計算処理で検出することができる顔部位検出装置及びプログラムを提供することを目的とする。

上記の目的を達成するために本発明に係る顔部位検出装置は、被観察者の顔を撮像する撮像手段と、前記撮像手段によって撮像された前記顔を表す顔画像から、鼻の特徴を表わす位置及び眉間の特徴を表わす位置の何れか一方の位置を検出する位置検出手段と、前記位置検出手段によって過去に検出された位置を基準とした前記顔の目の過去の相対位置を算出する算出手段と、前記算出手段によって算出された前記過去の相対位置と、前記位置検出手段によって検出された現在の位置とに基づいて、前記顔画像の下まぶたと眼球との境界の上下方向の位置及び上まぶたと眼球との境界の左右方向の位置で表した前記目の位置を検出する部位位置検出手段とを含んで構成されている。

また、本発明に係るプログラムは、コンピュータを、被観察者の顔を撮像する撮像手段によって撮像された前記顔を表す顔画像から、鼻の特徴を表わす位置及び眉間の特徴を表わす位置の何れか一方の位置を検出する位置検出手段、前記位置検出手段によって過去に検出された位置を基準とした前記顔の目の過去の相対位置を算出する算出手段、及び前記算出手段によって算出された前記過去の相対位置と、前記位置検出手段によって検出された現在の位置とに基づいて、前記顔画像の下まぶたと眼球との境界の上下方向の位置及び上まぶたと眼球との境界の左右方向の位置で表した前記目の位置を検出する部位位置検出手段として機能させるためのプログラムである。

本発明によれば、撮像手段によって、被観察者の顔を撮像し、位置検出手段によって、撮像手段によって撮像された顔を表す顔画像から、鼻の特徴を表わす位置及び眉間の特徴を表わす位置の何れか一方の位置を検出する。また、算出手段によって、位置検出手段によって過去に検出された位置を基準とした顔の目の過去の相対位置を算出する。

そして、部位位置検出手段によって、算出手段によって算出された過去の相対位置と、位置検出手段によって検出された現在の位置とに基づいて、顔画像の下まぶたと眼球との境界の上下方向の位置及び上まぶたと眼球との境界の左右方向の位置で表した目の位置を検出する。

このように、鼻の特徴を表わす位置及び眉間の特徴を表わす位置の何れか一方の位置を基準として、過去の相対位置を用いて、顔の目の位置を検出することにより、簡易に検出できる鼻の特徴を表わす位置又は眉間の特徴を表わす位置を用いて、顔の目の位置を検出するため、顔が動いても、簡易な計算処理で、顔の目の位置を検出することができる。

また、本発明の顔部位検出装置は、顔画像の下まぶたと眼球との境界の上下方向の位置を検出すると共に、上まぶたと眼球との境界の左右方向の位置を検出し、検出された下まぶたと眼球との境界の上下方向の位置及び検出された上まぶたと眼球との境界の左右方向の位置で表した目の位置の候補を複数検出する候補検出手段を更に含み、部位位置検出手段は、位置検出手段によって検出された現在の位置を基準とした複数の候補の各々の現在の相対位置と、算出手段によって算出された過去の相対位置との比較により、目の位置を検出することができる。これにより、現在の相対位置の候補と過去の相対位置とを比較して、簡易な計算処理で、現在の目の位置を検出することができる。

また、本発明に係る部位位置検出手段は、位置検出手段によって検出された現在の位置を基準とした算出手段によって算出された過去の相対位置に基づいて、顔画像の下まぶたと眼球との境界の上下方向の位置を検出すると共に、上まぶたと眼球との境界の左右方向の位置を検出し、検出された下まぶたと眼球との境界の上下方向の位置及び検出された上まぶたと眼球との境界の左右方向の位置で表した目の位置を検出することができる。これにより、簡易な計算処理で、現在の目の位置を検出することができる。

上記の鼻の特徴を表わす位置を、顔画像における左右各々の鼻孔の領域の重心の中点の位置とすることができる。これにより、簡易に検出することができる左右各々の鼻孔の領域を用いて、簡易な計算処理で、現在の目の位置を検出することができる。

上記の顔の目の位置を、顔画像における下まぶたと眼球との境界の上下方向の位置及び上まぶたと眼球との境界の左右方向の位置で表わす。これにより、顔の目の位置を高精度に表わすことができる。
また、上まぶたと眼球との境界の左右方向の位置は、上まぶたと眼球との境界を示す曲線の変曲点の左右位置である。

以上説明したように、本発明の顔部位検出装置及びプログラムによれば、鼻の特徴を表わす位置及び眉間の特徴を表わす位置の何れか一方の位置を基準として、過去の相対位置を用いて、顔の目の位置を検出することにより、簡易に検出できる鼻の特徴を表わす位置又は眉間の特徴を表わす位置を用いて、顔の目の位置を検出するため、顔が動いても、簡易な計算処理で、顔の目の位置を検出することができる、という効果が得られる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、連続的に撮像された顔画像から、目の位置を検出して追跡する目位置検出装置に本発明を適用した場合を例に説明する。

図１に示すように、第１の実施の形態に係る目位置検出装置１０は、対象とする被験者の顔を含む画像を撮像するＣＣＤカメラ等からなる画像撮像部１２と、画像撮像部１２のシャッターの作動に同期して撮影対象を照明するための、赤外ストロボや赤外ＬＥＤ等からなる照明部１４と、画像処理を行うコンピュータ１６と、ＣＲＴ等で構成された表示装置１８とを備えている。

コンピュータ１６は、ＣＰＵ、後述する画像処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、コンピュータ１６は、画像撮像部１２から出力される濃淡画像である顔画像を入力する画像入力部２０と、画像入力部２０の出力である顔画像から鼻の位置を検出する鼻位置検出部２２と、鼻位置に基づいて目探索領域を設定する目探索領域設定部２４と、目探索領域の画像から下まぶたの位置の候補を複数検出するまぶた候補検出部２６と、鼻の位置に対する下まぶたの位置の候補の各々の相対位置を各々算出する相対位置算出部２７と、下まぶたの位置の候補の各々の相対位置に基づいて、目位置として下まぶたの位置を検出するまぶた位置検出部２８と、前回の鼻の位置に対するまぶたの位置の相対位置を記憶する前回相対位置記憶部３０とを備えている。

画像入力部２０は、例えば、Ａ／Ｄコンバータや１画面の画像データを記憶する画像メモリ等で構成される。

また、鼻位置検出部２２は、以下に説明するように、顔画像から鼻の特徴としての左右の鼻孔の位置（画像座標で表される位置）を検出し、左右の鼻孔の位置の中点の画像座標を鼻位置として検出する。

まず、図２に示すように、顔画像から顔領域Ｆを抽出する。顔領域Ｆの抽出は、顔輪郭のエッジを算出し、あるいは、顔輪郭のパターンマッチングによって顔輪郭を抽出し、顔輪郭の範囲で、顔領域Ｆを抽出する。そして、顔領域Ｆの下から口下のエッジを検出して、口下位置Ｍを検出し、口下位置Ｍに基づいて、鼻孔を探索する鼻孔探索領域を設定する。このとき、口下の位置と統計的データとに基づいた比率で、顔領域Ｆの中に鼻孔探索領域Ｎを設定する。特に、顔の中央部に鼻孔探索領域を設定するように、検出された口下位置Ｍから所定の距離だけ上方向に離れた位置に、鼻孔探索領域Ｎを設定する。

例えば、鼻孔探索領域Ｎとして、顔領域Ｆの縦をＨ、幅をＷとして、縦が９／１６・Ｈ、幅が６／１６・Ｗである長方形の領域を、口下位置Ｍから上方向に２／１６・Ｈだけ離れた位置であって、かつ、横方向に顔領域Ｆの中央となる位置に設定する。

そして、鼻孔探索領域Ｎの範囲で、２つの隣り合ったほぼ丸い形の暗所を探索して、鼻孔を検出する。例えば、鼻孔探索領域Ｎの範囲で、水平方向エッジ及び垂直方向エッジを検出する。ここで、左から右に向かって明から暗に変化する点を縦プラスエッジ、左から右に向かって暗から明に変化する点を縦マイナスエッジとする。また、上から下に向かって明から暗に変化する点を横プラスエッジ、上から下に向かって暗から明に変化する点を横マイナスエッジとする。鼻孔の１つは、顔画像に向かって、縦プラスエッジが左に、縦マイナスエッジが右に、横プラスエッジが上に、横マイナスエッジが下に現れる。

それら４種類のエッジが上述した位置関係で得られた位置を、鼻孔の１つの候補とする。そして、このようなエッジの集合が横にならんで２つ隣り合って検出された場合に、それらを鼻孔候補とする。また、鼻孔探索領域Ｎに鼻孔候補が２つ以上検出された場合には、そのうち口下位置Ｍに最も近い鼻孔候補を鼻孔と判定する。

そして、上記のように得られた隣り合った２つの鼻孔に基づいて、図３に示すように、顔画像における左右各々の鼻孔の領域の重心の中点の位置（画像座標で表される位置）を、鼻位置として検出する。

また、目探索領域設定部２４は、検出された鼻位置を用いて、以下に説明するように、目探索領域として設定する。図４に示すように、検出された鼻位置に基づいて顔領域Ｆの中に右目探索領域Ｅ及び左目探索領域Ｅを設定する。ここで、顔領域Ｆにおいて目が必ず検出できる最小の範囲を統計的に調査して、目探索領域とする。例えば、辺の長さを顔領域Ｆの縦又は横の長さに所定の比率を乗じた長さとした長方形を、鼻孔の上に所定の間隔をあけて設置して、目探索領域とする。

例えば、顔領域Ｆの幅をＷとして、右目探索領域Ｅ及び左目探索領域Ｅを、縦０．３５Ｗ、横０．２６Ｗの長方形とする。そして、鼻孔の重心Ｃｎの上０．０８Ｗから上に、また、左右は鼻孔の重心Ｃｎを中心に間を０．１３Ｗだけ離して２つの長方形を右目探索領域Ｅ及び左目探索領域Ｅとして設定する。

まぶた候補検出部２６は、右目探索領域の右目画像及び左目探索領域の左目画像の各々に対して、エッジ処理を行って、左右の目の各々のエッジ画像から、下まぶたと眼球との境界（下まぶたの上縁）に相当するエッジのエッジ特徴点を抽出し、抽出されたエッジ特徴点に基づいて、下まぶたの位置の候補（画像座標で表される位置の候補）を左右の目の各々について検出する。なお、エッジ特徴点の抽出は、以下のように行われる。まず、図５（Ａ）に示すような右目探索領域の右目画像及び左目探索領域の左目画像の各々から、例えばＳｏｂｅｌオペレータを用いて、図５（Ｂ）に示すようなまばたき方向を上から下へ向かう方向の画素毎の濃淡変化の大きさを表すＳｏｂｅｌエッジ画像を生成する。

生成されたＳｏｂｅｌエッジ画像から、まばたき方向であって、上から下へ向かう方向における原画像の画素値変化の大きさの変化が得られる。一般に、眼球部分は皮膚部分であるまぶたに比べて、反射率が小さいため、暗く撮影されるので、上まぶたと眼球との境界付近では、上から下に向かって、明から暗へ、そして、下まぶたと眼球との境界付近では、上から下に向かって逆に暗から明に画素値が変化する。従って、得られる画素値変化を示すエッジ値は、眼球と上まぶたとの境界部分では、エッジ値が正の所定値以上となり、境界部分の中心のエッジ値が極大値となる。また、眼球と下まぶたとの境界部分では、エッジ値が負の所定値以下となり、境界部分の中心のエッジ値が極小値となる。

従って、Ｓｏｂｅｌエッジ画像の検出対象の画素列の各画素を、上から下へ走査し、注目画素のエッジ値が負のしきい値より小さい場合には、注目画素のエッジ値が、まばたき方向に極小値となるか否かを判定し、一つ上の画素、注目画素、及び一つ下の画素のエッジ値に基づいて、注目画素のエッジ値が極小値であると判定されると、この注目画素の位置をエッジ特徴点として検出する。これにより、下まぶたと眼球との境界のエッジを示すエッジ特徴点が検出される。なお、下まぶたと眼球との境界のエッジを示すエッジ特徴点が複数検出された場合には、鼻孔の位置との相対位置に基づいて、下まぶたと眼球との境界のエッジを示すエッジ特徴点を選択すればよい。

相対位置算出部２７は、検出された鼻位置の画像座標を基準とした下まぶたの位置の候補の画像座標の各々の相対位置（画像座標で表される相対位置）を左右の目の各々について算出する。

また、まぶた位置検出部２８は、左右の目の各々について、検出された下まぶたの位置の複数の候補の各々の相対位置と、前回の鼻位置を基準とした下まぶたの位置の相対位置とを比較し、現在のまぶたの位置の画像座標を目位置として検出して、目位置の時系列対応を左右の目の各々について計算する。

次に、目位置検出装置１０の動作について説明する。まず、画像撮像部１２で被験者の顔画像を連続的に撮像する。この際に、周囲の外乱光の影響を低減させるために、例えば、赤外ストロボからなる照明部１４を、画像撮像部１２の撮影と同期して発光させることにより、被験者の顔部を照明する。なお、照明部１４から連続光を発光させれば、画像撮像部１２との同期は不要となり、構成が簡単になる。

そして、コンピュータ１６において、図６に示す画像処理ルーチンを実行する。まず、ステップ１００において、画像撮像部１２で撮像された顔画像を、ビデオ信号として取り込み、ステップ１０２で、ビデオ信号をＡ／Ｄ変換して、２次元ディジタル画像を生成する。本実施例においては、以降の処理は、このディジタル画像に基づいて、ディジタル処理により行われるので、以後、単に画像という場合にはディジタル画像を意味することとする。

そして、ステップ１０４において、顔画像から左右の鼻孔を検出して、左右の鼻孔を表わす領域の重心の中点の位置を鼻位置として検出し、次のステップ１０６では、上記ステップ１０４で検出された鼻位置を基準位置として、予め定められた所定位置に存在する領域を右目探索領域及び左目探索領域として設定する。

そして、ステップ１０８では、図７に示すように、右目探索領域の画像及び左目探索領域の画像の各々に対して、エッジ処理を行い、左右の目の各々のエッジ画像に基づいて、下まぶたの位置の候補の画像座標（候補ｘ、候補ｙ）を複数検出する。次のステップ１１０で、左右の目の各々について、以下の式に基づいて、鼻位置（鼻ｘ、鼻ｙ）を基準とした下まぶたの位置の複数候補の各々の相対位置（相対ｘ、相対ｙ）を各々算出する。
（相対ｘ、相対ｙ）＝（候補ｘ−鼻ｘ、候補ｙ−鼻ｙ）

そして、ステップ１１２で、左右の目の各々について、前回相対位置記憶部３０に記憶された前回の相対位置と、上記ステップ１１０で算出された相対位置の各々とを比較し、前回の相対位置に最も近い相対位置を選択し、鼻位置を基準位置として、選択された相対位置となる位置を、下まぶたの位置として検出する。

そして、ステップ１１４で、左右の目の各々について、上記ステップ１１２で選択された相対位置、すなわち、上記ステップ１０４で検出された鼻位置を基準とした、上記ステップ１１２で検出されたまぶた位置の相対位置を、前回相対位置記憶部３０に記憶し、前回の相対位置を更新する。そして、ステップ１１６において、上記ステップ１１２で検出された下まぶたの位置を用いて、左右の目の各々について、目位置の時間的対応を表示装置１８に表示する。

そして、ステップ１１８で、追跡処理を終了するか否かを判定し、終了しない場合には、上記ステップ１００へ戻り、新たに撮像された顔画像に基づいて、上記ステップ１００〜１１６の処理を実行するが、追跡処理を終了すると判断すると、画像処理ルーチンを終了する。

以上説明したように、第１の実施の形態に係る目位置検出装置によれば、鼻の特徴を表わす位置を基準として、現在の相対位置の候補と前回の相対位置とを比較して、目位置を検出することにより、目位置より簡易に検出でき、かつ、検出率が高い鼻の特徴を表わす位置を用いて、目位置を検出するため、顔が動いても、簡易な計算処理で、目位置を検出して追跡することができる。

また、顔が上下左右に移動しても保存される鼻と目との相対位置を用いることにより、計算コストの高いまぶたパターンの相関演算方式を用いずに目位置の時間的な対応をとることができ、また、顔が動いた場合でも正しく時間的な対応を取ることができる。

瞬き時にも上下位置があまり動かない下まぶたの境界の位置を目位置として検出することにより、正しく目位置を検出することができる。

なお、上記の実施の形態では、下まぶたの境界の位置を目位置として検出する場合を例に説明したが、これに限定されるものではなく、例えば、顔画像における上まぶたと眼球との境界（上まぶたの下縁）の位置、顔画像における瞳の重心、又は上まぶたと眼球との境界と前記下まぶたと眼球との境界との中点を目位置として検出するようにしてもよい。

また、顔画像に向かって、縦プラスエッジが左に、縦マイナスエッジが右に、横プラスエッジが上に、横マイナスエッジが下に現れる領域を、鼻孔を表わす領域として検出する場合を例に説明したが、これに限定されるものではなく、例えば、顔画像から抽出される顔領域における平均濃度値、すなわち輝度の平均値を計算し、計算された平均濃度値に応じた黒画素判定閾値ｔｈを用いて鼻孔探索開始点を検出して、鼻孔探索開始点を中心とした鼻孔の候補となる複数の探索円を検出し、１組の鼻孔に対応する円形ペアを鼻孔を表わす領域として検出するようにしてもよい。

また、鼻孔領域の画像について、白から黒へ、更に白へと変化する横方向にのびたエッジである白黒白横エッジを検出して、鼻孔領域の画像中で縦方向に２〜３画素の幅の黒い画素列を検出すると共に、白から黒へ、更に白へと変化する縦方向にのびたエッジである白黒白横エッジを検出して、鼻孔領域の画像中で横方向に２〜３画素の幅の黒い画素列を検出することにより、鼻孔の位置を検出するようにしてもよい。

次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。

第２の実施の形態では、相対位置の基準位置として、眉間の位置を検出している点が第１の実施の形態と異なっている。

図８に示すように、第２の実施の形態に係る目位置検出装置２１０のコンピュータ２１６は、画像入力部２０と、画像入力部２０の出力である顔画像から眉間位置を検出する眉間位置検出部２２２と、検出された眉間位置に基づいて目探索領域を設定する目探索領域設定部２２４と、まぶた候補検出部２６と、眉間位置に対する下まぶたの位置の候補の各々の相対位置を各々算出する相対位置算出部２２７と、まぶた位置検出部２８と、前回の眉間位置を基準とした下まぶたの位置の相対位置を記憶する前回相対位置記憶部２３０とを備えている。

また、眉間位置検出部２２２は、以下に説明するように、顔画像から眉間の特徴を表わす眉間位置を検出する。例えば、図９に示すような、６つの矩形形状の結合した眉間検出フィルタを用意する。この６分割矩形フィルタである眉間検出フィルタは、鼻筋は両目領域よりも明るい、目領域は頬部よりも暗い、という顔の特徴を抽出し、顔の眉間の特徴を表わす位置を求めるフィルタである。点（ｘ、ｙ）を中心として、横ｉ画素、縦ｊ画素（ｉ，ｊ：自然数）の矩形の枠を設けている。そして、図１０に示すように、顔画像に眉間検出フィルタを当てはめて、フィルタリング処理によって眉間候補点の位置を抽出する。そして、その抽出された眉間候補点の位置を中心として、所定の大きさで対象画像を切り出すと共に、パターン判別処理に応じて眉間候補点のうちから真の候補点を選択して、眉間位置を検出する。

目探索領域設定部２２４は、顔画像において顔領域を設定し、検出された眉間位置に基づいて顔領域の中に右目探索領域及び左目探索領域を設定する。例えば、辺の長さを顔領域の縦又は横の長さに所定の比率を乗じた長さとした長方形を、検出された眉間位置の左右に、所定の間隔をあけて設置して、右目探索領域及び左目探索領域とする。

相対位置算出部２７は、検出された眉間位置を基準とした下まぶたの位置の候補の各々の相対位置を左右の目の各々について算出する。

また、前回相対位置記憶部２３０には、左右の目の各々について、前回検出された眉間位置を基準とした前回の下まぶたの位置の相対位置が記憶されている。

第２の実施の形態では、エッジ画像処理ルーチンにおいて、顔画像から眉間位置を検出し、検出された眉間位置を基準位置として、予め定められた所定位置に存在する領域を右目探索領域及び左目探索領域として設定する。そして、右目探索領域の画像及び左目探索領域の画像の各々から、下まぶたの位置の候補を複数検出し、左右の目の各々について、眉間位置と下まぶたの位置の候補の各々との相対位置を各々算出し、左右の目の各々について、前回相対位置記憶部２３０に記憶された前回の相対位置と、算出された相対位置の各々とを比較し、前回の相対位置に最も近い相対位置を選択し、検出された現在の眉間位置を基準として、選択された相対位置となる位置を、下まぶたの位置として検出する。

また、左右の目の各々について、検出された眉間位置を基準とした検出された下まぶたの位置の相対位置を、前回相対位置記憶部２３０に記憶し、前回の相対位置を更新する。

このように、眉間の特徴を表わす位置を基準として、現在の相対位置の候補と前回の相対位置とを比較して、目位置を検出することにより、目位置より簡易に検出でき、かつ、検出率が高い眉間の特徴を表わす位置を用いて、目位置を検出するため、顔が動いても、簡易な計算処理で、目位置を検出して追跡することができる。

次に、第３の実施の形態について説明する。なお、第１の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。

第３の実施の形態では、鼻位置と前回の下まぶたの相対位置とに基づいて目探索領域を設定している点が第１の実施の形態と異なっている。

図１１に示すように、第３の実施の形態に係る目位置検出装置３１０のコンピュータ３１６は、画像入力部２０と、鼻位置検出部２２と、鼻位置と前回の下まぶたの相対位置とに基づいて、目探索領域を設定する目探索領域設定部３２４と、目探索領域から下まぶたの位置を検出するまぶた位置検出部３２６と、鼻位置を基準とした検出された下まぶたの位置の相対位置を算出する相対位置算出部３２８と、前回相対位置記憶部３０とを備えている。

次に、第３の実施の形態に係る画像処理ルーチンについて図１２を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して詳細な説明を省略する。

まず、ステップ１００において、画像撮像部１２で撮像された顔画像を、ビデオ信号として取り込み、ステップ１０２で、ビデオ信号をＡ／Ｄ変換して、２次元ディジタル画像を生成する。そして、ステップ１０４において、顔画像から左右の鼻孔を検出し、左右の鼻孔を表わす領域の重心の中点の位置を鼻位置として検出する。

そして、次のステップ３５０では、上記ステップ１０４で検出された鼻位置を基準として、前回相対位置記憶部３０に記憶された前回の相対位置となる位置を中心とする小領域を、右目探索領域及び左目探索領域として設定する。

そして、ステップ３５２では、右目探索領域の画像及び左目探索領域の画像の各々に対して、エッジ処理を行い、得られた左右の目の各々のエッジ画像に基づいて、エッジ特徴点を検出し、検出されたエッジ特徴点に基づいて、左右の目の各々について、下まぶたの位置を目位置として検出する。次のステップ３５４では、左右の目の各々について、上記ステップ１０４で検出された鼻位置を基準とした上記ステップ３５２で検出された下まぶたの位置の相対位置を算出し、ステップ１１４で、上記ステップ３５４で算出された相対位置を、前回相対位置記憶部３０に記憶し、左右の目の各々について、前回の相対位置を更新する。そして、ステップ１１６で、上記ステップ３５２で検出された下まぶたの位置を用いて、左右の目の各々について、目位置の時間的対応を表示装置１８に表示する。

そして、ステップ１１８で、追跡処理を終了するか否かを判定し、終了しない場合には、上記ステップ１００へ戻り、新たに撮像された顔画像に基づいて、上述した処理を実行するが、追跡処理を終了すると判断されると、画像処理ルーチンを終了する。

このように、鼻の特徴を表わす位置を基準として、前回の相対位置を用いて、目位置を検出することにより、目位置より簡易に検出でき、かつ、検出率が高い鼻の特徴を表わす位置を用いて、目位置を検出するため、顔が動いても、簡易な計算処理で、目位置を検出して追跡することができる。

また、鼻位置を基準とした前回の相対位置となる位置に、目探索領域を設定することにより、目探索領域を特定することができるため、簡易な計算処理で、目位置を検出することができる。

次に、第４の実施の形態について説明する。なお、第４の実施の形態に係る目位置検出装置の構成は、第１の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。

第４の実施の形態では、下まぶたの境界の上下方向の位置と上まぶたの境界の左右方向の位置とで表される目位置を検出している点が第１の実施の形態と異なっている。

第４の実施の形態に係る目位置検出装置では、目探索領域のエッジ画像から、図１３に示すように、上まぶたと眼球との境界を示すエッジ特徴点を検出し、検出されたエッジ特徴点から、開眼時の上まぶたの境界を示す曲線の変曲点に相当するエッジ特徴点を抽出し、抽出されたエッジ特徴点の左右方向の位置を検出する。また、目探索領域のエッジ画像から、下まぶたと眼球との境界を示すエッジ特徴点を検出し、検出されたエッジ特徴点から、下まぶたと眼球との境界の上下方向の位置を検出する。そして、上記のように検出された上まぶたの境界の変曲点の左右方向の位置を、目位置の左右方向の位置とし、また、下まぶたと眼球との境界の上下方向の位置を、目位置の上下方向の位置として、目位置として検出する。

なお、上まぶたの位置については、エッジ画像に基づいて、エッジ値が正の所定値以上であって、エッジ値が極大値となるエッジ極大点を検索し、下まぶたの位置より上において検索されたエッジ極大点を、上まぶたと眼球との境界を示すエッジ特徴点として検出すればよい。また、下まぶたの位置より上において、虹彩を示すエッジ極大点が検出される可能性があるが、検出されるエッジ特徴点のエッジ値について、正のしきい値を設けて、虹彩を示すエッジ極大点を除外すればよい。

このように、開眼時の上まぶたは丸く湾曲しており、左右方向の代表位置を決めるのは下まぶたよりも上まぶたの方が容易であるため、上まぶたの境界の変曲点の左右方向の位置を検出することにより、目位置の左右方向の位置を容易に検出することができる。また、下まぶたは直線に近いため、下まぶたの境界の上下方向の位置を検出することにより、目位置の上下方向の位置を容易に検出することができる。

なお、上記の実施の形態では、目位置を検出する場合を例に説明したが、これに限定されるものではなく、例えば、眼鏡の位置や、口の位置、眉毛の位置、顎の位置、耳の位置などの顔の所定部位の位置を検出するようにしてもよい。

また、画像入力部で入力した濃淡画像から濃淡変化の大きさを表すエッジ画像を生成する場合を例に説明したが、画像入力部で入力した画像がカラー画像であってもよい。この場合には、カラー画像の濃度値の変化の大きさを表すエッジ画像を生成すればよい。

また、エッジ画像のエッジ値が極小値となる点を下まぶたのエッジに相当するエッジ特徴点として検出し、エッジ値が極大値となる点を上まぶたのエッジに相当するエッジ特徴点として検出する場合を例に説明したが、これに限定されるものではなく、例えば、目画像において、眼球部分が明るく、肌部分が暗くなっている場合には、エッジ画像のエッジ値が極大値となる点を下まぶたのエッジ上のエッジ特徴点として検出し、エッジ値が極小値となる点を上まぶたのエッジ上のエッジ特徴点として検出するようにすればよい。

本発明の第１の実施の形態に係る目位置検出装置の構成を示すブロック図である。 顔画像に設定される顔領域及び鼻孔探索領域を示すイメージ図である。 顔画像における鼻孔を表わす領域の重心の中点を示すイメージ図である。 顔画像に設定される右目探索領域及び左目探索領域を示すイメージ図である。 （Ａ）右目画像及び左目画像を示すイメージ図、及び（Ｂ）右目画像及び左目画像のＳｏｂｅｌエッジ画像を示すイメージ図である。 本発明の第１の実施の形態に係る目位置検出装置における画像処理ルーチンの内容を示すフローチャートである。 下まぶたの位置の複数の候補及び鼻位置を示すイメージ図である。 本発明の第２の実施の形態に係る目位置検出装置の構成を示すブロック図である。 眉間位置を検出するための６分割矩形フィルタを示すイメージ図である。 顔画像に６分割矩形フィルタをあてた様子を示すイメージ図である。 本発明の第３の実施の形態に係る目位置検出装置の構成を示すブロック図である。 本発明の第３の実施の形態に係る目位置検出装置における画像処理ルーチンの内容を示すフローチャートである。 目位置を表わすための上まぶたの境界の変曲点と下まぶたの境界の点とを示すイメージ図である。

符号の説明

１０、２１０、３１０ 目位置検出装置
１２ 画像撮像部
１６、２１６、３１６ コンピュータ
１８ 表示装置
２２ 鼻位置検出部
２４、２２４、３２４ 目探索領域設定部
２６ まぶた候補検出部
２７、２２７、３２８ 相対位置算出部
２８、３２６ まぶた位置検出部
３０、２３０ 前回相対位置記憶部
２２２ 眉間位置検出部

Claims (6)

1. 被観察者の顔を撮像する撮像手段と、
   前記撮像手段によって撮像された前記顔を表す顔画像から、鼻の特徴を表わす位置及び眉間の特徴を表わす位置の何れか一方の位置を検出する位置検出手段と、
   前記位置検出手段によって過去に検出された位置を基準とした前記顔の目の過去の相対位置を算出する算出手段と、
   前記算出手段によって算出された前記過去の相対位置と、前記位置検出手段によって検出された現在の位置とに基づいて、前記顔画像の下まぶたと眼球との境界の上下方向の位置及び上まぶたと眼球との境界の左右方向の位置で表した前記目の位置を検出する部位位置検出手段と、
   を含む顔部位検出装置。
2. 前記顔画像の下まぶたと眼球との境界の上下方向の位置を検出すると共に、上まぶたと眼球との境界の左右方向の位置を検出し、検出された下まぶたと眼球との境界の上下方向の位置及び検出された上まぶたと眼球との境界の左右方向の位置で表した前記目の位置の候補を複数検出する候補検出手段を更に含み、
   前記部位位置検出手段は、前記位置検出手段によって検出された現在の位置を基準とした前記複数の候補の各々の現在の相対位置と、前記算出手段によって算出された前記過去の相対位置との比較により、前記目の位置を検出する請求項１記載の顔部位検出装置。
3. 前記部位位置検出手段は、前記位置検出手段によって検出された現在の位置を基準とした前記算出手段によって算出された前記過去の相対位置に基づいて、前記顔画像の下まぶたと眼球との境界の上下方向の位置を検出すると共に、上まぶたと眼球との境界の左右方向の位置を検出し、検出された下まぶたと眼球との境界の上下方向の位置及び検出された上まぶたと眼球との境界の左右方向の位置で表した前記目の位置を検出する請求項１記載の顔部位検出装置。
4. 前記鼻の特徴を表わす位置を、前記顔画像における左右各々の鼻孔の領域の重心の中点の位置とした請求項１〜請求項３の何れか１項記載の顔部位検出装置。
5. 前記上まぶたと眼球との境界の左右方向の位置は、上まぶたと眼球との境界を示す曲線の変曲点の左右位置である請求項１〜請求項４の何れか１項記載の顔部位検出装置。
6. コンピュータを、
   被観察者の顔を撮像する撮像手段によって撮像された前記顔を表す顔画像から、鼻の特徴を表わす位置及び眉間の特徴を表わす位置の何れか一方の位置を検出する位置検出手段、
   前記位置検出手段によって過去に検出された位置を基準とした前記顔の目の過去の相対位置を算出する算出手段、及び
   前記算出手段によって算出された前記過去の相対位置と、前記位置検出手段によって検出された現在の位置とに基づいて、前記顔画像の下まぶたと眼球との境界の上下方向の位置及び上まぶたと眼球との境界の左右方向の位置で表した前記目の位置を検出する部位位置検出手段
   として機能させるためのプログラム。