JP4852454B2 - 目傾き検出装置及びプログラム - Google Patents

Description

本発明は、目傾き検出装置及びプログラムに係り、特に、目を含む領域の画像から、目の傾きを検出する目傾き検出装置及びプログラムに関する。

従来より、顔部品の左右の候補対の傾きから、顔の傾きを計算する顔部品抽出装置が知られている（特許文献１）。この顔部品抽出装置では、左右の特徴点のペアを検出し、特徴点のペアを用いて、顔の傾きを計算している。

また、目を表す画像を回転させた複数のパターンの各々について相関演算を行い、最も相関値の高い角度を顔の傾き角とする顔画像処理装置が知られている（特許文献２）。この顔画像処理装置では、左右の鼻孔の傾きに基づいて、顔の傾きを補正している。
特開平１０−３０７９２３号 特開２０００−３２２５６１号

しかしながら、上記特許文献１に記載の技術では、左右の特徴点のペアを用いているため、両目の傾きを別々に求めることはできない、という問題がある。

また、上記特許文献２に記載の技術では、鼻孔の傾きを用いているため、両目の傾きを別々に求めることができない、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、左右別々に目の傾きを検出することができる目傾き検出装置及びプログラムを提供することを目的とする。

上記の目的を達成するために本発明に係る目傾き検出装置は、右目を含む領域の画像及び左目を含む領域の画像に基づいて、まばたき方向に相当する所定方向の画素の画素値変化の大きさを表わすエッジ値を各画素について算出し、前記算出された各画素のエッジ値、及び下まぶたと眼球との境界のエッジ値に基づいて予め設定されたしきい値に基づいて、下まぶたと眼球との境界に対応するエッジに関する情報として、前記所定方向に直交する方向のエッジ上に存在する画素の画像特徴量を各領域について算出する算出手段と、前記算出手段によって算出された各領域の前記エッジに関する情報に基づいて、前記算出手段によって算出された前記画素の画像特徴量の各々を、予め定められた複数の方向の各々に投影して、前記画像特徴量のヒストグラムを各々算出する投影手段を備え、前記投影手段によって算出されたヒストグラムの各々に基づいて、基準方向に対する傾きを左右の目の各々について検出する検出手段とを含んで構成されている。

また、本発明に係るプログラムは、コンピュータを、右目を含む領域の画像及び左目を含む領域の画像に基づいて、まばたき方向に相当する所定方向の画素の画素値変化の大きさを表わすエッジ値を各画素について算出し、前記算出された各画素のエッジ値、及び下まぶたと眼球との境界のエッジ値に基づいて予め設定されたしきい値に基づいて、下まぶたと眼球との境界に対応するエッジに関する情報として、前記所定方向に直交する方向のエッジ上に存在する画素の画像特徴量を各領域について算出する算出手段、及び前記算出手段によって算出された各領域の前記エッジに関する情報に基づいて、前記算出手段によって算出された前記画素の画像特徴量の各々を、予め定められた複数の方向の各々に投影して、前記画像特徴量のヒストグラムを各々算出する投影手段を備え、前記投影手段によって算出されたヒストグラムの各々に基づいて、基準方向に対する傾きを左右の目の各々について検出する検出手段として機能させることを特徴としている。

本発明によれば、算出手段によって、右目を含む領域の画像及び左目を含む領域の画像に基づいて、まばたき方向に相当する所定方向の画素の画素値変化の大きさを表わすエッジ値を各画素について算出し、算出された各画素のエッジ値、及び下まぶたと眼球との境界のエッジ値に基づいて予め設定されたしきい値に基づいて、下まぶたと眼球との境界に対応するエッジに関する情報として、所定方向に直交する方向のエッジ上に存在する画素の画像特徴量を各領域について算出する。そして、検出手段によって、算出手段によって算出された各領域のエッジに関する情報に基づいて、算出手段によって算出された画素の画像特徴量の各々を、予め定められた複数の方向の各々に投影して、画像特徴量のヒストグラムを各々算出する投影手段を備え、投影手段によって算出されたヒストグラムの各々に基づいて、基準方向に対する傾きを左右の目の各々について検出する。

このように、下まぶたと眼球との境界に対応するエッジに関する情報を左右の目の各々について算出することにより、直線に近い下まぶたのエッジに関する情報を得ることができるため、下まぶたの境界に対応するエッジに関する情報に基づいて、左右の目の各々の傾きを検出することできる。複数の方向の各々に投影された下まぶたのエッジに関する画像特徴量のヒストグラムに基づいて、簡易な処理で、左右の目の各々の傾きを検出することできる。

本発明に係る目傾き検出装置は、右目及び左目を含む領域の画像から、右目を含む領域及び左目を含む領域を各々設定する設定手段を更に含み、算出手段は、設定手段によって設定された右目を含む領域の画像及び設定手段によって設定された左目を含む領域の画像に基づいて、エッジに関する情報を各領域について算出することができる。これにより、右目を含む領域の画像及び左目を含む領域の画像の各々から、左右の目の各々の傾きを検出することできる。

上記のエッジに関する情報は、まばたき方向に相当する所定方向に直交する方向のエッジ上に存在する画素の位置情報であって、検出手段は、算出手段によって算出された画素の位置情報の各々に基づいて、該画素を予め定められた複数の方向の各々に投影して、画素のヒストグラムを各々算出する投影手段を備え、投影手段によって算出されたヒストグラムの各々に基づいて、基準方向に対する傾きを左右の目の各々について検出することができる。これにより、複数の方向の各々に投影された下まぶたのエッジ上の画素のヒストグラムに基づいて、簡易な処理で、左右の目の各々の傾きを検出することできる。

上記のエッジに関する情報は、まばたき方向に相当する所定方向に直交する方向のエッジ上に存在する画素の所定方向の画素値変化の大きさを表わすエッジ値であって、検出手段は、算出手段によって算出された画素のエッジ値の各々を、予め定められた複数の方向の各々に投影して、エッジ値のヒストグラムを各々算出する投影手段を備え、投影手段によって算出されたヒストグラムの各々に基づいて、基準方向に対する傾きを左右の目の各々について検出することができる。これにより、複数の方向の各々に投影された下まぶたのエッジ上の画素のエッジ値のヒストグラムに基づいて、簡易な処理で、左右の目の各々の傾きを検出することできる。

上記のエッジに関する情報は、まばたき方向に相当する所定方向の画素の画素値変化の大きさを表すエッジ値が所定方向で極値となる画素の位置情報であって、検出手段は、算出手段によって算出された画素の位置情報の各々に基づいて、該画素を予め定められた複数の方向の各々に投影して、画素のヒストグラムを各々算出する投影手段を備え、投影手段によって算出されたヒストグラムの各々に基づいて、基準方向に対する傾きを左右の目の各々について検出することができる。これにより、複数の方向の各々に投影された下まぶたのエッジ上のエッジ値が極値となる画素のヒストグラムに基づいて、簡易な処理で、左右の目の各々の傾きを検出することできる。

上記のエッジに関する情報は、まばたき方向に相当する所定方向の画素の画素値変化の大きさを表すエッジ値が所定方向で極値となる画素のエッジ値であって、検出手段は、算出手段によって算出された画素のエッジ値の各々を、予め定められた複数の方向の各々に投影して、エッジ値のヒストグラムを各々算出する投影手段を備え、投影手段によって算出されたヒストグラムの各々に基づいて、基準方向に対する傾きを左右の目の各々について検出することができる。これにより、複数の方向の各々に投影された下まぶたのエッジ上のエッジ値が極値となる画素のエッジ値のヒストグラムに基づいて、簡易な処理で、左右の目の各々の傾きを検出することできる。

以上説明したように、本発明の目傾き検出装置及びプログラムによれば、下まぶたと眼球との境界に対応するエッジに関する情報を左右の目の各々について算出することにより、直線に近い下まぶたのエッジに関する情報を得ることができるため、下まぶたの境界に対応するエッジに関する情報に基づいて、左右の目の各々の傾きを検出することできる、という効果が得られる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、目を含む領域の濃淡画像から目の傾きを求めて出力する目傾き検出装置に本発明を適用した場合を例に説明する。

図１に示すように、本実施の形態に係る目傾き検出装置１０は、対象とする被験者の顔を含む画像を撮影するＣＣＤカメラ等からなる画像撮像部１２と、画像撮像部１２のシャッターの作動に同期して撮影対象を照明するための、赤外ストロボや赤外ＬＥＤ等からなる照明部１４と、画像処理を行うコンピュータ１６と、ＣＲＴ等で構成された表示装置１８とを備えている。

コンピュータ１６は、ＣＰＵ、後述する画像処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、コンピュータ１６は、画像撮像部１２から出力される濃淡画像である顔画像を入力する画像入力部２０と、画像入力部２０の出力である顔画像の中から左右の目の各々を含む２つの小領域、すなわち左目探索領域及び右目探索領域を設定する目探索領域設定部２２と、目探索領域設定部２２で設定された左目探索領域の画像及び右目探索領域の画像を処理して、まばたき方向と直交する方向である横方向のエッジに関する画像特徴量としてのエッジ特徴点を検出する画像特徴量検出部２４と、左右の目の各々について、画像特徴量検出部２４で算出されたエッジ特徴点を、予め定められた複数の投影方向の各々に投影して、エッジ特徴点に相当する画素の累積分布を表わすヒストグラムを複数の投影方向の各々について算出する投影ヒストグラム算出部２６と、投影ヒストグラム算出部２６によって算出されたエッジ特徴点のヒストグラムの各々に基づいて、基準方向に対する目の傾きを左右の目の各々について検出する傾き検出部２８とを備えている。

画像入力部２０は、例えば、Ａ／Ｄコンバータや１画面の画像データを記憶する画像メモリ等で構成される。

また、目探索領域設定部２２は、顔画像から鼻孔の位置を検出し、鼻孔の位置に基づいて目探索領域を設定する。鼻孔の位置の検出は、以下のように行われる。

まず、図２に示すように、顔画像から顔領域Ｆを抽出する。顔領域Ｆの抽出は、顔輪郭のエッジを算出し、あるいは、顔輪郭のパターンマッチングによって顔輪郭を抽出し、顔輪郭の範囲で、顔領域Ｆを抽出する。そして、顔領域Ｆの下から口下のエッジを検出して、口下位置Ｍを検出し、口下位置Ｍに基づいて、鼻孔を探索する鼻孔探索領域を設定する。このとき、口下の位置と統計的データとに基づいた比率で、顔領域Ｆの中に鼻孔探索領域Ｎを設定する。特に、顔の中央部に鼻孔探索領域を設定するように、検出された口下位置Ｍから所定の距離だけ上方向に離れた位置に、鼻孔探索領域Ｎを設定する。

例えば、鼻孔探索領域Ｎとして、顔領域Ｆの縦をＨ、幅をＷとして、縦が９／１６・Ｈ、幅が６／１６・Ｗである長方形の領域を、口下位置Ｍから上方向に２／１６・Ｈだけ離れた位置であって、かつ、横方向に顔領域Ｆの中央となる位置に設定する。

そして、鼻孔探索領域Ｎの範囲で、２つの隣り合ったほぼ丸い形の暗所を探索して、鼻孔を検出する。例えば、鼻孔探索領域Ｎの範囲で、水平方向エッジ及び垂直方向エッジを検出する。ここで、左から右に向かって明から暗に変化する点を縦プラスエッジ、左から右に向かって暗から明に変化する点を縦マイナスエッジとする。また、上から下に向かって明から暗に変化する点を横プラスエッジ、上から下に向かって暗から明に変化する点を横マイナスエッジとする。鼻孔の１つは、顔画像に向かって、縦プラスエッジが左に、縦マイナスエッジが右に、横プラスエッジが上に、横マイナスエッジが下に現れる。

それら４種類のエッジが上述した位置関係で得られた位置を、鼻孔の１つの候補とする。そして、このようなエッジの集合が横にならんで２つ隣り合って検出された場合に、それらを鼻孔候補とする。また、鼻孔探索領域Ｎに鼻孔候補が２つ以上検出された場合には、そのうち口下位置Ｍに最も近い鼻孔候補を鼻孔と判定する。このようにして得られた鼻孔に基づいて、鼻孔位置を検出する。

そして、目探索領域が以下のように設定される。図３に示すように、検出された鼻孔位置に基づいて顔領域Ｆの中に右目探索領域Ｅｒ及び左目探索領域Ｅｌを設定する。ここで、顔領域Ｆにおいて目が必ず検出できる最小の範囲を統計的に調査して、目探索領域とする。例えば、辺の長さを顔領域Ｆの縦又は横の長さに所定の比率を乗じた長さとした長方形を、鼻孔の上に所定の間隔をあけて設置して、目探索領域とする。

例えば、顔領域Ｆの幅をＷとして右目探索領域Ｅｒ及び左目探索領域Ｅｌを、縦０．３５Ｗ、横０．２６Ｗの長方形とする。そして、鼻孔の重心Ｃｎの上０．０８Ｗから上に、また、左右は鼻孔の重心Ｃｎを中心に間を０．１３Ｗだけ離して２つの長方形を右目探索領域Ｅｒ及び左目探索領域Ｅｌとして設定する。

また、画像特徴量検出部２４は、図４（Ａ）に示すような右目探索領域の右目画像及び左目探索領域の左目画像の各々から、Ｓｏｂｅｌオペレータを用いて、図４（Ｂ）に示すようなまばたき方向を上から下へ向かう方向の画素毎の濃淡変化の大きさを表すＳｏｂｅｌエッジ画像を生成し、生成されたＳｏｂｅｌエッジ画像中から、下まぶたと眼球との境界のエッジに相当するエッジ値となる点を検索し、検索された点を、下まぶたと眼球との境界のエッジを示すエッジ特徴点を検出する。

投影ヒストグラム算出部２６は、検出されたエッジ特徴点の画素を、予め定められた複数の投影方向の各々に投影して、エッジ特徴点のヒストグラムを各々算出する。例えば、図５に示すような複数のエッジ特徴点に相当する画素を含む画像について、図６（Ａ）〜（Ｅ）に示すように、複数の投影方向の各々に対して、エッジ特徴点の画素を投影して、エッジ特徴点の画素の累積分布を表わすヒストグラムを算出する。

傾き検出部２８は、ヒストグラムの投影方向毎に、ヒストグラムにおいて最大値となる値を調べ、最大値となる値が最も大きいヒストグラムに対する投影方向を検出し、投影方向の角度を、目の傾きとして検出する。例えば、上記図６の例では、図６（Ａ）におけるヒストグラムの最大値となる値が６、図６（Ｂ）におけるヒストグラムの最大値となる値が５、図６（Ｃ）におけるヒストグラムの最大値となる値が４、図６（Ｄ）におけるヒストグラムの最大値となる値が４、図６（Ｅ）におけるヒストグラムの最大値となる値が３となるため、図６（Ａ）のヒストグラムの投影方向の角度が、目の傾きとして検出される。なお、最大値となる値が最も大きいヒストグラムに対する投影方向が２つ検出された場合には、２つの投影方向の角度の平均値を、目の傾きとして検出すればよい。

次に、目傾き検出装置１０の動作について説明する。まず、画像撮像部１２で被験者の顔画像を撮影する。この際に、周囲の外乱光の影響を低減させるために、例えば、赤外ストロボからなる照明部１４を、画像撮像部１２の撮影と同期して発光させることにより、被験者の顔部を照明する。なお、照明部１４から連続光を発光させれば、画像撮像部１２との同期は不要となり、構成が簡単になる。

そして、コンピュータ１６において、図７に示す画像処理ルーチンを実行する。まず、ステップ１００において、画像撮像部１２で撮影された顔画像を、ビデオ信号として取り込み、ステップ１０２で、ビデオ信号をＡ／Ｄ変換して、２次元ディジタル画像を生成する。本実施例においては、以降の処理は、このディジタル画像に基づいて、ディジタル処理により行われるので、以後、単に画像という場合にはディジタル画像を意味することとする。

そして、ステップ１０３において、顔画像から鼻孔位置を検出し、ステップ１０４において、上記ステップ１０３で検出された鼻孔位置に基づいて、顔画像の右目探索領域を設定すると共に、顔画像の左目探索領域を設定する。そして、ステップ１０６で、右目探索領域を右目画像として抽出し、左目探索領域を左目画像として抽出する。

そして、ステップ１０８で、上記ステップ１０６で抽出された右目画像及び左目画像の各々に対して、図８（Ａ）に示すようなＳｏｂｅｌフィルタを用いたエッジ処理を行い、図９（Ａ）に示すような、まばたき方向の上から下へ向かう方向の画素毎の画素値変化としての濃淡変化の大きさを表す１次元エッジ画像であるＳｏｂｅｌエッジ画像を左右の目の各々について生成する。例えば、現在の画像座標を（ｘ、ｙ）とし、（ｘ、ｙ）での画素値をＡ（ｘ、ｙ）とすると、Ｓｏｂｅｌエッジ画像における（ｘ、ｙ）のエッジ値Ｅ（ｘ、ｙ）は、以下の式で求められる。
Ｅ（ｘ、ｙ）＝Ａ（ｘ−１、ｙ−１）＋２Ａ（ｘ、ｙ−１）＋Ａ（ｘ＋１、ｙ−１）
−Ａ（ｘ−１、ｙ＋１）−２Ａ（ｘ、ｙ＋１）−Ａ（ｘ＋１、ｙ＋１）

なお、エッジ処理を行うフィルタとして、図８（Ｂ）に示すＰｒｅｗｉｔｔ（ペレウィット）フィルタや、図８（Ｃ）に示す単純差分フィルタ、図８（Ｄ）に示す平滑化の機能を持った単純差分フィルタを用いてもよい。

上記ステップ１０８により、図９（Ｂ）に示すような、まばたき方向であって、上から下へ向かう方向における原画像の画素値変化の大きさの変化が得られる。一般に、眼球部分は皮膚部分であるまぶたに比べて、反射率が小さいため、暗く撮影されるので、上から下に向かって、明から暗へ、そして、上から下に向かって逆に暗から明に画素値が変化する。従って、得られる画素値変化を示すエッジ値は、眼球と上まぶたとの境界部分では、エッジ値が正の所定値以上となり、境界部分の中心のエッジ値が極大値となる。また、眼球と下まぶたとの境界部分では、エッジ値が負の所定値以下となり、境界部分の中心のエッジ値が極小値となる。

次のステップ１１０では、右目エッジ画像及び左目エッジ画像の各々について、エッジ特徴点を検出する処理を行う。以下に、ステップ１１０を実現するためのエッジ特徴点検出処理ルーチンについて、図１０を用いて説明する。なお、エッジ特徴点検出処理ルーチンは、右目エッジ画像及び左目エッジ画像の縦方向に画素が配列された複数の画素列の各々について実行される。

まず、ステップ１５０において、ＲＡＭに記憶されているエッジ特徴点の位置をリセットすると共に、注目画素を、初期位置として、検出対象の画素列の一番上の位置に設定する初期化処理を行い、ステップ１５２で、注目画素のエッジ値が負であるか否かを判定し、エッジ値が正であると、下まぶたの境界のエッジ特徴点は検出されないと判断し、ステップ１６０へ移行するが、エッジ値が負であると、ステップ１５６において、注目画素のエッジ値が、予め定められた負のしきい値Ｄより小さいか否かを判定し、注目画素のエッジ値がしきい値Ｄ以上である場合には、ステップ１６０へ移行する。なお、しきい値Ｄは、実験的又は統計的に、下まぶたの境界部分のエッジ値を求めておき、求められたエッジ値に基づいて、しきい値Ｄを設定しておけばよい。

一方、上記ステップ１５６で、注目画素のエッジ値がしきい値Ｄより小さいと判定された場合には、注目画素が、横方向の下まぶたの境界に相当するエッジ上の画素であると判断し、ステップ１５８において、注目画素の位置をエッジ特徴点としてＲＡＭに記憶して、ステップ１６０へ移行する。

ステップ１６０では、注目画素が、検出対象の画素列の一番下の画素であるか否かを判定し、検出対象の画素列の一番下の画素であり、検出対象の画素列の全ての画素について上記の処理を行った場合には、エッジ特徴点検出処理ルーチンを終了するが、一方、検出対象の画素列の一番下の画素ではない場合には、ステップ１６２において、注目画素を一つ下の画素に設定して、ステップ１５２へ戻り、一つ下に設定された注目画素について、上述した処理を実行する。

上述したように、エッジ特徴点検出処理ルーチンを実行することにより、左目エッジ画像上で、下まぶたと眼球との境界に相当するエッジに関するエッジ特徴点Ｌｉ（ｉ＝１、２・・・）が検出され、右目エッジ画像上で、下まぶたと眼球との境界に相当するエッジに関するエッジ特徴点Ｒｉ（ｉ＝１、２・・・）が検出される。

そして、画像処理ルーチンのステップ１１２において、右目エッジ画像について、上記ステップ１１０で検出されたエッジ特徴点Ｒｉを、予め定められた複数の投影方向の各々にヒストグラム投影して、各投影方向について、エッジ特徴点Ｒｉの画素の累積分布を表わすヒストグラムを算出する。そして、ステップ１１４で、算出された各投影方向のヒストグラムに基づいて、ヒストグラムにおいて最大値となる値が最も大きいヒストグラムに対する投影方向を選択し、選択された投影方向の基準方向（横方向）に対する角度を右目の傾きとして検出する。

また、ステップ１１６において、左目エッジ画像について、上記ステップ１１０で検出されたエッジ特徴点Ｌｉを、予め定められた複数の投影方向の各々にヒストグラム投影して、各投影方向について、エッジ特徴点Ｌｉの画素の累積分布を表わすヒストグラムを算出し、ステップ１１８で、算出された各投影方向のヒストグラムに基づいて、ヒストグラムにおいて最大値となる値が最も大きいヒストグラムに対する投影方向を選択し、選択された投影方向の基準方向（横方向）に対する角度を左目の傾きとして検出する。

そして、ステップ１２０において、右目の傾きと直交する方向に下まぶたと上まぶたとのまぶた間隔を計測すると共に、左目の傾きと直交する方向に下まぶたと上まぶたとのまぶた間隔を計測する。次のステップ１２２では、計測された右目のまぶた間隔及び左目のまぶた間隔を、表示装置１８によって表示させて、画像処理ルーチンを終了する。

以上説明したように、第１の実施の形態に係る目傾き検出装置によれば、下まぶたと眼球との境界に対応するエッジ上のエッジ特徴点を左目エッジ画像及び右目エッジ画像の各々について検出することにより、直線に近い下まぶたのエッジ上のエッジ特徴点を得ることができるため、下まぶたの境界に対応するエッジ上のエッジ特徴点に基づいて、左右の目の各々の傾きを検出することできる。

また、複数の投影方向の各々に投影された下まぶたのエッジ上のエッジ特徴点の画素の累積分布であるヒストグラムに基づいて、下まぶたの方向として投影方向を選択して、目の傾きを検出するため、簡易な処理で、左右の目の各々の傾きを検出することできる。

また、検出された左右の目の各々の傾きを用いて、高精度に左右の目の各々のまぶた間隔を算出することができる。

次に、第２の実施の形態について説明する。なお、第２の実施の形態に係るまぶた検出装置の構成は、第１の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。

第２の実施の形態では、画像特徴量検出部において、左目エッジ画像及び右目エッジ画像の各々から、下まぶたの境界に相当するエッジ上のエッジ特徴点におけるエッジ値を検出している点が第１の実施の形態と異なっている。なお、以下では、エッジ特徴点のエッジ値が負の値である場合を例に説明する。

第２の実施の形態では、エッジ特徴点検出処理ルーチンにおいて、検出対象の画素列の各画素を上から下へ走査し、注目画素のエッジ値が負のしきい値Ｄより小さい場合には、この注目画素の位置をエッジ特徴点として検出すると共に、この注目画素のエッジ値をＲＡＭに記憶する。従って、エッジ特徴点検出処理ルーチンを実行することにより、左目エッジ画像上で、下まぶたの境界に相当するエッジに関するエッジ特徴点Ｌｉ（ｉ＝１、２・・・）及びエッジ値が検出され、右目エッジ画像上で、下まぶたの境界に相当するエッジに関するエッジ特徴点Ｒｉ（ｉ＝１、２・・・）及びエッジ値が検出される。

そして、右目エッジ画像について、検出されたエッジ特徴点Ｒｉのエッジ値を、予め定められた複数の投影方向にヒストグラム投影して、各投影方向について、エッジ特徴点Ｒｉのエッジ値の累積分布であるヒストグラムを算出する。そして、算出された各投影方向のヒストグラムに基づいて、ヒストグラムにおいて最小値となる値が、最も小さいヒストグラムに対する投影方向を選択し、選択された投影方向の基準方向（横方向）に対する角度を右目の傾きとして検出する。

また、左目エッジ画像についても、同様に、検出されたエッジ特徴点Ｌｉのエッジ値を、予め定められた複数の投影方向にヒストグラム投影して、エッジ特徴点Ｌｉのエッジ値の累積分布であるヒストグラムを各々算出し、算出された各投影方向のヒストグラムに基づいて、ヒストグラムにおいて最小値となる値が、最も小さいヒストグラムに対する投影方向を選択し、選択された投影方向の基準方向（横方向）に対する角度を左目の傾きとして検出する。

このように、下まぶたと眼球との境界に対応するエッジ上のエッジ特徴点のエッジ値を左目エッジ画像及び右目エッジ画像の各々について検出することにより、直線に近い下まぶたのエッジ上のエッジ特徴点のエッジ値を得ることができるため、下まぶたの境界に対応するエッジ上のエッジ特徴点のエッジ値に基づいて、左右の目の各々の傾きを検出することできる。

また、複数の投影方向の各々に投影された下まぶたのエッジ上のエッジ特徴点のエッジ値の累積分布であるヒストグラムに基づいて、下まぶたの方向として投影方向を選択して、目の傾きを検出するため、簡易な処理で、左右の目の各々の傾きを検出することできる。

なお、上記の実施の形態では、下まぶたの境界に対応するエッジのエッジ特徴点のエッジ値を検出する場合を例に説明したが、これに限定されるものではなく、下まぶたの境界に対応するエッジ上の画素の濃度値などの画像特徴量を検出して、各投影方向に画像特徴量をヒストグラム投影し、下まぶたの方向として投影方向を選択して、目の傾きを検出するようにしてもよい。

次に、第３の実施の形態について説明する。なお、第３の実施の形態に係るまぶた検出装置の構成は、第１の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。

第３の実施の形態では、画像特徴量検出部において、左目エッジ画像及び右目エッジ画像の各々から、まばたき方向（縦方向）にエッジ値が極小値となる点を、エッジ特徴点として検出している点が第１の実施の形態と異なっている。

第３の実施の形態では、エッジ特徴点検出処理ルーチンにおいて、検出対象の画素列の各画素を上から下へ走査し、注目画素のエッジ値が負のしきい値Ｄより小さい場合には、注目画素のエッジ値が、まばたき方向に極小値となるか否かを判定し、一つ上の画素、注目画素、及び一つ下の画素のエッジ値に基づいて、注目画素のエッジ値が極小値であると判定されると、この注目画素の位置をエッジ特徴点として検出し、ＲＡＭに記憶する。従って、エッジ特徴点検出処理ルーチンを実行することにより、左目エッジ画像上で、下まぶたの境界に相当するエッジに関するエッジ値がまばたき方向に極小値となる点であるエッジ特徴点Ｌｉ（ｉ＝１、２・・・）が検出され、右目エッジ画像上で、下まぶたの境界に相当するエッジに関するエッジ値がまばたき方向に極小値となる点であるエッジ特徴点Ｒｉ（ｉ＝１、２・・・）が検出される。

そして、右目エッジ画像について、検出されたエッジ特徴点Ｒｉの画素を、予め定められた複数の投影方向にヒストグラム投影して、各投影方向について、エッジ特徴点Ｒｉの画素の累積分布であるヒストグラムを算出する。そして、算出された各投影方向のヒストグラムに基づいて、ヒストグラムにおける最大値が最も大きいヒストグラムに対する投影方向を選択し、選択された投影方向の基準方向（横方向）に対する角度を右目の傾きとして検出する。

また、左目エッジ画像についても、同様に、検出されたエッジ特徴点Ｌｉの画素を、予め定められた複数の投影方向にヒストグラム投影して、各投影方向について、エッジ特徴点Ｌｉの画素の累積分布であるヒストグラムを算出する。そして、算出された各投影方向のヒストグラムに基づいて、ヒストグラムにおける最大値となる値が最も大きいヒストグラムに対する投影方向を選択し、選択された投影方向の基準方向（横方向）に対する角度を左目の傾きとして検出する。

このように、下まぶたと眼球との境界に対応するエッジ上のエッジ値がまばたき方向に極小点となるエッジ特徴点を左目エッジ画像及び右目エッジ画像の各々について検出することにより、直線に近い下まぶたのエッジ上のエッジ値が極小点となるエッジ特徴点を得ることができるため、下まぶたの境界に対応するエッジ上のエッジ値が極小点となるエッジ特徴点に基づいて、左右の目の各々の傾きを検出することできる。

また、複数の投影方向の各々に投影された下まぶたのエッジ上のエッジ値が極小点となるエッジ特徴点の累積分布であるヒストグラムに基づいて、下まぶたの方向として投影方向を選択して、目の傾きを検出するため、簡易な処理で、左右の目の各々の傾きを検出することできる。

次に、第４の実施の形態について説明する。なお、第４の実施の形態に係るまぶた検出装置の構成は、第１の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。

第４の実施の形態では、画像特徴量検出部において、左目エッジ画像及び右目エッジ画像の各々から、まばたき方向にエッジ値が極小値となるエッジ特徴点のエッジ値を検出している点が第１の実施の形態と異なっている。なお、以下では、エッジ特徴点のエッジ値が負の値である場合を例に説明する。

第４の実施の形態では、エッジ特徴点検出処理ルーチンにおいて、検出対象の画素列の各画素を上から下へ走査し、注目画素のエッジ値が負のしきい値Ｄより小さい場合には、注目画素のエッジ値が、まばたき方向に極小値となるか否かを判定し、注目画素のエッジ値が極小値であると判定されると、この注目画素の位置をエッジ特徴点として検出すると共に、注目画素のエッジ値をＲＡＭに記憶する。従って、エッジ特徴点検出処理ルーチンを実行することにより、左目エッジ画像上で、下まぶたの境界に相当するエッジに関するエッジ値が、まばたき方向に極小値となる点であるエッジ特徴点Ｌｉ（ｉ＝１、２・・・）及びエッジ値が検出され、右目エッジ画像上で、下まぶたの境界に相当するエッジに関するエッジ値がまばたき方向に極小値となる点であるエッジ特徴点Ｒｉ（ｉ＝１、２・・・）及びエッジ値が検出される。

そして、右目エッジ画像について、検出されたエッジ特徴点Ｒｉのエッジ値を、予め定められた複数の投影方向の各々にヒストグラム投影して、各投影方向について、エッジ特徴点Ｒｉの極小値であるエッジ値の累積分布であるヒストグラムを算出する。そして、算出された各投影方向のヒストグラムに基づいて、ヒストグラムにおいて最小値となる値が最も小さいヒストグラムに対する投影方向を選択し、選択された投影方向の基準方向（横方向）に対する角度を右目の傾きとして検出する。

また、左目エッジ画像についても、同様に、検出されたエッジ特徴点Ｌｉのエッジ値を、予め定められた複数の投影方向の各々にヒストグラム投影して、各投影方向について、エッジ特徴点Ｌｉの極小値であるエッジ値の累積分布であるヒストグラムを算出する。そして、算出された各投影方向のヒストグラムに基づいて、ヒストグラムにおいて最小値となる値が最も小さいヒストグラムに対する投影方向を選択し、選択された投影方向の基準方向（横方向）に対する角度を左目の傾きとして検出する。

このように、下まぶたと眼球との境界に対応するエッジ上のエッジ値がまばたき方向に極小点となるエッジ特徴点のエッジ値を左目エッジ画像及び右目エッジ画像の各々について検出することにより、直線に近い下まぶたのエッジ上のエッジ値が極小点となるエッジ特徴点のエッジ値を得ることができるため、下まぶたの境界に対応するエッジ上のエッジ値が極小点となるエッジ特徴点のエッジ値に基づいて、左右の目の各々の傾きを検出することできる。

また、複数の投影方向の各々に投影された下まぶたのエッジ上のエッジ値が極小点となるエッジ特徴点のエッジ値の累積分布であるヒストグラムに基づいて、下まぶたの方向として投影方向を選択して、目の傾きを検出するため、簡易な処理で、左右の目の各々の傾きを検出することできる。

なお、上記の実施の形態では、画像入力部で入力した濃淡画像から濃淡変化の大きさを表すエッジ画像を生成する場合を例に説明したが、画像入力部で入力した画像がカラー画像であってもよい。この場合には、カラー画像の濃度値の変化の大きさを表すエッジ画像を生成すればよい。

また、エッジ画像のエッジ値が負のしきい値より小さい点をエッジ上の点として検出し、あるいは、エッジ値が極小値となる点をエッジ特徴点として検出する場合を例に説明したが、これに限定されるものではなく、例えば、目画像において、眼球部分が明るく、肌部分が暗くなっている場合には、エッジ画像のエッジ値が正のしきい値より大きい点をエッジ上の点として検出し、あるいは、エッジ値が極大値となる点をエッジ特徴点として検出するようにすればよい。

また、下まぶたの境界に相当するエッジに関する情報を各投影方向に投影してヒストグラムを算出し、下まぶたの方向を検出する場合を例に説明したが、これに限定されるものではなく、下まぶたの境界に相当するエッジのエッジ特徴点群からハフ変換を用いて、下まぶの方向を求めるようにしてもよい。

具体的には、ある１点の下まぶたのエッジ特徴点の座標(ｘｉ,ｙｉ)に対し、以下の式で計算される曲線をｐ−θ座標系でプロットする。
ｐ ＝ ｘｉ・ｃｏｓθ ＋ ｙｉ・ｓｉｎθ （０≦θ≦２π, ｐ≧０）

そして、全てのエッジ特徴点群に対して、上記曲線をプロットした後で、最も重なりの多い点（ｐｍａｘ, θｍａｘ）における角度θｍａｘを９０度回転させた角度を、下まぶたの方向の角度とする。

また、検出された左右の目の各々の傾きを用いて、まぶた間隔を精度よく算出する場合を例に説明したが、これに限定されるものではなく、例えば、ウインドウでまぶたを検出する場合には、検出された左右の目の各々の傾きに基づいて、まぶた検出ウインドウの傾きを目の傾きに合ったものに変えるようにしてもよい。これにより、検出された左右の目の各々の傾きを用いて、高精度にまぶたを検出することができる。

本発明の第１の実施の形態に係る目傾き検出装置の構成を示すブロック図である。 顔画像に設定される顔領域及び鼻孔探索領域を示すイメージ図である。 顔画像に設定される右目探索領域及び左目探索領域を示すイメージ図である。 （Ａ）右目画像及び左目画像を示すイメージ図、及び（Ｂ）右目画像及び左目画像のＳｏｂｅｌエッジ画像を示すイメージ図である。 エッジ特徴点に相当する画素を含む画像を示すイメージ図である。 複数の投影方向の各々に対して、エッジ特徴点の画素を投影して、エッジ特徴点の画素のヒストグラムを算出する様子を示す図である。 本発明の第１の実施の形態に係る目傾き検出装置における画像処理ルーチンの内容を示すフローチャートである。 （Ａ）Ｓｏｂｅｌフィルタを示すイメージ図、（Ｂ）Ｐｒｅｗｉｔｔフィルタを示すイメージ図、（Ｃ）単純差分フィルタを示すイメージ図、及び（Ｄ）平滑化の機能を持った単純差分フィルタを示すイメージ図である。 （Ａ）Ｓｏｂｅｌエッジ画像を示すイメージ図、及び（Ｂ）エッジ値の変化を示すグラフである。 本発明の第１の実施の形態に係る目傾き検出装置におけるエッジ特徴点検出処理ルーチンの内容を示すフローチャートである。

符号の説明

１０ 目傾き検出装置
１２ 画像撮像部
１４ 照明部
１６ コンピュータ
１８ 表示装置
２０ 画像入力部
２２ 目探索領域設定部
２４ 画像特徴量検出部
２６ 投影ヒストグラム算出部
２８ 傾き検出部

Claims (11)

1. 右目を含む領域の画像及び左目を含む領域の画像に基づいて、まばたき方向に相当する所定方向の画素の画素値変化の大きさを表わすエッジ値を各画素について算出し、前記算出された各画素のエッジ値、及び下まぶたと眼球との境界のエッジ値に基づいて予め設定されたしきい値に基づいて、下まぶたと眼球との境界に対応するエッジに関する情報として、前記所定方向に直交する方向のエッジ上に存在する画素の画像特徴量を各領域について算出する算出手段と、
   前記算出手段によって算出された各領域の前記エッジに関する情報に基づいて、前記算出手段によって算出された前記画素の画像特徴量の各々を、予め定められた複数の方向の各々に投影して、前記画像特徴量のヒストグラムを各々算出する投影手段を備え、前記投影手段によって算出されたヒストグラムの各々に基づいて、基準方向に対する傾きを左右の目の各々について検出する検出手段と、
   を含む目傾き検出装置。
2. 右目を含む領域の画像及び左目を含む領域の画像に基づいて、まばたき方向に相当する所定方向の画素の画素値変化の大きさを表わすエッジ値を各画素について算出し、前記算出された各画素のエッジ値、及び下まぶたと眼球との境界のエッジ値に基づいて予め設定されたしきい値に基づいて、下まぶたと眼球との境界に対応するエッジに関する情報として、前記所定方向に直交する方向のエッジ上に存在する画素の位置情報を各領域について算出する算出手段と、
   前記算出手段によって算出された各領域の前記画素の位置情報に基づいて、該画素を予め定められた複数の方向の各々に投影して、前記画素のヒストグラムを各々算出する投影手段を備え、前記投影手段によって算出されたヒストグラムの各々に基づいて、基準方向に対する傾きを左右の目の各々について検出する検出手段と、
   を含む目傾き検出装置。
3. 右目を含む領域の画像及び左目を含む領域の画像に基づいて、まばたき方向に相当する所定方向の画素の画素値変化の大きさを表わすエッジ値を各画素について算出し、前記算出された各画素のエッジ値、及び下まぶたと眼球との境界のエッジ値に基づいて予め設定されたしきい値に基づいて、下まぶたと眼球との境界に対応するエッジに関する情報として、前記所定方向に直交する方向のエッジ上に存在する画素のエッジ値を各領域について算出する算出手段と、
   前記算出手段によって算出された各領域の前記エッジに関する情報に基づいて、前記算出手段によって算出された画素のエッジ値の各々を、予め定められた複数の方向の各々に投影して、前記エッジ値のヒストグラムを各々算出する投影手段を備え、前記投影手段によって算出されたヒストグラムの各々に基づいて、基準方向に対する傾きを左右の目の各々について検出する検出手段と、
   を含む目傾き検出装置。
4. 右目を含む領域の画像及び左目を含む領域の画像に基づいて、まばたき方向に相当する所定方向の画素の画素値変化の大きさを表わすエッジ値を各画素について算出し、前記算出された各画素のエッジ値、及び下まぶたと眼球との境界のエッジ値に基づいて予め設定されたしきい値に基づいて、下まぶたと眼球との境界に対応するエッジに関する情報として、前記エッジ値が所定方向で極値となる画素の位置情報を各領域について算出する算出手段と、
   前記算出手段によって算出された各領域の前記画素の位置情報に基づいて、該画素を予め定められた複数の方向の各々に投影して、前記画素のヒストグラムを各々算出する投影手段を備え、前記投影手段によって算出されたヒストグラムの各々に基づいて、基準方向に対する傾きを左右の目の各々について検出する検出手段と、
   を含む目傾き検出装置。
5. 右目を含む領域の画像及び左目を含む領域の画像に基づいて、まばたき方向に相当する所定方向の画素の画素値変化の大きさを表わすエッジ値を各画素について算出し、前記算出された各画素のエッジ値、及び下まぶたと眼球との境界のエッジ値に基づいて予め設定されたしきい値に基づいて、下まぶたと眼球との境界に対応するエッジに関する情報として、前記エッジ値が所定方向で極値となる画素のエッジ値を各領域について算出する算出手段と、
   前記算出手段によって算出された各領域の前記エッジに関する情報に基づいて、前記画素のエッジ値の各々を、予め定められた複数の方向の各々に投影して、前記エッジ値のヒストグラムを各々算出する投影手段を備え、前記投影手段によって算出されたヒストグラムの各々に基づいて、基準方向に対する傾きを左右の目の各々について検出する検出手段と、
   を含む目傾き検出装置。
6. 右目及び左目を含む領域の画像から、前記右目を含む領域及び前記左目を含む領域を各々設定する設定手段を更に含み、
   前記算出手段は、前記設定手段によって設定された前記右目を含む領域の画像及び前記設定手段によって設定された前記左目を含む領域の画像に基づいて、前記エッジに関する情報を各領域について算出する請求項１〜請求項５の何れか１項記載の目傾き検出装置。
7. コンピュータを、
   右目を含む領域の画像及び左目を含む領域の画像に基づいて、まばたき方向に相当する所定方向の画素の画素値変化の大きさを表わすエッジ値を各画素について算出し、前記算出された各画素のエッジ値、及び下まぶたと眼球との境界のエッジ値に基づいて予め設定されたしきい値に基づいて、下まぶたと眼球との境界に対応するエッジに関する情報として、前記所定方向に直交する方向のエッジ上に存在する画素の画像特徴量を各領域について算出する算出手段、及び
   前記算出手段によって算出された各領域の前記エッジに関する情報に基づいて、前記算出手段によって算出された前記画素の画像特徴量の各々を、予め定められた複数の方向の各々に投影して、前記画像特徴量のヒストグラムを各々算出する投影手段を備え、前記投影手段によって算出されたヒストグラムの各々に基づいて、基準方向に対する傾きを左右の目の各々について検出する検出手段
   として機能させるためのプログラム。
8. コンピュータを、
   右目を含む領域の画像及び左目を含む領域の画像に基づいて、まばたき方向に相当する所定方向の画素の画素値変化の大きさを表わすエッジ値を各画素について算出し、前記算出された各画素のエッジ値、及び下まぶたと眼球との境界のエッジ値に基づいて予め設定されたしきい値に基づいて、下まぶたと眼球との境界に対応するエッジに関する情報として、前記所定方向に直交する方向のエッジ上に存在する画素の位置情報を各領域について算出する算出手段、及び
   前記算出手段によって算出された各領域の前記画素の位置情報に基づいて、該画素を予め定められた複数の方向の各々に投影して、前記画素のヒストグラムを各々算出する投影手段を備え、前記投影手段によって算出されたヒストグラムの各々に基づいて、基準方向に対する傾きを左右の目の各々について検出する検出手段
   として機能させるためのプログラム。
9. コンピュータを、
   右目を含む領域の画像及び左目を含む領域の画像に基づいて、まばたき方向に相当する所定方向の画素の画素値変化の大きさを表わすエッジ値を各画素について算出し、前記算出された各画素のエッジ値、及び下まぶたと眼球との境界のエッジ値に基づいて予め設定されたしきい値に基づいて、下まぶたと眼球との境界に対応するエッジに関する情報として、前記所定方向に直交する方向のエッジ上に存在する画素のエッジ値を各領域について算出する算出手段、及び
   前記算出手段によって算出された各領域の前記エッジに関する情報に基づいて、前記算出手段によって算出された画素のエッジ値の各々を、予め定められた複数の方向の各々に投影して、前記エッジ値のヒストグラムを各々算出する投影手段を備え、前記投影手段によって算出されたヒストグラムの各々に基づいて、基準方向に対する傾きを左右の目の各々について検出する検出手段
   として機能させるためのプログラム。
10. コンピュータを、
    右目を含む領域の画像及び左目を含む領域の画像に基づいて、まばたき方向に相当する所定方向の画素の画素値変化の大きさを表わすエッジ値を各画素について算出し、前記算出された各画素のエッジ値、及び下まぶたと眼球との境界のエッジ値に基づいて予め設定されたしきい値に基づいて、下まぶたと眼球との境界に対応するエッジに関する情報として、前記エッジ値が所定方向で極値となる画素の位置情報を各領域について算出する算出手段、及び
    前記算出手段によって算出された各領域の前記画素の位置情報に基づいて、該画素を予め定められた複数の方向の各々に投影して、前記画素のヒストグラムを各々算出する投影手段を備え、前記投影手段によって算出されたヒストグラムの各々に基づいて、基準方向に対する傾きを左右の目の各々について検出する検出手段
    として機能させるためのプログラム。
11. コンピュータを、
    右目を含む領域の画像及び左目を含む領域の画像に基づいて、まばたき方向に相当する所定方向の画素の画素値変化の大きさを表わすエッジ値を各画素について算出し、前記算出された各画素のエッジ値、及び下まぶたと眼球との境界のエッジ値に基づいて予め設定されたしきい値に基づいて、下まぶたと眼球との境界に対応するエッジに関する情報として、前記エッジ値が所定方向で極値となる画素のエッジ値を各領域について算出する算出手段、及び
    前記算出手段によって算出された各領域の前記エッジに関する情報に基づいて、前記画素のエッジ値の各々を、予め定められた複数の方向の各々に投影して、前記エッジ値のヒストグラムを各々算出する投影手段を備え、前記投影手段によって算出されたヒストグラムの各々に基づいて、基準方向に対する傾きを左右の目の各々について検出する検出手段
    として機能させるためのプログラム。