JP4309927B2 - まぶた検出装置及びプログラム - Google Patents

Description

本発明は、まぶた検出装置及びプログラムに係り、特に、目を含む領域の画像から、まぶたの境界点を検出するまぶた検出装置及びプログラムに関する。

従来より、濃淡画像の濃淡変化の大きさを表す１次元エッジ画像上で、エッジ値が極大値又は極小値となる点に基づいて、まぶたと眼球との境界点を検出するまぶたの開度検出装置が知られている（特許文献１）。このまぶたの開度検出装置では、より外側のエッジ極値点を検索して、検索されたエッジ極値点を、まぶたと眼球との境界点としている。
特許第３１４３８１９号

しかしながら、上記特許文献１に記載の技術では、１次元エッジ画像のエッジ値が極値となる点を境界点としているため、まぶたにアイシャドーが塗られ、まぶたに色がついているような場合には、まぶたと眼球との境界から離れた場所を境界点として検出してしまい、正しい境界点を検出することができない、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、まぶたに色がついていても、まぶたと眼球との境界点を正しく検出することができるまぶた検出装置及びプログラムを提供することを目的とする。

上記の目的を達成するために第１の発明に係るまぶた検出装置は、目を含む領域の画像に基づいて、該領域における画素毎の所定方向の画素値変化の大きさを表すエッジ画像を生成する生成手段と、前記生成手段によって生成されたエッジ画像において、画素値変化の大きさが前記所定方向で極値となる極値点を検索する極値点検索手段と、前記極値点検索手段によって検索された極値点から眼球側へ向かう方向にずれた点であって、かつ、画素値変化の大きさが、前記極値点の画像値変化の大きさより予め定められた値だけ小さい値となる、該極値点に最も近い点に基づいて、上まぶたと眼球との境界を示す第１の境界点及び下まぶたと眼球との境界を示す第２の境界点の少なくとも一方を検出する境界点検出手段とを含んで構成されている。

また、第２の発明に係るプログラムは、コンピュータを、目を含む領域の画像に基づいて、該領域における画素毎の所定方向の画素値変化の大きさを表すエッジ画像を生成する生成手段、前記生成手段によって生成されたエッジ画像において、画素値変化の大きさが前記所定方向で極値となる極値点を検索する極値点検索手段、及び前記極値点検索手段によって検索された極値点から眼球側へ向かう方向にずれた点であって、かつ、画素値変化の大きさが、前記極値点の画像値変化の大きさより予め定められた値だけ小さい値となる、該極値点に最も近い点に基づいて、上まぶたと眼球との境界を示す第１の境界点及び下まぶたと眼球との境界を示す第２の境界点の少なくとも一方を検出する境界点検出手段として機能させることを特徴としている。

第１の発明及び第２の発明によれば、生成手段によって、目を含む領域の画像に基づいて、該領域における画素毎の所定方向の画素値変化の大きさを表すエッジ画像を生成し、極値点検索手段によって、生成手段によって生成されたエッジ画像において、画素値変化の大きさが所定方向で極値となる極値点を検索する。そして、境界点検出手段によって、極値点検索手段によって検索された極値点から眼球側へ向かう方向にずれた点であって、かつ、画素値変化の大きさが、極値点の画像値変化の大きさより予め定められた値だけ小さい値となる、該極値点に最も近い点に基づいて、上まぶたと眼球との境界を示す第１の境界点及び下まぶたと眼球との境界を示す第２の境界点の少なくとも一方を検出する。

このように、エッジ画像において、画素値変化の大きさが極値となる極値点から、眼球側へ向かう方向にずれた点であって、かつ、画素値変化の大きさが、極値点の画像値変化の大きさより予め定められた値だけ小さい値となる、該極値点に最も近い点に基づいて、境界点を検出することにより、まぶたに色がついていても、まぶたと眼球との境界点を正しく検出することができる。

第１の発明に係る予め定められた値を、予め求められた、極値点の画素値変化と上まぶたと眼球との境界を示す第１の境界点及び下まぶたと眼球との境界を示す第２の境界点の少なくとも一方における画素値変化との差とすることができる。

第３の発明に係るまぶた検出装置は、目を含む領域の画像に基づいて、該領域における画素毎の所定方向の画素値変化の大きさを表すエッジ画像を生成する生成手段と、前記生成手段によって生成されたエッジ画像において、画素値変化の大きさが前記所定方向で極値となる極値点を検索する極値点検索手段と、前記極値点検索手段によって検索された極値点から眼球側へ向かう方向にずれた点であって、かつ、画素値変化の大きさが、前記極値点の画素値変化の大きさに所定割合を乗算した値を、前記極値点の画素値変化の大きさから減算した値となる、該極値点に最も近い点に基づいて、上まぶたと眼球との境界を示す第１の境界点及び下まぶたと眼球との境界を示す第２の境界点の少なくとも一方を検出する境界点検出手段とを含んで構成されている。

第４の発明に係るプログラムは、コンピュータを、目を含む領域の画像に基づいて、該領域における画素毎の所定方向の画素値変化の大きさを表すエッジ画像を生成する生成手段、前記生成手段によって生成されたエッジ画像において、画素値変化の大きさが前記所定方向で極値となる極値点を検索する極値点検索手段、及び前記極値点検索手段によって検索された極値点から眼球側へ向かう方向にずれた点であって、かつ、画素値変化の大きさが、前記極値点の画素値変化の大きさに所定割合を乗算した値を、前記極値点の画素値変化の大きさから減算した値となる、該極値点に最も近い点に基づいて、上まぶたと眼球との境界を示す第１の境界点及び下まぶたと眼球との境界を示す第２の境界点の少なくとも一方を検出する境界点検出手段として機能させるためのプログラムである。

第３の発明及び第４の発明では、境界点検出手段によって、極値点検索手段によって検索された極値点から眼球側へ向かう方向にずれた点であって、かつ、画素値変化の大きさが、極値点の画素値変化の大きさに所定割合を乗算した値を、極値点の画素値変化の大きさから減算した値となる、該極値点に最も近い点に基づいて、上まぶたと眼球との境界を示す第１の境界点及び下まぶたと眼球との境界を示す第２の境界点の少なくとも一方を検出する。
このように、エッジ画像において、画素値変化の大きさが極値となる極値点から、眼球側へ向かう方向にずれた点であって、かつ、画素値変化の大きさが、極値点の画素値変化の大きさに所定割合を乗算した値を、極値点の画素値変化の大きさから減算した値となる、該極値点に最も近い点に基づいて、境界点を検出することにより、まぶたに色がついていても、まぶたと眼球との境界点を正しく検出することができる。
第３の発明に係る極値点検索手段は、生成手段によって生成されたエッジ画像において、画素値変化の大きさが所定方向で極値となり、かつ、画素値変化が予め定められた閾値以上となる極値点を検索し、所定割合を、予め求められた、極値点の画素値変化と閾値との差に対する、極値点の画素値変化と上まぶたと眼球との境界を示す第１の境界点及び下まぶたと眼球との境界を示す第２の境界点の少なくとも一方における画素値変化との差の割合とすることができる。

第５の発明に係るまぶた検出装置は、目を含む領域の画像に基づいて、該領域における画素毎の所定方向の画素値変化の大きさを表すエッジ画像を生成する生成手段と、前記生成手段によって生成されたエッジ画像において、画素値変化の大きさが前記所定方向で極値となる極値点を検索する極値点検索手段と、前記極値点検索手段によって検索された極値点から眼球側へ向かう方向にずれた点であって、かつ、画素値変化の大きさが、前記極値点の画素値変化の大きさから予め定められた値を減算して、所定割合を乗算した値を、前記極値点の画素値変化の大きさから減算した値となる、該極値点に最も近い点に基づいて、上まぶたと眼球との境界を示す第１の境界点及び下まぶたと眼球との境界を示す第２の境界点の少なくとも一方を検出する境界点検出手段とを含んで構成されている。
第６の発明に係るプログラムは、コンピュータを、目を含む領域の画像に基づいて、該領域における画素毎の所定方向の画素値変化の大きさを表すエッジ画像を生成する生成手段、前記生成手段によって生成されたエッジ画像において、画素値変化の大きさが前記所定方向で極値となる極値点を検索する極値点検索手段、及び前記極値点検索手段によって検索された極値点から眼球側へ向かう方向にずれた点であって、かつ、画素値変化の大きさが、前記極値点の画素値変化の大きさから予め定められた値を減算して、所定割合を乗算した値を、前記極値点の画素値変化の大きさから減算した値となる、該極値点に最も近い点に基づいて、上まぶたと眼球との境界を示す第１の境界点及び下まぶたと眼球との境界を示す第２の境界点の少なくとも一方を検出する境界点検出手段として機能させるためのプログラムである。
第５の発明及び第６の発明によれば、境界点検出手段によって、極値点検索手段によって検索された極値点から眼球側へ向かう方向にずれた点であって、かつ、画素値変化の大きさが、極値点の画素値変化の大きさから予め定められた値を減算して、所定割合を乗算した値を、極値点の画素値変化の大きさから減算した値となる、該極値点に最も近い点に基づいて、上まぶたと眼球との境界を示す第１の境界点及び下まぶたと眼球との境界を示す第２の境界点の少なくとも一方を検出する。
このように、エッジ画像において、画素値変化の大きさが極値となる極値点から、眼球側へ向かう方向にずれた点であって、かつ、画素値変化の大きさが、極値点の画素値変化の大きさから予め定められた値を減算して、所定割合を乗算した値を、極値点の画素値変化の大きさから減算した値となる、該極値点に最も近い点に基づいて、境界点を検出することにより、まぶたに色がついていても、まぶたと眼球との境界点を正しく検出することができる。
第５の発明に係る極値点検索手段は、生成手段によって生成されたエッジ画像において、画素値変化の大きさが所定方向で極値となり、かつ、画素値変化が予め定められた閾値以上となる極値点を検索し、所定割合を、予め求められた、極値点の画素値変化と閾値との差に対する、極値点の画素値変化と上まぶたと眼球との境界を示す第１の境界点及び下まぶたと眼球との境界を示す第２の境界点の少なくとも一方における画素値変化との差の割合とし、予め定められた値を、閾値とすることができる。

上記の所定方向は、まばたき方向とすることができる。これにより、エッジ画像におけるまばたき方向の画素値変化によって、まぶたと眼球との境界のエッジを表すことができる。

以上説明したように、本発明のまぶた検出装置及びプログラムによれば、エッジ画像において、画素値変化の大きさが極値となる極値点から、眼球側へ向かう方向にずれた点に基づいて、境界点を検出することにより、まぶたに色がついていても、まぶたと眼球との境界点を正しく検出することができる、という効果が得られる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、濃淡画像からまぶたの開度を求めて出力するまぶた検出装置に本発明を適用した場合を例に説明する。

図１に示すように、本実施の形態に係るまぶた検出装置１０は、対象とする被験者の顔を含む画像を撮影するＣＣＤカメラ等からなる画像撮影部１２と、画像撮影部１２のシャッターの作動に同期して撮影対象を照明するための、赤外ストロボや赤外ＬＥＤ等からなる照明部１４と、画像処理を行うコンピュータ１６と、ＣＲＴ等で構成された表示装置１８とを備えている。

コンピュータ１６は、ＣＰＵ、後述する画像処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、コンピュータ１６は、画像撮影部１２から出力される濃淡画像である顔画像を入力する画像入力部２０と、画像入力部２０の出力である顔画像の中から目を含む小領域の画像、すなわち目画像を抽出する目画像抽出部２２と、目画像抽出部２２で抽出された目画像を処理して、エッジ特徴点を検出するエッジ特徴点検出部２４と、エッジ特徴点検出部２４で検出されたエッジ特徴点に基づいて、まぶたと眼球との境界点を検出するまぶた境界点検出部２６と、まぶた境界点検出部２６で検出された境界点に基づいて、まぶたの開度を計測する開度計測部２８とを備えている。

画像入力部２０は、例えば、Ａ／Ｄコンバータや１画面の画像データを記憶する画像メモリ等で構成される。

また、目画像抽出部２２は、顔画像から目領域を検索して、抽出位置を特定し、特定された抽出位置に基づいて目を含む小領域の画像を目画像として抽出する。

また、エッジ特徴点検出部２４は、図２（Ａ）に示すような目画像から、Ｓｏｂｅｌオペレータを用いて、図２（Ｂ）に示すような、まばたき方向であって、上から下へ向かう方向の画素毎の濃淡変化の大きさを表すＳｏｂｅｌエッジ画像を生成し、生成されたＳｏｂｅｌエッジ画像中からエッジ値の極値点を検索し、検索された極値点に基づいて、エッジ特徴点を検出する。

まぶた境界点検出部２６は、検出されたエッジ特徴点に基づいて、上まぶたと眼球との境界を示す第１の境界点及び下まぶたと眼球との境界を示す第２の境界点を検出する。

開度計測部２８は、境界点検出部２６で検出された第１の境界点と第２の境界点との間隔を計測し、まぶた開度として出力する。

次に、まぶた検出装置１０の動作について説明する。まず、画像撮影部１２で被験者の顔画像を撮影する。この際に、周囲の外乱光の影響を低減させるために、例えば、赤外ストロボからなる照明部１４を、画像撮影部１２の撮影と同期して発光させることにより、被験者の顔部を照明する。なお、照明部１４から連続光を発光させれば、画像撮影部１２との同期は不要となり、構成が簡単になる。

そして、コンピュータ１６において、図３に示す画像処理ルーチンを実行する。まず、ステップ１００において、画像撮影部１２で撮影された顔画像を、ビデオ信号として取り込み、ステップ１０２で、ビデオ信号をＡ／Ｄ変換して、２次元ディジタル画像を生成する。本実施例においては、以降の処理は、このディジタル画像に基づいて、ディジタル処理により行われるので、以後、単に画像という場合にはディジタル画像を意味することとする。

そして、ステップ１０４において、顔画像の中から目の領域を検索して、目を含む領域を抽出領域として設定し、ステップ１０６で、片目を含む小領域を目画像として抽出する。なお、目の領域を検索するには、例えば、テンプレートマッチング法による画像処理により顔画像の中から目の領域を検索してもよいし、あるいは、操作者がキーボード、マウス、電子ペンまたはライトペン等の目領域指示手段により顔画像の上で目を指し示すことにより目の領域を指示してもよい。

そして、ステップ１０８で、上記ステップ１０６で抽出された目画像に対して、図４（Ａ）に示すようなＳｏｂｅｌフィルタを用いたエッジ処理を行い、図５（Ａ）に示すような、上から下へ向かう方向の画素毎の画素値変化としての濃淡変化の大きさを表す１次元エッジ画像であるＳｏｂｅｌエッジ画像を生成する。例えば、現在の画像座標を（ｘ、ｙ）とし、（ｘ、ｙ）での画素値をＡ（ｘ、ｙ）とすると、Ｓｏｂｅｌエッジ画像における（ｘ、ｙ）のエッジ値Ｅ（ｘ、ｙ）は、以下の式で求められる。
Ｅ（ｘ、ｙ）＝Ａ（ｘ−１、ｙ−１）＋２Ａ（ｘ、ｙ−１）＋Ａ（ｘ＋１、ｙ−１）
−Ａ（ｘ−１、ｙ＋１）−２Ａ（ｘ、ｙ＋１）−Ａ（ｘ＋１、ｙ＋１）
なお、エッジ処理を行うフィルタとして、図４（Ｂ）に示すＰｒｅｗｉｔｔ（ペレウィット）フィルタや、図４（Ｃ）に示す単純差分フィルタ、図４（Ｄ）に示す平滑化の機能を持った単純差分フィルタを用いてもよい。

上記ステップ１０８により、図５（Ｂ）に示すような、まばたき方向であって、上から下へ向かう方向における原画像の画素値変化の大きさの変化が得られる。一般に、眼球部分は皮膚部分であるまぶたに比べて、反射率が小さいため、暗く撮影されるので、上から下に向かって、明から暗へ、そして、上から下に向かって逆に暗から明に画素値が変化する。従って、得られる画素値変化を示すエッジ値は、眼球と上まぶたとの境界部分では、エッジ値が極大値となり、眼球と下まぶたとの境界部分では、エッジ値が極小値となる。また、極大値となる点の下側が眼球側であり、極小値となる点の上側が眼球側となる。

次のステップ１１０では、エッジ特徴点を検出する処理を行う。以下に、ステップ１１０を実現するためのエッジ特徴点検出処理ルーチンについて、図６を用いて説明する。なお、エッジ特徴点検出処理ルーチンは、目画像の縦方向に画素が配列された複数の画素列の各々について実行される。

まず、ステップ１５０において、ＲＡＭに記憶されている極大値をリセットすると共に、注目画素を、初期位置としての検出対象の基準線上の一番上の位置に設定する初期化処理を行い、ステップ１５２で、注目画素のエッジ値が正であるか否かを判定し、エッジ値が正であると、ステップ１５４で、一つ上の画素と注目画素との間でエッジ値の符号が負から正に切り替わったか否かを判定し、エッジ値の符号が切り替わっていない場合には、ステップ１５８へ移行するが、一つ上の画素と注目画素との間でエッジ値の符号が切り替わっている場合には、ステップ１５６で、ＲＡＭに記憶されている極大値をリセットして、ステップ１５８へ移行する。

ステップ１５８では、注目画素のエッジ値が、基準線上の上から下へ向かう方向で極大値となるか否かを判定する。一つ上の画素、注目画素、及び一つ下の画素のエッジ値に基づいて、注目画素のエッジ値が極大値であると判定されると、ステップ１６０において、注目画素のエッジ値である極大値が、予め定められた第１のしきい値Ｄ１より大きいか否かを判定し、注目画素の極大値が第１のしきい値Ｄ１以下である場合には、ステップ１６２で、注目画素の位置をエッジ特徴点として記憶すると共に、ＲＡＭに記憶されている極大値をリセットし、ステップ１７６へ移行する。また、上記ステップ１６２では、エッジ特徴点のエッジ値も一緒にＲＡＭに記憶する。

一方、上記ステップ１６０で、注目画素のエッジ値である極大値が第１のしきい値Ｄ１より大きいと判定された場合には、ステップ１６４において、ＲＡＭに記憶されている極大値があるか否かを判定し、極大値がＲＡＭに記憶されている場合には、ステップ１６６で、記憶されている極大値より、今回の注目画素の極大値の方が大きいか否かを判定する。記憶されている極大値の方が大きい場合には、ステップ１７６へ移行するが、一方、今回の注目画素の極大値の方が大きい場合には、ステップ１６８において、今回の注目画素の極大値をＲＡＭに記憶して、ステップ１７６へ移行する。

また、上記ステップ１６４で、極大値がリセットされたままで、ＲＡＭに記憶されている極大値がない場合には、ステップ１６８で、今回の注目画素の極大値をＲＡＭに記憶する。

一方、上記ステップ１５８で、注目画素のエッジが極大値でない場合には、ステップ１７０において、ＲＡＭに記憶されている極大値があるか否かを判定し、極大値がＲＡＭに記憶されている場合には、ステップ１７２で、ひとつ上の画素のエッジ値が（極大値−設定値Ｘ１）より大きく、注目画素のエッジ値が（極大値−設定値Ｘ１）以下であるか否かを判定する。なお、設定値Ｘ１については、まぶたにアイシャドーが塗られている場合において、実験的又は統計的に、上まぶたの境界点におけるエッジ値を求め、さらに、極大値と上まぶたの境界点のエッジ値との差を求めておき、求められた差を設定値として予め設定しておけばよい。

上記ステップ１７２で、ひとつ上の画素のエッジ値が（極大値−Ｘ１）以下であるか、又は、注目画素のエッジ値が（極大値−Ｘ１）より大きい場合には、ステップ１７６へ移行するが、一方、ひとつ上の画素のエッジが（極大値−Ｘ１）より大きく、かつ、注目画素のエッジ値が（極大値−Ｘ１）以下である場合には、図７に示すように、注目画素が、上から下に向かって明から暗へ画素値が変化する際の暗側の点であり、かつ、極大値から設定値Ｘ２だけ小さいエッジ値となる極大値点に最も近い点であると判断し、ステップ１７４において、注目画素の位置をエッジ特徴点として記憶すると共に、ＲＡＭに記憶されている極大値をリセットして、ステップ１７６へ移行する。また、上記ステップ１７４では、エッジ特徴点のエッジ値も一緒にＲＡＭに記憶する。これにより、図７に示すように、極大点から眼球側である下へ向かう方向にずれた点であって、かつ、極大値から設定値Ｘ１だけ小さいエッジ値となる極大値点に最も近い点をエッジ特徴点として検出することができる。

また、上記ステップ１７０で、極大値がリセットされたままで、ＲＡＭに記憶されている極大値がない場合には、ステップ１７６へ移行する。

また、上記ステップ１５２で、エッジ値が負の値であると判定されると、ステップ１７６へ移行する。

ステップ１７６では、注目画素が、検出対象の基準線上の一番下の画素であるか否かを判定し、検出対象の基準線上の一番下の画素であり、検出対象の基準線上の全ての画素について上記の処理を行った場合には、ステップ１８０へ移行するが、一方、検出対象の基準線上の一番下の画素ではない場合には、ステップ１７８において、注目画素を一つ下の画素に設定して、ステップ１５２へ戻り、一つ下に設定された注目画素について、上述した処理を実行する。

ステップ１８０では、負側検出処理を実行して、エッジ特徴点検出処理ルーチンを終了する。ここで、上記ステップ１８０を実現するための負側検出処理ルーチンについて、図８を用いて説明する。

まず、ステップ１８１で、ＲＡＭに記憶されている極小値をリセットすると共に、注目画素を、初期位置としての検出対象の基準線上の一番下の位置に設定する初期化処理を行い、ステップ１８２で、注目画素のエッジ値が負であるか否かを判定し、エッジ値が負であると、ステップ１８３で、一つ下の画素と注目画素との間でエッジ値の符号が正から負に切り替わったか否かを判定し、エッジ値の符号が切り替わっていない場合には、ステップ１８６へ移行するが、一つ下の画素と注目画素との間でエッジ値の符号が切り替わっている場合には、ステップ１８４で、ＲＡＭに記憶されている極小値をリセットして、ステップ１８６へ移行する。

ステップ１８６では、注目画素のエッジ値が、基準線上の上から下へ向かう方向で極小値となるか否かを判定する。一つ上の画素、注目画素、及び一つ下の画素のエッジ値に基づいて、注目画素のエッジ値が極小値であると判定されると、ステップ１８８において、注目画素のエッジ値である極小値が、予め定められた第２のしきい値Ｄ２（Ｄ２＜０）より小さいか否かを判定し、注目画素の極小値が第２のしきい値Ｄ２以上である場合には、ステップ１９０で、注目画素の位置をエッジ特徴点として記憶すると共に、ＲＡＭに記憶されている極小値をリセットし、ステップ２０４へ移行する。また、上記ステップ１９０では、エッジ特徴点のエッジ値も一緒にＲＡＭに記憶する。

一方、上記ステップ１８８で、注目画素のエッジ値である極小値が第２のしきい値Ｄ２より小さいと判定された場合には、ステップ１９２において、ＲＡＭに記憶されている極小値があるか否かを判定し、極小値がＲＡＭに記憶されている場合には、ステップ１９４で、記憶されている極小値より、今回の注目画素の極小値の方が小さいか否かを判定する。記憶されている極小値の方が小さい場合には、負側検出処理ルーチンを終了するが、一方、今回の注目画素の極小値の方が小さい場合には、ステップ１９６において、今回の注目画素の極小値をＲＡＭに記憶して、ステップ２０４へ移行する。

また、上記ステップ１９２で、極小値がリセットされたままで、ＲＡＭに記憶されている極小値がない場合には、ステップ１９６で、今回の注目画素の極小値をＲＡＭに記憶する。

一方、上記ステップ１８６で、注目画素のエッジ値が極小値でない場合には、ステップ１９８において、ＲＡＭに記憶されている極小値があるか否かを判定し、極小値がＲＡＭに記憶されている場合には、ステップ２００で、一つ下の画素のエッジが（極小値−設定値Ｘ２）より小さく、注目画素のエッジ値が（極小値−設定値Ｘ２）以上であるか否かを判定する。なお、設定値Ｘ２（Ｘ２＜０）については、まぶたにアイシャドーが塗られている場合において、実験的又は統計的に、下まぶたの境界点のエッジ値を求め、さらに、極小値から下まぶたの境界点のエッジ値を引いた値を求めておき、求められた値を設定値として予め設定しておけばよい。

上記ステップ２００で、一つ下の画素のエッジ値が（極小値−Ｘ２）以上であるか、又は、注目画素のエッジ値が（極小値−Ｘ２）より小さい場合には、負側検出処理ルーチンを終了するが、一方、ひとつ下の画素のエッジが（極小値−Ｘ２）より小さく、かつ、注目画素のエッジ値が（極小値−Ｘ２）以上である場合には、図７に示すように、注目画素が、上から下に向かって暗から明へ画素値が変化する際の暗側の点であり、かつ、極小値から設定値Ｘ２だけ小さいエッジ値となる極小値点に最も近い点であると判断し、ステップ２０２において、注目画素の位置をエッジ特徴点として記憶すると共に、ＲＡＭに記憶されている極小値をリセットして、ステップ２０４へ移行する。また、上記ステップ２０２では、エッジ特徴点のエッジ値も一緒にＲＡＭに記憶する。これにより、図７に示すように、極小点から眼球側である上へ向かう方向にずれた点であって、かつ、極小値から設定値Ｘ２だけ小さいエッジ値となる極小値点に最も近い点をエッジ特徴点として検出することができる。

また、上記ステップ１９８で、極小値がリセットされたままで、ＲＡＭに記憶されている極小値がない場合には、ステップ２０４へ移行する。

また、上記ステップ１８２で、エッジ値が正の値であると判定されると、ステップ２０４へ移行する。

ステップ２０４では、注目画素が、検出対象の基準線上の一番上の画素であるか否かを判定し、検出対象の基準線上の一番上の画素であり、検出対象の基準線上の全ての画素について上記の処理を行った場合には、負側検出処理ルーチンを終了するが、一方、検出対象の基準線上の一番上の画素ではない場合には、ステップ２０６において、注目画素を一つ上の画素に設定して、ステップ１８２へ戻り、一つ上に設定された注目画素について、上述した処理を実行する。

上述したように、エッジ特徴点検出処理ルーチンを実行することにより、Ｓｏｂｅｌエッジ画像上で、エッジ値が正のエッジ特徴点Ｐｉ(ｉ＝０、１、・・・)と、エッジ値が負のエッジ特徴点Ｍｉ（ｉ＝０、１、・・・）とが検出される。

そして、画像処理ルーチンのステップ１１２において、検出されたエッジ特徴点Ｐｉから、上まぶたと眼球との第１の境界点を検出し、検出されたエッジ特徴点Ｍｉから、下まぶたと眼球との第２の境界点を検出する。

上記ステップ１１２では、複数のエッジ特徴点が検出されていた場合に、以下に説明するように、第１の境界点及び第２の境界点を検出する。

まず、検出された複数のエッジ特徴点Ｐｉを表わす画像内で探索ウィンドウを動かして、第１の境界点を検出する。探索ウィンドウは、上まぶたを表す画素の範囲を予め試験等で導出し、当該画素範囲に基づいて決定されてよい。探索ウィンドウは、例えば１×１５（垂直方向に１画素、水平方向に１５画素）程度であってよく、解像度やスケーリング等に応じて適切に決定される。具体的には、複数のエッジ特徴点Ｐｉを表わす画像内で探索ウィンドウを動かしながら、探索ウィンドウ内の横エッジのエッジ特徴点Ｐｉの強度和を算出し、横エッジのエッジ特徴点Ｐｉの強度和が所定値以上となる位置の探索ウィンドウ内の横エッジ（白黒エッジ）のエッジ特徴点を、「上まぶたと眼球との第１の境界点の候補」として認識する。この際、上下で隣接する第１の境界点の候補が存在する場合には、最も上側の第１の境界点候補以外の第１の境界点候補を破棄する。更に、眼ウィンドウの上端付近に第１の境界点候補が存在する場合には、当該第１の境界点候補を破棄する。これは、上端付近に眉毛を表す横エッジが存在する場合があるからである。次いで、残存する第１の境界点候補を、上まぶたと眼球との第１の境界点として検出する。

或いは、開眼時の上まぶたが一般的に円弧形状であるいう形状的特徴を利用して、上まぶたと眼球との第１の境界点を抽出してもよい。即ち、略水平に延びる円弧状に連続するエッジ（垂直方向で上から白から黒になるエッジ）が、上まぶたと眼球との第１の境界点として認識されてよい。かかる形状的特徴を利用することで、精度良く上まぶたと眼球との第１の境界点を検出することができる。また、複数の連続的な画像フレームを用いる場合には、上まぶたと眼球との第１の境界点は、瞬き時に上まぶたが他の眼の部分（例えば下まぶたや、眉毛やメガネのフレーム）に比べてより大きく動くという特徴を利用して決定されてもよい。

また、第１の境界点の位置に基づいて、下まぶたと眼球との第２の境界点を検出するための探索ウィンドウの位置が決定される。下まぶた検出用の探索ウィンドウの位置は、上述の如く検出された第１の境界点の位置を基準に第１の境界点よりも下方に設定され、例えば、眼の平均的なサイズ（眼が開いた状態での平均的な上まぶたと下まぶたの間の距離）に相当する画素数だけ第１の境界点の位置から下方に設定されてよい。下まぶた検出用の探索ウィンドウのサイズは、上まぶた検出用の探索ウィンドウのサイズと同様であってよく、下まぶたを表す画素の範囲を予め試験等で導出し、当該画素範囲に基づいて決定されてよい。

そして、検出された複数のエッジ特徴点Ｍｉを表わす画像内の決定された位置に探索ウィンドウを移動させて、下まぶたと眼球との第２の境界点が検出される。例えば、探索ウィンドウ内に横エッジ（黒白エッジ）のエッジ特徴点Ｍｉが存在する場合には、当該エッジ特徴点を、下まぶたと眼球との第２の境界点として検出する。

なお、上記ステップ１１２において、エッジ特徴点のエッジ値を用いて、境界点を検出するようにしてもよい。例えば、影によるエッジ特徴点のエッジ値は、小さいことが多いので、所定値以上のエッジ値を持つエッジ特徴点のみを、境界点の候補とし、境界点を検出すればよい。

そして、ステップ１１４において、第１の境界点と第２の境界点との間の距離を計測して、まぶたの開度として表示装置１８から出力し、画像処理ルーチンを終了する。

上述したように画像処理ルーチンを実行することにより、例えば、図９（Ａ）に示すように、アイシャドーが塗られた目が閉じられた状態であって、Ｓｏｂｅｌフィルタを用いたエッジ処理により、図１０（Ａ）に示すようなＳｏｂｅｌエッジ画像が得られ、図９（Ｂ）及び図１０（Ｂ）に示すように、極大点周辺のエッジ値変化は急峻ではなく、平たい形となり、また、エッジ値の極大点及び極小点が、まぶたの境界点から離れていても、図９（Ｃ）に示すように、まぶたの境界点に近い点をエッジ特徴点として検出できるため、図９（Ｄ）に示すように、まぶたの境界点を正確に検出することができる。

また、図１１（Ａ）に示すように、アイシャドーが塗られた目が開いている状態では、図１１（Ｂ）に示すように、エッジ値の極大点及び極小点が、まぶたの境界点に近い点になると共に、図１１（Ｃ）に示すように、まぶたの境界点に近い点をエッジ特徴点として検出できるため、図１１（Ｄ）に示すように、まぶたの境界点を正確に検出することができる。

以上説明したように、第１の実施の形態に係るまぶた検出装置によれば、目画像のＳｏｂｅｌエッジ画像において、エッジ値が極大値となる極大点から、眼球側である下へ向かう方向にずれた点であって、極大値から設定値だけ小さい点となる極大点に最も近い点をエッジ特徴点として検出し、また、エッジ値が極小値となる極小点から、眼球側である上へ向かう方向にずれた点であって、極小値から設定値だけ小さい点となる極小点に最も近い点をエッジ特徴点として検出し、検出されたエッジ特徴点に基づいて、まぶたの境界点を検出することにより、アイシャドーなどによりまぶたに色がついていても、まぶたと眼球との境界点を高精度に検出することができる。

また、まぶたと眼球との境界点を正確に検出することにより、まぶたの開度を高精度に計測することができる。

なお、上記の実施の形態では、画像入力部で入力した濃淡画像から濃淡変化の大きさを表すエッジ画像を生成する場合を例に説明したが、画像入力部で入力した画像がカラー画像であってもよい。この場合には、カラー画像の濃度値の変化の大きさを表すエッジ画像を生成すればよい。

また、極大点から眼球側にずれて検出されたエッジ特徴点を、上まぶたの境界点として検出し、極小点から眼球側にずれて検出されたエッジ特徴点を、下まぶたの境界点として検出する場合を例に説明したが、これに限定されるものではなく、例えば、目画像において、眼球部分が明るく、肌部分が暗くなっている場合には、極大点から眼球側にずれて検出されたエッジ特徴点を、下まぶたの境界点として検出し、極小点から眼球側にずれて検出されたエッジ特徴点を、上まぶたの境界点として検出すればよい。

また、エッジ特徴点をＲＯＭに記憶する場合には、エッジ特徴点のエッジ値を一緒に記憶する場合を例に説明したが、エッジ特徴点を記憶する場合に、エッジ特徴点の近くに存在する極大点又は極小点のエッジ値を一緒に記憶するようにしてもよい。

また、エッジ特徴点が複数検出された場合に、探索ウィンドウを用いて、第１の境界点及び第２の境界点を検出する場合を例に説明したが、これに限定されるものではなく、例えば、検出された複数のエッジ特徴点の連結を調べ、エッジ特徴点の集まりを作り、集まり毎の平均位置を、第１の境界点又は第２の境界点として検出してもよい。

次に、第２の実施の形態について説明する。なお、第２の実施の形態に係るまぶた検出装置の構成は、第１の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。

第２の実施の形態では、極大点から眼球側である下へ向かう方向にずれた点であって、かつ、予め定められた設定値に等しいエッジ値となる極大値点に最も近い点をエッジ特徴点として検出している点が第１の実施の形態と異なっている。

第２の実施の形態では、エッジ特徴点検出処理ルーチンにおいて、エッジ値が正の場合には、上から下へ各画素を走査し、エッジ値が極大値となる画素があり、この極大値がＲＡＭに記憶されていると、極大値でない注目画素について、ひとつ上の画素のエッジが設定値Ｘ´１（Ｘ´１＞０）より大きく、かつ、注目画素のエッジ値が設定値Ｘ´１以下であるか否かを判定し、ひとつ上の画素のエッジが設定値Ｘ´１より大きく、かつ、注目画素のエッジ値が設定値Ｘ´１以下である場合には、図１２に示すように、注目画素が、上から下に向かって明から暗へ画素値が変化する際の暗側の点であり、かつ、設定値Ｘ´１と等しいエッジ値となる極大値点に最も近い点であると判断し、注目画素の場所をエッジ特徴点として記憶すると共に、ＲＡＭに記憶されている極大値をリセットする。

なお、設定値Ｘ´１については、まぶたにアイシャドーが塗られている場合において、実験的又は統計的に、上まぶたの境界点におけるエッジ値を求め、求められたエッジ値を設定値として予め設定しておけばよい。

また、エッジ値が負の場合には、下から上へ各画素を走査し、エッジ値が極小値となる画素があり、この極小値がＲＡＭに記憶されていると、極小値でない注目画素について、ひとつ下の画素のエッジが設定値Ｘ´２（Ｘ´２＜０）より小さく、かつ、注目画素のエッジ値が設定値Ｘ´２以上であるか否かを判定し、ひとつ下の画素のエッジが設定値Ｘ´２より小さく、かつ、注目画素のエッジ値が設定値Ｘ´２以上である場合には、注目画素が、上から下に向かって暗から明へ画素値が変化する際の暗側の点であり、かつ、設定値Ｘ´２と等しいエッジ値となる極小値点に最も近い点であると判断し、注目画素の位置をエッジ特徴点として記憶すると共に、ＲＡＭに記憶されている極小値をリセットする。

なお、設定値Ｘ´２については、まぶたにアイシャドーが塗られている場合において、実験的又は統計的に、下まぶたの境界点におけるエッジ値を求め、求められたエッジ値を設定値として予め設定しておけばよい。

このように、目画像のＳｏｂｅｌエッジ画像において、エッジ値が極大値となる極大点から、眼球側である下へ向かう方向にずれた点であって、設定値となる極大点に最も近い点をエッジ特徴点として検出し、また、エッジ値が極小値となる極小点から、眼球側である上へ向かう方向にずれた点であって、設定値となる極小点に最も近い点をエッジ特徴点として検出し、検出されたエッジ特徴点に基づいて、まぶたの境界点を検出することにより、アイシャドーなどによりまぶたに色がついていても、まぶたと眼球との境界点を高精度に検出することができる。

次に、第３の実施の形態について説明する。なお、第３の実施の形態に係るまぶた検出装置の構成は、第１の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。

第３の実施の形態では、極大点から眼球側である下へ向かう方向にずれた点であって、かつ、極値点の画素値変化の大きさから第１のしきい値Ｄ１を減算して、所定割合を乗算した値を、極大値から減算した値に等しいエッジ値となる極大値点に最も近い点をエッジ特徴点として検出している点が第１の実施の形態と異なっている。

第３の実施の形態では、エッジ特徴点検出処理ルーチンにおいて、エッジ値が正の場合には、上から下へ各画素を走査し、エッジ値が極大値となる画素があり、この極大値がＲＡＭに記憶されていると、極大値でない注目画素について、ひとつ上の画素のエッジが（極大値−（極大値−Ｄ１）×設定割合Ａ１）より大きく、かつ、注目画素のエッジ値が（極大値−（極大値−Ｄ１）×設定割合Ａ１）以下であるか否かを判定し、ひとつ上の画素のエッジが（極大値−（極大値−Ｄ１）×設定割合Ａ１）より大きく、かつ、注目画素のエッジ値が（極大値−（極大値−Ｄ１）×設定割合Ａ１）以下である場合には、図１３に示すように、注目画素が、上から下に向かって明から暗へ画素値が変化する際の暗側の点であり、かつ、（極大値−（極大値−Ｄ１）×設定割合Ａ１）と等しいエッジ値となる極大値点に最も近い点であると判断し、注目画素の位置をエッジ特徴点として記憶すると共に、ＲＡＭに記憶されている極大値をリセットする。

なお、設定割合Ａ１については、まぶたにアイシャドーが塗られている場合において、実験的又は統計的に、上まぶたの境界点におけるエッジ値を求め、さらに、極大値としきい値Ｄ１との差に対する極大値と求められたエッジ値との差の割合を求め、求められた割合を設定割合として予め設定しておけばよい。

また、エッジ値が負の場合には、下から上へ各画素を走査し、エッジ値が極小値となる画素があり、この極小値がＲＡＭに記憶されていると、極小値でない注目画素について、ひとつ下の画素のエッジが（極小値−（極小値−Ｄ２）×設定割合Ａ２）より小さく、かつ、注目画素のエッジ値が（極小値−（極小値−Ｄ２）×設定割合Ａ２）以上であるか否かを判定し、ひとつ下の画素のエッジが（極小値−（極小値−Ｄ２）×設定割合Ａ２）より小さく、かつ、注目画素のエッジ値が（極小値−（極小値−Ｄ２）×設定割合Ａ２）以上である場合には、注目画素が、上から下に向かって暗から明へ画素値が変化する際の暗側の点であり、かつ、（極小値−（極小値−Ｄ２）×設定割合Ａ２）と等しいエッジ値となる極小値点に最も近い点であると判断し、注目画素の位置をエッジ特徴点として記憶すると共に、ＲＡＭに記憶されている極小値をリセットする。

なお、設定割合Ａ２については、まぶたにアイシャドーが塗られている場合において、実験的又は統計的に、下まぶたの境界点におけるエッジ値を求め、さらに、極小値としきい値Ｄ２との差に対する極小値と求められたエッジ値との差の割合を求め、求められた割合を設定割合として予め設定しておけばよい。

このように、目画像のＳｏｂｅｌエッジ画像において、エッジ値が極大値となる極大点から、眼球側である下へ向かう方向にずれた点であって、（極大値−（極大値−しきい値）×設定割合）と等しいエッジ値となる極大点に最も近い点をエッジ特徴点として検出し、また、エッジ値が極小値となる極小点から、眼球側である上へ向かう方向にずれた点であって、（極小値−（極小値−しきい値）×設定割合）と等しいエッジ値となる極小点に最も近い点をエッジ特徴点として検出し、検出されたエッジ特徴点に基づいて、まぶたの境界点を検出することにより、アイシャドーなどによりまぶたに色がついていても、まぶたと眼球との境界点を高精度に検出することができる。

次に、第４の実施の形態について説明する。なお、第４の実施の形態に係るまぶた検出装置の構成は、第１の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。

第４の実施の形態では、極大点から下側へ向かう方向にずれた点であって、かつ、エッジ値の変化率が極大値となる極大値点に最も近い点をエッジ特徴点として検出している点が第１の実施の形態と異なっている。

第４の実施の形態では、エッジ特徴点検出処理ルーチンにおいて、エッジ値が正の場合には、上から下へ各画素を走査し、エッジ値が極大値となる画素があり、この極大値がＲＡＭに記憶されていると、極大値でない注目画素について、エッジ値の変化率を算出すると共に、一つ上の画素及び一つ下の画素の各々についてエッジ値の変化率を算出する。そして、一つ上の画素のエッジ値が注目画素のエッジ値よりも大きく、かつ、注目画素のエッジ値の変化率が極大値であるか否かを判定し、一つ上の画素、注目画素、及び一つ下の画素の各々のエッジ値の変化率に基づいて、注目画素のエッジ値の変化率が極大値であり、一つ上の画素のエッジ値が注目画素のエッジ値よりも大きい場合には、図１４に示すように、注目画素が、上から下に向かって明から暗へ画素値が変化する際の暗側の点であり、かつ、エッジ値の変化率が極大値となる極大値点に最も近い点であると判断し、注目画素の位置をエッジ特徴点として記憶すると共に、ＲＡＭに記憶されている極大値をリセットする。

また、エッジ値が負の場合には、下から上へ各画素を走査し、エッジ値が極小値となる画素があり、この極小値がＲＡＭに記憶されていると、極小値でない注目画素について、エッジ値の変化率を算出すると共に、一つ下の画素及び一つ上の画素の各々についてエッジ値の変化率を算出する。そして、一つ下の画素のエッジ値が注目画素のエッジ値よりも小さく、かつ、注目画素のエッジ値の変化率が極大値であるか否かを判定し、一つ下の画素、注目画素、及び一つ上の画素の各々のエッジ値の変化率に基づいて、注目画素のエッジ値の変化率が極大値であり、一つ下の画素のエッジ値が注目画素のエッジ値よりも小さい場合には、注目画素が、上から下に向かって暗から明へ画素値が変化する際の暗側の点であり、かつ、エッジ値の変化率が極大値となる極小値点に最も近い点であると判断し、注目画素の位置をエッジ特徴点として記憶すると共に、ＲＡＭに記憶されている極大値をリセットする。

このように、目画像のＳｏｂｅｌエッジ画像において、エッジ値が極大値となる極大点から、眼球側である下へ向かう方向にずれた点であって、エッジ値の変化率が極大値となる極大点に最も近い点をエッジ特徴点として検出し、また、エッジ値が極小値となる極小点から、眼球側である上へ向かう方向にずれた点であって、エッジ値の変化率が極大値となる極小点に最も近い点をエッジ特徴点として検出し、検出されたエッジ特徴点に基づいて、まぶたの境界点を検出することにより、アイシャドーなどによりまぶたに色がついていても、まぶたと眼球との境界点を高精度に検出することができる。

次に第５の実施の形態について説明する。第５の実施の形態に係るまぶた検出装置の構成は、エッジ特徴点検出部２４の代わりに画素値無変化点検出部を備えている点で、第１の実施の形態と異なっている。また、第５の実施の形態に係る画像処理ルーチンは、上述した第１の実施の形態に係る画像処理ルーチンのエッジ特徴点検出処理（ステップ１１０）を、画素値無変化点検出処理に置き換えたものである。

図１５は、本発明の第５の実施の形態に係る画素値の変化が無くなる点を説明するためのイメージ図である。

第５の実施の形態では、エッジ値が正の値であると判定された場合は、極大値から眼球側である下へ向かう方向にずれた点であって、画素値の変化がなくなる点（ほぼ０となる点）を、上まぶたと眼球との境界を示す第１の境界点として検出する。

本実施の形態に係る画素値無変化点検出部は、極大値から眼球側に向かって最初に画素値の変化がほぼ０になった点を検出する（画素値無変化点検出処理）。そして、まぶた境界点検出部２６は、この点を第１の境界点として検出する。

同様に、エッジ値が負の値であると判定された場合は、極小値から眼球側である上へ向かう方向にずれた点であって、画素値の変化がなくなる点（ほぼ０になる点）を、下まぶたと眼球との境界を示す第２の境界点として検出する。

本実施の形態に係る画素値無変化点検出部は、極小値から眼球側に向かって最初に画素値の変化がほぼ０になった点を検出する（画素値無変化点検出処理）。そして、まぶた境界点検出部２６は、この点を第２の境界点として検出する。

以上のようにして第１の境界点と第２の境界点とを検出することにより、まぶたと眼球との境界点を正確に検出することができ、まぶたの開度を高精度に計測することができる。

本発明の第１の実施の形態に係るまぶた検出装置の構成を示すブロック図である。 （Ａ）目画像を示すイメージ図、及び（Ｂ）目画像のＳｏｂｅｌエッジ画像を示すイメージ図である。 本発明の第１の実施の形態に係るまぶた検出装置における画像処理ルーチンの内容を示すフローチャートである。 （Ａ）Ｓｏｂｅｌフィルタを示すイメージ図、（Ｂ）Ｐｒｅｗｉｔｔフィルタを示すイメージ図、（Ｃ）単純差分フィルタを示すイメージ図、及び（Ｄ）平滑化の機能を持った単純差分フィルタを示すイメージ図である。 （Ａ）Ｓｏｂｅｌエッジ画像を示すイメージ図、及び（Ｂ）エッジ値の変化を示すグラフである。 本発明の第１の実施の形態に係るまぶた検出装置におけるエッジ特徴点検出処理ルーチンの内容を示すフローチャートである。 本発明の第１の実施の形態に係るエッジ特徴点検出処理ルーチンで検出されるエッジ特徴点を説明するためのイメージ図である。 本発明の第１の実施の形態に係るまぶた検出装置における負側検出処理ルーチンの内容を示すフローチャートである。 （Ａ）アイシャドーが塗られた目が閉じた状態を表す目画像を示すイメージ図、（Ｂ）Ｓｏｂｅｌエッジ画像から極大点及び極小点を検出した結果を示すイメージ図、（Ｃ）エッジ特徴点を検出した結果を示すイメージ図、及び（Ｄ）まぶたの境界点を検出した結果を示すイメージ図である。 （Ａ）アイシャドーが塗られた目が閉じた状態を表す目画像のＳｏｂｅｌエッジ画像を示すイメージ図、及び（Ｂ）エッジ値の変化を示すグラフである。 （Ａ）アイシャドーが塗られた目が開いた状態を表す目画像を示すイメージ図、（Ｂ）Ｓｏｂｅｌエッジ画像から極大点及び極小点を検出した結果を示すイメージ図、（Ｃ）エッジ特徴点を検出した結果を示すイメージ図、及び（Ｄ）まぶたの境界点を検出した結果を示すイメージ図である。 本発明の第２の実施の形態に係るエッジ特徴点検出処理ルーチンで検出されるエッジ特徴点を説明するためのイメージ図である。 本発明の第３の実施の形態に係るエッジ特徴点検出処理ルーチンで検出されるエッジ特徴点を説明するためのイメージ図である。 本発明の第４の実施の形態に係るエッジ特徴点検出処理ルーチンで検出されるエッジ特徴点を説明するためのイメージ図である。 本発明の第５の実施の形態に係る画素値の変化が無くなる点を説明するためのイメージ図である。

符号の説明

１０ まぶた検出装置
１２ 画像撮影部
１６ コンピュータ
１８ 表示装置
２０ 画像入力部
２２ 目画像抽出部
２４ エッジ特徴点検出部
２６ 境界点検出部
２８ 開度計測部

Claims (10)

1. 目を含む領域の画像に基づいて、該領域における画素毎の所定方向の画素値変化の大きさを表すエッジ画像を生成する生成手段と、
   前記生成手段によって生成されたエッジ画像において、画素値変化の大きさが前記所定方向で極値となる極値点を検索する極値点検索手段と、
   前記極値点検索手段によって検索された極値点から眼球側へ向かう方向にずれた点であって、かつ、画素値変化の大きさが、前記極値点の画像値変化の大きさより予め定められた値だけ小さい値となる、該極値点に最も近い点に基づいて、上まぶたと眼球との境界を示す第１の境界点及び下まぶたと眼球との境界を示す第２の境界点の少なくとも一方を検出する境界点検出手段と、
   を含むまぶた検出装置。
2. 前記予め定められた値を、予め求められた、前記極値点の画素値変化と上まぶたと眼球との境界を示す第１の境界点及び下まぶたと眼球との境界を示す第２の境界点の少なくとも一方における画素値変化との差とした請求項１記載のまぶた検出装置。
3. 目を含む領域の画像に基づいて、該領域における画素毎の所定方向の画素値変化の大きさを表すエッジ画像を生成する生成手段と、
   前記生成手段によって生成されたエッジ画像において、画素値変化の大きさが前記所定方向で極値となる極値点を検索する極値点検索手段と、
   前記極値点検索手段によって検索された極値点から眼球側へ向かう方向にずれた点であって、かつ、画素値変化の大きさが、前記極値点の画素値変化の大きさに所定割合を乗算した値を、前記極値点の画素値変化の大きさから減算した値となる、該極値点に最も近い点に基づいて、上まぶたと眼球との境界を示す第１の境界点及び下まぶたと眼球との境界を示す第２の境界点の少なくとも一方を検出する境界点検出手段と、
   を含むまぶた検出装置。
4. 前記極値点検索手段は、前記生成手段によって生成されたエッジ画像において、画素値変化の大きさが前記所定方向で極値となり、かつ、画素値変化が予め定められた閾値以上となる極値点を検索し、
   前記所定割合を、予め求められた、前記極値点の画素値変化と前記閾値との差に対する、前記極値点の画素値変化と上まぶたと眼球との境界を示す第１の境界点及び下まぶたと眼球との境界を示す第２の境界点の少なくとも一方における画素値変化との差の割合とした請求項３記載のまぶた検出装置。
5. 目を含む領域の画像に基づいて、該領域における画素毎の所定方向の画素値変化の大きさを表すエッジ画像を生成する生成手段と、
   前記生成手段によって生成されたエッジ画像において、画素値変化の大きさが前記所定方向で極値となる極値点を検索する極値点検索手段と、
   前記極値点検索手段によって検索された極値点から眼球側へ向かう方向にずれた点であって、かつ、画素値変化の大きさが、前記極値点の画素値変化の大きさから予め定められた値を減算して、所定割合を乗算した値を、前記極値点の画素値変化の大きさから減算した値となる、該極値点に最も近い点に基づいて、上まぶたと眼球との境界を示す第１の境界点及び下まぶたと眼球との境界を示す第２の境界点の少なくとも一方を検出する境界点検出手段と、
   を含むまぶた検出装置。
6. 前記極値点検索手段は、前記生成手段によって生成されたエッジ画像において、画素値変化の大きさが前記所定方向で極値となり、かつ、画素値変化が予め定められた閾値以上となる極値点を検索し、
   前記所定割合を、予め求められた、前記極値点の画素値変化と前記閾値との差に対する、前記極値点の画素値変化と上まぶたと眼球との境界を示す第１の境界点及び下まぶたと眼球との境界を示す第２の境界点の少なくとも一方における画素値変化との差の割合とし、
   前記予め定められた値を、前記閾値とした請求項５記載のまぶた検出装置。
7. 前記所定方向は、まばたき方向である請求項１〜請求項６の何れか１項記載のまぶた検出装置。
8. コンピュータを、
   目を含む領域の画像に基づいて、該領域における画素毎の所定方向の画素値変化の大きさを表すエッジ画像を生成する生成手段、
   前記生成手段によって生成されたエッジ画像において、画素値変化の大きさが前記所定方向で極値となる極値点を検索する極値点検索手段、及び
   前記極値点検索手段によって検索された極値点から眼球側へ向かう方向にずれた点であって、かつ、画素値変化の大きさが、前記極値点の画像値変化の大きさより予め定められた値だけ小さい値となる、該極値点に最も近い点に基づいて、上まぶたと眼球との境界を示す第１の境界点及び下まぶたと眼球との境界を示す第２の境界点の少なくとも一方を検出する境界点検出手段
   として機能させるためのプログラム。
9. コンピュータを、
   目を含む領域の画像に基づいて、該領域における画素毎の所定方向の画素値変化の大きさを表すエッジ画像を生成する生成手段、
   前記生成手段によって生成されたエッジ画像において、画素値変化の大きさが前記所定方向で極値となる極値点を検索する極値点検索手段、及び
   前記極値点検索手段によって検索された極値点から眼球側へ向かう方向にずれた点であって、かつ、画素値変化の大きさが、前記極値点の画素値変化の大きさに所定割合を乗算した値を、前記極値点の画素値変化の大きさから減算した値となる、該極値点に最も近い点に基づいて、上まぶたと眼球との境界を示す第１の境界点及び下まぶたと眼球との境界を示す第２の境界点の少なくとも一方を検出する境界点検出手段
   として機能させるためのプログラム。
10. コンピュータを、
    目を含む領域の画像に基づいて、該領域における画素毎の所定方向の画素値変化の大きさを表すエッジ画像を生成する生成手段、
    前記生成手段によって生成されたエッジ画像において、画素値変化の大きさが前記所定方向で極値となる極値点を検索する極値点検索手段、及び
    前記極値点検索手段によって検索された極値点から眼球側へ向かう方向にずれた点であって、かつ、画素値変化の大きさが、前記極値点の画素値変化の大きさから予め定められた値を減算して、所定割合を乗算した値を、前記極値点の画素値変化の大きさから減算した値となる、該極値点に最も近い点に基づいて、上まぶたと眼球との境界を示す第１の境界点及び下まぶたと眼球との境界を示す第２の境界点の少なくとも一方を検出する境界点検出手段
    として機能させるためのプログラム。