JP5653404B2 - 居眠り注意喚起装置 - Google Patents

Description

本発明は、画像処理技術を用いた居眠り注意喚起装置に関し、特に、連続画像内の上瞼の湾曲度を分析して目の開閉状態を判定する技術に関する。

運転における安全性を踏まえ、現在すでに様々な居眠り注意喚起装置が市場で販売されている。このような装置は運転手の眼の状態を検出することで居眠りの有無を判定し、また運転手が居眠りしていると判定した時、警報を発して運転手を目覚めさせることができる。従来の居眠り注意喚起装置に採用されている技術的思想は非常に多く、例えば、特許文献１、特許文献２、特許文献３、特許文献４及び特許文献５等の特許文献がある。これら特許文献は、運転手の瞬き回数或いは閉眼時間が閾値を超えたかを検出し、一旦超えると、運転手が居眠りしていると判定し、また警報を発する。運転手の眼の状態を検出するため、通常カメラモジュールで運転手の顔部を撮影し、処理ユニット（ＣＰＵ）で撮影された画像を処理する。処理の重点は、迅速で且つ正確に画像内の目が位置する領域を見付けると共に、当該領域内にある目を測定して、閉眼或いは開眼を判定する。

特許文献５に開示されている従来の眼部測定装置は、顔画像内から鼻の穴の位置を見付け、また鼻の穴の位置によって眼の探索領域を設定してから、この眼の探索領域内に上瞼、下瞼を見付けることができる。次に、この上瞼、下瞼が挟持している部分の画素数によって開眼又は閉眼を判定する。この種の手法の問題点は上瞼、下瞼を見付けてから開眼又は閉眼の判定できることにある。これは多くの処理時間を費やし、運転手に注意喚起する速度が遅れてしまう。

台湾特許番号４３６４３６ 台湾特許番号Ｍ４１６１６１ 台湾特許番号Ｉ３４９２１４ 台湾特許番号２０１１４０５１１ 中国特許番号ＣＮ１０１１９６９９３

本発明は、画像内から上瞼のみを見付けることで、開眼又は閉眼を判定でき、従って、運転手が居眠りをしている時、速やかに注意喚起できる居眠り注意喚起装置を提供することを目的とする。

上記目的を達成するため、本発明に係る居眠り注意喚起装置は、ストレージユニットと撮像ユニットと処理ユニットと出力ユニットと、を含む。ストレージユニットは居眠り注意喚起プログラムを保存している。撮像ユニットは運転手の顔を撮影して複数枚の連続画像を生成するために用いられる。処理ユニットは撮像ユニットとストレージユニットと出力ユニットに電気的に接続し、且つ、居眠り注意喚起プログラムをロード並びに実行した時、居眠り注意喚起プログラムが撮像ユニットで生成したこれら画像を受信するステップと、各画像に対して分析対象の画像内から目の画像を取り出し、上瞼図を得るため目の画像を処理して上瞼図の湾曲度を測定し、測定結果によって目の状態データを対応して生成することとを含む画像分析ステップを実行するステップと、これら画像を分析して得られたこれら目の状態データに基づいて、運転手の入眠の有無を判定するための判定ステップを実行するステップと、判定結果で入眠となった場合、出力ユニットから注意喚起メッセージが生成されるステップと、を処理ユニットに実行させ、処理ユニットは、画像から顔の画像を取り出すステップと、顔の画像内の両鼻の穴の中点を見付けるステップと、両鼻の穴の中点間の間隔Ｄを計算すると共に、両鼻の穴の中点間の鼻央点に位置する起算点座標Ａ（ｘ１、ｙ１）を決定するステップと、間隔Ｄ、及び、起算点座標Ａ（ｘ１、ｙ１）に基づいて、座標は次式に示される関係となり、
（数１）
ｘ２＝ｘ１＋ｋ１×Ｄ
（数２）
ｙ２＝ｙ１＋ｋ２×Ｄ
式内のｋ１＝１．６〜１．８、ｋ２＝１．６〜１．８とする基準点座標Ｂ（ｘ２、ｙ２）を計算するステップと、基準点座標Ｂ（ｘ２、ｙ２）が示す位置の点は、矩形枠の中心点となり、矩形枠の水平方向の幅が、矩形枠の垂直方向の幅を上回る前記矩形枠を、基準点座標Ｂ（ｘ２、ｙ２）に基づく顔画像内で定義するステップと、矩形枠で囲う範囲内から、顔の画像内の目を含む目の画像を取り出すステップと、を実行することで、分析対象の画像内から前記目の画像を取り出す。

本発明に係る居眠り注意喚起装置は、ストレージユニットと撮像ユニットと処理ユニットと出力ユニットと、を含む。ストレージユニットは居眠り注意喚起プログラムを保存している。撮像ユニットは運転手の顔を撮影して複数枚の連続画像を生成するために用いられる。処理ユニットは撮像ユニットとストレージユニットと出力ユニットに電気的に接続し、且つ、居眠り注意喚起プログラムをロード並びに実行した時、居眠り注意喚起プログラムが撮像ユニットで生成したこれら画像を受信するステップと、各画像に対して分析対象の画像内から目の画像を取り出し、上瞼図を得るため目の画像を処理して上瞼図の湾曲度を測定し、測定結果によって目の状態データを対応して生成することとを含む画像分析ステップを実行するステップと、これら画像を分析して得られたこれら目の状態データに基づいて、運転手の入眠の有無を判定するための判定ステップを実行するステップと、判定結果で入眠となった場合、出力ユニットから注意喚起メッセージが生成されるステップと、を処理ユニットに実行させ、処理ユニットは画像から顔の画像を取り出すステップと、顔の画像内から両鼻の穴の中点を見付けるステップと、両鼻の穴の中点間の間隔Ｄ、及び、両鼻の穴の中点間にある鼻央点を算出するステップと、鼻央点との水平距離、及び、垂直距離がそれぞれｋ１×Ｄ、ｋ２×Ｄで、且つｋ１＝１．６〜１．８、ｋ２＝１．６〜１．８となる基準点を決定するステップと、矩形枠の中心点が基準点となり、且つ矩形枠の水平方向の幅が矩形枠の垂直方向の幅を上回る矩形枠を顔画像内で定義するステップと、矩形枠で囲まれた範囲内から顔の画像内の目を含む目の画像を取り出すステップとを実行することで分析対象の画像内から目の画像も取り出すことができる。好適なものは、ｋ１＝ｋ２とする。

本発明に係る居眠り注意喚起装置は、ストレージユニットと撮像ユニットと処理ユニットと出力ユニットと、を含む。ストレージユニットは居眠り注意喚起プログラムを保存している。撮像ユニットは運転手の顔を撮影して複数枚の連続画像を生成するために用いられる。処理ユニットは撮像ユニットとストレージユニットと出力ユニットに電気的に接続し、且つ、居眠り注意喚起プログラムをロード並びに実行した時、居眠り注意喚起プログラムが撮像ユニットで生成したこれら画像を受信するステップと、各画像に対して分析対象の画像内から目の画像を取り出し、上瞼図を得るため目の画像を処理して上瞼図の湾曲度を測定し、測定結果によって目の状態データを対応して生成することとを含む画像分析ステップを実行するステップと、これら画像を分析して得られたこれら目の状態データに基づいて、運転手の入眠の有無を判定するための判定ステップを実行するステップと、判定結果で入眠となった場合、出力ユニットから注意喚起メッセージが生成されるステップと、を処理ユニットに実行させ、処理ユニットは、更に、この画像から顔の画像を取り出すステップと、顔の画像内から両鼻の穴の中点を見付けるステップと、両鼻の穴の中点間の間隔Ｄ、及び、両鼻の穴の中点間にある鼻央点を計算するステップと、間隔Ｄ、及び、鼻央点に基づいて基準点を決定するステップと、基準点に基づいて顔画像内でその中心点が基準点となる矩形枠を定義するステップと、矩形枠で囲まれる範囲内から顔画像内の目を含む目の画像を取り出すステップとを実行することで分析対象の画像内から目の画像を取り出すことができる。

従来の技術に比べて、本発明を通じて得られた上記目の画像或いは上記矩形枠において、目を含むだけではなく、且つ従来の技術で言及されている目の探索領域より小さい。また、本発明は、ただ画像内の上瞼のみを分析し、時間を掛けて画像内の下瞼を分析する必要がない。

本発明のその他発明内容と、更なる詳細な技術及び機能の説明に関し、後記の説明で開示する。

本発明の好ましい一実施形態に係る居眠り注意喚起装置を示すシステムブロック図である。 本発明の好ましい実施形態内の処理ユニットの実行フローチャートである。 本発明の好ましい実施形態内の処理ユニットの実行フローチャートである。 本発明の好ましい実施形態内の処理ユニットによって処理して得られた上瞼を示す図である。 本発明の好ましい実施形態内の処理ユニットの細部実行フローチャートである。 本発明の好ましい実施形態内の撮像ユニットで撮影された画像６を示す図である。

本発明の好ましい一実施形態に係る居眠り注意喚起装置を示すシステムブロック図の図１を参照しながら説明する。居眠り注意喚起装置は、ストレージユニット１と、撮像ユニット２と、処理ユニット３と、処理ユニット３に電気的に接続する出力ユニット４と、入力ユニット５（複数の押ボタンからなることができる）と、を含む。ストレージユニット１は、一個或いは複数のアクセス可能な不揮発性メモリーからなり、且つ居眠り注意喚起プログラム１０を保存する。撮像ユニット２は、運転手の顔を撮影することで数枚の連続画像を生成すると共にストレージユニット１に一時保存するために用いられる。

撮像ユニット２は、好ましくは、方向及び角度を回転的に調整できるカメラ（図示略）を有することで、カメラを運転手の顔の仰向き状態を調整し、例えば、カメラを仰角４５度で運転手の顔に向ける。こうすることで、撮像ユニット２で撮影する各画像内の鼻の穴が明確に表示でき、これは各顔画像の鼻の穴の認識度が大幅にアップして後述する鼻の穴探索プロセスの実行をサポートできることを意味する。通常、撮像ユニット２は撮影したこれら顔の画像の鮮明度を確保するため、更に照度不足時に適時補光するための照明素子を有する。

処理ユニット３は、撮像ユニット２と、ストレージユニット１と、出力ユニット４に電気的に接続され、且つ少なくとも１台の中央処理装置（ＣＰＵ、図示略）と、１台のランダムアクセスメモリ（ＲＡＭ、図示略）とを含む。図２に示すように、処理ユニット３が居眠り注意喚起プログラム１０をロード並びに実行した時、居眠り注意喚起プログラム１０が、処理ユニット３に以下のａからｄのステップを実行させる。

ａ）撮像ユニット２で運転手の顔を撮影した時に対応して生成した連続画像を受信する。

ｂ）各画像に対して画像分析ステップを実行する。

ｃ）分析結果に基づき、運転手の入眠の有無を判定するため、判定ステップを実行する。

ｄ）判定結果が、はいの場合、出力ユニット４が注意喚起メッセージを発生させる。例えば、出力ユニット４がスピーカを有する時、注意喚起メッセージはスピーカから発される警告音とする。出力ユニット４は、通常、注意喚起メッセージ或いはその他の関連情報（例えば、設定操作用に供するマンマシンインターフェース）を表示するためのディスプレイ（例えばタッチスクリーン）を更に備える。

本発明においてｂステップに記載の画像分析ステップは図３に示すように、
ｂ１）分析対象画像内から目の画像を取り出すことと、
ｂ２）目の画像を処理して上瞼図を得ることと、
ｂ３）上瞼図の湾曲度を測定することと、
ｂ４）測定結果に基づいて対応して目の状態データを生成することと、
を含む。

ｂ１ステップにおいて、目の画像を画像処理技術で処理（例えば水平線化処理）した後で得られた上瞼図を、図４のイメージ図として示す。図４（Ａ）では、目画像が開眼状態になっている目の画像６１を示し、また目の画像６１によって処理された上瞼図６１ａを示し、且つ上瞼図６１ａに沿って大まかに放物線グラフ６１０ａを描くことができ、放物線の式で放物線グラフ６１０ａの焦点距離（頂点Ｖと焦点Ｆ間の距離）を算出できる。図４（Ｂ）では目の画像が半開眼状態になっている目の画像６１を示し、また目の画像６１によって処理した上瞼図６１ｂを示し、且つ上瞼図６１ｂに沿って大まかに別の放物線グラフ６１０ｂを描くことができ、放物線の式で算出した別の放出線グラフ６１０ｂの焦点距離は放物線グラフ６１０ａの焦点距離を上回る。図４（Ｃ）では目の画像が閉眼状態になっている目の画像６１を示し、また目の画像６１によって処理した上瞼図６１ｃを示し、且つ上瞼図６１ｃに沿って大まかに直線グラフを描くことができ、放物線の式で算出した該直線グラフの焦点距離が無限大となる。

図４に示す上瞼図から人の目の上瞼の湾曲度は、その目の開閉度によって違うことが分かる。帰納的な統計結果によると、人の目が開いた時、その上瞼の湾曲度が比較的大きくなった方物線グラフに近似し、人の目が閉じられた時、その上瞼の湾曲度が明らかに小さくなり直線グラフに近似する。この現象に基づき、処理ユニット３は放物線の式で各目画像６１内の上瞼図の焦点距離を算出できる。異なる焦点距離は湾曲度の違う上瞼を表わし、湾曲度の違う上瞼が目の異なる開閉状態を表わす。処理ユニット３はチェックにより処理された数枚の連続画像が対応して得られた焦点距離が所定の数値から徐々に無限大に逓増していることを判定すると、これら画像内に写り込んだ運転手の目が閉じられていると判定し、これによって閉眼を示す目の状態データ「１」を生成する。処理ユニット３は、検査によリ処理された数枚の連続画像が対応して得られた焦点距離が、無限大から徐々に所定の数値に低減することを判定すると、これら画像内に写り込んだ運転手の目が開いていると判定し、これによって開眼を示す目の状態データ「０」を生成する。

上記の説明から、撮像ユニット２で運転手の顔を予め設定した一定時間に撮影して、連続画像を対応して生成し、各画像が上記画像分析ステップを経た後で得られた分析結果は、開閉眼状態を表わす目の状態データに用いられ、つまり各画像内に表示される目の状態が分析され、そして、各画像の分析結果に基づいて運転手の入眠の有無を判定するための判定ステップを実行できることが分かる。例えば、予定枚数の画像において連続してｎ枚を超えた画像の分析された結果が「１」の場合（運転手の閉眼が一定時間を超えたことを示す）、或いは「１」の出現頻度が閾値（運転手の開眼や閉眼の頻度が高すぎることを示す）を超えた場合、処理ユニット３は、運転手が睡眠状態に入っていると判定し、またこれによって該出力ユニット４に注意喚起メッセージを生成させることができる。

従来の技術の、画像内の上瞼、下瞼を分析してから運転手の居眠りの有無を判定できる手法に比べて、本発明は画像内から対応する上瞼を分析することで、運転手の居眠りの有無を判定でき、従って本発明により迅速に居眠りをしている運転手に注意喚起する長所を有する。

図５、図６を参照しながら説明する。本発明において、画像内から目の画像を取り出す上記ｂ１ステップに関し、好ましくは以下のｂ１１〜ｂ１６のステップを含む。

ｂ１１）画像６から顔の画像６００を取り出す。画像６の内容は運転手の顔を含むだけではなく、除去予定部分を更に含む。除去予定部分は運転手の頭髮、首及び運転手背中の映像を含む。このステップにおいてＡｄａｂｏｏｓｔアルゴリズム及び若干の既存の画像処理技術により顔の画像を取り出す目的を達成できる。理想上、取り出した顔の画像６００において、大部分或いは完全に上記除去予定部分を除去する。

ｂ１２）顔画像６００内の両鼻の穴の中点６０１を見付ける。顔の画像内で両鼻の穴を見つける手法に関し、従来の技術において言及しているため、詳細な説明を省略する。顔の画像６００内の各鼻の穴が占めた領域（つまり鼻の穴領域）は、その他の領域に比べて明らかに黒くなり、大まかに各鼻の穴領域の最長横軸及び最長縦軸の交差点を取って各鼻の穴中点とすることができる。

ｂ１３）両鼻の穴中点６０１間の間隔Ｄを算出すると共に起算点座標Ａ（ｘ１、ｙ１）を決定する。起算点座標Ａ（ｘ１、ｙ１）を示す位置の点は、両鼻の穴の中点間の鼻央点に位置する。

ｂ１４）間隔Ｄ及び起算点座標Ａ（ｘ１、ｙ１）に基づき、基準点座標Ｂ（ｘ２、ｙ２）を算出する。座標は次式に示される関係となる。
（数１）
ｘ２＝ｘ１＋ｋ１×Ｄ
（数２）
ｙ２＝ｙ１＋ｋ２×Ｄ
ｋ１＝１．６〜１．８、ｋ２＝１．６〜１．８で、好しくはｋ１＝ｋ２とする。実際の検証結果によると、前述した方法を通じて算出した基準点座標Ｂ（ｘ２、ｙ２）を示す点は、顔の画像内の片目の中心点に、ちょうど又は非常に接近する。必要があれば、このステップにおいて間隔Ｄ及び起算点座標Ａ（ｘ１、ｙ１）に基づいて別の基準点座標Ｃ（ｘ３、ｙ３）を算出できる。座標は次式に示される関係となる。
（数３）
ｘ３＝ｘ１−ｋ１×Ｄ
（数４）
ｙ３＝ｙ１＋ｋ２×Ｄ

ｂ１５）基準点座標Ｂ（ｘ２、ｙ２）に基づいて、顔の画像６００内で矩形枠Ｒ１を定義する。基準点座標Ｂ（ｘ２、ｙ２）を示す位置の点は、矩形枠Ｒ１の中心点で、矩形枠Ｒ１の水平方向の幅ｗ１＝３０〜５０ｐｉｘｅｌで矩形枠Ｒ１の垂直方向の幅ｗ２＝１５〜２９ｐｉｘｅｌで、且つｗ１＞ｗ２となる。好ましくは、ｗ１＝４０ｐｉｘｅｌ、ｗ２＝２５ｐｉｘｅｌとなる。必要がある場合、このステップにおいて基準点座標Ｃ（ｘ３、ｙ３）に基づいて顔画像６００内でサイズが矩形枠Ｒ１と同じ別の矩形枠Ｒ２を定義する。基準点座標Ｃ（ｘ３、ｙ３）が表わす位置の点は、矩形枠Ｒ２の中心点となる。

ｂ１６）矩形枠Ｒ１で囲う範囲内から上記目の画像６１を取り出し、図４を参照にする。必要がある場合、このステップにおいて別の矩形枠Ｒ２の顔の画像６００から別の目の画像６１を取り出すことができる。

実際の検証結果によると、ｂ１５ステップによって定義した矩形枠Ｒ１は、顔の画像６００内の片目の周りをちょうど囲い、目の直上にある眉毛はこの矩形枠内に入ってこない（或いは、ただ少しの部分のみがこの矩形枠内に入る）。目の直下にある頬骨もこの矩形枠内に入ってこない（或いは、ただ少しの部分のみがこの矩形枠内に入る）。別の矩形枠Ｒ２も同様とする。これは、ｂ１６ステップにおいて得られたいずれか目の画像の内容は目を含み、且つ、いずれか目の画像が従来の技術内で言及された目の探索領域より小さい。

上記ａ〜dのステップの説明から処理ユニット３は実際上、目の探索方法を実施することを分かり、この方法には、
顔の画像内から両鼻の穴の中点を見付けることと、
両鼻の穴の中点間の間隔Ｄ及び両鼻の穴の中点間にある鼻央点を算出することと、
鼻央点との水平距離と垂直距離がそれぞれｋ１×Ｄ、ｋ２×Ｄで、且つｋ１＝１．６〜１．８、ｋ２＝１．６〜１．８となり、好ましくはｋ１＝ｋ２となる基準点を決定することと、
基準点を中心にして顔の画像内で矩形枠を定義し、矩形枠の水平方向の幅ｗ１＝３０〜５０ｐｉｘｅｌで、矩形枠の垂直方向の幅ｗ２＝１５〜２９ｐｉｘｅｌで、且つｗ１＞ｗ２となる。好ましくはｗ１＝４０ｐｉｘｅｌ、ｗ２＝２５ｐｉｘｅｌとなる。矩形枠は顔画像内の目をちょうど囲うことができ、これは本発明の上記方法を通じて確実に処理ユニット３に顔の画像内から目を見付けさせることができることを示す。

その他、処理ユニット３は上記ステップを実行する過程において、必要なデータ或いは生成したデータ（例えば顔の画像、目の画像）が、ストレージユニット１内に保存され、これらデータが一時的保存又は永久的な保存は、実際の実行ニーズを見て決定する。

従来の技術に比べて、本発明を通じて得られた目の画像或いは矩形枠内に目を含むだけではなく、且つ従来の技術内で言及された目の探索領域より小さく、処理ユニット３の探索領域が相対的に小さくなり、容易に且つ迅速に上瞼目のような部位を見つけられる。

１ ストレージユニット
２ 撮像ユニット
１０ 居眠り注意喚起プログラム
３ 処理ユニット
４ 出力ユニット
５ 入力ユニット
６ 画像
６００ 顔の画像
６０１ 鼻の穴の中点
６１ 目の画像

Claims (5)

1. ストレージユニットと、撮像ユニットと、処理ユニットと、出力ユニットとを含み、前記ストレージユニットは居眠り注意喚起プログラムを保存し、前記撮像ユニットが運転手の顔を撮影して複数枚の連続画像を生成するために用いられ、前記処理ユニットが、前記撮像ユニットと、前記ストレージユニットと、前記出力ユニットに電気的接続し、且つ、前記居眠り注意喚起プログラムをロード並びに実行した時、前記居眠り注意喚起プログラムが、
   前記撮像ユニットで生成した前記画像を受信するステップと、
   各画像に対して分析対象の前記画像内から目の画像を取り出し、上瞼図を得るため前記目の画像を処理して前記上瞼図の湾曲度を測定し、並びに、測定結果によって目の状態データを生成することとを含む画像分析ステップを実行するステップと、
   前記画像を分析して得られた前記目の状態データに基づいて、前記運転手の入眠の有無を判定するための判定ステップを実行するステップと、
   判定結果で入眠となった場合、前記出力ユニットから注意喚起メッセージが生成されるステップと、を前記処理ユニットに実行させ、
   前記処理ユニットは、
   前記画像から顔の画像を取り出すステップと、
   前記顔の画像内の両鼻の穴の中点を見付けるステップと、
   前記両鼻の穴の中点間の間隔Ｄを計算すると共に、前記両鼻の穴の中点間の鼻央点に位置する起算点座標Ａ（ｘ１、ｙ１）を決定するステップと、
   前記間隔Ｄ、及び、前記起算点座標Ａ（ｘ１、ｙ１）に基づいて、座標は次式に示される関係となり、
   （数１）
   ｘ２＝ｘ１＋ｋ１×Ｄ
   （数２）
   ｙ２＝ｙ１＋ｋ２×Ｄ
   式内のｋ１＝１．６〜１．８、ｋ２＝１．６〜１．８とする基準点座標Ｂ（ｘ２、ｙ２）を計算するステップと、
   前記基準点座標Ｂ（ｘ２、ｙ２）が示す位置の点は、矩形枠の中心点となり、前記矩形枠の水平方向の幅が、前記矩形枠の垂直方向の幅を上回る前記矩形枠を、前記基準点座標Ｂ（ｘ２、ｙ２）に基づく前記顔画像内で定義するステップと、
   前記矩形枠で囲う範囲内から、前記顔の画像内の目を含む前記目の画像を取り出すステップと、を実行することで、分析対象の前記画像内から前記目の画像を取り出すことを特徴とする居眠り注意喚起装置。
2. ｋ１＝ｋ２とすることを特徴とする請求項１に記載の居眠り注意喚起装置。
3. ストレージユニットと、撮像ユニットと、処理ユニットと、出力ユニットとを含み、前記ストレージユニットは居眠り注意喚起プログラムを保存し、前記撮像ユニットが運転手の顔を撮影して複数枚の連続画像を生成するために用いられ、前記処理ユニットが、前記撮像ユニットと、前記ストレージユニットと、前記出力ユニットに電気的接続し、且つ、前記居眠り注意喚起プログラムをロード並びに実行した時、前記居眠り注意喚起プログラムが、
   前記撮像ユニットで生成した前記画像を受信するステップと、
   各画像に対して分析対象の前記画像内から目の画像を取り出し、上瞼図を得るため前記目の画像を処理して前記上瞼図の湾曲度を測定し、並びに、測定結果によって目の状態データを生成することとを含む画像分析ステップを実行するステップと、
   前記画像を分析して得られた前記目の状態データに基づいて、前記運転手の入眠の有無を判定するための判定ステップを実行するステップと、
   判定結果で入眠となった場合、前記出力ユニットから注意喚起メッセージが生成されるステップと、を前記処理ユニットに実行させ、
   前記処理ユニットは
   前記画像から顔の画像を取り出すステップと、
   前記顔の画像内から両鼻の穴中点を見付けるステップと、
   前記両鼻の穴中点間の間隔Ｄ、及び、前記両鼻の穴中点間にある鼻央点を算出するステップと、
   前記鼻央点との水平距離、及び、垂直距離が、それぞれｋ１×Ｄ、ｋ２×Ｄで、且つ、ｋ１＝１．６〜１．８、ｋ２＝１．６〜１．８となる基準点を決定するステップと、
   前記基準点を中心にして前記顔の画像内で、その水平方向の幅が、その垂直方向の幅を上回る矩形枠を定義するステップと、
   前記矩形枠で囲まれた範囲内から、前記顔の画像内の目を含む前記目の画像を取り出すステップと、を実行することで、分析対象の前記画像内から、前記目の画像を取り出すことを特徴とする居眠り注意喚起装置。
4. ｋ１＝ｋ２とすることを特徴とする請求項３に記載の居眠り注意喚起装置。
5. ストレージユニットと、撮像ユニットと、処理ユニットと、出力ユニットとを含み、前記ストレージユニットは居眠り注意喚起プログラムを保存し、前記撮像ユニットが運転手の顔を撮影して複数枚の連続画像を生成するために用いられ、前記処理ユニットが、前記撮像ユニットと、前記ストレージユニットと、前記出力ユニットに電気的接続し、且つ、前記居眠り注意喚起プログラムをロード並びに実行した時、前記居眠り注意喚起プログラムが、
   前記撮像ユニットで生成した前記画像を受信するステップと、
   各画像に対して分析対象の前記画像内から目の画像を取り出し、上瞼図を得るため前記目の画像を処理して前記上瞼図の湾曲度を測定し、並びに、測定結果によって目の状態データを生成することとを含む画像分析ステップを実行するステップと、
   前記画像を分析して得られた前記目の状態データに基づいて、前記運転手の入眠の有無を判定するための判定ステップを実行するステップと、
   判定結果で入眠となった場合、前記出力ユニットから注意喚起メッセージが生成されるステップと、を前記処理ユニットに実行させ、
   前記処理ユニットは、
   前記画像から顔の画像を取り出すステップと、
   前記顔の画像内から両鼻の穴の中点を見付けるステップと、
   前記両鼻の穴の中点間の間隔Ｄ、及び、前記両鼻の穴の中点間にある鼻央点を計算するステップと、
   前記間隔Ｄ、及び、前記鼻央点に基づいて基準点を決定するステップと、
   前記基準点に基づいて、前記顔の画像内で、その中心点が、前記基準点となる矩形枠を定義するステップと、
   前記矩形枠で囲まれる範囲内から、前記顔の画像内の目を含む前記目の画像を取り出すステップと、を実行することで、分析対象の前記画像内から、前記目の画像を取り出すことを特徴とする居眠り注意喚起装置。

Images