JP4725096B2

JP4725096B2 - 覚醒度判断装置

Info

Publication number: JP4725096B2
Application number: JP2004370099A
Authority: JP
Inventors: 欣也岩本; 雅之金田; 治夫松尾
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2004-12-21
Filing date: 2004-12-21
Publication date: 2011-07-13
Anticipated expiration: 2024-12-21
Also published as: JP2006178676A

Description

本発明は、覚醒度判断装置に関する。

従来、被検出者の開閉眼状態を一定時間監視し、長めの閉眼状態が増えたことを検出したときに、被検出者が居眠り状態であると判定する装置が知られている（例えば特許文献１参照）。
特開２００２−２７９４１０号公報

しかしながら、従来装置では、居眠りの検出、すなわち被検出者の覚醒度の低下を判断するにあたり、被検出者の開閉眼状態を一定時間監視しなければならず、時間が掛かってしまう。

本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、覚醒度判断について時間の短縮化が可能な覚醒度判断装置を提供することにある。

本発明によれば、覚醒度判断装置は、眼画像取得手段により取得された眼画像から、眼全体の領域を示す眼領域に占める黒眼領域の比率である黒眼比率、または、前記眼領域に占める白眼領域の比率である白眼比率を眼球状態として検出する眼球状態検出手段を備えている。さらに、覚醒度判断装置は、眼球状態検出手段によって検出された眼球状態に基づいて、前記被検出者が白眼を剥いている状態を検出した場合に、前記被検出者の覚醒度が低下していると判断する覚醒度判断手段を具備している。

本発明によれば、眼球の状態から、白眼を剥いている状態を検出した場合に、被検出者の覚醒度が低下していると判断している。また、一般的に被検出者は、白眼を剥いている状態において眠気を感じている傾向にある。このため、白眼を剥いている状態を検出した場合に、被検出者の覚醒度が低下していると判断できる。

本発明によれば、眼領域に占める黒眼領域の比率、或いは眼領域に占める白眼領域の比率に基づいて、被検出者が白眼を剥いている状態を検出し、白眼を剥いている状態を検出した場合に、被検出者の覚醒度が低下していると判断するため、被検出者の眼を一定時間監視する必要がない。すなわち、覚醒度の低下は、例えば１画像のみから判断することができ、被検出者の眼を一定時間監視する必要がない。

従って、被検出者の覚醒度が低下していると判断されるまでに一定時間の監視を要することなく、覚醒度判断について時間の短縮化を図ることができる。

以下、本発明の好適な実施形態を図面に基づいて説明する。なお、各図において、同一又は同様の要素には同一の符号を付して説明を省略する。

図１は、本発明の第１実施形態に係る覚醒度判断装置の構成を示す機能ブロック図である。同図に示すように、覚醒度判断装置１は、被検出者の覚醒度が低下しているかを判断するものであって、眼画像取得手段ＣＬ１、眼球状態検出手段ＣＬ２、及び覚醒度判断手段ＣＬ３を備えている。

眼画像取得手段ＣＬ１は、被検出者の眼を含む眼画像を取得するものである。また、眼画像取得手段ＣＬ１は、入力した眼画像のデータを、眼球状態検出手段ＣＬ２に送信する構成とされている。

眼球状態検出手段ＣＬ２は、眼画像取得手段ＣＬ１により取得された眼画像から、眼球の状態を検出するものである。また、眼球状態検出手段ＣＬ２は、検出した眼球状態のデータを覚醒度判断手段ＣＬ３に送信する構成となっている。

覚醒度判断手段ＣＬ３は、眼球状態検出手段ＣＬ２によって検出された眼球の状態が白眼を剥いている状態であれば、被検出者の覚醒度が低下していると判断するものである。また、一般的に被検出者は、白眼を剥いている状態において眠気を感じている傾向にある。このため、覚醒度判断手段ＣＬ３は、白眼を剥いている状態を検出した場合に、被検出者の覚醒度が低下していると判断する。

また、覚醒度判断手段ＣＬ３は、例えば警報装置などに接続されており、覚醒度が低下したことを示す情報を警報装置などに送信する構成となっている。これにより、被検出者が眠気を感じている場合に、報知動作などを行うことができ、被検出者を覚醒させることができる。

図２は、図１に示した眼画像取得手段ＣＬ１の詳細を示すブロック図である。同図に示すように、眼画像取得手段ＣＬ１は、顔画像取得手段ＣＬ１１と眼検出手段ＣＬ１２とを有している。顔画像取得手段ＣＬ１１は、被検出者の前方略正面に設置され、被検出者の顔全体を撮像するものである。また、眼検出手段ＣＬ１２は、顔画像撮像手段ＣＬ１１によって撮像された顔全体を含む画像から被検出者の眼を検出するものである。また、眼画像取得手段ＣＬ１は、眼検出手段ＣＬ１２によって検出された眼を含み顔画像よりも小さくされた微小画像を、顔画像から抽出して眼画像とする構成となっている。

さらに、眼画像取得手段ＣＬ１は、眼追跡手段ＣＬ１３を有している。眼追跡手段ＣＬ１３は、運転者の眼を追跡するものである。具体的に眼追跡手段ＣＬ１３は、眼検出手段ＣＬ１２により眼の位置が検出されると、検出された眼の位置の座標値を記憶する。そして、眼追跡手段ＣＬ１３は、新たに顔画像が得られると、記憶した座標位置を基準にして、新たな顔画像に対し、顔画像よりも小さい追跡領域を設定する。

その後、眼位置検出手段ＣＬ１２は、画像が入力される毎に、追跡領域内において眼の位置を検出し、眼画像取得手段ＣＬ１は、追跡領域内から検出された眼の位置をもとに、眼画像を抽出して出力することとなる。

図３は、図１に示した眼球状態検出手段ＣＬ２の詳細を示すブロック図である。同図に示すように、眼球状態検出手段ＣＬ２は、眼領域検出手段ＣＬ２１、眼領域基準値設定手段ＣＬ２２、黒眼領域検出手段ＣＬ２３、眼領域黒眼比率算出手段ＣＬ２４、及び眼領域黒眼比率基準値設定手段ＣＬ２５を有している。

眼領域検出手段ＣＬ２１は、眼画像取得手段ＣＬ１により取得された眼画像から、眼全体の領域を示す眼領域を検出するものである。具体的に眼領域検出手段ＣＬ２１は、眼の外径輪郭から眼領域を抽出する。眼領域基準値設定手段ＣＬ２２は、眼領域検出手段ＣＬ２１によって検出された眼領域の大きさの基準値を設定するものである。この眼領域基準値設定手段ＣＬ２２は、眼領域の大きさを所定数サンプリングして統計的に有意な基準値を設定する。

黒眼領域検出手段ＣＬ２３は、眼画像取得手段ＣＬ２１によって得られた眼画像から、黒眼の領域を検出するものである。この黒眼領域検出手段ＣＬ２３は、黒眼の外径輪郭を検出することで、黒眼の領域を検出する。眼領域黒眼比率算出手段ＣＬ２４は、眼領域検出手段ＣＬ２１によって検出された眼領域、及び黒眼領域検出手段ＣＬ２３によって検出された黒眼の領域に基づいて、眼領域に占める黒眼の領域の比率（以下黒眼比率という）を算出するものである。すなわち、眼領域黒眼比率算出手段ＣＬ２４は、両者の領域の大きさから、黒眼比率を求める。

眼領域黒眼比率基準値設定手段ＣＬ２５は、眼領域黒眼比率算出手段ＣＬ２４によって算出された黒眼比率の基準値を設定するものである。具体的に眼領域黒眼比率基準値設定手段ＣＬ２５は、黒眼比率を所定数サンプリングして統計的に有意な基準値を設定する。

そして、眼球状態検出手段ＣＬ２は、これらの各部ＣＬ２１〜ＣＬ２５による処理によって、白眼を剥いている状態を検出する構成となっている。なお、本装置１は、自動車、鉄道車両、船舶の運転者やプラントのオペレータ等の覚醒度低下の判断に用いることができるが、以下の説明においては、自動車の運転者の覚醒度低下判断に用いられる覚醒度判断装置１を例に説明することとする。

図４は、本発明の実施形態に係る覚醒度判断装置１のハード構成図である。同図に示すように、ＴＶカメラ２が自動車のインストルメント上に設けられている。ＴＶカメラ２は、運転者を略正面から撮像できる位置に設置されており、少なくとも運転者の顔全体を撮影するようにされている。すなわち、このＴＶカメラ２が図２を参照して説明した顔画像取得手段ＣＬ１１を構成している。

また、ＴＶカメラ２の入力画像は、本実施形態では、例えば横方向（Ｘ）６４０画素、縦方向（Ｙ）４８０画素からなる。ＴＶカメラ２で撮像された入力画像は、インストルメント裏側など車体内部に設置されたマイクロコンピュータ（以下、マイコンという）３に画像データとして入力される。

マイコン３には、眼検出手段ＣＬ１２、眼追跡手段ＣＬ１３、眼球状態検出手段ＣＬ２、覚醒度判断手段ＣＬ３を構成するプログラムロジックがプログラミングされている。そして、マイコン３は、ＴＶカメラ２からの顔全体を含む画像のデータを入力すると、プログラムを実行して、運転者の覚醒度の低下を判断することとなる。

また、ＴＶカメラ２等は、図５に示す構成であってもよい。図５は、顔画像取得手段ＣＬ１１の他の例を示すハード構成図である。この例の場合、顔画像取得手段ＣＬ１１としてのＴＶカメラ２は、運転者の頭部に取り付けられている。また、ＴＶカメラ２は、ミラー４を介して眼を撮像するように構成されている。このように、ミラー４を介して眼の周辺部のみを撮像することにより、図１に示した眼検出手段ＣＬ１２及び眼追跡手段ＣＬ１３を不要にし、構成及び処理の簡素化を図ることができる。

なお、ＴＶカメラ２は、ミラー４の位置に設置され、直接に眼を撮像する構成とされてもよい。さらに、ＴＶカメラ２は、インストルメント上に設置されされ、運転者に視点の位置を自動追尾しながら眼を撮像する構成とされてもよい。

次に、本実施形態に係る覚醒度判断装置１の詳細動作について説明する。図６は、第１実施形態に係る覚醒度判断装置１の動作の概略を示すメインフローチャートである。同図に示すように、まず、処理が開始されると、マイコン３は、初期値入力処理を実行する（ＳＴ１０）。この初期値入力の処理では、サンプリング時間などの各種定数が読み込まれる。

その後、マイコン３は、処理フレームカウンタ「ｉ」を「０」に初期化する（ＳＴ１１）。初期化後、マイコン３は、終了判断処理を実行する（ＳＴ１２）。この際、マイコン３は、例えばエンジンが起動しているか等に基づいて判断を行う。

そして、マイコン３は、「ＳＴＯＰ」か否かを判断する（ＳＴ１３）。例えばエンジンが起動されていないと判断した場合、マイコン３は、「ＳＴＯＰ」であると判断し（ＳＴ１３：ＹＥＳ）、処理は終了することとなる。

一方、エンジンが起動され走行しているなどにより、「ＳＴＯＰ」でないと判断した場合（ＳＴ１３：ＮＯ）、マイコン３は、眼画像の取得処理を実行する（ＳＴ１４）。これにより、図２に示す構成例にあっては、ＴＶカメラ２が運転者の顔全体を撮像し、マイコン３が顔全体の画像から眼画像を取得する。また、図３に示す構成の場合、ＴＶカメラ２は直接に眼画像を取得することとなる。また、この処理は、マイコン３が眼画像取得手段ＣＬ１に相当するプログラムを実行することにより為される。

図７は、図６に示した眼画像取得処理（ＳＴ１４）の詳細な動作を示すフローチャートである。本装置１が図２に示す構成を採用している場合、以下の処理により眼画像が取得される。

まず、同図に示すように、ステップＳＴ１３にて「ＮＯ」と判断された場合、ＴＶカメラ２は、運転者の顔全体を撮像することにより顔画像を取得する（ＳＴ３０）。そして、マイコン３は、眼の候補位置の特定処理を実行する（ＳＴ３１）。この処理により、画像全体から眼の候補位置が１又は複数特定される。具体的には、画像全体から左眼及び右眼である可能性を有する候補の位置が１又は複数特定される。

その後、マイコン３は、眼判定処理を実行する（ＳＴ３２）。すなわち、ステップＳＴ３１により特定された候補のうち１つを対象とし、その１つが眼であるか否かを判断する。この処理において、マイコン３は、候補が眼であると判断した場合、この眼を含み顔画像よりも小さくされた微小画像を、顔画像から抽出して眼画像とする。

その後、マイコン３は、眼判定処理（ＳＴ３２）の結果に基づいて候補が眼であると判定されたか否かを判断する（ＳＴ３３）。ここで、ステップＳＴ３２において候補が眼であると判定されず、眼画像が取得できていない場合には、マイコン３は、候補が眼でなかったと判断する（ＳＴ３３：ＮＯ）。そして、マイコン３は、ステップＳＴ３１にて特定された候補のすべてについて判定したか否かを判断する（ＳＴ３４）。すべてについて判定した場合（ＳＴ３４：ＹＥＳ）、処理は図６のステップＳＴ１５に移行する。

一方、すべてに対して判定していない場合（ＳＴ３４：ＮＯ）、処理はステップＳＴ３２に戻る。そして、マイコン３は、ステップＳＴ３２にて、他の候補を選択し、再度、選択した候補が眼であるか否かを判断することとなる。

ところで、ステップＳＴ３２において候補が眼であると判断され、眼画像が抽出された場合、マイコン３は候補が眼であったと判断する（ＳＴ３３：ＹＥＳ）。そして、マイコン３はステップＳＴ３２において抽出された眼画像を取得し、処理はステップＳＴ１５に戻る。

以上のようにして、本装置１は眼画像を取得する。なお、眼である可能性を有する候補を特定する処理（ＳＴ３１）及び眼判定処理（ＳＴ３２）は、マイコン３が眼検出手段ＣＬ１２に相当するプログラムを実行することによって、以下のようにして行われる。

図８は、図７に示した眼候補位置特定処理（ＳＴ３１）の詳細を示すフローチャートである。同図において、まず、マイコン３は、撮像した画像のデータ全体を、全体画像として画像メモリに保存する（ＳＴ４０）。

次に、マイコン３は、ステップＳＴ４１の判断を行う。この判断については後述する。ステップＳＴ４１において「ＮＯ」と判断された場合、マイコン３は、全体画像の縦方向（Ｙ軸方向）の画素列のうち１ラインのみに沿って濃度値の相加平均演算を行う（ＳＴ４２）。

この相加平均演算は、例えば縦方向に並ぶ所定数の画素について、濃度の平均値を求め、所定数の画素のうちの１画素の濃度値を平均値とする処理である。例えば、所定数が「５」である場合、画面上方から１〜５番目に位置する画素を選択して平均値を求め、この平均値を５番目の画素の濃度値とする。次に、画面上方から２〜６番目に位置する画素を選択して平均値を求め、この平均値を６番目の画素の濃度値とする。そして、これを順次繰り返し、１ラインすべての画素について濃度の平均値を求める。

このように相加平均演算することで、本装置１は、画像データ撮影時の濃度変化の小さなバラツキを無くすことができ、濃度値の大局的な変化を捉えることができる。

相加平均演算後、マイコン３は、縦方向に相加平均値の微分演算を行う（ＳＴ４３）。そして、マイコン３は、微分値に基づいてポイント抽出を行う（ＳＴ４４）。このポイント抽出とは、縦方向の画素列に沿って画素濃度の相加平均値の局所的な高まり毎に１個ずつの画素を定める処理であって、例えば相加平均値の微分値が負から正に変化する画素を定める処理である。

ポイントとなる画素を定めた後、マイコン３は、現在ポイント抽出していたラインを次ラインへ切り替える（ＳＴ４５）。

そして、マイコン３は、縦方向の全ラインでのポイント抽出が終了したか否かを判断する（ＳＴ４１）。全ラインでのポイント抽出が終了していないと判断した場合（ＳＴ４１：ＮＯ）、前述のステップＳＴ４２〜ＳＴ４５の処理を経て、再度ステップＳＴ４１に戻る。

一方、全ラインでのポイント抽出が終了したと判断した場合（ＳＴ４１：ＹＥＳ）、隣り合う各ラインの抽出ポイントのＹ座標値を比較する。そして、Ｙ座標値が所定値以内の場合、連続データとして、（i）連続データのグループ番号、（ii）連続開始ライン番号、（iii）連続データ数をメモリする。また、（iv）連続データを構成する各抽出ポイントの縦方向位置の平均値（その連続データの代表上下位置）、（v）連続開始ラインと終了ラインの横方向位置の平均値（その連続データの代表左右位置）をメモリする（ＳＴ４６）。

なお、本実施形態では、眼を検出対象としているため、連続データは横方向比較的長く延びるものとなる。このため、マイコン３は、連続データ形成後、横方向に所定値以上続くことを条件に連続データを選択することができる。

その後、マイコン３は、各連続データについて代表座標値Ｃを定め、これを基準として存在領域ＥＡを設定する（ＳＴ４７）。この代表座標値Ｃとは、ステップＳＴ４６の処理において、メモリされたＸ座標値の平均値及びＹ座標値の平均値により決定されるものである（上記iv，vに示す平均値）。

代表座標値Ｃを定めて存在領域ＥＡを設定した後、処理は、図７のステップＳＴ３２に移行する。以上が、眼候補位置特定処理（ＳＴ３１）である。以上のようにして、求められた連続データが眼の候補となり、連続データの代表座標値Ｃが眼の候補点の位置となる。

図９は、図８に示したステップＳＴ４６の処理にて形成される連続データ、並びにステップＳＴ３７の処理にて定められる代表座標値Ｃ及び存在領域ＥＡを示す説明図である。なお、眼候補位置特定処理（ＳＴ３１）は、１又は複数の眼の候補を特定するものであるが、図９では複数の眼の候補が特定された場合を例に説明する。

同図に示すように、マイコン３は、複数の連続データＧを形成している。これは、眼を検出対象としているため、眼と似た特徴量を示すもの（口、鼻、眉毛など）が検出されるためである。

連続データＧは、前述したように、縦方向の画素列ごとに定められた抽出ポイントが画像横方向に隣接する場合に形成されるものである。そして、この連続データを形成する横方向両端画素のＸ座標値の平均値と、連続データを形成する各画素のＹ座標値の平均値により、代表座標値Ｃが決定される。さらに、存在領域ＥＡは、この代表座標値Ｃを基準として設定される。

次に、存在領域ＥＡの設定方法を説明する。図１０は、図９に示した存在領域ＥＡの大きさを示す説明図であり、図１１及び図１２は数人の眼の大きさを調べた横Ｘａ、縦Ｙａの長さの統計データを示す説明図であり、図１３は存在領域ＥＡの画像上の位置を決定する方法を示す説明図である。

存在領域ＥＡの設定は、まず、存在領域ＥＡの大きさが決定され、その後、存在領域ＥＡの画像上における位置が定められることでなされる。

存在領域ＥＡの大きさは、ノイズ（顔の皺や明暗などを抽出してしまう）の低減や処理速度を落とさないためにも、可能な限り小さい領域が良い。本実施形態では、数人の眼の大きさを調べ、それに余裕分（例えば×１．５倍）を加味して、存在領域ＥＡの大きさを決定している。すなわち、図１１及び図１２のように、眼の縦横寸法のデータを集め、その分布の例えば９５％をカバーする寸法に余裕分を加味して決定している。

そして、存在領域ＥＡの大きさは、図１０にも示すように、上記９５％をカバーする寸法、すなわち横寸法ｘａ、縦寸法ｙａに余裕分（×１．５）を加味して決定している。なお、存在領域ＥＡの大きさについては、画像処理により眼の幅や高さを推定し、縦横の大きさに余裕分を加える大きさとしてもよい。

このように存在領域ＥＡの大きさが決定された後、図１３に示すように、例えば眼の座標値（ｘ１，ｙ１）を基準に、基準点Ｐを決める。基準点Ｐは、眼の座標値（ｘ１，ｙ１）から距離ｘ２，ｙ２だけ離れた位置に定められるものである。

そして、マイコン３は、点Ｐを基準に存在領域ＥＡの寸法ｘ３，ｙ３を描画する。これにより、存在領域ＥＡの位置が決定される。その後、画像全体で見つかった連続データＧすべてについて存在領域ＥＡを設定する。

なお、上記のｘ２及びｙ２はｘ３，ｙ３の１／２であって、予め存在領域ＥＡが眼の中心にくるような長さとすることが望ましい。

以上の図８〜図１３の処理により、図７の眼候補位置特定処理（ＳＴ３１）がなされる。次に、図７に示した眼判定処理（ＳＴ３２）を説明する。図１４は、図７に示した眼判定処理（ＳＴ３２）の詳細を説明するフローチャートである。

まず、マイコン３は、図８の処理にて求められた存在領域ＥＡの画像データを微少画像ＩＧとして画像メモリに保存する（ＳＴ５０）。全体画像と画像メモリに保存される微小画像ＩＧとの状態を図１５に示す。図１５は、微小画像を示す説明図である。同図に示すように、マイコン３は、全体画像から存在領域ＥＡ内の画像を抽出し、微小画像ＩＧとしている。

再度、図１４を参照して説明する。マイコン３は、全体画像の代表座標値Ｃを微少画像ＩＧの代表座標値ＩＣとする。そして、マイコン３は、微少画像ＩＧの代表座標値ＩＣを基準とした範囲ＡＲを設定し、範囲ＡＲの濃度情報をもとに二値化閾値を設定する（ＳＴ５１）。

範囲ＡＲでの二値化閾値の算出方法の一例を、図１６を参照して説明する。図１６は、範囲ＡＲでの二値化閾値の算出方法の説明図である。まず、マイコン３は、範囲ＡＲにおいて縦方向に数ラインの濃度値を読み出す。

そして、マイコン３は、各ラインにおいて濃度値の最も高い（明るい）濃度値と、最も低い（暗い）濃度値をメモリしていく。全ラインのメモリが終了したら、マイコン３は、各ラインの最も高い（明るい）濃度値の中で、一番低い濃度値（皮膚の部分）と、各ラインの最も低い（暗い）濃度値の中で、一番低い濃度値（眼の部分）とを求める。そして、その中央値を二値化閾値とする。

なお、上記した範囲ＡＲは、好適に二値化閾値を決定するため、眼の黒い部分と眼周囲の皮膚の白い部分が入るように設定される。また、範囲ＡＲは、画像の明るさのバラツキによる影響を少なくするために必要最小限の大きさにされる。

さらに、二値化閾値は、範囲ＡＲ内の眼の一番低い（暗い）濃度値と、皮膚部分の一番低い（暗い）濃度値の中央値とすることで、皮膚の部分から眼の部分を切り出すのに適した値になる。

ここで、二値化閾値を決定するのに皮膚部分における一番低い（暗い）濃度値を用いている理由は、次の通りである。例えば、範囲ＡＲの一部に直射光が当たっている場合、皮膚部分は、眼球の黒色部分に比して、光を強く反射する傾向にある。このため、本装置１は、多くのノイズともいえる光を入力してしまうこととなる。

この場合、濃度値を読み出す範囲ＡＲを極力小さくしても、画像がノイズ光による影響を受け、本装置１は正確な二値化閾値を決定できなくなってしまう。このため、本実施形態では、強く反射している可能性がある濃度値の高い部分を用いず、皮膚の部分の濃度値の一番低い（暗い）濃度値を用いることで、より適切な二値化閾値を決定できるようにしている。

再度、図１４を参照して説明する。二値化閾値の決定後、マイコン３は、決定した二値化閾値を用いて微少画像ＩＧを二値化処理し、二値画像ｂＧとして画像メモリに保存する（ＳＴ５２）。

次に、マイコン３は、全体画像の代表座標値Ｃを二値画像ｂＧの位置ｂＣとし、この位置ｂＣを初期位置として設定する（ＳＴ５３）。その後、マイコン３は、設定位置が黒画素か否かを判断する（ＳＴ５４）。ここでは、まず、ステップＳＴ５３において設定された初期位置が黒画素か否か判断される。

そして、設定位置が黒画素でないと判断した場合（ＳＴ５４：ＮＯ）、マイコン３は、設定位置を上下左右に１画素ずつずらす（ＳＴ５５）。その後、マイコン３は、ステップＳＴ５５においてずらされた設定位置が黒画素か否かを判断する。そして、マイコン３は、設定位置が黒画素と判断されるまで、この処理を繰り返す。

一方、設定位置が黒画素であると判断した場合（ＳＴ５４：ＹＥＳ）、マイコン３は、その黒画素の連結成分を候補オブジェクトとして設定する（ＳＴ５６）。そして、マイコン３は、候補オブジェクトの幾何形状を算出する（ＳＴ５７）。

算出後、マイコン３は、予め記憶している眼のテンプレートの幾何形状と候補オブジェクトの幾何形状とを比較する（ＳＴ５８）。候補オブジェクトと眼のテンプレートとの幾何形状の比較方法の一例を、図１７を参照して説明する。

図１７は、候補オブジェクトと眼のテンプレートとの幾何形状の比較方法の説明図であり、（ａ）は候補オブジェクトが最適な状態で撮像された場合を示し、（ｂ）は眼の右側が欠けた状態を示し、（ｃ）は眼の左側が欠けた状態を示している。

眼の画像を二値化した形状は光環境が良く安定した画像であれば図１７（ａ）に示すようなものになる。ところが、車室内に直射日光が一側から当たる等して光環境が悪化したときには、図１７（ｂ）及び（ｃ）に示すように、一部が欠けた形状になることもある。

マイコン３は、上記のような候補オブジェクトを正確に判断するために、３つの条件により比較判断を行う。まず、条件（i）としては、横幅が眼の相場値の２／３以上あり、且つ上に凸の所定範囲の曲率を持っていることである。次に、条件（ii）としては、黒眼の左側の凹み形状があることである。また、条件（iii）としては、黒眼の右側の凹み形状があることである。

再度、図１４を参照して説明する。幾何形状の比較後、マイコン３は、上記３つの条件に基づき、比較判断を行い、候補オブジェクトと眼テンプレートとの幾何形状が一致するか否かを判断する（ＳＴ５９）。ここで、図１７（ｂ）及び（ｃ）のように眼の形状の一部が欠けている場合を考慮し、マイコン３は、条件（i）及び（ii）を満たすもの、並びに条件（ii）及び（iii）を満たすものを一致すると判断する。

一致しないと判断した場合（ＳＴ５９：ＮＯ）、マイコン３は、その候補オブジェクトが眼でないと判定し（ＳＴ６０）、その後、処理は、図７のステップＳＴ３３に移行する。

一方、一致すると判断した場合（ＳＴ５９：ＹＥＳ）、マイコン３は、その候補オブジェクトを眼であると判定する（ＳＴ６１）。そして、判定された候補オブジェクトの座標値（全体画像における代表座標値Ｃに相当する）を、画像上における眼の座標値としてメモリする（ＳＴ６２）。

その後、マイコン３は、一致と判断された候補オブジェクトを含む微小画像ＩＧを眼画像ＭＧ_ｉとして、画像メモリに保存する（ＳＴ６３）。そして、処理は、図７のステップＳＴ３３に移行する。

なお、図１４の処理では、二値化閾値を用いて二値化した候補オブジェクトを検出している。このため、本実施形態では、眼の部分と他の部分（背景や眼以外の顔部分）とを明確に区別し、眼を正確に捉えることができる。さらには、候補オブジェクトの幾何形状を用いた判定をより正確に行うことができ、眼の位置検出精度をより向上させることができる。

以上、図７〜図１７を参照して説明したように、マイコン３（眼検出手段ＣＬ１２）は、入力した画像全体から、眼画像を取得することとなる。そして、前述したように、図９のステップＳＴ３３において、眼画像が取得されている場合、「ＹＥＳ」と判断されて、処理は図６のステップＳＴ１５に移行することとなる。

再度、図６を参照する。ステップＳＴ１５において、マイコン３は、眼画像を取得できたか否かを判断する（ＳＴ１５）。ここで、眼画像が取得できなかったと判断した場合（ＳＴ１５：ＮＯ）、処理はステップＳＴ２１に移行する。一方、眼画像が取得できたと判断した場合（ＳＴ１５：ＹＥＳ）、マイコン３は、眼球状態検出処理を実行する（ＳＴ１６）。この処理において、マイコン３は、眼球状態検出手段ＣＬ２に相当するプログラムを実行して、眼球の状態を検出することとなる。

図１８は、図６に示した眼球状態検出処理（ＳＴ１６）の詳細な動作を示すフローチャートである。同図に示すように、マイコン３は、眼領域検出処理を実行する（ＳＴ７０）。この処理において、マイコン３は、眼領域検出手段ＣＬ２１に相当するプログラムを実行して、眼画像から眼全体の領域を示す眼領域を検出する。

図１９は、眼画像の一例を示す説明図である。同図に示すような眼画像を取得した場合、マイコン３は、眼画像の縦画素列ごとに白方向から黒方向への変化点、黒方向から白方向への変化点を微分処理によって求める。すなわち、画像上側から下側に向かって各画素の濃度値を検出し、その濃度値が大きく変化する変化点を求めることとなる。

図２０は、微分処理後によって求めた変化点と眼画像との説明図である。画像上側から下側に向かって各画素の濃度値を検出して変化点を求めた場合、同図に示すように、肌と上瞼との境界が白方向から黒方向への変化点として検出される。また、黒眼と白眼との境界が黒方向から白方向への変化点として検出され、白眼と下瞼との境界が白方向から黒方向への変化点として検出される。また、下瞼と肌との境界が黒方向から白方向への変化点として検出される。

そして、マイコン３は、各変化点を画像横方向につながるようにグルーピングする。グルーピング処理後の様子を図２１に示す。図２１は、グルーピング処理後の様子を示す説明図である。同図に示すように、グルーピングを行うことにより、エッジラインなるものが取得される。

ここで、エッジライン１が肌と上瞼との境界を示し、エッジライン２が黒眼と白眼との境界を示し、エッジライン３が白眼と下瞼との境界を示し、エッジライン４が下瞼と肌との境界を示す。

その後、マイコン３は、各エッジラインをペアにして、眼領域を検出する。図２２は、眼領域の説明図である。同図に示すように、マイコン３は、エッジライン１とエッジライン４とをペアにし、眼の外径輪郭を形成し、これら輪郭内の領域を眼領域として検出する。このとき、マイコン３は抽出された眼の外形輪郭から眼の大きさ（面積、幅及び高さ）を算出する。なお、この処理にあたり、マイコン３は、エッジライン２とエッジライン３とをペアにし、白眼の外径輪郭を形成し、白眼について大きさ（面積、幅及び高さ）を算出しておいてもよい。

再度、図１８を参照する。眼領域検出処理の後（ＳＴ７０の後）、マイコン３は眼領域が検出できたか否かを判断する（ＳＴ７１）。眼領域が検出できていないと判断した場合（ＳＴ７１：ＮＯ）、マイコン３は眼球の状態を検出できなかったと判断し（ＳＴ７２）、図１８に示す処理は終了する。

一方、眼領域が検出できたと判断した場合（ＳＴ７１：ＹＥＳ）、マイコン３は黒眼領域検出処理を実行する（ＳＴ７３）。この際、マイコン３は黒眼領域検出手段ＣＬ２３に相当するプログラムを実行して、眼画像から黒眼領域を検出する。

具体的に説明する。図２３は、図１８に示した黒眼領域検出処理（ＳＴ７３）の詳細な動作を示す説明図である。黒眼領域の検出にあって、マイコン３は図２３に示すエッジライン２から黒眼領域を検出する。すなわちマイコン３は黒眼から白眼への変化点に基づいて黒眼領域を検出することとなる。

ここで、エッジライン２は、エッジライン２は上瞼の下側ライン１００，１０１と黒眼の輪郭１０２によって構成されている。また、エッジライン２は、上瞼の下側ライン１００，１０１と黒目の輪郭１０２とが交差する点において数学的性質が不連続となる。すなわち、エッジライン２を左右端から内側に向かって進んでいくとこの不連続点までは単調増加で進んで行き、不連続点で変曲し、減少に転じる。マイコン３は、この変曲を検出することで不連続点を見つけ、図２３のようにそれぞれがそのまま単調増加を続けて行った場合の補完線１を算出する。

図２４は、黒眼領域の説明図である。補完線１を算出した後、マイコン３は不連続点から単調減少となる区間（黒眼の輪郭１０２）と補完線１とによって囲まれたエリアを黒眼領域として検出する。このとき、マイコン３は、抽出された黒眼領域から黒眼の大きさ（面積、幅、及び高さ）を算出する。

再度、図１８を参照する。黒眼領域検出処理の後（ＳＴ７３の後）、マイコン３は黒眼領域を検出できたか否かを判断する（ＳＴ７４）。黒眼領域を検出できていないと判断した場合（ＳＴ７４：ＮＯ）、マイコン３は眼領域の大きさの基準値が設定されているか否かを判断する（ＳＴ７５）。

眼領域の大きさの基準値が設定されている場合（ＳＴ７５：ＹＥＳ）、マイコン３は眼球の状態を検出できなかったと判断し（ＳＴ７２）、図１８に示す処理は終了する。一方、眼領域の大きさの基準値が設定されていない場合（ＳＴ７５：ＮＯ）、マイコン３は眼領域基準設定処理を実行する（ＳＴ７６）。この際、マイコン３は目領域基準設定手段ＣＬ２２に相当するプログラムを実行して、眼領域の基準値を設定する。

図２５は、図１８に示した眼領域基準値設定処理（ＳＴ７６）の詳細を示すフローチャートである。同図に示すように、マイコン３は、眼領域の基準値を設定するにあたり、まず、ステップＳＴ７０において検出した眼領域の大きさの値をメモリする（ＳＴ９０）。次いで、マイコン３はメモリされた眼領域の大きさの値について数が規定数に達したか否かを判断する（ＳＴ９１）。規定数に達していない場合（ＳＴ９１：ＮＯ）、図２５に示す処理は終了し、図１８のステップＳＴ７２に戻る。

一方、規定数に達している場合（ＳＴ９１：ＹＥＳ）、マイコン３は眼領域の大きさの基準値を設定する。ここで、運転者が運転中に前方を注視している場合、得られる眼領域の大きさはほとんど変化しない。すなわち、一般的に人間は眼を開いている時間の方が閉じている時間よりも圧倒的に長いため、検出された眼領域は、開眼時のものであることが多い。故に、得られる眼領域の大きさはほとんど変化しないといえる。

よって、統計的に有意な数のフレーム数（一般的に３０フレーム以上）だけ眼領域の大きさをサンプリングし、その平均値、中央値などの統計量を算出すれば、眼領域の大きさの基準値とすることができる。

なお、運転者は運転中の大半の時間前方を注視し眼を開けているが、常に前方を注視していて眼を開けているという保証はない。このため、サンプリングされた眼領域の大きさについて分散や標準偏差といったばらつきに関する統計諸量を求め、ばらつきが少ないことを確認する。そして、ばらつきが少ないことが確認できた場合に、それらサンプリングされた眼領域の大きさから基準値を求めるようにすることが望ましい。これにより、精度が向上するためである。

再度、図１８を参照する。以上の処理（ＳＴ７６）の終了後、マイコン３は眼球の状態を検出できなかったと判断し（ＳＴ７２）、図１８に示す処理は終了する。

ところで、黒眼領域を検出できたと判断した場合（ＳＴ７４：ＹＥＳ）、マイコン３は眼領域黒眼比率算出処理を実行する（ＳＴ７７）。この際、マイコン３は眼領域黒眼比率算出手段ＣＬ２４に相当するプログラムを実行し、黒眼領域の比率を算出する。具体的にマイコン３は黒眼領域の大きさを眼領域の大きさで除することで黒眼比率を求める。

次いで、マイコン３は眼領域黒眼比率基準値が設定されているか否かを判断する（ＳＴ７８）。設定されている場合、処理はステップＳＴ８１に移行する。一方、設定されていない場合（ＳＴ７８：ＮＯ）、マイコン３は眼領域黒眼比率基準値設定処理を実行する（ＳＴ７９）。この際、マイコン３は眼領域黒眼比率基準値設定手段ＣＬ２５に相当するプログラムを実行して、黒眼比率の基準値を求める。

図２６は、図１８に示した眼領域黒眼比率基準値設定処理（ＳＴ７９）の詳細を示すフローチャートである。同図に示すように、マイコン３は、黒眼比率の基準値を設定するにあたり、まず、ステップＳＴ７７において算出した黒眼比率をメモリする（ＳＴ１００）。次いで、マイコン３はメモリされた黒眼比率の値について数が規定数に達したか否かを判断する（ＳＴ１０１）。規定数に達していない場合（ＳＴ１０１：ＮＯ）、図２６に示す処理は終了し、図１８のステップＳＴ８０に移行する。

一方、規定数に達している場合（ＳＴ１０１：ＹＥＳ）、マイコン３は黒眼比率の基準値を設定する。ここで、上記したように、運転者はほとんどが開眼状態である。このため、運転者が運転中に前方を注視している限り、得られる黒眼比率はほとんど変化しない。よって、統計的に有意な数のフレーム数（一般的に３０フレーム以上）だけ黒眼比率をサンプリングし、その平均値、中央値などの統計量を算出すれば、黒眼比率の基準値とすることができる。なお、黒眼比率の基準値を求めるにあたり、分散や標準偏差を利用することは、眼領域の基準値を求めるときと同様望ましいといえる。

再度、図１８を参照する。以上の処理の終了後、マイコン３は黒眼比率の基準値を設定できたか否かを判断する（ＳＴ８０）。設定できていない場合（ＳＴ８０：ＮＯ）、処理はステップＳＴ７５に移行する。そして、上記したようにステップＳＴ７５以降の処理が実行される。他方、設定できた場合（ＳＴ８０：ＹＥＳ）、処理はステップＳＴ８１に移行する。

ステップＳＴ８１において、マイコン３は眼領域の大きさは基準値が設定されているか否かを判断する（ＳＴ８１）。設定されている場合（ＳＴ８１：ＹＥＳ）、処理はステップＳＴ８４に移行する。一方、設定されていない場合（ＳＴ８１：ＮＯ）、マイコン３は眼領域基準値設定処理を実行する（ＳＴ８２）。この処理はステップＳＴ７６の処理と同様である。

そして、眼領域基準値設定処理の終了後、マイコン３は眼領域の基準値を設定できたか否かを判断する（ＳＴ８３）。設定できなかった場合（ＳＴ８３：ＮＯ）、マイコン３は眼球の状態を検出できなかったと判断し（ＳＴ７２）、図１８に示す処理を終了させる。一方、眼領域の基準値を設定できた場合（ＳＴ８３：ＹＥＳ）、処理はステップＳＴ８４に移行する。

ステップＳＴ８４において、マイコン３は眼領域の大きさが基準値相当であるか否かを判断する（ＳＴ８４）。ここで、基準値相当でないと判断した場合（ＳＴ８４：ＮＯ）、マイコン３は眼球状態を検出できなかったと判断し（ＳＴ７２）、図１８に示す処理を終了させる。すなわち、眼領域の大きさが基準値相当でないということは、例えば眼鏡のフレーム部や眉毛など、眼でないものを眼であると誤検出している可能性があるため、眼球状態を検出できなかったと判断することとしている。

他方、眼領域の大きさが基準値相当であると判断した場合（ＳＴ８４：ＹＥＳ）、マイコン３は、黒眼比率が基準値よりも小さいか否かを判断する（ＳＴ８５）。ここで、基準値よりも小さい場合（ＳＴ８５：ＹＥＳ）、マイコン３は虹彩の位置が基準位置よりも上側に遷移していると判断する（ＳＴ８６）。すなわち、黒眼の比率が基準値よりも小さい場合、眼に占める黒眼の割合が少なくなっている。つまり、黒眼部分の一部が上瞼に隠れて黒眼の領域が小さくなったと判断できる。このため、マイコン３は白眼を剥いている状態を検出したと判断している。その後、マイコン３は眼球状態を検出できたと判断し（ＳＴ８７）、処理は図６のステップＳＴ１７に移行する。

一方、黒眼比率が基準値よりも小さくない場合（ＳＴ８５：ＮＯ）、マイコン３は
白眼を剥いている状態ではないと判断する（ＳＴ８８）。その後、マイコン３は眼球状態を検出できたと判断し（ＳＴ８７）、処理は図６のステップＳＴ１７に移行する。

再度、図６を参照する。以上のようにして、眼球状態検出処理（ＳＴ１６）が終了した後、マイコン３は眼球状態を検出できたか否かを判断する（ＳＴ１７）。眼球状態を検出できなかった場合（ＳＴ１７：ＮＯ）、処理はステップＳＴ２１に移行する。一方、眼球状態を検出できた場合（ＳＴ１７：ＹＥＳ）、マイコン３は白眼を剥いている状態を検出しているか否かを判断する（ＳＴ１８）。検出している場合（ＳＴ１８：ＹＥＳ）、マイコン３は覚醒度が低下していると判断する（ＳＴ１９）。このとき、マイコン３は覚醒度判断手段ＣＬ３に相当するプログラムを実行して、覚醒度の低下を判断する。その後、処理はステップＳＴ２１に移行する。

一般的に運転者は、白眼を剥いた状態において眠気を感じている傾向にある。このため、白眼を剥いている状態を検出した場合に、被検出者の覚醒度が低下していると判断できる。

他方、白眼を剥いている状態を検出していない場合（ＳＴ１８：ＮＯ）、マイコン３は覚醒度が正常であると判断する（ＳＴ２０）。このとき、マイコン３は覚醒度判断手段ＣＬ３に相当するプログラムを実行して、覚醒度が正常であることを判断する。その後、処理はステップＳＴ２１に移行する。

ステップＳＴ２１において、マイコン３は、処理フレームカウンタ「ｉ」をインクリメントする（ＳＴ２１）。その後、処理は、ステップＳＴ１２に戻り、例えばエンジンが起動されていないと判断され、「ＳＴＯＰ」であると判断されるまで、上記の処理が繰り返されることとなる。

このようにして、本実施形態に係る覚醒度判断装置１によれば、眼球の状態から、白眼を剥いている状態を検出した場合に、被検出者の覚醒度が低下していると判断している。一般的に被検出者は、白眼を剥いた状態において眠気を感じている傾向にある。このため、白眼を剥いている状態を検出した場合に、被検出者の覚醒度が低下していると判断できる。

また、白眼を剥いている状態を検出しているかを判断するため、被検出者の眼を一定時間監視する必要がない。すなわち、白眼を剥いている状態は、例えば１画像のみから判断することができ、被検出者の眼を一定時間監視する必要がない。

なお、白眼を剥いた状態は、眼自体は開いているが被検出者が眠気を感じている状態といえる。このため、従来装置のように、眼の縦幅から開閉状態を検出して覚醒度の低下を判断すると、眼自体が開いていることから、覚醒度の低下を判断できない可能性がある。ところが、本実施形態では、眼領域に占める黒眼の領域の比率である黒眼比率から白眼を剥いている状態を検出するため、上記の如くに覚醒度の低下を判断できなくなることがない。従って覚醒度の判断精度の向上を図ることができる。

また、検出した眼領域の大きさが基準値相当であって、算出した眼領域に占める黒眼の領域の比率が基準値より小さくなったことを検出すると、白眼を剥いている状態と検出している。

すなわち、まず、検出した眼領域の大きさが基準値相当であるかを判断することで、例えば眼鏡のフレーム部や眉毛など、眼でないものを眼であると誤検出していないかを確認することとなる。このため、眼を正確に検出して覚醒度判断の精度向上につなげることができる。

また、算出した眼領域に占める黒眼の領域の比率が基準値より小さくなったことを判断している。ここで、被検出者が白眼を剥いていると、黒眼部分の一部が上瞼に隠れて黒眼の領域が小さくなる傾向にある。よって、黒眼の領域の比率が基準値より小さくなったことを判断することで、被検出者が白眼を剥いたことを判断できる。

特に、被検出者が車両の運転者である場合、安全確認など顔は頻繁に動くことがあっても眼領域に占める黒眼の領域の比率に基づいて判断しているため、被検出者の顔の動きによって影響を受け難く、正確な判断を行うことができる。

以上より、覚醒度の判断を正確に行うことができる。

また、被検出者の顔全体を撮像した顔画像から被検出者の眼を検出して、顔画像よりも小さくされた微小画像を眼画像として取得している。このため、微小な眼画像を対象に後の処理がされることとなり、顔全体の画像に対して処理をしていく場合に比して、処理速度を向上させることができる。

次に、本発明の第２実施形態を説明する。第２実施形態に係る覚醒度判断装置１ａは、第１実施形態のものと同様であるが、構成及び処理内容が第１実施形態のものと一部異なっている。

以下、第１実施形態との相違点について説明する。図２７は、第２実施形態に係る眼球状態検出手段ＣＬ２の詳細を示すブロック図である。同図に示すように、第２実施形態に係る眼球状態検出手段ＣＬ２は、第１実施形態の黒眼領域検出手段ＣＬ２３、眼領域黒眼比率算出手段ＣＬ２４及び眼領域黒眼比率基準値設定手段ＣＬ２５に代えて、白眼領域検出手段ＣＬ２６、眼領域白眼比率算出手段ＣＬ２７及び眼領域白眼比率基準値設定手段ＣＬ２８を備えている。

白眼領域検出手段ＣＬ２６は、眼画像取得手段ＣＬ２１によって得られた眼画像から、白眼の領域を検出するものである。この白眼領域検出手段ＣＬ２６は、白眼の外径輪郭を検出することで、白眼の領域を抽出する。眼領域白眼比率算出手段ＣＬ２７は、眼領域検出手段ＣＬ２１によって検出された眼領域、及び白眼領域検出手段ＣＬ２６によって検出された白眼の領域に基づいて、眼領域に占める白眼の領域の比率（以下白眼比率という）を算出するものである。すなわち、眼領域白眼比率算出手段ＣＬ２７は、両者の領域の大きさから、白眼比率を求める。

眼領域白眼比率基準値設定手段ＣＬ２８は、眼領域白眼比率算出手段ＣＬ２７によって算出された白眼比率の基準値を設定するものである。具体的に眼領域白眼比率基準値設定手段ＣＬ２８は、白眼比率を所定数サンプリングして統計的に有意な基準値を設定する。

図２８は、第２実施形態に係る眼球状態検出処理（ＳＴ１６）の詳細な動作を示すフローチャートである。なお、図２８に示すステップＳＴ１１０〜１１２，ＳＴ１１５，ＳＴ１１６，ＳＴ１２１〜ＳＴ１２４に示す処理は、図１８に示すステップＳＴ７０〜ＳＴ７２，ＳＴ７５，ＳＴ７６，ＳＴ８１〜ＳＴ８４に示す処理と同様であるため、説明を省略する。

眼領域が検出できたと判断された後（ＳＴ１１１の後）、マイコン３は白眼領域検出処理を実行する（ＳＴ１１３）。この際、マイコン３は白眼領域検出手段ＣＬ２６に相当するプログラムを実行して、眼画像から白眼領域を検出する。具体的にマイコン３は、図２１に示すエッジライン２とエッジライン３とによって囲まれる領域を白眼領域として検出する。

次いで、マイコン３は、白眼領域が検出できたか否かを判断する（ＳＴ１１４）。白眼領域が検出できなかった場合（ＳＴ１１４：ＮＯ）、処理はステップＳＴ１１５に移行する。一方、白眼領域が検出できた場合（ＳＴ１１４：ＹＥＳ）、マイコン３は眼領域白眼比率算出処理を実行する（ＳＴ１１７）。この際、マイコン３は眼領域白比率算出手段ＣＬ２７に相当するプログラムを実行し、白眼領域の比率を算出する。具体的にマイコン３は白眼領域の大きさを眼領域の大きさで除することで白眼比率を求める。

次いで、マイコン３は眼領域白眼比率基準値が設定されているか否かを判断する（ＳＴ１１８）。設定されている場合（ＳＴ１１８：ＹＥＳ）、処理はステップＳＴ１２１に移行する。一方、設定されていない場合（ＳＴ１１８：ＮＯ）、マイコン３は眼領域白眼比率基準値設定処理を実行する（ＳＴ１１９）。この際、マイコン３は眼領域白眼比率基準値設定手段ＣＬ２８に相当するプログラムを実行して、白眼比率の基準値を求める。

図２９は、図２８に示した眼領域白眼比率基準値設定処理（ＳＴ１１９）の詳細を示すフローチャートである。同図に示すように、マイコン３は、白眼比率の基準値を設定するにあたり、まず、ステップＳＴ１１７において算出した白眼比率をメモリする（ＳＴ１３０）。次いで、マイコン３はメモリされた白眼比率の値について数が規定数に達したか否かを判断する（ＳＴ１３１）。規定数に達していない場合（ＳＴ１３１：ＮＯ）、図２９に示す処理は終了し、図２８のステップＳＴ１２０に移行する。

一方、規定数に達している場合（ＳＴ１３１：ＹＥＳ）、マイコン３は白眼比率の基準値を設定する（ＳＴ１３２）。ここでは黒眼比率の基準値を設定したときと同様にして白眼比率の基準値を設定する。すなわち、マイコン３は、統計的に有意な数のフレーム数（一般的に３０フレーム以上）だけ白眼比率をサンプリングし、その平均値、中央値などの統計量を算出して、白眼比率の基準値とする。なお、白眼比率の基準値を求めるにあたり、分散や標準偏差を利用することは、黒眼比率の基準値を求めるときと同様望ましい。

再度、図２８を参照する。以上の処理の終了後、マイコン３は白眼比率の基準値を設定できたか否かを判断する（ＳＴ１２０）。設定できていない場合（ＳＴ１２０：ＮＯ）、処理はステップＳＴ１１５に移行する。そして、上記したようにステップＳＴ１１５以降の処理が実行される。他方、設定できた場合（ＳＴ１２０：ＹＥＳ）、処理はステップＳＴ１２１に移行する。

そして、ステップＳＴ１２１〜ＳＴ１２４において図１８のステップＳＴ８１〜ＳＴ８４と同様の処理が行われ、処理はステップＳＴ１２５に至る。

ステップＳＴ１２５において、マイコン３は、白眼比率が基準値よりも大きいか否かを判断する（ＳＴ１２５）。ここで、基準値よりも大きい場合（ＳＴ８５：ＹＥＳ）、マイコン３は白眼を剥いている状態を検出していると判断する（ＳＴ１２６）。すなわち、白眼の比率が基準値よりも大きい場合、眼に占める白眼の割合が高くなっている。つまり、黒眼部分の一部が上瞼に隠れて白眼の割合が高くなったと判断できる。このため、マイコン３は白眼を剥いている状態を検出したと判断する。その後、マイコン３は眼球状態を検出できたと判断し（ＳＴ１２７）、処理は図６のステップＳＴ１７に移行する。

一方、白眼比率が基準値よりも大きくない場合（ＳＴ１２５：ＮＯ）、マイコン３は白眼を剥いている状態を検出していないと判断する（ＳＴ１２８）。そして、マイコン３は眼球状態を検出できたと判断し（ＳＴ１２７）、処理は図６のステップＳＴ１７に移行する。

その後、マイコン３は、第１実施形態と同様に、白眼を剥いている状態を検出しているか否かを判断し（ＳＴ１８）、白眼を剥いている状態を検出している場合に（ＳＴ１８：ＹＥＳ）、覚醒度が低下していると判断する（ＳＴ１９）。他方、マイコン３は、白眼を剥いている状態を検出していない場合（ＳＴ１８：ＮＯ）、覚醒度が正常であると判断する（ＳＴ２０）。

このようにして、第２実施形態に係る覚醒度判断装置１ａによれば、第１実施形態と同様に、覚醒度判断について時間の短縮化を図ることができる。また、覚醒度の判断精度の向上を図ることができる。また、処理速度を向上させることができる。

さらに、第２実施形態によれば、検出した眼領域の大きさが基準値相当であって、算出した眼領域に占める白眼の領域の比率が基準値より大きくなったことを検出すると、白眼を剥いている状態と検出している。

すなわち、第１実施形態と同様に、眼でないものを眼であると誤検出していないかを確認することとなり、眼を正確に検出して覚醒度判断の精度向上につなげることができる。

また、黒眼と白眼との相違はあるものの、同様に、白眼の領域の比率が基準値より大きくなったことを判断することで、被検出者が白眼を剥いたことを判断できる。さらに、眼領域に占める白眼の領域の比率に基づいて判断しているため、被検出者の顔の動きによって影響を受け難く、正確な判断を行うことができる。

次に、本発明の第３実施形態を説明する。第３実施形態に係る覚醒度判断装置１ｂは、第１実施形態のものと同様であるが、構成及び処理内容が第１実施形態のものと一部異なっている。

以下、第１実施形態との相違点について説明する。図３０は、第３実施形態に係る眼球状態検出手段ＣＬ２の詳細を示すブロック図である。同図に示すように、第３実施形態に係る眼球状態検出手段ＣＬ２は、第１実施形態の各手段ＣＬ２３〜ＣＬ２５に代えて、上瞼検出手段ＣＬ２９、頂点位置検出手段ＣＬ２１０、黒眼白眼境界位置検出手段ＣＬ２１１、白眼下瞼境界位置検出手段ＣＬ２１２、距離算出手段ＣＬ２１３、及び距離基準値設定手段ＣＬ２１４を備えている。

上瞼検出手段ＣＬ２９は、眼画像取得手段ＣＬ１により取得された眼画像から、上瞼を検出するものである。具体的に上瞼検出手段ＣＬ２９は、図２１に示すようなエッジライン１を検出することで、上瞼を検出する。頂点位置検出手段ＣＬ２１０は、上側検出手段ＣＬ２９によって検出された上瞼の頂点位置を検出するものである。この頂点検出手段ＣＬ２１０は、例えば図２１に示すようなエッジライン１を２次曲線にて近似して、２次曲線の頂点を検出する構成となっている。

黒眼白眼境界位置検出手段ＣＬ２１１は、頂点位置検出手段ＣＬ２１０によって検出された上瞼の頂点位置の顔下方向について、黒眼と白眼との境界位置を検出するものである。具体的に黒眼白眼境界位置検出手段ＣＬ２１１は、頂点位置検出手段ＣＬ２１０により検出された頂点位置から、画像縦方向（顔下方向）に向かって白方向から黒方向へ変化する変化点を微分処理によって求める。そして、黒眼白眼境界位置検出手段ＣＬ２１１は、この白方向から黒方向への変化点を、黒眼と白眼との境界位置として検出することとなる。

白眼下瞼境界位置検出手段ＣＬ２１２は、頂点位置検出手段ＣＬ２１０によって検出された上瞼の頂点位置の顔下方向について、白眼と下瞼との境界位置を検出するものである。具体的に白眼下瞼境界位置検出手段ＣＬ２１２は、黒眼白眼境界位置検出手段ＣＬ２１１と同様に、微分処理によって黒方向から白方向へ変化する変化点を検出することで、白眼と下瞼との境界位置を検出する。

距離算出手段ＣＬ２１３は、黒眼白眼境界位置検出手段ＣＬ２１１によって検出された黒眼と白眼との境界位置、及び、白眼下瞼境界位置検出手段ＣＬ２１２によって検出された白眼と下瞼との境界位置の距離を算出するものである。すなわち、距離算出手段ＣＬ２１３は、上記した白方向から黒方向への変化点と、黒方向から白方向への変化点との差を、境界位置間の距離として求める構成となっている。

距離基準値設定手段ＣＬ２１４は、距離算出手段ＣＬ２１３によって算出された黒眼と白眼との境界位置、及び、白眼と下瞼との境界位置の距離について基準値を設定するものである。この距離基準値設定手段ＣＬ２１４は、境界位置間の距離の大きさを所定数サンプリングして統計的に有意な基準値を設定するようになっている。

また、上記の構成となっているため、覚醒度判断手段ＣＬ３は、境界位置間の距離に基づいて被検出者の覚醒度を求めることとなる。すなわち、上記境界位置間の距離が大きくなると言うことは、黒眼と下瞼との間の距離が長いことを示し、被検出者が白眼を剥いているといえる。このため、界位置間の距離が大きい場合、覚醒度判断手段ＣＬ３は、覚醒度の低下を判断できることとなる。

図３１は、第３実施形態に係る眼球状態検出処理（ＳＴ１６）の詳細な動作を示すフローチャートである。まず、マイコン３は上瞼検出処理を実行する（ＳＴ１４０）。この処理においてマイコン３は、上瞼検出手段ＣＬ２９に相当するプログラムを実行して上瞼を検出する。

図３２は、上瞼検出処理（ＳＴ１４０）の詳細を示す説明図である。同図に示すように、マイコン３は、眼画像に対し画像縦方向に沿って微分処理をする。そして、マイコン３は、図２１に示したエッジライン１と同様のエッジライン５を検出し、このエッジライン５を上瞼として検出することとなる。

再度、図３１を参照する。上瞼検出処理の終了後（ＳＴ１４０の後）、マイコン３は、上瞼を検出できたか否かを判断する（ＳＴ１４１）。ここで、上瞼を検出できなかったと判断した場合（ＳＴ１４１：ＮＯ）、マイコン３は眼球の状態を検出できなかったと判断し（ＳＴ１４２）、図３１に示す処理は終了する。

一方、上瞼を検出できたと判断した場合（ＳＴ１４２：ＹＥＳ）、マイコン３は、上瞼頂点位置検出処理を実行する（ＳＴ１４３）。この処理において、マイコン３は、頂点検出手段ＣＬ２１０に相当するプログラムを実行して、上瞼の頂点位置を検出することとなる。

上瞼頂点位置検出処理において、マイコン３は、まずエッジライン５の各座標（ｘ，ｙ）を、所定の関数ｆ（ｘ，ｙ）＝ｃで表される二次以上の多項式に近似する。この多項式は、近似された曲線の頂点部分が原点となるように変換された座標系において、偶数次項のみで構成される式となる。これは、頂点部分が原点となる座標系において奇数次項が含まれる式では、曲線形状の左右対称性や単頂点性が損なわれてしまうためである。

なお、ここでは、二次曲線のうち計算が容易に行える放物線ｙ＝ａｘ^２＋ｂｘ＋ｃに近似を行うとして説明するが、マイコン３は、円、楕円、双曲線といった円錐曲線や、ａｘ^２＋２ｈｘｙ＋ｂｙ^２＋２ｇｘ＋２ｆｙ＋ｃ＝０で表される一般の二次曲線や、二次以上の曲線であっても、同様の手順を踏むことによって曲線近似を行うことができることはいうまでもない。

図３３は、マイコン３が曲線にて近似するときの詳細を示すフローチャートである。同図に示すように、マイコン３は、座標群を最小二乗法により近似する。すなわち、まず、マイコン３はエッジライン５を構成する各点の座標値（ｘ，ｙ）の総和値を求める（ＳＴ１５０）。このとき、マイコン３は、座標値ｘ、座標値ｙ及び座標値ｘを二乗した値について、総和を求める。具体的にマイコン３は以下の式により、これらの総和値を求める。

その後、マイコン３は、各総和値の平均値を求める（ＳＴ７２）。具体的にマイコン３は以下の式により、これらの平均値を求める。

そして、マイコン３は、求めた平均値から、以下の式により、分散値及び共分散値を求める（ＳＴ７３）。

その後、マイコン３は、求めた分散値及び共分散値から、以下の式により、回帰係数ａ，ｂ及び定数項ｃを求める（ＳＴ７４）。

これにより、マイコン３は、エッジラインを放物線ｙ＝ａｘ^２＋ｂｘ＋ｃに近似する。なお、図２１の説明において、マイコン３は、放物線ｙ＝ａｘ^２＋ｂｘ＋ｃにエッジラインを近似したが、円、楕円、双曲線といった円錐曲線やａｘ^２＋２ｈｘｙ＋ｂｙ^２＋２Ｇｘ＋２ｆｙ＋ｃ＝０で表される一般の二次曲線に近似するようにしてもよい。

図３４は、二次の近似曲線と上瞼の頂点を示す説明図である。同図に示すように、マイコン３は、放物線ｙ＝ａｘ^２＋ｂｘ＋ｃの頂点位置、すなわち座標（ｂ／２ａ，ｃｂ^２／４ａ^２）を上瞼の頂点位置として検出することとなる。

再度、図３１を参照する。上瞼頂点位置検出処理の終了後（ＳＴ１４３の後）、マイコン３は上瞼の頂点位置を検出できたか否かを判断する（ＳＴ１４４）。ここで、上瞼の頂点位置を検出できなかった場合（ＳＴ１４４：ＮＯ）、処理はステップＳＴ１４２に移行する。

一方、上瞼の頂点位置を検出できた場合（ＳＴ１４４：ＹＥＳ）、マイコン３は、黒眼白眼境界位置検出処理を実行する（ＳＴ１４５）。この処理において、マイコン３は黒眼白眼境界位置検出手段ＣＬ２１１に相当するプログラムを実行して、黒眼と白眼との境界位置を検出することとなる。すなわち、図３４に示すように、マイコン３は、頂点位置から画像下方向に向かって黒方向から白方向へ変化する変化点を求めて、黒眼と白眼との境界位置（境界１）を検出する。

その後、マイコン３は、白眼下瞼境界位置検出処理を実行する（ＳＴ１４６）。この処理において、マイコン３は白眼下瞼境界位置検出手段ＣＬ２１２に相当するプログラムを実行して、白眼と下瞼との境界位置を検出することとなる。すなわち、図３４に示すように、マイコン３は、頂点位置から画像下方向に向かって白方向から黒方向へ変化する変化点を求めて、白眼と下瞼との境界位置（境界２）を検出する。

次いで、マイコン３は距離算出処理を実行する（ＳＴ１４７）。このとき、マイコン３は、距離算出手段ＣＬ２１３に相当するプログラムを実行して、境界位置間の距離を算出する。図３５は、図３１に示した距離算出処理（ＳＴ１４７）の説明図である。同図に示すように、マイコン３は、先の処理（ＳＴ１４５，ＳＴ１４６）において得られた境界１と境界２との間の距離Ｌを算出することとなる。

再度、図３１を参照する。境界位置間の距離Ｌを求めた後、マイコン３は、境界位置間の距離の基準値が設定されているか否かを判断する（ＳＴ１４８）。ここで、境界位置間の距離の基準値が設定されている場合（ＳＴ１４８：ＹＥＳ）、処理はステップＳＴ１５１に移行する。一方、境界位置間の距離の基準値が設定されていない場合（ＳＴ１４８：ＮＯ）、マイコン３は距離基準値設定処理を実行する（ＳＴ１４９）。この際、マイコン３は距離基準値設定手段ＣＬ２１４に相当するプログラムを実行して、境界位置間の距離の基準値を求める。

図３６は、図３１に示した距離基準値設定処理（ＳＴ１４９）の詳細を示すフローチャートである。同図に示すように、マイコン３は、境界位置間の距離について基準値を設定するにあたり、まず、ステップＳＴ１４７において算出した境界位置間の距離Ｌをメモリする（ＳＴ１６０）。次いで、マイコン３はメモリされた距離Ｌの値について数が規定数に達したか否かを判断する（ＳＴ１６１）。規定数に達していない場合（ＳＴ１６１：ＮＯ）、図３６に示す処理は終了し、図３１のステップＳＴ１５０に移行する。

一方、規定数に達している場合（ＳＴ１６１：ＹＥＳ）、マイコン３は境界位置間の距離の基準値を設定する（ＳＴ１６２）。この処理において、マイコン３は、統計的に有意な数のフレーム数（一般的に３０フレーム以上）だけ境界位置間の距離Ｌをサンプリングし、その平均値、中央値などの統計量を算出して、距離Ｌの基準値とする。なお、距離Ｌの基準値を求めるにあたり、分散や標準偏差を利用することは、黒眼比率の基準値を求めるときと同様望ましい。

再度、図３１を参照する。以上の処理の終了後、マイコン３は距離Ｌの基準値を設定できたか否かを判断する（ＳＴ１５０）。設定できていない場合（ＳＴ１５０：ＮＯ）、処理はステップＳＴ１４２に移行する。他方、設定できた場合（ＳＴ１５０：ＹＥＳ）、処理はステップＳＴ１５１に移行する。

ステップＳＴ１５１において、マイコン３は、境界位置間の距離Ｌが距離の基準値よりも大きいか否かを判断する（ＳＴ１５１）。ここで、基準値よりも大きい場合（ＳＴ１５１：ＹＥＳ）、マイコン３は白眼を剥いている状態にあると判断する（ＳＴ１５２）。すなわち、距離Ｌは黒眼と下瞼との長さを表しており、距離Ｌが基準値よりも大きくなるということは、眼に占める白眼の割合が高くなっているといえる。つまり、白眼を剥いている状態にあると判断できる。

その後、マイコン３は眼球状態を検出できたと判断し（ＳＴ１５３）、処理は図６のステップＳＴ１７に移行する。一方、境界位置間の距離Ｌが距離の基準値よりも大きくない場合（ＳＴ１５１：ＮＯ）、マイコン３は白眼を剥いていないと判断する（ＳＴ１５４）。その後、マイコン３は眼球状態を検出できたと判断し（ＳＴ１５３）、処理は図６のステップＳＴ１７に移行する。

その後、マイコン３は、第１実施形態と同様に、白眼を剥いている状態を検出したか否かを判断し（ＳＴ１８）、白眼を剥いている状態を検出した場合に（ＳＴ１８：ＹＥＳ）、覚醒度が低下していると判断する（ＳＴ１９）。他方、マイコン３は、白眼を剥いている状態を検出していない場合（ＳＴ１８：ＮＯ）、覚醒度が正常であると判断する（ＳＴ２０）。

このようにして、第３実施形態に係る覚醒度判断装置１ｂによれば、第１実施形態と同様に、覚醒度判断について時間の短縮化を図ることができる。また、覚醒度の判断精度の向上を図ることができる。また、処理速度を向上させることができる。

さらに、第３実施形態によれば、黒眼と白眼との境界位置及び白眼と下瞼の境界位置の距離Ｌが基準値より大きくなったことを検出すると、白眼を剥いている状態を検出している。ここで、被検出者が白眼を剥いている状態となると、黒眼と白眼との境界位置及び白眼と下瞼の境界位置の距離Ｌが大きくなる傾向にある。よって、当該距離Ｌが基準値より大きくなったことを判断することで、被検出者が白眼を剥いたことを判断できる。

また、黒眼と白眼との境界位置及び白眼と下瞼の境界位置の距離に基づいて判断しているため、直接的に黒眼の画像中における位置を検出して、黒眼が上側に遷移したか否かを判断する場合と比較して、正確な判断を行うことができる。すなわち、被検出者の顔の動きによって影響を受け難く、正確な判断を行うことができる。

次に、本発明の第４実施形態を説明する。第４実施形態に係る覚醒度判断装置１ｃは、第１実施形態のものと同様であるが、構成及び処理内容が第１実施形態のものと一部異なっている。

以下、第１実施形態との相違点について説明する。図３７は、第４実施形態に係る覚醒度判断装置１ｃの構成を示す機能ブロック図である。同図に示すように、第４実施形態に係る覚醒度判断装置１ｃは、第１実施形態の構成に加えて、さらに開閉眼判定手段ＣＬ４を備えている。

開閉眼判定手段ＣＬ４は、眼画像取得手段ＣＬ１により取得された眼画像から、眼の開閉状態を判断するものである。具体的に開閉眼判定手段ＣＬ４は、眼画像から眼を特定し、その縦幅を求める。そして、開閉眼判定手段ＣＬ４は、予め又はサンプリング結果によって定めた開閉眼閾値と眼の縦幅とを比較し、眼の縦幅の方が大きければ、開眼と判定する。一方、開閉眼判定手段ＣＬ４は、眼の縦幅の方が大きくない場合、閉眼と判定する。なお、開閉眼の判定にあたっては、眼の縦幅を求める場合に限らず、上瞼の曲率を求めるようにしてもよい。

また、覚醒度判断装置１ｃが開閉眼判定手段ＣＬ４を備えるため、覚醒度判断手段ＣＬ３は、開閉眼の判定結果を踏まえて覚醒度を判断する。すなわち、覚醒度判断手段ＣＬ３は、開閉眼判定手段ＣＬ４により被検出者の眼が閉眼状態から開眼状態に移行した後の、
黒眼比率の時間変化に基づいて、被検出者の覚醒度が低下していると判断する。

図３８は、運転者の覚醒度が低下している場合に、閉眼状態から開眼状態へ移行するときの眼の様子を示す説明図であり、図３９は、運転者が覚醒している場合に、閉眼状態から開眼状態へ移行するときの眼の様子を示す説明図である。

まず、図３８に示すように、運転者の覚醒度が低下している場合に閉眼状態から開眼状態に移行するとき、運転者の黒眼部分は特徴的な動きを示す。すなわち、眼が開いた直後では黒眼が上瞼の裏に隠れており、その後徐々に黒眼が下がってくる。このため、黒眼比率は、眼の開き始めにおいて閉眼時と同様に極端に小さく、その後時間を経るにつれて徐々に大きくなる。

これに対し、覚醒時においては、図３９に示すように、眼を開いた直後で黒眼が表れてくる。従って、黒眼比率は、覚醒度低下時に比べると比較的早くに大きな値を示すこととなる。

この特性を利用して、覚醒度判断装置１ｃは、閉眼状態から開眼状態に移行した後の、黒眼比率の時間変化に基づいて、覚醒度の低下を判断することとなる。

図４０は、第４実施形態に係る覚醒度判断装置１ｃの動作の概略を示すメインフローチャートである。なお、図４０に示すステップＳＴ１７３〜ＳＴ１７７に示す処理は、図６に示すステップＳＴ１１〜ＳＴ１５に示す処理と同様であるため、説明を省略する。

まず、処理が開始されると、マイコン３は、初期値入力処理を実行する（ＳＴ１７０）。この初期値入力の処理では、サンプリング時間などの各種定数が読み込まれる。そして、マイコン３は、変数Ｆｌａｇを「ＯＦＦ」とする（ＳＴ１７１）。この変数Ｆｌａｇは、眼が閉眼状態から開眼状態へ移行したことを示すものである。初期状態においては、眼が閉眼状態から開眼状態へ移行したわけでないため、変数Ｆｌａｇは「ＯＦＦ」とされる。

その後、マイコン３は、時系列メモリを初期化する（ＳＴ１７２）。この時系列メモリは、時系列的に検出された黒眼比率を記憶しておくためのものである。すなわち、時系列メモリは黒眼比率の推移を記憶するものである。

そして、ステップＳＴ１７４〜ＳＴ１７７までの処理が実行される。次いで、マイコン３は、眼球状態検出処理を実行する（ＳＴ１７８）。図４１は、図４０に示した眼球状態検出処理（ＳＴ１７８）の詳細な動作を示すフローチャートである。なお、図４１に示すステップＳＴ２００〜ＳＴ２１４に示す処理は、図１８に示すステップＳＴ７０〜ＳＴ８４に示す処理と同様であるため、説明を省略する。

同図に示すように、眼領域と黒眼領域とを検出して黒眼比率を算出し（ＳＴ２００，ＳＴ２０３，ＳＴ２０７）、その後、眼領域の大きさが基準値相当であると判断した場合（ＳＴ２１４：ＹＥＳ）、マイコン３は、算出した黒眼比率を時系列メモリに記憶する（ＳＴ２１５）。そして、マイコン３は眼球状態を検出できたと判断し（ＳＴ２１６）、処理は図４０のステップＳＴ１７９に戻る。

再度、図４１を参照する。ステップＳＴ１７９において、マイコン３は眼球状態を検出できたか否かを判断する（ＳＴ１７９）。眼球状態を検出できなった場合（ＳＴ１７９：ＮＯ）、処理はステップＳＴ１９１に移行し、マイコン３は時系列メモリをクリアすることとなる（ＳＴ１９１）。一方、眼球状態を検出できた場合（ＳＴ１７９：ＹＥＳ）、マイコン３は、開閉眼判定処理を実行する（ＳＴ１８０）。このとき、マイコン３は、開閉眼判定手段ＣＬ４に相当するプログラムを実行して、眼の開閉眼状態を判定する。

図４２は、開閉眼判定処理（ＳＴ１８０）の詳細を示す説明図である。同図に示すように、マイコン３は、眼画像から眼を特定し、その縦幅を求める。そして、マイコン３は、予め又はサンプリング結果によって定めた開閉眼閾値と眼の縦幅とを比較し、眼の縦幅の方が大きければ、開眼と判定する。一方、マイコン３は、眼の縦幅の方が大きくない場合、閉眼と判定する。このため、図４２に示す例において、運転者は、まず開眼状態であり、その後閉眼状態に移行し、再度開眼状態に復帰したこととなる。

その後、マイコン３は現在の運転者が開眼状態であるか否かを判断する（ＳＴ１８１）。ここで、開眼状態でない場合（ＳＴ１８１：ＮＯ）、すなわち閉眼の場合、処理はステップＳＴ１９１に移行する。一方、開眼状態である場合（ＳＴ１８１：ＹＥＳ）、マイコン３は前フレームで運転者が閉眼状態であったか否かを判断する（ＳＴ１８２）。

ここで、前フレームで運転者が閉眼状態であった場合（ＳＴ１８２：ＹＥＳ）、運転者が閉眼状態から開眼状態に移行したことを示す。このため、マイコン３は、変数Ｆｌａｇを「ＯＮ」とする（ＳＴ１８３）。そして、処理はステップＳＴ１８５に移行する。

一方、前フレームで運転者が閉眼状態でなかった場合（ＳＴ１８２：ＮＯ）、運転者の開眼状態が継続していることとなる。その後、マイコン３は、変数Ｆｌａｇが「ＯＮ」であるか否かを判断する（ＳＴ１８４）。ここで、変数Ｆｌａｇが「ＯＮ」でない場合（ＳＴ１８４：ＮＯ）、開眼状態が連続しているといえる。このため、処理はステップＳＴ１９１に移行し、時系列メモリがクリアされる（ＳＴ１９１）。

他方、変数Ｆｌａｇが「ＯＮ」である場合（ＳＴ１８４：ＹＥＳ）、運転者が閉眼状態から開眼状態へ移行し、その後開眼状態が継続しているといえる。このため、処理はステップＳＴ１８５に移行する。

ステップＳ１８５において、マイコン３は、メモリ数が規定数に達したか否かを判断する（ＳＴ１８５）。ここで、規定数に達していない場合（ＳＴ１８５：ＮＯ）、処理はステップＳＴ１９２に移行する。このとき、時系列メモリはクリアされることなく、ステップＳＴ１９２に移行するため、時系列メモリに黒眼比率が蓄積されていくこととなる。

一方、規定数に達している場合（ＳＴ１８５：ＹＥＳ）、運転者が閉眼状態から開眼状態へ移行し、その後開眼状態が継続して規定回数分するまでの間の黒眼比率がメモリされたといえる。

次いで、マイコン３は、変数Ｆｌａｇを「ＯＦＦ」とする（ＳＴ１８６）。そして、マイコン３は、時系列メモリ上のデータ推移パターンを解析する（ＳＴ１８７）。

図４３は、閉眼状態から開眼状態へ移行する場合における黒眼比率の推移を示すグラフである。同図に示すように、覚醒度低下時において運転者が閉眼状態から開眼状態へ移行しても、黒眼比率は、しばらく小さい状態が継続した後に、徐々に大きくなっていく。

これに対し、覚醒時にあっては、運転者が閉眼状態から開眼状態へ移行する段階から黒眼比率が大きくなっている。そして、開眼状態へ移行後には、速やかに黒眼比率が閉眼前の値に戻るといえる。

よって、マイコン３は、この特性を利用して覚醒度を判断することとなる。すなわち、図４０のステップＳＴ１８８において、マイコン３は、黒眼比率の時間変化パターンが覚醒度低下時のパターンか否かを判断する（ＳＴ１８８）。

ここで、黒眼比率の時間変化パターンが覚醒度低下時のパターンと判断した場合（ＳＴ１８８：ＹＥＳ）、マイコン３は覚醒度が低下していると判断する（ＳＴ１８９）。他方、黒眼比率の時間変化パターンが覚醒度低下時のパターンと判断できない場合（ＳＴ１８８：ＮＯ）、マイコン３は覚醒度が正常であると判断する（ＳＴ１９０）。

その後、マイコン３は、時系列メモリをクリアし（ＳＴ１９１）、処理フレームカウンタ「ｉ」をインクリメントする（ＳＴ１９２）。その後、処理は、ステップＳＴ１７４に戻り、例えばエンジンが起動されていないと判断され、「ＳＴＯＰ」であると判断されるまで、上記の処理が繰り返されることとなる。

このようにして、第４実施形態に係る覚醒度判断装置１ｃによれば、第１実施形態と同様に、覚醒度判断について時間の短縮化を図ることができる。また、覚醒度の判断精度の向上を図ることができる。また、処理速度を向上させることができる。また、覚醒度の判断を正確に行うことができる。

なお、第４実施形態では、開眼後の黒眼比率の時間変化パターンが、黒眼比率が閉眼前の高い黒眼比率に戻るまでの時間が長い場合に覚醒度低下時のパターンであると判断している。すなわち、或る程度の時間分の眼画像を要することになり、覚醒度を判断するまでに所定時間要することとなるが、それであっても、従来装置より覚醒度判断について時間が短縮される。

具体的に覚醒度低下時には、開眼後の黒眼比率が低下し、その後時間をかけて上昇することは、図３８及び図３９に示すように、１６〜１９画像によって判断できる。より現実の観点からいえば、眼が閉じている状態から開く間の時間だけ検出すれば、虹彩の位置が基準位置よりも上側に遷移し、その後虹彩の位置が基準位置へ推移していることを判断できる。従って、少なくとも眼が閉じている状態から開く間の時間だけ確保できれば、覚醒度の低下を判断できることとなる。

一方、従来装置では、眼が開閉を繰り返し検出した結果、一定時間内で閉眼状態がどのようになっていたかを判断するため、眼が閉じている状態から開く間の微小な時間とは異なり、明らかに長い時間を要する。

以上より、第４実施形態では、覚醒度判断について時間を短縮することができるといえる。

次に、本発明の第５実施形態を説明する。第５実施形態に係る覚醒度判断装置１ｄは、第４実施形態のものと同様であるが、構成及び処理内容が第４実施形態のものと一部異なっている。

以下、第４実施形態との相違点について説明する。まず、第５実施形態に係る覚醒度判断装置１ｄは、第４実施形態の図３７に示す構成と同様の構成である。ただし、眼球状態検出手段ＣＬ２は第２実施形態の図２７に示すものと同様の構成である。

すなわち、第４実施形態では、運転者の眼が閉眼状態から開眼状態に移行した後に、黒眼比率が低い値から、閉眼前の高い値に戻るまで時間がかかることを検出した場合に、覚醒度が低下していると判断していた。そして、この判断に際して黒眼比率を求めていた。これに対し、第５実施形態では、第４実施形態に用いた黒眼比率に代えて、白眼比率を求めることとなる。

図４４は、第５実施形態に係る眼球状態検出処理（ＳＴ１７８）の詳細な動作を示すフローチャートである。なお、図４４に示すステップＳＴ２２０〜ＳＴ２３４に示す処理は、図２８に示すステップＳＴ１１０〜ＳＴ１２４に示す処理と同様であるため、説明を省略する。

同図に示すように、眼領域と白眼領域とを検出して白眼比率を算出し（ＳＴ２２０，ＳＴ２２３，ＳＴ２２７）、その後、眼領域の大きさが基準値相当であると判断した場合（ＳＴ２３４：ＹＥＳ）、マイコン３は、算出した白眼比率を時系列メモリに記憶する（ＳＴ２３５）。そして、マイコン３は眼球状態を検出できたと判断し（ＳＴ２３６）、処理は図４０のステップＳＴ１７９に戻る。

その後、第４実施形態と同様に、時系列メモリ上のデータ推移パターンを解析し（ＳＴ１８７）、白眼比率の時間変化パターンが覚醒度低下時のパターンであるか否かを判断する（ＳＴ１８８）。

図４５は、閉眼状態から開眼状態へ移行する場合における白眼比率の推移を示すグラフである。同図に示すように、覚醒度低下時にあっては、運転者が閉眼状態から開眼状態へ移行しても、しばらくは白眼比率が高い状態を維持し続ける。そして、或る程度白眼比率が高い値を継続した後に、白眼比率は徐々に小さくなっていく。この場合、マイコン３は、閉眼状態から開眼状態へ移行した後の、白眼比率の時間変化パターンが覚醒度低下時のパターンであると判断する。

これに対し、覚醒時では、白眼比率が高い値となることなく、中程度の値となり、その中程度の値を継続することとなる。この場合、マイコン３は、閉眼状態から開眼状態へ移行した後の、白眼比率の時間変化パターンが覚醒時のパターンであると判断することとなる。

そして、白眼比率の時間変化パターンが覚醒度低下時のパターンであると判断できる場合（ＳＴ１８８：ＹＥＳ）、マイコン３は覚醒度が低下していると判断する（ＳＴ１８９）。他方、白眼比率の時間変化パターンが覚醒度低下時のパターンであると判断できない場合（ＳＴ１８８：ＮＯ）、マイコン３は覚醒度が正常であると判断する（ＳＴ１９０）。

このようにして、第５実施形態に係る覚醒度判断装置１ｄによれば、第４実施形態と同様に、覚醒度判断について時間の短縮化を図ることができる。また、覚醒度の判断精度の向上を図ることができる。また、処理速度を向上させることができる。また、覚醒度の判断を正確に行うことができる。

また、第５実施形態では、第４実施形態と同様に、従来装置より覚醒度判断について時間が短縮されていることは言うまでもない。すなわち、第５実施形態では、眼が閉じている状態から開く間の時間だけ確保できれば、覚醒度の低下を判断できるため、覚醒度判断について時間を短縮することができるといえる。

次に、本発明の第６実施形態を説明する。第６実施形態に係る覚醒度判断装置１ｅは、第４実施形態のものと同様であるが、構成及び処理内容が第４実施形態のものと一部異なっている。

以下、第４実施形態との相違点について説明する。まず、第６実施形態に係る覚醒度判断装置１ｅは、第４実施形態の図３７に示す構成と同様の構成である。ただし、眼球状態検出手段ＣＬ２は第３実施形態の図３０に示すものと同様の構成である。

すなわち、第４実施形態では、運転者の眼が閉眼状態から開眼状態に移行した後に、黒眼比率が低い値から、閉眼前の高い値に戻るまで時間がかかることを検出した場合に、覚醒度が低下していると判断していた。そして、この判断に際して黒眼比率を求めていた。これに対し、第６実施形態では、第４実施形態の黒眼比率の時間変化に代えて、黒眼と白眼との境界位置と、白眼と下瞼との境界位置との距離の時間変化に基づいて、覚醒度が低下していると判断する。そして、第６実施形態では、この判断に際して黒眼と白眼との境界位置、及び、白眼と下瞼との境界位置の距離Ｌを求めることとなる。

図４６は、第６実施形態に係る眼球状態検出処理（ＳＴ１７８）の詳細な動作を示すフローチャートである。なお、図４６に示すステップＳＴ２４０〜ＳＴ２５０に示す処理は、図１８に示すステップＳＴ１４０〜ＳＴ１５０に示す処理と同様であるため、説明を省略する。

同図に示すように、上瞼及びその頂点位置を検出し（ＳＴ２４０，ＳＴ２４３）、さらに、黒眼と白眼との境界位置及び白眼と下瞼との境界位置とを検出して境界位置間の距離Ｌを算出すると（ＳＴ２４５，ＳＴ２４６，ＳＴ２４７）、マイコン３は、距離Ｌを時系列メモリに記憶する（ＳＴ２５１）。そして、マイコン３は眼球状態を検出できたと判断し（ＳＴ２５２）、処理は図４０のステップＳＴ１７９に戻る。

その後、第４実施形態と同様に、時系列メモリ上のデータ推移パターンを解析し（ＳＴ１８７）、黒眼と白眼との境界位置、及び、白眼と下瞼との境界位置の距離Ｌの時間変化パターンが、覚醒度低下時のパターンであるか否かを判断する（ＳＴ１８８）。

図４７は、閉眼状態から開眼状態へ移行する場合における境界位置間の距離Ｌの推移を示すグラフである。同図に示すように、覚醒度低下時にあっては、運転者が閉眼状態から開眼状態へ移行する段階で、境界位置間の距離Ｌが増加し、その後減少していく。この場合、マイコン３は、距離Ｌの時間変化パターンが、覚醒度低下時のパターンであると判断する。

これに対し、覚醒時では、運転者が閉眼状態から開眼状態へ移行する段階で、境界位置間の距離Ｌが増加しないこととなる。この場合、マイコン３は、距離Ｌの時間変化パターンが覚醒時のパターンであると判断することとなる。

そして、距離Ｌの時間変化パターンが、覚醒度低下時のパターンであると判断できる場合（ＳＴ１８８：ＹＥＳ）、マイコン３は覚醒度が低下していると判断する（ＳＴ１８９）。他方、距離Ｌの時間変化パターンが、覚醒度低下時のパターンであると判断できない場合（ＳＴ１８８：ＮＯ）、マイコン３は覚醒度が正常であると判断する（ＳＴ１９０）。

このようにして、第６実施形態に係る覚醒度判断装置１ｅによれば、第４実施形態と同様に、覚醒度判断について時間の短縮化を図ることができる。また、覚醒度の判断精度の向上を図ることができる。また、処理速度を向上させることができる。また、覚醒度の判断を正確に行うことができる。

また、第６実施形態では、第４実施形態と同様に、従来装置より覚醒度判断について時間が短縮されていることは言うまでもない。すなわち、第６実施形態では、眼が閉じている状態から開く間の時間だけ確保できれば、覚醒度の低下を判断できるため、覚醒度判断について時間を短縮することができるといえる。

以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、各実施形態を組み合わせてもよい。また、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。

本発明の第１実施形態に係る覚醒度判断装置の構成を示す機能ブロック図である。図１に示した眼画像取得手段の詳細を示すブロック図である。図１に示した眼球状態検出手段の詳細を示すブロック図である。本発明の実施形態に係る覚醒度判断装置のハード構成図である。顔画像取得手段の他の例を示すハード構成図である。第１実施形態に係る覚醒度判断装置１の動作の概略を示すメインフローチャートである。図６に示した眼画像取得処理（ＳＴ１４）の詳細な動作を示すフローチャートである。図７に示した眼候補位置特定処理（ＳＴ３１）の詳細を示すフローチャートである。図８に示したステップＳＴ４６の処理にて形成される連続データ、並びにステップＳＴ３７の処理にて定められる代表座標値Ｃ及び存在領域ＥＡを示す説明図である。図９に示した存在領域ＥＡの大きさを示す説明図である。数人の眼の大きさを調べた横Ｘａの長さの統計データを示す説明図である。数人の眼の大きさを調べた縦Ｙａの長さの統計データを示す説明図である。存在領域ＥＡの画像上の位置を決定する方法を示す説明図である。図７に示した眼判定処理（ＳＴ３２）の詳細を説明するフローチャートである。微小画像を示す説明図である。範囲ＡＲでの二値化閾値の算出方法の説明図である。候補オブジェクトと眼のテンプレートとの幾何形状の比較方法の説明図であり、（ａ）は候補オブジェクトが最適な状態で撮像された場合を示し、（ｂ）は眼の右側が欠けた状態を示し、（ｃ）は眼の左側が欠けた状態を示している。図６に示した眼球状態検出処理（ＳＴ１６）の詳細な動作を示すフローチャートである。眼画像の一例を示す説明図である。微分処理後によって求めた変化点と眼画像との説明図である。グルーピング処理後の様子を示す説明図である。眼領域の説明図である。図１８に示した黒眼領域検出処理（ＳＴ７３）の詳細な動作を示す説明図である。黒眼領域の説明図である。図１８に示した眼領域基準値設定処理（ＳＴ７６）の詳細を示すフローチャートである。図１８に示した眼領域黒眼比率基準値設定処理（ＳＴ７９）の詳細を示すフローチャートである。第２実施形態に係る眼球状態検出手段の詳細を示すブロック図である。第２実施形態に係る眼球状態検出処理（ＳＴ１６）の詳細な動作を示すフローチャートである。図２８に示した眼領域白眼比率基準値設定処理（ＳＴ１１９）の詳細を示すフローチャートである。第３実施形態に係る眼球状態検出手段の詳細を示すブロック図である。第３実施形態に係る眼球状態検出処理（ＳＴ１６）の詳細な動作を示すフローチャートである。上瞼検出処理（ＳＴ１４０）の詳細を示す説明図である。マイコン３が曲線にて近似するときの詳細を示すフローチャートである。二次の近似曲線と上瞼の頂点を示す説明図である。図３１に示した距離算出処理（ＳＴ１４７）の説明図である。図３１に示した距離基準値設定処理（ＳＴ１４９）の詳細を示すフローチャートである。第４実施形態に係る覚醒度判断装置の構成を示す機能ブロック図である。運転者の覚醒度が低下している場合に、閉眼状態から開眼状態へ移行するときの眼の様子を示す説明図である。運転者が覚醒している場合に、閉眼状態から開眼状態へ移行するときの眼の様子を示す説明図である。第４実施形態に係る覚醒度判断装置の動作の概略を示すメインフローチャートである。図４０に示した眼球状態検出処理（ＳＴ１７８）の詳細な動作を示すフローチャートである。開閉眼判定処理（ＳＴ１８０）の詳細を示す説明図である。閉眼状態から開眼状態へ移行する場合における黒眼比率の推移を示すグラフである。第５実施形態に係る眼球状態検出処理（ＳＴ１７８）の詳細な動作を示すフローチャートである。閉眼状態から開眼状態へ移行する場合における白眼比率の推移を示すグラフである。第６実施形態に係る眼球状態検出処理（ＳＴ１７８）の詳細な動作を示すフローチャートである。閉眼状態から開眼状態へ移行する場合における境界位置間の距離Ｌの推移を示すグラフである。

符号の説明

１〜１ｅ…覚醒度判断装置
ＣＬ１…眼画像取得手段
ＣＬ１１…顔画像取得手段
ＣＬ１２…眼検出手段
ＣＬ１３…眼追跡手段
ＣＬ２…眼球状態検出手段
ＣＬ２１…眼領域検出手段
ＣＬ２２…眼領域基準値設定手段
ＣＬ２３…黒眼領域検出手段
ＣＬ２４…眼領域黒眼比率算出手段
ＣＬ２５…眼領域黒眼比率基準値設定手段
ＣＬ２６…白眼領域検出手段
ＣＬ２７…眼領域白眼比率算出手段
ＣＬ２８…眼領域白眼比率基準値設定手段
ＣＬ２９…上瞼検出手段
ＣＬ２１０…頂点位置検出手段
ＣＬ２１１…黒眼白眼境界位置検出手段
ＣＬ２１２…白眼下瞼境界位置検出手段
ＣＬ２１３…距離算出手段
ＣＬ２１４…距離基準値設定手段
ＣＬ３…覚醒度判断手段
ＣＬ４…開閉眼判定手段

Claims

被検出者の眼を含む眼画像を取得する眼画像取得手段と、
前記眼画像取得手段により取得された眼画像から、眼全体の領域を示す眼領域に占める黒眼領域の比率である黒眼比率、または、前記眼領域に占める白眼領域の比率である白眼比率を眼球状態として検出する眼球状態検出手段と、
前記眼球状態検出手段が検出した眼球状態に基づいて、前記黒眼比率が黒眼比率の基準値より小さいか、或いは前記白眼比率が白眼比率の基準値より大きければ、前記被検出者が白眼を剥いている状態を検出したとして、前記被検出者の覚醒度が低下していると判断する覚醒度判断手段と、
を備えることを特徴とする覚醒度判断装置。
前記眼画像取得手段により取得された眼画像から、眼の開閉状態を判断する開閉眼判定手段をさらに備え、
前記覚醒度判断手段は、前記開閉眼判定手段により被検出者の眼が閉眼状態から開眼状態に移行した後の、前記黒眼比率の時間変化、または前記白眼比率の時間変化、または黒眼と白眼との境界位置と、白眼と下瞼との境界位置との距離の時間変化に基づいて、前記被検出者の覚醒度が低下していると判断する
ことを特徴とする請求項１に記載の覚醒度判断装置。
前記眼球状態検出手段は、
前記眼画像取得手段により取得された眼画像から、眼全体の領域を示す眼領域を検出する眼領域検出手段と、
前記眼領域検出手段によって検出された眼領域の大きさの基準値を設定する眼領域基準値設定手段と、
前記眼画像取得手段によって得られた眼画像から、黒眼の領域を検出する黒眼領域検出手段と、
前記眼領域検出手段によって検出された眼領域、及び前記黒眼領域検出手段によって検出された黒眼の領域に基づいて、前記眼領域に占める前記黒眼の領域の比率を算出する眼領域黒眼比率算出手段と、
前記眼領域黒眼比率算出手段によって算出された眼領域に占める黒眼領域の比率の基準値を設定する眼領域黒眼比率基準値設定手段と、を有し、
前記眼領域検出手段によって検出された眼領域の大きさが、前記眼領域基準値設定手段によって設定された眼領域の大きさの基準値相当である場合に、前記眼領域黒眼比率算出手段によって算出された眼領域に占める黒眼領域の比率が、前記眼領域黒眼比率基準値設定手段によって設定された眼領域に占める黒眼領域の比率の基準値より小さくなったことを検出すると、
前記被検出者が白眼を剥いている状態であると検出する
ことを特徴とする請求項１又は請求項２のいずれかに記載の覚醒度判断装置。
前記眼球状態検出手段は、
前記眼画像取得手段により取得された眼画像から、眼全体の領域を示す眼領域を検出する眼領域検出手段と、
前記眼領域検出手段によって検出された眼領域の大きさの基準値を設定する眼領域基準値設定手段と、
前記眼画像取得手段によって得られた眼画像から、白眼の領域を検出する白眼領域検出手段と、
前記眼領域検出手段によって検出された眼領域、及び前記白眼領域検出手段によって検出された白眼の領域に基づいて、前記眼領域に占める前記白眼の領域の比率を算出する眼領域白眼比率算出手段と、
前記眼領域白眼比率算出手段によって算出された眼領域に占める白眼領域の比率の基準値を設定する眼領域白眼比率基準値設定手段と、を有し、
前記眼領域検出手段によって検出された眼領域の大きさが、前記眼領域基準値設定手段によって設定された眼領域の大きさの基準値相当である場合に、前記眼領域白眼比率算出手段によって算出された眼領域に占める白眼領域の比率が、前記眼領域白眼比率基準値設定手段によって設定された眼領域に占める白眼領域の比率の基準値より大きくなったことを検出すると、
前記被検出者が白眼を剥いている状態であると検出する
ことを特徴とする請求項１又は請求項２のいずれかに記載の覚醒度判断装置。
前記眼球状態検出手段は、
前記眼画像取得手段により取得された眼画像から、上瞼を検出する上瞼検出手段と、
前記上側検出手段によって検出された上瞼の頂点位置を検出する頂点位置検出手段と、
前記頂点位置検出手段によって検出された上瞼の頂点位置の顔下方向について、黒眼と白眼との境界位置を検出する黒眼白眼境界位置検出手段と、
前記頂点位置検出手段によって検出された上瞼の頂点位置の顔下方向について、白眼と下瞼との境界位置を検出する白眼下瞼境界位置検出手段と、
前記黒眼白眼境界位置検出手段によって検出された黒眼と白眼との境界位置、及び、前記白眼下瞼境界位置検出手段によって検出された白眼と下瞼との境界位置の距離を算出する距離算出手段と、
前記距離算出手段によって算出された黒眼と白眼との境界位置、及び、白眼と下瞼との境界位置の距離について基準値を設定する距離基準値設定手段と、を有し、
前記距離算出手段により算出された黒眼と白眼との境界位置及び白眼と下瞼の境界位置の距離が、前記距離基準値設定手段によって設定された基準値より大きくなったことを検出すると、
前記被検出者が白眼を剥いている状態であると検出する
ことを特徴とする請求項１又は請求項２のいずれかに記載の覚醒度判断装置。
前記眼画像取得手段は、
被検出者の前方略正面に設置され、被検出者の顔全体を撮像する顔画像撮像手段と、
前記顔画像撮像手段によって撮像された顔全体を含む顔画像から被検出者の眼を検出する眼検出手段と、を有し、
前記眼検出手段によって検出された眼を含み顔画像よりも小さくされた微小画像を、顔画像から抽出して眼画像とする
ことを特徴とする請求項１〜請求項５のいずれか１項に記載の覚醒度判断装置。