JP4710679B2 - 開閉眼判定方法及びその装置 - Google Patents
開閉眼判定方法及びその装置 Download PDFInfo
- Publication number
- JP4710679B2 JP4710679B2 JP2006081244A JP2006081244A JP4710679B2 JP 4710679 B2 JP4710679 B2 JP 4710679B2 JP 2006081244 A JP2006081244 A JP 2006081244A JP 2006081244 A JP2006081244 A JP 2006081244A JP 4710679 B2 JP4710679 B2 JP 4710679B2
- Authority
- JP
- Japan
- Prior art keywords
- eye
- upper eyelid
- curvature
- open
- determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
この発明は、被検出者の眼画像から眼の開閉状態を判定する開閉眼判定方法及びその装置に関するものである。
従来、例えば自動車等の乗物の被検出者（ドライバー）の顔をＣＣＤカメラによって連続的に撮像し、このＣＣＤカメラによって撮像された被検出者の顔画像から顔部位としての眼画像が存在する微小画像を存在領域として検出し、この微小画像から眼画像の上瞼を検出させると共に、この上瞼の曲率を求めて、この曲率から被検出者の眼の開閉状態を判定する開閉眼判定装置が知られている（例えば、特許文献１参照）。
特開２００４−３４１９５４号公報
ところで、上瞼を検出する場合、眼の周りにある皺や影などを上瞼の一部として検出してしまう場合がある。このような場合は、上瞼の曲率に誤差が含まれることになり、上瞼の曲率だけを指標として被検出者の眼の開閉状態を判定すると、正確な判定が行えなくなる可能性がある。
そこで、本発明は、信頼性の高い眼の開閉状態の判定を行うことのできる開閉眼判定方法及びその装置を提供することを目的とするものである。
この目的を達成するため、この発明の開閉眼判定方法及びその装置は、眼画像取得手段により取得された被検出者の眼画像から上瞼の曲率及び前記上瞼の曲率の頂点と眉の代表座標値との間隔又は眼の縦幅の少なくとも一方を算出し、この上瞼の曲率が所定の曲率閾値より大きい場合は開眼と判定し、上瞼の曲率が前記所定の曲率閾値より小さい場合は閉眼と判定するようになっている。しかも、この発明の開閉眼判定方法及びその装置は、前記上瞼の曲率を確実に検出できる開閉眼判定確実領域及び上瞼の曲率を不確定ながら検出することが可能であるものの検出された上瞼の曲率の判定精度の低いために前記曲率閾値のみで確実に上瞼の開眼，閉眼の判定が難しい開閉眼判定不確実領域の設定の指標となる上瞼検出判定閾値を設定して、前記上瞼検出判定閾値を用いて前記開閉眼判定確実領域と前記開閉眼判定不確実領域とを設定するようになっている。また、この発明の開閉眼判定方法及びその装置は、前記上瞼の曲率の頂点と眉の代表座標値との間隔の所定の値を開眼と閉眼の判定を行うための間隔判断の閾値と、眼の縦幅の所定の値を開眼と閉眼の判定を行うための眼の縦幅判断の閾値の少なくとも一方を設定して、算出された前記上瞼の曲率が前記開閉眼判定確実領域にある場合は、前記上瞼の曲率が所定の曲率閾値に対して大きいか小さいかから前記上瞼の開眼と閉眼の判定を行い、算出された前記上瞼の曲率が前記開閉眼判定不確実領域にある場合は、前記上瞼の曲率の頂点と眉の代表座標値との間隔が前記間隔判断の閾値より大きいとき閉眼と判定し且つ小さいときに開眼と判定する第２開閉眼判定処理と、前記眼の縦幅が眼の縦幅判断の閾値より大きいとき開眼と判定し且つ小さいとき閉眼と判定する第２開閉眼判定処理の少なくとも一方を実行するようになっている。
この方法及び装置によれば、検出される上瞼の曲率が開閉眼判定確実領域にある場合は上瞼の曲率により開眼と閉眼の判定を行い、算出された前記上瞼の曲率が前記開閉眼判定不確実領域にある場合は前記上瞼の曲率と上瞼の曲率以外のパラメータとによって開眼と閉眼の判定を行うようになっているので、信頼性の高い眼の開閉状態の判定を行うことができる。
以下、この発明の実施の形態を図面に基づいて説明する。
[構成]
図１は、本発明の実施の形態に係る開閉眼判定装置１の構成を示す機能ブロック図である。この開閉眼判定装置１は、被検出者の眼が開眼状態にあるか又は閉眼状態にあるかを判定するものである。
[構成]
図１は、本発明の実施の形態に係る開閉眼判定装置１の構成を示す機能ブロック図である。この開閉眼判定装置１は、被検出者の眼が開眼状態にあるか又は閉眼状態にあるかを判定するものである。
そして、開閉眼判定装置１は、眼画像取得手段ＣＬ１，上瞼検出手段ＣＬ２，上瞼座標抽出手段ＣＬ３を備えている。また、開閉眼判定装置１は、曲線近似手段ＣＬ４，相関値検出手段ＣＬ５及び開閉眼判定閾値設定手段ＣＬ６を備えている。更に、開閉眼判定装置１は、上瞼曲率検出手段ＣＬ７，開閉眼判定手段ＣＬ８，上瞼幅検出手段ＣＬ９を有している。
眼画像取得手段ＣＬ１は、被検出者の眼を含む眼画像を取得して、取得した眼画像のデータを上瞼検出手段ＣＬ２に入力する。また、上瞼検出手段ＣＬ２は、検出した上瞼のデータを上瞼座標抽出手段ＣＬ３に入力するようになっている。
上瞼座標抽出手段ＣＬ３は、上瞼検出手段ＣＬ２によって検出された上瞼の座標から、上瞼を構成する座標群を抽出するものである。また、上瞼座標抽出手段ＣＬ３は、検出により抽出した上瞼を構成する座標群のデータを曲線近似手段ＣＬ４、相関値検出手段ＣＬ５及び上瞼曲率検出手段ＣＬ７に入力するようになっている。
曲線近似手段ＣＬ４は、上瞼座標抽出手段ＣＬ３により抽出された上瞼の座標群から上瞼を二次以上の次数を有する曲線に近似させるものである。この曲線近似手段ＣＬ４は、例えば上瞼座標抽出手段ＣＬ３により抽出された上瞼の座標群から最小二乗法によって、二次の線形多項式に近似させる。また、曲線近似手段ＣＬ４は、近似した曲線の情報を相関値検出手段ＣＬ５に入力するようになっている。
相関値検出手段ＣＬ５は、上瞼座標抽出手段ＣＬ３によって抽出された上瞼の座標群と、曲線近似手段ＣＬ４により近似させられた曲線との相関値を算出するものである。この相関値検出手段ＣＬ５は、相関値を算出すると、この算出したデータを開閉眼判定閾値設定手段ＣＬ６に入力する。
開閉眼判定閾値設定手段ＣＬ６は、相関値検出手段ＣＬ５により算出された相関値に基づいて、開閉眼の判定の基準となる上瞼検出判定閾値（後述）を設定するものである。また、後述する上瞼曲率検出手段ＣＬ７により算出された上瞼の曲率に基づいて、曲率閾値を設定するものである。また、開閉眼判定閾値設定手段ＣＬ６は、設定した各閾値の情報を、開閉眼判定手段ＣＬ８に入力するようになっている。
上瞼曲率検出手段ＣＬ７は、上瞼座標抽出手段ＣＬ３により抽出された座標群から、上瞼の曲率を算出するものである。上瞼曲率検出手段ＣＬ７は、算出した上瞼の曲率のデータを開閉眼判定閾値設定手段ＣＬ６及び開閉眼判定手段ＣＬ８に入力するようになっている。
開閉眼判定手段ＣＬ８は、上瞼曲率検出手段ＣＬ７により検出された上瞼の曲率と、開閉眼判定閾値設定手段ＣＬ６により設定された各閾値との比較により開眼と閉眼を判定するようになっている。また、開閉眼判定手段ＣＬ８は、居眠り検出装置などに接続されており、判定した開閉眼の結果を当該装置に入力するようになっている。更に、上瞼横幅検出手段ＣＬ９は、上瞼座標抽出手段ＣＬ３で検出された上瞼の座標から上瞼の横幅を検出して、検出した上瞼の横幅を開閉眼判定閾値設定手段ＣＬ６に入力するようになっている。
＜眼画像取得手段ＣＬ１の詳細＞
ここで、眼画像取得手段ＣＬ１は、詳細には以下の構成となっている、
即ち、図１に示すように、眼画像取得手段ＣＬ１は、顔画像撮像手段ＣＬ１１と、顔部位検出手段ＣＬ１２を有する。
＜眼画像取得手段ＣＬ１の詳細＞
ここで、眼画像取得手段ＣＬ１は、詳細には以下の構成となっている、
即ち、図１に示すように、眼画像取得手段ＣＬ１は、顔画像撮像手段ＣＬ１１と、顔部位検出手段ＣＬ１２を有する。
顔画像撮像手段ＣＬ１１は、被検出者の前方略正面に設置され、被検出者の顔全体を撮像するものである。
また、顔部位検出手段ＣＬ１２は、眼検出手段ＣＬ１２０と、図示を省略した他の顔部位を検出する他顔部位検出手段を有する。この他顔部位検出手段で検出される他の顔部位としては、例えば眉や耳、鼻、口等がある。
更に、眼検出手段ＣＬ１２０は、顔画像撮像手段ＣＬ１１によって撮像された顔画像から顔部位としての眼の位置を検出する眼位置検出手段ＣＬ１２１と、眼位置検出手段ＣＬ１２１により検出された眼を追跡して眼の位置を出力する眼位置追跡手段ＣＬ１２２を有する。
そして、眼位置追跡手段ＣＬ１２２は、眼位置検出手段ＣＬ１２１によって検出された眼が含まれ且つ顔画像よりも小さく設定された微小画像を、顔画像から抽出して眼画像とするようになっている。
＜開閉眼判定閾値設定手段ＣＬ６の詳細＞
また、開閉眼判定閾値設定手段ＣＬ６は詳細には以下のようになっている。即ち、図１に示すように、開閉眼判定閾値設定手段ＣＬ６は、第１算出手段ＣＬ６１と第２算出手段ＣＬ６２を有する。第１算出手段ＣＬ６１は、開眼時の上瞼の代表値から設定される第１判定閾値を算出するものである。また、第２算出手段ＣＬ６２は、閉眼時の上瞼の曲率の代表値から設定される第２判定閾値を算出するものである。
＜開閉眼判定閾値設定手段ＣＬ６の詳細＞
また、開閉眼判定閾値設定手段ＣＬ６は詳細には以下のようになっている。即ち、図１に示すように、開閉眼判定閾値設定手段ＣＬ６は、第１算出手段ＣＬ６１と第２算出手段ＣＬ６２を有する。第１算出手段ＣＬ６１は、開眼時の上瞼の代表値から設定される第１判定閾値を算出するものである。また、第２算出手段ＣＬ６２は、閉眼時の上瞼の曲率の代表値から設定される第２判定閾値を算出するものである。
さらに、図１に示すように第１算出手段ＣＬ６１は、第１サンプリング手段ＣＬ６１１と、第１代表値算出手段ＣＬ６１２を有している。第１サンプリング手段ＣＬ６１１は、上瞼の曲率を所定数サンプリングするものである。また、第１代表値算出手段ＣＬ６１２は、第１サンプリング手段ＣＬ６１１によってサンプリングされた所定数の曲率から、平均値、中央値、又は最頻値のいずれか１つを算出して、算出した値を第１の統計的代表値とするようになっている。
また、図１に示すように第２算出手段ＣＬ６２は、第２サンプリング手段ＣＬ６２１と、第２代表値算出手段ＣＬ６２２を有する。第２サンプリング手段ＣＬ６２１は、上瞼の曲率を所定数サンプリングするようになっている。また、第２代表値算出手段ＣＬ６２２は、第２サンプリング手段ＣＬ６２１によってサンプリングされた所定数の曲率から、平均値、中央値、又は最頻値のいずれか１つを算出して、算出した値を第２の統計的代表値とするようになっている。
＜上瞼横幅検出手段ＣＬ９＞
この上瞼横幅検出手段ＣＬ９は、上瞼座標抽出手段ＣＬ３によって抽出された上瞼の座標群から抽出された上瞼の横幅を検出し、検出した上瞼の横幅を開閉眼判定閾値設定手段ＣＬ６に入力するようになっている。
＜上瞼横幅検出手段ＣＬ９＞
この上瞼横幅検出手段ＣＬ９は、上瞼座標抽出手段ＣＬ３によって抽出された上瞼の座標群から抽出された上瞼の横幅を検出し、検出した上瞼の横幅を開閉眼判定閾値設定手段ＣＬ６に入力するようになっている。
そして、開閉眼判定閾値設定手段ＣＬ６は、上瞼横幅推定手段ＣＬ９によって抽出された上瞼の横幅が所定値以下の場合、上瞼の横幅が所定値を超える場合に比べ開眼判定不確実領域が広くなるように上瞼検出判定閾値を設定するようになっている。
[開閉眼判定装置１の具体例]
このようなこの発明の実施の形態に係る開閉眼判定装置１は、自動車，鉄道車両，船舶等の乗物の運転者（被検出者）や、プラントのオペレータ（被検出者）の開閉眼の判定に用いることができる。以下、この開閉眼判定装置１を車両（自動車）に適用した実施例で説明する。
[開閉眼判定装置１の具体例]
このようなこの発明の実施の形態に係る開閉眼判定装置１は、自動車，鉄道車両，船舶等の乗物の運転者（被検出者）や、プラントのオペレータ（被検出者）の開閉眼の判定に用いることができる。以下、この開閉眼判定装置１を車両（自動車）に適用した実施例で説明する。
図２は、この発明の実施の形態に係る開閉眼判定装置１と車両２との関係を示す概略説明図である。図２において、３は車両のインストルメントパネル、４は被検出者としての運転者（運転席乗員）、５は運転者の顔である。
そして、開閉眼判定装置１は、運転者４の顔５を撮像させるカメラ（顔画像撮像手段ＣＬ１１）６と、インストルメント３の裏側等の車体内部に設置されたマイコン（マイクロコンピュータ）７を有する。
カメラ６は、少なくとも被検出者としての運転者（ドライバー）の顔の全体若しくは略全体を正面から撮像できるように、インストルメントパネル３の車幅方向の略中央上部に設置されている。このカメラ６には、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（complement Metal Oxide Semicondutor)等の撮像素子からなる動画を撮像可能なカメラが用いられる。本実施形態では、例えば横方向（Ｘ軸方向）６４０画素、縦方向（Ｙ軸方向）４８０画素からなるＣＣＤがカメラ６として用いられている。
また、マイコン７には、顔部位検出手段ＣＬ１２，上瞼検出手段ＣＬ２，上瞼座標抽出手段ＣＬ３，曲線近似手段ＣＬ４，相関値検出手段ＣＬ５，開閉眼判定閾値設定手段ＣＬ６，上瞼曲率検出手段ＣＬ７，開閉眼判定手段ＣＬ８，上瞼横幅検出手段ＣＬ９を構成する開閉眼判定プログラムがインストールされている。そして、マイコン７は、カメラ６からの顔画像を含む画像データが入力されると、以下のような開閉眼判定プログラムを実行して、開閉眼を判定するようになっている。
[作用]
次に、この構成の開閉眼判定プログラムを図３のフローチャートに基づいて説明する。
[作用]
次に、この構成の開閉眼判定プログラムを図３のフローチャートに基づいて説明する。
図示しない車両のキーシリンダをイグニッションキーで操作して、キー位置をイグニッション位置「ＩＧＮ位置」からスタート位置「ＳＴＡＲＴ」まで回してエンジンを稼働させると、マイコン４は開閉眼判定プログラムに従ってステップＳ１の開閉眼判定処理をスタートする。
ステップＳ１
このステップＳ１では、例えばサンプリング時間などの各種設定数である初期値の入力処理を実行して、ステップＳ２の処理フレームカウンタ「ｉ」の初期化の処理に移行する。
ステップＳ２
このステップＳ２では、処理フレームカウンタ「ｉ」を初期化して「０」にし、ステップＳ３の終了判断の処理に移行する。
ステップＳ３
このステップＳ３では、エンジンが停止「ＳＴＯＰ」しているか否かから、開閉眼判定処理の終了判断の処理をして、ステップＳ４に移行する。
ステップＳ４
このステップＳ４では、ステップＳ３でエンジンが停止「ＳＴＯＰ」していて終了であると判断された場合、ＹＥＳで終了「ＥＮＤ」する。また、ステップＳ３でエンジンが停止「ＳＴＯＰ」してないと判断された場合、ステップＳ５の眼画像の取得処理に移行する。
ステップＳ５
このステップＳ５では、カメラ（顔画像撮像手段ＣＬ１１）６により被検出者である図２の運転者４の顔５全体の撮像処理（取得処理）を開始させると共に、この撮像された画像８（図６参照）から図６の顔画像５ａを検出して、検出した顔画像５ａから顔部位の一部である左の眼画像ＥＬ（又は右の眼画像ＥＲ）を眼検出手段ＣＬ１２０により検出（取得）し、ステップＳ６に移行する。
ステップＳ１
このステップＳ１では、例えばサンプリング時間などの各種設定数である初期値の入力処理を実行して、ステップＳ２の処理フレームカウンタ「ｉ」の初期化の処理に移行する。
ステップＳ２
このステップＳ２では、処理フレームカウンタ「ｉ」を初期化して「０」にし、ステップＳ３の終了判断の処理に移行する。
ステップＳ３
このステップＳ３では、エンジンが停止「ＳＴＯＰ」しているか否かから、開閉眼判定処理の終了判断の処理をして、ステップＳ４に移行する。
ステップＳ４
このステップＳ４では、ステップＳ３でエンジンが停止「ＳＴＯＰ」していて終了であると判断された場合、ＹＥＳで終了「ＥＮＤ」する。また、ステップＳ３でエンジンが停止「ＳＴＯＰ」してないと判断された場合、ステップＳ５の眼画像の取得処理に移行する。
ステップＳ５
このステップＳ５では、カメラ（顔画像撮像手段ＣＬ１１）６により被検出者である図２の運転者４の顔５全体の撮像処理（取得処理）を開始させると共に、この撮像された画像８（図６参照）から図６の顔画像５ａを検出して、検出した顔画像５ａから顔部位の一部である左の眼画像ＥＬ（又は右の眼画像ＥＲ）を眼検出手段ＣＬ１２０により検出（取得）し、ステップＳ６に移行する。
尚、この顔画像５ａの検出方法としては周知の技術を用いることができるので、その詳細な説明は省略する。また、顔画像５ａの左の眼画像ＥＬ（又は右の眼画像ＥＲ）は、撮像された顔画像５ａの濃度の変化から検出できる。このような顔画像５ａ及び眼画像ＥＬ，ＥＲの検出も例えば特開２００４−３４１９５４号公報に開示された周知の技術を用いることができるので、その詳細な説明は省略する。
ステップＳ６
このステップＳ６では、眼画像を取得（検出）できたか否かが判断され、取得できていなければＮＯでステップＳ１６に移行し、取得できていればＹＥＳでステップＳ７の上瞼の抽出処理に移行する。
ステップＳ７
このステップＳ７では、上瞼の抽出処理を実行して、ステップＳ８に移行する。この上瞼の抽出処理では、例えば図６に示したように検出した眼画像ＥＬが入るような存在領域ＥＡを微小画像ＩＧとして設定する。そして、図５に示した存在領域ＥＡ内において、顔幅方向に等間隔に複数の検出位置を設定して、各検出位置で縦方向に濃度の変化のある濃度変化点を検出し、この検出した複数の濃度変化点の連続データから図７の上瞼のエッジライン９を抽出する。
ステップＳ８
このステップＳ８では、ステップＳ７において抽出した上瞼のエッジライン９の顔幅方向の長さから上瞼が存在するか否かが判断され、この上瞼が存在しないと判断された場合にはＮＯでステップＳ１６に移行し、上瞼が存在すると判断された場合にはＹＥＳでステップＳ９の上瞼座標抽出処理に移行する。
ステップＳ６
このステップＳ６では、眼画像を取得（検出）できたか否かが判断され、取得できていなければＮＯでステップＳ１６に移行し、取得できていればＹＥＳでステップＳ７の上瞼の抽出処理に移行する。
ステップＳ７
このステップＳ７では、上瞼の抽出処理を実行して、ステップＳ８に移行する。この上瞼の抽出処理では、例えば図６に示したように検出した眼画像ＥＬが入るような存在領域ＥＡを微小画像ＩＧとして設定する。そして、図５に示した存在領域ＥＡ内において、顔幅方向に等間隔に複数の検出位置を設定して、各検出位置で縦方向に濃度の変化のある濃度変化点を検出し、この検出した複数の濃度変化点の連続データから図７の上瞼のエッジライン９を抽出する。
ステップＳ８
このステップＳ８では、ステップＳ７において抽出した上瞼のエッジライン９の顔幅方向の長さから上瞼が存在するか否かが判断され、この上瞼が存在しないと判断された場合にはＮＯでステップＳ１６に移行し、上瞼が存在すると判断された場合にはＹＥＳでステップＳ９の上瞼座標抽出処理に移行する。
この判断は、抽出された上瞼のエッジライン９の顔幅方向の長さが統計的な平均値の所定の誤差範囲内に入っているか否かで行う。例えば、図７（ａ）では上瞼の略全範囲で上瞼のエッジライン９が抽出されているので、上瞼が存在すると判断できる。
しかし、図７（ｂ）では上瞼の顔幅方向の略中央部でのみ上瞼のエッジライン９が抽出され、図７（ｃ）では上瞼の顔幅方向の左側の部分でのみ上瞼のエッジライン９が抽出され、図７（ｄ）では上瞼の顔幅方向の右側の部分でのみ上瞼のエッジライン９が抽出されている。この図７（ｂ）〜（ｄ）で抽出された上瞼のエッジライン９は、図７（ａ）で抽出された上瞼のエッジライン９の長さの略１／３以下となっているので、上瞼が存在しないと判断する。
ステップＳ９
このステップＳ９の上瞼座標抽出処理では、上瞼のエッジライン９の顔幅方向における複数の位置の座標[Ｘｉ，Ｙｊ（ｉ＝０，１，２，…ｍ、ｊ＝０，１，２，…ｎ）を算出し、ステップＳ１０の上瞼の曲線近似処理に移行する。
ステップＳ１０
このステップＳ１０の上瞼の曲線近似処理では、ステップＳ９で算出した上瞼のエッジライン９の多数の座標（Ｘｉ，Ｙｊ）から上瞼のエッジライン９の所定の曲線に近似する処理を実行させ、ステップＳ１１の上瞼曲率算出処理に移行する。
ステップＳ１１
このステップＳ１１の上瞼曲率算出処理では、上瞼のエッジライン９の多数の座標（Ｘｉ，Ｙｊ）から上瞼のエッジライン９の曲率を算出して、ステップＳ１２の上瞼座標と近似曲線の相関算出処理に移行する。
ステップＳ９
このステップＳ９の上瞼座標抽出処理では、上瞼のエッジライン９の顔幅方向における複数の位置の座標[Ｘｉ，Ｙｊ（ｉ＝０，１，２，…ｍ、ｊ＝０，１，２，…ｎ）を算出し、ステップＳ１０の上瞼の曲線近似処理に移行する。
ステップＳ１０
このステップＳ１０の上瞼の曲線近似処理では、ステップＳ９で算出した上瞼のエッジライン９の多数の座標（Ｘｉ，Ｙｊ）から上瞼のエッジライン９の所定の曲線に近似する処理を実行させ、ステップＳ１１の上瞼曲率算出処理に移行する。
ステップＳ１１
このステップＳ１１の上瞼曲率算出処理では、上瞼のエッジライン９の多数の座標（Ｘｉ，Ｙｊ）から上瞼のエッジライン９の曲率を算出して、ステップＳ１２の上瞼座標と近似曲線の相関算出処理に移行する。
即ち、この上瞼曲率算出処理では、上瞼のエッジライン９の顔幅方向の多数の座標（Ｘｉ，Ｙｊ）に基づいて上瞼のエッジライン９の曲線形状を例えば円又は楕円若しくは放物線等のいずれかの曲線に近似するような形状に演算により求めて、ステップＳ１２の上瞼座標と近似曲線の相関算出処理に移行する。
このような曲線近似処理は、周知の技術や、例えば特願２００４−３８７１５号に記載されたものを採用できる。
ステップＳ１２
このステップＳ１２の上瞼座標と近似曲線の相関算出処理では、上瞼のエッジライン９を構成する複数の点の座標（Ｘｉ，Ｙｊ）の高さ方向の座標値Ｙｊの総平方和を第１総平方和Ｍとして求めると共に、座標（Ｘｉ，Ｙｊ）を用いて算出した近似曲線のＸｉにおける高さ方向座標値Ｙの総平方和を第２総平方和Ｎとして求めて、第１総平方和に対する第２総平方和（Ｍ／Ｎ）を相関値として算出し、ステップＳ１３の開閉眼判定曲率閾値設定処理に移行する。
このステップＳ１２の上瞼座標と近似曲線の相関算出処理では、上瞼のエッジライン９を構成する複数の点の座標（Ｘｉ，Ｙｊ）の高さ方向の座標値Ｙｊの総平方和を第１総平方和Ｍとして求めると共に、座標（Ｘｉ，Ｙｊ）を用いて算出した近似曲線のＸｉにおける高さ方向座標値Ｙの総平方和を第２総平方和Ｎとして求めて、第１総平方和に対する第２総平方和（Ｍ／Ｎ）を相関値として算出し、ステップＳ１３の開閉眼判定曲率閾値設定処理に移行する。
ステップＳ１３
このステップＳ１３の開閉眼判定曲率閾値設定処理では、上瞼の曲率のみによって開閉判断を行う範囲や、上瞼の曲率と他のパラメータ（開度値、眼と眉の間隔）を用いて開閉判断を行う範囲等を設定し（詳細は後述）、ステップＳ１４に移行する。
このステップＳ１３の開閉眼判定曲率閾値設定処理では、上瞼の曲率のみによって開閉判断を行う範囲や、上瞼の曲率と他のパラメータ（開度値、眼と眉の間隔）を用いて開閉判断を行う範囲等を設定し（詳細は後述）、ステップＳ１４に移行する。
ステップＳ１４
このステップＳ１４では、開閉眼判定曲率閾値が決定しているか否かが判断され、決定していなければＮＯでステップＳ１６に移行し、決定していればＹＥＳでステップＳ１５の開閉眼判定処理に移行する。
このステップＳ１４では、開閉眼判定曲率閾値が決定しているか否かが判断され、決定していなければＮＯでステップＳ１６に移行し、決定していればＹＥＳでステップＳ１５の開閉眼判定処理に移行する。
ステップＳ１５
このステップＳ１５の開閉眼判定処理では、ステップＳ１３の開閉眼判定曲率閾値設定処理で設定された条件に基づいて開閉眼の判定を実行し（詳細は後述）、ステップＳ１６に移行する。
このステップＳ１５の開閉眼判定処理では、ステップＳ１３の開閉眼判定曲率閾値設定処理で設定された条件に基づいて開閉眼の判定を実行し（詳細は後述）、ステップＳ１６に移行する。
ステップＳ１６
このステップＳ１６では、処理フレームカウンタ「ｉ」をインクリメント（ｉ＝ｉ＋１）して、ステップＳ３に戻り繰り返す。
[ステップＳ１３の開閉眼判定曲率閾値設定処理の詳細]
次に、図４のフローチャートに基づいてステップＳ１３の開閉眼判定曲率閾値設定処理を詳細に説明する。
このステップＳ１６では、処理フレームカウンタ「ｉ」をインクリメント（ｉ＝ｉ＋１）して、ステップＳ３に戻り繰り返す。
[ステップＳ１３の開閉眼判定曲率閾値設定処理の詳細]
次に、図４のフローチャートに基づいてステップＳ１３の開閉眼判定曲率閾値設定処理を詳細に説明する。
ステップＳ１３０１
図３のステップＳ１２からステップＳ１３に移行すると、図４のフローチャートに基づいてステップＳ１３の開閉眼判定曲率閾値設定処理が開始される。そして、図４のステップＳ１３０１では、開閉眼判定曲率閾値が設定されているか否かが判断される。この判断において、開閉眼判定曲率閾値が設定されていればＹＥＳでステップＳ１４に移行し、開閉眼判定曲率閾値が設定されていなければＮＯでステップＳ１３０２に移行する。
図３のステップＳ１２からステップＳ１３に移行すると、図４のフローチャートに基づいてステップＳ１３の開閉眼判定曲率閾値設定処理が開始される。そして、図４のステップＳ１３０１では、開閉眼判定曲率閾値が設定されているか否かが判断される。この判断において、開閉眼判定曲率閾値が設定されていればＹＥＳでステップＳ１４に移行し、開閉眼判定曲率閾値が設定されていなければＮＯでステップＳ１３０２に移行する。
ステップＳ１３０２
このステップＳ１３０２では、上瞼座標と近似曲線の相関が高いか否かが判断され、高くなければＮＯでステップＳ１４に移行し、高ければＹＥＳでステップＳ１３０３に移行する。
このステップＳ１３０２では、上瞼座標と近似曲線の相関が高いか否かが判断され、高くなければＮＯでステップＳ１４に移行し、高ければＹＥＳでステップＳ１３０３に移行する。
ステップＳ１３０３
このステップＳ１３０３では、図３のステップＳ１１において求めた上瞼（エッジライン９）の近似曲線の曲率値をメモリに記録（記憶）して、ステップＳ１３０４に移行する。
このステップＳ１３０３では、図３のステップＳ１１において求めた上瞼（エッジライン９）の近似曲線の曲率値をメモリに記録（記憶）して、ステップＳ１３０４に移行する。
ステップＳ１３０４
このステップＳ１３０４では、上瞼の近似曲線の曲率値が図示しないメモリに所定フレーム数分記録されているか否かが判断され、所定フレーム数分記録されていなければＮＯでステップＳ１４に移行し、所定フレーム数分記録されていればＹＥＳでステップＳ１３０５に移行する。
ステップＳ１３０５
このステップＳ１３０５では、図示しないメモリに記録された所定フレーム数分の上瞼曲率値からその統計的代表値を算出して、ステップＳ１３０６に移行する。
ステップＳ１３０６
このステップＳ１３０６では、ステップＳ１３０５で算出した上瞼曲率値の統計的代表値に基づき開閉眼判定曲率閾値を設定して、ステップＳ１４に移行する。
このステップＳ１３０４では、上瞼の近似曲線の曲率値が図示しないメモリに所定フレーム数分記録されているか否かが判断され、所定フレーム数分記録されていなければＮＯでステップＳ１４に移行し、所定フレーム数分記録されていればＹＥＳでステップＳ１３０５に移行する。
ステップＳ１３０５
このステップＳ１３０５では、図示しないメモリに記録された所定フレーム数分の上瞼曲率値からその統計的代表値を算出して、ステップＳ１３０６に移行する。
ステップＳ１３０６
このステップＳ１３０６では、ステップＳ１３０５で算出した上瞼曲率値の統計的代表値に基づき開閉眼判定曲率閾値を設定して、ステップＳ１４に移行する。
＜ステップＳ１３０６における曲率のみの開閉判断領域設定＞
このステップＳ１３０６においては、上瞼の曲率によって開閉判断を行うことを原則とするために開閉眼判定曲率閾値を図８のように設定する。この設定は図９に示した開閉眼判定閾値を考慮して設定する。即ち、図９に示したように下瞼位置に対する開眼時の上瞼位置Ｅｏと閉眼時の上瞼位置Ｅｃを考えると、開眼時の上瞼位置では上瞼のエッジライン９の曲率が大きく（曲率半径が小さく）、閉眼時の上瞼位置の上瞼のエッジライン９の曲率は小さい（曲率半径は大きい）。従って、開閉眼判定閾値ＳＨは上瞼位置が開眼時の上瞼位置Ｅｏと閉眼時の上瞼位置Ｅｃとの間Ｅｐに位置する場合の曲率となるように設定する。図８では、１／曲率半径Ｒ３が開閉眼判定閾値ＳＨにあたる。
。
このステップＳ１３０６においては、上瞼の曲率によって開閉判断を行うことを原則とするために開閉眼判定曲率閾値を図８のように設定する。この設定は図９に示した開閉眼判定閾値を考慮して設定する。即ち、図９に示したように下瞼位置に対する開眼時の上瞼位置Ｅｏと閉眼時の上瞼位置Ｅｃを考えると、開眼時の上瞼位置では上瞼のエッジライン９の曲率が大きく（曲率半径が小さく）、閉眼時の上瞼位置の上瞼のエッジライン９の曲率は小さい（曲率半径は大きい）。従って、開閉眼判定閾値ＳＨは上瞼位置が開眼時の上瞼位置Ｅｏと閉眼時の上瞼位置Ｅｃとの間Ｅｐに位置する場合の曲率となるように設定する。図８では、１／曲率半径Ｒ３が開閉眼判定閾値ＳＨにあたる。
。
この開閉眼判定閾値ＳＨに基づいて、上瞼検出判定閾値を相関値Ｋに応じて設定する。図８に示すように、相関値ＫがＫ３≦Ｋ≦１．００の場合は、上瞼検出判定閾値＝開閉眼判定閾値ＳＨとする。また相関値ＫがＫ２≦Ｋ＜Ｋ３の場合は、上瞼検出判定閾値＝Ｒ２、Ｒ４とする。また相関値ＫがＫ１≦Ｋ＜Ｋ２の場合は、上瞼検出判定閾値＝Ｒ１、Ｒ５とする。さらに相関値ＫがＫ＜Ｋ１の場合は、上瞼検出判定閾値＝Ｒｍｉｎ、Ｒｍａｘとする。ここで、Ｒｍｉｎ、Ｒｍａｘは、統計的に算出される曲率半径（＝１／曲率）の最小値と最大値である。
ここで、Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５は、例えばそれぞれ８０、１１０、１３ ０、１５０、３００等の値が設定される。また、Ｋ１、Ｋ２、Ｋ３は、例えばそ れぞれ０．７、０．８、０．９５等の値が設定される。
この図８の（１）は曲率閾値のみで開眼と判定される開眼判定領域（範囲）、図８の（２）は曲率閾値のみで閉眼と判定される閉眼判定領域（範囲）である。
この（１）および（２）が開閉眼判定確実領域にあたる。
また、図８の（３）は、曲率により開眼の判定が可能であるものの、判定精度が低く精度の高い判定を行うには他のパラメータによる判定を必要とする開眼判定領域である。
さらに、図８の（４）は、曲率により閉眼の判定が可能であるものの、判定精度が低く精度の高い判定を行うには他のパラメータによる判定を必要とする閉眼判定領域である。
この（３）および（４）が開閉眼判定不確実領域にあたる。
この開閉眼判定不確実領域は、前述した上瞼検出判定閾値により、相関値Ｋが小さくなるほど、その領域が広がるように設定されている。
＜曲率半径と他のパラメータによる開閉判断領域設定＞
相関値Ｋが小さく、曲率が開閉眼判定不確実領域にある場合は、曲率閾値だけで開閉眼の判断は不確定となるので、その他のパラメータ（開度値、眼と眉の間隔）を用いて判定するように設定する。
＜曲率半径と他のパラメータによる開閉判断領域設定＞
相関値Ｋが小さく、曲率が開閉眼判定不確実領域にある場合は、曲率閾値だけで開閉眼の判断は不確定となるので、その他のパラメータ（開度値、眼と眉の間隔）を用いて判定するように設定する。
眼の開閉状態の判定方法としては、図１０に示したように眼の縦幅による開閉眼判定方法と、上瞼のピーク点Ｐと眉ＥＬｂの代表座標値Ｃの間隔による開閉眼判定方法がある。眼の縦幅による開閉眼判定方法では、開眼時の縦幅Ｈは大きく、閉眼時の縦幅ｈは小さいことを利用して、この縦幅Ｈ、ｈの判断の閾値を設定することで、縦幅Ｈ、ｈから開閉眼の判断ができる。
また、上瞼のピーク点（頂点）Ｐと眉ＥＬｂの代表座標値Ｃの間隔による開閉眼判定方法では、閉眼時は上瞼のピーク点（頂点）Ｐと眉ＥＬｂの代表座標値Ｃの間隔Ｌ１が大きく、開眼時は上瞼のピーク点（頂点）Ｐと眉ＥＬｂの代表座標値Ｃの間隔Ｌ２が小さいことを利用して、間隔Ｌ１，Ｌ２の判断の閾値を設定することで、間隔Ｌ１，Ｌ２から開閉眼を判断する。
[ステップＳ１５の開閉眼判定処理の詳細]
次に、図５のフローチャート及び図８の開閉眼判定閾値設定図に基づいてステップＳ１５の開閉眼判定理を詳細に説明する。
[ステップＳ１５の開閉眼判定処理の詳細]
次に、図５のフローチャート及び図８の開閉眼判定閾値設定図に基づいてステップＳ１５の開閉眼判定理を詳細に説明する。
先ず、図８において、相関値Ｋや曲率半径Ｒの閾値は上述したように次のように設定されている。例えば、相関値Ｋ１は０．７０、相関値Ｋ２は０．８０、相関値Ｋ３は０．９５である。また、図８において、例えば、曲率半径Ｒ１は略８０mm程度、曲率半径Ｒ２は略１１０mm程度、曲率半径Ｒ３は略１３０mm程度、曲率半径Ｒ４は略１５０mm程度、曲率半径Ｒ５は略３００ｍｍ程度に設定されている。従って、Ｒ２とＲ４との間は＋−２０mm程度、即ちＲ２とＲ３との間及びＲ３とＲ４の間はそれぞれ略２０mm程度に設定されている。尚、相関値Ｋや曲率半径Ｒの閾値は、これらの値に必ずしも限定されるものではなく、その前後の値や、被検出者に応じた値に設定することもできる。
図３のステップＳ１４からステップＳ１５に移行すると、図８の閾値の設定に基づいて図５（ａ）〜（ｃ）の開閉眼判定理を開始する。
ステップＳ１５０１
このステップＳ１５０１では、相関値Ｋが図８のＫ３より大きいか否かが判断され、大きければＹＥＳで図５（ａ）のステップＳ１５０２に移行し、相関値ＫがＫ３より小さい場合にはＮＯで図５（ａ）のステップＳ１５０３に移行する。
このステップＳ１５０１では、相関値Ｋが図８のＫ３より大きいか否かが判断され、大きければＹＥＳで図５（ａ）のステップＳ１５０２に移行し、相関値ＫがＫ３より小さい場合にはＮＯで図５（ａ）のステップＳ１５０３に移行する。
ステップＳ１５０２
このステップＳ１５０２では、上瞼の曲率半径Ｒが図８のＲ３より小さいか否かが判断され、小さければＹＥＳで図５（ｃ）のステップＳ１５０９に移行し、図８の上瞼の曲率半径ＲがＲ３より大きければＮＯで図５（ｃ）のステップＳ１５１０に移行する。
このステップＳ１５０２では、上瞼の曲率半径Ｒが図８のＲ３より小さいか否かが判断され、小さければＹＥＳで図５（ｃ）のステップＳ１５０９に移行し、図８の上瞼の曲率半径ＲがＲ３より大きければＮＯで図５（ｃ）のステップＳ１５１０に移行する。
ステップＳ１５０３
この図５（ａ）のステップＳ１５０３では、相関値Ｋが図８のＫ２より大きいか否かが判断され、小さければＮＯで図５（ｂ）のステップＳ１５０６に移行し、大きければＹＥＳで図５（ａ）のステップＳ１５０４に移行する。
この図５（ａ）のステップＳ１５０３では、相関値Ｋが図８のＫ２より大きいか否かが判断され、小さければＮＯで図５（ｂ）のステップＳ１５０６に移行し、大きければＹＥＳで図５（ａ）のステップＳ１５０４に移行する。
ステップＳ１５０４
この１５０４では、上瞼の曲率半径Ｒが図８のＲ２より小さいか否かが判断され、小さければＹＥＳで図５（ｃ）のステップＳ１５０９に移行し、大きければＮＯで図５（ａ）のステップＳ１５０５に移行する。
この１５０４では、上瞼の曲率半径Ｒが図８のＲ２より小さいか否かが判断され、小さければＹＥＳで図５（ｃ）のステップＳ１５０９に移行し、大きければＮＯで図５（ａ）のステップＳ１５０５に移行する。
ステップＳ１５０５
このステップＳ１５０５では、上瞼の曲率半径Ｒが図８のＲ４より大きいか否かが判断され、大きければＹＥＳで図５（ｃ）のステップＳ１５１０に移行し、小さければＮＯで図５（ｃ）のステップＳ１５１１に移行する。
このステップＳ１５０５では、上瞼の曲率半径Ｒが図８のＲ４より大きいか否かが判断され、大きければＹＥＳで図５（ｃ）のステップＳ１５１０に移行し、小さければＮＯで図５（ｃ）のステップＳ１５１１に移行する。
ステップＳ１５０６
図５（ｂ）のステップＳ１５０６では、相関値Ｋが図８のＫ１より大きいか否かが判断され、大きくなければＮＯで図５（ｃ）のステップＳ１５１１に移行し、大きければＹＥＳで図５（ｂ）のステップＳ１５０７に移行する。
図５（ｂ）のステップＳ１５０６では、相関値Ｋが図８のＫ１より大きいか否かが判断され、大きくなければＮＯで図５（ｃ）のステップＳ１５１１に移行し、大きければＹＥＳで図５（ｂ）のステップＳ１５０７に移行する。
ステップＳ１５０７
このステップＳ１５０７では、上瞼の曲率半径Ｒが図８のＲ１より小さいか否かが判断され、小さければＹＥＳで図５（ｃ）のステップＳ１５０９に移行し、小さくなければＮＯでステップＳ１５０８に移行する。
このステップＳ１５０７では、上瞼の曲率半径Ｒが図８のＲ１より小さいか否かが判断され、小さければＹＥＳで図５（ｃ）のステップＳ１５０９に移行し、小さくなければＮＯでステップＳ１５０８に移行する。
ステップＳ１５０８
このステップＳ１５０８では、上瞼の曲率半径Ｒが図８のＲ５より大きいか否かが判断され、大きければＹＥＳで図５（ｃ）のステップＳ１５１０に移行し、大きくなければＮＯで図５（ｃ）のステップＳ１５１１に移行する。
このステップＳ１５０８では、上瞼の曲率半径Ｒが図８のＲ５より大きいか否かが判断され、大きければＹＥＳで図５（ｃ）のステップＳ１５１０に移行し、大きくなければＮＯで図５（ｃ）のステップＳ１５１１に移行する。
ステップＳ１５０９
このステップＳ１５０９では、上瞼の曲率半径Ｒが曲率閾値のみで開眼と判定される開眼判定領域（１）にあるので、被検出者の眼は開眼と判定して、図３のステップＳ１６に移行する。
このステップＳ１５０９では、上瞼の曲率半径Ｒが曲率閾値のみで開眼と判定される開眼判定領域（１）にあるので、被検出者の眼は開眼と判定して、図３のステップＳ１６に移行する。
ステップＳ１５１０
このステップＳ１５１０では、上瞼の曲率半径Ｒが曲率閾値のみで閉眼と判定される閉眼判定領域（２）にあるので、被検出者の眼は閉眼と判定して、図３のステップＳ１６に移行する。
このステップＳ１５１０では、上瞼の曲率半径Ｒが曲率閾値のみで閉眼と判定される閉眼判定領域（２）にあるので、被検出者の眼は閉眼と判定して、図３のステップＳ１６に移行する。
ステップＳ１５１１
このステップＳ１５１１では、上瞼の曲率半径Ｒが曲率閾値のみで確実に開眼、閉眼と判定することが難しい開眼判定領域（３），閉眼判定領域（４）にあるので、第２開閉眼判定処理を実行して、図３のステップＳ１６に移行する。
このステップＳ１５１１では、上瞼の曲率半径Ｒが曲率閾値のみで確実に開眼、閉眼と判定することが難しい開眼判定領域（３），閉眼判定領域（４）にあるので、第２開閉眼判定処理を実行して、図３のステップＳ１６に移行する。
この第２開閉眼判定処理では、図１０に示した眼の縦幅による開閉眼判定方法と、上瞼のピーク点（頂点）Ｐと眉ＥＬｂの代表座標値Ｃの間隔による開閉眼判定方法とのいずれか一方、又はこれらの組み合わせを用いて、眼の開閉の判断を実行する。
即ち、眼の縦幅による開閉眼判定方法では、眼の縦幅がＨと大きければ開眼と判断し、眼の縦幅がｈと小さければ閉眼と判断する。また、上瞼のピーク点（頂点）Ｐと眉ＥＬｂの代表座標値Ｃの間隔の間隔による開閉眼判定方法では、大きな間隔Ｌ１であれば閉眼と判断し、小さな間隔Ｌ２であれば開眼と判断する。
[変形例]
図１１〜図１４は、この発明の変形例を示したものである。基本的には図１に示した開閉眼判定装置１及び図２の構成が用いられる。以下、図１１のフローチャートに基づいてこの変形例の開眼判定処理を説明する。
図１１〜図１４は、この発明の変形例を示したものである。基本的には図１に示した開閉眼判定装置１及び図２の構成が用いられる。以下、図１１のフローチャートに基づいてこの変形例の開眼判定処理を説明する。
図示しない車両のキーシリンダをイグニッションキーで操作して、キー位置をイグニッション位置「ＩＧＮ位置」からスタート位置「ＳＴＡＲＴ」まで回してエンジンを稼働させると、マイコン７は開閉眼判定プログラムに従ってステップＳ１の開閉眼判定処理をスタートする。
ステップＳ１
このステップＳ１では、例えばサンプリング時間などの各種設定数である初期値の入力処理を実行して、ステップＳ１−１に移行する。
このステップＳ１では、例えばサンプリング時間などの各種設定数である初期値の入力処理を実行して、ステップＳ１−１に移行する。
ステップＳ１−１
このステップＳ１−１では、顔画像の顔部位のうち必要な部分が検出されているか否かを示す顔部位検出フラグ「GetFlag」を未検出である「ＦＡＬＳ」に設定して、ステップＳ２の処理フレームカウンタ「ｉ」の初期化の処理に移行する。 ここで、顔画像の顔部位のうち必要な部分としては少なくとも顔画像の眉，眼等があるので、少なくとも眉，眼等の顔部位を含む顔画像が検出されていなければ、顔部位検出フラグ「GetFlag」を未検出である「ＦＡＬＳ」に設定する。尚、顔部位の検出対象としては鼻，耳，口等も含めることができる。
このステップＳ１−１では、顔画像の顔部位のうち必要な部分が検出されているか否かを示す顔部位検出フラグ「GetFlag」を未検出である「ＦＡＬＳ」に設定して、ステップＳ２の処理フレームカウンタ「ｉ」の初期化の処理に移行する。 ここで、顔画像の顔部位のうち必要な部分としては少なくとも顔画像の眉，眼等があるので、少なくとも眉，眼等の顔部位を含む顔画像が検出されていなければ、顔部位検出フラグ「GetFlag」を未検出である「ＦＡＬＳ」に設定する。尚、顔部位の検出対象としては鼻，耳，口等も含めることができる。
ステップＳ２
このステップＳ２では、処理フレームカウンタ「ｉ」を初期化して「０」にし、ステップＳ３の終了判断の処理に移行する。
このステップＳ２では、処理フレームカウンタ「ｉ」を初期化して「０」にし、ステップＳ３の終了判断の処理に移行する。
ステップＳ３
このステップＳ３では、エンジンが停止「ＳＴＯＰ」しているか否かから、開閉眼判定処理の終了判断の処理をして、ステップＳ４に移行する。
このステップＳ３では、エンジンが停止「ＳＴＯＰ」しているか否かから、開閉眼判定処理の終了判断の処理をして、ステップＳ４に移行する。
ステップＳ４
このステップＳ４では、ステップＳ３でエンジンが停止「ＳＴＯＰ」していて終了であると判断された場合、ＹＥＳで終了「ＥＮＤ」する。また、ステップＳ３でエンジンが停止「ＳＴＯＰ」してないと判断された場合、ステップＳ５１の顔画像の撮像処理に移行する。
このステップＳ４では、ステップＳ３でエンジンが停止「ＳＴＯＰ」していて終了であると判断された場合、ＹＥＳで終了「ＥＮＤ」する。また、ステップＳ３でエンジンが停止「ＳＴＯＰ」してないと判断された場合、ステップＳ５１の顔画像の撮像処理に移行する。
ステップＳ５１
このステップＳ５１の顔画像の撮像処理では、カメラ（顔画像撮像手段ＣＬ１１）６により被検出者である図２の運転者４の顔５全体の撮像処理（取得処理）を開始させ、ステップＳ５２に移行する。
このステップＳ５１の顔画像の撮像処理では、カメラ（顔画像撮像手段ＣＬ１１）６により被検出者である図２の運転者４の顔５全体の撮像処理（取得処理）を開始させ、ステップＳ５２に移行する。
ステップＳ５２
このステップＳ５２では、顔部位検出フラグ「GetFlag」が未検出である「ＦＡＬＳ」であるか否かが判断される。
このステップＳ５２では、顔部位検出フラグ「GetFlag」が未検出である「ＦＡＬＳ」であるか否かが判断される。
そして、このステップＳ５２の判断において、少なくとも顔画像の眉，眼等の顔部位が含まれる顔画像が検出されていなければ、顔部位検出フラグ「GetFlag」が「ＦＡＬＳ」でＹＥＳとなり、ステップＳ５３の顔部位検出処理に移行する。
一方、ステップＳ５２の判断において、少なくとも顔画像の眉，眼等の顔部位が含まれる顔画像が検出されていれば、顔部位検出フラグ「GetFlag」が「ＦＡＬＳ」ではないのでＮＯとなり、ステップＳ５４の顔部位追跡処理に移行する。
ステップＳ５３
このステップＳ５３の顔部位検出処理では、少なくとも顔画像の眉，眼等の顔部位が含まれる顔画像の検出処理を実行して、ステップＳ１６に移行する。
このステップＳ５３の顔部位検出処理では、少なくとも顔画像の眉，眼等の顔部位が含まれる顔画像の検出処理を実行して、ステップＳ１６に移行する。
ステップＳ５４
ステップＳ５４の顔部位追跡処理では、図６の顔部位である眼が含まれる微小画像Ｇを眼の存在領域ＥＡとして設定して、存在領域ＥＡの追跡処理を実行すると共に、同様に顔部位である眉が含まれる微小画像を眉の存在領域として設定して、眼や眉の追跡処理を実行し、ステップＳ７の上瞼の抽出処理に移行する。
ステップＳ５４の顔部位追跡処理では、図６の顔部位である眼が含まれる微小画像Ｇを眼の存在領域ＥＡとして設定して、存在領域ＥＡの追跡処理を実行すると共に、同様に顔部位である眉が含まれる微小画像を眉の存在領域として設定して、眼や眉の追跡処理を実行し、ステップＳ７の上瞼の抽出処理に移行する。
尚、この顔画像５ａの検出方法としては周知の技術を用いることができるので、その詳細な説明は省略する。また、顔画像５ａの左の眼画像ＥＬ（又は右の眼画像ＥＲ）や眉ＥｂＬは、撮像された顔画像５ａの濃度の変化から検出できる。このような顔画像５ａ及び眼画像ＥＬ，ＥＲの検出も例えば特開２００４−３４１９５４号公報に開示された周知の技術を用いることができるので、その詳細な説明は省略する。
ステップＳ７
このステップＳ７では、上瞼の抽出処理を実行して、ステップＳ８に移行する。この上瞼の抽出処理では、例えば図６に示したように検出した眼画像ＥＬが入るような存在領域ＥＡを微小画像ＩＧとして設定する。そして、図５に示した存在領域ＥＡ内において、顔幅方向に等間隔に複数の検出位置を設定して、各検出位置で縦方向に濃度の変化のある濃度変化点を検出し、この検出した複数の濃度変化点の連続データから図７の上瞼のエッジライン９を抽出する。尚、眉の抽出処理も同様な方法で検出できる。
このステップＳ７では、上瞼の抽出処理を実行して、ステップＳ８に移行する。この上瞼の抽出処理では、例えば図６に示したように検出した眼画像ＥＬが入るような存在領域ＥＡを微小画像ＩＧとして設定する。そして、図５に示した存在領域ＥＡ内において、顔幅方向に等間隔に複数の検出位置を設定して、各検出位置で縦方向に濃度の変化のある濃度変化点を検出し、この検出した複数の濃度変化点の連続データから図７の上瞼のエッジライン９を抽出する。尚、眉の抽出処理も同様な方法で検出できる。
ステップＳ８
このステップＳ８では、ステップＳ７において抽出した上瞼のエッジライン９の顔幅方向の長さから上瞼が存在するか否かが判断され、この上瞼が存在しないと判断された場合にはＮＯでステップＳ１６に移行し、上瞼が存在すると判断された場合にはＹＥＳでステップＳ９の上瞼座標抽出処理に移行する。
このステップＳ８では、ステップＳ７において抽出した上瞼のエッジライン９の顔幅方向の長さから上瞼が存在するか否かが判断され、この上瞼が存在しないと判断された場合にはＮＯでステップＳ１６に移行し、上瞼が存在すると判断された場合にはＹＥＳでステップＳ９の上瞼座標抽出処理に移行する。
この判断は、抽出された上瞼のエッジライン９の顔幅方向の長さが統計的な平均値の所定の誤差範囲内に入っているか否かで行う。例えば、図７（ａ）では上瞼の略全範囲で上瞼のエッジライン９が抽出されているので、上瞼が存在すると判断できる。
しかし、図７（ｂ）では上瞼の顔幅方向の略中央部でのみ上瞼のエッジライン９が抽出され、図７（ｃ）では上瞼の顔幅方向の左側の部分でのみ上瞼のエッジライン９が抽出され、図７（ｄ）では上瞼の顔幅方向の右側の部分でのみ上瞼のエッジライン９が抽出されている。この図７（ｂ）〜（ｄ）で抽出された上瞼のエッジライン９は、図７（ａ）で抽出された上瞼のエッジライン９の長さの略１／３以下となっているので、上瞼が存在しないと判断する。
ステップＳ９
このステップＳ９の上瞼座標抽出処理では、上瞼のエッジライン９の顔幅方向における複数の位置の座標[Ｘｉ，Ｙｊ（ｉ＝０，１，２，…ｍ、ｊ＝０，１，２，…ｎ）を算出し、ステップＳ１０の上瞼の曲線近似処理に移行する。
このステップＳ９の上瞼座標抽出処理では、上瞼のエッジライン９の顔幅方向における複数の位置の座標[Ｘｉ，Ｙｊ（ｉ＝０，１，２，…ｍ、ｊ＝０，１，２，…ｎ）を算出し、ステップＳ１０の上瞼の曲線近似処理に移行する。
ステップＳ１０
このステップＳ１０の上瞼の曲線近似処理では、ステップＳ９で算出した上瞼のエッジライン９の多数の座標（Ｘｉ，Ｙｊ）から上瞼のエッジライン９の所定の曲線に近似する処理を実行させ、ステップＳ１１の上瞼曲率算出処理に移行する。
このステップＳ１０の上瞼の曲線近似処理では、ステップＳ９で算出した上瞼のエッジライン９の多数の座標（Ｘｉ，Ｙｊ）から上瞼のエッジライン９の所定の曲線に近似する処理を実行させ、ステップＳ１１の上瞼曲率算出処理に移行する。
ステップＳ１１
このステップＳ１１の上瞼曲率算出処理では、上瞼のエッジライン９の多数の座標（Ｘｉ，Ｙｊ）から上瞼のエッジライン９の曲率を算出し、ステップＳ１２の上瞼座標と近似曲線の相関算出処理に移行する。
このステップＳ１１の上瞼曲率算出処理では、上瞼のエッジライン９の多数の座標（Ｘｉ，Ｙｊ）から上瞼のエッジライン９の曲率を算出し、ステップＳ１２の上瞼座標と近似曲線の相関算出処理に移行する。
即ち、この上瞼曲率算出処理では、上瞼のエッジライン９の顔幅方向の多数の座標（Ｘｉ，Ｙｊ）に基づいて上瞼のエッジライン９の曲線形状を例えば円又は楕円若しくは放物線等のいずれかの曲線に近似するような形状に演算により求めて、ステップＳ１２の上瞼座標と近似曲線の相関算出処理に移行する。
このような曲線近似処理は、周知の技術や、例えば特願２００４−３８７１５号に記載されたものを採用できる。
ステップＳ１２
このステップＳ１２の上瞼座標と近似曲線の相関算出処理では、上瞼のエッジライン９を構成する複数の点の座標（Ｘｉ，Ｙｊ）の高さ方向の座標値Ｙｊの総平方和を第１総平方和Ｍとして求めると共に、座標（Ｘｉ，Ｙｊ）を用いて算出した近似曲線のＸｉにおける高さ方向座標値Ｙの総平方和を第２総平方和Ｎとして求めて、第１総平方和に対する第２総平方和（Ｍ／Ｎ）を相関値として算出し、ステップＳ１３ａの開閉眼判定曲率閾値設定処理に移行する。
このステップＳ１２の上瞼座標と近似曲線の相関算出処理では、上瞼のエッジライン９を構成する複数の点の座標（Ｘｉ，Ｙｊ）の高さ方向の座標値Ｙｊの総平方和を第１総平方和Ｍとして求めると共に、座標（Ｘｉ，Ｙｊ）を用いて算出した近似曲線のＸｉにおける高さ方向座標値Ｙの総平方和を第２総平方和Ｎとして求めて、第１総平方和に対する第２総平方和（Ｍ／Ｎ）を相関値として算出し、ステップＳ１３ａの開閉眼判定曲率閾値設定処理に移行する。
ステップＳ１３ａ
このステップＳ１３ａの開閉眼判定曲率閾値設定処理では、上瞼の曲率のみによって開閉判断を行う範囲や、上瞼の曲率と他のパラメータ（開度値、眼と眉の間隔）を用いて開閉判断を行う範囲等を設定し（詳細は後述）、ステップＳ１４に移行する。
このステップＳ１３ａの開閉眼判定曲率閾値設定処理では、上瞼の曲率のみによって開閉判断を行う範囲や、上瞼の曲率と他のパラメータ（開度値、眼と眉の間隔）を用いて開閉判断を行う範囲等を設定し（詳細は後述）、ステップＳ１４に移行する。
ステップＳ１４
このステップＳ１４では、開閉眼判定曲率閾値が決定しているか否かが判断され、決定していなければＮＯでステップＳ１６に移行し、決定していればＹＥＳでステップＳ１５ａの開閉眼判定処理に移行する。
このステップＳ１４では、開閉眼判定曲率閾値が決定しているか否かが判断され、決定していなければＮＯでステップＳ１６に移行し、決定していればＹＥＳでステップＳ１５ａの開閉眼判定処理に移行する。
ステップＳ１５ａ
このステップＳ１５ａの開閉眼判定処理では、ステップＳ１３ａの開閉眼判定曲率閾値設定処理で設定された条件に基づいて開閉眼の判定を実行し（詳細は後述）、ステップＳ１６に移行する。
このステップＳ１５ａの開閉眼判定処理では、ステップＳ１３ａの開閉眼判定曲率閾値設定処理で設定された条件に基づいて開閉眼の判定を実行し（詳細は後述）、ステップＳ１６に移行する。
ステップＳ１６
このステップＳ１６では、処理フレームカウンタ「ｉ」をインクリメント（ｉ＝ｉ＋１）して、ステップＳ３に戻り繰り返す。
このステップＳ１６では、処理フレームカウンタ「ｉ」をインクリメント（ｉ＝ｉ＋１）して、ステップＳ３に戻り繰り返す。
[ステップＳ１３ａの開閉眼判定曲率閾値設定処理の詳細]
次に、図１１Ａのフローチャートに基づいてステップＳ１３ａの開閉眼判定曲率閾値設定処理を詳細に説明する。
次に、図１１Ａのフローチャートに基づいてステップＳ１３ａの開閉眼判定曲率閾値設定処理を詳細に説明する。
ステップＳ１３ａ１
図３のステップＳ１２からステップＳ１３に移行すると、図１１Ａのフローチャートに基づいてステップＳ１３ａの開閉眼判定曲率閾値設定処理が開始される。そして、図１１ＡのステップＳ１３ａ１では、開閉眼判定曲率閾値が設定されているか否かが判断される。この判断において、開閉眼判定曲率閾値が設定されていればＹＥＳでステップＳ１４に移行し、開閉眼判定曲率閾値が設定されていなければＮＯでステップＳ１３ａ２に移行する。
図３のステップＳ１２からステップＳ１３に移行すると、図１１Ａのフローチャートに基づいてステップＳ１３ａの開閉眼判定曲率閾値設定処理が開始される。そして、図１１ＡのステップＳ１３ａ１では、開閉眼判定曲率閾値が設定されているか否かが判断される。この判断において、開閉眼判定曲率閾値が設定されていればＹＥＳでステップＳ１４に移行し、開閉眼判定曲率閾値が設定されていなければＮＯでステップＳ１３ａ２に移行する。
ステップＳ１３ａ２
このステップＳ１３ａ２では、上瞼座標と近似曲線の相関が高いか否かが判断され、高くなければＮＯでステップＳ１４に移行し、高ければＹＥＳでステップＳ１３ａ３に移行する。
このステップＳ１３ａ２では、上瞼座標と近似曲線の相関が高いか否かが判断され、高くなければＮＯでステップＳ１４に移行し、高ければＹＥＳでステップＳ１３ａ３に移行する。
ステップＳ１３ａ３
このステップＳ１３ａ３では、図３のステップＳ１１において求めた上瞼（エッジライン９）の近似曲線の曲率値をメモリに記録（記憶）して、ステップＳ１３ａ４に移行する。
このステップＳ１３ａ３では、図３のステップＳ１１において求めた上瞼（エッジライン９）の近似曲線の曲率値をメモリに記録（記憶）して、ステップＳ１３ａ４に移行する。
ステップＳ１３ａ４
このステップＳ１３ａ４では、上瞼の近似曲線の曲率値が図示しないメモリに所定フレーム数分記録されいるか否かが判断され、所定フレーム数分記録されいなければＮＯでステップＳ１４に移行し、所定フレーム数分記録されいればＹＥＳでステップＳ１３ａ５に移行する。
このステップＳ１３ａ４では、上瞼の近似曲線の曲率値が図示しないメモリに所定フレーム数分記録されいるか否かが判断され、所定フレーム数分記録されいなければＮＯでステップＳ１４に移行し、所定フレーム数分記録されいればＹＥＳでステップＳ１３ａ５に移行する。
ステップＳ１３ａ５
このステップＳ１３ａ５では、図示しないメモリに記録された所定フレーム数分の上瞼曲率値からその統計的代表値を算出して、ステップＳ１３ａ６に移行する。
このステップＳ１３ａ５では、図示しないメモリに記録された所定フレーム数分の上瞼曲率値からその統計的代表値を算出して、ステップＳ１３ａ６に移行する。
ステップＳ１３ａ６
このステップＳ１３ａ６では、ステップＳ１３ａ５で算出した上瞼曲率値の統計的代表値に基づき開閉眼判定曲率閾値を設定して、ステップＳ１４に移行する。
このステップＳ１３ａ６では、ステップＳ１３ａ５で算出した上瞼曲率値の統計的代表値に基づき開閉眼判定曲率閾値を設定して、ステップＳ１４に移行する。
＜ステップＳ１３ａ６における曲率半径のみの開閉判断領域設定＞
このステップＳ１３ａ６においては、上瞼の曲率半径によって開閉判断を行うことを原則とするために開閉眼判定曲率閾値を図１３のように設定する。この設定は図１４に示した曲率による開閉眼判定閾値である第一開閉眼判定閾値Ｓ１と、眼の開度等他のパラメータによる第二開閉眼判定閾値Ｔ１を考慮して設定する。即ち、図１４に示したように下瞼位置に対する開眼時の上瞼位置Ｅｏと閉眼時の上瞼位置Ｅｃを考えると、開眼時の上瞼位置Ｅｏでは上瞼のエッジライン９の曲率が大きく（曲率半径Ｒが小さく）、閉眼時の上瞼位置Ｅｃの上瞼のエッジライン９の曲率は小さい（曲率半径Ｒは大きい）。従って、第一開閉眼判定閾値Ｓ１は、上瞼位置が開眼時の上瞼位置Ｅｏと閉眼時の上瞼位置Ｅｃとの間Ｅｐに位置する場合の曲率となるように設定する。図８では、１／曲率半径Ｒ３が開閉眼判定閾値Ｓ１にあたる。
このステップＳ１３ａ６においては、上瞼の曲率半径によって開閉判断を行うことを原則とするために開閉眼判定曲率閾値を図１３のように設定する。この設定は図１４に示した曲率による開閉眼判定閾値である第一開閉眼判定閾値Ｓ１と、眼の開度等他のパラメータによる第二開閉眼判定閾値Ｔ１を考慮して設定する。即ち、図１４に示したように下瞼位置に対する開眼時の上瞼位置Ｅｏと閉眼時の上瞼位置Ｅｃを考えると、開眼時の上瞼位置Ｅｏでは上瞼のエッジライン９の曲率が大きく（曲率半径Ｒが小さく）、閉眼時の上瞼位置Ｅｃの上瞼のエッジライン９の曲率は小さい（曲率半径Ｒは大きい）。従って、第一開閉眼判定閾値Ｓ１は、上瞼位置が開眼時の上瞼位置Ｅｏと閉眼時の上瞼位置Ｅｃとの間Ｅｐに位置する場合の曲率となるように設定する。図８では、１／曲率半径Ｒ３が開閉眼判定閾値Ｓ１にあたる。
一方、第二開閉眼判定閾値Ｔ１は、曲率が開閉眼判定不確実領域にある場合に他 のパラメータによって開眼、閉眼を判定する場合に用いる閾値であり、開眼、閉 眼の状態をより明確に判定するために、第一開閉眼判定閾値Ｓ１の値を考慮して 設定される。例えば、眼の開度を判定のパラメータとして用いる場合、上瞼位置 がＥｐとＥｏとの間で目の開度が判定されるように第二開閉眼判定閾値ＳＨｏを 設定する。 この開閉眼判定閾値ＳＨに基づいて、上瞼検出判定閾値を相関値Ｋ に応じて設定する。図８に示すように、相関値ＫがＫ３≦Ｋ≦１．００の場合は 、上瞼検出判定閾値＝開閉眼判定閾値ＳＨとする。また相関値ＫがＫ２≦Ｋ＜Ｋ ３の場合は、上瞼検出判定閾値＝Ｒ２、Ｒ４とする。また相関値ＫがＫ１≦Ｋ＜ Ｋ２の場合は、上瞼検出判定閾値＝Ｒ１、Ｒ５とする。また相関値ＫがＫ０１≦ Ｋ＜Ｋ１の場合は、上瞼検出判定閾値＝Ｒ０１、Ｒｍａｘとする。さらに相関値 ＫがＫ＜Ｋ０１の場合は、上瞼検出判定閾値＝Ｒｍｉｎ、Ｒｍａｘとする。ここ で、Ｒｍｉｎ、Ｒｍａｘは、統計的に算出される曲率半径（＝１／曲率）の最小値と最大値である。
ここで、Ｒ０１，Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５は、例えばそれぞれ３０、８０ 、１１０、１３０、１５０、３００等の値が設定される。また、Ｋ０１、Ｋ１、 Ｋ２、Ｋ３は、例えばそれぞれ０．５、０．７、０．８、０．９５等の値が設定される。
この図１３の（１）は曲率閾値のみで開眼と判定される開眼判定領域（範囲）、図１３の（２）は曲率閾値のみで閉眼と判定される閉眼判定領域（範囲）である。
この（１）および（２）が開閉眼判定確実領域にあたる。
また、図８の（３）は、曲率により開眼の判定が可能であるものの、判定精度が低く精度の高い判定を行うには他のパラメータによる判定を必要とする開眼判定領域である。
さらに、図８の（４）は、曲率により閉眼の判定が可能であるものの、判定精度が低く精度の高い判定を行うには他のパラメータによる判定を必要とする閉眼判定領域である。
この（３）および（４）が開閉眼判定不確実領域にあたる。
この開閉眼判定不確実領域は、前述した上瞼検出判定閾値により、相関値Ｋが小さくなるほど、その領域が広がるように設定されている。
この開眼判定領域（範囲）（３）および閉眼判定領域（範囲）（４）では、図１０に示した眼の開閉状態の判定方法のための他のパラメータの閾値が設定される。即ち、眼の開閉状態の判定方法としては、図１０に示したように眼の縦幅による開閉眼判定方法と、上瞼のピーク点Ｐと眉ＥＬｂの代表座標値Ｃの間隔による開閉眼判定方法がある。眼の縦幅による開閉眼判定方法では、開眼時の縦幅Ｈは大きく、閉眼時の縦幅ｈは小さいことを利用して、この縦幅Ｈ，ｈの判断の閾値を設定することで、縦幅Ｈ，ｈから開閉眼の判断ができる。
また、上瞼のピーク点（頂点）Ｐと眉ＥＬｂの代表座標値Ｃの間隔による開閉眼判定方法では、閉眼時は上瞼のピーク点（頂点）Ｐと眉ＥＬｂの代表座標値Ｃの間隔Ｌ１が大きく、開眼時は上瞼のピーク点（頂点）Ｐと眉ＥＬｂの代表座標値Ｃの間隔Ｌ２が小さいことを利用して、間隔Ｌ１，Ｌ２の判断の閾値を設定することで、間隔Ｌ１，Ｌ２から開閉眼を判断する。
また、相関係数が低くなるに従って曲率判定のみでは不確定な範囲（以下、不確定範囲）が広がる。また、曲率半径Ｒが小さくなるに従って不確定な範囲（以下、不確定範囲）が広がる。従って、図１３の開閉眼判定不確定実領域（範囲）（５）は、このようにして設定された開閉眼の検出が不可能な領域であって、上述した領域（１）〜（４）以外の部分に設定されている。
相関値Ｋおよび曲率がこの領域にある場合は、追跡しているオブジェクトが眼でないことを疑うことを含めて別途判定方法を定める必要がある。
なお、眼の横幅が短いときは求められる放物線近似式に誤差が含まれる可能性が大きくなるため、眼の横幅が短くなった時は相関値が高い状態でも不確定範囲が存在するとして図１３のＫ０１，Ｋ１，Ｋ２，Ｋ３を上側にシフトする。
[ステップＳ１５ａの開閉眼判定処理の詳細]
次に、図１１のフローチャート及び図１３の開閉眼判定閾値設定図に基づいてステップＳ１５ａの開閉眼判定理を詳細に説明する。
[ステップＳ１５ａの開閉眼判定処理の詳細]
次に、図１１のフローチャート及び図１３の開閉眼判定閾値設定図に基づいてステップＳ１５ａの開閉眼判定理を詳細に説明する。
先ず、図１３において、相関値Ｋや曲率半径Ｒの閾値は上述したように次のように設定されている。例えば、相関値Ｋ０１は０．５、相関値Ｋ１は０．７０、相関値Ｋ２は０．８０、相関値Ｋ３は０．９５である。また、図１３において、例えば、曲率半径Ｒ０１は略３０mm程度、曲率半径Ｒ１は略８０mm程度、曲率半径Ｒ２は略１１０mm程度、曲率半径Ｒ３は略１３０mm程度、曲率半径Ｒ４は略１５０mm程度、曲率半径Ｒ５は略３００ｍｍ程度に設定されている。従って、Ｒ２とＲ４との間は＋−２０mm程度、即ちＲ２とＲ３との間及びＲ３とＲ４の間はそれぞれ略２０mm程度に設定されている。尚、相関値Ｋや曲率半径Ｒの閾値は、これらの値に必ずしも限定されるものではなく、その前後の値や、被検出者に応じた値に設定することもできる。
図１１のステップＳ１４からのステップＳ１５ａに移行すると、図１３の閾値の設定に基づいて図１２（ａ）〜（ｃ）の開閉眼判定理を開始する。
ステップＳ１５ａ１
このステップＳ１５ａ１では、顔部位検出フラグ「GetFlag」が未検出である「ＦＡＬＳ」であるか否かを判断し、顔部位検出フラグ「GetFlag」が「ＦＡＬＳ」であればＹＥＳでステップＳ１６に移行し、顔部位検出フラグ「GetFlag」が「ＦＡＬＳ」でなければＮＯでステップＳ１５ａ２に移行する。
このステップＳ１５ａ１では、顔部位検出フラグ「GetFlag」が未検出である「ＦＡＬＳ」であるか否かを判断し、顔部位検出フラグ「GetFlag」が「ＦＡＬＳ」であればＹＥＳでステップＳ１６に移行し、顔部位検出フラグ「GetFlag」が「ＦＡＬＳ」でなければＮＯでステップＳ１５ａ２に移行する。
ステップＳ１５ａ２
このステップＳ１５ａ２では、相関値がＫ３より大きいか否かが判断され、相関値がＫ３大きければＹＥＳでステップＳ１５ａ３に移行し、相関値ＫがＫ３より小さければＮＯでステップＳ１５ａ５に移行する。
このステップＳ１５ａ２では、相関値がＫ３より大きいか否かが判断され、相関値がＫ３大きければＹＥＳでステップＳ１５ａ３に移行し、相関値ＫがＫ３より小さければＮＯでステップＳ１５ａ５に移行する。
ステップＳ１５ａ３
このステップＳ１５ａ３では、上瞼の曲率半径ＲがＲ３より小さいか否かが判断され、上瞼の曲率半径ＲがＲ３より小さければＹＥＳでステップＳ１５ａ４に移行し、上瞼の曲率半径ＲがＲ３より大きければＮＯでステップＳ１５ａ１９に移行する。
このステップＳ１５ａ３では、上瞼の曲率半径ＲがＲ３より小さいか否かが判断され、上瞼の曲率半径ＲがＲ３より小さければＹＥＳでステップＳ１５ａ４に移行し、上瞼の曲率半径ＲがＲ３より大きければＮＯでステップＳ１５ａ１９に移行する。
ステップＳ１５ａ４
このステップＳ１５ａ４では、上瞼の曲率半径ＲがＲ０１より大きいか否かが判断され、上瞼の曲率半径ＲがＲ０１より大きければＹＥＳでステップＳ１５ａ１８に移行し、この上瞼の曲率半径ＲがＲ０１より小さければＮＯでステップＳ１５ａ１４に移行する。
このステップＳ１５ａ４では、上瞼の曲率半径ＲがＲ０１より大きいか否かが判断され、上瞼の曲率半径ＲがＲ０１より大きければＹＥＳでステップＳ１５ａ１８に移行し、この上瞼の曲率半径ＲがＲ０１より小さければＮＯでステップＳ１５ａ１４に移行する。
ステップＳ１５ａ５
このステップＳ１５ａ５では、相関値ＫがＫ２より大きいか否かが判断され、相関値ＫがＫ２大きければＹＥＳでステップＳ１５ａ６に移行し、相関値ＫがＫ２より小さければＮＯでステップＳ１５ａ９に移行する。
このステップＳ１５ａ５では、相関値ＫがＫ２より大きいか否かが判断され、相関値ＫがＫ２大きければＹＥＳでステップＳ１５ａ６に移行し、相関値ＫがＫ２より小さければＮＯでステップＳ１５ａ９に移行する。
ステップＳ１５ａ６
このステップＳ１５ａ６では、上瞼の曲率半径ＲがＲ３より小さいか否かが判断され、上瞼の曲率半径ＲがＲ３より小さければＹＥＳでステップＳ１５ａ７に移行し、この上瞼の曲率半径ＲがＲ３より大きければＮＯでステップＳ１５ａ８に移行する。
このステップＳ１５ａ６では、上瞼の曲率半径ＲがＲ３より小さいか否かが判断され、上瞼の曲率半径ＲがＲ３より小さければＹＥＳでステップＳ１５ａ７に移行し、この上瞼の曲率半径ＲがＲ３より大きければＮＯでステップＳ１５ａ８に移行する。
ステップＳ１５ａ７
このステップＳ１５ａ７では、上瞼の曲率半径ＲがＲ０１より大きいか否かが判断され、上瞼の曲率半径ＲがＲ０１より大きければＹＥＳでステップＳ１５ａ１８に移行し、この上瞼の曲率半径ＲがＲ０１より小さければＮＯでステップＳ１５ａ１４に移行する。
このステップＳ１５ａ７では、上瞼の曲率半径ＲがＲ０１より大きいか否かが判断され、上瞼の曲率半径ＲがＲ０１より大きければＹＥＳでステップＳ１５ａ１８に移行し、この上瞼の曲率半径ＲがＲ０１より小さければＮＯでステップＳ１５ａ１４に移行する。
ステップＳ１５ａ８
このステップＳ１５ａ８では、上瞼の曲率半径ＲがＲ４より大きいか否かが判断され、上瞼の曲率半径ＲがＲ４より大きければＹＥＳでステップＳ１５ａ１９に移行し、上瞼の曲率半径ＲがＲ４より小さければＮＯでステップＳ１５ａ２０に移行する。
このステップＳ１５ａ８では、上瞼の曲率半径ＲがＲ４より大きいか否かが判断され、上瞼の曲率半径ＲがＲ４より大きければＹＥＳでステップＳ１５ａ１９に移行し、上瞼の曲率半径ＲがＲ４より小さければＮＯでステップＳ１５ａ２０に移行する。
ステップＳ１５ａ９
このステップＳ１５ａ９では、相関値ＫがＫ１より大きいか否かが判断され、相関値ＫがＫ１より大きければＹＥＳでステップＳ１５ａ１０に移行し、相関値ＫがＫ１より小さければＮＯでステップＳ１５ａ１２に移行する。
このステップＳ１５ａ９では、相関値ＫがＫ１より大きいか否かが判断され、相関値ＫがＫ１より大きければＹＥＳでステップＳ１５ａ１０に移行し、相関値ＫがＫ１より小さければＮＯでステップＳ１５ａ１２に移行する。
ステップＳ１５ａ１０
このステップＳ１５ａ１０では、上瞼の曲率半径ＲがＲ１より小さいか否かが判断され、上瞼の曲率半径ＲがＲ１より小さければＹＥＳでステップＳ１５ａ１１に移行し、この上瞼の曲率半径ＲがＲ１より大きければＮＯでステップＳ１５ａ１３に移行する。
このステップＳ１５ａ１０では、上瞼の曲率半径ＲがＲ１より小さいか否かが判断され、上瞼の曲率半径ＲがＲ１より小さければＹＥＳでステップＳ１５ａ１１に移行し、この上瞼の曲率半径ＲがＲ１より大きければＮＯでステップＳ１５ａ１３に移行する。
ステップＳ１５ａ１１
このステップＳ１５ａ１１では、上瞼の曲率半径ＲがＲ０１より大きいか否かが判断され、上瞼の曲率半径ＲがＲ０１より大きければＹＥＳでステップＳ１５ａ１８に移行し、この上瞼の曲率半径ＲがＲ０１より小さければＮＯでステップＳ１５ａ１４に移行する。
このステップＳ１５ａ１１では、上瞼の曲率半径ＲがＲ０１より大きいか否かが判断され、上瞼の曲率半径ＲがＲ０１より大きければＹＥＳでステップＳ１５ａ１８に移行し、この上瞼の曲率半径ＲがＲ０１より小さければＮＯでステップＳ１５ａ１４に移行する。
ステップＳ１５ａ１２
このステップＳ１５ａ１２では、相関値ＫがＫ０１より大きいか否かが判断され、相関値ＫがＫ０１大きければＹＥＳでステップＳ１５ａ２０に移行し、相関値ＫがＫ０１より小さければＮＯでステップＳ１５ａ１４に移行する。
このステップＳ１５ａ１２では、相関値ＫがＫ０１より大きいか否かが判断され、相関値ＫがＫ０１大きければＹＥＳでステップＳ１５ａ２０に移行し、相関値ＫがＫ０１より小さければＮＯでステップＳ１５ａ１４に移行する。
ステップＳ１５ａ１３
このステップＳ１５ａ１３では、上瞼の曲率半径ＲがＲ５より大きいか否かが判断され、上瞼の曲率半径ＲがＲ５より大きければＹＥＳでステップＳ１５ａ１９に移行し、この上瞼の曲率半径ＲがＲ５より小さければＮＯでステップＳ１５ａ２０に移行する。
このステップＳ１５ａ１３では、上瞼の曲率半径ＲがＲ５より大きいか否かが判断され、上瞼の曲率半径ＲがＲ５より大きければＹＥＳでステップＳ１５ａ１９に移行し、この上瞼の曲率半径ＲがＲ５より小さければＮＯでステップＳ１５ａ２０に移行する。
ステップＳ１５ａ１４
このステップＳ１５ａ１４では、顔部位を再度検出し直すための指標である顔部位再検出処理移行数を計数するための判定不可カウンタ「Ｊ」をインクリメント「Ｊ＝Ｊ＋１」して、ステップＳ１５ａ１５に移行する。
このステップＳ１５ａ１４では、顔部位を再度検出し直すための指標である顔部位再検出処理移行数を計数するための判定不可カウンタ「Ｊ」をインクリメント「Ｊ＝Ｊ＋１」して、ステップＳ１５ａ１５に移行する。
ステップＳ１５ａ１５
このステップＳ１５ａ１５では、判定不可カウンタ「Ｊ」は顔部位再検出処理移行数を超えたか否かが判断される。そして、この判断において、判定不可能カウンタ「Ｊ」が顔部位再検出処理移行数を超えていなければＮＯでステップＳ１６に移行し、判定不可カウンタ「Ｊ」が顔部位再検出処理移行数を超えていいればＹＥＳでステップＳ１５ａ１６に移行する。
このステップＳ１５ａ１５では、判定不可カウンタ「Ｊ」は顔部位再検出処理移行数を超えたか否かが判断される。そして、この判断において、判定不可能カウンタ「Ｊ」が顔部位再検出処理移行数を超えていなければＮＯでステップＳ１６に移行し、判定不可カウンタ「Ｊ」が顔部位再検出処理移行数を超えていいればＹＥＳでステップＳ１５ａ１６に移行する。
ステップＳ１５ａ１６
このステップＳ１５ａ１６では、顔部位検出フラグ「GetFlag」を未検出である「ＦＡＬＳ」に設定して、ステップＳ１５ａ１７に移行する。
このステップＳ１５ａ１６では、顔部位検出フラグ「GetFlag」を未検出である「ＦＡＬＳ」に設定して、ステップＳ１５ａ１７に移行する。
ステップＳ１５ａ１７
このステップＳ１５ａ１７では、顔部位再検出処理移行数を計数するための判定不可カウンタ「Ｊ」を初期化して、ステップＳ１６に移行する。
このステップＳ１５ａ１７では、顔部位再検出処理移行数を計数するための判定不可カウンタ「Ｊ」を初期化して、ステップＳ１６に移行する。
このステップＳ１５ａ１８では、上瞼の曲率半径Ｒが曲率閾値のみで開眼と判定される開眼判定領域（１）にあるので、被検出者の眼は開眼と判定して、ステップＳ１７に移行する。
ステップＳ１５ａ１９
このステップＳ１５ａ１９では、上瞼の曲率半径Ｒが曲率閾値のみで閉眼と判定される閉眼判定領域（２）にあるので、被検出者の眼は開眼と判定して、ステップＳ１５ａ１７に移行する。
ステップＳ１５ａ１９
このステップＳ１５ａ１９では、上瞼の曲率半径Ｒが曲率閾値のみで閉眼と判定される閉眼判定領域（２）にあるので、被検出者の眼は開眼と判定して、ステップＳ１５ａ１７に移行する。
ステップＳ１５ａ２０
このステップＳ１５ａ２０では、上瞼の曲率半径Ｒが曲率閾値のみで確実に開眼、閉眼と判定できない開眼判定領域（３），閉眼判定領域（４）にあるので、第２開閉眼判定処理を実行して、ステップＳ１５ａ１７に移行する。
このステップＳ１５ａ２０では、上瞼の曲率半径Ｒが曲率閾値のみで確実に開眼、閉眼と判定できない開眼判定領域（３），閉眼判定領域（４）にあるので、第２開閉眼判定処理を実行して、ステップＳ１５ａ１７に移行する。
この第２開閉眼判定処理では、図９に示した眼の縦幅による開閉眼判定方法と、図１０の上瞼のピーク点Ｐと眉ＥＬｂの代表座標値Ｃの間隔による開閉眼判定方法とのいずれか一方、又はこれらの組み合わせを用いて、眼の開閉の判断を実行する。
即ち、眼の縦幅による開閉眼判定方法では、眼の縦幅がＨと大きければ開眼と判断し、眼の縦幅がｈと小さければ閉眼と判断する。また、上瞼のピーク点Ｐと眉ＥＬｂの代表座標値Ｃの間隔の間隔による開閉眼判定方法では、大きな間隔Ｌ１であれば閉眼と判断しく、小さな間隔Ｌ２であれば開眼と判断する。
以上説明したように、この発明の実施の形態の開閉眼判定方法は、眼画像取得手段により取得された被検出者の眼画像から上瞼の曲率及び上瞼の曲率以外のパラメータを算出し、この上瞼の曲率が所定の曲率閾値（１／Ｒ０１〜１／Ｒ５）より大きい場合は開眼と判定し、上瞼の曲率が前記所定の曲率閾値（１／Ｒ０１〜１／Ｒ５）より小さい場合は閉眼と判定する。しかも、開閉眼判定方法は、上瞼を確実に検出する開閉眼判定確実領域[（１）、（２）]と上瞼を不確定ながら検出する開閉眼判定不確実領域[（３）、（４）]とを設定する指標となる上瞼検出判定閾値（Ｒ０１〜Ｒ５）を前記曲率閾値（１／Ｒ０１〜１／Ｒ５）に基づいて設定して、この上瞼検出判定閾値（Ｒ０１〜Ｒ５）を用いて前記開閉眼判定確実領域[（１）、（２）]と前記開閉眼判定不確実領域[（３）、（４）]とを設定するようになっている。その上、開閉眼判定方法は、した後、算出された前記上瞼の曲率が前記開閉眼判定確実領域[（１）、（２）]にある場合は前記上瞼の曲率により開眼と閉眼の判定を行い、算出された前記上瞼の曲率が前記開閉眼判定不確実領域[（３）、（４）]にある場合は前記上瞼の曲率と上瞼の曲率以外のパラメータとによって開眼と閉眼の判定を行うようになっている。
この方法によれば、検出される上瞼が開閉眼判定確実領域[（１）、（２）]にある場合は上瞼の曲率のみにより上瞼の開眼，閉眼を判定し、検出される上瞼が開閉眼判定不確実領域[（３）、（４）]にある場合は上瞼の曲率と上瞼の曲率以外のパラメータとによって開閉眼の判定を行うようになっているので、信頼性の高い眼の開閉状態の判定を行うことができる。
また、この発明の実施の形態の開閉眼判定方法は、前記眼画像の上瞼のエッジラインの多数の座標値と、前記多数の座標値から求められる近似曲線との相関値を求めて、前記相関値と前記曲率閾値から前記上瞼検出判定閾値を設定するようになっている。
この方法によれば、実際の上瞼のエッジラインの多数の座標とこの多数の座標から求められる近似曲線の座標との相関値を求めて、この相関値と前記曲率閾値から前記上瞼検出判定閾値を設定するようにしているので、開閉眼判定確実領域[（１）、（２）]と開閉眼判定不確実領域[（３）、（４）]とを容易に設定できる。
更に、この発明の実施の形態の開閉眼判定方法は、前記相関値と前記曲率閾値から開閉眼判定不確定領域を設定するようになっている。
この方法によれば、開閉眼判定確実領域[（１）、（２）]及び開閉眼判定不確実領域[（３）、（４）]と開閉眼判定不確実領域[（５）]を容易に設定できる。
また、この発明の実施の形態の開閉眼判定装置は、眼を含む眼画像を取得する眼画像取得手段ＣＬ１と、前記眼画像取得手段ＣＬ１により得られた眼画像から上瞼を検出する上瞼検出手段ＣＬ２と、前記上瞼検出手段ＣＬ２によって得られた上瞼から上瞼を構成する部分の座標群を抽出する上瞼座標抽出手段ＣＬ３を備えている。また、開閉眼判定装置は、前記上瞼座標抽出手段ＣＬ３から抽出された上瞼の座標群から上瞼の曲率を算出する上瞼曲率算出手段ＣＬ７と、前記上瞼曲率算出手段ＣＬ７により算出された上瞼の曲率により開眼と閉眼を判定する指標となる曲離閾値を設定する開閉眼判定閾値設定手段ＣＬ６と、前記上瞼曲率算出手段ＣＬ７から得られた上瞼の曲率が前記曲率閾値より大きい場合は開眼と判定し、前記上瞼曲率算出手段ＣＬ７から得られた上瞼の曲率が前記曲率閾値より小さい場合は閉眼と判定する開閉眼判定手段ＣＬ８と、を備えている。しかも、前記開閉眼判定閾値設定手段ＣＬ６は、前記上瞼検出手段ＣＬ２が前記曲率閾値に基づき上瞼を確実に検出する開閉眼判定確実領域[（１）、（２）]と上瞼を不確定ながら検出する開閉眼判定不確実領域[（３）、（４）]とを設定する指標となる上瞼検出判定閾値（Ｒ０１〜Ｒ５）を設定し、前記上瞼検出判定閾値（Ｒ０１〜Ｒ５）を用いて前記開閉眼判定確実領域[（１）、（２）]と前記開閉眼判定不確実領域[（３）、（４）]とを設定するようになっている。また、前記開閉眼判定手段ＣＬ８は、前記上瞼曲率算出手段ＣＬ２により算出される前記上瞼の曲率が前記開閉眼判定確実領域[（１）、（２）]にある場合は上瞼の曲率により開眼と閉眼の判定を行い、前記上瞼曲率算出手段ＣＬ２により算出される前記上瞼の曲率が前記開閉眼判定不確実領域[（３）、（４）]にある場合は前記上瞼の曲率と上瞼の曲率以外のパラメータとによって開眼と閉眼の判定を行うようになっている。
この構成によれば、検出される上瞼が開閉眼判定確実領域[（１）、（２）]にある場合は上瞼の曲率のみにより上瞼の開眼，閉眼を判定し、検出される上瞼が開閉眼判定不確実領域[（３）、（４）]の範囲内にある場合は上瞼の曲率と上瞼の曲率以外のパラメータとによって開閉眼の判定を行うようになっているので、信頼性の高い眼の開閉状態の判定を行うことができる。
また、この発明の実施の形態の開閉眼判定装置は、前記上瞼座標抽出手段ＣＬ３から得られた上瞼の座標群から上瞼を二次以上の曲線に近似する曲線近似手段ＣＬ４と、前記上瞼座標抽出手段ＣＬ３から得られた上瞼の座標群と曲線近似手段ＣＬ４によって得られた曲線近似線との相関値を検出する相関値検出手段ＣＬ５とを更に備えている。しかも、前記開閉眼判定閾値設定手段ＣＬ６は相関値検出手段ＣＬ５から得られた上瞼の座標群と曲線近似線との相関値が高い場合の開閉眼判定不確実領域[（３）、（４）]を相関値が低い場合の開閉眼判定不確実領域[（３）、（４）]よりも狭い範囲になるように設定するようになっている。
この構成によれば、眼画像の上瞼の曲率のみから眼の開閉眼状態を正確に判断できる開閉眼判定確実領域[（１）、（２）]と、眼の検出状態が不確定ながら開閉眼状態を判断できる開閉眼判定不確実領域[（３）、（４）]を確実に設定できる。
また、この発明の実施の形態の開閉眼判定装置において、前記上瞼の曲率以外のパラメータは眼の縦幅（図１０のＨ，ｈ）と、上瞼の頂点部分（Ｐ）と眉との間隔（図１０のＬ１，Ｌ２）の少なくとも一つとしている。従って、縦幅（図１０のＨ，ｈ）と間隔（図１０のＬ１，Ｌ２）の両方を用いても良い。
この構成によれば、開閉眼判定不確実領域[（３）、（４）]においても開閉眼の判定を確実に実行できる。
また、この発明の実施の形態の開閉眼判定装置において、前記眼画像取得手段ＣＬ１は、前記被検出者の前方略正面に設置されて前記被検出者の顔全体を含む顔画像を撮像する顔画像撮像手段（ＣＬ１１、カメラ６）と、前記顔画像撮像手段（ＣＬ１１、カメラ６）によって撮像された顔画像から被検出者の眼を検出する眼検出手段ＣＬ１２０とを備えている。しかも、前記眼検出手段ＣＬ１２０は検出した眼の位置を中心とした微小範囲の画像を顔画像から抽出しその画像を眼画像とするようになっている。
この構成によれば、眼画像から上瞼のエッジライン９の多数の座標を迅速に検出できる。
また、この発明の実施の形態の開閉眼判定装置において、前記眼検出手段ＣＬ１２０は、前記顔画像撮像手段ＣＬ１１で撮像された顔画像から眼の位置を検出する眼位置検出手段ＣＬ１２１と、前記眼位置検出手段ＣＬ１２１によって検出された眼の位置から眼を追跡していく眼位置追跡手段ＣＬ１２２とを備えている。
この構成によれば、検出した眼の位置を連続的に追跡して、追跡した眼の眼画像から眼を連続的に検出できる。
また、この発明の実施の形態の開閉眼判定装置において、前記開閉眼判定閾値設定手段ＣＬ６は、前記相関値検出手段ＣＬ５が検出する上瞼の座標群と前記曲線近似線との相関値が統計的に相関がないことを示す非相関値及び上瞼の曲率の統計的な最大値を曲率存在限界閾値として設定するようになっている。しかも、前記開閉眼判定手段ＣＬ８は、前記上瞼曲率検出手段ＣＬ７が検出する上瞼の曲率が前記曲率存在限界閾値（図１３のＫ０１，Ｒ０１）より大きい場合は前記眼位置追跡手段ＣＬ１２２によって追跡していた眼位置を破棄して、前記眼位置検出手段ＣＬ１２１によって前記顔画像から眼位置を検出するようになっている。
この構成によれば、眼画像の検出が不確実な領域での開閉眼の判定を中止して、新たに眼画像を取得して開閉眼の判定を行うので、開閉眼の誤判断を未然に防止できる。
また、この発明の実施の形態の開閉眼判定装置は、前記上瞼座標抽出手段ＣＬ３によって抽出された上瞼の座標群から抽出された上瞼の横幅を検出する上瞼横幅検出手段ＣＬ９１と、前記上瞼横幅検出手段ＣＬ９を備えている。しかも、前記開閉眼判定閾値設定手段ＣＬ６は、前記上瞼横幅検出手段ＣＬ９によって抽出された上瞼の横幅が所定値（例えば実際の上瞼の横幅）より短くなる場合、前記上瞼の横幅が所定値を超える場合に比べ、前記開閉眼判定不確実領域[（３）、（４）]が広くなるように前記上瞼検出判定閾値を設定するようになっている。
この構成によれば、検出した上瞼の横幅が短い場合、すなわち上瞼の検出精度が低い場合は開閉眼判定不確実領域[（３），（４）]を広く設定することで、信頼性の高い眼の開閉状態の判定を行うことができる。
ＣＬ１…眼画像取得手段
ＣＬ１１…顔画像撮像手段
ＣＬ１２…顔部位検出手段
ＣＬ１２０…眼検出手段
ＣＬ１２１…眼位置検出手段
ＣＬ１２２…眼位置追跡手段
ＣＬ２…上瞼検出手段
ＣＬ３…上瞼座標抽出手段
ＣＬ４…曲線近似手段
ＣＬ５…相関値検出手段
ＣＬ６…開閉眼判定閾値設定手段
ＣＬ７…上瞼曲率検出手段
ＣＬ８…開閉眼判定手段
ＣＬ９…上瞼横幅検出手段
Ｈ，ｈ…縦幅
Ｌ１，Ｌ２…間隔
Ｋ０１〜Ｋ３…相関値（上瞼検出判定閾値）
Ｐ…頂点（頂点部分）
Ｒ０１〜Ｒ５…曲率半径閾値（上瞼検出判定閾値）
（１）…開閉眼判定確実領域
（２）…開閉眼判定確実領域
（３）…開閉眼判定不確実領域
（４）…開閉眼判定不確実領域
ＣＬ１１…顔画像撮像手段
ＣＬ１２…顔部位検出手段
ＣＬ１２０…眼検出手段
ＣＬ１２１…眼位置検出手段
ＣＬ１２２…眼位置追跡手段
ＣＬ２…上瞼検出手段
ＣＬ３…上瞼座標抽出手段
ＣＬ４…曲線近似手段
ＣＬ５…相関値検出手段
ＣＬ６…開閉眼判定閾値設定手段
ＣＬ７…上瞼曲率検出手段
ＣＬ８…開閉眼判定手段
ＣＬ９…上瞼横幅検出手段
Ｈ，ｈ…縦幅
Ｌ１，Ｌ２…間隔
Ｋ０１〜Ｋ３…相関値（上瞼検出判定閾値）
Ｐ…頂点（頂点部分）
Ｒ０１〜Ｒ５…曲率半径閾値（上瞼検出判定閾値）
（１）…開閉眼判定確実領域
（２）…開閉眼判定確実領域
（３）…開閉眼判定不確実領域
（４）…開閉眼判定不確実領域
Claims (9)
- 眼画像取得手段により取得された被検出者の眼画像から上瞼の曲率及び前記上瞼の曲率の頂点と眉の代表座標値との間隔又は眼の縦幅の少なくとも一方を算出し、この上瞼の曲率が所定の曲率閾値より大きい場合は開眼と判定し、上瞼の曲率が前記所定の曲率閾値より小さい場合は閉眼と判定する開閉眼判定方法であって、
前記上瞼の曲率を確実に検出できる開閉眼判定確実領域及び上瞼の曲率を不確定ながら検出することが可能であるものの検出された上瞼の曲率の判定精度の低いために前記曲率閾値のみで確実に上瞼の開眼，閉眼の判定が難しい開閉眼判定不確実領域の設定の指標となる上瞼検出判定閾値を設定して、前記上瞼検出判定閾値を用いて前記開閉眼判定確実領域と前記開閉眼判定不確実領域とを設定すると共に、
前記上瞼の曲率の頂点と眉の代表座標値との間隔の所定の値を開眼と閉眼の判定を行うための間隔判断の閾値と、眼の縦幅の所定の値を開眼と閉眼の判定を行うための眼の縦幅判断の閾値の少なくとも一方を設定して、
算出された前記上瞼の曲率が前記開閉眼判定確実領域にある場合は、前記上瞼の曲率が所定の曲率閾値に対して大きいか小さいかから前記上瞼の開眼と閉眼の判定を行い、
算出された前記上瞼の曲率が前記開閉眼判定不確実領域にある場合は、前記上瞼の曲率の頂点と眉の代表座標値との間隔が前記間隔判断の閾値より大きいとき閉眼と判定し且つ小さいときに開眼と判定する第２開閉眼判定処理と、前記眼の縦幅が眼の縦幅判断の閾値より大きいとき開眼と判定し且つ小さいとき閉眼と判定する第２開閉眼判定処理の少なくとも一方を実行することを特徴とする開閉眼判定方法。 - 請求項１に記載の開閉眼判定方法において、前記眼画像の上瞼のエッジラインの複数の点の座標（Ｘｉ，Ｙｊ）の高さ方向の座標値Ｙｊの総平方和を第１総平方和Ｍとして求めると共に、近似曲線のＸｉにおける高さ方向座標値Ｙの総平方和を第２総平方和Ｎとして求めて、前記第１総平方和Ｍ／第２総平方和Ｎを相関値Ｋとして算出すると共に、
予め設定された複数の値に対する前記相関値Ｋの大小関係と前記上瞼の曲率から前記上瞼の開閉眼の判定が前記曲率のみで可能か否かを判定し、判定可能である場合には前記上瞼の開閉眼の判定を算出された前記上瞼の曲率が前記曲率閾値より大きいとき開眼と判定し且つ小さいとき閉眼と判定する一方、予め設定された複数の値に対する前記相関値Ｋの大小関係と前記上瞼の曲率から前記上瞼の開閉眼の判定が前記曲率のみで判定不可能である場合には前記間隔判断の閾値又は前記眼の縦幅判断の閾値を用いて前記上瞼の第２開閉眼判定処理を行うことを特徴とする開閉眼判定方法。 - 請求項２に記載の開閉眼判定方法において、上瞼の曲率の大きい開眼時の上瞼位置をＥｏとし、上瞼の曲率の小さい閉眼時の上瞼位置をＥｃとしたとき、上瞼位置が上瞼位置Ｅｏと上瞼位置Ｅｃとの間Ｅｐに位置する曲率の第一開閉眼判定閾値と、上瞼位置が前記上瞼位置ＥｐとＥｏとの間で目の開度を判定する第二開閉眼判定閾値を前記曲率閾値として設定して、
前記上瞼の曲率が開閉眼判定不確実領域の場合に前記第二開閉眼判定閾値を前記間隔判断の閾値として前記第２開閉眼判定処理を実行することを特徴とする開閉眼判定方法。 - 眼を含む眼画像を取得する眼画像取得手段と、
前記眼画像取得手段により得られた眼画像から上瞼を検出する上瞼検出手段と、
前記上瞼検出手段によって得られた上瞼から上瞼を構成する部分の座標群を抽出する上瞼座標抽出手段と、
前記上瞼座標抽出手段から抽出された上瞼の座標群から上瞼の曲率を算出する上瞼曲率算出手段と、
前記上瞼曲率算出手段により算出された上瞼の曲率により開眼と閉眼を判定する指標となる曲離閾値を設定する開閉眼判定閾値設定手段と、
前記上瞼曲率算出手段から得られた上瞼の曲率が前記曲率閾値より大きい場合は開眼と判定し、前記上瞼曲率算出手段から得られた上瞼の曲率が前記曲率閾値より小さい場合は閉眼と判定する開閉眼判定手段と、を備える開閉眼判定装置であって、
前記開閉眼判定閾値設定手段は、前記上瞼検出手段が前記曲率閾値に基づいて前記上瞼の曲率を確実に検出できる開閉眼判定確実領域及び前記上瞼検出手段が前記曲率閾値に基づいて上瞼の曲率を不確定ながら検出することが可能であるものの検出された上瞼の曲率の判定精度の低いために前記曲率閾値のみで確実に上瞼の開眼，閉眼の判定が難しい開閉眼判定不確実領域の設定の指標となる上瞼検出判定閾値を設定して、前記上瞼検出判定閾値を用いて前記開閉眼判定確実領域と前記開閉眼判定不確実領域とを設定すると共に、
前記上瞼の曲率の頂点と眉の代表座標値との間隔の所定の値を開眼と閉眼の判定を行うための間隔判断の閾値と、眼の縦幅の所定の値を開眼と閉眼の判定を行うための眼の縦幅判断の閾値の少なくとも一方を設定したとき、
前記開閉眼判定手段は、前記上瞼曲率算出手段により算出される前記上瞼の曲率が前記開閉眼判定確実領域にある場合は上瞼の曲率により開眼と閉眼の判定を行い、前記上瞼曲率算出手段により算出される前記上瞼の曲率が前記開閉眼判定不確実領域にある場合は前記上瞼の曲率の頂点と眉の代表座標値との間隔が前記間隔判断の閾値より大きいとき閉眼と判定し且つ小さいときに閉眼と判定する第２開閉眼判定処理と、前記眼の縦幅が眼の縦幅判断の閾値より大きいとき開眼と判定し且つ小さいとき閉眼と判定する第２開閉眼判定処理との少なくとも一方を実行することを特徴とする開閉眼判定装置。 - 請求項４に記載の開閉眼判定装置において、
前記上瞼座標抽出手段から得られた上瞼の座標群から上瞼を二次以上の次数を有する曲線に近似する曲線近似手段と、
前記上瞼座標抽出手段から得られた上瞼の座標群と前記曲線近似手段によって得られた曲線との相関値を検出する相関値検出手段とを更に備え、
前記開閉眼判定閾値設定手段は前記相関値が高い場合の前記開閉眼判定不確実領域が前記相関値が低い場合の前記開閉眼判定不確実領域よりも狭い範囲になるように前記上瞼検出判定閾値を設定することを特徴とする開閉眼判定装置。 - 請求項４又は５に記載の開閉眼判定装置において、
前記眼画像取得手段は、
前記被検出者の前方略正面に設置されて前記被検出者の顔全体を含む顔画像を撮像する顔画像撮像手段と、
前記顔画像撮像手段によって撮像された前記顔画像から前記被検出者の眼を検出する眼検出手段とを備え、
前記眼検出手段は検出した眼の位置を中心とした微小範囲の画像を前記顔画像から抽出しその微小範囲の画像を眼画像とすることを特徴とする開閉眼判定装置。 - 請求項６に記載の開閉眼判定装置において、
前記眼検出手段は、
前記顔画像撮像手段で撮像された前記顔画像から前記顔画像における眼の座標位置を検出する眼位置検出手段と、
前記眼位置検出手段によって検出された前記眼の座標位置から眼を追跡して前記顔画像における眼の座標位置を検出する眼位置追跡手段とを備えることを特徴とする開閉眼検出装置。 - 請求項７に記載の開閉眼判定装置において、
前記開閉眼判定閾値設定手段は、前記相関値検出手段が算出する上瞼の座標群と前記曲線近似線との相関値が統計的に相関がないことを示す非相関閾値および上瞼の曲率の統計的な最大値を曲率存在限界閾値として設定し、
前記開閉眼判定手段は、前記相関値検出手段が算出する前記相関値が前記非相関閾値より小さい場合または前記上瞼曲率検出手段が検出する前記上瞼の曲率が前記曲率存在限界閾値より大きい場合は、前記眼位置追跡手段によって検出された前記眼の座標位置を破棄して、前記眼位置検出手段によって前記顔画像から前記眼の座標位置を検出することを特徴とする開閉眼検出装置。 - 請求項４〜８のいずれか一つに記載の開閉眼判定装置において、前記上瞼座標抽出手段によって抽出された上瞼の座標群から上瞼の横幅を算出する上瞼横幅検出手段を備え、
前記開閉眼判定閾値設定手段は、前記上瞼横幅検出手段によって算出された上瞼の横幅が所定値以下の場合、前記上瞼の横幅が所定値を越える場合に比べ前記開閉眼判定不確実領域が広くなるように前記上瞼検出判定閾値を設定することを特徴とする開閉眼検出装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006081244A JP4710679B2 (ja) | 2006-03-23 | 2006-03-23 | 開閉眼判定方法及びその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006081244A JP4710679B2 (ja) | 2006-03-23 | 2006-03-23 | 開閉眼判定方法及びその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007257332A JP2007257332A (ja) | 2007-10-04 |
| JP4710679B2 true JP4710679B2 (ja) | 2011-06-29 |
Family
ID=38631510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006081244A Expired - Fee Related JP4710679B2 (ja) | 2006-03-23 | 2006-03-23 | 開閉眼判定方法及びその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4710679B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5435013B2 (ja) * | 2011-11-17 | 2014-03-05 | 沖電気工業株式会社 | 目開閉判定装置およびプログラム |
| JP6227996B2 (ja) * | 2013-12-18 | 2017-11-08 | 浜松ホトニクス株式会社 | 計測装置及び計測方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004192551A (ja) * | 2002-12-13 | 2004-07-08 | Nissan Motor Co Ltd | 開閉眼判定装置 |
-
2006
- 2006-03-23 JP JP2006081244A patent/JP4710679B2/ja not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004192551A (ja) * | 2002-12-13 | 2004-07-08 | Nissan Motor Co Ltd | 開閉眼判定装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007257332A (ja) | 2007-10-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4845698B2 (ja) | 眼部検出装置、眼部検出方法及びプログラム | |
| JP4826506B2 (ja) | 視線推定装置 | |
| EP2074550B1 (en) | Eye opening detection system and method of detecting eye opening | |
| JP6234762B2 (ja) | 眼部検出装置、方法、およびプログラム | |
| JP3063504B2 (ja) | 画像データの特徴量検出装置 | |
| KR20000076473A (ko) | 안화상처리장치 | |
| JP2001022933A (ja) | ２次元テンプレートを用いた顔画像処理装置 | |
| US20180174309A1 (en) | Eye Motion Detection Method, Program, Program Storage Medium, and Eye Motion Detection Device | |
| US20140037144A1 (en) | Eyelid-detection device, eyelid-detection method, and recording medium | |
| JP7240910B2 (ja) | 乗員観察装置 | |
| JP2006065640A (ja) | 顔部品位置検出装置及び方法並びにプログラム | |
| JP4989249B2 (ja) | 目検知装置、居眠り検知装置及び目検知装置の方法 | |
| JP2008090452A (ja) | 検出装置、方法およびプログラム | |
| JP2001307076A (ja) | 眼の状態検出装置、居眠り検出装置 | |
| JP4107087B2 (ja) | 開閉眼判定装置 | |
| JP4710679B2 (ja) | 開閉眼判定方法及びその装置 | |
| JP2004192552A (ja) | 開閉眼判定装置 | |
| JP2006120006A (ja) | 開閉眼判定装置 | |
| JP2000067225A (ja) | 眼位置検出装置 | |
| JP3746916B2 (ja) | 瞬目状態検出方法 | |
| JP4118773B2 (ja) | 視線方向検出装置及び視線方向検出方法 | |
| CN111696312B (zh) | 乘员观察装置 | |
| JP4996943B2 (ja) | 顔特徴点検出装置、顔特徴点検出方法及びプログラム | |
| JP4184133B2 (ja) | 画像処理装置 | |
| JP4623044B2 (ja) | 眼の開閉状態検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090204 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101124 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101214 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110222 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110307 |
|
| LAPS | Cancellation because of no payment of annual fees |