JP4506250B2 - 上瞼検出装置 - Google Patents

Description

本発明は、上瞼検出装置に関する。

従来、被検出者の眼の外形瞼について開度を検出する開度検出装置が知られている。この装置では、まず、目を含む領域の濃淡画像を入力し、まばたき方向の基準線上（例えば眼の中心線上）の画素の濃淡変化を表す１次元画像を抽出する。そして、この装置は、抽出した１次元画像に基づいて基準線上の画素毎の濃淡変化を表す１次元エッジ画像を算出し、１次元エッジ画像における濃淡変化の極値に基づいて上瞼と眼球との境界及び下瞼と眼球との境界を検出する。次いで、この装置は、これら境界を結ぶことで眼の外形を求める（例えば特許文献１参照）。
特開平７−３１３４５９号公報

しかしながら、従来装置では、未だ上瞼の検出精度に向上の余地を残すものであった。すなわち、従来装置では、１次元エッジ画像の濃淡変化の極値に基づいて、上瞼と眼球との境界を検出しているため、例えは被検出者が眼鏡を着用している場合にあっては、眼鏡のフレーム部分を上瞼と眼球との境界と判断してしまう可能性がある。また、例えば濃淡変化のみに基づく処理では、被検出者の白眼部分と黒眼部分との境界や、白眼部分と下瞼との境界ですら、上瞼と眼球との境界と判断してしまう可能性がある。

本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、上瞼の検出精度の向上を図ることが可能な上瞼検出装置を提供することにある。

本発明によれば、上瞼検出装置は、眼を含む眼画像を取得する眼画像取得手段と、眼画像取得手段により取得された眼画像から、各画素の濃度に基づいて画像縦方向又は横方向の各エッジ点を抽出し、それらエッジ点を線状にグルーピングすることによってエッジラインを抽出するエッジライン抽出手段とを備えている。また、上瞼検出装置は、エッジライン抽出手段により抽出されたエッジラインを二次以上の曲線に近似する曲線近似手段と、エッジライン抽出手段により抽出されたエッジライン及び曲線近似手段により近似された曲線近似線の少なくとも一方について、曲率を検出する曲率検出手段と、エッジライン抽出手段により抽出されたエッジラインと曲線近似手段により近似された曲線近似線との相関値を検出する相関検出手段とを有している。さらに、上瞼検出装置は、判定手段を備えており、この判定手段は、曲率検出手段により検出された曲率が顔の上下方向対して上に凸であり、且つ相関検出手段によって検出された相関値が所定値以上であると判断されたエッジラインを上瞼のエッジラインであると判定する。

本発明によれば、上瞼検出装置は、検出した曲率が顔の上下方向対して上に凸であり、且つ相関値が所定値以上であると判断されたエッジラインを上瞼のエッジラインであると判定している。ここで、通常、上瞼は開眼状態において弧状となることから、曲線近似しやすく、得られた曲線近似線はエッジラインと大きく異なる可能性が少ない。一方、黒眼部分などは、曲線近似しにくく、得られた曲線近似線はエッジラインと大きく異なる可能性がある。このため、相関値が所定値以上であることを判断することにより、例えば黒眼部分など近似しにくく、得られた曲線近似線がエッジラインと大きく異なる可能性があるものを上瞼であると誤検出してしまうことを防止することができる。

また、通常、上瞼は開眼状態において上に凸の弧状となることから、検出した曲率は、エッジラインが上瞼に相当するものである場合、上に凸を示すものとなる。このため、エッジラインが上に凸であることを判断することにより、眼鏡フレームや黒眼部分と白眼部分との境界など、上瞼以外のものによる誤検出を防止できる。

従って、上瞼の検出精度の向上を図ることができる。

以下、本発明の好適な実施形態を図面に基づいて説明する。

図１は、本発明の実施形態に係る上瞼検出装置の構成を示す機能ブロック図である。同図に示すように、上瞼検出装置１は、被検出者の眼を含む眼画像から、被検出者の上瞼（すなわち上瞼と眼との境界）を検出するものであって、眼画像取得手段ＣＬ１と、エッジライン抽出手段ＣＬ２と、曲線近似手段ＣＬ３とを備えている。また、上瞼検出装置１は、曲率検出手段ＣＬ４、相関検出手段ＣＬ５、及び判定手段ＣＬ６を具備している。

眼画像取得手段ＣＬ１は、被検出者の眼を含む眼画像を取得するものである。また、眼画像取得手段ＣＬ１は、入力した眼画像のデータを、エッジライン検出手段ＣＬ２に送信する構成とされている。

エッジライン検出手段ＣＬ２は、眼画像取得手段ＣＬ１により取得された眼画像から、眼画像内の各画素の濃度に基づいて、画像縦方向又は横方向の各エッジ点を抽出するものである。ここで、エッジ点とは、眼画像の画像縦方向又は横方向について、濃度が白方向から黒方向へ変化しつつ連続する画素群のうち、最も変化量が大きい画素である。すなわち、エッジライン抽出手段ＣＬ２は、眼画像縦方向（画像上端から下端）にエッジ点を抽出した場合、肌から眉毛に差し掛かる境界や、肌から上瞼に差し掛かる境界などをエッジ点として抽出することとなる。このように、エッジライン検出手段ＣＬ２は、画像縦方向又は横方向について濃度の変化量を読み取り、画像の暗くなる部分の境界をエッジ点として抽出することとなる。なお、以下の説明において、エッジライン抽出手段ＣＬ２は、画像縦方向について濃度の変化量を読み取り、エッジ点を抽出することとする。

また、エッジライン抽出手段ＣＬ２は、抽出した各エッジ点を線状にグルーピングすることによってエッジラインを抽出するものである。すなわち、エッジライン抽出手段ＣＬ２は、肌から眉毛に差し掛かる境界や、肌から上瞼に差し掛かる境界などのエッジ点をグルーピングすることによって、肌から眉毛に差し掛かる境界線や、肌から上瞼に差し掛かる境界線を抽出するものである。

さらに、エッジライン抽出手段ＣＬ２は、抽出したエッジラインの情報を曲線近似手段ＣＬ３、曲率検出手段ＣＬ４及び相関検出手段ＣＬ５に送信する構成となっている。

曲線近似手段ＣＬ３は、エッジライン抽出手段ＣＬ２により抽出されたエッジラインを二次以上の曲線に近似するものである。ここで、曲線近似手段ＣＬ３は、エッジラインを二次以上の曲線に近似する際、エッジライン抽出手段ＣＬ２により抽出された各エッジ点の座標情報を用いる。そして、曲線近似手段ＣＬ３は、エッジライン抽出手段ＣＬ２により抽出された各エッジ点の座標から最小二乗法によって、二次の線形多項式に近似する。また、曲線近似手段ＣＬ３は、近似した曲線近似線の情報を曲率検出手段ＣＬ４及び相関検出手段ＣＬ５に送信する構成となっている。

曲率検出手段ＣＬ４は、エッジライン抽出手段ＣＬ２により抽出されたエッジライン、及び曲線近似手段ＣＬ３により近似された曲線近似線の少なくとも一方について、曲率を検出するものである。また、曲率検出手段ＣＬ４は、検出した曲率の情報を判定手段ＣＬ６に送信する構成となっている。

相関検出手段ＣＬ５は、エッジライン抽出手段ＣＬ２により抽出されたエッジラインと、曲線近似手段ＣＬ３により近似された曲線近似線との相関値を検出するものである。また、相関検出手段ＣＬ５は、検出した相関値の情報を判定手段ＣＬ６に送信する構成となっている。

判定手段ＣＬ６は、曲率検出手段ＣＬ４により検出された曲率が顔の上下方向対して上に凸であり、且つ相関検出手段ＣＬ５によって検出された相関値が所定値以上であると判断されたエッジラインを上瞼のエッジラインであると判定するものである。

ここで、曲率が顔の上下方向対して上に凸であって、且つ相関値が所定値以上であると判断されたエッジラインを上瞼のエッジラインであると判定する理由は、以下によるものである。すなわち、上瞼は開眼状態において上に凸の弧状となることから、検出した曲率は、エッジラインが上瞼に相当するものである場合、同様に上に凸を示すものとなる。このため、曲率が顔の上下方向対して上に凸でなければ、そのエッジラインは、眼鏡フレームや眼周辺の影などである可能性が高い。一方、曲率が顔の上下方向対して上に凸である場合には、そのエッジラインは、眼鏡フレームや眼周辺の影などである可能性が低く、上瞼である可能性が高い。従って、判定手段ＣＬ６は、曲率が顔の上下方向対して上に凸であることを確認することにより、上瞼のエッジラインを特定していることとなる。

また、通常、上瞼は開眼状態において弧状となる。このため、曲線近似手段ＣＬ３がエッジラインを二次以上に近似する場合、そのエッジラインが上瞼のエッジラインであるときには、曲線近似しやすく、且つ得られた曲線近似線はエッジラインと大きく異なる可能性が少ない。一方、そのエッジラインが眼周辺の影などから抽出されたものであるときには、曲線近似しにくく、得られた曲線近似線はエッジラインと大きく異なる可能性がある。

このため、エッジラインと曲線近似線との相関値が所定値以上である場合には、例えばエッジラインが眼周辺の影などである可能性が低く、そのエッジラインは、上瞼のエッジラインであるといえる。従って、判定手段ＣＬ６は、相関検出手段ＣＬ５によって検出された相関値が所定値以上であることを確認することによって、上瞼のエッジラインを特定していることとなる。

以上より、上記上瞼検出装置１は、上瞼以外のものを上瞼であると誤検出してしまうことを防止し、上瞼の検出精度の向上を図っている。そして、本技術を開閉眼検知などに役立てることができる。

ここで、眼画像取得手段ＣＬ１は、詳細には以下の構成となっている。すなわち、図１に示すように、眼画像取得手段ＣＬ１は、顔画像取得手段ＣＬ１１と眼検出手段ＣＬ１２とを有している。顔画像取得手段ＣＬ１１は、被検出者の前方略正面に設置され、被検出者の顔全体を撮像するものである。また、眼検出手段ＣＬ１２は、顔画像撮像手段ＣＬ１１によって撮像された顔全体を含む画像から被検出者の眼を検出するものである。そして、眼画像取得手段ＣＬ１は、眼検出手段ＣＬ１２によって眼検出手段によって検出された眼を含み顔画像よりも小さくされた微小画像を、顔画像から抽出して眼画像とする構成となっている。

なお、本装置１は、自動車、鉄道車両、船舶の運転者やプラントのオペレータ等の開閉眼検知に用いることができるが、以下の説明においては、自動車の運転者の開閉眼検知に用いることができる上瞼検出装置１を例に説明することとする。

図２は、本発明の実施形態に係る上瞼検出装置１のハード構成図である。同図に示すように、ＴＶカメラ２が自動車のインストルメント上に設けられている。ＴＶカメラ２は、運転者を略正面から撮像できる位置に設置されており、少なくとも運転者の顔全体を撮影するようにされている。すなわち、このＴＶカメラ２が図１を参照して説明した顔画像取得手段ＣＬ１１を構成している。

また、ＴＶカメラ２の入力画像は、本実施形態では、例えば横方向（Ｘ）６４０画素、縦方向（Ｙ）４８０画素からなる。ＴＶカメラ２で撮像された入力画像は、インストルメント裏側など車体内部に設置されたマイクロコンピュータ（以下、マイコンという）３に画像データとして入力される。

マイコン３には、眼検出手段ＣＬ１２、エッジライン抽出手段ＣＬ２、曲線近似手段ＣＬ３、曲率検出手段ＣＬ４、相関検出手段ＣＬ５、及び判定手段ＣＬ６を構成するプログラムロジックがプログラミングされている。そして、マイコン３は、ＴＶカメラ２からの顔全体を含む画像のデータに基づいて、上記した処理を実行し、運転者の上瞼を検出していくこととなる。

また、ＴＶカメラ２等は、図３に示す構成であってもよい。図３は、顔画像取得手段ＣＬ１１の他の例を示すハード構成図である。この例の場合、顔画像取得手段ＣＬ１１としてのＴＶカメラ２は、運転者の頭部に取り付けられている。また、ＴＶカメラ２は、ミラー４を介して眼を撮像するように構成されている。このように、直接に眼を撮像することにより、図１に示した眼検出手段ＣＬ１２を不要にし、構成及び処理の簡素化を図ることができる。

なお、ＴＶカメラ２は、ミラー４の位置に設置され、直接に眼を撮像する構成とされてもよい。さらに、ＴＶカメラ２は、インストルメント上に設置されされ、運転者に視点の位置を自動追尾しながら眼を撮像する構成とされてもよい。

次に、本実施形態に係る上瞼検出装置１の動作について説明する。図４は、第１実施形態に係る上瞼検出装置１の動作の概略を示すメインフローチャートである。同図に示すように、まず、処理が開始されると、マイコン３は、初期値入力処理を実行する（ＳＴ１０）。この初期値入力の処理では、サンプリング時間などの各種定数が読み込まれる。

その後、マイコン３は、処理フレームカウンタ「ｉ」を「０」に初期化する（ＳＴ１１）。初期化後、マイコン３は、終了判断処理を実行する（ＳＴ１２）。この際、マイコン３は、例えばエンジンが起動しているか等に基づいて判断を行う。

そして、マイコン３は、「ＳＴＯＰ」か否かを判断する（ＳＴ１３）。例えばエンジンが起動されていないと判断した場合、マイコン３は、「ＳＴＯＰ」であると判断し（ＳＴ１３：ＹＥＳ）、処理は終了することとなる。

一方、エンジンが起動され走行しているなどにより、「ＳＴＯＰ」でないと判断した場合（ＳＴ１３：ＮＯ）、マイコン３は、眼画像の取得及び確認（ＳＴ１４，ＳＴ１５）、エッジラインの抽出及び確認（ＳＴ１６，ＳＴ１７）、曲率を検出と曲率が上に凸であるかの判断（ＳＴ１８，ＳＴ２０）、及び相関値の算出及び相関値が所定値以上かの判断（ＳＴ１９，ＳＴ２１）を行って、エッジラインが上瞼のエッジラインであるか否かを判断する。

詳細に説明する。まず、マイコン３は、眼画像の取得処理を実行する（ＳＴ１４）。これにより、図２に示す構成例にあっては、ＴＶカメラ２が運転者の顔全体を撮像し、マイコン３が顔全体の画像から眼画像を取得する。また、図３に示す構成の場合、ＴＶカメラ２は直接に眼画像を取得することとなる。

図５は、図４に示した眼画像取得処理（ＳＴ１４）の詳細な動作を示すフローチャートである。本装置１が図２に示す構成を採用している場合、以下の処理により眼画像が取得される。

まず、同図に示すように、ステップＳＴ１３にて「ＮＯ」と判断された場合、ＴＶカメラ２は、運転者の顔全体を撮像することにより顔画像を取得する（ＳＴ３０）。そして、マイコン３は、眼の候補位置の特定処理を実行する（ＳＴ３１）。この処理により、画像全体から眼の候補位置が１又は複数特定される。具体的には、画像全体から左眼及び右眼である可能性を有する候補の位置が１又は複数特定される。また、この処理は、マイコン３が眼画像取得手段ＣＬ１に相当するプログラムを実行することにより為される。

その後、マイコン３は、眼判定処理を実行する（ＳＴ３２）。すなわち、ステップＳＴ３１により特定された候補のうち１つを対象とし、その１つが眼であるか否かを判断する。この処理において、マイコン３は、候補が眼であると判断した場合、この眼を含み顔画像よりも小さくされた微小画像を、顔画像から抽出して眼画像とする。

その後、マイコン３は、眼判定処理（ＳＴ３２）の結果に基づいて候補が眼であると判定されたか否かを判断する（ＳＴ３３）。ここで、ステップＳＴ３２において候補が眼であると判定されず、眼画像が抽出されていない場合には、マイコン３は、候補が眼でなかったと判断する（ＳＴ３３：ＮＯ）。そして、マイコン３は、ステップＳＴ３１にて特定された候補のすべてについて判定したか否かを判断する（ＳＴ３４）。すべてについて判定した場合（ＳＴ３４：ＹＥＳ）、処理は図４のステップＳＴ１５に移行する。

一方、すべてに対して判定していない場合（ＳＴ３４：ＮＯ）、処理はステップＳＴ３２に戻る。そして、マイコン３は、ステップＳＴ３２にて、他の候補を選択し、再度、選択した候補が眼であるか否かを判断することとなる。

ところで、ステップＳＴ３２において候補が眼であると判断され、眼画像が抽出されている場合には、マイコン３は、候補が眼であったと判断する（ＳＴ３３：ＹＥＳ）。そして、マイコン３はステップＳＴ３２において抽出された眼画像を取得し、処理はステップＳＴ１２に戻る。

以上のようにして、本装置１は眼画像を取得する。なお、眼である可能性を有する候補を特定する処理（ＳＴ３１）及び眼判定処理（ＳＴ３２）は、マイコン３が眼検出手段ＣＬ１２に相当するプログラムを実行することによって、以下のようにして行われる。

図６は、図５に示した眼候補位置特定処理（ＳＴ３１）の詳細を示すフローチャートである。同図において、まず、マイコン３は、撮像した画像のデータ全体を、全体画像として画像メモリに保存する（ＳＴ４０）。

次に、マイコン３は、ステップＳＴ４１の判断を行う。この判断については後述する。ステップＳＴ４１において「ＮＯ」と判断された場合、マイコン３は、全体画像の縦方向（Ｙ軸方向）の画素列のうち１ラインのみに沿って濃度値の相加平均演算を行う（ＳＴ４２）。

この相加平均演算は、例えば縦方向に並ぶ所定数の画素について、濃度の平均値を求め、所定数の画素のうちの１画素の濃度値を平均値とする処理である。例えば、所定数が「５」である場合、画面上方から１〜５番目に位置する画素を選択して平均値を求め、この平均値を５番目の画素の濃度値とする。次に、画面上方から２〜６番目に位置する画素を選択して平均値を求め、この平均値を６番目の画素の濃度値とする。そして、これを順次繰り返し、１ラインすべての画素について濃度の平均値を求める。

このように相加平均演算することで、本装置１は、画像データ撮影時の濃度変化の小さなバラツキを無くすことができ、濃度値の大局的な変化を捉えることができる。

相加平均演算後、マイコン３は、縦方向に相加平均値の微分演算を行う（ＳＴ４３）。そして、マイコン３は、微分値に基づいてポイント抽出を行う（ＳＴ４４）。このポイント抽出とは、縦方向の画素列に沿って画素濃度の相加平均値の局所的な高まり毎に１個ずつの画素を定める処理であって、例えば相加平均値の微分値が負から正に変化する画素を定める処理である。

ポイントとなる画素を定めた後、マイコン３は、現在ポイント抽出していたラインを次ラインへ切り替える（ＳＴ４５）。

そして、マイコン３は、縦方向の全ラインでのポイント抽出が終了したか否かを判断する（ＳＴ４１）。全ラインでのポイント抽出が終了していないと判断した場合（ＳＴ４１：ＮＯ）、前述のステップＳＴ４２〜ＳＴ４５の処理を経て、再度ステップＳＴ４１に戻る。

一方、全ラインでのポイント抽出が終了したと判断した場合（ＳＴ４１：ＹＥＳ）、隣り合う各ラインの抽出ポイントのＹ座標値を比較する。そして、Ｙ座標値が所定値以内の場合、連続データとして、（i）連続データのグループ番号、（ii）連続開始ライン番号、（iii）連続データ数をメモリする。また、（iv）連続データを構成する各抽出ポイントの縦方向位置の平均値（その連続データの代表上下位置）、（v）連続開始ラインと終了ラインの横方向位置の平均値（その連続データの代表左右位置）をメモリする（ＳＴ３６）。

なお、本実施形態では、眼を検出対象としているため、連続データは横方向比較的長く延びるものとなる。このため、マイコン３は、連続データ形成後、横方向に所定値以上続くことを条件に連続データを選択することができる。

その後、マイコン３は、各連続データについて代表座標値Ｃを定め、これを基準として存在領域ＥＡを設定する（ＳＴ４７）。この代表座標値Ｃとは、ステップＳＴ４６の処理において、メモリされたＸ座標値の平均値及びＹ座標値の平均値により決定されるものである（上記iv，vに示す平均値）。

代表座標値Ｃを定めて存在領域ＥＡを設定した後、処理は、図５のステップＳＴ３２に移行する。以上が、眼候補位置特定処理（ＳＴ３１）である。以上のようにして、求められた連続データが眼の候補となり、連続データの代表座標値Ｃが眼の候補点の位置となる。

図７は、図６に示したステップＳＴ４６の処理にて形成される連続データ、並びにステップＳＴ３７の処理にて定められる代表座標値Ｃ及び存在領域ＥＡを示す説明図である。なお、眼候補位置特定処理（ＳＴ３１）は、１又は複数の眼の候補を特定するものであるが、図７では複数の眼の候補が特定された場合を例に説明する。

同図に示すように、マイコン３は、複数の連続データＧを形成している。これは、眼を検出対象としているため、眼と似た特徴量を示すもの（口、鼻、眉毛など）が検出されるためである。

連続データＧは、前述したように、縦方向の画素列ごとに定められた抽出ポイントが画像横方向に隣接する場合に形成されるものである。そして、この連続データを形成する横方向両端画素のＸ座標値の平均値と、連続データを形成する各画素のＹ座標値の平均値により、代表座標値Ｃが決定される。さらに、存在領域ＥＡは、この代表座標値Ｃを基準として設定される。

次に、存在領域ＥＡの設定方法を説明する。図８は、図７に示した存在領域ＥＡの大きさを示す説明図であり、図９及び図１０は数人の眼の大きさを調べた横Ｘａ、縦Ｙａの長さの統計データを示す説明図であり、図１１は存在領域ＥＡの画像上の位置を決定する方法を示す説明図である。

存在領域ＥＡの設定は、まず、存在領域ＥＡの大きさが決定され、その後、存在領域ＥＡの画像上における位置が定められることでなされる。

存在領域ＥＡの大きさは、ノイズ（顔の皺や明暗などを抽出してしまう）の低減や処理速度を落とさないためにも、可能な限り小さい領域が良い。本実施形態では、数人の眼の大きさを調べ、それに余裕分（例えば×１．５倍）を加味して、存在領域ＥＡの大きさを決定している。すなわち、図９及び図１０のように、眼の縦横寸法のデータを集め、その分布の例えば９５％をカバーする寸法に余裕分を加味して決定している。

そして、存在領域ＥＡの大きさは、図８にも示すように、上記９５％をカバーする寸法、すなわち横寸法ｘａ、縦寸法ｙａに余裕分（×１．５）を加味して決定している。なお、存在領域ＥＡの大きさについては、画像処理により眼の幅や高さを推定し、縦横の大きさに余裕分を加える大きさとしてもよい。

このように存在領域ＥＡの大きさが決定された後、図１１に示すように、例えば眼の座標値（ｘ１，ｙ１）を基準に、基準点Ｐを決める。基準点Ｐは、眼の座標値（ｘ１，ｙ１）から距離ｘ２，ｙ２だけ離れた位置に定められるものである。

そして、マイコン３は、点Ｐを基準に存在領域ＥＡの寸法ｘ３，ｙ３を描画する。これにより、存在領域ＥＡの位置が決定される。その後、画像全体で見つかった連続データＧすべてについて存在領域ＥＡを設定する。

なお、上記のｘ２及びｙ２はｘ３，ｙ３の１／２であって、予め存在領域ＥＡが眼の中心にくるような長さとすることが望ましい。

以上の図６〜図１１の処理により、図５の眼候補位置特定処理（ＳＴ３１）がなされる。次に、図５に示した眼判定処理（ＳＴ３２）を説明する。図１２は、図５に示した眼判定処理（ＳＴ３２）の詳細を説明するフローチャートである。

まず、マイコン３は、図６の処理にて求められた存在領域ＥＡの画像データを微少画像ＩＧとして画像メモリに保存する（ＳＴ５０）。全体画像と画像メモリに保存される微小画像ＩＧとの状態を図１３に示す。図１３は、微小画像を示す説明図である。図１３に示すように、マイコン３は、全体画像から存在領域ＥＡ内の画像を抽出し、微小画像ＩＧとしている。

再度、図１２を参照して説明する。マイコン３は、全体画像の代表座標値Ｃを微少画像ＩＧの代表座標値ＩＣとする。そして、マイコン３は、微少画像ＩＧの代表座標値ＩＣを基準とした範囲ＡＲを設定し、範囲ＡＲの濃度情報をもとに二値化閾値を設定する（ＳＴ５１）。

範囲ＡＲでの二値化閾値の算出方法の一例を、図１４を参照して説明する。図１４は、範囲ＡＲでの二値化閾値の算出方法の説明図である。まず、マイコン３は、範囲ＡＲにおいて縦方向に数ラインの濃度値を読み出す。

そして、マイコン３は、各ラインにおいて濃度値の最も高い（明るい）濃度値と、最も低い（暗い）濃度値をメモリしていく。全ラインのメモリが終了したら、マイコン３は、各ラインの最も高い（明るい）濃度値の中で、一番低い濃度値（皮膚の部分）と、各ラインの最も低い（暗い）濃度値の中で、一番低い濃度値（眼の部分）とを求める。そして、その中央値を二値化閾値とする。

なお、上記した範囲ＡＲは、好適に二値化閾値を決定するため、眼の黒い部分と眼周囲の皮膚の白い部分が入るように設定される。また、範囲ＡＲは、画像の明るさのバラツキによる影響を少なくするために必要最小限の大きさにされる。

さらに、二値化閾値は、範囲ＡＲ内の眼の一番低い（暗い）濃度値と、皮膚部分の一番低い（暗い）濃度値の中央値とすることで、皮膚の部分から眼の部分を切り出すのに適した値になる。

ここで、二値化閾値を決定するのに皮膚部分における一番低い（暗い）濃度値を用いている理由は、次の通りである。例えば、範囲ＡＲの一部に直射光が当たっている場合、皮膚部分は、眼球の黒色部分に比して、光を強く反射する傾向にある。このため、本装置１は、多くのノイズとも言える光を入力してしまうこととなる。

この場合、濃度値を読み出す範囲ＡＲを極力小さくしても、画像がノイズ光による影響を受け、本装置１は正確な二値化閾値を決定できなくなってしまう。このため、本実施形態では、強く反射している可能性がある濃度値の高い部分を用いず、皮膚の部分の濃度値の一番低い（暗い）濃度値を用いることで、より適切な二値化閾値を決定できるようにしている。

再度、図１２を参照して説明する。二値化閾値の決定後、マイコン３は、決定した二値化閾値を用いて微少画像ＩＧを二値化処理し、二値画像ｂＧとして画像メモリに保存する（ＳＴ５２）。

次に、マイコン３は、全体画像の代表座標値Ｃを二値画像ｂＧの位置ｂＣとし、この位置ｂＣを初期位置として設定する（ＳＴ５３）。その後、マイコン３は、設定位置が黒画素か否かを判断する（ＳＴ５４）。ここでは、まず、ステップＳＴ５３において設定された初期位置が黒画素か否か判断される。

そして、設定位置が黒画素でないと判断した場合（ＳＴ５４：ＮＯ）、マイコン３は、設定位置を上下左右に１画素ずつずらす（ＳＴ５５）。その後、マイコン３は、ステップＳＴ５５においてずらされた設定位置が黒画素か否かを判断する。そして、マイコン３は、設定位置が黒画素と判断されるまで、この処理を繰り返す。

一方、設定位置が黒画素であると判断した場合（ＳＴ５４：ＹＥＳ）、マイコン３は、その黒画素の連結成分を候補オブジェクトとして設定する（ＳＴ５６）。そして、マイコン３は、候補オブジェクトの幾何形状を算出する（ＳＴ５７）。

算出後、マイコン３は、予め記憶している眼のテンプレートの幾何形状と候補オブジェクトの幾何形状とを比較する（ＳＴ５８）。候補オブジェクトと眼のテンプレートとの幾何形状の比較方法の一例を、図１５を参照して説明する。

図１５は、候補オブジェクトと眼のテンプレートとの幾何形状の比較方法の説明図であり、（ａ）は候補オブジェクトが最適な状態で撮像された場合を示し、（ｂ）は眼の右側が欠けた状態を示し、（ｃ）は眼の左側が欠けた状態を示している。

眼の画像を二値化した形状は光環境が良く安定した画像であれば図１５（ａ）に示すようなものになる。ところが、車室内に直射日光が一側から当たる等して光環境が悪化したときには、図１５（ｂ）及び（ｃ）に示すように、一部が欠けた形状になることもある。

マイコン３は、上記のような候補オブジェクトを正確に判断するために、３つの条件により比較判断を行う。まず、条件（i）としては、横幅が眼の相場値の２／３以上あり、且つ上に凸の所定範囲の曲率を持っていることである。次に、条件（ii）としては、黒眼の左側の凹み形状があることである。また、条件（iii）としては、黒眼の右側の凹み形状があることである。

再度、図１２を参照して説明する。幾何形状の比較後、マイコン３は、上記３つの条件に基づき、比較判断を行い、候補オブジェクトと眼テンプレートとの幾何形状が一致するか否かを判断する（ＳＴ５９）。ここで、図１５（ｂ）及び（ｃ）のように眼の形状の一部が欠けている場合を考慮し、マイコン３は、条件（i）及び（ii）を満たすもの、並びに条件（ii）及び（iii）を満たすものを一致すると判断する。

一致しないと判断した場合（ＳＴ５９：ＮＯ）、マイコン３は、その候補オブジェクトが眼でないと判定し（ＳＴ６０）、その後、処理は、図５のステップＳＴ３３に移行する。

一方、一致すると判断した場合（ＳＴ５９：ＹＥＳ）、マイコン３は、その候補オブジェクトを眼であると判定する（ＳＴ６１）。そして、判定された候補オブジェクトの座標値（全体画像における代表座標値Ｃに相当する）を、画像上における眼の座標値としてメモリする（ＳＴ６２）。

その後、マイコン３は、一致と判断された候補オブジェクトを含む微小画像ＩＧを眼画像ＭＧ_ｉとして、画像メモリに保存する（ＳＴ６３）。そして、処理は、図５のステップＳＴ３３に移行する。

なお、図１２の処理では、二値化閾値を用いて二値化した候補オブジェクトを検出している。このため、本実施形態では、眼の部分と他の部分（背景や眼以外の顔部分）とを明確に区別し、眼を正確に捉えることができる。さらには、候補オブジェクトの幾何形状を用いた判定をより正確に行うことができ、眼の位置検出精度をより向上させることができる。

以上、図７〜図１５を参照して説明したように、マイコン３（眼検出手段ＣＬ１２）は、入力した画像全体から、眼画像を取得することとなる。そして、前述したように、図５のステップＳＴ３３において、眼画像が取得されている場合、「ＹＥＳ」と判断されて、処理は図４のステップＳＴ１５に移行することとなる。

再度、図４を参照する。ステップＳＴ１５において、マイコン３は、眼画像を取得できたか否かを判断する（ＳＴ１５）。ここで、眼画像が取得できなかったと判断した場合（ＳＴ１５：ＮＯ）、処理はステップＳＴ２４に移行する。一方、眼画像が取得できたと判断した場合（ＳＴ１５：ＹＥＳ）、マイコン３は、エッジライン抽出処理を実行する（ＳＴ１６）。この処理において、マイコン３は、エッジライン抽出手段ＣＬ２に相当するプログラムを実行して、眼画像内からエッジラインを抽出することとなる。

ここで、エッジライン抽出処理（ＳＴ１６）を詳細に説明する。図１６は、取得された眼画像の一例を示し、図１７は、図１６に示す眼画像の濃度曲線及び一次微分曲線を示し、図１８は、図１６に示す眼画像から得られたエッジラインを示している。

なお、図１６の眼画像では、上瞼のラインがはっきり見えており、且つ、上瞼から画像下側に向けて徐々に明るくなっているとする。また、眼画像内の白眼部分の濃度は眼下側の肌の明るさと同様となり、下瞼のラインが消えてしまっているとする。

まず、マイコン３は、図１６に示す眼画像を取得すると、眼画像の縦方向について各画素の濃度値を検出していく。図１７（ａ）は、眼画像縦方向の画素列Ｌ１１，Ｌ１２について検出した各画素の濃度値を表す濃度曲線ｐ１１，ｐ１２を示している。

画素列Ｌ１１の各画素の濃度値は、濃度曲線ｐ１１のようになっている。すなわち、画素列Ｌ１１の各画素の濃度値は、瞼上側の皮膚部分において高い値を示しているが、上瞼部分において低い値を示す。そして、濃度値は、白眼部分及び眼下側の皮膚部分において再度高い値を示す。このように、画素列Ｌ１１の各画素の濃度は、白方向から黒方向に変化し、その後、黒方向から白方向に変化している。また、画素列Ｌ１２の各画素の濃度値についても濃度曲線ｐ１２に示すように、画素列Ｌ１１の各画素の濃度値と同様に変化している。

そして、以上のような濃度値を検出すると、マイコン３は、上記眼画像縦方向の濃度値から濃度変化を表す微分値を算出する。図１７（ｂ）は、各画素の濃度変化を表す一次微分曲線ｄ１１，ｄ１２を示している。画素列Ｌ１１の濃度値を微分して得られた微分値は、一次微分曲線ｄ１１のようになっている。具体的に、微分値は、濃度が白方向から黒方向に変化するとき、すなわち上瞼部分において低くなる。

そして、マイコン３は、この微分値が最も低い点に対応する画素Ａ１１をエッジ点として抽出する。すなわち、マイコン３は、濃度が白方向から黒方向へ変化しつつ連続する画素群のうち、最も変化量が大きい画素Ａ１１をエッジ点として抽出することとなる。

また、画素列Ｌ１２の濃度値を微分して得られた微分値は、一次微分曲線ｄ１２のようになっており、一次微分曲線ｄ１１と同様に、上瞼部分において低くなる。このため、マイコン３は、画素列Ｌ１２についても同様に、上瞼部分の画素、すなわち濃度が白方向から黒方向へ変化しつつ連続する画素群のうち最も変化量が大きい画素Ａ１２をエッジ点として抽出することとなる。

その後、マイコン３は、上記画素列Ｌ１１，Ｌ１２について行った処理と同様の処理を、眼画像縦方向の画素列すべてに行い、それぞれの画素列についてエッジ点を抽出する。なお、マイコン３は、エッジ点の抽出に際してノイズの影響を受けにくいようにするため、基準値を設定しておくことが望ましい。これにより、マイコン３は、微分値が基準値を下回らない場合には、たとえ濃度が白方向から黒方向へ変化する画素であっても、エッジ点として抽出しないようにすることができる。

その後、マイコン３は、眼画像縦方向の全画素列について抽出したエッジ点を線状にグルーピングして、エッジラインを抽出する。これにより得られたエッジラインが図１８に示すものである。マイコン３は、エッジ点として、濃度が白方向から黒方向へ変化しつつ連続する画素群のうち最も変化量が大きい画素を抽出するので、図１８に示す如く、エッジラインは上瞼の形状に沿うものとなる。

また、マイコン３は、図１９に示すような眼画像を取得する場合もある。図１９は、取得された眼画像の他の例を示し、図２０は、図１９に示す眼画像の濃度曲線及び一次微分曲線を示し、図２１は、図１９に示す眼画像から得られたエッジラインを示している。なお、図１９の眼画像では、上瞼及び下瞼のラインがはっきり見えているとする。

マイコン３は、図１９に示す眼画像を取得すると、眼画像の縦方向について各画素の濃度値を検出していく。図２０（ａ）は、眼画像縦方向の画素列Ｌ２１，Ｌ２２について検出した各画素の濃度値を表す濃度曲線ｐ２１，ｐ２２を示している。

画素列Ｌ２１の各画素の濃度値は、濃度曲線ｐ２１のようになっている。すなわち、画素列Ｌ２１の各画素の濃度値は、瞼上側の皮膚部分において高い値を示し、上瞼部分において低い値を示す。そして、濃度値は、白眼部分において上昇し、下瞼部分において多少減少し、眼下側の皮膚部分において再度高い値を示す。

このように、画素列Ｌ２１の各画素の濃度は、白方向から黒方向に変化した後、黒方向から白方向に変化して、再度、白方向から黒方向へ及び黒方向から白方向に変化している。また、画素列Ｌ２２の各画素の濃度値についても濃度曲線ｐ２２に示すように、画素列Ｌ２１の各画素の濃度値と同様に変化している。

そして、以上のような濃度値を検出すると、マイコン３は、眼画像縦方向の濃度値から濃度変化を表す微分値を算出する。図２０（ｂ）は、各画素の濃度変化を表す一次微分曲線ｄ２１，ｄ２２を示している。画素列Ｌ２１の濃度値を微分して得られた微分値は、一次微分曲線ｄ２１のようになっている。具体的に、微分値は、濃度が白方向から黒方向に変化するとき、すなわち上瞼部分、及び下瞼部分において低くなる。

そして、マイコン３は、上瞼及び下瞼部分において微分値が最も低い値を示す点に対応する画素Ａ２１，Ｂ２１をエッジ点として抽出する。すなわち、マイコン３は、濃度が白方向から黒方向へ変化しつつ連続する画素群（つまり、上瞼及び下瞼部分それぞれの画素群）のうち、最も変化量が大きい画素Ａ２１，Ｂ２１をエッジ点として抽出することとなる。

また、画素列Ｌ２２の濃度値を微分して得られた微分値は、一次微分曲線ｄ２２のようになっており、一次微分曲線ｄ２１と同様に、上瞼及び下瞼部分において低くなる。このため、マイコン３は、画素列Ｌ２２についても同様に、上瞼及び下瞼部分の画素、すなわち画素Ａ２２，Ｂ２２をエッジ点として抽出することとなる。

その後、マイコン３は、上記画素列Ｌ２１，Ｌ２２について行った処理と同様の処理を、眼画像縦方向の画素列すべてに行い、それぞれの画素列についてエッジ点を抽出し、これらエッジ点を線状にグルーピングすることによって、エッジラインを抽出する。これにより得られたエッジラインが図２１に示すものである。

マイコン３は、エッジ点として、濃度が白方向から黒方向へ変化しつつ連続する画素群のうち最も変化量が大きい画素を抽出するので、図２１に示す如く、エッジラインは上瞼及び下瞼の形状に沿うものとなる。つまり、図２１に示す如く、上瞼のエッジラインａ及び下瞼のエッジラインｂ，ｃが抽出される。なお、下瞼のエッジラインｂ，ｃは、黒眼部分の影響により分離されて抽出されている。

再度、図４を参照して説明する。以上、図１６〜図２１に示したエッジライン抽出処理を経た後（ＳＴ１６の後）、マイコン３は、エッジラインを抽出できたか否かを判断する（ＳＴ１７）。ここで、エッジラインを抽出できなかったと判断した場合（ＳＴ１７：ＮＯ）、処理はステップＳＴ２４に移行する。一方、エッジラインを抽出できたと判断した場合（ＳＴ１７：ＹＥＳ）、マイコン３は、エッジラインの曲線近似処理を実行する（ＳＴ１８）。この処理においてマイコン３は、曲線近似手段ＣＬ３に相当するプログラムを実行して、エッジラインの曲線近似線を得ることとなる。

次に、曲線近似処理（ＳＴ１８）について詳細に説明する。まず、マイコン３は、エッジラインを近似するにあたり、各エッジ点の座標情報を取得する。そして、マイコン３は、エッジ点（ｘ，ｙ）の座標から、所定の関数ｆ（ｘ，ｙ）＝ｃで表される曲線に近似する。ここで、エッジ点（ｘ，ｙ）は、眼画像の左上端を原点とした座標系である。また、関数ｆ（ｘ，ｙ）＝ｃは、二次以上の多項式で表される。この多項式は、近似された曲線の頂点部分が原点となるように変換された座標系においては、偶数次項のみで構成される式となる。これは、頂点部分が原点となる座標系において奇数次項が含まれる式では、曲線形状の左右対称性や単頂点性が損なわれてしまうためである。

なお、ここでは、二次曲線のうち計算が容易に行える放物線ｙ＝ａｘ２＋ｂｘ＋ｃに近似を行うとして説明するが、マイコン３は、円、楕円、双曲線といった円錐曲線や、ａｘ^２＋２ｈｘｙ＋ｂｙ^２＋２ｇｘ＋２ｆｙ＋ｃ＝０で表される一般の二次曲線、二次以上の曲線であっても、同様の手順を踏むことによって曲線近似を行うことができ、求めた係数から曲率を算出することができるのはいうまでもない。

次に、図２２を参照する。図２２は、曲線近似処理（ＳＴ１８）の詳細を示すフローチャートである。図２２に示すように、マイコン３はエッジラインを最小二乗法により近似する。すなわち、まず、マイコン３は各エッジ点の座標値（ｘ，ｙ）の総和値を求める（ＳＴ７０）。このとき、マイコン３は、座標値ｘ、座標値ｙ及び座標値ｘを二乗した値について、総和を求める。具体的にマイコン３は以下の式により、これらの総和値を求める。

その後、マイコン３は、各総和値の平均値を求める（ＳＴ７２）。具体的にマイコン３は以下の式により、これらの平均値を求める。

そして、マイコン３は、求めた平均値から、以下の式により、分散値及び共分散値を求める（ＳＴ７３）。

その後、マイコン３は、求めた分散値及び共分散値から、以下の式により、回帰係数ａ，ｂ及び定数項ｃを求める（ＳＴ７４）。

これにより、マイコン３は、エッジラインを放物線ｙ＝ａｘ^２＋ｂｘ＋ｃに近似する。なお、図２２の説明において、マイコン３は、放物線ｙ＝ａｘ^２＋ｂｘ＋ｃにエッジラインを近似したが、円、楕円、双曲線といった円錐曲線やａｘ^２＋２ｈｘｙ＋ｂｙ^２＋２Ｇｘ＋２ｆｙ＋ｃ＝０で表される一般の二次曲線に近似するようにしてもよい。

再度、図４を参照する。曲線近似処理（ＳＴ１８）の後、マイコン３は、エッジライン及び曲線近似線の少なくとも一方について、曲率を検出する（ＳＴ１９）。すなわち、マイコン３は、曲率検出手段ＣＬ４に相当するプログラムを実行して、曲率を検出することとなる。

ここで、マイコン３が曲線近似処理で検出された近似曲線線（放物線）から曲率Ｒを検出する場合、曲率Ｒは、曲線近似線の式ｙ＝ａｘ^２＋ｂｘ＋ｃの二次項の回帰係数ａとなる。また、マイコン３が、曲線近似処理（ＳＴ１８）において、エッジラインを円（ｘ−ａ）^２＋（ｙ−ｂ）^２＝ｒや楕円（ｘ−ａ）^２／ｒｘ＋（ｙ−ｂ）^２／ｒｙ＝１に近似していたとする。このとき、曲率Ｒは、円の場合、Ｒ＝１／ｒとなる。また、楕円場合、

となる。なお、マイコン３が、曲線近似処理（ＳＴ１８）において、エッジラインを放物線、円及び楕円以外に近似した場合については説明を省略する。

曲率Ｒを求めた後、マイコン３は、エッジラインと曲線近似線との相関値を算出する処理を実行する（ＳＴ２０）。この処理において、マイコン３は、相関検出手段ＣＬ５に相当するプログラムを実行して、相関値を検出することとなる。

具体的にマイコン３は、上瞼のエッジ点のＹ値の総平方和に対する曲線近似線のＹ値の総平方和の値を求め、この値を相関値として検出する。すなわち、

なる式から相関値を検出する。ここで、エッジラインと曲線近似線との相関は、相関値が「１」に近いほど高くなる。

その後、マイコン３は、ステップＳＴ１９において検出した曲率Ｒが上に凸を示すものであるか否かを判断する（ＳＴ２１）。この処理において、マイコン３は、判定手段ＣＬ６に相当するプログラムを実行して、曲率Ｒが上に凸を示すものであるか否かを判断することとなる。

ここで、眼画像の座標系は、画像左上端を原点とし、画像下方向にＹ値が大きくなるものであるため、曲率Ｒが−（マイナス）値になればエッジラインは上に凸であることを示し、＋（プラス）値になればエッジラインは下に凸であることを示す。

具体的に図１８に示す眼画像から得られたエッジラインは、上に凸であることから上瞼のエッジライン候補となる。また、図２１に示す眼画像から得られたエッジラインａについても、上に凸であることから上瞼のエッジライン候補となる。他方、図２１に示す眼画像から得られたエッジラインｂ，ｃについては、下に凸であることから上瞼のエッジライン候補とならない。

また、図２３に示すような眼画像が取得された場合には、以下のようになる。図２３は、運転者が眼鏡を着用しているときに取得される眼画像の一例を示し、図２４は、図２３に示す眼画像から得られたエッジラインを示している。

図２３に示すように運転者が眼鏡を着用している場合、眼画像内には眼鏡のフレーム部分が入る。このため、マイコン３は、エッジラインａ，ｂ，ｃの他に、眼鏡のフレーム部分に相当するエッジラインｄを抽出してしまう。ところが、図２１の例に示す場合と同様に、眼鏡のフレーム部分に相当するエッジラインｄは、下に凸を示すことから、上瞼のエッジライン候補とならないようになっている。

再度、図４を参照する。マイコン３は、ステップＳＴ１９において検出した曲率Ｒが上に凸を示すものでないと判断した場合（ＳＴ２１：ＮＯ）、エッジラインは上瞼のものでないと判定し（ＳＴ２５）、処理をステップＳＴ１６に戻す。そして、マイコン３は、再度エッジライン抽出処理からを実行していくこととなる。

一方、マイコン３は、ステップＳＴ１９において検出した曲率Ｒが上に凸を示すものであると判断した場合（ＳＴ２１：ＹＥＳ）、エッジラインと曲線近似線との相関値が所定値以上であるか否かを判断する（ＳＴ２２）。この処理において、マイコン３は、判定手段ＣＬ６に相当するプログラムを実行して、相関値が所定値以上であるか否かを判断することとなる。

ここで、上瞼は開眼状態で弧状をなすことから、上瞼のエッジラインとその曲線近似線との相関は高くなる傾向にある。一方、上瞼以外のエッジラインは、上に凸を示したとしても、上瞼のようにきれいな曲線となって現れにくく、そのエッジラインとその曲線近似線との相関は低くなる傾向にある。具体的には、眼周囲の影などによりエッジラインが抽出された場合、そのエッジラインはきれいな曲線となりにくく、相関は低くなる傾向にある。

これにより、ノイズによって抽出されたエッジラインが偶然に上に凸を示したとしても、上瞼のエッジラインであると誤検知しないようになっている。また、誤検知を防止することにより、後処理において異常をきたすことも無いようになっている。

図２５は、ステップＳＴ２２における所定値を説明するグラフである。なお、図２５においては、縦軸は累積度数分布を示し、横軸は相関値を示している。また、図２５では、上瞼のエッジラインとその曲線近似線との相関値を破線で示し、上に凸となった上瞼以外のエッジラインとその曲線近似線との相関値を実線で示している。

同図に示すように、上瞼のエッジラインとその曲線近似線との相関値は、概ね「０．８５」以上を示す。これに対して、上に凸となった上瞼以外のエッジラインとその曲線近似線との相関値は、おおむね「０．７５」以下となる。このため、上瞼のエッジラインであるか否かを判断するためには、所定値を約０．８から約０．９の間に設定するとよいこととなる。これにより、確実にノイズによるエッジラインの９割を、誤って上瞼のエッジラインであると検知しないようにすることができる。なお、この９割という値は、実験により明らかになったものである。

再度、図４を参照する。マイコン３は、以上のような所定値を予め又は使用環境に応じて設定し、検出した相関値が所定値以上であるか否かを判断することとなる。そして、相関値が所定値以上でないと判断した場合（ＳＴ２２：ＮＯ）、マイコン３は、エッジラインは上瞼のものでないと判定し（ＳＴ２５）、処理をステップＳＴ１６に戻す。そして、マイコン３は、再度エッジライン抽出処理からを実行していくこととなる。

一方、相関値が所定値以上であると判断した場合（ＳＴ２２：ＹＥＳ）、マイコン３は、エッジラインが上瞼のものであると判定する（ＳＴ２３）。そして、処理はステップＳＴ２４に移行する。

なお、上記において説明を省略したが、エッジライン抽出処理（ＳＴ１６）においては、エッジラインが１つずつ抽出されるようになっている。このため、図２１に示す例において、例えば、最初にエッジラインｂが抽出された場合、まず、エッジラインｂについてステップＳＴ１７以降の処理を実行していくこととなる。また、最初にエッジラインａが抽出された場合も同様に、エッジラインａについてステップＳＴ１７以降の処理を実行していくこととなる。

そして、上瞼のエッジラインであると判定されない場合（ＳＴ２５の場合）、処理はステップＳＴ１６に戻され、エッジラインが抽出されなくなるまで、繰り返されることとなる。一方、エッジラインが抽出されなくなると、上記において説明したように、ステップＳＴ１７において「ＮＯ」と判断されて、処理はステップＳＴ２４に移行することとなる。

そして、ステップＳＴ２４において、マイコン３は、処理フレームカウンタ「ｉ」をインクリメントする（ＳＴ２４）。その後、処理は、ステップＳＴ１２に戻り、例えばエンジンが起動されていないと判断され、「ＳＴＯＰ」であると判断されるまで、上記の処理が繰り返されることとなる。

以上のように、上に凸の弧状を示し且つ綺麗な曲線となる上瞼の特性を反映した処理を実行することにより、上瞼の検出精度の向上を図ることができる。

このようにして、本実施形態における上瞼検出装置１は、眼を含む眼画像を取得し、取得した眼画像から、各画素の濃度に基づいて画像縦方向又は横方向の各エッジ点を抽出し、それらエッジ点を線状にグルーピングすることによってエッジラインを抽出している。このため、眼の周辺部分について画素濃度に基づくエッジライン、すなわち瞼と眼と境界線などを抽出することとなる。

また、上瞼検出装置１は、抽出されたエッジラインを二次以上の曲線に近似している。ここで、通常、上瞼は開眼状態において弧状となることから、曲線近似しやすく、得られた曲線近似線はエッジラインと大きく異なる可能性が少ない。一方、黒眼部分や影などは、曲線近似しにくく、得られた曲線近似線はエッジラインと大きく異なる可能性がある。

また、上瞼検出装置１は、抽出したエッジライン及び近似した曲線近似線の少なくとも一方について、曲率を検出している。ここで、通常、上瞼は開眼状態において上に凸の弧状となることから、検出した曲率は、エッジラインが上瞼に相当するものである場合、上に凸を示すものとなる。

また、上瞼検出装置１は、抽出したエッジラインと近似した曲線近似線との相関値を検出している。ここで、上記の如く、エッジラインが上瞼に相当するものである場合、このエッジラインから得られる曲線近似線は、もとのエッジラインと大きく異ならないようになっている。故に、エッジラインが上瞼に相当するものである場合には、エッジラインと曲線近似線との相関値は高い値を示すこととなる。

そして、検出した曲率が顔の上下方向対して上に凸であり、且つ相関値が所定値以上であると判断されたエッジラインを上瞼のエッジラインであると判定している。このため、上に凸であることにより、眼鏡フレームや黒眼部分と白眼部分との境界など、上瞼以外のものによる誤検出を防止できる。また、相関値が所定値以上であることにより、例えば眼も黒眼部分など近似しにくく、得られた曲線近似線がエッジラインと大きく異なる可能性があるものを上瞼であると誤検出してしまうことを防止することができる。

従って、上瞼の検出精度の向上を図ることができる。

また、エッジライン抽出手段ＣＬ２は、眼画像の縦方向又は横方向について、濃度が白方向から黒方向へ変化しつつ連続する画素群のうち、最も変化量が大きい画素をエッジ点として抽出している。このため、エッジライン抽出手段ＣＬ２は、肌から眉毛に差し掛かる境界や、肌から上瞼に差し掛かる境界などをエッジ点として抽出することとなる。このように、エッジライン検出手段ＣＬ２が境界などを抽出するため、確実に上瞼のエッジラインを抽出できることとなる。従って、上瞼の検出精度を更に向上させることができる。

また、曲線近似手段ＣＬ３は、エッジライン抽出手段ＣＬ２によって検出された各エッジ点の座標から最小二乗法によって二次の線形多項式に近似している。このため、精度良くエッジラインを近似することとなり、後の相関値を求める処理において精度の良い相関値をもとめ、判定手段ＣＬ６における判断についても精度向上を図ることとなる。従って、上瞼の検出精度を更に向上させることができる。

眼画像取得手段ＣＬ１は、被検出者の顔全体を撮像した顔画像から被検出者の眼を検出して、顔画像よりも小さくされた微小画像を眼画像として取得している。このため、後のエッジラインの抽出などにおいても、微小な眼画像を対象に処理していくこととなり、顔画像全体から上瞼を検出する場合に比して、上瞼を精度良く検出することができる。従って、上瞼の検出精度を更に向上させることができる。

次に、本発明の第２実施形態を説明する。第２実施形態に係る上瞼検出装置２は、第１実施形態のものと同様であるが、新たに長さ検出手段ＣＬ７が追加されている点で第１実施形態のものと一部異なっている。

以下、第１実施形態との相違点について説明する。図２６は、第２実施形態に係る上瞼検出装置２の構成を示す機能ブロック図である。同図に示すように、上瞼検出装置２は、長さ検出手段ＣＬ７を備えている。

長さ検出手段ＣＬ７は、エッジライン抽出手段ＣＬ２により抽出されたエッジラインの情報を読み込んで、そのエッジラインの画像横方向の長さを検出するものである。また、長さ検出手段ＣＬ７は、判定手段ＣＬ６に接続され、エッジラインの長さを検出すると、その情報を判定手段ＣＬ６に送信する構成となっている。

このため、判定手段ＣＬ６により行われる処理も第１実施形態と一部異なっている。すなわち、判定手段ＣＬ６は、曲率検出手段ＣＬ４により検出された曲率が顔の上下方向対して上に凸であり、且つ相関検出手段ＣＬ５によって検出された相関値が所定値以上であると判断したことだけでなく、長さ検出手段ＣＬ７によって検出されたエッジラインの長さが閾値以上であると判断したときに、そのエッジラインを上瞼のエッジラインであると判定する構成となっている。

また、上記長さ検出手段ＣＬ７の処理を実行するため、図２及び図３に示したマイコン３は、長さ検出手段ＣＬ７に相当するプログラムを記憶している。

次に、第２実施形態に係る上瞼検出装置２の動作を説明する。図２７は、第２実施形態に係る上瞼検出装置２の動作の概略を示すメインフローチャートである。なお、同図に示すステップＳＴ８０〜ＳＴ８７，ＳＴ９０〜ＳＴ９７の処理は、図４に示すステップＳＴ１０〜ＳＴ１５と同様であるため、説明を省略する。

マイコン３は、ステップＳＴ８７においてエッジラインを抽出できたと判断した場合（ＳＴ８７：ＹＥＳ）、エッジラインの長さ検出処理を実行する（ＳＴ８８）。この処理において、マイコン３は、長さ検出手段ＣＬ７に相当するプログラムを実行して、エッジラインの長さを検出することとなる。

ここで、エッジラインの長さ検出処理（ＳＴ８８）を詳細に説明する。この処理において、マイコン３は、まず、エッジライン抽出処理（ＳＴ８６）において抽出されたエッジラインの座標点情報を読み込む。そして、マイコン３は、エッジラインの左右端を定め、左右端の横座標値の差から演算によりエッジラインの長さを検出する。なお、マイコン３は、長さ検出処理（ＳＴ８８）を円滑に行うため、エッジライン抽出処理（ＳＴ８６）において、エッジラインの左右方向始点及び終点について座標情報を記録しておくことが望ましい。

そして、マイコン３は、エッジラインの長さを検出した後、検出したエッジラインの長さが閾値以上であるか否かを判断する（ＳＴ８９）。この処理においてマイコン３は、判定手段ＣＬ６に相当するプログラムを実行して、エッジラインの長さが閾値以上であるか否かを判断することとなる。

次いで、エッジラインの長さが閾値以上であると判断した場合（ＳＴ８９：ＹＥＳ）、マイコン３は、処理をステップＳＴ９０に進める。一方、エッジラインの長さが閾値以上でないと判断した場合（ＳＴ８９：ＮＯ）、マイコン３は、そのエッジラインが上瞼のエッジラインでないと判断し、処理をステップＳＴ８６に戻す。

ここで、ステップＳＴ８９に示す判断の詳細を説明する。まず、眼画像は、図８〜図１１を参照して説明したように、その大きさが眼の縦横幅を基準（統計的に得られた眼の縦横幅の１．５倍）に設定されている。このため、眼画像の大きさを考慮すると、上瞼のエッジラインの長さは、眼画像の横幅の約１／２〜２／３程度となる。故に、マイコン３は、眼画像の横幅の１／２以下の長さとなるようなエッジラインを、曲率や相関値を求めるまでもなく、上瞼の候補から除外することとしている。

なお、第２実施形態においてマイコン３は、眼画像の横幅の大きさから閾値を設定しているが、これに限らず、上瞼と判定されたエッジラインの長さをメモりしておき、統計処理を行って上瞼のエッジラインの長さを学習して、閾値を設定することとしてもよい。これにより、マイコン３は、より精度の高い閾値を設定することができる。

次に、ステップＳＴ８９の処理を更に具体的に説明する。図２８は、運転者の眼の黒眼部分に映り込みが生じているときに取得される眼画像の一例を示し、図２９は、図２８に示す眼画像から得られたエッジラインを示している。

図２８に示すように運転者の眼の黒眼部分に映り込みが生じている場合、マイコン３は、図２９に示すように、エッジラインａ，ｂ，ｃの他に、映り込み部分に相当するエッジラインｅを抽出してしまう。このため、第１実施形態に示した処理では、マイコン３は、エッジラインｅが上瞼のエッジラインとして検出してしまう可能性がある。

ところが、第２実施形態では、長さが閾値以上でないエッジラインを上瞼のエッジラインと判定しないようにしている。すなわち、エッジラインｅの長さが眼画像の横幅の１／２程度に達しないことから、エッジラインｅを上瞼のエッジラインであると判定しないようにしている。これにより、マイコン３は、たとえ上に凸であり相関値が高いエッジラインが存在したとしても、そのエッジラインを上瞼のエッジラインと誤検出しないようにしている。

なお、図２９に示す例の場合、マイコン３は、曲率が上に凸か否かの判断処理（ＳＴ９３）及び相関値が所定値以上か否かの判断処理（ＳＴ９４）によりも先に、長さが閾値以上か否かの判断をしている。また、エッジラインｂ，ｃは、長さが眼画像の横幅の１／２程度に達しない。これらから、マイコン３は、これらエッジラインｂ，ｃについて、曲率が上に凸か否かの判断処理（ＳＴ９３）及び相関値が所定値以上か否かの判断処理（ＳＴ９４）を実行するまでもなく、ステップＳＴ８９の処理により、上瞼のエッジラインでないと判定することとなる。すなわち、エッジラインｂ，ｃについては、ステップＳＴ９３，ＳＴ９４の処理を実行するまでもなく、上瞼のエッジラインでないと判定することとなり、第１実施形態の場合と比較して、処理速度の向上を図ることとなる。

このようにして、第２実施形態に係る上瞼検出装置２によれば、第１実施形態と同様に、上瞼の検出精度の向上を図ることができる。また、上瞼の検出精度を更に向上させることができる。

さらに、第２実施形態によれば、エッジラインの長さを検出し、曲率及び相関値の判断に加え、エッジラインの長さが閾値以上であると判断したときに、そのエッジラインを上瞼のエッジラインであると判定している。通常、上瞼は、個人差があるとしても横方向に或る程度の長さを有している。このため、閾値により或る程度の長さを有しないエッジラインは上瞼のエッジラインに該当しないといえる。そこで、エッジラインの長さの判断することにより、一層誤検出を防止することとなり、上瞼の検出精度を更に向上させることができる。

また、本装置２は、曲率及び相関値の判断よりも先に、エッジラインの長さが閾値以上であるか否かを判断している。これにより、閾値に満たないエッジラインについては、曲率や相関値を求めるまでもなく、上瞼のエッジラインでないと判定でき、処理速度の向上を図ることができる。

次に、本発明の第３実施形態を説明する。第３実施形態に係る上瞼検出装置３は、第２実施形態のものと同様であるが、新たに第２エッジライン抽出手段ＣＬ８及び判断手段ＣＬ９が追加されている点で第２実施形態のものと一部異なっている。

以下、第２実施形態との相違点について説明する。図３０は、第３実施形態に係る上瞼検出装置３の構成を示す機能ブロック図である。同図に示すように、上瞼検出装置３は、第２エッジライン抽出手段ＣＬ８及び判断手段ＣＬ９を備えている。

まず、第２エッジライン抽出手段ＣＬ８と判断手段ＣＬ９とは、判定手段ＣＬ６により上瞼のエッジラインであると判定されたものが、本当に上瞼のエッジラインであるか点検する機能を有している。以下、上記手段ＣＬ８，ＣＬ９を説明する。

第２エッジライン抽出手段ＣＬ８は、判定手段ＣＬ６により上瞼のエッジラインが判定された場合に動作するものである。また、第２エッジライン抽出手段ＣＬ８は、眼画像取得手段ＣＬ１により取得された眼画像から、眼画像内の各画素の濃度に基づいて、画像縦方向又は横方向の各第２エッジ点を抽出するものである。ここで、第２エッジ点とは、眼画像取得手段ＣＬ１により取得された眼画像の縦方向又は横方向について、濃度が黒方向から白方向へ変化しつつ連続する画素群のうち最も変化量が大きい画素である。

すなわち、第２エッジライン抽出手段ＣＬ８は、黒眼部分から白眼部分に差し掛かる境界などを第２エッジ点として抽出することとなる。このように、第２エッジライン検出手段ＣＬ８は、エッジライン抽出手段ＣＬ２と同様に、画像縦方向又は横方向について、濃度の変化量を読み取り、第２エッジ点を抽出することとなる。なお、以下の説明において、第２エッジライン抽出手段ＣＬ８は、画像縦方向について濃度の変化量を読み取り、エッジ点を抽出することとする。

また、第２エッジライン抽出手段ＣＬ８は、エッジライン抽出手段ＣＬ２と同様に、抽出した各第２エッジ点を線状にグルーピングすることによって第２エッジラインを抽出するものである。すなわち、第２エッジライン抽出手段ＣＬ８は、黒眼部分から白眼部分に差し掛かる境界などの第２エッジ点をグルーピングすることによって、黒眼部分から白眼部分に差し掛かる境界線などを抽出するものである。

このため、エッジライン抽出手段ＣＬ２は、白眼部分から黒眼部分に差し掛かる境界線を抽出し、第２エッジライン抽出手段ＣＬ８は、黒眼部分から白眼部分に差し掛かる境界線を抽出することとなる。つまり、これら手段ＣＬ２，ＣＬ８は、画像上の暗い物体について上下にエッジライン（第２エッジライン）を抽出する機能を有することとなる。

ここで、運転者が二重瞼である場合、二重瞼部分に影が生じることから、当該部分については濃度が低下する傾向にある。従って、上記二手段ＣＬ２，ＣＬ８は、二重瞼部分についても、上下にエッジライン（第２エッジライン）を抽出することとなる。

また、第２エッジライン抽出手段ＣＬ８は、エッジラインの情報を、第２エッジラインの情報と共に、判断手段ＣＬ９に送信する構成となっている。

判断手段ＣＬ９は、エッジライン抽出手段ＣＬ２により抽出されたエッジラインと第２エッジライン抽出手段ＣＬ８により抽出された第２エッジラインとが画像縦方向に重複する部分について、エッジラインと第２エッジラインとの画像縦方向位置の差を求めるものである。ここで、画像縦方向に重複する部分とは、エッジライン及び第２エッジラインの双方が存在する縦方向の画素列部分をいう。従って、判断手段ＣＬ９は、エッジラインと第２エッジラインとの双方が存在する画素列毎にエッジラインと第２エッジラインとの画像縦方向位置の差を求めるものとなる。

なお、二重瞼部分について説明すると、判断手段ＣＬ９は、肌と二重瞼の上側との境界、及び二重瞼の下側と肌との境界との双方が存在する画素列毎に、これら境界の縦方向位置の差を求めることとなる。

また、判断手段ＣＬ９は、求めた差それぞれが略同一であるか否かを判断するものである。そして、判断手段ＣＬ９は、求めた差が略同一でないときには、エッジライン抽出手段ＣＬ２により抽出されたエッジラインが上瞼のエッジラインでないと判断するものである。例えば、二重瞼部分について説明すると、画素列毎の二重瞼の上側と下側との差は略同一となる。すなわち、二重瞼部分は、上瞼と眼との境界と同形状（同じ上に凸の弧状）をなすことから、上瞼と誤検出され易い傾向にある。ところが、判断手段ＣＬ９は、画素列毎の差を求めて略同一か否かを判断していることとなる。このため、判断手段ＣＬ９は、二重瞼部分などを、上瞼と眼との境界と検出しないようにする構成となっている。

なお、上記判断手段ＣＬ９は、画素列毎に差を求める構成に限らず、必要数だけの差を求めるようにしてもよい。例えば、判断手段ＣＬ９は、エッジラインと第２エッジラインとが画像縦方向に重複する部分の両端及び中点位置で、エッジラインと第２エッジラインとの画像縦方向位置における差を求めるようにしてもよい。これにより、処理の迅速化を図ることができる。

また、上記第２エッジライン抽出手段ＣＬ８及び判断手段ＣＬ９による処理を実行するため、図２及び図３に示したマイコン３は、これらに相当するプログラムを記憶している。

次に、第３実施形態に係る上瞼検出装置３の動作を説明する。図３１及び図３２は、第３実施形態に係る上瞼検出装置３の動作の概略を示すメインフローチャートであり、図３１は前半部分を示し、図３２は後半部分を示している。なお、これらの図に示すステップＳＴ１００〜ＳＴ１１４，ＳＴ１２０〜ＳＴ１２２の処理は、図２７に示すステップＳＴ８０〜ＳＴ９７と同様であるため、説明を省略する。

まず、マイコン３は、ステップＳＴ１１４において相関値が所定値以上であると判断した場合（ＳＴ１１４：ＹＥＳ）、第２エッジライン抽出処理を実行する（ＳＴ１１５）。この処理において、マイコン３は、第２エッジライン抽出手段ＣＬ８に相当するプログラムを実行して、第２エッジラインを検出することとなる。

ここで、第２エッジライン抽出処理（ＳＴ１１５）を詳細に説明する。図３３は、運転者が二重瞼であるときに取得される眼画像の一例を示し、図３４は、図３３に示す眼画像から得られたエッジラインを示している。また、図３５は、図３３に示す眼画像から得られたエッジライン及び第２エッジラインを示している。

まず、マイコン３は、第２エッジライン抽出処理（ＳＴ１１５）に至る以前に、図３３に示すような眼画像を取得している。そして、マイコン３は、その眼画像から図３４に示すエッジラインを抽出する。

ここで、図３４において、エッジラインａ，ｆの双方は上下方向対して上に凸である。また、エッジラインａ，ｆの双方は、綺麗な弧状を描いており、曲線近似し易いことから相関値が所定値以上となる。従って、第２実施形態では、エッジラインａ，ｆが双方ともに上瞼のエッジラインであると判定されることとなる。

そこで、マイコンは、図３５に示すように、第２エッジラインを抽出する。このとき、マイコン３は、エッジラインａ，ｆと対になる第２エッジラインを抽出する。まず、眼画像内のエッジラインａ，ｆの存在部分においては、濃度が白方向から黒方向に変化している。このため、マイコン３は、濃度が白方向から黒方向に変化した後に、再度濃度が黒方向から白方向に変化する部分を対になる第２エッジラインとして抽出する。すなわち、マイコン３は、エッジ点から画像下端方向に向けて濃度情報を読み込み、濃度が黒方向から白方向へ変化しつつ連続する画素群の最初のもののうち、最も変化量が大きい画素を第２エッジ点として抽出する。

そして、マイコン３は、第２エッジ点を線状にグルーピングすることによって、第２エッジラインを抽出する。その結果、マイコン３は図３５に示す如く、エッジラインと第２エッジラインａ’，ｆ’とを抽出する。

再度、図３２を参照する。以上、図３３〜図３５を参照して説明した第２エッジライン抽出処理を経た後（ＳＴ１１５の後）、マイコン３は、第２エッジラインを抽出できたか否かを判断する（ＳＴ１１６）。ここで、第２エッジラインを抽出できなかったと判断した場合（ＳＴ１１６：ＮＯ）、マイコン３は、エッジラインが上瞼のエッジラインでないと判断する。そして、処理は、図３１のステップＳＴ１０６に移行する。

一方、第２エッジラインを抽出できたと判断した場合（ＳＴ１１６：ＹＥＳ）、マイコン３は、エッジラインと第２エッジラインとの画像縦方向の間隔を検出する（ＳＴ１１７）。すなわち、マイコン３は、エッジラインと第２エッジラインとが画像縦方向に重複する画素列毎に、これらラインの縦方向の差を求める。なお、この処理において、マイコン３は、画素列毎でなく、重複部分の両端及び中点位置のみの差を求めるようにしてもよい。また、マイコン３は、この処理において判断手段ＣＬ９に相当するプログラムを実行することとなる。

その後、マイコン３は、求めた差のそれぞれが略同一であるか否かを判断し、略同一でない場合に、そのエッジラインが上瞼のエッジラインであると判断する。ここで、第３実施形態においては、精度の向上を図るべく、縦方向の差に代えて分散値や標準偏差を求めるようにしてもよい。

すなわち、マイコン３は、画像縦方向の間隔を検出した後（ＳＴ１１７の後）、エッジラインと第２エッジラインとの縦方向間隔の均一判断処理を実行する（ＳＴ１１８）。この処理においてマイコン３は、縦方向間隔の分散値や標準偏差といった統計値を判断する。

その後、マイコン３は、エッジラインと第２エッジラインとの縦方向間隔が略同一であるか否かを判断する（ＳＴ１１９）。ここで、分散値や標準偏差の値が小さければ間隔は略同一であり、分散値や標準偏差の値が大きければ間隔は略同一でないといえる。そして、エッジラインと第２エッジラインとの縦方向間隔が略同一でないと判断した場合（ＳＴ１１９：ＮＯ）、マイコン３はそのエッジラインが上瞼のエッジラインでないと判断する（ＳＴ１２２）。

一方、エッジラインと第２エッジラインとの縦方向間隔が略同一であると判断した場合（ＳＴ１１９：ＹＥＳ）、マイコン３は、そのエッジラインが上瞼のエッジラインであると判断する（ＳＴ１２０）。そして、マイコン３は、ステップＳＴ１２１を経た後、処理をステップＳＴ１０２に戻す。

図３６は、図３５に示すエッジラインａ，ｆと第２エッジラインａ’，ｆ’との画像縦方向位置の差を示すグラフである。同図に示すように、エッジラインａは、上瞼のエッジラインでなく、二重瞼部分のエッジラインである。このようなエッジラインａと第２エッジラインａ’との縦方向位置の差は、図３５及び図３６からも明らかなように、略同一となっている。従って、マイコン３は、二重瞼部分のエッジラインを上瞼のエッジラインであると誤検出しないこととなる。

一方、エッジラインｆは、上瞼のエッジラインである。このエッジラインｆと第２エッジラインｆ’との縦方向位置の差は、図３５及び図３６からも明らかなように、画像両端側で小さく、中点位置で大きくなっている。従って、マイコン３は、このエッジラインｆを上瞼のエッジラインであると検出することとなる。

このように、第３実施形態では、たとえ運転者が二重瞼であっても正確に上瞼のエッジラインを判定することができ、上瞼を検出することができる。なお、図３６に示すように、エッジラインと第２エッジラインとの重複部分の両端及び中点位置で差を求めた場合、エッジラインｆについては差の相違が好適に検出できることが明らかである。これは、黒眼部分の影響によるものである。すなわち、通常、上瞼と黒眼部分との間には白眼部分が介在することが少なく、この点から両端及び中点位置で差を求めることが有用といえる。

このようにして、第３実施形態に係る上瞼検出装置３によれば、第２実施形態と同様に、上瞼の検出精度の向上を図ることができる。また、上瞼の検出精度を更に向上させることができ、処理速度の向上を図ることができるためである。

さらに、第３実施形態によれば、上瞼のエッジラインを判定した場合に、濃度が黒方向から白方向へ変化しつつ連続する画素群のうち最も変化量が大きい画素を第２エッジ点として抽出し、その第２エッジ点から第２エッジラインを抽出している。また、エッジラインと第２エッジラインとの画像縦方向位置の差を求め、求めた差それぞれが略同一であるときには、そのエッジラインが上瞼のエッジラインでないと判断している。このように、第２エッジラインを抽出し、差を求めることにより、エッジラインが本当に上瞼のエッジラインであるか否かを点検することとなり、例えば二重瞼によって抽出されたエッジラインを上瞼のエッジラインであると誤検出しないようになっている。

詳しくは、濃度が黒方向から白方向へ変化する画素から第２エッジラインを抽出するため、通常、上瞼と黒眼部分との間には白眼部分が介在することが少ないことをからすると、眼の中央部分では、エッジラインと第２エッジラインとの差が大きくなる。他方、二重瞼の場合には、エッジラインと第２エッジラインとの差が略同一となり易い。このため、エッジラインと第２エッジラインとの画像縦方向位置の差から、好適に上瞼のエッジラインであるか否かを点検することができる。従って、上瞼の検出精度を更に向上させることができる。

また、エッジラインと第２エッジラインとが画像縦方向に重複する部分の両端及び中点位置で、エッジラインと第２エッジラインとの画像縦方向位置における差を求めている。このため、画像縦方向の全画素列でエッジラインと第２エッジラインとの差を求める場合に比して、演算が少なくなる。さらに、上瞼と黒眼部分との間には白眼部分が介在することが少ないことからすると、両端及び中点位置で差を求めることが適しているといえる。従って、上瞼の検出精度を維持したまま、処理速度の向上を図ることができる。

本発明の実施形態に係る上瞼検出装置の構成を示す機能ブロック図である。 本発明の実施形態に係る上瞼検出装置のハード構成図である。 顔画像取得手段の他の例を示すハード構成図である。 第１実施形態に係る上瞼検出装置の動作の概略を示すメインフローチャートである。 図４に示した眼画像取得処理（ＳＴ１４）の詳細な動作を示すフローチャートである。 図５に示した眼候補位置特定処理（ＳＴ３１）の詳細を示すフローチャートである。 図６に示したステップＳＴ４６の処理にて形成される連続データ、並びにステップＳＴ３７の処理にて定められる代表座標値Ｃ及び存在領域ＥＡを示す説明図である。 図７に示した存在領域ＥＡの大きさを示す説明図である。 数人の眼の大きさを調べた横Ｘａの長さの統計データを示す説明図である。 数人の眼の大きさを調べた縦Ｙａの長さの統計データを示す説明図である。 存在領域ＥＡの画像上の位置を決定する方法を示す説明図である。 図５に示した眼判定処理（ＳＴ３２）の詳細を説明するフローチャートである。 微小画像を示す説明図である。 範囲ＡＲでの二値化閾値の算出方法の説明図である。 候補オブジェクトと眼のテンプレートとの幾何形状の比較方法の説明図であり、（ａ）は候補オブジェクトが最適な状態で撮像された場合を示し、（ｂ）は眼の右側が欠けた状態を示し、（ｃ）は眼の左側が欠けた状態を示している。 取得された眼画像の一例を示す説明図である。 図１６に示す眼画像の濃度曲線及び一次微分曲線を示すグラフであり、（ａ）は眼画像縦方向の画素列Ｌ１１，Ｌ１２について検出した各画素の濃度値を表す濃度曲線ｐ１１，ｐ１２を示し、（ｂ）は各画素の濃度変化を表す一次微分曲線ｄ１１，ｄ１２を示している。 図１６に示す眼画像から得られたエッジラインを示す説明図である。 取得された眼画像の他の例を示す説明図である。 図１９に示す眼画像の濃度曲線及び一次微分曲線を示すグラフであり、（ａ）は、眼画像縦方向の画素列Ｌ２１，Ｌ２２について検出した各画素の濃度値を表す濃度曲線ｐ２１，ｐ２２を示し、（ｂ）は、各画素の濃度変化を表す一次微分曲線ｄ２１，ｄ２２を示している。 図１９に示す眼画像から得られたエッジラインを示す説明図であり、上瞼及び下瞼のラインがはっきり見えている例を示している。 曲線近似処理（ＳＴ１８）の詳細を示すフローチャートである。 運転者が眼鏡を着用しているときに取得される眼画像の一例を示す説明図である。 図２３に示す眼画像から得られたエッジラインを示す説明図である。 ステップＳＴ２２における所定値を説明するグラフである。 第２実施形態に係る上瞼検出装置の構成を示す機能ブロック図である。 第２実施形態に係る上瞼検出装置の動作の概略を示すメインフローチャートである。 運転者の眼の黒眼部分に映り込みが生じているときに取得される眼画像の一例を示す説明図である。 図２８に示す眼画像から得られたエッジラインを示す説明図である。 第３実施形態に係る上瞼検出装置の構成を示す機能ブロック図である。 第３実施形態に係る上瞼検出装置の動作の概略を示すメインフローチャートであり、前半部分を示している。 第３実施形態に係る上瞼検出装置の動作の概略を示すメインフローチャートであり、後半部分を示している。 運転者が二重瞼であるときに取得される眼画像の一例を示す説明図である。 図３３に示す眼画像から得られたエッジラインを示す説明図である。 図３３に示す眼画像から得られたエッジライン及び第２エッジラインを示す説明図である。 図３５に示すエッジラインａ，ｆと第２エッジラインａ’，ｆ’との画像縦方向位置の差を示すグラフである。

符号の説明

１〜３…上瞼検出装置
ＣＬ１…眼画像取得手段
ＣＬ１１…顔画像取得手段
ＣＬ１２…眼検出手段
ＣＬ２…エッジライン抽出手段
ＣＬ３…曲線近似手段
ＣＬ４…曲率検出手段
ＣＬ５…相関検出手段
ＣＬ６…判定手段
ＣＬ７…長さ検出手段
ＣＬ８…第２エッジライン抽出手段
ＣＬ９…判断手段

Claims (8)

1. 眼を含む眼画像を取得する眼画像取得手段と、
   前記眼画像取得手段により取得された眼画像から、各画素の濃度に基づいて画像縦方向又は横方向の各エッジ点を抽出し、それらエッジ点を線状にグルーピングすることによってエッジラインを抽出するエッジライン抽出手段と、
   前記エッジライン抽出手段により抽出されたエッジラインを二次以上の曲線に近似する曲線近似手段と、
   前記エッジライン抽出手段により抽出されたエッジライン及び前記曲線近似手段により近似された曲線近似線の少なくとも一方について、曲率を検出する曲率検出手段と、
   前記エッジライン抽出手段により抽出されたエッジラインと前記曲線近似手段により近似された曲線近似線との相関値を検出する相関検出手段と、
   前記曲率検出手段により検出された曲率が顔の上下方向対して上に凸であり、且つ相関検出手段によって検出された相関値が所定値以上であると判断されたエッジラインを上瞼のエッジラインであると判定する判定手段と、
   を備えることを特徴とする上瞼検出装置。
2. 前記エッジライン抽出手段により抽出されたエッジラインの長さを検出する長さ検出手段を更に備え、
   前記判定手段は、前記曲率検出手段により検出された曲率が顔の上下方向対して上に凸であり、且つ相関検出手段によって検出された相関値が所定値以上であると判断したことに加え、前記長さ検出手段によって検出されたエッジラインの長さが閾値以上であると判断したときに、そのエッジラインを上瞼のエッジラインであると判定する
   ことを特徴とする請求項１に記載の上瞼検出装置。
3. 前記エッジライン抽出手段は、前記眼画像取得手段により取得された眼画像の縦方向又は横方向について、濃度が白方向から黒方向へ変化しつつ連続する画素群のうち最も変化量が大きい画素をエッジ点として抽出することを特徴とする請求項１又は請求項２のいずれかに記載の上瞼検出装置。
4. 前記判定手段により上瞼のエッジラインが判定された場合に、前記眼画像取得手段により取得された眼画像の縦方向又は横方向について、濃度が黒方向から白方向へ変化しつつ連続する画素群のうち最も変化量が大きい画素を第２エッジ点として抽出し、それら第２エッジ点を線状にグルーピングすることによって第２エッジラインを抽出する第２エッジライン抽出手段と、
   前記エッジライン抽出手段により抽出されたエッジラインと前記第２エッジライン抽出手段により抽出された第２エッジラインとが画像縦方向に重複する部分について、エッジラインと第２エッジラインとの画像縦方向位置の差を求め、求めた差それぞれが略同一であるときに、前記エッジライン抽出手段により抽出されたエッジラインが上瞼のエッジラインでないと判断する判断手段と、
   を更に備えることを特徴とする請求項１〜請求項３のいずれか１項に記載の上瞼検出装置。
5. 前記判断手段は、前記エッジライン抽出手段により抽出されたエッジラインと前記第２エッジライン抽出手段により抽出された第２エッジラインとが画像縦方向に重複する部分の両端及び中点位置で、エッジラインと第２エッジラインとの画像縦方向位置における差を求めることを特徴とする請求項４に記載の上瞼検出装置。
6. 前記曲線近似手段は、前記エッジライン抽出手段によって検出された各エッジ点の座標から最小二乗法によって二次の線形多項式に近似することを特徴とする請求項１〜請求項５のいずれか１項に記載の上瞼検出装置。
7. 前記眼画像取得手段は、
   被検出者の前方略正面に設置され、被検出者の顔全体を撮像する顔画像撮像手段と、
   前記顔画像撮像手段によって撮像された顔全体を含む顔画像から被検出者の眼を検出する眼検出手段と、を有し、
   前記眼検出手段によって検出された眼を含み顔画像よりも小さくされた微小画像を、顔画像から抽出して眼画像とする
   ことを特徴とする請求項１〜請求項６のいずれか１項に記載の上瞼検出装置。
8. 眼を含む眼画像を取得し、この眼画像から画像縦方向又は横方向の各エッジ点を抽出し、それらエッジ点を線状にグルーピングすることによってエッジラインを抽出して、そのエッジラインを二次以上の曲線に近似し、
   近似した曲線近似線及び抽出したエッジラインの少なくとも一方について曲率を検出すると共に、近似した曲線近似線と抽出されたエッジラインとの相関値を検出し、
   検出した曲率が顔の上下方向対して上に凸であり、且つ検出した相関値が所定値以上であると判断したエッジラインを上瞼のエッジラインであると判定する
   ことを特徴とする上瞼検出装置。