JP4107087B2 - 開閉眼判定装置 - Google Patents
開閉眼判定装置 Download PDFInfo
- Publication number
- JP4107087B2 JP4107087B2 JP2003003265A JP2003003265A JP4107087B2 JP 4107087 B2 JP4107087 B2 JP 4107087B2 JP 2003003265 A JP2003003265 A JP 2003003265A JP 2003003265 A JP2003003265 A JP 2003003265A JP 4107087 B2 JP4107087 B2 JP 4107087B2
- Authority
- JP
- Japan
- Prior art keywords
- curvature
- edge line
- upper eyelid
- eye
- open
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【発明の属する技術分野】
本発明は、例えば車両等の移動体を運転している運転者等の眼の開閉を判定する開閉眼判定装置に関する。
【0002】
【従来の技術】
従来より、車両等の移動体を運転している運転者の居眠りによる事故防止の手段として、運転者の眼の開閉状態を検出し、この検出結果に応じて、警報を行う装置の研究開発がすすめられている。具体的には、この種の技術としては、特許文献1に記載されているものがある。
【0003】
この特許文献1には、CCD(Charge Coupled Devices)カメラによって取得された顔画像から上瞼部分を検出し、上瞼の形状に基づいて眼の開閉を判定する技術が開示されている。具体的には、この特許文献1には、検出した上瞼の両端点を結ぶ直線に対して上側に位置する部分の面積と眼の面積との比に基づいて眼の開閉を判定する技術が開示されている。また、この特許文献1には、検出した上瞼の上の形状が凸形状か否かを判定することで眼の開閉を判定する技術が開示されている。さらに、この特許文献1には、検出した上瞼の両端点を結ぶ直線と上瞼の重心位置との位置関係に基づいて眼の開閉を判定する技術が開示されている。これにより、従来では、顔の向きや被撮影者の個人差によらず確実に眼の開閉を判定することができるとしている。
【0004】
【特許文献1】
特開2000−123188号公報
【0005】
【発明が解決しようとする課題】
ところで、上述した特許文献1に記載されている技術においては、面積比や重心で眼の開閉を判定するために、眼の輪郭が完全に抽出可能であることが前提とされる。したがって、この技術においては、光環境が悪化して眼の輪郭が部分的にしか抽出できなくなるような状況では眼の開閉の判定を行うことが不可能となるという問題があった。
【0006】
また、この技術においては、上瞼の上の形状が凸形状か否かで眼の開閉を判定する場合についても示しているが、これは、上瞼のエッジラインの曲率に基づいて判定することを示している。したがって、この上瞼のエッジラインに基づいた検出についても、例えば眼の周囲に皺が多い場合や睫毛が長い場合といったように、検出環境や被検出者の眼の周囲の状況によっては完全な円弧として上瞼のエッジラインの検出ができなかったり、上瞼の一部しかエッジラインを検出できなかったりする問題点がある。
【0007】
なお、このような場合であっても、上瞼のエッジラインの曲率は、算出可能であるが、この技術においては、算出された上瞼のエッジラインの曲率が真の上瞼の曲率を表しているのかを判定することはできず、誤った眼の開閉判定を行う可能性が否めないという問題があった。
【0008】
【課題を解決するための手段】
本発明では、対象者の顔画像を撮像し、撮像した顔画像から対象者の眼を検出し、検出した眼から上瞼エッジラインを検出する。さらに、本発明では、検出した上瞼エッジラインを二次以上の多次曲線に近似し、近似した多次曲線の曲率を算出し、算出した曲率を上瞼エッジラインの曲率とする。そして、本発明では、算出した上瞼エッジラインの曲率の信頼度を規定し、規定した上瞼エッジラインの曲率の信頼度を加味した上で、上瞼エッジラインの曲率の大小に基づいて、眼の開閉を判定することにより、上述の課題を解決する。
【0009】
【発明の効果】
本発明に係る開閉眼判定装置によれば、算出した上瞼エッジラインの曲率の信頼度を規定し、規定した上瞼エッジラインの曲率の信頼度を加味した上で眼の開閉を判定することにより、いかなる状況であっても信頼度に基づいた適切な判定を行うことができ、結果として、対象者の眼の開閉を精度よく判定することができる。
【0010】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について図面を参照しながら詳細に説明する。
【0011】
この実施の形態は、所定の移動体を運転している運転者の居眠り状態を、当該運転者の眼の開閉を判定することによって検出する開閉眼判定装置であって、開閉眼の判定結果を図示しない警報装置等に出力するものである。
【0012】
なお、この開閉眼判定装置は、自動車、鉄道車両、船舶、プラントのオペレータといった様々なアプリケーションにおける開閉眼検知に適用することができるものであるが、以下の各実施形態では、説明の便宜上、自動車を運転している運転者の眼に適用した場合について説明する。
【0013】
[第1実施形態]
まず、第1実施形態に係る開閉眼判定装置について説明する。
【0014】
[開閉眼判定装置の構成]
第1実施形態に係る開閉眼判定装置10は、図1に示すように、運転者の顔を撮像する顔画像撮像部11と、運転者の眼を検出する眼検出部12と、運転者の眼の上瞼エッジラインを検出する上瞼エッジライン検出部13とを備える。
【0015】
また、この開閉眼判定装置10は、上瞼エッジライン検出部13によって検出された上瞼エッジラインを曲線に近似する曲線近似部14と、この曲線近似部14によって近似された曲線の曲率を算出する曲率算出部15と、この曲率算出部15によって算出された曲率の信頼度を規定する頂点位置による曲率信頼度規定部16と、最終的に眼の開閉を判定する開閉眼判定部17とを備える。
【0016】
顔画像撮像部11は、運転者の顔を撮像し、顔画像データを出力する。ここで、顔画像撮像部11としては、例えば、可視光に対応したCCD(Charge Coupled Devices)カメラ、C−MOS(Complementary Metal-Oxide Semiconductor)カメラ、近赤外光によって撮像するカメラ、又は遠赤外光によって撮像するカメラ等が挙げられる。顔画像撮像部11は、撮像して得た顔画像データをディジタル画像データとして眼検出部12に供給する。
【0017】
眼検出部12は、顔画像撮像部11によって撮像された顔画像データに対して画像処理を施し、眼を検出して眼位置を特定する。眼検出部12は、特定した目位置に存在して眼を示す画像データを上瞼エッジライン検出部13に供給する。
【0018】
上瞼エッジライン検出部13は、眼検出部12によって検出された眼を示す画像データに対してエッジ抽出処理等の画像処理を施して、複数のエッジ抽出点からなる上瞼のエッジラインを検出する。上瞼エッジライン検出部13は、検出した上瞼エッジラインを構成するエッジ抽出点を示す座標情報等の情報を曲線近似部14及び曲率信頼度規定部16に供給する。
【0019】
曲線近似部14は、上瞼エッジライン検出部13によって検出された複数のエッジ抽出点からなる上瞼エッジラインを数学的な式で表される曲線に近似する。曲線近似部14は、近似した曲線の式を示す情報を曲率算出部15及び曲率信頼度規定部16に供給する。
【0020】
曲率算出部15は、曲線近似部14によって近似された曲線の式の係数に基づいて、曲線の曲率を算出する。曲率算出部15は、算出した曲線の曲率を上瞼エッジライン曲率とし、この上瞼エッジライン曲率を示す情報を曲率信頼度規定部16及び開閉眼判定部17に供給する。
【0021】
曲率信頼度規定部16は、曲線近似部14によって近似された曲線の頂点位置と、上瞼エッジライン検出部13によって検出された上瞼エッジラインの始点位置、終点位置、又は頂点位置の少なくとも1つの位置との位置関係に基づいて、曲率算出部15によって算出された上瞼エッジライン曲率の信頼度を規定する。曲率信頼度規定部16は、規定した上瞼エッジライン曲率の信頼度を示す情報を開閉眼判定部17に供給する。
【0022】
開閉眼判定部17は、曲率算出部15によって算出された上瞼エッジライン曲率の大小に基づいて、眼の開閉を判定する。このとき、開閉眼判定部17は、曲率信頼度規定部16によって規定された上瞼エッジライン曲率の信頼度を加味した上で、眼の開閉を判定する。開閉眼判定部17は、判定結果を図示しない報知装置等に出力する。
【0023】
[自動車に対する開閉眼判定装置の適用]
このような各部を備える開閉眼判定装置10は、図2に示すように、上述した顔画像撮像部11としてのカメラ装置1と、上述した眼検出部12、上瞼エッジライン検出部13、曲線近似部14、曲率算出部15、曲率信頼度規定部16、及び開閉眼判定部17の各機能を実現するプログラムロジックがプログラミングされているマイクロコンピュータ2とを用いて構成することができる。
【0024】
カメラ装置1は、例えば自動車のインストルメントパネル上で運転者を略正面で撮像できる位置に設置され、運転者の顔部分を撮像する。このカメラ装置1は、例えば、横方向(X方向)640画素及び縦方向(Y方向)480画素からなる顔画像データを撮像するように構成される。このカメラ装置1によって撮像された顔画像データは、マイクロコンピュータ2に入力される。
【0025】
マイクロコンピュータ2は、例えばインストルメント裏側等の車体内部に設置される。マイクロコンピュータ2は、カメラ装置1によって撮像された顔画像データを入力すると、この顔画像データに基づいて、上述した眼検出部12、上瞼エッジライン検出部13、曲線近似部14、曲率算出部15、曲率信頼度規定部16、及び開閉眼判定部17の各機能を実行し、眼の開閉判定結果を図示しない報知装置等に出力する。
【0026】
このような開閉眼判定装置10は、以下に示す処理を行うことにより、運転者の眼の開閉を判定する。
【0027】
[開閉眼判定装置の処理内容]
開閉眼判定装置10は、図3に示すように、例えばIGNスイッチ等が操作されるとステップS1以降の処理を開始し、先ず、ステップS1においては、初期値入力の処理を実行し、ステップS2において、上述した顔画像撮像部11に相当するカメラ装置1(顔画像撮像部11)によって顔画像を撮像し、撮像して得た顔画像データがマイクロコンピュータ2に入力される。
【0028】
続いて、開閉眼判定装置10は、ステップS3において、マイクロコンピュータ2に入力された顔画像データに対し、当該マイクロコンピュータ2の眼検出部12によって画像処理を施すことにより、顔画像データ上の眼を検出し、眼の位置を特定する。なお、このステップS3の詳細については、後述する。
【0029】
続いて、開閉眼判定装置10は、ステップS4において、眼検出部12により、ステップS3による出力結果に基づいて、眼の位置を特定できたか否かを判定する。
【0030】
ここで、眼検出部12は、顔画像データ上で眼の位置を特定できていないと判定した場合には、眼の位置を特定するまでステップS2からの処理を繰り返す一方で、顔画像データ上で眼の位置を特定できたと判定した場合には眼を含む画像データを上瞼エッジライン検出部13に供給して、ステップS5へと処理を移行する。
【0031】
ステップS5においては、上瞼エッジライン検出部13により、ステップS4にて眼検出部12から送られた眼の画像データから、眼の上瞼エッジラインを検出し、さらに、検出した上瞼エッジラインの始点位置、終点位置、及び頂点位置を検出する。なお、このステップS5の詳細については、後述する。
【0032】
続いて、ステップS6において、曲線近似部14により、ステップS5にて検出された上瞼エッジラインを構成するエッジ抽出点の座標点群に基づいて、例えば最小二乗法を用いて二次以上の多次曲線に上瞼エッジラインを近似する。なお、このステップS6の詳細については、後述する。
【0033】
続いて、ステップS7において、曲率算出部15により、ステップS6にて近似された曲線の式の係数に基づいて、曲線の曲率を算出し、その曲率を上瞼エッジライン曲率とする。なお、このステップS7の詳細については、後述する。
【0034】
続いて、ステップS8において、曲率信頼度規定部16により、ステップS6にて近似された曲線の頂点位置とステップS5にて検出された上瞼エッジラインの頂点位置との位置関係に基づいて、ステップS7にて算出された上瞼エッジライン曲率の信頼度を規定する。なお、このステップS8の詳細については、後述する。
【0035】
そして、ステップS9において、開閉眼判定部17により、後述する開閉眼閾値を算出し、ステップS10において、ステップS8にて規定された上瞼エッジライン曲率の信頼度を加味した上で、眼の開閉を判定し、一連の処理を終了する。なお、これらステップS9及びステップS10の詳細については、後述する。
【0036】
開閉眼判定装置10は、このような一連の工程を経ることにより、運転者の眼の開閉を判定することができる。
【0037】
以下、上述した各処理の詳細について説明する。
【0038】
[眼の検出処理内容]
まず、上述した図3中ステップS3における眼の検出処理について図4を用いて説明する。
【0039】
眼検出部12は、眼の検出処理を行う際には、図4に示すように、ステップS11において、眼の候補の位置を特定する処理を実行する。なお、このステップS11の詳細については、後述する。
【0040】
続いて、眼検出部12は、ステップS12において、眼判定処理を行う。なお、このステップS12の詳細については、後述する。
【0041】
そして、眼検出部12は、ステップS13において、ステップS11における眼の候補の位置を特定する処理で検出した眼の候補点全てについてステップS12における眼判定処理を行ったか否かを判定する。
【0042】
ここで、眼検出部12は、眼の候補点全てについて判定を終えていないと判定した場合には、ステップS12からの処理を繰り返す一方で、眼の候補点全てについて判定したと判定した場合には、図3中ステップS4へと処理を移行する。
【0043】
開閉眼判定装置10は、このような一連の工程を経ることにより、眼の検出処理を行うことができる。
【0044】
ここで、ステップS11における眼の候補の位置の特定処理、及びステップS12における眼判定処理は、それぞれ、具体的には以下のような手順で行われる。
【0045】
[眼の候補の位置の特定処理内容]
まず、ステップS11における眼の候補の位置の特定処理について図5乃至図10を用いて説明する。
【0046】
開閉眼判定装置10は、図5のステップS21において、図3中のステップS2における撮像処理で撮像してマイクロコンピュータ2にて入力した顔画像データ全体を全体画像Gとして図示しない所定の画像メモリに保存する。
【0047】
続いて、眼検出部12は、画像メモリに保存した全体画像Gについて、縦1ラインでのポイント抽出を行い、その終了後に、隣接する縦1ラインでのポイント抽出を行うことで、全体画像Gについてライン毎のポイント抽出を行い、ステップS22において、縦方向の全ラインでのポイント抽出が終了したか否かを判定する。
【0048】
ここで、眼検出部12は、縦方向の全ラインでのポイント抽出が終了していないと判定した場合には、ステップS23へと処理を移行し、縦方向(Y方向)の1ラインの濃度値の相加平均演算を行う。この処理は、画像データ撮像時の濃度値の変化の小さなバラツキをなくすことを目的として行われるものであり、濃度値の大局的な変化を捉えるために行われる。
【0049】
続いて、眼検出部12は、ステップS24において、ステップS23にて得られた演算結果である相加平均濃度値に対する微分演算を行う。
【0050】
続いて、眼検出部12は、ステップS25において、ステップS24にて得られた演算結果である微分値によるポイント抽出を行う。
【0051】
そして、眼検出部12は、このステップS25による処理が1ライン分だけ終了すると、ステップS26において、マイクロコンピュータ2によって次のラインの処理に切り替え、ステップS22からの処理を繰り返す。
【0052】
一方、眼検出部12は、ステップS22にて縦方向の全ラインでのポイント抽出が終了したと判定した場合には、ステップS27へと処理を移行し、互いに隣り合う各ラインの抽出ポイントのY座標値を比較し、これらY座標値の差分が所定値以内の場合には、これら抽出ポイントの座標値を連続データとして扱い、以下の5つの項目を所定の画像メモリに保存する。
【0053】
1.連続データのグループ番号
2.連続開始ライン番号
3.連続データ数
4.連続データを構成する各抽出ポイントのY座標値の平均値(その連続データの代表上下位置)
5.連続開始ラインと終了ラインとのX座標値の平均値(その連続データの代表左右位置)
すなわち、眼検出部12は、ここでの検出対象を眼としている。したがって、その特徴量は横方向に比較的長く続くデータであると推測され、眼検出部12は、横方向に所定値以上連続することを条件にして、連続データを選択する。
【0054】
ここで、このようにして選択した顔の特徴量を連続データとして表したものを図6に示す。この図6においては、左右眉毛、左右眼、左右鼻孔、口、といった領域が連続データGGとして抽出されている様子を示している。このような場合、眼検出部12では、連続データGGが眼の候補となり、この連続データGGの代表座標値Cが眼の候補点の位置となる。
【0055】
そして、眼検出部12は、ステップS28において、図6に示すような各連続データGGの代表座標値Cを基準として各連続データGGを含む存在領域EAを設定する。
【0056】
ここで、この存在領域EAは、眼検出部12により以下のようにして決定される。
【0057】
[存在領域EAの大きさの決定方法]
ステップS28にて設定する存在領域EAの大きさは、図7乃至図9に示すように決定する。図7は、存在領域EAの大きさを示し、図8及び図9は、数人の眼の大きさを調べた横及び縦の長さの統計データを示している。
【0058】
ここで、存在領域EAの大きさは、顔の皺や明暗等を抽出してしまうことによるノイズの低減や処理速度の低下を回避するためにも、可能な限り小さい領域が好ましい。例えば、存在領域EAとしては、現在の居眠り検出等の処理で用いている大きさとすることができ、数人の眼の大きさを調べ、その大きさに対して例えば1.5倍程度の余裕分を加味した大きさとすることができる。すなわち、存在領域EAとしては、例えば図7に示すように、眼の大きさが横寸法xa、縦寸法yaであるとすると、横幅xa×1.5、縦幅ya×1.5の大きさとすることができる。
【0059】
なお、数人の眼の大きさを統計的に求める方法としては、例えば図8及び図9に示すように、眼の縦横寸法のデータを集め、その分布の例えば95%をカバーする寸法に余裕分をみて決定する方法が考えられる。そして、存在領域EAの大きさは、この95%をカバーする寸法、すなわち、横寸法xa、縦寸法yaに対して、図7に示したように、余裕分(1.5倍)をみて決定することができる。なお、数人の眼の大きさを統計的に求める方法としては、画像処理によって眼の幅や高さを推定し、縦横の大きさに対して余裕分を加える方法も考えられる。
【0060】
[存在領域EAの位置の決定方法]
存在領域EAの位置は、図10に示すように眼検出部12により決定される。図10は、例えば右眼の存在領域EAを位置決めする様子について示している。すなわち、存在領域EAは、眼の座標値(x1,y1)を基準とし、この座標値(x1,y1)から距離(x2,y2)だけ離隔した位置に当該存在領域EAを描く基準点Pを決め、この基準点Pから予め決めておいた当該存在領域EAの寸法(x3,y3)を描画することにより、位置を決めることができる。なお、ここでは、距離(x2,y2)は、寸法(x3,y3)の“1/2”であり、予め存在領域EAが眼の中心を重心とする矩形となるような長さとしている。
【0061】
開閉眼判定装置10は、このような存在領域EAを、画像全体から見つけた全ての連続データGGについて設定し、図4中ステップS12へと処理を移行する。
【0062】
[眼判定処理内容]
つぎに、上述した図4中ステップS12における眼検出部12による眼判定処理について図11乃至図14を用いて説明する。
【0063】
眼検出部12は、図11に示すように、ステップS31において、図5中ステップS28にて設定された眼の候補点を含む存在領域EAを示す画像データを微小画像IGとして画像メモリに保存する。なお、参考までに、上述した全体画像Gから抽出された微小画像IGの様子を図12に示す。
【0064】
続いて、眼検出部12は、ステップS32において、全体画像Gにおける代表座標値Cに相当する微小画像IGにおける代表座標値ICを基準とした所定の範囲である算出領域ARの濃度情報に基づいて、二値化閾値を設定する。この算出領域ARは、上述した存在領域EAよりも小さく、二値化閾値を正確に設定できるようにしたものである。ここで、各算出領域ARでの二値化閾値の算出方法の一例について図13を用いて説明する。
【0065】
眼検出部12は、算出領域ARにおいて縦方向に数ライン分の濃度値の読み出しを行う。なお、図13においては、この縦方向へのラインが「1」〜「4」の4本あることを示している。そして、眼検出部12は、この各ラインにおいて濃度値の最も高い(明るい)濃度値と最も低い(暗い)濃度値とを記憶していき、全ラインについての濃度値のメモリが終了したら、各ラインにおける最も高い(明るい)濃度値のうち一番低い濃度値(皮膚の部分)と、各ラインにおける最も低い(暗い)濃度値のうち一番低い濃度値(眼の部分)とを求め、その中央値を二値化閾値とする。
【0066】
ここで、この二値化閾値のための算出領域ARは、眼の黒い部分と眼の周囲の皮膚の白い部分とがともに含まれるように設定され、また、画像の明るさのバラツキによる影響を少なくするために必要最小限の大きさとされる。また、二値化閾値は、算出領域AR内の眼の一番低い(暗い)濃度値と皮膚の部分の一番低い(暗い)濃度値との中央値とすることにより、皮膚の部分から眼の部分を切り出すのに適した値となる。さらに、二値化閾値を決定するのに皮膚の部分の濃度値の一番低い(暗い)濃度値を用いている理由は、上述したように、眼の周囲の明るさのバラツキによる影響を少なくするために、濃度値を読み出す算出領域ARを極力小さくしていても、この算出領域ARの一部に直射光が当たっているような部分が外乱として入ることがあり、この部分を二値化閾値の決定に用いないようにするためである。
【0067】
眼検出部12は、このようにして二値化閾値を設定すると、ステップS33において、マイクロコンピュータ2により、設定した二値化閾値を用いて微小画像IGに対して二値化処理を施し、得られた画像を二値画像bGとして画像メモリに保存する。眼検出部12は、このように二値化閾値を用いて二値化した候補オブジェクトを検出することにより、眼を正確に捉えて候補オブジェクトの幾何形状を用いた判定をより正確に行うことができ、眼の位置検出精度をより向上させることができる。
【0068】
そして、眼検出部12は、ステップS34において、全体画像Gにおける代表座標値Cに相当する二値画像bGにおける位置bCを初期位置に設定する。
【0069】
続いて、眼検出部12は、ステップS35において、初期位置として設定した設定位置が黒画素であるか否かを判定する。ここで、眼検出部12は、設定位置が黒画素でないと判定した場合には、ステップS43において、設定位置を上下左右に1画素ずつずらし、再度ステップS35の処理を行うことにより、設定位置が黒画素になるまで処理を行う。
【0070】
一方、眼検出部12は、設定位置が黒画素であると判定した場合には、ステップS36において、その黒画素を包括する連結成分を候補オブジェクトとして設定する。
【0071】
続いて、眼検出部12は、ステップS37において、候補オブジェクトの幾何形状を算出し、ステップS38において、特定したい眼テンプレートの幾何形状と候補オブジェクトの幾何形状とを比較する。
【0072】
ここで、眼テンプレートの幾何形状と候補オブジェクトの幾何形状との比較方法の一例について図14を用いて説明する。なお、ここでは、候補オブジェクトが眼である場合について説明する。
【0073】
眼を二値化した形状は、光環境が良好で安定した画像であれば、図14(a)に示すようなものとなるが、例えば車室内に直射日光が一側から当たるといったように、光環境が悪化した場合には白飛びする部分が発生して、図14(b)又は図14(c)に示すように、眼の一部領域が欠損したような形状となることもある。
【0074】
眼のテンプレートは、横幅が眼の相場値の2/3以上あり、且つ、図14中“1”で示す上に凸とされる所定範囲の曲率を有していることを第1の条件とし、図14中“2”で示す黒眼の左側の凹み形状を第2の条件とし、図14中“3”で示す黒眼の右側の凹み形状を第3の条件とすると、これら第1の条件乃至第3の条件を組み合わせることによって設定される。なお、眼のテンプレートとしては、図14(b)又は図14(c)に示す例を許容するために、第1の条件と第2の条件のみを満たすものであってもよく、または、第1の条件と第3の条件のみを満たすものであってもよい。
【0075】
眼検出部12は、このようにして特定したい眼テンプレートの幾何形状と候補オブジェクトの幾何形状とを比較し、ステップS39において、この結果、候補オブジェクトの幾何形状と眼テンプレートの幾何形状とが一致するか否かを判定する。
【0076】
ここで、眼検出部12は、候補オブジェクトの幾何形状と眼テンプレートの幾何形状とが一致しないと判定した場合には、ステップS44において、その候補オブジェクトは眼ではないと判定し、図4中ステップS13へと処理を移行する。
【0077】
一方、眼検出部12は、候補オブジェクトの幾何形状と眼テンプレートの幾何形状とが一致しないと判定した場合には、ステップS40において、その候補オブジェクトは眼であると判定し、ステップS41において、眼と判定された候補オブジェクトについての全体画像Gにおける代表座標値Cをこの画像フレームでの眼の座標値として記憶する。
【0078】
そして、眼検出部12は、ステップS42において、眼と判定された候補オブジェクトを含む微小画像IGを眼画像MGiとして画像メモリに保存し、図4中ステップS13へと処理を移行する。
【0079】
眼検出部12は、以上のような眼の候補の位置の特定処理と、眼判定処理とを行うことにより、図3中ステップS3に係る眼の検出処理を行うことができる。
【0080】
[上瞼エッジラインの検出処理内容]
つぎに、上述した図3中ステップS5における上瞼エッジライン検出部13による上瞼エッジラインの検出処理について図15乃至図19を用いて説明する。
【0081】
まず、上瞼エッジライン検出部13は、上瞼エッジラインの検出処理として、眼の外周輪郭を検出する。
【0082】
図15は、図11に詳細を示した眼判定処理によって特定された眼の位置を中心とした微小画像を示している。ここで、微小画像としては、図11中ステップS42で画像メモリに保存された眼画像MGiを用いるのが通常であるが、上瞼エッジライン検出部13においては、状況に応じて、画像メモリに保存されている全体画像Gに基づいて、サイズや位置を再定義した微小画像を抽出して用いてもよい。
【0083】
上瞼エッジライン検出部13は、図15に示す微小画像について、所定の二値化閾値よりも小さい濃度値の画素を黒とするとともに、二値化閾値よりも大きい濃度値の画素を白となるように二値化することにより、図16に示す二値画像を得る。すなわち、上瞼エッジライン検出部13は、画像の階調が256階調である場合には、二値化閾値よりも小さい濃度値の画素を濃度値0とするとともに、二値化閾値よりも大きい濃度値の画素を濃度値255となるように二値化する。なお、ここで行う二値化処理の二値化閾値は、上述した眼判定処理における図11中ステップS32にて行った二値化処理に用いた二値化閾値と同じとしてもよい。
【0084】
そして、上瞼エッジライン検出部13は、図17に示すように、マイクロコンピュータ2により、得られた二値画像における最も左の画素列について、左上から下向きに向かって濃度値0の黒画素を検索し、一番下の画素まで検索し終わったら、1つ右の画素列について同様の検索を行っていく。上瞼エッジライン検出部13は、このような処理を繰り返し行い、ある画素列において最初に見つかった黒画素と最後に見つかった黒画素とを、それぞれの画素列について求めていくと、図18に示すように、眼の外周輪郭を得ることができる。
【0085】
上瞼エッジライン検出部13は、この図18に示す眼の外周輪郭のうち、上側ラインを上瞼エッジラインとして検出する。そして、上瞼エッジライン検出部13は、図19に示すように、この上瞼エッジラインのうち、最も高い位置を頂点位置とするとともに、その両端を始点位置及び終点位置として検出する。
【0086】
上瞼エッジライン検出部13は、このような処理を行うことにより、図3中ステップS5に係る上瞼エッジラインの検出処理を行うことができる。
【0087】
[曲線近似処理内容]
つぎに、上述した図3中ステップS6における曲線近似部14による曲線近似処理について図20及び図21を用いて説明する。
【0088】
曲線近似部14は、上瞼エッジラインの座標点群(X,Y)を所定の関数f(X,Y)=cで表される曲線に近似する。ここで、上瞼エッジラインの座標点群(X,Y)は、微小画像の左上コーナを原点とした座標系である。また、関数f(X,Y)=cは、二次以上の多項式で表される。この多項式は、近似された曲線の頂点部分が原点となるように変換された座標系においては、偶数次項のみで構成される式となる。これは、頂点部分が原点となる座標系において奇数次項が含まれる式では、曲線形状の左右対称性や単頂点性が損なわれてしまうためである。
【0089】
なお、ここでは、二次曲線のうち計算が容易に行える放物線y=ax2+bx+cに近似を行うとして説明するが、曲線近似部14は、実際には、円、楕円、双曲線といった円錐曲線や、ax2+2hxy+by2+2gx+2fy+c=0で表される一般の二次曲線、二次以上の曲線であっても、同様の手順を踏むことによって曲線近似を行うことができ、求めた係数から曲率を算出することができるのはいうまでもない。
【0090】
曲線近似部14は、図20に示すような一連の処理によって実現される最小二乗法によって曲線近似を行うことができる。
【0091】
まず、曲線近似部14は、図20に示すように、ステップS51において、下記の数式を使用して、各項の総和を算出する。
【0092】
【数1】
続いて、曲線近似部14は、ステップS52において、ステップS51にて算出された各項の総和から下記の数式を使用して、各項の平均値を算出する。
【0093】
【数2】
続いて、曲線近似部14は、ステップS53において、ステップS52にて算出された平均値を用いて下記の数式を使用して、各項の分散及び共分散を算出する。
【0094】
【数3】
そして、曲線近似部14は、ステップS54において、下記の数式を使用して、ステップS63にて算出された分散及び共分散から回帰係数a,b,cを算出する。
【0095】
【数4】
曲線近似部14は、このような一連の処理を経ることにより、近似曲線を求めることができる。このような処理を行った結果求められた近似曲線を微小画像内の眼の画像にプロットした例を図21に示す。この図21において、曲線L1は、上瞼エッジラインを示し、曲線L2は、近似された曲線を示している。曲線近似部14は、曲線L2の頂点位置を、求められた回帰係数a,b,cを用いて、(−b/2a,c−(b2/4a2))として算出することができる。
【0096】
曲線近似部14は、このような処理を行うことにより、図3中ステップS6に係る曲線近似処理を行うことができる。
【0097】
[曲率算出処理内容]
つぎに、上述した図3中ステップS7における曲率算出部15による曲率算出処理について説明する。
【0098】
曲率算出部15においては、上述したように、近似された曲線が偶数次項のみで構成されるので、偶数次項の係数によって算出される曲率を上瞼エッジライン曲率とする。具体的には、曲率算出部15においては、上瞼エッジラインを放物線y=ax2+bx+cに近似した場合には、算出された近似曲線の式y=ax2+bx+cの二次項の回帰係数aが曲率Rとなる。その他、代表的な近似曲線の曲率の例として、円(x−a)2+(y−b)2=rと楕円R(x−a)2/rx+(y−b)2/ry=1についての曲率Rの算出方法を次式に示す。
【0099】
R=1/r
R=1/(rx2・cosθ+ry2・sinθ)1/2,θ=cos−1((x−a)/rx)=sin−1((y−b)/ry)
曲率算出部15は、このようにして曲率Rを算出し、図3中ステップS7に係る曲率算出処理を行うことができる。
【0100】
[頂点位置による信頼度規定処理内容]
つぎに、上述した図3中ステップS8において、曲率信頼度規定部16により行う頂点位置による信頼度規定処理について図22を用いて説明する。
【0101】
上瞼エッジラインは、上向き凸状で頂点が1つである曲線であるので、曲率信頼度規定部16においては、この上瞼エッジラインを近似した曲線の頂点が、図22中斜線部に示すように、始点位置よりも左側であり、終点位置よりも右側であり、始点位置と終点位置とを結んだ線分よりも下側の位置にプロットされた場合には、近似曲線そのものがエッジラインをトレースできていないと判断することができる。したがって、曲率信頼度規定部16においては、この図22中斜線部に示すエリアに近似曲線の頂点がある場合には、図3中ステップS7における曲率算出処理にて算出された曲率Rを信頼することができず、信頼度を0%とすることができる。一方、開閉眼判定装置10においては、図22中斜線部以外のエリアに近似曲線の頂点がある場合にのみ、算出された曲率Rを信頼し、信頼度を100%とすることができる。
【0102】
曲率信頼度規定部16は、このようにして曲率Rの信頼度を規定し、図3中ステップS8に係る信頼度規定処理を行うことができる。
【0103】
[開閉眼閾値算出処理内容]
つぎに、上述した図3中ステップS9における開閉眼判定部17による開閉眼閾値算出処理について説明する。なお、開閉眼判定部17は、この開閉眼閾値算出処理として、以下に示す2つの方法のいずれかを適用することができる。
【0104】
[開閉眼閾値算出処理内容(その1)]
まず、開閉眼閾値算出処理の第1の方法について図23を用いて説明する。
【0105】
図23中曲線L1は、上瞼エッジライン曲率の時間変化を表している。この曲線L1からもわかるように、瞬きをする毎に上瞼エッジライン曲率が小さくなり、グラフ横軸の1目盛りで表される1秒間に1回乃至2回程度の閉眼(瞬き)が発生している。
【0106】
また、図23中曲線L2は、過去30フレーム分(約1秒)の曲率の平均の変化を表している。通常、覚醒状態では、閉眼時間の総和よりも開眼時間の総和の方が圧倒的に長いため、平均値は、開眼状態の上瞼エッジラインの曲率側に偏って出てくる。そのため、曲率の平均値は、ほぼ開眼状態の曲率を表しているといっても差し支えない。
【0107】
開閉眼判定部17においては、図23中曲線L3に示すように、この曲率の平均値から一定値差し引いた値を開閉眼閾値とする。この差し引く値は、被検出者個人に依存するため、被検出者が変更されないような場合には、変更する必要はないが、被検出者が変更される場合には、その被検出者に対応した値にする必要がある。これにより、開閉眼判定部17においては、開閉眼閾値よりも大きい値が示された場合には開眼とし、開閉眼閾値よりも小さい値が示された場合には閉眼とする。
【0108】
なお、開閉眼判定部17においては、一定時間サンプリングした上瞼エッジライン曲率の平均値ではなく、例えば最頻値等を用いてもよく、これら平均値や最頻値等の代表値から一定値差し引いた値を開閉眼閾値とするようにすればよい。
【0109】
このように、開閉眼判定部17は、図3中ステップS9に係る開閉眼算出処理を行うことができる。
【0110】
[開閉眼閾値算出処理内容(その2)]
つぎに、開閉眼閾値算出処理の第2の方法について図24を用いて説明する。
【0111】
開閉眼閾値は、被検出者が覚醒状態であれば、第1の方法で算出できるが、被検出者が覚低状態に陥った場合には、閉眼時間が長くなるので、過去30フレーム分(約1秒)の曲率の全平均は、開眼状態の曲率を表しているとは言い難くなる。そのため、開閉眼判定装置10においては、図24に示すように、グラフ上、谷間となっている部分である閉眼のピークを別個サンプリングし、そのときの曲率の平均(閉眼時の曲率の平均値)と閉眼のピークを除いた曲率の平均(開眼時の曲率の平均値)とを求めて、その間に開閉眼閾値を設ける。
【0112】
図24中曲線L1は、図23と同様に、上瞼エッジライン曲率の時間変化を表している。また、図24中曲線L2は、過去30フレーム分(約1秒)の開眼時の曲率の平均の変化を表している。さらに、図24中曲線L3は、過去30フレーム分(約1秒)の閉眼時の曲率の平均の変化を表している。
【0113】
開閉眼閾値は、開眼時の曲率の平均値と閉眼時の曲率の平均値との中間値に設定すると、図24中曲線L4となる。これにより、開閉眼判定装置10においては、開閉眼閾値よりも大きい値が示されたところは開眼とし、開閉眼閾値よりも小さい値が示されたところは閉眼とすることができる。
【0114】
なお、開閉眼判定装置10においては、一定時間サンプリングした閉眼のピークのみの曲率の平均値と閉眼のピークを除いた曲率の平均値とを求めるのではなく、例えば最頻値等を求めるようにしてもよく、これら平均値や最頻値といった2つの代表値の間に開閉眼閾値を設けるようにすればよい。
【0115】
このように、開閉眼判定装置10は、図3中ステップS9に係る開閉眼算出処理を行うことができる。
【0116】
[開閉眼判定処理内容]
最後に、上述した図3中ステップS10における開閉眼判定処理について図25を用いて説明する。
【0117】
開閉眼判定部17は、図25に示すように、ステップS61において、図3中ステップS8における信頼度規定処理にて規定された信頼度が所定の信頼度閾値よりも大きいか否かを判定する。この信頼度閾値は、小さい値を用いると、精度がばらつくがより多くの値を採用でき、大きい値を用いると、精度が高くなる。この信頼度閾値は、要求される精度によって決定される。
【0118】
ここで、開閉眼判定部17は、信頼度が信頼度閾値よりも大きくないと判定した場合には、ステップS65へと処理を移行し、開閉眼の判定が不能という旨の結果を出力して一連の処理を終了する。
【0119】
一方、開閉眼判定部17は、信頼度が信頼度閾値よりも大きいと判定した場合には、ステップS62へと処理を移行し、図3中ステップS7における曲率算出処理にて算出された上瞼エッジライン曲率と図3中ステップS9における開閉眼閾値算出処理にて算出された開閉眼閾値とを比較し、上瞼エッジライン曲率よりも開閉眼閾値が大きいか否かを判定する。
【0120】
ここで、開閉眼判定部17は、上瞼エッジライン曲率よりも開閉眼閾値が大きいと判定した場合には、ステップS63において、開眼であると判定した旨の結果を出力して一連の処理を終了する。
【0121】
一方、開閉眼判定装置10は、上瞼エッジライン曲率よりも開閉眼閾値が大きくないと判定した場合には、ステップS64において、閉眼であると判定した旨の結果を出力して一連の処理を終了する。
【0122】
開閉眼判定部17は、このような処理を行うことにより、図3中ステップS10に係る開閉眼判定処理を行うことができる。
【0123】
[第1実施形態の効果]
以上詳細に説明したように、第1実施形態に係る開閉眼判定装置10は、曲率信頼度規定部16によって上瞼エッジライン曲率の信頼度を規定することにより、検出した上瞼エッジラインの状況が悪い場合であっても、信頼度に基づいた適切な判定を行うことができ、結果として、いかなる状況であっても運転者の眼の開閉を精度よく判定することができる。
【0124】
また、開閉眼判定装置10は、上瞼エッジライン検出部13によって検出された上瞼エッジラインを曲線近似部14によって二次以上の多項式に近似して、近似された曲線の頂点位置と、検出された上瞼エッジラインの始点位置、終点位置、又は頂点位置の少なくとも1つとの位置関係に基づいて、曲率信頼度規定部16によって上瞼エッジライン曲率の信頼度を規定することにより、検出した上瞼エッジラインの状況が悪い場合であっても、運転者の眼の開閉を精度よく判定することができる。
【0125】
更に、開閉眼判定装置10は、曲線近似部14によって近似された曲線の頂点が、上瞼エッジライン検出部13によって検出された上瞼エッジラインの始点の横座標位置と終点の横座標位置とに挟まれた領域の外側に存在する場合には、曲率信頼度規定部16によって上瞼エッジライン曲率の信頼度を0%とすることにより、確実な判定を行うことが可能となる。
【0126】
更に、開閉眼判定装置10は、曲線近似部14によって近似された曲線の頂点が、上瞼エッジライン検出部13によって検出された上瞼エッジラインの始点と終点とを結ぶ線分よりも下側にある場合には、曲率信頼度規定部16によって上瞼エッジライン曲率の信頼度を0%とすることにより、確実な判定を行うことが可能となる。
【0127】
更にまた、開閉眼判定装置10は、上瞼エッジライン検出部13によって検出された上瞼エッジラインの座標点群に基づいて、曲線近似部14によって最小二乗法を用いて二次以上の多次曲線に上瞼エッジラインを近似することにより、高速に曲線近似処理を行うことができる。
【0128】
また、開閉眼判定装置10においては、曲線近似部14によって近似される二次以上の多次曲線が、当該多次曲線の頂点部分を原点としたときに偶数次項のみで構成される式で表されることにより、曲線形状の左右対称性や単頂点性が損なわれてしまうことがなく、より精度のよい曲線近似処理を行うことができる。
【0129】
更に、開閉眼判定装置10においては、曲線近似部14によって近似される二次以上の多次曲線の偶数次項の係数によって算出される当該多次曲線の曲率を曲率算出部15によって上瞼エッジライン曲率とすることにより、精度よく曲率を算出することができる。
【0130】
更にまた、開閉眼判定装置10は、開閉眼判定部17により、一定時間サンプリングした上瞼エッジライン曲率の平均値や最頻値等の代表値を算出し、この代表値から一定値差し引いた値を開閉眼閾値とし、上瞼エッジライン曲率が開閉眼閾値よりも上回った場合には、開眼と判定し、上瞼エッジライン曲率が開閉眼閾値よりも下回った場合には、閉眼と判定することにより、運転者の眼の開閉を精度よく判定することができる。
【0131】
更にまた、開閉眼判定装置10は、開閉眼判定部17により、一定時間サンプリングした上瞼エッジライン曲率を時系列に並べたときの当該上瞼エッジライン曲率の変動波形から上瞼エッジライン曲率が小さくなるピーク点(閉眼のピーク点)を検出してサンプリングし、このサンプリングしたピーク点の平均値や最頻値等の代表値を算出するとともに、一定時間サンプリングした上瞼エッジライン曲率の全データ又は一定時間サンプリングした上瞼エッジライン曲率が小さくなるピーク点になる波の部分を除いたデータの平均値や最頻値等の代表値を算出し、算出された2つの代表値の間の値を開閉眼閾値とし、上瞼エッジライン曲率が開閉眼閾値よりも上回った場合には、開眼と判定し、上瞼エッジライン曲率が開閉眼閾値よりも下回った場合には、閉眼と判定することにより、運転者の眼の開閉を精度よく判定することができる。
【0132】
更に、開閉眼判定装置10は、開閉眼判定部17によって所定の信頼度閾値を設定し、曲率信頼度規定部16によって規定された信頼度が信頼度閾値を下回った場合には、開閉眼の判定を行わないようにすることにより、不確定な判定基準による不用意な判定を行うことがなく、運転者の眼の開閉を精度よく判定することができる。
【0133】
[第2実施形態]
つぎに、本発明を適用した第2実施形態に係る開閉眼判定装置について説明する。
【0134】
この第2実施形態に係る開閉眼判定装置は、先に図1に示した第1実施形態に係る開閉眼判定装置10と同様の構成からなり、先に図2に示した自動車に搭載適用されるものである。特に、この第2実施形態に係る開閉眼判定装置は、上瞼エッジラインの頂点位置と近似曲線の頂点位置との乖離度合いに基づいて、曲率の信頼度を規定するものである。
【0135】
なお、この第2実施形態の説明では、上述の実施形態と同様の部分については同一の符号及び同一のステップ番号を付することによってその詳細な説明を省略する。また、この第2実施形態に係る開閉眼判定装置は、特にその構成については図示しないが、説明の便宜上、開閉眼判定装置20と符号を付して説明する。
【0136】
開閉眼判定装置20は、先に図3に示した一連の工程を経ることにより、運転者の眼の開閉を判定する。このとき、開閉眼判定装置20は、眼の検出処理、眼の候補の位置の特定処理、眼判定処理、上瞼エッジラインの検出処理、曲線近似処理、曲率算出処理、及び開閉眼閾値算出処理については、第1実施形態に係る方法を適用することができる。
【0137】
したがって、以下では、これら各処理のうち、第1実施形態に係る開閉眼判定装置10における処理と異なるものの詳細について説明する。
【0138】
[頂点位置による信頼度規定処理内容]
この第2実施形態に係る開閉眼判定装置20によって行われる上述した図3中ステップS8における頂点位置による信頼度規定処理について図26を用いて説明する。
【0139】
開閉眼判定装置20は、曲線近似部14によって近似された多次曲線の頂点位置と上瞼エッジライン検出部13によって検出された上瞼エッジラインの頂点位置との乖離度合いに基づいて、曲率の信頼度を規定する。
【0140】
すなわち、開閉眼判定装置20の曲率信頼度規定部16においては、曲線近似部14によって近似された多次曲線の頂点位置と上瞼エッジライン検出部13によって検出された上瞼エッジラインの頂点位置とが一致する場合には最も上瞼エッジライン曲率の信頼度を高くし、それぞれの頂点位置が乖離するのにしたがって、信頼度を低くする。
【0141】
この様子を図26に示す。図26において、楕円は、曲線L1で表される上瞼エッジラインと曲線L2で表される近似曲線とを微小画像内の眼の画像にプロットした場合における等信頼度線を示している。また、図26において、下側のグラフは、近似曲線の頂点位置に対する上瞼エッジラインの頂点を通る横軸方向の信頼度の変化を示し、左側のグラフは、近似曲線の頂点位置に対する上瞼エッジラインの頂点を通る縦軸方向の信頼度の変化を示している。
【0142】
このように、上瞼エッジライン曲率は、曲線近似部14によって近似された多次曲線の頂点位置と上瞼エッジライン検出部13によって検出された上瞼エッジラインの頂点位置との乖離度合いが小さい場合には、信頼度が高くなり、乖離度合いが大きくなるのにしたがって、信頼度が低くなる。
【0143】
開閉眼判定装置20は、このような頂点位置の乖離度合いに基づいて、上瞼エッジライン曲率の信頼度を規定し、図3中ステップS8に係る信頼度規定処理を行うことができる。
【0144】
[開閉眼判定処理内容]
つぎに、上述した図3中ステップS10における開閉眼判定処理について説明する。なお、開閉眼判定装置20は、この開閉眼判定処理として、先に図25を用いて説明した方法を第1の方法として適用することができ、更にこれに加え、以下に示す3つの方法のいずれかを適用することができる。
【0145】
[開閉眼判定処理内容(その2)]
まず、開閉眼判定処理の第2の方法について図27及び図28を用いて説明する。
【0146】
開閉眼判定部17は、図27に示すように、ステップS71において、図3中ステップS8における信頼度規定処理にて規定された信頼度から曲率の誤差範囲を算出する。
【0147】
図28に、信頼度と曲率の誤差範囲との関係を示す。図28によると、信頼度が100%であれば誤差量は“0”であり、信頼度が低くなるのにしたがって、誤差量が大きくなり、信頼度が0%に近づくのにしたがって、誤差量が無限大に漸近していくのがわかる。誤差範囲は、この誤差量に応じて図3中ステップS7における曲率算出処理にて算出された上瞼エッジライン曲率を中心としたプラス・マイナス誤差範囲として表される。
【0148】
続いて、開閉眼判定部17は、ステップS72において、曲率の誤差範囲の最小点R(−)を、上瞼エッジライン曲率−(マイナス誤差範囲)として算出する。
【0149】
続いて、開閉眼判定部17は、ステップS73において、曲率の誤差範囲の最大点R(+)を、上瞼エッジライン曲率+(プラス誤差範囲)として算出する。
【0150】
続いて、開閉眼判定部17は、ステップS74において、曲率の誤差範囲の最小点R(−)と図3中ステップS9における開閉眼閾値算出処理にて算出された開閉眼閾値とを比較し、曲率の誤差範囲の最小点R(−)よりも開閉眼閾値が大きいか否かを判定する。
【0151】
ここで、開閉眼判定部17は、曲率の誤差範囲の最小点R(−)よりも開閉眼閾値が大きいと判定した場合には、ステップS75において、開眼であると判定した旨の結果を出力して一連の処理を終了する。
【0152】
一方、開閉眼判定部17は、曲率の誤差範囲の最小点R(−)よりも開閉眼閾値が大きくないと判定した場合には、ステップS76へと処理を移行し、曲率の誤差範囲の最大点R(+)と図3中ステップS9における開閉眼閾値算出処理にて算出された開閉眼閾値とを比較し、曲率の誤差範囲の最大点R(+)よりも開閉眼閾値が小さいか否かを判定する。
【0153】
ここで、開閉眼判定部17は、曲率の誤差範囲の最大点R(+)よりも開閉眼閾値が小さいと判定した場合には、ステップS77において、閉眼であると判定した旨の結果を出力して一連の処理を終了する。
【0154】
一方、開閉眼判定部17は、曲率の誤差範囲の最大点R(+)よりも開閉眼閾値が小さくないと判定した場合には、ステップS78において、開閉眼の判定が不能という旨の結果を出力して一連の処理を終了する。
【0155】
開閉眼判定部17は、このような処理を行うことにより、図3中ステップS10に係る開閉眼判定処理を行うことができる。
【0156】
[開閉眼判定処理内容(その3)]
つぎに、開閉眼判定処理の第3の方法について図29を用いて説明する。
【0157】
開閉眼判定部17は、同図に示すように、ステップS81において、図3中ステップS8における信頼度規定処理にて規定された信頼度から曲率の誤差範囲を算出する。
【0158】
続いて、開閉眼判定部17は、ステップS82において、曲率の誤差範囲の最小点R(−)を、上瞼エッジライン曲率−(マイナス誤差範囲)として算出する。
【0159】
続いて、開閉眼判定部17は、ステップS83において、曲率の誤差範囲の最大点R(+)を、上瞼エッジライン曲率+(プラス誤差範囲)として算出する。
【0160】
続いて、開閉眼判定部17は、ステップS84において、図3中ステップS7における曲率算出処理にて算出された上瞼エッジライン曲率と図3中ステップS9における開閉眼閾値算出処理にて算出された開閉眼閾値とを比較し、上瞼エッジライン曲率よりも開閉眼閾値が大きいか否かを判定する。
【0161】
ここで、開閉眼判定部17は、上瞼エッジライン曲率よりも開閉眼閾値が大きいと判定した場合には、ステップS85において、開眼であると判定した旨の結果を出力し、更に、ステップS86において、開眼確率を算出して一連の処理を終了する。
【0162】
なお、開眼確率は、上瞼エッジライン曲率R、曲率の誤差範囲の最小点R(−)、開閉眼閾値RTを用いて、(R−RT)/(R−R(−))として算出することができる。ここで、(R−RT)/(R−R(−))の結果が“1”以上となった場合には、開眼確率は、“1”として算出する。
【0163】
一方、開閉眼判定部17は、上瞼エッジライン曲率よりも開閉眼閾値が大きくないと判定した場合には、ステップS87において、閉眼であると判定した旨の結果を出力し、更に、ステップS88において、閉眼確率を算出して一連の処理を終了する。
【0164】
なお、閉眼確率は、上瞼エッジライン曲率R、曲率の誤差範囲の最大点R(+)、開閉眼閾値RTを用いて、(RT−R)/(R(+)−R)として算出することができる。ここで、(RT−R)/(R(+)−R)の結果が“1”以上となった場合には、閉眼確率は、“1”として算出する。
【0165】
開閉眼判定部17は、このような処理を行うことにより、図3中ステップS10に係る開閉眼判定処理を行うことができる。
【0166】
[開閉眼判定処理内容(その4)]
つぎに、開閉眼判定処理の第4の方法について図30及び図31を用いて説明する。
【0167】
開閉眼判定部17は、図30に示すように、ステップS91において、図3中ステップS8における信頼度規定処理にて規定された信頼度から曲率の誤差範囲を算出する。
【0168】
続いて、開閉眼判定部17は、ステップS92において、曲率の誤差範囲の最小点R(−)を、上瞼エッジライン曲率−(マイナス誤差範囲)として算出する。
【0169】
続いて、開閉眼判定部17は、ステップS93において、曲率の誤差範囲の最大点R(+)を、上瞼エッジライン曲率+(プラス誤差範囲)として算出する。
【0170】
続いて、開閉眼判定部17は、ステップS94において、曲率の誤差範囲の最小点R(−)と図3中ステップS9における開閉眼閾値算出処理にて算出された開閉眼閾値とを比較し、曲率の誤差範囲の最小点R(−)よりも開閉眼閾値が大きいか否かを判定する。
【0171】
ここで、開閉眼判定部17は、曲率の誤差範囲の最小点R(−)よりも開閉眼閾値が大きいと判定した場合には、ステップS95において、開眼であると判定した旨の結果を出力して一連の処理を終了する。
【0172】
一方、開閉眼判定部17は、曲率の誤差範囲の最小点R(−)よりも開閉眼閾値が大きくないと判定した場合には、ステップS96へと処理を移行し、曲率の誤差範囲の最大点R(+)と図3中ステップS9における開閉眼閾値算出処理にて算出された開閉眼閾値とを比較し、曲率の誤差範囲の最大点R(+)よりも開閉眼閾値が小さいか否かを判定する。
【0173】
ここで、開閉眼判定部17は、曲率の誤差範囲の最大点R(+)よりも開閉眼閾値が小さいと判定した場合には、ステップS97において、閉眼であると判定した旨の結果を出力して一連の処理を終了する。
【0174】
一方、開閉眼判定部17は、曲率の誤差範囲の最大点R(+)よりも開閉眼閾値が小さくないと判定した場合には、図31中ステップS98へと処理を移行し、図3中ステップS7における曲率算出処理にて算出された上瞼エッジライン曲率と図3中ステップS9における開閉眼閾値算出処理にて算出された開閉眼閾値とを比較し、上瞼エッジライン曲率よりも開閉眼閾値が大きいか否かを判定する。
【0175】
ここで、開閉眼判定部17は、上瞼エッジライン曲率よりも開閉眼閾値が大きいと判定した場合には、ステップS99において、開眼であると判定した旨の結果を出力し、更に、ステップS100において、開眼確率を算出して一連の処理を終了する。
【0176】
一方、開閉眼判定部17は、上瞼エッジライン曲率よりも開閉眼閾値が大きくないと判定した場合には、ステップS101において、閉眼であると判定した旨の結果を出力し、更に、ステップS102において、閉眼確率を算出して一連の処理を終了する。
【0177】
開閉眼判定部17は、このような処理を行うことにより、図3中ステップS10に係る開閉眼判定処理を行うことができる。
【0178】
[第2実施形態の効果]
以上詳細に説明したように、第2実施形態に係る開閉眼判定装置20は、第1実施形態のように、曲率信頼度規定部16によって上瞼エッジライン曲率の信頼度を規定することにより、運転者の眼の開閉を精度よく判定することに加えて、上瞼エッジライン曲率の信頼度を、上瞼エッジライン検出部13によって検出された上瞼エッジラインの頂点位置と曲線近似部14によって近似された多次曲線の頂点位置との乖離度合いに基づいて曲率信頼度規定部16によって規定することにより、検出した上瞼エッジラインの状況が悪い場合であっても、信頼度に基づいた適切な判定を行うことができ、結果として、いかなる状況であっても運転者の眼の開閉を精度よく判定することができる。
【0179】
また、開閉眼判定装置20は、曲線近似部14によって近似された多次曲線の頂点位置と上瞼エッジライン検出部13によって検出された上瞼エッジラインの頂点位置とが一致する場合には、曲率信頼度規定部16によって最も上瞼エッジライン曲率の信頼度を高く規定し、それぞれの頂点位置が乖離するのにしたがって、信頼度が低くなるように規定することにより、検出した上瞼エッジラインの状況が悪い場合であっても、運転者の眼の開閉を精度よく判定することができる。
【0180】
更にまた、開閉眼判定装置20は、曲率信頼度規定部16によって規定された信頼度から開閉眼判定部17によって曲率の誤差を算出し、曲率算出部15によって算出された上瞼エッジライン曲率の誤差範囲を考慮して開閉眼の判定を行うことにより、運転者の眼の開閉をより一層精度よく判定することができる。
【0181】
更にまた、開閉眼判定装置20は、開閉眼判定部17により、上瞼エッジライン曲率の誤差範囲の最小値が開閉眼閾値よりも上回った場合には開眼と判定し、上瞼エッジライン曲率の誤差範囲の最大値が開閉眼閾値よりも下回った場合には閉眼と判定することにより、運転者の眼の開閉を精度よく判定することができる。
【0182】
更にまた、開閉眼判定装置20は、開閉眼判定部17により、上瞼エッジライン曲率が開閉眼閾値よりも上回った場合には、開眼と判定し、上瞼エッジライン曲率が開閉眼閾値よりも下回った場合には閉眼と判定し、更に、開眼と判定した場合には、上瞼エッジライン曲率の誤差範囲から開眼であることの確率を算出し、閉眼と判定した場合には、上瞼エッジライン曲率の誤差範囲から閉眼であることの確率を算出することにより、運転者の眼の開閉を精度よく判定することができる。
【0183】
また、開閉眼判定装置20は、開閉眼判定部17により、上瞼エッジライン曲率の誤差範囲に開閉眼閾値が存在する場合であって上瞼エッジライン曲率が開閉眼閾値よりも上回った場合には、開眼と判定し、上瞼エッジライン曲率の誤差範囲に開閉眼閾値が存在する場合であって上瞼エッジライン曲率が開閉眼閾値よりも下回った場合には、閉眼と判定し、更に、開眼と判定した場合には、上瞼エッジライン曲率の誤差範囲から開眼であることの確率を算出し、閉眼と判定した場合には、上瞼エッジライン曲率の誤差範囲から閉眼であることの確率を算出することにより、運転者の眼の開閉を精度よく判定することができる。
【0184】
[第3実施形態]
つぎに、第3実施形態に係る開閉眼判定装置について説明する。
【0185】
この第3実施形態に係る開閉眼判定装置は、先に図1に示した第1実施形態に係る開閉眼判定装置10と同様の構成からなり、先に図2に示した自動車に搭載適用されるものである。特に、この第3実施形態に係る開閉眼判定装置は、信頼度規定処理として、第1実施形態に係る方法と第2実施形態に係る方法とを組み合わせたものである。すなわち、この第3実施形態に係る開閉眼判定装置は、第2実施形態に係る開閉眼判定装置20と同様に、上瞼エッジラインの頂点位置と近似曲線の頂点位置との乖離度合いに基づいて、曲率の信頼度を規定するとともに、第1実施形態に係る開閉眼判定装置10と同様に、近似曲線の頂点位置と上瞼エッジラインの始点位置、終点位置、又は頂点位置の少なくとも1つとの位置関係に基づいて、曲率の信頼度を規定するものである。
【0186】
なお、この第3実施形態の説明では、上述の実施形態と同様の部分については同一の符号及び同一のステップ番号を付することによってその詳細な説明を省略する。また、この第3実施形態に係る開閉眼判定装置は、特にその構成については図示しないが、説明の便宜上、開閉眼判定装置30と符号を付して説明する。
【0187】
開閉眼判定装置30は、先に図3に示した一連の工程を経ることにより、運転者の眼の開閉を判定する。このとき、開閉眼判定装置30は、眼の検出処理、眼の候補の位置の特定処理、眼判定処理、上瞼エッジラインの検出処理、曲線近似処理、曲率算出処理、及び開閉眼閾値算出処理については、第1実施形態に係る方法を適用することができ、また、開閉眼判定処理については、第2実施形態に係る方法を適用することができる。
【0188】
したがって、以下では、これら各処理のうち、信頼度規定処理のみの詳細について説明する。
【0189】
[頂点位置による信頼度規定処理内容]
この第3実施形態に係る開閉眼判定装置30によって行われる上述した図3中ステップS8における頂点位置による信頼度規定処理について図32を用いて説明する。
【0190】
開閉眼判定装置30は、曲線近似部14によって近似された多次曲線の頂点位置と上瞼エッジライン検出部13によって検出された上瞼エッジラインの頂点位置との乖離度合いに基づいて、曲率の信頼度を規定する。
【0191】
すなわち、開閉眼判定装置30においては、図32中楕円で示す等信頼度線で表されるように、曲線L2で表される曲線近似部14によって近似された多次曲線の頂点位置と、曲線L1で表される上瞼エッジライン検出部13によって検出された上瞼エッジラインの頂点位置とが一致する場合が、最も上瞼エッジライン曲率の信頼度が高く、それぞれの頂点位置が乖離するのにしたがって、信頼度が低くなる。
【0192】
開閉眼判定装置30は、このような頂点位置の乖離度合いに基づく上瞼エッジライン曲率の信頼度の規定に加え、近似曲線の頂点位置に基づいて、頂点位置の乖離度合いに基づいて、上瞼エッジライン曲率の信頼度を規定する。
【0193】
すなわち、上瞼エッジラインは、上向き凸状で頂点が1つである曲線であるので、開閉眼判定装置30においては、この上瞼エッジラインを近似した曲線の頂点が、図32中斜線部に示すように、始点位置よりも左側であり、終点位置よりも右側であり、始点位置と終点位置とを結んだ線分よりも下側の位置にプロットされた場合には、近似曲線そのものがエッジラインをトレースできていないと判断することができる。したがって、開閉眼判定装置30においては、この同図中斜線部に示すエリアに近似曲線の頂点がある場合には、図3中ステップS7における曲率算出処理にて算出された曲率を信頼することができず、信頼度を0%とする。一方、開閉眼判定装置30においては、図32中斜線部以外のエリアに近似曲線の頂点がある場合にのみ、算出された曲率を信頼し、信頼度を100%とする。
【0194】
したがって、開閉眼判定装置30においては、同図下側のグラフに示すように、近似曲線の頂点位置に対する上瞼エッジラインの頂点を通る横軸方向の信頼度が、正規分布状ではなく、始点位置と終点位置とを結んだ線分よりも下側の領域では急激に0%に低下し、また、同図左側のグラフに示すように、近似曲線の頂点位置に対する上瞼エッジラインの頂点を通る縦軸方向の信頼度が、やはり正規分布状ではなく、始点位置よりも左側の領域と終点位置よりも右側の領域では急激に0%に低下する。
【0195】
このように、開閉眼判定装置30は、頂点位置の乖離度合いと近似曲線の頂点位置とに基づいて、上瞼エッジライン曲率の信頼度を規定し、図3中ステップS8に係る信頼度規定処理を行うことができる。
【0196】
[第3実施形態の効果]
以上詳細に説明したように、第3実施形態に係る開閉眼判定装置30は、第1実施形態のように、曲率信頼度規定部16によって上瞼エッジライン曲率の信頼度を規定することにより、運転者の眼の開閉を精度よく判定することに加えて、上瞼エッジライン曲率の信頼度を、上瞼エッジライン検出部13によって検出された上瞼エッジラインの頂点位置と曲線近似部14によって近似された多次曲線の頂点位置との乖離度合いに基づいて曲率信頼度規定部16によって規定し、上瞼エッジラインの頂点位置と近似された多次曲線の頂点位置とが一致する場合が、最も上瞼エッジライン曲率の信頼度が高く、それぞれの頂点位置が乖離するのにしたがって、信頼度が低くなるようにするとともに、曲線近似部14によって近似された曲線の頂点が、上瞼エッジライン検出部13によって検出された上瞼エッジラインの始点の横座標位置と終点の横座標位置とに挟まれた領域の外側に存在する場合には、曲率信頼度規定部16によって上瞼エッジライン曲率の信頼度を0%とすることにより、運転者の眼の開閉を極めて精度よく判定することができる。
【0197】
[第4実施形態]
つぎに、第4実施形態に係る開閉眼判定装置について説明する。
【0198】
この第4実施形態に係る開閉眼判定装置は、先に図2に示した自動車に搭載適用されるものである。特に、この第4実施形態に係る開閉眼判定装置は、信頼度規定処理として、上瞼エッジラインと近似曲線との相関に基づいて、曲率の信頼度を規定するものである。
【0199】
なお、この第4実施形態の説明では、上述の実施形態と同様の部分については同一の符号及び同一のステップ番号を付することによってその詳細な説明を省略する。
【0200】
[開閉眼判定装置の構成]
図33に示すように、第4実施形態に係る開閉眼判定装置40は、上述した顔画像撮像部11、眼検出部12、上瞼エッジライン検出部13、曲線近似部14、曲率算出部15、及び開閉眼判定部17の他に、曲率算出部15によって算出された曲率の信頼度を規定する相関による曲率信頼度規定部46を備える。
【0201】
曲率信頼度規定部46は、曲線近似部14によって近似された曲線と、上瞼エッジライン検出部13によって検出された上瞼エッジラインとの相関関係に基づいて、曲率算出部15によって算出された上瞼エッジライン曲率の信頼度を規定する。曲率信頼度規定部46は、規定した上瞼エッジライン曲率の信頼度を示す情報を開閉眼判定部17に供給する。
【0202】
このような開閉眼判定装置40は、以下に示す処理を行うことにより、運転者の眼の開閉を判定する。
【0203】
[開閉眼判定装置の処理内容]
開閉眼判定装置40は、図34に示すように、処理が開始されると、ステップS111において、初期値入力の処理を実行し、ステップS112において、上述した顔画像撮像部11に相当するカメラ装置1によって顔画像を撮像し、撮像して得た顔画像データがマイクロコンピュータ2に入力される。
【0204】
続いて、開閉眼判定装置40は、ステップS113において、マイクロコンピュータ2に入力された顔画像データに対して当該マイクロコンピュータ2によって画像処理を施すことにより、顔画像データ上の眼を検出し、眼の位置を特定する。
【0205】
続いて、眼検出部12は、ステップS114において、ステップS113による出力結果に基づいて、眼の位置を特定できたか否かを判定する。ここで、眼検出部12は、顔画像データ上で眼の位置を特定できていないと判定した場合には、眼の位置を特定するまでステップS112からの処理を繰り返す一方で、顔画像データ上で眼の位置を特定できたと判定した場合には、ステップS115へと処理を移行する。
【0206】
上瞼エッジライン検出部13は、ステップS115において、入力された顔画像データに対して画像処理を施すことにより、顔画像データ上における眼の上瞼エッジラインを検出し、更に、検出した上瞼エッジラインの始点位置、終点位置、及び頂点位置を検出する。
【0207】
続いて、曲線近似部14は、ステップS116において、ステップS115にて検出された上瞼エッジラインの座標点群に基づいて、例えば最小二乗法を用いて二次以上の多次曲線に上瞼エッジラインを近似する。
【0208】
続いて、曲率算出部15は、ステップS117において、ステップS116にて近似された曲線の式の係数に基づいて、曲線の曲率を算出し、その曲率を上瞼エッジライン曲率とする。
【0209】
続いて、曲率信頼度規定部46は、ステップS118において、ステップS116にて近似された曲線とステップS115にて検出された上瞼エッジラインとの相関関係に基づいて、ステップS117にて算出された上瞼エッジライン曲率の信頼度を規定する。なお、このステップS118の詳細については、後述する。
【0210】
そして、開閉眼判定部17は、ステップS119において、後述する開閉眼閾値を算出し、ステップS120において、ステップS118にて規定された上瞼エッジライン曲率の信頼度を加味した上で、眼の開閉を判定し、一連の処理を終了する。
【0211】
開閉眼判定装置40は、このような一連の工程を経ることにより、運転者の眼の開閉を判定することができる。
【0212】
なお、開閉眼判定装置40は、眼の検出処理、眼の候補の位置の特定処理、眼判定処理、上瞼エッジラインの検出処理、曲線近似処理、曲率算出処理、及び開閉眼閾値算出処理については、第1実施形態に係る方法を適用することができ、また、開閉眼判定処理については、第2実施形態に係る方法を適用することができる。
【0213】
したがって、以下では、これら各処理のうち、信頼度規定処理のみの詳細について説明する。
【0214】
[相関による信頼度規定処理内容]
この第4実施形態に係る開閉眼判定装置40によって行われる上述した図34中ステップS118における相関による信頼度規定処理について図35を用いて説明する。
【0215】
曲率信頼度規定部46は、上瞼エッジラインと近似曲線との相関係数を算出する。この相関係数を算出するにあたっての詳細な数学的説明は、ここでは省略するが、相関係数は、上瞼エッジラインのY座標値の総平方和に対する近似曲線のY座標値の総平方和の割合を表すものであり、その値が“1”に近いほど相関が高くいことを示すものである。
【0216】
ここで、信頼度と相関係数との関係を図35に示す。このように、曲率信頼度規定部46においては、相関係数が大きいほど信頼度が高く、相関係数が小さいほど信頼度が低くする。なお、相関係数が“0.85”以上であると、信頼度は非常に高く、“0.85”から“0.75”までの範囲で、急激に信頼度は低くなることが実験的に求められている。
【0217】
曲率信頼度規定部46は、このような上瞼エッジラインと近似曲線との相関に基づいて、上瞼エッジライン曲率の信頼度を規定し、図34中ステップS118に係る信頼度規定処理を行うことができる。
【0218】
[第4実施形態の効果]
以上詳細に説明したように、第4実施形態に係る開閉眼判定装置40は、第1実施形態のように、上瞼エッジライン曲率の信頼度を規定することにより、運転者の眼の開閉を精度よく判定することに加えて、上瞼エッジライン曲率の信頼度を、上瞼エッジライン検出部13によって検出された上瞼エッジラインと曲線近似部14によって近似された多次曲線との相関に基づいて曲率信頼度規定部46によって規定することにより、運転者の眼の開閉を精度よく判定することができる。
【0219】
また、開閉眼判定装置40は、上瞼エッジライン検出部13によって検出された上瞼エッジラインと曲線近似部14によって近似された多次曲線との相関が大きい場合には、曲率信頼度規定部46によって上瞼エッジライン曲率の信頼度を高く規定し、相関が小さい場合には、曲率信頼度規定部46によって上瞼エッジライン曲率の信頼度を低く規定することにより、運転者の眼の開閉をより精度よく判定することができる。
【0220】
[第5実施形態]
つぎに、第5実施形態に係る開閉眼判定装置について説明する。
【0221】
この第5実施形態に係る開閉眼判定装置は、先に図2に示した自動車に搭載適用されるものである。特に、この第5実施形態に係る開閉眼判定装置は、信頼度規定処理として、複数の信頼度規定処理によって得られた複数の上瞼エッジライン曲率の信頼度に基づいて、総合的な曲率の信頼度を規定するものである。
【0222】
なお、この第5実施形態の説明では、上述の実施形態と同様の部分については同一の符号及び同一のステップ番号を付することによってその詳細な説明を省略する。
【0223】
[開閉眼判定装置の構成]
図36に示すように、第5実施形態に係る開閉眼判定装置50は、上述した顔画像撮像部11、眼検出部12、上瞼エッジライン検出部13、曲線近似部14、曲率算出部15、及び開閉眼判定部17の他に、曲率算出部15によって算出された曲率の信頼度を規定する曲率信頼度規定部56を備える。
【0224】
曲率信頼度規定部56は、複数の信頼度規定処理によって得られた複数の上瞼エッジライン曲率の信頼度に基づいて、総合的な上瞼エッジライン曲率の信頼度を規定する。曲率信頼度規定部56は、規定した上瞼エッジライン曲率の信頼度を示す情報を開閉眼判定部17に供給する。
【0225】
このような開閉眼判定装置50は、以下に示す処理を行うことにより、運転者の眼の開閉を判定する。
【0226】
[開閉眼判定装置の処理内容]
開閉眼判定装置50は、図37に示すように、処理が開始されると、ステップS121において、初期値入力の処理を実行し、ステップS122において、上述した顔画像撮像部11に相当するカメラ装置1によって顔画像を撮像し、撮像して得た顔画像データがマイクロコンピュータ2に入力される。
【0227】
続いて、眼検出部12は、ステップS123において、入力された顔画像データに対して当該マイクロコンピュータ2によって画像処理を施すことにより、顔画像データ上の眼を検出し、眼の位置を特定する。
【0228】
続いて、眼検出部12は、ステップS124において、ステップS123による出力結果に基づいて、眼の位置を特定できたか否かを判定する。ここで、眼検出部12は、顔画像データ上で眼の位置を特定できていないと判定した場合には、眼の位置を特定するまでステップS122からの処理を繰り返す一方で、顔画像データ上で眼の位置を特定できたと判定した場合には、ステップS125へと処理を移行する。
【0229】
上瞼エッジライン検出部13は、ステップS125において、入力された顔画像データに対して画像処理を施すことにより、顔画像データ上における眼の上瞼エッジラインを検出し、更に、検出した上瞼エッジラインの始点位置、終点位置、及び頂点位置を検出する。
【0230】
続いて、曲線近似部14は、ステップS126において、ステップS125にて検出された上瞼エッジラインの座標点群に基づいて、例えば最小二乗法を用いて二次以上の多次曲線に上瞼エッジラインを近似する。
【0231】
続いて、曲率算出部15は、ステップS127において、ステップS126にて近似された曲線の式の係数に基づいて、曲線の曲率を算出し、その曲率を上瞼エッジライン曲率とする。
【0232】
続いて、曲率信頼度規定部56は、ステップS128において、複数の信頼度規定処理によって得られた複数の上瞼エッジライン曲率の信頼度に基づいて、総合的な上瞼エッジライン曲率の信頼度を規定する。なお、このステップS128の詳細については、後述する。
【0233】
そして、開閉眼判定部17は、ステップS129において、後述する開閉眼閾値を算出し、ステップS130において、ステップS128にて規定された上瞼エッジライン曲率の信頼度を加味した上で、眼の開閉を判定し、一連の処理を終了する。
【0234】
開閉眼判定装置50は、このような一連の工程を経ることにより、運転者の眼の開閉を判定することができる。
【0235】
なお、開閉眼判定装置50は、眼の検出処理、眼の候補の位置の特定処理、眼判定処理、上瞼エッジラインの検出処理、曲線近似処理、曲率算出処理、及び開閉眼閾値算出処理については、第1実施形態に係る方法を適用することができ、また、開閉眼判定処理については、第2実施形態に係る方法を適用することができる。
【0236】
したがって、以下では、これら各処理のうち、信頼度規定処理のみの詳細について説明する。
【0237】
[信頼度規定処理内容]
この第5実施形態に係る開閉眼判定装置50によって行われる上述した図37中ステップS128における信頼度規定処理について図38を用いて説明する。
【0238】
曲率信頼度規定部56は、図38に示すように、ステップS131において、によって頂点位置による信頼度規定処理を行う。すなわち、曲率信頼度規定部56は、上述したように、上瞼エッジラインの頂点位置と近似曲線の頂点位置との位置関係に基づいて、上瞼エッジライン曲率の信頼度を規定する。なお、この頂点位置による信頼度規定処理の具体的な内容については、上述したので、ここでは省略する。
【0239】
続いて、曲率信頼度規定部56は、ステップS132において、相関による信頼度規定処理を行う。すなわち、曲率信頼度規定部56は、上瞼エッジラインと近似曲線との相関係数に基づいて、上瞼エッジライン曲率の信頼度を規定する。なお、この相関による信頼度規定処理の具体的な内容については、上述したので、ここでは省略する。
【0240】
そして、曲率信頼度規定部56は、ステップS133において、マイクロコンピュータ2により、ステップS131にて規定された信頼度とステップS132にて規定された信頼度とに基づいて、全体としての信頼度を規定し、図37中ステップS129へと処理を移行する。
【0241】
なお、この複数の信頼度に基づいて全体の信頼度を算出する方法としては、それぞれの信頼度の積をもって全体の信頼度とする方法が一般的である。その他、複数の信頼度に基づいて全体の信頼度を算出する方法としては、最も高い信頼度を全体の信頼度とする方法や、最も低い信頼度を全体の信頼度とする方法等がある。曲率信頼度規定部56は、処理を行う環境等を考慮して、このような方法を適宜切り替えて行うこともできる。
【0242】
開閉眼判定装置50は、このような複数の信頼度規定処理によって得られた複数の上瞼エッジライン曲率の信頼度に基づいて、総合的な上瞼エッジライン曲率の信頼度を規定し、図37中ステップS128に係る信頼度規定処理を行うことができる。
【0243】
[第5実施形態の効果]
以上詳細に説明したように、第5実施形態に係る開閉眼判定装置50は、第1実施形態のように、上瞼エッジライン曲率の信頼度を規定することにより、運転者の眼の開閉を精度よく判定することに加えて、上瞼エッジライン曲率の信頼度を、複数の信頼度規定処理によって得られた複数の上瞼エッジライン曲率の信頼度に基づいて曲率信頼度規定部56によって総合的に規定することにより、運転者の眼の開閉をより精度よく判定することができる。特に、開閉眼判定装置50は、上瞼エッジライン検出部13によって検出された上瞼エッジラインの頂点位置と曲線近似部14によって近似された多次曲線の頂点位置との位置関係に基づく上瞼エッジライン曲率の信頼度と、上瞼エッジライン検出部13によって検出された上瞼エッジラインと曲線近似部14によって近似された多次曲線との相関に基づく上瞼エッジライン曲率の信頼度とに基づいて、曲率信頼度規定部56によって総合的な上瞼エッジライン曲率の信頼度を規定することにより、運転者の眼の開閉を極めて精度よく判定することができる。このとき、開閉眼判定装置50は、上瞼エッジライン検出部13によって検出された上瞼エッジラインと曲線近似部14によって近似された多次曲線との相関が大きい場合には、曲率信頼度規定部56によって上瞼エッジライン曲率の信頼度を高く規定し、相関が小さい場合には、曲率信頼度規定部56によって上瞼エッジライン曲率の信頼度を低く規定すればよい。
【0244】
[第6実施形態]
つぎに、第6実施形態に係る開閉眼判定装置について説明する。
【0245】
この第6実施形態に係る開閉眼判定装置は、先に図2に示した自動車に搭載適用されるものである。特に、この第6実施形態に係る開閉眼判定装置は、信頼度規定処理として、上瞼エッジラインの長さに基づいて、曲率の信頼度を規定するものである。
【0246】
なお、この第6実施形態の説明では、上述の実施形態と同様の部分については同一の符号及び同一のステップ番号を付することによってその詳細な説明を省略する。
【0247】
[開閉眼判定装置の構成]
第6実施形態に係る開閉眼判定装置60は、図39に示すように、上述した顔画像撮像部11、眼検出部12、上瞼エッジライン検出部13、曲線近似部14、曲率算出部15、及び開閉眼判定部17の他に、曲率算出部15によって算出された曲率の信頼度を規定する曲率信頼度規定部66を備える。
【0248】
曲率信頼度規定部66は、上瞼エッジライン検出部13によって検出された上瞼エッジラインの長さに基づいて、曲率算出部15によって算出された上瞼エッジライン曲率の信頼度を規定する。曲率信頼度規定部66は、規定した上瞼エッジライン曲率の信頼度を示す情報を開閉眼判定部17に供給する。
【0249】
このような開閉眼判定装置60は、以下に示す処理を行うことにより、運転者の眼の開閉を判定する。
【0250】
[開閉眼判定装置の処理内容]
開閉眼判定装置60は、図40に示すように、処理が開始されると、ステップS141において、初期値入力の処理を実行し、ステップS142において、上述した顔画像撮像部11に相当するカメラ装置1によって顔画像を撮像し、撮像して得た顔画像データがマイクロコンピュータ2に入力される。
【0251】
続いて、眼検出部12は、ステップS143において、マイクロコンピュータ2に入力された顔画像データに対して当該マイクロコンピュータ2によって画像処理を施すことにより、顔画像データ上の眼を検出し、眼の位置を特定する。
【0252】
続いて、眼検出部12は、ステップS144において、ステップS143による出力結果に基づいて、眼の位置を特定できたか否かを判定する。ここで、眼検出部12は、顔画像データ上で眼の位置を特定できていないと判定した場合には、眼の位置を特定するまでステップS142からの処理を繰り返す一方で、顔画像データ上で眼の位置を特定できたと判定した場合には、ステップS145へと処理を移行する。
【0253】
上瞼エッジライン検出部13は、ステップS145において、入力された顔画像データに対して画像処理を施すことにより、顔画像データ上における眼の上瞼エッジラインを検出し、更に、検出した上瞼エッジラインの始点位置、終点位置、及び頂点位置を検出する。
【0254】
続いて、曲線近似部14は、ステップS146において、ステップS145にて検出された上瞼エッジラインの座標点群に基づいて、例えば最小二乗法を用いて二次以上の多次曲線に上瞼エッジラインを近似する。
【0255】
続いて、曲率算出部15は、ステップS147において、ステップS146にて近似された曲線の式の係数に基づいて、曲線の曲率を算出し、その曲率を上瞼エッジライン曲率とする。
【0256】
続いて、曲率信頼度規定部66は、ステップS148において、ステップS145にて検出された上瞼エッジラインの長さに基づいて、ステップS147にて算出された上瞼エッジライン曲率の信頼度を規定する。なお、このステップS148の詳細については、後述する。
【0257】
そして、開閉眼判定部17は、ステップS149において、マイクロコンピュータ2により、後述する開閉眼閾値を算出し、ステップS150において、ステップS148にて規定された上瞼エッジライン曲率の信頼度を加味した上で、眼の開閉を判定し、一連の処理を終了する。
【0258】
開閉眼判定装置60は、このような一連の工程を経ることにより、運転者の眼の開閉を判定することができる。
【0259】
なお、開閉眼判定装置60は、眼の検出処理、眼の候補の位置の特定処理、眼判定処理、上瞼エッジラインの検出処理、曲線近似処理、曲率算出処理、及び開閉眼閾値算出処理については、第1実施形態に係る方法を適用することができ、また、開閉眼判定処理については、第2実施形態に係る方法を適用することができる。
【0260】
したがって、以下では、これら各処理のうち、信頼度規定処理のみの詳細について説明する。
【0261】
[上瞼エッジラインの長さによる信頼度規定処理内容]
この第6実施形態に係る開閉眼判定装置60によって行われる上述した図40中ステップS148における上瞼エッジラインの長さによる信頼度規定処理について図41及び図42を用いて説明する。
【0262】
図41に、信頼度と微小画像の横幅に対する上瞼エッジラインの長さの割合との関係を示している。
【0263】
開閉眼判定装置60においては、図42(a)に示すように、上瞼エッジラインが眼全体で検出されると、上瞼エッジラインの長さは、微小画像の横幅の概ね8割乃至9割の長さとなる。そのため、上瞼エッジライン曲率の信頼度は、図41に示すように、微小画像の横幅に対する上瞼エッジラインの長さの割合が、“0.8”乃至“0.9”付近である場合が最も高くなる。そして、上瞼エッジライン曲率の信頼度は、この範囲から微小画像の横幅に対する上瞼エッジラインの長さの割合が大きくなった場合でも小さくなった場合でも低くなる。
【0264】
また、微小画像の横幅に対する上瞼エッジラインの長さの割合が“0.5”よりも下回ると、上瞼エッジラインは、図42(b)に示すように、実際の眼の頂点付近に出るとは限らず、図42(c)又は図42(d)に示すように、実際の眼の両端付近に検出される場合もあり得る。
【0265】
このような場合、上瞼エッジライン曲率の信頼度は、図41に示すように、上瞼エッジラインが同じ長さであっても、検出された上瞼エッジラインが眼の実際の頂点部分を含む場合(同図中曲線L1)には、眼の実際の頂点部分を含まない場合(同図中曲線L2)よりも高くなる。
【0266】
実際の処理においては、直接的に、検出された上瞼エッジラインが眼の実際の頂点部分を含んでいるか否かを判定することは困難である。したがって、開閉眼判定装置60は、微小画像のほぼ中央に眼が入るように微小画像の範囲を決めているので、検出された上瞼エッジラインの始点位置及び終点位置が微小画像の横幅中央をまたぐか否かに基づいて検出された上瞼エッジラインが眼の実際の頂点部分を含んでいるか否かを判定する方法といったように、間接的に、検出された上瞼エッジラインが眼の実際の頂点部分を含んでいるか否かを判定する。
【0267】
開閉眼判定装置60は、このような上瞼エッジラインの長さに基づいて、上瞼エッジライン曲率の信頼度を規定し、図40中ステップS148に係る信頼度規定処理を行うことができる。
【0268】
[第6実施形態の効果]
以上詳細に説明したように、第6実施形態に係る開閉眼判定装置60は、第1実施形態のように、上瞼エッジライン曲率の信頼度を規定することにより、運転者の眼の開閉を精度よく判定することに加えて、上瞼エッジライン曲率の信頼度を、上瞼エッジライン検出部13によって検出された上瞼エッジラインの長さに基づいて曲率信頼度規定部66によって規定することにより、運転者の眼の開閉を精度よく判定することができる。
【0269】
[第7実施形態]
つぎに、第7実施形態に係る開閉眼判定装置について説明する。
【0270】
この第7実施形態に係る開閉眼判定装置は、先に図36に示した第5実施形態に係る開閉眼判定装置50と同様の構成からなり、先に図2に示した自動車に搭載適用されるものである。特に、この第7実施形態に係る開閉眼判定装置は、信頼度規定処理として、複数の信頼度規定処理によって得られた複数の上瞼エッジライン曲率の信頼度に基づいて、総合的な曲率の信頼度を規定するものであり、複数の信頼度規定処理として、上瞼エッジラインの長さによる信頼度規定処理と、頂点位置による信頼度規定処理とを行うものである。
【0271】
なお、この第7実施形態の説明では、上述の実施形態と同様の部分については同一の符号及び同一のステップ番号を付することによってその詳細な説明を省略する。また、この第7実施形態に係る開閉眼判定装置は、特にその構成については図示しないが、説明の便宜上、開閉眼判定装置70と符号を付して説明する。
【0272】
開閉眼判定装置70は、先に図37に示した一連の工程を経ることにより、運転者の眼の開閉を判定する。このとき、開閉眼判定装置70は、眼の検出処理、眼の候補の位置の特定処理、眼判定処理、上瞼エッジラインの検出処理、曲線近似処理、曲率算出処理、及び開閉眼閾値算出処理については、第1実施形態に係る方法を適用することができ、また、開閉眼判定処理については、第2実施形態に係る方法を適用することができる。
【0273】
したがって、以下では、これら各処理のうち、信頼度規定処理のみの詳細について説明する。
【0274】
[信頼度規定処理内容]
この第7実施形態に係る開閉眼判定装置70によって行われる上述した図37中ステップS128における信頼度規定処理について図43を用いて説明する。
【0275】
開閉眼判定装置70は、図43に示すように、ステップS151において、マイクロコンピュータ2によって上瞼エッジラインの長さによる信頼度規定処理を行う。すなわち、開閉眼判定装置70は、上述したように、上瞼エッジラインの長さに基づいて、上瞼エッジライン曲率の信頼度を規定する。なお、この上瞼エッジラインの長さによる信頼度規定処理の具体的な内容については、上述したので、ここでは省略する。
【0276】
続いて、開閉眼判定装置70は、ステップS152において、図37中ステップS125における上瞼エッジラインの検出処理にて検出された上瞼エッジラインの始点位置が微小画像範囲の横方向中央よりも左側にあるか否かを判定する。
【0277】
ここで、開閉眼判定装置70は、上瞼エッジラインの始点位置が微小画像範囲の横方向中央よりも左側にないと判定した場合には、上瞼エッジラインは微小画像範囲の右側に偏って検出され、実際の眼の頂点を含んでいないとして、ステップS155において、全体の信頼度を上瞼のエッジラインの長さによる信頼度のみで規定し、図37中ステップS129へと処理を移行する。
【0278】
一方、開閉眼判定装置70は、上瞼エッジラインの始点位置が微小画像範囲の横方向中央よりも左側にあると判定した場合には、ステップS153へと処理を移行する。
【0279】
開閉眼判定装置70は、ステップS153において、図37中ステップS125における上瞼エッジラインの検出処理にて検出された上瞼エッジラインの終点位置が微小画像範囲の横方向中央よりも右側にあるか否かを判定する。
【0280】
ここで、開閉眼判定装置70は、上瞼エッジラインの終点位置が微小画像範囲の横方向中央よりも右側にないと判定した場合には、上瞼エッジラインは微小画像範囲の左側に偏って検出され、実際の眼の頂点を含んでいないとして、ステップS155において、全体の信頼度を上瞼のエッジラインの長さによる信頼度のみで規定し、図37中ステップS129へと処理を移行する。
【0281】
一方、開閉眼判定装置70は、上瞼エッジラインの終点位置が微小画像範囲の横方向中央よりも右側にあると判定した場合には、ステップS154へと処理を移行する。
【0282】
開閉眼判定装置70は、ステップS154において、頂点位置による信頼度規定処理を行う。すなわち、開閉眼判定装置70は、上述したように、上瞼エッジラインの頂点位置と近似曲線の頂点位置との位置関係に基づいて、上瞼エッジライン曲率の信頼度を規定する。なお、この頂点位置による信頼度規定処理の具体的な内容については、上述したので、ここでは省略する。
【0283】
そして、開閉眼判定装置70は、ステップS155において、ステップS151にて規定された信頼度とステップS154にて規定された信頼度とに基づいて、全体としての信頼度を規定し、図37中ステップS129へと処理を移行する。
【0284】
なお、この複数の信頼度に基づいて全体の信頼度を算出する方法としては、上述したように、それぞれの信頼度の積をもって全体の信頼度とする方法が一般的である。その他、複数の信頼度に基づいて全体の信頼度を算出する方法としては、上述したように、最も高い信頼度を全体の信頼度とする方法や、最も低い信頼度を全体の信頼度とする方法等がある。開閉眼判定装置70は、処理を行う環境等を考慮して、このような方法を適宜切り替えて行うこともできる。
【0285】
開閉眼判定装置70は、このような複数の信頼度規定処理によって得られた複数の上瞼エッジライン曲率の信頼度に基づいて、総合的な上瞼エッジライン曲率の信頼度を規定し、図37中ステップS128に係る信頼度規定処理を行うことができる。
【0286】
[第7実施形態の効果]
以上詳細に説明したように、第7実施形態に係る開閉眼判定装置70は、第1実施形態のように、上瞼エッジライン曲率の信頼度を規定することにより、運転者の眼の開閉を精度よく判定することに加えて、上瞼エッジライン検出部13によって検出された上瞼エッジラインの長さに基づく上瞼エッジライン曲率の信頼度と、上瞼エッジライン検出部13によって検出された上瞼エッジラインの頂点位置と曲線近似部14によって近似された多次曲線の頂点位置との位置関係に基づく上瞼エッジライン曲率の信頼度とに基づいて、曲率信頼度規定部56によって総合的な上瞼エッジライン曲率の信頼度を規定することにより、運転者の眼の開閉を極めて精度よく判定することができる。
【0287】
[第8実施形態]
つぎに、第8実施形態に係る開閉眼判定装置について説明する。
【0288】
この第8実施形態に係る開閉眼判定装置は、先に図36に示した第5実施形態に係る開閉眼判定装置50と同様の構成からなり、先に図2に示した自動車に搭載適用されるものである。特に、この第8実施形態に係る開閉眼判定装置は、信頼度規定処理として、複数の信頼度規定処理によって得られた複数の上瞼エッジライン曲率の信頼度に基づいて、総合的な曲率の信頼度を規定するものであり、複数の信頼度規定処理として、上瞼エッジラインの長さによる信頼度規定処理と、相関による信頼度規定処理とを行うものである。
【0289】
なお、この第8実施形態の説明では、上述の実施形態と同様の部分については同一の符号及び同一のステップ番号を付することによってその詳細な説明を省略する。また、この第8実施形態に係る開閉眼判定装置は、特にその構成については図示しないが、説明の便宜上、開閉眼判定装置80と符号を付して説明する。
【0290】
開閉眼判定装置80は、先に図37に示した一連の工程を経ることにより、運転者の眼の開閉を判定する。このとき、開閉眼判定装置80は、眼の検出処理、眼の候補の位置の特定処理、眼判定処理、上瞼エッジラインの検出処理、曲線近似処理、曲率算出処理、及び開閉眼閾値算出処理については、第1実施形態に係る方法を適用することができ、また、開閉眼判定処理については、第2実施形態に係る方法を適用することができる。
【0291】
したがって、以下では、これら各処理のうち、信頼度規定処理のみの詳細について説明する。
【0292】
[信頼度規定処理内容]
この第8実施形態に係る開閉眼判定装置80によって行われる上述した図37中ステップS128における信頼度規定処理について図44を用いて説明する。
【0293】
開閉眼判定装置80は、同図に示すように、ステップS161において、マイクロコンピュータ2によって上瞼エッジラインの長さによる信頼度規定処理を行う。すなわち、開閉眼判定装置80は、上述したように、上瞼エッジラインの長さに基づいて、上瞼エッジライン曲率の信頼度を規定する。なお、この上瞼エッジラインの長さによる信頼度規定処理の具体的な内容については、上述したので、ここでは省略する。
【0294】
続いて、開閉眼判定装置80は、ステップS162において、相関による信頼度規定処理を行う。すなわち、開閉眼判定装置80は、上瞼エッジラインと近似曲線との相関係数に基づいて、上瞼エッジライン曲率の信頼度を規定する。なお、この相関による信頼度規定処理の具体的な内容については、上述したので、ここでは省略する。
【0295】
そして、開閉眼判定装置80は、ステップS163において、ステップS161にて規定された信頼度とステップS162にて規定された信頼度とに基づいて、全体としての信頼度を規定し、図37中ステップS129へと処理を移行する。
【0296】
なお、この複数の信頼度に基づいて全体の信頼度を算出する方法としては、上述したように、それぞれの信頼度の積をもって全体の信頼度とする方法が一般的である。その他、複数の信頼度に基づいて全体の信頼度を算出する方法としては、上述したように、最も高い信頼度を全体の信頼度とする方法や、最も低い信頼度を全体の信頼度とする方法等がある。開閉眼判定装置80は、処理を行う環境等を考慮して、このような方法を適宜切り替えて行うこともできる。
【0297】
開閉眼判定装置80は、このような複数の信頼度規定処理によって得られた複数の上瞼エッジライン曲率の信頼度に基づいて、総合的な上瞼エッジライン曲率の信頼度を規定し、図37中ステップS128に係る信頼度規定処理を行うことができる。
【0298】
[第8実施形態の効果]
以上詳細に説明したように、第8実施形態に係る開閉眼判定装置80は、第1実施形態のように、上瞼エッジライン曲率の信頼度を規定することにより、運転者の眼の開閉を精度よく判定することに加えて、上瞼エッジライン検出部13によって検出された上瞼エッジラインの長さに基づく上瞼エッジライン曲率の信頼度と、上瞼エッジライン検出部13によって検出された上瞼エッジラインと曲線近似部14によって近似された多次曲線との相関に基づく上瞼エッジライン曲率の信頼度とに基づいて、曲率信頼度規定部56によって総合的な上瞼エッジライン曲率の信頼度を規定することにより、運転者の眼の開閉を極めて精度よく判定することができる。
【0299】
[第9実施形態]
最後に、第9実施形態に係る開閉眼判定装置について説明する。
【0300】
この第9実施形態に係る開閉眼判定装置は、先に図36に示した第5実施形態に係る開閉眼判定装置50と同様の構成からなり、先に図2に示した自動車に搭載適用されるものである。特に、この第9実施形態に係る開閉眼判定装置は、信頼度規定処理として、複数の信頼度規定処理によって得られた複数の上瞼エッジライン曲率の信頼度に基づいて、総合的な曲率の信頼度を規定するものであり、複数の信頼度規定処理として、上瞼エッジラインの長さによる信頼度規定処理と、頂点位置による信頼度規定処理と、相関による信頼度規定処理とを行うものである。
【0301】
なお、この第9実施形態の説明では、上述の実施形態と同様の部分については同一の符号及び同一のステップ番号を付することによってその詳細な説明を省略する。また、この第9実施形態に係る開閉眼判定装置は、特にその構成については図示しないが、説明の便宜上、開閉眼判定装置90と符号を付して説明する。
【0302】
開閉眼判定装置90は、先に図37に示した一連の工程を経ることにより、運転者の眼の開閉を判定する。このとき、開閉眼判定装置90は、眼の検出処理、眼の候補の位置の特定処理、眼判定処理、上瞼エッジラインの検出処理、曲線近似処理、曲率算出処理、及び開閉眼閾値算出処理については、第1実施形態に係る方法を適用することができ、また、開閉眼判定処理については、第2実施形態に係る方法を適用することができる。
【0303】
したがって、以下では、これら各処理のうち、信頼度規定処理のみの詳細について説明する。
【0304】
[信頼度規定処理内容]
この第9実施形態に係る開閉眼判定装置90によって行われる上述した図37中ステップS128における信頼度規定処理について図45を用いて説明する。
【0305】
開閉眼判定装置90は、同図に示すように、ステップS171において、マイクロコンピュータ2によって上瞼エッジラインの長さによる信頼度規定処理を行う。すなわち、開閉眼判定装置90は、上述したように、上瞼エッジラインの長さに基づいて、上瞼エッジライン曲率の信頼度を規定する。なお、この上瞼エッジラインの長さによる信頼度規定処理の具体的な内容については、上述したので、ここでは省略する。
【0306】
続いて、開閉眼判定装置90は、ステップS172において、図37中ステップS125における上瞼エッジラインの検出処理にて検出された上瞼エッジラインの始点位置が微小画像範囲の横方向中央よりも左側にあるか否かを判定する。
【0307】
ここで、開閉眼判定装置90は、上瞼エッジラインの始点位置が微小画像範囲の横方向中央よりも左側にないと判定した場合には、上瞼エッジラインは微小画像範囲の右側に偏って検出され、実際の眼の頂点を含んでいないとして、ステップS175へと処理を移行する。
【0308】
開閉眼判定装置90は、ステップS175において、相関による信頼度規定処理を行う。すなわち、開閉眼判定装置80は、上瞼エッジラインと近似曲線との相関係数に基づいて、上瞼エッジライン曲率の信頼度を規定する。なお、この相関による信頼度規定処理の具体的な内容については、上述したので、ここでは省略する。
【0309】
そして、開閉眼判定装置90は、ステップS176において、ステップS171にて規定された信頼度とステップS175にて規定された信頼度とに基づいて、全体としての信頼度を規定し、図37中ステップS129へと処理を移行する。
【0310】
一方、開閉眼判定装置90は、ステップS172において、上瞼エッジラインの始点位置が微小画像範囲の横方向中央よりも左側にあると判定した場合には、ステップS173へと処理を移行する。
【0311】
開閉眼判定装置90は、ステップS173において、図37中ステップS125における上瞼エッジラインの検出処理にて検出された上瞼エッジラインの終点位置が微小画像範囲の横方向中央よりも右側にあるか否かを判定する。
【0312】
ここで、開閉眼判定装置90は、上瞼エッジラインの終点位置が微小画像範囲の横方向中央よりも右側にないと判定した場合には、上瞼エッジラインは微小画像範囲の左側に偏って検出され、実際の眼の頂点を含んでいないとして、ステップS175へと処理を移行し、相関による信頼度規定処理を行う。
【0313】
そして、開閉眼判定装置90は、ステップS176において、ステップS171にて規定された信頼度とステップS175にて規定された信頼度とに基づいて、全体としての信頼度を規定し、図37中ステップS129へと処理を移行する。
【0314】
一方、開閉眼判定装置90は、ステップS173において、上瞼エッジラインの終点位置が微小画像範囲の横方向中央よりも右側にあると判定した場合には、ステップS174へと処理を移行する。
【0315】
開閉眼判定装置90は、ステップS174において、頂点位置による信頼度規定処理を行う。すなわち、開閉眼判定装置90は、上述したように、上瞼エッジラインの頂点位置と近似曲線の頂点位置との位置関係に基づいて、上瞼エッジライン曲率の信頼度を規定する。なお、この頂点位置による信頼度規定処理の具体的な内容については、上述したので、ここでは省略する。
【0316】
続いて、開閉眼判定装置90は、ステップS175において、相関による信頼度規定処理を行い、ステップS176において、ステップS171にて規定された信頼度とステップS174にて規定された信頼度とステップS175にて規定された信頼度とに基づいて、全体としての信頼度を規定し、図37中ステップS129へと処理を移行する。
【0317】
なお、この複数の信頼度に基づいて全体の信頼度を算出する方法としては、上述したように、それぞれの信頼度の積をもって全体の信頼度とする方法が一般的である。その他、複数の信頼度に基づいて全体の信頼度を算出する方法としては、上述したように、最も高い信頼度を全体の信頼度とする方法や、最も低い信頼度を全体の信頼度とする方法等がある。開閉眼判定装置90は、処理を行う環境等を考慮して、このような方法を適宜切り替えて行うこともできる。
【0318】
開閉眼判定装置90は、このような複数の信頼度規定処理によって得られた複数の上瞼エッジライン曲率の信頼度に基づいて、総合的な上瞼エッジライン曲率の信頼度を規定し、図37中ステップS128に係る信頼度規定処理を行うことができる。
【0319】
[第9実施形態の効果]
以上詳細に説明したように、第9実施形態に係る開閉眼判定装置90は、第1実施形態のように、上瞼エッジライン曲率の信頼度を規定することにより、運転者の眼の開閉を精度よく判定することに加えて、上瞼エッジライン検出部13によって検出された上瞼エッジラインの長さに基づく上瞼エッジライン曲率の信頼度と、上瞼エッジライン検出部13によって検出された上瞼エッジラインと曲線近似部14によって近似された多次曲線との相関に基づく上瞼エッジライン曲率の信頼度と、上瞼エッジライン検出部13によって検出された上瞼エッジラインと曲線近似部14によって近似された多次曲線との相関に基づく上瞼エッジライン曲率の信頼度とに基づいて、曲率信頼度規定部56によって総合的な上瞼エッジライン曲率の信頼度を規定することにより、運転者の眼の開閉を極めて精度よく判定することができる。
【0320】
なお、上述の実施形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【図1】本発明の第1実施形態に係る開閉眼判定装置の構成を示すブロック図である。
【図2】本発明の第1実施形態に係る開閉眼判定装置を自動車に対して適用した場合の概要構成を示す図である。
【図3】本発明の第1実施形態に係る開閉眼判定装置における処理全体を示すフローチャートである。
【図4】図3に示す眼の検出処理における一連の処理を示すフローチャートである。
【図5】図4に示す眼の候補の位置の特定処理における一連の処理を示すフローチャートである。
【図6】選択した顔の特徴量を連続データとして表した様子を示す図である。
【図7】眼の存在領域の大きさを説明するための図である。
【図8】眼の横方向の長さの統計を示す図であって、眼の大きさを統計的に求める方法を説明するための図である。
【図9】眼の縦方向の長さの統計を示す図であって、眼の大きさを統計的に求める方法を説明するための図である。
【図10】眼の存在領域の位置を決定する様子を説明するための図である。
【図11】図4に示す眼判定処理における一連の処理を示すフローチャートである。
【図12】全体画像から抽出された微小画像の様子を説明するための図である。
【図13】各算出領域での二値化閾値の算出方法の一例について説明するための図である。
【図14】眼テンプレートの幾何形状と候補オブジェクトの幾何形状との比較方法の一例を説明するための図である。
(a) 光環境が良好で安定している場合において眼を二値化した形状を示す図である。
(b) 光環境が悪化している場合において眼を二値化した形状を示す図であって、眼の左側一部領域が欠損している様子を説明するための図である。
(c) 光環境が悪化している場合において眼を二値化した形状を示す図であって、眼の右側一部領域が欠損している様子を説明するための図である。
【図15】図3に示す上瞼エッジライン検出処理の内容を説明するための図であって、眼判定処理によって特定された眼の位置を中心とした微小画像を示す図である。
【図16】図3に示す上瞼エッジライン検出処理の内容を説明するための図であって、図15に示す微小画像について二値化して得られた二値画像を示す図である。
【図17】図3に示す上瞼エッジライン検出処理の内容を説明するための図であって、図16に示す二値画像から濃度値0の黒画素を検索する様子を説明するための図である。
【図18】図3に示す上瞼エッジライン検出処理の内容を説明するための図であって、図17に示す検索の結果得られた眼の外周輪郭を示す図である。
【図19】図3に示す上瞼エッジライン検出処理の内容を説明するための図であって、図18に示す眼の外周輪郭から検出した上瞼エッジラインの始点位置、終点位置、及び頂点位置を示す図である。
【図20】図3に示す曲線近似処理における一連の処理を示すフローチャートである。
【図21】図20に示す曲線近似処理を行った結果求められた近似曲線を微小画像内の眼の画像にプロットした例を示す図である。
【図22】図3に示す頂点位置による信頼度規定処理の内容を説明するための図であって、近似曲線の頂点位置と、上瞼エッジラインの始点位置、終点位置、及び頂点位置とを示す図である。
【図23】図3に示す開閉眼閾値算出処理の第1の方法の内容を説明するための図であって、上瞼エッジライン曲率、平均曲率、及び開閉眼閾値の時系列変化を示す図である。
【図24】図3に示す開閉眼閾値算出処理の第2の方法の内容を説明するための図であって、上瞼エッジライン曲率、開眼時の平均曲率、閉眼時の平均曲率、及び開閉眼閾値の時系列変化を示す図である。
【図25】図3に示す開閉眼判定処理における一連の処理を示すフローチャートである。
【図26】本発明の第2実施形態に係る開閉眼判定装置によって行う頂点位置による信頼度規定処理の内容を説明するための図であって、上瞼エッジラインと近似曲線とを微小画像内の眼の画像にプロットした場合における等信頼度線を示す図である。
【図27】本発明の第2実施形態に係る開閉眼判定装置によって行う開閉眼判定処理の第2の方法における一連の処理を示すフローチャートである。
【図28】本発明の第2実施形態に係る開閉眼判定装置によって行う開閉眼判定処理の第2の方法の内容を説明するための図であって、信頼度と曲率の誤差量との関係を示す図である。
【図29】本発明の第2実施形態に係る開閉眼判定装置によって行う開閉眼判定処理の第3の方法における一連の処理を示すフローチャートである。
【図30】本発明の第2実施形態に係る開閉眼判定装置によって行う開閉眼判定処理の第4の方法における一連の処理を示すフローチャートである。
【図31】本発明の第2実施形態に係る開閉眼判定装置によって行う開閉眼判定処理の第4の方法における一連の処理を示すフローチャートであって、図30に示す工程に続く処理を示す図である。
【図32】本発明の第3実施形態に係る開閉眼判定装置によって行う頂点位置による信頼度規定処理の内容を説明するための図であって、上瞼エッジラインと近似曲線とを微小画像内の眼の画像にプロットした場合における近似曲線の頂点位置と、上瞼エッジラインの始点位置、終点位置、及び頂点位置と、等信頼度線とを示す図である
【図33】本発明の第4実施形態に係る開閉眼判定装置の構成を示すブロック図である。
【図34】本発明の第4実施形態に係る開閉眼判定装置における処理全体を示すフローチャートである。
【図35】図34に示す相関による信頼度規定処理の内容を説明するための図であって、信頼度と相関係数との関係を示す図である。
【図36】本発明の第5実施形態に係る開閉眼判定装置の構成を示すブロック図である。
【図37】本発明の第5実施形態に係る開閉眼判定装置における処理全体を示すフローチャートである。
【図38】図37に示す信頼度規定処理における一連の処理を示すフローチャートである。
【図39】本発明の第6実施形態に係る開閉眼判定装置の構成を示すブロック図である。
【図40】本発明の第6実施形態に係る開閉眼判定装置における処理全体を示すフローチャートである。
【図41】図40に示す上瞼エッジラインの長さによる信頼度規定処理の内容を説明するための図であって、信頼度と微小画像の横幅に対する上瞼エッジラインの長さの割合との関係を示す図である。
【図42】図40に示す上瞼エッジラインの長さによる信頼度規定処理の内容を説明するための図である。
(a) 上瞼エッジラインが眼全体で検出された場合における上瞼エッジラインの長さを説明するための図である。
(b) 微小画像の横幅に対する上瞼エッジラインの長さの割合が“0.5”よりも下回った場合における上瞼エッジラインの長さを説明するための図であって、実際の眼の頂点付近に上瞼エッジラインが検出された様子を示す図である。(c) 微小画像の横幅に対する上瞼エッジラインの長さの割合が“0.5”よりも下回った場合における上瞼エッジラインの長さを説明するための図であって、実際の眼の左側端部付近に上瞼エッジラインが検出された様子を示す図である。
(d) 微小画像の横幅に対する上瞼エッジラインの長さの割合が“0.5”よりも下回った場合における上瞼エッジラインの長さを説明するための図であって、実際の眼の右側端部付近に上瞼エッジラインが検出された様子を示す図である。
【図43】本発明の第7実施形態に係る開閉眼判定装置によって行う信頼度規定処理における一連の処理を示すフローチャートである。
【図44】本発明の第8実施形態に係る開閉眼判定装置によって行う信頼度規定処理における一連の処理を示すフローチャートである。
【図45】本発明の第9実施形態に係る開閉眼判定装置によって行う信頼度規定処理における一連の処理を示すフローチャートである。
【符号の説明】
1 カメラ装置
2 マイクロコンピュータ
10,20,30,40,50,60,70,80,90 開閉眼判定装置
11 顔画像撮像部
12 眼検出部
13 上瞼エッジライン検出部
14 曲線近似部
15 曲率算出部
16,46,56,66 曲率信頼度規定部
17 開閉眼判定部
Claims (19)
- 対象者の眼の開閉を判定する開閉眼判定装置であって、
前記対象者の顔を撮像する顔画像撮像手段と、
前記顔画像撮像手段によって撮像された顔画像から前記対象者の眼を検出する眼検出手段と、
前記眼検出手段によって検出された眼から上瞼エッジラインを検出する上瞼エッジライン検出手段と、
前記上瞼エッジライン検出手段によって検出された上瞼エッジラインを二次以上の多次曲線に近似する曲線近似手段と、
前記曲線近似手段によって近似された多次曲線の曲率を算出し、算出した曲率を前記上瞼エッジラインの曲率とする曲率算出手段と、
前記曲率算出手段によって算出された上瞼エッジラインの曲率の信頼度として、前記曲線近似手段によって近似された曲線の頂点位置が適切な範囲にプロットされているか否かを判定する曲率信頼度規定手段と、
前記曲率信頼度規定手段によって規定された上瞼エッジラインの曲率の信頼度を加味した上で、前記曲率算出手段によって算出された上瞼エッジラインの曲率の大小に基づいて、眼の開閉を判定する開閉眼判定手段とを備えることを特徴とする開閉眼判定装置。 - 前記曲率信頼度規定手段は、前記曲線近似手段によって近似された多次曲線の頂点位置と前記上瞼エッジライン検出手段によって検出された上瞼エッジラインの頂点位置との乖離度合いに基づいて、前記曲率算出手段によって算出された上瞼エッジラインの曲率の信頼度を規定することを特徴とする請求項1に記載の開閉眼判定装置。
- 前記曲率信頼度規定手段は、前記曲線近似手段によって近似された多次曲線の頂点位置と前記上瞼エッジライン検出手段によって検出された上瞼エッジラインの頂点位置とが一致する場合には、前記上瞼エッジラインの曲率の信頼度を最も高く規定し、それぞれの頂点位置が乖離するのにしたがって、前記上瞼エッジラインの曲率の信頼度が低くなるように規定することを特徴とする請求項2に記載の開閉眼判定装置。
- 前記曲率信頼度規定手段は、前記曲線近似手段によって近似された多次曲線の頂点位置が、前記上瞼エッジライン検出手段によって検出された上瞼エッジラインの始点の横座標位置と終点の横座標位置とに挟まれた領域の外側に存在する場合には、上瞼エッジラインの曲率の信頼度を0とすることを特徴とする請求項1に記載の開閉眼判定装置。
- 前記曲率信頼度規定手段は、前記曲線近似手段によって近似された多次曲線の頂点位置が、前記上瞼エッジライン検出手段によって検出された上瞼エッジラインの始点と終点とを結ぶ線分よりも下側にある場合には、上瞼エッジラインの曲率の信頼度を0とすることを特徴とする請求項1に記載の開閉眼判定装置。
- 対象者の眼の開閉を判定する開閉眼判定装置であって、
前記対象者の顔を撮像する顔画像撮像手段と、
前記顔画像撮像手段によって撮像された顔画像から前記対象者の眼を検出する眼検出手段と、
前記眼検出手段によって検出された眼から上瞼エッジラインを検出する上瞼エッジライン検出手段と、
前記上瞼エッジライン検出手段によって検出された上瞼エッジラインを二次以上の多次曲線に近似する曲線近似手段と、
前記曲線近似手段によって近似された多次曲線の曲率を算出し、算出した曲率を前記上瞼エッジラインの曲率とする曲率算出手段と、
前記曲率算出手段によって算出された上瞼エッジラインの曲率の信頼度を規定する曲率信頼度規定手段と、
前記曲率信頼度規定手段によって規定された上瞼エッジラインの曲率の信頼度を加味した上で、前記曲率算出手段によって算出された上瞼エッジラインの曲率の大小に基づいて、眼の開閉を判定する開閉眼判定手段とを備え、
前記曲率信頼度規定手段は、前記上瞼エッジライン検出手段によって検出された上瞼エッジラインと前記曲線近似手段によって近似された多次曲線との相関に基づいて、前記曲率算出手段によって算出された上瞼エッジラインの曲率の信頼度を規定することを特徴とする開閉眼判定装置。 - 前記曲率信頼度規定手段は、前記上瞼エッジライン検出手段によって検出された上瞼エッジラインと前記曲線近似手段によって近似された多次曲線との相関が大きい場合には、前記上瞼エッジラインの曲率の信頼度を高く規定し、相関が小さい場合には、前記上瞼エッジラインの曲率の信頼度を低く規定することを特徴とする請求項6に記載の開閉眼判定装置。
- 対象者の眼の開閉を判定する開閉眼判定装置であって、
前記対象者の顔を撮像する顔画像撮像手段と、
前記顔画像撮像手段によって撮像された顔画像から前記対象者の眼を検出する眼検出手段と、
前記眼検出手段によって検出された眼から上瞼エッジラインを検出する上瞼エッジライン検出手段と、
前記上瞼エッジライン検出手段によって検出された上瞼エッジラインを二次以上の多次曲線に近似する曲線近似手段と、
前記曲線近似手段によって近似された多次曲線の曲率を算出し、算出した曲率を前記上瞼エッジラインの曲率とする曲率算出手段と、
前記曲率算出手段によって算出された上瞼エッジラインの曲率の信頼度を規定する曲率信頼度規定手段と、
前記曲率信頼度規定手段によって規定された上瞼エッジラインの曲率の信頼度を加味した上で、前記曲率算出手段によって算出された上瞼エッジラインの曲率の大小に基づいて、眼の開閉を判定する開閉眼判定手段とを備え、
前記曲率信頼度規定手段は、前記曲線近似手段によって近似された多次曲線の頂点位置と前記上瞼エッジライン検出手段によって検出された上瞼エッジラインの始点位置、終点位置、又は頂点位置の少なくとも1つとの位置関係と、前記上瞼エッジライン検出手段によって検出された上瞼エッジラインと前記曲線近似手段によって近似された多次曲線との相関と、上瞼エッジライン検出手段によって検出された上瞼エッジラインの長さとのうち、少なくとも2つに基づいて、前記曲率検出手段によって算出された上瞼エッジラインの曲率の信頼度を規定することを特徴とする開閉眼判定装置。 - 対象者の眼の開閉を判定する開閉眼判定装置であって、
前記対象者の顔を撮像する顔画像撮像手段と、
前記顔画像撮像手段によって撮像された顔画像から前記対象者の眼を検出する眼検出手段と、
前記眼検出手段によって検出された眼から上瞼エッジラインを検出する上瞼エッジライン検出手段と、
前記上瞼エッジライン検出手段によって検出された上瞼エッジラインを二次以上の多次曲線に近似する曲線近似手段と、
前記曲線近似手段によって近似された多次曲線の曲率を算出し、算出した曲率を前記上瞼エッジラインの曲率とする曲率算出手段と、
前記曲率算出手段によって算出された上瞼エッジラインの曲率の信頼度を規定する曲率信頼度規定手段と、
前記曲率信頼度規定手段によって規定された上瞼エッジラインの曲率の信頼度を加味した上で、前記曲率算出手段によって算出された上瞼エッジラインの曲率の大小に基づいて、眼の開閉を判定する開閉眼判定手段とを備え、
前記曲率信頼度規定手段は、上瞼エッジライン検出手段によって検出された上瞼エッジラインの長さに基づいて、前記曲率検出手段によって算出された上瞼エッジラインの曲率の信頼度を規定することを特徴とする開閉眼判定装置。 - 前記曲線近似手段は、前記上瞼エッジライン検出手段によって検出された上瞼エッジラインの座標点群に基づいて、最小二乗法を用いて二次以上の多次曲線に上瞼エッジラインを近似することを特徴とする請求項1乃至請求項9の何れか一項に記載の開閉眼判定装置。
- 前記曲線近似手段によって近似される二次以上の多次曲線は、当該多次曲線の頂点部分が原点となるように変換された座標系においては、偶数次項のみで構成される式で表されることを特徴とする請求項10に記載の開閉眼判定装置。
- 前記曲率算出手段は、前記曲線近似手段によって近似される二次以上の多次曲線の偶数次項の係数によって算出される当該多次曲線の曲率を前記上瞼エッジラインの曲率とすることを特徴とする請求項10に記載の開閉眼判定装置。
- 前記開閉眼判定手段は、一定時間サンプリングした前記上瞼エッジラインの曲率の代表値を算出し、前記代表値から一定値差し引いた値を開閉眼閾値とし、前記上瞼エッジラインの曲率が前記開閉眼閾値よりも上回った場合には、開眼と判定し、前記上瞼エッジラインの曲率が前記開閉眼閾値よりも下回った場合には、閉眼と判定することを特徴とする請求項1乃至請求項9の何れか一項に記載の開閉眼判定装置。
- 前記開閉眼判定手段は、一定時間サンプリングした前記上瞼エッジラインの曲率を時系列に並べたときの当該上瞼エッジラインの曲率の変動波形から前記上瞼エッジラインの曲率が小さくなるピーク点を検出してサンプリングし、このサンプリングしたピーク点の代表値である第1の代表値を算出するとともに、一定時間サンプリングした前記上瞼エッジラインの曲率の全データ又は一定時間サンプリングした前記上瞼エッジラインの曲率が小さくなるピーク点になる波の部分を除いたデータの代表値である第2の代表値を算出し、算出された前記第1の代表値及び前記第2の代表値の間の値を開閉眼閾値とし、前記上瞼エッジラインの曲率が前記開閉眼閾値よりも上回った場合には、開眼と判定し、前記上瞼エッジラインの曲率が前記開閉眼閾値よりも下回った場合には、閉眼と判定することを特徴とする請求項1乃至請求項9の何れか一項に記載の開閉眼判定装置。
- 前記開閉眼判定手段は、所定の信頼度閾値を設定し、前記曲率信頼度規定手段によって規定された信頼度が前記信頼度閾値を下回った場合には、開閉眼の判定を行わないことを特徴とする請求項1乃至請求項9の何れか一項に記載の開閉眼判定装置。
- 対象者の眼の開閉を判定する開閉眼判定装置であって、
前記対象者の顔を撮像する顔画像撮像手段と、
前記顔画像撮像手段によって撮像された顔画像から前記対象者の眼を検出する眼検出手段と、
前記眼検出手段によって検出された眼から上瞼エッジラインを検出する上瞼エッジライン検出手段と、
前記上瞼エッジライン検出手段によって検出された上瞼エッジラインを二次以上の多次曲線に近似する曲線近似手段と、
前記曲線近似手段によって近似された多次曲線の曲率を算出し、算出した曲率を前記上瞼エッジラインの曲率とする曲率算出手段と、
前記曲率算出手段によって算出された上瞼エッジラインの曲率の信頼度を規定する曲率信頼度規定手段と、
前記曲率信頼度規定手段によって規定された上瞼エッジラインの曲率の信頼度を加味した上で、前記曲率算出手段によって算出された上瞼エッジラインの曲率の大小に基づいて、眼の開閉を判定する開閉眼判定手段とを備え、
前記開閉眼判定手段は、前記曲率信頼度規定手段によって規定された信頼度から曲率の誤差を算出し、前記曲率算出手段によって算出された前記上瞼エッジラインの曲率の誤差範囲を考慮して開閉眼の判定を行うことを特徴とする開閉眼判定装置。 - 前記開閉眼判定手段は、前記上瞼エッジラインの曲率の誤差範囲の最小値が所定の開閉眼閾値よりも上回った場合には、開眼と判定し、前記上瞼エッジラインの曲率の誤差範囲の最大値が前記開閉眼閾値よりも下回った場合には、閉眼と判定することを特徴とする請求項16に記載の開閉眼判定装置。
- 前記開閉眼判定手段は、開眼と判定した場合には、前記上瞼エッジラインの曲率の誤差範囲から開眼であることの確率を算出し、閉眼と判定した場合には、前記上瞼エッジラインの曲率の誤差範囲から閉眼であることの確率を算出することを特徴とする請求項17に記載の開閉眼判定装置。
- 前記開閉眼判定手段は、前記上瞼エッジラインの曲率の誤差範囲に前記開閉眼閾値が存在する場合であって前記上瞼エッジラインの曲率が前記開閉眼閾値よりも上回った場合には、開眼と判定し、前記上瞼エッジラインの曲率の誤差範囲に前記開閉眼閾値が存在する場合であって前記上瞼エッジラインの曲率が前記開閉眼閾値よりも下回った場合には、閉眼と判定し、さらに、開眼と判定した場合には、前記上瞼エッジラインの曲率の誤差範囲から開眼であることの確率を算出し、閉眼と判定した場合には、前記上瞼エッジラインの曲率の誤差範囲から閉眼であることの確率を算出することを特徴とする請求項17に記載の開閉眼判定装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003003265A JP4107087B2 (ja) | 2003-01-09 | 2003-01-09 | 開閉眼判定装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003003265A JP4107087B2 (ja) | 2003-01-09 | 2003-01-09 | 開閉眼判定装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004220080A JP2004220080A (ja) | 2004-08-05 |
JP4107087B2 true JP4107087B2 (ja) | 2008-06-25 |
Family
ID=32894582
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003003265A Expired - Fee Related JP4107087B2 (ja) | 2003-01-09 | 2003-01-09 | 開閉眼判定装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4107087B2 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4529635B2 (ja) * | 2004-10-22 | 2010-08-25 | 日産自動車株式会社 | 開閉眼判定装置 |
US7253739B2 (en) | 2005-03-10 | 2007-08-07 | Delphi Technologies, Inc. | System and method for determining eye closure state |
US7746235B2 (en) | 2005-03-10 | 2010-06-29 | Delphi Technologies, Inc. | System and method of detecting eye closure based on line angles |
US7253738B2 (en) * | 2005-03-10 | 2007-08-07 | Delphi Technologies, Inc. | System and method of detecting eye closure based on edge lines |
JP4756503B2 (ja) * | 2006-05-23 | 2011-08-24 | 株式会社国際電気通信基礎技術研究所 | 瞬き検出装置及びコンピュータプログラム |
JP4137969B2 (ja) | 2006-12-04 | 2008-08-20 | アイシン精機株式会社 | 眼部検出装置、眼部検出方法及びプログラム |
JP4895847B2 (ja) | 2007-02-08 | 2012-03-14 | アイシン精機株式会社 | 瞼検出装置及びプログラム |
JP4309927B2 (ja) * | 2007-03-14 | 2009-08-05 | 株式会社豊田中央研究所 | まぶた検出装置及びプログラム |
JP2010033305A (ja) * | 2008-07-29 | 2010-02-12 | Hitachi Ltd | 画像情報処理方法、及び装置 |
JP5365374B2 (ja) * | 2009-06-30 | 2013-12-11 | 日産自動車株式会社 | 欠伸判定装置及び方法 |
KR101032726B1 (ko) * | 2009-09-01 | 2011-05-06 | 엘지이노텍 주식회사 | 눈 상태 검출방법 |
TWI498857B (zh) * | 2012-09-14 | 2015-09-01 | Utechzone Co Ltd | 瞌睡提醒裝置 |
JP6698966B2 (ja) * | 2018-02-13 | 2020-05-27 | 三菱電機株式会社 | 誤検出判定装置及び誤検出判定方法 |
-
2003
- 2003-01-09 JP JP2003003265A patent/JP4107087B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004220080A (ja) | 2004-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1589485B1 (en) | Object tracking and eye state identification method | |
CN104200192B (zh) | 驾驶员注视检测系统 | |
CN101523411B (zh) | 眼开度检测系统及眼开度检测方法 | |
EP1725975B1 (en) | Method, apparatus and program for detecting an object | |
JP4107087B2 (ja) | 開閉眼判定装置 | |
US8345922B2 (en) | Apparatus for detecting a pupil, program for the same, and method for detecting a pupil | |
JP4912206B2 (ja) | 画像処理方法、画像処理装置、画像処理システム及びコンピュータプログラム | |
US20080226139A1 (en) | Eyelid detection apparatus, eyelid detection method and program therefor | |
US20090244274A1 (en) | Eyelid opening level determination device and computer readable medium storing computer program thereof | |
JP2007257043A (ja) | 乗員状態推定装置および乗員状態推定方法 | |
JPH0944684A (ja) | 顔画像処理装置 | |
JPH0944685A (ja) | 顔画像処理装置 | |
EP1703480B1 (en) | System and method to determine awareness | |
JP2008192100A (ja) | 瞼検出装置及びプログラム | |
JP4989249B2 (ja) | 目検知装置、居眠り検知装置及び目検知装置の方法 | |
JPH07181012A (ja) | 画像データの特徴量検出装置 | |
US8971592B2 (en) | Method for determining eye location on a frontal face digital image to validate the frontal face and determine points of reference | |
CN115346197A (zh) | 一种基于双向视频流的驾驶员分心行为识别方法 | |
JP4082203B2 (ja) | 開閉眼判定装置 | |
JP2001307076A (ja) | 眼の状態検出装置、居眠り検出装置 | |
JP2004192552A (ja) | 開閉眼判定装置 | |
WO2017159215A1 (ja) | 情報処理装置及び情報処理方法 | |
JPH1044824A (ja) | 車両運転者の開閉眼判定装置 | |
CN111696312B (zh) | 乘员观察装置 | |
JP4781292B2 (ja) | 閉眼検知装置、居眠り検知装置、閉眼検知方法及び閉眼検知のためのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051124 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080115 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080214 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080311 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080324 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110411 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120411 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130411 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130411 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140411 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |