JP4781292B2 - 閉眼検知装置、居眠り検知装置、閉眼検知方法及び閉眼検知のためのプログラム - Google Patents

Description

本発明は、顔画像から眼の開閉を検出する閉眼検知装置、居眠り検知装置、閉眼検知方法及び閉眼検知のためのプログラムに関し、特に、眼球以外の特徴部から眼球位置を推定し眼の開閉を検出する閉眼検知装置、居眠り検知装置、閉眼検知方法及び閉眼検知のためのプログラムに関する。

走行中の運転者の顔を撮影し撮影された画像データを処理して、運転者の居眠りを検出した場合、運転者に警告することで覚醒状態への復帰を促す居眠り検知技術が提案されている（例えば、特許文献１参照。）。特許文献１では、運転者の顔の特徴として鼻孔を検出し、検出された鼻孔から眼の位置を推定しそこに設定された眼球追跡領域において眼の開閉を検出する。そして、例えば、閉眼時間が所定時間以上継続する場合には運転者の覚醒度が低いと判定して警報音などにより運転者に注意を促す。
特開平１０−８６６９６号公報

このように、鼻孔はメガネや髪の毛などに覆われることが少なく、また、眉毛とも離れているので比較的検出が容易であって、さらに、口と異なり開閉しないため鼻孔位置を基準に眼球追跡領域を決定することは有効といえる。

しかしながら、運転者が横を向いた場合や、正面を向いていても顔に横方向から直射日光が照射され鼻孔に陰が生じた場合、鼻の形状の個人差等により、鼻孔を検出できない場合がある。

本発明は、上記課題に鑑み、鼻孔位置から眼の位置を推定する閉眼検知装置において、鼻孔が検出できない場合でも眼の位置を検知可能な閉眼検知装置、居眠り検知装置、閉眼検知方法及び閉眼検知のためのプログラムを提供することを目的とする。

上記課題を解決するため、本発明は、顔画像から抽出された特徴点から鼻孔位置を確定する鼻孔位置確定手段と、眼球追跡領域を設定し、前記眼球追跡領域の上瞼と下瞼の位置から検出された眼の開度が閾値以上の場合に開眼を閾値未満の場合に閉眼をそれぞれ検出する開閉検出手段とを、有する閉眼検知装置において、
鼻孔が検出されない場合、口位置を確定する口位置確定手段を有し、前記開閉検出手段は、前記口位置を基準に設定した前記眼球追跡領域から開眼又は閉眼を検出し、鼻孔が検出された場合、前記開閉検出手段は、前記鼻孔位置を基準に設定した前記眼球追跡領域から開眼又は閉眼を検出する、ことを特徴とする。

本発明によれば、鼻孔よりは検出精度は低下するが眼よりも検出しやすい口を検出することで、鼻孔の検出が困難な場合、よりスムーズに眼の検出を可能にすることができる。

また、本発明は、顔画像から抽出された特徴点から鼻孔位置を確定する鼻孔位置確定手段と、眼球追跡領域を設定し、前記眼球追跡領域の上瞼と下瞼の位置から検出された眼の開度が閾値以上の場合に開眼を閾値未満の場合に閉眼をそれぞれ検出する開閉検出手段とを、有する閉眼検知装置において、鼻孔が検出されない場合、口位置を確定する口位置確定手段を、有し、前記鼻孔位置確定手段は、前記口位置確定手段が確定した前記口位置を基準に前記鼻孔位置を確定し、前記開閉検出手段は、前記口位置を基準に確定された前記鼻孔位置を基準に前記眼球追跡領域を設定して、該眼球追跡領域から開眼又は閉眼を検出し、鼻孔が検出された場合、前記開閉検出手段は、前記鼻孔位置を基準に設定した前記眼球追跡領域から開眼又は閉眼を検出する、ことを特徴とする。

本発明によれば、口よりも鼻の方が顔の中心線を決定しやすいため、口から直接眼を検出するよりも口からまず鼻孔を検出することで検出精度を向上させることができる場合がある。

また、本発明の一形態において、上記の閉眼検知装置と、前記開閉検出手段が検出した閉眼に基づき連続した閉眼時間を計測する閉眼時間計測手段と、前記閉眼時間が所定時間以上の場合に、運転者に警告する警告手段と、を有することを特徴とする。

本発明によれば、閉眼時間が所定時間以上継続した場合には運転者に警告するので、居眠りした場合には運転者を覚醒させることができる。

鼻孔位置から眼の位置を推定する閉眼検知装置において、鼻孔が検出できない場合でも眼の位置を検知可能な閉眼検知装置、居眠り検知装置、閉眼検知方法及び閉眼検知のためのプログラムを提供することができる。

以下、本発明を実施するための最良の形態について、図面を参照しながら実施例を挙げて説明する。本実施形態の閉眼検知装置１０は、顔画像から鼻孔位置を確定し鼻孔位置を基準に決定された眼球追跡領域の眼の開閉を検出するが、運転者の顔向き等により鼻孔位置が確定できなかった場合、口位置を検出して口位置を基準に眼球追跡領域を決定するか、又は、口位置を基準に再度鼻孔を検出しその鼻孔位置を基準に眼の開閉を検出する。したがって、鼻孔位置が検出されない場合でも口位置を検出することで、眼の開閉を検出することができる。

図１は、本実施形態の閉眼検知装置１０を含む居眠り検知装置１のシステム構成図を示す。閉眼検知装置１０は、顔カメラ１１及び顔画像処理ＥＣＵ（Electronic Control Unit）１２から構成され、閉眼検知装置１０がさらにＣＡＮ（Controller Area Network）など車内ＬＡＮを介して衝突判断ＥＣＵ１３、コンビネーションメータ１４，ブレーキＥＣＵ１５及びミリ波レーダ装置１６と接続されて居眠り検知装置１が構成されている。

顔カメラ１１は、運転者の顔を正面やや下方から臨む位置、例えば、コンビネーションパネル内やステアリングコラム上に配置される。顔カメラ１１は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）の光電変換素子を有し、入射した光をその強度に応じて光電変換して、所定の輝度階調（例えば、２５６階調）のデジタル画像（顔画像）を出力する。

顔画像処理ＥＣＵ１２は、顔カメラ１１により撮影された顔画像を画像処理して運転者の顔が正面方向に対し左右のどのくらい角度を向いているか示す顔向き度、及び、どのくらい眼が開いているかを示す眼の開度（上瞼と下瞼の距離）を、衝突判断ＥＣＵ１３に送出する。

衝突判断ＥＣＵ１３は、顔向き度とその継続時間から脇見運転を検知し、また、眼の開度とその継続時間から居眠り運転を検知し、コンビネーションメータ１４から警報音を吹鳴しまた警告ランプを点灯する。また、衝突判断ＥＣＵ１３は、ミリ波レーダ装置１６が検出した障害物までの距離及び相対速度に基づき、障害物の衝突の可能性を判定し、衝突の可能性が高い場合は警報音を吹鳴し、衝突が不可避となるとブレーキＥＣＵ１５に車両の強制的な制動を要求する。また、衝突判断ＥＣＵ１３は、運転者の顔向き度が所定以上の場合や所定時間以上の閉眼が継続して検出されている場合には、警報の吹鳴や車両の制動を早期に実行する。

顔画像処理ＥＣＵ１２及び衝突判断ＥＣＵ１３は、プログラムを実行するＣＰＵ、プログラム実行の作業領域となりまた一時的にデータを記憶するＲＡＭ、イグニションオフしてもデータを保持するＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）、データのインターフェイスとなる入出力インターフェイス、他のＥＣＵと通信する通信コントローラ、及び、プログラムを記憶するＲＯＭ等がバスにより接続されたマイコンにより構成される。

ＣＰＵがプログラム（特許請求の範囲における閉眼検知のためのプログラム）１７を実行することで、正面方向を基準にした顔向き度を検知する顔向き検知手段１２ａ、鼻孔位置を確定する鼻孔位置確定手段１２ｂ、口位置を確定する口位置確定手段１２ｃ、眼球追跡領域の眼を探索し開閉を検出する開閉検出手段１２ｄ、が実現される。また、衝突判断ＥＣＵ１３のＣＰＵがプログラムを実行することで、継続した閉眼時間を計測する閉眼時間計測手段１３ａが実現される。

〔眼の開閉の検出〕
始めに、鼻孔が検出された場合の眼の開閉の検出について説明する。顔向き度と眼の開閉は次のような周知の方法で検出することができる。

図２（ａ）は顔画像の一例を示す図である。閉眼検知装置１０は、順次入力される顔画像から、顔の輪郭、中央線、鼻孔位置、眼の位置を順に特定し、眼の位置を含む所定の眼球追跡領域を設定する。いったん眼球追跡領域が設定された後は、その中の眼の開閉の検出を繰り返し、眼の開閉が検出されない状態が継続すると改めて顔の輪郭から検出をやり直す。

まず、顔向き検知手段１２ａは、顔画像から顔のおよその位置として顔の輪郭を検出する。例えば、顔向き検知手段１２ａは、順次入力される顔画像の間で画素値（輝度）が所定以上に異なる画素の画素値の差をその位置情報と共に記憶しておき、所定数の顔画像について同じ位置の画素値の差をカウントし、カウントした値の縦方向のヒストグラムを作りその積分値のピークを横方向の顔の輪郭位置とする。顔画像には背景なども写っているが、背景は静止しているため、画素値の変化する領域の左右の端部から横方向の顔の輪郭を検出することができる。

顔の上下方向の輪郭はエッジ情報から検出する。エッジ情報により、顔のパーツ、眉、まぶた、鼻孔、口角、上下の唇の境、など、肌に比べ輝度の変化の大きい画素が検出される。なお、エッジ情報の抽出には例えばＳｏｂｅｌのエッジ検出アルゴリズムを用い、これにより、輝度小から大、輝度大から小の２種類のエッジ情報に囲まれる顔の各パーツの輪郭が得られる。

また、人の顔の眼や鼻などのパーツは左右対称に配置されているので、顔向き検知手段１２ａは左右のエッジ情報の数がほぼ均等になるように顔の中央線を検出する。運転者が横方向を向くと中央線と横方向の輪郭の相対位置が変わるので、中央線を監視することで顔向きを追跡することができる。

そして、得られた顔の中央線から例えば左側に黒画素の連続した領域（エッジ情報で囲まれた領域）を、上側（眉毛側）から走査線ａ〜ｃのように走査して、片方の眉を検出する。眉は左右対称にあると考えてよいので、中央線の反対側に同様の黒画素の連続領域があればその左右の眉位置を顔の上側の輪郭として決定する。また、眉位置よりも下側であって顔の中央線を跨ぎ所定以上に横方向に連続したエッジ情報を検出し、そのエッジ情報の幅、強度等に基づき、当該エッジ情報を上下の唇の境とみなし、顔の下側の輪郭として決定する。このようにして、顔の輪郭位置が得られる。

ついで、鼻孔位置確定手段１２ｂは鼻孔位置を検出する。鼻孔位置は眼球追跡領域を設定するために検出されるが、眼球追跡領域は口位置を基準にしても設定可能である。しかしながら後述するように、瞼の位置を検出する場合まばたきによる上瞼の位置の変化を利用するが、口もまた会話や呼吸等により開閉するため瞼と区別がつきにくい。また、口位置は横方向のエッジとなるが、顔画像には眉や眼、鼻下部など横方向に連続したエッジ情報を有する部分が多い。

これに対し、鼻孔は中央線に線対称に２個存在するものであるため、検出された場合の確度は口位置より高いと考えられる。また、口位置は横方向に長いエッジであるためどこが横方向の中央か判断が困難になるが、鼻孔位置は２個の鼻孔の中点を横方向の中央としてよいので、眼球追跡領域を適切な場所に設定しやすい。

鼻孔位置確定手段１２ｂは、顔の中心線を通るやや縦長の鼻孔検出領域を唇よりも上方に設定する。鼻孔検出領域を縦長とするのは、ほくろや光の影響を排除し易くし、また、パターンマッチングにより鼻孔を検出する上で画像処理の負担を軽減するためである。鼻孔位置確定手段１２ｂは、形状や大きさ、輝度など鼻孔の特徴を備える特徴点を抽出することで鼻孔を検出する。例えば２値化処理などにより鼻孔検出領域の明暗をはっきりさせ、左右いずれかの鼻孔の標準パターンによるパターンマッチング、又は、所定以上の面積の黒画素の塊が検出されるか否か、等により、左右いずれかの鼻孔を検出する。そして、一方の鼻孔が検出されると、中央線を挟んで略線対称な鼻孔を検出し、鼻孔が水平に２個検出された場合に鼻孔位置を決定する。

鼻孔位置が確定できた場合、開閉検出手段１２ｄは鼻孔と眼の位置の関係の統計データを利用して、鼻孔位置に対する所定の領域を眼球追跡領域として設定する。図２（ｃ）は眼球追跡領域を説明するための図を示す。顔が水平状態であれば鼻孔が水平に２個並ぶので、その中点に対し眼球の位置は、距離ｒ・方向θにより指定される。統計データから眼球が所定以上の割合で存在する距離ｒの範囲・方向θの範囲は明らかなので、開閉検出手段１２ｄはこれをカバーするような矩形領域を眼球追跡領域として設定する。

開閉検出手段１２ｄは、眼球追跡領域の上瞼と下瞼を監視することで眼の開閉を検出する。開閉検出手段１２ｄは、眼球追跡領域からエッジ情報を取得して、眼球追跡領域の左上頂点の画素列から、上から下向きに向かって輝度大から小（肌色から瞼）のエッジを検索し、エッジが検索できたら１つ右の画素列について同様の検索を行っていく。したがって、この検索が右端まで終われば、上瞼の画素位置が得られる。同様にして開閉検出手段１２ｄは下瞼の画素位置を取得する。

また、開閉検出手段１２ｄは、このようにして検出された上瞼の位置が、所定数以内の顔画像において大きく変わるか否かにより上瞼を検出しているか否かを決定する。これは、運転者は所定時間内にまばたきすることから上瞼の位置は他の眼の部分(例えば下瞼や、眉毛やメガネのフレーム)に比べてより大きく動くことが分かっているため、上瞼の位置が大きく動く場合は上瞼の位置を正確に検出していると考えられるからである。

ついで、開閉検出手段１２ｄは、上瞼と下瞼の画素位置の差（上下の距離）を左から順に算出し、最大となる画素数を眼の開度とする。運転者が目を閉じている場合も上下の瞼の位置から同様な処理過程により眼の開度が検出される。

開閉検出手段１２ｄはサイクル時間毎に撮影される顔画像から眼の開度を検出し、順次衝突判断ＥＣＵ１３に送出する。そして、衝突判断ＥＣＵ１３の閉眼時間計測手段１３ａは、眼の開閉を判定するための閾値と眼の開度を比較して、閾値以上であれば開状態、閾値より小さければ閉状態と判定し、閉眼が連続した場合は閉眼時間を継続して計測する。

眼球追跡領域は鼻孔位置から設定した方が好ましいが、運転者が所定以上に横を向いた場合や、正面を向いていても光の影響により鼻孔に陰影が生じた場合、鼻の形状の個人差等により、鼻孔を検出できない場合がある。そこで、本実施例では、鼻孔位置が確定できない場合、口位置を検出し口位置を基準に統計データを利用して眼球追跡領域を設定する閉眼検知装置１０について説明する。

図３は、中央線等を検出した画像処理後の顔画像の一例を示す。図３の顔画像は、２値化後にエッジ情報を抽出して顔の輪郭を検出したものであり、輪郭以外の領域（斜線部）は閉眼の検知に不要なので黒画素でマスクされている。

図３では、眉３１、瞼３２及び口３３の顔のパーツの輪郭が検出されているが、本来であれば検出されるはずの鼻孔３４（点線で示す）の輪郭が検出されていない。このように鼻孔位置確定手段１２ｂが鼻孔位置を確定できない場合、口位置確定手段１２ｃが口３３の位置を確定する。

図４（ａ）は口位置の確定を説明するための図を示す。顔向き検知手段１２ａにより輪郭及び中央線が検出されているので、口位置確定手段１２ｃは下側の輪郭の近くに横長の口位置検出領域を設定する。口位置は、上唇、下唇、その境などに生じる輝度変化から検出可能であるので、口位置確定手段１２ｃは口位置検出領域の輝度値を上下方向に微分してエッジ情報を取得する。そして、口位置検出領域の左上頂点の画素列から、上から下向きに向かってエッジを検索し、検出したエッジ情報及びその強度を画素毎に記憶していく。これを右端の画素列まで行うと、上唇、下唇、その境などの輝度変化により生じる横方向に連続したエッジ、幅及びその強度が取得される。

図４（ａ）では上唇エッジ３５、唇境エッジ３６，下唇エッジ３７，及び、唇の下の影により生じる影エッジ３８が検出されている。口位置確定手段１２ｃは、口位置検出領域の複数のエッジから好ましくは最も長く幅及び強度の大きいエッジ（唇境エッジ３６）を検出し、そのようなエッジがない場合は所定の優先順位（例えば最も長いエッジ）で唇境エッジ３６を検出する。なお、唇は周りの肌色に対し朱色という色に特徴を有する領域であるので、色情報を利用して口位置を特定してもよい。

口位置確定手段１２ｃは、例えば、中央線と唇境エッジ３６の交点を口位置（横方向における口の中心）と確定する。なお、エッジの横方向の端部は不明確な場合があるので所定長以上の複数のエッジと中央線の交点の平均から口位置を確定してもよい。

口位置を確定したら、閉眼検出手段１２ｄは口位置と眼球の位置の関係の統計データを利用して、眼球追跡領域を設定する。図４（ｂ）は、口位置と眼球の位置の関係の一例を示す図である。口位置に対し眼球の位置は、距離Ｄ・方向ａにより指定され、統計データから眼球が所定以上の割合で存在する距離Ｄの範囲・方向ａの範囲は明らかなので、閉眼検出手段１２ｄはこれをカバーするような矩形領域を眼球追跡領域として設定する。

以降は、鼻孔位置が確定された場合と同様に開閉検出手段１２ｄが眼球追跡領域から眼の開閉を検出することができる。

図５は、鼻孔位置が確定できない場合に閉眼検知装置１０が口位置を利用して眼の開閉を検出するフローチャート図の一例を示す。

顔向き検知手段１２ａは、顔カメラ１１が撮影する顔画像から輪郭及び中央線を検出する（Ｓ１）。

ついで、鼻孔位置確定手段１２ｂが縦に細長の鼻孔検出領域を設定し、鼻孔の特徴を利用して鼻孔が検出できるか否かを判定する（Ｓ２）。この判定は、２個の鼻孔のうち２個又は１個が検出できない場合に鼻孔が検出できないと判定してもよいし、顔向きが所定値以上の場合は鼻孔の検出が困難になることが分かっているので、顔向きが所定値以上の場合に１個又は２個の鼻孔を検出することなく鼻孔が検出できないと判定してもよい。これにより、画像処理の負担が軽減される。

鼻孔が検出された場合（Ｓ２のＹｅｓ）、開閉検出手段１２ｄは鼻孔位置を基準にして眼球追跡領域を設定し（Ｓ３）、眼球追跡領域から瞼を検出して上下の瞼の距離から眼の開度を検出する（Ｓ４）。

鼻孔が検出されない場合（Ｓ２のＮｏ）、口位置確定手段１２ｃは顔の輪郭や中央線を利用して口位置検出領域を設定する（Ｓ５）。口位置確定手段１２ｃは唇境エッジ３６など横長のエッジを利用して口位置を確定し、閉眼検出手段１２ｄが口位置と眼球の位置の関係の統計データを利用して眼球追跡領域を設定する（Ｓ６）。鼻孔が検出された場合と同様に、開閉検出手段１２ｄは眼球追跡領域から瞼を検出して上下の瞼の距離から眼の開度を検出する（Ｓ４）。

本実施例の閉眼検知装置１０では、鼻孔よりも検出精度は低下するが直接、鼻孔が検出困難な場合、眼球を検出するよりは容易な口位置を検出してから眼の開度を検出することで、よりスムーズに眼の開度を検出することができる。

実施例１では口位置を基準に統計データを利用して眼球追跡領域を設定したが、本実施例では口位置を確定した後、口位置を基準に鼻孔検出領域を設定しそこから鼻孔を検出すると共に、確定された鼻孔位置から眼の開度を検出する閉眼検知装置１０について説明する。

口位置と中央線が分かれば鼻孔位置の推定精度も向上するので、鼻孔に相当する特徴点を検出するための閾値を下げることができ、鼻孔を検出しやすくすることができる。

図６は口位置と鼻孔位置の関係の一例を示す図である。統計データを利用して口位置から鼻孔検出領域を設定する点では同様であるが、口位置と鼻孔の上下方向の距離Ｌ１は眼と鼻孔との位置に比べ距離が短くその個人差も小さくなるため、鼻孔検出領域の上下方向の幅Ｗ１は狭くすることができる。また、口位置と鼻孔の横方向の距離Ｌ２はさらに個人差が少なく中央線から所定距離内としてよいが、顔向き度が大きくなると検出された中央線の位置に誤差が含まれる場合があり、また、中央線と左右の鼻孔の相対位置が変化するので、鼻孔検出領域の横方向の幅Ｗ２はＷ１と同程度とする。したがって、口位置が検出された後は縦に細長の鼻孔検出領域を小さくすることができる。

そして、このように鼻孔位置を絞って鼻孔検出領域を設定した後は、ほくろや光の影響により鼻孔を誤検出するおそれが低減するので、鼻孔検出のための閾値を下げることができる。

ここでいう、閾値は、例えば鼻孔検出領域を２値化するための閾値であり、この場合は閾値を下げることで小さい輝度値（暗い）で撮影されるはずの鼻孔による特徴点の検出が容易になる。また、パターンマッチング処理では、鼻孔検出領域内で最も画素値が一致する場合の一致度が所定値以上の場合にそこに鼻孔があると判定するが、その所定値を小さくすることで横向き等のため正常な形で撮影されていない鼻孔の検出が容易になる。また、所定以上の面積の黒画素の塊等を検出する場合、所定数の画素（例えばＮ画素）であれば黒画素が連続していなくても連続していると見なすよう処理するが、黒画素の塊の判定閾値を下げる場合、例えばこれを２×Ｎ画素であれば黒画素が連続していなくても黒画素が連続していると見なすことで、周辺のエッジが弱くなって鼻孔が撮影されている場合に所定以上の面積の黒画素の塊を検出しやすくすることができる。

なお、閾値を下げる場合でも、例えば、元の閾値を１．０とした場合、０．７程度の閾値を下限に設定することで、ほくろや陰影などを誤って誤検出することを防止できる。

このようにして口位置から鼻孔が検出されれば、左右の鼻孔の中点が得られるので口位置よりも顔の中心線を決定し易く、その結果、眼球追跡領域を精度よく設定できるため眼の開度も精度よく検出可能となる。

図７は、閉眼検知装置１０が鼻孔位置が確定できない場合に口位置を利用して鼻孔を検出し、鼻孔位置を基準に眼の開閉を検出するフローチャート図の一例を示す。なお、図７において図５と同じステップには同一の符号を付した。

顔向き検知手段１２ａは、顔カメラ１１が撮影する顔画像から輪郭及び中央線を検出する（Ｓ１）。

ついで、鼻孔位置確定手段１２ｂが縦に細長の鼻孔検出領域を設定し、鼻孔の特徴を利用して鼻孔が検出できるか否かを判定する（Ｓ２）。この判定は、２個の鼻孔のうち２個又は１個が検出できない場合に鼻孔が検出できないと判定してもよいし、顔向きが所定値以上の場合は鼻孔の検出が困難になることが分かっているので、顔向きが所定値以上の場合に１個又は２個の鼻孔を検出することなく鼻孔が検出できないと判定してもよい。これにより、画像処理の負担が軽減される。

鼻孔が検出された場合（Ｓ２のＹｅｓ）、開閉検出手段１２ｄは鼻孔位置を基準にして眼球追跡領域を設定し（Ｓ３）、眼球追跡領域から瞼を検出して上下の瞼の距離から眼の開度を検出する（Ｓ４）。

鼻孔が検出されない場合（Ｓ２のＮｏ）、口位置確定手段１２ｃは顔の輪郭や中央線を利用して口位置検出領域を設定する（Ｓ５）。口位置確定手段１２ｃは唇境エッジ３６など横長のエッジを利用して口位置を確定する。

そして、鼻孔位置確定手段１２ｂは口位置と鼻孔位置の関係の統計データを利用して、領域を絞った鼻孔検出領域を設定し、また、鼻孔を検出するための閾値を下げて鼻孔を検出する（Ｓ１０）。

ついで、ステップＳ２に戻り、鼻孔位置確定手段１２ｂは鼻孔が検出できるか否かを判定する（Ｓ２）。なお、ステップＳ２の判定は回数に上限を設けることで、鼻孔検出を際限なく繰り返すことを防止する。また、繰り返しの度に、鼻孔検出領域や鼻孔検出のための閾値を鼻孔を検出しやすくなるよう変更してもよい。

ステップＳ２において鼻孔が検出された場合（Ｓ２のＹｅｓ）、開閉検出手段１２ｄが眼の開度を検出することができる（Ｓ４）。

本実施例によれば、通常の鼻孔検出領域及び閾値では鼻孔が検出されない場合、口位置を確定し口位置から再度鼻孔を検出するので、左右の鼻孔の中点から眼球追跡領域を設定して眼の開度を精度よく検出することができる。

以上、本実施形態の閉眼検知装置１０は、鼻孔が検出できない場合でも口位置を確定し口位置から眼球追跡領域を設定したり、また、口位置から再度鼻孔の検出を試みて確定された鼻孔位置から眼球追跡領域を設定するので、鼻孔が検出しにくい場合でも閉眼を検知することができる。

閉眼検知装置を含む居眠り検知装置のシステム構成図である。 顔画像から眼の開閉の検出を説明するための図である。 中央線等を検出した画像処理後の顔画像の一例を示す図である。 口位置の確定を説明するための図である。 鼻孔位置が確定できない場合に閉眼検知装置が口位置を利用して眼の開閉を検出するフローチャート図の一例である。 口位置と鼻孔位置の関係の一例を示す図である。 閉眼検知装置が鼻孔位置が確定できない場合に口位置を利用して鼻孔を検出し、鼻孔位置を基準に眼の開閉を検出するフローチャート図の一例である。

符号の説明

１ 居眠り検知装置
１０ 閉眼検知装置
１１ 顔カメラ
１２ 顔画像処理ＥＣＵ
１２ａ 顔向き検知手段
１２ｂ 鼻孔位置確定手段
１２ｃ 口位置確定手段
１２ｄ 開閉検出手段
１３ 衝突判断ＥＣＵ
１３ａ 閉眼時間計測手段
１４ コンビネーションメータ
１５ ブレーキＥＣＵ
１６ ミリ波レーダ装置
１７ プログラム

Claims (5)

1. 顔画像から抽出された特徴点から鼻孔位置を確定する鼻孔位置確定手段と、
   眼球追跡領域を設定し、前記眼球追跡領域の上瞼と下瞼の位置から検出された眼の開度が閾値以上の場合に開眼を閾値未満の場合に閉眼をそれぞれ検出する開閉検出手段とを、有する閉眼検知装置において、
   鼻孔が検出されない場合、口位置を確定する口位置確定手段を有し、
   前記開閉検出手段は、前記口位置を基準に設定した前記眼球追跡領域から開眼又は閉眼を検出し、
   鼻孔が検出された場合、前記開閉検出手段は、前記鼻孔位置を基準に設定した前記眼球追跡領域から開眼又は閉眼を検出する、
   ことを特徴とする閉眼検知装置。
2. 顔画像から抽出された特徴点から鼻孔位置を確定する鼻孔位置確定手段と、
   眼球追跡領域を設定し、前記眼球追跡領域の上瞼と下瞼の位置から検出された眼の開度が閾値以上の場合に開眼を閾値未満の場合に閉眼をそれぞれ検出する開閉検出手段とを、有する閉眼検知装置において、
   鼻孔が検出されない場合、口位置を確定する口位置確定手段を、有し、
   前記鼻孔位置確定手段は、前記口位置確定手段が確定した前記口位置を基準に前記鼻孔位置を確定し、
   前記開閉検出手段は、前記口位置を基準に確定された前記鼻孔位置を基準に前記眼球追跡領域を設定して、該眼球追跡領域から開眼又は閉眼を検出し、
   鼻孔が検出された場合、前記開閉検出手段は、前記鼻孔位置を基準に設定した前記眼球追跡領域から開眼又は閉眼を検出する、
   ことを特徴とする閉眼検知装置。
3. 請求項１又は２記載の閉眼検知装置と、
   前記開閉検出手段が検出した閉眼に基づき連続した閉眼時間を計測する閉眼時間計測手段と、
   前記閉眼時間が所定時間以上の場合に、運転者に警告する警告手段と、
   を有することを特徴とする居眠り検知装置。
4. 眼が探索される眼球追跡領域の上瞼と下瞼の位置から検出された眼の開度が閾値以上の場合に開眼を閾値未満の場合に閉眼をそれぞれ検出する閉眼検知装置の閉眼検知方法において、
   鼻孔位置確定手段が、顔画像から抽出された特徴点に基づき鼻孔位置を確定するステップと、
   鼻孔位置が確定されない場合、口位置確定手段が口位置を確定するステップと、
   開閉検出手段が、前記口位置を基準に前記眼球追跡領域を設定し、前記眼球追跡領域から開眼又は閉眼を検出するステップと、
   鼻孔位置が確定された場合、前記開閉検出手段は、前記鼻孔位置を基準に設定した前記眼球追跡領域から開眼又は閉眼を検出するステップと、
   を有することを特徴とする閉眼検知方法。
5. 眼が探索される眼球追跡領域の上瞼と下瞼の位置から検出された眼の開度が閾値以上の場合に開眼を閾値未満の場合に閉眼をそれぞれ検出する閉眼検知装置のコンピュータに、
   顔画像から抽出された特徴点に基づき鼻孔位置を確定する鼻孔位置確定ステップと、
   鼻孔位置が確定されない場合、口位置を確定する口位置確定ステップと、
   前記口位置を基準に前記眼球追跡領域を設定し、前記眼球追跡領域から開眼又は閉眼を検出するステップと、
   鼻孔位置が確定された場合、前記鼻孔位置を基準に設定した前記眼球追跡領域から開眼又は閉眼を検出するステップと、
   を実行させるプログラム。

Images