JP4677963B2 - 居眠り検知装置、居眠り検知方法 - Google Patents

Description

本発明は、居眠り検知装置及び居眠り検知方法に関し、被験者の眼の開閉状態から被験者の居眠りを検知する居眠り検知装置及び居眠り検知方法に関する。

運転者の居眠りを検出して警報等を吹鳴するため、運転者の顔画像から眼の領域を抽出し、閉眼時間に応じて眠気や居眠りを検出する居眠り検知装置が提案されている（例えば、特許文献１参照。）。特許文献１記載の居眠り検知装置では、閉眼時間が所定の閾値より長く継続すると警報を吹鳴する。

また、例えば、警報を吹鳴した時にすぐに運転者が反応した場合には、居眠り検知の判定方法を変更する居眠り検知装置が提案されている（例えば、特許文献２参照。）。
特許第２８２２７９９号公報 特開２００２−１８３９００号公報

しかしながら、特許文献１記載の居眠り検知装置では、開眼時間及び閉眼時間をそれぞれ独立に計測するのみであり、運転者の開閉状態が短時間のみ変化した場合でもそのまま開眼時間及び閉眼時間を計測してしまうため、実際の居眠り状態を的確に検知できない場合があるという問題がある。

また、固定された閾値を基準に居眠りを検知すると、運転者の感覚と合わず警報により煩わしさを感じさせるという問題がある。この点、特許文献２記載の居眠り検知装置では警報吹鳴の判定基準を緩和させることができるが、好ましい警報のタイミングを学習するまで警報を吹鳴する必要があるので、その間、煩わしさを感じさせてしまう。また、特許文献２記載の居眠り検知装置では、警報吹鳴の判定基準を緩和させた場合、警報のタイミングが遅れるおそれが生じてしまう。

本発明は、上記課題に鑑み、運転者に煩わしさを感じさせずに精度よく居眠りを検知する居眠り検知装置及び居眠り検知方法を提供することを目的とする。

上記課題を解決するため、本発明は、眼の開閉を検出し、連続閉眼時間が第１判定時間（例えば、居眠り判定条件ｂ）以上の場合に居眠りを検知する居眠り検知装置において、 連続開眼時間及び連続閉眼時間をそれぞれ計測する開閉時間計測手段を有し、閉眼から開眼した場合、前記開閉時間計測手段は、閉眼からの連続開眼時間が、連続開眼時間と比較して覚醒を検知するための第２判定時間以上になれば開眼前の連続閉眼時間をリセットし、
閉眼からの連続開眼時間が前記第２判定時間より短い時間のままで閉眼したら開眼前の連続閉眼時間に続けて連続閉眼時間を計測する、ことを特徴とする。

本発明によれば、連続開眼時間が所定以上継続しない場合は閉眼時間の計測をリセットしないので、一瞬の眼のまばたきや光の影響等により眼が開状態になっても、的確に居眠り状態を検知できる。

また、本発明の一形態において、生体センサが検出した生体信号に基づき眠気レベルを判定し、前記眠気レベルに応じて、前記第１判定時間又は前記第２判定時を設定する判定時間設定手段を有し、前記判定時間設定手段は、前記眠気レベルが大きいほど前記第１判定時間を短く設定するか、又は、前記眠気レベルが大きいほど前記第２判定時間を長く設定する、ことを特徴とする。

本発明によれば、眠気レベルに応じて第１判定時間を短くし、又は、第２判定時間を短くするので、早期に居眠りを検知することができると共に、警報が過度に吹鳴され運転者が煩わしく感じることを防止できる。

運転者に煩わしさを感じさせずに精度よく居眠りを検知する居眠り検知装置及び居眠り検知方法を提供することができる。

以下、本発明を実施するための最良の形態について、図面を参照しながら実施例を挙げて説明する。

図１は、居眠り検知装置１の概略構成図を示す。本実施例の居眠り検知装置１は、眼の開閉を検出し、閉眼時間が所定以上継続した場合に居眠り状態を検知し、開眼時間が所定以上継続した場合に覚醒状態を検知する。覚醒状態の検知の際、閉眼時間の計測をリセットするが、開眼時間が所定以上継続しない場合は閉眼時間の計測をリセットしないので、一瞬の眼のまばたきや光の影響等により眼が開状態になっても、運転者の居眠りを確実に検知できる。

居眠り検知装置１では、画像処理ＥＣＵ１２及び衝突判断ＥＣＵ（Electronic Control Unit）１５がＣＡＮ（Controller Area Network）など車内ＬＡＮを介して接続され、画像処理ＥＣＵ１２が検知した運転者の居眠り検知情報を衝突判断ＥＣＵ１５など他のＥＣＵに送信することで、適切なタイミングの警報吹鳴や早期の減速など統合制御が実現される。

画像処理ＥＣＵ１２は運転者の顔が撮影された画像（以下、顔画像という）を解析して居眠りを検知すると衝突判定ＥＣＵ１５に居眠り検知信号を送信し、衝突判定ＥＣＵ１５は例えばスキッドコントロールＥＣＵ１６に警報の吹鳴を要求したり、メータＥＣＵにウォーニングランプの点灯を要求する。

なお、衝突判断ＥＣＵ１５は、レーダ装置１３が検出する障害物との衝突やレーン検出用のカメラセンサ１４が検出する走行レーンからの逸脱のおそれがある場合、シートベルトの巻き上げやブレーキ制御などプリクラッシュ制御を実行し、また、電動パワーステアリングを制御して車線を維持する制御を実行する。

これらのＥＣＵは、プログラムを実行するＣＰＵ、プログラム実行の作業領域となり又は一時的にデータを記憶するＲＡＭ、イグニションオフしてもデータを保持するＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）、画像データの入力や他のＥＣＵとのインターフェイスとなる入出力インターフェイ、他のＥＣＵと通信する通信コントローラ、及び、プログラムを記憶するＲＯＭ等がバスにより接続されたマイコンにより構成される。

ＣＰＵがプログラム実行することで、眼の開閉を検出する開閉検出手段１２ａ、眼の開眼時間及び閉眼時間をそれぞれ計測する開閉時間計測手段１２ｂ、が実現される。
〔眼球追跡領域の設定〕
顔画像において眼球（黒目）の存在が推定される眼球追跡領域の設定について説明する。画像処理ＥＣＵ１２に接続されたカメラ１１は、運転者の顔を正面やや下方から臨む位置、例えば、メータパネル３内やステアリングコラム上に配置される。

カメラ１１は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）の光電変換素子を有し、入射した光をその強度に応じて光電変換して、蓄積した電荷を電圧として読み出し、さらに増幅してＡ／Ｄ変換した後、所定の輝度階調（例えば、２５６階調）のデジタル画像（顔画像）を出力する。図２（ａ）は顔画像の一例を示す図である。

図３は、顔画像から眼球追跡領域を検出する処理手順のフローチャート図を示す。まず、開閉検出手段１２ａは、顔画像から顔のおよその位置として顔の輪郭を検出する（Ｓ１）。顔画像には背景や服装なども写っているため、予めそれらから顔の輪郭を検出しておくことが好適となる。顔の輪郭は、例えば、順次撮影される顔画像の差分演算や、顔の標準画像（テンプレート）を使用したパターンマッチング、カラーの顔画像を用いて肌色の領域を検出する等の方法により検出される。

順次入力される顔画像の差分演算を利用する場合、車や乗員の微振動のため顔画像から顔の輪郭を浮かび上がらせることができる。すなわち、背景が静止しているのに対し顔の輪郭より内側の画像は移動しうるので、輝度が微少変動する領域を輪郭部分として検出することができる。

ついで、開閉検出手段１２ａは顔の中央線を検出する（Ｓ２）。顔の中央線は、人の顔の眼や鼻などのパーツが左右対称に配置されていることを利用して検出する。そこで、開閉検出手段１２ａは、図２（ｂ）に示すように顔画像の輝度値を上下方向及び横方向に微分処理してエッジ情報を取得する。

図２（ｃ）は顔画像からえられるエッジ情報の一例を示す。人の顔には、眉、眼、鼻孔唇等のパーツがほぼ左右に均等に配置されているので、パーツにより得られるエッジ情報も左右に略均等に分布していると考えられる。そこで、開閉検出手段１２ａは、左右のエッジ情報の数がほぼ均等になるように顔の中央線を検出する。

ついで、開閉検出手段１２ａは、眼球追跡領域を設定する（Ｓ３）。まず、開閉検出手段１２ａは、顔画像の明暗をはっきりさせて眼球を抽出できるように所定の閾値で顔画像を２値化する。そして、図４（ａ）に示すように、２値化された顔画像の中央線から左右（Ｘ方向）にそれぞれ白画素の連続数をカウントしていく。これを少なくとも顔の輪郭の範囲で縦方向（Ｙ方向）に一画素ライン毎に行うと、顔の中央線から白画素が連続した領域が浮かび上がる。

眼球位置は顔の輪郭内に存在するので、白画素が最も連続したＸ方向の画素位置が眼球追跡領域の左眼左端及び右眼右端となる。また、眼球位置は黒画素となるため、白画素の連続数をＹ方向に比較していくと、白画素の連続数が減少し、さらに、減少した後増大する領域に眼球が存在すると考えられる。したがって、白画素の連続数が大→最小→大となった一連のＹ方向の領域から眼球追跡領域の上端及び下端が求められる。そして、白画素の連続数が最小となったＸ方向の位置から中央線側の左眼右端、右目左端が得られる。以上のようにして、２値化された顔画像の左右に眼球追跡領域が検出される。

〔眼の開閉の検出〕
続いて、眼の開閉の検出について説明する。図４（ｂ）は眼球追跡領域の一例を示す。開閉検出手段１２ａは、左右の眼球追跡領域の輝度値をＹ方向下から上に走査して、眼球の黒画素を抽出する。

例えば、走査線ａでは、白画素が連続して検出されるので走査開始点から所定数以上の白画素が連続して検出されたら次の走査線に移る。走査線ｂでは、走査の途中で黒画素が検出されるのでこれをカウントする。連続した白画素の後でノイズ以上の黒画素が検出され更に白画素が連続することから、検出した黒画素は眼球の縦方向を走査したものと認められる。眼球が検出された場合、開閉検出手段１２ａは眼球の大きさを算出するため連続した黒画素数を記憶する。走査線ｃでは、走査線ｂと同様に、検出した黒画素は眼球の縦方向を走査したものと認められる。開閉検出手段１２ａは連続した黒画素数を記憶する。このように、開閉検出手段１２ａはＸ方向に走査を続け、走査位置と対応づけて黒画素数を記憶する。

全ての走査が終了すると、開閉検出手段１２ａは連続した黒画素が最大となった黒画素数を眼球の縦方向の大きさと判定する。なお、運転者が目を閉じている場合も同様な処理過程により眼球の縦方向の大きさが検出され、当然ながら目を閉じた状態では眼球の縦方向の大きさは小さくなる。

開閉検出手段１２ａは、運転開始から所定時間（例えば数分間）の間、サイクル時間毎に撮影される顔画像から眼球の縦方向の大きさを検出し、開状態及びまばたきによる閉状態のそれぞれの眼球の縦方向の大きさを、開閉を判定するための閾値として設定する。例えば、閾値は、「所定時間における最大の眼球の大きさ×１／２」、として設定され、開閉検出手段１２ａは閾値以上であれば開状態、閾値より小さければ閉状態と判定する。なお、開状態又は閉状態の２つの状態に分類するのでなく、眼球の縦方向の大きさに基づき、閾値を多段階に設定してもよい。眼球の縦方向の大きさを多段階に判定すると、運転者の眠気レベルを多段階に判定することができる。

〔居眠りの検知〕
続いて、本実施例の居眠りの判定方法について説明する。図５は、眼の開閉判定の結果の一例を示す図である。カメラ１１は所定のサイクル時間毎に顔画像を撮影するので、開閉検出手段１２ａは顔画像毎に開閉を判定する。すなわち、図５のパルス状の開閉の判定結果は、顔画像毎の判定結果を連結したものである。

本実施例では、連続して検出される閉状態の時間が所定時間以上の場合には居眠りと判定するが、サイクル時間はほぼ一定であるので閉状態の顔画像をカウントすれば、閉眼時間を計測することができる。開眼時間についても同様に計測する。

開閉時間計測手段１２ｂは、閉状態及び開状態の顔画像の数をそれぞれカウントし、
覚醒判定条件ａ（定数）
居眠り判定条件ｂ（定数）
と比較する。そして、開状態の顔画像のカウント数（カウンタをＮａとする）が覚醒判定条件ａ以上になれば覚醒状態と判定し、閉状態の顔画像のカウント数（カウンタをＮｂとする）が居眠り判定条件ｂ以上になれば居眠り状態と判定する。

ところで、運転者が居眠りした場合の閉眼時間を計測するため、開状態から閉状態となったことをトリガに閉眼時間をゼロからカウントすることが考えられる。すなわち、眼の開閉状態が変化するたびにカウンタＮａ、Ｎｂをリセットし、新たにゼロからカウントを再開することが一般的なカウント方法である。

しかしながら、例えば、運転者が眠い場合、うとうとしながらも覚醒状態を保とうと一瞬眼を見開いたりすることが多い。そのため、一瞬の開状態を検出して、閉状態の顔画像のカウントをゼロから再開するのでは、居眠り状態を的確に把握できない場合が生じる。

そこで、本実施例では、一方のカウント数（例えば、カウンタＮａ）が所定以下の場合には他方のカウント数（例えば、カウンタＮｂ）をリセットしないことで、開閉状態の一瞬の変化が居眠り状態又は覚醒状態の検知に影響を及ぼすことを防止する。したがって、うとうとしながらも覚醒状態を保とうと一瞬眼を見開いた場合（カウンタＮａは覚醒判定条件ａより小）、閉眼時間のカウンタＮｂはリセットされないので、以降の顔画像で眼の閉状態が検出された場合に早期にカウンタＮｂが居眠り判定条件ｂを超え、確実に居眠り状態を検知できる。

図６は、開閉時間計測手段１２ｂが開眼時間及び閉眼時間を計測して、覚醒状態又は居眠り状態を検知する手順を示すフローチャート図である。図６のフローチャート図は、イグニッションオンから所定時間の間に開閉を判定するための閾値が設定されたらスタートする。

まず、開閉時間計測手段１２ｂは、開状態のカウンタＮａと閉状態のカウンタＮｂに初期値ゼロを設定する（Ｓ１）。

ついで、サイクル時間毎に撮影される顔画像の眼が開状態か閉状態かを判定する（Ｓ２）。開閉時間計測手段１２ｂは開閉検出手段１２ａの検出結果を受け取り、顔画像の眼が開状態か閉状態かを判定する。

閉状態の場合（Ｓ２のＹｅｓ）、開閉時間計測手段１２ｂは閉状態のカウンタＮｂを１つカントアップする（Ｓ３）。これにより、眼の閉状態がカウンタ数に反映されたことになる。

ついで、開閉時間計測手段１２ｂは、カウンタＮｂが居眠り判定条件ｂ以上か否かを判定する（Ｓ４）。

カウンタＮｂが居眠り判定条件ｂ以上の場合（Ｓ４のＹｅｓ）、開閉時間計測手段１２ｂは運転者は居眠りしていると判定する（Ｓ５）。上記のように、画像処理ＥＣＵ１２は居眠り検知信号を他のＥＣＵに送信するので、スキッドコントロールＥＣＵ１６等により警報の吹鳴等がなされる。

そして、開閉時間計測手段１２ｂは、開状態のカウンタＮａをリセットする（Ｓ６）。カウンタＮａのリセットにより覚醒状態の判定（Ｓ９）及びＮｂの初期化（Ｓ１０）が行われにくくなるので、再度、眼の閉状態が検出された場合に確実に居眠りを検知できる。なお、この時、カウンタＮｂも同様にリセットしてもよい。

また、カウンタＮｂが居眠り判定条件ｂ以上でない場合（Ｓ４のＮｏ）、ステップＳ２から処理を繰り返す。すなわち、カウンタＮｂが居眠り判定条件ｂより小さい一瞬の閉状態の場合、開状態のカウンタＮａをリセットしないので、確実に覚醒状態を検知できる。

ステップＳ２に戻り、開状態の場合（Ｓ２のＮｏ）、開閉時間計測手段１２ｂは開状態のカウンタＮａを１つカントアップする（Ｓ７）。これにより、眼の開状態がカウンタ数に反映されたことになる。

ついで、開閉時間計測手段１２ｂは、カウンタＮａが覚醒判定条件ａ以上か否かを判定する（Ｓ８）。

カウンタＮａが覚醒判定条件ａ以上の場合（Ｓ８のＹｅｓ）、開閉時間計測手段１２ｂは運転者は覚醒していると判定する（Ｓ９）。そして、開閉時間計測手段１２ｂは、閉状態のカウンタＮｂをリセットする（Ｓ１０）。Ｎｂのリセットにより居眠り状態の判定（Ｓ５）及びＮａの初期化（Ｓ６）が行われにくくなるので、再度、眼の開状態が検出された場合に確実に覚醒状態を検知できる。なお、この時、カウンタＮａも同様にリセットしてもよい。

また、カウンタＮａが覚醒判定条件ａ以上でない場合（Ｓ８のＮｏ）、ステップＳ２から処理を繰り返す。すなわち、カウンタＮａが覚醒判定条件ａより小さい一瞬の開状態の場合は、閉状態のカウンタＮｂをリセットしないので、確実に居眠り状態を検知できる。

したがって、図６のフローチャート図のようにカウンタＮａ、Ｎｂを処理することで、開眼時間又は閉眼時間のより長い方に重み付けしてカウントされることとなるので、それぞれの状態を検知しやすくすることができ、居眠り状態又は覚醒状態を確実に検出することができる。また、覚醒状態が検知された場合、閉眼時間は必ずゼロからカウントされるので、カウンタＮｂがｂ以上になった場合には既に眠い状態であると考えられ、警報を吹鳴しても運転者に煩わしさを感じさせることも低減できる。

図５（ａ）の眼の開閉判定の結果を例にして覚醒状態及び居眠り状態を判定する。ただし、Ｎａ１、Ｎａ２，Ｎａ３はいずれもａ以上で、Ｎｂ１、Ｎｂ２はいずれもｂより小である。また、Ｎｂ３はｂ以上とする。

最初の開眼時間のカウント数Ｎａ１はＮａ１≧ａであるので覚醒状態と判定される。また、この時、カウンタＮｂはゼロにリセットされる。次の閉眼時間のカウント数Ｎｂ１はＮｂ１＜ｂであるので居眠り状態又は覚醒状態のいずれとも判定されず、開閉時間計測手段１２ｂは覚醒状態が継続しているとみなす。カウント数Ｎａ２及びＮｂ２についても同様に判定される。

ついで、カウント数Ｎａ３はＮａ３≧ａであるので覚醒状態と判定される。また、この時、カウンタＮｂはゼロにリセットされる。次の閉眼時間のカウント数Ｎｂ３はＮｂ３≧ｂであるので、開閉時間計測手段１２ｂは、居眠り状態と判定すると共にカウンタＮａをリセットする。このように、閉眼時間が居眠り判定条件ｂを超えて継続すれば居眠りと判定することができ、一瞬の閉眼があってもそのまま覚醒状態と検知されるので、各状態を確実に検出することができる。

また、眼の開閉判定の結果が図５（ｂ）の場合、覚醒状態及び居眠り状態は次のように判定される。ただし、Ｎａ１はａ以上、Ｎａ２，Ｎａ３はａより小、Ｎｂ１、Ｎｂ２はｂより小、また、Ｎｂ３はｂ以上とした。

最初の開眼時間のカウント数Ｎａ１はＮａ１≧ａであるので覚醒状態と判定される。また、この時、カウンタＮｂ及びＮａはゼロにリセットされる。次の閉眼時間のカウント数Ｎｂ１はＮｂ１＜ｂであるので居眠り状態又は覚醒状態のいずれとも判定されず、開閉時間計測手段１２ｂは覚醒状態が継続しているとみなす。

次の開眼時間のカウント数Ｎａ２はＮａ２＜ａであり、カウンタＮａは覚醒状態と判定された時点でリセットされているので、居眠り状態又は覚醒状態のいずれとも判定されず、開閉時間計測手段１２ｂは覚醒状態が継続しているとみなす。

次の閉状態のカウント数Ｎｂ２はＮｂ２＜ｂであるが、Ｎｂ１はリセットされていないのでＮｂ１に追加してＮｂ２がカウントされる。したがって、カウンタＮｂのカウント数はＮｂ１＋Ｎｂ２となる。

同様に、次の開眼時間のカウント数Ｎａ３はＮａ３＜ａであるが、Ｎａ２はリセットされていないのでＮａ２に追加してＮａ３がカウントされる。したがって、カウンタＮａのカウント数はＮａ２＋Ｎａ３となる。

次の閉眼時間のカウント数Ｎｂ３はＮｂ３≧ｂであるが、Ｎｂ１＋Ｎｂ２はリセットされていないのでＮｂ１＋Ｎｂ２に追加してＮｂ３がカウントされる。すでにＮｂ１＋Ｎｂ２がカウントされているので、Ｎｂ３を全てカウントする前に開閉時間計測手段１２ｂは居眠り状態と判定する。

したがって、うとうとした状態で短時間、眼が開いたり、光の影響で開状態が検知されても閉状態のカウンタＮｂをリセットしないので、確実に居眠りを判定できる。

以上のように本実施例によれば、開閉状態の一瞬の変化が居眠り状態又は覚醒状態の判定結果に影響を及ぼすことを防止して、精度よく居眠り状態又は覚醒状態を検知することができる。閉眼時間は覚醒状態が検知されるたびにリセットされるので、居眠り状態が検知された際に警報を吹鳴しても運転者に煩わしさを感じさせることも低減できる。また、居眠り判定条件ｂは一定なので警報が遅れることもない。

本実施例では、運転者の眠気を検出して、眠気レベルに応じて覚醒判定条件ａ及び居眠り判定条件ｂを可変にする居眠り検知装置１について説明する。

図７は、本実施例の居眠り検知装置１の概略構成図を示す。なお、図７において図１と同一構成部分には同一の符号を付しその説明は省略する。生体センサ１９は、例えば、脳波、脈拍、体温、皮膚電位、握力等を検出するセンサである。脳波を検出する場合、生体センサ１９は運転者の頭部に複数の電極を当接させ得られた電気信号から脳波を演算する。脈拍、体温、皮膚電位又は握力を検出する場合、例えばステアリングホイールやシートに設けられた周知のセンサによりこれらを検出する。

画像処理ＥＣＵ１２の判定時間設定手段１２ｃは、生体センサ１９の生体信号に基づき、運転者の眠気レベルを数段階に分類して判定する。また、画像処理ＥＣＵ１２は、眠気レベルに対応づけて覚醒判定条件ａ及び居眠り判定条件ｂを記憶した判定条件記憶手段２０を有しており、判定時間設定手段１２ｃは眠気レベルに応じて判定条件記憶手段２０から覚醒判定条件ａ及び居眠り判定条件ｂを抽出する。

図８は、眠気レベルに対応づけられた覚醒判定条件ａ及び居眠り判定条件ｂの一例を示す。図８では眠気レベルを５段階に分類し、それぞれの眠気レベルに対し覚醒判定条件ａ１〜ａ５及び居眠り判定条件ｂ１〜ｂ５が設定されている。

図８に示すように、ａ１＜ａ２＜ａ３＜ａ４＜ａ５、ｂ１＞ｂ２＞ｂ３＞ｂ４＞ｂ５ である。眠気レベルが高いほど（眠いほど）、覚醒判定条件ａは大きくなり、居眠り判定条件ｂは小さくなっている。

このように設定することで、眠気レベルが高いほど（眠いほど）覚醒状態と判定しにくくなると共に、居眠り状態と判定しやすくなり、早期に居眠りを検知することができる。一方、眠気レベルが低いほど（覚醒しているほど）覚醒状態と判定しやすくなると共に、居眠り状態と判定しにくくなるため、警報が過度に吹鳴され運転者が煩わしく感じることを防止できる。

図９は、開閉時間計測手段１２ｂが、覚醒状態又は居眠り状態を検知する手順を示すフローチャート図である。なお、図９において図６のフローチャート図と同一のステップには同一の符号を付しその説明は簡単に行う。

まず、開閉時間計測手段１２ｂは、開状態のカウンタＮａと閉状態のカウンタＮｂに初期値ゼロを設定する（Ｓ１）。

ついで、判定時間設定手段１２ｃは生体センサ１９により検出された生体信号に基づき眠気レベルを判定し、眠気レベルに対応した覚醒判定条件ａ１〜ａ５のいずれか、及び、居眠り判定条件ｂ１〜ｂ５のいずれかを判定条件記憶手段１０から抽出する（Ｓ１０）。抽出した判定条件をそれぞれａｎ、ｂｎとする。なお、眠気レベルは急に変化するものでないので、この処理は眠気レベルが変わった場合にのみ行ってもよい。

以降は、図６と同様である。すなわち、サイクル時間毎に撮影される顔画像の眼が開状態か閉状態かを判定し（Ｓ２）、閉状態の場合、開閉時間計測手段１２ｂは、閉眼時間のカウンタＮｂを１つカントアップし（Ｓ３）、カウンタＮｂが居眠り判定条件ｂｎより大きいか否かを判定する（Ｓ４）。

カウンタＮｂが居眠り判定条件ｂｎ以上の場合（Ｓ４のＹｅｓ）、開閉時間計測手段１２ｂは運転者は居眠りしていると判定し（Ｓ５）、開眼時間のカウンタＮａをリセットする（Ｓ６）。

ステップＳ２において開状態の場合（Ｓ２のＮｏ）、開閉時間計測手段１２ｂは開状態のカウンタＮａを１つカントアップし（Ｓ７）、カウンタＮａが覚醒判定条件ａｎより大きいか否かを判定する（Ｓ８）。

カウンタＮａが覚醒判定条件ａｎ以上の場合（Ｓ８のＹｅｓ）、開閉時間計測手段１２ｂは運転者は覚醒していると判定し（Ｓ９）、閉状態のカウンタＮｂをリセットする（Ｓ１０）。

〔覚醒判定条件ａ１〜ａ５、居眠り判定条件ｂ１〜ｂ５のその他の設定方法〕
運転者の眠気レベルを生体センサ１９を用いずに検出してもよいし、眠気レベルを運転環境から推定してもよい。

開閉時間計測手段１２ｂは、例えば、カウンタＮｂのカウント数を利用して閉眼時間を積算していく。この場合、覚醒していると判定されても積算値はリセットしないようにすれば、過去の所定時間のうちどのくらいが閉眼時間であったかを計測できる。閉眼時間の割合が大きい場合、運転者の眠気レベルが大きいと考えてよいので、判定時間設定手段１２ｃは閉眼時間の積算値が大きいほど、覚醒判定条件ａを大きく設定し、また、居眠り判定条件ｂを小さく設定する。

同様に、閉眼時間が居眠り判定条件以上となると居眠りと判定されるが、過去の所定時間の居眠り検知回数（Ｎｂがｂｎ以上となった場合の数）が大きい場合、運転者の眠気レベルが大きいと考えてよいので、判定時間設定手段１２ｃは居眠り検知回数が大きいほど、覚醒判定条件ａを大きく設定し、また、居眠り判定条件ｂを小さく設定する。

また、開状態における眼の縦方向の大きさが小さい場合、運転者の眠気レベルが大きいと考えてよいので、眼の縦方向の大きさが小さいほど、覚醒判定条件ａを大きく設定し、また、居眠り判定条件ｂを小さく設定してもよい。

また、運転者は一般に、夜間、午後１〜３時、雨天（薄暗い）、自動車専用道路を走行中（以下、眠気増大要因という）、などの環境において眠気レベルが大きくなると考えられるので、眠気増大要因の数が多いほど、覚醒判定条件ａを大きく設定し、また、居眠り判定条件ｂを小さく設定してもよい。

以上のように、本実施例によれば、実施例１の効果に加え、眠気レベルに対応した覚醒判定条件及び居眠り判定条件により覚醒状態及び居眠り状態を検出することで、早期に居眠りを検知することができると共に、警報を吹鳴しても運転者が煩わしく感じることを低減できる。また、居眠り判定条件ｂ１〜ｂ５は、眠気レベルが高いと短くなるので警報が遅れることもない。

居眠り検知装置の概略構成図である。 顔画像及びその処理を説明する図である。 顔画像から眼球追跡領域を検出する処理手順のフローチャート図である。 眼球追跡領域及び眼の開閉を検出する処理を説明するための図である。 眼の開閉判定の結果の一例を示す図である。 開閉時間計測手段１２ｂが覚醒状態又は居眠り状態を検知する手順を示すフローチャート図である。 実施例２における居眠り検知装置の概略構成図である。 眠気レベルに対応づけられた覚醒判定条件ａ及び居眠り判定条件ｂの一例を示す。 開閉時間計測手段１２ｂが覚醒状態又は居眠り状態を検知する手順を示すフローチャート図である。

符号の説明

１ 居眠り検知装置
１１ カメラ
１２ 画像処理ＥＣＵ
１２ａ 開閉検出手段
１２ｂ 開閉時間計測手段
１２ｃ 判定時間設定手段
１３ レーダ装置
１４ カメラセンサ
１５ 衝突判断ＥＣＵ
１６ スキッドコントロールＥＣＵ
１７ 警報装置
２０ 判定条件記憶手段

Claims (6)

1. 眼の開閉を検出し、連続閉眼時間が第１判定時間以上の場合に居眠りを検知する居眠り検知装置において、
   連続開眼時間及び連続閉眼時間をそれぞれ計測する開閉時間計測手段を有し、
   閉眼から開眼した場合、前記開閉時間計測手段は、
   閉眼からの連続開眼時間が、連続開眼時間と比較して覚醒を検知するための第２判定時間以上になれば開眼前の連続閉眼時間をリセットし、
   閉眼からの連続開眼時間が前記第２判定時間より短い時間のままで閉眼したら開眼前の連続閉眼時間に続けて連続閉眼時間を計測する、
   ことを特徴とする居眠り検知装置。
2. 生体センサが検出した生体信号に基づき眠気レベルを判定し、前記眠気レベルに応じて、前記第１判定時間又は前記第２判定時間を設定する判定時間設定手段を有し、
   前記判定時間設定手段は、前記眠気レベルが大きいほど前記第１判定時間を短く設定するか、又は、
   前記眠気レベルが大きいほど前記第２判定時間を長く設定する、
   ことを特徴とする請求項１記載の居眠り検知装置。
3. 所定時間内における連続閉眼時間の割合が所定以上となった場合、前記第１判定時間を短く設定するか、又は、前記第２判定時間を長く設定する判定時間設定手段、
   を有することを特徴とする請求項１記載の居眠り検知装置。
4. 前記第１判定時間より長い所定時間内において、連続閉眼時間が第１判定時間以上となった居眠り検知回数が所定値以上となった場合、前記第１判定時間を短く設定するか、又は、前記第２判定時間を長く設定する判定時間設定手段、
   を有することを特徴とする請求項１記載の居眠り検知装置。
5. 環境センサが検出する環境情報に応じて、前記第１判定時間又は前記第２判定時間を設定する判定時間設定手段を有し、
   前記判定時間設定手段は、前記環境情報が眠気増大要因を多く含むほど、前記第１判定時間を短く設定するか、又は、前記第２判定時間を長く設定する判定時間設定手段、
   を有することを特徴とする請求項１記載の居眠り検知装置。
6. 眼の開閉を検出し、連続閉眼時間が第１判定時間以上の場合に居眠りを検知する車載装置の居眠り検知方法において、
   連続開眼時間を計測するステップと、
   閉眼から開眼した場合、閉眼からの連続開眼時間が、連続開眼時間と比較して覚醒を検知するための第２判定時間以上になれば開眼前の連続閉眼時間をリセットするステップと、
   閉眼からの連続開眼時間が前記第２判定時間より短い時間のままで閉眼した場合、開眼前の連続閉眼時間に続けて連続閉眼時間を計測するステップと、
   を有することを特徴とする居眠り検知方法。

Images