JP4967559B2 - 居眠り運転防止装置及びプログラム - Google Patents

Description

本発明は、運転支援システムに用いて好適な居眠り運転予防装置及びプログラムに関する。

従来、ドライバの居眠りを検出して警報を発する様々な技術が提案されている。

特許文献１には、被検出者の目の閉眼時間を計測し、閉眼時間に基づいて居眠り状態を検出する居眠り検出装置であって、閉眼時間の時間長、被検出者の状態、被検出者の環境の少なくとも１つに応じて、１回の閉眼に対する居眠り評価基準の重みを変化させるものが開示されている。

特許文献１の居眠り検出装置は、眠気が高くなると閉眼時間が増加する現象を利用したものである。具体的には、居眠り検出装置は、１回の閉眼時間の長さに応じた重み付けを行い、次に重み付けされた閉眼時間を積算して、積算値が一定レベル以上になったときに、居眠りと判断して警報する。

特許文献２には、運転者の好みや運転者の特性に合わせて警報を発する居眠り運転警報装置が開示されている。特許文献２の居眠り運転警報装置は、警報を発してから手動操作により警報を停止させるまでの警報作動時間の長さに基づいて居眠り運転検出手段の居眠り運転判定基準を変更する。

特許文献３には、ドライバの覚醒度を維持させ、ドライバが居眠りを起こすことを防止する居眠り運転予防装置が開示されている。

特許文献３の居眠り運転予防装置は、居眠り状態より前の状態を検知して居眠り運転を予防する技術である。具体的には、居眠り運転予防装置は、ドライバによって操作される対象物の操作量を記憶すると共に、前記ナビゲーション部から入力される前記地図データに基づき第１の基準操作量を設定し、前記操作量と前記第１の基準操作量とを比較することにより操作量が低下したか否かを判定する。そして、操作量が低下したと判定した場合に、ドライバに対して操作負荷を与える必要があるとして、その内容を表示部に表示する。
特開２００２−２７９４１０号公報 特開２００２−１８３９００号公報 特開２００５−１４１３１５号公報

しかしながら、特許文献１の居眠り検出装置を用いたとしても、眠気の感じ方は個人差があるため、閉眼時間の重み付けを変えても運転者が警報を欲するタイミングを推定するのが困難である。また、警報が早めに出れば煩わしくなり、警報が遅ければ役に立たなくなる。

その理由は、（１）特許文献１の居眠り検出装置がどのように眠気を判定しているのかが運転者が全く分からないままで警報が提示され、（２）主観的な眠気と特許文献１の居眠り検出装置により判定される眠気との時間的なずれが大きいため、と考えられる。さらに、特許文献１の居眠り検出装置は過去の閉眼時間を積算した結果から警報を発するものであるので、警報時に運転者が閉眼している確率が高く、警報時に運転者が驚いてしまうという問題もあった。

特許文献２の居眠り運転警報装置は、運転者の眠気の感じ方に警報タイミングを同調させるため、警報としての機能を損ない、結果として警報が遅れる可能性がある。

特許文献３の居眠り運転予防装置は、操作量の低下と眠気は直接結びつかないため、運転者が直感的に理解できずに注意喚起の効果が小さい問題があった。また、運転上必須でない操作負荷は運転者に煩わしいという問題もある。

本発明は、上述した課題を解決するために提案されたものであり、最適なタイミングで警報を発して運転者の居眠りを防止する居眠り運転予防装置及びプログラムを提供することを目的とする。

本発明に係る居眠り運転予防装置は、車両の運転者の顔画像を撮像する撮像手段と、前記撮像手段により撮像された運転者の顔画像に基づいて、前記運転者の開眼又は閉眼を判定する開閉眼判定手段と、前記開閉眼判定手段の判定結果に基づいて、前記運転者が所定時間以上閉眼しているかを判定する長閉眼判定手段と、前記長閉眼判定手段により前記運転者が所定時間以上閉眼していると判定された時から、前記開閉眼検出手段により開眼が検出される時まで、前記運転者に注意を喚起する注意喚起手段と、前記開閉眼検出手段により開眼が検出された後に、前記運転者に警報を発する警報手段と、を備えている。

本発明に係る居眠り運転予防プログラムは、コンピュータを、撮像手段により撮像された運転者の顔画像に基づいて、前記運転者の開眼又は閉眼を判定する開閉眼判定手段、前記開閉眼判定手段の判定結果に基づいて、前記運転者が所定時間以上閉眼しているかを判定する長閉眼判定手段、前記長閉眼判定手段により前記運転者が所定時間以上閉眼していると判定された時から、前記開閉眼検出手段により開眼が検出される時まで、前記運転者に注意を喚起するように注意喚起手段を制御する注意喚起制御手段、前記開閉眼検出手段により開眼が検出された後に、前記運転者に警報を発するように警報手段を制御する警報制御手段、として機能させる。

開閉眼検出手段は、撮像手段により撮像された運転者の顔画像に基づいて、運転者の開眼又は閉眼を検出する。長閉眼判定手段は、開閉眼判定手段の判定結果に基づいて、運転者が所定時間以上閉眼しているかを判定する。注意喚起手段は、運転者が所定時間以上閉眼していると判定された時から、開眼が検出される時まで、運転者に注意を喚起する。そして、警報手段は、注意喚起手段による注意喚起後、すなわち開眼が検出された後に、運転者に警報を発する。

したがって、上記発明は、運転者が所定時間以上閉眼していると判定された時から開眼が検出される時まで運転者に注意を喚起し、開眼が検出された後に運転者に警報を発することにより、運転者を驚かせないような最適なタイミングで警報を発することができる。

本発明に係る居眠り運転予防装置及びプログラムは、最適なタイミングで運転者に警報を発することができる。

以下、本発明の好ましい実施の形態について図面を参照しながら詳細に説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る居眠り運転予防装置の構成を示すブロック図である。居眠り運転予防装置は、例えば運転者の斜め前方に設置され、その運転者の顔を斜め上から撮像するカメラ１０と、カメラ１０で撮像された顔画像に基づいて注意喚起装置４０や警報装置５０を制御するコンピュータ２０と、を備えている。

コンピュータ２０は、画像処理や注意喚起装置４０及び警報装置５０の制御を行うための演算処理を行うＣＰＵ２１と、データのワークエリアであるＲＡＭ２２と、ＣＰＵ２１の制御プログラムが記憶されているＲＯＭ２３と、を備えている。このように構成されたコンピュータ２０は、機能的には次に示すように構成されている。

図２は、コンピュータ２０の機能的な構成を示すブロック図である。コンピュータ２０は、運転者の開眼又は閉眼を判定する開閉眼判定部３１と、閉眼状態であるかを判定する閉眼判定部３２と、長時間閉眼しているかを判定する長閉眼判定部３３と、長時間連続して閉眼した時間（長閉眼時間）を記憶する長閉眼時間記憶部３４と、長閉時間を積算する長閉眼時間積算部３５と、警報を発するかを判定する警報判定部３６と、を備えている。

また、図１に示す注意喚起装置４０は、長閉眼判定部３３の判定結果に基づいて制御される。警報装置５０は、警報判定部３６の判定結果に基づいて制御される。

図３は、注意喚起装置４０及び警報装置５０の一例を示す図である。注意喚起装置４０は、運転者に対して注意を喚起できれば特に限定されるものではない。例えば、注意喚起装置４０は、運転席シート振動装置、ステアリング振動装置、車両フロア振動装置、アクセルペダル振動装置、音又は音声を出力するスピーカ装置（オーディオシステム、ナビゲーションシステムのいずれに設けられたものでもよい。）、温風や冷風を出すカーエアーコンディショナー又はシート空調機などの少なくとも１つが該当する。

警報装置５０は、運転者に対して警報を発することができれば特に限定されるものではない。例えば、警報装置５０は、運転席シート振動装置、ステアリング振動装置、車両フロア振動装置、アクセルペダル振動装置、音又は音声を出力するスピーカ装置（オーディオシステム、ナビゲーションシステムのいずれに設けられたものでもよい。）、温風や冷風を出すカーエアーコンディショナー又はシート空調機、点灯もしくは点滅する発光素子、情報表示装置などの少なくとも１つが該当する。

なお、注意喚起装置４０と警報装置５０は、異なる装置であってもよいし、同一の装置であってもよい。例えば、スピーカ装置は、運転者に注意を喚起するときに小さな音を出力し、運転者に警報を発するときに大きな音を出力してもよい。また、スピーカ装置は、注意喚起時と警報時とで周波数や音色を変えてもよい。

以上のように構成された居眠り運転予防装置において、カメラ１０が運転者の顔を撮像すると、コンピュータ２０は次の居眠り運転予防処理ルーチンを実行する。

図４は、第１の実施形態の居眠り運転予防処理ルーチンを示すフローチャートである。

ステップＳ１では、次の各しきい値が設定される。

長閉眼しきい値ｉ_th＝ａ
長閉眼積算時間しきい値（Σｊ）_th＝ｂ
警報時間しきい値ｋ_th＝ｃ
閉眼しきい値Ｌ_th ＝ｄ

ステップＳ２では、各パラメータが初期化される。
閉眼カウント値（閉眼時間）ｉ＝０
長閉眼持続カウント値（長閉眼持続時間）ｊ＝０
警報時間ｋ＝０

ステップＳ３では、開閉眼検出部３１は、カメラ１０で撮像された運転者の顔画像に対して画像処理を行うことにより、運転者の眼の開閉状態を検出する。例えば、開閉眼検出部３１は、覚醒時に予め記憶した運転者の瞳の長さに対する現在の瞳の長さの割合（眼の開度）を算出し、眼の開度から眼の閉度Ｌ（＝１−開度）を算出する。なお、眼の閉度Ｌの算出方法は公知であり、特に限定されるものではない。

ステップＳ４では、閉眼判定部３２は、開閉眼検出部３１で検出された眼の閉度Ｌに基づいて、閉眼状態であるか開眼状態であるかを判定する。具体的には、閉眼判定部３２は、眼の閉度Ｌと閉眼しきい値Ｌ_thとを比較する。

図５は、閉眼しきい値Ｌ_thに対する閉度Ｌを示す図である。閉眼判定部３２は、閉度Ｌが閉眼しきい値Ｌ_ｔｈを超えたときに閉眼状態と判定し、閉度Ｌが閉眼しきい値Ｌ_ｔｈを超えていないときに開眼状態と判定する。そして、閉眼状態と判定されたときはステップＳ５に進み、開眼状態と判定されたときはステップＳ９に進む。

ステップＳ５では、長閉眼判定部３３は長閉眼判定を行う。具体的には、長閉眼判定部３３は、閉眼カウント値ｉが長閉眼しきい値ｉ_thを超えたかを判定し、超えたときは長閉眼状態と判定し、超えていないときは長閉眼状態でないと判定する。そして、長閉眼状態と判定されたときはステップＳ７に進み、長閉眼状態でないと判定されたときはステップＳ６に進む。

ステップＳ６では、閉眼カウント値ｉがインクリメントされて（ｉ＝ｉ＋１）、ステップＳ３に戻る。これにより、ステップＳ３〜Ｓ６までが繰り返し実行され、閉眼カウント値ｉが長閉眼しきい値ｉ_thを超えたとき、すなわち閉眼時間が所定時間を超えたときに、ステップＳ７に進む。

ステップＳ７では、長閉眼持続カウント値ｊがインクリメントされる（ｊ＝ｊ＋１）。ここで、長閉眼持続カウント値ｊは、長閉眼と判定されたとき（ステップＳ５の肯定判定のとき）からカウントアップされるため、長閉眼が持続している時間（長閉眼持続時間）を表している。

ステップＳ８では、長閉眼判定部３３は、運転者に注意を喚起すべく、注意喚起装置４０を作動させて、ステップＳ３に戻る。これにより、ステップＳ４で否定判定になるまで、すなわち運転者が開眼するまで、ステップＳ３〜Ｓ５及びＳ７〜Ｓ８までが繰り返し実行され、注意喚起装置４０が連続的に作動する。

一方、ステップＳ９では、長閉眼判定部３３は、注意喚起装置４０による注意喚起の作動をオフにする。よって、注意喚起装置４０は、運転者が開眼すると注意喚起を停止する。

ステップＳ１０では、長閉眼時間記憶部３４は、直前の長閉眼カウント値ｊ、すなわち長閉眼持続時間を記憶する。

ステップＳ１１では、長閉眼時間積算部３５は、長閉眼時間記憶部３４に記憶されている長閉眼持続時間ｊのうち、現在から一定期間前までの過去の長閉眼持続時間ｊを積算して、積算時間Σｊを算出する。

図６は、積算範囲を示す図である。積算範囲は、現在から一定時間前までの範囲で表される。よって、現在の時刻が変化すれば、積算範囲もその変化分だけシフトして、積算時間Σｊも変化する。

ステップＳ１２では、警報判定部３６は、長閉眼持続時間ｊがゼロより大きいかを判定し、肯定判定のときはステップＳ１３に進み、否定判定のときはステップＳ２に戻る。

ステップＳ１３では、警報判定部３６は、警報を発するか否かの警報判定を行う。具体的には、警報判定部３６は、長閉眼時間積算部３５で算出された積算時間Σｊが積算時間しきい値（Σｊ）_thを超えたか否かを判定する。そして、肯定判定のときはステップＳ１４に進み、否定判定のときはステップＳ２に戻る。したがって、警報判定部３６は、ステップＳ４の否定判定を経て、つまり運転者が開眼状態になっているときに警報判定を行う。これにより、運転者が閉眼状態になっているときに警報は発せられないので、運転者が突然の警報で驚くのを防止できる。

ステップＳ１４では、警報判定部３６は、警報装置５０を作動させて、運転者に対して警報を発する。

ステップＳ１５では、警報判定部３６は、警報時間を判定すべく、警報時間ｋが警報時間しきい値ｋ_thを超えているか否かを判定し、否定判定のときはステップＳ１６に進み、肯定判定のときはステップＳ１７に進む。

ステップＳ１６では、警報時間ｋがインクリメントされて（ｋ＝ｋ＋１）、ステップＳ１５に戻る。これにより、警報時間ｋが警報時間しきい値ｋ_thを超えるまで、ステップＳ１５及びＳ１６が繰り返し実行される。

ステップＳ１７では、警報判定部３６は、警報装置５０の作動をオフにして、ステップＳ２に戻る。よって、警報が所定時間発せられた後は、再びステップＳ２から処理が実行される。

以上のように、第１の実施形態に係る居眠り運転予防装置は、運転者が長時間閉眼しているときに注意を喚起し、長閉眼持続時間の積算時間が所定時間を超え、かつ運転者が開眼したときに運転者に対して警報を発する。これにより、居眠り運転予防装置は、運転者に対して居眠りの注意を喚起させるだけでなく、更に運転者を驚かせることなく警報を発することができる。

すなわち、居眠り運転予防装置は、閉眼時間の情報を運転者に与えているので、眼が長く閉じていれば危険であるということを運転者に直感的に理解させることができる。また、居眠り運転予防装置は、長閉眼持続時間の積算時間が所定時間を超えたときに、閉眼状態から開眼するタイミングで運転者に体感的な刺激を与えて警報を発することにより、感覚的に危険を知らせることができる。一方、運転者は、居眠り運転予防装置が何を検出しているかを容易に認識できるため、居眠り運転予防装置への理解度が高まり、信頼することができるようになる。

［第２の実施形態］
つぎに、本発明の第２の実施形態について説明する。なお、第１の実施形態と同一の部位には同一の符号を付し、主に異なる部分について説明する。

図７は、第２の実施形態に係る居眠り運転予防装置のコンピュータ２０の機能的な構成を示すブロック図である。コンピュータ２０は、図２に示す構成に対して、更にしきい値変更部３７を追加したものである。

以上のように構成された居眠り運転予防装置において、カメラ１０が運転者の顔を撮像すると、コンピュータ２０は次の居眠り運転予防処理ルーチンを実行する。

図８は、第２の実施形態の居眠り運転予防処理ルーチンを示すフローチャートである。本ルーチンは、図４のステップＳ１１とステップＳ１２の間にステップＳ２０を実行するものである。

ステップＳ２０では、しきい値変更部３７は、長閉眼時間積算部３５で算出された積算時間Σｊを用いて長閉眼しきい値ｉ_thを算出する。

図９は、ｉ_thを算出するための関数ｆ（Σｊ）を示す図である。関数ｆによると、Σｊが０からｂ_１までのときは長閉眼しきい値ｉ_thは最大値ａ_maxとなる。Σｊがｂ_１からｂ_２までのときは長閉眼しきい値ｉ_thは単調に減少する。そして、Σｊがｂ_２以上のときは長閉眼しきい値ｉ_thは最小値ａ_minとなる。

そして、しきい値変更部３７で算出された長閉眼しきい値ｉ_thは、長閉眼判定部３３（ステップＳ５）において用いられる。

図１０は、時間と共に眠気度が大きくなるときの注意喚起の頻度を示す図である。図９に示したΣｊは眠気度に対応している。よって、眠気度が小さいときは、長閉眼しきい値ｉ_thが最大値ａ_maxになるので、注意喚起の頻度が少なく、運転者が煩わしいと感じることが少ない。一方、眠気度が大きくなると、Σｊが増加するので、長閉眼しきい値ｉ_thが最小値ａ_minに向かって小さくなる。これにより、Σｊが増加し易くなり、加速度的に注意喚起の頻度が増加し、最終的に警報のタイミングが早まる。逆に、眠気が覚めて開眼状態が続くと、Σｊが減少し、長閉眼しきい値ｉ_thが大きくなるので、注意喚起の頻度が減少し、警報のタイミングも遅くなる。

このように長閉眼持続時間を用いた注意喚起の頻度は、運転者の眠気認識には重要な情報となる。

図１１は、眠気の状態に応じた一般的な閉眼時間に対する閉眼頻度を示す図である。眠気のないときは瞬きが早く（閉眼時間が短く）なるが、眠気があるときは、瞬きが遅く（閉眼時間が長く）なり、閉眼時間が長くなる状態の発生頻度が高くなる。

そこで、居眠り運転予防装置は、図１０に示すように、眠気が進行すると注意喚起の頻度を短くするので、運転者に感覚的な眠気の進行を知らせることができる。そして、運転者は、自身の眠気の自覚との対応をとって、眠気を確認することができる。これは、居眠り運転予防装置と運転者が閉眼情報を共有することである。

したがって、居眠り運転予防装置が過去の閉眼時間を用いて警報を与えたときに、運転者は警報を早く認知することができ適切な車両操作に対応できるようになる。

以上のように、第２の実施形態に係る居眠り運転予防装置は、急速に眠気が進んだ場合にΣｊが増加するので注意喚起や警報が遅れるのを防止することができる。また、上記居眠り運転予防装置は、急速に眠気が覚めた場合には、注意喚起や警報のタイミングを遅らせることにより、運転者に煩わしさを感じさせないようにすることができる。

さらに、居眠り運転予防装置は、眠気が進行して警報を発する場合でも、第１の実施形態と同様に開眼のタイミングで警報を発するので、突然の警報によって運転者が驚くのを防止することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上の変更をされたものにも適用可能であるのは勿論である。

本発明の第１の実施形態に係る居眠り運転予防装置の構成を示すブロック図である。 コンピュータの機能的な構成を示すブロック図である。 注意喚起装置及び警報装置の一例を示す図である。 第１の実施形態の居眠り運転予防処理ルーチンを示すフローチャートである。 閉眼しきい値Ｌ_thに対する閉度Ｌを示す図である。 積算範囲を示す図である。 第２の実施形態に係る居眠り運転予防装置のコンピュータの機能的な構成を示すブロック図である。 第２の実施形態の居眠り運転予防処理ルーチンを示すフローチャートである。 ｉ_thを算出するための関数ｆ（Σｊ）を示す図である。 時間と共に眠気度が大きくなるときの注意喚起の頻度を示す図である。 眠気の状態に応じた一般的な閉眼時間に対する閉眼頻度を示す図である。

符号の説明

１０ カメラ
２０ コンピュータ
３１ 開閉眼検出部
３２ 閉眼判定部
３３ 長閉眼判定部
３４ 長閉眼時間記憶部
３５ 長閉眼時間積算部
３６ 警報判定部
３７ しきい値変更部
４０ 注意喚起装置
５０ 警報装置

Claims (5)

1. 車両の運転者の顔画像を撮像する撮像手段と、
   前記撮像手段により撮像された運転者の顔画像に基づいて、前記運転者の開眼又は閉眼を判定する開閉眼判定手段と、
   前記開閉眼判定手段の判定結果に基づいて、前記運転者が所定時間以上閉眼しているかを判定する長閉眼判定手段と、
   前記長閉眼判定手段により前記運転者が所定時間以上閉眼していると判定された時から、前記開閉眼検出手段により開眼が検出される時まで、前記運転者に注意を喚起する注意喚起手段と、
   前記開閉眼検出手段により開眼が検出された後に、前記運転者に警報を発する警報手段と、
   を備えた居眠り運転予防装置。
2. 現在から過去の一定期間前まで、前記運転者が所定時間以上閉眼した長閉眼持続時間を積算して積算時間を算出する積算時間算出手段を更に備え、
   前記警報手段は、前記積算時間算出手段により算出された積算時間が所定の積算時間しきい値を超え、かつ前記開閉眼検出手段により開眼が検出された後に、前記運転者に警報を発する
   請求項１記載の居眠り運転予防装置。
3. 前記積算時間算出手段により算出された積算時間に基づいて長閉眼しきい値を設定する長閉眼しきい値設定手段を更に備え、
   前記長閉眼判定手段は、前記開閉眼判定手段により前記運転者が閉眼していると判定された時間が、前記長閉眼しきい値設定手段により設定された長閉眼しきい値を超えた場合に、前記運転者が所定時間以上閉眼していると判定する
   請求項２に記載の居眠り運転予防装置。
4. 前記長閉眼しきい値設定手段は、前記積算時間が長くなるに従って前記長閉眼しきい値を小さくする
   請求項３記載の居眠り運転予防装置。
5. コンピュータを、
   撮像手段により撮像された運転者の顔画像に基づいて、前記運転者の開眼又は閉眼を判定する開閉眼判定手段、
   前記開閉眼判定手段の判定結果に基づいて、前記運転者が所定時間以上閉眼しているかを判定する長閉眼判定手段、
   前記長閉眼判定手段により前記運転者が所定時間以上閉眼していると判定された時から、前記開閉眼検出手段により開眼が検出される時まで、前記運転者に注意を喚起するように注意喚起手段を制御する注意喚起制御手段、
   前記開閉眼検出手段により開眼が検出された後に、前記運転者に警報を発するように警報手段を制御する警報制御手段、
   として機能させる居眠り運転予防プログラム。

Images