JP3812355B2

JP3812355B2 - 運転注意力検出装置および居眠り運転検出装置

Info

Publication number: JP3812355B2
Application number: JP2001082904A
Authority: JP
Inventors: 雅之金田
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2001-03-22
Filing date: 2001-03-22
Publication date: 2006-08-23
Anticipated expiration: 2021-03-22
Also published as: JP2002279411A

Description

【０００１】
【発明の属する技術分野】
この発明は、運転者の顔の画像データを処理して運転注意力や居眠り状態を検出する運転注意力検出装置および居眠り運転検出装置に関する。
【０００２】
【従来の技術】
従来の居眠り運転検出装置としては、例えば特開平１０−４０３６１号や特開平１０−１４３６６９号公報に記載されたようなものがある。これら公報記載のものは、運転者の顔画像から眼の位置を検出し、その後、眼の追跡をしながら開閉眼検出を行い、眼を閉じている時間が所定以上になったことを判定して居眠り状態を検出している。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記した従来の技術では、運転注意力が高く安全確認などを頻繁に行っているような状況下では、顔の動きが大きくかつ速くなるため、眼を正しく捉え続けることが難しくなり、眼の検出精度や、眼の追跡精度が悪化することになる。このため、単位時間当たりで考えると、少ない開閉眼判定結果や、誤った眼の開度値を用いた居眠り検出を行わざるを得なくなり、居眠り検出精度を高く維持できなくなって、誤警報を発生する可能性がある。
【０００４】
そこで、この発明は、運転注意力や居眠り検出精度を向上させることを目的としている。
【０００５】
【課題を解決するための手段】
前記目的を達成するために、請求項１の発明は、運転者の顔の画像データを処理して運転注意力を検出する運転注意力検出装置において、前記運転者の顔画像を撮影する画像撮影手段と、この画像撮影手段が撮影した画像全体から眼の位置を検出する眼の位置検出手段と、前記撮影した各画像データ毎に、前記眼の位置検出手段による眼の検出が成功したかどうかを判定し、その成功回数をカウントアップする眼の検出ＯＫ数積算手段と、所定時間を計測する所定時間計測手段と、この所定時間計測手段による所定時間計測値に対する前記眼の検出ＯＫ数積算手段による眼の検出ＯＫ数積算値に基づく眼の検出ＯＫ率を演算する眼の検出ＯＫ率演算手段と、この眼の検出ＯＫ率演算手段の演算結果から運転者の注意力を検出する運転注意力検出手段とを有する構成としてある。
【０００６】
請求項２の発明は、運転者の顔の画像データを処理して運転注意力を検出する運転注意力検出装置において、前記運転者の顔画像を撮影する画像撮影手段と、この画像撮影手段が撮影した画像全体から眼の位置を検出する眼の位置検出手段と、前記画像全体からの眼の位置検出手段で検出した眼の位置を基準に少なくとも片方の眼を含む領域を設定する所定領域設定手段と、この所定領域設定手段が設定した所定領域内において眼の位置を検出する所定領域内眼の位置検出手段と、前記撮影した各画像データ毎に、前記所定領域内眼の位置検出手段による眼の検出が成功したかどうかを判定し、その成功回数をカウントアップする眼の検出ＯＫ数積算手段と、所定時間を計測する所定時間計測手段と、この所定時間計測手段による所定時間計測値に対する前記眼の検出ＯＫ数積算手段による眼の検出ＯＫ数積算値に基づく眼の検出ＯＫ率を演算する眼の検出ＯＫ率演算手段と、この眼の検出ＯＫ率演算手段の演算結果から運転者の注意力を検出する運転注意力検出手段とを有する構成としてある。
【０００７】
請求項３の発明は、請求項２の発明の構成において、所定領域設定手段による所定領域の設定を、マニュアル操作により解除する解除手段を設けた構成としてある。
【０００８】
請求項４の発明は、請求項２の発明の構成において、所定領域設定手段による所定領域の設定を、眼の検出ＯＫ率演算手段による眼の検出ＯＫ率の演算結果により解除する解除手段を設けた構成としてある。
【０００９】
請求項５の発明は、運転者の顔の画像データを処理して運転注意力を検出する運転注意力検出装置において、前記運転者の顔画像を撮影する画像撮影手段と、この画像撮影手段が撮影した画像全体から眼の位置を検出する眼の位置検出手段と、この眼の位置検出手段で検出した眼の位置を基準に眼の追跡領域を設定し、前記撮影した各画像データ毎に眼の追跡領域を更新する眼の追跡処理手段と、この眼の追跡処理手段による眼の追跡処理が正しく行われているかどうかを確認しながら眼の追跡時間を積算していく眼の追跡時間積算手段と、所定時間を計測する所定時間計測手段と、この所定時間計測手段による所定時間計測値に対する前記眼の追跡時間積算手段による眼の追跡時間積算値に基づく眼の追跡時間率を演算する眼の追跡時間率演算手段と、この眼の追跡時間率演算手段の演算結果から運転者の注意力を検出する運転注意力検出手段とを有する構成としてある。
【００１０】
請求項６の発明は、請求項１ないし５のいずれかの発明の構成において、運転注意力検出手段に車両状態検出センサの信号を入力し、車両の走行状態に応じて運転注意力判定基準を切り替えるようにした構成としてある。
【００１１】
請求項７の発明は、請求項１ないし６のいずれかの発明の構成において、運転注意力検出手段に個人データの記憶内容を入力し、運転行動の個人情報に応じて運転注意力判定基準を切り替えるようにした構成としてある。
【００１２】
請求項８の発明は、請求項１ないし７のいずれかの発明の構成において、運転注意力検出手段に車室内光環境計測センサの信号を入力し、車室内の光環境の悪化を推定して眼の検出ができないことを判定するようにした構成としてある。
【００１３】
請求項９の発明は、運転者の顔の画像データを処理して居眠り運転を検出する居眠り運転検出装置において、前記運転者の顔画像を撮影する画像撮影手段と、この画像撮影手段が撮影した画像全体から眼の位置を検出する眼の位置検出手段と、前記撮影した各画像データ毎に、前記眼の位置検出手段による眼の検出が成功したかどうかを判定し、その成功回数をカウントアップする眼の検出ＯＫ数積算手段と、所定時間を計測する所定時間計測手段と、この所定時間計測手段による所定時間計測値に対する前記眼の検出ＯＫ数積算手段による眼の検出ＯＫ数積算値に基づく眼の検出ＯＫ率を演算する眼の検出ＯＫ率演算手段と、この眼の検出ＯＫ率演算手段の演算結果から運転者の注意力を検出する運転注意力検出手段と、前記眼の位置検出手段により眼の位置検出に成功したときに眼の開度値を算出する眼の開度値算出手段と、この眼の開度値算出手段によって得られる値を用いて開閉眼判定を行う開閉眼判定手段と、この開閉眼判定手段の開閉眼判定結果に基づいて、前記運転注意力検出手段が検出した運転注意力に応じた居眠り検出を行う居眠り検出手段とを有する構成としてある。
【００１４】
請求項１０の発明は、運転者の顔の画像データを処理して居眠り運転を検出する居眠り運転検出装置において、前記運転者の顔画像を撮影する画像撮影手段と、この画像撮影手段が撮影した画像全体から眼の位置を検出する眼の位置検出手段と、前記画像全体からの眼の位置検出手段で検出した眼の位置を基準に少なくとも片方の眼を含む領域を設定する所定領域設定手段と、この所定領域設定手段が設定した所定領域内において眼の位置を検出する所定領域内眼の位置検出手段と、前記撮影した各画像データ毎に、前記所定領域内眼の位置検出手段による眼の検出が成功したかどうかを判定し、その成功回数をカウントアップする眼の検出ＯＫ数積算手段と、所定時間を計測する所定時間計測手段と、この所定時間計測手段による所定時間計測値に対する前記眼の検出ＯＫ数積算手段による眼の検出ＯＫ数積算値に基づく眼の検出ＯＫ率を演算する眼の検出ＯＫ率演算手段と、この眼の検出ＯＫ率演算手段の演算結果から運転者の注意力を検出する運転注意力検出手段と、前記所定領域内眼の位置検出定手段により眼の検出に成功したときに眼の開度値を算出する眼の開度値算出手段と、この眼の開度値算出手段によって得られる値を用いて開閉眼判定を行う開閉眼判定手段と、この開閉眼判定手段の開閉眼判定結果に基づいて、前記運転注意力検出手段が検出した運転注意力に応じた居眠り検出を行う居眠り検出手段とを有する構成としてある。
【００１５】
請求項１１の発明は、運転者の顔の画像データを処理して居眠り運転を検出する居眠り運転検出装置において、前記運転者の顔画像を撮影する画像撮影手段と、この画像撮影手段が撮影した画像全体から眼の位置を検出する眼の位置検出手段と、この眼の位置検出手段で検出した眼の位置を基準に眼の追跡領域を設定し、前記撮影した各画像データ毎に眼の追跡領域を更新する眼の追跡処理手段と、この眼の追跡処理手段による眼の追跡処理が正しく行われているかどうかを確認しながら眼の追跡時間を積算していく眼の追跡時間積算手段と、所定時間を計測する所定時間計測手段と、この所定時間計測手段による所定時間計測値に対する前記眼の追跡時間積算手段による眼の追跡時間積算値に基づく眼の追跡時間率を演算する眼の追跡時間率演算手段と、この眼の追跡時間率演算手段の演算結果から運転者の注意力を検出する運転注意力検出手段と、眼の追跡処理が正しく行われているときに眼の開度値を算出する眼の開度値算出手段と、この眼の開度値算出手段によって得られる値を用いて開閉眼判定を行う開閉眼判定手段と、この開閉眼判定手段の開閉眼判定結果に基づいて、前記運転注意力検出手段が検出した運転注意力に応じた居眠り検出を行う居眠り検出手段とを有する構成としてある。
【００１６】
請求項１２の発明は、請求項１ないし４，６ないし８のいずれかの発明の構成において、運転注意力検出手段は、眼の検出ＯＫ率演算手段による眼の検出ＯＫ率が低い状態よりも高い状態のときに運転者の注意力が低下しているとするよう運転注意力を検出する構成としてある。
請求項１３の発明は、請求項９または１０の発明の構成において、運転注意力検出手段は、眼の検出ＯＫ率演算手段による眼の検出ＯＫ率が低い状態よりも高い状態のときに運転者の注意力が低下しているとするよう運転注意力を検出する構成としてある。
【発明の効果】
請求項１の発明によれば、所定時間における眼の検出ＯＫ率を演算して運転注意力を検出するようにしたため、安全確認などによって顔が頻繁に動いている状態を判定でき、運転注意力を高精度に検出することができる。
【００１７】
請求項２の発明によれば、画像全体からの眼の位置検出を初期状態に限定し、以降の処理は検出した眼を含む所定領域内で行うようにしたため、眼の位置検出処理を短時間で行うことができ、眼の検出精度も向上させることができる。
【００１８】
請求項３の発明によれば、所定領域設定手段による所定領域の設定をマニュアル操作による解除する解除手段を設け、画像全体からの眼の位置検出を任意に行えるようにしたため、運転者の姿勢の崩れや、運転者の交替などで眼の位置がズレてしまった場合に対応させることができる。
【００１９】
請求項４の発明によれば、所定領域設定手段による所定領域の設定を眼の検出ＯＫ率の演算結果により解除する解除手段を設け、画像全体からの眼の位置検出を自動的に行えるようにしたため、運転者の姿勢の崩れや、運転者の交替などで眼の位置がズレてしまった場合に対応させることができる。
【００２０】
請求項５の発明によれば、画像全体からの眼の位置検出を初期状態に限定し、以降の処理は眼の追跡処理に切り替えるようにしたため、眼の検出処理を短時間で行うことができ、請求項１および２で用いている眼の検出ＯＫ率と同等の意味合いを持つ眼の追跡時間率を高い精度で演算することができる。
【００２１】
請求項６の発明によれば、運転注意力検出手段に車両状態検出センサの信号を入力し、車両の走行状態に応じて運転注意力判定基準を切り替えるようにしたため、市街地走行など安全確認頻度が高い場合と、高速道路走行など比較的安全確認頻度が低い場合とを区別することができ、運転注意力の検出精度をさらに向上させることができる。
【００２２】
請求項７の発明によれば、運転注意力検出手段に個人データの記憶内容を入力し、運転行動の個人情報に応じて運転注意力判定基準を切り替えるようにしたため、各種走行シーンに応じた運転者の安全確認頻度や確認方法の個人差に対応することができ、運転注意力の検出精度をさらに向上させることができる。
【００２３】
請求項８の発明によれば、運転注意力検出手段に車室内光環境計測センサの信号を入力し、車室内の光環境の悪化を推定して眼の検出ができないことを判定するようにしたため、運転注意力の検出精度をさらに向上させることができる。
【００２４】
請求項９の発明によれば、所定時間における眼の検出ＯＫ率を演算して運転注意力を検出するようにしたため、安全確認などによって顔が頻繁に動いている状態を判定でき、運転注意力を高精度に検出することができるとともに、運転注意力に応じて居眠り検出を行えるようにしたため、安全確認などで顔の動く頻度が高いときは居眠り検出レベルを下げ、顔の動く頻度が低下したときには居眠り検出レベルを上げることで、居眠り検出精度を向上させることができる。
【００２５】
請求項１０の発明によれば、画像全体からの眼の位置検出を初期状態に限定し、以降の処理は検出した眼を含む所定領域内で行うようにしたため、眼の位置検出処理を短時間で行うことができ、眼の検出精度も向上させることができるとともに、運転注意力に応じた居眠り検出を行えるようにしたため、安全確認などで顔の動く頻度が高いときは居眠り検出レベルを下げ、顔の動く頻度が低下したときには居眠り検出レベルを上げることで、居眠り検出精度を向上させることができる。
【００２６】
請求項１１の発明によれば、画像全体からの眼の位置検出を初期状態に限定し、以降の処理は眼の追跡処理に切り替えるようにしたため、眼の検出処理を短時間で行うことができ、請求項１および２で用いている眼の検出ＯＫ率と同等の意味合いを持つ眼の追跡時間率を高い精度で演算することができるとともに、運転注意力に応じた居眠り検出を行えるようにしたため、安全確認などで顔の動く頻度が高いときは居眠り検出レベルを下げ、顔の動く頻度が低下したときには居眠り検出レベルを上げることで、居眠り検出精度を向上させることができる。
請求項１２の発明または請求項１３の発明によれば、運転注意力検出手段は、眼の検出ＯＫ率演算手段による眼の検出ＯＫ率が低い状態よりも高い状態のときに運転者の注意力が低下しているとするよう運転注意力を検出するようにしたため、安全確認などによって顔が頻繁に動いている状態を判定でき、運転注意力を高精度に検出することができる。
【００２７】
【発明の実施の形態】
以下、この発明の実施の形態を図面に基づき説明する。
【００２８】
図１は、この発明の第１の実施形態を示す運転注意力検出装置の全体構成図である。自動車１のインストルメントパネル３には、運転者５の顔部分を正面から撮影する画像撮影手段としてのＴＶカメラ７が設置されている。ＴＶカメラ７には、Ａ−Ｄ変換器９，画像メモリ１１，画像データ演算回路１３，眼の位置検出手段としての眼の位置検出回路１５，眼の検出ＯＫ数積算手段および眼の検出ＯＫ率演算手段を含む眼の検出ＯＫ時間率演算回路１９，運転注意力検出手段としての運転注意力検出回路２１が順次接続されている。
【００２９】
ＴＶカメラ７で撮影されたアナログ画像は、Ａ−Ｄ変換器９を介してデジタル量の入力画像データとして画像メモリ１１に入力され格納される。
【００３０】
画像データ演算回路１３は、画像メモリ１１に格納された画像データに対して前処理を行いコンピュータ処理に適した状態にデータ変換を行う。眼の位置検出回路１５は、画像データ演算回路１３で変換された画像データを対象として運転者５の眼の位置を検出する。眼の検出ＯＫ時間率演算回路１９は、時系列的に取り込まれる各画像データの眼の検出ＯＫ時間率を演算する。運転注意力検出回路２１は、眼の検出ＯＫ時間率演算回路１９の演算結果に基づいて運転注意力を検出する。
【００３１】
上記した画像データ演算回路１３，眼の位置検出回路１５，眼の検出ＯＫ時間率演算回路１９，運転注意力検出回路２１は、ＣＰＵ，ＲＯＭ，ＲＡＭなどからなるマイクロコンピュータで構成され、このマイクロコンピュータは、所定時間を計測する所定時間計測手段としての図示しないタイマを内蔵している。
【００３２】
次に、上記構成による運転注意力検出装置の動作の流れを、図２のフローチャートおよび図３〜５の説明図を用いて説明する。ＴＶカメラ７で撮影された画像が、Ａ−Ｄ変換器９および画像メモリ１１を経て画像データ演算回路１３に入力される。ここで、所定時間を計測するタイマをスタートさせ（ステップ２０１）、画像全体からの眼の位置検出を眼の位置検出回路１５で行い、検出に成功したか否かを眼の検出ＯＫ時間率演算回路１９により判定する（ステップ２０２）。
【００３３】
画像全体からの眼の位置検出例を図３で説明すると、同図（ａ）に示すように、運転者５が車両前方を注視しているときは、眼の存在する領域がある領域内に留まり、また、眼の形や眉，鼻，口などとの相対位置関係も定義付けて眼の位置検出をすることができる。一方図３（ｂ）に示すように、運転者５が安全確認などにより車両前方以外を見ているときは、前述した定義付けられた条件では眼の検出ができない状態となる。
【００３４】
前記ステップ２０２で、画像全体からの眼の位置検出に成功したときは、眼の検出ＯＫ時間率演算回路１９における眼の検出ＯＫカウンタのカウントアップを行う（ステップ２０３）。逆に、ステップ２０２で眼の位置検出に失敗したときは、運転者５が前を見ていなかったものとし、タイマによる所定時間が経過したかどうか判定する（ステップ２０４）。
【００３５】
ここで、所定時間が経過していない場合は、前記ステップ２０２に戻り同様の処理を繰り返す。上記ステップ２０４で、所定時間が経過したと判定された場合は、所定時間内での眼の検出ＯＫ積算値に基づき判定された眼の検出ＯＫ率を眼の検出ＯＫ時間率演算回路１９で演算し（ステップ２０５）、この演算結果を用いて運転者５の運転注意力を検出する（ステップ２０６）。
【００３６】
この運転注意力の検出方法を図４および図５を用いて説明する。図４は所定区間Ｎの１フレーム毎の眼の検出結果を示したものである。ＯＫと表示しているものは、図３（ａ）のように運転者５が前を見ている状態にあったため、滞りなく眼の位置検出ができた場合であり、ＮＧと表示しているものは、図３（ｂ）のように運転者５が前方以外を見ている状態にあったため、眼の位置検出ができなかった場合である。
【００３７】
所定時間内の眼の検出ＯＫ率の演算は、所定時間内の眼の位置検出のＯＫ回数を積算することで行う。その時系列変化を示したものが図５である。図５の横軸は所定区間毎の経過時間、縦軸は所定区間内での眼の検出ＯＫ度数を示している。
【００３８】
図４の所定区間Ｎを眼の検出ＯＫ度数で図示すると図５のような関係になる。図５に示すような所定区間の眼の検出ＯＫ率（所定区間内での眼の検出ＯＫ度数）を用いることにより、運転者５が前を注視している時間比率が分かり、よって、運転者５が周囲に常に気を配り安全確認を行っている状態では眼の検出ＯＫ率が、１００％近くの値を示すことはない。
【００３９】
しかし、運転者５の覚醒度が低下し、また安全確認頻度が減少する環境下になると、顔の動きが少なくなることから所定区間内の眼の検出ＯＫ率が高い状態が続くので、運転者５の注意力が低下していると判定することができ、またこの場合居眠り運転になり易い環境下にあるとも言える。このように運転注意力が低下している場合には、音声やディスプレイ表示などにより警報を出力して運転者５に報知する。
【００４０】
図２のステップ２０６で運転注意力の検出後は、眼の検出ＯＫカウンタをクリアするとともに、タイマのリセットを行った後（ステップ２０７）、ステップ２０２に戻って次の所定時間の運転注意力の検出に移行する。
【００４１】
上記した第１の実施形態によれば、所定区間Ｎにおける眼の検出ＯＫ度数を演算した上で、運転者５の運転注意力を検出しているので、安全確認などによって顔が頻繁に動いている状態を判定でき、運転注意力を高精度に検出することができる。
【００４２】
次に、この発明の第２の実施形態による運転注意力検出装置の動作の流れを、図６に示すフローチャートおよび図７の説明図を用いて説明する。この第２の実施形態は、第１の実施形態による前記図１と同様の構成であるが、この場合、眼の位置検出回路１５は、画像全体から検出した眼の位置を基準に少なくとも片方の眼を含む領域を設定する所定領域設定手段と、この所定領域設定手段が設定した所定領域内において眼の位置を検出する所定領域内眼の位置検出手段を含んでいる。
【００４３】
図６のフローチャートは、図２のフローチャートに対し、ステップ６０２とステップ６０３を追加して画像全体からの眼の位置検出処理を初期状態に限定し、図７（ａ)および（ｂ)に示すような前方を見ている状態での眼を含む所定領域Ｓを設定し、眼の検出範囲を限定することで、眼の位置検出処理の高速化を図るとともに、眼の検出精度を向上させている。
【００４４】
ここでは、図２のフローチャートに対する図６のフローチャートの追加および変更ステップの内容を説明する。プログラムの起動後、図２のフローチャートと同様に所定時間を計測するタイマをスタートさせ（ステップ６０１）、画像全体からの眼の位置検出を眼の位置検出回路１５により行った後（ステップ６０２）、検出された眼の位置を基準に所定領域Ｓを眼の位置検出回路１５により設定する（ステップ６０３）。
【００４５】
その後、上記設定した所定領域Ｓ内を対象として眼の位置検出を繰り返し、所定領域Ｓ内での眼の位置検出に成功したかどうかを、眼の検出ＯＫ時間率演算回路１９により判定する（ステップ６０４）。ここで、眼の位置検出に成功した場合には、眼の検出ＯＫカウンタのカウントアップを行って（ステップ６０５）所定時間経過したかを判断し（ステップ６０６）、逆に眼の位置検出に失敗した場合には、所定時間経過したかの判断に移行する（ステップ６０６）。以降の処理については、図２のフローチャートと同様の動作であるため、説明は省略する。
【００４６】
このように第２の実施形態によれば、画像全体からの眼の位置検出を初期状態のみに限定し、以降の処理は検出した眼を含む所定領域Ｓ内で行うようにしたため、眼の位置検出処理を短時間で行うことができるとともに、眼の検出精度も向上させることができる。
【００４７】
次に、上記した第２の実施形態の応用例１の動作の流れを、図８のフローチャートを用いて説明する。図８のフローチャートは、図６のフローチャートに対し、ステップ８０４を追加している。構成としては、所定領域Ｓの設定をマニュアル操作によりキャンセル（解除）できる解除手段としてのリセットスイッチを設けている。所定領域Ｓの設定を解除することで、運転者５の姿勢の崩れや、運転者５の交替などで眼の位置がズレてしまった場合に対応することができる。
【００４８】
ここでは、図６のフローチャートに対する図８のフローチャートの追加ステップの内容を説明する。運転者５の姿勢が崩れたときや、運転者５が交替したときなどに、リセットスイッチを操作することによって、ステップ８０４でリセットスイッチの操作を認識し、ステップ８０２に戻って画像全体からの眼の位置検出を再度行い、眼を含む所定領域Ｓの設定に移行する（ステップ８０３）。
【００４９】
次に、第２の実施形態の応用例２の動作の流れを、図９および図１０のフローチャートを用いて説明する。図９および図１０のフローチャートは、図６のフローチャートに対し、ステップ９０４，ステップ９０８，ステップ１００２，ステップ１００３を追加して、眼の検出ＯＫ率の演算結果により、所定領域の設定を自動的にキャンセル（解除）できるようにすることで、運転者５の姿勢の崩れや、運転者５の交替などで眼の位置がズレてしまった場合に対応することができる。すなわち、この場合、眼の検出ＯＫ時間率演算回路１９は、所定領域Ｓの設定を解除する解除手段を含んでいる。
【００５０】
ここでは、図６のフローチャートに対する図９および図１０のフローチャートの追加ステップの内容を説明する。運転者５の姿勢が崩れたときや、運転者５が交替したときなどにより、既に設定されている所定領域Ｓ内に眼が定常的に入らなくなったことを、所定時間毎に眼の検出ＯＫ率が０かどうかで判定し（ステップ１００２）、眼の検出ＯＫ率が０と判定されたときに、その状況の発生数をカウントアップする（ステップ１００３）。
【００５１】
また、上記した眼の検出ＯＫ率が０の所定時間発生回数が所定値を越えたと判定されたときは（ステップ９０４）、眼の検出ＯＫ率”０”カウンタをクリアした後（ステップ９０８）、画像全体からの眼の位置検出を再度行い（ステップ９０２）、眼を含む所定領域Ｓを設定に移行する（ステップ９０３）。
【００５２】
図１１は、この発明の第３の実施形態を示す運転注意力検出装置の全体構成図である。この装置は、図１の構成における眼の検出ＯＫ時間率演算回路１９に代えて、眼の追跡時間率演算手段としての眼の追跡時間率演算回路２３を設けている。この眼の追跡時間率演算回路２３は、撮影した各画像データ毎に眼の追跡領域を更新する眼の追跡処理手段および、眼の追跡処理手段による眼の追跡処理が正しく行われているかどうかを確認しながら眼の追跡時間を積算していく眼の追跡時間積算手段を含んでいる。前記した眼の追跡時間率演算手段は、所定時間計測手段であるタイマの所定時間計測値に対する眼の追跡時間積算手段による眼の追跡時間積算値に基づき眼の追跡時間率を演算する。
【００５３】
次に、上記した第３の実施形態における運転注意力検出装置の動作の流れを、図１２のフローチャートおよび図１３，図１４，図１５の説明図を用いて説明する。まず、所定時間を計測するタイマをスタートさせ（ステップ１１０１）、所定時間が経過したかどうかを判定する（ステップ１１０２）。ここで所定時間経過していないと判定されたときは、眼の追跡領域が設定されているかどうかを眼の追跡時間率演算回路２３により判定する（ステップ１１０３）。
【００５４】
眼の追跡領域とは、図１３に示すように片方の眼を含む横長の小さめの短形領域Ｔで定義している。この追跡領域Ｔは、車両の振動など、ちょっとした眼の位置の動きに対応できる大きさとしている。ステップ１１０３で眼の追跡領域が設定されていないと判定された場合は、画像全体からの眼の位置検出処理を行う（ステップ１１０４）。
【００５５】
続いて、眼の位置検出が正しく行われたかどうかを判定する（ステップ１１０５）。例えば運転者が横を見ているような場合は、眼の検出が当然正常には行われないため、ステップ１１０２に戻り、次の画像データを対象とした眼の位置検出処理を行う。逆に、ステップ１１０５で眼が正しく検出できた場合は、眼の追跡領域を設定する（ステップ１１０６）。
【００５６】
ここで、眼の追跡方法について図１３を用いて説明する。眼の位置の検出直後、つまり第１フレームでは図１３（ａ）に示すように、検出した眼の位置を中央にして眼の追跡領域が設定される。その後、眼の追跡状態が正常かどうかが判定され（ステップ１１０７）、正常と判定されたときは、眼の追跡時間の積算を行い（ステップ１１０８）、ステップ１１０２に戻る。
【００５７】
一旦、眼の追跡領域が設定されると、ステップ１１０２からステップ１１０３ステップ１１０７までの処理を繰り返す。このループが一回転することにより、次に取り込んだ画像データ、つまり、眼の追跡を始めて第２フレームの処理に移っていることになり、図１３（ｂ）に示すようになる。図１３（ｂ）の眼の追跡領域Ｔは、第１フレームで設定された位置にあるのに対し、現在の眼の位置は２フレーム目に取り込まれた画像データであるため、顔の動きなどにより眼の中心点は目の追跡領域Ｔに対しズレてくる。しかし、眼が眼の追跡領域Ｔ内にある限り眼の追跡は行うことができる。
【００５８】
この後、眼の追跡処理が正常に行われている場合は、同様の処理を繰り返す。図１３（ｃ），（ｄ）は、第３フレーム，第４フレームでそれぞれ取り込まれる顔画像データでの眼の位置と眼の追跡領域Ｔとの位置関係を示したものである。また、ステップ１１０７で眼の追跡が正しく行われていないと判定された場合は、眼の追跡領域Ｔをクリアし（ステップ１１０９）、ステップ１１０２に戻る。
【００５９】
眼が正しく追跡できているかどうかの判定は、眼の追跡領域Ｔ内に、運転者５が車両前方を見ているときの眼の特徴量（大きさ、形、濃度値など）を持つデータが存在するか否かで行うことができる。ステップ１１０９で眼の追跡領域をクリアしてステップ１１０２に戻り、ステップ１１０３に移行した場合は、ステップ１１０４に移行して再度画像全体からの眼の位置検出処理を行うことになる。
【００６０】
この一連の処理を繰り返しているときに、ステップ１１０２でタイマによる計測時間が所定時間経過と判定されたときは、所定時間における眼の追跡時間率を眼の追跡時間率演算回路２３により演算する（ステップ１１１０）。この演算方法を図１４を用いて説明する。
【００６１】
ステップ１１０２で所定時間の経過が判定されるまでは、初期状態や、眼の追跡状態に入っても眼を見失ってしまった場合に回る眼の位置検出ループＡと、眼の検出に成功し、眼の追跡が正常に行われているときに回る眼の追跡ループＢがある。図１４の白と黒のバー状で示したものは、白い部分が、眼の検出処理でループＡを回っている時間を表しており、黒い部分が、眼の追跡処理でループＢを回っている時間を表している。
【００６２】
図１２のステップ１１０８では、所定区間の眼の追跡時間の積算を行っており、ステップ１１１０では、所定時間に占める眼の追跡時間の積算値の割合を求めている。所定時間の眼の追跡時間率の演算後は、運転注意力の検出を行うが（ステップ１１１１）、この検出処理は、図１５に示す所定区間毎の経過時間における眼の追跡時間率の変化で行っている。
【００６３】
これは、第１の実施形態と同様に、運転者５の覚醒度が低下してきたときに、安全確認などの頻度が低下し顔の動きが少なくなることを、眼の追跡時間率が高くなる傾向で捕らえている。その後、眼の追跡時間の積算値をクリアし、タイマのリセットを行い（ステップ１１１２）、各所定時間の眼の追跡時間率を演算する。
【００６４】
上記した第３の実施形態によれば、画像全体からの眼の位置検出を初期状態のみに限定し、以降の処理は眼の追跡処理に切り替えるので、眼の検出処理を短時間で行うことができ、第１の実施形態で用いている眼の検出ＯＫ率と同等の意味合いを持つ眼の追跡時間率を高い精度で演算することができる。
【００６５】
図１６は、この発明の第４の実施形態を示す運転注意力検出装置の全体構成図である。この実施形態は、第１の実施形態の構成に、車速センサや、運転者５の操作状態を検出するアクセル，ブレーキ，ステアリングの各センサや、ナビゲーションシステムなどからなる車両状態検出センサ２５を追加したものである。車両状態検出センサ２５からの信号を、運転注意力検出回路２１に入力することにより、安全確認の頻度が高い市街地走行と、比較的安全確認頻度が低い高速道路走行とを区別し、これにより運転注意力の検出精度をさらに高めることが可能となる。
【００６６】
図１７は、この発明の第５の実施形態を示す運転注意力検出装置の全体構成図である。この実施形態は、図１６に示した第４の実施形態の構成に、個人データメモリ２７を追加したものである。運転注意力検出回路２１に、車両状態検出センサ２５の信号と、個人データメモリ２７の記憶内容とを入力し、車両の走行状態や運転行動の個人情報に応じて運転注意力判定基準を切り替えられるようにし、各走行シーンに応じた運転者５の安全確認頻度や確認方法の個人差に対応することで、さらに運転注意力の検出精度を高めることが可能となる。
【００６７】
なお、図１７の構成において、車両状態検出センサ２５を設けずに、個人データメモリ２７の記憶内容のみを運転注意力検出回路２１に入力するようにしても構わない。
【００６８】
図１８は、この発明の第６の実施形態を示す運転注意力検出装置の全体構成図である。この実施形態は、図１６に示した第４の実施形態の構成に、照度センサ，天候を推定する気圧計，方位計，日時を把握するためのカレンダ機能付きの時計などからなる車室内光環境センサ２９を追加したものである。運転注意力検出回路２１に、車両状態検出センサ２５の信号と、車室内光環境センサ２９の信号を入力し、車両の走行状態に合わせ車室内の光環境の悪化を推定し、眼の検出ができない原因が運転者５の顔の動き以外にあることを判定することで、さらに運転注意力の検出精度を高めることが可能となる。
【００６９】
なお、車室内光環境センサ２９を図１７の構成に追加して設け、車両状態検出センサ２５の信号、個人データメモリ２７の記憶内容および車室内光環境センサ２９の信号を運転注意力検出回路２１にそれぞれ入力するようにしても構わない。また、図１８の構成において、車両状態検出センサ２５を設けずに、車室内光環境センサ２９の信号のみを運転注意力検出回路２１に入力するようにしても構わない。さらに、上記した図１６ないし図１８にて図１に対して追加したそれぞれの構成は、図１１に示してある眼の追跡時間率を演算する第３の実施形態に追加して構成してもよい。
【００７０】
図１９は、この発明の第７の実施形態を示す居眠り運転検出装置の全体構成図で、図２０はその動作を示すフローチャートである。この実施形態は、図１１に示した第３の実施形態に係わる運転注意力検出装置に、眼の位置検出回路１５により眼の位置検出に成功したときに眼の開度値を算出する眼の開度値算出手段としての眼の開度値算出回路３１と、この眼の開度値算出回路３１によって得られる値を用いて開閉眼判定を行う開閉眼判定手段としての開閉眼判定回路３３と、この開閉眼判定回路３３の開閉眼判定結果に基づいて、運転注意力検出回路２１が検出した運転注意力に応じた居眠り検出を行う居眠り検出手段としての居眠り検出回路３５とを追加して設けている。
【００７１】
図２０のフローチャートは、図１２に示した第３の実施形態に係わる運転注意力検出装置のフローチャートに、ステップ１８０７，ステップ１８１０，ステップ１８１１を追加し、居眠り運転検出装置に適応させたものである。
【００７２】
なお、上記図１９にて図１１に追加した各構成要素は、図１に示した第１の実施形態に追加してもよく、したがって図２０にて追加したステップ処理は、第１の実施形態および第２の実施形態にも対応できるものである。また、前記した図１６ないし図１８にて図１に対して追加したそれぞれの構成を、図１９に追加して設けても構わない。
【００７３】
この第７の実施形態では、第３の実施形態のフローチャートである図１２と異なるステップのみを説明する。ステップ１８０７では、眼の追跡領域内で捕らえられる眼のデータの開度値の算出処理を行う。ステップ１８１０では、ステップ１８０７で求めた眼の開度値を用いて開閉眼判定を行う。ステップ１８１１ではステップ１８１３で所定時間毎に検出される運転注意力に応じた居眠り検出を行う。
【００７４】
居眠り検出に運転注意力の検出結果を合わせることにより、安全確認などの頻度が低下して眼の追跡時間率が高くなったときに居眠り検出精度を上げ、また安全確認などの頻度が高く眼の追跡時間率が低いときは居眠り検出精度を下げることで、高い居眠り検出精度が確保でき、警報出力する際の誤警報を防止することができる。
【００７５】
なお、眼の位置検出、眼の追跡方法、眼の開度値の算出、開閉眼の判定方法、覚醒度の判定方法は、本出願人による「特開平１０−４０３６１号」や「特開平１０−１４３６６９号」公報により周知であるため詳細の説明は省略している。
【図面の簡単な説明】
【図１】この発明の第１の実施形態を示す運転注意力検出装置の全体構成図である。
【図２】この発明の第１の実施形態の動作を示すフローチャートである。
【図３】この発明の第１の実施形態における眼の位置検出方法に関する説明図で、（ａ）は運転者が前方を注視している状態の画像、（ｂ）は運転者が前方以外を見ている状態の画像である。
【図４】この発明の第１の実施形態の所定区間における眼の検出結果を示した眼の検出ＯＫ率の演算方法に関する説明図である。
【図５】この発明の第１の実施形態の所定区間毎の経過時間に対する所定区間内での眼の検出ＯＫ度数を示す説明図である。
【図６】この発明の第２の実施形態に係わる運転注意力検出装置の動作を示すフローチャートである。
【図７】この発明の第２の実施形態の所定領域設定方法に関する説明図で、（ａ）は運転者が前方を注視している状態の画像、（ｂ）は運転者が前方以外を見ている状態の画像である。
【図８】この発明の第２の実施形態の応用例１の動作を示すフローチャートである。
【図９】この発明の第２の実施形態の応用例２の動作を示すフローチャートである。
【図１０】この発明の第２の実施形態の応用例２の動作を示すフローチャートである。
【図１１】この発明の第３の実施形態を示す運転注意力検出装置の全体構成図である。
【図１２】この発明の第３の実施形態の動作を示すフローチャートである。
【図１３】この発明の第３の実施形態による眼の追跡領域の設定、追跡方法に関する説明図である。
【図１４】この発明の第３の実施形態の所定区間における眼の検出処理時間と眼の追跡処理時間とを示した眼の追跡時間率の演算方法に関する説明図である。
【図１５】この発明の第３の実施形態による所定区間毎の経過時間に対する所定区間内での眼の追跡時間率を示す説明図である。
【図１６】この発明の第４の実施形態を示す運転注意力検出装置の全体構成図である。
【図１７】この発明の第５の実施形態を示す運転注意力検出装置の全体構成図である。
【図１８】この発明の第６の実施形態を示す運転注意力検出装置の全体構成図である。
【図１９】この発明の第７の実施形態を示す居眠り運転検出装置の全体構成図である。
【図２０】この発明の第７の実施形態の動作を示すフローチャートである。
【符号の説明】
５運転者
７ＴＶカメラ（画像撮影手段）
１５眼の位置検出回路（眼の位置検出手段，所定領域設定手段，所定領域内眼の位置検出手段）
１９眼の検出ＯＫ時間率演算回路（眼の検出ＯＫ数積算手段、眼の検出ＯＫ率演算手段）
２１運転注意力検出回路（運転注意力検出手段）
２３眼の追跡時間率演算回路（眼の追跡処理手段、眼の追跡時間積算手段、眼の追跡時間率演算手段）
２５車両状態検出センサ
２７個人データメモリ
２９車室内光環境計測センサ
３１眼の開度値算出回路（眼の開度値算出手段）
３３開閉眼判定回路（開閉眼判定手段）
３５居眠り検出回路（居眠り検出手段）

Claims

運転者の顔の画像データを処理して運転注意力を検出する運転注意力検出装置において、前記運転者の顔画像を撮影する画像撮影手段と、この画像撮影手段が撮影した画像全体から眼の位置を検出する眼の位置検出手段と、前記撮影した各画像データ毎に、前記眼の位置検出手段による眼の検出が成功したかどうかを判定し、その成功回数をカウントアップする眼の検出ＯＫ数積算手段と、所定時間を計測する所定時間計測手段と、この所定時間計測手段による所定時間計測値に対する前記眼の検出ＯＫ数積算手段による眼の検出ＯＫ数積算値に基づく眼の検出ＯＫ率を演算する眼の検出ＯＫ率演算手段と、この眼の検出ＯＫ率演算手段の演算結果から運転者の注意力を検出する運転注意力検出手段とを有することを特徴とする運転注意力検出装置。
運転者の顔の画像データを処理して運転注意力を検出する運転注意力検出装置において、前記運転者の顔画像を撮影する画像撮影手段と、この画像撮影手段が撮影した画像全体から眼の位置を検出する眼の位置検出手段と、前記画像全体からの眼の位置検出手段で検出した眼の位置を基準に少なくとも片方の眼を含む領域を設定する所定領域設定手段と、この所定領域設定手段が設定した所定領域内において眼の位置を検出する所定領域内眼の位置検出手段と、前記撮影した各画像データ毎に、前記所定領域内眼の位置検出手段による眼の検出が成功したかどうかを判定し、その成功回数をカウントアップする眼の検出ＯＫ数積算手段と、所定時間を計測する所定時間計測手段と、この所定時間計測手段による所定時間計測値に対する前記眼の検出ＯＫ数積算手段による眼の検出ＯＫ数積算値に基づく眼の検出ＯＫ率を演算する眼の検出ＯＫ率演算手段と、この眼の検出ＯＫ率演算手段の演算結果から運転者の注意力を検出する運転注意力検出手段とを有することを特徴とする運転注意力検出装置。
所定領域設定手段による所定領域の設定を、マニュアル操作により解除する解除手段を設けたことを特徴とする請求項２記載の運転注意力検出装置。
所定領域設定手段による所定領域の設定を、眼の検出ＯＫ率演算手段による眼の検出ＯＫ率の演算結果により解除する解除手段を設けたことを特徴とする請求項２記載の運転注意力検出装置。
運転者の顔の画像データを処理して運転注意力を検出する運転注意力検出装置において、前記運転者の顔画像を撮影する画像撮影手段と、この画像撮影手段が撮影した画像全体から眼の位置を検出する眼の位置検出手段と、この眼の位置検出手段で検出した眼の位置を基準に眼の追跡領域を設定し、前記撮影した各画像データ毎に眼の追跡領域を更新する眼の追跡処理手段と、この眼の追跡処理手段による眼の追跡処理が正しく行われているかどうかを確認しながら眼の追跡時間を積算していく眼の追跡時間積算手段と、所定時間を計測する所定時間計測手段と、この所定時間計測手段による所定時間計測値に対する前記眼の追跡時間積算手段による眼の追跡時間積算値に基づく眼の追跡時間率を演算する眼の追跡時間率演算手段と、この眼の追跡時間率演算手段の演算結果から運転者の注意力を検出する運転注意力検出手段とを有することを特徴とする運転注意力検出装置。
運転注意力検出手段に車両状態検出センサの信号を入力し、車両の走行状態に応じて運転注意力判定基準を切り替えるようにしたことを特徴とする請求項１ないし５のいずれかに記載の運転注意力検出装置。
運転注意力検出手段に個人データの記憶内容を入力し、運転行動の個人情報に応じて運転注意力判定基準を切り替えるようにしたことを特徴とする請求項１ないし６のいずれかに記載の運転注意力検出装置。
運転注意力検出手段に車室内光環境計測センサの信号を入力し、車室内の光環境の悪化を推定して眼の検出ができないことを判定するようにしたことを特徴とする請求項１ないし７のいずれかに記載の運転注意力検出装置。
運転者の顔の画像データを処理して居眠り運転を検出する居眠り運転検出装置において、前記運転者の顔画像を撮影する画像撮影手段と、この画像撮影手段が撮影した画像全体から眼の位置を検出する眼の位置検出手段と、前記撮影した各画像データ毎に、前記眼の位置検出手段による眼の検出が成功したかどうかを判定し、その成功回数をカウントアップする眼の検出ＯＫ数積算手段と、所定時間を計測する所定時間計測手段と、この所定時間計測手段による所定時間計測値に対する前記眼の検出ＯＫ数積算手段による眼の検出ＯＫ数積算値に基づく眼の検出ＯＫ率を演算する眼の検出ＯＫ率演算手段と、この眼の検出ＯＫ率演算手段の演算結果から運転者の注意力を検出する運転注意力検出手段と、前記眼の位置検出手段により眼の位置検出に成功したときに眼の開度値を算出する眼の開度値算出手段と、この眼の開度値算出手段によって得られる値を用いて開閉眼判定を行う開閉眼判定手段と、この開閉眼判定手段の開閉眼判定結果に基づいて、前記運転注意力検出手段が検出した運転注意力に応じた居眠り検出を行う居眠り検出手段とを有することを特徴とする居眠り運転検出装置。
運転者の顔の画像データを処理して居眠り運転を検出する居眠り運転検出装置において、前記運転者の顔画像を撮影する画像撮影手段と、この画像撮影手段が撮影した画像全体から眼の位置を検出する眼の位置検出手段と、前記画像全体からの眼の位置検出手段で検出した眼の位置を基準に少なくとも片方の眼を含む領域を設定する所定領域設定手段と、この所定領域設定手段が設定した所定領域内において眼の位置を検出する所定領域内眼の位置検出手段と、前記撮影した各画像データ毎に、前記所定領域内眼の位置検出手段による眼の検出が成功したかどうかを判定し、その成功回数をカウントアップする眼の検出ＯＫ数積算手段と、所定時間を計測する所定時間計測手段と、この所定時間計測手段による所定時間計測値に対する前記眼の検出ＯＫ数積算手段による眼の検出ＯＫ数積算値に基づく眼の検出ＯＫ率を演算する眼の検出ＯＫ率演算手段と、この眼の検出ＯＫ率演算手段の演算結果から運転者の注意力を検出する運転注意力検出手段と、前記所定領域内眼の位置検出定手段により眼の検出に成功したときに眼の開度値を算出する眼の開度値算出手段と、この眼の開度値算出手段によって得られる値を用いて開閉眼判定を行う開閉眼判定手段と、この開閉眼判定手段の開閉眼判定結果に基づいて、前記運転注意力検出手段が検出した運転注意力に応じた居眠り検出を行う居眠り検出手段とを有することを特徴とする居眠り運転検出装置。
運転者の顔の画像データを処理して居眠り運転を検出する居眠り運転検出装置において、前記運転者の顔画像を撮影する画像撮影手段と、この画像撮影手段が撮影した画像全体から眼の位置を検出する眼の位置検出手段と、この眼の位置検出手段で検出した眼の位置を基準に眼の追跡領域を設定し、前記撮影した各画像データ毎に眼の追跡領域を更新する眼の追跡処理手段と、この眼の追跡処理手段による眼の追跡処理が正しく行われているかどうかを確認しながら眼の追跡時間を積算していく眼の追跡時間積算手段と、所定時間を計測する所定時間計測手段と、この所定時間計測手段による所定時間計測値に対する前記眼の追跡時間積算手段による眼の追跡時間積算値に基づく眼の追跡時間率を演算する眼の追跡時間率演算手段と、この眼の追跡時間率演算手段の演算結果から運転者の注意力を検出する運転注意力検出手段と、眼の追跡処理が正しく行われているときに眼の開度値を算出する眼の開度値算出手段と、この眼の開度値算出手段によって得られる値を用いて開閉眼判定を行う開閉眼判定手段と、この開閉眼判定手段の開閉眼判定結果に基づいて、前記運転注意力検出手段が検出した運転注意力に応じた居眠り検出を行う居眠り検出手段とを有することを特徴とする居眠り運転検出装置。
運転注意力検出手段は、眼の検出ＯＫ率演算手段による眼の検出ＯＫ率が低い状態よりも高い状態のときに運転者の注意力が低下しているとするよう運転注意力を検出することを特徴とする請求項１ないし４，６ないし８のいずれかに記載の運転注意力検出装置。
運転注意力検出手段は、眼の検出ＯＫ率演算手段による眼の検出ＯＫ率が低い状態よりも高い状態のときに運転者の注意力が低下しているとするよう運転注意力を検出することを特徴とする請求項９または１０に記載の居眠り運転検出装置。