JP3812355B2 - 運転注意力検出装置および居眠り運転検出装置 - Google Patents

運転注意力検出装置および居眠り運転検出装置 Download PDF

Info

Publication number
JP3812355B2
JP3812355B2 JP2001082904A JP2001082904A JP3812355B2 JP 3812355 B2 JP3812355 B2 JP 3812355B2 JP 2001082904 A JP2001082904 A JP 2001082904A JP 2001082904 A JP2001082904 A JP 2001082904A JP 3812355 B2 JP3812355 B2 JP 3812355B2
Authority
JP
Japan
Prior art keywords
eye
detection
detecting
driving
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001082904A
Other languages
English (en)
Other versions
JP2002279411A (ja
Inventor
雅之 金田
Original Assignee
日産自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日産自動車株式会社 filed Critical 日産自動車株式会社
Priority to JP2001082904A priority Critical patent/JP3812355B2/ja
Publication of JP2002279411A publication Critical patent/JP2002279411A/ja
Application granted granted Critical
Publication of JP3812355B2 publication Critical patent/JP3812355B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators

Description

【0001】
【発明の属する技術分野】
この発明は、運転者の顔の画像データを処理して運転注意力や居眠り状態を検出する運転注意力検出装置および居眠り運転検出装置に関する。
【0002】
【従来の技術】
従来の居眠り運転検出装置としては、例えば特開平10−40361号や特開平10−143669号公報に記載されたようなものがある。これら公報記載のものは、運転者の顔画像から眼の位置を検出し、その後、眼の追跡をしながら開閉眼検出を行い、眼を閉じている時間が所定以上になったことを判定して居眠り状態を検出している。
【0003】
【発明が解決しようとする課題】
しかしながら、上記した従来の技術では、運転注意力が高く安全確認などを頻繁に行っているような状況下では、顔の動きが大きくかつ速くなるため、眼を正しく捉え続けることが難しくなり、眼の検出精度や、眼の追跡精度が悪化することになる。このため、単位時間当たりで考えると、少ない開閉眼判定結果や、誤った眼の開度値を用いた居眠り検出を行わざるを得なくなり、居眠り検出精度を高く維持できなくなって、誤警報を発生する可能性がある。
【0004】
そこで、この発明は、運転注意力や居眠り検出精度を向上させることを目的としている。
【0005】
【課題を解決するための手段】
前記目的を達成するために、請求項1の発明は、運転者の顔の画像データを処理して運転注意力を検出する運転注意力検出装置において、前記運転者の顔画像を撮影する画像撮影手段と、この画像撮影手段が撮影した画像全体から眼の位置を検出する眼の位置検出手段と、前記撮影した各画像データ毎に、前記眼の位置検出手段による眼の検出が成功したかどうかを判定し、その成功回数をカウントアップする眼の検出OK数積算手段と、所定時間を計測する所定時間計測手段と、この所定時間計測手段による所定時間計測値に対する前記眼の検出OK数積算手段による眼の検出OK数積算値に基づく眼の検出OK率を演算する眼の検出OK率演算手段と、この眼の検出OK率演算手段の演算結果から運転者の注意力を検出する運転注意力検出手段とを有する構成としてある。
【0006】
請求項2の発明は、運転者の顔の画像データを処理して運転注意力を検出する運転注意力検出装置において、前記運転者の顔画像を撮影する画像撮影手段と、この画像撮影手段が撮影した画像全体から眼の位置を検出する眼の位置検出手段と、前記画像全体からの眼の位置検出手段で検出した眼の位置を基準に少なくとも片方の眼を含む領域を設定する所定領域設定手段と、この所定領域設定手段が設定した所定領域内において眼の位置を検出する所定領域内眼の位置検出手段と、前記撮影した各画像データ毎に、前記所定領域内眼の位置検出手段による眼の検出が成功したかどうかを判定し、その成功回数をカウントアップする眼の検出OK数積算手段と、所定時間を計測する所定時間計測手段と、この所定時間計測手段による所定時間計測値に対する前記眼の検出OK数積算手段による眼の検出OK数積算値に基づく眼の検出OK率を演算する眼の検出OK率演算手段と、この眼の検出OK率演算手段の演算結果から運転者の注意力を検出する運転注意力検出手段とを有する構成としてある。
【0007】
請求項3の発明は、請求項2の発明の構成において、所定領域設定手段による所定領域の設定を、マニュアル操作により解除する解除手段を設けた構成としてある。
【0008】
請求項4の発明は、請求項2の発明の構成において、所定領域設定手段による所定領域の設定を、眼の検出OK率演算手段による眼の検出OK率の演算結果により解除する解除手段を設けた構成としてある。
【0009】
請求項5の発明は、運転者の顔の画像データを処理して運転注意力を検出する運転注意力検出装置において、前記運転者の顔画像を撮影する画像撮影手段と、この画像撮影手段が撮影した画像全体から眼の位置を検出する眼の位置検出手段と、この眼の位置検出手段で検出した眼の位置を基準に眼の追跡領域を設定し、前記撮影した各画像データ毎に眼の追跡領域を更新する眼の追跡処理手段と、この眼の追跡処理手段による眼の追跡処理が正しく行われているかどうかを確認しながら眼の追跡時間を積算していく眼の追跡時間積算手段と、所定時間を計測する所定時間計測手段と、この所定時間計測手段による所定時間計測値に対する前記眼の追跡時間積算手段による眼の追跡時間積算値に基づく眼の追跡時間率を演算する眼の追跡時間率演算手段と、この眼の追跡時間率演算手段の演算結果から運転者の注意力を検出する運転注意力検出手段とを有する構成としてある。
【0010】
請求項6の発明は、請求項1ないし5のいずれかの発明の構成において、運転注意力検出手段に車両状態検出センサの信号を入力し、車両の走行状態に応じて運転注意力判定基準を切り替えるようにした構成としてある。
【0011】
請求項7の発明は、請求項1ないし6のいずれかの発明の構成において、運転注意力検出手段に個人データの記憶内容を入力し、運転行動の個人情報に応じて運転注意力判定基準を切り替えるようにした構成としてある。
【0012】
請求項8の発明は、請求項1ないし7のいずれかの発明の構成において、運転注意力検出手段に車室内光環境計測センサの信号を入力し、車室内の光環境の悪化を推定して眼の検出ができないことを判定するようにした構成としてある。
【0013】
請求項9の発明は、運転者の顔の画像データを処理して居眠り運転を検出する居眠り運転検出装置において、前記運転者の顔画像を撮影する画像撮影手段と、この画像撮影手段が撮影した画像全体から眼の位置を検出する眼の位置検出手段と、前記撮影した各画像データ毎に、前記眼の位置検出手段による眼の検出が成功したかどうかを判定し、その成功回数をカウントアップする眼の検出OK数積算手段と、所定時間を計測する所定時間計測手段と、この所定時間計測手段による所定時間計測値に対する前記眼の検出OK数積算手段による眼の検出OK数積算値に基づく眼の検出OK率を演算する眼の検出OK率演算手段と、この眼の検出OK率演算手段の演算結果から運転者の注意力を検出する運転注意力検出手段と、前記眼の位置検出手段により眼の位置検出に成功したときに眼の開度値を算出する眼の開度値算出手段と、この眼の開度値算出手段によって得られる値を用いて開閉眼判定を行う開閉眼判定手段と、この開閉眼判定手段の開閉眼判定結果に基づいて、前記運転注意力検出手段が検出した運転注意力に応じた居眠り検出を行う居眠り検出手段とを有する構成としてある。
【0014】
請求項10の発明は、運転者の顔の画像データを処理して居眠り運転を検出する居眠り運転検出装置において、前記運転者の顔画像を撮影する画像撮影手段と、この画像撮影手段が撮影した画像全体から眼の位置を検出する眼の位置検出手段と、前記画像全体からの眼の位置検出手段で検出した眼の位置を基準に少なくとも片方の眼を含む領域を設定する所定領域設定手段と、この所定領域設定手段が設定した所定領域内において眼の位置を検出する所定領域内眼の位置検出手段と、前記撮影した各画像データ毎に、前記所定領域内眼の位置検出手段による眼の検出が成功したかどうかを判定し、その成功回数をカウントアップする眼の検出OK数積算手段と、所定時間を計測する所定時間計測手段と、この所定時間計測手段による所定時間計測値に対する前記眼の検出OK数積算手段による眼の検出OK数積算値に基づく眼の検出OK率を演算する眼の検出OK率演算手段と、この眼の検出OK率演算手段の演算結果から運転者の注意力を検出する運転注意力検出手段と、前記所定領域内眼の位置検出定手段により眼の検出に成功したときに眼の開度値を算出する眼の開度値算出手段と、この眼の開度値算出手段によって得られる値を用いて開閉眼判定を行う開閉眼判定手段と、この開閉眼判定手段の開閉眼判定結果に基づいて、前記運転注意力検出手段が検出した運転注意力に応じた居眠り検出を行う居眠り検出手段とを有する構成としてある。
【0015】
請求項11の発明は、運転者の顔の画像データを処理して居眠り運転を検出する居眠り運転検出装置において、前記運転者の顔画像を撮影する画像撮影手段と、この画像撮影手段が撮影した画像全体から眼の位置を検出する眼の位置検出手段と、この眼の位置検出手段で検出した眼の位置を基準に眼の追跡領域を設定し、前記撮影した各画像データ毎に眼の追跡領域を更新する眼の追跡処理手段と、この眼の追跡処理手段による眼の追跡処理が正しく行われているかどうかを確認しながら眼の追跡時間を積算していく眼の追跡時間積算手段と、所定時間を計測する所定時間計測手段と、この所定時間計測手段による所定時間計測値に対する前記眼の追跡時間積算手段による眼の追跡時間積算値に基づく眼の追跡時間率を演算する眼の追跡時間率演算手段と、この眼の追跡時間率演算手段の演算結果から運転者の注意力を検出する運転注意力検出手段と、眼の追跡処理が正しく行われているときに眼の開度値を算出する眼の開度値算出手段と、この眼の開度値算出手段によって得られる値を用いて開閉眼判定を行う開閉眼判定手段と、この開閉眼判定手段の開閉眼判定結果に基づいて、前記運転注意力検出手段が検出した運転注意力に応じた居眠り検出を行う居眠り検出手段とを有する構成としてある。
【0016】
請求項12の発明は、請求項1ないし4,6ないし8のいずれかの発明の構成において、運転注意力検出手段は、眼の検出OK率演算手段による眼の検出OK率が低い状態よりも高い状態のときに運転者の注意力が低下しているとするよう運転注意力を検出する構成としてある。
請求項13の発明は、請求項9または10の発明の構成において、運転注意力検出手段は、眼の検出OK率演算手段による眼の検出OK率が低い状態よりも高い状態のときに運転者の注意力が低下しているとするよう運転注意力を検出する構成としてある。
【発明の効果】
請求項1の発明によれば、所定時間における眼の検出OK率を演算して運転注意力を検出するようにしたため、安全確認などによって顔が頻繁に動いている状態を判定でき、運転注意力を高精度に検出することができる。
【0017】
請求項2の発明によれば、画像全体からの眼の位置検出を初期状態に限定し、以降の処理は検出した眼を含む所定領域内で行うようにしたため、眼の位置検出処理を短時間で行うことができ、眼の検出精度も向上させることができる。
【0018】
請求項3の発明によれば、所定領域設定手段による所定領域の設定をマニュアル操作による解除する解除手段を設け、画像全体からの眼の位置検出を任意に行えるようにしたため、運転者の姿勢の崩れや、運転者の交替などで眼の位置がズレてしまった場合に対応させることができる。
【0019】
請求項4の発明によれば、所定領域設定手段による所定領域の設定を眼の検出OK率の演算結果により解除する解除手段を設け、画像全体からの眼の位置検出を自動的に行えるようにしたため、運転者の姿勢の崩れや、運転者の交替などで眼の位置がズレてしまった場合に対応させることができる。
【0020】
請求項5の発明によれば、画像全体からの眼の位置検出を初期状態に限定し、以降の処理は眼の追跡処理に切り替えるようにしたため、眼の検出処理を短時間で行うことができ、請求項1および2で用いている眼の検出OK率と同等の意味合いを持つ眼の追跡時間率を高い精度で演算することができる。
【0021】
請求項6の発明によれば、運転注意力検出手段に車両状態検出センサの信号を入力し、車両の走行状態に応じて運転注意力判定基準を切り替えるようにしたため、市街地走行など安全確認頻度が高い場合と、高速道路走行など比較的安全確認頻度が低い場合とを区別することができ、運転注意力の検出精度をさらに向上させることができる。
【0022】
請求項7の発明によれば、運転注意力検出手段に個人データの記憶内容を入力し、運転行動の個人情報に応じて運転注意力判定基準を切り替えるようにしたため、各種走行シーンに応じた運転者の安全確認頻度や確認方法の個人差に対応することができ、運転注意力の検出精度をさらに向上させることができる。
【0023】
請求項8の発明によれば、運転注意力検出手段に車室内光環境計測センサの信号を入力し、車室内の光環境の悪化を推定して眼の検出ができないことを判定するようにしたため、運転注意力の検出精度をさらに向上させることができる。
【0024】
請求項9の発明によれば、所定時間における眼の検出OK率を演算して運転注意力を検出するようにしたため、安全確認などによって顔が頻繁に動いている状態を判定でき、運転注意力を高精度に検出することができるとともに、運転注意力に応じて居眠り検出を行えるようにしたため、安全確認などで顔の動く頻度が高いときは居眠り検出レベルを下げ、顔の動く頻度が低下したときには居眠り検出レベルを上げることで、居眠り検出精度を向上させることができる。
【0025】
請求項10の発明によれば、画像全体からの眼の位置検出を初期状態に限定し、以降の処理は検出した眼を含む所定領域内で行うようにしたため、眼の位置検出処理を短時間で行うことができ、眼の検出精度も向上させることができるとともに、運転注意力に応じた居眠り検出を行えるようにしたため、安全確認などで顔の動く頻度が高いときは居眠り検出レベルを下げ、顔の動く頻度が低下したときには居眠り検出レベルを上げることで、居眠り検出精度を向上させることができる。
【0026】
請求項11の発明によれば、画像全体からの眼の位置検出を初期状態に限定し、以降の処理は眼の追跡処理に切り替えるようにしたため、眼の検出処理を短時間で行うことができ、請求項1および2で用いている眼の検出OK率と同等の意味合いを持つ眼の追跡時間率を高い精度で演算することができるとともに、運転注意力に応じた居眠り検出を行えるようにしたため、安全確認などで顔の動く頻度が高いときは居眠り検出レベルを下げ、顔の動く頻度が低下したときには居眠り検出レベルを上げることで、居眠り検出精度を向上させることができる。
請求項12の発明または請求項13の発明によれば、運転注意力検出手段は、眼の検出OK率演算手段による眼の検出OK率が低い状態よりも高い状態のときに運転者の注意力が低下しているとするよう運転注意力を検出するようにしたため、安全確認などによって顔が頻繁に動いている状態を判定でき、運転注意力を高精度に検出することができる。
【0027】
【発明の実施の形態】
以下、この発明の実施の形態を図面に基づき説明する。
【0028】
図1は、この発明の第1の実施形態を示す運転注意力検出装置の全体構成図である。自動車1のインストルメントパネル3には、運転者5の顔部分を正面から撮影する画像撮影手段としてのTVカメラ7が設置されている。TVカメラ7には、A−D変換器9,画像メモリ11,画像データ演算回路13,眼の位置検出手段としての眼の位置検出回路15,眼の検出OK数積算手段および眼の検出OK率演算手段を含む眼の検出OK時間率演算回路19,運転注意力検出手段としての運転注意力検出回路21が順次接続されている。
【0029】
TVカメラ7で撮影されたアナログ画像は、A−D変換器9を介してデジタル量の入力画像データとして画像メモリ11に入力され格納される。
【0030】
画像データ演算回路13は、画像メモリ11に格納された画像データに対して前処理を行いコンピュータ処理に適した状態にデータ変換を行う。眼の位置検出回路15は、画像データ演算回路13で変換された画像データを対象として運転者5の眼の位置を検出する。眼の検出OK時間率演算回路19は、時系列的に取り込まれる各画像データの眼の検出OK時間率を演算する。運転注意力検出回路21は、眼の検出OK時間率演算回路19の演算結果に基づいて運転注意力を検出する。
【0031】
上記した画像データ演算回路13,眼の位置検出回路15,眼の検出OK時間率演算回路19,運転注意力検出回路21は、CPU,ROM,RAMなどからなるマイクロコンピュータで構成され、このマイクロコンピュータは、所定時間を計測する所定時間計測手段としての図示しないタイマを内蔵している。
【0032】
次に、上記構成による運転注意力検出装置の動作の流れを、図2のフローチャートおよび図3〜5の説明図を用いて説明する。TVカメラ7で撮影された画像が、A−D変換器9および画像メモリ11を経て画像データ演算回路13に入力される。ここで、所定時間を計測するタイマをスタートさせ(ステップ201)、画像全体からの眼の位置検出を眼の位置検出回路15で行い、検出に成功したか否かを眼の検出OK時間率演算回路19により判定する(ステップ202)。
【0033】
画像全体からの眼の位置検出例を図3で説明すると、同図(a)に示すように、運転者5が車両前方を注視しているときは、眼の存在する領域がある領域内に留まり、また、眼の形や眉,鼻,口などとの相対位置関係も定義付けて眼の位置検出をすることができる。一方図3(b)に示すように、運転者5が安全確認などにより車両前方以外を見ているときは、前述した定義付けられた条件では眼の検出ができない状態となる。
【0034】
前記ステップ202で、画像全体からの眼の位置検出に成功したときは、眼の検出OK時間率演算回路19における眼の検出OKカウンタのカウントアップを行う(ステップ203)。逆に、ステップ202で眼の位置検出に失敗したときは、運転者5が前を見ていなかったものとし、タイマによる所定時間が経過したかどうか判定する(ステップ204)。
【0035】
ここで、所定時間が経過していない場合は、前記ステップ202に戻り同様の処理を繰り返す。上記ステップ204で、所定時間が経過したと判定された場合は、所定時間内での眼の検出OK積算値に基づき判定された眼の検出OK率を眼の検出OK時間率演算回路19で演算し(ステップ205)、この演算結果を用いて運転者5の運転注意力を検出する(ステップ206)。
【0036】
この運転注意力の検出方法を図4および図5を用いて説明する。図4は所定区間Nの1フレーム毎の眼の検出結果を示したものである。OKと表示しているものは、図3(a)のように運転者5が前を見ている状態にあったため、滞りなく眼の位置検出ができた場合であり、NGと表示しているものは、図3(b)のように運転者5が前方以外を見ている状態にあったため、眼の位置検出ができなかった場合である。
【0037】
所定時間内の眼の検出OK率の演算は、所定時間内の眼の位置検出のOK回数を積算することで行う。その時系列変化を示したものが図5である。図5の横軸は所定区間毎の経過時間、縦軸は所定区間内での眼の検出OK度数を示している。
【0038】
図4の所定区間Nを眼の検出OK度数で図示すると図5のような関係になる。図5に示すような所定区間の眼の検出OK率(所定区間内での眼の検出OK度数)を用いることにより、運転者5が前を注視している時間比率が分かり、よって、運転者5が周囲に常に気を配り安全確認を行っている状態では眼の検出OK率が、100%近くの値を示すことはない。
【0039】
しかし、運転者5の覚醒度が低下し、また安全確認頻度が減少する環境下になると、顔の動きが少なくなることから所定区間内の眼の検出OK率が高い状態が続くので、運転者5の注意力が低下していると判定することができ、またこの場合居眠り運転になり易い環境下にあるとも言える。このように運転注意力が低下している場合には、音声やディスプレイ表示などにより警報を出力して運転者5に報知する。
【0040】
図2のステップ206で運転注意力の検出後は、眼の検出OKカウンタをクリアするとともに、タイマのリセットを行った後(ステップ207)、ステップ202に戻って次の所定時間の運転注意力の検出に移行する。
【0041】
上記した第1の実施形態によれば、所定区間Nにおける眼の検出OK度数を演算した上で、運転者5の運転注意力を検出しているので、安全確認などによって顔が頻繁に動いている状態を判定でき、運転注意力を高精度に検出することができる。
【0042】
次に、この発明の第2の実施形態による運転注意力検出装置の動作の流れを、図6に示すフローチャートおよび図7の説明図を用いて説明する。この第2の実施形態は、第1の実施形態による前記図1と同様の構成であるが、この場合、眼の位置検出回路15は、画像全体から検出した眼の位置を基準に少なくとも片方の眼を含む領域を設定する所定領域設定手段と、この所定領域設定手段が設定した所定領域内において眼の位置を検出する所定領域内眼の位置検出手段を含んでいる。
【0043】
図6のフローチャートは、図2のフローチャートに対し、ステップ602とステップ603を追加して画像全体からの眼の位置検出処理を初期状態に限定し、図7(a)および(b)に示すような前方を見ている状態での眼を含む所定領域Sを設定し、眼の検出範囲を限定することで、眼の位置検出処理の高速化を図るとともに、眼の検出精度を向上させている。
【0044】
ここでは、図2のフローチャートに対する図6のフローチャートの追加および変更ステップの内容を説明する。プログラムの起動後、図2のフローチャートと同様に所定時間を計測するタイマをスタートさせ(ステップ601)、画像全体からの眼の位置検出を眼の位置検出回路15により行った後(ステップ602)、検出された眼の位置を基準に所定領域Sを眼の位置検出回路15により設定する(ステップ603)。
【0045】
その後、上記設定した所定領域S内を対象として眼の位置検出を繰り返し、所定領域S内での眼の位置検出に成功したかどうかを、眼の検出OK時間率演算回路19により判定する(ステップ604)。ここで、眼の位置検出に成功した場合には、眼の検出OKカウンタのカウントアップを行って(ステップ605)所定時間経過したかを判断し(ステップ606)、逆に眼の位置検出に失敗した場合には、所定時間経過したかの判断に移行する(ステップ606)。以降の処理については、図2のフローチャートと同様の動作であるため、説明は省略する。
【0046】
このように第2の実施形態によれば、画像全体からの眼の位置検出を初期状態のみに限定し、以降の処理は検出した眼を含む所定領域S内で行うようにしたため、眼の位置検出処理を短時間で行うことができるとともに、眼の検出精度も向上させることができる。
【0047】
次に、上記した第2の実施形態の応用例1の動作の流れを、図8のフローチャートを用いて説明する。図8のフローチャートは、図6のフローチャートに対し、ステップ804を追加している。構成としては、所定領域Sの設定をマニュアル操作によりキャンセル(解除)できる解除手段としてのリセットスイッチを設けている。所定領域Sの設定を解除することで、運転者5の姿勢の崩れや、運転者5の交替などで眼の位置がズレてしまった場合に対応することができる。
【0048】
ここでは、図6のフローチャートに対する図8のフローチャートの追加ステップの内容を説明する。運転者5の姿勢が崩れたときや、運転者5が交替したときなどに、リセットスイッチを操作することによって、ステップ804でリセットスイッチの操作を認識し、ステップ802に戻って画像全体からの眼の位置検出を再度行い、眼を含む所定領域Sの設定に移行する(ステップ803)。
【0049】
次に、第2の実施形態の応用例2の動作の流れを、図9および図10のフローチャートを用いて説明する。図9および図10のフローチャートは、図6のフローチャートに対し、ステップ904,ステップ908,ステップ1002,ステップ1003を追加して、眼の検出OK率の演算結果により、所定領域の設定を自動的にキャンセル(解除)できるようにすることで、運転者5の姿勢の崩れや、運転者5の交替などで眼の位置がズレてしまった場合に対応することができる。すなわち、この場合、眼の検出OK時間率演算回路19は、所定領域Sの設定を解除する解除手段を含んでいる。
【0050】
ここでは、図6のフローチャートに対する図9および図10のフローチャートの追加ステップの内容を説明する。運転者5の姿勢が崩れたときや、運転者5が交替したときなどにより、既に設定されている所定領域S内に眼が定常的に入らなくなったことを、所定時間毎に眼の検出OK率が0かどうかで判定し(ステップ1002)、眼の検出OK率が0と判定されたときに、その状況の発生数をカウントアップする(ステップ1003)。
【0051】
また、上記した眼の検出OK率が0の所定時間発生回数が所定値を越えたと判定されたときは(ステップ904)、眼の検出OK率”0”カウンタをクリアした後(ステップ908)、画像全体からの眼の位置検出を再度行い(ステップ902)、眼を含む所定領域Sを設定に移行する(ステップ903)。
【0052】
図11は、この発明の第3の実施形態を示す運転注意力検出装置の全体構成図である。この装置は、図1の構成における眼の検出OK時間率演算回路19に代えて、眼の追跡時間率演算手段としての眼の追跡時間率演算回路23を設けている。この眼の追跡時間率演算回路23は、撮影した各画像データ毎に眼の追跡領域を更新する眼の追跡処理手段および、眼の追跡処理手段による眼の追跡処理が正しく行われているかどうかを確認しながら眼の追跡時間を積算していく眼の追跡時間積算手段を含んでいる。前記した眼の追跡時間率演算手段は、所定時間計測手段であるタイマの所定時間計測値に対する眼の追跡時間積算手段による眼の追跡時間積算値に基づき眼の追跡時間率を演算する。
【0053】
次に、上記した第3の実施形態における運転注意力検出装置の動作の流れを、図12のフローチャートおよび図13,図14,図15の説明図を用いて説明する。まず、所定時間を計測するタイマをスタートさせ(ステップ1101)、所定時間が経過したかどうかを判定する(ステップ1102)。ここで所定時間経過していないと判定されたときは、眼の追跡領域が設定されているかどうかを眼の追跡時間率演算回路23により判定する(ステップ1103)。
【0054】
眼の追跡領域とは、図13に示すように片方の眼を含む横長の小さめの短形領域Tで定義している。この追跡領域Tは、車両の振動など、ちょっとした眼の位置の動きに対応できる大きさとしている。ステップ1103で眼の追跡領域が設定されていないと判定された場合は、画像全体からの眼の位置検出処理を行う(ステップ1104)。
【0055】
続いて、眼の位置検出が正しく行われたかどうかを判定する(ステップ1105)。例えば運転者が横を見ているような場合は、眼の検出が当然正常には行われないため、ステップ1102に戻り、次の画像データを対象とした眼の位置検出処理を行う。逆に、ステップ1105で眼が正しく検出できた場合は、眼の追跡領域を設定する(ステップ1106)。
【0056】
ここで、眼の追跡方法について図13を用いて説明する。眼の位置の検出直後、つまり第1フレームでは図13(a)に示すように、検出した眼の位置を中央にして眼の追跡領域が設定される。その後、眼の追跡状態が正常かどうかが判定され(ステップ1107)、正常と判定されたときは、眼の追跡時間の積算を行い(ステップ1108)、ステップ1102に戻る。
【0057】
一旦、眼の追跡領域が設定されると、ステップ1102からステップ1103ステップ1107までの処理を繰り返す。このループが一回転することにより、次に取り込んだ画像データ、つまり、眼の追跡を始めて第2フレームの処理に移っていることになり、図13(b)に示すようになる。図13(b)の眼の追跡領域Tは、第1フレームで設定された位置にあるのに対し、現在の眼の位置は2フレーム目に取り込まれた画像データであるため、顔の動きなどにより眼の中心点は目の追跡領域Tに対しズレてくる。しかし、眼が眼の追跡領域T内にある限り眼の追跡は行うことができる。
【0058】
この後、眼の追跡処理が正常に行われている場合は、同様の処理を繰り返す。図13(c),(d)は、第3フレーム,第4フレームでそれぞれ取り込まれる顔画像データでの眼の位置と眼の追跡領域Tとの位置関係を示したものである。また、ステップ1107で眼の追跡が正しく行われていないと判定された場合は、眼の追跡領域Tをクリアし(ステップ1109)、ステップ1102に戻る。
【0059】
眼が正しく追跡できているかどうかの判定は、眼の追跡領域T内に、運転者5が車両前方を見ているときの眼の特徴量(大きさ、形、濃度値など)を持つデータが存在するか否かで行うことができる。ステップ1109で眼の追跡領域をクリアしてステップ1102に戻り、ステップ1103に移行した場合は、ステップ1104に移行して再度画像全体からの眼の位置検出処理を行うことになる。
【0060】
この一連の処理を繰り返しているときに、ステップ1102でタイマによる計測時間が所定時間経過と判定されたときは、所定時間における眼の追跡時間率を眼の追跡時間率演算回路23により演算する(ステップ1110)。この演算方法を図14を用いて説明する。
【0061】
ステップ1102で所定時間の経過が判定されるまでは、初期状態や、眼の追跡状態に入っても眼を見失ってしまった場合に回る眼の位置検出ループAと、眼の検出に成功し、眼の追跡が正常に行われているときに回る眼の追跡ループBがある。図14の白と黒のバー状で示したものは、白い部分が、眼の検出処理でループAを回っている時間を表しており、黒い部分が、眼の追跡処理でループBを回っている時間を表している。
【0062】
図12のステップ1108では、所定区間の眼の追跡時間の積算を行っており、ステップ1110では、所定時間に占める眼の追跡時間の積算値の割合を求めている。所定時間の眼の追跡時間率の演算後は、運転注意力の検出を行うが(ステップ1111)、この検出処理は、図15に示す所定区間毎の経過時間における眼の追跡時間率の変化で行っている。
【0063】
これは、第1の実施形態と同様に、運転者5の覚醒度が低下してきたときに、安全確認などの頻度が低下し顔の動きが少なくなることを、眼の追跡時間率が高くなる傾向で捕らえている。その後、眼の追跡時間の積算値をクリアし、タイマのリセットを行い(ステップ1112)、各所定時間の眼の追跡時間率を演算する。
【0064】
上記した第3の実施形態によれば、画像全体からの眼の位置検出を初期状態のみに限定し、以降の処理は眼の追跡処理に切り替えるので、眼の検出処理を短時間で行うことができ、第1の実施形態で用いている眼の検出OK率と同等の意味合いを持つ眼の追跡時間率を高い精度で演算することができる。
【0065】
図16は、この発明の第4の実施形態を示す運転注意力検出装置の全体構成図である。この実施形態は、第1の実施形態の構成に、車速センサや、運転者5の操作状態を検出するアクセル,ブレーキ,ステアリングの各センサや、ナビゲーションシステムなどからなる車両状態検出センサ25を追加したものである。車両状態検出センサ25からの信号を、運転注意力検出回路21に入力することにより、安全確認の頻度が高い市街地走行と、比較的安全確認頻度が低い高速道路走行とを区別し、これにより運転注意力の検出精度をさらに高めることが可能となる。
【0066】
図17は、この発明の第5の実施形態を示す運転注意力検出装置の全体構成図である。この実施形態は、図16に示した第4の実施形態の構成に、個人データメモリ27を追加したものである。運転注意力検出回路21に、車両状態検出センサ25の信号と、個人データメモリ27の記憶内容とを入力し、車両の走行状態や運転行動の個人情報に応じて運転注意力判定基準を切り替えられるようにし、各走行シーンに応じた運転者5の安全確認頻度や確認方法の個人差に対応することで、さらに運転注意力の検出精度を高めることが可能となる。
【0067】
なお、図17の構成において、車両状態検出センサ25を設けずに、個人データメモリ27の記憶内容のみを運転注意力検出回路21に入力するようにしても構わない。
【0068】
図18は、この発明の第6の実施形態を示す運転注意力検出装置の全体構成図である。この実施形態は、図16に示した第4の実施形態の構成に、照度センサ,天候を推定する気圧計,方位計,日時を把握するためのカレンダ機能付きの時計などからなる車室内光環境センサ29を追加したものである。運転注意力検出回路21に、車両状態検出センサ25の信号と、車室内光環境センサ29の信号を入力し、車両の走行状態に合わせ車室内の光環境の悪化を推定し、眼の検出ができない原因が運転者5の顔の動き以外にあることを判定することで、さらに運転注意力の検出精度を高めることが可能となる。
【0069】
なお、車室内光環境センサ29を図17の構成に追加して設け、車両状態検出センサ25の信号、個人データメモリ27の記憶内容および車室内光環境センサ29の信号を運転注意力検出回路21にそれぞれ入力するようにしても構わない。また、図18の構成において、車両状態検出センサ25を設けずに、車室内光環境センサ29の信号のみを運転注意力検出回路21に入力するようにしても構わない。さらに、上記した図16ないし図18にて図1に対して追加したそれぞれの構成は、図11に示してある眼の追跡時間率を演算する第3の実施形態に追加して構成してもよい。
【0070】
図19は、この発明の第7の実施形態を示す居眠り運転検出装置の全体構成図で、図20はその動作を示すフローチャートである。この実施形態は、図11に示した第3の実施形態に係わる運転注意力検出装置に、眼の位置検出回路15により眼の位置検出に成功したときに眼の開度値を算出する眼の開度値算出手段としての眼の開度値算出回路31と、この眼の開度値算出回路31によって得られる値を用いて開閉眼判定を行う開閉眼判定手段としての開閉眼判定回路33と、この開閉眼判定回路33の開閉眼判定結果に基づいて、運転注意力検出回路21が検出した運転注意力に応じた居眠り検出を行う居眠り検出手段としての居眠り検出回路35とを追加して設けている。
【0071】
図20のフローチャートは、図12に示した第3の実施形態に係わる運転注意力検出装置のフローチャートに、ステップ1807,ステップ1810,ステップ1811を追加し、居眠り運転検出装置に適応させたものである。
【0072】
なお、上記図19にて図11に追加した各構成要素は、図1に示した第1の実施形態に追加してもよく、したがって図20にて追加したステップ処理は、第1の実施形態および第2の実施形態にも対応できるものである。また、前記した図16ないし図18にて図1に対して追加したそれぞれの構成を、図19に追加して設けても構わない。
【0073】
この第7の実施形態では、第3の実施形態のフローチャートである図12と異なるステップのみを説明する。ステップ1807では、眼の追跡領域内で捕らえられる眼のデータの開度値の算出処理を行う。ステップ1810では、ステップ1807で求めた眼の開度値を用いて開閉眼判定を行う。ステップ1811ではステップ1813で所定時間毎に検出される運転注意力に応じた居眠り検出を行う。
【0074】
居眠り検出に運転注意力の検出結果を合わせることにより、安全確認などの頻度が低下して眼の追跡時間率が高くなったときに居眠り検出精度を上げ、また安全確認などの頻度が高く眼の追跡時間率が低いときは居眠り検出精度を下げることで、高い居眠り検出精度が確保でき、警報出力する際の誤警報を防止することができる。
【0075】
なお、眼の位置検出、眼の追跡方法、眼の開度値の算出、開閉眼の判定方法、覚醒度の判定方法は、本出願人による「特開平10−40361号」や「特開平10−143669号」公報により周知であるため詳細の説明は省略している。
【図面の簡単な説明】
【図1】この発明の第1の実施形態を示す運転注意力検出装置の全体構成図である。
【図2】この発明の第1の実施形態の動作を示すフローチャートである。
【図3】この発明の第1の実施形態における眼の位置検出方法に関する説明図で、(a)は運転者が前方を注視している状態の画像、(b)は運転者が前方以外を見ている状態の画像である。
【図4】この発明の第1の実施形態の所定区間における眼の検出結果を示した眼の検出OK率の演算方法に関する説明図である。
【図5】この発明の第1の実施形態の所定区間毎の経過時間に対する所定区間内での眼の検出OK度数を示す説明図である。
【図6】この発明の第2の実施形態に係わる運転注意力検出装置の動作を示すフローチャートである。
【図7】この発明の第2の実施形態の所定領域設定方法に関する説明図で、(a)は運転者が前方を注視している状態の画像、(b)は運転者が前方以外を見ている状態の画像である。
【図8】この発明の第2の実施形態の応用例1の動作を示すフローチャートである。
【図9】この発明の第2の実施形態の応用例2の動作を示すフローチャートである。
【図10】この発明の第2の実施形態の応用例2の動作を示すフローチャートである。
【図11】この発明の第3の実施形態を示す運転注意力検出装置の全体構成図である。
【図12】この発明の第3の実施形態の動作を示すフローチャートである。
【図13】この発明の第3の実施形態による眼の追跡領域の設定、追跡方法に関する説明図である。
【図14】この発明の第3の実施形態の所定区間における眼の検出処理時間と眼の追跡処理時間とを示した眼の追跡時間率の演算方法に関する説明図である。
【図15】この発明の第3の実施形態による所定区間毎の経過時間に対する所定区間内での眼の追跡時間率を示す説明図である。
【図16】この発明の第4の実施形態を示す運転注意力検出装置の全体構成図である。
【図17】この発明の第5の実施形態を示す運転注意力検出装置の全体構成図である。
【図18】この発明の第6の実施形態を示す運転注意力検出装置の全体構成図である。
【図19】この発明の第7の実施形態を示す居眠り運転検出装置の全体構成図である。
【図20】この発明の第7の実施形態の動作を示すフローチャートである。
【符号の説明】
5 運転者
7 TVカメラ(画像撮影手段)
15 眼の位置検出回路(眼の位置検出手段,所定領域設定手段,所定領域内眼の位置検出手段)
19 眼の検出OK時間率演算回路(眼の検出OK数積算手段、眼の検出OK率演算手段)
21 運転注意力検出回路(運転注意力検出手段)
23 眼の追跡時間率演算回路(眼の追跡処理手段、眼の追跡時間積算手段、眼の追跡時間率演算手段)
25 車両状態検出センサ
27 個人データメモリ
29 車室内光環境計測センサ
31 眼の開度値算出回路(眼の開度値算出手段)
33 開閉眼判定回路(開閉眼判定手段)
35 居眠り検出回路(居眠り検出手段)

Claims (13)

  1. 運転者の顔の画像データを処理して運転注意力を検出する運転注意力検出装置において、前記運転者の顔画像を撮影する画像撮影手段と、この画像撮影手段が撮影した画像全体から眼の位置を検出する眼の位置検出手段と、前記撮影した各画像データ毎に、前記眼の位置検出手段による眼の検出が成功したかどうかを判定し、その成功回数をカウントアップする眼の検出OK数積算手段と、所定時間を計測する所定時間計測手段と、この所定時間計測手段による所定時間計測値に対する前記眼の検出OK数積算手段による眼の検出OK数積算値に基づく眼の検出OK率を演算する眼の検出OK率演算手段と、この眼の検出OK率演算手段の演算結果から運転者の注意力を検出する運転注意力検出手段とを有することを特徴とする運転注意力検出装置。
  2. 運転者の顔の画像データを処理して運転注意力を検出する運転注意力検出装置において、前記運転者の顔画像を撮影する画像撮影手段と、この画像撮影手段が撮影した画像全体から眼の位置を検出する眼の位置検出手段と、前記画像全体からの眼の位置検出手段で検出した眼の位置を基準に少なくとも片方の眼を含む領域を設定する所定領域設定手段と、この所定領域設定手段が設定した所定領域内において眼の位置を検出する所定領域内眼の位置検出手段と、前記撮影した各画像データ毎に、前記所定領域内眼の位置検出手段による眼の検出が成功したかどうかを判定し、その成功回数をカウントアップする眼の検出OK数積算手段と、所定時間を計測する所定時間計測手段と、この所定時間計測手段による所定時間計測値に対する前記眼の検出OK数積算手段による眼の検出OK数積算値に基づく眼の検出OK率を演算する眼の検出OK率演算手段と、この眼の検出OK率演算手段の演算結果から運転者の注意力を検出する運転注意力検出手段とを有することを特徴とする運転注意力検出装置。
  3. 所定領域設定手段による所定領域の設定を、マニュアル操作により解除する解除手段を設けたことを特徴とする請求項2記載の運転注意力検出装置。
  4. 所定領域設定手段による所定領域の設定を、眼の検出OK率演算手段による眼の検出OK率の演算結果により解除する解除手段を設けたことを特徴とする請求項2記載の運転注意力検出装置。
  5. 運転者の顔の画像データを処理して運転注意力を検出する運転注意力検出装置において、前記運転者の顔画像を撮影する画像撮影手段と、この画像撮影手段が撮影した画像全体から眼の位置を検出する眼の位置検出手段と、この眼の位置検出手段で検出した眼の位置を基準に眼の追跡領域を設定し、前記撮影した各画像データ毎に眼の追跡領域を更新する眼の追跡処理手段と、この眼の追跡処理手段による眼の追跡処理が正しく行われているかどうかを確認しながら眼の追跡時間を積算していく眼の追跡時間積算手段と、所定時間を計測する所定時間計測手段と、この所定時間計測手段による所定時間計測値に対する前記眼の追跡時間積算手段による眼の追跡時間積算値に基づく眼の追跡時間率を演算する眼の追跡時間率演算手段と、この眼の追跡時間率演算手段の演算結果から運転者の注意力を検出する運転注意力検出手段とを有することを特徴とする運転注意力検出装置。
  6. 運転注意力検出手段に車両状態検出センサの信号を入力し、車両の走行状態に応じて運転注意力判定基準を切り替えるようにしたことを特徴とする請求項1ないし5のいずれかに記載の運転注意力検出装置。
  7. 運転注意力検出手段に個人データの記憶内容を入力し、運転行動の個人情報に応じて運転注意力判定基準を切り替えるようにしたことを特徴とする請求項1ないし6のいずれかに記載の運転注意力検出装置。
  8. 運転注意力検出手段に車室内光環境計測センサの信号を入力し、車室内の光環境の悪化を推定して眼の検出ができないことを判定するようにしたことを特徴とする請求項1ないし7のいずれかに記載の運転注意力検出装置。
  9. 運転者の顔の画像データを処理して居眠り運転を検出する居眠り運転検出装置において、前記運転者の顔画像を撮影する画像撮影手段と、この画像撮影手段が撮影した画像全体から眼の位置を検出する眼の位置検出手段と、前記撮影した各画像データ毎に、前記眼の位置検出手段による眼の検出が成功したかどうかを判定し、その成功回数をカウントアップする眼の検出OK数積算手段と、所定時間を計測する所定時間計測手段と、この所定時間計測手段による所定時間計測値に対する前記眼の検出OK数積算手段による眼の検出OK数積算値に基づく眼の検出OK率を演算する眼の検出OK率演算手段と、この眼の検出OK率演算手段の演算結果から運転者の注意力を検出する運転注意力検出手段と、前記眼の位置検出手段により眼の位置検出に成功したときに眼の開度値を算出する眼の開度値算出手段と、この眼の開度値算出手段によって得られる値を用いて開閉眼判定を行う開閉眼判定手段と、この開閉眼判定手段の開閉眼判定結果に基づいて、前記運転注意力検出手段が検出した運転注意力に応じた居眠り検出を行う居眠り検出手段とを有することを特徴とする居眠り運転検出装置。
  10. 運転者の顔の画像データを処理して居眠り運転を検出する居眠り運転検出装置において、前記運転者の顔画像を撮影する画像撮影手段と、この画像撮影手段が撮影した画像全体から眼の位置を検出する眼の位置検出手段と、前記画像全体からの眼の位置検出手段で検出した眼の位置を基準に少なくとも片方の眼を含む領域を設定する所定領域設定手段と、この所定領域設定手段が設定した所定領域内において眼の位置を検出する所定領域内眼の位置検出手段と、前記撮影した各画像データ毎に、前記所定領域内眼の位置検出手段による眼の検出が成功したかどうかを判定し、その成功回数をカウントアップする眼の検出OK数積算手段と、所定時間を計測する所定時間計測手段と、この所定時間計測手段による所定時間計測値に対する前記眼の検出OK数積算手段による眼の検出OK数積算値に基づく眼の検出OK率を演算する眼の検出OK率演算手段と、この眼の検出OK率演算手段の演算結果から運転者の注意力を検出する運転注意力検出手段と、前記所定領域内眼の位置検出定手段により眼の検出に成功したときに眼の開度値を算出する眼の開度値算出手段と、この眼の開度値算出手段によって得られる値を用いて開閉眼判定を行う開閉眼判定手段と、この開閉眼判定手段の開閉眼判定結果に基づいて、前記運転注意力検出手段が検出した運転注意力に応じた居眠り検出を行う居眠り検出手段とを有することを特徴とする居眠り運転検出装置。
  11. 運転者の顔の画像データを処理して居眠り運転を検出する居眠り運転検出装置において、前記運転者の顔画像を撮影する画像撮影手段と、この画像撮影手段が撮影した画像全体から眼の位置を検出する眼の位置検出手段と、この眼の位置検出手段で検出した眼の位置を基準に眼の追跡領域を設定し、前記撮影した各画像データ毎に眼の追跡領域を更新する眼の追跡処理手段と、この眼の追跡処理手段による眼の追跡処理が正しく行われているかどうかを確認しながら眼の追跡時間を積算していく眼の追跡時間積算手段と、所定時間を計測する所定時間計測手段と、この所定時間計測手段による所定時間計測値に対する前記眼の追跡時間積算手段による眼の追跡時間積算値に基づく眼の追跡時間率を演算する眼の追跡時間率演算手段と、この眼の追跡時間率演算手段の演算結果から運転者の注意力を検出する運転注意力検出手段と、眼の追跡処理が正しく行われているときに眼の開度値を算出する眼の開度値算出手段と、この眼の開度値算出手段によって得られる値を用いて開閉眼判定を行う開閉眼判定手段と、この開閉眼判定手段の開閉眼判定結果に基づいて、前記運転注意力検出手段が検出した運転注意力に応じた居眠り検出を行う居眠り検出手段とを有することを特徴とする居眠り運転検出装置。
  12. 運転注意力検出手段は、眼の検出OK率演算手段による眼の検出OK率が低い状態よりも高い状態のときに運転者の注意力が低下しているとするよう運転注意力を検出することを特徴とする請求項1ないし4,6ないし8のいずれかに記載の運転注意力検出装置。
  13. 運転注意力検出手段は、眼の検出OK率演算手段による眼の検出OK率が低い状態よりも高い状態のときに運転者の注意力が低下しているとするよう運転注意力を検出することを特徴とする請求項9または10に記載の居眠り運転検出装置。
JP2001082904A 2001-03-22 2001-03-22 運転注意力検出装置および居眠り運転検出装置 Expired - Fee Related JP3812355B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001082904A JP3812355B2 (ja) 2001-03-22 2001-03-22 運転注意力検出装置および居眠り運転検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001082904A JP3812355B2 (ja) 2001-03-22 2001-03-22 運転注意力検出装置および居眠り運転検出装置

Publications (2)

Publication Number Publication Date
JP2002279411A JP2002279411A (ja) 2002-09-27
JP3812355B2 true JP3812355B2 (ja) 2006-08-23

Family

ID=18938788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001082904A Expired - Fee Related JP3812355B2 (ja) 2001-03-22 2001-03-22 運転注意力検出装置および居眠り運転検出装置

Country Status (1)

Country Link
JP (1) JP3812355B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005013626A (ja) * 2003-06-27 2005-01-20 Nissan Motor Co Ltd 覚醒状態検出装置
JP5126666B2 (ja) * 2007-12-13 2013-01-23 株式会社デンソー 車両用操作入力装置
US8890946B2 (en) * 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
JP6488922B2 (ja) 2015-07-06 2019-03-27 株式会社デンソー 運転者異常検出装置

Also Published As

Publication number Publication date
JP2002279411A (ja) 2002-09-27

Similar Documents

Publication Publication Date Title
JP5974915B2 (ja) 覚醒度検出装置、および覚醒度検出方法
JP5326521B2 (ja) 覚醒状態判断装置及び覚醒状態判断方法
US8433095B2 (en) Drowsiness detector
JP4967559B2 (ja) 居眠り運転防止装置及びプログラム
JPH0779803B2 (ja) 居眠り検出装置
JP4677963B2 (ja) 居眠り検知装置、居眠り検知方法
WO1995018433A1 (fr) Dispositif d'alarme pour conducteur assoupi
JP2007082594A (ja) 疲労検出装置
JP2008210285A (ja) 居眠り運転防止装置
US11084424B2 (en) Video image output apparatus, video image output method, and medium
JP4173083B2 (ja) 覚醒状態判定装置及び覚醒状態判定方法
JP2008204107A (ja) 不注意警告装置、不注意警告装置の車両機器制御方法及び車両制御装置のプログラム
JP3039327B2 (ja) 車両走行状態検出装置及び居眠り運転警報装置
JP3812355B2 (ja) 運転注意力検出装置および居眠り運転検出装置
JP2018133007A (ja) 警報装置
JP2008250859A (ja) 覚醒度判定装置
JP5321303B2 (ja) 居眠り判定装置及びプログラム並びに警報出力装置及びプログラム
JP6399311B2 (ja) 居眠り検知装置
JP3292035B2 (ja) 覚醒度推定装置
JPH07257220A (ja) 車両用覚醒度評価装置
JPH08290726A (ja) 居眠り警報装置
JP5050794B2 (ja) 眠気検知装置、眠気検知方法
JP2013257691A (ja) 居眠り状態判定装置及び居眠り状態判定方法
JPH08332871A (ja) 覚醒度検出装置
JP3508624B2 (ja) 予防安全装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060522

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090609

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100609

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110609

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120609

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120609

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130609

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees