JP6199647B2 - ドライバ状態判定装置、車両制御装置及びドライバ状態判定方法 - Google Patents

Description

本発明は、車両のドライバの状態を判定するドライバ状態判定装置及び方法、並びにドライバが運転する車両を制御する車両制御装置に関するものである。

従来のドライバ状態判定装置としては、例えば特許文献１に記載されているように、ＣＣＤカメラによりドライバの瞳を撮影し、ＣＣＤカメラの映像から画像処理により瞳孔の領域を抽出して、ドライバの瞳孔径を算出し、その瞳孔径の変化に基づいて、ドライバが危険等の警報を認識しているかどうかを推定することが知られている。

特開平１１−２４５６８３号公報

しかしながら、上記従来技術においては、以下の問題点が存在する。即ち、周囲環境の明暗等によって、画像処理上の瞳孔輪郭の抽出精度が大きく左右され得る。また、危険を目の前にしてドライバが目をつぶったり高頻度の瞬きをしたとき等においては、瞳孔径が変化したか否かの判定が難しいことがある。従って、ドライバの瞳孔径の変化を検出する方法では、ドライバが警報（危険感）を認識している状態であるかどうかを高精度に判定することができない。

本発明の目的は、ドライバが危険感を認識している状態であるかどうかを高精度に判定することができるドライバ状態判定装置、車両制御装置及びドライバ状態判定方法を提供することである。

本発明は、車両のドライバの状態を判定するドライバ状態判定装置であって、ドライバの目の瞬きを検出する瞬き検出手段と、瞬き検出手段により検出されたドライバの目の瞬きに基づいてドライバの開眼状態の継続時間を求め、ドライバの開眼状態の継続時間に基づいてドライバが危険感を認識している状態であるかどうかを判定する危険感判定手段とを備えることを特徴とするものである。

このように本発明のドライバ状態判定装置においては、ドライバの目の瞬きを検出し、ドライバの目の瞬きに基づいてドライバの開眼状態の継続時間を求め、その開眼状態の継続時間に基づいてドライバが危険感を認識している状態であるかどうかを判定する。例えば、ドライバの開眼状態の継続時間が所定時間よりも長いときは、ドライバが危険感を認識している状態であると判定する。このとき、瞼のサイズが瞳孔よりも大きいことから、周囲環境の明暗等によるドライバの開眼状態の検出、危険を目の前にしてドライバが目をつぶったり高頻度の瞬きをしたとき等における開眼・閉眼の検出を確実に行うことができる。これにより、ドライバが危険感を認識している状態であるかどうかを高精度に判定することができる。

好ましくは、危険感判定手段は、ドライバの過去の開眼状態の継続時間に基づいてドライバの開眼状態基準値を算出し、ドライバの現在の開眼状態の継続時間と開眼状態基準値とを比較して、ドライバが危険感を認識している状態であるかどうかを判定する。目の瞬きにおける開眼状態の継続時間は、個人差が大きい。そこで、ドライバの過去の開眼状態の継続時間に基づいてドライバの開眼状態基準値を算出し、ドライバの現在の開眼状態の継続時間と開眼状態基準値とを比較することにより、開眼状態の継続時間の個人差にかかわらず、ドライバが危険感を認識している状態であるかどうかを高精度に判定することができる。

このとき、危険感判定手段は、前回ドライバが危険感を認識している状態であると判定されたときは、開眼状態基準値の算出の実行を抑制することが好ましい。この場合には、開眼状態基準値としては、ドライバが危険感を殆ど認識していないほぼ平常時のデータが得られることになるため、ドライバが危険感を認識している状態であるかどうかをより高精度に判定することができる。

また、車両が停止しているかどうかを検出する車両停止検出手段を更に備え、危険感判定手段は、車両停止検出手段により車両が停止していることが検出されたときは、開眼状態基準値の算出の実行を抑制すると共に、ドライバが危険感を認識していない状態であると判定することが好ましい。車両の停止時には、ドライバの多様な行動による様々な感情により目の瞬きにおける開眼状態の継続時間が変化しやすい。そこで、車両の停止が検出されたときに、開眼状態基準値の算出の実行を抑制することにより、車両の走行時においてドライバが危険感を認識している状態であるかどうかの判定への影響を低減することができる。

また、好ましくは、ドライバの意識が低下しているかどうかを検出する意識低下検出手段を更に備え、意識低下検出手段によりドライバの意識が低下していないことが検出されたときに、危険感判定手段を実施する。ドライバの意識が低下しているときは、ドライバの目の瞬きが少なくなり、ドライバの閉眼状態の継続時間が長くなる。従って、ドライバの意識が低下していないことが検出されたときに、危険感判定手段を実施することが好適である。

また、本発明は、ドライバが運転する車両を制御する車両制御装置であって、ドライバの目の瞬きを検出する瞬き検出手段と、瞬き検出手段により検出されたドライバの目の瞬きに基づいてドライバの開眼状態の継続時間を求め、ドライバの開眼状態の継続時間に基づいてドライバが危険感を認識している状態であるかどうかを判定する危険感判定手段と、危険感判定手段による判定結果に応じて車両の制御支援を行う支援手段とを備えることを特徴とするものである。

このような本発明の車両制御装置においては、ドライバの目の瞬きを検出し、ドライバの目の瞬きに基づいてドライバの開眼状態の継続時間を求め、その開眼状態の継続時間に基づいてドライバが危険感を認識している状態であるかどうかを判定する。例えば、ドライバの開眼状態の継続時間が所定時間よりも長いときは、ドライバが危険感を認識している状態であると判定する。このとき、瞼のサイズが瞳孔よりも大きいことから、周囲環境の明暗等によるドライバの開眼状態の検出、危険を目の前にしてドライバが目をつぶったり高頻度の瞬きをしたとき等における開眼・閉眼の検出を確実に行うことができる。これにより、ドライバが危険感を認識している状態であるかどうかを高精度に判定することができる。そして、その判定結果に応じて車両の制御支援を行うことにより、ドライバに違和感を与えることを防止できる。

さらに、本発明は、車両のドライバの状態を判定するドライバ状態判定方法であって、ドライバの目の瞬きを検出するステップと、ドライバの目の瞬きに基づいてドライバの開眼状態の継続時間を求め、ドライバの開眼状態の継続時間に基づいてドライバが危険感を認識している状態であるかどうかを判定するステップとを含むことを特徴とするものである。

このように本発明のドライバ状態判定方法においては、例えばドライバの開眼状態の継続時間が所定時間よりも長いときは、ドライバが危険感を認識している状態であると判定する。これにより、上述したように、ドライバが危険感を認識している状態であるかどうかを高精度に判定することができる。

本発明によれば、ドライバが危険感を認識している状態であるかどうかを高精度に判定することができる。これにより、車両の制御支援を行う場合に、ドライバに違和感を与えることを防止できる。

本発明に係るドライバ状態判定装置の第１実施形態を備えた車両制御装置を示す構成図である。 図１に示した心拍継続上昇検出部により実行される処理手順の詳細を示すフローチャートである。 図１に示した長瞬目間隔検出部により実行される処理手順の詳細を示すフローチャートである。 図１に示した危険感判定部により実行される処理手順の詳細を示すフローチャートである。 本発明に係るドライバ状態判定装置の第２実施形態を備えた車両制御装置を示す構成図である。 図５に示した心拍継続上昇検出部により実行される処理手順の詳細を示すフローチャートである。 図５に示した長瞬目間隔検出部により実行される処理手順の詳細を示すフローチャートである。 本発明に係るドライバ状態判定装置の第３実施形態として、長瞬目間隔検出部により実行される処理手順の変形例の詳細を示すフローチャートである。 図８に示す処理を実施した時のドライバの危険感の認識判定結果の一例を示すグラフである。 本発明に係るドライバ状態判定装置の第４実施形態を備えた車両制御装置を示す構成図である。 図１０に示した心拍継続上昇検出部により実行される処理手順の詳細を示すフローチャートである。 図１０に示した長瞬目間隔検出部により実行される処理手順の詳細を示すフローチャートである。 本発明に係るドライバ状態判定装置の第５実施形態を備えた車両制御装置を示す構成図である。 図１３に示した回避行動検出部により実行される処理手順の詳細を示すフローチャートである。 本発明に係るドライバ状態判定装置の第６実施形態を備えた車両制御装置を示す構成図である。 図１５に示した危険感大きさ推定部により実行される処理手順の詳細を示すフローチャートである。 本発明に係るドライバ状態判定装置の第７実施形態を備えた車両制御装置を示す構成図である。 図１７に示した心拍継続上昇検出部により実行される処理手順の詳細を示すフローチャートである。 図１７に示した長瞬目間隔検出部により実行される処理手順の詳細を示すフローチャートである。

以下、ドライバ状態判定装置、車両制御装置及びドライバ状態判定方法の好適な実施形態について、図面を参照して詳細に説明する。

図１は、本発明に係るドライバ状態判定装置の第１実施形態を備えた車両制御装置を示す構成図である。同図において、本実施形態の車両制御装置１は、車両の運転支援制御を行う装置である。

車両制御装置１は、心拍数計測器２と、瞬目検出器３と、ＥＣＵ（Electronic Control Unit）４と、運転支援ユニット５とを備えている。

心拍数計測器２は、車両のドライバの心拍数を計測する機器であり、例えばステアリングに設けられた電極により構成されている。なお、心拍数の代わりに脈拍数を計測しても良い。瞬目検出器３は、ドライバの目の瞬き（瞬目）を検出する機器（瞬き検出手段）であり、例えばカメラにより構成されている。運転支援ユニット５は、アクセル、ブレーキ及びステアリングである。

ＥＣＵ４は、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、入出力回路等により構成されている。ＥＣＵ４は、心拍継続上昇検出部６と、長瞬目間隔検出部７と、危険感判定部８と、運転支援制御部９とを有している。

心拍継続上昇検出部６は、心拍数計測器２の計測値に基づいて、ドライバの心拍数が継続して上昇しているかどうかを検出する。長瞬目間隔検出部７は、瞬目検出器３の検出結果に基づいて、ドライバの瞬目間隔が必要以上に長いかどうかを検出する。瞬目間隔は、瞬きと瞬きとの間の時間間隔のことである。危険感判定部８は、心拍継続上昇検出部６の検出結果と長瞬目間隔検出部７の検出結果とに基づいて、ドライバが危険感を認識している状態であるかどうかを判定する。運転支援制御部９は、危険感判定部８の判定結果に応じて運転支援ユニット５を制御する。

図２は、心拍継続上昇検出部６により実行される処理手順の詳細を示すフローチャートである。図２において、まず心拍数計測器２により計測された最新の心拍数ＨＲ（ｎ）が心拍数計測器２により前回計測された心拍数ＨＲ（ｎ−１）よりも大きいかどうか、つまりＨＲ（ｎ）＞ＨＲ（ｎ−１）が成立するかどうかを判断する（手順Ｓ１０１）。

ＨＲ（ｎ）＞ＨＲ（ｎ−１）が成立するときは、ＨＲ（ｎ）＞ＨＲ（ｎ−１）が成立してからの経過時間Ｈ_ptを計測する（手順Ｓ１０２）。続いて、経過時間Ｈ_ptが予め設定された閾値時間Ｔthよりも長いかどうかを判断する（手順Ｓ１０３）。経過時間Ｈ_ptが閾値時間Ｔthよりも長いときは、心拍上昇フラグを１にセットし（手順Ｓ１０４）、経過時間Ｈ_ptが閾値時間Ｔthよりも長くないときは、心拍上昇フラグを０にセットする（手順Ｓ１０５）。

図３は、長瞬目間隔検出部７により実行される処理手順の詳細を示すフローチャートである。図３において、まず瞬目検出器３により検出された直前の瞬目タイミングからの開眼状態の経過時間Ｂ_ptを計測する（手順Ｓ１１１）。開眼状態とは、上下瞼の間隔が所定値以上である状態をいう。なお、ここでの所定値は、瞳孔径よりも大きい値である。

続いて、開眼状態の経過時間Ｂ_ptが予め設定された閾値時間Ｂthよりも長いかどうかを判断する（手順Ｓ１１２）。開眼状態の経過時間Ｂ_ptが閾値時間Ｂthよりも長いときは、長瞬目間隔フラグを１にセットし（手順Ｓ１１３）、開眼状態の経過時間Ｂ_ptが閾値時間Ｂthよりも長くないときは、長瞬目間隔フラグを０にセットする（手順Ｓ１１４）。

図４は、危険感判定部８により実行される処理手順の詳細を示すフローチャートである。図４において、まず心拍継続上昇検出部６において心拍上昇フラグが１にセットされたか、或いは長瞬目間隔検出部７において長瞬目間隔フラグが１にセットされたかどうかを判断する（手順１２１）。

心拍上昇フラグが１にセットされたか、或いは長瞬目間隔フラグが１にセットされたときは、ドライバが危険感を認識している状態であると判定する（手順Ｓ１２２）。心拍上昇フラグが０にセットされると共に長瞬目間隔フラグが０にセットされたときは、ドライバが危険感を認識していない状態であると判定する（手順Ｓ１２３）。

図１に戻り、運転支援制御部９は、特に図示はしないが、危険感判定部８においてドライバが危険感を認識している状態であると判定されたときは、車両の衝突を回避するように運転支援ユニット５を制御し、危険感判定部８においてドライバが危険感を認識していない状態であると判定されたときは、運転支援ユニット５を制御することは無い。

以上において、心拍数計測器２と、瞬目検出器３と、ＥＣＵ４の心拍継続上昇検出部６、長瞬目間隔検出部７及び危険感判定部８とは、ドライバ状態判定装置１０を構成している。このとき、長瞬目間隔検出部７及び危険感判定部８は、瞬き検出手段３により検出されたドライバの目の瞬きに基づいてドライバの開眼状態の継続時間を求め、ドライバの開眼状態の継続時間に基づいてドライバが危険感を認識している状態であるかどうかを判定する危険感判定手段を構成している。ＥＣＵ４の運転支援制御部９と運転支援ユニット５とは、危険感判定手段による判定結果に応じて車両の制御支援を行う支援手段を構成している。

以上のように本実施形態にあっては、瞬目検出器３によりドライバの目の瞬き（瞬目）を検出し、直前の瞬目タイミングからの開眼状態の経過時間Ｂ_ptが閾値時間Ｂthよりも長いとき、つまりドライバが長時間にわたって目を見開いているときは、ドライバが危険感を認識している状態であると判定し、運転支援ユニット５を制御する。このとき、瞼のサイズが瞳孔よりも大きいことや、立体的な境界がはっきりしている等の理由によって、周囲環境の明暗等に大きく左右されること無く、開眼状態の経過時間Ｂ_ptを計測することが可能となる。これにより、ドライバが危険感を認識しているかどうかを高精度に判定することができる。その結果、車両の運転制御支援を実施する際に、ドライバに違和感を与えなくて済む。

図５は、本発明に係るドライバ状態判定装置の第２実施形態を備えた車両制御装置を示す構成図である。図中、上記第１実施形態と同一または同等の要素には同じ符号を付し、その説明を省略する。

同図において、本実施形態の車両制御装置１のＥＣＵ４は、上記の心拍継続上昇検出部６、長瞬目間隔検出部７、危険感判定部８及び運転支援制御部９に加え、瞬目間隔算出部１１を有している。瞬目間隔算出部１１は、瞬目検出器３の検出結果に基づいて、前述したドライバの瞬目間隔を算出する。長瞬目間隔検出部７は、瞬目検出器３の検出結果と瞬目間隔算出部１１の算出結果とに基づいて、ドライバの瞬目間隔が必要以上に長いかどうかを検出する。

図６は、心拍継続上昇検出部６により実行される処理手順の詳細を示すフローチャートである。なお、図２に示す手順と同じものには同じ符号を付している。

図６において、まず心拍数計測器２により計測された心拍数ＨＲに基づいて、最新の心拍数ＨＲから一定時間（Ｔ秒）前の心拍数ＨＲまでの心拍数移動平均ＨＲ_aveを算出する（手順Ｓ１０７）。続いて、心拍数計測器２により計測された最新の心拍数ＨＲが心拍数移動平均ＨＲ_aveよりも大きいかどうか、つまりＨＲ＞ＨＲ_aveが成立するかどうかを判断する（手順Ｓ１０８）。

ＨＲ＞ＨＲ_aveが成立しないときは、手順Ｓ１０７に戻る。ＨＲ＞ＨＲ_aveが成立するときは、ＨＲ＞ＨＲ_aveが成立してからの経過時間Ｈ_ptを計測する（手順Ｓ１０９）。そして、図２に示す処理と同様の手順Ｓ１０３〜Ｓ１０５を実行する。

図７は、長瞬目間隔検出部７により実行される処理手順の詳細を示すフローチャートである。なお、図３に示す手順と同じものには同じ符号を付している。

図７において、図３に示す手順Ｓ１１１と並行して、瞬目間隔算出部１１において算出されたドライバの瞬目間隔Bintに基づいて、最新の瞬目間隔Bintから一定回数（Ｎ回）前の瞬目間隔Bintまでの瞬目間隔移動平均Bint_aveを算出する（手順Ｓ１１６）。

続いて、瞬目間隔算出部１１において算出されたドライバの瞬目間隔Bintに基づいて、瞬目間隔Bintのばらつきの大きさを表す瞬目間隔ばらつき指標Bint_vを算出する（手順Ｓ１１７）。瞬目間隔ばらつき指標Bint_vは、例えばｎ×標準偏差σとして表される。

続いて、開眼状態の経過時間Ｂ_ptが瞬目間隔移動平均Bint_aveに瞬目間隔ばらつき指標Bint_vを加えた値（開眼状態基準値）よりも長いかどうか、つまりＢ_pt＞Bint_ave＋Bint_vが成立するかどうかを判断する（手順Ｓ１１８）。Ｂ_pt＞Bint_ave＋Bint_vが成立するときは、長瞬目間隔フラグを１にセットし（手順Ｓ１１３）、Ｂ_pt＞Bint_ave＋Bint_vが成立しないときは、長瞬目間隔フラグを０にセットする（手順Ｓ１１４）。

以上において、心拍数計測器２と、瞬目検出器３と、ＥＣＵ４の心拍継続上昇検出部６、瞬目間隔算出部１１、長瞬目間隔検出部７及び危険感判定部８とは、ドライバ状態判定装置１０を構成している。このとき、瞬目間隔算出部１１、長瞬目間隔検出部７及び危険感判定部８は、瞬き検出手段３により検出されたドライバの目の瞬きに基づいてドライバの開眼状態の継続時間を求め、ドライバの開眼状態の継続時間に基づいてドライバが危険感を認識している状態であるかどうかを判定する危険感判定手段を構成している。

以上のように本実施形態においては、直前の瞬目タイミングからの開眼状態の経過時間Ｂ_ptを、瞬目間隔移動平均Bint_aveに瞬目間隔ばらつき指標Bint_vを加えた値と比較して、ドライバが危険感を認識している状態であるかどうかを判定する。つまり、開眼状態の経過時間Ｂ_ptをドライバ個々の状態に応じた適切な値と比較するので、瞬目間隔の個人差が大きいにもかかわらず、ドライバが危険感を認識している状態であるかどうかを高精度に判定することができる。

図８は、本発明に係るドライバ状態判定装置の第３実施形態として、長瞬目間隔検出部７により実行される処理手順の変形例の詳細を示すフローチャートである。なお、図７に示す手順と同じものには同じ符号を付している。

図８において、図２に示す手順Ｓ１１１と並行して、前回セットされた長瞬目間隔フラグが０であるかどうかを判断する（手順Ｓ１１９）。前回セットされた長瞬目間隔フラグが０であるときは、上記の手順Ｓ１１６，Ｓ１１７を順次実行する。一方、前回セットされた長瞬目間隔フラグが０でなく１であるときは、上記の手順Ｓ１１６，Ｓ１１７を実行しない。

そのような処理を行うことにより、開眼状態の経過時間Ｂ_ptの比較対象がドライバの平常時の瞬目間隔のデータに限定されることになる。これにより、ドライバが危険感を認識している状態であるかどうかをより高精度に判定することができる。

図９は、上記の処理を実施した時のドライバの危険感の認識判定結果の一例を示すグラフである。図９（ａ）において、実線Ｐ_１は、ドライバの心拍数を示し、破線Ｑ_１は、心拍数移動平均ＨＲ_aveを示している。なお、心拍数移動平均ＨＲ_aveの時間間隔Ｔは６０秒であり、閾値時間Ｔthは１０秒である。図９（ｂ）において、実線Ｐ_２は、ドライバの瞬目間隔を示し、破線Ｑ_２は、瞬目間隔移動平均Bint_ave＋瞬目間隔ばらつき指標Bint_vを示している。なお、瞬目間隔移動平均Bint_aveの回数Ｎは５０回であり、瞬目間隔ばらつき指標Bint_vは３σである。

図９において、領域Ｘは、ドライバが自転車に注意して走行した時間帯であり、領域Ｙは、ドライバにとって見通しの悪い地点を走行した時間帯である。領域Ｘ，Ｙ付近では、何れも心拍上昇フラグＦ_１及び長瞬目間隔フラグＦ_２が１になっており、ドライバが危険感を認識している状態であると判定されている。

なお、上記第３実施形態では、前回セットされた長瞬目間隔フラグが１であるときは、上記の手順Ｓ１１６，Ｓ１１７を実行しない、つまり瞬目間隔移動平均Bint_ave及び瞬目間隔ばらつき指標Bint_vの算出を行わないようにしたが、特にそれに限られず、瞬目間隔移動平均Bint_ave及び瞬目間隔ばらつき指標Bint_vの使用量を減らすだけでも良い。

図１０は、本発明に係るドライバ状態判定装置の第４実施形態を備えた車両制御装置を示す構成図である。図中、上記第２実施形態と同一または同等の要素には同じ符号を付し、その説明を省略する。

同図において、本実施形態の車両制御装置１は、車両の車速を計測する車速センサ１２を更に備えている。また、車両制御装置１のＥＣＵ４は、上記の心拍継続上昇検出部６、瞬目間隔算出部１１、長瞬目間隔検出部７、危険感判定部８及び運転支援制御部９を有している。

図１１は、心拍継続上昇検出部６により実行される処理手順の詳細を示すフローチャートである。なお、図６に示す手順と同じものには同じ符号を付している。

図１１において、まず車速センサ１２により計測された車両の車速に基づいて、車両が停止しているかどうかを判断する（手順Ｓ１３１）。車両が停止しているときは、経過時間Ｈ_ptを０とし（手順Ｓ１３２）、上記の手順Ｓ１０３に移行する。車両が停止していないときは、上記の手順Ｓ１０７〜Ｓ１０９を順次実行し、手順Ｓ１０３に移行する。本処理により、車両が停止している状態では、心拍上昇フラグが０にセットされることとなる。

図１２は、長瞬目間隔検出部７により実行される処理手順の詳細を示すフローチャートである。なお、図７に示す手順と同じものには同じ符号を付している。

図１２において、まず車速センサ１２により計測された車両の車速に基づいて、車両が停止しているかどうかを判断する（手順Ｓ１３３）。車両が停止しているときは、上記の手順Ｓ１１６，Ｓ１１７を実行しない。一方、車両が停止していないときは、上記の手順Ｓ１１６，Ｓ１１７を順次実行する。

また、手順Ｓ１３３と並行して、手順Ｓ１３３と同様に車両が停止しているかどうかを判断する（手順Ｓ１３４）。車両が停止しているときは、開眼状態の経過時間Ｂ_ptを０とし（手順Ｓ１３５）、上記の手順Ｓ１１８に移行する。一方、車両が停止していないときは、上記の手順Ｓ１１１を実行して、手順Ｓ１１８に移行する。本処理により、車両が停止している状態では、長瞬目間隔フラグが０にセットされることとなる。

以上において、心拍数計測器２と、瞬目検出器３と、車速センサ１２と、ＥＣＵ４の心拍継続上昇検出部６、瞬目間隔算出部１１、長瞬目間隔検出部７及び危険感判定部８とは、ドライバ状態判定装置１０を構成している。このとき、車速センサ１２は、車両が停止しているかどうかを検出する車両停止検出手段を構成している。

車両停止時には、多様なドライバの行動により様々に生起される感情によって生体信号が変化するため、ドライバの危険感の認識の誤判定が発生しやすくなる。しかし、本実施形態では、車両が停止している状態では、心拍上昇フラグ及び長瞬目間隔フラグが０になるため、ドライバが危険感を認識していない状態であると判定されることとなる。また、車両が停止している状態では、心拍数移動平均ＨＲ_ave及び瞬目間隔ばらつき指標Bint_vの計算を行わないため、車両停止時におけるドライバの危険感の認識の誤判定を低減すると共に、車両走行時におけるドライバの危険感の認識の判定への影響を低減することができる。これにより、ドライバが危険感を認識しているかどうかをより高精度に判定することができる。

なお、上記第４実施形態では、車両が停止しているときは、上記の手順Ｓ１１６，Ｓ１１７を実行しない、つまり瞬目間隔移動平均Bint_ave及び瞬目間隔ばらつき指標Bint_vの算出を行わないようにしたが、特にそれに限られず、瞬目間隔移動平均Bint_ave及び瞬目間隔ばらつき指標Bint_vの使用量を減らすだけでも良い。

図１３は、本発明に係るドライバ状態判定装置の第５実施形態を備えた車両制御装置を示す構成図である。図中、上記第２実施形態と同一または同等の要素には同じ符号を付し、その説明を省略する。

同図において、本実施形態の車両制御装置１は、上記の車速センサ１２と、操舵角センサ１３と、加速度センサ１４と、ブレーキセンサ１５とを更に備えている。操舵角センサ１３は、車両のステアリングの操舵角を計測するセンサである。加速度センサ１４は、車両の加速度を計測するセンサである。ブレーキセンサ１５は、ブレーキがＯＮされたかどうかを検出するセンサである。

また、車両制御装置１のＥＣＵ４は、上記の心拍継続上昇検出部６、瞬目間隔算出部１１、長瞬目間隔検出部７、危険感判定部８及び運転支援制御部９に加えて、回避行動検出部１６を有している。

回避行動検出部１６は、危険感判定部８の判定結果と車速センサ１２、操舵角センサ１３及び加速度センサ１４の計測値とブレーキセンサ１５の検出結果とに基づいて、ドライバが車両の衝突を回避する行動をとったかどうかを検出し、ドライバが認識する危険感の程度を判定する。

図１４は、回避行動検出部１６により実行される処理手順の詳細を示すフローチャートである。図１４において、まず危険感判定部８においてドライバが危険感を認識している状態であると判定されたかどうかを判断する（手順Ｓ１４１）。

ドライバが危険感を認識している状態であると判定されたときは、車速センサ１２により計測された車両の車速の減少率が閾値Ｐよりも低いかどうかを判断する（手順Ｓ１４２）。車両の車速の減少率が閾値Ｐよりも低いときは、ドライバが認識する危険感が高いと判定する（手順Ｓ１４３）。

車両の車速の減少率が閾値Ｐよりも低くないときは、操舵角センサ１３により計測された操舵角が閾値θよりも大きいかどうかを判断する（手順Ｓ１４４）。操舵角が閾値θよりも大きいときは、ドライバが認識する危険感が高いと判定する（手順Ｓ１４３）。

操舵角が閾値θよりも大きくないときは、加速度センサ１４により計測された車両の減速度が閾値Ｇよりも大きいかどうかを判断する（手順Ｓ１４５）。車両の減速度が閾値Ｇよりも大きいときは、ドライバが認識する危険感が高いと判定する（手順Ｓ１４３）。

車両の減速度が閾値Ｇよりも大きくないときは、ブレーキセンサ１５によりブレーキＯＮが検出されたかどうかを判断する（手順Ｓ１４６）。ブレーキＯＮが検出されたときは、ドライバが認識する危険感が高いと判定する（手順Ｓ１４３）。ブレーキＯＦＦが検出されたときは、ドライバが認識する危険感が低いと判定する（手順Ｓ１４７）。

図１３に戻り、運転支援制御部９は、回避行動検出部１６により判定された危険感の程度に応じたレベルの運転支援を行うように運転支援ユニット５を制御する。具体的には、運転支援制御部９は、回避行動検出部１６においてドライバが認識する危険感が高いと判定されたときは、高レベルの運転支援を行うように運転支援ユニット５を制御し、回避行動検出部１６においてドライバが認識する危険感が低いと判定されたときは、低レベルの運転支援を行うように運転支援ユニット５を制御する。

以上において、心拍数計測器２と、瞬目検出器３と、車速センサ１２と、操舵角センサ１３と、加速度センサ１４と、ブレーキセンサ１５と、ＥＣＵ４の心拍継続上昇検出部６、瞬目間隔算出部１１、長瞬目間隔検出部７、危険感判定部８及び回避行動検出部１６とは、ドライバ状態判定装置１０を構成している。

このように本実施形態においては、ドライバの操作による回避行動を実施したときは、ドライバが認識する危険感が高いと判定するので、ドライバの操作を伴う負荷の高い危険感を精度良く判定することができる。

図１５は、本発明に係るドライバ状態判定装置の第６実施形態を備えた車両制御装置を示す構成図である。図中、上記第２実施形態と同一または同等の要素には同じ符号を付し、その説明を省略する。

同図において、本実施形態の車両制御装置１のＥＣＵ４は、上記の心拍継続上昇検出部６、瞬目間隔算出部１１、長瞬目間隔検出部７、危険感判定部８及び運転支援制御部９に加えて、危険感大きさ推定部１７を有している。危険感大きさ推定部１７は、危険感判定部８の判定結果と心拍数計測器２の計測値とに基づいて、ドライバが認識する危険感の大きさを推定する。

図１６は、危険感大きさ推定部１７により実行される処理手順の詳細を示すフローチャートである。図１６において、まず危険感判定部８においてドライバが危険感を認識していると判定されたかどうかを判断する（手順Ｓ１５１）。

ドライバが危険感を認識していると判定されたときは、心拍数計測器２の計測値に基づいて、危険感認識判定時点の心拍数が上昇中であるかどうかを判断する（手順Ｓ１５２）。危険感認識判定時点の心拍数が上昇中であるときは、下記式により正規化心拍数を算出する（手順Ｓ１５３）。
正規化心拍数＝心拍数／危険感判定直前の一定期間（Ｎ秒間）の平均心拍数

続いて、下記式により危険感の大きさを算出する（手順Ｓ１５４）。これにより、ドライバが認識している危険感の大きさを定量的に推定することができる。

一方、手順Ｓ１５２で危険感認識判定時点の心拍数が上昇中でないと判断されたときは、ドライバが心拍反応の小さい危険感を認識していると判定する（手順Ｓ１５５）。

図１５に戻り、運転支援制御部９は、危険感大きさ推定部１７により推定された危険感の大きさに応じたレベルの運転支援を行うように運転支援ユニット５を制御する。

なお、本実施形態では、心拍数を個人毎の平均心拍数で正規化しているが、特に心拍数を正規化しなくても良い。また、心拍数の正規化を行う場合には、別の方法を用いても良く、例えば危険感認識判定直前の一定期間の心拍数変動の極小値及び極大値の差を記録し、その平均値で心拍数を除算しても良い。

以上において、心拍数計測器２と、瞬目検出器３と、ＥＣＵ４の心拍継続上昇検出部６、瞬目間隔算出部１１、長瞬目間隔検出部７、危険感判定部８及び危険感大きさ推定部１７とは、ドライバ状態判定装置１０を構成している。

図１７は、本発明に係るドライバ状態判定装置の第７実施形態を備えた車両制御装置を示す構成図である。図中、上記第２実施形態と同一または同等の要素には同じ符号を付し、その説明を省略する。

同図において、本実施形態の車両制御装置１は、ドライバの意識が低下しているかどうかを検出する意識低下検出器（意識低下検出手段）１８を更に備えている。意識低下検出器１８としては、例えばカメラが用いられる。このとき、意識低下検出器１８を瞬目検出器３と兼用しても良い。

また、車両制御装置１のＥＣＵ４は、上記の心拍継続上昇検出部６、瞬目間隔算出部１１、長瞬目間隔検出部７、危険感判定部８及び運転支援制御部９を有している。

図１８は、心拍継続上昇検出部６により実行される処理手順の詳細を示すフローチャートである。なお、図６に示す手順と同じものには同じ符号を付している。

図１８において、まず意識低下検出器１８によりドライバの意識が低下していることが検出されたかどうかを判断する（手順Ｓ１６１）。ドライバの意識が低下していることが検出されたときは、本処理を強制的に終了する。ドライバの意識が低下していないことが検出されたときは、上記の手順Ｓ１０７〜Ｓ１０９を順次実行する。

図１９は、長瞬目間隔検出部７により実行される処理手順の詳細を示すフローチャートである。なお、図７に示す手順と同じものには同じ符号を付している。

図１９において、まず意識低下検出器１８によりドライバの意識が低下していることが検出されたかどうかを判断する（手順Ｓ１６２）。ドライバの意識が低下していることが検出されたときは、本処理を強制的に終了する。ドライバの意識が低下していないことが検出されたときは、上記の手順Ｓ１１１を実行すると共に、上記の手順Ｓ１１６，Ｓ１１７を順次実行する。

以上において、心拍数計測器２と、瞬目検出器３と、意識低下検出器１８と、ＥＣＵ４の心拍継続上昇検出部６、瞬目間隔算出部１１、長瞬目間隔検出部７及び危険感判定部８とは、ドライバ状態判定装置１０を構成している。

このように本実施形態においては、ドライバの意識が低下していない正常状態のときに、ドライバが危険感を認識しているかどうかを高精度に判定することができる。

以上、本発明に係るドライバ状態判定装置、車両制御装置及びドライバ状態判定方法の好適な実施形態について幾つか説明してきたが、本発明は、上記実施形態に限定されるものではない。

例えば上記実施形態では、ドライバの心拍数の計測値及びドライバの目の瞬きの検出結果を用いて、ドライバが危険感を認識している状態であるかどうかを判定するようにしたが、特にそれには限られず、ドライバの心拍数の計測値は用いず、ドライバの目の瞬きの検出結果のみを用いて、ドライバが危険感を認識している状態であるかどうかを判定するようにしても良い。また、心拍数に代えて、血圧値、発汗量、皮膚コンダクタンス、皮膚温の少なくとも１つを計測しても良い。

また、上記実施形態では、ドライバが危険感を認識している状態であると判定されたときは、車両の運転制御支援を行い、ドライバが危険感を認識していない状態であると判定されたときは、車両の運転制御支援を行わないようにしたが、特にそれには限られず、ドライバが危険感を認識している状態であると判定されたときは、ドライバが危険感を認識していない状態であると判定されたときに比べて、車両の運転制御支援のレベルを上げるようにしても良い。

さらに、上記実施形態では、車両の運転制御支援として、衝突回避のためのブレーキ動作及びステアリング動作を行っているが、それ以外にも、例えばドライバへの情報報知等を行っても良い。

１…車両制御装置、２…心拍数計測器、３…瞬目検出器（瞬き検出手段）、４…ＥＣＵ、５…運転支援ユニット（支援手段）、６…心拍継続上昇検出部、７…長瞬目間隔検出部（危険感判定手段）、８…危険感判定部（危険感判定手段）、９…運転支援制御部（支援手段）、１０…ドライバ状態判定装置、１１…瞬目間隔算出部（危険感判定手段）、１２…車速センサ（車両停止検出手段）、１８…意識低下検出器（意識低下検出手段）。

Claims (9)

1. 車両のドライバの状態を判定するドライバ状態判定装置であって、
   前記ドライバの目の瞬きを検出する瞬き検出手段と、
   前記瞬き検出手段により検出された前記ドライバの目の瞬きに基づいて前記ドライバの開眼状態の継続時間を求め、前記ドライバの開眼状態の継続時間に基づいて前記ドライバが危険感を認識している状態であるかどうかを判定する危険感判定手段と、
   を備え、
   前記危険感判定手段は、前記ドライバの開眼状態の継続時間が閾値時間よりも長い場合に前記ドライバが危険感を認識している状態であると判定することを特徴とするドライバ状態判定装置。
2. 前記危険感判定手段は、前記ドライバの過去の開眼状態の継続時間に基づいて前記ドライバの開眼状態基準値を算出し、前記ドライバの現在の開眼状態の継続時間と前記開眼状態基準値とを比較して、前記ドライバが危険感を認識している状態であるかどうかを判定することを特徴とする請求項１記載のドライバ状態判定装置。
3. 前記危険感判定手段は、前回前記ドライバが危険感を認識している状態であると判定されたときは、前記開眼状態基準値の算出の実行を抑制することを特徴とする請求項２記載のドライバ状態判定装置。
4. 車両のドライバの状態を判定するドライバ状態判定装置であって、
   前記ドライバの目の瞬きを検出する瞬き検出手段と、
   前記瞬き検出手段により検出された前記ドライバの目の瞬きに基づいて前記ドライバの開眼状態の継続時間を求め、前記ドライバの開眼状態の継続時間に基づいて前記ドライバが危険感を認識している状態であるかどうかを判定する危険感判定手段と、
   を備え、
   前記危険感判定手段は、
   前記ドライバの過去の開眼状態の継続時間に基づいて前記ドライバの開眼状態基準値を算出し、前記ドライバの現在の開眼状態の継続時間と前記開眼状態基準値とを比較して、前記ドライバが危険感を認識している状態であるかどうかを判定すると共に、
   前回前記ドライバが危険感を認識している状態であると判定されたときは、前記開眼状態基準値の算出の実行を抑制することを特徴とするドライバ状態判定装置。
5. 前記車両が停止しているかどうかを検出する車両停止検出手段を更に備え、
   前記危険感判定手段は、前記車両停止検出手段により前記車両が停止していることが検出されたときは、前記開眼状態基準値の算出の実行を抑制すると共に、前記ドライバが危険感を認識していない状態であると判定することを特徴とする請求項２〜４のいずれか一項記載のドライバ状態判定装置。
6. 前記ドライバの開眼状態とは、前記ドライバの上瞼及び下瞼の間隔が、前記ドライバの目の瞳孔径よりも大きい所定値以上である状態をいうことを特徴とする請求項１〜５のいずれか一項記載のドライバ状態判定装置。
7. 前記ドライバの意識が低下しているかどうかを検出する意識低下検出手段を更に備え、
   前記意識低下検出手段により前記ドライバの意識が低下していないことが検出されたときに、前記危険感判定手段を実施することを特徴とする請求項１〜６のいずれか一項記載のドライバ状態判定装置。
8. ドライバが運転する車両を制御する車両制御装置であって、
   前記ドライバの目の瞬きを検出する瞬き検出手段と、
   前記瞬き検出手段により検出された前記ドライバの目の瞬きに基づいて前記ドライバの開眼状態の継続時間を求め、前記ドライバの開眼状態の継続時間に基づいて前記ドライバが危険感を認識している状態であるかどうかを判定する危険感判定手段と、
   前記危険感判定手段による判定結果に応じて前記車両の制御支援を行う支援手段と、
   を備え、
   前記危険感判定手段は、前記ドライバの開眼状態の継続時間が閾値時間よりも長い場合に前記ドライバが危険感を認識している状態であると判定することを特徴とする車両制御装置。
9. ドライバが運転する車両を制御する車両制御装置であって、
   前記ドライバの目の瞬きを検出する瞬き検出手段と、
   前記瞬き検出手段により検出された前記ドライバの目の瞬きに基づいて前記ドライバの開眼状態の継続時間を求め、前記ドライバの開眼状態の継続時間に基づいて前記ドライバが危険感を認識している状態であるかどうかを判定する危険感判定手段と、
   前記危険感判定手段による判定結果に応じて前記車両の制御支援を行う支援手段と、
   を備え、
   前記危険感判定手段は、
   前記ドライバの過去の開眼状態の継続時間に基づいて前記ドライバの開眼状態基準値を算出し、前記ドライバの現在の開眼状態の継続時間と前記開眼状態基準値とを比較して、前記ドライバが危険感を認識している状態であるかどうかを判定すると共に、
   前回前記ドライバが危険感を認識している状態であると判定されたときは、前記開眼状態基準値の算出の実行を抑制することを特徴とする車両制御装置。

Images