JP5333284B2 - 生体状態判定装置 - Google Patents

Description

本発明は、ドライバの生体状態を判定する生体状態判定装置に関するものである。

従来の生体状態判定装置としては、例えば特許文献１に記載されているものが知られている。特許文献１に記載の生体状態判定装置は、覚醒度を反映する閉眼時間割合等の運転者情報と、注意集中度を反映する頭部振動伝達率等の運転者情報とを検出し、各運転者情報の運転者個人の平均値及び標準偏差を演算し、この平均値及び標準偏差と車両・運転環境情報とに基づいて、運転者の居眠り状態、居眠り葛藤状態、集中状態、漫然状態を判定するものである。

特開２００７−２６５３７７号公報

しかしながら、上記従来技術においては、ぼんやり状態のような不明確な生体状態を判定するのは困難である。しかも、ドライバが直射日光やエアコン風等の外乱を眼に受けたり、他車両や建築物等の種類及び数といった車外環境が変化すると、ぼんやり状態の誤判定が生じやすくなる。

本発明の目的は、ドライバのぼんやり状態の判定精度を向上させることができる生体状態判定装置を提供することである。

本発明は、ドライバの開眼時間に基づいてドライバの生体状態を判定する生体状態判定装置において、ドライバの開眼時間のばらつきを求める開眼時間ばらつき計算手段と、開眼時間ばらつき計算手段により求めたドライバの開眼時間のばらつきに基づいて、ドライバのぼんやり状態を検知するぼんやり状態検知手段と、ドライバの運転状況に応じて、ドライバの開眼時間のばらつきを求めるための条件を設定する計算条件設定手段とを備え、計算条件設定手段は、ドライバの運転状況に応じて、ドライバの開眼時間のばらつきを求めるための時間幅を設定する手段であり、開眼時間ばらつき計算手段は、時間幅内においてドライバの開眼時間のばらつきを求めることを特徴とするものである。

このように本発明の生体状態判定装置においては、ドライバの開眼時間のばらつきを求め、その開眼時間のばらつきに基づいてドライバのぼんやり状態を検知する。このとき、ドライバの運転状況（例えばドライバの眼への外乱入力や車外環境の変化の有無等）に応じて、開眼時間のばらつきを求めるための条件を設定し、その条件に従って開眼時間のばらつきを求めるようにする。従って、ドライバの運転状況に応じた適切な開眼時間ばらつきが得られる。これにより、ドライバのぼんやり状態を高精度に判定することができる。

一般にドライバの運転状況によってドライバの開眼時間のばらつきが変わってくる。従って、ドライバの運転状況に応じて、ドライバの開眼時間のばらつきを求めるための時間幅を設定することで、開眼時間のばらつきの大きさを補正し、ドライバのぼんやり状態の判定精度を確実に高めることができる。

このとき、好ましくは、計算条件設定手段は、ドライバの眼に対する外乱入力を検出する外乱検出手段を有し、外乱検出手段によりドライバの眼に対する外乱入力が検出されたときに、時間幅を変更する。

直射日光やエアコン風等の外乱がドライバの眼に入力されると、眼が幻惑もしくは乾くことで均一方向に変化することから、開眼時間のばらつきが減少する。従って、この場合には開眼時間のばらつきを求めるための時間幅を長くすることにより、適切な開眼時間ばらつきを得ることができる。

また、好ましくは、計算条件設定手段は、車外環境の変化を検出する車外環境検出手段を有し、車外環境検出手段により車外環境の変化が検出されたときに、時間幅を変更する。

例えば自車両が高速道路から市街地の一般道路へ移動した際には、他車両及び建築物の数や種類が増えることから、開眼時間のばらつきが増加する。従って、この場合には開眼時間のばらつきを求めるための時間幅を短くすることにより、適切な開眼時間ばらつきを得ることができる。

また、本発明は、ドライバの開眼時間に基づいてドライバの生体状態を判定する生体状態判定装置において、ドライバの開眼時間のばらつきを求める開眼時間ばらつき計算手段と、開眼時間ばらつき計算手段により求めたドライバの開眼時間のばらつきに基づいて、ドライバのぼんやり状態を検知するぼんやり状態検知手段と、ドライバの運転状況に応じて、ドライバの開眼時間のばらつきを求めるための条件を設定する計算条件設定手段と、開眼時間ばらつき計算手段により求めたドライバの開眼時間のばらつきとぼんやり状態検知手段により検知したドライバのぼんやり状態とに基づいて、ドライバに眠気が発生する可能性があるかどうかを判定する眠気判定手段と、眠気判定手段によりドライバに眠気が発生する可能性があると判定されたときに、ドライバの眠気発生時刻を予測する眠気発生時刻予測手段とを備えることを特徴とするものである。

このように本発明の生体状態判定装置においては、ドライバの開眼時間のばらつきを求め、その開眼時間のばらつきに基づいてドライバのぼんやり状態を検知する。このとき、ドライバの運転状況（例えばドライバの眼への外乱入力や車外環境の変化の有無等）に応じて、開眼時間のばらつきを求めるための条件を設定し、その条件に従って開眼時間のばらつきを求めるようにする。従って、ドライバの運転状況に応じた適切な開眼時間ばらつきが得られる。これにより、ドライバのぼんやり状態を高精度に判定することができる。
また、ドライバに眠気が発生する可能性がある旨やドライバの眠気発生予想時刻を音声や画面表示等で報知することで、ドライバに対して注意を促すことができる。

このとき、好ましくは、ぼんやり状態検知手段により検知したドライバのぼんやり状態に基づいて、所定時間内におけるドライバのぼんやり状態の占める割合が所定値よりも低いかどうかを判断し、所定時間内におけるドライバのぼんやり状態の占める割合が所定値よりも低いと判断されたときに、眠気発生時刻予測手段により予測したドライバの眠気発生時刻をキャンセルする予測キャンセル手段を更に備える。

ぼんやり状態にあるドライバに生じている眠気は、例えば飲食や車外環境の変化等により解消することがある。従って、ドライバに眠気が発生する可能性があると判定されていても、所定時間内におけるドライバのぼんやり状態の占める割合が所定値よりも低いと判断されたときは、眠気発生時刻の予測をキャンセルする。これにより、ドライバが眠くならないにも係わらず眠気発生時刻が予測されてしまうといった不具合を防止することができる。

また、好ましくは、ドライバの生体特徴量を検出する特徴量検出手段と、ドライバの生体特徴量に基づいて、眠気発生時刻予測手段により予測したドライバの眠気発生時刻を補正する眠気発生時刻補正手段とを更に備える。

ドライバに眠気が発生する可能性がある時のドライバの眠気発生予想時刻は、運転中のドライバの状態変化により早まったり遅くなったりする。従って、ドライバの生体特徴量（例えば心拍特徴量）に基づいて、予測されたドライバの眠気発生時刻を補正することにより、ドライバの体調に応じた適切な眠気発生時刻を得ることができる。

本発明によれば、ドライバのぼんやり状態の判定精度を向上させることができる。これにより、ドライバの生体状態をより詳細に判別することが可能となる。

本発明に係わる生体状態判定装置の一実施形態の概略構成を示すブロック図である。 図１に示したメイン処理部により実行される処理手順を示すフローチャートである。 単位時間幅内における開眼時間のばらつきの一例を示す図である。 開眼時間格納バッファの一例を示す表である。 ぼんやり状態を検知する手法の一例を示すグラフである。 眠気発生の可能性を判定する手法の一例を示すグラフである。 眠気発生予想時刻を推定する手法の一例を示すグラフである。 図１に示した第１開眼時間ばらつき計算用データ設定処理部により実行される処理手順を示すフローチャートである。 太陽の直射日光がドライバの顔に当たっている状態を示す側面図である。 ドライバの顔への直射日光の照射イメージを示す図である。 外乱入力検出結果格納バッファの一例を示す表である。 図１に示した第２開眼時間ばらつき計算用データ設定処理部により実行される処理手順を示すフローチャートである。 車外環境を撮影する状態を示す側面図である。 車外環境の画像データを画像処理する様子を示す図である。 車外環境検出結果格納バッファの一例を示す表である。 図１に示した眠気発生予想時刻キャンセル処理部により実行される処理手順を示すフローチャートである。 ぼんやり状態検知結果格納バッファの一例を示す表である。 図１に示した眠気発生予想時刻補正処理部により実行される処理手順を示すフローチャートである。 図１８に示した生体特徴量の導出処理手順の詳細を示すフローチャートである。 図１に示した生体信号計測器の出力波形及び２値化波形の一例を示す波形図である。 ２値化波形の区間幅及び周期時系列の一例を示す波形図である。 心拍数の周期時系列に対してＦＦＴ処理して得られた波形の一例を示す波形図である。 ＦＦＴ処理して得られた波形に対して２つの周波数帯帯域を設定した状態を示す波形図である。 心拍ゆらぎの周期時系列の一例を示す波形図である。 生体特徴量格納バッファの一例を示すグラフである。 眠気発生予想時刻を補正する様子を示すグラフである。

以下、本発明に係わる生体状態判定装置の好適な実施形態について、図面を参照して詳細に説明する。

図１は、本発明に係わる生体状態判定装置の一実施形態の概略構成を示すブロック図である。本実施形態の生体状態判定装置１は、車両に搭載され、車両のドライバの生体状態を判定する装置である。

生体状態判定装置１は、顔撮像カメラ２と、車外撮像カメラ３と、生体信号計測器４と、ＥＣＵ（Electronic Control Unit）５と、出力器６とを備えている。顔撮像カメラ２は、ドライバの顔を撮像し、顔画像を生成する。車外撮像カメラ３は、車両の外側（ここでは前方）を撮像し、車外画像を生成する。

生体信号計測器４は、ドライバの生体信号を計測する機器である。生体信号としては、心拍、呼吸、脳波、皮膚電位、顔表情、体のしぐさ、車両機器の操作等が挙げられる。生体信号計測器４としては、心電計、呼吸計、脳波計、皮膚電位計、カメラ、圧力センサ等が用いられる。出力器６としては、音声出力を発生させる機器や、画面表示を行う機器が用いられる。

ＥＣＵ５は、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、入出力回路等により構成されている。ＥＣＵ５は、メイン処理部７と、第１開眼時間ばらつき計算用データ設定処理部８と、第２開眼時間ばらつき計算用データ設定処理部９と、眠気発生予想時刻キャンセル処理部１０と、眠気発生予想時刻補正処理部１１とを有している。

メイン処理部７は、顔撮像カメラ２の撮像画像を入力し、所定の処理を行い、ドライバの生体状態（通常状態、ぼんやり状態、眠気発生状態）を判定し、その判定結果を出力器６に送出する。

第１開眼時間ばらつき計算用データ設定処理部８は、顔撮像カメラ２の撮像画像を入力し、所定の処理を行い、メイン処理部７により開眼時間ばらつき（後述）を計算するための単位時間幅を設定する。

第２開眼時間ばらつき計算用データ設定処理部９は、車外撮像カメラ３の撮像画像を入力し、所定の処理を行い、メイン処理部７により開眼時間ばらつきを計算するための単位時間幅を設定する。

眠気発生予想時刻キャンセル処理部１０は、メイン処理部７によるぼんやり状態の検知結果を入力し、所定の処理を行い、必要に応じて、メイン処理部７により推定された眠気発生予想時刻（後述）をキャンセルする。

眠気発生予想時刻補正処理部１１は、生体信号計測器４の計測値を入力し、所定の処理を行い、必要に応じて、メイン処理部７により推定された眠気発生予想時刻を補正する。

図２は、メイン処理部７により実行される処理手順を示すフローチャートである。同図において、まず顔撮像カメラ２の顔画像データを取得する（手順Ｓ５１）。そして、図３に示すように、顔画像データから瞼の開閉を判断し、眼が開いている時間（開眼時間）を検出する（手順Ｓ５２）。なお、図３において、to_nはｎ回目の開眼時間であり、ts_nはｎ回目の開眼の開始時刻であり、te_nはｎ回目の開眼の終了時刻である。

続いて、図４に示すように、開眼時間データ（開始時刻ts_n、終了時刻te_n、開眼時間to_n）を開眼時間格納バッファに保持する（手順Ｓ５３）。ここで、バッファのサイズ要件としては、te_n−ts_１＞ｔｗを満足している。なお、ｔｗ（図３参照）は、開眼時間のばらつき（後述）を定量化する際の単位時間幅である。

続いて、複数の開眼時間のばらつきを統計量として計算する（手順Ｓ５４）。ここでは、統計量として標準偏差を求める。このとき、単位時間幅ｔｗ内の開眼時間データを取得し、開眼時間標準偏差（以下、開眼時間ＳＤと略す）を以下のようにして算出する。
単位時間幅ｔｗ内に含まれる開眼時間＝｛ｔｏ_１，ｔｏ_２，ｔｏ_３，…ｔｏ_ｎ｝

続いて、図５に示すように、開眼時間ＳＤとぼんやり状態検知用の閾値ＴＨ１とを比較することで、ドライバのぼんやり状態を検知する（手順Ｓ５５）。このとき、時刻ｔでの開眼時間ＳＤの値ＳＤ（ｔ）が閾値ＴＨ１以上（ＳＤ（ｔ）≧ＴＨ１）であるときは、ぼんやり検知フラグがＯＮとなり、ＳＤ（ｔ）＜ＴＨ１であるときは、ぼんやり検知フラグがＯＦＦとなる。

閾値ＴＨ１の設定法としては、以下の方法が挙げられる。即ち、下記式の通り、運転開始から任意時刻ｔ_ｎまでのＳＤ（ｔ）の統計量から閾値ＴＨ１を設定する。
ＴＨ１＝MEAN_SD＋Ｎ×STDEV_SD
MEAN_SD：運転開始から任意時刻ｔ_ｎまでのＳＤ（ｔ）の平均値
Ｎ：係数（例えば３）
STDEV_SD：運転開始から任意時刻ｔ_ｎまでのＳＤ（ｔ）の標準偏差

このとき、係数Ｎの値を、ドライバの着用物によって変えても良い。例えばドライバがメガネを着用している場合には、裸眼の場合に比べて、ぼんやりしていなくても目が疲れやすい傾向にあるため、開眼時間ＳＤが大きくなることがある。従って、このような場合には、係数Ｎを大きくする（例えばＮ＝５）とすることで、誤検知しにくくする。

また、ドライバの名前と閾値ＴＨ１の値とを対応づけてデータベースとして保管しておき、運転開始時にデータベースを参照して閾値ＴＨ１を設定しても良い。この場合、例えばドライバが初めて本装置を使った時のデータを閾値ＴＨ１として保持しておく必要がある。

続いて、図６に示すように、ぼんやり検知フラグ及び開眼時間ＳＤに基づき、直線あてはめ手法を用いて将来におけるドライバの眠気発生の可能性を判定する（手順Ｓ５６）。

具体的には、ぼんやり検知フラグがＯＦＦからＯＮになる時刻を、直線あてはめ区間の先頭時間ｔ_ｓに設定する。次いで、時刻ｔ_ｓから直線あてはめ区間幅ＬＷだけ経過した時刻を直線あてはめ区間の末尾時間ｔ_ｅに設定する。次いで、時刻ｔ_ｓ〜ｔ_ｅの区間の開眼時間ＳＤデータに対し、直線近似式を取得する。近似方法の一例としては、最小自乗法がある。直線近似式ＳＤは、以下の通りである。
ＳＤ＝Ａｔ＋Ｂ

そして、上記式の傾きＡが０より小さいかどうか（Ａ＜０）を判断し、Ａ＜０を満たすときは、眠気発生の可能性があるものとする。ここで、時刻ｔ_ｅは、開眼時間ＳＤデータの取得が完了する時刻であるため、眠気発生の可能性の判定を行う時刻でもある。

なお、直線あてはめ区間幅ＬＷは、例えば３分に設定される。その理由としては、睡眠潜時（寝入るまでの時間）が短い人（睡眠障害の患者）でも最短３分程度であることによる。これにより、健常者を含むどのドライバについても、眠気発生の可能性を素早く判定することができる。

続いて、図７に示すように、眠気発生可能性の判定結果と直線近似式ＳＤとを用いて、将来のドライバの眠気発生予想時刻を推定する（手順Ｓ５７）。具体的には、まず直線近似式ＳＤを延長した線（眠気発生予想直線）と眠気発生状態検知用の閾値ＴＨ２との交点となる時刻ｔ_ｄを計算する。その時刻ｔ_ｄが眠気発生予想時刻と推定される。また、時刻ｔ_ｅは眠気発生予想時刻の推定処理を行う時刻となるため、時刻ｔ_ｄと時刻ｔ_ｅとの時間差（眠気発生予想時刻までの所要時間）を計算する。

続いて、手順Ｓ５５〜Ｓ５７の処理結果として、ドライバがぼんやり状態であるか否か、ドライバに眠気発生の可能性があるか否か、ドライバに眠気が発生するまでの所要時間等を、出力器６に送出してドライバに伝える（手順Ｓ５８）。

図８は、第１開眼時間ばらつき計算用データ設定処理部８の処理手順を示すフローチャートである。同図において、まず顔撮像カメラ２の顔画像データを取得する（手順Ｓ６１）。

続いて、顔画像データに基づいてドライバの眼への外乱入力を検出する（手順Ｓ６２）。外乱としては、直射日光やエアコン風等があるが、ドライバの瞬き動作を阻害するものであれば種類は問わない。以下では、図９に示すように、ドライバＤの顔に直射日光が当たった場合を例にとって説明する。

ドライバＤの顔に直射日光が当たると、ドライバＤの顔表面の明るさ（輝度）分布は、例えば図１０に示すような状態となる。ここで、顔表面には、眼周辺の領域Ａと眼から離れた領域Ｂとが定められている。なお、領域Ａ，Ｂの位置は、眼への直射日光入力があることを他の顔部位との比較から検出可能な部位であれば良い。

顔撮像カメラ２の顔画像データから、領域Ａ，Ｂの輝度Ｌ１，Ｌ２が得られる。このとき、輝度値Ｌ１と輝度値Ｌ２との差が閾値ＴＨ以上（Ｌ１−Ｌ２＞ＴＨ）である場合は、ドライバの眼に直射日光が当たっていると判断する。閾値ＴＨの値としては、輝度値Ｌ１，Ｌ２が日光量、車両の窓ガラスの光透過度、ドライバの皮膚色等の影響で変わることから、眼への直射日光入力が検出可能なレベルであれば良い。

尚ここでは、顔撮像カメラ２によってドライバの顔への直射日光入力を検出するようにしたが、直射日光やエアコン風等の外乱入力を検出する手段としては、画像カメラの他に、風力計や温度計を使用しても良い。

続いて、図１１に示すように、外乱入力検出結果を時刻ｔ毎に外乱入力検出結果格納バッファに保持する（手順Ｓ６３）。このとき、外乱入力がないときは０を登録し、外乱入力があるときは１を登録する。

続いて、上述したメイン処理部７の手順Ｓ５４（図２参照）により開眼時間のばらつきを計算する際に用いる単位時間幅ｔｗを設定する（手順Ｓ６４）。例えば直射日光入射時には、ドライバの眼が幻惑もしくは乾くことで開眼時間が均一方向に変化し、結果として開眼時間ばらつきの減少が起こる。そこで、外乱入力がない場合とある場合とで、開眼時間ばらつきを得る際の単位時間幅ｔｗを変化させる。

具体的には、外乱入力がない場合には、単位時間幅ｔｗを予め設定された初期値とする。外乱入力がある場合には、単位時間幅ｔｗを初期値と外乱入力継続時間との合計値（初期値＋外乱入力継続時間）とする。

外乱入力継続時間は、現在時刻と外乱入力検出結果格納バッファの値とから以下の方法で得られる。即ち、まず現在時刻において、外乱入力検出結果格納バッファの外乱入力項目が１（外乱入力あり）か否かを判断する。外乱入力ありのときは、現在時刻を基準にして、外乱入力検出結果格納バッファの外乱入力項目が連続して１である区間の時間長（外乱入力継続時間）を得る。例えば図１１において、現在時刻がｔ_ｎであり、外乱入力項目が１である区間が時刻ｔ_３〜ｔ_ｎである場合は、外乱入力継続時間はｔ_ｎ−ｔ_３となる。

続いて、手順Ｓ６４で設定された単位時間幅ｔｗのデータをメイン処理部７に出力する（手順Ｓ６５）。これにより、メイン処理部７の上記手順Ｓ５４では、手順Ｓ６４で設定された単位時間幅ｔｗ内において開眼時間ばらつき（開眼時間ＳＤ）を計算することとなる。

このようにドライバの眼に対して直射日光等の外乱が入力されたときは、外乱入力継続時間分だけ単位時間幅ｔｗを長くするので、ドライバに対する外乱入力状況に応じた適切な開眼時間ばらつきが得られるようになる。これにより、ドライバに対する外乱入力の有無にかかわらず、ドライバのぼんやり状態を精度良く検知することができる。

なお、上記処理では、外乱入力時に単位時間幅ｔｗを外乱入力継続時間分だけ長くするようにしたが、現在時刻に外乱入力がある場合には、開眼時間ばらつきの計算をキャンセルするようにしても良い。例えば図１１において現在時刻がｔ_ｎである場合には、時刻ｔ_ｎでの開眼時間ばらつきとしては、時刻ｔ_２で得られた開眼時間ばらつきの値が適用されるようになる。

図１２は、第２開眼時間ばらつき計算用データ設定処理部９の処理手順を示すフローチャートである。同図において、まず図１３に示すように設置された車外撮像カメラ３により生成された車外画像データを取得する（手順Ｓ７１）。

続いて、車外画像データに基づいて、車外環境として車外に存在する対象物を検出する（手順Ｓ７２）。具体的には、図１４に示すように、まず車外画像データ（Ａ参照）を輝度差や色等に基づき領域分割し（Ｂ参照）、領域の属性（対象物の種類）を同定する（Ｃ参照）。そして、車外撮像カメラ３により撮影した時刻における車外環境中の対象物の構成（種類や数）を出力する（Ｄ参照）。

続いて、図１５に示すように、対象物検出結果を時刻ｔ毎に車外環境検出結果格納バッファに保持する（手順Ｓ７３）。ここでは、対象物の総数を登録する。

続いて、上述したメイン処理部７の手順Ｓ５４（図２参照）により開眼時間のばらつきを計算する際に用いる単位時間幅ｔｗを設定する（手順Ｓ７４）。例えば高速道路から市街地の一般道路へ移動した際には、対象物の数が増えることから、開眼時間のばらつきは増加する方向に変化する。そこで、対象物の数の変化がない場合とある場合とで、開眼時間ばらつきを得る際の単位時間幅ｔｗを変化させる。

具体的には、対象物の数の変化がない場合には、単位時間幅ｔｗとしては、前の時刻の値を保持する。一方、対象物の数の変化がある場合には、単位時間幅ｔｗは下記式より得られる。

但し、計算により得られた単位時間幅ｔｗが初期値よりも小さくなるときは、単位時間幅ｔｗを初期値とする。

続いて、手順Ｓ７４で設定された単位時間幅ｔｗのデータをメイン処理部７に出力する（手順Ｓ７５）。これにより、メイン処理部７の上記手順Ｓ５４では、手順Ｓ７４で設定された単位時間幅ｔｗ内において開眼時間ばらつき（開眼時間ＳＤ）を計算することとなる。

このように車外環境中に存在する対象物の数が変化したときは、それに応じて単位時間幅ｔｗを変化させるので、対象物数の変化状況に応じた適切な開眼時間ばらつきが得られるようになる。これにより、車外環境の変化の有無にかかわらず、ドライバのぼんやり状態を精度良く検知することができる。

なお、上記処理では、車外環境の変動時には、単位時間幅ｔｗを対象物の総数に応じて変更するようにしたが、ドライバは運転環境の変化に適応することから、単位時間幅ｔｗを変更してから一定時間（例えば３〜５分程度）経過した後に、単位時間幅ｔｗを初期値に戻しても良い。

図１６は、眠気発生予想時刻キャンセル処理部１０の処理手順を示すフローチャートである。同図において、まず図１７に示すように、上述したメイン処理部７の手順Ｓ５５（図２参照）により得られたぼんやり状態検知結果（ぼんやり検知フラグ）を時刻ｔ毎にぼんやり状態検知結果格納バッファに保持する（手順Ｓ８１）。

続いて、所定時間幅におけるぼんやり状態の占める割合が所定値よりも小さいかどうかを判定することで、メイン処理部７の手順Ｓ５７（図２参照）により得られた眠気発生予想時刻をクリアするかどうかを判断する（手順Ｓ８２）。

具体的には、まず手順Ｓ５６（図２参照）により現在ドライバに眠気発生予測が出ているかどうかを判断し、眠気発生予測が出ているときは、現在時刻を起点とした過去数分間（例えば１０分前後）の区間において、以下のデータを取得する。
変数ａ：ぼんやり検知フラグのデータ数
変数ｂ：変数ａの中で、ぼんやり検知フラグの値が１であるデータ数

そして、ｂ／ａの値が眠気発生予想時刻クリア閾値ＴＨＣよりも小さい（ｂ／ａ＜ＴＨＣ）ときは、ドライバの眠気発生はなくなったと判断し、上記手順Ｓ５７により得られた眠気発生予想時刻をクリアする。一方、ｂ／ａの値が眠気発生予想時刻クリア閾値ＴＨＣ以上である（ｂ／ａ≧ＴＨＣ）ときは、上記手順Ｓ５７により得られた眠気発生予想時刻を保持する。なお、眠気発生予想時刻クリア閾値ＴＨＣの値は、例えば０．１程度である。

手順Ｓ８２で眠気発生予想時刻をクリアすると判断されたときは、その旨をメイン処理部７に指示する（手順Ｓ８３）。これにより、メイン処理部７の上記手順Ｓ５７では、推定された眠気発生予想時刻をクリア（キャンセル）することとなる。

このように所定時間幅におけるぼんやり状態の占める割合が所定値よりも小さいときは、上記手順Ｓ５７により得られた眠気発生予想時刻をキャンセルするので、例えば飲食物の取得等といった行動やそれに伴う体調変化、或いは車外環境の変化等によってドライバの眠気が解消したにもかかわらず、ドライバが眠くなるものと誤予想してしまうことが防止される。

図１８は、眠気発生予想時刻補正処理部１１の処理手順を示すフローチャートである。同図において、まず生体信号計測器４の計測データを取得する（手順Ｓ９１）。続いて、計測データに基づいて、眠気発生予想時刻の補正の判断に用いる生体特徴量を導出する（手順Ｓ９２）。

この生体特徴量導出処理手順の詳細を図１９に示す。ここでは、生体特徴量として、図２０に示すような心電図計の生データ（心拍データ）に基づいて心拍特徴量を導出することとする。

同図において、まず心電図計の生データに対してバンドパスフィルタ（ＢＰＦ）処理を施し、所定の通過帯域（例えば０．１Ｈｚ〜３０Ｈｚ程度）の成分を取り出す（手順Ｓ１０１）。

続いて、図２０に示すように、ＢＰＦ処理が施された心拍データの波形を予め設定された閾値と比較することで２値化する（手順Ｓ１０２）。このとき、心拍データの波形のうち各Ｒ波部分が最大値となるタイミングで１となるように２値化を行う（図２０中の拡大図参照）。

続いて、図２１（Ａ）に示すように、２値化データにおいて「１」となる各タイミングの区間幅（時間間隔）ｔを求め、各区間幅ｔを縦軸としたグラフを生成する（手順Ｓ１０３）。このとき、区間幅ｔが運転者の心拍周期に相当する。

続いて、図２１（Ｂ）に示すように、上記心拍周期のグラフを補間して心拍周期の曲線（破線参照）を求め、心拍周期の時系列データを得る（手順Ｓ１０４）。このとき、心拍周期の時系列データの縦軸単位を例えば１分当たりの心拍数（拍動回数）に変換しても良い。

続いて、心拍周期の時系列データについて、図２２に示すように、基準時間Ｔ（任意のタイムスタンプ）前の解析単位区間幅Ｔ_termに対して高速フーリエ変換（ＦＦＴ）を施し、周波数成分に対するパワー（振幅）スペクトルを得る（手順Ｓ１０５）。

続いて、図２３に示すように、高速フーリエ変換によって解析単位区間幅Ｔ_term毎に得られたパワースペクトルに対して、２つの周波数帯帯域（低周波成分及び高周波成分）を設定する（手順Ｓ１０６）。このとき、低周波成分の帯域は例えば０．１Ｈｚ付近であり、高周波成分の帯域は例えば０．３Ｈｚ付近である。そして、各周波数帯帯域毎に振幅スペクトルを積分する（手順Ｓ１０７）。

そして、上記の高速フーリエ変換処理、周波数帯帯域の設定処理及び積分処理を繰り返し行うことにより、図２４に示すように、各周波数帯帯域毎の振幅スペクトルパワーの時系列データが得られる（手順Ｓ１０８）。この振幅スペクトルパワーの時系列データが心拍ゆらぎの時系列データである。なお、図２４は心拍ゆらぎ低周波成分値を示している。

図１８に戻り、上記の手順Ｓ９２を実行した後、図２５に示すように、得られた生体特徴量（ここでは心拍ゆらぎ低周波成分値）を時刻ｔ毎に生体特徴量格納バッファに保持する（手順Ｓ９３）。

続いて、図２６に示すように、生体特徴量（心拍ゆらぎ低周波成分値）の大きさを心拍ゆらぎ低周波成分値閾値ＴＨＨと比較することで、上述したメイン処理部７の手順Ｓ５７により得られた眠気発生予想時刻を補正するかどうかを判断する（手順Ｓ９４）。具体的には、心拍ゆらぎ低周波成分値が心拍ゆらぎ低周波成分値閾値ＴＨＨより大きくなったときに、眠気発生予想時刻を補正すると判断される。図２６では、時刻Ｘにおける心拍ゆらぎ低周波成分値が眠気発生予想時刻補正のきっかけとなっている。

このとき、心拍ゆらぎ低周波成分値閾値ＴＨＨは、運転開始から数分間（例えば３〜５分間）の心拍ゆらぎ低周波成分に基づき、下記式により設定される。
ＴＨＨ＝MeanHRV＋（Ｎ×SdHRV）
MeanHRV：心拍ゆらぎ低周波成分値の平均値
SdHRV：心拍ゆらぎ低周波成分値の標準偏差値
Ｎ：任意定数（３前後に設定）

また、ドライバが車両に乗り込んだ直後、数分間の安静時間（例えば３〜５分間）を設け、その時間の心拍ゆらぎ低周波成分に基づき、上記式により心拍ゆらぎ低周波成分値閾値ＴＨＨを設定しても良い。

手順Ｓ９４で眠気発生予想時刻を補正すると判断されたときは、その旨をメイン処理部７に指示する（手順Ｓ９５）。これにより、メイン処理部７の手順Ｓ５７では、先に推定した眠気発生予想時刻を補正することとなる。従って、例えば図２６に示すように、補正前に比べて、眠気発生予想時刻補正のきっかけとなる時刻Ｘから眠気発生予想直線の傾きが急になり（Ｐ参照）、結果的に眠気発生予想時刻が早まるようになる。

このように運転中のドライバの生体特徴量（心拍ゆらぎ低周波成分値）に応じて眠気発生予想時刻が変更されるため、ドライバの体調に応じた眠気発生予想時刻を得ることができる。

以上において、ＥＣＵ５のメイン処理部７の手順Ｓ５４は、ドライバの開眼時間のばらつきを求める開眼時間ばらつき計算手段を構成する。同手順Ｓ５５は、開眼時間ばらつき計算手段により求めたドライバの開眼時間のばらつきに基づいて、ドライバのぼんやり状態を検知するぼんやり状態検知手段を構成する。顔撮像カメラ２、車外撮像カメラ３、ＥＣＵ５の第１開眼時間ばらつき計算用データ設定処理部８及び第２開眼時間ばらつき計算用データ設定処理部９は、ドライバの運転状況に応じて、ドライバの開眼時間のばらつきを求めるための条件を設定する計算条件設定手段を構成する。

このとき、顔撮像カメラ２と第１開眼時間ばらつき計算用データ設定処理部８の手順Ｓ６１，Ｓ６２は、ドライバの眼に対する外乱入力を検出する外乱検出手段を構成する。車外撮像カメラ３と第２開眼時間ばらつき計算用データ設定処理部９の手順Ｓ７１，Ｓ７２は、車外環境の変化を検出する車外環境検出手段を構成する。

また、ＥＣＵ５のメイン処理部７の手順Ｓ５６は、開眼時間ばらつき計算手段により求めたドライバの開眼時間のばらつきとぼんやり状態検知手段により検知したドライバのぼんやり状態とに基づいて、ドライバに眠気が発生する可能性があるかどうかを判定する眠気判定手段を構成する。同手順Ｓ５７は、眠気判定手段によりドライバに眠気が発生する可能性があると判定されたときに、ドライバの眠気発生時刻を予測する眠気発生時刻予測手段を構成する。

ＥＣＵ５の眠気発生予想時刻キャンセル処理部１０は、ぼんやり状態検知手段により検知したドライバのぼんやり状態に基づいて、所定時間内におけるドライバのぼんやり状態の占める割合が所定値よりも低いかどうかを判断し、所定時間内におけるドライバのぼんやり状態の占める割合が所定値よりも低いと判断されたときに、眠気発生時刻予測手段により予測したドライバの眠気発生時刻をキャンセルする予測キャンセル手段を構成する。

生体信号計測器４とＥＣＵ５の眠気発生予想時刻補正処理部１１の手順Ｓ９１，Ｓ９２は、ドライバの生体特徴量を検出する特徴量検出手段を構成する。眠気発生予想時刻補正処理部１１の手順Ｓ９３〜Ｓ９５は、ドライバの生体特徴量に基づいて、眠気発生時刻予測手段により予測したドライバの眠気発生時刻を補正する眠気発生時刻補正手段を構成する。

以上のように本実施形態によれば、ドライバの眼に対する外乱入力の有無や車外環境の変化の有無に応じて単位時間幅ｔｗを変更し、その単位時間幅ｔｗ内において開眼時間ばらつきを求めるので、ドライバのぼんやり状態の判定精度を向上させることができる。これにより、ドライバの生体状態を高精度に判別することが可能となる。

また、ドライバの眠気発生予想時刻が推定された後、所定時間幅におけるぼんやり状態の占める割合が所定値よりも小さくなったときは、推定した眠気発生予想時刻をキャンセルするので、ドライバが眠くならないにもかかわらず眠くなるものと誤予想されることを防止できる。

さらに、ドライバの生体特徴量に基づいてドライバの眠気発生予想時刻を補正するかどうかを判断するので、ドライバの体調に応じた適切な眠気発生予想時刻を取得することができる。

１…生体状態判定装置、２…顔撮像カメラ（計算条件設定手段、外乱入力検出手段）、３…車外撮像カメラ（計算条件設定手段、車外環境検出手段）、４…生体信号計測器（特徴量検出手段）、５…ＥＣＵ、７…メイン処理部（開眼時間ばらつき計算手段、ぼんやり状態検知手段、眠気判定手段、眠気発生時刻予測手段）、８…第１開眼時間ばらつき計算用データ設定処理部（計算条件設定手段、外乱入力検出手段）、９…第２開眼時間ばらつき計算用データ設定処理部（計算条件設定手段、車外環境検出手段）、１０…眠気発生予想時刻キャンセル処理部（予測キャンセル手段）、１１…眠気発生予想時刻補正処理部（特徴量検出手段、眠気発生時刻補正手段）。

Claims (6)

1. ドライバの開眼時間に基づいて前記ドライバの生体状態を判定する生体状態判定装置において、
   前記ドライバの開眼時間のばらつきを求める開眼時間ばらつき計算手段と、
   前記開眼時間ばらつき計算手段により求めた前記ドライバの開眼時間のばらつきに基づいて、前記ドライバのぼんやり状態を検知するぼんやり状態検知手段と、
   前記ドライバの運転状況に応じて、前記ドライバの開眼時間のばらつきを求めるための条件を設定する計算条件設定手段とを備え、
   前記計算条件設定手段は、前記ドライバの運転状況に応じて、前記ドライバの開眼時間のばらつきを求めるための時間幅を設定する手段であり、
   前記開眼時間ばらつき計算手段は、前記時間幅内において前記ドライバの開眼時間のばらつきを求めることを特徴とする生体状態判定装置。
2. 前記計算条件設定手段は、前記ドライバの眼に対する外乱入力を検出する外乱検出手段を有し、前記外乱検出手段により前記ドライバの眼に対する外乱入力が検出されたときに、前記時間幅を変更することを特徴とする請求項１記載の生体状態判定装置。
3. 前記計算条件設定手段は、車外環境の変化を検出する車外環境検出手段を有し、前記車外環境検出手段により前記車外環境の変化が検出されたときに、前記時間幅を変更することを特徴とする請求項１記載の生体状態判定装置。
4. ドライバの開眼時間に基づいて前記ドライバの生体状態を判定する生体状態判定装置において、
   前記ドライバの開眼時間のばらつきを求める開眼時間ばらつき計算手段と、
   前記開眼時間ばらつき計算手段により求めた前記ドライバの開眼時間のばらつきに基づいて、前記ドライバのぼんやり状態を検知するぼんやり状態検知手段と、
   前記ドライバの運転状況に応じて、前記ドライバの開眼時間のばらつきを求めるための条件を設定する計算条件設定手段と、
   前記開眼時間ばらつき計算手段により求めた前記ドライバの開眼時間のばらつきと前記ぼんやり状態検知手段により検知した前記ドライバのぼんやり状態とに基づいて、前記ドライバに眠気が発生する可能性があるかどうかを判定する眠気判定手段と、
   前記眠気判定手段により前記ドライバに眠気が発生する可能性があると判定されたときに、前記ドライバの眠気発生時刻を予測する眠気発生時刻予測手段とを備えることを特徴とする生体状態判定装置。
5. 前記ぼんやり状態検知手段により検知した前記ドライバのぼんやり状態に基づいて、所定時間内における前記ドライバのぼんやり状態の占める割合が所定値よりも低いかどうかを判断し、前記所定時間内における前記ドライバのぼんやり状態の占める割合が前記所定値よりも低いと判断されたときに、前記眠気発生時刻予測手段により予測した前記ドライバの眠気発生時刻をキャンセルする予測キャンセル手段を更に備えることを特徴とする請求項４記載の生体状態判定装置。
6. 前記ドライバの生体特徴量を検出する特徴量検出手段と、
   前記ドライバの生体特徴量に基づいて、前記眠気発生時刻予測手段により予測した前記ドライバの眠気発生時刻を補正する眠気発生時刻補正手段とを更に備えることを特徴とする請求項４記載の生体状態判定装置。

Images