以下、図面を参照して、本発明に係る覚醒度推定装置の実施の形態を説明する。
本実施の形態では、本発明に係る覚醒度推定装置を、車両のドライバの覚醒度を推定するための覚醒度推定システムに適用する。本実施の形態に係る覚醒度推定システムでは、前処理で覚醒度を推定する際に用いる参照モデルを複数作成し、リアルタイム処理でドライバに合った参照モデルを用いて車両運転中のドライバの覚醒度を推定する。本実施の形態では、マハラノビス・タグチ・システムを利用する。本実施の形態では、覚醒度を、D0〜D5の6段階で表し、D0が覚醒状態が最も高く(眠気が最も弱く)、D5が覚醒状態が最も低い(眠気が最も強い)。
図1〜図7を参照して、本実施の形態に係る覚醒度推定システム1について説明する。図1は、本実施の形態に係る覚醒度推定システムの構成図である。図2は、図1の参照モデル作成装置で取り扱うデータの一例である。図3は、変数が15の場合の直交表の一例である。図4は、マハラノビス距離の距離分布のヒストグラムの一例であり、(a)がカテゴリAの場合であり、(b)がカテゴリBの場合である。図5は、図4の距離分布のヒストグラムをパラメトリック密度関数モデルで近似した一例であり、(a)がカテゴリAの場合であり、(b)がカテゴリBの場合である。図6は、運転開始からの特定時間内のデータによるマハラノビス距離の距離分布のヒストグラムの一例である。図7は、図1の覚醒度推定装置の記憶部に記憶される参照モデルの一例である。
覚醒度推定システム1は、パソコンなどのコンピュータ上に構成される参照モデル作成装置2と各車両に搭載される覚醒度推定装置3からなる。参照モデル作成装置2では、覚醒度を推定する際の基準となる参照モデルを予め複数作成する。覚醒度推定装置3では、ドライバが運転を開始する毎に複数の参照モデルからドライバに適した参照モデルを1つ選択し、その選択した参照モデルに基づいてドライバの覚醒度を推定する。
まず、参照モデル作成装置2について説明する。参照モデル作成装置2は、コンピュータ20上に構成される。参照モデル作成装置2では、覚醒度を推定するために用意された複数の変数(特許請求の範囲に記載のパラメータに相当)の中から実際に覚醒度の推定に用いる変数の組み合わせを決定する。そして、参照モデル作成装置2では、その決定した変数だけを用いて、覚醒度を推定する際の判定基準となる複数の参照モデルを作成する。そのために、参照モデル作成装置2は、データベース21を有するとともに、ハードディスクなどに格納されているアプリケーションプログラムをRAM上にロードしてCPUで実行することによって状態変数設定部22(共分散計算部22a、多重共線性判定部22b、信号ノイズ比計算部22c)及び参照モデル作成部23(距離分布計算部23a、分離判定部23b、参照モデル作成部23c)が構成される。
本実施の形態では、データベース21が特許請求の範囲に記載する記憶手段に相当し、状態変数設定部22が特許請求の範囲に記載するパラメータ設定手段に相当し、参照モデル作成部23が特許請求の範囲に記載するモデル作成手段に相当する。
データベース21は、コンピュータ20のハードディスク上の所定の領域に構成される。データベース21には、実際に運転を行っている複数のドライバについての覚醒度を推定するための複数の変数の時系列データ(連続、離散)が格納されている。変数としては、車両挙動の各変数、生体の各変数、行動の各変数がある。車両挙動の変数としては、操舵角、車速、アクセル開度、ヨーレートなどがある。生体の変数としては、皮膚電位、心電、呼吸、体温などがある。行動の変数としては、眼球の動き、瞬き、欠伸などがある。
各時系列データには、計測月日(季節)、計測時刻、天候、道路環境(一般道路、高速道路、渋滞など)、ドライバの年齢、性別、体調などの情報及び覚醒度の官能評価値の情報が対応付けられている。計測時刻、天候、道路環境、体調などの情報及び覚醒度の官能評価値のように時間経過とともに変化する変数については、単位時間ΔT毎に更新した情報が対応付けられる。各時系列データのうち、覚醒度の官能評価値がD0(ドライバの覚醒度が最も高い状態)のデータが基準集団のデータである。なお、データベース21に格納するデータとしては、計測したままの連続データでもよいが、所定時間Δt(=ΔT/N、Nは変更可能な定数)毎の平均値のほうがよい。
図2には、複数の変数についての時系列データ(計測値)の一例を示している。この時系列データは、ある一人のドライバについて1回の運転中に計測された結果である。車両挙動としてはn個の変数についての時系列データA1,・・・,Anがあり、生体としてはm個の変数についての時系列データB1,・・・,Bmがあり、行動としてはk個の変数についての時系列データC1,・・・,Ckがある。したがって、変数Xは、n+m+k個あり、(X1,X2,・・・・,Xn+m+k)と表す。実際にデータベース21に格納される時系列データは、計測データから計算された所定時間Δt(=ΔT/N)毎の平均値である。ちなみに、行動の変数については、顔の中の目や口などの動きから認識するものがあるので、計測データとして顔などを撮像した画像の時系列データを含んでおり、この画像から所定時間Δt毎に認識した眼球の動き、瞬き、欠伸などがデータベース21に格納される時系列データとなる。そして、この各時系列データには、単位時間ΔT毎に、覚醒度の官能評価値が対応付けられる。図2に示すように、覚醒度の官能評価値としてD0が複数の単位時間ΔTの区間に付与されており、一人のドライバの1回の運転中の時系列データの中にも、複数の基準集団のデータが含まれている。
状態変数設定部22は、データベース21に格納されている複数の変数についての基準集団のデータに基づいて、覚醒度の推定に最適な変数の組み合わせを設定する。覚醒度の推定に最適な変数の組み合わせとしては、多重共線性を生じない組み合わせの中でノイズの影響を最も受け難い組み合わせとする。多重共線性を生じない組み合わせとするのは、複数の変数を用いて覚醒度を推定した場合、多次元のベクトル空間の次元が大きくなり、その複数の変数のデータの共分散行列が正則でなくなる(すなわち、多重共線性が生じる)可能性があるからである。
共分散計算部22aでは、実験計画表で用いられる直交表を用いて、データベース21に格納されている全ての変数から変数の組み合わせを生成する。そして、共分散計算部22aでは、生成した組み合わせ毎に、その組み合わせの各変数についての基準集団のデータを用いて共分散行列及び共分散行列の固有値を計算する。
図3には、直交表の一例を示している。ここでは、15個の変数X=(X1,・・・X15)の場合を示しており、16通りの変数の組み合わせがある。図3において、1はその変数を使用し、0はその変数を使用しないことを示す。したがって、組み合わせ毎に、1が付与されている変数だけを用いて、共分散行列とその固有値が計算される。
多重共線性判定部22bでは、共分散計算部22aで生成された組み合わせ毎に、共分散行列の固有値が閾値以下か否かを判定する。閾値は、多重共線性が生じるか否かを判定するための閾値であり、予め設定される。多重共線性判定部22bでは、固有値が閾値以下と判定した場合、多重共線性が生じる可能性があるので、その変数の組み合わせを破棄する。多重共線性判定部22bでは、固有値が閾値より大きいと判定した場合、多重共線性が生じる可能性がないので、その変数の組み合わせを保持する。
信号ノイズ比計算部22cでは、多重共線性判定部22bで保持した変数の組み合わせ毎に、その組み合わせの各変数についての基準集団のデータを用いて、複数の基準集団のデータに対してS(信号:覚醒度の推定に有効な値)とN(ノイズ:覚醒度の推定に不要な値)との比をそれぞれ計算し、基準集団が変更することによって変化するSN比の分散及びSN比の平均を計算する。そして、信号ノイズ比計算部22cでは、多重共線性判定部22bで保持した全ての組み合わせについてのSN比の分散値及び平均値を比較し、SN比の分散値が最小かつ平均値が最大となる変数の組み合わせを選択する。この選択された変数の組み合わせが、覚醒度の推定に最も適した変数の組み合わせであり、(X1’,・・・,Xq’)と表す。
参照モデル作成部23は、状態変数設定部22で設定した組み合わせの変数だけを用いて、覚醒度を推定する際の判定基準となる参照モデルを複数個作成する。参照モデルは、覚醒度毎のマハラノビス距離の分布状態(パラメトリック密度関数モデルを適用)で表され、マハラノビス距離を求めるとそのマハラノビス距離に応じて覚醒度を判別できるモデルである。参照モデルは、多種多様の参照モデルを用意するために、複数のカテゴリ毎に作成される。カテゴリは、計測月日(季節)、計測時刻、天候、道路環境、ドライバの年齢、性別、体調などの情報のうちの1つ以上の情報を組み合わせたものである。例えば、年齢が30歳代、性別が男性、天候が雨、道路環境が一般道路、計測時刻が昼というカテゴリである。
距離分布計算部23aでは、状態変数設定部22で設定した組み合わせの変数だけを用いて、データベース21に格納されている特定の基準集団とデータベース21に格納されている複数のデータとのマハラノビス距離をそれぞれ計算する。マハラノビス距離は、カテゴリ毎に、各覚醒度D0,D1,・・・について複数個計算される。マハラノビス距離の計算では、基準集団の共分散行列が用いられる。さらに、距離分布計算部23aでは、カテゴリ毎に、各覚醒度の複数のマハラノビス距離を用いて、各覚醒度についての距離分布のヒストグラムをそれぞれ作成する。なお、このマハラノビス距離を計算する際の特定の基準集団(単位空間)のデータは、データベース21に格納されている複数の基準集団のデータの中のデータであり、例えば、複数の基準集団のデータから任意に抽出したデータでもよいし、複数の基準集団のデータの全部又は一部のデータを平均化したデータでもよい。
図4には、マハラノビス距離の距離分布のヒストグラムの一例を示しており、(a)がカテゴリA(男性30歳代(10人)、雨、一般道路、昼)のヒストグラムであり、(b)がカテゴリA(男性30歳代(10人)、晴れ、一般道路、昼)のヒストグラムである。このヒストグラムは、横軸が度数であり、縦軸がマハラノビス距離であり、覚醒度D0,D1,・・・毎の度数分布である。図4から判るように、覚醒度毎に距離分布のヒストグラムが異なっており、覚醒度間でヒストグラムを分離できれば覚醒度を判別可能となる。ちなみに、覚醒度がD0の場合、マハラノビス距離が1周辺の値に集中し、覚醒度D0の距離分布のヒストグラムの平均値が1前後の値となる。
分離判定部23bでは、カテゴリ毎に、距離分布計算部23aで作成した各覚醒度の距離分布のヒストグラムを用いて、覚醒度毎に距離分布のヒストグラムを分離可能か否かを判定する。この判定方法としては、各覚醒度の距離分布のヒストグラムの平均値が覚醒度の度合いに従って単調増加か否か(つまり、D0,D1,・・・の順に平均値が大きくなっているか否か)、各覚醒度の距離分布のヒストグラムが単峰性のパラメトリック密度関数モデルで近似可能か否か、各覚醒度の距離分布のヒストグラムからそれぞれ近似されたパラメトリック密度関数モデルが相互情報量(カルバック・ライブラー情報量など)によってある一定の差を有しているか否かの3つの条件を全て満たすか否かで判定する。分離判定部23bでは、上記の3つの条件を全て満たし、分離可能と判定した場合、そのカテゴリについての覚醒度毎の距離分布のヒストグラムを保持する。分離判定部23bでは、上記の3つの条件のいずれかの条件を満たさず、分離不能と判定した場合、そのカテゴリについての覚醒度毎の距離分布のヒストグラムを破棄する。分離可能なカテゴリが所定数以上得られない場合、分離可能となるまでカテゴリの種別を変える。ここでは、覚醒度毎の距離分布のヒストグラムを分離可能なカテゴリが複数できるようにする。
参照モデル作成部23cでは、分離判定部23bで保持された各カテゴリについての覚醒度毎の距離分布のヒストグラム毎に、既存の統計的なパラメトリック密度関数モデルを適用し、各ヒストグラムについてパラメトリック密度関数モデルで近似するパラメータを最尤推定などの手法で決定する。そして、参照モデル作成部23cでは、覚醒度D0,D1,・・・毎の各パラメータからなるパラメトリック密度関数モデルを参照モデルとする。
図5には、図4に示す距離分布のヒストグラムを近似したパラメトリック密度関数モデル(すなわち、参照モデル)を示す。(a)に示すパラメトリック密度関数モデルMA0,MA1,MA2は形状や単峰の頂点の位置などがそれぞれ異なっており、(b)に示すパラメトリック密度関数モデルMB0,MB1,MB2も形状や単峰の頂点の位置などが異なっており、分離可能であり、覚醒度D0,D1,D2を判別できる。また、(a)に示すパラメトリック密度関数モデルMA0,MA1,MA2と(b)に示すパラメトリック密度関数モデルMB0,MB1,MB2とは、形状や単峰の頂点の位置などが異なっており、覚醒度の判別基準が違う。このような参照モデルを複数のカテゴリについて作成することにより、ドライバにとってそのときの状況により適合した参照モデルを提供することができる。
次に、覚醒度推定装置3について説明する。覚醒度推定装置3は、各車両に搭載される。覚醒度推定装置3では、運転開始時に参照モデル作成装置2で作成された複数の参照モデルからドライバのそのときの状況に応じた参照モデルを選択する。そして、覚醒度推定装置3では、選択した参照モデルに基づいて、参照モデル作成装置2で設定された組み合わせの変数についての各検知値に応じた覚醒度を推定し、推定した覚醒度を出力する。そのために、覚醒度推定装置3は、車両挙動検知手段30、生体情報検知手段31、行動情報検知手段32、ECU[Electronic Control Unit]33(記憶部34、覚醒度推定部35(距離計算部35a、参照モデル選択部35b、覚醒度判定部35c))、表示手段36を備えている。
本実施の形態では、車両挙動検知手段30、生体情報検知手段31、行動情報検知手段32が特許請求の範囲に記載する観測値取得手段に相当し、距離計算部35a及び参照モデル選択部35bが特許請求の範囲に記載するモデル選択手段に相当し、覚醒度判定部35cが特許請求の範囲に記載する推定手段に相当する。
車両挙動検知手段30は、覚醒度を推定するために用いられる車両挙動を検知する手段であり、例えば、操舵角センサ、車速センサである。各車両挙動検知手段30では、一定時間毎に、各車両挙動を検知し、その検知信号をECU33に送信する。車両挙動の情報としては、参照モデル作成装置2で設定された変数の組み合わせに含まれる車両挙動の情報である。
生体情報検知手段31は、覚醒度を推定するために用いられる生体情報を検知する手段であり、例えば、皮膚電位センサ、心電センサである。各生体情報検知手段31では、一定時間毎に、各生体情報を検知し、その検知信号をECU33に送信する。生体の情報としては、参照モデル作成装置2で設定された変数の組み合わせに含まれる生体の情報である。
行動情報検知手段32は、覚醒度を推定するために用いられる行動情報を検知する手段であり、例えば、ドライバの顔周辺を撮像するカメラである。各行動情報検知手段32では、一定時間毎に、各行動情報を検知し、その検知信号をECU33に送信する。行動の情報としては、参照モデル作成装置2で設定された変数の組み合わせに含まれる行動の情報である。
ECU33は、CPU、ROM、RAMなどからなり、覚醒度推定装置3を統括制御する。ECU33は、記憶部34を有するとともに、ROMに格納されているアプリケーションプログラムをRAM上にロードし、CPUで実行することによって覚醒度推定部35(距離計算部35a、参照モデル選択部35b、覚醒度判定部35c)が構成される。ECU33では、一定時間毎に、各検知手段30,31,32から検知信号をそれぞれ受信する。そして、ECU33では、この各検知信号と記憶部34に記憶されている情報に基づいて覚醒度推定部35での処理を行い、表示手段36に表示信号を出力する。
記憶部34は、ROMの所定の領域に構成される。記憶部34には、参照モデル作成装置2で作成された複数の参照モデルが記憶されるとともに、基準集団が記憶される。参照モデルは、覚醒度毎のパラメトリック密度関数モデルのパラメータで表される。基準集団は、参照モデル作成装置2で設定された組み合わせの変数についての覚醒度D0のデータからなり、例えば、参照モデル作成装置2の距離分布計算部23aで用いた基準集団と同じデータとする。基準集団は、各変数のデータ自体でもよいが、共分散行列と平均値でよい。
覚醒度推定部35は、運転開始時に記憶部34に記憶されている複数の参照モデルの中から各検知手段30,31,32の検知値に基づいて参照モデルを1つ選択し、一定時間毎に選択した参照モデルに基づいて各検知手段30,31,32の検知値に応じた覚醒度を推定し、推定した覚醒度を出力する。運転開始時はドライバの覚醒度が高いと推測されるので、覚醒度D0の各パラメトリック密度関数モデルと運転開始時の特定時間内の各変数についての検知データからドライバのそのときの状況に合った参照モデルを選択する。特定時間は、運転開始してからドライバの覚醒度が高い状態が保たれ、参照モデルを選択するための十分なデータを取得できる時間であり、予め設定される。
距離計算部35aでは、参照モデル作成装置2で設定した組み合わせの変数だけを用いて、運転開始時の特定時間内の一定時間(例えば、上記した所定時間Δt)毎に、記憶部34に記憶されている基準集団と各検知手段30,31,32の検知値に基づくデータ群とのマハラノビス距離を計算する。さらに、距離計算部35aでは、計算された一定時間毎の複数のマハラノビス距離を用いて、距離分布のヒストグラムを作成する。また、距離計算部35aでは、計算された一定時間毎の複数のマハラノビス距離を用いて、そのマハラノビス距離の平均と分散を計算する。
図6に、あるドライバについての運転開始から特定時間内の参照モデル作成装置2で設定した組み合わせの変数の検知データによるマハラノビス距離の距離分布のヒストグラムの一例を示す。このヒストグラムはドライバの覚醒状態が高い場合のマハラノビス距離の距離分布の特徴を示しており、このヒストグラムと最も相関が高い覚醒度D0のパラメトリック密度関数モデルがドライバのそのときの状況に合った参照モデルとなる。
参照モデル選択部35bでは、距離計算部35aで作成した距離分布のヒストグラムと記憶部34に記憶されている複数の参照モデルの覚醒度D0のパラメトリック密度関数モデルとをそれぞれ比較し、距離計算部35aで作成した距離分布のヒストグラムと最も近い覚醒度D0のパラメトリック密度関数モデル(参照モデル)を選択する。この選択方法としては、まず、距離計算部35aで作成した距離分布のヒストグラムにおけるマハラノビス距離が大きい側の25%(この25%は変更可能であり、他の値でもあり)内に(図6参照)、覚醒度D0の各パラメトリック密度関数モデルにおけるマハラノビス距離が大きい側の25%内のマハラノビス距離の平均値が入るか否かを判定し、25%内に入る覚醒度D0のパラメトリック密度関数モデル(参照モデル)を全て選択する。覚醒度D0の場合、上記したように、どのカテゴリでもマハラノビス距離が1周辺に集中するので、1周辺から離れた分布状態の方がそれぞれのパラメトリック密度関数モデルの特徴を示しおり、モデルを判別し易い。
図7には、記憶部34に記憶されている参照モデルの一例を示している。矢印Y1,Ysによって、覚醒度D0のパラメトリック密度関数モデルM10,Ms0におけるマハラノビス距離が大きい側の25%内のマハラノビス距離の平均値を示している。参照モデルM1の場合には矢印Y1が距離計算部35aで作成した距離分布のヒストグラムのマハラノビス距離が大きい側の25%内に含まれ、参照モデルMsの場合には矢印Ysがマハラノビス距離が大きい側の25%内に含まれない。
選択方法としては、次に、距離計算部35aで計算したマハラノビス距離の平均値及び分散値と選択された覚醒度D0の各パラメトリック密度関数モデルにおけるマハラノビス距離の平均値及び分散値とをそれぞれ比較し、選択された全ての覚醒度D0のパラメトリック密度関数モデルの中から平均値及び分散値が最も近いパラメトリック密度関数モデルを選択する。この最終的に選択された覚醒度D0のパラメトリック密度関数モデルを含む参照モデルが、ドライバに最も合った覚醒度の判別基準である。
覚醒度判定部35cでは、一定時間(例えば、上記した所定時間Δt)毎に、参照モデル作成装置2で設定した組み合わせに対応する各検知手段30,31,32の検知値をそれぞれ取り入れ、記憶部34に記憶されている基準集団と各検知手段30,31,32の検知値に基づくデータ群とのマハラノビス距離を計算する。そして、覚醒度判定部35cでは、その計算したマハラノビス距離が参照モデル選択部35bで選択された参照モデルの各覚醒度についてのパラメトリック密度関数モデルの中で最も適合するパラメトリック密度関数モデルを判別し、その判別したパラメトリック密度関数の覚醒度を推定値とする。そして、覚醒度判定部35cでは、その判定した覚醒度の推定値を示す表示信号を表示手段36に送信する。
表示手段36は、推定した覚醒度を表示する手段であり、例えば、ナビゲーションなどで利用されるディスプレイ、メータ類を含むマルチインフォメーションディスプレイ、ヘッドアップディスプレイがある。表示手段36では、ECU33から表示信号を受信すると、その表示信号に応じて覚醒度を表示する。覚醒度だけを表示するのではなく、覚醒度に応じたメッセージなどを表示してもよい。なお、出力手段としては、表示だけでなく、音声などの出力手段でもよい。
図1〜図7を参照して、覚醒度推定システム1の動作について説明する。ここでは、まず、前処理としての参照モデル作成装置2での動作について説明し、次に、リアルタイム処理を行う覚醒度推定装置3での動作について説明する。
年齢、性別、体調などが多種多様の複数のドライバが、運転月日、運転時刻、天候、道路環境などの条件が様々な状況で運転したときに、運転開始から終了までの間、車両挙動の各情報、生体の各情報、行動の各情報がそれぞれ検知される。そして、この各情報の時系列データが、所定時間Δt毎に、平均化される。特に、行動についての画像の時系列データの場合、画像から、所定時間Δt毎に、眼球の動き、瞬き、欠伸などが認識される。さらに、これらの加工した各時系列データに、単位時間ΔT毎に、覚醒度の官能評価値が対応付けられる。そして、これらの処理が施された全ての変数(X1,X2,・・・,Xn+m+k)についての時系列データが、参照モデル作成装置2のデータベース21に格納される。この各時系列データのうち覚醒度の官能評価値としてD0が対応付けられているデータが、基準集団のデータである。
参照モデル作成装置2では、直交表を用いて、データベース21に格納されている変数(X1,X2,・・・,Xn+m+k)についての組み合わせを順次生成する。そして、参照モデル作成装置2では、生成した組み合わせ毎に、データベース21に格納されているその組み合わせの各変数の基準集団のデータの共分散行列及びその固有値を計算する。
次に、参照モデル作成装置2では、生成した組み合わせ毎に、共分散行列の固有値が閾値以下か否かを判定し、固有値が閾値以下と判定した場合にはその変数の組み合わせを破棄し、固有値が閾値より大きいと判定した場合にはその変数の組み合わせを保持する。ここで、多重共線性が生じる可能性のない変数の組み合わせだけが残る。
さらに、参照モデル作成装置2では、多重共線性を生じる可能性のない変数の組み合わせ毎に、データベース21に格納されているその組み合わせの各変数についての基準集団のデータを用いて、複数の基準集団のデータに対してSN比をそれぞれ計算し、複数の基準集団についてのSN比の分散及び平均を計算する。そして、参照モデル作成装置2では、多重共線性を生じる可能性のない全ての変数の組み合わせについてのSN比の分散値及び平均値を比較し、SN比の分散値が最小かつ平均値が最大となる変数の組み合わせを選択する。ここで、多重共線性が生じる可能性のない変数の組み合わせの中で最もノイズの影響を受けない変数の組み合わせが1つだけ残り、この変数の組み合わせ(X1’,・・・,Xq’)を用いて参照モデル作成装置2での以下の処理及び覚醒度推定装置3における処理が行われる。
参照モデル作成装置2では、決定した組み合わせの変数(X1’,・・・,Xq’)だけを用いて、カテゴリ毎に、データベース21に格納されている特定の基準集団(単位空間)とデータベース21に格納されている複数のデータとのマハラノビス距離をそれぞれ計算する。さらに、参照モデル作成装置2では、カテゴリ毎に、その複数のマハラノビス距離を用いて、各覚醒度についての距離分布のヒストグラムをそれぞれ作成する。
そして、参照モデル作成装置2では、カテゴリ毎に、作成した各覚醒度の距離分布のヒストグラムにおいて覚醒度毎に距離分布のヒストグラムを分離可能か否かを判定する。参照モデル作成装置2では、分離可能と判定した場合にはそのカテゴリについての覚醒度毎の距離分布のヒストグラムを保持し、分離不能と判定した場合にはそのカテゴリについての覚醒度毎の距離分布のヒストグラムを破棄する。ここで、複数のカテゴリについての分離可能な覚醒度毎の距離分布のヒストグラムが残る。
そして、参照モデル作成装置2では、保持したカテゴリ毎に、各覚醒度の距離分布のヒストグラムについてパラメトリック密度関数モデルで近似するためのパラメータを求め、覚醒度D0,D1,・・・毎の各パラメータからなるパラメトリック密度関数モデルを参照モデルとする。ここで、複数のカテゴリについての参照モデルが作成される。
覚醒度推定装置3の記憶部34には、予め、参照モデル作成装置2で作成された複数の参照モデルが格納される。また、記憶部34には、予め、参照モデル作成装置2で設定された組み合わせの変数のデータだけで構成される特定の基準集団が格納される。
覚醒度推定装置3を搭載する車両が始動し、覚醒度推定装置3も起動されると、各検知手段30,31,32では、一定時間毎に、各情報を検知し、その検知信号をECU33に送信する。ECU33では、この検知信号を受信する。特に、行動情報用の画像を受信した場合、ECU33では、画像から眼球の動き、瞬き、欠伸などを認識する。
運転開始後の特定時間の間、ECU33では、一定時間毎に、記憶部34に記憶されている基準集団と各検知手段30,31,32の検知値に基づくデータ群とのマハラノビス距離を計算する。特定時間分の複数のマハラノビス距離を収集すると、ECU33では、その複数のマハラノビス距離を用いて、距離分布のヒストグラムを作成するとともに、そのマハラノビス距離の平均と分散を計算する。ここで、覚醒状態が高いときのドライバの状態を示す距離分布のヒストグラムが得られる。
そして、ECU33では、記憶部34に記憶されている参照モデル毎に、その参照モデルの覚醒度D0のパラメトリック密度関数モデルにおけるマハラノビス距離が大きい側の25%内のマハラノビス距離の平均値が、作成した距離分布のヒストグラムにおけるマハラノビス距離が大きい側の25%内に入るか否かを判定し、25%内に入る覚醒度D0のパラメトリック密度関数モデル(参照モデル)を選択する。さらに、ECU33では、選択した参照モデル毎に、その参照モデルの覚醒度D0のパラメトリック密度関数モデルにおけるマハラノビス距離の平均値及び分散値と作成した距離分布のヒストグラムにおけるマハラノビス距離の平均値及び分散値とを比較する。そして、ECU33では、選択された全ての覚醒度D0のパラメトリック密度関数モデルの中から平均値及び分散値が最も近いパラメトリック密度関数モデルを抽出し、その抽出した覚醒度D0のパラメトリック密度関数モデルを含む参照モデルを選択する。ここで、ドライバのそのときの状態に適した参照モデルが唯一選択される。
参照モデルを1つ選択した後、ECU33では、一定時間毎に、記憶部34に記憶されている基準集団と各検知手段30,31,32の検知値に基づくデータ群とのマハラノビス距離を計算する。そして、ECU33では、選択した参照モデルを参照し、その計算したマハラノビス距離が参照モデルのパラメトリック密度関数モデル(つまり、マハラノビス距離の距離分布)の中で最も適合するパラメトリック密度関数モデルを判定し、その判定したパラメトリック密度関数モデルの覚醒度を推定値とする。さらに、ECU33では、その判定した覚醒度の推定値を示す表示信号を表示手段36に送信する。
この表示信号を受信すると、表示手段36では、その表示信号に応じて覚醒度の推定値などを表示する。ドライバが、この表示を見ると、客観的に推定された覚醒状態を認識できる。
この覚醒度推定システム1によれば、複数の参照モデルを作成することにより、任意のドライバの様々な状況に対応する覚醒度の判定基準を提供することができる。さらに、覚醒度推定システム1によれば、複数の参照モデルからドライバに適した参照モデルを選択して覚醒度を推定することにより、ドライバの個人差や個人内差に関係なく、覚醒度を高精度に推定することができる。また、覚醒度推定システム1では、車両挙動の他にも生体情報や行動情報を用いて覚醒度を推定することにより、覚醒状態(眠気)の全ての段階での覚醒度を高精度に推定することができる。
特に、参照モデル作成装置2では、多重共線性が生じない変数の組み合わせを選択することにより、複数の変数による覚醒度の推定において多重共線性が生じない。また、参照モデル作成装置2では、SN比の分散が最小かつ平均が最大となる変数の組み合わせを選択することにより、複数の変数による覚醒度の推定においてノイズの影響を極力低減できる。また、参照モデル作成装置2では、覚醒度毎のマハラノビス距離の距離分布のヒストグラムによって覚醒度を分離可能なものを参照モデルとすることにより、覚醒度を容易に判定可能な参照モデルを作成することができる。また、参照モデル作成装置2では、様々なカテゴリ毎に参照モデルを作成することにより、多種多様の参照モデルを作成することができ、任意のドライバの様々な状況に対応できる参照モデルを提供できる。
特に、覚醒度推定装置3では、運転開始時の検知データから求めたマハラノビス距離の距離分布のヒストグラムと参照モデルの覚醒度D0のパラメトリック密度関数モデルとを比較して参照モデルを選択することにより、ドライバに最も適した参照モデルを高精度に選択することができる。また、覚醒度推定装置3では、選択した参照モデルと検知データから求めたマハラノビス距離とに基づいて覚醒度を推定することにより、覚醒度を容易に判別することができる。
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
例えば、本実施の形態では車両のドライバの覚醒度を推定する装置に適用したが、他の乗り物のドライバ、各種プラントの監視者、夜間の従業者などの様々な人の覚醒度を推定するために利用してもよい。
また、本実施の形態では覚醒度を推定するための変数(パラメータ)として複数個の車両挙動情報、複数個の生体情報、複数個の行動情報としたが、車両挙動情報、生体情報、行動情報のうちの1つ又は2つだけとしてもよいし、あるいは、覚醒度に応じて変化する他の情報も変数としてもよい。特に、推定対象の人が車両のドライバでない場合、車両挙動情報を用いず、その推定対象の人に応じた情報を用いる。
また、本実施の形態では参照モデルをマハラノビス距離の距離分布のヒストグラムからパラメトリック密度関数モデルで近似したものとしたが、参照モデルとしては他の形態のモデルでもよい。マハラノビス距離を用いないものでもよい。
また、本実施の形態では参照モデルの作成方法の一例を説明したが、他の作成方法を適用してもよい。
また、本実施の形態では参照モデルの選択方法の一例を説明したが、他の選択方法を適用してもよい。例えば、カテゴリ毎に参照モデルを複数個用意し、運転開始時にカテゴリを特定し、その特定したカテゴリと同じカテゴリの参照モデルを1つ選択するようにしてもよい。この選択方法は、性別、年齢などの運転中の時間経過によって変化しない情報からなるカテゴリの場合に好適である。
また、本実施の形態では推定した覚醒度自体を表示する構成としたが、推定した覚醒度を他の出力形態で利用してもよい。例えば、覚醒度の程度を判断し、覚醒度が運転に支障をきたすレベルになった場合には画像表示、音声出力、冷風、警報ブザー、においなどの手段で注意喚起する構成としてもよいし、覚醒度が運転に支障をきたすレベルになった場合には運転支援システム(例えば、プリクラッシュセーフティシステム、アダプティブクルーズコントロールシステム、レーンキープシステム)の制御タイミングや制御閾値を変えるなどして、より安全性を高めるように車両側で制御するようにしてもよいし、あるいは、推定した覚醒度自体を運転支援システムに出力するようにしてもよい。
1…覚醒度推定システム、2…参照モデル作成装置、3…覚醒度推定装置、20…コンピュータ、21…データベース、22…状態変数設定部、22a…共分散計算部、22b…多重共線性判定部、22c…信号ノイズ比計算部、23…参照モデル作成部、23a…距離分布計算部、23b…分離判定部、23c…参照モデル作成部、30…車両挙動検知手段、31…生体情報検知手段、32…行動情報検知手段、33…ECU、34…記憶部、35…覚醒度推定部、35a…距離計算部、35b…参照モデル選択部、35c…覚醒度判定部、36…表示手段