JP5292671B2 - 覚醒度推定装置及びシステム並びに方法 - Google Patents

Description

本発明は、被験者の覚醒度を高精度に推定する覚醒度推定装置及びシステム並びに方法に関する。

従来から、人間の眼球部を照明する近赤外光源と、人間の眼球部を撮像する撮像手段と、該撮像手段により撮像された画像から眼球部の瞳孔領域を抽出する抽出手段と、該抽出手段により抽出された瞳孔領域の形状変化から瞬きの時間および頻度が所定値以上の時に人間の覚醒状態が低下していると判断する判断手段とを有することを特徴とする覚醒状態検知装置が知られている（例えば、特許文献１参照）。
特開平６−２７０７１１公報

ところで、眠気と相関性のある人の動きは様々あるが、動きの種類に応じて、その動きが現れやすい覚醒度が異なる場合が多い。例えば、あくびなどは低い覚醒度で現れやすいが、しかめ顔などは比較的に高い覚醒度で現れることもある。また、同じ種類の動きでも異なる複数の覚醒度で現れることもある。更には、覚醒度が異なると、同じ動きでもその発生頻度が異なる場合が多い。また、２種類以上の動きが時間的に近接して発生した場合には、それらのアクションの組み合わせと覚醒度との間にはなんらかの因果関係がある場合が多い。従って、複数種類の動きを用いて覚醒度の推定を行う構成の場合には、それらの各種動き又はそれらの組み合わせ若しくは発生頻度を適切に評価できないと、被験者の覚醒度の推定精度を高めることができない。

そこで、本発明は、複数種類の動きを用いて被験者の覚醒度の推定を行う覚醒度推定装置及びシステム並びに方法において、推定精度を高めることを課題とする。

第３の発明に係る覚醒度推定装置は、被験者の複数種類の動きを検出する手段を介して、被験者の動き情報を取得する手段と、
2種類の動きの組み合わせに対応付けて、覚醒度に関する情報を保持する手段と、
所定時間内に連続して2種類の動きが発生したことを表す動き情報が取得された場合、該動きの組み合わせに対応する覚醒度に関する情報に基づいて、被験者の覚醒度を推定する覚醒度推定手段とを備え、
前記2種類の動きの組み合わせの１つは、ため息、あくび、目のみひらき及びしかめ顔をするときの口の動きのいずれかの２つからなる組合せを含むことを特徴とする。これにより、２種類のアクションの組み合わせを適切に評価して、覚醒度の推定精度を高めることが可能となる。

第４の発明は、第３の発明に係る覚醒度推定装置において、前記覚醒度に関する情報は、2種類の動きの各組み合わせの発生時点とそのときの覚醒度との対応関係の学習結果に基づいて生成されることを特徴とする。これにより、各覚醒度（２段階以上）における各種動きの組み合わせの発生状況の学習結果に適合した覚醒度推定処理を行うことができるので、覚醒度の推定精度を高めることが可能となる。

第８の発明に係る覚醒度推定方法は、被験者の複数種類の動きを検出する手段を介して、被験者の動き情報を取得する段階と、
2種類の動きの各組み合わせの発生時点とそのときの覚醒度との対応関係を学習する学習段階と、
被験者の動き情報に基づいてある２種類の動きが時間的に近接して検出された場合に、前記学習段階での学習結果に基づいて、検出された動きの組み合わせに対応する覚醒度を抽出し、該抽出した覚醒度を、被験者の覚醒度の推定結果として出力する段階とを備え、
前記2種類の動きの組み合わせは、ため息、あくび、目のみひらき及びしかめ顔をするときの口の動きのいずれかの２つからなる組合せを含むことを特徴とする。これにより、２種類のアクションの組み合わせと覚醒度との因果関係を適切に評価して、覚醒度の推定精度を高めることが可能となる。

本発明によれば、複数種類の動きを用いて被験者の覚醒度の推定を行う覚醒度推定装置及びシステム並びに方法において、推定精度を高めることが可能となる。

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。以下では、覚醒度推定システムが車両に搭載され、被験者が車両の運転者である場合について説明する。但し、本発明は、車両以外のアプリケーションにおいても適用可能である。

図１は、本発明による覚醒度推定システムの一実施例のシステム構成図である。本実施例の覚醒度推定システム１００は、画像取得手段１１０と、アクション追跡モジュール１２０と、アクショントリガ生成モジュール１３０と、アクションデータベース１３２と、アクション頻度算出モジュール１４０と、アクション優先付けモジュール１５０と、優先度データベース１５２と、アクションヒストリーデータベース１５４と、覚醒度推定モジュール１６０と、を備える。覚醒度推定システム１００には、警告手段１７０が接続される。

図２は、本実施例による覚醒度推定システムにより実現される主要処理の流れを示す図である。本実施例による覚醒度推定システムにより実現される主要処理は、
ステップ１０：画像取得手段１１０による画像取得処理と、
ステップ２０：アクション追跡モジュール１２０によるアクション追跡処理と、
ステップ３０：アクショントリガ生成モジュール１３０によるアクショントリガ生成処理と、
ステップ４０：アクション頻度算出モジュール１４０によるアクション頻度算出処理と、
ステップ５０：アクション優先付けモジュール１５０によるアクション優先付け処理と、
ステップ６０：覚醒度推定モジュールによる覚醒度推定処理と、
ステップ７０：警告手段１７０による警告処理とを含む。

以下、各処理について順に詳説する。

［画像取得処理］
画像取得処理１０では、画像取得手段１１０による画像取得が実現される。画像取得手段１１０は、例えばカラー又は赤外線感応ＣＣＤ（charge-coupled device）センサアレイを備えるカメラである。画像取得手段１１０は、例えば運転者の前面（例えば顔部を前方から）を捕捉可能なように、車両の適切な箇所に設けられる。例えば、画像取得手段１１０は、車両のインストルメントパネルのダッシュボードやステアリングコラムに設置される。画像取得手段１１０は、リアルタイムに運転者の画像を取得し、典型的には３０fps(frame per second)のストリーム形式で、アクション追跡モジュール１２０に供給するものであってよい。

［アクション追跡処理］
アクション追跡モジュール１２０は、画像取得手段１１０により取得された各画像に基づいて、所定のアクションの発生の有無を判断する。

図３は、アクション追跡モジュール１２０により実現されるアクション追跡処理（図２のステップ２０）の詳細を示すフローチャートである。

ステップ２００では、画像取得手段１１０により取得された各画像から、顔の代表的なポイント（特徴点）が抽出される。この特徴抽出方法は、適切な任意の方法であってよく、例えばActive Appearance Model（AAM）をベースにした技術が用いられてよい。次いで、適切なエッジ検出アルゴリズム（例えばSobelのエッジ検出アルゴリズム）を適用して、顔と顔の特徴の境界が決定される。

ステップ２０２では、上述の如く抽出されるエッジ及び特徴点を用いて、図４に示すように、顔のパーツが分離され、顔のパーツの形状が抽出される。尚、図４は、顔の一部のみを代表して示しており、顔の眉と目の部分がパーツとして抽出された画像を示している。

ステップ２０４では、頭部の向きの変化及びパーツの形状変形が推定される。この推定処理により、３種類の変化パラメータＰ，Ｅ，Ｍが導出される。

変化パラメータＰは、頭部の向きの変化態様を表すことができる姿勢変化パラメータｐ_ｉからなり、Ｐ＝｛ｐ_ｉ｝、ｉ＝1,…αで表される。尚、αは、姿勢変化パラメータの数である。即ち、変化パラメータＰは、α個の姿勢変化パラメータの集合からなる。姿勢変化パラメータは、例えば正規の姿勢であるときの顔の正面方向を１軸とする３軸まわりの回転角度で表されてよい。

変化パラメータＥは、目の領域の形状変形態様を表すことができる目変化パラメータｅ_ｊからなり、Ｅ＝｛ｅ_ｊ｝、ｊ＝1,…βで表される。尚、βは、目変化パラメータの数である。即ち、変化パラメータＥは、β個の目変化パラメータの集合からなる。目変化パラメータは、例えば目全体の大きさないし面積、幅、高さ等を表すパラメータであってよい。

変化パラメータＭは、口の領域の形状変形態様を表すことができる口変化パラメータｍ_ｋからなり、Ｍ＝｛ｍ_ｋ｝、ｋ＝1,…γで表される。尚、γは、口変化パラメータの数である。即ち、変化パラメータＭは、γ個の口変化パラメータの集合からなる。口変化パラメータは、例えば口全体の大きさないし面積、幅、高さ等を表すパラメータであってよい。

図５は、各ｔ秒間隔（典型的には、ｔ＝１秒）におけるパラメータｐ_ｉ、ｅ_ｊ、ｍ_ｋの変化態様の一例を示す。このように、変化パラメータを複数のパーツないし向きで分けることにより、多様なアクションを多面的に検出することが可能となる。

［アクショントリガ生成処理］
アクショントリガ生成モジュール１３０は、不特定多数の被験者に対する試験結果に基づいて予め構築されたアクションデータベース１３２を用いる。アクションデータベース１３２には、各アクションに対する顔部の向き及び変形に関する変化パラメータが格納されている。本例では、眠気の早期段階で観測される所定の異なるアクションＡ_ｌ（ｌ＝1,…）を、検出対象として用いる。検出対象のアクションは、例えば、ため息、あくび、目のみひらき、しかめ顔をするときの口の動き等である。

アクショントリガ生成モジュール１３０は、現在の姿勢、目、口の部類の変化パラメータと、アクションデータベース１３２内の値とをマッチングすることによって、検出対象のアクションの発生の有無を判断する。マッチングが所定の許容閾値内で見出された場合には、該当するアクションが発生したと判断して、アクショントリガデータパケットがアクション情報と共に生成される。簡易的な例として、例えば、あるｔ秒間に図６（Ａ）に示すようなパラメータｍ_ｋの変化態様が得られた場合、当該変化態様が、図６（Ｂ）に示すようなアクションデータベース１３２内のアクションＡ_ｉに係る同変化態様や、図６（Ｃ）に示すようなアクションデータベース１３２内のアクションＡ_ｊに係る同変化態様に対してマッチングされる。この場合、例えば、アクションＡ_ｉに係る変化態様との所定の許容閾値内でのマッチングが実現され、アクションＡ_ｉが発生したと判断されることになる。

アクショントリガ生成モジュール１３０は、上述の如くアクションの発生を検出すると、アクショントリガデータパケットを生成する。アクショントリガデータパケットは、適切な時間間隔（本例では、毎秒）で生成される。

図７は、アクショントリガデータパケットのデータ構造の一例を示す図である。パケットＩＤフィールドにおいては、発生したと判断されたアクションを特定するアクションＩＤコードが書き込まれる。また、アクションの開始時刻、継続時間、アクションの大きさが書き込まれる。アクションの大きさは、各パラメータｐ_ｉ、ｅ_ｊ、ｍ_ｋの大きさの平均値で表されてよい。アクション発生が終了すると、継続／終了ビットがＯＦＦ（ゼロ）に設定される。尚、例えば、あるアクションが１秒だけ継続した場合には、１つのアクショントリガデータパケットが生成されることになる。

［アクション頻度算出処理］
アクション頻度算出モジュール１４０は、アクショントリガデータパケットを用いて、各アクションの発生の頻度を算出する。アクション頻度算出モジュール１４０は、先ず、Ｔ秒（好ましくは１８０秒）の区間のアクショントリガデータパケットをバッファーに入れ、アクションが発生したか否かをチェックする。例えば、アクションＡ_ｉの発生を示すＮ個のデータパケットが、バッファーに蓄積された場合、当該アクションＡ_ｉの発生頻度は、Ｎ／Ｔで表される。算出された各アクションの発生頻度は、記録され、バッファーはＴ毎にリフレッシュされる。頻度が全く算出されない場合は、当該Ｔ秒間にアクションが全くなかったことを意味する。

［アクション優先付け処理］
図８は、覚醒度と被験者の状態との対応関係の一例を表す表図である。本例では、図８に示すように、覚醒度は、６段階Ｌ１〜Ｌ６で表される。即ち、覚醒度Ｌ１は、もっとも眠気が強い状態であり、覚醒度Ｌ６は、もっとも眠気が弱い状態である。詳細については、図８に示されている。尚、本発明は、特に６段階に分けることに限定されること無く、他の態様で覚醒度を類型化してもよい。

図９は、各アクションＡ_ｌ（ｌ＝1，…，１７）に対して付与される優先度εの対応関係を示すマップ（ルックアップテーブル）である。図９に示す例では、優先度は、覚醒度Ｌ６の末期（符号ＡＦにて図示）、覚醒度Ｌ５の初期（符号ＢＦにて図示）及び末期、覚醒度Ｌ４の初期及び末期、覚醒度Ｌ３の初期及び末期、覚醒度Ｌ２の初期及び末期、覚醒度Ｌ１の初期、といったように、同一覚醒度内における変化過程（推移）を考慮して決定される。

図１０は、優先度εと覚醒度Ｌ１〜Ｌ６との関係を表す表図である。図１０に示す例では、各覚醒度の初期及び末期は、それぞれ５分割されている。優先度εは、係数β、αの値を用いて、ε＝β×αで表され、各覚醒度内の等間隔に分割された時間間隔に対して付与される。係数β、αについては、図１１，図１２及び図１３を参照して説明する。

図１１は、覚醒度の変化過程を時系列で示す概念図である。図１１には、覚醒度の変化態様を示す曲線（覚醒度変化曲線）が時間軸上に示されており、当該覚醒度変化曲線よりも上側の領域が、眠気の強い領域ＩＺを表し、下側の領域が、眠気の弱い領域ＲＺを表す。

係数βは、図１１に示すような覚醒度の時系列に基づいて、覚醒度毎に決定される。例えば、覚醒度Ｌ５の末期ＡＦに係る係数β及び覚醒度Ｌ４の初期ＢＦに係る係数β_５は、図１１に示すように、覚醒度Ｌ４からＬ５に属する覚醒度変化曲線部の時間軸上の区間における、当該曲線部により仕切られた上側の領域ＩＺ_L5と下側の領域ＲＺ_L5との面積比で表される。即ち、β_５＝ＩＺ_L5／ＲＺ_L5で表される。

図１２は、不特定多数の試験データに基づいて統計的に導出された係数βと覚醒度変化曲線を示す。図１２において、係数β_６は、覚醒度Ｌ６の末期ＡＦに係る係数βを示し、係数β_５は、覚醒度Ｌ５の末期ＡＦに係る係数β及び覚醒度Ｌ４の初期ＢＦに係る係数βを示し、係数β_４は、覚醒度Ｌ４の末期ＡＦに係る係数β及び覚醒度Ｌ３の初期ＢＦに係る係数βを示し、係数β_３は、覚醒度Ｌ３の末期ＡＦに係る係数β及び覚醒度Ｌ２の初期ＢＦに係る係数βを示し、係数β_２は、覚醒度Ｌ２の末期ＡＦに係る係数β及び覚醒度Ｌ１の初期ＢＦに係る係数βを示す。尚、この係数β_６、β_５等の各値は、図１０で示した表図において、各覚醒度内の各時間間隔における係数βの各値として用いられている。

図１３は、各覚醒度内の各時間間隔における係数αの配列態様を示す図である。尚、図１２に示したように、実際には各覚醒度に留まる時間は、一定でない。このため、係数αは、各覚醒度内の時間を例えば１００秒により正規化して付与される。また、係数αは、図１３に示すように、各覚醒度内の時間を等間隔に１０分割された時間間隔（時間位置）に対して付与される。その際、係数αは、例えば覚醒度Ｌ５の初期と末期の境界付近の時間間隔のような、同一の覚醒度内における初期と末期の境界付近の時間位置では、最も大きくなり（本例では、２や１．９）、境界付近を中心として、隣接する他の覚醒度に向かうにつれて小さくなるように、設定されている。尚、係数αは、係数βと共に、図１０に示したように、正規化後の各時間間隔に対する優先度εを求めるために用いられる。従って、各覚醒度内の各時間位置に対して求められる優先度εは、互いに相違した値となる。

アクション優先付けモジュール１５０は、被験者の覚醒度を把握した状態で行った試験（官能評価試験）により、アクションの発生状況とそのときの覚醒度Ｌ１〜Ｌ６との対応関係を学習し、優先度データベース１５２を構築する。具体的には、官能評価試験により得られる覚醒度変化曲線に基づいて、上述の各係数β_１〜６及び各係数αを算出して、図１０に示したような優先度εと覚醒度Ｌ１〜Ｌ６との対応関係を構築する。また、官能評価試験において検出された各アクションの種類や発生時期（発生したときの覚醒度）に基づいて、図９に示したような各アクションＡ_ｌと優先度εとの対応関係を構築する。例えばアクションＡ_１６が、図１１及び図１３に示すように、覚醒度Ｌ５の初期の時間位置（４０＜ｔ＜５０）で生じた場合、上述の算出方法によりα＝２．０、β＝０．１１であることから、ε＝２．２となる。このようにして、官能評価試験の試験結果に基づいて、図９に示したマップが生成（学習）される。尚、図９に示したマップにおいては、説明に必要な値だけが一例として示されており、＊は、ある値を示し、空欄は、該当するアクションが官能評価試験において検出されなかったことを意味する。

優先度データベース１５２は、不特定多数の被験者に対する学習結果に基づいて予め構築された汎用データベースと、特定の被験者に対する学習結果に基づいて予め構築された個人用データベースとを備えてもよい。この場合、被験者が特定されるまでは、汎用データベースに基づいて優先付けが行われる。被験者が特定された後は、個人用データベースに基づいて優先付けが行われてよく、また、個人用データベースの更新が行われてよい。また、被験者に対する個人用データベースが依然として構築されていない場合には、実稼動時の学習により当該被験者に対する個人用データベースが構築・更新されてよい。

図１４は、同一の被験者に対して異なる日（ｄａｙ１，ｄａｙ２）に試験した場合の覚醒度変化曲線を示す。図１４に示すように、その日の体調等に起因して、覚醒度変化曲線が異なる場合がある。個人用データベースを構築する際には、この点を考慮して、覚醒度変化曲線の特性を幾つかのグループに分類して、グループ毎に、係数β（及び、最終的には、優先度εの値、及び、各アクションＡ_ｌに対する優先度εの対応関係）を学習してもよい。

ところで、実際には、各アクションが単独で発生する場合もあれば、複数の異なるアクションが時間的に近接して連続的に発生する場合もある。

そこで、本実施例によるアクション優先付けモジュール１５０は、２種類以上のアクションの発生時間の近接度合いを評価する。具体的には、アクション優先付けモジュール１５０は、２つのアクションが時間的に近接して発生した場合には、それらのアクションの時間的な連続性を表す指標値τ（以下、「近接度τ」という）を算出する。

図１５には、一例として、アクションＡ_０１が持続時間Δｔ１で発生し、その後、時間Ｉをおいて、アクションＡ_０３が持続時間Δｔ２で発生した状況を示す。アクション優先付けモジュール１５０は、アクションＡ_０１の終了時点からアクションＡ_０３の開始時点までの時間Ｉに応じて、アクションＡ_０３に関する近接度τを決定する。

図１６は、時間Ｉと近接度τとの対応関係を示す図である。近接度τは、図１６に示すように、時間Ｉが小さくなるほど大きな値となる。このような時間Ｉと近接度τとの対応関係を示すマップデータは、アクション優先付けモジュール１５０がアクセス可能なメモリに記憶される。

図１７は、２つのアクションの種類及びその前後関係との対応関係を示す表図である。図１７では、アクションＡ_０１〜Ａ_０６の６つのアクションの各組み合わせに対して、それぞれに対応した覚醒度Ｌ１〜Ｌ６（ＢＦ，ＡＦの相違を含む）が示されている。尚、ＢＦ及びＡＦの相違に加えて、図１０で示したように、各覚醒度内を更に細分割して、各時間位置（即ち４０＜ｔ＜５０等）の相違を考慮してもよい。また、図１７では、近接度τが併せてマップ化されている。

アクション優先付けモジュール１５０は、同様に、官能評価試験による学習により、時間的に近接して発生する２種類以上のアクションとそのときの覚醒度Ｌ１〜Ｌ６との対応関係を学習する。この際、アクション優先付けモジュール１５０は、連続して発生する２つのアクションの発生順序を考慮して学習を行う。これは、２つのアクションの発生順序とそのときの覚醒度との間に何らかの因果関係があることが多いからである。例えば図１５に示したように、アクションＡ_０１が終了してから例えば５〜１０秒以内にアクションＡ_０３が発生し、そのときの覚醒度が覚醒度Ｌ５の末期ＡＦである場合、当該アクションの組み合わせに対して、覚醒度Ｌ５の末期ＡＦが対応付けられる（近接度τ＝９０も付与される）。このようにして、官能評価試験の試験結果に基づいて、図１７に示したマップが生成（学習）される。尚、図１７に示したマップにおいては、説明に必要な値だけが一例として示されており、＊は、ある値を示し、空欄は、該当するアクションの組み合わせが官能評価試験において検出されなかったことを意味する。

また、アクション優先付けモジュール１５０は、同様に、官能評価試験による学習により、アクションヒストリーデータベース１５４を構築する。アクションヒストリーデータベース１５４には、官能評価試験において検出された各種類のアクションに対して、それぞれの種類毎に、アクション頻度と、そのときの覚醒度Ｌ１〜Ｌ６との対応関係を学習する。アクションヒストリーデータベース１５４は、被験者毎に、分類して構築されてもよい。これは、アクション頻度と、そのときの覚醒度Ｌ１〜Ｌ６との対応関係には、個人差があるからである（図１８参照）。

図１８は、一例として、アクションＡ_０１に関するアクション頻度と覚醒度Ｌ１〜Ｌ６との対応関係を示すグラフである。図１８には、３人の被験者（被験者１，２，３）に対して、それぞれの被験者毎に、上記対応関係を表すプロット点がプロットされている。また、これらのデータの平均値に基づいて、平均的な上記対応関係を表すプロット点がプロットされている。尚、図１８に示す例では、各覚醒度における初期及び末期の相違やそれよりも細かい時間位置の相違を考慮していないが、これらを考慮することも可能である。例えば、アクション頻度と各覚醒度における初期及び末期との対応関係を学習することも可能である。尚、図１８に示す閾値Ｔｈについては覚醒度推定処理に関連して後述する。

図１９は、アクション優先付けモジュール１５０により実現されるアクション優先付け処理（図２のステップ５０）の詳細を示すフローチャートである。アクション優先付けモジュール１５０には、上述の如く、何らかのアクションが検出される毎に、アクショントリガデータパケットが供給される。

ステップ５００では、アクション優先付けモジュール１５０は、アクショントリガ生成モジュール１３０から供給されるアクショントリガデータパケットを復号・解読して、現時点で発生しているアクション（検出されたアクション）の種類や開始時刻等を特定する。このようにして特定されたアクションの種類や開始時刻等は、アクションヒストリーデータベース１５４に格納される。このようにして、アクションヒストリーデータベース１５４には、発生したアクションの履歴情報が蓄積されていく。

ステップ５１０では、アクション優先付けモジュール１５０は、アクションヒストリーデータベース１５４を用いて、今回検出されたアクションよりも前の直近に検出されたその他のアクションを探索し、図１６に示したマップに基づいて、これらの２つのアクション間の時間Ｉに応じて、近接度τを導出する。尚、今回検出されたアクションよりも前に検出されたその他のアクションが全く存在しない場合や、存在してもその他のアクションが例えば５０秒以上前に検出されているような場合には、近接度τがゼロとされてよい。

ステップ５２０では、アクション優先付けモジュール１５０は、後述の如く覚醒度推定モジュール１６０から供給される覚醒度の推定結果に基づいて、現在推定されている被験者の覚醒度を把握する。

ステップ５３０では、アクション優先付けモジュール１５０は、学習済みの優先度データベース１５２を用いて、今回検出されたアクションに対応する優先度εを導出する。即ち、アクション優先付けモジュール１５０は、図９に示したマップを参照して、今回検出されたアクションの優先度εを決定する。この際、今回検出されたアクションに対して付与される優先度εは、現在推定される被験者の覚醒度を考慮して決定される。これは、図９に示したように、様々な覚醒度において出現しうるアクションが存在するからである。このため、アクション優先付けモジュール１５０は、覚醒度が短時間で大幅に変化しないことを前提として、現在推定される被験者の覚醒度に最も近い覚醒度における優先度を採用する。例えばアクションＡ_０１に対しては、複数の優先度ε（０．１７，０．２０、・・・・）が存在するが、覚醒度Ｌ５の初期ＢＦにおける４０＜ｔ＜５０の時間位置が、現在の被験者の覚醒度として推定されている場合には、当該時間位置に近い覚醒度における優先度“０．２０”が選択される。尚、各候補の時間位置が、現在推定される被験者の覚醒度に係る時間位置に対して同等に近い場合には、他の条件に基づいて、何れか一方が選択されてよいし、或いは、何れかの選択が不能であるとして、現在推定される被験者の覚醒度に係る時間位置に対する優先度（本例の場合、０．２２）が維持されてよい。また、初回のアクションの検出時には、覚醒度Ｌ６が、現在推定される被験者の覚醒度（初期値）とされてよい。即ち、初期的には被験者の覚醒度が高い状態であると仮定してよい。

ステップ５４０では、アクション優先付けモジュール１５０は、上記のステップ５１０及びステップ５３０で導出された近接度τ及び優先度εを、覚醒度推定モジュール１６０に対して出力する。

［覚醒度推定処理］
図２０は、覚醒度推定モジュール１６０により実現されるアクション追跡処理（図２のステップ６０）の詳細を示すフローチャートである。尚、覚醒度推定モジュール１６０には、上述の如く、何らかのアクションが検出される毎に、そのアクションに対してアクション優先付けモジュール１５０により付与される優先度ε及び近接度τ、並びに、アクション頻度算出モジュール１４０により算出されるそのアクションの発生頻度（即ち、現時点から過去Ｔ秒内における当該アクションの発生頻度）が、随時供給される。以下のステップ６００からステップ６１２までの処理は、新たなアクションが検出される毎に実行される。

ステップ６００では、覚醒度推定モジュール１６０は、近接度τが所定値（本例では５０）以上であるか否かを判断する。即ち、今回検出されたアクションの開始時刻よりも所定時間前（本例３０秒前）の区間に、他のアクションが発生していたか否かが判断される。近接度τが５０未満である場合には、ステップ６０２に進み、近接度τが５０以上の場合には、ステップ６０４に進む。

ステップ６０２では、覚醒度推定モジュール１６０は、図１０に示したマップを参照して、アクション優先付けモジュール１５０からの優先度εに基づいて、被験者の覚醒度を推定する。例えば、今回検出されたアクションに対して付与された優先度εが０．１７である場合には、覚醒度推定モジュール１６０は、図１０に示したマップを参照して、被験者の覚醒度を、“覚醒度Ｌ６の末期ＡＦにおける２０＜ｔ＜３０の時間位置”と推定する。

ステップ６０４では、覚醒度推定モジュール１６０は、図１７に示したマップを参照して、２つのアクションの組み合わせに対応する覚醒度を、被験者の覚醒度として推定する。例えば、今回検出されたアクションがアクションＡ_０１であり、それより３０秒前内に検出されていたアクションがアクションＡ_０５であった場合、覚醒度推定モジュール１６０は、図１７に示したマップを参照して、被験者の覚醒度を、“覚醒度Ｌ３の初期ＢＦ”と推定する。尚、上述の如く、図１７に示したマップに関して、時間位置まで学習されている場合には、覚醒度Ｌ３の初期ＢＦにおける該当する時間位置が推定結果とされる。

ステップ６０６では、覚醒度推定モジュール１６０は、上述の如く推定した覚醒度が、前回推定した覚醒度に対して変化したか否かを判断する。この場合、覚醒度の変化は、覚醒度内における時間位置の変化ではなく、覚醒度Ｌ６、Ｌ５、．．．、Ｌ１間での変化であるとする。但し、これに代えて、覚醒度Ｌ６の末期ＡＦから覚醒度Ｌ５の末期ＡＦを越える変化や、覚醒度Ｌ５の末期ＡＦの覚醒度Ｌ４の末期ＡＦを越える変化等といったように、隣接する覚醒度の末期間での変化であってよい。推定した覚醒度が、前回推定した覚醒度に対して変化した場合には、ステップ６０８に進み、それ以外の場合には、ステップ６１０に進む。

ステップ６０８では、覚醒度推定モジュール１６０は、覚醒度が変化するまでの期間中における（即ち、変化前の覚醒度の状態における）、各種アクションの発生頻度を、アクション頻度算出モジュール１４０から供給される算出結果の履歴に基づいて、算出する。覚醒度推定モジュール１６０は、各種アクションの発生頻度を、変化前の覚醒度に対応付けて、アクションヒストリーデータベース１５４に記録する。これにより、実稼動時におけるアクションヒストリーデータベース１５４の学習が実現される。

ステップ６１０では、覚醒度推定モジュール１６０は、今回検出されたアクションの発生頻度が、所定の閾値を越えたか否かを判断する。所定の閾値は、現在推定されている覚醒度に応じて決定されてよい。例えば、現在覚醒度Ｌ６が推定されている状況下では、アクションＡ_０１の発生頻度に対して、図１８に示すような閾値Ｔｈが適用されてよい。この場合、今回検出されたアクションがアクションＡ_０１であり、その発生頻度が閾値Ｔｈを越えた場合には、覚醒度推定モジュール１６０は、覚醒度がＬ６からＬ５に低下したと推定する。また、図１８に示す特性より明らかなように、アクションＡ_０１の発生頻度が覚醒度Ｌ４で突出して大きいことに着目して、アクションＡ_０１の発生頻度が閾値Ｔｈを遥かに大きく越えた場合（例えば、図１８の覚醒度Ｌ４に対応する発生頻度（学習値）付近に達した場合）には、覚醒度推定モジュール１６０は、覚醒度がＬ６からＬ４に低下したと推定してもよい。また、被験者毎分類して学習した学習結果に基づいて、被験者毎に異なる閾値を設定してもよい。尚、上述の如く、図１８に示した特性マップに関して、初期ＢＦや末期ＡＦの区分まで学習されている場合には、各区分に応じた閾値が用意されてよい。

ステップ６１２では、覚醒度推定モジュール１６０は、上述の如く推定した覚醒度を、警告手段１７０に対して、被験者の覚醒度の推定結果として出力する。

ところで、本実施例のように複数種類のアクションを用いて覚醒度の推定を行う構成の場合には、木目細かい段階で覚醒度を推定できるので、検出が困難な、弱い眠気に襲われている状態を検出することができる。即ち、被験者が強い眠気に襲われる状態に陥る前に、覚醒度の低下の初期段階を検出することができる。しかしながら、その反面として、それらの各アクション又はそれらアクションの各組み合わせを適切に評価できないと、被験者の覚醒度の推定精度を高めることできない。これは、上述の如く、同一のアクションであっても異なる覚醒度で出現する場合が多く、また、アクションの各組み合わせと覚醒度との間にはなんらかの因果関係がある場合が多く、更には、覚醒度が異なると、発生するアクションの頻度が異なる場合が多いからである。

これに対して、学習済みの優先度データベース１５２を用いて、各種アクションと覚醒度との対応関係の学習結果に基づいて、検出される各種アクションに対応する優先度ε及びそれに基づく覚醒度を決定するので、各アクションを適切に評価できる。また、学習済みの優先度データベース１５２を用いて、アクションの各組み合わせと覚醒度との対応関係の学習結果に基づいて、複数種類のアクションが時間的に近接して発生した場合の被験者の覚醒度を推定するので、アクションの各組み合わせを適切に評価することができる。更に、アクションの頻度と覚醒度との対応関係の学習結果に基づいて、検出された各種アクションの発生頻度を適切に評価することができる。この結果、本実施例によれば、覚醒度を精度良く推定することが可能となる。

ここで、実際の稼動時（≠学習時）に覚醒度推定モジュール１６０及びアクション優先付けモジュール１５０により実行される覚醒度推定処理の具体例について説明する。

ここでは、図９及び図１０に示したマップを用いることとし、図２１に示すように、アクションＡ_０６，アクションＡ_１４，アクションＡ_０２，アクションＡ_０９，アクションＡ_０４及びアクションＡ_１６が単発的に順に検出されることとする。尚、これらのアクションに対する近接度τは、５０未満であるとし、各アクションの発生頻度が閾値を越えないことする。

初回のアクションとしてアクションＡ_０６が検出されると、現在の覚醒度Ｌ６であると仮定されるので、図９に示したマップに従って、アクション優先付けモジュール１５０により、優先度ε＝０．１７が付与される。この結果、図１０に示したマップに従って、覚醒度推定モジュール１６０により、“覚醒度Ｌ６の末期ＡＦにおける２０＜ｔ＜３０の時間位置”が、推定結果として出力される。

次いで、アクションＡ_１４が検出されると、現在の覚醒度が“覚醒度Ｌ６の末期ＡＦにおける２０＜ｔ＜３０の時間位置”であると推定されていることから、図９に示したマップに従って、アクション優先付けモジュール１５０により、優先度ε＝０．１４が付与される。この結果、図１０に示したマップに従って、覚醒度推定モジュール１６０により、“覚醒度Ｌ６の末期ＡＦにおける３０＜ｔ＜４０の時間位置”が、推定結果として出力される。

次いで、アクションＡ_０２が検出されると、現在の覚醒度が“覚醒度Ｌ６の末期ＡＦにおける３０＜ｔ＜４０の時間位置”であると推定されていることから、図９に示したマップに従って、アクション優先付けモジュール１５０により、優先度ε＝０．１３が付与される。この結果、図１０に示したマップに従って、覚醒度推定モジュール１６０により、“覚醒度Ｌ５の初期ＢＦにおけるｔ＜１０の時間位置”が、推定結果として出力される。

次いで、アクションＡ_０９が検出されると、現在の覚醒度が“覚醒度Ｌ５の初期ＢＦにおけるｔ＜１０の時間位置”であると推定されていることから、図９に示したマップに従って、アクション優先付けモジュール１５０により、優先度ε＝０．６５が付与される。この結果、図１０に示したマップに従って、覚醒度推定モジュール１６０により、“覚醒度Ｌ５の末期ＡＦにおける２０＜ｔ＜３０の時間位置”が、推定結果として出力される。

次いで、アクションＡ_０４が検出されると、現在の覚醒度が“覚醒度Ｌ５の末期ＡＦにおける２０＜ｔ＜３０の時間位置”であると推定されていることから、図９に示したマップに従って、アクション優先付けモジュール１５０により、優先度ε＝０．６９が付与される。この結果、図１０に示したマップに従って、覚醒度推定モジュール１６０により、“覚醒度Ｌ４の初期ＢＦにおける２０＜ｔ＜３０の時間位置”が、推定結果として出力される。

次いで、アクションＡ_１６が検出されると、現在の覚醒度が“覚醒度Ｌ４の初期ＢＦにおける２０＜ｔ＜３０の時間位置”であると推定されていることから、図９に示したマップに従って、アクション優先付けモジュール１５０により、優先度ε＝１．１が付与される。この結果、図１０に示したマップに従って、覚醒度推定モジュール１６０により、“覚醒度Ｌ４の末期ＡＦにおける４０＜ｔ＜５０の時間位置”が、推定結果として出力される。

このように、各アクションが単発的に少ない頻度で発生した場合でも、本実施例による覚醒度推定処理により、被験者の覚醒度の変動過程を木目細やかに推定することができる。

［警告処理］
警告手段１７０は、覚醒度推定モジュール１６０による覚醒度の推定結果に基づいて、例えば覚醒度の低下が推定された場合には、被験者に対して音声や映像により出力する。尚、警報の出力態様は多種多様でありえ、被験者がドライバである場合、シートに埋設した振動体により振動を発生したり、シート（座席）に設けた空気穴から空気を吹き出したり、覚醒を促進させるための匂いを発生したり、ステアリングハンドルの温度を変化させたり、メーター内に警告サインを出力したりしてもよい。また、警告手段１７０は、覚醒度に応じて木目細やかに警報の出力態様を変化させてもよい。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。

以上のとおり本発明は、車両におけるドライバの覚醒度を推定するアプリケーションを始めとして、被験者の覚醒度を推定することが有用なあらゆるアプリケーションにおいて利用することができる。

本発明による覚醒度推定システムの一実施例のシステム構成図である。 本実施例による覚醒度推定システムにより実現される主要処理の流れを示す図である。 アクション追跡モジュール１２０により実現されるアクション追跡処理（図２のステップ２０）の詳細を示すフローチャートである。 顔の眉と目の部分がパーツとして抽出された画像を示す図である。 各ｔ秒間隔（典型的には、ｔ＝１秒）におけるパラメータｐ_ｉ、ｅ_ｊ、ｍ_ｋの変化態様の一例を示す。 アクション発生判断手法の一例を示す図である。 アクショントリガデータパケットのデータ構造の一例を示す図である。 覚醒度と被験者の状態との対応関係の一例を表す表図である。 各アクションＡ_ｌ（ｌ＝1，…，１７）に対して付与される優先度εを示すマップの一例を示す図である。 優先度εと覚醒度Ｌ１〜Ｌ６との関係を表すマップの一例を示す図である。 覚醒度の変化過程を時系列で示す概念図である。 不特定多数の試験データに基づいて統計的に導出された覚醒度変化曲線及び素に基づく各係数βを示す図である。 各覚醒度内の各時間間隔における係数αの配列態様を示す図である。 同一の被験者に対して異なる日に試験した場合の覚醒度変化曲線を示す図である。 アクションＡ_ｉの発生直後に他のアクションＡ_ｊが発生した状況を示す図である。 時間Ｉと近接度τとの対応関係を示すマップの一例を示す図である。 ２つのアクションの種類及びその前後関係との対応関係を示すマップの一例を示す図である。 アクションＡ_０１に関するアクション頻度と覚醒度Ｌ１〜Ｌ６との対応関係を示すグラフである。 アクション優先付けモジュール１５０により実現されるアクション優先付け処理（図２のステップ５０）の詳細を示すフローチャートである。 覚醒度推定モジュール１６０により実現されるアクション追跡処理（図２のステップ６０）の詳細を示すフローチャートである。 覚醒度推定処理の具体例の説明図である。

符号の説明

１００ 覚醒度推定システム
１１０ 画像取得手段
１２０ アクション追跡モジュール
１３０ アクショントリガ生成モジュール
１３２ アクションデータベース
１４０ アクション頻度算出モジュール
１５０ アクション優先付けモジュール
１５２ 優先度データベース
１５４ アクションヒストリーデータベース
１６０ 覚醒度推定モジュール
１７０ 警告手段

Claims (3)

1. 被験者の複数種類の動きを検出する手段を介して、被験者の動き情報を取得する手段と、
   2種類の動きの組み合わせに対応付けて、覚醒度に関する情報を保持する手段と、
   所定時間内に連続して2種類の動きが発生したことを表す動き情報が取得された場合、該動きの組み合わせに対応する覚醒度に関する情報に基づいて、被験者の覚醒度を推定する覚醒度推定手段とを備え、
   前記2種類の動きの組み合わせは、ため息、あくび、目のみひらき及びしかめ顔をするときの口の動きのいずれかの２つからなる組合せを含むことを特徴とする、覚醒度推定装置。
2. 前記覚醒度に関する情報は、2種類の動きの各組み合わせの発生時点とそのときの覚醒度との対応関係の学習結果に基づいて生成される、請求項１に記載の覚醒度推定装置。
3. 被験者の複数種類の動きを検出する手段を介して、被験者の動き情報を取得する段階と、
   2種類の動きの各組み合わせの発生時点とそのときの覚醒度との対応関係を学習する学習段階と、
   被験者の動き情報に基づいてある２種類の動きが時間的に近接して検出された場合に、前記学習段階での学習結果に基づいて、検出された動きの組み合わせに対応する覚醒度を抽出し、該抽出した覚醒度を、被験者の覚醒度の推定結果として出力する段階とを備え、
   前記2種類の動きの組み合わせの１つは、ため息、あくび、目のみひらき及びしかめ顔をするときの口の動きのいずれかの２つからなる組合せを含むことを特徴とする、覚醒度推定方法。

Images