JP4811255B2 - 状態推定装置 - Google Patents

Description

本発明は、被験者の状態を推定する状態推定装置に関する。

車両の運転者に安全な走行を行わせるために、運転者の眠気（居眠り状態）を判定する装置が開発されている。眠気判定装置としては、例えば、心拍、脳波、瞬きなどから眠気に応じて変化する特徴量を抽出し、その特徴量を閾値と比較することによって眠気を判定するものがある。特許文献１に示す装置では、３つの特徴量である眼の開度、瞬き頻度、瞬きの間の閉じ時間の長時間時系列平均値に運転継続時間又は走行距離に対応した係数を乗算した値を閾値とし、この各閾値と３つの特徴量に基づいて居眠り状態か否かを判定する。
特開平６−２６６９８１号公報 特開２００２−２７９４１０号公報 特開２００３−２２５００号公報 特開平８−３３２８７１号公報 特開平１０−１１９６０６号公報

上記のような眠気判定では、判定対象の全ての人に対して高い精度で判定できることが望まれている。しかし、実際には、人によって判定精度にバラツキがある。これは、眠気に対して特徴量は変化するが、人によって眠気に対して大きく変化する特徴量と小さくしか変化しない特徴量があり、眠気に対する特徴量の変化に個人差があると考えられる。そのため、全ての人に対して同じ特徴量で判定を行った場合、異なる人がその特徴量に対して同程度変化したときでも、一方の人は眠気が強いが、他方の人は眠気が弱い場合がある。特許文献１に記載の装置は、３つの特徴量を基づいて判定を行っているが、判定対象の全ての人に対して３つの特徴量を用いて同じ判定方法で判定を行うので、特徴量の変化に対する個人差に対応できない。

そこで、本発明は、個人差に関係なく状態推定精度を向上させることができる状態推定装置を提供することを課題とする。

本発明に係る状態推定装置は、被験者の居眠り状態を推定する状態推定装置であって、被験者の居眠り状態に相関のある口と目の動き及び顔の特定表情をそれぞれ検出する複数の検出手段と、口と目の動きの発生回数に基づいて口と目の動き及び顔の特定表情の中から被験者の居眠り状態推定に用いる特徴を選択する選択手段と、被験者の居眠り状態を推定する推定手段とを備え、選択手段は、口と目についての各特徴量と高覚醒時の各特徴量とをそれぞれ比較し、高覚醒時の特徴量から変化している特徴量の数に基づいて口と目の動きの発生回数を検出し、推定手段は、選択手段で選択した特徴に基づいて被験者の居眠り状態を推定することを特徴とする。

この状態推定装置では、被験者の状態推定に用いる特徴が複数用意されており、複数の検出手段によって各特徴を検出することができる。この各特徴は、被験者の状態に対して相関を持っており、被験者の状態に応じて変化する。任意の状態に対する各特徴の変化は被験者個々で異なっているので、被験者個々の状態を高精度に推定するためには被験者毎に変化の出易い特徴で推定する必要がある。そこで、状態推定装置では、被験者毎に、選択手段により複数の特徴の中の少なくとも１つの出現頻度に基づいて複数の特徴の中から被験者の状態推定に用いる特徴を選択する。そして、状態推定装置では、被験者毎に、その選択した特徴に基づいて、推定手段により被験者の状態を推定する。このように、状態推定装置では、被験者毎に状態に対して変化の出易い（相関の強い）特徴を用いて状態推定を行うことにより、個人差に関係なく状態を高精度に推定することができる。

状態に相関のある特徴としては、例えば、眠気（覚醒度）に相関のある特徴の場合、顔のパーツ（口、目など）の動き、顔の特定表情（あくび、ため息、眼の見開き、口の動き、目を強く閉じるなど）、心拍から抽出した特徴、脳波から抽出した特徴、呼吸から抽出した特徴、瞬きから抽出した特徴、体の動き（背伸び、体ひねりなど）から抽出した特徴である。特徴の出現頻度としては、例えば、眠気に相関のある特徴の場合、顔のパーツの動きの発生回数、顔の特定表情の発生回数である。

本発明は、被験者に応じて状態推定に用いる特徴を選択することにより、被験者の個人差に関係なく状態推定精度が向上する。

以下、図面を参照して、本発明に係る状態推定装置の実施の形態を説明する。

本実施の形態では、本発明を、車両に搭載され、運転者の居眠りを検出する居眠り検出装置に適用する。本発明に係る居眠り検出装置は、運転者の顔を撮像し、その撮像画像から抽出した特徴に基づいて居眠りを検出し、居眠り状態を検出した場合には運転者が居眠り状態であることを告知する。

図１〜図４を参照して、本実施の形態に係る居眠り検出装置１について説明する。図１は、本実施の形態に係る居眠り検出装置の構成図である。図２は、本実施の形態に係る口に関する特徴量の説明図である。図３は、本実施の形態に係る目に関する特徴量の説明図である。図４は、図１のＥＣＵでカウントした単位時間内の顔パーツ動き発生回数の時間変化の一例である。

居眠り検出装置１では、居眠り状態を判定するために、ロジックＡ（特徴Ａ）とロジックＢ（特徴Ｂ）の異なる特徴を基づく２つの判定方法を有している。そして、居眠り検出装置１では、運転者毎に、特徴Ａと特徴Ｂのうちで眠気に対してどちらの特徴が出易いかを評価し、特徴の出易いロジックを選択して判定を行う。そのために、居眠り検出装置１は、カメラ２、出力手段３、ＥＣＵ[ElectronicControl Unit]４を備え、ＥＣＵ４に高覚醒時特徴量抽出部１０、高覚醒時特徴量格納バッファ１１、特徴量抽出部１２、顔パーツ動き発生回数カウント部１３、ロジック選択部１４、ロジックＡ居眠り検出部１５、ロジックＢ居眠り検出部１６、居眠り検出有無判断部１７、居眠り出力部１８が構成される。

なお、本実施の形態では、ロジック選択部１４が特許請求の範囲に記載する選択手段に相当し、ロジックＡ居眠り検出部１５及びロジックＢ居眠り検出部１６が特許請求の範囲に記載する複数の検出手段及び推定手段に相当する。

居眠り検出装置１で用いるロジックＡとロジックＢについて説明しておく。ロジックＡ、ロジックＢ共に、運転者の顔の撮像画像に基づいて、眠気レベルを推定する（特に、居眠り状態か否かを判定する）。ロジックＡとロジックＢのどちらで判定するかは、ロジックＡで用いる特徴の出現頻度に基づいてロジックＡとロジックＢの中から運転者に適したロジックを選択する。

ロジックＡは、顔のパーツ（本実施の形態では、口と目）の動きに基づいて眠気レベルを検出する。具体的には、ロジックＡでは、顔の撮像画像に対してエッジ処理を行い、連結されたエッジと口や目のテンプレートとのマッチングを行い、口と目を検出する。そして、ロジックＡでは、口や目の各特徴量を抽出する。また、ロジックＡでは、口や目の動きがあったか否かを判定する基準となる高覚醒時の口や目の各特徴量を同様の方法によって予め抽出しておく。運転者は、通常、運転開始直後は覚醒度が高いので、運転開始直後に高覚醒時の特徴量を抽出する。さらに、ロジックＡでは、各特徴量について、一定時間毎に抽出される特徴量と高覚醒時の特徴量とを比較し、顔パーツに動きが発生したか否かを判定する。そして、ロジックＡでは、単位時間（例えば、数十秒〜数分単位）内での顔パーツの動きの発生回数をカウントし、単位時間内の顔パーツの動きの発生回数（顔パーツ動き発生密度）が発生回数閾値ｔｈ以上か否かで居眠り状態か否かを判定する。発生回数閾値ｔｈは、比較的弱い眠気を催したことを判定できる単位時間内の顔パーツの動きの発生回数が設定され、実験によって特徴量の数や単位時間の長さなどを考慮して予め設定される。

口の特徴量としては、眠気が発生すると高覚醒時の口の形状や大きさなどから変化する可能性のあるものであり、図２に示すように、口全体の横長さＭ１、上下唇重心位置の横変位Ｍ２、上下唇重心位置の縦変位Ｍ３、上下唇境界の座標列Ｍ４、口周囲の皮膚の状態Ｍ５、口全体の縦長さＭ６である。口全体の横長さＭ１は、高覚醒時の通常の長さに比べると、眠気が発生するとあくびのかみ殺しなどにより変化する場合がある。上下唇重心位置の横変位Ｍ２や上下唇重心位置の縦変位Ｍ３は、高覚醒時の通常の変位に比べると、眠気が発生するとしかめ顔などにより変化する場合がある。上下唇境界の座標列Ｍ４は、高覚醒時の通常の境界に比べると、眠気が発生するとしかめ顔などにより変形する場合がある。口周囲の皮膚の状態Ｍ５は、眠気が発生すると頬のつり上がりなどにより唇の周囲の皮膚が変形する場合がある。口全体の縦長さＭ６は、高覚醒時の通常の長さに比べると、眠気が発生するとあくびなどにより変化する場合がある。

目の特徴量はとしては、眠気が強くなると高覚醒時の目の形状や大きさなどから変化する可能性のあるものであり、図３に示すように、目領域全体の傾きＥ１、瞼境界の座標列Ｅ２、目周囲の皮膚の状態Ｅ３、目全体の縦長さＥ４である。目領域全体の傾きＥ１は、高覚醒時の通常の傾きに比べると、眠気が発生すると閉眼の我慢などにより変化する場合がある。瞼境界の座標列Ｅ２は、高覚醒時の通常の境界に比べると、眠気が発生すると閉眼の我慢などにより変化する場合がある。目周囲の皮膚の状態Ｅ３は、眠気が発生すると眠気我慢による眉間のしわなどにより皮膚が変形する場合がある。目全体の縦長さＥ４は、高覚醒時の通常の長さに比べると、眠気が発生すると目の見開きなどにより変化する場合がある。

高覚醒時の特徴量との比較方法について説明する。数値（長さ、変位、傾き）の特徴量については、高覚醒時の各特徴量については平均値と標準偏差値を算出し、その平均値と標準偏差値（高覚醒時の各特徴量の分布範囲）から各特徴量の動き発生範囲を設定し、一定時間毎に抽出される各特徴量が動き発生範囲に入るか否かで動きの有無を判定する。また、複数の特徴量の分布範囲を組み合わせて、多次元の動き発生範囲を設定してもよい。また、複数の特徴量を組み合わせ、多次元の新たな特徴量を主成分分析で算出し、その特徴量の平均値と標準偏差値から動き発生範囲を設定してもよい。座標列の特徴量については、一定時間毎に抽出される特徴量の座標列と高覚醒時の特徴量の座標列との相互相関係数を算出し、その相互相関係数が閾値より低いか否かで動きの有無を判定する。皮膚の状態の特徴量については、一定時間毎に抽出される特徴量が高覚醒時の皮膚の状態に見られない状態に変形したか否かで動きの有無を判定する。

ロジックＢは、顔の特定表情に基づいて眠気レベルを検出する。特定表情としては、比較的弱い眠気を催した場合でも表れる表情であり、例えば、あくび、ため息、目の見開き、しかめ顔である。具体的には、不特定多数の被験者に対する実験によって、特定表情についての口や目などのテンプレートが予め構築され、このテンプレートのデータを保持しておく。ロジックＢでは、ロジックＡと同様の方法により、顔の撮像画像から口や目を検出する。そして、ロジックＢでは、一定時間毎に検出される口や目と特定表情の各テンプレートとのマッチングを行い、特定表情が発生したか否かを判定する。さらに、ロジックＢでは、複数の特定表情が連続して判定時間ｊｔ内に発生したか否かで居眠り状態か否かを判定する。この際、複数の特定表情の発生する順番も考慮してもよい。判定時間ｊｔは、実験によって予め設定される。あるいは、ロジックＢでは、あくびなどの居眠りするときにする可能性の非常高い特定表情が発生したか否かで居眠り状態か否かを判定する。

図５、図６には、ある被験者に対してロジックＡ、ロジックＢによってそれぞれ検出した眠気レベルの検出値（破線）とそのときの眠気レベルの真値（実線）との時間変化の一例を示している。眠気レベルは、１〜６までの６段階で表され、１が最も強く（眠っている状態）、６が最も弱い（覚醒状態）。図５と図６を比較すると、ロジックＡによる眠気レベルの検出値の方が、ロジックＢによる眠気レベルの検出値より、眠気レベルの真値に一致している。つまり、この被験者の場合、ロジックＡを用いた方が検出精度が高く、特徴として顔パーツの動きの方が眠気に対して変化が出易い。このように、被験者個々で眠気に対して変化の出易い特徴がある。

眠気レベルの真値の評価方法について説明しておく。この評価方法は、官能評価であり、被験者の顔の撮像画像を時系列で取得しておき、この時系列の撮像画像における顔を顔面表情評定表に基づいて評価し（人間感覚計測マニュアル第一編（出版：人間生活工学研究センター）参照）、その評価結果に基づいて被験者の眠気レベルの真値を設定するものである。顔面表情評定表では、１が全く眠くなさそう（視線の移動が速く頻繁である、瞬きは２秒に２回位の安定した周期、動きが活発で身体の動きを伴う）、２がやや眠そう（唇が開いている、視線移動の動きが遅い）、３が眠そう（瞬きはゆっくりと頻発、口の動きがある、座り直し有り、顔に手をやる）、４がかなり眠そう（意識的と思われる瞬きがある、頭を振る・肩の上下動などの無用な身体全体の動きがある、あくびは頻発し深呼吸も見られる、瞬きも視線の動きも遅い）、５が非常に眠そう（瞼を閉じる、頭が前に傾く、頭が後に倒れる）である。眠気レベル（真値）の設定では、顔面表情評定表における１の場合には６に置き換え、顔面表情評定表における２の場合には５に置き換え、顔面表情評定表における３の場合には４に置き換え、顔面表情評定表における４の場合には３に置き換え、顔面表情評定表における５の場合には２に置き換え、眠っている状態を１とする。

なお、ロジックＡでは、特徴量として口に対して６個の特徴量、目に対して４個の特徴量を用いたが、口や目についてはこれら以外の特徴量を設定してもよいし、この１０個の特徴量の中の幾つかの特徴量だけを用いてもよいし、また、口と目以外にも、眠気に応じて変化するパーツであれば、眉毛、鼻などの顔の他のパーツの特徴量を用いてもよい。また、眠気レベル（居眠り状態）を検出するロジックとしては他の特徴を用いたロジックでもよく、例えば、体の動き（背伸び、体ひねり、頭の動き、肩の上下動など）を用いたロジック、心拍や発汗などの生理指標を用いたロジックである。

カメラ２は、運転者の顔周辺の画像を取得するためのカメラであり、インストルメントパネルに運転者の顔周辺の方向に向けて取り付けられる。カメラ２では、一定時間毎に、運転者の顔周辺を撮像し、その撮像画像データを画像信号としてＥＣＵ４に送信する。

出力手段３は、出力対象に対して運転者が居眠り状態であることや運転者に対して休息を促すような告知をするための手段である。出力手段３では、ＥＣＵ４から出力信号を受信すると、各手段に応じた出力を行う。出力手段３としては、例えば、音で告知する手段（ブザー、オーディオ、ラジオ、クラクション）、光で告知する手段（メータ照明、室内照明）、触覚や温冷覚で告知する手段（シートに埋設した振動装置、エアコンの風や温度変化）、においで告知する手段（芳香剤の噴射）、システムへのコマンド出力である。出力対象としては、例えば、運転者、運転席以外に座っている乗員、トラックやタクシなどの営業車の運行を管理する管理者、車両制御システムである。

ＥＣＵ４は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[Random Access Memory]などからなり、居眠り検出装置１を統括制御する。ＥＣＵ４では、起動すると、一定時間毎にカメラ２からの画像信号を取り入れ、画像信号の撮像画像データを各バッファに格納し、一定時間毎の時系列データとして保持する。また、ＥＣＵ４では、ＲＯＭに格納される各プログラムをＣＰＵで実行することによって各部１０、１２〜１８を構成し、各部１０、１２〜１８の処理を行う。

高覚醒時特徴量抽出部１０では、運転開始直後（運転開始時から所定時間以内）の一定時間毎に、上記した抽出方法により顔の撮像画像に基づいてロジックＡで用いる口に関する６個の特徴量（口全体の横長さＭ１、上下唇重心位置の横変位Ｍ２、上下唇重心位置の縦変位Ｍ３、上下唇境界の座標列Ｍ４、口周囲の皮膚の状態Ｍ５、口全体の縦長さＭ６）及び目に関する４個の特徴量（目領域全体の傾きＥ１、瞼境界の座標列Ｅ２、目周囲の皮膚の状態Ｅ３、目全体の縦長さＥ４）を抽出する。所定時間は、運転開始直後の運転者が高い覚醒状態を維持している可能性の高い時間帯であり、実験によって予め設定される。そして、高覚醒時特徴量抽出部１０では、一定時間毎に抽出した各データに基づいて、口全体の横長さＭ１、上下唇重心位置の横変位Ｍ２、上下唇重心位置の縦変位Ｍ３、口全体の縦長さＭ６、目領域全体の傾きＥ１、目全体の縦長さＥ４については平均値と標準偏差値を算出し、上下唇境界の座標列Ｍ４、瞼境界の座標列Ｅ２については平均的な座標列を算出し、口周囲の皮膚の状態Ｍ５、目周囲の皮膚の状態Ｅ３については平均的な状態を算出する。さらに、高覚醒時特徴量抽出部１０では、これら１０個の特徴量を高覚醒時特徴量格納バッファ１１に記憶させる。

高覚醒時特徴量格納バッファ１１は、ＲＡＭの所定の領域に構成され、高覚醒時の特徴量を格納するためのバッファである。

特徴量抽出部１２では、高覚醒時特徴量抽出後、一定時間毎に、上記した抽出方法により顔の撮像画像に基づいてロジックＡで用いる口に関する６個の特徴量及び目に関する４個の特徴量を抽出する。

顔パーツ動き発生回数カウント部１３では、高覚醒時特徴量抽出後、一定時間毎に、上記した比較方法により特徴量抽出部１２で抽出した口に関する６個の特徴量及び目に関する４個の特徴量と高覚醒時特徴量格納バッファ１１に格納されている高覚醒時の各特徴量とをそれぞれ比較し、各特徴量について動きがあったか否かを判定する。そして、顔パーツ動き発生回数カウント部１３では、動きがあった場合には検出時刻にフラグを立てる。ここでは、１０個の特徴量のうちの複数の特徴量に動きがあった場合には複数のフラグを立てる。さらに、顔パーツ動き発生回数カウント部１３では、単位時間毎に、単位時間内に立っているフラグの数をカウントし、そのカウント数（すなわち、顔パーツの動き発生回数）を保持する。

特徴量抽出部１２及び顔パーツ動き発生回数カウント部１３では、以上の処理を、高覚醒時特徴量抽出後からロジック選択必要時間ｔ０まで行い、ロジック選択必要時間ｔ０までの単位時間毎の顔パーツ動き発生回数（顔パーツ動き密度）を得る。ロジック選択必要時間ｔ０は、運転開始から運転者が眠気を催すと予測される時間であり、実験によって予め設定される。

図４には、運転開始からの経過時間における単位時間毎の顔パーツ動き発生回数を示す一例である。図４から判るように、運転開始してから暫くの間、顔パーツ動き発生回数は０であり、運転者は眠気を催していない。しかし、時間の経過とともに、顔パーツ動き発生回数が増え、運転者が眠気を催していると推測できる。また、この運転者は眠気が強くなるとロジックＡの特徴量が変化し易いと推測できる。

ロジック選択部１４では、ロジック選択必要時間ｔ０経過直後、ロジック選択必要時間ｔ０までの間に保持されている単位時間毎の顔パーツ動き発生回数が発生回数閾値ｔｈ以上になったか否かを判定する。単位時間毎の顔パーツ動き発生回数が発生回数閾値ｔｈ以上と判定した場合、運転者は眠気に対してロジックＡの特徴量が変化し易いので、ロジック選択部１４では、ロジックＡ居眠り検出部１５を実行させる。一方、保持されている単位時間毎の顔パーツ動き発生回数全てが発生回数閾値ｔｈ未満と判定した場合、運転者は眠気に対してロジックＡの特徴量が変化し難いので（ひいては、運転者は眠気に対してロジックＢの特徴量が変化し易いので）、ロジック選択部１４では、ロジックＢ居眠り検出部１６を実行させる。なお、このロジック選択部１４で用いる発生回数閾値は、ロジックＡで用いる閾値と同じ値としたが、異なる値としてもよい。また、ロジック選択必要時間ｔ０経過直後に判定するではなく、単位時間毎の顔パーツ動き発生回数が求められる毎に判定するようにしてもよい。また、単位時間毎の顔パーツ動き発生回数が発生回数閾値ｔｈ以上と１回でも判定された場合にロジックＡを選択するのでなく、単位時間毎の顔パーツ動き発生回数が発生回数閾値ｔｈ以上と所定回以上判定された場合にロジックＡを選択するようにしてもよい。

図４に示す例の場合、ロジック選択必要時間ｔ０までの間に、単位時間内の顔パーツ動き発生回数が発生回数閾値ｔｈになっている。したがって、この運転者については、眠気が強くなってくると口や目に動きが発生するので、口や目の動きの有無だけで眠気を推定できる。一方、ロジック選択必要時間ｔ０までの間に、単位時間内の顔パーツ動き発生回数が発生回数閾値ｔｈ未満となる運転者については、口や目の動きの有無だけで眠気を推定できないので、眠気を催したときに表れる可能性が高い特定表情（顔の動きの種類）を同定することによって眠気を推定できる。

ロジックＡ居眠り検出部１５では、ロジック選択部１４によって実行されると、一定時間毎に、上記した抽出方法により顔の撮像画像に基づいてロジックＡで用いる口に関する６個の特徴量及び目に関する４個の特徴量を抽出する。そして、ロジックＡ居眠り検出部１５では、一定時間毎に、上記した比較方法により抽出した口に関する６個の特徴量及び目に関する４個の特徴量と高覚醒時の各特徴量とをそれぞれ比較し、各特徴量について動きがあったか否かを判定し、動きがあったと判定した場合には検出時刻にフラグを立てる。さらに、ロジックＡ居眠り検出部１５では、単位時間毎に、単位時間内に立っているフラグの数をカウントし、そのカウント数（顔パーツ動き発生回数）が発生回数閾値ｔｈ以上か否かを判定する。発生回数閾値ｔｈ以上と判定した場合、ロジックＡ居眠り検出部１５では、運転者は居眠り状態と判定する。一方、発生回数閾値ｔｈ未満と判定した場合、ロジックＡ居眠り検出部１５では、運転者は居眠り状態でないと判定する。なお、発生回数閾値ｔｈ以上になっただけでなく、発生回数閾値ｔｈ以上になっている時間が時間閾値を超えている場合に運転者が居眠り状態と判定してもよい。この時間閾値を超えている時間は、連続的に超えている時間でもよいし、あるいは、所定時間内に離散的に超えている時間の積算時間でもよい。

ロジックＢ居眠り検出部１６では、ロジック選択部１４によって実行されると、一定時間毎に、上記した方法により顔の撮像画像に基づいて口や目を検出する。そして、ロジックＢ居眠り検出部１６では、一定時間毎に、検出した口や目と特定表情の各テンプレート毎とのマッチングを行い、特定表情が発生したか否かを判定し、発生した場合には検出時刻とともにその特定表情の種類を保持する。さらに、ロジックＢ居眠り検出部１６では、特定表情を検出する毎に、複数の特定表情が連続して判定時間ｊｔ内に発生したか否かを判定する。複数の特定表情が連続して判定時間ｊｔ内に発生したと判定した場合、ロジックＢ居眠り検出部１６では、運転者は居眠り状態と判定する。一方、複数の特定表情が連続して判定時間ｊｔ内に発生していないと判定した場合、ロジックＢ居眠り検出部１６では、運転者は居眠り状態でないと判定する。あるいは、ロジックＢ居眠り検出部１６では、あくびなどのある特定表情が発生したか否かを判定する。ある特定表情が発生したと判定した場合、ロジックＢ居眠り検出部１６では、運転者は居眠り状態と判定する。一方、ある特定表情が発生していないと判定した場合、ロジックＢ居眠り検出部１６では、運転者は居眠り状態でないと判定する。

居眠り検出有無判断部１７では、ロジックＡ居眠り検出部１５又はロジックＢ居眠り検出部１６で居眠り状態を検出したか否かを判断する。居眠り状態を検出していない場合、居眠り検出有無判断部１７では、居眠り出力部１８での処理を実行させない。一方、居眠り状態を検出した場合、居眠り検出有無判断部１７では、居眠り出力部１８での処理を実行させる。

居眠り出力部１８では、居眠り検出有無判断部１７によって実行されると、居眠り状態であることを告知するために、出力信号を出力手段３に送信する。

図１を参照して、居眠り検出装置１の動作について説明する。特に、ＥＣＵ４における処理については図７にフローチャートに沿って説明する。図７は、図１のＥＣＵにおける処理の流れを示すフローチャートである。

運転者がエンジンを始動すると、居眠り検出装置１が起動する。起動後、カメラ２では、一定時間毎に、運転者の顔を撮像し、その撮像画像データを画像信号としてＥＣＵ４に送信する。ＥＣＵ４では、画像信号を受信し、顔の撮像画像データを所定のバッファに格納する。これによって、顔の撮像画像の時系列データが生成されてゆく。

ＥＣＵ４では、運転開始直後か否かを判定する（Ｓ１）。Ｓ１にて運転開始直後と判定した場合、ＥＣＵ４では、一定時間毎に顔の撮像画像から高覚醒時の口と目の各特徴量を抽出し、口と目の各特徴量を高覚醒時特徴量格納バッファ１１に格納する（Ｓ２）。

Ｓ１にて運転開始直後でないと判定した場合、ＥＣＵ４では、一定時間毎に、顔の撮像画像から口と目の各特徴量を抽出する（Ｓ３）。ＥＣＵ４では、一定時間毎に、抽出した口と目の各特徴量と高覚醒時の各特徴量とをそれぞれ比較し、口と目の各特徴量について動きがあったか否かを判定する（Ｓ４）。そして、ＥＣＵ４では、単位時間毎に、単位時間内の口と目の動きのあった回数をカウントとし、その単位時間内の顔パーツ動き発生回数を保持する（Ｓ４）。ＥＣＵ４では、ロジック選択必要時間ｔ０が経過したか否かを判定する（Ｓ５）。ロジック選択必要時間ｔ０が経過していないと判定した場合、ＥＣＵ４では、Ｓ３とＳ４の処理を繰り返し実行する。

ロジック選択必要時間ｔ０が経過したと判定した場合、ＥＣＵ４では、保持している単位時間内の顔パーツ動き発生回数が発生回数閾値ｔｈ以上か否かを判定する（Ｓ６）。

単位時間内の顔パーツ動き発生回数が発生回数閾値ｔｈ以上と判定した場合、ＥＣＵ４では、一定時間毎に、ロジックＡによる顔パーツの動きに基づく居眠り状態の検出を行う（Ｓ７）。一方、単位時間内の顔パーツ動き発生回数全てが発生回数閾値ｔｈ未満と判定した場合、ＥＣＵ４では、一定時間毎に、ロジックＢによる顔の特定表情に基づく居眠り状態の検出を行う（Ｓ８）。

ＥＣＵ４では、一定時間毎に、Ｓ７でのロジックＡによる居眠り状態検出処理又はＳ８でのロジックＢによる居眠り状態検出処理での居眠り状態検出の有無を判定する（Ｓ９）。Ｓ９にて居眠り状態検出なしと判定した場合、ＥＣＵ４では、今回の処理を終了し、一定時間経過後に次回のＳ７での処理又はＳ８での処理を行う。Ｓ９にて居眠り状態検出ありと判定した場合、ＥＣＵ４では、出力信号を出力手段３に送信し（Ｓ１０）、一定時間経過後に次回のＳ７での処理又はＳ８での処理を行う。出力信号を受信すると、出力手段３では、運転者が居眠り状態であること知らせるための出力を行う。この出力によって、運転者が居眠り状態であることに気づきあるいは運転者以外の者が運転者が居眠り状態であることに知って運転者を喚起する。これによって、運転者の眠気が弱まってゆくか、あるいは、運転者が休息を取る。

この居眠り検出装置１によれば、顔パーツの動きに基づくロジックＡと顔の特定表情に基づくロジックＢを運転者に応じて選択することにより、運転者に適した特徴量に基づいて居眠り状態を検出でき、運転者の個人差に関係なく居眠り状態（眠気レベル）を高精度に推定することができる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では車両の運転者の居眠り状態を検出する居眠り検出装置に適用したが、他の乗り物の運転者、各種プラントの監視者、夜間の従業者などの様々な人の眠気を判定するために利用してもよい。また、居眠り状態以外に、心理状態（焦り、イライラ、退屈）、疲労状態、集中力、注意力、ストレスなどの他の状態を推定する装置に適用してもよい。

また、本実施の形態では居眠り検出するための装置に適用したが、ＣＤ−ＲＯＭなどの記憶媒体に格納されたプログラムやインタネットなどのネットワークを介して利用可能なプログラムなどに適用し、このようなプログラムをコンピュータ上で実行することによって居眠りを判定する構成としてもよい。

また、本実施の形態ではロジックＡで用いる顔の口と目の動きの発生回数に基づいてロジックを選択する構成としたが、ロジックＢで用いる顔の特定表情の発生頻度に基づいてロジックを選択する構成としてもよいし、あるいは、ロジックＡで用いる顔の口と目の動きの発生回数とロジックＢで用いる顔の特定表情の発生頻度の両方に基づいてロジックを選択する構成としてもよい。

また、本実施の形態では２つのロジック（特徴）から被験者に適したものを選択する構成としたが、３つ以上のロジック（特徴）から被験者に適したものを選択する構成としてもよい。

本実施の形態に係る居眠り検出装置の構成図である。 本実施の形態に係る口に関する特徴量の説明図である。 本実施の形態に係る目に関する特徴量の説明図である。 図１のＥＣＵでカウントした単位時間内の顔パーツ動き発生回数の時間変化の一例である。 被験者に対するロジックＡによる眠気レベルの検出値と眠気レベルの真値との時間変化の一例である。 被験者に対するロジックＢによる眠気レベルの検出値と眠気レベルの真値との時間変化の一例である。 図１のＥＣＵにおける処理の流れを示すフローチャートである。

符号の説明

１…居眠り検出装置、２…カメラ、３…出力手段、４…ＥＣＵ、１０…高覚醒時特徴量抽出部、１１…高覚醒時特徴量格納バッファ、１２…特徴量抽出部、１３…顔パーツ動き発生回数カウント部、１４…ロジック選択部、１５…ロジックＡ居眠り検出部、１６…ロジックＢ居眠り検出部、１７…居眠り検出有無判断部、１８…居眠り出力部

Claims (1)

1. 被験者の居眠り状態を推定する状態推定装置であって、
   被験者の居眠り状態に相関のある口と目の動き及び顔の特定表情をそれぞれ検出する複数の検出手段と、
   口と目の動きの発生回数に基づいて口と目の動き及び顔の特定表情の中から被験者の居眠り状態推定に用いる特徴を選択する選択手段と、
   被験者の居眠り状態を推定する推定手段と
   を備え、
   前記選択手段は、口と目についての各特徴量と高覚醒時の各特徴量とをそれぞれ比較し、高覚醒時の特徴量から変化している特徴量の数に基づいて口と目の動きの発生回数を検出し、
   前記推定手段は、前記選択手段で選択した特徴に基づいて被験者の居眠り状態を推定することを特徴とする状態推定装置。

Images