JP5167027B2 - 瞬き状態検出装置 - Google Patents

Description

本発明は、瞬き状態検出装置に係り、特に、車両の運転者の居眠り状態を検出するために用いて好適な瞬き状態検出装置に関する。

従来、車両の運転者の居眠り状態を検出することにより、居眠り運転の防止に役立てることが行われている。また、居眠り運転を防止するために、従来、運転者の瞬きの経時変化に基づいて、運転者の居眠り状態（覚醒状態）を検出する覚醒状態検出方法が開示されている（たとえば、特許文献１参照）。

この覚醒状態検出方法では、ＣＣＤカメラによって車両運転者の顔面を撮像し、車両運転者の顔面における瞬きの観察パターンを観察している。この車両運転者の瞬きの観察パターンの観察から、車両運転者の瞬きの経時変化を求める。この経時変化を電圧波形に変換し、変換した電圧波形から車両運転者の覚醒状態を検出している。
特開平１１−１４７４２８号公報

ところで、上記特許文献１に開示された覚醒状態検出方法では、車両走行中の車内の照度変化や振動等の外乱によって、ＣＣＤカメラで撮像して得られる画像データに基づく瞬きの経時変化の検出が途切れることがある。このように、瞬き（開眼度）の経時変化の検出が途切れると、電圧波形の一部が欠落し、連続した電圧波形を得ることができなくなる。その結果、車両運転者の瞬き状態の検出精度が低下するというがあった。この瞬き状態の検出精度の低下は、居眠り状態の監視精度が低下につながることとなる。

そこで、本発明の課題は、画像データに基づく開眼度の経時変化の検出が途切れた場合であっても、精度よく瞬き状態を検出することができる瞬き状態検出装置を提供することにある。

上記課題を解決した本発明に係る瞬き状態検出装置は、車両内における運転者の顔を撮影して得られる画像データから、運転者の開眼度を検出する開眼度検出手段を備え、運転者の開眼度の経時変化に基づいて、運転者の瞬き状態を検出する瞬き状態検出装置であって、運転者の開眼度の経時変化を記憶する開眼度変化記憶手段と、開眼度検出手段による運転者の開眼度検出の欠落を検出する開眼度検出欠落検出手段と、開眼度検出手段によって運転者の開眼度検出の欠落が検出された際に、開眼度変化記憶手段に記憶された開眼度の経時変化に基づいて、運転者の開眼度検出の欠落が検出された時間の開眼度の経時変化を補間する補間手段と、を備えることを特徴とするものである。

本発明に係る瞬き状態検出装置は、運転者の開眼度検出の欠落が検出された際に、開眼度変化記憶手段に記憶された開眼度の経時変化に基づいて、運転者の開眼度検出の欠落が検出された時間の開眼度の経時変化を補間する。運転者の瞬きパターンは運転者ごとに類似することが多いので、開眼度変化記憶手段に記憶された開眼度の経時変化に基づいて欠落部分を補間することにより、画像データに基づく開眼度の経時変化の検出が途切れた場合であっても、精度よく瞬き状態を検出することができる。

ここで、補間手段は、開眼度変化記憶手段に記憶された開眼度の経時変化の中から、運転者の開眼度検出の欠落が検出された時間の前後における開眼度の経時変化に類似する開眼度の経時変化を抽出し、抽出された開眼度の経時変化に基づいて、運転者の開眼度検出の欠落が検出された時間における開眼度の経時変化の補間を行うこととする態様とすることができる。

このように、運転者の開眼度検出の欠落が検出された時間の前後における開眼度の経時変化に類似する開眼度の経時変化を抽出することにより、欠落部分の残後の形状の類似性から補間する形状を抽出することができる。したがって、より精度よく欠落部分の補間を行うことができる。

本発明に係る瞬き状態検出装置によれば、画像データに基づく開眼度の経時変化の検出が途切れた場合であっても、精度よく瞬き状態を検出することができる。

以下、添付図面を参照して本発明の実施形態について説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。また、図示の便宜上、図面の寸法比率は説明のものと必ずしも一致しない。

図１は、本実施形態に係る瞬き状態検出装置を含む居眠り防止装置のブロック構成図である。居眠り防止装置は、車両に設けられ、運転者の居眠りを防止する装置であり、図１に示すように、本発明の瞬き状態検出装置である瞬き状態検出ＥＣＵ（Electronic controlunit）１を備えている。また、居眠り防止装置は、顔画像撮像カメラ２、顔画像処理ＥＣＵ３、および居眠り防止ＥＣＵ４を備えている。さらに、居眠り防止ＥＣＵ４には、居眠り状態にある運転者に刺激を付与する刺激付与手段が設けられている。

瞬き状態検出ＥＣＵ１は、車両に搭載されたコンピュータであり、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、および入出力インターフェイスなどを備えて構成されている。瞬き状態検出ＥＣＵ１は、開眼度算出部１１、開眼度履歴記憶部１２、欠落検出部１３、欠落補間部１４、および瞬き状態検出部１５を備えている。

顔画像撮像カメラ２は、たとえばコラムカバー上に設置され、運転者の顔画像を取得するものである。顔画像撮像カメラ２は、たとえば、近赤外線カメラであり、図示しない近赤外線照射装置から照射した近赤外線が運転者の顔に反射した反射光を受光することによって、運転者の顔を撮像する。顔画像撮像カメラ２では、たとえば、毎秒３０フレームの画像データを取得することができる。顔画像撮像カメラ２は、取得した画像データを顔画像処理ＥＣＵ３に送信する。

顔画像処理ＥＣＵ３は、顔画像撮像カメラ２と電気的に接続されている。顔画像処理ＥＣＵ３では、顔画像撮像カメラ２から送信された画像データに対して画像処理を行い、運転者の顔画像を認識する。顔画像処理ＥＣＵ３では、たとえば、運転者の顔の輪郭を検出する顔輪郭エッジ抽出処理、運転者の顔向き角度を判定する顔向き角度判定処理、顔部品（目、鼻、口）等の特徴点を抽出する顔特徴点抽出処理が実行される。顔画像処理ＥＣＵ３は、これらの画像処理を行った後、目蓋位置を検出し、目蓋位置に関する目蓋位置情報を瞬き状態検出ＥＣＵ１における開眼度算出部１１に送信する。

開眼度算出部１１では、顔画像処理ＥＣＵ３から送信された目蓋位置情報に基づいて、運転者の開眼度を算出する。このとき、開眼度を算出できなかった場合には、開眼度を算出不能としておく。開眼度算出部１１は、算出した開眼度をファイフォ（ＦＩＦＯ）し、開眼度履歴記憶部１２に開眼度履歴として記憶する。ここで、開眼度履歴記憶部１２は、開眼度履歴として、１０分間分の開眼度を記憶する。

さらに、開眼度算出部１１は、単位時間当たりの開眼度履歴（以下「単位時間開眼度履歴」という）を開眼度履歴記憶部１２に記憶する。ここでの単位時間は１０秒に設定されている。このため、単位時間開眼度履歴としては、３００フレーム分の開眼度が記憶される。開眼度履歴記憶部１２は、開眼度変化記憶手段を構成する。

欠落検出部１３は、開眼度履歴記憶部１２から単位時間開眼度履歴を読み出し、単位時間開眼度履歴における開眼度算出不能となった欠落位置および欠落位置の継続時間（欠落時間）を検出する。欠落検出部１３は、検出した欠落位置に関する欠落情報を単位時間開眼度履歴に追加して、欠落補間部１４に出力する。欠落検出部１３は、開眼度検出欠落検出手段を構成する。

欠落補間部１４は、欠落検出部１３から出力された単位時間開眼度履歴における欠落位置の開眼度を補間する。欠落補間部１４は、欠落位置の補間を行うにあたり、開眼度履歴記憶部１２から開眼度履歴を読み出し、この開眼度経時変化を参照して、欠落位置の補間を行う。欠落補間部１４は、欠落位置の補間を行った後、単位時間開眼度履歴を瞬き状態検出部１５に出力する。欠落補間部は、補間手段を構成する。

瞬き状態検出部１５は、欠落補間部１４から出力された単位時間開眼度履歴に基づいて、運転者の瞬き状態を検出する。瞬き状態検出部１５は、検出した瞬き状態に基づいて、運転者の単位時間当たりの瞬き回数を求める。この瞬き回数に基づいて、運転者の眠気度を推定し、運転者の眠気度が所定のしきい値以上である場合に、運転者が居眠りをしていると判定する。瞬き状態検出部１５は、運転者が居眠りしていると判定した場合に、居眠り情報を居眠り防止ＥＣＵ４に送信する。

居眠り防止ＥＣＵ４は、瞬き状態検出部１５が送信した居眠り情報を受信した場合に、刺激付与手段を作動制御して、運転者に刺激を付与し、運転者の居眠りを防止する。

次に、本実施形態に係る居眠り防止装置の処理手順について説明する。図２は、本実施形態に係る居眠り防止装置の処理手順を示すフローチャートである。

図２に示すように、本実施形態に係る居眠り防止装置では、まず、顔画像撮像カメラ２によって、運転者の顔画像の撮影を行う（Ｓ１）。撮影された顔画像の画像データは、顔画像処理ＥＣＵ３に送信される。

続いて、顔画像処理ＥＣＵ３は、顔画像撮像カメラ２から送信された画像データに対して、テンプレートマッチングなどの画像処理を行い、運転者の顔画像を認識する（Ｓ２）。それから、顔画像処理ＥＣＵ３は、認識した顔画像から運転者の目蓋位置を検出する（Ｓ３）。顔画像処理ＥＣＵ３で検出された目蓋位置に関する目蓋位置情報は、瞬き状態検出ＥＣＵ１における開眼度算出部１１に送信される。

続いて、開眼度算出部１１では、送信された目蓋位置情報に基づいて、運転者の開眼度を算出する（Ｓ４）。ここで、運転者の開眼度は、上目蓋と下目蓋との間の距離が一番長い状態のときの距離に対する目蓋位置情報に基づく上目蓋の下目蓋との間の距離として算出される。

開眼度算出部１１は、開眼度を算出したら、算出した開眼度を開眼度履歴記憶部１２に記録する（Ｓ５）。ここで、開眼度履歴記憶部１２には、１０秒間分の単位時間開眼度履歴および１０分間分の開眼度履歴が記憶される。それから、欠落検出部１３は、１０秒間分の単位時間開眼度履歴が開眼度履歴記憶部１２に記憶されているか否かを判断する（Ｓ６）。その結果、１０秒間分の単位時間開眼度履歴が開眼度履歴記憶部１２に記憶されていないと判断した場合には、瞬き状態を検出すための単位時間開眼度履歴が得られていないとして、居眠り防止装置による処理を終了する。

一方、１０秒間分の単位時間開眼度履歴が開眼度履歴記憶部１２に記憶されていると判断した場合には、欠落検出部１３において、単位時間開眼度履歴を開眼度履歴記憶部１２から読み出し、読み出した単位時間開眼度履歴の欠落部分が５０％以上であるか否かを判断する（Ｓ６）。

その結果、開眼度履歴記憶部１２から読み出した単位時間開眼度履歴の欠落部分が５０％以上であると判断した場合には、瞬き状態を検出するための十分な条件が得られないと判断され、未検出処理を行って（Ｓ８）、ステップＳ２０に進む。一方、開眼度履歴記憶部１２から読み出した単位時間開眼度履歴の欠落部分が５０％以上でないと判断した場合には、開眼度履歴記憶部１２から読み出した単位時間開眼度履歴の欠落部分が１０％以上であるか否かを判断する（Ｓ９）。

その結果、単位時間開眼度履歴の欠落部分が１０％以上でないと判断した場合には、欠落部分の欠落時間は、短時間であると考えられる。この場合には、欠落補間部１４において、欠落部分の前後を線形補間して（Ｓ１０）、ステップＳ１９に進む。線形補間を行う際には、欠落部分の直前における開眼度の変化量と、欠落部分の直後における開眼度の変化量に基づいて、欠落部分の直前と直後とを曲線状に結ぶことができる。あるいは、欠落部分の直前と直後とを直線状に結ぶこともできる。

一方、単位時間開眼度履歴の欠落部分が１０％以上であると判断した場合には、図３に示すフローに進む。図３は、図２に続く手順を示すフローチャートである。図３に示すように、その結果、単位時間開眼度履歴の欠落部分が１０％以上であると判断した後は、欠落補間部１４において、欠落前半部分のパラメータを演算によって算出する（Ｓ１１）。ここで抽出する欠落前半部分のパラメータとしては、たとえば図４に示す８項目のものを挙げることができる。図４に示す項目は「レンジ」「モード」「アベレージ」「メジアン」「増加速度」「減少速度」「瞬き回数」「長時間閉眼」である。これらの８項目のすべてについてのパラメータを求める。

続いて、欠落後半部分のパラメータを演算によって算出する（Ｓ１２）。欠落後半部分のパラメータについても、欠落前半部分のパラメータと同一項目のパラメータを求める。ここで、欠落前半部分とは、単位時間開眼度履歴における欠落部分よりも前における開眼度が算出された部分であり、欠落後半部分とは、単位時間開眼度履歴における欠落部分よりも後における開眼度が算出された部分である。

それから、欠落前半部分過去データ毎フレーム処理を行う（Ｓ１３）。その後、フレーム処理を行った欠落前半部分について、欠落前半部分の類似波形（以下「欠落前半類似波形」という）を抽出する（Ｓ１４）。欠落前半類似波形を抽出する基準としては、パターンマッチングなどの手法も考えられるが、居眠り防止装置が車両に搭載されることから、高速処理を行うことができる単純数値演算とすることが好適である。また、運転中の運転者の眠気度が増加した場合の居眠り防止を目的として考えることから、瞬き状態が眠気を呈する情況の類似性を検出することが主な目的となる。

そこで、本実施形態では、ステップＳ１１およびステップＳ１２で算出した項目を基準として、欠落前半類似波形を抽出する。各項目における欠落前半類似波形であると判断するための判断基準を図５に示す。たとえば、「レンジ」項目については、最大値と最小値との差の標準偏差１σの差が１０％以内である場合に、類似であると判断する。

ステップＳ１３における欠落前半部分の過去のデータごとのフレーム処理においては、欠落前半部分について、これらの項目うち、ステップＳ１１で算出された項目の類似判断を行う。そして、続くステップＳ１４における欠落前半類似波形の抽出として、１０分間の開眼度履歴の中から、類似性の高い部分を抽出する。

それから、同様のステップＳ１３とステップＳ１４の手順と同様の手順によって、欠落後半部分について、欠落後半部分過去データ毎フレーム処理を行い（Ｓ１５）、その後、フレーム処理を行った欠落後半部分について、欠落後半部分の類似波形（以下「欠落後半類似波形」という）を抽出する（Ｓ１６）。

そして、それぞれ抽出した欠落前半類似波形および欠落後半類似波形について、時間重み付け合成を行う（Ｓ１７）。この時間重み付け合成を行った後、単位時間開眼度履歴の再合成を行い（Ｓ１８）、欠落部分の補間を行う。

このステップＳ１１からステップＳ１８までの工程について、図６を参照して説明する。図６（ａ）は、単位時間開眼度履歴の例を示す図であり、その中央部分に欠落部分が見て取れる。ステップＳ１１では、欠落前半部分に含まれる欠落前半波形Ｗｆを算出する。また、ステップＳ１２では、欠落後半波形Ｗｒを算出する。

続いて、ステップＳ１３では、この欠落前半部分の過去のデータごとにフレーム処理を行い、ステップＳ１４では、このフレーム処理の結果と、開眼度履歴とを比較して、開眼度履歴から欠落前半類似波形Ｒｆを抽出する。

開眼度履歴としては、過去１０分間分の開眼度が記憶されている。ステップＳ１３によって得られた欠落前半波形Ｗｆと、この波形が継続する時間分の波形を開眼度履歴の中から切り出し、欠落前半波形Ｗｆと比較する。ここでは、図４に示す各項目が比較され、その類似度が判断される。類似するか否かの基準は、図５に示す基準とする。

そして、判断基準となる各項目について類似するか否かの判断を行った後に、図６（ｂ）に示すように、欠落前半波形Ｗｆの波形と類似する欠落前半類似波形Ｒｆを抽出する。欠落前半類似波形Ｒｆを抽出するにあたり、まず、上記８項目のうち、規定数以上該当する波形を欠落前半類似波形候補として抽出する。ここでの規定数は、１であってもよいし、２以上の複数であってもよい。

欠落前半類似波形候補が１種類であった場合にはその欠落前半類似波形候補を欠落前半類似波形Ｒｆとして決定する。また、欠落前半類似波形候補が２以上あった場合には、判断基準となる８項目のうち、基準を満たす項目がもっとも多い欠落前半類似波形候補を欠落前半類似波形Ｒｆとして決定する。

さらに、基準を満たす項目が同数であった場合には、各項目における欠落前半波形Ｗｆと欠落前半類似波形候補との間の誤差の総和を求め、誤差の総和が少ない欠落前半類似波形候補を欠落前半類似波形Ｒｆとして決定する。そして、誤差の総和が一致する場合には、誤差が一致している欠落前半類似波形候補同士を平均した波形を欠落前半類似波形Ｒｆとして決定する。

欠落前半類似波形Ｒｆを決定したら、ステップＳ１５では、欠落後半部分の過去のデータごとにフレーム処理を行い、ステップＳ１６では、このフレーム処理の結果と、開眼度履歴とを比較して、過去１０分間分の開眼度履歴から欠落後半類似波形Ｒｒを抽出する。欠落後半類似波形Ｒｒの抽出は、欠落前半類似波形Ｒｆを抽出する場合と同様の手順によって行われる。

こうして欠落前半類似波形Ｒｆおよび欠落後半類似波形Ｒｒを決定したら、開眼度履歴の中から、欠落前半類似波形Ｒｆの直後であって、欠落部分と同時間分の波形（以下「前半対応欠落部分波形」という）と、欠落後半類似波形Ｒｒの直前であって、欠落部分と同時間分の波形（以下「後半対応欠落部分波形」という）と、を抽出する。その後、ステップＳ１７において、前半対応欠落部分波形と、後半対応欠落部分波形との合成を行う。この合成は、時間重み付けを行う時間重み付け合成とする。

具体的には、欠落前半類似波形Ｒｆの占有時間と、欠落後半類似波形Ｒｒの占有時間の比率に基づいて、前半対応欠落部分波形と後半対応欠落部分波形との間で重み付けを行う。この重み付けにより、図６（ｂ）に示すように、占有時間の長い欠落部分類似波形に対応する対応欠落部分波形が大きく反映された対応部分欠落波形Ｌ１が生成される。

その後、ステップＳ１８では、単位時間開眼度履歴の再合成を行う。単位時間開眼度履歴の再合成は、欠落前半波形Ｗｆと欠落後半波形Ｗｒとの間に対応部分欠落波形Ｌ１を貼り付けることによって行われる。こうして、欠落部分の補間が行われる。

続いて、ステップＳ１０およびステップＳ１８において生成された単位時間開眼度履歴に基づいて、運転者の眠気度を推定する（Ｓ１９）。そして、眠気度が所定のしきい値以上となっており、運転者が居眠りしていると判定した場合に、居眠り情報を居眠り防止ＥＣＵ４に送信する（Ｓ２０）。それから、単位時間開眼度履歴に基づく１０秒データを開放して（Ｓ２０）、処理を終了する。また、運転者が居眠りしていないと判定した場合には、居眠り情報を送信することなく、単位時間開眼度履歴に基づく１０秒データを開放して（Ｓ２０）、処理を終了する。

その後、居眠り防止ＥＣＵ４は、居眠り情報を受信した場合に、刺激付与手段を作動制御して、運転者に刺激を付与し、運転者の居眠りを防止する。

このように、本実施形態に係る居眠り防止装置においては、居眠りの判定に用いる単位時間開眼度履歴に欠落部分が生じた場合、この欠落部分の補間を行う。この欠落部分の補間を行うにあたり、欠落部分が単位時間開眼度履歴の５０％以上に相当する場合には、１０分間分の開眼度履歴における欠落部分類似波形を用いている。このため、単位時間開眼度履歴に欠落部分が生じた場合であっても、瞬き状態検出部１５において、精度よく瞬き状態を検出することができる。

また、欠落部分類似波形を求めるにあたり、欠落部分の前後における欠落前半波形Ｗｆに類似する欠落前半類似波形Ｒｆおよび欠落後半波形Ｗｒに類似する欠落後半類似波形Ｒｒを用いている。このため、実際の欠落部分波形に近い欠落部分類似波形を補間することができる。また、このときに、前半欠落部分類似波形の占有時間と、後半欠落部分類似波形の占有時間の比率に基づいて、前半対応欠落部分波形と後半対応欠落部分波形との間で重み付けを行っている。このため、さらに精度よい欠落部分類似波形を補間することができる。

次に、欠落部分の補間する場合における他の例について説明する。上記実施形態では、欠落部分波形を補間するにあたり、欠落前半波形Ｗｆおよび欠落後半波形Ｗｒに基づいて対応部分欠落波形Ｌ１を求めているが、欠落前半波形Ｗｆまたは欠落後半波形Ｗｒに基づいて対応部分欠落波形を求めることもできる。

この場合、図７（ａ）に示すように、まず、単位時間開眼度履歴に欠落部分が生じていた場合、欠落部分に対する欠落前半波形Ｗｆを求める。欠落前半波形Ｗｆの求め方としては、図５に示す８項目の判断基準によるものとすることができる。欠落前半波形Ｗｆを求めたら、図７（ｂ）に示すように、１０分間分の開眼度履歴の中から、欠落前半類似波形Ｒｆとともに、前半対応欠落部分波形Ｌｆを求める。そして、図７（ｃ）に示すように、この前半対応欠落部分波形Ｌｆを単位時間開眼度の欠落部分の合成することによって、欠落部分の補間を行うことができる。

また、欠落前半波形Ｗｆまたは欠落後半波形Ｗｒと開眼度履歴から抽出される波形との類似度を求めるにあたり、単位時間開眼度履歴および開眼度履歴に指標を設け、この指標の推移に基づいて欠落前半波形Ｗｆまたは欠落後半波形Ｗｒと開眼度履歴との類似度を求めることもできる。たとえば、図８に示すように、開眼度に所定の指標を複数設定する。
ここでは、６０％。７０％、８０％が指標とされているが、その他の指標とすることもできる。そして、開眼度履歴がその指標と交差する際の交点の数によって欠落前半波形Ｗｆまたは欠落後半波形Ｗｒと開眼度履歴から抽出される波形との類似度を求めることができる。

さらには、開眼度の経時変化を記憶するにあたり、開眼度を波形で示す代わりに、開眼状態を設定し、開眼状態の一致度合いに基づいて開眼度履歴と単位時間開眼度履歴との類似度を算出することもできる。開眼度として、開眼（開眼度１００％）、中間（開眼度５０％）、閉眼（開眼度０％）といった開眼状態を設定しておき、開眼状態の変化から欠落部分を補間する態様とすることもできる。この場合、このように、波形ではなく、上記の開眼状態といった状態レベルで開眼度を把握した場合であっても、類似パターンを十分得ることができる。このように、開眼状態として開眼、中間、閉眼のみを設定することにより、計算量の低減を図ることができる。

開眼度を開眼状態で表した場合の開眼度履歴中における単位時間開眼度履歴との類似度は、１０分間の開眼度履歴中における単位時間開眼度履歴（１０秒）と同じ長さの部分について開眼状態が一致している数によって求めることができる。ここで、開眼状態で設定した開眼度の経時変化の例を図９に示す。図９には、開眼度履歴のうち、単位時間開眼度履歴に類似する部分をリファレンス履歴として示し、単位時間開眼度履歴を欠落あり履歴として示している。また、開眼状態として、開眼を「ｏ」、中間を「ｍ」、閉眼を「ｃ」、欠落部分となる欠損を「ｌ」と示している。

図９に示すように、この例では、リファレンス履歴と欠損あり履歴とで、それぞれ２７個の開眼状態が表されているが、２７個の開眼状態のうち２５個の開眼状態が一致している。リファレンス履歴と欠損あり履歴とを比較すると、欠損あり履歴における欠損「ｌ」の部分以外では、リファレンス履歴と欠損あり履歴とが一致していることが分かる。ここで、欠損あり履歴における欠損「ｌ」は、リファレンス履歴における対応部分と同一の開眼状態であると推定することができる。このリファレンス履歴における開眼状態を欠損あり履歴の欠落部分にあてはめることにより、欠損あり履歴の欠落部分を補間することができる。

この場合、開眼状態は欠損情報も含めて１フレームあたり２ビットで表現することができし、しかも単純なシフト演算でマッチング計算を行うことができるので、計算負荷を軽減することができる。さらには、ウィンドウを用いる必要が無いので、類似パターンを発見する可能性を高いものとすることができる。

また、開眼度をファイフォ型で記録する代わりに、単位時間開眼度履歴パターンを、眠気度合いごとの特徴パターンとして紐付けして記憶しておく態様とすることもできる。この場合、たとえば、眠気度に対応する単位時間開眼度履歴パターンを記憶しておく。具体的には、眠気度Ｄ＝０と推定したときの単位時間開眼度履歴パターンをａ００１〜ａ１００、眠気度Ｄ＝１と推定したときの単位時間開眼度履歴パターンをｂ００１〜ｂ１００、眠気度Ｄ＝２と推定したときの単位時間開眼度履歴パターンをｃ００１〜ｃ１００・・・眠気度Ｄ＝５と推定したときの単位時間開眼度履歴パターンをｆ００１〜ｆ１００としてそれぞれ記憶しておく。

そして、開眼度が欠落した場合に、その直近、たとえば１０秒前に判定した眠気度に基づいて、マッチングする単位時間開眼度履歴パターンを探す。ここで、マッチングする単位時間開眼度履歴パターンが見つからない場合には、眠気度を１段階下げて、改めて眠気度にマッチングする単位時間開眼度履歴パターンを探す。単位時間開眼度履歴パターンによって欠落部分を補間する態様とすることもできる。

以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。たとえば、上記実施形態では、欠落前後半類似波形を求めるにあたり、「レンジ」「モード」などの８項目のすべてについてのパラメータを求める態様としているが、これらの中から任意の数のパラメータを求める態様とすることもできる。また、上記実施形態では、開眼度履歴を１０分間連続して記憶しているが、開眼度履歴として、瞬き状態にあるときのみを抜き出して記憶する態様とすることもできる。この場合、瞬き状態の検出の大きな精度の低下を及ぼすことなく、記憶量の削減を図ることができる。

さらに、開眼度の他に顔向き角度も合わせて検出し、開眼度および顔向き角度から瞬き状態を検出する態様とすることもできる。この態様により、さらに精度よく瞬き状態を検出することができる。

瞬き状態検出装置を含む居眠り防止装置のブロック構成図である。 居眠り防止装置の処理手順を示すフローチャートである。 図２に続く処理手順を示すフローチャートである。 波形が類似するか否かの判断に用いるパラメータを示す表である。 波形が類似するか否かの判断基準を示す表である。 （ａ）は、単位時間開眼度履歴の一例を示すグラフ、（ｂ）は、開眼度履歴における単位時間開眼度履歴に類似する部分を示すグラフ、（ｃ）は、欠落部分を補間した単位時間開眼度履歴を示すグラフである。 （ａ）は、単位時間開眼度履歴の他の例を示すグラフ、（ｂ）は、開眼度履歴における単位時間開眼度履歴に類似する部分を示すグラフ、（ｃ）は、欠落部分を補間した単位時間開眼度履歴を示すグラフである。 開眼度の経時変化を示すグラフである。 リファレンス履歴と欠落あり履歴とを示す図である。

符号の説明

１…瞬き状態検出ＥＣＵ、２…顔画像撮像カメラ、３…顔画像処理ＥＣＵ、４…居眠り防止ＥＣＵ、１１…開眼度算出部、１２…開眼度履歴記憶部、１３…欠落検出部、１４…欠落補間部、１５…瞬き状態検出部、Ｌ１…対応部分欠落波形、Ｒｆ…欠落前半類似波形、Ｒｒ…欠落後半類似波形、Ｗｆ…欠落前半波形、Ｗｒ…欠落後半波形。

Claims (2)

1. 車両内における運転者の顔を撮影して得られる画像データから、前記運転者の開眼度を検出する開眼度検出手段を備え、前記運転者の開眼度の経時変化に基づいて、前記運転者の瞬き状態を検出する瞬き状態検出装置であって、
   前記運転者の開眼度の経時変化を記憶する開眼度変化記憶手段と、
   前記開眼度検出手段による前記運転者の開眼度が算出不能となる欠落を検出する開眼度検出欠落検出手段と、
   前記開眼度検出手段によって前記運転者の開眼度検出の欠落が検出された際に、前記開眼度変化記憶手段に記憶された前記開眼度の経時変化に基づいて、前記運転者の開眼度検出の欠落が検出された時間の開眼度の経時変化を補間する補間手段と、
   を備えることを特徴とする瞬き状態検出装置。
2. 前記補間手段は、前記開眼度変化記憶手段に記憶された開眼度の経時変化の中から、前記運転者の開眼度検出の欠落が検出された時間の前後における開眼度の経時変化に類似する開眼度の経時変化を抽出し、
   抽出された開眼度の経時変化に基づいて、前記運転者の開眼度検出の欠落が検出された時間における開眼度の経時変化の補間を行う請求項１に記載の瞬き状態検出装置。

Images