JP3898586B2 - 開閉眼モニタ装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば車両の運転者等の意識状態を推定し該運転者等に対し必要に応じて警報を発する居眠り検出装置等に適用される開閉眼モニタ装置に関する。
【０００２】
【従来の技術】
例えば、自動車等の車両の安全性を向上させるため、運転者の居眠りを検知して警報装置を作動させる居眠り検出装置が考えられている。一方、運転者の居眠り（意識低下）状態は、単位時間あたりの瞬きの回数や瞬きの長さと強い相関関係があることが知られてきている。
【０００３】
そこで、居眠りを検知するために、画像処理技術を利用して乗員の眼の開閉状態を検出する技術が考えられている。このような技術としては、例えば、特開２０００-１９９７０３号公報に記載された眼の状態検出装置がある。この公報には、精度良く開閉眼（瞬き）を検出するために、学習により開閉眼判定基準値を設定する方法が記載されている。以下、この眼の状態検出装置による開閉眼判定基準値の設定方法について説明する。
【０００４】
上記公報記載の眼の状態検出装置では、先ず、所定時間内における眼の開度の時経列データから開度値の最小値を検出し、その後、この最小値に所定開度値をプラスした範囲内の開度値の出力回数を積算する。そして、積算回数が最初に所定回数に達した開度を閉眼基準値として設定し、この閉眼基準値にさらに所定開度値をプラスした値を開閉眼判定基準値（閾値）として設定する。これにより、単に開度の最大値と最小値とを用いる場合に懸念されるノイズの影響を排除しつつ、閉眼時の開度のみで学習することで短時間で開閉眼判定基準値を設定可能である。
【０００５】
また、上記公報には、開眼基準値をも学習して開閉眼判定基準値を設定する方法が記載されている。この方法では、先ず、上記閉眼基準値に所定開度値をプラスした開閉眼判定基準値を仮置きで設定する。そして、この仮置き値以上の範囲内の開度値の出力回数を積算し、この積算回数が最初に所定回数に達した開度を開眼基準値として設定する。次いで、この開眼基準と上記閉眼基準値とから開閉眼判定基準値を設定する。これにより、より精度の良い開閉眼判定基準値を得ることができる。
【０００６】
【発明が解決しようとする課題】
しかしながら、前者の方法を用いた従来の眼の状態検出装置では、開度値の最小値に所定開度値をプラスした範囲内の開度値（上記時系列データにおける開度の谷）を抽出し、この開度値の積算回数に基づいて閉眼基準値を決めるが、所定開度値が個人差や環境の影響（日射の有無等）を考慮して決められていないため、運転者の交替や環境の変化に対応した安定した閉眼基準値を得ることができなかった。そして、このように得られた閉眼基準値に対し個人差等を考慮しない所定開度値を再度プラスすることで開閉眼判定基準値を設定するため、該開閉眼判定基準値（閾値）の安定性（信頼性）が低いという問題があった。
【０００７】
すなわち例えば、ある運転者に対し所定の開度値が大き過ぎる場合、通常開眼時間の方が閉眼時間よりも長いため、開眼状態における開度値が最初に所定の積算回数に達する可能性が高い。この場合、開眼状態であるにも拘わらず閉眼であると判定される回数が増え、上記ある運転者に不要な警報を発し不快感を与える恐れがある。逆に、別の運転者に対しては所定の開度値が小さ過ぎる場合があり、この場合においてさらにノイズ等により小さい最小値が得られた場合には、閉眼状態であるにも拘わらず開眼であると判定される恐れもある。
【０００８】
一方、後者の方法を用いた従来の眼の状態検出装置でも、前者の場合と同様に個人差等を考慮しない所定の開度値を用いて開眼基準値を決めるため、運転者の交替や環境の変化に対応した安定した開眼基準値を得ることができないという問題があった。そして、後者の場合は開閉眼判定基準値の設定のために所定の開度値を再度プラスすることはないが、開眼基準値は常に上記仮置き値（前者における開閉眼判定基準値）よりも大きいため、例えば上記のように所定開度値が大き過ぎ閉眼基準値が現実の開眼状態における開度を含んで設定されてしまった場合には開閉眼判定基準値の精度向上には寄与しない。
【０００９】
このように、上記のような従来の眼の状態検出装置では、開閉眼の各開度基準値の学習に用いる所定の開度値が学習によって変更されることがなく、安定した開閉眼判定基準値（閾値）を得ることができなかった。
【００１０】
本発明は、上記事実を考慮して、閉眼を判断するための閾値を個人差や環境の影響に依らず精度良く安定して設定することができる開閉眼モニタ装置を得ることが目的である。
【００１１】
【課題を解決するための手段】
上記目的を達成するために請求項１記載の発明に係る開閉眼モニタ装置は、少なくとも眼を含む顔の部分を撮像する撮像手段と、前記撮像手段にて撮像した画像データにおける前記眼に対応する部分を抽出し、該眼に対応する部分の上下の縁部間の画素数に基づいて前記眼の開度を検出する開度検出手段と、前記開度検出手段から出力された前記開度の所定時間の経時変化データから該開度の極小値を複数抽出すると共に、該複数の極小値を開眼候補群と閉眼候補群とに分離し、前記開眼候補群の最小開度から該開眼候補群の標準偏差を差し引いた値以下の開度または前記閉眼候補群の最大開度に該閉眼候補群の標準偏差を加えた値以上の開度を閉眼閾値として設定する閾値設定手段と、を備えている。
【００１２】
請求項１記載の開閉眼モニタ装置では、撮像手段が撮像した眼を含む顔の画像が画像データとして開度検出手段に出力される。画像データが入力された開度検出手段では、画像データ上における眼に対応する部分を抽出し、該眼に対応する部分の上下の縁部（例えば、濃度変化点の軌跡として抽出される瞼に対応する部分）間の画素数に基づいて前記眼の開度を検出し、閾値設定手段に出力する。
【００１３】
この閾値設定手段では、開度の所定時間の経時変化データから該開度の極小値（開度変化の谷となる部分）を複数抽出し、これらの極小値（開度）を開眼候補群と閉眼候補群とに分離する。さらに、閾値設定手段では、開眼候補群及び閉眼候補群の少なくとも一方の標準偏差を算出する。
【００１４】
さらに、閾値設定手段では、開眼候補群に含まれる複数の極小値（開度）のうち最小開度である極小値から該開眼候補群の標準偏差（ばらつき）を差し引いた値以上の開度、または、閉眼候補群に含まれる複数の極小値のうち最大開度である極小値に該閉眼候補群の標準偏差（ばらつき）を加えた値以上の開度を、閉眼閾値として設定する。
【００１５】
ここで、所定時間の開度の経時変化データから得られる標準偏差は、眼の開度の個人差や該所定時間における環境の影響を反映しているため、この個人差等に対応した精度の良い閉眼閾値が安定して得られる。また、閾値設定に標準偏差を用いることで、顔のわずかな動きの影響（例えば、撮像手段に対する眼の距離変化等）を排除することも可能である。
【００１６】
このように、請求項１記載の開閉眼モニタ装置では、閉眼を判断するための閾値を個人差や環境の影響に依らず精度良く安定して設定することができる。
【００１７】
請求項２記載の発明に係る開閉眼モニタ装置は、請求項１記載の開閉眼モニタ装置において、前記閾値設定手段は、前記極小値を開度の大きさ順に並べ替え、該並べ替え後に隣り合う前記極小値間の開度差が最大となる部分で前記開眼候補群と閉眼候補群とを分離する、ことを特徴としている。
【００１８】
開眼候補群と閉眼候補群とは、それぞれ所定の誤差範囲内に分布しており、これらの間の最小開度差は、開眼候補群または閉眼候補群内における開度差（並べ替え後に隣り合う前記極小値間の開度差）よりも大きい。請求項２記載の開閉眼モニタ装置では、この最小開度差の部分、すなわち並べ替え後に隣り合う前記極小値間の開度差が最大となる部分において、開眼候補群と閉眼候補群とを分離する。換言すれば、上記隣り合う極小値の一方を開眼候補群の最小値とし、他方を閉眼候補群の最大値とする。
【００１９】
これにより、開眼候補群と閉眼候補群とが実際の眼の開閉に対応して分離される確率が高くなり（分離の精度が向上し）、かつ上記標準偏差も実際の開眼または閉眼のばらつきを確実に反映するので、一層精度良く案定した閉眼閾値を得ることができる。
【００２０】
請求項３記載の発明に係る開閉眼モニタ装置は、請求項１または請求項２記載の開閉眼モニタ装置において、車両に搭載され、該車両室内の後方視認用インナミラーに設けられた前記撮像手段が該車両の運転者の顔を撮像する、ことを特徴としている。
【００２１】
請求項３記載の開閉眼モニタ装置では、撮像手段が車両のインナミラーに設けられているため、例えばステアリングホイールやモニタ対象となる乗員の腕等の影響、運転姿勢変化の影響が小さく、該乗員の眼を含む顔の部分を確実に撮像することができる。
【００２２】
【発明の実施の形態】
本発明の実施の形態に係る開閉眼モニタ装置が適用された居眠り検知警報装置１０について、図１乃至図７に基づいて説明する。
【００２３】
図１には、本発明の実施の形態に係る居眠り検知警報装置１０を搭載した車両Ｓの一部が斜視図及びブロック図によって示されている。居眠り検知警報装置１０は、車両Ｓの運転席上における運転者（図示省略）の意識状態を推定し、該運転者が居眠り（意識低下）状態であると判断すると警報を発する構成となっている。
【００２４】
この居眠り検知警報装置１０は、撮像手段としてのＣＣＤカメラ１２を備えている。ＣＣＤカメラ１２は、車両Ｓのルーフ１４の前端部（近傍）の左右方向中央部に設けられた後方視認用のインナミラー１６に一体に組み込まれている。すなわち、インナミラー１６は、カメラ内臓インナミラーであり、全体としてコンパクトに形成されて運転者を含む乗員に違和感を与えないようになっている。これにより、ＣＣＤカメラ１２は運転席（図１におけるステアリングホイール１８が設けられた側の前席）を斜め上方から撮像するようになっている。そして、ＣＣＤカメラ１２の画角は、少なくとも運転者の一方の眼（本実施の形態では左眼）を含む運転者の顔（の一部）が撮像範囲内に収まるように決められている。
【００２５】
また、ＣＣＤカメラ１２は、開度検出手段及び閾値設定手段を含んで構成された居眠り検知コンピュータ２０と電気的に接続されている。これにより、ＣＣＤカメラ１２で撮像された画像が画像データとして居眠り検知コンピュータ２０へ伝送される構成となっている。
【００２６】
この居眠り検知コンピュータ２０は、車両Ｓの適宜位置に配置され、図示しない記憶装置（ＲＯＭ）を有している。このＲＯＭには、瞬き検知プログラム２２（図２参照）が記憶されている。
【００２７】
瞬き検知プログラム２２は、ＣＣＤカメラ１２を制御する（作動させる）と共に画像データから眼に相当する部分を抽出し眼の開度を検出する開度検出プログラム２４と、後述する閉眼閾値Ｃに基づいて開閉眼を判定し該判定結果を意識状態推定プログラム（図示省略）に出力する判定プログラム２６と、閉眼閾値Ｃを設定する閾値設定プログラム２８とを含んで構成されている。
【００２８】
そして、居眠り検知コンピュータ２０は、瞬き検知プログラム２２を実行するＣＰＵ（図示省略）を備えている。なお、瞬き検知プログラム２２の機能については、後述する居眠り検知警報装置１０の作用と共に説明する。
【００２９】
また、居眠り検知警報装置１０は、警報装置３０を備えている。警報装置３０は、車両Ｓの適宜位置に配置され、居眠り検知コンピュータ２０と電気的に接続されている。そして、警報装置３０は、居眠り検知コンピュータ２０の意識状態推定プログラムから作動信号が入力されると、警報音や音声、表示装置への文字等の表示によって運転者に注意を促す（一時的に覚醒させたり、休憩や仮眠の勧告等を行う）ようになっている。
【００３０】
次に本実施の形態の作用について図２に示される瞬き検知プログラム２２のフローチャートを用いて説明する。
【００３１】
上記構成の居眠り検知警報装置１０では、例えば、イグニッションキーをキーシリンダへ挿入し、車両Ｓのアクセサリ（例えば、オーディオやパワーウインド）が作動可能な状態、若しくは、エンジンが始動した状態となると、居眠り検知コンピュータ２０が起動して居眠り検知コンピュータ２０に予め記憶された瞬き検知プログラム２２が起動されると共に居眠り検知コンピュータ２０がＣＣＤカメラ１２を作動させる。
【００３２】
瞬き検知プログラム２２が起動している居眠り検知コンピュータ２０では、先ず、開度検出プログラム２４のステップ３２でＣＣＤカメラ１２に運転者の眼を含む顔画像を撮像させる。ＣＣＤカメラ１２が撮像した画像は画像データとして検知コンピュータ２０に読み込まれ、ステップ３４で該画像データから眼に相当する部分を抽出する。
【００３３】
具体的には、画像データから眼を含む検出領域を切り出し、眼の重心が次のフレームの中央に位置するように検出領域の位置を更新する。なお、検出領域のサイズは、顔位置が急激に変化した場合にも追従可能（検出領域から外れないよう）に眼のサイズに比して大きく設定する。そして、画像データの垂直方向の濃度変化が大きな部位の複数の組み合わせ（濃度変化点の軌跡）を、それぞれ上下の瞼として抽出する。
【００３４】
さらに、抽出した上下の瞼から眼の重心位置を求め、ステップ３６で該重心位置付近における上下瞼間の垂直画素数の平均を算出し、該平均値を運転者の眼の開度（開度値）Ｐとする。以上で、ＣＣＤカメラ１２から伝送された一画像データにおける運転者の眼の開度Ｐが得られ、開度検出プログラム２４が終了する。
【００３５】
次いで、判定プログラム２６のステップ３８で開閉眼を判断するための閉眼閾値Ｃが設定されているか否かが判断される。閉眼閾値Ｃが設定されている場合には、ステップ４０へ進み、該ステップ４０で瞬きの有無が判定される。具体的には、閉眼閾値Ｃに対する開度Ｐの大小に基づいて、開度Ｐが閉眼閾値Ｃよりも大きい（Ｐ＞Ｃの）場合は開眼状態であると、開度Ｐ閉眼閾値Ｃよりも小さい（Ｐ＜Ｃの）場合は閉眼すなわち瞬きであると判定される。
【００３６】
さらに、ステップ４２へ進み、上記判定のエラーの有無が判断される。例えば、開度Ｐと閉眼閾値Ｃとの差が所定のエラー判定値よりも小さい場合に上記開閉眼の判定がエラーとされる。この場合、ステップ４４へ進み、設定されていた閉眼閾値Ｃをクリアする。一方、上記開閉眼の判定にエラーがない場合は、ステップ４６へ進み、開閉眼判定結果が意識状態推定プログラムへ出力される。
【００３７】
意識状態推定プログラムでは、逐次入力される開閉眼判定結果（瞬きの有無）の経時変化等によって、運転者の意識状態を推定する。そして、意識状態推定プログラムは、所定時間内の閉眼時間が増加したり、長い瞬きの比率が増加したりすると、意識低下状態すなわち居眠り状態であると推定し、警報装置３０へ作動信号を出力して該警報装置３０を作動させる。
【００３８】
また、ステップ４４またはステップ４６の実行後、すなわち判定プログラム２６の終了後は、ステップ４８へ進み、故障の有無が判断される。そして、故障と判断されると、例えば該故障を（故障の形態に応じた表示を）インジケータ等に表示させて瞬き検知プログラム２２は終了する。一方、故障がない場合は、ステップ３２へ戻る。
【００３９】
なお、故障の形態としては、例えば、以下に示すものがある。第１に、一定時間画像データ（映像信号）が居眠り検知コンピュータ２０に入力されなかった場合に故障と判断される。これは、主にＣＣＤカメラ自体の故障である。第２に、画像データ上にノイズが多数発生するか、画像データに特徴点が全く得られなかった場合（例えば、ＣＣＤ１２にカバーが取り付けられていた場合等）に、故障と判断される。第３に、居眠り検知コンピュータ２０の入出力ポートが一定時間一定の状態を保った場合（回路が開放若しくは短絡し、または入力ポートの信号変化がなかった場合等）に故障と判断される。これは、主にＣＣＤカメラ１２や警報装置３０と居眠り検知コンピュータ２０との間の断線が原因である。
【００４０】
一方、ステップ３８で閉眼閾値Ｃが設定されていないと判断されると、判定プログラム２６は実行されず、閾値設定プログラム２８のステップ５０へ進む。ステップ５０では、逐次入力されるステップ３６の開度Ｐの経時変化データ（以下、瞬き波形という）における開度Ｐが大きく変化する開度変化の谷を抽出する。すなわち、瞬き波形の時間微分波形から開度変化の谷を検出し、該検出した各谷における図３に○で囲んで示される如き開度Ｐの極小値を抽出する。
【００４１】
また、谷（極小値）の抽出の有無に関わらず、ステップ５２へ進む。ステップ５２では、ステップ５０で得られた極小値を開度Ｐの大きさ順に並べ替える。ステップ５０及びステップ５２は、ステップ５４で所定時間が経過したと判断されるまで、ステップ４８を経由して開度検出プログラム２４を実行しつつ（ステップ３６の開度Ｐを入力しつつ）実行される。
【００４２】
そして、所定時間（本実施の形態では、２０秒）が経過すると、例えば図４に示される如き運転者の瞬き波形Ｂ１（ｔ）の各開度変化の谷における極小値が、図５（Ａ）に示される如く開度Ｐの大きい順に並べ替えられている。この極小値には、開眼状態における極小値及び閉眼状態における極小値の双方が含まれている。なお、図５（Ａ）では、同じ大きさの極小値についてはプロットを省略している。
【００４３】
次いで、ステップ５６へ進み、瞬き波形Ｂ１（ｔ）の極小値を開眼候補群と閉眼候補群とに分離する。具体的には、各極小値を開度Ｐの大きい順に並べ替えた図５（Ａ）において隣り合う極小値間の開度差ΔＰが最大となる部分（順位ｎ及び順位ｎ+１）を見つける。そして、順位１から順位ｎまでの極小値を開眼候補群とし、順位ｎ＋１から順位ｋ（最小開度）までの極小値を閉眼候補群とする。なお、図５（Ａ）に示される例では、ｎ＝８、ｋ＝１４となっている。
【００４４】
開眼候補群と閉眼候補群とが分離されると、ステップ５８へ進み、開眼候補群における開度Ｐ（極小値）のばらつき及び閉眼候補群における開度Ｐ（極小値）のばらつきがそれぞれ（何れか一方でも良い）算出される。すなわち、閉眼候補群の標準偏差σｏ１及び閉眼候補群の標準偏差σｃ１が算出される。なお、瞬き波形Ｂ１（ｔ）における各順位（各大きさの開度Ｐ）の極小値の頻度は、図５（Ｂ）に示されるようになっている。
【００４５】
このときの開眼候補群の平均開度Ｐｏａ１は略１６．４５画素（ｐｉｘｅｌ、以下単位省略）、標準偏差σｏ１は略０．２０となっている。一方、閉眼候補群の平均開度Ｐｃａ１は略１４．５２、標準偏差σｃ１は０．３５となっている。平均開度Ｐｏａ１、Ｐｃａ１は数値として算出しなくても良いが、例えばそれぞれ開眼基準値、閉眼基準値として用いても良い。
【００４６】
開眼候補群及び閉眼候補群のばらつきを算出すると、ステップ６０へ進み、閉眼閾値Ｃを設定する。閉眼閾値Ｃは、順位ｎにおける極小値すなわち開眼候補群のうち最小の開度Ｐから標準偏差σｏを差し引いた値、または、順位ｎ＋１における極小値すなわち閉眼候補群の最大の開度Ｐに標準偏差σｃを加えた値の何れか一方とする。瞬き波形Ｂ１（ｔ）の例における閉眼閾値Ｃ１は、順位８における開度１５．８０から標準偏差σｏ１を差し引いた略１５．６０、または、順位９における開度１５．３０に標準偏差σｃ１を加えた略１５．６５となり、両者はほぼ一致している。
【００４７】
閉眼閾値Ｃが設定されると、ステップ６２へ進み、閉眼閾値Ｃを用いた瞬き検出（ステップ４０の瞬き判定）の信頼性を評価する。具体的には、順位ｎと順位ｎ＋１との間の最大開度差ΔＰと標準偏差σｏまたは標準偏差σｃ（閉眼閾値Ｃの設定に用いた方）との比ｒ（＝σ／ΔＰ）を算出する。この比ｒが大きいほど、開閉眼の区別が確実に為される。このため、ステップ６２で算出した比ｒを所定の値と比較することで、瞬き検出の信頼性を評価することができる。そして、この評価を以下の例のように用いることができる。例えば、比ｒが所定値よりも小さい場合、閉眼閾値Ｃを用いた瞬き判定が不可能であると判断し、故障とする（瞬き検知プログラム２２を終了する）ようにしても良い。また例えば、比ｒが１（所定値）よりも小さくなる場合は、例えばステップ４４へ進んで閉眼閾値Ｃをクリアしても良い。
【００４８】
ステップ６２で信頼性を評価すると、閾値設定プログラム２８が終了し、ステップ４８を経由して開度検出プログラム２４へ戻る。そして、開度検出プログラム２４で得られた開度Ｐが判定プログラム２６において閾値設定プログラム２８で設定された閉眼閾値Ｃと比較され、運転者の瞬きの有無が判定される。
【００４９】
なお、この閉眼閾値Ｃは、ステップ４４でクリアされる（例えば、日射の有無等の周囲環境が変化することで、現実の開眼状態における平均開度が閉眼閾値Ｃ設定時に対し変化し、ステップ４２でエラーと判断される）まで、繰り返し使用される。
【００５０】
また、図６及び図７を用いて別の運転者に対する閉眼閾値Ｃの設定例を説明する。図６は、図４とは別の運転者の所定時間（ステップ５４の期間）経過後における瞬き波形Ｂ２（ｔ）である。瞬き波形Ｂ２（ｔ）は、瞬き波形Ｂ１（ｔ）と比較して開度Ｐの変化幅が大きいが、上記瞬き波形Ｂ１（ｔ）の場合と全く同様に閉眼閾値Ｃを得ることができる。
【００５１】
ステップ５０で瞬き波形Ｂ２（ｔ）の開度変化の谷における極小値を抽出し、ステップ５２で開度Ｐの大きい順に並べ替えると、所定時間の経過後には図７（Ａ）に示すようになる。そして、ステップ５６で、図７（Ａ）において隣り合う極小値間の開度差ΔＰが最大となる部分（順位ｎ及び順位ｎ+１）において、瞬き波形Ｂ２（ｔ）の各極小値を開眼候補群と閉眼候補群とに分離する。なお、図７（Ａ）に示される例では、ｎ＝１０、ｋ＝１４となっている。また、瞬き波形Ｂ２（ｔ）における各順位（各大きさの開度Ｐ）の極小値の頻度は、図７（Ｂ）に示されるようになっている。
【００５２】
次いで、ステップ５８で、閉眼候補群の標準偏差σｏ及び閉眼候補群の標準偏差σｃが算出される。図７（Ｂ）に示される如く、瞬き波形Ｂ２（ｔ）における開眼候補群の平均開度Ｐｏａ２は略１０．３８、標準偏差σｏ２は略０．３９となっている。一方、閉眼候補群の平均開度Ｐｃａ２は略６．５３、標準偏差σｃ２は０．２８となっている。
【００５３】
そして、ステップ６０で閉眼閾値Ｃを設定する。瞬き波形Ｂ２（ｔ）における閉眼閾値Ｃ２は、順位１０における開度８．４０から標準偏差σｏ２を差し引いた略８．０１、または、順位１１における開度７．００に標準偏差σｃ２を加えた略７．２８となる。このように、瞬き波形Ｂ２（ｔ）のように開度Ｐの変化幅が大きく、閉眼候補群が正規分布に略従って分布しないような場合でも、標準偏差σｏ２またはσｃ２を用いて閉眼閾値Ｃ２を得ることができる。
【００５４】
ここで、ある運転者の所定時間における瞬き波形Ｂ（ｔ）から得られる標準偏差σｏまたはσｃは、眼の開度Ｐの個人差や所定時間（ステップ５４の期間）における環境の影響を反映しているため、この個人差や環境変化等に対応した精度の良い閉眼閾値Ｃが安定して得られる。また、閉眼閾値Ｃの設定に標準偏差を用いることで、顔のわずかな動きに伴って生じるＣＣＤカメラ１２に対する眼の距離変化等の影響を排除することも可能である。
【００５５】
従って、瞬き検知プログラム２２（居眠り検知警報装置１０）では、閉眼閾値Ｃを用いることで、個人差等の影響を受けることなく瞬きを検知することができる。すなわち、瞬き波形Ｂ１（ｔ）とＢ２（ｔ）のように開閉眼時におけるそれぞれの平均開度や開度変化幅が個人差等によって大きく異なる場合でも、瞬き検知プログラム２２では、それぞれに適正な閉眼閾値Ｃを設定することで、個人差等の影響を受けることなく瞬きを検知することができる。
【００５６】
さらに、閾値設定プログラム２８では、上記並べ替え後（図５（Ａ）の状態）における最大開度差ΔＰを与える順位ｎと順位ｎ＋１との間で開眼候補群と閉眼候補群とを分離するため、換言すれば、開眼候補群内または閉眼候補群内における開度差よりも開眼と閉眼との間の開度差が通常大きくなることに基づいて開眼候補群と閉眼候補群とを分離しているため、該分離は実際の開閉眼に対応している確率（すなわち、分離の精度）が高い。このため、開眼候補群と閉眼候補群とを実際の眼の開閉に略対応して分離することができ、かつ標準偏差σｏまたはσｃも実際の開眼または閉眼のばらつきを確実に反映するので、一層精度良く案定した閉眼閾値Ｃを得ることができる。
【００５７】
このように、本実施の形態に係る居眠り検知警報装置１０では、閉眼を判断するための閉眼閾値Ｃを、運転者の個人差や環境の影響に依らず精度良く安定して設定することができる。
【００５８】
また、居眠り検知警報装置１０では、ＣＣＤカメラ１２が車両Ｓのインナミラー１６に内蔵して設けられているため、例えばステアリングホイール１８や運転者の腕等の影響、運転姿勢変化の影響によって該運転者の眼を含む顔の部分が撮像できなくなる可能性が低く、該眼を含む顔の部分を確実に撮像することができる。そして、ＣＣＤカメラ１２の撮像した画像データが乗員の眼を捉えなかった時間は、全撮像時間の１．７％とわずかであった。
【００５９】
なお、上記の実施の形態では、本発明に係る開閉眼モニタ装置が車両Ｓの居眠り検知警報装置１０に適用された例を示したが、本発明はこれに限定されず、例えば、プラントのオペレータや航空機・船舶等の操縦者等の意識状態を監視する監視装置等に適用されても良い。また、本発明に係る開閉眼モニタ装置は、警報装置３０と接続されて居眠り検知警報装置１０を構成するのに限定されることはない。
【００６０】
また、上記の実施の形態では、瞬き検知プログラム２２が居眠り検知コンピュータ２０に記憶された構成としたが、本発明はこれに限定されず、例えば、車両Ｓを総合的に制御する運転支援システムの一部を構成するコンピュータに瞬き検知プログラム２２を記憶、実行させても良い。
【００６１】
さらに、上記の実施の形態では、閉眼閾値Ｃは、順位ｎの極小値から標準偏差σｏを差し引いた値または順位ｎ＋1の極小値に標準偏差σｃを加えた値として設定したが、本発明はこれに限定されず、例えば、閉眼閾値Ｃは、順位ｎ＋1の極小値を下回らない範囲で、順位ｎの極小値から標準偏差σｏを差し引いた値よりも小さく設定しても良く、順位ｎの極小値を上回らない範囲で順位ｎ＋1の極小値に標準偏差σｃを加えた値よりも大きく設定しても良い。
【００６２】
さらにまた、上記の実施の形態では、ＣＣＤカメラ１２がインナミラー１６に内蔵された好ましい構成としたが、本発明はこれに限定されず、例えば、ＣＣＤカメラ１２がルーフ１４に設けられたマップランプ装置７０（図１参照）に内蔵されたりインストルメントパネル上等に配置されたりしても良い。また、本発明における撮像手段がＣＣＤカメラ１２に限定されないことは言うまでもない。
【００６３】
【発明の効果】
以上説明したように本発明に係る開閉眼モニタ装置は、閉眼を判断するための閾値を個人差や環境の影響に依らず精度良く安定して設定することができるという優れた効果を有する。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る開閉眼モニタ装置が適用された居眠り検知警報装置の概略構成及びＣＣＤカメラの配置を示す斜視図及びブロック図である。
【図２】本発明の実施の形態に係る開閉眼モニタ装置が適用された居眠り検知警報装置に記憶された瞬き検知プログラムのフローチャートである。
【図３】ステップ５０で抽出する瞬き波形における開度変化の谷を示す線図である。
【図４】ステップ５４の期間経過後の瞬き波形を示す線図である。
【図５】（Ａ）は開眼候補群と閉眼候補群との分離位置を示す線図、（Ｂ）は閉眼閾値を示す線図である。
【図６】図４とは別の運転者におけるステップ５４の期間経過後の瞬き波形を示す線図である。
【図７】（Ａ）は図５（Ａ）とは別の運転者における開眼候補群と閉眼候補群との分離位置を示す線図、（Ｂ）は図５（Ｂ）とは別の運転者における閉眼閾値を示す線図である。
【符号の説明】
１０ 居眠り検知警報装置（開閉眼モニタ装置）
１２ ＣＣＤカメラ（撮像手段）
１６ インナミラー
２０ 居眠り検知コンピュータ（開度検出手段、閾値設定手段）
２２ 瞬き検知プログラム（開度検出手段、閾値設定手段）
２４ 開度検出プログラム（開度検出手段）
２８ 閾値設定プログラム（閾値設定手段）
Ｓ 車両

Claims (3)

1. 少なくとも眼を含む顔の部分を撮像する撮像手段と、
   前記撮像手段にて撮像した画像データにおける前記眼に対応する部分を抽出し、該眼に対応する部分の上下の縁部間の画素数に基づいて前記眼の開度を検出する開度検出手段と、
   前記開度検出手段から出力された前記開度の所定時間の経時変化データから該開度の極小値を複数抽出すると共に、該複数の極小値を開眼候補群と閉眼候補群とに分離し、前記開眼候補群内の最小開度から該開眼候補群の標準偏差を差し引いた値以下の開度または前記閉眼候補群内の最大開度に該閉眼候補群の標準偏差を加えた値以上の開度を閉眼閾値として設定する閾値設定手段と、
   を備えた開閉眼モニタ装置。
2. 前記閾値設定手段は、前記極小値を開度の大きさ順に並べ替え、該並べ替え後に隣り合う前記極小値間の開度差が最大となる部分で前記開眼候補群と閉眼候補群とを分離する、ことを特徴とする請求項１記載の開閉眼モニタ装置。
3. 車両に搭載され、該車両室内の後方視認用インナミラーに設けられた前記撮像手段が該車両の運転者の顔を撮像する、ことを特徴とする請求項１または請求項２記載の開閉眼モニタ装置。

Images