JP3556439B2 - 顔画像処理装置 - Google Patents
顔画像処理装置 Download PDFInfo
- Publication number
- JP3556439B2 JP3556439B2 JP21748497A JP21748497A JP3556439B2 JP 3556439 B2 JP3556439 B2 JP 3556439B2 JP 21748497 A JP21748497 A JP 21748497A JP 21748497 A JP21748497 A JP 21748497A JP 3556439 B2 JP3556439 B2 JP 3556439B2
- Authority
- JP
- Japan
- Prior art keywords
- closing
- open
- opening
- threshold
- close
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は、目の開閉状況から覚醒度低下状態、居眠り状態などを検出する顔画像処理装置に関する。
【０００２】
【従来の技術】
従来より、車両運転者の脇見、居眠り運転等の運転状態を検出するため、運転者の顔を車両室内に設けられたカメラで撮影し、得られた顔画像を処理して顔の特徴点である目を抽出して目の開閉を検出する顔画像の処理装置が開発されている。このような従来例としては、濃度階調画像を２値画像に変換した後、抽出された顔の輪郭の内側での黒色領域より目を抽出し、検出した目領域での連続黒色画素の最大数を用いて目の開閉を判定する発明が特開平６−３２１５４号公報に開示されている。
【０００３】
従来例１．
図１２は特開平６−３２１５４号公報（従来例１）における運転者の状態検出のフローチャートを示したものであり、図１３はこの従来例１における画像より抽出した目領域の２値画像より目の開閉を判定する時の説明図である。
【０００４】
図において、まず画像入力手段２に運転者の顔を撮影したカメラからの濃度階調画像が映像信号として入力され、アナログ／ディジタル変換（Ａ／Ｄ変換）され、このＡ／Ｄ変換されたディジタル階調画像がステップＳ９０でフレームメモリに入力される。
【０００５】
次に、フレームメモリに記憶した画像データが読み出されて、ステップ９１で２値化手段により適当な２値化閾値で２値画像化され、ステップＳ９２により決定される顔の横方向検索開始ラインより顔の左右横方向に白色画素が検索され、ステップＳ９３で連続した白色画素数がカウントされ、ステップＳ９４で前記連続白色画素の最大となるときの白色画素領域の端部より顔の横幅輪郭線が特定される。
【０００６】
さらに、ステップＳ９４により特定された顔の横幅輪郭線より、ステップＳ９５で眼球存在領域の顔の横方向座標が設定され、ステップＳ９６で顔の縦方向の検索開始ラインが設定されて、ステップＳ９７において前記眼球存在領域内で前記検索開始ラインより黒色画素が連続した黒色画素領域を検索し、ステップＳ９８において、検索した黒色画素領域の位置関係や縦方向の黒色画素数に基づき眼球領域を特定する。
【０００７】
次に、瞬目検出手段７は、図１３に示したように、特定された眼球領域内での縦方向黒色画素数の最大値を検索し、この図の場合は検索ライン（ニ）を選択して、このライン上の黒色連続数を目の開閉度として検出する。即ち、開眼時は、前記黒色画素数の最大値が大きく、閉眼時は開眼時と比較して小さくなることを利用しており、この開閉眼を決定する閾値は、装置がスタートしてから５分間の間の黒色画素数の最大値のＭＡＸ値とＭＩＮ値によって決定される。
【０００８】
最後に、ステップ９９の居眠り判定手段において、瞬目検出手段７により検出した目の開閉状態に基づき居眠りを判定する。
【０００９】
従来例２．
また、我々自身は、特願平７−３０９２６０号（特開平９−１４７１２０号公報；従来例２）において、運転者の姿勢の変化に対しても正確に目の開閉を検出する顔画像処理装置を既に出願した。以下、この顔画像処理装置の発明について説明する。
【００１０】
図１４は特願平７−３０９２６０号における一実施の形態であり、この顔画像処理装置は、顔画像を撮影するカメラ１、顔画像を入力する画像入力手段２、目領域を特定する目領域判定手段３、目の開閉状態に応じた評価値を出力する目開閉評価手段４、時間計測手段１２、閾値評価手段１３、閾値設定手段６、目開閉判定手段７から構成されている。
【００１１】
次に、上記顔画像処理装置の動作について説明する。カメラ１で撮影された顔画像は上述した従来例１と同様に、画像入力手段２に入力されてＡ／Ｄ変換され、さらにディジタル階調画像に変換されて、目領域判定手段３により画像中の目領域の特定が成される。次に、特定された目領域中の目画像が目開閉評価手段４により処理されて、目の開閉状態に応じた値が出力される。ここで、目開閉評価手段４は、例えば前記した目領域内の縦方向の黒色の連続数の最大値のようなもので、目の開閉状態によって、値が単調に変化するものであれば、どのような評価手法を用いても良い。
【００１２】
次に、目開閉評価手段４の出力は、時間計測手段１２及び開閉判定手段７に入力される。また、時間計測手段１２には閾値設定手段６より２つの閾値も入力されている。次に、時間計測手段１２の動作について図１５に示したタイムチャートを用いて説明する。図１５において、目開閉評価手段４の出力は、閾値設定手段６より入力される２つの閾値、開側閾値及び閉側閾値と比較され、例えば、図に示したように、開側閾値より開側のグループＡと閉側閾値より開側のグループＢが作られる。時間計測手段１２は図に示すグループＡとグループＢの斜線部分の時間を所定時間毎に積算計測するものである。図１５は閾値設定手段６により設定される２つの閾値が適正な値である状態を示しており、開側閾値が丁度目開閉評価手段４の出力の揺らぎの下端にあり、閉側閾値は開側閾値より適当なオフセットを持って設定されているので、目開状態の目開閉評価手段４の出力の揺らぎに対して十分余裕があり、確実に目閉を検出することができる。
【００１３】
次に、閾値評価手段１３の動作を図１５〜図１７に示すタイムチャートを用いて説明する。図１５は２つの閾値が適正な値の時を示しており、開側閾値が丁度目開閉評価手段４の出力の開状態における揺らぎの下端にかかっており、閉側閾値は開側閾値より適当なオフセットを持って設定されているので、開状態における揺らぎが閾値にかかることが無いことを示している。したがって、図からも分かるように、グループＡの積算時間とグループＢの積算時間を比較すると、
グループＡの積算時間は必ずグループＢの積算時間より短いが、
（グループＡの積算時間 nearly equal グループＢの積算時間）
となる。
【００１４】
図１６及び図１７は、それぞれ閾値設定が開側に行き過ぎているケースと、閉側に行き過ぎているケースを図１５と同様に示したものであり、図１６ではグループＡの積算時間がほとんど０であり、また閉側閾値が目開閉評価手段４の出力の開状態の揺らぎにかかっていることが分かる。このような状態の時にグループＡとグループＢの積算時間を比較すると、
（グループＡの積算時間 ＜＜ グループＢの積算時間）
となる。
【００１５】
一方、図１７では、開側閾値が目開閉評価手段３の出力の開状態の揺らぎの下端よりもさらに閉側にあるため、グループＡの積算時間とグループＢの積算時間の比較を行うと、
（グループＡの積算時間 nearly equal グループＢの積算時間）
となる。従って、グループＡの積算時間とグループＢの積算時間を比較評価することにより、閾値設定手段６の設定した２つの閾値が適正なものであるか、また、どちら側に行き過ぎているかを評価することができる。
【００１６】
最後に、開閉判定手段７は、例えば閾値設定手段６により設定される閉側閾値を用いて開閉判定を行い、具体的には、目開閉評価手段４の出力と閉側閾値との比較を行い、閉側閾値より開側であれば目開、閉側であれば目閉と判定する。
【００１７】
【発明が解決しようとする課題】
しかしながら、このような従来装置においては、所定時間内の目開閉評価手段の出力の揺らぎを基にして、開閉判定閾値の妥当性を評価しつつ前記閾値を制御するとともに、開閉判定を行っているので、閾値制御の応答性がよくない。そのため、所定時間中の運転者の姿勢変化や、運転者にあたる外光の状態が変化した場合、閉眼していないにもかかわらず、誤って閉眼と検出したり、閉眼したにもかかわらず、閉眼を検出できないといった問題点があった。
【００１８】
さらに、運転者がスピードメータ等を見るためにふせ目をした場合、前記開閉評価手段の出力もそれに応じて閉側になるため、実際には閉眼していないにもかかわらず、長時間閉眼したという誤検出を生じやすいといった問題点があった。
【００１９】
また、一度閉眼した後、ふせ目となる場合、短い閉眼時間にもかかわらず、長い閉眼として誤検出するという問題点があった。
【００２０】
加えて、外光の当たり具合により、例えば陰になってあまり良く目画像が抽出されなかったり、また、光が強くあたりすぎて目画像が白飛びかげんになったりすると、誤って閉眼と判定するといった問題点があった。
【００２１】
この発明は上記のような問題点を解消するためになされたものであり、運転者の姿勢変化や外光の状態が変化しても、また、ふせ目の場合も誤検出を抑制し、安定して目の開閉を判定できる顔画像処理装置を得ることを目的としている。
【００２２】
【課題を解決するための手段】
請求項１記載の発明に係る顔画像処理装置は、顔画像を撮像するカメラと、前記カメラからの映像信号に基づいて目画像を抽出する目画像抽出手段と、前記目画像に基づいて目の開閉に応じて連続した開閉評価値を出力する開閉評価手段と、前記開閉評価手段の出力の高周波成分を除去するフィルタ手段と、前記フィルタ手段の出力から目の閉側方向に所定値離して開閉判定閾値を設定する開閉閾値設定手段と、前記開閉判定閾値によりも目の開方向に所定幅だけ離して設定される値と閉眼判定中の前記開閉評価値の最閉値との間に目を閉から開に判定する開判定閾値を設定する開判定閾値設定手段と、前記開閉閾値設定手段の出力を開から閉に判定する閉判定閾値として取り込み、この閉判定閾値および前記開判定閾値設定手段から与えられる開判定閾値に対して前記開閉評価手段の出力を比較することで目の開閉判定を行う開閉判定手段と、を備えたことを特徴とする。
【００２３】
また、請求項２記載の発明に係る顔画像処理装置は、顔画像を撮像するカメラと、前記カメラからの映像信号に基づいて目画像を抽出する目画像抽出手段と、前記目画像に基づいて目の開閉に応じて連続した開閉評価値を出力する開閉評価手段と、前記開閉評価手段の出力の高周波成分を除去するフィルタ手段と、前記フィルタ手段の出力から目の閉側方向に所定値離して開閉判定閾値を設定する開閉閾値設定手段と、前記フィルタ手段の出力から所定値離して設定される開閉判定閾値から目の開側方向に所定値離して少なくとも１つの開閉閾値制御用閾値を設定する開閉閾値制御用閾値設定手段と、前記開閉評価手段の出力が前記開閉閾値制御閾値より閉側になったときに、所定期間にわたって前記開閉閾値設定手段による開閉判定閾値の更新を禁止するとともに、前記所定時間中に前記開閉評価手段の出力が、前記開閉判定閾値より閉側にならない場合は、前記開閉判定閾値の更新禁止を解除して新たに開閉判定閾値を設定する開閉閾値再設定手段と、この開閉閾値再設定手段で設定された開閉判定閾値に対して前記開閉評価手段の出力を比較することで目の開閉判定を行う開閉判定手段と、を備えたことを特徴とする。
【００２４】
請求項３記載の発明に係る顔画像処理装置は、請求項１または請求項２に記載の発明の構成において、前記開閉判定閾値から閉側方向に所定値離してふせ目判定閾値を設定するふせ目閾値設定手段と、前記開閉評価値が前記開閉判定閾値より閉側かつ、前記ふせ目判定閾値より開側の状態が所定時間続いた時に、前記時間中の開閉評価値の時間変化の形状を評価するふせ目判定手段を備え、前記開閉判定手段は、前記ふせ目判定手段によりふせ目が判定された場合は、閉判定しないものであることを特徴とする。
【００２５】
請求項４記載の発明に係る顔画像処理装置は、請求項３記載の発明の構成において、前記ふせ目閾値設定手段は、前記ふせ目判定閾値を設定する所定値を、閉眼を検出したときの開閉判定閾値と、閉眼判定中の時間が所定期間内のときの前記開閉評価手段の開閉評価値の最閉値との離間幅よりも小さくなるように設定するものであることを特徴とする。
【００２６】
請求項５記載の発明に係る顔画像処理装置は、請求項３または請求項４記載の前記開閉判定手段は、前記開閉判定閾値により閉判定された後、前記開閉評価値が前記開閉判定閾値より閉側に所定値離して設定される前記ふせ目判定閾値より開側で、かつ、閉から開に判定する開閉判定閾値より閉側の状態が、所定時間続いた場合は、閉眼が終了したとして開判定をすることを特徴とする。
【００２７】
【発明の実施の形態】
実施の形態１．
この発明の実施の形態１は、カメラにより運転者等の顔を撮影して画像入力手段に顔画像を入力し、目画像抽出手段において前記顔画像に基づいて目画像を抽出し、抽出した目画像より目開閉評価手段で目の開閉に応じた評価値を得、そしてフィルタ手段により開眼の時の平均的な開閉評価値を求め、開閉閾値設定手段により適切な開閉判定閾値を設定し、開閉評価値と開閉判定閾値により目の開閉の検出を行うものである。
【００２８】
図１はこの発明の実施の形態１による顔画像処理装置の構成を示すブロック図である。この顔画像処理装置は、車両運転者等の顔を撮像する車両室内に設けられたカメラ１と、カメラ１の撮像情報である映像信号を受けてＡ／Ｄ変換しディジタル階調画像を出力する画像入力手段２と、画像入力手段２のディジタル階調画像を受けこの画像中において車両運転者の目があると思われる目領域を特定する目画像抽出手段３と、車両運転者の目の開度に応じた検出結果を出力する開度検出手段としての開閉評価手段４と、開閉評価手段４の出力波形の高周波成分を除去するフィルタ手段５と、フィルタ手段５の出力波形から目の閉側に所定値離した波形を出力する開閉判定閾値設定手段６と、開閉評価手段４の出力と開閉判定閾値設定手段６の出力とを比較して目の開又は閉判定を行う目開閉判定手段７とから構成されている。
【００２９】
次に、実施の形態１の顔画像処理装置の動作について説明する。カメラ１で撮影された車両運転者等の顔画像は従来例で説明したものと同様に、画像入力手段２に入力されてＡ／Ｄ変換されることにより、ディジタル階調画像に変換され、さらに目画像抽出手段３により画像中の目画像の特定が成される。次に、特定された目画像が開閉評価手段４により処理されて、目の開閉状態に応じた値が出力される。ここで、開閉評価手段４は、例えば前記した目領域内の縦方向の黒の連続数の最大値のようなもので、目の開閉状態によって、値が単調に変化するものであれば、どのような評価手法を用いても良い。
【００３０】
開閉評価手段４の出力は、図２に示したように、目画像の状態や運転者の姿勢等による値の変化とまばたきによる値の変化が重畳され、点線４ａに示すような波形となる。この点線４ａに示したように、まばたきの場合は、姿勢の変化等と比較して開閉評価値の動きが急になる。
【００３１】
次に、点線４ａの波形をフィルタ手段５に入力して、波形の高周波成分を除去すると、実線５ａに示すように、まばたき以外の開閉評価手段４の出力変化はあまり変化せず、まばたきによる開閉評価値４ｂのような急激な変化が減衰された形の波形が得られる。開閉閾値設定手段６には、フィルタ手段５の出力５ａが入力されており、この出力５ａから閉側に所定値離した波形６ａ（一点鎖線）を開閉判定閾値として出力する。
【００３２】
最後に、開閉判定手段７は、開閉評価手段の出力４ａと開閉判定閾値設定手段６の出力６ａとを比較し、開閉評価手段４の出力４ａの方が開閉判定閾値設定手段６の出力６ａより開側であれば開判定を行い、開閉評価手段４の出力４ａの方が開閉判定閾値設定手段６の出力６ａより閉側であれば閉判定を行う。
【００３３】
以上のように、実施の形態１に示した手順を用いて開閉判定すれば、フィルタ手段５によって減衰されるまばたきのような急な開閉評価手段の変化を持つもののみ、まばたきとして検出できる。
【００３４】
また、被撮影者の個人差や、撮影条件が変化しても常に目の開閉が正しく判定できるように閾値を設定することが可能となり、個人差によらず又長時間安定して目の開閉を検出することができる。
【００３５】
実施の形態２．
実施の形態２は、前記実施の形態１の開閉判定手段において閉眼と判定した後、開判定閾値設定手段により閉眼と判定したときの開閉判定閾値と閉眼判定中の開閉評価値により、次に開判定するときの開判定閾値を設定し、開閉評価値と開判定閾値により目の閉から開を検出するものである。
【００３６】
図３は実施の形態２による顔画像処理装置の構成を示すブロック図であり、実施の形態１の構成に加え、開判定閾値設定手段８が新たに加わるとともに、開閉判定手段７の動作が若干異なるものである。以下この実施の形態について説明する。
【００３７】
カメラ１によって撮像された顔画像は、画像入力手段２に入力され、Ａ／Ｄ変換されることによりディジタル階調画像に変換され、目画像抽出手段３により画像中の目画像の特定がなされ、そして、特定された目画像が開閉評価手段４により処理されて目の開閉状態に応じた値が出力されるのは、実施の形態１と同様である。さらに、開閉評価手段４の出力はフィルタ手段５に入力され、フィルタ手段５の出力が開閉閾値設定手段６に入力されて開閉閾値を設定し、開閉判定手段７により開閉評価手段４の出力と開閉閾値設定手段６の出力により閉判定されることも、実施の形態１と同様である。ただし、一旦開閉判定手段７が閉判定してから、次に開判定する方法が本実施の形態２と実施の形態１が異なる点である。次に、この違いについて説明する。
【００３８】
図４は実施の形態２の動作を記述したタイムチャート図である。図において、実線４ａは開閉評価手段４により出力される開閉評価値を示し、実線６ａは、実施の形態１で説明した通り、開閉評価手段４の出力をフィルタ手段５により高周波成分を除去した後開閉閾値設定手段６により閉側に所定値離して設定される出力波形を示す。
【００３９】
また、図４において、６ｂは開閉閾値設定手段６の出力６ａとフィルタ手段５の出力間の所定値幅、８ａは最初に閉判定した時（時刻７ｂ）の開閉判定閾値６ａに所定値を加えた値、８ｂは閉判定中の開閉評価値の最閉値、８ｃは値８ａと値８ｂ間の開から閉への変化量、８ｄは上記変化量から後述のように演算して求めた開判定閾値、実線７ａは開閉判定手段７の出力、時刻７ｂは開閉判定閾値６ａにより最初に閉判定した時点、時刻７ｃは開閉判定閾値６ａに開判定をする時点（これは実施の形態１の場合と同じ）、時刻７ｄは開判定閾値８ｄにより開判定をする時点を示し、その詳細は下記に説明する。
【００４０】
図４において、開閉評価値４ａが開閉判定閾値６ａより閉側になる時刻７ｂにおいて、実施の形態１と同様に開閉判定手段７は運転者の目の閉判定を行う。このとき、開閾値設定手段８は、閉判定したとき（時刻７ｂ）の開閉判定閾値６ａの値に所定値６ｂを開側に加えた値８ａを記録し、さらに閉判定している間中、最閉値８ｂを更新しながら記録する。ここで、所定値６ｂを開閉判定閾値設定手段６で行われるフィルタ手段５の出力に対応しているものとすれば、値８ａは丁度目を閉じ始めたときの開閉評価値と見なすことができる。さて、値８ｂは閉判定中の最閉値を更新しながら記録しているので、目が閉じ切ったときの値８ｂが求められ、値８ａと値８ｂの間の距離８ｃが目の開から閉への変化量に相当することになる。つぎに、この変化量８ｃの配分において、例えば１／２の所に開判定閾値８ｄを設定すると、これが開判定閾値設定手段８の出力となる。最後に、時刻７ｄにおいて開閉評価値６ａが開判定閾値８ｄより開側になると、開閉判定手段７は開と判定する。その結果、開閉判定手段７の出力７ａの閉判定の幅が実施の形態１の場合の開判定時点７ｃよりも長くなるので、正確な閉眼持続時間が検出できるとともに、目を閉じたときの開閉評価値４ａの変化量８ｃの大小にかかわらず、同じ閉眼持続時間の検出が期待できる。
【００４１】
実施の形態３．
図５は実施の形態３による顔画像処理装置の構成を示すブロック図であり、実施の形態１の構成に加え、開閉閾値制御用閾値設定手段９及び開閉閾値再設定手段１０が新たに加わったものである。
【００４２】
開閉閾値制御用閾値設定手段９は、フィルタ手段５の出力５ａから所定値離して設定される開閉判定閾値６ａから目の開側方向に所定値離した１つの開閉閾値制御用閾値９ａを設定するものである。また、開閉閾値再設定手段１０は、開閉評価手段４の出力４ａが開閉閾値制御閾値９ａよりも閉側になったときに、所定期間９ｅにわたって開閉閾値設定手段６による開閉判定閾値６ａの更新を禁止するとともに、上記の所定時間中に開閉評価手段４ａの出力が開閉判定閾値６ａよりも閉側にならない場合は、開閉判定閾値６ａの更新禁止を解除して新たに開閉判定閾値６ａを設定するものである。
【００４３】
図５に示すように、実施の形態３では実施の形態１を基に構成したものであるが、実施の形態２に適応してもなんら問題はない。以下この実施の形態３について図５を用いて説明する。
【００４４】
実施の形態１と同様にして、カメラ１によって撮像された顔画像は、画像入力手段２、目画像抽出手段３、開閉評価手段４によって、その顔画像における目画像が抽出され、目の開閉状態に応じた開閉評価値が出力される。そして、開閉評価手段４の出力はフィルタ手段５に入力されて高周波成分が除去され、フィルタ手段５の出力が開閉閾値設定手段６に入力されて、実施の形態１と同様に、フィルタ手段５の出力から目の閉側方向に所定値離した開閉判定閾値６ａが設定される。
【００４５】
開閉閾値設定手段６の出力６ａは、開閉閾値制御用閾値設定手段９に入力され、当該手段９から出力される開閉閾値制御用閾値９ａが開閉閾値再設定手段１０に入力される。開閉閾値再設定手段１０には、さらに開閉閾値設定手段６からの出力６ａと、開閉評価手段４からの出力４ａ、および、開閉判定手段７からの開閉信号７ａがそれぞれ入力されており、これらの入力４ａ，６ａ，７ａ，９ａから開閉判定閾値１０ａを開閉判定手段７に出力する。開閉判定手段７では、開閉評価手段４の出力４ａと、開閉閾値再設定手段１０の出力１０ａにより開閉が判定される。
【００４６】
図６は実施の形態３の動作を記述したタイムチャート図であり、実線４ａは開閉評価手段４の出力、点線６ａは開閉閾値設定手段６の出力であり、それぞれ実施の形態１，２で説明したものと同様である。実線７ａは開閉判定手段７の出力を示し、太実線９ａは本実施の形態の開閉閾値制御用閾値設定手段９の出力を、太点線１０ａは開閉閾値再設定手段１０の出力を示す。なお、この図では開閉評価手段４の出力４ａは一度も開閉閾値設定手段６の出力である開閉判定閾値６ａより閉側になることはなく、上記の実施の形態１，２ ではまばたきを検出できないような状態を示している。
【００４７】
開閉閾値制御用閾値設定手段９は、開閉閾値設定手段６の出力６ａに所定値９ｂを加えた値９ａを出力しており、図では、太実線９ａのような閾値（開閉閾値制御用閾値）を出力する。ここで、この所定値９ｂは、フィルタ手段５の出力から開閉閾値６ａを生成する際に用いる所定値より小さく設定されている。さて、時刻９ｃの時点で、開閉評価値４ａが開閉閾値制御用閾値９ａより閉側になると開閉閾値再設定手段１０は、開閉閾値設定手段６の出力６ａをそのまま出力するのをやめ、開閉評価値４ａが開閉閾値制御用閾値９ａより閉側の間、少なくとも時間９ｅの間、時刻９ｃにおける開閉判定閾値６ａの値を保持し、太点線１０ａのような開閉判定閾値を開閉判定手段７に出力する。ここで、開閉判定手段７は、この時間９ｅ内に、開閉評価値４ａが開閉閾値再設定手段１０の出力１０ａより閉側になった時刻７ｅで閉判定を行う。このようにして、開閉判定手段７が閉判定を行うと、閉判定を行っている間中、開閉閾値再設定手段１０はその時の開閉判定閾値１０ａを保持し、再度開閉評価値４ａが開閉判定閾値１０ａより開側になる時刻７ｆまで開閉判定閾値１０ａを保持する。開閉判定手段７により開判定となると、開閉閾値再設定手段１０は、開閉閾値設定手段６の出力６ａをそのまま出力する。
【００４８】
一方、図の時刻９ｆは、例えば運転者の姿勢が変化した場合のように開閉評価値４ａがステップ状に閉側にシフトしたことを想定している。このときも時刻９ｆにおいて開閉評価値４ａが開閉閾値制御用閾値９ａより閉側になり、開閉閾値再設定手段１０の出力１０ａも保持状態になっているが、所定時間内（９ｆから９ｇの期間）にこの保持された開閉閾値１０ａより開閉評価値４ａが閉側にならないので、開閉判定手段７は閉判定を行わない。さらに、所定時間がたって時刻９ｇになると、保持は解除され、開閉閾値再設定手段１０の出力は開閉閾値設定手段６の出力６ａと同じになる。
【００４９】
なお、上記の説明では、開閉判定手段７が閉眼から開眼に判定する動作について実施の形態１に近い方法を提示したが、本実施の形態の目的は開眼から閉眼を判定する方法を示しており、閉眼から開眼を判定する方法を規定しているわけではなく、当然、閉眼から開眼への判定方法についても、実施の形態２に示した方法であっても何ら差支えはない。また、下記の実施の形態４においても、閉眼から開眼への判定方法を説明するが、それと組合わせても問題はない。
【００５０】
実施の形態４．
この実施の形態は、図７に示すように実施の形態２に実施の形態３による閉判定の方法と、ふせ目閾値設定手段１１を加えたものである。以下この実施の形態について図７を用いて説明する。
【００５１】
実施の形態４において、ふせ目閾値設定手段１１は、開閉閾値再設定手段１０により設定された開閉判定閾値１０ａを基準として、目の閉方向にふせ目判定閾値１１ａを設定する。また、開閉判定手段７は、開閉評価値４ａが開閉判定閾値１０ａより閉側、ふせ目判定閾値１１ａより開側の状態が所定時間継続したとき、その間の開閉評価値４ａが例えば値の変化が少ないなどの特徴を持っていれば閉眼とせずにふせ目であると判定して開判定を行う。
【００５２】
また、ふせ目判定閾値設定手段１１は、閉眼判定中の時間が所定時間範囲の時の開閉評価手段の最閉値と、この閉眼を判定したときの開閉判定閾値から演算して、個人毎に適切なふせ目判定閾値を設定する。
【００５３】
更に、開閉判定手段７は、開閉評価値４ａと開閉判定閾値１０ａとより閉判定された後、開閉評価値４ａがふせ目判定閾値１１ａより開側で、開閉判定閾値１０より開側の状態が所定時間持続した場合、一度閉眼した後ふせ目状態になったと判断し、開閉評価値４ａがふせ目判定閾値１１ａより開側になった時点で閉眼判定を終了し開眼判定とする。
【００５４】
次に、実施の形態４の動作について説明する。カメラ１によって撮像された顔画像は、画像入力手段２、目画像抽出手段３、開閉評価手段４によって、その顔画像における目の開閉評価値が出力されるのは、実施の形態１と同様である。さらに、開閉評価手段４の出力がフィルタ手段５に入力され、フィルタ手段５の出力が開閉閾値設定手段６に入力されて、実施の形態１と同様にして開閉判定閾値６ａが設定される。開閉閾値設定手段６の出力６ａは、開閉閾値制御用閾値設定手段９に入力され、開閉閾値制御用閾値９ａが開閉閾値再設定手段１０に入力される。開閉閾値再設定手段１０には、さらに開閉閾値設定手段６からの出力６ａと、開閉評価手段４からの出力４ａ、および、開閉判定手段７からの開閉信号７ａが入力されており、これらの入力から開閉判定閾値１０ａを開閉判定手段７に出力する。ふせ目閾値設定手段１１には、開閉閾値再設定手段１０の出力１０ａと開閉判定手段７からの出力７ａとが入力されており、ふせ目閾値設定手段１１の出力１１ａは開閉判定手段７に入力される。開閉判定手段７は、開閉評価手段４の出力、開閉閾値再設定手段１０の出力４ａ、ふせ目閾値設定手段１１の出力１１ａ、および開判定閾値設定手段８の出力８ｄがそれぞれ入力され、所定の手順に従って開閉眼を判定する。
【００５５】
図８（ａ）は、目の開度と開閉評価値との関係を示しており、目が開いているほど大きな値を示す例を示している。次に、図８（ｂ）は、ドライバが早いまばたきをしたときの目画像の様子と、それにつれて変化する開閉評価手段４の出力の変化の様子を模式的に示したものである。同様に、図８（ｃ）は、ドライバがスピードメータを見るなどしてふせ目を長時間行った時の様子、図８（ｄ）は、例えば眠たくなった時などに長時間目を閉じた時の様子を示したものである。
【００５６】
図８（ｂ）〜（ｄ）から分かるように、それぞれの特長は、図８（ｂ）の場合は、完全に目が閉じ切らず途中から開眼したり、開閉評価手段４の出力のノイズ取りの目的でフィルタを用いたりすることにより、開眼時の値と、再閉値の変化量は少なく、かつ変化期間は比較的短くなる。次に、図８（ｃ）の場合は、メータ等を見ているので上瞼が落ち、目を半開き状態で長時間その状態を保つため、やはり図８（ｂ）と同様に開眼時と最閉値の変化量は少ないが、閉値の状態が長くなる。一方、眠たくなるなどして、長時間に渡って閉眼する図８（ｄ）の場合は、完全に目を閉じきるので最閉値は、図８（ｂ）及び（ｃ）よりも開閉評価値が小さく、かつ、最閉値の状態が長くなる。ここで、開閉閾値再設定手段１０の出力が図８（ｂ）に示したような早いまばたきも検出できるように設定すると、図８（ｃ）の長時間のふせ目を長時間の閉眼として誤まって検出してしまう。逆に、図８（ｃ）のふせ目を検出しないように設定すると、図８（ａ）の早いまばたきが検出できなくなる。このため、この実施の形態４では、一定の時間幅１１ｂを設定することで両者を区別できるようにしている。
【００５７】
次に、本実施の形態の動作を図９に示すタイムチャートを用いて説明する。図９は図８と同様に、図（ａ）は早いまばたきの場合、図（ｂ）はふせ目の場合、図（ｃ）は長時間閉眼の場合の動作を示したものである。
【００５８】
図９（ａ）において、実線４ａは開閉評価手段４の出力、点線１０ａは開閉閾値再設定手段１０の出力、点線１１ａはふせ目閾値設定手段１１により開閉閾値４ａから閉方向に所定値だけ離して設定されたふせ目閾値である。
【００５９】
開閉評価値４ａは時刻７ｅにおいて、開閉閾値１０ａより閉側になっているが、本実施の形態では、まだ閉判定を行わない。次に、最閉値を見るとふせ目閾値１１ａより下回ることなく、開状態に戻っている模様を示している。このような波形が開閉判定手段７に入力されると、例えば図９（ａ）の実線４ａで示したような早いまばたきでは、所定時間１１ｂ中に開閉判定閾値１０ａより閉側になってから再び開側になるので、これはまばたきであると判定し、時刻７ｅまでさかのぼって閉判定を行い、実線７ａで示したようなまばたき検出を検出する。一方、開閉評価値が波線４ａ＊で示すように所定時間１１ｂ中に開閉判定閾値１０ａより開側にいかない場合は、所定時間中に目の開閉動作が止ることがないので、例えば破線４ａ＊の微分値を積算する等してその動きの変化量を計測すると大きくなるので、この積算量が所定値を超えた場合、図（ａ）に示したように時刻７ｅまでさかのぼって閉判定を開始する。さらに、所定時間１１ｂが終了し、開閉評価値４ａ＊が開閉判定閾値１０ａより開側になった時点で開判定とする。
【００６０】
次に、図９（ｂ）に示すふせ目の時の動作について説明する。ふせ目の場合も先に説明した早いまばたきと同様に所定時間１１ｂ中に開閉評価値４ａが開閉閾値１０ａより開側になることはない。しかし、ふせ目の場合、目が半開きの状態が持続するため、開閉評価値４ａの変化率は少ない。従って、早いまばたきの場合に説明したように動きの変化量を計測して積算するとあまり大きくないので、積算値は所定値を超えることはない。よって、ふせ目と早いまばたきとを区別することができ、ふせ目と判定した場合は、所定時間１１ｂが終った時点で、開閉閾値１０ａを開閉評価値４ａより閉側に設定することにより、以降まばたきが生ずるまで、開閉評価値４ａが開閉閾値１０ａより閉側になることはなく、誤って閉眼と誤検出する危険性は減少する。
【００６１】
次に、図９（ｃ）に示す長いまばたきの時の動作について説明する。長いまばたきの場合は、開閉評価値４ａが開閉閾値１０ａより閉側になり、さらに所定時間１１ｂ中にふせ目閾値１１ａよりも閉側になる。すなわち、完全に目を閉じたことが検出できるため、時刻７ｅまでさかのぼって閉判定を行い、開閉評価値４ａが開閉閾値１０ａより開側になるまで閉判定を持続する。
【００６２】
また、図１０には、まばたきをした直後にふせ目をした時のタイムチャートを示したものである。図に示したように様に、開閉評価値４ａは、時刻７ｅの時点で開閉閾値１０ａより閉側になり、さらに全閉した時にはふせ目閾値１１ａよりも閉側にくるので、上記の説明のように必ず閉判定がなされる。次に、開眼時は以上の例とは異なり、目を完全には開けずにふせ目状態になっている。ふせ目の場合は、前述したように、開閉評価値４ａは開閉閾値１０ａより閉側なので、前述した方法ではふせ目をしている間中、閉判定が続いてしまい、誤検出となる。しかし、本実施の形態では、ふせ目閾値１１ａより開側になった時点から所定時間１１ｃの間、ふせ目閾値１１ａより開側、開閉閾値１０ａより閉側の状態が続いた場合、上記で説明したふせ目判定と同様にすることにより、ふせ目であるかを判定し、ふせ目であると判定した場合は、図１０に示したように、時刻７ｆの時点で開判定とする。
【００６３】
なお、上記実施の形態の説明では、開閉判定手段７の判定出力７ａを、開閉閾値１０ａにより開から閉、閉から開への判定の両方に使用しているが、別の実施の形態でも説明したように別の閾値を用いて判定しても差し支えはない。
【００６４】
また、個人によって目の開時の開閉評価値と、全閉時の開閉評価値との差に個人差が生ずることは容易に推測できる。次にこの個人差を吸収する方法を説明する。図１１は、まばたきの長さと、開閉評価値の変化を記述したものであり、まばたきの長さが時間７ｈの場合の開閉評価値の開時と閉眼判定中の最閉値との差が４ｈであることを示しており、さらに閉眼までの時間が７ｉ，７ｊ，７ｋと長くなるとそれにつれて，４ｊ，４ｋと大きくなるとともに、最値４ｋで平衡に達する。従って、この図では時間７ｊ以上のまばたきの時の変化量４ｋが、この個人の開時と全閉時の開閉評価手段４の出力の変化量に相当することになる。従って、この値４ｋよりふせ目判定閾値１１ａが下回らないように設定すれば、上述したふせ目判定閾値１１ａを全閉時の開閉評価手段４の出力より閉側に設定してしまうことを防ぐことができ、個人ごとに最適なふせ目判定閾値１１ａを設定することができる。
【００６５】
【発明の効果】
請求項１記載の発明によれば、入力された顔画像から目画像を抽出し、開閉評価手段によって目画像より目の開閉を評価し、この開閉評価値をフィルタ手段に入力して急峻な評価値の変化を除き、続いて、開閉閾値設定手段によってフィルタ手段の出力より一定幅だけ閉側に開閉判定閾値を設定し、また、この開閉判定閾値によりも目の開方向に所定幅だけ離して設定される値と閉眼判定中の開閉評価値の最閉値との間に開判定閾値を設定し、前記開閉評価手段の出力を上記の両閾値と比較することで被撮影者の目の開閉を検出するように構成したので、被撮影者の個人差や、撮影条件が変化しても常に目の開閉が正しく判定できるような適切な閾値を設定することが可能となり、個人差によらず、また長時間安定して目の開閉を検出することができる。しかも、より正確に目の開閉を検出できるとともに、開閉時の開閉評価値の変化量が異なっていても同じ形状であれば、同じ長さのまばたきとして検出ができる。
【００６６】
請求項２記載の発明によれば、開閉閾値から開側に所定値離して開閉閾値制御用閾値を設定し、開閉評価値が前期開閉閾値制御用閾値より閉側、開閉閾値より開側の時、所定時間前期開閉閾値の更新を禁止するように構成したので、開閉評価値の変化量が少ない早いまばたきも検出できる。さらに、所定時間内に開閉閾値より閉側にならなければ開閉閾値の更新禁止を解除し通常に戻すので、単なる姿勢の変化を誤って閉眼として検出することもない。
【００６７】
請求項３記載の発明によれば、開閉閾値から所定値閉側に離してふせ目閾値を設定し、開閉評価値が前期開閉閾値より閉側、前期ふせ目閾値より開側の状態が所定時間続き、その所定時間中の開閉評価値の変化量が少なければふせ目であると判定して閉眼判定を行わず、変化量が大きければまばたきであると判定して、開閉評価値が開閉閾値より閉側になった時点から閉判定をするように構成したので、まばたきとふせ目とを区別して、正確にまばたきを検出できる。
【００６８】
請求項４記載の発明によれば、所定時間の長さを持つ開閉評価値の最閉値と、そのまばたきの閉眼を判定したときの開閉閾値とより、その個人のまばたきの時の評価値の変化量を検出し、この変化量よりふせ目閾値がその個人の最閉値より閉側にならないように設定できるように構成したので、個人毎に最適なふせ目閾値を設定することができる。
【００６９】
請求項５記載の発明によれば、閉眼と判定した後、開閉評価値がふせ目閾値より開側、開閉閾値より閉側の状態が所定時間続くとともに、その所定時間中の開閉評価値の変化が少なければ、まばたきの後ふせ目をしたと判定し、開閉評価値がふせ目閾値より開側になった時点で開判定をするように構成したので、まばたきの後ふせ目をした場合でも、長いまばたきとして検出することなく、正確なまばたきの長さを検出することができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１の顔画像処理装置の構成を示すブロック図である。
【図２】実施の形態１の動作を示すタイムチャート図である。
【図３】実施の形態２の顔画像処理装置の構成を示すブロック図である。
【図４】実施の形態２の動作を示すタイムチャート図である。
【図５】実施の形態３の顔画像処理装置の構成を示すブロック図である。
【図６】実施の形態３の動作を示すタイムチャート図である。
【図７】実施の形態４の顔画像処理装置の構成を示すブロック図である。
【図８】目の開閉の様子と、目の開閉評価値の関係を示した図である。
【図９】実施の形態４の動作を示すタイムチャート図である。
【図１０】実施の形態４の動作を示すもう一つのタイムチャート図である。
【図１１】まばたきの長さと開閉評価値の開眼時と閉眼時との差の関係を示す図である。
【図１２】従来例１の顔画像処理装置の動作フロー図である。
【図１３】従来例１の顔画像処理装置の目開閉判定説明図である。
【図１４】従来例２の顔画像処理装置の状概略構成図である。
【図１５】従来例２において、目の開閉閾値が正しく設定されているときの動作を示すタイムチャート図である。
【図１６】従来例２において、目の開閉閾値が開側にずれて設定されているときの動作を示すタイムチャート図である。
【図１７】従来例２において、目の開閉閾値が閉側にずれて設定されているときの動作を示すタイムチャート図である。
【符号の説明】
１ カメラ、２ 画像入力手段、３ 目画像抽出手段、４ 開閉評価手段、５ フィルタ手段、６ 開閉閾値設定手段、７ 開閉判定手段、８ 開判定閾値設定手段、９ 開閉閾値制御用閾値設定手段、１０ 開閉閾値再設定手段、１１ ふせ目閾値設定手段。
【発明の属する技術分野】
この発明は、目の開閉状況から覚醒度低下状態、居眠り状態などを検出する顔画像処理装置に関する。
【０００２】
【従来の技術】
従来より、車両運転者の脇見、居眠り運転等の運転状態を検出するため、運転者の顔を車両室内に設けられたカメラで撮影し、得られた顔画像を処理して顔の特徴点である目を抽出して目の開閉を検出する顔画像の処理装置が開発されている。このような従来例としては、濃度階調画像を２値画像に変換した後、抽出された顔の輪郭の内側での黒色領域より目を抽出し、検出した目領域での連続黒色画素の最大数を用いて目の開閉を判定する発明が特開平６−３２１５４号公報に開示されている。
【０００３】
従来例１．
図１２は特開平６−３２１５４号公報（従来例１）における運転者の状態検出のフローチャートを示したものであり、図１３はこの従来例１における画像より抽出した目領域の２値画像より目の開閉を判定する時の説明図である。
【０００４】
図において、まず画像入力手段２に運転者の顔を撮影したカメラからの濃度階調画像が映像信号として入力され、アナログ／ディジタル変換（Ａ／Ｄ変換）され、このＡ／Ｄ変換されたディジタル階調画像がステップＳ９０でフレームメモリに入力される。
【０００５】
次に、フレームメモリに記憶した画像データが読み出されて、ステップ９１で２値化手段により適当な２値化閾値で２値画像化され、ステップＳ９２により決定される顔の横方向検索開始ラインより顔の左右横方向に白色画素が検索され、ステップＳ９３で連続した白色画素数がカウントされ、ステップＳ９４で前記連続白色画素の最大となるときの白色画素領域の端部より顔の横幅輪郭線が特定される。
【０００６】
さらに、ステップＳ９４により特定された顔の横幅輪郭線より、ステップＳ９５で眼球存在領域の顔の横方向座標が設定され、ステップＳ９６で顔の縦方向の検索開始ラインが設定されて、ステップＳ９７において前記眼球存在領域内で前記検索開始ラインより黒色画素が連続した黒色画素領域を検索し、ステップＳ９８において、検索した黒色画素領域の位置関係や縦方向の黒色画素数に基づき眼球領域を特定する。
【０００７】
次に、瞬目検出手段７は、図１３に示したように、特定された眼球領域内での縦方向黒色画素数の最大値を検索し、この図の場合は検索ライン（ニ）を選択して、このライン上の黒色連続数を目の開閉度として検出する。即ち、開眼時は、前記黒色画素数の最大値が大きく、閉眼時は開眼時と比較して小さくなることを利用しており、この開閉眼を決定する閾値は、装置がスタートしてから５分間の間の黒色画素数の最大値のＭＡＸ値とＭＩＮ値によって決定される。
【０００８】
最後に、ステップ９９の居眠り判定手段において、瞬目検出手段７により検出した目の開閉状態に基づき居眠りを判定する。
【０００９】
従来例２．
また、我々自身は、特願平７−３０９２６０号（特開平９−１４７１２０号公報；従来例２）において、運転者の姿勢の変化に対しても正確に目の開閉を検出する顔画像処理装置を既に出願した。以下、この顔画像処理装置の発明について説明する。
【００１０】
図１４は特願平７−３０９２６０号における一実施の形態であり、この顔画像処理装置は、顔画像を撮影するカメラ１、顔画像を入力する画像入力手段２、目領域を特定する目領域判定手段３、目の開閉状態に応じた評価値を出力する目開閉評価手段４、時間計測手段１２、閾値評価手段１３、閾値設定手段６、目開閉判定手段７から構成されている。
【００１１】
次に、上記顔画像処理装置の動作について説明する。カメラ１で撮影された顔画像は上述した従来例１と同様に、画像入力手段２に入力されてＡ／Ｄ変換され、さらにディジタル階調画像に変換されて、目領域判定手段３により画像中の目領域の特定が成される。次に、特定された目領域中の目画像が目開閉評価手段４により処理されて、目の開閉状態に応じた値が出力される。ここで、目開閉評価手段４は、例えば前記した目領域内の縦方向の黒色の連続数の最大値のようなもので、目の開閉状態によって、値が単調に変化するものであれば、どのような評価手法を用いても良い。
【００１２】
次に、目開閉評価手段４の出力は、時間計測手段１２及び開閉判定手段７に入力される。また、時間計測手段１２には閾値設定手段６より２つの閾値も入力されている。次に、時間計測手段１２の動作について図１５に示したタイムチャートを用いて説明する。図１５において、目開閉評価手段４の出力は、閾値設定手段６より入力される２つの閾値、開側閾値及び閉側閾値と比較され、例えば、図に示したように、開側閾値より開側のグループＡと閉側閾値より開側のグループＢが作られる。時間計測手段１２は図に示すグループＡとグループＢの斜線部分の時間を所定時間毎に積算計測するものである。図１５は閾値設定手段６により設定される２つの閾値が適正な値である状態を示しており、開側閾値が丁度目開閉評価手段４の出力の揺らぎの下端にあり、閉側閾値は開側閾値より適当なオフセットを持って設定されているので、目開状態の目開閉評価手段４の出力の揺らぎに対して十分余裕があり、確実に目閉を検出することができる。
【００１３】
次に、閾値評価手段１３の動作を図１５〜図１７に示すタイムチャートを用いて説明する。図１５は２つの閾値が適正な値の時を示しており、開側閾値が丁度目開閉評価手段４の出力の開状態における揺らぎの下端にかかっており、閉側閾値は開側閾値より適当なオフセットを持って設定されているので、開状態における揺らぎが閾値にかかることが無いことを示している。したがって、図からも分かるように、グループＡの積算時間とグループＢの積算時間を比較すると、
グループＡの積算時間は必ずグループＢの積算時間より短いが、
（グループＡの積算時間 nearly equal グループＢの積算時間）
となる。
【００１４】
図１６及び図１７は、それぞれ閾値設定が開側に行き過ぎているケースと、閉側に行き過ぎているケースを図１５と同様に示したものであり、図１６ではグループＡの積算時間がほとんど０であり、また閉側閾値が目開閉評価手段４の出力の開状態の揺らぎにかかっていることが分かる。このような状態の時にグループＡとグループＢの積算時間を比較すると、
（グループＡの積算時間 ＜＜ グループＢの積算時間）
となる。
【００１５】
一方、図１７では、開側閾値が目開閉評価手段３の出力の開状態の揺らぎの下端よりもさらに閉側にあるため、グループＡの積算時間とグループＢの積算時間の比較を行うと、
（グループＡの積算時間 nearly equal グループＢの積算時間）
となる。従って、グループＡの積算時間とグループＢの積算時間を比較評価することにより、閾値設定手段６の設定した２つの閾値が適正なものであるか、また、どちら側に行き過ぎているかを評価することができる。
【００１６】
最後に、開閉判定手段７は、例えば閾値設定手段６により設定される閉側閾値を用いて開閉判定を行い、具体的には、目開閉評価手段４の出力と閉側閾値との比較を行い、閉側閾値より開側であれば目開、閉側であれば目閉と判定する。
【００１７】
【発明が解決しようとする課題】
しかしながら、このような従来装置においては、所定時間内の目開閉評価手段の出力の揺らぎを基にして、開閉判定閾値の妥当性を評価しつつ前記閾値を制御するとともに、開閉判定を行っているので、閾値制御の応答性がよくない。そのため、所定時間中の運転者の姿勢変化や、運転者にあたる外光の状態が変化した場合、閉眼していないにもかかわらず、誤って閉眼と検出したり、閉眼したにもかかわらず、閉眼を検出できないといった問題点があった。
【００１８】
さらに、運転者がスピードメータ等を見るためにふせ目をした場合、前記開閉評価手段の出力もそれに応じて閉側になるため、実際には閉眼していないにもかかわらず、長時間閉眼したという誤検出を生じやすいといった問題点があった。
【００１９】
また、一度閉眼した後、ふせ目となる場合、短い閉眼時間にもかかわらず、長い閉眼として誤検出するという問題点があった。
【００２０】
加えて、外光の当たり具合により、例えば陰になってあまり良く目画像が抽出されなかったり、また、光が強くあたりすぎて目画像が白飛びかげんになったりすると、誤って閉眼と判定するといった問題点があった。
【００２１】
この発明は上記のような問題点を解消するためになされたものであり、運転者の姿勢変化や外光の状態が変化しても、また、ふせ目の場合も誤検出を抑制し、安定して目の開閉を判定できる顔画像処理装置を得ることを目的としている。
【００２２】
【課題を解決するための手段】
請求項１記載の発明に係る顔画像処理装置は、顔画像を撮像するカメラと、前記カメラからの映像信号に基づいて目画像を抽出する目画像抽出手段と、前記目画像に基づいて目の開閉に応じて連続した開閉評価値を出力する開閉評価手段と、前記開閉評価手段の出力の高周波成分を除去するフィルタ手段と、前記フィルタ手段の出力から目の閉側方向に所定値離して開閉判定閾値を設定する開閉閾値設定手段と、前記開閉判定閾値によりも目の開方向に所定幅だけ離して設定される値と閉眼判定中の前記開閉評価値の最閉値との間に目を閉から開に判定する開判定閾値を設定する開判定閾値設定手段と、前記開閉閾値設定手段の出力を開から閉に判定する閉判定閾値として取り込み、この閉判定閾値および前記開判定閾値設定手段から与えられる開判定閾値に対して前記開閉評価手段の出力を比較することで目の開閉判定を行う開閉判定手段と、を備えたことを特徴とする。
【００２３】
また、請求項２記載の発明に係る顔画像処理装置は、顔画像を撮像するカメラと、前記カメラからの映像信号に基づいて目画像を抽出する目画像抽出手段と、前記目画像に基づいて目の開閉に応じて連続した開閉評価値を出力する開閉評価手段と、前記開閉評価手段の出力の高周波成分を除去するフィルタ手段と、前記フィルタ手段の出力から目の閉側方向に所定値離して開閉判定閾値を設定する開閉閾値設定手段と、前記フィルタ手段の出力から所定値離して設定される開閉判定閾値から目の開側方向に所定値離して少なくとも１つの開閉閾値制御用閾値を設定する開閉閾値制御用閾値設定手段と、前記開閉評価手段の出力が前記開閉閾値制御閾値より閉側になったときに、所定期間にわたって前記開閉閾値設定手段による開閉判定閾値の更新を禁止するとともに、前記所定時間中に前記開閉評価手段の出力が、前記開閉判定閾値より閉側にならない場合は、前記開閉判定閾値の更新禁止を解除して新たに開閉判定閾値を設定する開閉閾値再設定手段と、この開閉閾値再設定手段で設定された開閉判定閾値に対して前記開閉評価手段の出力を比較することで目の開閉判定を行う開閉判定手段と、を備えたことを特徴とする。
【００２４】
請求項３記載の発明に係る顔画像処理装置は、請求項１または請求項２に記載の発明の構成において、前記開閉判定閾値から閉側方向に所定値離してふせ目判定閾値を設定するふせ目閾値設定手段と、前記開閉評価値が前記開閉判定閾値より閉側かつ、前記ふせ目判定閾値より開側の状態が所定時間続いた時に、前記時間中の開閉評価値の時間変化の形状を評価するふせ目判定手段を備え、前記開閉判定手段は、前記ふせ目判定手段によりふせ目が判定された場合は、閉判定しないものであることを特徴とする。
【００２５】
請求項４記載の発明に係る顔画像処理装置は、請求項３記載の発明の構成において、前記ふせ目閾値設定手段は、前記ふせ目判定閾値を設定する所定値を、閉眼を検出したときの開閉判定閾値と、閉眼判定中の時間が所定期間内のときの前記開閉評価手段の開閉評価値の最閉値との離間幅よりも小さくなるように設定するものであることを特徴とする。
【００２６】
請求項５記載の発明に係る顔画像処理装置は、請求項３または請求項４記載の前記開閉判定手段は、前記開閉判定閾値により閉判定された後、前記開閉評価値が前記開閉判定閾値より閉側に所定値離して設定される前記ふせ目判定閾値より開側で、かつ、閉から開に判定する開閉判定閾値より閉側の状態が、所定時間続いた場合は、閉眼が終了したとして開判定をすることを特徴とする。
【００２７】
【発明の実施の形態】
実施の形態１．
この発明の実施の形態１は、カメラにより運転者等の顔を撮影して画像入力手段に顔画像を入力し、目画像抽出手段において前記顔画像に基づいて目画像を抽出し、抽出した目画像より目開閉評価手段で目の開閉に応じた評価値を得、そしてフィルタ手段により開眼の時の平均的な開閉評価値を求め、開閉閾値設定手段により適切な開閉判定閾値を設定し、開閉評価値と開閉判定閾値により目の開閉の検出を行うものである。
【００２８】
図１はこの発明の実施の形態１による顔画像処理装置の構成を示すブロック図である。この顔画像処理装置は、車両運転者等の顔を撮像する車両室内に設けられたカメラ１と、カメラ１の撮像情報である映像信号を受けてＡ／Ｄ変換しディジタル階調画像を出力する画像入力手段２と、画像入力手段２のディジタル階調画像を受けこの画像中において車両運転者の目があると思われる目領域を特定する目画像抽出手段３と、車両運転者の目の開度に応じた検出結果を出力する開度検出手段としての開閉評価手段４と、開閉評価手段４の出力波形の高周波成分を除去するフィルタ手段５と、フィルタ手段５の出力波形から目の閉側に所定値離した波形を出力する開閉判定閾値設定手段６と、開閉評価手段４の出力と開閉判定閾値設定手段６の出力とを比較して目の開又は閉判定を行う目開閉判定手段７とから構成されている。
【００２９】
次に、実施の形態１の顔画像処理装置の動作について説明する。カメラ１で撮影された車両運転者等の顔画像は従来例で説明したものと同様に、画像入力手段２に入力されてＡ／Ｄ変換されることにより、ディジタル階調画像に変換され、さらに目画像抽出手段３により画像中の目画像の特定が成される。次に、特定された目画像が開閉評価手段４により処理されて、目の開閉状態に応じた値が出力される。ここで、開閉評価手段４は、例えば前記した目領域内の縦方向の黒の連続数の最大値のようなもので、目の開閉状態によって、値が単調に変化するものであれば、どのような評価手法を用いても良い。
【００３０】
開閉評価手段４の出力は、図２に示したように、目画像の状態や運転者の姿勢等による値の変化とまばたきによる値の変化が重畳され、点線４ａに示すような波形となる。この点線４ａに示したように、まばたきの場合は、姿勢の変化等と比較して開閉評価値の動きが急になる。
【００３１】
次に、点線４ａの波形をフィルタ手段５に入力して、波形の高周波成分を除去すると、実線５ａに示すように、まばたき以外の開閉評価手段４の出力変化はあまり変化せず、まばたきによる開閉評価値４ｂのような急激な変化が減衰された形の波形が得られる。開閉閾値設定手段６には、フィルタ手段５の出力５ａが入力されており、この出力５ａから閉側に所定値離した波形６ａ（一点鎖線）を開閉判定閾値として出力する。
【００３２】
最後に、開閉判定手段７は、開閉評価手段の出力４ａと開閉判定閾値設定手段６の出力６ａとを比較し、開閉評価手段４の出力４ａの方が開閉判定閾値設定手段６の出力６ａより開側であれば開判定を行い、開閉評価手段４の出力４ａの方が開閉判定閾値設定手段６の出力６ａより閉側であれば閉判定を行う。
【００３３】
以上のように、実施の形態１に示した手順を用いて開閉判定すれば、フィルタ手段５によって減衰されるまばたきのような急な開閉評価手段の変化を持つもののみ、まばたきとして検出できる。
【００３４】
また、被撮影者の個人差や、撮影条件が変化しても常に目の開閉が正しく判定できるように閾値を設定することが可能となり、個人差によらず又長時間安定して目の開閉を検出することができる。
【００３５】
実施の形態２．
実施の形態２は、前記実施の形態１の開閉判定手段において閉眼と判定した後、開判定閾値設定手段により閉眼と判定したときの開閉判定閾値と閉眼判定中の開閉評価値により、次に開判定するときの開判定閾値を設定し、開閉評価値と開判定閾値により目の閉から開を検出するものである。
【００３６】
図３は実施の形態２による顔画像処理装置の構成を示すブロック図であり、実施の形態１の構成に加え、開判定閾値設定手段８が新たに加わるとともに、開閉判定手段７の動作が若干異なるものである。以下この実施の形態について説明する。
【００３７】
カメラ１によって撮像された顔画像は、画像入力手段２に入力され、Ａ／Ｄ変換されることによりディジタル階調画像に変換され、目画像抽出手段３により画像中の目画像の特定がなされ、そして、特定された目画像が開閉評価手段４により処理されて目の開閉状態に応じた値が出力されるのは、実施の形態１と同様である。さらに、開閉評価手段４の出力はフィルタ手段５に入力され、フィルタ手段５の出力が開閉閾値設定手段６に入力されて開閉閾値を設定し、開閉判定手段７により開閉評価手段４の出力と開閉閾値設定手段６の出力により閉判定されることも、実施の形態１と同様である。ただし、一旦開閉判定手段７が閉判定してから、次に開判定する方法が本実施の形態２と実施の形態１が異なる点である。次に、この違いについて説明する。
【００３８】
図４は実施の形態２の動作を記述したタイムチャート図である。図において、実線４ａは開閉評価手段４により出力される開閉評価値を示し、実線６ａは、実施の形態１で説明した通り、開閉評価手段４の出力をフィルタ手段５により高周波成分を除去した後開閉閾値設定手段６により閉側に所定値離して設定される出力波形を示す。
【００３９】
また、図４において、６ｂは開閉閾値設定手段６の出力６ａとフィルタ手段５の出力間の所定値幅、８ａは最初に閉判定した時（時刻７ｂ）の開閉判定閾値６ａに所定値を加えた値、８ｂは閉判定中の開閉評価値の最閉値、８ｃは値８ａと値８ｂ間の開から閉への変化量、８ｄは上記変化量から後述のように演算して求めた開判定閾値、実線７ａは開閉判定手段７の出力、時刻７ｂは開閉判定閾値６ａにより最初に閉判定した時点、時刻７ｃは開閉判定閾値６ａに開判定をする時点（これは実施の形態１の場合と同じ）、時刻７ｄは開判定閾値８ｄにより開判定をする時点を示し、その詳細は下記に説明する。
【００４０】
図４において、開閉評価値４ａが開閉判定閾値６ａより閉側になる時刻７ｂにおいて、実施の形態１と同様に開閉判定手段７は運転者の目の閉判定を行う。このとき、開閾値設定手段８は、閉判定したとき（時刻７ｂ）の開閉判定閾値６ａの値に所定値６ｂを開側に加えた値８ａを記録し、さらに閉判定している間中、最閉値８ｂを更新しながら記録する。ここで、所定値６ｂを開閉判定閾値設定手段６で行われるフィルタ手段５の出力に対応しているものとすれば、値８ａは丁度目を閉じ始めたときの開閉評価値と見なすことができる。さて、値８ｂは閉判定中の最閉値を更新しながら記録しているので、目が閉じ切ったときの値８ｂが求められ、値８ａと値８ｂの間の距離８ｃが目の開から閉への変化量に相当することになる。つぎに、この変化量８ｃの配分において、例えば１／２の所に開判定閾値８ｄを設定すると、これが開判定閾値設定手段８の出力となる。最後に、時刻７ｄにおいて開閉評価値６ａが開判定閾値８ｄより開側になると、開閉判定手段７は開と判定する。その結果、開閉判定手段７の出力７ａの閉判定の幅が実施の形態１の場合の開判定時点７ｃよりも長くなるので、正確な閉眼持続時間が検出できるとともに、目を閉じたときの開閉評価値４ａの変化量８ｃの大小にかかわらず、同じ閉眼持続時間の検出が期待できる。
【００４１】
実施の形態３．
図５は実施の形態３による顔画像処理装置の構成を示すブロック図であり、実施の形態１の構成に加え、開閉閾値制御用閾値設定手段９及び開閉閾値再設定手段１０が新たに加わったものである。
【００４２】
開閉閾値制御用閾値設定手段９は、フィルタ手段５の出力５ａから所定値離して設定される開閉判定閾値６ａから目の開側方向に所定値離した１つの開閉閾値制御用閾値９ａを設定するものである。また、開閉閾値再設定手段１０は、開閉評価手段４の出力４ａが開閉閾値制御閾値９ａよりも閉側になったときに、所定期間９ｅにわたって開閉閾値設定手段６による開閉判定閾値６ａの更新を禁止するとともに、上記の所定時間中に開閉評価手段４ａの出力が開閉判定閾値６ａよりも閉側にならない場合は、開閉判定閾値６ａの更新禁止を解除して新たに開閉判定閾値６ａを設定するものである。
【００４３】
図５に示すように、実施の形態３では実施の形態１を基に構成したものであるが、実施の形態２に適応してもなんら問題はない。以下この実施の形態３について図５を用いて説明する。
【００４４】
実施の形態１と同様にして、カメラ１によって撮像された顔画像は、画像入力手段２、目画像抽出手段３、開閉評価手段４によって、その顔画像における目画像が抽出され、目の開閉状態に応じた開閉評価値が出力される。そして、開閉評価手段４の出力はフィルタ手段５に入力されて高周波成分が除去され、フィルタ手段５の出力が開閉閾値設定手段６に入力されて、実施の形態１と同様に、フィルタ手段５の出力から目の閉側方向に所定値離した開閉判定閾値６ａが設定される。
【００４５】
開閉閾値設定手段６の出力６ａは、開閉閾値制御用閾値設定手段９に入力され、当該手段９から出力される開閉閾値制御用閾値９ａが開閉閾値再設定手段１０に入力される。開閉閾値再設定手段１０には、さらに開閉閾値設定手段６からの出力６ａと、開閉評価手段４からの出力４ａ、および、開閉判定手段７からの開閉信号７ａがそれぞれ入力されており、これらの入力４ａ，６ａ，７ａ，９ａから開閉判定閾値１０ａを開閉判定手段７に出力する。開閉判定手段７では、開閉評価手段４の出力４ａと、開閉閾値再設定手段１０の出力１０ａにより開閉が判定される。
【００４６】
図６は実施の形態３の動作を記述したタイムチャート図であり、実線４ａは開閉評価手段４の出力、点線６ａは開閉閾値設定手段６の出力であり、それぞれ実施の形態１，２で説明したものと同様である。実線７ａは開閉判定手段７の出力を示し、太実線９ａは本実施の形態の開閉閾値制御用閾値設定手段９の出力を、太点線１０ａは開閉閾値再設定手段１０の出力を示す。なお、この図では開閉評価手段４の出力４ａは一度も開閉閾値設定手段６の出力である開閉判定閾値６ａより閉側になることはなく、上記の実施の形態１，２ ではまばたきを検出できないような状態を示している。
【００４７】
開閉閾値制御用閾値設定手段９は、開閉閾値設定手段６の出力６ａに所定値９ｂを加えた値９ａを出力しており、図では、太実線９ａのような閾値（開閉閾値制御用閾値）を出力する。ここで、この所定値９ｂは、フィルタ手段５の出力から開閉閾値６ａを生成する際に用いる所定値より小さく設定されている。さて、時刻９ｃの時点で、開閉評価値４ａが開閉閾値制御用閾値９ａより閉側になると開閉閾値再設定手段１０は、開閉閾値設定手段６の出力６ａをそのまま出力するのをやめ、開閉評価値４ａが開閉閾値制御用閾値９ａより閉側の間、少なくとも時間９ｅの間、時刻９ｃにおける開閉判定閾値６ａの値を保持し、太点線１０ａのような開閉判定閾値を開閉判定手段７に出力する。ここで、開閉判定手段７は、この時間９ｅ内に、開閉評価値４ａが開閉閾値再設定手段１０の出力１０ａより閉側になった時刻７ｅで閉判定を行う。このようにして、開閉判定手段７が閉判定を行うと、閉判定を行っている間中、開閉閾値再設定手段１０はその時の開閉判定閾値１０ａを保持し、再度開閉評価値４ａが開閉判定閾値１０ａより開側になる時刻７ｆまで開閉判定閾値１０ａを保持する。開閉判定手段７により開判定となると、開閉閾値再設定手段１０は、開閉閾値設定手段６の出力６ａをそのまま出力する。
【００４８】
一方、図の時刻９ｆは、例えば運転者の姿勢が変化した場合のように開閉評価値４ａがステップ状に閉側にシフトしたことを想定している。このときも時刻９ｆにおいて開閉評価値４ａが開閉閾値制御用閾値９ａより閉側になり、開閉閾値再設定手段１０の出力１０ａも保持状態になっているが、所定時間内（９ｆから９ｇの期間）にこの保持された開閉閾値１０ａより開閉評価値４ａが閉側にならないので、開閉判定手段７は閉判定を行わない。さらに、所定時間がたって時刻９ｇになると、保持は解除され、開閉閾値再設定手段１０の出力は開閉閾値設定手段６の出力６ａと同じになる。
【００４９】
なお、上記の説明では、開閉判定手段７が閉眼から開眼に判定する動作について実施の形態１に近い方法を提示したが、本実施の形態の目的は開眼から閉眼を判定する方法を示しており、閉眼から開眼を判定する方法を規定しているわけではなく、当然、閉眼から開眼への判定方法についても、実施の形態２に示した方法であっても何ら差支えはない。また、下記の実施の形態４においても、閉眼から開眼への判定方法を説明するが、それと組合わせても問題はない。
【００５０】
実施の形態４．
この実施の形態は、図７に示すように実施の形態２に実施の形態３による閉判定の方法と、ふせ目閾値設定手段１１を加えたものである。以下この実施の形態について図７を用いて説明する。
【００５１】
実施の形態４において、ふせ目閾値設定手段１１は、開閉閾値再設定手段１０により設定された開閉判定閾値１０ａを基準として、目の閉方向にふせ目判定閾値１１ａを設定する。また、開閉判定手段７は、開閉評価値４ａが開閉判定閾値１０ａより閉側、ふせ目判定閾値１１ａより開側の状態が所定時間継続したとき、その間の開閉評価値４ａが例えば値の変化が少ないなどの特徴を持っていれば閉眼とせずにふせ目であると判定して開判定を行う。
【００５２】
また、ふせ目判定閾値設定手段１１は、閉眼判定中の時間が所定時間範囲の時の開閉評価手段の最閉値と、この閉眼を判定したときの開閉判定閾値から演算して、個人毎に適切なふせ目判定閾値を設定する。
【００５３】
更に、開閉判定手段７は、開閉評価値４ａと開閉判定閾値１０ａとより閉判定された後、開閉評価値４ａがふせ目判定閾値１１ａより開側で、開閉判定閾値１０より開側の状態が所定時間持続した場合、一度閉眼した後ふせ目状態になったと判断し、開閉評価値４ａがふせ目判定閾値１１ａより開側になった時点で閉眼判定を終了し開眼判定とする。
【００５４】
次に、実施の形態４の動作について説明する。カメラ１によって撮像された顔画像は、画像入力手段２、目画像抽出手段３、開閉評価手段４によって、その顔画像における目の開閉評価値が出力されるのは、実施の形態１と同様である。さらに、開閉評価手段４の出力がフィルタ手段５に入力され、フィルタ手段５の出力が開閉閾値設定手段６に入力されて、実施の形態１と同様にして開閉判定閾値６ａが設定される。開閉閾値設定手段６の出力６ａは、開閉閾値制御用閾値設定手段９に入力され、開閉閾値制御用閾値９ａが開閉閾値再設定手段１０に入力される。開閉閾値再設定手段１０には、さらに開閉閾値設定手段６からの出力６ａと、開閉評価手段４からの出力４ａ、および、開閉判定手段７からの開閉信号７ａが入力されており、これらの入力から開閉判定閾値１０ａを開閉判定手段７に出力する。ふせ目閾値設定手段１１には、開閉閾値再設定手段１０の出力１０ａと開閉判定手段７からの出力７ａとが入力されており、ふせ目閾値設定手段１１の出力１１ａは開閉判定手段７に入力される。開閉判定手段７は、開閉評価手段４の出力、開閉閾値再設定手段１０の出力４ａ、ふせ目閾値設定手段１１の出力１１ａ、および開判定閾値設定手段８の出力８ｄがそれぞれ入力され、所定の手順に従って開閉眼を判定する。
【００５５】
図８（ａ）は、目の開度と開閉評価値との関係を示しており、目が開いているほど大きな値を示す例を示している。次に、図８（ｂ）は、ドライバが早いまばたきをしたときの目画像の様子と、それにつれて変化する開閉評価手段４の出力の変化の様子を模式的に示したものである。同様に、図８（ｃ）は、ドライバがスピードメータを見るなどしてふせ目を長時間行った時の様子、図８（ｄ）は、例えば眠たくなった時などに長時間目を閉じた時の様子を示したものである。
【００５６】
図８（ｂ）〜（ｄ）から分かるように、それぞれの特長は、図８（ｂ）の場合は、完全に目が閉じ切らず途中から開眼したり、開閉評価手段４の出力のノイズ取りの目的でフィルタを用いたりすることにより、開眼時の値と、再閉値の変化量は少なく、かつ変化期間は比較的短くなる。次に、図８（ｃ）の場合は、メータ等を見ているので上瞼が落ち、目を半開き状態で長時間その状態を保つため、やはり図８（ｂ）と同様に開眼時と最閉値の変化量は少ないが、閉値の状態が長くなる。一方、眠たくなるなどして、長時間に渡って閉眼する図８（ｄ）の場合は、完全に目を閉じきるので最閉値は、図８（ｂ）及び（ｃ）よりも開閉評価値が小さく、かつ、最閉値の状態が長くなる。ここで、開閉閾値再設定手段１０の出力が図８（ｂ）に示したような早いまばたきも検出できるように設定すると、図８（ｃ）の長時間のふせ目を長時間の閉眼として誤まって検出してしまう。逆に、図８（ｃ）のふせ目を検出しないように設定すると、図８（ａ）の早いまばたきが検出できなくなる。このため、この実施の形態４では、一定の時間幅１１ｂを設定することで両者を区別できるようにしている。
【００５７】
次に、本実施の形態の動作を図９に示すタイムチャートを用いて説明する。図９は図８と同様に、図（ａ）は早いまばたきの場合、図（ｂ）はふせ目の場合、図（ｃ）は長時間閉眼の場合の動作を示したものである。
【００５８】
図９（ａ）において、実線４ａは開閉評価手段４の出力、点線１０ａは開閉閾値再設定手段１０の出力、点線１１ａはふせ目閾値設定手段１１により開閉閾値４ａから閉方向に所定値だけ離して設定されたふせ目閾値である。
【００５９】
開閉評価値４ａは時刻７ｅにおいて、開閉閾値１０ａより閉側になっているが、本実施の形態では、まだ閉判定を行わない。次に、最閉値を見るとふせ目閾値１１ａより下回ることなく、開状態に戻っている模様を示している。このような波形が開閉判定手段７に入力されると、例えば図９（ａ）の実線４ａで示したような早いまばたきでは、所定時間１１ｂ中に開閉判定閾値１０ａより閉側になってから再び開側になるので、これはまばたきであると判定し、時刻７ｅまでさかのぼって閉判定を行い、実線７ａで示したようなまばたき検出を検出する。一方、開閉評価値が波線４ａ＊で示すように所定時間１１ｂ中に開閉判定閾値１０ａより開側にいかない場合は、所定時間中に目の開閉動作が止ることがないので、例えば破線４ａ＊の微分値を積算する等してその動きの変化量を計測すると大きくなるので、この積算量が所定値を超えた場合、図（ａ）に示したように時刻７ｅまでさかのぼって閉判定を開始する。さらに、所定時間１１ｂが終了し、開閉評価値４ａ＊が開閉判定閾値１０ａより開側になった時点で開判定とする。
【００６０】
次に、図９（ｂ）に示すふせ目の時の動作について説明する。ふせ目の場合も先に説明した早いまばたきと同様に所定時間１１ｂ中に開閉評価値４ａが開閉閾値１０ａより開側になることはない。しかし、ふせ目の場合、目が半開きの状態が持続するため、開閉評価値４ａの変化率は少ない。従って、早いまばたきの場合に説明したように動きの変化量を計測して積算するとあまり大きくないので、積算値は所定値を超えることはない。よって、ふせ目と早いまばたきとを区別することができ、ふせ目と判定した場合は、所定時間１１ｂが終った時点で、開閉閾値１０ａを開閉評価値４ａより閉側に設定することにより、以降まばたきが生ずるまで、開閉評価値４ａが開閉閾値１０ａより閉側になることはなく、誤って閉眼と誤検出する危険性は減少する。
【００６１】
次に、図９（ｃ）に示す長いまばたきの時の動作について説明する。長いまばたきの場合は、開閉評価値４ａが開閉閾値１０ａより閉側になり、さらに所定時間１１ｂ中にふせ目閾値１１ａよりも閉側になる。すなわち、完全に目を閉じたことが検出できるため、時刻７ｅまでさかのぼって閉判定を行い、開閉評価値４ａが開閉閾値１０ａより開側になるまで閉判定を持続する。
【００６２】
また、図１０には、まばたきをした直後にふせ目をした時のタイムチャートを示したものである。図に示したように様に、開閉評価値４ａは、時刻７ｅの時点で開閉閾値１０ａより閉側になり、さらに全閉した時にはふせ目閾値１１ａよりも閉側にくるので、上記の説明のように必ず閉判定がなされる。次に、開眼時は以上の例とは異なり、目を完全には開けずにふせ目状態になっている。ふせ目の場合は、前述したように、開閉評価値４ａは開閉閾値１０ａより閉側なので、前述した方法ではふせ目をしている間中、閉判定が続いてしまい、誤検出となる。しかし、本実施の形態では、ふせ目閾値１１ａより開側になった時点から所定時間１１ｃの間、ふせ目閾値１１ａより開側、開閉閾値１０ａより閉側の状態が続いた場合、上記で説明したふせ目判定と同様にすることにより、ふせ目であるかを判定し、ふせ目であると判定した場合は、図１０に示したように、時刻７ｆの時点で開判定とする。
【００６３】
なお、上記実施の形態の説明では、開閉判定手段７の判定出力７ａを、開閉閾値１０ａにより開から閉、閉から開への判定の両方に使用しているが、別の実施の形態でも説明したように別の閾値を用いて判定しても差し支えはない。
【００６４】
また、個人によって目の開時の開閉評価値と、全閉時の開閉評価値との差に個人差が生ずることは容易に推測できる。次にこの個人差を吸収する方法を説明する。図１１は、まばたきの長さと、開閉評価値の変化を記述したものであり、まばたきの長さが時間７ｈの場合の開閉評価値の開時と閉眼判定中の最閉値との差が４ｈであることを示しており、さらに閉眼までの時間が７ｉ，７ｊ，７ｋと長くなるとそれにつれて，４ｊ，４ｋと大きくなるとともに、最値４ｋで平衡に達する。従って、この図では時間７ｊ以上のまばたきの時の変化量４ｋが、この個人の開時と全閉時の開閉評価手段４の出力の変化量に相当することになる。従って、この値４ｋよりふせ目判定閾値１１ａが下回らないように設定すれば、上述したふせ目判定閾値１１ａを全閉時の開閉評価手段４の出力より閉側に設定してしまうことを防ぐことができ、個人ごとに最適なふせ目判定閾値１１ａを設定することができる。
【００６５】
【発明の効果】
請求項１記載の発明によれば、入力された顔画像から目画像を抽出し、開閉評価手段によって目画像より目の開閉を評価し、この開閉評価値をフィルタ手段に入力して急峻な評価値の変化を除き、続いて、開閉閾値設定手段によってフィルタ手段の出力より一定幅だけ閉側に開閉判定閾値を設定し、また、この開閉判定閾値によりも目の開方向に所定幅だけ離して設定される値と閉眼判定中の開閉評価値の最閉値との間に開判定閾値を設定し、前記開閉評価手段の出力を上記の両閾値と比較することで被撮影者の目の開閉を検出するように構成したので、被撮影者の個人差や、撮影条件が変化しても常に目の開閉が正しく判定できるような適切な閾値を設定することが可能となり、個人差によらず、また長時間安定して目の開閉を検出することができる。しかも、より正確に目の開閉を検出できるとともに、開閉時の開閉評価値の変化量が異なっていても同じ形状であれば、同じ長さのまばたきとして検出ができる。
【００６６】
請求項２記載の発明によれば、開閉閾値から開側に所定値離して開閉閾値制御用閾値を設定し、開閉評価値が前期開閉閾値制御用閾値より閉側、開閉閾値より開側の時、所定時間前期開閉閾値の更新を禁止するように構成したので、開閉評価値の変化量が少ない早いまばたきも検出できる。さらに、所定時間内に開閉閾値より閉側にならなければ開閉閾値の更新禁止を解除し通常に戻すので、単なる姿勢の変化を誤って閉眼として検出することもない。
【００６７】
請求項３記載の発明によれば、開閉閾値から所定値閉側に離してふせ目閾値を設定し、開閉評価値が前期開閉閾値より閉側、前期ふせ目閾値より開側の状態が所定時間続き、その所定時間中の開閉評価値の変化量が少なければふせ目であると判定して閉眼判定を行わず、変化量が大きければまばたきであると判定して、開閉評価値が開閉閾値より閉側になった時点から閉判定をするように構成したので、まばたきとふせ目とを区別して、正確にまばたきを検出できる。
【００６８】
請求項４記載の発明によれば、所定時間の長さを持つ開閉評価値の最閉値と、そのまばたきの閉眼を判定したときの開閉閾値とより、その個人のまばたきの時の評価値の変化量を検出し、この変化量よりふせ目閾値がその個人の最閉値より閉側にならないように設定できるように構成したので、個人毎に最適なふせ目閾値を設定することができる。
【００６９】
請求項５記載の発明によれば、閉眼と判定した後、開閉評価値がふせ目閾値より開側、開閉閾値より閉側の状態が所定時間続くとともに、その所定時間中の開閉評価値の変化が少なければ、まばたきの後ふせ目をしたと判定し、開閉評価値がふせ目閾値より開側になった時点で開判定をするように構成したので、まばたきの後ふせ目をした場合でも、長いまばたきとして検出することなく、正確なまばたきの長さを検出することができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１の顔画像処理装置の構成を示すブロック図である。
【図２】実施の形態１の動作を示すタイムチャート図である。
【図３】実施の形態２の顔画像処理装置の構成を示すブロック図である。
【図４】実施の形態２の動作を示すタイムチャート図である。
【図５】実施の形態３の顔画像処理装置の構成を示すブロック図である。
【図６】実施の形態３の動作を示すタイムチャート図である。
【図７】実施の形態４の顔画像処理装置の構成を示すブロック図である。
【図８】目の開閉の様子と、目の開閉評価値の関係を示した図である。
【図９】実施の形態４の動作を示すタイムチャート図である。
【図１０】実施の形態４の動作を示すもう一つのタイムチャート図である。
【図１１】まばたきの長さと開閉評価値の開眼時と閉眼時との差の関係を示す図である。
【図１２】従来例１の顔画像処理装置の動作フロー図である。
【図１３】従来例１の顔画像処理装置の目開閉判定説明図である。
【図１４】従来例２の顔画像処理装置の状概略構成図である。
【図１５】従来例２において、目の開閉閾値が正しく設定されているときの動作を示すタイムチャート図である。
【図１６】従来例２において、目の開閉閾値が開側にずれて設定されているときの動作を示すタイムチャート図である。
【図１７】従来例２において、目の開閉閾値が閉側にずれて設定されているときの動作を示すタイムチャート図である。
【符号の説明】
１ カメラ、２ 画像入力手段、３ 目画像抽出手段、４ 開閉評価手段、５ フィルタ手段、６ 開閉閾値設定手段、７ 開閉判定手段、８ 開判定閾値設定手段、９ 開閉閾値制御用閾値設定手段、１０ 開閉閾値再設定手段、１１ ふせ目閾値設定手段。
Claims (5)
- 顔画像を撮像するカメラと、前記カメラからの映像信号に基づいて目画像を抽出する目画像抽出手段と、前記目画像に基づいて目の開閉に応じて連続した開閉評価値を出力する開閉評価手段と、前記開閉評価手段の出力の高周波成分を除去するフィルタ手段と、前記フィルタ手段の出力から目の閉側方向に所定値離して開閉判定閾値を設定する開閉閾値設定手段と、前記開閉判定閾値によりも目の開方向に所定幅だけ離して設定される値と閉眼判定中の前記開閉評価値の最閉値との間に目を閉から開に判定する開判定閾値を設定する開判定閾値設定手段と、前記開閉閾値設定手段の出力を開から閉に判定する閉判定閾値として取り込み、この閉判定閾値および前記開判定閾値設定手段から与えられる開判定閾値に対して前記開閉評価手段の出力を比較することで目の開閉判定を行う開閉判定手段と、を備えたことを特徴とする顔画像処理装置。
- 顔画像を撮像するカメラと、前記カメラからの映像信号に基づいて目画像を抽出する目画像抽出手段と、前記目画像に基づいて目の開閉に応じて連続した開閉評価値を出力する開閉評価手段と、前記開閉評価手段の出力の高周波成分を除去するフィルタ手段と、前記フィルタ手段の出力から目の閉側方向に所定値離して開閉判定閾値を設定する開閉閾値設定手段と、前記フィルタ手段の出力から所定値離して設定される開閉判定閾値から目の開側方向に所定値離して少なくとも１つの開閉閾値制御用閾値を設定する開閉閾値制御用閾値設定手段と、前記開閉評価手段の出力が前記開閉閾値制御閾値より閉側になったときに、所定期間にわたって前記開閉閾値設定手段による開閉判定閾値の更新を禁止するとともに、前記所定時間中に前記開閉評価手段の出力が、前記開閉判定閾値より閉側にならない場合は、前記開閉判定閾値の更新禁止を解除して新たに開閉判定閾値を設定する開閉閾値再設定手段と、この開閉閾値再設定手段で設定された開閉判定閾値に対して前記開閉評価手段の出力を比較することで目の開閉判定を行う開閉判定手段と、を備えたことを特徴とする顔画像処理装置。
- 前記開閉判定閾値から閉側方向に所定値離してふせ目判定閾値を設定するふせ目閾値設定手段と、前記開閉評価値が前記開閉判定閾値より閉側かつ、前記ふせ目判定閾値より開側の状態が所定時間続いた時に、前記時間中の開閉評価値の時間変化の形状を評価するふせ目判定手段を備え、前記開閉判定手段は、前記ふせ目判定手段によりふせ目が判定された場合は、閉判定しないものであることを特徴とする請求項１または請求項２に記載の顔画像処理装置。
- 前記ふせ目閾値設定手段は、前記ふせ目判定閾値を設定する所定値を、閉眼を検出したときの開閉判定閾値と、閉眼判定中の時間が所定期間内のときの前記開閉評価手段の開閉評価値の最閉値との離間幅よりも小さくなるように設定するものであることを特徴とする請求項３記載の顔画像処理装置。
- 前記開閉判定手段は、前記開閉判定閾値により閉判定された後、前記開閉評価値が前記開閉判定閾値より閉側に所定値離して設定される前記ふせ目判定閾値より開側で、かつ、閉から開に判定する開閉判定閾値より閉側の状態が、所定時間続いた場合は、閉眼が終了したとして開判定をすることを特徴とする請求項３または請求項４記載の顔画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21748497A JP3556439B2 (ja) | 1997-08-12 | 1997-08-12 | 顔画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21748497A JP3556439B2 (ja) | 1997-08-12 | 1997-08-12 | 顔画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1166304A JPH1166304A (ja) | 1999-03-09 |
| JP3556439B2 true JP3556439B2 (ja) | 2004-08-18 |
Family
ID=16704969
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21748497A Expired - Fee Related JP3556439B2 (ja) | 1997-08-12 | 1997-08-12 | 顔画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3556439B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180089022A (ko) * | 2017-01-31 | 2018-08-08 | 한국항공우주연구원 | 복수의 유사 영상들을 이용한 최적화된 영상 합성 기술 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4193337B2 (ja) * | 2000-07-19 | 2008-12-10 | いすゞ自動車株式会社 | 覚醒度低下判定装置 |
| JP4088282B2 (ja) * | 2004-08-20 | 2008-05-21 | 清実 中村 | コンピュータ入力方法と装置 |
| JP4375420B2 (ja) | 2007-03-26 | 2009-12-02 | 株式会社デンソー | 眠気警報装置、及びプログラム |
| DE102008007152B4 (de) | 2007-03-30 | 2019-01-17 | Volkswagen Ag | Verfahren zur Parametrisierung des Augenöffnungsgrades eines Fahrers eines Kraftfahrzeugs |
| DE102008007149B4 (de) | 2007-03-30 | 2019-05-02 | Volkswagen Ag | Verfahren und Vorrichtung zum Erzeugen, Steuern und Auslösen eines Warnsignals in einem Kraftfahrzeug |
| JP4898532B2 (ja) * | 2007-04-13 | 2012-03-14 | 富士フイルム株式会社 | 画像処理装置および撮影システム並びに瞬き状態検出方法、瞬き状態検出プログラムおよびそのプログラムが記録された記録媒体 |
| JP4974788B2 (ja) * | 2007-06-29 | 2012-07-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 |
| JP5078815B2 (ja) * | 2008-09-12 | 2012-11-21 | 株式会社豊田中央研究所 | 開眼度推定装置 |
| JP5270415B2 (ja) * | 2009-03-19 | 2013-08-21 | トヨタ自動車株式会社 | 眠気判定装置及びプログラム |
| DE102015211444A1 (de) * | 2015-06-22 | 2016-12-22 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Unterscheiden von Blinzelereignissen und Instrumentenblicken unter Verwendung einer Augenöffnungsweite |
| JP2017076180A (ja) * | 2015-10-13 | 2017-04-20 | いすゞ自動車株式会社 | 状態判定装置 |
| JP6720821B2 (ja) * | 2016-10-14 | 2020-07-08 | トヨタ自動車株式会社 | 瞬き検出装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2822799B2 (ja) * | 1992-07-18 | 1998-11-11 | 日産自動車株式会社 | 運転者の状態検出装置 |
| JPH06262958A (ja) * | 1993-03-15 | 1994-09-20 | Aisin Seiki Co Ltd | 開口を開閉する運動体の閉じ検出装置 |
| JP3063504B2 (ja) * | 1993-12-22 | 2000-07-12 | 日産自動車株式会社 | 画像データの特徴量検出装置 |
| JP3293308B2 (ja) * | 1994-03-10 | 2002-06-17 | 三菱電機株式会社 | 人物状態検出装置 |
-
1997
- 1997-08-12 JP JP21748497A patent/JP3556439B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180089022A (ko) * | 2017-01-31 | 2018-08-08 | 한국항공우주연구원 | 복수의 유사 영상들을 이용한 최적화된 영상 합성 기술 |
| KR101954103B1 (ko) | 2017-01-31 | 2019-05-17 | 한국항공우주연구원 | 복수의 유사 영상들을 이용한 영상 합성 기술 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1166304A (ja) | 1999-03-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3556439B2 (ja) | 顔画像処理装置 | |
| WO2010029922A1 (ja) | 開閉眼判定装置、開眼度推定装置、及びプログラム | |
| KR101604232B1 (ko) | 졸음검출방법과 장치 | |
| JP4331197B2 (ja) | 眼開度検出装置及び方法 | |
| JP4899059B2 (ja) | 眠気検知装置 | |
| JP4677963B2 (ja) | 居眠り検知装置、居眠り検知方法 | |
| JP4776581B2 (ja) | 入眠状態検知方法、入眠状態検知装置、入眠状態検知システム及びコンピュータプログラム | |
| KR100234590B1 (ko) | 얼굴화상 처리장치 및 얼굴화상 처리방법 | |
| JP2008171108A (ja) | 顔状況判定処理装置および撮像装置 | |
| JP5139470B2 (ja) | 眠気度推定装置および眠気度推定方法 | |
| JP2001307076A (ja) | 眼の状態検出装置、居眠り検出装置 | |
| JP3746916B2 (ja) | 瞬目状態検出方法 | |
| JPH08153288A (ja) | 居眠り判定装置 | |
| CN113287298B (zh) | 影像处理装置、影像处理方法及存储介质 | |
| JPH11161798A (ja) | 車両運転者監視装置 | |
| JP4623044B2 (ja) | 眼の開閉状態検出装置 | |
| JP7416112B2 (ja) | 覚醒度判定装置 | |
| JP7374386B2 (ja) | 状態判定装置および状態判定方法 | |
| JP7212251B2 (ja) | 眼の開閉検出装置、乗員監視装置 | |
| KR100575713B1 (ko) | 카메라 단말기를 이용한 졸음 검출 방법 | |
| JP2007257332A (ja) | 開閉眼判定方法及びその装置 | |
| JP5412894B2 (ja) | 電子カメラ及びプログラム | |
| JP2021096784A (ja) | ドライバー状態推定装置 | |
| JP2008171107A (ja) | 顔状況判定処理装置および撮像装置 | |
| KR20060026233A (ko) | 졸음 감지 장치 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040511 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040512 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080521 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090521 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100521 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100521 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110521 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110521 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120521 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |