JPH07181012A

JPH07181012A - 画像データの特徴量検出装置

Info

Publication number: JPH07181012A
Application number: JP5346094A
Authority: JP
Inventors: Masayuki Kaneda; 雅之金田; Masataka Tsukino; 正隆月野
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1993-12-22
Filing date: 1993-12-22
Publication date: 1995-07-18
Anticipated expiration: 2015-07-12
Also published as: JP3063504B2

Abstract

(57)【要約】【目的】正確迅速に運転者の眼位置の抽出を行ない、
覚醒度低下などを適切に検出する。【構成】最初の画像フレームで眼の中心を基に眼が存
在する領域の横方向の幅および縦方向の幅を決定して眼
の存在領域Ｓを設定し、次のフレームからは（ｂ）のよ
うに眼の存在領域Ｓを用いてマスク処理することによ
り、存在領域の枠に接しないラベルとして眼のみが容易
に抽出される。眼の存在領域内での追跡確認により抽出
範囲が限定され高速に抽出できる。抽出した眼の縦方向
高さから眼の開き度合いを求めて開閉眼を判定すること
により、そのパターンから覚醒度低下などを警報するこ
とができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像データから例えば
運転者の眼位置などを検出するのに用いられる画像デー
タの特徴量検出装置に関する。

【０００２】

【従来の技術】従来の運転者の眼位置検出装置として、
例えば特開平４−１７４３０９号公報に開示されている
ものがある。この装置では、２値化した運転者の顔画像
を用いて、運転者の眼がある範囲を検出領域とし、その
領域で白画素、または黒画素の連続性で眼の虹彩部を検
出するようにしている。そして、その虹彩部の検出結果
から運転者の開閉眼を判定して運転者の居眠りやわき見
運転を検出するものである。

【０００３】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の検出装置にあっては、白画素、または黒画素
の連続性で顔幅検出や眼の位置検出を行なうため、眼鏡
の着用や影、あるいは光環境の変化などに起因して２値
化の生じたノイズなどにより、実際の眼の位置から外れ
た位置を眼の位置と誤判定してしまう恐れがあるという
問題点があった。したがって本発明は、このような従来
の問題点に鑑み、例えば運転者の眼の位置などの特徴量
を安定して正確に検出することができる画像データの特
徴量検出装置を提供することを目的としている。

【０００４】

【課題を解決するための手段】このため本発明は、図１
に示すように、画像入力手段１と、該画像入力手段１か
ら入力される画像を２値化する２値化手段２と、２値化
した画像において、抽出したい判定対象と接しない所定
領域をマスク処理してラベリングし、前記判定対象の抽
出を行う画像データの判定対象抽出手段３と、該判定対
象抽出手段３で抽出された判定対象を基に画像データの
特徴量を抽出する特徴量抽出手段４とを有するものとし
た。画像を顔画像とするときには、上記画像データの特
徴量としては顔幅、眼の位置、さらには開閉眼状態など
が抽出される。また、開閉眼状態については、時系列の
学習に基づいて判定の基準値を更新することができ、さ
らには所定時間経過時に上記更新された基準値に基づい
て、学習が正しく行なわれたかどうかを判定する学習完
了判定手段を備えることができる。

【０００５】

【作用】画像フレームの所定領域に対するマスク処理に
より、抽出する対象が絞りこまれ、抽出すべき特徴量が
容易に識別選択される。とくに運転者等の顔画像につい
ては、眼の位置やその開閉眼状態などが容易に抽出され
るので、居眠りなど覚醒度が低下した状態を正確に検出
して警報などに利用することができる。

【０００６】

【実施例】以下、本発明を図面に基づいて説明する。図
２は本発明を覚醒度低下警報装置に用いた実施例の構成
を示す図である。運転者１２の前方に設置され、運転者
の顔部分を正面から撮影する画像入力手段としてのＴＶ
カメラ１１が設けられ、その入力画像がＡ／Ｄ変換器１
３を介してデジタル量の入力画像データとして画像メモ
リ１４に格納される。ＴＶカメラ１１の入力画像は横
（Ｘ）方向５１２画素、縦（Ｙ）方向４３２画素からな
り、縦方向に顔部分がほぼいっぱいになるように画角が
調整されている。また顔の特徴量抽出回路１５より送出
される開閉眼の検出結果から運転者の覚醒度を判定する
覚醒度判定回路１６が設けられ、覚醒度が低下した状態
と判定されたときに、警報を発する警報装置１７が設置
されている。

【０００７】次に上記警報装置における制御動作を図
３、図４のフローチャートに従って説明する。まず、ス
テップ１０１において、ＴＶカメラ１１によって運転者
１２の顔部分が撮影される。そしてステップ１０２で１
フレーム分の２次元画像データがＡ／Ｄ変換器１３でデ
ジタル信号に変換され、画像メモリ１４に格納される。
画像メモリ１４に格納された入力画像データは、顔の特
徴量抽出回路１５に取り込まれる。

【０００８】次にステップ１０３〜１１３では、顔の特
徴量抽出回路１５において、画像処理および特徴抽出が
行われる。まずステップ１０３で、画像メモリ１４に格
納された入力画像データの前処理が行なわれる。ここで
は、画像データがまず所定のしきい値で２値化される。
この２値化のためのしきい値は顔部分の明暗をはっきり
させるため、眼球を識別して抽出できるレベルに設定さ
れる。

【０００９】すなわち、例えばビデオ信号を２５６階調
（０〜２５５）のデジタルデータに変換して、白い部分
を「２５５」、黒い部分を「０」とし、しきい値で２値
化して２値化画像を得る。さらに、この２値化画像にお
いて、後段で行われる眼の位置、および開閉眼の検出の
精度を上げるために、黒画素の小さな集まり（ノイズ）
が除去される。このノイズ除去の手法としては、白画素
を対象とした膨脹処理やメジアンフィルター処理などが
用いられる。このステップ１０３が発明の２値化手段を
構成している。

【００１０】次にステップ１０４で、眼の存在領域が設
定されているかどうかがチェックされる。初めてのサイ
クルでいまだ設定されていないときにはステップ１０５
へ進む。また２回目以降のサイクルに入って、眼の存在
領域がすでに設定されているときはステップ１１０へと
進む。眼の存在領域は画像フレーム内に画成されるウィ
ンドウを示し、その範囲内で眼球の検出や開閉眼の検出
が行われる眼の存在する領域を示す。なお、本実施例で
は装置をスタートさせた直後、つまり第１フレームで
は、上述のように当然眼の存在領域は設定されていない
ので、ステップ１０５へ進み、第２フレーム以降はステ
ップ１１０へ進むことになる。

【００１１】ステップ１０５では、まず顔部分が抽出さ
れる。上に２値化処理された画像は、図５の（ａ）のよ
うな画像となっている。この画像データに対して、図５
の（ｂ）に示すように、顔幅と接しない領域すなわち顔
の上方部Ｒ１と下方部Ｒ２の領域に第１のマスク処理を
行う。このマスク処理は、画像データの処理範囲を制限
することを目的として、強制的に指定領域の画素値を
「０」に変更するものである。これにより、顔幅を検出
するためにあまり関係のない上方や下方の画像データが
消去され、より正確な顔幅検出が行われる。

【００１２】また、マスクは髪の毛などの黒い部分と同
一階調になるように設定することにより、マスク領域に
接している髪の毛などの黒い画素の集まりは、マスク処
理によって一つの大きな黒画素の集まり（ラベル）とす
ることができる。その後ラベリング処理を用いると、マ
スクにより顔の輪郭部に存在する黒画素の集まりが接続
されるため、ラベル数をかなり削減することができる。
なお、ラベリング処理とは、２値化された画像データ内
の黒画素もしくは白画素の集まりを、個々に認識させる
手法のことをいい、認識されたラベルは、そのラベル毎
に大きさ（面積）、位置（座標）などを同時に把握する
こともできる。しかし、ラベリング処理が行えるラベル
数には、限りがあり、ラベル数の多さは処理速度の低下
を招くデメリットもある。したがって、マスクはラベル
数を削減するための重要な処理となる。

【００１３】この後、顔幅検出に関係ない、眉、眼、鼻
の穴などの黒画素の集まりのラベルに対して、その面積
値を判定基準値として黒白変換する粒子除去処理を行
う。この処理により、黒画素として残されるラベルを
（マスク領域＋顔の輪郭部）だけとすることができる。
これが図５の（ｂ）に示される画像データである。

【００１４】そして次のステップ１０６で、第１の特徴
量として顔幅の設定が行われる。図５の（ｃ）は、横軸
にＸ座標、縦軸に同図の（ｂ）の画像データの各Ｘ座標
上の白画素（階調２５５）の数を積算した白画素数を示
す。Ｘ座標方向の中央（Ｘ＝２５５）より、左右方向に
白画素積算値の減少傾向を調べることにより、白画素数
の減少が止まるＸ座標、もしくは白画素数がある所定値
位置になるＸ座標、すなわちＸ１、Ｘ２が顔部分の幅と
して算出される。これが顔幅として設定される。

【００１５】次にステップ１０７で、眼部分の抽出が行
われる。ここでは前ステップで得られた顔幅から眼の存
在する左右領域を特定する。まず、図６に示すように、
顔幅の左、右のラインＸ１、Ｘ２により顔の中心線Ｘｃ
がＸ１＋（Ｘ１＋Ｘ２）／２で求められる。そして、図７に示すように、まず顔の中
心線と顔幅の右側のラインで囲まれる領域を残して第２
のマスク処理を行う。

【００１６】このとき、先にステップ１０５における顔
部分検出方法の中で説明したように、所定の面積未満、
例えば図６では口のラベルの面積未満の黒画素は、黒白
変換により除去する。また、マスクと接する黒画素の集
まり、つまりラベルは単独ラベルとならないので、眉、
眼、鼻の穴、口などの黒画素のラベルは容易に識別除去
できる。そして、眼に相当するラベルの選択は、抽出さ
れた各ラベルデータより、その面積の大きさ、座標、縦
横比を用いて行う。眼は、開眼時においても閉眼時にお
いても、横長のラベルとなるから、縦横比により鼻の穴
に相当するラベルデータをまず初めに除くことができ
る。

【００１７】次に、ラベルの面積値や座標データによる
位置関係、つまり眉の上に眼があることはないし、口が
眼や眉より顔の外側には存在し得ないことから、眼のラ
ベルが比較的容易に選択される。ここで各ラベルの縦横
比は、図８にその概念を示すような画像データの垂直、
水平成分の最小値を求めるフィレ径という画像処理手法
を用いて算出する。左側の眼についても同様の処理によ
り検出される。

【００１８】ステップ１０８では、このようにして得ら
れた眼の黒画素のラベルの中心座標を眼の中心位置とし
て設定する。このあとステップ１０９において、眼の中
心（黒画素の中心）を基に眼が存在する領域の横方向
（Ｘ方向）の幅、および縦方向（Ｙ方向）の幅を決定し
て眼の存在領域が設定される。眼の存在領域の大きさ
は、眼の動きに追従でき、眼の黒画素のラベルが眼の存
在領域に接しない条件を満足するように、例えば縦１１
０画素、横７０画素とする。

【００１９】ステップ１１０では、眼の上下位置を検出
することにより眼の開き度合いが検出される。すなわ
ち、図９、図１０に示すように、縦方向の長さ、つまり
高さを求めることで眼の開き度合いを求めることができ
る。図９は、運転者１２が正常運転の場合を示し、当
然、眼ははっきり開いた状態であり、眼の開き度合いを
表わす出力値Ｔ１も大きい。また、図１０は、運転者１
２が居眠りなど覚醒度低下状態の場合を示し、眼は閉じ
た状態または薄目の状態が頻繁に見られるようになる。
このときは、眼の開き度合いを表わす出力値Ｔ２が小さ
くなる。

【００２０】ステップ１１１では、眼の追跡状況の確認
が行なわれる。まず図１１（ａ）には、第１フレームの
眼の位置およびステップ５０で設定した眼の存在領域Ｓ
を示す。眼の存在領域Ｓは眼の黒画素ラベルの中心座標
を基準として設定されている。その後サイクルごとに、
例えば図１１の（ｂ）〜（ｄ）に示される第２〜第４フ
レームの画像が順次入手される。

【００２１】ここで眼が正しく捉えられている場合は、
例えば図１１の（ｂ）の第２フレームでは、存在領域Ｓ
が第１フレームで設定された同図の（ａ）に示した位置
にあるのに対して、運転者１２の動き等により、眼の中
心点は眼の存在領域Ｓに対してずれている。しかし、図
１２の（ａ）に示すように、眼の存在領域Ｓの枠に眼が
接しない限り、（ａ）の画像に対してマスク処理した
（ｂ）に示すようなマスク処理により、眼の抽出を容易
に行うことができる。なお、図１２の（ｂ）にあって
は、眉の黒画素の集まりは、マスクと接しているため単
独のラベルにならないので、眼のみが単独に抽出され
る。

【００２２】また、図１３の（ａ）のように運転者が眼
鏡を着用しているときでも、画像をマスク処理した同図
（ｂ）に示すように、眼鏡の黒画素の集まりはマスクに
接しているため、単独のラベルにならず、眼鏡を掛けて
いる場合でも眼単独に抽出することができる。このよう
に横長に存在する眼鏡のフレーム等の黒画素は容易にラ
ベル対象から除いてやることができる。また、眼の存在
領域内に眼以外の黒画素のラベルが残った場合は、その
ラベルの面積の大きさにより選択することができる。す
なわち、眼の存在領域内の大きさは、顔の動きによる眼
の追従を考慮した必要最小限の領域としているため、眼
以外に大きな面積を持つラベルが存在することはなく、
面積が大きなラベルを選択するだけで、容易に眼を抽出
することができる。

【００２３】そして、具体的に眼の追跡が正しくできて
いるか否かの判定は、上記のように抽出された眼の開き
度合の値によって行なう。すなわち、運転者１２が特定
されてしまえば、図９および図１０に示したように、眼
の開き度合の値は開眼時Ｔ１〜閉眼時Ｔ２の範囲で変化
するだけである。したがって、この範囲外の値が出力さ
れたときは、眼の追跡ミス、つまり顔の急激な動きや確
認動作などで運転者１２が前方を見ていない状況である
と判定する。

【００２４】追跡が正しく行われていればステップ１１
２へ進んで、眼の追跡および眼の存在領域の変更設定が
行なわれる。また、追跡が正しく行われていないときに
は、ステップ１１６へ進み、眼の開き度合い値および眼
の存在領域がクリアされ、ステップ１０１へ戻る。そし
て再び、ステップ１０５での顔部分抽出を含む処理に入
る。一方、ステップ１１２では、図１１の（ｂ）に示す
第２フレームの眼の中心座標に眼の存在領域の基準点を
変更することにより、眼の存在領域を変更設定して運転
者の顔の動きに対応させる。図１１の（ｃ）、（ｄ）の
第３フレームや第４フレームの眼の位置および眼の存在
領域についても、第２フレームのときと同様の処理で、
運転者の顔の動きに対応させる。ステップ１０５、１０
７、１０９および１１２がそれぞれ発明の判定対象抽出
手段を構成し、とくにステップ１０９および１１２は存
在領域設定手段を構成している。

【００２５】そしてこのあと、ステップ１１３におい
て、開閉眼の判定が行なわれる。前述したように、運転
者１２が特定された場合、眼の開き度合の出力値は、図
９の開眼状態と、図１０の閉眼状態との間で変化する。
従って、開眼あるいは閉眼の判定を行なう基準値、すな
わち開閉眼を判定するしきい値は、開眼から閉眼までの
範囲内にあることになる。ここで、居眠りなど覚醒度の
低下している状態では、睡眠状態ではないため、完全に
眼の閉じない運転者もあることから、開眼と閉眼との中
央値をしきい値とするのが望ましい。上記しきい値に基
づいて各フレーム毎に開眼（Ｏｐｅｎ）か閉眼（Ｃｌｏ
ｓｅ）かの判定結果が顔の特徴量抽出回路１５から出力
される。上記のステップ１０６、１０８、１１０、１１
１、１１３が発明の特徴量抽出手段を構成している。

【００２６】ステップ１１４では、顔の特徴量抽出回路
１５からの開閉眼判定結果に基づいて、覚醒度の判定が
行なわれる。ここでは、図１４に示すような開閉眼パタ
ーンにおいて、覚醒度判定区間（例えば１分程度）を設
定しこの間に出力される閉眼（ｃｌｏｓｅ）の積算値に
より覚醒度を判定する。このとき、瞬きによる閉眼の判
定出力を除くために、２回以上連続する閉眼出力の２回
目以降のものだけを積算する。これにより図１４のパタ
ーンでは閉眼積算値が４となる。そしてステップ１１５
では、上記閉眼積算値が所定の基準値と比較して小さい
とき、覚醒度が低下しているものとして警報装置１７に
指令を送出し警報を行なわせる。また、覚醒度低下の
状態でない場合には、ステップ１０１へ戻る。

【００２７】本実施例は、以上のように構成され、運転
者の眼位置の検出にあたって、画像データからの顔部分
の抽出および眼部分の抽出に順次マスク処理を行なっ
て、画像データの処理範囲を制限するようにしているか
ら、検出にあまり関係のない領域の画像データが消去さ
れ、制限された範囲でラベリングするので、ノイズなど
も効果的に除去されて、顔幅検出や、次には眼の抽出が
正確に行われる。また、眼の存在領域における眼の追跡
ロジックを有しているので、正しい追跡が行なわれてい
るかぎりは、各画像フレームの度に画像処理の全ステッ
プにより顔全体から眼の位置を検出する必要はなく、ス
テップの省略ができるため、眼位置の検出が高速化され
る。そして、正確に検出された眼位置における開閉眼の
判定結果から運転者の居眠り状態を検出できるから、適
切に警報が行なわれるという効果を有する。

【００２８】なお、上記実施例では、眼の開き度合い値
の検出方法として、フィレ径を用いるものを示したが、
とくにこれに限定されない。またフィレ径は、眼に相当
する黒画素の集まりに対して、垂直、水平線で囲まれる
短形領域から求められるため、例えば図１５の（ａ）お
よび図１６の（ａ）に示すような顔の傾きがあると、各
図の（ｂ）に示されるように眼ラベルの高さＴからは開
眼状態も閉眼状態もほとんど同じで識別しにくく、正確
な判定が困難になる場合もある。このような場合には、
各図の（ｃ）のように、上記短形領域内の黒画素をＸ座
標に投影し、そのｍａｘ値を求めて、眼の開き度合い値
とすることもできる。このｍａｘ値を用いれば、顔の傾
きがあっても正確な眼の開き度合い値が検出される。

【００２９】次に、本発明の第２の実施例について説明
する。この実施例は、不特定の人の顔を対象とするため
に、眼の大きさの学習機能を向上させたものである。眼
の開閉状態を常に精度良く検出するには、その人に合っ
た開閉眼の判定基準値を設定する必要がある。従来この
対応策としては、所定時間における開眼状態（ＭＡＸ
値）と閉眼状態（ＭＩＮ値）を学習し、これら２つの値
より判定基準値を求める方法がある。

【００３０】しかしこの方法では、所定時間内に閉眼が
必ず発生するとは言えず、また瞬き等の一瞬の閉眼が発
生していたとしても、画像データの取り込みタイミング
によっては捉らえきれないという問題がある。そこで所
定時間を長く設定すると開閉眼の判定に時間を要するこ
とになる。また、開閉眼の状態学習を行なうロジックは
あっても、正しく学習が行われているか否かの確認がな
いため、例えばサングラスを着用している場合でもそれ
なりの値を学習して、開閉眼判定に用いられる懸念もあ
る。これでは、システムとしては異常作動しているにも
かかわらず、そのことを認識できないということにな
る。そこで本実施例は、正しい学習を行なって上記の問
題を解決するものである。

【００３１】このため、図１７に示すように、前実施例
の構成に対して覚醒度判定回路１６の前後に、眼の大き
さの学習回路２０ａおよび学習完了判定回路２０ｂが追
加されている。その他の構成は前実施例と同じである。
この覚醒度低下警報装置における動作は、図１８および
図１９のフローチャートにしたがった流れとなってい
る。前記第１実施例と同じ内容のステップ２０１〜２１
０およびステップ２１４〜２１９については説明を省略
する。

【００３２】まず、ステップ２１０での眼の開き度合い
検出のあと、ステップ２１１において、学習のためにあ
らかじめ設定された所定時間が経過しているかどうかが
チェックされる。学習するための上記所定時間は、瞬き
等の閉眼状態でも確実に学習できるよう比較的長めに設
定されている。学習する所定時間がまだ経過していない
ときは、ステップ２１２へ進んで、開眼状態（眼の開き
度合い値：ＭＡＸ）と閉眼状態（眼の開き度合い値：Ｍ
ＩＮ）を毎フレーム処理ごとに学習、更新して行く。

【００３３】次のステップ２１３では、ステップ２１２
での学習値に基づき、開閉眼判定基準値が設定される。
開閉眼判定基準値は、学習値のＭＡＸ値とＭＩＮ値の中
央値（割り切れない場合は切り上げ）とすることが、居
眠りなどを判定する場合には望ましい。この後、ステッ
プ２１４へ進む。このステップ以降の処理は、前記した
第１実施例と同一であるため省略する。

【００３４】次に、ステップ２１１のチェックで学習す
る所定時間が経過している場合には、ステップ２２０へ
進み、開閉眼判定基準値を固定する。そして、ステップ
２２１でその基準値が所定値Ｈより小さいかチェックし
て、基準値の妥当性の判定が行なわれる。ここでＨは、
眼の大きさの違いも含めて想定される最大値とされる。
基準値が妥当であるときはステップ２１４へ進み、通常
の開閉眼判定を繰り返すフローに戻る。これで学習が終
了し基準値が設定され、その基準値が妥当と判定されて
このループを繰り返すことになる。

【００３５】ステップ２２１のチェックで、開閉眼判定
の基準値がＨより大で、妥当性を有しない（ＮＧ）と判
定された場合には、ステップ２２２へ進む。これは、例
えばサングラスを掛けている場合などに発生する。ステ
ップ２２２では、上の妥当性判定でＮＧとなった処理回
数が何回目であるかがチェックされる。これは、判定基
準値の異常が光環境等の一時的な状態により発生してい
る可能性もあることを考慮し、再度学習させるためにあ
る。

【００３６】ＮＧとなった処理回数が２回目以下である
ときは、ステップ２２３へ進んで、学習値ならびに開閉
眼判定基準値をクリアしてから、ステップ２０１に戻
り、次フレームの画像データの取り込みに移る。ステッ
プ２２２のチェックでＮＧ回数が３回を越えた場合は、
定常的な異常であると判定し、ステップ２２４でシステ
ムエラーとして報知する。ここでの報知は、その対象者
がサングラスを掛けているのに、気がつかずにいる場合
などに有効な報知となる。ステップ２１１、２２０〜２
２４が発明の学習完了判定手段を構成している。

【００３７】上述の要領による学習事例を図２０および
図２１に示す。図２０は通常の場合を示し、図２１はス
タート時の画像データの取り込みタイミングが、たまた
ま閉眼状態であった場合のものである。処理回数は各フ
レームの画像データの取り込みタイミングを示し、眼の
開き度合い値はそのフレームごとの値を示している。ま
ずスタート時、つまり第１フレームでは、眼の開き度合
い値は、１つしか検出されていないため、学習値のＭＡ
Ｘ、ＭＩＮ値、開閉眼基準値は全て同じ値となる。ここ
では、眼の開き度合い値と開閉眼基準値が等しい場合、
開閉眼判定はＯｐｅｎと定義している。

【００３８】１回目の処理の終了後、第２フレームの画
像データが取り込まれ、そのフレームにおける眼の開き
度合い値が出力される。この値がこれまでの学習値に対
して大きいときはＭＡＸ値を更新し、小さいときははＭ
ＩＮ値を更新する。このような処理を継続していくこと
により、システム起動直後から開閉眼の判定を行なうこ
とがで、また比較的長い学習時間を設定しても開閉眼判
定を遅らせるような不都合を招くことなく、最終的に正
確な基準値を設定することができる。スタート時の画像
データの取り込みタイミングが異なっても、比較的早い
時期に数回開閉眼判定が安定しない時があるだけで、こ
れは居眠りの判定などに用いる場合は問題のないレベル
であり、徐々に正確な判定結果が得られる。

【００３９】

【発明の効果】以上のとおり、本発明は画像フレームの
所定領域にマスク処理を行なってラベリングし判定対象
を絞り込むようにしたので、抽出すべき特徴量が容易に
かつ高速に識別選択される。とくに運転者等の顔画像に
ついては、眼の位置や眼の開き度合いの検出からその開
閉眼状態などが容易に抽出でき、居眠りなど覚醒度が低
下した状態を正確に検出して警報などに利用することが
できる。

【図面の簡単な説明】

【図１】本発明の構成を示すブロック図である。

【図２】本発明の第１の実施例の構成を示すブロック図
である。

【図３】実施例における制御動作の流れを示すフローチ
ャートである。

【図４】実施例における制御動作の流れを示すフローチ
ャートである。

【図５】２値化処理された顔画像におけるマスク処理と
顔幅設定を説明する図である。

【図６】顔幅から眼の存在する左右領域を特定する要領
を示す図である。

【図７】マスク処理による眼の抽出を説明する図であ
る。

【図８】フィレ径の概念を示す図である。

【図９】開眼時の眼の開き度合いの検出方法を説明する
図である。

【図１０】閉眼時の眼の開き度合いの検出方法を説明す
る図である。

【図１１】画像フレームごとの眼の存在領域と眼の位置
の変化を示す図である。

【図１２】眼の存在領域を利用したマスク処理を説明す
る図である。

【図１３】眼鏡着用時のマスク処理を説明する図であ
る。

【図１４】開閉眼パターンを示す図である。

【図１５】顔が傾いているときの開眼時の眼の開き度合
いの検出方法を説明する図である。

【図１６】顔が傾いているときの閉眼時の眼の開き度合
いの検出方法を説明する図である。

【図１７】第１の実施例の構成を示すブロック図であ
る。

【図１８】第２の実施例における制御動作の流れを示す
フローチャートである。

【図１９】第２の実施例における制御動作の流れを示す
フローチャートである。

【図２０】開閉眼判定基準値についての学習事例を示す
図である。

【図２１】開閉眼判定基準値についての学習事例を示す
図である。

【符号の説明】

１画像入力手段２２値化手段３判定対象抽出手段４特徴量抽出手段１１ＴＶカメラ１２運転者１３Ａ／Ｄ変換器１４画像メモリ１５顔の特徴量抽出回路１６覚醒度判定回路１７警報装置２０ａ眼の大きさの学習回路２０ｂ学習完了判定回路Ｓ眼の存在領域

フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０６Ｔ 1/00 7/00 Ｇ０８Ｂ 21/00 Ｑ 7459−5ＬＧ０６Ｆ 15/70 ３３０Ｅ

Claims

【特許請求の範囲】

【請求項１】画像入力手段と、該画像入力手段から入
力される画像を２値化する２値化手段と、２値化した画
像において、抽出したい判定対象と接しない所定領域を
マスク処理してラベリングし、前記判定対象の抽出を行
う画像データの判定対象抽出手段と、該判定対象抽出手
段で抽出された判定対象を基に画像データの特徴量を抽
出する特徴量抽出手段とを有することを特徴とする画像
データの特徴量検出装置。
【請求項２】前記画像入力手段が顔を含む領域を撮像
して顔画像を入力するものであり、前記判定対象抽出手
段は、顔画像の上方部と下方部を前記所定領域とし、前
記特徴量抽出手段が前記特徴量として顔幅を抽出するも
のであることを特徴とする請求項１記載の画像データの
特徴量検出装置。
【請求項３】前記画像入力手段が顔を含む領域を撮像
して顔画像を入力するものであり、前記判定対象抽出手
段は、顔画像の顔幅を残した範囲を前記所定領域とし、
前記特徴量抽出手段が前記特徴量として眼の位置を抽出
するものであることを特徴とする請求項１または２記載
の画像データの特徴量検出装置。
【請求項４】前記画像入力手段が、時系列に反復し
て、顔を含む領域を撮像して複数フレームの顔画像を入
力するものであり、前記判定対象抽出手段は、前回フレ
ームの顔画像に基づく前記眼の位置をもとに、眼の存在
領域を設定する存在領域設定手段を有し、該眼の存在領
域外を前記所定領域とするものであることを特徴とする
請求項３記載の画像データの特徴量検出装置。
【請求項５】前記特徴量抽出手段は、前記抽出された
眼のラベルの大きさに基づいて判定した開閉眼状態を前
記特徴量として含むものであることを特徴とする請求項
３または４記載の画像データの特徴量検出装置。
【請求項６】前記特徴量抽出手段は、前記抽出された
眼のラベルの大きさを時系列に学習し、前記開閉眼判定
の基準値を更新するものであることを特徴とする請求項
５記載の画像データの特徴量検出装置。
【請求項７】前記特徴量抽出手段は、前記学習に所定
時間を設定し、該所定時間経過時に前記更新された基準
値に基づき、学習が正しく行なわれたかどうかを判定す
る学習完了判定手段を備えていることを特徴とする請求
項６記載の画像データの特徴量検出装置。