JP3355076B2

JP3355076B2 - 顔画像処理装置

Info

Publication number: JP3355076B2
Application number: JP23728395A
Authority: JP
Inventors: 尋善鈴木
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1995-09-14
Filing date: 1995-09-14
Publication date: 2002-12-09
Anticipated expiration: 2015-09-14
Also published as: JPH0981756A

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は顔画像処理装置に関
し、特に撮影された人物の顔画像より目を抽出するため
の顔画像処理装置に関するものである。

【０００２】

【従来の技術】従来より、車両運転者の脇見、居眠り運
転等の運転状態を検出するため、運転者の顔を車両室内
に設けられたカメラで撮影し、得られた顔画像を処理し
て顔の特徴点である目を抽出する顔画像の処理装置が提
案されている。

【０００３】図３４乃至図３６は特開平6-32154号公報
に開示された従来の顔画像処理装置を示す図であって、
図３４は従来の顔画像処理装置の構成図であり、図３５
は従来の顔画像処理装置における運転者の状態を検出す
るためのフローチャート、図３６は従来装置における顔
画像とその２値画像である。

【０００４】以下、図３４乃至図３６を用いてかかる従
来例について説明する。

【０００５】図３４において、Ａは顔画像撮像部を示し
ており、この顔画像撮像部Ａは、カメラ１０１と、撮像
対象を照射するための光源１０２と、その光源１０２を
駆動する光源駆動回路１０３とからなる。カメラ１０１
は、CCD等よりなる２次元撮像素子１０１ａと、映像信
号処理回路１０１ｂと、撮像レンズ１０１ｃと、その撮
像レンズ１０１ｃの前面光軸上に配置された可視光カッ
トフィルタ１０１とを有する。光源駆動回路１０３は映
像信号処理回路１０１ｂの出力側に接続され、その明暗
出力が入力される。光源１０２は近赤外光源で、高輝度
の近赤外LEDを多数個並べた光源やハロゲンランプやキ
セノンランプの前に可視光カットフィルタが設けられて
いる。光源駆動回路１０３及び近赤外光源１０２は一体
化されてカメラ部１とは別に配置されている。

【０００６】Ｂは顔画像処理部を示し、この顔画像処理
部Ｂは、映像信号処理回路１０１ｂの出力側に入力され
てその映像出力が入力されるA/D変換器１００と、そのA
/D変換器の出力側に接続された画像メモリ１１０と、映
像信号処理回路１０１ｂのCCD撮像タイミング信号が入
力される入力インタフェース（I/F）１２０と、中央演
算素子（CPU）１３０と、リードオンリメモリ（ROM）１
４０と、ランダムアクセスメモリ（RAM）１５０と、出
力インタフェース（I/F）１６０とを有する。A/D変換器
１００、画像メモリ１１０、入力インタフェース１２
０、ROM１４０、RAM１５０、出力インタフェース１６０
はCPU１３０とバス１１０３０で接続されている。CPU１
３０は、ROM１４０に内蔵された制御プログラムを実行
して、後述する２値化手段、眼球存在領域設定手段、眼
球検出手段、瞬目検出手段、居眠り判定手段等の機能を
果たすものである。ｐは撮像対象の運転者を示してい
る。

【０００７】次に上記従来例の動作について説明する。
カメラ１０１のCCD１０１ａは日中は太陽光の可視光カ
ットフィルタ１０１を通過する太陽光の近赤外成分で運
転者ｐの顔画像を撮像し、映像信号処理回路１０１ｂで
映像信号に変換する。映像信号処理回路１０１ｂは画像
輝度を積分して平均画像輝度を求め、運転者ｐの周囲が
暗くなって平均画像輝度が所定値以下に低下した場合
に、暗状態出力を光源駆動回路１０３に送出して近赤外
光源１０２を点灯させて運転者の顔面周辺を照明するこ
とにより、カメラ１０１により同様に運転者ｐの顔画像
を撮像する。

【０００８】カメラ部１で撮像された運転者ｐの顔画像
の映像信号は、図３５において、先ず、ステップＳＴ１
００でA/D変換器１００によりA/D変換されてデジタル階
調画像に変換され、ステップ１１０で画像メモリ１１０
に記憶される。

【０００９】次に、ステップＳＴ１２０で２値化手段は
画像メモリ１１０に記憶した画像データを読み出して適
当な２値化閾値で２値化して２値画像に変換し、ステッ
プＳＴ１３０で眼球存在領域設定手段は顔の左右横方向
に白色画素を検索して連続白色画素領域の端部より顔の
横幅輪郭線を特定し、特定された顔の横幅輪郭線より眼
球存在領域の座標を設定し、ステップＳＴ１４０で眼球
検出手段は前記眼球存在領域内で黒色画素が連続した黒
色画素領域を検索し、検索した黒色画素領域の位置関係
や縦方向の黒色画素数に基づき眼球領域を検出する。

【００１０】最後に、ステップＳＴ１５０で瞬目検出手
段は検出された眼球領域内での縦方向黒色画素数に基づ
き目の開閉を検出し、ステップＳＴ１６０で居眠り判定
手段は検出した目の開閉状態に基づき居眠りを判定し、
居眠り状態と判定された場合に出力インタフェース１６
０より外部に警報信号を送出して運転者ｐに警報する。

【００１１】これら一連の動作は入力インタフェース１
２０より入力されたCCD撮像タイミング信号にあわせ
て、ROM１４０に記憶された命令によりCPU１３０で制御
され、RAM１５０は制御、演算中の一時的なデータの記
憶に用いられる。

【００１２】一方、図示しないが、論文「視線検出のた
めの瞳孔撮影光学系の設計法」（電子情報通信学会誌D-
II Vol.J74D-II No.6）で示されるように、カメラ１
０１の撮像軸に同軸な放射軸を持つ近赤外光源をカメラ
１０１に近接して配置して、この近赤外光源により照明
しつつ顔を撮像することにより、弱い照明でも網膜反射
によって人物の瞳孔が顕著に明るく撮影でき、２値化後
の白色画素を簡単な画像処理で検索して目の位置を検出
することができる。

【００１３】

【発明が解決しようとする課題】しかしながら、かかる
従来装置においては、日中に太陽光により顔を撮影する
場合には、太陽光による外乱、即ち太陽の高度や向き、
木漏れ日下走行時等の周囲環境等によっては顔に陰影が
生じ、２値化がうまくいかず目抽出が困難になるという
問題点があった。

【００１４】例えば、図３６は太陽光が運転席の斜め上
方から当たっており、顔の上半分が車体、あるいはサン
バイザの陰になっているような状態の運転者顔画像４１
０３を従来の方法で２値化した例を示しており、かかる
状態では顔の上下で画素レベルが大きく異なるため、明
るい部分の影響を受けて２値化閾値が上昇し、かかる２
値化閾値での２値化後の２値画像４１０２では鼻孔、口
裂は抽出されるが目、髪、眉を含む顔の上半分全体は一
つの黒色領域となってしまい目領域を分離して抽出する
ことができない。

【００１５】また、目領域を分離できた場合でも、顔輪
郭や個人により大きく異なる髪の領域が存在する顔画像
から目領域を特定しなければならず、画像処理アルゴリ
ズムが複雑で時間がかかるという問題点があった。

【００１６】また、夜間等の暗状態では光量の大きな近
赤外光源１０２を点灯して運転者ｐの顔面周辺を照明し
て顔を撮像しなければならないため、光源が大型となり
装置が大型且つ高価になるとともに、装置の消費電力が
大きいという問題点があった。

【００１７】また、上述の開示論文のように、カメラに
近接して弱い近赤外光源を設けて瞳孔を撮像するものに
おいては、日中は太陽光の近赤外成分により顔全体が映
ってしまうため瞳孔を分離して撮影することができず、
目抽出が困難になるという問題点があった。

【００１８】この発明は上記問題点を解決するために成
されたものであり、車載条件下など周囲の明るさや周囲
環境による光外乱に左右されることなく、人物の目領域
を簡単な画像処理アルゴリズムを用いて短時間で検出で
きる、小型且つ安価で低消費電力の顔画像処理装置を得
ることを目的としている。

【００１９】

【課題を解決するための手段】この発明の請求項１に係
わる顔画像処理装置は、人物の顔面を含む所定領域を撮
像する２次元撮像手段と、前記人物の顔面を含む所定領
域を照明する照明光の放射軸が前記２次元撮像手段の撮
像軸に同軸状に配置され、且つ前記２次元撮像手段に近
接配置された照明手段と、前記２次元撮像手段により得
られた前記人物の顔画像の顔縦方向に近い一方の画像軸
（Ｘ軸）方向の所定画素長以下の領域の黒レベルを抽出
する黒レベル抽出フィルタと、前記２次元撮像手段によ
り得られた前記人物の顔画像のＸ軸方向の所定画素長以
下の領域の白レベルを抽出する白レベル抽出フィルタ
と、前記黒レベル抽出フィルタと前記白レベル抽出フィ
ルタとを切り換えるフィルタ切り換え手段と、前記白レ
ベル抽出フィルタが選択された場合に前記照明手段を点
灯する照明制御手段と、前記フィルタ切り換え手段によ
り切り換えられた前記黒レベル抽出フィルタと前記白レ
ベル抽出フィルタとのいずれかの出力顔画像より前記人
物の目領域を検出する目検出手段とから構成される。

【００２０】この発明の請求項２に係わる顔画像処理装
置は、人物の顔面を含む所定領域を撮像する２次元撮像
手段と、前記人物の顔面を含む所定領域を照明する照明
光の放射軸が前記２次元撮像手段の撮像軸に同軸状に配
置され、且つ該２次元撮像手段に近接配置された照明手
段と、前記２次元撮像手段により得られた前記人物の顔
画像の一方の画像軸（Ｘ軸）方向の第一の所定画素長以
下の領域の黒レベルを抽出する第一の黒レベル抽出フィ
ルタと、前記顔画像の他方の画像軸（Ｙ軸）方向の第二
の所定画素長以下の領域の黒レベルを抽出する第二の黒
レベル抽出フィルタと、前記顔画像の少なくともＸ軸方
向の所定画素長以下の領域の白レベルを抽出する白レベ
ル抽出フィルタと、前記第一の黒レベル抽出フィルタあ
るいは第二の黒レベル抽出フィルタと前記白レベル抽出
フィルタとを切り換えるフィルタ切り換え手段と、前記
白レベル抽出フィルタが選択された場合に前記照明手段
を点灯する照明制御手段と、少なくとも前記第一の黒レ
ベル抽出フィルタと前記第二の黒レベル抽出フィルタの
出力顔画像とを重畳する画像重畳手段と、前記画像重畳
手段と前記白レベル抽出フィルタとのいずれか一方の出
力顔画像より前記人物の目領域を検出する目検出手段と
から構成される。

【００２１】この発明の請求項３に係わる顔画像処理装
置は、人物の撮像領域近傍の明るさあるいは撮像した人
物の顔画像の明るさを検出する明暗検出手段をさらに備
え、前記フィルタ切り換え手段は、前記明暗検出手段の
出力が明状態である場合に前記黒レベル抽出フィルタに
切り換え、前記明暗検出手段の出力が暗状態である場合
に前記白レベル抽出フィルタに切り換えるように構成さ
れる。

【００２２】この発明の請求項４に係わる顔画像処理装
置は、前記目検出手段による目領域の検出頻度を求める
目検出頻度算出手段をさらに備え、前記フィルタ切り換
え手段は、前記黒レベル抽出フィルタと前記白レベル抽
出フィルタの内の一方のレベル抽出フィルタの出力顔画
像における前記目領域の検出頻度が所定値以下である場
合に、他方のレベル抽出フィルタに切り換えるように構
成される。

【００２３】この発明の請求項５に係わる顔画像処理装
置は、前記フィルタ切り換え手段が、前記黒レベル抽出
フィルタの出力顔画像中の抽出画素領域の数あるいは面
積割合が所定値以下である場合に前記白レベル抽出フィ
ルタに切り換え、前記白レベル抽出フィルタの出力顔画
像中の抽出画素領域の数あるいは面積割合が前記所定値
以上である場合に前記黒レベル抽出フィルタに切り換え
るように構成される。

【００２４】この発明の請求項６に係わる顔画像処理装
置は、前記黒あるいは白レベル抽出フィルタの出力顔画
像のＸ軸に沿ってＹ軸方向の画素レベルを積算するＸ軸
ヒストグラムを算出し、前記Ｘ軸ヒストグラムの少なく
ともピークの数あるいはピーク領域の大きさにより出力
顔画像中の抽出画素領域の数あるいは面積割合を判定す
るように構成される。

【００２５】この発明の請求項７に係わる顔画像処理装
置は、前記黒レベル抽出フィルタが、入力画像の所定画
素長の画素レベルの最大値を前記所定画素長中の所定の
１画素の画素レベルとする最大値フィルタと、前記最大
値フィルタの出力の前記所定画素長の画素レベルの最小
値を前記所定の１画素の画素レベルとする最小値フィル
タと、前記最小値フィルタの出力画像と前記入力画像と
を差分する引き算器とからなり、前記白レベル抽出フィ
ルタが、所定画素長の画素レベルの最小値を前記所定画
素長中の所定の１画素の画素レベルとする最小値フィル
タと、前記最小値フィルタの出力の前記所定画素長の画
素レベルの最大値を前記所定の１画素の画素レベルとす
る最大値フィルタと、前記入力画像と前記最大値フィル
タの出力画像とを差分する引き算器とからなり、前記フ
ィルタ切り換え手段が、前記最大値フィルタと最小値フ
ィルタの接続順序及び引き算器の引き算の順序を切り換
えることにより、前記黒レベル抽出フィルタと白レベル
抽出フィルタとを切り換えるように構成される。

【００２６】この発明の請求項８に係わる顔画像処理装
置は、前記レベル抽出フィルタが、直列に二段に配置さ
れ、入力画像の所定画素長の画素レベルの最大値あるい
は最小値のいずれかの極値を前記所定画素長中の所定の
１画素の画素レベルとする最大最小値フィルタと、前記
直列に二段配置された前記最大最小値フィルタの後段の
出力画像と前記入力画像とを差分する引き算器とからな
り、前記フィルタ切り換え手段が、前記二段配置された
最大最小値フィルタの互いに異なる極値を、一段目を最
大値側とし二段目を最小値側とするか、あるいは一段目
を最小値側とし二段目を最大値側とするように切り換
え、且つ前記引き算器の引き算の順序を切り換えること
により前記黒レベル抽出フィルタと前記白レベル抽出フ
ィルタを切り換えるように構成される。

【００２７】

【００２８】

【００２９】

【００３０】

【００３１】

【００３２】

【００３３】

【００３４】

【００３５】

【００３６】

【００３７】

【００３８】

【発明の実施の形態】以下、本発明の実施の形態を添付
図面により説明する。

【００３９】実施の形態１．図１乃至図７はこの発明の
顔画像処理装置の一実施の形態を示すものであり、車両
運転者の居眠り運転等の運転状態の検出に応用した顔画
像処理装置の実施の形態を示している。図１はこの実施
の形態による顔画像処理装置を含む運転者の状態検出装
置の概略構成図、図２はこの顔画像処理装置を用いた運
転者状態検出のフローチャート、図３は画像処理回路の
回路ブロック図、図４は黒レベル抽出フィルタの作用説
明図、図５は黒レベル抽出フィルタ処理した２値顔画
像、図６は夜間撮影時の入力顔画像と白レベル抽出フィ
ルタ処理した２値顔画像、図７は最大値（MAX）フィル
タの回路構成図である。

【００４０】以下、この実施の形態による顔画像処理装
置の構成について説明する。図１において、ａは撮像
部、ｂは画像処理部、ｐは撮像対象としての運転者を示
している。撮像部ａは、運転者ｐの顔面を含む所定領域
を撮像するカメラ１と、夜間等運転者ｐの周囲が暗状態
の場合に運転者ｐの顔面を含む所定領域を照明する照明
手段としての近赤外照明２と、後述する中央演算素子
（CPU）からの出力を受け近赤外照明２を点灯あるいは
消灯する照明制御手段３と、運転者ｐの撮像領域近傍の
明るさを検出する明暗検出手段としての照度センサとか
ら構成される。カメラ１は、Ｘ軸方向（水平走査軸方
向）７６８×Ｙ軸方向（垂直走査軸方向）４９３の計３
８万画素を有する２次元撮像手段としてのCCD１ａと、
映像信号処理回路１ｂと、撮像レンズ１ｃと、その撮像
レンズ１ｃの前面光軸上に配置された可視光カットフィ
ルタ１ｄとを有する。カメラ１はダッシュボード上ある
いはインスツルメントパネル部等に配置して、前方より
運転者ｐの顔を顔縦方向がＸ軸方向となる向きで撮影す
る。撮影角度は顔の正面やや斜め下からが目領域抽出の
ために最も有利である。近赤外照明２は、照明の放射軸
がカメラ１の撮像軸に略同軸状に配置され、且つカメラ
１に近接して配置されている。近赤外照明２は、光出力
が数ｍＷ以下の小型の近赤外LEDをカメラ１に前述のご
とく近接して数個設けて運転者ｐを照明する。あるい
は、図示しないが照明手段として、カメラ１の撮像軸上
にハーフミラーを設けて光軸を２分し、一方の光軸上に
近赤外LEDを配置してハーフミラーを介して撮像軸と略
同軸状に運転者ｐを照明するような同軸照射照明手段を
用いることもできる。照度センサ４は車両のダッシュボ
ードや後部窓下部等車両周囲の明るさを判定できる場所
に設置される。

【００４１】画像処理部ｂは、映像信号処理回路１ｂや
照度センサ４の出力側に接続され、映像信号処理回路１
ｂのCCD撮像タイミング信号や照度センサ４の出力が入
力される入力インタフェース（I/F）１０と、映像信号
処理回路１ｂの出力側に接続され、その映像出力が入力
されるA/D変換器１１と、そのA/D変換器１１の出力に接
続されたゲートアレイやディジタルシグナルプロセッサ
（DSP）等からなる画像処理回路２０と、その画像処理
回路２０に接続された画像メモリ１２と、照明制御手段
３に制御信号を送出する出力インタフェース（I/F）１
３と、中央演算素子（CPU）１４と、各種のプログラム
あるいは数値が記憶されているリードオンリメモリ（RO
M）１５と、演算中の値を一時的に記憶保持するランダ
ムアクセスメモリ（RAM）１６と、後段の種々の機器に
接続される出力インタフェース（I/F）１７とから構成
される。入力インタフェース（I/F）１０、A/D変換器１
１、画像処理回路２０、画像メモリ１２、出力インタフ
ェース（I/F）１３、ROM１５、RAM１６、出力インタフ
ェース（I/F）１７はCPU１４とバス１８により接続され
ている。

【００４２】尚、カメラ１及びA/D変換器１１は本発明
の画像入力手段を構成する。また、CPU１４はROM１５に
記憶された制御プログラムを実行して、後述する明暗検
出手段、目領域検出手段、瞬目検出手段、居眠り判定手
段等の機能を果たすものである。

【００４３】図２は運転者状態検出のフローチャートで
あり、本図を基に実施の形態１の動作につき説明する。
先ず、ステップＳＴ１０で画像入力手段はカメラ１で撮
影された顔画像（例えば顔画像４７）の映像信号を顔画
像処理装置ｂのA/D変換器１１によりA/D変換しディジタ
ル階調画像に変換して、画像処理回路２０に出力する。
かかる顔画像の撮像時の初期状態においては近赤外照明
２は消灯されている。

【００４４】次に、ステップＳＴ１１においてノイズ除
去手段としての画像処理回路２０によりＸ軸方向の隣接
した３画素の画素レベルを平均化し、高空間周波数のノ
イズを除去して、画像のざらつきを少なくした後、ステ
ップＳＴ１２で明暗検出手段は入力インタフェース１０
より照度センサ４の出力を読みとり、ステップＳＴ１３
で運転者の周囲環境が夜間、トンネル内等暗い状態即ち
前記出力が暗状態であるか否かを判定する。ここで、暗
状態でなければ、ステップＳＴ１４で後述する黒レベル
抽出フィルタ２３（図３）は画像中よりＸ軸方向の所定
画素長以下の領域の黒レベルを抽出するとともに、ステ
ップＳＴ１５で近赤外照明２が点灯されていれば、次の
サイクルの撮像に備えて出力インタフェース１３より照
明制御手段３に消灯信号を送出して近赤外照明２を消灯
し、暗状態であれば、ステップＳＴ１６で同じく後述す
る白レベル抽出フィルタ２４（図３）は画像中よりＸ軸
方向の所定画素長以下の領域の白レベルを抽出するとと
もに、ステップＳＴ１７で近赤外照明２が消灯されてい
れば、次のサイクルの撮像に備えて同様に照明制御手段
３に点灯信号を送出して近赤外照明２を点灯する。

【００４５】続いて、ステップＳＴ１８において２値化
手段は黒レベル抽出フィルタ２３あるいは白レベル抽出
フィルタ２４通過後の画像を浮動２値化して２値画像に
変換する。上記の黒レベル抽出フィルタ２３、白レベル
抽出フィルタ２４及び２値化手段は、後述のごとく画像
処理回路２０内にハードウェアにより構成されている。

【００４６】次に、ステップＳＴ１９において、画像処
理回路２０から出力された２値画像は２値形式のフレー
ムメモリとして画像メモリ１２に記憶される。ステップ
ＳＴ２０において、目領域検出手段はかかる画像メモリ
１２に記憶された画像データを処理して画像中より目領
域を検出し、ステップＳＴ２１において、瞬目検出手段
は目領域検出手段により検出された目領域の画像データ
により目の開閉を判定する。ステップＳＴ２２におい
て、居眠り判定手段は、瞬目検出手段により検出された
目の開閉パターンから居眠り状態の有無を判定し、居眠
り状態と判定した場合、出力インタフェース１７に信号
を送り出し、例えば出力インタフェース１７に接続した
図示しない警報手段で運転者に警報を発するようにす
る。

【００４７】これら一連の動作はCCD撮像タイミング信
号にあわせて、ROM１５に記憶された命令によりCPU１４
で制御され、RAM１６は制御、演算中の一時的なデータ
の記憶、保持に用いられる。

【００４８】次に、レベル抽出フィルタにつき図３以降
を用いてさらに詳細に説明する。図３は画像処理回路２
０のブロック図であり、２１は３画素平均化フィルタ
で、前述のごとく高周波ノイズ成分を除去して入力画像
のざらつきをなくし、２２はレベル抽出フィルタの切り
換え手段であり、明暗検出手段の出力でスイッチＳＷ１
によりフィルタを黒レベル抽出フィルタ２３と白レベル
抽出フィルタ２４のいずれかに切り換える。

【００４９】黒レベル抽出フィルタ２３は最大値（MA
X）フィルタ２０１ａ、最小値(MIN）フィルタ２０２
ａ、引き算器２０３ａよりなる。先ず、最大値フィルタ
２０１ａは画像走査軸に沿ってある着目画素の前後のフ
ィルタ長である所定画素長の各画素の画素レベルの最大
値を前記着目画素の値とし、次に最小値フィルタ２０２
ａは最大値フィルタ２０１ａの出力画像より、ある着目
画素の左右の前記フィルタ長の各画素の画素レベルの最
小値を前記着目画素の値とし、最後に引き算器２０３ａ
で最小値フィルタ２０２ａの出力画像より入力画像を引
き算することにより、入力画像中より前記所定画素長以
下の黒レベルのみを抽出する。

【００５０】他方、白レベル抽出フィルタ２４は最小値
フィルタ２０２ｂ、最大値フィルタ２０１ｂ、引き算器
２０３ｂよりなる。先ず、最小値フィルタ２０２ｂで同
様にフィルタ長である所定画素長の各画素の画素レベル
の最小値をとり、次に最大値フィルタ２０１ｂで最小値
フィルタ２０２ｂの出力画像より前記フィルタ長の各画
素の画素レベルの最大値をとり、最後に入力画像より最
大値フィルタ２０１ｂの出力画像を引き算するようにし
て、入力画像中より前記所定画素長以下の白レベルのみ
を抽出する。

【００５１】かかる黒、白レベル抽出フィルタ２３、２
４の出力画像は、２値化手段２６と２値化閾値演算手段
２５とに入力され、画像レベルより２値化閾値演算手段
２５により２値化閾値SHLが算出され、かかる２値化閾
値SHLにより２値化手段２６で２値化されて２値画像に
変換される。

【００５２】ここで、黒レベルの抽出フィルタ２３のフ
ィルタ長は、画像上での平均的な目の上下幅に余裕度を
掛けた画素長とし、本実施の形態では３０画素長の値を
用いている。また、白レベル抽出フィルタ２４のフィル
タ長は、画像上での平均的な瞳孔直径に同様に余裕度を
掛けた画素長とし、本実施の形態では２０画素長の値を
用いている。

【００５３】図４は、従来例では２値化に失敗した日中
の顔画像４７の同一部分（線AOA'上）の画素レベルを、
本実施の形態において黒レベル抽出フィルタ２３を通過
後、２値化するまでの各段階での変化を示している。３
画素平均化フィルタ２１を通過した画像ｆ１の画素レベ
ルは、最大値フィルタ２０１ａ、最小値フィルタ２０２
ａを通過後の画像ｆ２では、フィルタ長以下の画素レベ
ルがフィルタ長で切ったレベルに固定され、さらに画像
ｆ２から引き算器２０３ａで画像ｆ１の画素レベルを引
くと、画像ｆ３に示すように前記フィルタ長以下の領域
の黒レベルのみが抽出される。従って、２値化閾値演算
手段２５により演算された閾値で２値化手段２６により
画像ｆ３を２値化して得られた２値画像ｆ４は、図５の
２値画像４０にも示すように、入力顔画像中より眉、
目、鼻孔、口裂のみが抽出された２値画像となる。

【００５４】従って、太陽光による外乱即ち、太陽の高
度や向き、木漏れ日下走行時等の周囲環境等によっては
顔に陰影が生じるような場合でも、画像４０のように
眉、目、鼻孔、口裂という顔の特徴領域がはっきり抽出
されるという利点がある。また、前記目の上下幅により
設定したフィルタ長に対して顔縦方向に広い黒領域は抽
出されないため、髪形等個人差の大きな頭髪部をはじめ
から除去でき、顔の個人差の影響を受けにくいという利
点もある。また、前述のごとく個人差の大きな頭髪部を
除いて顔の特徴領域がはっきり抽出されるため、比較的
簡単なアルゴリズムで顔画像より目を短時間で検出でき
る。さらに、画像状態に応じてレベル抽出フィルタを切
り換えて目を精度良く検出する。

【００５５】図６は運転者ｐの周囲が暗い状態で近赤外
照明２を点灯させて運転者ｐを撮像した顔画像であり、
近赤外照明２の出力が小さいため顔は撮像されないが、
瞳孔は網膜反射により図のごとく明るく撮像される。こ
のような場合には、図２のステップＳＴ１２において明
暗検出手段の出力によりフィルタ切り換え手段でスイッ
チＳＷ１が白レベル抽出フィルタ２４の側に切り換えら
れ、前記設定フィルタ長より上述のように白レベル抽出
処理が行われて２値画像４２に示すように瞳孔のみが抽
出され、かかる瞳孔がステップＳＴ２０で目領域検出手
段により目として検出される。

【００５６】従って、夜間等の暗状態でも光量の小さな
近赤外照明２のみで運転者ｐの顔面周辺を照明して顔を
撮像すればよいため、光源が小型で且つ安価になるとと
もに、消費電力が小さいという利点がある。

【００５７】図７は最大値フィルタ２０１の回路構成図
である。最大値フィルタ２０１は、１画素ずつ画素を遅
延する画素遅延回路３０（図では遅延回路３０の一部を
略している）と、遅延後の画素と遅延前の画素のレベル
を比較して大きいレベルを出力する比較回路３１とから
なっている。入力端子DATA INからの画像入力信号を画
素遅延回路３０により制御端子CLOCKからの制御信号の
タイミングで１画素遅延しつつ、比較回路３１により隣
接する画素レベルを順次トーナメント形式で比較してい
き、最終的にフィルタ出力FLT OUTから、図では遅延回
路３１の両端の節の数である２０画素長の最大値が出力
される。最小値フィルタ２０２も最大値フィルタ２０１
と同様の回路で構成されているが、比較回路３１は遅延
後の画素と遅延前の画素のレベルを比較して小さいレベ
ルを出力するものであり、最終的にフィルタ出力FLT O
UTから、同じく２０画素長の最小値が出力される。即
ち、最大値フィルタ２０１及び最小値フィルタ２０２
は、上記のように簡単な回路構成のハードウエアであ
り、また、引き算器２０３及び２値化手段２６もハード
ウエアで構成され画像の走査と同一制御タイミングで処
理されるため、目の検出のための顔の特徴領域抽出が安
価にできるとともに、レベル抽出フィルタ処理、２値化
処理がリアルタイムで高速に実行できる。

【００５８】実施の形態２．上記実施の形態１において
は、レベル抽出フィルタの切り換えに用いる明暗検出手
段として照度センサ４を用いた場合を示したが、照度セ
ンサ４のような運転者ｐの周囲の明るさを検知する検知
手段を用いずに、撮像した顔画像自体の明るさより明暗
判定を行ってもよい。

【００５９】例えば、顔画像の映像信号をA/D変換した
ディジタル階調画像の画像レベルを全画素あるいは所定
画素範囲にわたって積分して画像平均輝度を求め、かか
る画像平均輝度で明暗判定をしてもよいし、図示しない
が、カメラ１の映像信号処理回路１ｂに一般的に具備さ
れている、画像輝度を基に映像信号の利得を制御する自
動利得制御（AGC）回路の制御信号やCCD１ａの画像蓄積
時間を制御する電子シャッター回路の出力を、A/D変換
器１１や入力インタフェース１０に入力して画像処理部
ｂに取り込み、これらの信号より、例えばシャッター速
度が1/60秒即ち開放状態で且つAGC制御信号が制御範囲
を逸脱して高利得側に張り付いている場合を暗状態と
し、それ以外の状態を明状態とする明暗判定を行っても
よい。かかる場合においても実施の形態１と同等の効果
を奏する。

【００６０】実施の形態３．上記実施の形態１において
は黒レベル抽出フィルタ２３と白レベル抽出フィルタ２
４を各々別回路で構成した例を示したが、最大値フィル
タ２０１及び最小値フィルタ２０２を各１回路配置し、
かかる回路の接続順序を切り換えて上記２種類のレベル
抽出フィルタを構成することもできる。

【００６１】図８は本発明の実施の形態３の画像処理回
路の回路ブロック図であり、フィルタ切り換え手段２２
によってスイッチＳＷ１、ＳＷ２を切り換えると共に引
き算器２０３の引き算順序を切り換えることにより、黒
レベル抽出フィルタ２３と白レベル抽出フィルタ２４と
を構成する。図８のスイッチＳＷ１、ＳＷ２の位置は黒
レベル抽出フィルタ２３を構成した場合を示しており、
図示するごとく３画素平均化フィルタ２１の出力画像即
ちレベル抽出フィルタへの入力画像が、最大値フィルタ
２０１、最小値フィルタ２０２の順に処理され、引き算
器２０３で前記入力画像より最小値フィルタ２０２の出
力画像が引き算されることにより黒レベル抽出フィルタ
として機能する。フィルタ切り換え手段２２によりスイ
ッチＳＷ１、ＳＷ２を反転させ、引き算順序を上記と切
り換えれば、入力画像は最小値フィルタ２０２、最大値
フィルタ２０１の順に処理され、引き算器２０３で最大
値フィルタ２０１の出力画像より前記入力画像が引き算
されて白レベル抽出フィルタ２４として機能する。

【００６２】かかる実施の形態によれば、最大値フィル
タ２０１、最小値フィルタ２０２、引き算器２０３を各
々１ずつ省略できるため、回路規模が簡略化され装置を
より安価に製造できるという利点がある。

【００６３】実施の形態４．上記実施の形態３では、最
大値フィルタ２０１及び最小値フィルタ２０２の接続順
序を切り換えることにより２種類のレベル抽出フィルタ
を構成した場合を示したが、最大値フィルタ２０１、最
小値フィルタ２０２の回路構成が同等であることに着目
して、１種類のフィルタ回路で前記２種類のレベル抽出
フィルタを構成ですることもきる。

【００６４】図９は本発明の実施の形態４の画像処理回
路の回路ブロック図、図１０は最大最小値（MAX／MIN）
フィルタ２０４の回路構成図である。図１０において
は、実施の形態１の図７と異なり、最大最小値フィルタ
２０４の各比較回路３２には、遅延回路３０の入出力画
素レベルの大小のいずれをとるかを選択する制御信号MA
X／MINが入力されている。図１０において、制御信号MA
X／MINがMAX側にある場合には、各比較回路３２は遅延
回路３０の入出力画素レベルの大きな方を選択するた
め、トーナメント比較階層の最終段出力であるフィルタ
出力FLT OUTからはフィルタ長の画素レベルの最大値が
出力される。逆に、制御信号MAX／MINがMIN側にある場
合には、各比較回路３２は遅延回路３０の入出力画素レ
ベルの小さな方を選択するため、出力FLT OUTからはフ
ィルタ長の画素レベルの最小値が出力される。即ち最大
最小値フィルタ２０４は制御信号MAX／MINの切り換えに
より最大値フィルタ、最小値フィルタの双方の機能を持
つ。

【００６５】図９に示すように、この実施の形態４の画
像処理回路２０ａでは、かかる最大最小値フィルタ２０
４を２つ直列に接続し、フィルタ切り換え手段２２で制
御信号MAX／MIN及び引き算器２０３の引き算順序を切り
換えて黒レベル抽出フィルタ２３と白レベル抽出フィル
タ２４とを構成する。即ち、黒レベル抽出フィルタ２３
として機能させたい場合は、１段目の最大最小値フィル
タ２０４をMAX側に、２段目の最大最小値フィルタ２０
４をMIN側にし、白レベル抽出フィルタ２４として機能
させたい場合は各段の最大最小値フィルタ２０４を各々
逆側に切り換える。このとき引き算器２０３の引き算順
序も実施の形態２と同様に切り換える。

【００６６】即ち、かかる実施の形態においても実施の
形態３と同様の効果が得られるとともに、フィルタ切り
換え用のスイッチＳＷ１、ＳＷ２が省略でき、また同一
の回路を使用するためより回路を簡略化できる。

【００６７】実施の形態５．図１１乃至図１６は本発明
の実施の形態５を表しており、この実施の形態５は２種
類のレベル抽出フィルタのフィルタ切り換えを運転者ｐ
の顔画像からの目検出結果を基に行うようにしたもので
ある。図１１はこの実施の形態５の顔画像処理装置を用
いた運転者状態検出のフローチャート、図１２はレベル
抽出フィルタを黒レベル抽出あるいは白レベル抽出に切
り換えるフィルタ型切換判定手段のフローチャート、図
１３は目領域検出手段のフローチャートであり、図１４
乃至図１６は目領域検出の画像での説明図で、図１４は
黒レベル抽出フィルタ処理した２値顔画像のＸ、Ｙ軸ヒ
ストグラム、図１５は目の候補領域のＸ軸ヒストグラ
ム、図１６は白レベル抽出フィルタ処理した２値顔画像
のＸ、Ｙ軸ヒストグラムを各々示している。

【００６８】以下、本実施の形態について上記各図を用
いて説明する。図１１において、先ずステップＳＴ３０
で装置起動時の初期設定状態であるか否かを判定し、初
期設定状態であれば、ステップＳＴ３１でレベル抽出フ
ィルタを先ず黒レベル抽出フィルタ２３とし、ステップ
ＳＴ３２で近赤外照明２を消灯しておく。初期設定状態
でなければ、ステップＳＴ３３で後述するフィルタ型切
換判定手段のルーチンにおいて設定されるフィルタ切り
換えフラグ（FLAG）が立っている（ON）か否（OFF）か
を判定し、フィルタ切り換えFLAGがONであれば、ステッ
プＳＴ３４でレベル抽出フィルタをもう一方に切り換え
るとともに、ステップＳＴ３５で近赤外照明２の点灯、
消灯を切り換える。フィルタ切り換えFLAGがOFFであれ
ば、上記ステップＳＴ３４、ステップＳＴ３５を省略す
る。

【００６９】次に、図２と同様のステップＳＴ１０から
ステップＳＴ１１まで及びステップＳＴ１８からステッ
プＳＴ１９までの処理を行った後、ステップＳＴ２０に
おいて、後述する目領域検出手段がレベル抽出フィルタ
処理後の２値顔画像より目を検出し、ステップＳＴ３６
でフィルタ型切換判定手段が目の検出結果に基づきレベ
ル抽出フィルタを切り換えるべきか否かを判定してフィ
ルタ切り換えFLAGを出力する。最後に、図２と同様にス
テップＳＴ２１からステップＳＴ２２までを実行する。

【００７０】フィルタ型切換判定手段の処理ルーチンは
以下の通りである。図１２において、先ず、ステップＳ
Ｔ３６０で目領域検出手段により判定された目検出FLAG
の状態を調べ、目検出FLAGがONであればステップＳＴ３
６１でFLAG状態数NEFを１インクリメントし、OFFであれ
ばステップＳＴ３６２でNEFを１デクリメントする。即
ち、FLAG状態数NEFは２値顔画像における所定の画像数N
での目の検出成績を表しており、NEF＝Nが検出確率１０
０％、NEF＝０が検出確率５０％を示す。

【００７１】次に、ステップＳＴ３６３で所定期間経過
したか否かを画像数で判定し、所定画像数N以上となっ
た場合には、ステップＳＴ３６４でFLAG状態数NEFが最
低許容目検出確率に相当するMINNEF以下であるか否かを
判定し、MINNEF以下であった場合には、目の検出上現状
のレベル抽出フィルタ処理が適合していないとして、ス
テップＳＴ３６５でフィルタ切り換えFLAGをONにする。
NEFがMINNEFを越えていた場合には、現状のレベル抽出
フィルタ処理が適合しているとして、ステップＳＴ３６
６でフィルタ切り換えFLAGをONにする。最後に、ステッ
プＳＴ３６７でFLAG状態数NEFを０にリセットする。ス
テップＳＴ３６３において所定画像数Nを経過していな
い場合には、ステップＳＴ３６４からステップＳＴ３６
７までを省略してメインルーチンへ戻る。

【００７２】２値顔画像よりの目検出は以下のように行
われる。図１３において、先ず、画像メモリ１３に記憶
された２値画像データを読み出し、ステップＳＴ２００
で各画像軸Ｘ、Ｙ方向に沿った画素を画像軸Ｙ、Ｘの各
位置について積算したＸ軸ヒストグラムSUMX、Ｙ軸ヒス
トグラムSUMYをそれぞれ求め、ステップＳＴ２０１で、［式１］ XFC＝ΣｉＸｉSUMX（Ｘｉ）／ΣｉSUMX（Ｘ
ｉ） YFC＝ΣjＹjSUMX（Ｙj）／ΣjSUMX（Ｙj）として顔重心FCの位置座標（XFC，YFC）を算出する。こ
こでΣｉSUMX（Ｘｉ）＝ΣjSUMX（Ｙj）であり、ΣjSUM
X（Ｙj）は実際には計算を要しない。図１４に黒レベル
抽出フィルタ２３で処理した２値画像４０、図１６に白
レベル抽出フィルタ２３で処理した２値画像４２の各々
SUMX、SUMY、顔重心FC４０１を示している。

【００７３】次に、ステップＳＴ２０２でレベル抽出フ
ィルタ処理が明状態処理即ち黒レベル抽出フィルタ処理
であるか否かを調べ、明状態処理の場合には、ステップ
ＳＴ２０３以降を実行する。

【００７４】図１４に示すように、黒レベル抽出フィル
タ２３で処理された２値画像４０においては、頭髪を除
いた眉、目、鼻孔、口裂という顔の特徴領域が抽出され
るため、顔重心FC４０１の近くに略左右対称に目領域が
存在する。そこで、ステップＳＴ２０３で顔重心位置座
標（XFC，YFC）を基に一組の矩形の候補存在領域４０２
を設定して目の候補の検索領域を限定し、ステップＳＴ
２０４で候補存在領域４０２内のＹ軸ヒストグラムSUMY
が所定の閾値SHL以上の領域EABを候補領域４０３として
設定する。図では眉領域に相当するEAB1と目領域に相当
するEAB2が設定される。

【００７５】続いて、ステップＳＴ２０５で候補領域EA
B４０３中に目領域が存在するか否かを判定する。目領
域の判定方法は、図１５に示すように、候補存在領域４
０２内の各候補領域EAB４０３のＸ軸ヒストグラムSUMX
を求め、その最大値SUMXMAXと半値幅EAWを基に目領域を
判定する。目領域は、図示のごとく、顔の他の特徴領域
に比べ最大値SUMXMAXが大きく、半値幅EAWが小さいとい
う特徴があり、かかる特徴に着目して目領域を判定して
いる。他方の候補存在領域４０２内の各候補領域EAB４
０３についても同様の判定が行われる。

【００７６】最後に、ステップＳＴ２０５で目領域が存
在すると判定した場合には、ステップＳＴ２０６で目検
出FLAGをONにし、逆に目領域が存在しないと判定した場
合には、ステップＳＴ２０７で目検出FLAGをOFFにして
処理をメインルーチンに戻す。

【００７７】他方、ステップＳＴ２０２でレベル抽出フ
ィルタ処理が明状態処理でない場合、即ち白レベル抽出
フィルタ処理の場合には、ステップＳＴ２０８以降を実
行する。図１６に示すように、白レベル抽出フィルタ２
４で処理された２値画像４２においては、殆ど瞳孔領域
のみが抽出されており、やはり顔重心FC４０１の近くに
略左右対称に瞳孔領域が存在する。そこで、ステップＳ
Ｔ２０８で前述と同様に顔重心FC４０１を基に一組の矩
形の候補存在領域４０２を設定して瞳孔の候補の検索領
域を限定し、ステップＳＴ２０９で同様に候補領域EAB
４０３を設定し、ステップＳＴ２１０で候補領域EAB４
０３中より瞳孔領域を判定する。瞳孔領域は、候補領域
EAB４０３のＸ軸ヒストグラムSUMXの幅と、Ｙ軸ヒスト
グラムSUMYの幅と、その比及び一組の候補存在領域４０
２内のＸ軸ヒストグラムSUMXのピーク位置YPR、YPL間の
距離DOEより判定している。

【００７８】最後に、ステップＳＴ２１０で瞳孔領域が
存在すると判定した場合には、同様にステップＳＴ２０
６で目検出FLAGをONにし、逆に瞳孔領域が存在しないと
判定した場合には、同様にステップＳＴ２０７で目検出
FLAGをOFFにして処理をメインルーチンに戻す。

【００７９】かかる実施の形態においても、実施の形態
１と同様の効果があるとともに、２種類のレベル抽出フ
ィルタのフィルタ切り換えをその結果である顔画像より
の目検出結果でフィードバックして行うようにしたた
め、レベル抽出フィルタの選定が的確にでき、より確実
に目が検出できるという利点がある。

【００８０】実施の形態６．実施の形態５では２種類の
レベル抽出フィルタのフィルタ切り換えを顔画像よりの
目検出結果を基に行うようにしたが、目検出の前段階で
フィルタ切り換えの判定が可能である。

【００８１】図１７及び図１８は本発明の実施の形態６
を表しており、この実施の形態６はレベル抽出フィルタ
の出力顔画像中の抽出画素領域の割合によりレベル抽出
フィルタの切り換えを行うようにしたものである。図１
７は実施の形態６の顔画像処理を用いた運転者状態検出
のフローチャート、図１８は図１７のフィルタ切換型判
定手段のフローチャートである。

【００８２】図１７において、図１１のステップＳＴ３
０からステップＳＴ３５まで、ステップＳＴ１０からス
テップＳＴ１１まで及びステップＳＴ１８からステップ
ＳＴ１９までの処理を行った後、ステップＳＴ４０で後
述するフィルタ型切換判定手段が、レベル抽出フィルタ
の出力顔画像中の抽出画素領域の割合によりレベル抽出
フィルタを切り換えるべきか否かを判定してフィルタ切
り換えFLAGを出力する。

【００８３】フィルタ型切換判定手段の処理ルーチンは
以下のようである。図１８において、先ず、ステップＳ
Ｔ４００で２値画像データを読み出し、２値画像のＸ軸
ヒストグラムSUMX、Ｙ軸ヒストグラムSUMYを求め、ステ
ップＳＴ４０１でＸ軸ヒストグラムSUMX、Ｙ軸ヒストグ
ラムSUMYにおける極大ピークの内各々極大値が所定の閾
値SHLX、SHLY（図示せず）を越える極大ピークの数NP
X、NPYを求める。かかるピーク数NPX、NPYは後述のごと
くレベル抽出フィルタ処理した２値画像の複雑さを示す
ものである。

【００８４】次に、ステップＳＴ４０２でレベル抽出フ
ィルタ処理が明状態処理か否かを調べ、明状態処理の場
合はステップＳＴ４０３以降でピーク数NPX、NPYの数を
調べる。日中の明るい状態で黒レベル抽出フィルタ２３
処理された２値画像では、図１４に示すように、顔の各
特徴領域に相当する黒画素領域が多数抽出され、ヒスト
グラムSUMX、SUMYの大きな極大ピークが４カ所以上存在
する。しかしながら、周囲が暗くなると入力画像のコン
トラストが極めて悪化するため、全体に幅の広い黒領域
となって、黒レベル抽出フィルタ２３の処理では、全く
黒画素領域が抽出されないか、黒画素領域が抽出されて
も抽出画像のコントラストが極めて小さく２値化ができ
ないため、抽出領域の数が少なくなる。従って、ヒスト
グラムSUMX、SUMYの大きな極大ピークは出現しないか、
出現しても極めて数が少なくなる。

【００８５】そこでステップＳＴ４０３において、先ず
Ｘ軸ヒストグラムSUMXのピーク数NPXが所定値NPXB以下
か否かを調べ、NPXB以下であれば、ステップＳＴ４０４
でＹ軸ヒストグラムSUMYのピーク数NPYが所定値NPYB以
下か否かを調べ、NPYB以下であれば、レベル抽出フィル
タが画像状態に適合していないとしてステップＳＴ４０
５でフィルタ切り換えFLAGをONにし、これ以外の場合に
は、ステップＳＴ４０６でフィルタ切り換えFLAGをOFF
にして、メインルーチンに戻す。

【００８６】他方、ステップＳＴ４０２でレベル抽出フ
ィルタ処理が明状態処理でない場合には、ステップＳＴ
４０７以降でピーク数NPX、NPYの数を調べる。夜間等の
暗い状態で白レベル抽出フィルタ２４により処理された
２値画像では、図１６に示すように、殆ど瞳孔領域の白
画素領域のみが抽出され、ヒストグラムSUMX、SUMYの大
きな極大ピークの数は極めて少ない。しかしながら、周
囲が明るくなると太陽光により顔の造作が映る状態とな
り、瞳孔領域が相対的に暗く撮像され、白レベル抽出フ
ィルタ２４の処理では額や頬の一部、鼻頭、白目領域等
の白画素領域が抽出されるようになって、抽出領域の数
が増え、SUMX、SUMYは多数のピークを持つ複雑なヒスト
グラムとなる。

【００８７】そこでステップＳＴ４０７において、先ず
Ｘ軸ヒストグラムSUMXのピーク数NPXが所定値NPXD以上
か否かを調べ、NPXD以上であれば、ステップＳＴ４０８
でＹ軸ヒストグラムSUMYのピーク数NPYが所定値NPYD以
上か否かを調べ、NPYD以上であれば、レベル抽出フィル
タがやはり画像状態に適合していないとしてステップＳ
Ｔ４０５でフィルタ切り換えFLAGをONにし、これ以外の
場合は、ステップＳＴ４０６でフィルタ切り換えFLAGを
OFFにして、メインルーチンに戻す。

【００８８】次に、図１７のメインルーチン上のステッ
プＳＴ４１でフィルタ切り換えFLAGがONか否かを調べ、
ONであれば画像状態が前述のごとく目検出に適合してい
ないため、ステップＳＴ２０の目領域検出手段を省略し
てステップＳＴ４２で目検出FLAGをOFFにして後処理に
移る。フィルタ切り換えFLAGがOFFであれば、ステップ
ＳＴ２０の目領域検出手段を実行後、後処理に移る。

【００８９】かかる実施の形態においても、実施の形態
５と同様の効果があるとともに、レベル抽出フィルタ処
理が目の検出に適合していない場合には、目領域検出手
段を省略して処理するようにするとともに、ハードウエ
ア化による高速処理が容易なヒストグラム演算の結果で
レベル抽出フィルタの切り換え判定を行うようにしたた
め、顔画像処理がより高速化されるという利点がある。

【００９０】実施の形態７．尚、上記実施の形態におい
ては、Ｘ軸ヒストグラムSUMX、Ｙ軸ヒストグラムSUMYの
各所定閾値SHLX、SHLY以上の極大ピークのピーク数NP
X、NPYによりレベル抽出フィルタの切り換え判定をする
ようにしたが、前記極大ピークのピーク数NPX、NPYと各
極大値PXi、PYiの双方で評価関数を作成し、かかる評価
関数で切り換え判定をするようにしてもよい。図示しな
いが、例えば評価関数EFとして、k1、k2を所定の重み係
数とした、［式２］ EF＝k1＊（NPX＋NPY）＋k2＊Σi（Pxi＋Py
i）を用いて、明状態処理時には、前記EFが所定値以下であ
ればフィルタ切り換えFLAGをONにし、暗状態処理時に
は、前記EFが所定値以上であればフィルタ切り換えFLAG
をONにする。

【００９１】さらに、レベル抽出フィルタ処理後の２値
画像において、画像の全画素数NTに対する画像中の２値
レベルの和ΣNの比ΣN／NTの大小、即ち画像中における
抽出領域の面積の割合SDにより、前記SDが明状態処理時
には所定値以下、暗状態処理時には所定値以上であれ
ば、フィルタ切り換えFLAGをONにするようにしてもよ
い。また、抽出領域の数をラベリング等他の画像処理手
段を用いて算出して切り換え判定するようにしてもよ
い。かかる実施の形態においても、実施の形態６と同様
の効果を奏する。

【００９２】実施の形態８．図１９乃至図２３は本発明
の実施の形態８を表しており、この実施の形態８は、レ
ベル抽出フィルタのフィルタ長を運転者ｐとカメラ１と
の距離に応じて可変にすることにより目をより精度良く
抽出する顔画像処理装置の例を示すものである。図１９
は実施の形態８の顔画像処理を用いた運転者状態検出の
フローチャート、図２０は図１９におけるフィルタ長設
定手段のフローチャート、図２１は運転者ｐと撮像部
ａ’との距離検出部の構成図、図２２は可変長フィルタ
を含む画像処理回路の回路ブロック図、図２３はフィル
タ長可変MAXあるいは最小値フィルタの回路構成図であ
る。

【００９３】以下、本実施の形態を上記各図を用いて説
明する。図１９において、最初に、ステップＳＴ５０で
フィルタ長設定手段によりレベル抽出フィルタのフィル
タ長を設定する。

【００９４】画面中での顔画像の大きさは運転者ｐと撮
像部ａ’との距離Ｌに反比例することから、レベル抽出
フィルタ長が一定の場合には、距離Ｌが近い場合、目領
域の画面での大きさがフィルタ長より大きくなって目領
域が抽出されなくなる。

【００９５】そこで図２０に示すように、フィルタ長設
定手段は、先ずステップＳＴ５００で運転者ｐと撮像部
ａ’との距離Ｌを検出し、ステップＳＴ５０１で黒レベ
ル抽出フィルタ長BFL、白レベル抽出フィルタ長DFLを、
予め記憶された平均的運転姿勢から求めた基準距離Ｌ
０、その基準距離Ｌ０での平均的顔画像より求めた各レ
ベル抽出フィルタの基準長BFL0、DFL0を基にして、各々［式３］ BFL＝BFL0＊Ｌ０／Ｌ DFL＝DFL0＊Ｌ０／Ｌにより算出し、ステップＳＴ５０２で前記フィルタ長BF
L、DFLに最も近いフィルタ長に設定されるよう、後述す
るマルチプレクサの制御コードであるフィルタナンバー
BN、DNを選定するとともに、ステップＳＴ５０３でフィ
ルタ長切り換えFLAGをONにしてメインルーチンに戻す。

【００９６】運転者ｐと撮像部ａ’との距離Ｌは、図２
１に示すように、撮像部ａ’に設けられた距離検出部５
により検出される。距離検出部５は近赤外光源５１、バ
ンドパスフィルタ５２、レンズ５３、一次元光位置検知
素子（PSD）５４、距離演算回路５５からなっている。
ここで、一次元光位置検知素子（PSD）５４は素子上へ
の光の入射位置に応じた電気出力を生じる受光素子であ
り、バンドパスフィルタ５２は近赤外光源５１の波長に
合わせた透過帯を持ち、近赤外光源５１とレンズ５３の
光軸は平行で基準長DBだけ離れている。

【００９７】かかる構成にて、近赤外光源５１の放射光
を運転者ｐに当て、運転者ｐからの拡散反射光をバンド
パスフィルタ５２を介してレンズ５３により一次元光位
置検知素子（PSD）５４上に集光させる。距離Ｌは一次
元光位置検知素子（PSD）５４上の集光位置DXより、三
角測量の原理を用いて距離演算回路５５で、［式４］Ｌ＝ｆ＊DB／DX として求めて、実施の形態１と同様の画像処理部ｂ（図
１）に距離Ｌのデータを送出する。

【００９８】図１９において、ステップＳＴ５０で上述
のごとくレベル抽出フィルタのフィルタ長を設定し、図
２と同様のステップＳＴ１０からステップＳＴ１２まで
を実行した後、ステップＳＴ５１で運転者の周囲環境が
暗状態であるか否かを判定し、暗状態でなければ、ステ
ップＳＴ５２でフィルタ長切り換えFLAGがONか否かを調
べる。ONであれば、ステップＳＴ５３で黒レベル抽出フ
ィルタ２３をフィルタ長設定手段で設定したフィルタ長
BFL対応のフィルタナンバーBNに切り換え、ONでなけれ
ば、ステップＳＴ５３を省略して以前の設定フィルタ長
のままとし、ステップＳＴ５４で黒レベル抽出フィルタ
２３により画像中より前記フィルタ長BFL以下の領域の
黒レベルを抽出し、ステップＳＴ５５で近赤外照明２を
消灯する。

【００９９】ステップＳＴ５１で暗状態と判定された場
合は、同様にステップＳＴ５６でフィルタ長切り換えFL
AGがONか否かを調べ、ONであれば、ステップＳＴ５７で
白レベル抽出フィルタ２４をフィルタ長DFL対応のフィ
ルタナンバーDNに切り換え、ONでなければ、ステップＳ
Ｔ５７を省略して以前の設定フィルタ長のままとし、ス
テップＳＴ５８で白レベル抽出フィルタ２４により画像
中より前記フィルタ長DFL以下の領域の白レベルを抽出
し、ステップＳＴ５９で近赤外照明２を点灯する。この
後、実施の形態１のステップＳＴ１８以下と同じ処理を
行ってメインルーチンを終了する。

【０１００】図２２に示すように、この実施の形態の画
像処理回路２０ｂの黒レベル抽出フィルタ２３ａ及び白
レベル抽出フィルタ２４ａは上記各実施の形態と同様に
ハードウエアで構成されており、黒レベル抽出フィルタ
２３ａは、フィルタ長BFL切り換え手段２７ａの出力側
に接続された最大値フィルタ２０５ａ及び最小値フィル
タ２０６ａと引き算器２０３ａとよりなり、白レベル抽
出フィルタ２４ａは、同じくフィルタ長BFL切り換え手
段２７ｂの出力側に接続された最小値フィルタ２０６ｂ
及び最大値フィルタ２０５ｂと引き算器２０３ｂとより
なる。

【０１０１】黒レベル抽出フィルタ２３ａは、先ず最大
値フィルタ２０５ａによりフィルタ長BFL切り換え手段
２７ａで指定されたフィルタナンバーBNに相当する画素
長の画素レベルの最大値をとり、次に最小値フィルタ２
０６ａにより最大値フィルタ２０５ａの出力画像より、
同様にフィルタナンバーBNに相当する画素長の画素レベ
ルの最小値をとり、最後に引き算器２０３ａで最小値フ
ィルタ２０６ａの出力画像より入力画像を引き算するよ
うにして、入力画像中より前記フィルタナンバーBNで指
定した画素長以下の黒レベルのみを抽出する。

【０１０２】他方、白レベル抽出フィルタ２４ａは、最
小値フィルタ２０６ｂで同様にフィルタ長DFL切り換え
手段２７ｂで指定されたフィルタナンバーDNに相当する
画素長の画素レベルの最小値をとり、次に最大値フィル
タ２０５ｂで最小値フィルタ２０６ｂの出力画像より、
フィルタナンバーDNに相当する画素長の画素レベルの最
大値をとり、最後に入力画像より最大値フィルタ２０５
ｂの出力画像を引き算するようにして、入力画像中より
前記フィルタナンバーDNで指定した画素長以下の白レベ
ルのみを抽出する。

【０１０３】この実施の形態の画像処理回路２０ｂの上
記以外の構成、作用は実施の形態１の画像処理部２０の
構成と同様である。

【０１０４】図２３はかかるフィルタ長可変のMAXある
いは最小値フィルタの回路構成図を示しており、３３は
マルチプレクサで、ここでは５つの画素遅延回路３０の
内の３つの画素遅延回路３０の入出力４つの内より１つ
を選択して出力するマルチプレクサ３３を６回路用いた
最大値フィルタの例を示している。各マルチプレクサ３
３には、フィルタ長をフィルタナンバーとして指定する
制御信号MPCNTが入力されており、比較回路３１は各５
つの画素遅延回路３０の入力とマルチプレクサ３３の出
力をトーナメント形式で比較して大きい側の画素レベル
を出力する。

【０１０５】かかる回路において、制御信号MPCNTがフ
ィルタナンバー１を指示した場合には、先ず１段目のマ
ルチプレクサ３３は最初の画素より５画素遅延した画素
レベルを出力し、１段目の比較回路３１は前記最初の画
素と前記５画素遅延した画素とを比較して大きい方の画
素レベルを出力し、２段目の比較回路３１は１段目の比
較結果とさらに５画素遅延した２段目のマルチプレクサ
３３の出力を比較し、このような具合に順次トーナメン
ト形式で比較していって最終的に出力FLT OUTより５画
素飛びに比較した３１画素長の最大値が出力される。例
えば、フィルタナンバー３を指示した場合には、３画素
飛びに比較した１９画素長の最大値が出力される。即
ち、かかる最大値フィルタでは制御信号MPCNTによりフ
ィルタ長が１３画素長より３１画素長まで６画素長おき
に４段階に可変される。

【０１０６】尚、フィルタ長可変の最小値フィルタも比
較回路３１で小さい側の画素レベルを出力するようにし
て、同様に構成される。

【０１０７】かかる実施の形態においては、運転者ｐと
撮像部ａ’との距離Ｌに応じ画面中での顔画像の大きさ
に合わせてレベル抽出フィルタのフィルタ長を変化させ
るようにしたため、運転者の運転姿勢に係わらず目を確
実に検出できるという利点がある。

【０１０８】尚、上記実施の形態においては、フィルタ
長可変の黒レベル抽出フィルタ２３ａ、白レベル抽出フ
ィルタ２４ａをフィルタ長制御信号MP CNTを設けた別
々の最大値フィルタ２０５ａ、２０５ｂ、最小値フィル
タ２０６ａ、２０６ｂを用いて構成した場合を示した
が、実施の形態３の図８の最大値フィルタ２０１、最小
値フィルタ２０２あるいは、実施の形態４の図９の最大
最小値フィルタ２０４をフィルタ長制御信号MP CNTを
設けたフィルタで構成して黒レベル抽出と白レベル抽出
を切り換えるようにしてもよい。

【０１０９】実施の形態９．上記各実施の形態において
は、運転者ｐと撮像部ａ、ａ’との距離Ｌを距離センサ
を用いて直接検出する場合につき示したが、距離Ｌを間
接的に求めるようにしても良い。

【０１１０】図２４は運転席の模式図、図２５は距離Ｌ
算出のフローチャートであり、６は距離検出部で、運転
席のシート座部６１の前後方向位置Ｘがシート座部６１
に内蔵された変位センサ６２で求められ、シート背もた
れ部６３の角度θがシート座部６１とシート背もたれ部
６３のピボット部に内蔵された角度センサ６４により求
められて、画像処理装置ｂに送出されて距離Ｌが演算さ
れる。

【０１１１】画像処理部ｂでは、図２５に示す距離Ｌ演
算ルーチンにおいて、ステップＳＴ５０００で変位セン
サ６２よりシート位置Ｘを、ステップＳＴ５００１で角
度センサ６４よりシート角度θを読み込み、ステップＳ
Ｔ５００２で運転者ｐと撮像部ａとの距離Ｌが、予め記
憶されているシート座部６１の基準位置Ｘ0、シート背
もたれ部６３のヘッドレスト部までの長さHL、人の頭の
平均的な前後厚HD、撮像装置ａの仰角φを用いて、［式５］Ｌ＝（Ｘ＋Ｘ0＋HL＊sinθ−HD）／cosφ で算出される。かかる実施の形態においても、実施の形
態８と同様の効果を奏する。

【０１１２】実施の形態１０．図２６及び図２７は本発
明の実施の形態１０を表しており、この実施の形態１０
はレベル抽出フィルタのフィルタ長を画像中での目領域
あるいは瞳孔領域の大きさに応じて可変にすることによ
り、目をより精度良く抽出する顔画像処理装置の例を示
すものである。図２６は実施の形態１０のフィルタ長設
定手段のフローチャート、図２７はフィルタ長設定手段
におけるフィルタ長学習手段のフローチャートである。

【０１１３】以下、本実施の形態を上記各図を用いて説
明する。図２６において、先ずステップＳＴ５１０で顔
画像処理装置が起動直後状態であるか否かを調べ、起動
直後であればステップＳＴ５１１で黒レベル抽出フィル
タ２３、白レベル抽出フィルタ２４のフィルタ長を予め
記憶している各初期値FL0に設定する。初期値FL0は黒レ
ベル抽出フィルタ２３、白レベル抽出フィルタ２４につ
き顔画像上での各々人の平均的な開眼時の目領域の上下
幅、瞳孔の直径に相当する画素長に各々所定の係数を掛
けた値に設定する。

【０１１４】装置が起動直後でなければ、ステップＳＴ
５１２で装置起動後所定時間経過しているか否かを調べ
る。運転者の覚醒が低下すると、開眼時においても次第
に上瞼が下がって目領域の上下幅が小さくなるが、これ
に合わせてフィルタ長を短くしていくと、何らかの刺激
で一時的に運転者の覚醒水準が上がり、目領域の上下幅
が突然大きくなった場合には、レベル抽出フィルタでの
目の抽出ができなくなる。そこで、レベル抽出フィルタ
長の設定を装置起動後の運転者の覚醒状態において行
い、装置起動後から所定時間経過した時、ステップＳＴ
５１３でフィルタ長切り換えFLAGをOFFにし、これ以降
のフィルタ長の更新を禁止する。装置起動後所定時間経
過していなければ、ステップＳＴ５２０で後述するフィ
ルタ長学習手段の処理ルーチンを行う。

【０１１５】次に、ステップＳＴ５２１で所定の画像数
Ｎ処理したか否かを判定し、画像処理数がＮに達してい
ない場合には、ステップＳＴ５２２で一つ前の画像での
目検出手段ＳＴ２０における目検出FLAGがONであるか否
かを判定し、ONである場合には、ステップＳＴ５２３で
目検出FLAG状態数NEFを１インクリメントし、ONでない
場合には、ステップＳＴ５２４でNEFを１デクリメント
した後、ステップＳＴ５１３でフィルタ長切り換えFLAG
をOFFしてメインルーチンに戻す。

【０１１６】画像処理数がＮに達した場合には、ステッ
プＳＴ５２５で所定画像数Ｎ内での目の検出成績を表す
目検出FLAG状態数NEFを前回のFLAG状態数NEFOLDと比較
し、NEFがNEFOLDより大ならば、フィルタ長切り換えに
よる効果が見られるものとして、より検出成績が向上す
ることを期待してステップＳＴ５２６で前記フィルタ長
学習手段で求めたフィルタ長FLに対応するフィルタナン
バーFNを選択し、ステップＳＴ５２７でフィルタ長切り
換えFLAGをONにしてフィルタ長を変え、逆にNEFがNEFOL
D以下ならば、ステップＳＴ５２８でフィルタ長切り換
えFLAGをOFFにする。最後に、ステップＳＴ５２９でNEF
をNEFOLDに代入してNEFOLDを更新するとともに、NEFを
クリアしてメインルーチンに戻す。

【０１１７】フィルタ長学習手段の処理ルーチンは図２
７に示す通りであり、ここでは黒レベル抽出フィルタ２
３により処理した画像につき説明する。先ず、ステップ
ＳＴ５２００で目検出FLAGがONか否か、ステップＳＴ５
２０１で目領域が開眼状態であるか否かを調べ、目検出
FLAGがONで目領域が開眼状態である場合のみ以下の処理
を実行し、そうでない場合にはファイル長設定手段のル
ーチンに戻す。

【０１１８】ステップＳＴ５２０２では、目領域検出手
段によりＳＴ２０で検出された２値顔画像の目領域の
内、開眼状態の目領域の顔縦方向のヒストグラム、即ち
Ｘ軸ヒストグラムSUMXの最大値SUMXMAXの最新の記憶値M
SUMXMAXを読み出す。図１５に示すように、SUMXMAXは開
眼時の目領域の上下幅の画素長に等しい。次に、ステッ
プＳＴ５２０３で同様に最新の開眼状態の目領域のSUMX
MAXを読み出し、ステップＳＴ５２０４でSUMXMAXより記
憶値MSUMXMAXを引き算し、ステップＳＴ５２０５でSUMX
MAXが記憶値MSUMXMAXより大ならば、ステップＳＴ５２
０６でMSUMXMAXをSUMXMAXで更新する。

【０１１９】最後に、ステップＳＴ５２０７で画像数が
所定の画像数Ｎに達したか否かを調べ、上記画像数がＮ
以上である場合には、ステップＳＴ５２０８で画像数Ｎ
における開眼状態の目の上下幅の画素長の最大値を示す
MSUMXMAXに所定の余裕幅FLOを加えた画素長FLを黒レベ
ル抽出フィルタ２３のフィルタ長FLとして設定し、ステ
ップＳＴ５２０９でMSUMXMAXをクリアする。画像数がＮ
に達しない場合には、ファイル長設定手段のルーチンに
戻す。画像数Ｎは学習の効果を見ながら数百から千程度
の任意の値に設定しておけばよい。

【０１２０】前述したごとく、上記においては黒レベル
抽出フィルタ２３にて処理した目領域の検出結果より黒
レベル抽出フィルタ２３のフィルタ長FLを設定する場合
につき示したが、白レベル抽出フィルタ２４のフィルタ
長FLについても、白レベル抽出フィルタ２４で処理した
画像につき上記と同じ処理を行って、開眼と判定された
瞳孔領域のヒストグラムの画像数Ｎでの最大値MSUMXMAX
を用いて全く同様に設定できる。

【０１２１】かかる実施の形態においては、レベル抽出
フィルタのフィルタ長を目領域検出手段で検出された目
領域の上下幅あるいは瞳孔領域の大きさの関数値として
設定したため、運転者の目の大きさの個人差による影響
を排除して目を確実に検出できるという利点がある。

【０１２２】また、前記関数値を目領域検出手段で検出
された目領域の上下幅あるいは瞳孔領域の大きさの所定
期間における最大値を基に設定したため、運転者の目の
動きに拘わらず目をより確実に検出できるという利点が
ある。

【０１２３】また、目検出の頻度の向上、低下を学習し
フィルタ長の設定の更新を決定するようにしたため、目
検出の頻度が最も高くなる最適なフィルタ長の設定が可
能となる。

【０１２４】さらに、顔画像処理装置の起動後の運転者
の覚醒度の高い所定期間のみフィルタ長の更新を行い、
以後は最新の更新フィルタ長を用いるようにしたため、
運転者の覚醒が低下した状態でも、誤り無く目を確実に
検出できるという利点がある。

【０１２５】尚、上記実施の形態においては、フィルタ
長FLを目領域の上下幅あるいは瞳孔領域の大きさの所定
期間における最大値に所定値を加えた値としたが、前記
最大値に所定係数を掛けた値等、前記最大値を基にした
他の関数形を用いても良い。

【０１２６】実施の形態１１．図２８は本発明の実施の
形態１１を表しており、この実施の形態１１は、目領域
の上下幅あるいは瞳孔領域の大きさの所定期間における
最大頻度値を基にレベル抽出フィルタのフィルタ長FLを
設定する場合を示している。

【０１２７】図２８は、実施の形態１１におけるフィル
タ長学習手段のフローチャートであり、先ず実施の形態
１０と同様に、ステップＳＴ５２２０で目検出FLAGがON
か否か、ステップＳＴ５２２１で目領域が開眼状態であ
るか否かを調べ、目検出FLAGがONで目領域が開眼状態で
ある場合のみ、ステップＳＴ５２２３で目領域あるいは
瞳孔領域のＸ軸ヒストグラムSUMXの最大値SUMXMAXを読
み出す。次いで、ステップＳＴ５２２３でSUMXMAXの度
数分布HIST（SUMXMAX）を演算し、ステップＳＴ５２２
４で画像数がＮに達したことを判定する。ステップＳＴ
５２２５で所定画像数Ｎ内でのSUMXMAXの度数分布HIST
の最大値をMHISTとし、度数分布HISTの標準偏差をSHIST
として、ステップＳＴ５２２６でレベル抽出フィルタの
フィルタ長FLを、所定の重み係数K1、K2を用いて、［式６］ FL＝K1＊MHIST＋K2＊SHIST により設定する。最後に、ステップＳＴ５２２７で度数
分布HISTをクリアしておく。かかる実施の形態において
も、実施の形態１０と同等の効果を奏する。

【０１２８】上記実施の形態では、フィルタ長FLを所定
期間における目領域の上下幅あるいは瞳孔領域の大きさ
の最大頻度値及び標準偏差を基に設定した場合を示した
が、最大頻度値のみを用いて設定しても良いし、最大頻
度値の代わりに度数分布HISTの平均値あるいは中央値
を、標準偏差の代わりに分散を用いても良い。この場
合、重み係数K1、K2は当然、用いる特性値により変更さ
れる。

【０１２９】上記実施の形態１０、１１においては、レ
ベル抽出フィルタのフィルタ長を目の検出結果による画
像中での目領域あるいは瞳孔領域の大きさに応じて可変
にするようにしたが、運転者ｐとカメラ１との距離Ｌに
応じて先ずフィルタ長を変更させた後、前記目の検出結
果によるフィルタ長の可変を行うようにしてもよい。

【０１３０】実施の形態１２．図２９はレベル抽出フィ
ルタのフィルタ長を可変する他の構成の可変MAXあるい
は最小値フィルタの回路構成図である。最大値フィルタ
とするか最小値フィルタとするかは、前述のごとく、比
較回路３１で大きい側の画素レベルを出力させるか、小
さい側の画素レベルを出力させるかにより変更される
が、以下最大値フィルタとして説明する。

【０１３１】図２９では、全画素長２０の最大値を出力
するよう１９階層の二つの入力の大きい側の画素レベル
を出力する比較回路３１を設け、比較回路３１の９、１
１、１３、１５、１７、１９階層目の出力をマルチプレ
クサ３３に入力して、マルチプレクサ３３よりかかる６
入力の内の一つをFLT OUTとして出力する最大値フィル
タの例を示している。

【０１３２】かかる回路において、制御信号MPCNTが例
えばフィルタナンバー４を指示した場合には、１３階層
目の比較回路３１の出力が選択され１４階層目以降は無
視されるため、出力FLT OUTより連続した１４画素長の
最大値が出力される。また、フィルタナンバー１では、
最高階層の比較出力が選択されて連続した２０画素長の
最大値が出力される。即ち、かかる可変長フィルタでは
制御信号MPCNTによりフィルタ長が１０画素長より２０
画素長まで２画素長おきに６段階に可変される。

【０１３３】かかる実施の形態においても、実施の形態
８と同じように可変フィルタ長のレベル抽出フィルタを
構成できるのみでなく、実施の形態８の図２３に示され
る可変MAXあるいは最小値フィルタに比較し、連続した
画素の最大あるいは最小を検出するため画像分解能が落
ちず、また、回路構成の複雑なマルチプレクサ３３が一
つで済むため全体の回路構成を簡略化でき、フィルタ回
路を安価に構成できるという利点がある。

【０１３４】実施の形態１３．図３０はレベル抽出フィ
ルタのフィルタ長を可変にするさらに他の構成の可変MA
Xあるいは最小値フィルタの回路構成図である。図３０
において、スイッチ３４には、比較回路３１の出力信号
と比較回路３１の後側の入力信号とが接続され、デコー
ダ３５の１ビット制御信号に応じて、制御信号が１であ
れば前記比較回路３１の後側の入力信号を、０であれば
前記比較回路３１の出力信号を出力する。即ち、デコー
ダ３５の制御信号が１であれば、かかる制御信号が入力
されたスイッチ３４以前の比較結果が無視される構成と
なっている。図３０では、かかる比較回路３１とスイッ
チ３４の組が４層積層されている。デコーダ３５には、
フィルタ制御コード信号CODEが入力され、コード信号CO
DEに従って４つのスイッチ３４の一つに１を出力する。

【０１３５】かかる回路において、例えばコード信号CO
DEが２層目のスイッチ３４を１とした場合、４層目の比
較回路３１の出力が無視されるため、最初の画素より４
画素遅延した画素がフィルタの入力画素となり、これ以
降の遅延画素で比較が行われるため、フィルタ長は１６
画素長となる。即ち、かかる可変長フィルタでは、コー
ド信号CODEによりフィルタ長が１２画素長より１８画素
長まで２画素長おきに４段階に可変される。

【０１３６】かかる実施の形態においても、実施の形態
１２と同様の効果を奏するのみでなく、回路構成の複雑
なマルチプレクサ３３を使用しないため全体の回路構成
をさらに簡略化でき、フィルタ回路をさらに安価に構成
できるという利点がある。

【０１３７】実施の形態１４．図３１及び図３２は本発
明の実施の形態１４を表しており、この実施の形態１４
は顔画像の画像軸の両方にレベル抽出フィルタ処理を行
って目を検出する顔画像処理装置の例を示すもので、図
３１は実施の形態１４の顔画像処理を用いた運転者状態
検出のフローチャート、図３２は実施の形態１４の顔画
像処理の画像での説明図である。以下、本実施の形態を
上記各図と前述の図を援用して説明する。

【０１３８】図３１において、先ず、ステップＳＴ１０
よりステップＳＴ１２を実行後、ステップＳＴ１３で明
暗検出手段の出力が暗状態であるか否かを判定し、暗状
態でなければ階調画像信号は２分されて、一方の階調画
像信号は、ステップＳＴ６０で画像上での目の上下幅よ
り広い所定画素長のフィルタ長を有する第一の黒レベル
抽出フィルタ２３で画像中よりＸ軸方向の前記フィルタ
長以下の領域の黒レベルを抽出するとともに、ステップ
ＳＴ１５で近赤外照明２を消灯し、ステップＳＴ１８に
おいて２値化手段で前記第一の黒レベル抽出フィルタ２
３通過後の画像を浮動２値化して２値画像に変換し、ス
テップＳＴ１９において、２値画像は２値画像フレーム
メモリに記憶される。他方の階調画像信号は、ステップ
ＳＴ６１において画像フレームメモリに一旦記憶され、
ステップＳＴ６２で前記画像フレームメモリをＸ軸に垂
直なＹ軸方向に走査して、画像上での黒目領域の直径よ
り広い所定画素長のフィルタ長を有する第二の黒レベル
抽出フィルタ２３で画像中よりＹ軸方向の前記フィルタ
長以下の領域の黒レベルを抽出し、ステップＳＴ１５で
近赤外照明２を消灯し、ステップＳＴ１８において２値
化手段で前記第二の黒レベル抽出フィルタ２３通過後の
画像を浮動２値化して２値画像に変換する。

【０１３９】次に、ステップＳＴ６３で画像論理積演算
手段により、前記２値画像フレームメモリに記憶された
Ｘ軸方向のレベル抽出処理後の２値画像を、前記Ｙ軸方
向のレベル抽出処理後の２値画像のＹ軸方向に同期走査
して、これら二つの２値画像の画像論理積を演算し、か
かる演算結果によりステップＳＴ１９で前記２値画像フ
レームメモリの内容を更新する。

【０１４０】ステップＳＴ１３で明暗検出手段の出力が
暗状態であれば、ステップＳＴ１６で画像上での瞳孔直
径により広い所定画素長のフィルタ長を有する白レベル
抽出フィルタ２４で画像中よりＸ軸方向の前記フィルタ
長以下の領域の白レベルを抽出するとともに、ステップ
ＳＴ１７で近赤外照明２を点灯し、ステップＳＴ１８に
おいて２値化手段で白レベル抽出フィルタ２４通過後の
画像を浮動２値化して２値画像に変換し、ステップＳＴ
１９において２値画像フレームメモリに記憶する。

【０１４１】続いて、ステップＳＴ２０において、目領
域検出手段は更新された２値画像フレームメモリに記憶
された画像データを処理して画像中より目領域を検出
し、目領域検出結果に基づき実施の形態１と同様にステ
ップＳＴ２１、２２が処理され、運転者の居眠り状態の
有無を判定して運転者に警報を発する。

【０１４２】図３２は眼鏡を着装した運転者ｐの明状態
での顔画像の、画像処理の各段階での変化を示したもの
である。ステップＳＴ６０において第一の黒レベル抽出
フィルタ処理されステップＳＴ１８で２値化された２値
顔画像４４は、入力画像である原画４３に対しＸ軸方向
に目の上下幅よりかなり広い黒領域である髪、眼鏡の横
枠部分等が除去される。これに対して、ステップＳＴ６
２で第二の黒レベル抽出フィルタ処理されステップＳＴ
１８で２値化された２値顔画像４５は、Ｙ軸方向に黒目
幅よりかなり広い黒領域である髪、眉、口裂、眼鏡の縦
枠部分等が除去されている。ステップＳＴ６３において
かかる二つの２値顔画像４４、４５を論理積演算した差
分画像４６は、図３２に示すように、二つの２値顔画像
４４、４５の黒領域の共通部分である目の黒目領域の部
分、眼鏡枠の一部、鼻孔のみが残る単純な画像となる。

【０１４３】かかる実施の形態においても、実施の形態
１と同様の効果が得られるとともに、顔画像の２軸方向
に各々レベル抽出フィルタ処理を施すことにより、眼鏡
を着装した顔画像等においても、目を含む顔の特徴領域
をより単純な形で抽出できるため、簡単なアルゴリズム
で顔画像から目をより短時間で精度良く検出できる。

【０１４４】また、上記実施の形態においては、明暗検
出手段の出力により黒あるいは白レベル抽出フィルタに
切り換えたが、実施の形態５と同様に運転者ｐの顔画像
よりの目検出結果を基にフィルタの切り換えを行うよう
にしてもよいし、実施の形態６と同様レベル抽出フィル
タの出力顔画像中の抽出画素領域の割合によりフィルタ
の切り換えを行うようにしてもよい

【００１４５】実施の形態１５．上記実施の形態１４に
おいては、目領域検出手段の検出結果に応じて２軸方向
の各レベル抽出フィルタのフィルタ長を所定の一定長と
したが、実施の形態１０、１１等に示すように、前記フ
ィルタ長を目領域検出手段の検出結果に応じて可変にし
てもよい。

【０１４６】図３３は、このような例を示す本発明の実
施の形態１５を表しており、この実施の形態１５におけ
るレベル抽出フィルタのフィルタ長の設定を説明する目
の候補存在領域４０２のＸ、Ｙ軸ヒストグラムである。

【０１４７】ステップＳＴ２０において、目領域検出手
段は画像フレームメモリに記憶された２値画像４６を実
施の形態５と同様に処理して、目の候補存在領域４０２
を設定する。次に、候補存在領域４０２中でＸ軸方向及
びＹ軸方向に各々画素レベルを積算してＸ軸ヒストグラ
ムSUMX及びＹ軸ヒストグラムSUMYを求め、SUMX、SUMYが
所定閾値SHL以上の領域を目の候補領域４０４とする。
目領域は、実施の形態５における瞳孔領域の抽出と同様
に、候補領域４０４のＸ軸ヒストグラムSUMXとＹ軸ヒス
トグラムSUMYを求め、SUMX、SUMYの幅とその比、及び一
組の候補存在領域４０２内のＸ軸ヒストグラムSUMXのピ
ーク位置とその間の距離より判定する。

【０１４８】続いて、目領域と判定された候補領域４０
４の前記SUMX及びSUMYの各最大値SUMXMAX及びSUMYMAXを
求め、SUMXMAXを用いて実施の形態１０と同様にして第
一の黒レベル抽出フィルタのフィルタ長を目領域の上下
幅の学習値に基づいて設定し、SUMYMAXを用いて同様に
して第二の黒レベル抽出フィルタのフィルタ長を目領域
の左右幅即ち黒目領域の直径の学習値に基づいて設定し
て、かかる可変長レベル抽出フィルタによる抽出画像よ
り目を検出する。白レベル抽出フィルタに関しても、実
施の形態１０と同様にして瞳孔の大きさの学習値に基づ
いてフィルタ長を設定する。

【０１４９】かかる実施の形態においては、レベル抽出
フィルタのフィルタ長を目検出手段で検出された目領域
の上下幅、左右幅あるいは瞳孔領域の大きさの関数値と
して設定したため、実施の形態１０と同様、運転者の目
の大きさの個人差、運転者の目の動きに拘わらず目を確
実に検出できるという利点がある。

【０１５０】上記実施の形態においては、レベル抽出フ
ィルタのフィルタ長を目の検出結果を基に変更するよう
にしたが、運転者ｐとカメラ１との距離Ｌに応じて先ず
フィルタ長を変更させた後、前記目の検出結果によるフ
ィルタ長の可変を行うようにしてもよい。

【０１５１】尚、上記各実施の形態においてはカメラに
CCD固体撮像素子を用いた場合を示したが、他の固体撮
像素子あるいは撮像管を用いても良く、また本発明を自
動車の運転者状態の検出用の顔画像処理装置につき示し
たが、撮影された人物の顔画像より目を抽出するための
他の顔画像処理装置にも適用できる。

【０１５２】

【発明の効果】この発明は以上説明したように構成され
ているため、以下に示すような効果を奏する。

【０１５３】この発明に係わる顔画像処理装置は、フィ
ルタ切り換え手段により、顔画像を処理するレベル抽出
フィルタを黒レベル抽出フィルタあるいは白レベル抽出
フィルタに切り換え、黒レベル抽出フィルタに切り換え
た場合は、２次元撮像手段により人物の顔画像を撮像し
てその顔画像を黒レベル抽出フィルタに入力し、また白
レベル抽出フィルタに切り換えた場合には、人物の顔面
を含む所定領域を照明する照明光の放射軸が前記２次元
撮像手段の撮像軸に略同軸状で且つ近接配置された照明
手段により照明しつつ、該２次元撮像手段により人物の
顔画像を撮像して前記顔画像を白レベル抽出フィルタに
入力して、前記いずれかのレベル抽出フィルタの出力画
像を基にして目領域検出手段により前記人物の目領域を
検出するようにしたので、車載条件下等の周囲の明るさ
や周囲環境による光外乱に左右されることなく、人物の
目領域を簡単な画像処理アルゴリズムを用いて短時間で
検出できる、小型且つ安価で低消費電力の顔画像処理装
置を提供することができる。

【０１５４】また、顔画像を処理するレベル抽出フィル
タを、黒レベル抽出フィルタあるいは白レベル抽出フィ
ルタにフィルタ切り換え手段により切り換え、黒レベル
抽出フィルタに切り換えた場合には、２次元撮像手段に
より人物の顔画像を撮像してその顔画像を第一の黒レベ
ル抽出フィルタと第二の黒レベル抽出フィルタに入力
し、白レベル抽出フィルタに切り換えた場合には、人物
の顔面を含む所定領域を照明する照明光の放射軸が前記
２次元撮像手段の撮像軸に略同軸状で且つ近接配置され
た照明手段により照明しつつ、前記２次元撮像手段によ
り人物の顔画像を撮像して前記顔画像を白レベル抽出フ
ィルタに入力し、黒レベル抽出フィルタの場合には、前
記二つの黒レベル抽出フィルタの出力画像を画像重畳手
段により重畳し、前記画像重畳手段あるいは前記白レベ
ル抽出フィルタの出力画像を基に目領域検出手段により
前記人物の目領域を検出するようにしたので、眼鏡等を
着装した複雑な顔においても、簡単なアルゴリズムで顔
画像から目をより短時間で精度良く検出できる。

【０１５５】さらに、明暗検出手段により人物の撮像領
域近傍の明るさあるいは撮像した人物の顔画像の明るさ
を検出し、前記明暗検出手段の出力が明状態である場合
には、黒レベル抽出フィルタに切り換え、前記明暗検出
手段の出力が暗状態である場合には、白レベル抽出フィ
ルタに切り換えるようにしたので、画像状態に合った正
確な切り換えが行え、顔画像から目を精度良く検出でき
る。

【０１５６】さらにまた、目検出頻度算出手段により目
領域検出手段による目領域の検出頻度を求めて、黒レベ
ル抽出フィルタと白レベル抽出フィルタの内の一方のレ
ベル抽出フィルタの出力顔画像における前記目領域の検
出頻度が所定値以下である場合には、他方のレベル抽出
フィルタに切り換えるようにしたので、レベル抽出フィ
ルタの選定が的確にでき、より確実に目が検出できる。

【０１５７】また、黒レベル抽出フィルタの出力顔画像
中の抽出画素領域の数あるいは面積割合が所定値以下で
ある場合には白レベル抽出フィルタに切り換え、前記白
レベル抽出フィルタの出力顔画像中の抽出画素領域の数
あるいは面積割合が所定値以上である場合には黒レベル
抽出フィルタに切り換えるようにして、レベル抽出フィ
ルタ処理が目の検出に適合していない場合には、目領域
検出を省略して処理するようにしたので、顔画像処理が
高速化できる。

【０１５８】さらに、レベル抽出フィルタの出力顔画像
のＸ軸ヒストグラムを算出し、前記Ｘ軸ヒストグラムの
少なくともピークの数、ピーク領域の大きさにより出力
顔画像中の抽出画素領域の数あるいは面積割合を判定す
るようにしたので、ハードウエア化が容易で顔画像処理
がより高速化できる。

【０１５９】さらにまた、レベル抽出フィルタを、画像
の所定画素長の画素レベルの最大値を前記所定画素長中
の所定の１画素の画素レベルとする最大値フィルタと、
画像の前記所定画素長の画素レベルの最小値を前記所定
の１画素の画素レベルとする最小値フィルタと、画像同
士を差分する引き算器とから構成して、フィルタ切り換
え手段により前記最大値フィルタと最小値フィルタの接
続順序及び引き算器の引き算の順序を切り換えることに
より、前記黒レベル抽出フィルタと白レベル抽出フィル
タを切り換えるようにしたので、回路規模が簡略化され
装置をより安価に製造することができる。

【０１６０】また、レベル抽出フィルタを、直列に二段
配置されて、入力画像の所定画素長の画素レベルの最大
値あるいは最小値のいずれかの極値を前記所定画素長中
の所定の１画素の画素レベルとする最大最小値フィルタ
と、前記直列に二段配置した最大最小値フィルタの後段
の出力画像と前記入力画像とを差分する引き算器とから
構成し、フィルタ切り換え手段により、前記二段配置し
た最大最小値フィルタの互いに異なる極値を、一段目を
最大値側とし二段目を最小値側とするか、あるいは一段
目を最小値側とし二段目を最大値側とするように切り換
え、且つ引き算器の引き算の順序を切り換えることによ
り黒レベル抽出フィルタと白レベル抽出フィルタを切り
換えるようにしたので、回路規模がより簡略化され装置
をさらに安価に製造することができる。

【０１６１】

【０１６２】

【０１６３】

【０１６４】

【０１６５】

【０１６６】

【０１６７】

【０１６８】

【０１６９】

【０１７０】

【０１７１】

【図面の簡単な説明】

【図１】この発明の実施の形態１の顔画像処理装置を
含む運転者の状態検出装置の概略構成図である。

【図２】この実施の形態１の顔画像処理を用いた運転
者状態検出のフローチャートである。

【図３】図２に示す画像処理回路の回路ブロック図で
ある。

【図４】図３に示す黒レベル抽出フィルタの作用説明
図である。

【図５】この実施の形態１の黒レベル抽出フィルタ処
理した２値顔画像である。

【図６】この実施の形態１の夜間撮影時の入力顔画像
と白レベル抽出フィルタ処理した２値顔画像である。

【図７】図３に示す最大値フィルタの回路構成図であ
る。

【図８】本発明の実施の形態３の画像処理回路の回路
ブロック図である。

【図９】本発明の実施の形態４の画像処理回路の回路
ブロック図である。

【図１０】図９に示す最大最小値フィルタ２０４の回
路構成図である。

【図１１】本発明の実施の形態５による顔画像処理を
用いた運転者状態検出のフローチャートである。

【図１２】図１１に示すフィルタ切り換え判定手段の
フローチャートである。

【図１３】この実施の形態５による目領域検出のフロ
ーチャートである。

【図１４】この実施の形態５による目の検出を説明す
る黒レベル抽出フィルタ処理した２値顔画像のＸ、Ｙ軸
ヒストグラムである。

【図１５】この実施の形態５による目の検出を説明す
る目の候補領域のＸ軸ヒストグラムである。

【図１６】この実施の形態５による目の検出を説明す
る白レベル抽出フィルタ処理した２値顔画像のＸ、Ｙ軸
ヒストグラムである。

【図１７】本発明の実施の形態６による顔画像処理を
用いた運転者状態検出のフローチャートである。

【図１８】図１７に示すフィルタ型切り換え判定手段
のフローチャートである。

【図１９】本発明の実施の形態８による顔画像処理を
用いた運転者状態検出のフローチャートである。

【図２０】図１９に示すフィルタ長設定手段のフロー
チャートである。

【図２１】この実施の形態８による運転者ｐと撮像部
ａとの距離検出部の構成図である。

【図２２】この実施の形態８の画像処理回路の回路ブ
ロック図である。

【図２３】図２２に示すフィルタ長可変MAXあるいは
最小値フィルタの回路構成図である。

【図２４】本発明の実施の形態９による運転者とカメ
ラとの距離検出を説明する運転席の模式図である。

【図２５】図２４における距離Ｌ算出のフローチャー
トである。

【図２６】本発明の実施の形態１０のフィルタ長設定
手段のフローチャートである。

【図２７】図２６に示すフィルタ長学習手段のフロー
チャートである。

【図２８】本発明の実施の形態１１のフィルタ長学習
手段のフローチャートである。

【図２９】本発明の実施の形態１２のフィルタ長可変
MAXあるいは最小値フィルタの回路構成図である。

【図３０】本発明の実施の形態１３のフィルタ長可変
MAXあるいは最小値フィルタの回路構成図である。

【図３１】本発明の実施の形態１４の顔画像処理を用
いた運転者状態検出のフローチャートである。

【図３２】この実施の形態１４の顔画像処理の画像で
の説明図である。

【図３３】本発明の実施の形態１５によるフィルタ長
の設定を説明する目の候補存在領域４０２のＸ、Ｙ軸ヒ
ストグラムである。

【図３４】従来の顔画像処理装置の構成図である。

【図３５】従来の顔画像処理装置における運転者の状
態検出のフローチャートである。

【図３６】従来装置における顔画像とその２値画像で
ある。

【符号の説明】

ａ，ａ’ 撮像部、ｂ画像処理部、ｐ撮像対象（運
転者）、１カメラ、１ａ CCD、１ｂ映像信号処理
回路、１ｃ撮像レンズ、１ｄ可視光カットフィル
タ、２近赤外照明、３照明制御手段、４照度セン
サ、５，６距離検出部、１０入力インタフェース、
１１ A/D変換器、１２画像メモリ、１３，１７出
力インタフェース、１４ CPU、１５ ROM、１６ RA
M、１８バス、２０，２０ａ，２０ｂ画像処理回
路、２２フィルタ切り換え手段、２３，２３ａ黒レ
ベル抽出フィルタ、２４，２４ａ白レベル抽出フィル
タ、２０１，２０１ａ，２０１ｂ，２０５ａ，２０５ｂ
最大値フィルタ、２０２，２０２ａ，２０２ｂ，２０
６ａ，２０６ｂ最小値フィルタ、２０３，２０３ａ，
２０３ｂ引き算器、２０４最大最小値フィルタ、２
６２値化手段、２７フィルタ長切り換え手段、３０
遅延回路、３１、３２比較回路、３３マルチプレ
クサ、３４スイッチ、３５デコーダ、４０，４２，
４４，４５，４６２値顔画像、４０１顔重心、４０２
候補存在領域、４０３，４０４候補領域。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 7/00 - 7/60 B60K 25/00 - 28/16 G06T 1/00 G08B 21/06 H04N 7/18 G08G 1/00 - 1/16

Claims

(57)【特許請求の範囲】

【請求項１】人物の顔面を含む所定領域を撮像する２
次元撮像手段と、前記人物の顔面を含む所定領域を照明する照明光の放射
軸が前記２次元撮像手段の撮像軸に同軸状に配置され、
且つ前記２次元撮像手段に近接配置された照明手段と、前記２次元撮像手段により得られた前記人物の顔画像の
顔縦方向に近い一方の画像軸（Ｘ軸）方向の所定画素長
以下の領域の黒レベルを抽出する黒レベル抽出フィルタ
と、前記２次元撮像手段により得られた前記人物の顔画像の
Ｘ軸方向の所定画素長以下の領域の白レベルを抽出する
白レベル抽出フィルタと、前記黒レベル抽出フィルタと前記白レベル抽出フィルタ
とを切り換えるフィルタ切り換え手段と、前記白レベル抽出フィルタが選択された場合に前記照明
手段を点灯する照明制御手段と、前記フィルタ切り換え手段により切り換えられた前記黒
レベル抽出フィルタと前記白レベル抽出フィルタとのい
ずれかの出力顔画像より前記人物の目領域を検出する目
検出手段と、を備えたことを特徴とする顔画像処理装
置。
【請求項２】人物の顔面を含む所定領域を撮像する２
次元撮像手段と、前記人物の顔面を含む所定領域を照明する照明光の放射
軸が前記２次元撮像手段の撮像軸に同軸状に配置され、
且つ該２次元撮像手段に近接配置された照明手段と、前記２次元撮像手段により得られた前記人物の顔画像の
一方の画像軸（Ｘ軸）方向の第一の所定画素長以下の領
域の黒レベルを抽出する第一の黒レベル抽出フィルタ
と、前記顔画像の他方の画像軸（Ｙ軸）方向の第二の所定画
素長以下の領域の黒レベルを抽出する第二の黒レベル抽
出フィルタと、前記顔画像の少なくともＸ軸方向の所定画素長以下の領
域の白レベルを抽出する白レベル抽出フィルタと、前記第一の黒レベル抽出フィルタあるいは第二の黒レベ
ル抽出フィルタと前記白レベル抽出フィルタとを切り換
えるフィルタ切り換え手段と、前記白レベル抽出フィルタが選択された場合に前記照明
手段を点灯する照明制御手段と、少なくとも前記第一の黒レベル抽出フィルタと前記第二
の黒レベル抽出フィルタの出力顔画像とを重畳する画像
重畳手段と、前記画像重畳手段と前記白レベル抽出フィルタとのいず
れか一方の出力顔画像より前記人物の目領域を検出する
目検出手段と、を備えたことを特徴とする顔画像処理装
置。
【請求項３】人物の撮像領域近傍の明るさあるいは撮
像した人物の顔画像の明るさを検出する明暗検出手段を
さらに備え、前記フィルタ切り換え手段は、前記明暗検出手段の出力
が明状態である場合に前記黒レベル抽出フィルタに切り
換え、前記明暗検出手段の出力が暗状態である場合に前
記白レベル抽出フィルタに切り換えるようにしたことを
特徴とする請求項１又は請求項２に記載の顔画像処理装
置。
【請求項４】前記目検出手段による目領域の検出頻度
を求める目検出頻度算出手段をさらに備え、前記フィルタ切り換え手段は、前記黒レベル抽出フィル
タと前記白レベル抽出フィルタの内の一方のレベル抽出
フィルタの出力顔画像における前記目領域の検出頻度が
所定値以下である場合に、他方のレベル抽出フィルタに
切り換えるようにしたことを特徴とする請求項１又は請
求項２に記載の顔画像処理装置。
【請求項５】前記フィルタ切り換え手段は、前記黒レ
ベル抽出フィルタの出力顔画像中の抽出画素領域の数あ
るいは面積割合が所定値以下である場合に前記白レベル
抽出フィルタに切り換え、前記白レベル抽出フィルタの
出力顔画像中の抽出画素領域の数あるいは面積割合が前
記所定値以上である場合に前記黒レベル抽出フィルタに
切り換えるようにしたことを特徴とする請求項１又は請
求項２に記載の顔画像処理装置。
【請求項６】前記黒あるいは白レベル抽出フィルタの
出力顔画像のＸ軸に沿ってＹ軸方向の画素レベルを積算
するＸ軸ヒストグラムを算出し、前記Ｘ軸ヒストグラム
の少なくともピークの数あるいはピーク領域の大きさに
より出力顔画像中の抽出画素領域の数あるいは面積割合
を判定するようにしたことを特徴とする請求項５に記載
の顔画像処理装置。
【請求項７】前記黒レベル抽出フィルタは、入力画像の所定画素長の画素レベルの最大値を前記所定
画素長中の所定の１画素の画素レベルとする最大値フィ
ルタと、前記最大値フィルタの出力の前記所定画素長の画素レベ
ルの最小値を前記所定の１画素の画素レベルとする最小
値フィルタと、前記最小値フィルタの出力画像と前記入力画像とを差分
する引き算器とからなり、前記白レベル抽出フィルタは、所定画素長の画素レベルの最小値を前記所定画素長中の
所定の１画素の画素レベルとする最小値フィルタと、前記最小値フィルタの出力の前記所定画素長の画素レベ
ルの最大値を前記所定の１画素の画素レベルとする最大
値フィルタと、前記入力画像と前記最大値フィルタの出力画像とを差分
する引き算器とからなり、前記フィルタ切り換え手段は、前記最大値フィルタと最
小値フィルタの接続順序及び引き算器の引き算の順序を
切り換えることにより、前記黒レベル抽出フィルタと白
レベル抽出フィルタとを切り換えるようにしたことを特
徴とする請求項１又は請求項２に記載の顔画像処理装
置。
【請求項８】前記レベル抽出フィルタは、直列に二段に配置され、入力画像の所定画素長の画素レ
ベルの最大値あるいは最小値のいずれかの極値を前記所
定画素長中の所定の１画素の画素レベルとする最大最小
値フィルタと、前記直列に二段配置された前記最大最小値フィルタの後
段の出力画像と前記入力画像とを差分する引き算器とか
らなり、前記フィルタ切り換え手段は、前記二段配置された最大
最小値フィルタの互いに異なる極値を、一段目を最大値
側とし二段目を最小値側とするか、あるいは一段目を最
小値側とし二段目を最大値側とするように切り換え、且
つ前記引き算器の引き算の順序を切り換えることにより
前記黒レベル抽出フィルタと前記白レベル抽出フィルタ
を切り換えるようにしたことを特徴とする請求項１又は
請求項２に記載の顔画像処理装置。