JP3414331B2 - 眼の位置検出装置 - Google Patents
眼の位置検出装置Info
- Publication number
- JP3414331B2 JP3414331B2 JP24394299A JP24394299A JP3414331B2 JP 3414331 B2 JP3414331 B2 JP 3414331B2 JP 24394299 A JP24394299 A JP 24394299A JP 24394299 A JP24394299 A JP 24394299A JP 3414331 B2 JP3414331 B2 JP 3414331B2
- Authority
- JP
- Japan
- Prior art keywords
- area
- nose
- face
- eye
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Description
【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、眼の位置検出装置
に係り、特に、鼻の角度及び向き等に影響されずに安定
して眼の位置を検出することができる眼の位置検出装置
に関する。 【0002】 【従来の技術及び発明が解決しようとする課題】特開昭
61−77703号公報には、車両運転者の目の位置認
識装置が記載されている。この装置では、鼻の輪郭を明
確に出すために、斜め横方向からドライバーの顔を撮影
し、撮影したドライバーの顔画像上で、鼻を探索する鼻
探索領域をある領域に固定し、鼻探索領域内で鼻のパタ
ーンマッチングにより、鼻尖の位置を検出する。そし
て、検出された鼻尖の位置から鼻筋を検出し、検出され
た鼻筋の傾きを算出し、鼻尖の位置及び鼻筋の傾きか
ら、瞳の中心位置を算出する。 【0003】また、特開昭63−311105号公報に
記載されている車両乗員の乗車位置認識装置は、ドライ
バーの座席状態検出手段を用いて、座席の前後の位置及
び姿勢を検出し、検出された座席の位置及び姿勢からド
ライバーの顔の位置を推定し、鼻を探索するための所定
領域を設定している。 【0004】上記従来の車両運転者の目の位置認識装置
では、ドライバーの顔面に対して、かなり浅い角度、す
なわち真横に近い角度でドライバーの顔を撮影してい
る。従って、ドライバーの座る前後の位置によって、鼻
の位置も前後に変化する。このため、鼻探索領域の位置
を固定した場合、鼻探索領域内に必ず鼻が存在するとは
限らないので、パターンマッチングにより鼻尖の位置を
検出するのが困難な場合がある。また、鼻の形は個人差
によって大きく異なり、顔の向き、すなわち撮影する角
度により鼻の形は大きく変化する。このため、斜め横か
ら撮影した赤外画像の場合等には、鼻の左側が暗くなっ
て、エッジが不明瞭になる場合があり、エッジが不鮮明
になると検出する鼻の形に影響する。パターンマッチン
グでは、鼻の形の変化に対応することができず、鼻の形
の変化に対応するためには、鼻のパターンを変化する鼻
の形に応じて多種類用意する必要があり、この方法は現
実的ではない。 【0005】また、上記の車両乗員の乗車位置認識装置
は、座席状態検出手段が必要になるので、コスト高にな
る、という問題がある。また、ドライバーの個人差によ
って、座席での着座のし方、背もたれに対する姿勢も異
なるので、座席の位置、及び姿勢からドライバーの顔の
位置を推定する場合には、高い精度が得られない、とい
う問題がある。 【0006】本発明は、上記問題点を解決するためにな
されたもので、斜め横から撮影した赤外画像等において
も鼻の存在領域を検出して眼の位置を検出することがで
きる眼の位置検出装置を提供することを目的とする。 【0007】 【課題を解決するための手段】上記目的を達成するため
に、本発明は、顔を斜め前方から撮影した画像、または
斜め前方から光を受けた顔を撮影した画像に基づいて眼
の位置を検出する眼の位置検出装置であって、入力され
た画像から顔の領域を抽出する顔領域抽出手段と、抽出
された顔の領域から各々異なるしきい値を用いて左側エ
ッジと右側エッジとを抽出し、抽出した左側エッジ及び
右側エッジに基づいた領域を鼻筋の候補として抽出する
鼻筋候補抽出手段と、抽出された鼻筋の候補から鼻筋を
抽出する鼻筋抽出手段と、抽出された鼻筋の位置に基づ
いて眼の存在領域を設定する眼領域設定手段と、設定さ
れた眼の存在領域から眼の位置を検出する眼位置検出手
段と、を含んで構成したものである。 【0008】本発明では、顔を斜め前方から撮影した画
像、または斜め前方から光を受けた顔を撮影した画像に
基づいて眼の位置を検出する。顔を斜め前方から撮影す
る場合には、顔はいずれの方向から光を受けてもよく、
斜め前方から光を受けた顔を撮影する場合は、顔の真正
面や斜め前方等いずれの方向から撮影してもよい。これ
によって、鼻筋の左側エッジと右側エッジとが異なるよ
うに撮影される。顔を斜め前方から撮影するときの角
度、及び光の角度は、顔の正面を0°、顔の真横を90
°とすると、20°〜70°が適当である。顔領域抽出
手段は、入力された画像から顔の領域を抽出する。この
顔の領域は、入力された顔画像を適当な輝度しきい値に
より2値画像に変換し、変換された2値画像を用いて抽
出することができる。 【0009】鼻筋候補抽出手段は、抽出された顔の領域
から各々異なるしきい値を用いて左側エッジと右側エッ
ジとを抽出し、抽出した左側エッジ及び右側エッジに基
づいた領域を鼻筋の候補として抽出する。 【0010】この場合、抽出された顔の領域内で、所定
の領域を鼻筋探索領域として設定して鼻筋の候補を抽出
するのが効果的である。この所定の領域は、顔の撮影方
向または顔が光を受ける方向に応じて設定することがで
き、顔に向かって斜め右前方から顔を撮影した画像、ま
たは顔に向かって斜め右前方から光を受けた顔を撮影し
た画像に基づいて眼の位置を検出する場合には、顔の領
域の向かって左側半分の領域を鼻筋探索領域として設定
することができる。また、鼻筋の候補は、左側エッジ及
び右側エッジの対を検出し、エッジの対が存在する領域
を鼻筋の候補として抽出することができる。 【0011】本発明において、左側エッジと右側エッジ
とを抽出する際のしきい値を異ならせたのは、顔を斜め
前方から撮影しているか、または斜め前方から光を受け
た顔を撮影していることから鼻筋の左右のエッジ強度が
異なるためである。顔に向かって斜め右前方から顔を撮
影した場合、または顔に向かって斜め右前方から光を受
けた顔を撮影した場合には、左側エッジに対するしきい
値<右側エッジに対するしきい値になる。 【0012】鼻筋抽出手段は、抽出された鼻筋の候補か
ら、例えば、候補領域の縦の長さに関する条件を用い
て、最も確からしい候補を鼻筋として抽出する。条件を
満足しない場合は、鼻筋検出不可とする。候補領域の縦
の長さに関する条件を用いて抽出する場合には、適当な
しきい値より長い候補を選択し、選択した候補の中から
長さの最も長いものを鼻筋として抽出する。 【0013】眼領域設定手段は、抽出された鼻筋の位置
に基づいて眼の存在領域を設定する。眼の存在領域は、
抽出された鼻筋を線分と仮定し、抽出された鼻筋の中点
から眼が存在する領域を予想することにより設定するこ
とができる。 【0014】眼位置検出手段は、設定された眼の存在領
域から眼の位置を検出する。 【0015】なお、本発明において鼻筋が検出できなか
った場合には、顔の領域全体で眼の位置の検出を行えば
よい。 【0016】 【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。 【0017】本実施の形態は、図1に示すように、ドラ
イバーの顔をドライバーに向かって右斜め前方から撮影
するカメラ10、画像処理用のコンピュータ、及びコン
ピュータに接続されて抽出された2値化画像等を表示す
るCRTで構成された表示装置32によって構成されて
いる。 【0018】画像処理用のコンピュータは、カメラ10
から入力された画像信号をディジタル変換するアナログ
−ディジタル(A/D)変換器12、CPU14、眼位
置検出処理ルーチンのプログラムが記憶されたROM1
6、RAM18、画像データを記憶する画像メモリ2
0、輝度平均値を記憶する平均値レジスタ22、以下で
説明する各種の度数分布を表すヒストグラムを記憶する
ヒストグラムメモリ24、顔領域の座標を記憶する顔領
域座標レジスタ26、鼻筋探査領域の座標を記憶する鼻
筋探査領域座標レジスタ28、表示装置32に接続され
た出力ポート30、輝度平均値の差、輝度平均値の総和
の値及び0等を記憶する画像メモリ34、及びこれらを
接続するコントロールバスやデータバス等のバス36で
構成されている。 【0019】次に、本実施の形態の眼位置検出処理ルー
チンについて図2を参照して説明する。 【0020】カメラ10から入力された画像信号は、A
/D変換器12によってディジタルの画像データに変換
されて画像メモリ20に記憶されている。 【0021】ステップ100において、画像メモリ20
に記憶されている顔画像から矩形状の顔領域の対角線の
両端座標で表される顔領域座標(x1 ,y1 ),(x
2 ,y 2 )を算出し、算出した顔領域座標を顔領域レジ
スタ26に記憶すると共に、顔領域座標から鼻筋探索領
域座標(x1 ,y1 ),(x0 ,y2 )を算出し鼻筋探
索領域座標レジスタ28に記憶する。ただし、x1 <x
0 <x2 、y1 <y2 、x0 =(x1 +x2 )/2であ
る。 【0022】ステップ102では、画像メモリ20に記
憶されている顔画像上の算出された鼻筋探索領域座標で
示される領域内に対して、各々異なるしきい値を用いて
鼻筋探索領域の左側エッジと右側エッジとを抽出し、抽
出した左側エッジ及び右側エッジに基づいた複数の領域
を鼻筋の候補として抽出する。ステップ104では、抽
出された鼻筋の候補から鼻筋の候補の縦方向の長さに基
づいて鼻筋を選択し、ステップ106において鼻筋が選
択されたか否か、すなわち鼻筋が検出されたか否かを判
断する。 【0023】ステップ106で鼻筋が検出されていない
と判断された場合には、ステップ108でステップ10
0において検出された画像メモリ20に記憶されている
顔画像上の顔領域内で眼の位置を検出する処理を行う。
一方、ステップ106で鼻筋が検出されたと判断された
場合には、ステップ110で選択された鼻筋の中点を検
出し、ステップ112で鼻筋の中点に基づいて眼の存在
領域(眼領域)を設定し、ステップ114で設定された
眼領域から眼の位置を検出する。 【0024】図3は図2のステップ100の詳細を示す
もので、ステップ120において、顔画像(グレー画
像)の各画素の輝度値を予め定められた適当なしきい値
と比較することにより、顔画像をラベル1、0が付され
た2値画像に変換する。次のステップ122では、図4
に示すように、2値画像のラベルをXY平面上のX軸、
及びY軸へ投影したヒストグラムを求め、ステップ12
4において求めたヒストグラムをヒストグラムメモリ2
4に記憶する。このヒストグラムは、あるX座標を通り
かつY軸に平行な直線上に位置する画素のラベルを積算
した値を度数とすることにより得られる。なお、Y軸に
ついても同様であり、あるY座標を通りかつX軸に平行
な直線上に位置する画素のラベルを積算した値を度数と
することにより得られる。 【0025】ステップ126では、図4に示すように、
X軸上でのヒストグラムの度数のピーク値を算出する。
Y軸についても同様に度数のピーク値を算出する。ステ
ップ128では、図4に示すように、X軸上で度数がピ
ークの座標から、しきい値と度数とを比較しながら左右
へ進んでいく過程で、しきい値を横切った座標より度数
が大きいX座標x1 ,x2 を顔領域座標として抽出す
る。Y軸に関しても同様な方法で顔領域座標y1 ,y2
を抽出する。これによって、顔領域座標(x1 ,y
1 ),(x2 ,y2 )が算出される。算出された顔領域
座標は、ステップ130において顔領域座標レジスタ2
6に記憶される。 【0026】ステップ132において、顔領域座標から
顔の向かって左半分の領域に属する座標を鼻筋探索領域
座標(x1 ,y1 ),(x0 ,y2 )として選択し、ス
テップ134において選択された鼻筋探索領域座標が鼻
筋探索領域座標レジスタ28に記憶される。 【0027】次に、図2のステップ102の鼻筋候補抽
出処理の詳細について説明する。鼻筋候補抽出処理は、
図5に示す左側エッジ抽出処理ルーチン、図6に示す右
側エッジ抽出処理ルーチン、図7に示す左右エッジの対
抽出処理ルーチンの3ブロックに分けられるので、各々
について説明する。 【0028】図5の左側エッジ抽出処理ルーチンでは、
図8(A)に示すように、鼻筋探索領域座標レジスタ2
8に記憶されている鼻筋探索領域座標に基づき、画像メ
モリ20に記憶されている顔画像上の鼻筋探索領域上で
顔の横方向に隣接して連続するように左側から右側に向
かって設定された1画素の矩形領域1、矩形領域2の2
個の矩形領域を2組備えた矩形のウインドウ40を用い
る。このウインドウ40は、矩形領域1及び矩形領域2
からなる1組の矩形領域を顔の横方向に1画素分左方向
にずらして構成されており、鼻筋探索領域上で1画素ず
つ右方向にずらしてスキャンすることを上から下方向に
1画素ずつずらしてスキャンすることにより左側エッジ
が抽出される。 【0029】図5のステップ140では、各矩形領域
1、2内の全画素の輝度値を積算することにより輝度積
算値を各々算出する。ステップ142では、矩形領域1
内の輝度積算値の和を矩形領域1内の全画素数で除算す
ると共に、矩形領域2内の輝度積算値の和を矩形領域2
内の全画素数で除算することにより、矩形領域1、2内
の輝度平均値P1,P2を算出し、輝度平均値レジスタ
22にウインドウ40の位置に応じて保存する。 【0030】次のステップ144では、隣接する矩形領
域1、2内の輝度平均値の差(P1−P2)の各々と、
しきい値K1とを比較し、P1−P2>K1の条件を満
足するか否かを判断する。 【0031】ステップ144で上記の条件を満足すると
判断されたとき、すなわち隣接する矩形領域内の輝度平
均値の差が大きいことから鼻筋候補の左側エッジである
と判断される場合には、ステップ146において、顔画
像が記憶されている画像メモリとは別の画像メモリ34
へ、輝度平均値の差(P1−P2)の値を書き込む。書
き込むべき座標は、図8の矩形領域1の中で最も上に位
置する画素の座標とする。同時にステップ148におい
てヒストグラムメモリ24に記憶されている輝度平均値
の差の度数分布を表すヒストグラムの差(P1−P2)
に対する度数を1増加する。 【0032】ステップ144において上記の条件を満足
しないと判断されたとき、すなわち隣接する矩形領域
1、2間の輝度平均値の差が小さい場合には、左側エッ
ジが存在しないと推定してステップ150において、顔
画像が記憶されている画像メモリとは別の画像メモリ3
4へ0を書き込む。書き込むべき座標は、図8(A)の
矩形領域1の中で最も上に位置する画素の座標とする。
同時に、ステップ152においてヒストグラムメモリ2
4の差が0の度数を1増加する。 【0033】なお、輝度平均値の差(P1−P2)の値
及び0は、図8(A)のウインドウの中心座標に書き込
むべきであるが、この例では便宜上、左上の画素として
いる。 【0034】次のステップ154では、鼻筋探索領域の
画像全面についてステップ140〜ステップ152の処
理が終了したか否かを判断し、処理が終了していない場
合にはウインドウを1画素ずらしてステップ140に戻
り、上記の処理を繰り返す。 【0035】上記の処理を、矩形のウインドウ40を1
画素ずつずらしながら、入力画像である鼻筋探索領域の
画像全体に対して行うことにより、輝度平均値の差が書
き込まれた画像及びヒストグラムが得られる。 【0036】ステップ154で鼻筋探索領域の画像全面
について処理が終了していると判断された場合は、ステ
ップ156においてヒストグラムメモリに記憶されてい
るヒストグラムに基づいて輝度平均値の差(P1−P
2)に対するしきい値K2を算出する。すなわち、ヒス
トグラムの上位の度数から度数を積算し、積算した値が
全度数に対して所定割り合いに到達した際の差(P1−
P2)の値をしきい値K2として設定する。この全度数
に対する所定割り合いは、予めシミュレーション等によ
って設定される。 【0037】ステップ158では、各画素の輝度平均値
の差(P1−P2)としきい値K2とを比較して(P1
−P2)>K2の条件を満足するか否かを判断する。 【0038】上記条件を満足する画素に対してはステッ
プ160において出力するときの値を1とし、上記条件
を満足しない画素に対してはステップ162において出
力するときの値を0とするようにラベリングを行い2値
化を行う。上記の2値化処理はステップ164で鼻筋探
索領域の画像全面について処理が終了したと判断される
まで継続される。そして、鼻筋探索領域の画像全面につ
いて処理を行うことにより鼻筋の左側のエッジに相当す
る白/黒エッジが抽出される。左側のエッジ抽出処理に
よる2値画像の例を図10(A)に示す。 【0039】次に、図6に示す右側エッジ抽出処理ルー
チンについて説明する。 【0040】図6の右側エッジ抽出処理ルーチンでは、
図8(B)に示すように、鼻筋探索領域座標レジスタ2
8に記憶されている鼻筋探索領域座標に基づき、画像メ
モリ20に記憶されている顔画像上の鼻筋探索領域上で
顔の横方向に隣接して連続するように左側から右側に向
かって設定された1画素の矩形領域3、及び4画素の矩
形領域4からなる2個の矩形領域を4組備えた矩形のウ
インドウ50を用いる。このウインドウ50は、矩形領
域3及び矩形領域4からなる1組の矩形領域を顔の横方
向に順に1画素ずつ左方向にずらして構成されており、
鼻筋探索領域上で1画素ずつ右方向にずらしてスキャン
することを下方向に1画素ずつずらしてスキャンするこ
とにより右側エッジが抽出される。 【0041】右側エッジ抽出処理に使用する矩形のウイ
ンドウ50が、左側エッジ抽出処理に使用する矩形のウ
インドウ40と形状が異なるのは、ドライバーの顔をド
ライバーに向かって右斜め前方から撮影しているためで
あり、左側エッジが右側エッジに比較して弱いことから
左側エッジについては微小面積で輝度平均の差を演算し
てエッジを抽出し易くしている。 【0042】図6に示す右側エッジ抽出処理は、図5で
説明した左側エッジ抽出処理と同様であるので対応する
部分には同一符号を付して説明する。図6に示す右側エ
ッジ抽出処理では、ステップ142において矩形領域3
内の輝度積算値の和を矩形領域3内の全画素数で除算す
ると共に、矩形領域4内の輝度積算値の和を矩形領域4
内の全画素数で除算することにより、矩形領域3、4内
の輝度平均値P3,P4を算出し、ステップ156にお
いてヒストグラムメモリに記憶されているヒストグラム
に基づいて輝度平均値の差(P4−P3)に対するしき
い値K3を算出する。すなわち、ヒストグラムの上位の
度数から度数を積算し、積算した値が全度数に対して所
定割り合いに到達した際の差(P4−P3)の値をしき
い値K3として設定する。この全度数に対する所定割り
合いは、予めシミュレーション等によって設定される。 【0043】顔を斜め右方向から撮影していることから
鼻の左右のエッジ強度が異なるため、このしきい値K3
は左側エッジのしきい値K2とは異なった大きさに設定
されている。すなわち、顔を斜め右方向から撮影してい
ることから(左側エッジに対するしきい値K2)<(右
側エッジに対するしきい値K3)のように定められてい
る。 【0044】そして、鼻筋領域の画像全面について左側
エッジの場合と同様の処理を行うことにより鼻筋の右側
のエッジに相当する黒/白エッジが抽出される。右側の
エッジ抽出処理による2値画像の例を図10(B)に示
す。 【0045】次に、図7に基づいて、左側エッジの抽出
結果及び左側エッジの抽出結果に対して行う左右エッジ
の対抽出処理ルーチンについて説明する。この左右エッ
ジの対抽出処理では、左右のエッジが近接して存在する
点を抽出する。 【0046】ステップ170では右側エッジ点を選択
し、ステップ172で図9に示すように、右側のエッジ
点を起点として、左方向へ適当な距離だけ水平方向に探
索していき、ステップ174で左側のエッジ点が存在す
るか否かを判断する。左側のエッジ点が存在すれば、ス
テップ176で起点とした右側エッジ点及び右側エッジ
点に対応する左側エッジ点をエッジ対として採用する。
エッジ対として採用した場合には、右側エッジの座標を
RAM等のメモリに記憶する。 【0047】一方、左側エッジ点が存在しなければ、ス
テップ178において選択した右側のエッジ点を消去す
る。そして、ステップ180において右側のエッジ点の
全部についてステップ170〜ステップ178の処理を
行った否かを判断し、行っていない場合にはステップ1
70に戻って上記の処理を繰り返す。 【0048】以上の結果、左右のエッジ対が存在する場
合に右側のエッジの座標が記憶され、この右側のエッジ
の座標で表される領域が鼻筋候補領域として図10
(C)の例に示すように抽出される。この鼻筋候補領域
は通常複数個抽出される。図13は、顔領域と抽出され
た鼻筋候補領域との関係を示すものであり、図13では
鼻筋候補領域1、2の2つの候補が抽出されている。 【0049】次に、図11を参照して抽出された複数の
鼻筋候補領域から鼻筋を検出する処理を行うステップ1
04の詳細について説明する。ステップ200では、ス
テップ102で抽出された複数の鼻筋候補領域の各々に
対して、図12に示すように、各鼻筋候補領域の右上、
左下の位置座標を求める。なお、鼻筋候補領域の位置座
標の算出の詳細については後述する。 【0050】ステップ202では、抽出された鼻筋候補
領域を線分と仮定し、鼻筋候補領域の右上、左下の位置
座標から鼻筋候補領域の縦の長さを算出する。 【0051】ステップ204では、鼻筋候補領域の縦方
向の長さと予め定められたしきい値Lとを比較し、縦方
向の長さがしきい値Lを越えている場合にステップ20
6で鼻筋候補として選択する。一方、鼻筋候補領域の縦
方向の長さがしきい値L以下の場合には鼻筋候補として
選択することなく次のステップに進む。 【0052】ステップ208では、全鼻筋候補領域につ
いてステップ200〜ステップ206の処理を終了した
か否かを判断し、終了していない場合にはステップ20
0に戻って上記の処理を繰り返し、終了した場合にはス
テップ210において選択された鼻筋候補のうち縦方向
の長さが最も長い鼻筋候補を鼻筋として選択する。図1
3の例では、鼻筋候補領域1が選択される。鼻筋候補が
選択されなかった場合は、鼻筋の検出は不可となり図2
のステップ106で否定判断される。 【0053】図2のステップ110では、上記のように
して選択された鼻筋を示す領域の右上、左下の位置座標
を結んだ直線の中点座標(図14)を演算する。 【0054】図2のステップ112では、ステップ11
0で演算された中点座標を鼻筋の中心点であると仮定し
て、この中点座標から眼が存在すると予想される眼領域
を設定する。この眼領域は、顔の統計的情報に基づいて
決定された鼻と眼との位置関係に基づいて設定される。
この鼻と眼との位置関係は、図15に示すように、中心
座標(鼻筋中点)が右下角に位置するL1×L3の矩形
とこの矩形から右方向に距離L2だけ離れたL1×L3
の矩形とで表され、各矩形の中に眼が存在すると仮定さ
れる。そして、顔領域のサイズを算出し、この顔領域の
サイズに応じてL1、L2、L3の長さを変化させて眼
領域を設定する。例えば、顔領域の縦の長さに比例させ
てL1の長さを変化させる。また、顔領域の横の長さに
比例させてL2、L3の長さを変化させる。なお、顔領
域の縦及び横の長さの各々に比例させてL1、L2、L
3の長さを各々変化させてもよい。 【0055】図2のステップ114の詳細を図16を参
照して説明する。図16のステップ220では、設定さ
れた眼領域に対応する画像データを画像メモリ20から
読み込み、ステップ222で設定された眼領域の輝度値
の度数分布を表すヒストグラムを算出する。ステップ2
24では、算出されたヒストグラム上で度数のピークを
検出する。ステップ226では、図17に示すように、
ヒストグラム上で度数のピークから左へ進んでいき、最
初に現れた度数の谷を検出し、この谷の輝度値をしきい
値として設定する。ステップ228では、前記眼領域の
各画素の輝度値としきい値とを比較し、輝度がしきい値
を越える画素に対してはステップ230において出力す
るときの値を1とし、輝度がしきい値以下の画素に対し
てはステップ232において出力するときの値を0と
し、2値化を行う。上記の2値化処理はステップ234
で眼領域全面について処理が終了したと判断されるまで
継続される。そして、眼領域全面について処理を行うこ
とにより眼領域の画像が2値画像に変換される。このと
きの眼領域の原画と眼領域の2値画像の例を図18
(A),(B)に示す。 【0056】次に、ステップ236において眼領域の2
値画像に最小値フィルタ処理を実行すると、図18
(C)に示すように黒領域が検出され、検出された黒領
域の中で、眼領域のほぼ中央に位置する黒領域を、眼の
領域として選択する。 【0057】次に、上記ステップ200の鼻筋候補領域
の位置座標算出処理ルーチンの詳細を図19を参照して
説明する。この鼻筋候補領域の位置座標算出処理では、
図10(C)に例示する2値画像(鼻筋候補領域画像)
を右から左へスキャンすることを上から下ヘ順に実行し
ながら、ラベルが“1”の座標、すなわち2値画像の輝
度値が1の座標を探索する。なお、2値画像を右から左
ヘスキャンする理由は、ラベルが“1”であり、かつ最
も右上の画素を最初に発見するためである。 【0058】ラベルが“1”である最も右上の点を発見
した後、ステップ240でその座標の画素を注目画素と
してその画素の周辺座標の画素のラベルを評価する。 【0059】第1番目として、図20に示すように注目
画素(i,j)が含まれるスキャンラインの次のスキャ
ンライン上の最も右側に位置するD座標のラベルを評価
する(ステップ242)。D座標のラベルが“1”なら
ば、D座標へ移動して、D座標のラベルを“0”にする
(ステップ242、244)。 【0060】第2番目として、図20に示すように注目
画素の左隣に位置するC座標のラベルを評価する(ステ
ップ246)。C座標のラベルが“1”ならば、C座標
へ移動して、C座標のラベルを“0”にする(ステップ
246、248)。 【0061】第3番目として、図20に示すようにC座
標の下側に位置するB座標のラベルを評価する(ステッ
プ250)。B座標のラベルが“1”ならば、B座標へ
移動して、B座標のラベルを“0”にする(ステップ2
50、252)。 【0062】第4番目として、図20に示すように注目
画素の下側に位置するA座標のラベルを評価する(ステ
ップ254)。A座標のラベルが“1”ならば、A座標
へ移動して、A座標のラベルを“0”にする(ステップ
254、256)。 【0063】第5番目として、図20に示すようにC座
標の左隣に位置するE座標のラベルを評価する(ステッ
プ258)。E座標のラベルが“1”ならば、E座標の
ラベルを“0”にする(ステップ258、260)。 【0064】第6番目として、図20に示すようにE座
標の左隣に位置するF座標のラベルを評価する(ステッ
プ262)。F座標のラベルが“1”ならば、F座標の
ラベルを“0”にする(ステップ262、264)。 【0065】ステップ266で座標の移動があったか否
かを判断し、座標の移動があれば、ステップ242へ戻
って移動した座標で上記ステップ242〜ステップ26
4の処理を繰り返す。一方、ステップ266で移動がな
いと判断されたならば、A,B,C,Dの全座標のラベ
ルが“0”なので、ラベルの探索はその座標点で終了
し、右上、左下の座標をレジスタに書き込む。 【0066】鼻筋候補領域画像全面について右上に位置
する注目画素を出発点として左下まで行うことにより、
鼻筋候補領域の位置座標が算出される。 【0067】上記の実施の形態において、顔領域検出の
際に、度数ピークから左右へ進んでいく過程で、図21
に示すように、極小点が存在する場合、この極小点を境
に顔領域が検出されてしまう可能性がある。そこで、以
下では極小点が存在する場合でも、正確に顔領域を検出
することができる顔領域検出処理について図22を参照
して説明する。なお、この顔領域検出処理において、顔
領域座標の算出については図3と同一部分には同一符号
を付して説明する。 【0068】ステップ128では、図21に示すよう
に、X軸上で、度数ピークの座標から、左右へ進んでい
く過程で、しきい値と度数を比較しながら、最初にしき
い値を横切った座標xa,xbで囲まれる領域を、暫定的
な顔領域として、顔領域座標レジスタ26に記憶する。 【0069】次のステップ270、272では、顔領域
座標の最小の座標xa 及び最大の座標xbから出発して
それぞれ左右の一定範囲内の各座標の度数としきい値を
逐次比較し、しきい値を越える座標が存在するかどうか
判断する。一定範囲内の各座標の度数の全てが、しきい
値を超えていないならば、図4に示したように顔領域内
には極小点は存在しないので、顔領域座標レジスタ26
に記憶された暫定的な顔領域を顔領域座標として確定す
る。一定範囲内の度数が、一箇所でもしきい値を超えて
いれば、記憶された顔領域座標は極小点で抽出された顔
領域であるとみなして、ステップ274で顔領域座標レ
ジスタの顔領域の座標を消去し、ステップ128に戻っ
てしきい値を超えた座標から再度、左右へ進んでしきい
値と度数を比較しながら、しきい値を横切った座標を暫
定的な顔領域として顔領域座標レジスタ26に記憶し、
ステップ270、274を繰り返し、顔領域座標を探索
する。 【0070】図21の例では、左側の一定範囲内の各座
標の度数の全てがしきい値を超えていないので左側の顔
領域座標として座標xa が確定するが、右側の顔領域座
標では座標xc でしきい値を超えているので、顔領域座
標レジスタの顔領域の座標x b を消去し、座標xc から
再度右へ進んでしきい値と度数を比較しながらしきい値
を横切った座標xd を抽出する。座標xd より右側の一
定範囲内の各座標の度数の全てがしきい値を超えていな
いので、右側の顔領域座標として座標xd が確定する。 【0071】最終的に確定された顔領域座標は、顔領域
座標レジスタに記憶される。Y軸に関しても同様な方法
で顔領域座標を算出して顔領域座標レジスタに記憶す
る。 【0072】次に、鼻筋候補領域から鼻筋を検出する際
の他の例を説明する。 【0073】予め検出された顔領域において、図23に
示すように、横軸(X軸)上で中心より左側、縦軸(Y
軸)上で中心より下側の領域を鼻筋候補選択領域として
設定する。 【0074】図23に示す場合、鼻筋候補領域2は、前
髪によって発生した候補領域である。縦軸上で中心より
下側の領域に鼻筋候補選択領域を限定することにより、
このような誤認識の可能性のある候補を除外することが
できる。 【0075】鼻筋候補領域から鼻筋を検出する際の他の
例として、鼻筋候補領域の縦横比を用いた例について説
明する。まず、鼻筋候補領域の右上、左下の座標から、
その鼻筋候補領域の縦横比を求める。この縦横比は右
上、左下の座標を結んだ線分を対角線に持つ長方形を用
いて算出する。そして、縦横比に対して適当なしきい値
を設定して、縦長の候補のみを選択する。 【0076】次に、眼位置検出処理の他の例を図25を
参照して説明する。この例では、図24(A)に示すよ
うに、眼領域上で顔の縦方向に隣接して連続するように
上側から下側に向かって設定された矩形領域1、矩形領
域2、及び矩形領域3の3個の矩形領域で構成されたウ
インドウ60を用いる。このウインドウ60において、
矩形領域1と矩形領域3とは同じ形状で同じ面積であ
り、矩形領域2の幅は矩形領域1と同じで矩形領域1の
面積よりも大きく、例えば略2倍の面積を有している。 【0077】図25のステップ300では、各矩形領域
内の全画素の輝度値を積算することにより輝度積算値を
各々算出する。ステップ302では、各矩形領域内の輝
度積算値を各矩形領域の全画素数で除算することによ
り、各矩形領域内の輝度平均値P1,P2,P3(図2
4(B)参照)を算出し、輝度平均値レジスタ22にウ
インドウの位置に応じて保存する。 【0078】次のステップ304では、隣接する矩形領
域内の輝度平均値の差(P1−P2)、(P3−P2)
の各々と、しきい値K1とを比較し、次の条件を満足す
るか否かを判断する。 【0079】 (P1−P2>K1)かつ(P3−P2>K1) ステップ304で上記の条件を満足すると判断されたと
き、すなわち隣接する矩形領域内の輝度平均値の差が大
きいことから眼の候補領域であると判断される場合に
は、ステップ306において、顔画像が記憶されている
画像メモリとは別の画像メモリ34へ輝度平均値の差の
総和(P1−P2)+(P3−P2)の値を書き込む。
書き込むべき座標は、矩形領域2の中心点の座標に書き
込む。同時にステップ308においてヒストグラムメモ
リ24に記憶されている輝度平均値の差の総和の度数分
布を表すヒストグラムの総和(P1−P2)+(P3−
P2)に対する度数を1増加する。 【0080】ステップ304において上記の条件を満足
しないと判断されたとき、すなわち隣接する矩形領域間
の輝度平均値の差が小さい場合には、顔の肌領域である
と推定してステップ310において、顔画像が記憶され
ている画像メモリとは別の画像メモリ34へ0を書き込
む。書き込むべき座標は、矩形領域2の中心点の座標に
書き込む。同時に、ステップ312においてヒストグラ
ムメモリ24の総和が0の度数を1増加する。 【0081】次のステップ314では、眼領域全面につ
いてステップ300〜ステップ312の処理が終了した
か否かを判断し、処理が終了していない場合にはウイン
ドウを1画素ずらしてステップ300に戻り、上記の処
理を繰り返す。 【0082】上記の処理を、矩形のウインドウを1画素
ずつずらしながら、入力画像である眼領域全面に対して
行うことにより、輝度平均値の差の値が書き込まれた画
像及びヒストグラムが得られる。 【0083】ステップ314で眼領域全体について処理
が終了していると判断された場合は、ステップ316に
おいてヒストグラムメモリに記憶されているヒストグラ
ムに基づいて輝度平均値の差の総和(P1−P2)+
(P3−P2)に対するしきい値K2を算出する。すな
わち、ヒストグラムの上位の度数から度数を積算し、積
算した値が全度数に対して所定割り合いに到達した際の
総和(P1−P2)+(P3−P2)の値をしきい値K
2として設定する。この全度数に対する所定割り合い
は、予めシミュレーション等によって設定される。 【0084】ステップ318では、各画素の輝度平均値
の差の総和(P1−P2)+(P3−P2)としきい値
K2とを比較して次の条件を満足するか否かを判断す
る。 【0085】(P1−P2)+(P3−P2)>K2 上記条件を満足する画素に対してはステップ320にお
いて出力するときの値を1とし、上記条件を満足しない
画素に対してはステップ322において出力するときの
値を0とし、2値化を行う。上記の2値化処理はステッ
プ324で眼領域全面について処理が終了したと判断さ
れるまで継続される。そして、眼領域全面について処理
を行うことにより2値画像が得られる。得られた2値画
像のうちラベル1の領域が眼の位置となる。 【0086】次に、ステップ108における鼻筋検出が
できなかった場合の顔領域における眼位置検出処理につ
いて説明する。上記で説明した図25の処理ルーチンを
用いて眼候補領域を抽出する。ただし、この場合は、眼
領域だけでなく顔領域全体で候補抽出を実行する。候補
抽出結果として図26に示すような結果が得られるの
で、複数の候補から以下のようにして最終的に眼の領域
を選択する。 【0087】すなわち、顔領域において、次の条件によ
り選択する。まず、横長の形の眼候補領域を選択する。
この横長の形の眼候補領域は、上記で説明した縦横比を
それぞれの眼候補領域に対して求め、この縦横比を用い
て所定のしきい値を設定し、所定のしきい値の範囲内の
横長の形の領域を眼候補領域として選択することにより
選択する。横長の形の眼候補領域が複数選択された場合
には、以下の方法で眼の領域を選択する。 【0088】顔領域の中で、最も上に位置しており、か
つ上下に略平行に並んだ2つの眼候補領域の対を選択す
る。この2つの眼候補領域のうち、上側は眉の領域と考
えられるので、下側の眼候補領域を眼の領域として選択
する。一方、眼候補領域の対が発見できない場合は、顔
領域の中で、最も上に位置している眼候補領域を、眼の
領域として選択する。 【0089】なお、上記の実施の形態では、カメラによ
ってドライバーの顔をドライバーに向かって右斜め前方
から撮影する場合について説明したが、ドライバーの顔
をドライバーに向かって左斜め前方から撮影してもよ
く、ドライバーに向かって右斜め前方または左斜め前方
から光を受けているドライバの顔を真正面、左斜め前
方、または右斜め前方から撮影してもよい。ドライバー
に向かって右斜め前方から光を受けているドライバの顔
を撮影する場合には、上記と同様に(左側エッジに対す
るしきい値K2)<(右側エッジに対するしきい値K
3)であり、ドライバーに向かって左斜め前方から撮影
する場合及びドライバーに向かって左斜め前方から光を
受けているドライバの顔を撮影する場合には、(左側エ
ッジに対するしきい値K2)>(右側エッジに対するし
きい値K3)である。 【0090】 【発明の効果】以上説明したように、本発明によれば、
鼻の左右のエッジを独立して抽出し、その後、左右のエ
ッジの対を検出しているので、鼻の角度、向き等に影響
されずに、安定して鼻の位置を検出でき、顔の領域を予
め検出することにより、眼鏡が存在する場合において
も、眼鏡のフレームを誤って、鼻筋と誤認識することを
避けることができ、また眼鏡が存在するような複雑な場
合においても、鼻の位置を検出することにより、眼の存
在する領域を安定して特定することができる、という効
果が得られる。
に係り、特に、鼻の角度及び向き等に影響されずに安定
して眼の位置を検出することができる眼の位置検出装置
に関する。 【0002】 【従来の技術及び発明が解決しようとする課題】特開昭
61−77703号公報には、車両運転者の目の位置認
識装置が記載されている。この装置では、鼻の輪郭を明
確に出すために、斜め横方向からドライバーの顔を撮影
し、撮影したドライバーの顔画像上で、鼻を探索する鼻
探索領域をある領域に固定し、鼻探索領域内で鼻のパタ
ーンマッチングにより、鼻尖の位置を検出する。そし
て、検出された鼻尖の位置から鼻筋を検出し、検出され
た鼻筋の傾きを算出し、鼻尖の位置及び鼻筋の傾きか
ら、瞳の中心位置を算出する。 【0003】また、特開昭63−311105号公報に
記載されている車両乗員の乗車位置認識装置は、ドライ
バーの座席状態検出手段を用いて、座席の前後の位置及
び姿勢を検出し、検出された座席の位置及び姿勢からド
ライバーの顔の位置を推定し、鼻を探索するための所定
領域を設定している。 【0004】上記従来の車両運転者の目の位置認識装置
では、ドライバーの顔面に対して、かなり浅い角度、す
なわち真横に近い角度でドライバーの顔を撮影してい
る。従って、ドライバーの座る前後の位置によって、鼻
の位置も前後に変化する。このため、鼻探索領域の位置
を固定した場合、鼻探索領域内に必ず鼻が存在するとは
限らないので、パターンマッチングにより鼻尖の位置を
検出するのが困難な場合がある。また、鼻の形は個人差
によって大きく異なり、顔の向き、すなわち撮影する角
度により鼻の形は大きく変化する。このため、斜め横か
ら撮影した赤外画像の場合等には、鼻の左側が暗くなっ
て、エッジが不明瞭になる場合があり、エッジが不鮮明
になると検出する鼻の形に影響する。パターンマッチン
グでは、鼻の形の変化に対応することができず、鼻の形
の変化に対応するためには、鼻のパターンを変化する鼻
の形に応じて多種類用意する必要があり、この方法は現
実的ではない。 【0005】また、上記の車両乗員の乗車位置認識装置
は、座席状態検出手段が必要になるので、コスト高にな
る、という問題がある。また、ドライバーの個人差によ
って、座席での着座のし方、背もたれに対する姿勢も異
なるので、座席の位置、及び姿勢からドライバーの顔の
位置を推定する場合には、高い精度が得られない、とい
う問題がある。 【0006】本発明は、上記問題点を解決するためにな
されたもので、斜め横から撮影した赤外画像等において
も鼻の存在領域を検出して眼の位置を検出することがで
きる眼の位置検出装置を提供することを目的とする。 【0007】 【課題を解決するための手段】上記目的を達成するため
に、本発明は、顔を斜め前方から撮影した画像、または
斜め前方から光を受けた顔を撮影した画像に基づいて眼
の位置を検出する眼の位置検出装置であって、入力され
た画像から顔の領域を抽出する顔領域抽出手段と、抽出
された顔の領域から各々異なるしきい値を用いて左側エ
ッジと右側エッジとを抽出し、抽出した左側エッジ及び
右側エッジに基づいた領域を鼻筋の候補として抽出する
鼻筋候補抽出手段と、抽出された鼻筋の候補から鼻筋を
抽出する鼻筋抽出手段と、抽出された鼻筋の位置に基づ
いて眼の存在領域を設定する眼領域設定手段と、設定さ
れた眼の存在領域から眼の位置を検出する眼位置検出手
段と、を含んで構成したものである。 【0008】本発明では、顔を斜め前方から撮影した画
像、または斜め前方から光を受けた顔を撮影した画像に
基づいて眼の位置を検出する。顔を斜め前方から撮影す
る場合には、顔はいずれの方向から光を受けてもよく、
斜め前方から光を受けた顔を撮影する場合は、顔の真正
面や斜め前方等いずれの方向から撮影してもよい。これ
によって、鼻筋の左側エッジと右側エッジとが異なるよ
うに撮影される。顔を斜め前方から撮影するときの角
度、及び光の角度は、顔の正面を0°、顔の真横を90
°とすると、20°〜70°が適当である。顔領域抽出
手段は、入力された画像から顔の領域を抽出する。この
顔の領域は、入力された顔画像を適当な輝度しきい値に
より2値画像に変換し、変換された2値画像を用いて抽
出することができる。 【0009】鼻筋候補抽出手段は、抽出された顔の領域
から各々異なるしきい値を用いて左側エッジと右側エッ
ジとを抽出し、抽出した左側エッジ及び右側エッジに基
づいた領域を鼻筋の候補として抽出する。 【0010】この場合、抽出された顔の領域内で、所定
の領域を鼻筋探索領域として設定して鼻筋の候補を抽出
するのが効果的である。この所定の領域は、顔の撮影方
向または顔が光を受ける方向に応じて設定することがで
き、顔に向かって斜め右前方から顔を撮影した画像、ま
たは顔に向かって斜め右前方から光を受けた顔を撮影し
た画像に基づいて眼の位置を検出する場合には、顔の領
域の向かって左側半分の領域を鼻筋探索領域として設定
することができる。また、鼻筋の候補は、左側エッジ及
び右側エッジの対を検出し、エッジの対が存在する領域
を鼻筋の候補として抽出することができる。 【0011】本発明において、左側エッジと右側エッジ
とを抽出する際のしきい値を異ならせたのは、顔を斜め
前方から撮影しているか、または斜め前方から光を受け
た顔を撮影していることから鼻筋の左右のエッジ強度が
異なるためである。顔に向かって斜め右前方から顔を撮
影した場合、または顔に向かって斜め右前方から光を受
けた顔を撮影した場合には、左側エッジに対するしきい
値<右側エッジに対するしきい値になる。 【0012】鼻筋抽出手段は、抽出された鼻筋の候補か
ら、例えば、候補領域の縦の長さに関する条件を用い
て、最も確からしい候補を鼻筋として抽出する。条件を
満足しない場合は、鼻筋検出不可とする。候補領域の縦
の長さに関する条件を用いて抽出する場合には、適当な
しきい値より長い候補を選択し、選択した候補の中から
長さの最も長いものを鼻筋として抽出する。 【0013】眼領域設定手段は、抽出された鼻筋の位置
に基づいて眼の存在領域を設定する。眼の存在領域は、
抽出された鼻筋を線分と仮定し、抽出された鼻筋の中点
から眼が存在する領域を予想することにより設定するこ
とができる。 【0014】眼位置検出手段は、設定された眼の存在領
域から眼の位置を検出する。 【0015】なお、本発明において鼻筋が検出できなか
った場合には、顔の領域全体で眼の位置の検出を行えば
よい。 【0016】 【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。 【0017】本実施の形態は、図1に示すように、ドラ
イバーの顔をドライバーに向かって右斜め前方から撮影
するカメラ10、画像処理用のコンピュータ、及びコン
ピュータに接続されて抽出された2値化画像等を表示す
るCRTで構成された表示装置32によって構成されて
いる。 【0018】画像処理用のコンピュータは、カメラ10
から入力された画像信号をディジタル変換するアナログ
−ディジタル(A/D)変換器12、CPU14、眼位
置検出処理ルーチンのプログラムが記憶されたROM1
6、RAM18、画像データを記憶する画像メモリ2
0、輝度平均値を記憶する平均値レジスタ22、以下で
説明する各種の度数分布を表すヒストグラムを記憶する
ヒストグラムメモリ24、顔領域の座標を記憶する顔領
域座標レジスタ26、鼻筋探査領域の座標を記憶する鼻
筋探査領域座標レジスタ28、表示装置32に接続され
た出力ポート30、輝度平均値の差、輝度平均値の総和
の値及び0等を記憶する画像メモリ34、及びこれらを
接続するコントロールバスやデータバス等のバス36で
構成されている。 【0019】次に、本実施の形態の眼位置検出処理ルー
チンについて図2を参照して説明する。 【0020】カメラ10から入力された画像信号は、A
/D変換器12によってディジタルの画像データに変換
されて画像メモリ20に記憶されている。 【0021】ステップ100において、画像メモリ20
に記憶されている顔画像から矩形状の顔領域の対角線の
両端座標で表される顔領域座標(x1 ,y1 ),(x
2 ,y 2 )を算出し、算出した顔領域座標を顔領域レジ
スタ26に記憶すると共に、顔領域座標から鼻筋探索領
域座標(x1 ,y1 ),(x0 ,y2 )を算出し鼻筋探
索領域座標レジスタ28に記憶する。ただし、x1 <x
0 <x2 、y1 <y2 、x0 =(x1 +x2 )/2であ
る。 【0022】ステップ102では、画像メモリ20に記
憶されている顔画像上の算出された鼻筋探索領域座標で
示される領域内に対して、各々異なるしきい値を用いて
鼻筋探索領域の左側エッジと右側エッジとを抽出し、抽
出した左側エッジ及び右側エッジに基づいた複数の領域
を鼻筋の候補として抽出する。ステップ104では、抽
出された鼻筋の候補から鼻筋の候補の縦方向の長さに基
づいて鼻筋を選択し、ステップ106において鼻筋が選
択されたか否か、すなわち鼻筋が検出されたか否かを判
断する。 【0023】ステップ106で鼻筋が検出されていない
と判断された場合には、ステップ108でステップ10
0において検出された画像メモリ20に記憶されている
顔画像上の顔領域内で眼の位置を検出する処理を行う。
一方、ステップ106で鼻筋が検出されたと判断された
場合には、ステップ110で選択された鼻筋の中点を検
出し、ステップ112で鼻筋の中点に基づいて眼の存在
領域(眼領域)を設定し、ステップ114で設定された
眼領域から眼の位置を検出する。 【0024】図3は図2のステップ100の詳細を示す
もので、ステップ120において、顔画像(グレー画
像)の各画素の輝度値を予め定められた適当なしきい値
と比較することにより、顔画像をラベル1、0が付され
た2値画像に変換する。次のステップ122では、図4
に示すように、2値画像のラベルをXY平面上のX軸、
及びY軸へ投影したヒストグラムを求め、ステップ12
4において求めたヒストグラムをヒストグラムメモリ2
4に記憶する。このヒストグラムは、あるX座標を通り
かつY軸に平行な直線上に位置する画素のラベルを積算
した値を度数とすることにより得られる。なお、Y軸に
ついても同様であり、あるY座標を通りかつX軸に平行
な直線上に位置する画素のラベルを積算した値を度数と
することにより得られる。 【0025】ステップ126では、図4に示すように、
X軸上でのヒストグラムの度数のピーク値を算出する。
Y軸についても同様に度数のピーク値を算出する。ステ
ップ128では、図4に示すように、X軸上で度数がピ
ークの座標から、しきい値と度数とを比較しながら左右
へ進んでいく過程で、しきい値を横切った座標より度数
が大きいX座標x1 ,x2 を顔領域座標として抽出す
る。Y軸に関しても同様な方法で顔領域座標y1 ,y2
を抽出する。これによって、顔領域座標(x1 ,y
1 ),(x2 ,y2 )が算出される。算出された顔領域
座標は、ステップ130において顔領域座標レジスタ2
6に記憶される。 【0026】ステップ132において、顔領域座標から
顔の向かって左半分の領域に属する座標を鼻筋探索領域
座標(x1 ,y1 ),(x0 ,y2 )として選択し、ス
テップ134において選択された鼻筋探索領域座標が鼻
筋探索領域座標レジスタ28に記憶される。 【0027】次に、図2のステップ102の鼻筋候補抽
出処理の詳細について説明する。鼻筋候補抽出処理は、
図5に示す左側エッジ抽出処理ルーチン、図6に示す右
側エッジ抽出処理ルーチン、図7に示す左右エッジの対
抽出処理ルーチンの3ブロックに分けられるので、各々
について説明する。 【0028】図5の左側エッジ抽出処理ルーチンでは、
図8(A)に示すように、鼻筋探索領域座標レジスタ2
8に記憶されている鼻筋探索領域座標に基づき、画像メ
モリ20に記憶されている顔画像上の鼻筋探索領域上で
顔の横方向に隣接して連続するように左側から右側に向
かって設定された1画素の矩形領域1、矩形領域2の2
個の矩形領域を2組備えた矩形のウインドウ40を用い
る。このウインドウ40は、矩形領域1及び矩形領域2
からなる1組の矩形領域を顔の横方向に1画素分左方向
にずらして構成されており、鼻筋探索領域上で1画素ず
つ右方向にずらしてスキャンすることを上から下方向に
1画素ずつずらしてスキャンすることにより左側エッジ
が抽出される。 【0029】図5のステップ140では、各矩形領域
1、2内の全画素の輝度値を積算することにより輝度積
算値を各々算出する。ステップ142では、矩形領域1
内の輝度積算値の和を矩形領域1内の全画素数で除算す
ると共に、矩形領域2内の輝度積算値の和を矩形領域2
内の全画素数で除算することにより、矩形領域1、2内
の輝度平均値P1,P2を算出し、輝度平均値レジスタ
22にウインドウ40の位置に応じて保存する。 【0030】次のステップ144では、隣接する矩形領
域1、2内の輝度平均値の差(P1−P2)の各々と、
しきい値K1とを比較し、P1−P2>K1の条件を満
足するか否かを判断する。 【0031】ステップ144で上記の条件を満足すると
判断されたとき、すなわち隣接する矩形領域内の輝度平
均値の差が大きいことから鼻筋候補の左側エッジである
と判断される場合には、ステップ146において、顔画
像が記憶されている画像メモリとは別の画像メモリ34
へ、輝度平均値の差(P1−P2)の値を書き込む。書
き込むべき座標は、図8の矩形領域1の中で最も上に位
置する画素の座標とする。同時にステップ148におい
てヒストグラムメモリ24に記憶されている輝度平均値
の差の度数分布を表すヒストグラムの差(P1−P2)
に対する度数を1増加する。 【0032】ステップ144において上記の条件を満足
しないと判断されたとき、すなわち隣接する矩形領域
1、2間の輝度平均値の差が小さい場合には、左側エッ
ジが存在しないと推定してステップ150において、顔
画像が記憶されている画像メモリとは別の画像メモリ3
4へ0を書き込む。書き込むべき座標は、図8(A)の
矩形領域1の中で最も上に位置する画素の座標とする。
同時に、ステップ152においてヒストグラムメモリ2
4の差が0の度数を1増加する。 【0033】なお、輝度平均値の差(P1−P2)の値
及び0は、図8(A)のウインドウの中心座標に書き込
むべきであるが、この例では便宜上、左上の画素として
いる。 【0034】次のステップ154では、鼻筋探索領域の
画像全面についてステップ140〜ステップ152の処
理が終了したか否かを判断し、処理が終了していない場
合にはウインドウを1画素ずらしてステップ140に戻
り、上記の処理を繰り返す。 【0035】上記の処理を、矩形のウインドウ40を1
画素ずつずらしながら、入力画像である鼻筋探索領域の
画像全体に対して行うことにより、輝度平均値の差が書
き込まれた画像及びヒストグラムが得られる。 【0036】ステップ154で鼻筋探索領域の画像全面
について処理が終了していると判断された場合は、ステ
ップ156においてヒストグラムメモリに記憶されてい
るヒストグラムに基づいて輝度平均値の差(P1−P
2)に対するしきい値K2を算出する。すなわち、ヒス
トグラムの上位の度数から度数を積算し、積算した値が
全度数に対して所定割り合いに到達した際の差(P1−
P2)の値をしきい値K2として設定する。この全度数
に対する所定割り合いは、予めシミュレーション等によ
って設定される。 【0037】ステップ158では、各画素の輝度平均値
の差(P1−P2)としきい値K2とを比較して(P1
−P2)>K2の条件を満足するか否かを判断する。 【0038】上記条件を満足する画素に対してはステッ
プ160において出力するときの値を1とし、上記条件
を満足しない画素に対してはステップ162において出
力するときの値を0とするようにラベリングを行い2値
化を行う。上記の2値化処理はステップ164で鼻筋探
索領域の画像全面について処理が終了したと判断される
まで継続される。そして、鼻筋探索領域の画像全面につ
いて処理を行うことにより鼻筋の左側のエッジに相当す
る白/黒エッジが抽出される。左側のエッジ抽出処理に
よる2値画像の例を図10(A)に示す。 【0039】次に、図6に示す右側エッジ抽出処理ルー
チンについて説明する。 【0040】図6の右側エッジ抽出処理ルーチンでは、
図8(B)に示すように、鼻筋探索領域座標レジスタ2
8に記憶されている鼻筋探索領域座標に基づき、画像メ
モリ20に記憶されている顔画像上の鼻筋探索領域上で
顔の横方向に隣接して連続するように左側から右側に向
かって設定された1画素の矩形領域3、及び4画素の矩
形領域4からなる2個の矩形領域を4組備えた矩形のウ
インドウ50を用いる。このウインドウ50は、矩形領
域3及び矩形領域4からなる1組の矩形領域を顔の横方
向に順に1画素ずつ左方向にずらして構成されており、
鼻筋探索領域上で1画素ずつ右方向にずらしてスキャン
することを下方向に1画素ずつずらしてスキャンするこ
とにより右側エッジが抽出される。 【0041】右側エッジ抽出処理に使用する矩形のウイ
ンドウ50が、左側エッジ抽出処理に使用する矩形のウ
インドウ40と形状が異なるのは、ドライバーの顔をド
ライバーに向かって右斜め前方から撮影しているためで
あり、左側エッジが右側エッジに比較して弱いことから
左側エッジについては微小面積で輝度平均の差を演算し
てエッジを抽出し易くしている。 【0042】図6に示す右側エッジ抽出処理は、図5で
説明した左側エッジ抽出処理と同様であるので対応する
部分には同一符号を付して説明する。図6に示す右側エ
ッジ抽出処理では、ステップ142において矩形領域3
内の輝度積算値の和を矩形領域3内の全画素数で除算す
ると共に、矩形領域4内の輝度積算値の和を矩形領域4
内の全画素数で除算することにより、矩形領域3、4内
の輝度平均値P3,P4を算出し、ステップ156にお
いてヒストグラムメモリに記憶されているヒストグラム
に基づいて輝度平均値の差(P4−P3)に対するしき
い値K3を算出する。すなわち、ヒストグラムの上位の
度数から度数を積算し、積算した値が全度数に対して所
定割り合いに到達した際の差(P4−P3)の値をしき
い値K3として設定する。この全度数に対する所定割り
合いは、予めシミュレーション等によって設定される。 【0043】顔を斜め右方向から撮影していることから
鼻の左右のエッジ強度が異なるため、このしきい値K3
は左側エッジのしきい値K2とは異なった大きさに設定
されている。すなわち、顔を斜め右方向から撮影してい
ることから(左側エッジに対するしきい値K2)<(右
側エッジに対するしきい値K3)のように定められてい
る。 【0044】そして、鼻筋領域の画像全面について左側
エッジの場合と同様の処理を行うことにより鼻筋の右側
のエッジに相当する黒/白エッジが抽出される。右側の
エッジ抽出処理による2値画像の例を図10(B)に示
す。 【0045】次に、図7に基づいて、左側エッジの抽出
結果及び左側エッジの抽出結果に対して行う左右エッジ
の対抽出処理ルーチンについて説明する。この左右エッ
ジの対抽出処理では、左右のエッジが近接して存在する
点を抽出する。 【0046】ステップ170では右側エッジ点を選択
し、ステップ172で図9に示すように、右側のエッジ
点を起点として、左方向へ適当な距離だけ水平方向に探
索していき、ステップ174で左側のエッジ点が存在す
るか否かを判断する。左側のエッジ点が存在すれば、ス
テップ176で起点とした右側エッジ点及び右側エッジ
点に対応する左側エッジ点をエッジ対として採用する。
エッジ対として採用した場合には、右側エッジの座標を
RAM等のメモリに記憶する。 【0047】一方、左側エッジ点が存在しなければ、ス
テップ178において選択した右側のエッジ点を消去す
る。そして、ステップ180において右側のエッジ点の
全部についてステップ170〜ステップ178の処理を
行った否かを判断し、行っていない場合にはステップ1
70に戻って上記の処理を繰り返す。 【0048】以上の結果、左右のエッジ対が存在する場
合に右側のエッジの座標が記憶され、この右側のエッジ
の座標で表される領域が鼻筋候補領域として図10
(C)の例に示すように抽出される。この鼻筋候補領域
は通常複数個抽出される。図13は、顔領域と抽出され
た鼻筋候補領域との関係を示すものであり、図13では
鼻筋候補領域1、2の2つの候補が抽出されている。 【0049】次に、図11を参照して抽出された複数の
鼻筋候補領域から鼻筋を検出する処理を行うステップ1
04の詳細について説明する。ステップ200では、ス
テップ102で抽出された複数の鼻筋候補領域の各々に
対して、図12に示すように、各鼻筋候補領域の右上、
左下の位置座標を求める。なお、鼻筋候補領域の位置座
標の算出の詳細については後述する。 【0050】ステップ202では、抽出された鼻筋候補
領域を線分と仮定し、鼻筋候補領域の右上、左下の位置
座標から鼻筋候補領域の縦の長さを算出する。 【0051】ステップ204では、鼻筋候補領域の縦方
向の長さと予め定められたしきい値Lとを比較し、縦方
向の長さがしきい値Lを越えている場合にステップ20
6で鼻筋候補として選択する。一方、鼻筋候補領域の縦
方向の長さがしきい値L以下の場合には鼻筋候補として
選択することなく次のステップに進む。 【0052】ステップ208では、全鼻筋候補領域につ
いてステップ200〜ステップ206の処理を終了した
か否かを判断し、終了していない場合にはステップ20
0に戻って上記の処理を繰り返し、終了した場合にはス
テップ210において選択された鼻筋候補のうち縦方向
の長さが最も長い鼻筋候補を鼻筋として選択する。図1
3の例では、鼻筋候補領域1が選択される。鼻筋候補が
選択されなかった場合は、鼻筋の検出は不可となり図2
のステップ106で否定判断される。 【0053】図2のステップ110では、上記のように
して選択された鼻筋を示す領域の右上、左下の位置座標
を結んだ直線の中点座標(図14)を演算する。 【0054】図2のステップ112では、ステップ11
0で演算された中点座標を鼻筋の中心点であると仮定し
て、この中点座標から眼が存在すると予想される眼領域
を設定する。この眼領域は、顔の統計的情報に基づいて
決定された鼻と眼との位置関係に基づいて設定される。
この鼻と眼との位置関係は、図15に示すように、中心
座標(鼻筋中点)が右下角に位置するL1×L3の矩形
とこの矩形から右方向に距離L2だけ離れたL1×L3
の矩形とで表され、各矩形の中に眼が存在すると仮定さ
れる。そして、顔領域のサイズを算出し、この顔領域の
サイズに応じてL1、L2、L3の長さを変化させて眼
領域を設定する。例えば、顔領域の縦の長さに比例させ
てL1の長さを変化させる。また、顔領域の横の長さに
比例させてL2、L3の長さを変化させる。なお、顔領
域の縦及び横の長さの各々に比例させてL1、L2、L
3の長さを各々変化させてもよい。 【0055】図2のステップ114の詳細を図16を参
照して説明する。図16のステップ220では、設定さ
れた眼領域に対応する画像データを画像メモリ20から
読み込み、ステップ222で設定された眼領域の輝度値
の度数分布を表すヒストグラムを算出する。ステップ2
24では、算出されたヒストグラム上で度数のピークを
検出する。ステップ226では、図17に示すように、
ヒストグラム上で度数のピークから左へ進んでいき、最
初に現れた度数の谷を検出し、この谷の輝度値をしきい
値として設定する。ステップ228では、前記眼領域の
各画素の輝度値としきい値とを比較し、輝度がしきい値
を越える画素に対してはステップ230において出力す
るときの値を1とし、輝度がしきい値以下の画素に対し
てはステップ232において出力するときの値を0と
し、2値化を行う。上記の2値化処理はステップ234
で眼領域全面について処理が終了したと判断されるまで
継続される。そして、眼領域全面について処理を行うこ
とにより眼領域の画像が2値画像に変換される。このと
きの眼領域の原画と眼領域の2値画像の例を図18
(A),(B)に示す。 【0056】次に、ステップ236において眼領域の2
値画像に最小値フィルタ処理を実行すると、図18
(C)に示すように黒領域が検出され、検出された黒領
域の中で、眼領域のほぼ中央に位置する黒領域を、眼の
領域として選択する。 【0057】次に、上記ステップ200の鼻筋候補領域
の位置座標算出処理ルーチンの詳細を図19を参照して
説明する。この鼻筋候補領域の位置座標算出処理では、
図10(C)に例示する2値画像(鼻筋候補領域画像)
を右から左へスキャンすることを上から下ヘ順に実行し
ながら、ラベルが“1”の座標、すなわち2値画像の輝
度値が1の座標を探索する。なお、2値画像を右から左
ヘスキャンする理由は、ラベルが“1”であり、かつ最
も右上の画素を最初に発見するためである。 【0058】ラベルが“1”である最も右上の点を発見
した後、ステップ240でその座標の画素を注目画素と
してその画素の周辺座標の画素のラベルを評価する。 【0059】第1番目として、図20に示すように注目
画素(i,j)が含まれるスキャンラインの次のスキャ
ンライン上の最も右側に位置するD座標のラベルを評価
する(ステップ242)。D座標のラベルが“1”なら
ば、D座標へ移動して、D座標のラベルを“0”にする
(ステップ242、244)。 【0060】第2番目として、図20に示すように注目
画素の左隣に位置するC座標のラベルを評価する(ステ
ップ246)。C座標のラベルが“1”ならば、C座標
へ移動して、C座標のラベルを“0”にする(ステップ
246、248)。 【0061】第3番目として、図20に示すようにC座
標の下側に位置するB座標のラベルを評価する(ステッ
プ250)。B座標のラベルが“1”ならば、B座標へ
移動して、B座標のラベルを“0”にする(ステップ2
50、252)。 【0062】第4番目として、図20に示すように注目
画素の下側に位置するA座標のラベルを評価する(ステ
ップ254)。A座標のラベルが“1”ならば、A座標
へ移動して、A座標のラベルを“0”にする(ステップ
254、256)。 【0063】第5番目として、図20に示すようにC座
標の左隣に位置するE座標のラベルを評価する(ステッ
プ258)。E座標のラベルが“1”ならば、E座標の
ラベルを“0”にする(ステップ258、260)。 【0064】第6番目として、図20に示すようにE座
標の左隣に位置するF座標のラベルを評価する(ステッ
プ262)。F座標のラベルが“1”ならば、F座標の
ラベルを“0”にする(ステップ262、264)。 【0065】ステップ266で座標の移動があったか否
かを判断し、座標の移動があれば、ステップ242へ戻
って移動した座標で上記ステップ242〜ステップ26
4の処理を繰り返す。一方、ステップ266で移動がな
いと判断されたならば、A,B,C,Dの全座標のラベ
ルが“0”なので、ラベルの探索はその座標点で終了
し、右上、左下の座標をレジスタに書き込む。 【0066】鼻筋候補領域画像全面について右上に位置
する注目画素を出発点として左下まで行うことにより、
鼻筋候補領域の位置座標が算出される。 【0067】上記の実施の形態において、顔領域検出の
際に、度数ピークから左右へ進んでいく過程で、図21
に示すように、極小点が存在する場合、この極小点を境
に顔領域が検出されてしまう可能性がある。そこで、以
下では極小点が存在する場合でも、正確に顔領域を検出
することができる顔領域検出処理について図22を参照
して説明する。なお、この顔領域検出処理において、顔
領域座標の算出については図3と同一部分には同一符号
を付して説明する。 【0068】ステップ128では、図21に示すよう
に、X軸上で、度数ピークの座標から、左右へ進んでい
く過程で、しきい値と度数を比較しながら、最初にしき
い値を横切った座標xa,xbで囲まれる領域を、暫定的
な顔領域として、顔領域座標レジスタ26に記憶する。 【0069】次のステップ270、272では、顔領域
座標の最小の座標xa 及び最大の座標xbから出発して
それぞれ左右の一定範囲内の各座標の度数としきい値を
逐次比較し、しきい値を越える座標が存在するかどうか
判断する。一定範囲内の各座標の度数の全てが、しきい
値を超えていないならば、図4に示したように顔領域内
には極小点は存在しないので、顔領域座標レジスタ26
に記憶された暫定的な顔領域を顔領域座標として確定す
る。一定範囲内の度数が、一箇所でもしきい値を超えて
いれば、記憶された顔領域座標は極小点で抽出された顔
領域であるとみなして、ステップ274で顔領域座標レ
ジスタの顔領域の座標を消去し、ステップ128に戻っ
てしきい値を超えた座標から再度、左右へ進んでしきい
値と度数を比較しながら、しきい値を横切った座標を暫
定的な顔領域として顔領域座標レジスタ26に記憶し、
ステップ270、274を繰り返し、顔領域座標を探索
する。 【0070】図21の例では、左側の一定範囲内の各座
標の度数の全てがしきい値を超えていないので左側の顔
領域座標として座標xa が確定するが、右側の顔領域座
標では座標xc でしきい値を超えているので、顔領域座
標レジスタの顔領域の座標x b を消去し、座標xc から
再度右へ進んでしきい値と度数を比較しながらしきい値
を横切った座標xd を抽出する。座標xd より右側の一
定範囲内の各座標の度数の全てがしきい値を超えていな
いので、右側の顔領域座標として座標xd が確定する。 【0071】最終的に確定された顔領域座標は、顔領域
座標レジスタに記憶される。Y軸に関しても同様な方法
で顔領域座標を算出して顔領域座標レジスタに記憶す
る。 【0072】次に、鼻筋候補領域から鼻筋を検出する際
の他の例を説明する。 【0073】予め検出された顔領域において、図23に
示すように、横軸(X軸)上で中心より左側、縦軸(Y
軸)上で中心より下側の領域を鼻筋候補選択領域として
設定する。 【0074】図23に示す場合、鼻筋候補領域2は、前
髪によって発生した候補領域である。縦軸上で中心より
下側の領域に鼻筋候補選択領域を限定することにより、
このような誤認識の可能性のある候補を除外することが
できる。 【0075】鼻筋候補領域から鼻筋を検出する際の他の
例として、鼻筋候補領域の縦横比を用いた例について説
明する。まず、鼻筋候補領域の右上、左下の座標から、
その鼻筋候補領域の縦横比を求める。この縦横比は右
上、左下の座標を結んだ線分を対角線に持つ長方形を用
いて算出する。そして、縦横比に対して適当なしきい値
を設定して、縦長の候補のみを選択する。 【0076】次に、眼位置検出処理の他の例を図25を
参照して説明する。この例では、図24(A)に示すよ
うに、眼領域上で顔の縦方向に隣接して連続するように
上側から下側に向かって設定された矩形領域1、矩形領
域2、及び矩形領域3の3個の矩形領域で構成されたウ
インドウ60を用いる。このウインドウ60において、
矩形領域1と矩形領域3とは同じ形状で同じ面積であ
り、矩形領域2の幅は矩形領域1と同じで矩形領域1の
面積よりも大きく、例えば略2倍の面積を有している。 【0077】図25のステップ300では、各矩形領域
内の全画素の輝度値を積算することにより輝度積算値を
各々算出する。ステップ302では、各矩形領域内の輝
度積算値を各矩形領域の全画素数で除算することによ
り、各矩形領域内の輝度平均値P1,P2,P3(図2
4(B)参照)を算出し、輝度平均値レジスタ22にウ
インドウの位置に応じて保存する。 【0078】次のステップ304では、隣接する矩形領
域内の輝度平均値の差(P1−P2)、(P3−P2)
の各々と、しきい値K1とを比較し、次の条件を満足す
るか否かを判断する。 【0079】 (P1−P2>K1)かつ(P3−P2>K1) ステップ304で上記の条件を満足すると判断されたと
き、すなわち隣接する矩形領域内の輝度平均値の差が大
きいことから眼の候補領域であると判断される場合に
は、ステップ306において、顔画像が記憶されている
画像メモリとは別の画像メモリ34へ輝度平均値の差の
総和(P1−P2)+(P3−P2)の値を書き込む。
書き込むべき座標は、矩形領域2の中心点の座標に書き
込む。同時にステップ308においてヒストグラムメモ
リ24に記憶されている輝度平均値の差の総和の度数分
布を表すヒストグラムの総和(P1−P2)+(P3−
P2)に対する度数を1増加する。 【0080】ステップ304において上記の条件を満足
しないと判断されたとき、すなわち隣接する矩形領域間
の輝度平均値の差が小さい場合には、顔の肌領域である
と推定してステップ310において、顔画像が記憶され
ている画像メモリとは別の画像メモリ34へ0を書き込
む。書き込むべき座標は、矩形領域2の中心点の座標に
書き込む。同時に、ステップ312においてヒストグラ
ムメモリ24の総和が0の度数を1増加する。 【0081】次のステップ314では、眼領域全面につ
いてステップ300〜ステップ312の処理が終了した
か否かを判断し、処理が終了していない場合にはウイン
ドウを1画素ずらしてステップ300に戻り、上記の処
理を繰り返す。 【0082】上記の処理を、矩形のウインドウを1画素
ずつずらしながら、入力画像である眼領域全面に対して
行うことにより、輝度平均値の差の値が書き込まれた画
像及びヒストグラムが得られる。 【0083】ステップ314で眼領域全体について処理
が終了していると判断された場合は、ステップ316に
おいてヒストグラムメモリに記憶されているヒストグラ
ムに基づいて輝度平均値の差の総和(P1−P2)+
(P3−P2)に対するしきい値K2を算出する。すな
わち、ヒストグラムの上位の度数から度数を積算し、積
算した値が全度数に対して所定割り合いに到達した際の
総和(P1−P2)+(P3−P2)の値をしきい値K
2として設定する。この全度数に対する所定割り合い
は、予めシミュレーション等によって設定される。 【0084】ステップ318では、各画素の輝度平均値
の差の総和(P1−P2)+(P3−P2)としきい値
K2とを比較して次の条件を満足するか否かを判断す
る。 【0085】(P1−P2)+(P3−P2)>K2 上記条件を満足する画素に対してはステップ320にお
いて出力するときの値を1とし、上記条件を満足しない
画素に対してはステップ322において出力するときの
値を0とし、2値化を行う。上記の2値化処理はステッ
プ324で眼領域全面について処理が終了したと判断さ
れるまで継続される。そして、眼領域全面について処理
を行うことにより2値画像が得られる。得られた2値画
像のうちラベル1の領域が眼の位置となる。 【0086】次に、ステップ108における鼻筋検出が
できなかった場合の顔領域における眼位置検出処理につ
いて説明する。上記で説明した図25の処理ルーチンを
用いて眼候補領域を抽出する。ただし、この場合は、眼
領域だけでなく顔領域全体で候補抽出を実行する。候補
抽出結果として図26に示すような結果が得られるの
で、複数の候補から以下のようにして最終的に眼の領域
を選択する。 【0087】すなわち、顔領域において、次の条件によ
り選択する。まず、横長の形の眼候補領域を選択する。
この横長の形の眼候補領域は、上記で説明した縦横比を
それぞれの眼候補領域に対して求め、この縦横比を用い
て所定のしきい値を設定し、所定のしきい値の範囲内の
横長の形の領域を眼候補領域として選択することにより
選択する。横長の形の眼候補領域が複数選択された場合
には、以下の方法で眼の領域を選択する。 【0088】顔領域の中で、最も上に位置しており、か
つ上下に略平行に並んだ2つの眼候補領域の対を選択す
る。この2つの眼候補領域のうち、上側は眉の領域と考
えられるので、下側の眼候補領域を眼の領域として選択
する。一方、眼候補領域の対が発見できない場合は、顔
領域の中で、最も上に位置している眼候補領域を、眼の
領域として選択する。 【0089】なお、上記の実施の形態では、カメラによ
ってドライバーの顔をドライバーに向かって右斜め前方
から撮影する場合について説明したが、ドライバーの顔
をドライバーに向かって左斜め前方から撮影してもよ
く、ドライバーに向かって右斜め前方または左斜め前方
から光を受けているドライバの顔を真正面、左斜め前
方、または右斜め前方から撮影してもよい。ドライバー
に向かって右斜め前方から光を受けているドライバの顔
を撮影する場合には、上記と同様に(左側エッジに対す
るしきい値K2)<(右側エッジに対するしきい値K
3)であり、ドライバーに向かって左斜め前方から撮影
する場合及びドライバーに向かって左斜め前方から光を
受けているドライバの顔を撮影する場合には、(左側エ
ッジに対するしきい値K2)>(右側エッジに対するし
きい値K3)である。 【0090】 【発明の効果】以上説明したように、本発明によれば、
鼻の左右のエッジを独立して抽出し、その後、左右のエ
ッジの対を検出しているので、鼻の角度、向き等に影響
されずに、安定して鼻の位置を検出でき、顔の領域を予
め検出することにより、眼鏡が存在する場合において
も、眼鏡のフレームを誤って、鼻筋と誤認識することを
避けることができ、また眼鏡が存在するような複雑な場
合においても、鼻の位置を検出することにより、眼の存
在する領域を安定して特定することができる、という効
果が得られる。
【図面の簡単な説明】
【図1】本実施の形態のブロック図である。
【図2】本実施の形態の眼位置検出処理ルーチンを示す
流れ図である。 【図3】図2のステップ100の詳細を示す流れ図であ
る。 【図4】2値画像をX軸に投影したヒストグラムを示す
線図である。 【図5】左側エッジ抽出処理ルーチンを示す流れ図であ
る。 【図6】右側エッジ抽出処理ルーチンを示す流れ図であ
る。 【図7】左右エッジの対抽出処理ルーチンを示す流れ図
である。 【図8】(A)は左側エッジ抽出処理用のウインドウの
平面図、(B)右側エッジ抽出処理用のウインドウの平
面図である 【図9】左右エッジの対抽出処理を説明するための流れ
図である。 【図10】(A)は左側エッジ抽出処理による2値画像
の平面図、(B)右側エッジ抽出処理による2値画像の
平面図、(C)はエッジ対抽出結果である鼻筋候補領域
画像を示す平面図である 【図11】図2のステップ104の詳細を示す流れ図で
ある。 【図12】各鼻筋候補領域の右上、左下の位置座標を示
す線図である。 【図13】鼻筋候補領域と顔領域の位置関係を示す線図
である。 【図14】鼻筋領域と中点との位置関係を示す線図であ
る。 【図15】鼻筋中点と眼領域との関係を示す線図であ
る。 【図16】図2のステップ114の詳細を示す流れ図で
ある。 【図17】眼領域ヒストグラムを示す線図である。 【図18】(A)は眼領域原画像を示す図、(B)は眼
領域2値画像を示す図、(C)は最小値フィルタ実行後
の画像を示す図である。 【図19】図11のステップ200の詳細を示す流れ図
である。 【図20】注目画素と周辺画素との関係を示す図であ
る。 【図21】極小点が存在する場合のヒストグラムを示す
線図である。 【図22】極小点が存在する場合の顔領域を検出する処
理ルーチンを示す流れ図である。 【図23】鼻筋候補選択領域と顔領域との関係を示す図
である。 【図24】(A)は眼を抽出するウインドウ構成を示す
図、(B)は輝度平均値を示す図である。 【図25】眼領域を2値画像に変換するルーチンを示す
図である。 【図26】眼領域抽出結果を示す図である。 【符号の説明】 10 カメラ 12 アナログ−ディジタル変換器 20 画像メモリ 22 平均値レジスタ 24 ヒストグラムメモリ
流れ図である。 【図3】図2のステップ100の詳細を示す流れ図であ
る。 【図4】2値画像をX軸に投影したヒストグラムを示す
線図である。 【図5】左側エッジ抽出処理ルーチンを示す流れ図であ
る。 【図6】右側エッジ抽出処理ルーチンを示す流れ図であ
る。 【図7】左右エッジの対抽出処理ルーチンを示す流れ図
である。 【図8】(A)は左側エッジ抽出処理用のウインドウの
平面図、(B)右側エッジ抽出処理用のウインドウの平
面図である 【図9】左右エッジの対抽出処理を説明するための流れ
図である。 【図10】(A)は左側エッジ抽出処理による2値画像
の平面図、(B)右側エッジ抽出処理による2値画像の
平面図、(C)はエッジ対抽出結果である鼻筋候補領域
画像を示す平面図である 【図11】図2のステップ104の詳細を示す流れ図で
ある。 【図12】各鼻筋候補領域の右上、左下の位置座標を示
す線図である。 【図13】鼻筋候補領域と顔領域の位置関係を示す線図
である。 【図14】鼻筋領域と中点との位置関係を示す線図であ
る。 【図15】鼻筋中点と眼領域との関係を示す線図であ
る。 【図16】図2のステップ114の詳細を示す流れ図で
ある。 【図17】眼領域ヒストグラムを示す線図である。 【図18】(A)は眼領域原画像を示す図、(B)は眼
領域2値画像を示す図、(C)は最小値フィルタ実行後
の画像を示す図である。 【図19】図11のステップ200の詳細を示す流れ図
である。 【図20】注目画素と周辺画素との関係を示す図であ
る。 【図21】極小点が存在する場合のヒストグラムを示す
線図である。 【図22】極小点が存在する場合の顔領域を検出する処
理ルーチンを示す流れ図である。 【図23】鼻筋候補選択領域と顔領域との関係を示す図
である。 【図24】(A)は眼を抽出するウインドウ構成を示す
図、(B)は輝度平均値を示す図である。 【図25】眼領域を2値画像に変換するルーチンを示す
図である。 【図26】眼領域抽出結果を示す図である。 【符号の説明】 10 カメラ 12 アナログ−ディジタル変換器 20 画像メモリ 22 平均値レジスタ 24 ヒストグラムメモリ
フロントページの続き
(56)参考文献 特開 平11−242745(JP,A)
特開 平7−208927(JP,A)
特開 昭61−41903(JP,A)
特開2000−123148(JP,A)
特開 平10−171995(JP,A)
特開 平7−280746(JP,A)
特開 平5−89243(JP,A)
(58)調査した分野(Int.Cl.7,DB名)
G01B 11/00 - 11/30
G06T 7/00 - 7/60
Claims (1)
- (57)【特許請求の範囲】 【請求項1】顔を斜め前方から撮影した画像、または斜
め前方から光を受けた顔を撮影した画像に基づいて眼の
位置を検出する眼の位置検出装置であって、 入力された画像から顔の領域を抽出する顔領域抽出手段
と、 抽出された顔の領域から各々異なるしきい値を用いて左
側エッジと右側エッジとを抽出し、抽出した左側エッジ
及び右側エッジに基づいた領域を鼻筋の候補として抽出
する鼻筋候補抽出手段と、 抽出された鼻筋の候補から鼻筋を抽出する鼻筋抽出手段
と、 抽出された鼻筋の位置に基づいて眼の存在領域を設定す
る眼領域設定手段と、 設定された眼の存在領域から眼の位置を検出する眼位置
検出手段と、 を含む眼の位置検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24394299A JP3414331B2 (ja) | 1998-10-19 | 1999-08-30 | 眼の位置検出装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10-297319 | 1998-10-19 | ||
JP29731998 | 1998-10-19 | ||
JP24394299A JP3414331B2 (ja) | 1998-10-19 | 1999-08-30 | 眼の位置検出装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000193420A JP2000193420A (ja) | 2000-07-14 |
JP3414331B2 true JP3414331B2 (ja) | 2003-06-09 |
Family
ID=26536501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24394299A Expired - Fee Related JP3414331B2 (ja) | 1998-10-19 | 1999-08-30 | 眼の位置検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3414331B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7079669B2 (en) | 2000-12-27 | 2006-07-18 | Mitsubishi Denki Kabushiki Kaisha | Image processing device and elevator mounting it thereon |
JP4204336B2 (ja) | 2003-01-30 | 2009-01-07 | 富士通株式会社 | 顔の向き検出装置、顔の向き検出方法及びコンピュータプログラム |
JP4471607B2 (ja) * | 2003-08-29 | 2010-06-02 | 富士通株式会社 | 眼の追跡装置、眼の状態判定装置及びコンピュータプログラム |
KR100809431B1 (ko) | 2006-11-21 | 2008-03-05 | 한국전자통신연구원 | 가림 현상에 강인한 눈 검출 방법 및 장치 |
JP5098982B2 (ja) * | 2008-12-08 | 2012-12-12 | トヨタ自動車株式会社 | 顔部位検出装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6141903A (ja) * | 1984-08-03 | 1986-02-28 | Nippon Denso Co Ltd | 車両運転者の目の位置認識装置 |
JPH0589243A (ja) * | 1991-09-27 | 1993-04-09 | Nippon Telegr & Teleph Corp <Ntt> | 背景画像置換装置 |
JP3057996B2 (ja) * | 1994-01-18 | 2000-07-04 | 日産自動車株式会社 | 車両運転者の眼球位置検出装置 |
JPH07280746A (ja) * | 1994-04-11 | 1995-10-27 | Kawasaki Steel Corp | 金属板表面疵抽出装置 |
JPH10171995A (ja) * | 1996-12-13 | 1998-06-26 | Canon Inc | 特徴点検出装置、瞳孔エッジ検出装置及び視線検出装置 |
JPH11242745A (ja) * | 1998-02-25 | 1999-09-07 | Victor Co Of Japan Ltd | 顔画像の計測・処理方法 |
JP3319408B2 (ja) * | 1998-10-12 | 2002-09-03 | 株式会社豊田中央研究所 | 顔の特徴抽出装置 |
-
1999
- 1999-08-30 JP JP24394299A patent/JP3414331B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000193420A (ja) | 2000-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6754369B1 (en) | License plate reading apparatus and method | |
JP3426060B2 (ja) | 顔画像処理装置 | |
US8059868B2 (en) | License plate recognition apparatus, license plate recognition method, and computer-readable storage medium | |
US8351662B2 (en) | System and method for face verification using video sequence | |
US20070076951A1 (en) | Image recognition device | |
KR101809543B1 (ko) | 비접촉식 지문 인식하는 방법 및 이를 수행하기 위한 전자 기기 | |
EP2434431A1 (en) | Method and device for classifying image | |
EP2709039A1 (en) | Device and method for detecting the presence of a logo in a picture | |
JP2003526841A (ja) | 生物測定学に基づく顔の抽出システム及び方法 | |
CN101460937A (zh) | 基于模型的去扭曲方法和设备 | |
JPH0737103A (ja) | 傾き角度検出装置 | |
US7489832B2 (en) | Imaging apparatus, image processing method for imaging apparatus and recording medium | |
EP0773508B1 (en) | Apparatus for extracting fingerprint features | |
JP3414331B2 (ja) | 眼の位置検出装置 | |
JP2013122739A (ja) | 解析装置、解析プログラムおよび解析方法 | |
JP4198542B2 (ja) | 顔有無判定装置及び顔有無判定プログラム | |
JP4172236B2 (ja) | 顔画像処理装置及びプログラム | |
CN114926829A (zh) | 一种证件检测方法、装置、电子设备及存储介质 | |
CN114120343A (zh) | 证件图像质量评估方法及终端 | |
WO2005055144A1 (ja) | 人物顔のあご検出方法及びあご検出システム並びにあご検出プログラム | |
JP2858530B2 (ja) | エッジ強調装置 | |
US8675958B2 (en) | Subject determination method, computer program product for determining subject, and camera | |
Tam et al. | Quadrilateral Signboard Detection and Text Extraction. | |
JPH08235359A (ja) | パターンマッチング方法およびパターンマッチング装置 | |
JP3095470B2 (ja) | 文字認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |