JP3414331B2 - 眼の位置検出装置 - Google Patents

Description

【発明の詳細な説明】 【０００１】 【発明の属する技術分野】本発明は、眼の位置検出装置
に係り、特に、鼻の角度及び向き等に影響されずに安定
して眼の位置を検出することができる眼の位置検出装置
に関する。 【０００２】 【従来の技術及び発明が解決しようとする課題】特開昭
６１−７７７０３号公報には、車両運転者の目の位置認
識装置が記載されている。この装置では、鼻の輪郭を明
確に出すために、斜め横方向からドライバーの顔を撮影
し、撮影したドライバーの顔画像上で、鼻を探索する鼻
探索領域をある領域に固定し、鼻探索領域内で鼻のパタ
ーンマッチングにより、鼻尖の位置を検出する。そし
て、検出された鼻尖の位置から鼻筋を検出し、検出され
た鼻筋の傾きを算出し、鼻尖の位置及び鼻筋の傾きか
ら、瞳の中心位置を算出する。 【０００３】また、特開昭６３−３１１１０５号公報に
記載されている車両乗員の乗車位置認識装置は、ドライ
バーの座席状態検出手段を用いて、座席の前後の位置及
び姿勢を検出し、検出された座席の位置及び姿勢からド
ライバーの顔の位置を推定し、鼻を探索するための所定
領域を設定している。 【０００４】上記従来の車両運転者の目の位置認識装置
では、ドライバーの顔面に対して、かなり浅い角度、す
なわち真横に近い角度でドライバーの顔を撮影してい
る。従って、ドライバーの座る前後の位置によって、鼻
の位置も前後に変化する。このため、鼻探索領域の位置
を固定した場合、鼻探索領域内に必ず鼻が存在するとは
限らないので、パターンマッチングにより鼻尖の位置を
検出するのが困難な場合がある。また、鼻の形は個人差
によって大きく異なり、顔の向き、すなわち撮影する角
度により鼻の形は大きく変化する。このため、斜め横か
ら撮影した赤外画像の場合等には、鼻の左側が暗くなっ
て、エッジが不明瞭になる場合があり、エッジが不鮮明
になると検出する鼻の形に影響する。パターンマッチン
グでは、鼻の形の変化に対応することができず、鼻の形
の変化に対応するためには、鼻のパターンを変化する鼻
の形に応じて多種類用意する必要があり、この方法は現
実的ではない。 【０００５】また、上記の車両乗員の乗車位置認識装置
は、座席状態検出手段が必要になるので、コスト高にな
る、という問題がある。また、ドライバーの個人差によ
って、座席での着座のし方、背もたれに対する姿勢も異
なるので、座席の位置、及び姿勢からドライバーの顔の
位置を推定する場合には、高い精度が得られない、とい
う問題がある。 【０００６】本発明は、上記問題点を解決するためにな
されたもので、斜め横から撮影した赤外画像等において
も鼻の存在領域を検出して眼の位置を検出することがで
きる眼の位置検出装置を提供することを目的とする。 【０００７】 【課題を解決するための手段】上記目的を達成するため
に、本発明は、顔を斜め前方から撮影した画像、または
斜め前方から光を受けた顔を撮影した画像に基づいて眼
の位置を検出する眼の位置検出装置であって、入力され
た画像から顔の領域を抽出する顔領域抽出手段と、抽出
された顔の領域から各々異なるしきい値を用いて左側エ
ッジと右側エッジとを抽出し、抽出した左側エッジ及び
右側エッジに基づいた領域を鼻筋の候補として抽出する
鼻筋候補抽出手段と、抽出された鼻筋の候補から鼻筋を
抽出する鼻筋抽出手段と、抽出された鼻筋の位置に基づ
いて眼の存在領域を設定する眼領域設定手段と、設定さ
れた眼の存在領域から眼の位置を検出する眼位置検出手
段と、を含んで構成したものである。 【０００８】本発明では、顔を斜め前方から撮影した画
像、または斜め前方から光を受けた顔を撮影した画像に
基づいて眼の位置を検出する。顔を斜め前方から撮影す
る場合には、顔はいずれの方向から光を受けてもよく、
斜め前方から光を受けた顔を撮影する場合は、顔の真正
面や斜め前方等いずれの方向から撮影してもよい。これ
によって、鼻筋の左側エッジと右側エッジとが異なるよ
うに撮影される。顔を斜め前方から撮影するときの角
度、及び光の角度は、顔の正面を０°、顔の真横を９０
°とすると、２０°〜７０°が適当である。顔領域抽出
手段は、入力された画像から顔の領域を抽出する。この
顔の領域は、入力された顔画像を適当な輝度しきい値に
より２値画像に変換し、変換された２値画像を用いて抽
出することができる。 【０００９】鼻筋候補抽出手段は、抽出された顔の領域
から各々異なるしきい値を用いて左側エッジと右側エッ
ジとを抽出し、抽出した左側エッジ及び右側エッジに基
づいた領域を鼻筋の候補として抽出する。 【００１０】この場合、抽出された顔の領域内で、所定
の領域を鼻筋探索領域として設定して鼻筋の候補を抽出
するのが効果的である。この所定の領域は、顔の撮影方
向または顔が光を受ける方向に応じて設定することがで
き、顔に向かって斜め右前方から顔を撮影した画像、ま
たは顔に向かって斜め右前方から光を受けた顔を撮影し
た画像に基づいて眼の位置を検出する場合には、顔の領
域の向かって左側半分の領域を鼻筋探索領域として設定
することができる。また、鼻筋の候補は、左側エッジ及
び右側エッジの対を検出し、エッジの対が存在する領域
を鼻筋の候補として抽出することができる。 【００１１】本発明において、左側エッジと右側エッジ
とを抽出する際のしきい値を異ならせたのは、顔を斜め
前方から撮影しているか、または斜め前方から光を受け
た顔を撮影していることから鼻筋の左右のエッジ強度が
異なるためである。顔に向かって斜め右前方から顔を撮
影した場合、または顔に向かって斜め右前方から光を受
けた顔を撮影した場合には、左側エッジに対するしきい
値＜右側エッジに対するしきい値になる。 【００１２】鼻筋抽出手段は、抽出された鼻筋の候補か
ら、例えば、候補領域の縦の長さに関する条件を用い
て、最も確からしい候補を鼻筋として抽出する。条件を
満足しない場合は、鼻筋検出不可とする。候補領域の縦
の長さに関する条件を用いて抽出する場合には、適当な
しきい値より長い候補を選択し、選択した候補の中から
長さの最も長いものを鼻筋として抽出する。 【００１３】眼領域設定手段は、抽出された鼻筋の位置
に基づいて眼の存在領域を設定する。眼の存在領域は、
抽出された鼻筋を線分と仮定し、抽出された鼻筋の中点
から眼が存在する領域を予想することにより設定するこ
とができる。 【００１４】眼位置検出手段は、設定された眼の存在領
域から眼の位置を検出する。 【００１５】なお、本発明において鼻筋が検出できなか
った場合には、顔の領域全体で眼の位置の検出を行えば
よい。 【００１６】 【発明の実施の形態】以下、図面を参照して本発明の実
施の形態について説明する。 【００１７】本実施の形態は、図１に示すように、ドラ
イバーの顔をドライバーに向かって右斜め前方から撮影
するカメラ１０、画像処理用のコンピュータ、及びコン
ピュータに接続されて抽出された２値化画像等を表示す
るＣＲＴで構成された表示装置３２によって構成されて
いる。 【００１８】画像処理用のコンピュータは、カメラ１０
から入力された画像信号をディジタル変換するアナログ
−ディジタル（Ａ／Ｄ）変換器１２、ＣＰＵ１４、眼位
置検出処理ルーチンのプログラムが記憶されたＲＯＭ１
６、ＲＡＭ１８、画像データを記憶する画像メモリ２
０、輝度平均値を記憶する平均値レジスタ２２、以下で
説明する各種の度数分布を表すヒストグラムを記憶する
ヒストグラムメモリ２４、顔領域の座標を記憶する顔領
域座標レジスタ２６、鼻筋探査領域の座標を記憶する鼻
筋探査領域座標レジスタ２８、表示装置３２に接続され
た出力ポート３０、輝度平均値の差、輝度平均値の総和
の値及び０等を記憶する画像メモリ３４、及びこれらを
接続するコントロールバスやデータバス等のバス３６で
構成されている。 【００１９】次に、本実施の形態の眼位置検出処理ルー
チンについて図２を参照して説明する。 【００２０】カメラ１０から入力された画像信号は、Ａ
／Ｄ変換器１２によってディジタルの画像データに変換
されて画像メモリ２０に記憶されている。 【００２１】ステップ１００において、画像メモリ２０
に記憶されている顔画像から矩形状の顔領域の対角線の
両端座標で表される顔領域座標（ｘ₁ ，ｙ₁ ），（ｘ
₂ ，ｙ ₂ ）を算出し、算出した顔領域座標を顔領域レジ
スタ２６に記憶すると共に、顔領域座標から鼻筋探索領
域座標（ｘ₁ ，ｙ₁ ），（ｘ₀ ，ｙ₂ ）を算出し鼻筋探
索領域座標レジスタ２８に記憶する。ただし、ｘ₁ ＜ｘ
₀ ＜ｘ₂ 、ｙ₁ ＜ｙ₂ 、ｘ₀ ＝（ｘ₁ ＋ｘ₂ ）／２であ
る。 【００２２】ステップ１０２では、画像メモリ２０に記
憶されている顔画像上の算出された鼻筋探索領域座標で
示される領域内に対して、各々異なるしきい値を用いて
鼻筋探索領域の左側エッジと右側エッジとを抽出し、抽
出した左側エッジ及び右側エッジに基づいた複数の領域
を鼻筋の候補として抽出する。ステップ１０４では、抽
出された鼻筋の候補から鼻筋の候補の縦方向の長さに基
づいて鼻筋を選択し、ステップ１０６において鼻筋が選
択されたか否か、すなわち鼻筋が検出されたか否かを判
断する。 【００２３】ステップ１０６で鼻筋が検出されていない
と判断された場合には、ステップ１０８でステップ１０
０において検出された画像メモリ２０に記憶されている
顔画像上の顔領域内で眼の位置を検出する処理を行う。
一方、ステップ１０６で鼻筋が検出されたと判断された
場合には、ステップ１１０で選択された鼻筋の中点を検
出し、ステップ１１２で鼻筋の中点に基づいて眼の存在
領域（眼領域）を設定し、ステップ１１４で設定された
眼領域から眼の位置を検出する。 【００２４】図３は図２のステップ１００の詳細を示す
もので、ステップ１２０において、顔画像（グレー画
像）の各画素の輝度値を予め定められた適当なしきい値
と比較することにより、顔画像をラベル１、０が付され
た２値画像に変換する。次のステップ１２２では、図４
に示すように、２値画像のラベルをＸＹ平面上のＸ軸、
及びＹ軸へ投影したヒストグラムを求め、ステップ１２
４において求めたヒストグラムをヒストグラムメモリ２
４に記憶する。このヒストグラムは、あるＸ座標を通り
かつＹ軸に平行な直線上に位置する画素のラベルを積算
した値を度数とすることにより得られる。なお、Ｙ軸に
ついても同様であり、あるＹ座標を通りかつＸ軸に平行
な直線上に位置する画素のラベルを積算した値を度数と
することにより得られる。 【００２５】ステップ１２６では、図４に示すように、
Ｘ軸上でのヒストグラムの度数のピーク値を算出する。
Ｙ軸についても同様に度数のピーク値を算出する。ステ
ップ１２８では、図４に示すように、Ｘ軸上で度数がピ
ークの座標から、しきい値と度数とを比較しながら左右
へ進んでいく過程で、しきい値を横切った座標より度数
が大きいＸ座標ｘ₁ ，ｘ₂ を顔領域座標として抽出す
る。Ｙ軸に関しても同様な方法で顔領域座標ｙ₁ ，ｙ₂
を抽出する。これによって、顔領域座標（ｘ₁ ，ｙ
₁ ），（ｘ₂ ，ｙ₂ ）が算出される。算出された顔領域
座標は、ステップ１３０において顔領域座標レジスタ２
６に記憶される。 【００２６】ステップ１３２において、顔領域座標から
顔の向かって左半分の領域に属する座標を鼻筋探索領域
座標（ｘ₁ ，ｙ₁ ），（ｘ₀ ，ｙ₂ ）として選択し、ス
テップ１３４において選択された鼻筋探索領域座標が鼻
筋探索領域座標レジスタ２８に記憶される。 【００２７】次に、図２のステップ１０２の鼻筋候補抽
出処理の詳細について説明する。鼻筋候補抽出処理は、
図５に示す左側エッジ抽出処理ルーチン、図６に示す右
側エッジ抽出処理ルーチン、図７に示す左右エッジの対
抽出処理ルーチンの３ブロックに分けられるので、各々
について説明する。 【００２８】図５の左側エッジ抽出処理ルーチンでは、
図８（Ａ）に示すように、鼻筋探索領域座標レジスタ２
８に記憶されている鼻筋探索領域座標に基づき、画像メ
モリ２０に記憶されている顔画像上の鼻筋探索領域上で
顔の横方向に隣接して連続するように左側から右側に向
かって設定された１画素の矩形領域１、矩形領域２の２
個の矩形領域を２組備えた矩形のウインドウ４０を用い
る。このウインドウ４０は、矩形領域１及び矩形領域２
からなる１組の矩形領域を顔の横方向に１画素分左方向
にずらして構成されており、鼻筋探索領域上で１画素ず
つ右方向にずらしてスキャンすることを上から下方向に
１画素ずつずらしてスキャンすることにより左側エッジ
が抽出される。 【００２９】図５のステップ１４０では、各矩形領域
１、２内の全画素の輝度値を積算することにより輝度積
算値を各々算出する。ステップ１４２では、矩形領域１
内の輝度積算値の和を矩形領域１内の全画素数で除算す
ると共に、矩形領域２内の輝度積算値の和を矩形領域２
内の全画素数で除算することにより、矩形領域１、２内
の輝度平均値Ｐ１，Ｐ２を算出し、輝度平均値レジスタ
２２にウインドウ４０の位置に応じて保存する。 【００３０】次のステップ１４４では、隣接する矩形領
域１、２内の輝度平均値の差（Ｐ１−Ｐ２）の各々と、
しきい値Ｋ１とを比較し、Ｐ１−Ｐ２＞Ｋ１の条件を満
足するか否かを判断する。 【００３１】ステップ１４４で上記の条件を満足すると
判断されたとき、すなわち隣接する矩形領域内の輝度平
均値の差が大きいことから鼻筋候補の左側エッジである
と判断される場合には、ステップ１４６において、顔画
像が記憶されている画像メモリとは別の画像メモリ３４
へ、輝度平均値の差（Ｐ１−Ｐ２）の値を書き込む。書
き込むべき座標は、図８の矩形領域１の中で最も上に位
置する画素の座標とする。同時にステップ１４８におい
てヒストグラムメモリ２４に記憶されている輝度平均値
の差の度数分布を表すヒストグラムの差（Ｐ１−Ｐ２）
に対する度数を１増加する。 【００３２】ステップ１４４において上記の条件を満足
しないと判断されたとき、すなわち隣接する矩形領域
１、２間の輝度平均値の差が小さい場合には、左側エッ
ジが存在しないと推定してステップ１５０において、顔
画像が記憶されている画像メモリとは別の画像メモリ３
４へ０を書き込む。書き込むべき座標は、図８（Ａ）の
矩形領域１の中で最も上に位置する画素の座標とする。
同時に、ステップ１５２においてヒストグラムメモリ２
４の差が０の度数を１増加する。 【００３３】なお、輝度平均値の差（Ｐ１−Ｐ２）の値
及び０は、図８（Ａ）のウインドウの中心座標に書き込
むべきであるが、この例では便宜上、左上の画素として
いる。 【００３４】次のステップ１５４では、鼻筋探索領域の
画像全面についてステップ１４０〜ステップ１５２の処
理が終了したか否かを判断し、処理が終了していない場
合にはウインドウを１画素ずらしてステップ１４０に戻
り、上記の処理を繰り返す。 【００３５】上記の処理を、矩形のウインドウ４０を１
画素ずつずらしながら、入力画像である鼻筋探索領域の
画像全体に対して行うことにより、輝度平均値の差が書
き込まれた画像及びヒストグラムが得られる。 【００３６】ステップ１５４で鼻筋探索領域の画像全面
について処理が終了していると判断された場合は、ステ
ップ１５６においてヒストグラムメモリに記憶されてい
るヒストグラムに基づいて輝度平均値の差（Ｐ１−Ｐ
２）に対するしきい値Ｋ２を算出する。すなわち、ヒス
トグラムの上位の度数から度数を積算し、積算した値が
全度数に対して所定割り合いに到達した際の差（Ｐ１−
Ｐ２）の値をしきい値Ｋ２として設定する。この全度数
に対する所定割り合いは、予めシミュレーション等によ
って設定される。 【００３７】ステップ１５８では、各画素の輝度平均値
の差（Ｐ１−Ｐ２）としきい値Ｋ２とを比較して（Ｐ１
−Ｐ２）＞Ｋ２の条件を満足するか否かを判断する。 【００３８】上記条件を満足する画素に対してはステッ
プ１６０において出力するときの値を１とし、上記条件
を満足しない画素に対してはステップ１６２において出
力するときの値を０とするようにラベリングを行い２値
化を行う。上記の２値化処理はステップ１６４で鼻筋探
索領域の画像全面について処理が終了したと判断される
まで継続される。そして、鼻筋探索領域の画像全面につ
いて処理を行うことにより鼻筋の左側のエッジに相当す
る白／黒エッジが抽出される。左側のエッジ抽出処理に
よる２値画像の例を図１０（Ａ）に示す。 【００３９】次に、図６に示す右側エッジ抽出処理ルー
チンについて説明する。 【００４０】図６の右側エッジ抽出処理ルーチンでは、
図８（Ｂ）に示すように、鼻筋探索領域座標レジスタ２
８に記憶されている鼻筋探索領域座標に基づき、画像メ
モリ２０に記憶されている顔画像上の鼻筋探索領域上で
顔の横方向に隣接して連続するように左側から右側に向
かって設定された１画素の矩形領域３、及び４画素の矩
形領域４からなる２個の矩形領域を４組備えた矩形のウ
インドウ５０を用いる。このウインドウ５０は、矩形領
域３及び矩形領域４からなる１組の矩形領域を顔の横方
向に順に１画素ずつ左方向にずらして構成されており、
鼻筋探索領域上で１画素ずつ右方向にずらしてスキャン
することを下方向に１画素ずつずらしてスキャンするこ
とにより右側エッジが抽出される。 【００４１】右側エッジ抽出処理に使用する矩形のウイ
ンドウ５０が、左側エッジ抽出処理に使用する矩形のウ
インドウ４０と形状が異なるのは、ドライバーの顔をド
ライバーに向かって右斜め前方から撮影しているためで
あり、左側エッジが右側エッジに比較して弱いことから
左側エッジについては微小面積で輝度平均の差を演算し
てエッジを抽出し易くしている。 【００４２】図６に示す右側エッジ抽出処理は、図５で
説明した左側エッジ抽出処理と同様であるので対応する
部分には同一符号を付して説明する。図６に示す右側エ
ッジ抽出処理では、ステップ１４２において矩形領域３
内の輝度積算値の和を矩形領域３内の全画素数で除算す
ると共に、矩形領域４内の輝度積算値の和を矩形領域４
内の全画素数で除算することにより、矩形領域３、４内
の輝度平均値Ｐ３，Ｐ４を算出し、ステップ１５６にお
いてヒストグラムメモリに記憶されているヒストグラム
に基づいて輝度平均値の差（Ｐ４−Ｐ３）に対するしき
い値Ｋ３を算出する。すなわち、ヒストグラムの上位の
度数から度数を積算し、積算した値が全度数に対して所
定割り合いに到達した際の差（Ｐ４−Ｐ３）の値をしき
い値Ｋ３として設定する。この全度数に対する所定割り
合いは、予めシミュレーション等によって設定される。 【００４３】顔を斜め右方向から撮影していることから
鼻の左右のエッジ強度が異なるため、このしきい値Ｋ３
は左側エッジのしきい値Ｋ２とは異なった大きさに設定
されている。すなわち、顔を斜め右方向から撮影してい
ることから（左側エッジに対するしきい値Ｋ２）＜（右
側エッジに対するしきい値Ｋ３）のように定められてい
る。 【００４４】そして、鼻筋領域の画像全面について左側
エッジの場合と同様の処理を行うことにより鼻筋の右側
のエッジに相当する黒／白エッジが抽出される。右側の
エッジ抽出処理による２値画像の例を図１０（Ｂ）に示
す。 【００４５】次に、図７に基づいて、左側エッジの抽出
結果及び左側エッジの抽出結果に対して行う左右エッジ
の対抽出処理ルーチンについて説明する。この左右エッ
ジの対抽出処理では、左右のエッジが近接して存在する
点を抽出する。 【００４６】ステップ１７０では右側エッジ点を選択
し、ステップ１７２で図９に示すように、右側のエッジ
点を起点として、左方向へ適当な距離だけ水平方向に探
索していき、ステップ１７４で左側のエッジ点が存在す
るか否かを判断する。左側のエッジ点が存在すれば、ス
テップ１７６で起点とした右側エッジ点及び右側エッジ
点に対応する左側エッジ点をエッジ対として採用する。
エッジ対として採用した場合には、右側エッジの座標を
ＲＡＭ等のメモリに記憶する。 【００４７】一方、左側エッジ点が存在しなければ、ス
テップ１７８において選択した右側のエッジ点を消去す
る。そして、ステップ１８０において右側のエッジ点の
全部についてステップ１７０〜ステップ１７８の処理を
行った否かを判断し、行っていない場合にはステップ１
７０に戻って上記の処理を繰り返す。 【００４８】以上の結果、左右のエッジ対が存在する場
合に右側のエッジの座標が記憶され、この右側のエッジ
の座標で表される領域が鼻筋候補領域として図１０
（Ｃ）の例に示すように抽出される。この鼻筋候補領域
は通常複数個抽出される。図１３は、顔領域と抽出され
た鼻筋候補領域との関係を示すものであり、図１３では
鼻筋候補領域１、２の２つの候補が抽出されている。 【００４９】次に、図１１を参照して抽出された複数の
鼻筋候補領域から鼻筋を検出する処理を行うステップ１
０４の詳細について説明する。ステップ２００では、ス
テップ１０２で抽出された複数の鼻筋候補領域の各々に
対して、図１２に示すように、各鼻筋候補領域の右上、
左下の位置座標を求める。なお、鼻筋候補領域の位置座
標の算出の詳細については後述する。 【００５０】ステップ２０２では、抽出された鼻筋候補
領域を線分と仮定し、鼻筋候補領域の右上、左下の位置
座標から鼻筋候補領域の縦の長さを算出する。 【００５１】ステップ２０４では、鼻筋候補領域の縦方
向の長さと予め定められたしきい値Ｌとを比較し、縦方
向の長さがしきい値Ｌを越えている場合にステップ２０
６で鼻筋候補として選択する。一方、鼻筋候補領域の縦
方向の長さがしきい値Ｌ以下の場合には鼻筋候補として
選択することなく次のステップに進む。 【００５２】ステップ２０８では、全鼻筋候補領域につ
いてステップ２００〜ステップ２０６の処理を終了した
か否かを判断し、終了していない場合にはステップ２０
０に戻って上記の処理を繰り返し、終了した場合にはス
テップ２１０において選択された鼻筋候補のうち縦方向
の長さが最も長い鼻筋候補を鼻筋として選択する。図１
３の例では、鼻筋候補領域１が選択される。鼻筋候補が
選択されなかった場合は、鼻筋の検出は不可となり図２
のステップ１０６で否定判断される。 【００５３】図２のステップ１１０では、上記のように
して選択された鼻筋を示す領域の右上、左下の位置座標
を結んだ直線の中点座標（図１４）を演算する。 【００５４】図２のステップ１１２では、ステップ１１
０で演算された中点座標を鼻筋の中心点であると仮定し
て、この中点座標から眼が存在すると予想される眼領域
を設定する。この眼領域は、顔の統計的情報に基づいて
決定された鼻と眼との位置関係に基づいて設定される。
この鼻と眼との位置関係は、図１５に示すように、中心
座標（鼻筋中点）が右下角に位置するＬ１×Ｌ３の矩形
とこの矩形から右方向に距離Ｌ２だけ離れたＬ１×Ｌ３
の矩形とで表され、各矩形の中に眼が存在すると仮定さ
れる。そして、顔領域のサイズを算出し、この顔領域の
サイズに応じてＬ１、Ｌ２、Ｌ３の長さを変化させて眼
領域を設定する。例えば、顔領域の縦の長さに比例させ
てＬ１の長さを変化させる。また、顔領域の横の長さに
比例させてＬ２、Ｌ３の長さを変化させる。なお、顔領
域の縦及び横の長さの各々に比例させてＬ１、Ｌ２、Ｌ
３の長さを各々変化させてもよい。 【００５５】図２のステップ１１４の詳細を図１６を参
照して説明する。図１６のステップ２２０では、設定さ
れた眼領域に対応する画像データを画像メモリ２０から
読み込み、ステップ２２２で設定された眼領域の輝度値
の度数分布を表すヒストグラムを算出する。ステップ２
２４では、算出されたヒストグラム上で度数のピークを
検出する。ステップ２２６では、図１７に示すように、
ヒストグラム上で度数のピークから左へ進んでいき、最
初に現れた度数の谷を検出し、この谷の輝度値をしきい
値として設定する。ステップ２２８では、前記眼領域の
各画素の輝度値としきい値とを比較し、輝度がしきい値
を越える画素に対してはステップ２３０において出力す
るときの値を１とし、輝度がしきい値以下の画素に対し
てはステップ２３２において出力するときの値を０と
し、２値化を行う。上記の２値化処理はステップ２３４
で眼領域全面について処理が終了したと判断されるまで
継続される。そして、眼領域全面について処理を行うこ
とにより眼領域の画像が２値画像に変換される。このと
きの眼領域の原画と眼領域の２値画像の例を図１８
（Ａ），（Ｂ）に示す。 【００５６】次に、ステップ２３６において眼領域の２
値画像に最小値フィルタ処理を実行すると、図１８
（Ｃ）に示すように黒領域が検出され、検出された黒領
域の中で、眼領域のほぼ中央に位置する黒領域を、眼の
領域として選択する。 【００５７】次に、上記ステップ２００の鼻筋候補領域
の位置座標算出処理ルーチンの詳細を図１９を参照して
説明する。この鼻筋候補領域の位置座標算出処理では、
図１０（Ｃ）に例示する２値画像（鼻筋候補領域画像）
を右から左へスキャンすることを上から下ヘ順に実行し
ながら、ラベルが“１”の座標、すなわち２値画像の輝
度値が１の座標を探索する。なお、２値画像を右から左
ヘスキャンする理由は、ラベルが“１”であり、かつ最
も右上の画素を最初に発見するためである。 【００５８】ラベルが“１”である最も右上の点を発見
した後、ステップ２４０でその座標の画素を注目画素と
してその画素の周辺座標の画素のラベルを評価する。 【００５９】第１番目として、図２０に示すように注目
画素（ｉ，ｊ）が含まれるスキャンラインの次のスキャ
ンライン上の最も右側に位置するＤ座標のラベルを評価
する（ステップ２４２）。Ｄ座標のラベルが“１”なら
ば、Ｄ座標へ移動して、Ｄ座標のラベルを“０”にする
（ステップ２４２、２４４）。 【００６０】第２番目として、図２０に示すように注目
画素の左隣に位置するＣ座標のラベルを評価する（ステ
ップ２４６）。Ｃ座標のラベルが“１”ならば、Ｃ座標
へ移動して、Ｃ座標のラベルを“０”にする（ステップ
２４６、２４８）。 【００６１】第３番目として、図２０に示すようにＣ座
標の下側に位置するＢ座標のラベルを評価する（ステッ
プ２５０）。Ｂ座標のラベルが“１”ならば、Ｂ座標へ
移動して、Ｂ座標のラベルを“０”にする（ステップ２
５０、２５２）。 【００６２】第４番目として、図２０に示すように注目
画素の下側に位置するＡ座標のラベルを評価する（ステ
ップ２５４）。Ａ座標のラベルが“１”ならば、Ａ座標
へ移動して、Ａ座標のラベルを“０”にする（ステップ
２５４、２５６）。 【００６３】第５番目として、図２０に示すようにＣ座
標の左隣に位置するＥ座標のラベルを評価する（ステッ
プ２５８）。Ｅ座標のラベルが“１”ならば、Ｅ座標の
ラベルを“０”にする（ステップ２５８、２６０）。 【００６４】第６番目として、図２０に示すようにＥ座
標の左隣に位置するＦ座標のラベルを評価する（ステッ
プ２６２）。Ｆ座標のラベルが“１”ならば、Ｆ座標の
ラベルを“０”にする（ステップ２６２、２６４）。 【００６５】ステップ２６６で座標の移動があったか否
かを判断し、座標の移動があれば、ステップ２４２へ戻
って移動した座標で上記ステップ２４２〜ステップ２６
４の処理を繰り返す。一方、ステップ２６６で移動がな
いと判断されたならば、Ａ，Ｂ，Ｃ，Ｄの全座標のラベ
ルが“０”なので、ラベルの探索はその座標点で終了
し、右上、左下の座標をレジスタに書き込む。 【００６６】鼻筋候補領域画像全面について右上に位置
する注目画素を出発点として左下まで行うことにより、
鼻筋候補領域の位置座標が算出される。 【００６７】上記の実施の形態において、顔領域検出の
際に、度数ピークから左右へ進んでいく過程で、図２１
に示すように、極小点が存在する場合、この極小点を境
に顔領域が検出されてしまう可能性がある。そこで、以
下では極小点が存在する場合でも、正確に顔領域を検出
することができる顔領域検出処理について図２２を参照
して説明する。なお、この顔領域検出処理において、顔
領域座標の算出については図３と同一部分には同一符号
を付して説明する。 【００６８】ステップ１２８では、図２１に示すよう
に、Ｘ軸上で、度数ピークの座標から、左右へ進んでい
く過程で、しきい値と度数を比較しながら、最初にしき
い値を横切った座標ｘ_a，ｘ_bで囲まれる領域を、暫定的
な顔領域として、顔領域座標レジスタ２６に記憶する。 【００６９】次のステップ２７０、２７２では、顔領域
座標の最小の座標ｘ_a 及び最大の座標ｘ_bから出発して
それぞれ左右の一定範囲内の各座標の度数としきい値を
逐次比較し、しきい値を越える座標が存在するかどうか
判断する。一定範囲内の各座標の度数の全てが、しきい
値を超えていないならば、図４に示したように顔領域内
には極小点は存在しないので、顔領域座標レジスタ２６
に記憶された暫定的な顔領域を顔領域座標として確定す
る。一定範囲内の度数が、一箇所でもしきい値を超えて
いれば、記憶された顔領域座標は極小点で抽出された顔
領域であるとみなして、ステップ２７４で顔領域座標レ
ジスタの顔領域の座標を消去し、ステップ１２８に戻っ
てしきい値を超えた座標から再度、左右へ進んでしきい
値と度数を比較しながら、しきい値を横切った座標を暫
定的な顔領域として顔領域座標レジスタ２６に記憶し、
ステップ２７０、２７４を繰り返し、顔領域座標を探索
する。 【００７０】図２１の例では、左側の一定範囲内の各座
標の度数の全てがしきい値を超えていないので左側の顔
領域座標として座標ｘ_a が確定するが、右側の顔領域座
標では座標ｘ_c でしきい値を超えているので、顔領域座
標レジスタの顔領域の座標ｘ _b を消去し、座標ｘ_c から
再度右へ進んでしきい値と度数を比較しながらしきい値
を横切った座標ｘ_d を抽出する。座標ｘ_d より右側の一
定範囲内の各座標の度数の全てがしきい値を超えていな
いので、右側の顔領域座標として座標ｘ_d が確定する。 【００７１】最終的に確定された顔領域座標は、顔領域
座標レジスタに記憶される。Ｙ軸に関しても同様な方法
で顔領域座標を算出して顔領域座標レジスタに記憶す
る。 【００７２】次に、鼻筋候補領域から鼻筋を検出する際
の他の例を説明する。 【００７３】予め検出された顔領域において、図２３に
示すように、横軸（Ｘ軸）上で中心より左側、縦軸（Ｙ
軸）上で中心より下側の領域を鼻筋候補選択領域として
設定する。 【００７４】図２３に示す場合、鼻筋候補領域２は、前
髪によって発生した候補領域である。縦軸上で中心より
下側の領域に鼻筋候補選択領域を限定することにより、
このような誤認識の可能性のある候補を除外することが
できる。 【００７５】鼻筋候補領域から鼻筋を検出する際の他の
例として、鼻筋候補領域の縦横比を用いた例について説
明する。まず、鼻筋候補領域の右上、左下の座標から、
その鼻筋候補領域の縦横比を求める。この縦横比は右
上、左下の座標を結んだ線分を対角線に持つ長方形を用
いて算出する。そして、縦横比に対して適当なしきい値
を設定して、縦長の候補のみを選択する。 【００７６】次に、眼位置検出処理の他の例を図２５を
参照して説明する。この例では、図２４（Ａ）に示すよ
うに、眼領域上で顔の縦方向に隣接して連続するように
上側から下側に向かって設定された矩形領域１、矩形領
域２、及び矩形領域３の３個の矩形領域で構成されたウ
インドウ６０を用いる。このウインドウ６０において、
矩形領域１と矩形領域３とは同じ形状で同じ面積であ
り、矩形領域２の幅は矩形領域１と同じで矩形領域１の
面積よりも大きく、例えば略２倍の面積を有している。 【００７７】図２５のステップ３００では、各矩形領域
内の全画素の輝度値を積算することにより輝度積算値を
各々算出する。ステップ３０２では、各矩形領域内の輝
度積算値を各矩形領域の全画素数で除算することによ
り、各矩形領域内の輝度平均値Ｐ１，Ｐ２，Ｐ３（図２
４（Ｂ）参照）を算出し、輝度平均値レジスタ２２にウ
インドウの位置に応じて保存する。 【００７８】次のステップ３０４では、隣接する矩形領
域内の輝度平均値の差（Ｐ１−Ｐ２）、（Ｐ３−Ｐ２）
の各々と、しきい値Ｋ１とを比較し、次の条件を満足す
るか否かを判断する。 【００７９】 （Ｐ１−Ｐ２＞Ｋ１）かつ（Ｐ３−Ｐ２＞Ｋ１） ステップ３０４で上記の条件を満足すると判断されたと
き、すなわち隣接する矩形領域内の輝度平均値の差が大
きいことから眼の候補領域であると判断される場合に
は、ステップ３０６において、顔画像が記憶されている
画像メモリとは別の画像メモリ３４へ輝度平均値の差の
総和（Ｐ１−Ｐ２）＋（Ｐ３−Ｐ２）の値を書き込む。
書き込むべき座標は、矩形領域２の中心点の座標に書き
込む。同時にステップ３０８においてヒストグラムメモ
リ２４に記憶されている輝度平均値の差の総和の度数分
布を表すヒストグラムの総和（Ｐ１−Ｐ２）＋（Ｐ３−
Ｐ２）に対する度数を１増加する。 【００８０】ステップ３０４において上記の条件を満足
しないと判断されたとき、すなわち隣接する矩形領域間
の輝度平均値の差が小さい場合には、顔の肌領域である
と推定してステップ３１０において、顔画像が記憶され
ている画像メモリとは別の画像メモリ３４へ０を書き込
む。書き込むべき座標は、矩形領域２の中心点の座標に
書き込む。同時に、ステップ３１２においてヒストグラ
ムメモリ２４の総和が０の度数を１増加する。 【００８１】次のステップ３１４では、眼領域全面につ
いてステップ３００〜ステップ３１２の処理が終了した
か否かを判断し、処理が終了していない場合にはウイン
ドウを１画素ずらしてステップ３００に戻り、上記の処
理を繰り返す。 【００８２】上記の処理を、矩形のウインドウを１画素
ずつずらしながら、入力画像である眼領域全面に対して
行うことにより、輝度平均値の差の値が書き込まれた画
像及びヒストグラムが得られる。 【００８３】ステップ３１４で眼領域全体について処理
が終了していると判断された場合は、ステップ３１６に
おいてヒストグラムメモリに記憶されているヒストグラ
ムに基づいて輝度平均値の差の総和（Ｐ１−Ｐ２）＋
（Ｐ３−Ｐ２）に対するしきい値Ｋ２を算出する。すな
わち、ヒストグラムの上位の度数から度数を積算し、積
算した値が全度数に対して所定割り合いに到達した際の
総和（Ｐ１−Ｐ２）＋（Ｐ３−Ｐ２）の値をしきい値Ｋ
２として設定する。この全度数に対する所定割り合い
は、予めシミュレーション等によって設定される。 【００８４】ステップ３１８では、各画素の輝度平均値
の差の総和（Ｐ１−Ｐ２）＋（Ｐ３−Ｐ２）としきい値
Ｋ２とを比較して次の条件を満足するか否かを判断す
る。 【００８５】（Ｐ１−Ｐ２）＋（Ｐ３−Ｐ２）＞Ｋ２ 上記条件を満足する画素に対してはステップ３２０にお
いて出力するときの値を１とし、上記条件を満足しない
画素に対してはステップ３２２において出力するときの
値を０とし、２値化を行う。上記の２値化処理はステッ
プ３２４で眼領域全面について処理が終了したと判断さ
れるまで継続される。そして、眼領域全面について処理
を行うことにより２値画像が得られる。得られた２値画
像のうちラベル１の領域が眼の位置となる。 【００８６】次に、ステップ１０８における鼻筋検出が
できなかった場合の顔領域における眼位置検出処理につ
いて説明する。上記で説明した図２５の処理ルーチンを
用いて眼候補領域を抽出する。ただし、この場合は、眼
領域だけでなく顔領域全体で候補抽出を実行する。候補
抽出結果として図２６に示すような結果が得られるの
で、複数の候補から以下のようにして最終的に眼の領域
を選択する。 【００８７】すなわち、顔領域において、次の条件によ
り選択する。まず、横長の形の眼候補領域を選択する。
この横長の形の眼候補領域は、上記で説明した縦横比を
それぞれの眼候補領域に対して求め、この縦横比を用い
て所定のしきい値を設定し、所定のしきい値の範囲内の
横長の形の領域を眼候補領域として選択することにより
選択する。横長の形の眼候補領域が複数選択された場合
には、以下の方法で眼の領域を選択する。 【００８８】顔領域の中で、最も上に位置しており、か
つ上下に略平行に並んだ２つの眼候補領域の対を選択す
る。この２つの眼候補領域のうち、上側は眉の領域と考
えられるので、下側の眼候補領域を眼の領域として選択
する。一方、眼候補領域の対が発見できない場合は、顔
領域の中で、最も上に位置している眼候補領域を、眼の
領域として選択する。 【００８９】なお、上記の実施の形態では、カメラによ
ってドライバーの顔をドライバーに向かって右斜め前方
から撮影する場合について説明したが、ドライバーの顔
をドライバーに向かって左斜め前方から撮影してもよ
く、ドライバーに向かって右斜め前方または左斜め前方
から光を受けているドライバの顔を真正面、左斜め前
方、または右斜め前方から撮影してもよい。ドライバー
に向かって右斜め前方から光を受けているドライバの顔
を撮影する場合には、上記と同様に（左側エッジに対す
るしきい値Ｋ２）＜（右側エッジに対するしきい値Ｋ
３）であり、ドライバーに向かって左斜め前方から撮影
する場合及びドライバーに向かって左斜め前方から光を
受けているドライバの顔を撮影する場合には、（左側エ
ッジに対するしきい値Ｋ２）＞（右側エッジに対するし
きい値Ｋ３）である。 【００９０】 【発明の効果】以上説明したように、本発明によれば、
鼻の左右のエッジを独立して抽出し、その後、左右のエ
ッジの対を検出しているので、鼻の角度、向き等に影響
されずに、安定して鼻の位置を検出でき、顔の領域を予
め検出することにより、眼鏡が存在する場合において
も、眼鏡のフレームを誤って、鼻筋と誤認識することを
避けることができ、また眼鏡が存在するような複雑な場
合においても、鼻の位置を検出することにより、眼の存
在する領域を安定して特定することができる、という効
果が得られる。

【図面の簡単な説明】 【図１】本実施の形態のブロック図である。 【図２】本実施の形態の眼位置検出処理ルーチンを示す
流れ図である。 【図３】図２のステップ１００の詳細を示す流れ図であ
る。 【図４】２値画像をＸ軸に投影したヒストグラムを示す
線図である。 【図５】左側エッジ抽出処理ルーチンを示す流れ図であ
る。 【図６】右側エッジ抽出処理ルーチンを示す流れ図であ
る。 【図７】左右エッジの対抽出処理ルーチンを示す流れ図
である。 【図８】（Ａ）は左側エッジ抽出処理用のウインドウの
平面図、（Ｂ）右側エッジ抽出処理用のウインドウの平
面図である 【図９】左右エッジの対抽出処理を説明するための流れ
図である。 【図１０】（Ａ）は左側エッジ抽出処理による２値画像
の平面図、（Ｂ）右側エッジ抽出処理による２値画像の
平面図、（Ｃ）はエッジ対抽出結果である鼻筋候補領域
画像を示す平面図である 【図１１】図２のステップ１０４の詳細を示す流れ図で
ある。 【図１２】各鼻筋候補領域の右上、左下の位置座標を示
す線図である。 【図１３】鼻筋候補領域と顔領域の位置関係を示す線図
である。 【図１４】鼻筋領域と中点との位置関係を示す線図であ
る。 【図１５】鼻筋中点と眼領域との関係を示す線図であ
る。 【図１６】図２のステップ１１４の詳細を示す流れ図で
ある。 【図１７】眼領域ヒストグラムを示す線図である。 【図１８】（Ａ）は眼領域原画像を示す図、（Ｂ）は眼
領域２値画像を示す図、（Ｃ）は最小値フィルタ実行後
の画像を示す図である。 【図１９】図１１のステップ２００の詳細を示す流れ図
である。 【図２０】注目画素と周辺画素との関係を示す図であ
る。 【図２１】極小点が存在する場合のヒストグラムを示す
線図である。 【図２２】極小点が存在する場合の顔領域を検出する処
理ルーチンを示す流れ図である。 【図２３】鼻筋候補選択領域と顔領域との関係を示す図
である。 【図２４】（Ａ）は眼を抽出するウインドウ構成を示す
図、（Ｂ）は輝度平均値を示す図である。 【図２５】眼領域を２値画像に変換するルーチンを示す
図である。 【図２６】眼領域抽出結果を示す図である。 【符号の説明】 １０ カメラ １２ アナログ−ディジタル変換器 ２０ 画像メモリ ２２ 平均値レジスタ ２４ ヒストグラムメモリ

フロントページの続き (56)参考文献 特開 平11−242745（ＪＰ，Ａ) 特開 平７−208927（ＪＰ，Ａ) 特開 昭61−41903（ＪＰ，Ａ) 特開2000−123148（ＪＰ，Ａ) 特開 平10−171995（ＪＰ，Ａ) 特開 平７−280746（ＪＰ，Ａ) 特開 平５−89243（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G01B 11/00 - 11/30 G06T 7/00 - 7/60

Claims (1)

1. (57)【特許請求の範囲】 【請求項１】顔を斜め前方から撮影した画像、または斜
   め前方から光を受けた顔を撮影した画像に基づいて眼の
   位置を検出する眼の位置検出装置であって、 入力された画像から顔の領域を抽出する顔領域抽出手段
   と、 抽出された顔の領域から各々異なるしきい値を用いて左
   側エッジと右側エッジとを抽出し、抽出した左側エッジ
   及び右側エッジに基づいた領域を鼻筋の候補として抽出
   する鼻筋候補抽出手段と、 抽出された鼻筋の候補から鼻筋を抽出する鼻筋抽出手段
   と、 抽出された鼻筋の位置に基づいて眼の存在領域を設定す
   る眼領域設定手段と、 設定された眼の存在領域から眼の位置を検出する眼位置
   検出手段と、 を含む眼の位置検出装置。