JP4775599B2 - 目の位置の検出方法 - Google Patents

Description

本発明は、動画像から目の位置を自動的に検出する方法および検出システムに関する。

顔画像における目の位置は、被験者の顔画像に髪型のモデル画像を重ねて髪型シミュレーション画像を形成する場合や、被験者の顔画像に唇、眉等の化粧画像を重ねてメイクアップシミュレーション画像を形成する場合に、画像の大きさの調整や位置合わせのために検出されている。また、目の位置の検出や顔領域の位置の検出は、顔画像の目隠し処理、顔画像のフレーム処理、個人認証用画像の作成等においてもなされている。

従来、顔画像から目の位置を検出する方法としては、肌色領域の抽出により顔を検出し、さらにパターンマッチング等により目を検出する方法等が使用されている（非特許文献１、特許文献１）。

2005年第５回ＬＳＩ ＩＰデザインアワード受賞論文「高速・高信頼な顔検出を可能とする顔候補点検出法」（日経ＢＰ社） 特開２００４−９４９１７

しかしながら、肌色領域の抽出は照明環境の影響を受ける。そのため、種々の照明環境で撮られた不特定多数の顔画像を対象とする場合には信頼性が問題となる。また、パターンマッチングの手法は、計算量が莫大となるという問題がある。したがって、画像の明るさが大きく変動することがあり、顔画像の数や位置も刻々と変動し、さらに一秒間に数コマ以上のフレームの処理が必要とされる動画においては、目の位置を自動的に検出することが大きな課題となっていた。

これに対し、本発明は、動画像から目の位置や顔領域の位置を、簡便な手法で自動的に信頼性高く検出できるようにすることを目的とする。

本発明者らは、(1)元画像から水平・垂直等の交差する２方向のぼかし画像を作成し、そのぼかし画像のぼかし方向のエッジを算出し、さらにそれらの交点を求め、一方、(2)顔画像を含む元画像の階調をつぶすことにより、好ましくは、髪領域と顔領域は判別できるが顔の造作は判別できない画像を得、(3)この階調をつぶした画像上でぼかし方向のエッジの交点を考えると、この交点を頂点とする矩形領域であって、その左右及び上に隣接する領域に比して明度が高い領域に顔画像が存在する場合が多く、したがって、かかる矩形領域を顔領域候補とすることができること、(4)個々の顔領域候補について、明度が変化した複数の画像を作成すると、高明度側のフェードアウトした画像から低明度側の画像に順次フェードインするに伴い、最初に現れる画素が瞳領域のものであること、(5)この場合、瞳領域の画素は対になって現れ、これにより目の位置候補を定められること、そして、(6)対をなして現れた目の位置候補の全ての目の位置検出用画像にわたる出現度数の集積結果から目の位置候補を特定できること、この目の位置の特定方法は、処理速度の要求される動画に好適であることを見出した。

即ち、本発明は、動画像において目の位置を検出する方法であって、
Ａ．(A1)動画像のフレーム（以下、元画像とも称する）から交差する２方向にぼかしたぼかし画像を作成し、該ぼかし画像におけるぼかし方向のエッジの交点の位置を求めると共に、
(A2)元画像の階調をつぶした顔領域検出用画像を作成し、
(A3)顔領域検出用画像において、ぼかし方向のエッジの交点を一つの頂点とする矩形領域であって、その左右及び上の隣接領域に比して明度が高い領域を顔領域候補として検出する工程、
Ｂ．(B1)顔領域候補ごとに、明度が変化した複数の目の位置検出用画像を作成し、
(B2)目の位置検出用画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出し、
(B3)検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択し、
(B4)各目の位置候補の全ての目の位置検出用画像にわたる出現度数に基づいて目の位置候補を目の位置として特定する工程、
を有する目の位置の検出方法を提供する。

また、上述の目の位置の検出方法で目の位置を特定した後、その目の位置に対応する顔領域候補に基づいて顔領域を特定する顔領域の位置の検出方法を提供する。

さらに、本発明は、動画像の取得手段、及び演算手段を備えた目の位置の検出システムであって、演算手段が、
元画像から交差する２方向にぼかしたぼかし画像を作成する機能、該ぼかし画像のぼかし方向のエッジを検出し、それらの交点の位置を求める機能、元画像の階調をつぶした顔領域検出用画像を作成する機能、顔領域検出用画像において、ぼかし方向のエッジの交点を一つの頂点とする矩形領域であって、その左右及び上の隣接領域に比して明度が高い領域を顔領域候補として検出する機能、顔領域候補ごとに、目の位置検出用画像として明度が変化した複数の画像を作成する機能、その画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出する機能、検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択する機能、及び各目の位置候補の全ての目の位置検出用画像にわたる出現度数に基づいて目の位置を特定する機能を備えている目の位置の検出システムを提供する。

また、本発明は、動画像の取得手段及び演算手段を備えた顔領域の位置の検出システムであって、その演算手段が、上述の目の位置の検出システムの演算装置の機能に加えて、顔領域候補のうち目の位置が特定されたものを顔領域として特定する機能を有する顔領域の位置の検出システムを提供する。

本発明の方法あるいはシステムによれば、動画像において、顔画像が存在しそうな顔領域候補を自動的に検出し、その顔領域候補毎に、明度を変化させた画像を複数形成して目の位置を特定するので、照明環境、被験者の肌色、被験者の瞳の色、顔画像における顔の向き等にかかわらず、動画像のフレームに含まれる目の位置や、その目の位置に対応する顔領域を自動的に信頼性高く短時間で検出することができる。

さらに、本発明の方法あるいはシステムのうち、目の位置の検出方法あるいはシステムによれば、目の位置を基準にして種々のヘアスタイル画像を任意の顔画像にフィッティングさせる髪型シミュレーション画像の形成や、目の位置を基準にして化粧後の顔の部分画像を任意の顔画像にフィッティングさせる化粧シミュレーション画像の形成等のように、目の位置を基準にして複数の画像情報をフィッティングさせることによりシミュレーション画像を形成する場合に、自然さのある動画のシミュレーション画像を短時間で形成することが可能となる。

また、個人情報保護のための目隠し処理のように、目及びその近傍領域を塗りつぶしたり、モザイクをかけたり、さらには、顔領域全体にモザイクをかける等の画像処理を行う場合にも、本発明の方法あるいはシステムを好適に用いることができる。

以下、図面を参照しつつ本発明を詳細に説明する。

図１は、本発明の目の位置の検出方法の一実施例の流れ図であり、図２は、この方法を実施する目の位置の検出システムのブロック図である。

このシステム１０は、撮像装置１及びパソコン本体２からなっており、パソコン本体２には、ディスプレイ３、プリンタ４等が接続されている。

撮像装置１は、被験者の顔画像の取得手段として設けられており、デジタルビデオカメラ、ウェブカメラ等の市販の動画像が撮影可能なカメラを使用することができる。撮像装置１とパソコン本体２の間には、必要に応じてビデオキャプチャーを接続する。

パソコン本体２は、演算手段として設けられており、概略、カラー画像のグレースケール化、階調の変更、明度補正、画像サイズの変更、全体的ぼかし、水平、垂直等の所定方向のぼかし、エッジ抽出、画像の重ね合わせ、図形の拡大・縮小機能等の画像処理機能や、これらを組み合わせて後述するように所定のフェードイン割合のフェードイン画像を作成する機能、明度の変化に伴ってコントラストを変化させる機能（例えば、明度を高くするにしたがいコントラストを下げ、また、明度を低くするにしたがいコントラストをあげる機能）等を備えている。これらの個々の画像処理機能は、例えば、アドビシステム社製フォトショップ等の市販のイメージ処理ソフトをパソコン本体２に搭載することにより得ることができる。

また、このパソコン本体２は、明度の異なる複数の画像を明度の低い又は高い順にリスト番号を付けて管理する機能、画像上で所定領域の明度を他の領域の明度と対比し、所定の抽出条件の下に選択する機能等を有しており、より具体的には、元画像から、交差する２方向にぼかしたぼかし画像として水平・垂直ぼかし画像を作成し、その水平・垂直ぼかし画像の水平エッジと垂直エッジを検出し、その交点の位置を求める機能、元画像の階調をつぶした目の位置検出対象領域設定用画像を作成する機能、目の位置検出対象領域設定用画像において、前記水平エッジと垂直エッジの交点を一つの頂点とする矩形領域を設定する機能、矩形領域のうち、左右及び上の隣接領域に比して明度が高い領域を顔領域候補として検出する機能、顔領域候補ごとに、目の位置検出用画像として明度が変化した複数の画像を作成する機能、その画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出する機能、検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択する機能、及び各目の位置候補の全ての目の位置検出用画像にわたる出現度数に基づいて目の位置を特定する機能等を有している。

また、パソコン本体２は、撮像装置１から所定のフレームレートで転送されるフレームを必要に応じて選択する機能、あるフレームＮについて目の位置が特定された場合に、その位置を記憶し、その位置の周辺を、その後の所定時間分のフレームにおいて目の位置の検出対象とする顔画像領域候補とする機能、あるフレームについて目の位置が特定された場合に、その後の所定時間分のフレームにおいて、フレームＮにおいて目の位置が特定された顔領域候補の最大サイズを顔画像サイズ枠とし、顔領域検出用画像上で顔画像サイズ枠を走査し、該枠内の中央部に比して周辺部が低明度となる領域を顔領域候補として検出する機能、あるフレームについて目の位置が特定された場合に、次のフレームＮ＋１では、フレームＮにおいて目の位置が特定された顔領域候補を顔領域候補とすると共に、フレームＮにおいて目の位置が特定された顔領域候補をフレームＮ＋１の元画像から除いた画像から顔領域候補を検出する機能等を有している。

このシステム１０を用いた動画像における目の位置の検出方法は、図１に示すように、概略、動画像の各フレームについて
Ａ．フレームを処理対象とする元画像とし、その元画像から顔領域候補を検出する工程、
Ｂ．顔領域候補ごとに目の位置候補を検出し、それを特定する工程
の２つの工程からなる。

工程Ａでは、まず、目の位置の検出対象とする動画像のフレームを、元画像としてパソコン本体２に取得する。元画像は、例えば、撮像装置１で顔画像を含む動画を撮り、それをパソコン本体２に取り込ませてもよく、動画が記録されているＤＶＤ等の記録媒体やインターネット等の通信回線を利用してパソコン本体２に動画を取得してもよく、必要に応じてビデオキャプチャーを使用する。

なお、１つの元画像中に含まれる顔画像の数は、単数でも複数でもよいが、本発明は複数の顔画像のとき、更に複数の顔画像のサイズが異なるときに特に効果を発揮する。

次に、必要に応じて、元画像にグレースケール化、サイズ調整、ぼかし、明度補正等の前処理を行う。

このうち、グレースケール化は、本発明の目の位置の検出方法では、カラー情報が不要であるため、取得した元画像がカラー画像の場合に、後の処理量を低減させるために行う。

グレースケール化の方法としては、各画素において、(1)Ｒ、Ｇ、Ｂの各値の最大値と最小値の平均を利用する方法、(2)Ｒ、Ｇ、Ｂの各値の平均を利用する方法、(3)Ｒ、Ｇ、Ｂの各値に所定の重み付け係数（ＮＴＳＣ等）を掛けた後、それらの平均をとる方法等を使用することができる。例えば、(3)の方法においては、次式
Ｙ（出力輝度）＝0.298912×Ｒ＋0.568811×Ｇ＋0.114478×Ｂ
を利用すればよい。

サイズ調整は、元画像を目の位置の検出処理に適した画像サイズに調整するもので、具体的には、検出精度の点から長辺を３２０ピクセル以上とすることが好ましく、汎用パソコンの演算速度の点から長辺を４８０以下のピクセル程度に画面サイズを変更することが好ましい。

ぼかし処理は、元画像中の顔画像がシャープであると、後の画像処理で細かいエッジが多数現れ、目の位置候補の検出のノイズとなるので、必要に応じて行う。この場合、ぼかしの程度は、弱〜中とすることが好ましく、例えば、各画素について、注目点の画素とその周囲の２５画素に対して１〜５の重み付ぼかしフィルタを使用して輝度の平均値を出力するぼかし処理を行う。このぼかし処理は、必要に応じて複数回行っても良い。

明度補正は、顔領域検出用画像の作成に際し、元画像が極端に明るかったり暗かったりする場合に行うことが好ましい。明度補正の方法としては、例えば、図３Ａ（ａ）のように明るすぎる元画像について、あるいは図３Ｂ（ａ）のように暗すぎる元画像について、それぞれ元画像の明度ヒストグラムを作成し、最大カウント数の１．５％〜１５％、好ましくは３％〜８％以下のカウント数である画素値のカウント数をゼロとした後、カウント数がゼロではない画素値のうち最大の画素値Ｘmaxおよび最小の画素値Ｘminを求める。次に、図３Ａ（ｂ）、図３Ｂ（ｂ）のように、元画像の画素値Ｘiを次式に代入して明度補正後の画素値とすることにより元画像の明度補正を行う。

但し、Ｘi＜Ｘminの場合、Ｘi＝Ｘminとし、
Ｘi＞Ｘmaxの場合、Ｘi＝Ｘmaxとする。

明度補正の方法としては前述の方法に限らず、種々の方法が適用可能である。例えば、予め任意の画像を基準画像とし、その平均明度を測定すると共に、水平・垂直ぼかし画像の作成及び顔領域検出用画像の作成のための適正明度変化量を決定しておき、基準画像の平均明度に対する元画像の平均明度の比率を算出し、基準画像における適正明度変化量に平均明度の比率を乗じた量だけ元画像の明度を変化させて元画像の明度を補正する。

ここで、基準画像における適正明度変化量の決定は次のように行う。まず、基準画像の平均明度を明暗両方向に１階調ずつ変化させた画像を作成し、それぞれの画像に対して後述する目の位置の検出対象領域の検出を行い、その検出結果が実際に顔画像の存在する領域と整合しているかを目視で判断し、その検出の成功率を計算する。そしてその成功率が最大になる画像の平均明度を求め、これと基準画像の平均明度との差を適正明度変化量とする。

基準画像としては、５〜２０人の顔画像が写っており、個々の顔画像の最大サイズと最小サイズの比が、顔の長さで１〜３倍以内であるものが好ましい。目の位置の検出対象領域の設定は次に示す方法によればよい。

図４は、こうして元画像２０に前処理として、グレースケール化、サイズ調整、ぼかし及び明度補正をしたときの、前処理前の元画像２０と前処理後の元画像２１を示している。

前処理をした後は、図１の工程Ａ(A1)で、交差する２方向にぼかしたぼかし画像として、図５（ｃ）のような水平・垂直ぼかし画像２４を作成する。この水平・垂直ぼかし画像２４は、同図（ａ）のように作成した水平ぼかし画像２２と同図（ｂ）のように作成した垂直ぼかし画像２３を合成したものである。なお、本発明において、ぼかし画像におけるぼかしの２方向は水平方向と垂直方向に限らず、例えば図７に示すように斜め２方向としてもよい。この場合、２方向の交差角は、鋭角側の角θを６０°以上することが好ましい。ただし、その後の演算を簡単にするため、交差する２方向は水平方向と垂直方向とし、図５（ｃ）に示したような水平・垂直ぼかし画像２４を作成することが好ましい。

ぼかし画像におけるぼかしの程度は、例えば、水平ぼかし画像２２では、元画像２０に対し、１画素ごとに、該画素を中心とする水平方向８０〜１２０ピクセルの平均画素値を求め、その画素値を当該画素の画素値とするという操作を全画素について行うことにより得ることができ、同様に、垂直ぼかし画像２３では、元画像２０に対して、１画素ごとに、該画素を中心とする垂直方向８０〜１２０ピクセルの平均画素値を求め、その画素値を当該画素の画素値とするという操作を全画素について行うことにより得ることができる。

この他、水平ぼかし画像２２や垂直ぼかし画像２３の作成方法としては、まず、水平ぼかし画像と垂直ぼかし画像を作成し、次にそれらを合成するという２段階の手法によらず、各画素について、該画素を中心とする水平方向８０〜１２０ピクセルと垂直方向８０〜１２０ピクセルの平均画素値を同時に演算する方法によってもよい。

次に、図６に示す水平・垂直エッジ画像２５のように、水平・垂直ぼかし画像２４における水平エッジと垂直エッジを求め、それらのエッジの交点の位置を求める。水平エッジや垂直エッジの検出には、ぼかし機能も備えたエッジフィルタを使用することが好ましく
、例えば、次式の水平エッジフィルタや、垂直エッジフィルタを使用することができる。

一方、図１の工程(A2)で、元画像の階調をつぶした顔領域検出用画像を作成する。

顔領域検出用画像としては、図８Ａに示すように、元画像２０の明度を変化させることにより、髪領域と顔領域は判別できるが顔の造作は判別できない状態、即ち、髪領域と顔領域はおおよそ判別できるが、顔内部は全く現れていないか、あるいは目・鼻・口はわかるが誰の顔だか判別しがたい状態に高階調側を多くつぶした画像を作成することが好ましい。

顔領域検出用画像２６の作成方法は、元画像２０の撮影条件にもよるが、基本的には元画像２０から、フェードイン割合として２５〜３５％の画像を作成することが好ましい。

ここで、所定のフェードイン割合の画像は、例えば、元画像が２５６階調の場合、以下の通りに作成することができる。

まず、フェードイン０％の画像は、全ての画素の画素値を一律２５５とする。

また、フェードインｘ％の画像は、元画像において画素値が２．５５ｘ未満の画素は元画像の画素値を有し、画素値が２．５５ｘ以上の画素（但し、ｘ＞０）は一律画素値２５５を有するとする。

例えば、フェードイン１０％の画像は、元画像において、画素値が２５．５（＝255×0.1）未満の画素はその画素値のまま、画素値が２５．５以上の画素は画素値を一律２５５にする。

フェードイン２０％の画像は、元画像において、画素値が５１．０（＝255×0.2）未満の画素はその画素値のまま、元画像の画素値が５１．０以上の画素は画素値を一律２５５にする。

フェードイン１００％の画像は、全ての画素の画素値を元画像の画素値のままとする。

なお、顔領域検出用画像２６は、図８Ｂに示すように、階調を反転させたネガ画像として形成し、以降の画像処理を、階調を反転させて行ってもよい。

また、顔領域検出用画像２６の作成方法は、所定のフェードイン割合の画像を作成する方法に限らず、種々の２値化処理による方法が適用可能である。例えば、元画像２０の明度ヒストグラムの中心明度値を閾値とする２値化処理など、元画像の特性に基づき閾値を決める種々の２値化処理（一般的に可変閾値処理と呼ばれている）により顔領域検出用画像２６を作成することができる。

次に、図１の工程Ａ(A3)に示すように、顔領域検出用画像２６において、顔領域であることが期待される顔領域候補を検出する。この顔領域候補としては、顔領域検出用画像２６と、水平・垂直ぼかし画像の水平エッジと垂直エッジの交点を一つの頂点とする矩形領域であって、その左右及び上の隣接領域に比して明度が高い領域を検出する。これは、グレースケール画像では、肌や髪の色が異なる人種を問わず、また、頭髪の有無も問わず、顔領域が、頭、帽子、衣服、その他の顔領域の周囲に比して明るいという本発明者の知見に基づくものである。

顔領域候補の具体的な検出方法としては、例えば、まず、図９に示すように、顔領域検出用画像２６上に水平・垂直ぼかし画像の水平・垂直エッジ画像２５を重ね、水平エッジと垂直エッジの各交点Ｐにおいて、その交点Ｐを一つの頂点とする微小な正方形３０を想定し、交点Ｐを基点（即ち、相似形に拡大する場合の拡大中心）として正方形を次の(ａ)又は(ｂ)の条件が満たされるまで右下方向、左下方向、右上方向及び左上方向にそれぞれ拡大する。
(ａ)正方形内で画素値２５５のピクセルの割合が６０％を以上となった後に６０％未満になったとき
(ｂ)正方形の拡大方向の線幅１ピクセルの縦辺又は下辺をなすピクセルにおいて、画素値２５４以下のピクセルの割合が、１／３以下になった後に１／３以上になったとき

次に、図１０に示すように、拡大を停止した時点の正方形３１の左右及び上に隣接する領域で、それぞれ正方形の一辺を長辺とし、正方形の一辺の１／３〜１／２の長さを短辺とする長方形３２ａ、３２ｂ、３２ｃを想定し、これらの長方形３２ａ、３２ｂ、３２ｃについて、次の(ｐ)又は(ｑ)の条件が満たされる場合に、その正方形３１を顔領域候補とする。なお、正方形３１が顔領域検出用画像２６の隅に位置するために上述の３つの長方形が全ては描けない場合でも、描ける範囲で長方形を描き、次の(ｐ)又は(ｑ)の条件を判断する。
(p)長方形３２ａ、３２ｂ、３２ｃの全ピクセルの１０％以上、好ましくは２０％以上が画素値２５４以下である
(q)長方形３２ａ、３２ｂ、３２ｃの長辺うち、正方形３１側の長辺の長さの１／３以上、好ましくは２／５以上のピクセルが画素値２５４以下である

この顔領域候補の検出方法は、交点Ｐが、額と髪の境に生じる水平エッジと、顔とその左右の髪領域の境に生じる垂直エッジとの交点であり、額の角隅部から斜め外側上方の頭髪領域内に入った点となるか、あるいは、耳たぶの下あたりの点となる場合が多いことから、交点Ｐから微小な正方形３０を右下方向、左下方向、右上方向又は左上方向に拡大すると、その拡大した正方形３１が顔領域である場合には、その正方形３１は、それに近接する領域よりも明るくなり、上述の条件を満たすことによる。

なお、交点Ｐを基点にして拡大する図形は、正方形に限らず、長方形等であってもよく、拡大を停止したときの図形と、明度を対比する近傍領域も、上述のような３つの長方形３２ａ、３２ｂ、３２ｃに限らず、例えば、正方形３１をその左右及び上から囲むコ字状の領域を想定してもよい。顔領域候補の検索工程を、演算手段により完全に自動化できるようにする限り、適宜設定することができる。

こうして、図１１に示すように、顔領域検出用画像２６中に、複数の顔領域候補３３を検出することができる。なお、同図に示したように、顔領域候補３３の複数が一つの領域で重なっていてもよい。

顔領域候補３３を検出した後は、個々の顔領域候補３３ごとに目の位置を検出する工程Ｂを行う。

工程Ｂでは、まず、工程(B1)において、目の位置候補の検出のため、顔領域候補ごとに、目の位置検出用画像として、明度が変化した複数の目の位置検出用画像を形成する。より具体的には、例えば図１２に示すように、前述した所定のフェードイン割合の画像の形成方法に従ってフェードイン０％から漸次明度を低下させたフェードイン画像を、１０〜８０％まで１％刻みに７０階層程度作成する。

なお、このフェードイン画像の階層の作成に際しては、検出精度を保ちつつ処理速度を高くするため、予め、顔領域候補３３のうち、一辺の大きさが８０〜１２０ピクセルより大きなものは、一辺の大きさが８０〜１２０ピクセルとなるように、各顔領域候補３３の画像サイズを調整することが好ましく、また、ノイズを低下させるため、必要に応じてぼかし処理を行うことが好ましい。

また、フェードイン画像の形成に際しては、明度を上げるにつれてコントラストを下げ、明度を下げるにつれてコントラストを上げると、フェードイン画像中に目の部分がより鮮明に現れるので好ましい。

この他、目の位置検出用画像として、例えば、γ値を漸次変化させることにより図１２に示すように明度が変化した画像を複数形成してもよく、これ以外にも種々の一般的方法を用いることが可能である。

図１２からわかるように、検出対象領域の明度を上げて完全にフェードアウトさせた画像から明度を低下させてフェードイン画像の階層を形成していくと、通常、まず最初に瞳に画素の固まりが検出され、次に鼻や口に画素の固まりが検出される。また、瞳領域の画素の固まりは左右一対として現れる。

そこで、工程Ｂ(B2)で、顔領域候補３３から形成した目の位置検出用画像を高明度でフェードアウトした状態から低明度へフェードインするのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出する。そして、工程Ｂ(B3)で目の位置候補として、左右一対の画素の固まりを選択する。階層によっては、瞳の他に口元、眉、額等の領域にも、画素の固まり領域が対になって現れるが、この段階では、これらの画素の固まり領域も目の位置候補として選択する。

この場合、対をなしている画素の固まり領域のうち、目の位置候補として選択するものの条件として、予め次の(1)、(2)を設定しておくことが好ましい。
(1)左右一対の画素の固まり領域の横方向の距離が一定の範囲にあること
(2)左右一対の画素の固まり領域の縦方向の距離が一定の範囲にあること

図１３は、顔領域候補３３のある階層のフェードイン画像において、顔領域中に現れた画素の固まり領域を矩形で示し、さらにこれらのうち対をなしているものを直線で結んだものである。

次に、工程(B4)で各目の位置候補の全ての目の位置検出用画像にわたる出現度数に基づいて目の位置候補を目の位置として特定する。より具体的には、まず、図１４に示すように、各フェードイン画像毎に現れた一対の目の位置候補を、目の位置検出用画像の全階層にわたって集積し、その出現度数をカウントする。そして、このカウント数の多い順にランキングリストを作成し、原則的に最大カウントの目の位置候補の位置を目の位置として絞り込む。このカウントでは、フェードアウトした顔画像から段階的に明度を下げていった場合に最初に現れ、最終段階まで現れ続ける瞳領域の目の位置候補が通常、最大カウント（ランキング第１位）となる。

目の位置候補の絞り込みに際しては、予め、フェードイン画像の階層の数に応じて予め目の位置の適否を判断することが好ましい。例えば、画素値０から２５５の間で１００階層のフェードイン画像を作成した場合、最大カウント数が５以下のときには目ではないと判断する。この方法で目の位置の適否を判断する場合、フェードイン画像の階層数と、目の適否を判断する最大カウント数とは比例するように決めればよい。したがって、画素値０から２５５の間で作成するフェードイン画像を２００階層にした場合は最大カウント数が１０以下の場合に目でないと判断する。なお、このフェードイン画像の階層の数に応じた目の位置候補の適否の判断は、次に説明する(a)〜(c)の条件を判断した後に行ってもよい。

出現度数により絞り込んだ目の位置候補は、次の(a)〜(c)の条件を全て満たした場合、あるいは(d)の条件を満たした場合には、カウント数が２番目に多かった目の位置候補の位置を目の位置として特定する。

(a)ランキング第２位の目の位置候補が、ランキング第１位の目の位置候補より上方にある場合
(b)ランキング第２位の目の位置候補の目と目の中心間距離が、ランキング第１位の目の位置候補の中心間距離より長い場合
(c)ランキング第２位の目の位置候補の左右の瞳にあたる領域が、共にランキング第１位の目候補の左右の瞳にあたる位置よりも外側にある場合
(d)ランキング第１位の目の位置候補とランキング第２位の目の位置候補の縦方向の距離が、目と眉の距離程度に離れ、ランキング第１位の目の位置候補がランキング第２位の目の位置候補よりも上にある場合

このうち、(a)〜(c)は、ランキング第１位がまれに口領域になることがあるのに対し、口の位置を目の位置であると誤判定しないためのものであり、(d)は、目の周りの眉等を目の位置であると誤判定しないためのものである。

こうして、図１５に示すように、個々の目の位置の検出対象領域において、目の位置（より正確には瞳の位置）を正確に検出することが可能となる。

以上の目の位置の特定方法は、工程Ａで設定した全ての顔領域候補についてそれぞれ行う。また、いずれかの顔領域候補において、目の位置を特定できなかった場合には、その領域には目が存在しないとして扱う。

また、目の位置候補から特定した目の位置を、最終的に図１６に示すように元画像の対応する位置に重ねることにより、元画像における個々の顔画像の目の位置とすることが可能となる。

なお、以上の方法で目の位置が適正に検出されない原因としては、(i)目が画像中に存在しないこと、(ii)目は存在していても目が閉じられていたこと、(iii)目の位置が高速で移動したために目の画像がぶれたこと等がある。

目の位置候補から目の位置として特定したその位置は、当該フレームにおける目の位置として登録する。

本発明において、目の位置の検出精度をあげる場合には、動画像を構成する各フレームについて、順次、上述したＡ．顔領域候補の検出、Ｂ．目の位置の検出、及び目の位置の検出の成否の判断を行うことが好ましい。

一方、フレームレートに応じて、あるいは目の位置の検出目的に応じて、目の位置の検出処理速度を上げる場合には、以下の方法をとることができる。

第１に、図１に示すように、一つのフレームＮで目の位置が特定された場合にその直後〜３秒後のフレームで、フレームＮが直近で目の位置が特定されたフレームとなるときに、そのフレームＮにおける目の位置の周辺領域を工程Ｂで使用する顔領域候補とし、工程Ａの顔領域候補の検出に要する時間を短縮する。

ここで、一つのフレームＮで目の位置が適正に検出された場合に、次のフレームＮ＋１で目の位置の検出対象領域とする目の位置周辺の設定は、例えば、目と目の中間点を中心とする矩形であって、横方向が目と目の中心間距離の１．５〜３倍、好ましくは１．８〜２．２倍、縦方向が目と目の中心間距離の０．５〜２倍、好ましくは０．８〜１．２倍の範囲とすることが好ましい。

なお、一つのフレームＮで目の位置が特定された場合に、このフレームＮの目の位置の周辺領域を目の位置の検出対称領域として使用するフレームを、フレームＮの直後〜３秒後のフレームとするのは、目の位置の検出の成否において否と判断される原因の一つに、動画像において顔が激しい動きをしていることがあり、そのような激しい動きは、通常、１秒もないと推察されるためである。

フレームＮで目の位置が特定された後、その直後〜３秒後のフレームにおいて、フレームＮの目の位置の周辺領域では目の位置が特定されなかった場合には、フレームの全領域を目の位置の検出対称領域とし、前述の工程Ａの顔領域の検出から行う。

これに対し、フレームＮで目の位置が特定された後、その直後〜３秒後のフレームにおいて、フレームＮの目の位置の周辺領域で目の位置が特定された場合には、その新たに特定された目の位置を登録し、その後のフレームでは、新たに登録した目の位置周辺のみを目の位置の検出対象領域として、上述と同様に目の位置を検出する。なお、フレームＮの直後〜３秒後のフレームにおいて１カ所でも目の位置が特定されれば、それをそのフレームにおける目の位置として登録する。

また、イニシャルフレームにおいて、目の位置の特定が全くできなかった場合には、このフレームでは目の位置をこれ以上検出することなく次のフレームに進み、目の位置の検出を工程Ａの顔領域の検出から行う。

目の位置の検出処理速度を上げる第２の方法としては、一つのフレームＮで目の位置が特定された場合にその直後〜３秒後のフレームでは、フレームＮにおいて目の位置が特定された顔領域候補の最大サイズを顔画像サイズ枠とし、工程Ａ(A2)で得た顔領域検出用画像上で顔画像サイズ枠を走査し、該枠内の中央部に比して周辺部が低明度となる領域を顔領域候補として検出し、以降の工程Ｂの目の位置の検出で使用する。

より具体的には、図１７に示すように、工程Ａ(A2)で得た顔領域検出用画像２６上で顔画像サイズ枠３５を走査させ、該枠内の中央部に比して周辺部が低明度となる枠領域３５ａ〜３５ｅを検出し、検出した枠領域３５ａ〜３５ｅを目の位置の検出対象とする顔領域候補として設定する。この顔画像サイズ枠３５の走査では、例えば、顔画像サイズ枠３５の一辺の長さをＸピクセルとしたとき、１〜0.35Ｘピクセル、好ましくは0.2Ｘ〜0.3Ｘピクセル、より好ましくは0.23Ｘ〜0.27Ｘピクセルずつ縦横に移動させ、顔画像サイズ枠３５を３×３の９領域に分割した場合に、以下の基準(1)〜(3)に基づいて顔領域候補を検出することが好ましい。

(1)画素値２５４以下の領域（白で無い領域）の存在割合が、中央部領域に比して周囲８領域での平均値が高い、
(2)画素値２５４以下の領域の存在割合が、中央部領域に比して上部中央領域で高い、
(3)画素値２５４以下の領域の存在割合が、中央部領域に比して中央部左領域又は中央部右領域で高い

これらの基準のうち、(1)は、肌や髪の色が異なる人種を問わず、また、頭髪の有無も問わず、グレースケール画像では、顔領域が、頭、帽子、衣服、その他の顔領域の周囲に比して明るいことに基づくものであり、顔領域を検出するために必要な基準となる。

(2)は、正面顔画像のように、画像上、顔の明るい領域の上方に頭髪の暗い領域が存在する場合、(3)は、横向の顔画像のように、画像上、顔の右側又は左側に髪の暗い領域が存在する場合に対応し、これらは(1)の条件だけでは、目の検出対象領域が過度に広く設定される場合に使用する。したがって、検出漏れ防止を優先目的とする場合は(1)の条件だけを満たす枠領域を検出することが好ましく、演算時間の短縮も目的とする場合は(1)と(2)を同時に満たす枠領域、又は(1)と(3)を同時に満たす枠領域を検出することが好ましい。

なお、上述の顔画像サイズ枠３５の走査と顔領域候補の検出とは同時に行ってもよく、走査を完了させた後に顔領域候補を検出してもよい。

この顔画像サイズ枠３５の走査による顔領域候補の検出方法は、その枠サイズが、フレームＮにおいて目の位置が特定された顔領域候補のサイズに依存する点で、工程Ａの水平・垂直のぼかし画像の作成から始める顔領域候補の検出に比べると、検出精度が低いが、短時間に顔領域候補を検出することができる。

一方、目の位置の検出精度をより高める方法としては、一つのフレームＮで目の位置が特定された場合に、次のフレームＮ＋１では、フレームＮにおいて目の位置が特定された顔領域候補を工程Ｂで使用する顔領域候補とすると共に、フレームＮにおいて目の位置が特定された顔領域候補をフレームＮ＋１の元画像から除いた画像から顔領域候補を検出することが好ましい。一般に、フレームＮで目の位置が特定された場合には、フレームＮ＋１においても、同領域に目の位置が特定されることが多いので、この方法によれば、フレームＮ＋１において、フレームＮにおける目の位置を確認しつつ目の位置を検出するので、目の位置の検出精度を高めることができる。

本発明において、画像のサイズやフレームレートにより、目の位置の検出がフレームの転送に追いつかない場合には、所定のフレーム数毎に目の位置の検出を行えばよい。

目の位置が適正に検出されなかったフレームや、所定のフレーム数ごとに目の位置の検出を行うために目の位置を検出していないフレームでは、画像の内容や目の位置の検出目的に応じて、目の位置が検出されているフレームにおける目の位置を補完することにより目の位置を特定してもよく、また、目の位置が検出されていないフレームはディスプレイに表示しないようにしてもよい。

また、本発明においては、工程Ｂ(B4)で目の位置を特定した後、工程Ｂ(B5)でその目の位置に対応する顔領域候補に基づいて顔領域を特定することにより、元画像中の顔領域の位置も検出することができる。この場合、特定した目の位置に対応する顔領域候補の矩形領域をそのまま顔領域とする必要はなく、元画像において顔領域を特定する目的に応じて、検出した目の位置を含む多角形領域としてもよく、円形領域としてもよく、肌色領域としてもよい。ここで、顔領域の大きさは、検出した両目の間隔や顔領域候補の大きさ等に応じて、適宜設定しておくことができる。また、各顔領域候補において目の位置の検出に加え、フェードイン法を用いて口や鼻の位置も検出し（画像の認識・理解シンポジウム（MIRU2006），論文集CD-ROM，IS1-18「顔パーツ（髪・眉・目・鼻・口）検出の高精度化と実用化」，2006.7.19.発行）、少なくとも、目の他に鼻又は口が含まれる領域を顔領域としてもよい。

また、目の位置に対応する顔領域であって、大きさあるいは位置のずれているものが複数重なり合っている場合には、これらの和領域に基づいて顔領域を定めてもよい。例えば、元画像において顔領域のモザイク処理を目的とする場合には、本来の顔領域に確実にモザイク処理を施すため、和領域に基づくことが好ましい。

本発明の目の位置の検出方法及び顔領域の位置の検出方法は、複数の顔画像において、目の位置の検出対象とする個々の被写体の肌の色、瞳の色、顔の向き、照明環境の変化によらず、精度よく、簡便な演算方法で、高い処理速度で目の位置を検出することができる。したがって、白人、黒人を問わず、複数顔画像から目の位置を検出することができる。

本発明により検出された目の位置は、髪型シミュレーション画像を形成する場合、化粧シミュレーション画像を形成する場合、顔画像の目隠し処理をする場合、顔画像のフレーム処理をする場合、個人認証用画像を作成する場合など、目の位置の検出が必要とされる種々の場面で利用することができる。

また、本発明により検出された顔領域の位置も、顔画像の目隠し処理をする場合、デジタルカメラ撮影時の顔色補正又は撮影画像の顔色補正をする場合、プリンタ印刷時の顔色補正をする場合等で利用することができる。

動画像における目の位置及び顔領域の位置の検出方法の流れ図である。 目の位置及び顔領域の位置の検出システムのブロック図である。 明度補正の説明図である。 明度補正の説明図である。 前処理前の元画像と前処理後の元画像である。 水平ぼかし画像、垂直ぼかし画像、水平・垂直ぼかし画像である。 水平・垂直ぼかし画像から検出した水平エッジと垂直エッジの画像である。 斜め２方向のぼかし画像である。 顔領域検出用画像（ポジ画像）である。 顔領域検出用画像（ネガ画像）である。 顔領域候補の検出のための、水平エッジと垂直エッジの交点を基点とする正方形の説明図である。 顔領域候補の検出条件の説明図である。 顔領域検出用画像中に顔領域候補を示した図である。 顔領域候補の明度を変化させた目の位置検出用画像である。 ある階層のフェードイン画像に、目の位置候補を示した図である。 ある階層の目の位置検出用画像において、全階層にわたる目の位置候補を集積して表示した図である。 特定した目の位置を顔領域候補に表示した図である。 検出した目の位置と顔領域の位置を元画像に重ねた図である。 顔領域検出用画像で顔画像サイズ枠を走査させることにより顔領域候補を検出する方法の説明図である。

符号の説明

１ 撮像装置
２ パソコン本体
３ ディスプレイ
４ プリンタ
１０ 目及び顔の位置の検出システム
２０ 元画像
２１ 前処理後の元画像
２２ 水平ぼかし画像
２３ 垂直ぼかし画像
２４ 水平・垂直ぼかし画像
２５ 水平・垂直エッジ画像
２６ 顔領域検出用画像
３０ 微小な正方形
３１ 拡大を停止した正方形
３２ａ、３２ｂ、３２ｃ 長方形
３３ 顔領域候補
３５ 顔画像サイズ枠
Ｐ 水平・垂直ぼかし画像における水平エッジと垂直エッジの交点

Claims (13)

1. 動画像において目の位置を検出する方法であって、
   Ａ．(A1)動画像のフレーム（以下、元画像とも称する）から水平方向と垂直方向にぼかしたぼかし画像を作成し、該ぼかし画像におけるぼかし方向のエッジの交点の位置を求めると共に、
   (A2)元画像の階調をつぶした顔領域検出用画像を作成し、
   (A3)顔領域検出用画像において、ぼかし方向のエッジの交点を一つの頂点とする微小な矩形を想定し、該交点を起点として矩形を(ａ)又は(ｂ)の条件
   (ａ)矩形内で画素値２５５のピクセルの割合が６０％以上となった後に６０％未満になったとき
   (ｂ)矩形の拡大方向の線幅１ピクセルの縦辺又は下辺において、画素値２５４以下のピクセルの割合が、１／３以下になった後に１／３以上になったとき
   が満たされるまで右下方向、左下方向、右上方向及び左上方向にそれぞれ拡大し、拡大を停止した時点の正方形の左右及び上に隣接する領域で、それぞれ正方形の一辺を長辺とし、正方形の一辺の１／３〜１／２の長さを短辺とする長方形を想定し、これらの長方形について、次の(ｐ)又は(ｑ)の条件
   (ｐ)全ピクセルの１０％以上が画素値２５４以下である
   (ｑ)長方形の正方形側の長辺の長さの１／３以上のピクセルが画素値２５４以下である
   が満たされるものを顔領域候補として検出する工程、
   Ｂ．(B1)顔領域候補ごとに、明度が変化した複数の目の位置検出用画像を作成し、
   (B2)目の位置検出用画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出し、
   (B3)検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択し、
   (B4)各目の位置候補の全ての目の位置検出用画像にわたる出現度数に基づいて目の位置候補を目の位置として特定する工程、
   を有する目の位置の検出方法。
2. 一つのフレームＮで目の位置が特定された場合にその直後〜３秒後のフレームで、フレームＮが直近で目の位置が特定されたフレームとなるときに、該フレームＮにおける目の位置の周辺領域を、工程Ｂで使用する顔領域候補とする請求項１記載の目の位置の検出方法。
3. 一つのフレームＮで目の位置が特定された場合にその直後〜３秒後のフレームで、フレームＮにおいて目の位置が特定された顔領域候補の最大サイズを顔画像サイズ枠とし、工程Ａ(A2)により作成した顔領域検出用画像上で顔画像サイズ枠を走査し、該枠内の中央部に比して周辺部が低明度となる領域を、工程Ｂで使用する顔領域候補として検出する請求項１記載の目の位置の検出方法。
4. 一つのフレームＮで目の位置が特定された場合に次のフレームＮ＋１で、フレームＮにおいて目の位置が特定された顔領域候補を、工程Ｂで使用する顔領域候補とすると共に、フレームＮにおいて目の位置が特定された顔領域候補をフレームＮ＋１の元画像から除いた画像から工程Ａにより顔領域候補を検出する請求項１記載の目の位置の検出方法。
5. 工程Ａ(A2)において、明度補正をした元画像から顔領域検出用画像を作成する請求項１〜４のいずれかに記載の目の位置の検出方法。
6. 工程Ａ(A2)において、元画像が２５６階調の場合に、フェードイン０％の画像は全ての画素が画素値２５５を有し、フェードインｘ％の画像（但し、ｘ＞０）は、元画像において画素値が２．５５ｘ未満の画素は元画像の画素値を有し、画素値が２．５５ｘ以上の画素は一律画素値２５５を有するとしたときに、顔領域検出用画像として、元画像に対してフェードイン２５〜３５％の画像を形成する請求項１〜５のいずれかに記載の目の位置の検出方法。
7. 請求項１〜６のいずれかに記載の方法で目の位置を特定した後、その目の位置に対応する顔領域候補に基づいて顔領域を特定する顔領域の位置の検出方法。
8. 動画像の取得手段、及び演算手段を備えた目の位置の検出システムであって、演算手段が、
   元画像から水平方向と垂直方向にぼかしたぼかし画像を作成する機能、該ぼかし画像のぼかし方向のエッジを検出し、それらの交点の位置を求める機能、元画像の階調をつぶした顔領域検出用画像を作成する機能、顔領域検出用画像において、ぼかし方向のエッジの交点を一つの頂点とする微小な矩形を想定し、該交点を起点として矩形を(ａ)又は(ｂ)の条件
   (ａ)矩形内で画素値２５５のピクセルの割合が６０％以上となった後に６０％未満になったとき
   (ｂ)矩形の拡大方向の線幅１ピクセルの縦辺又は下辺において、画素値２５４以下のピクセルの割合が、１／３以下になった後に１／３以上になったとき
   が満たされるまで右下方向、左下方向、右上方向及び左上方向にそれぞれ拡大し、拡大を停止した時点の正方形の左右及び上に隣接する領域で、それぞれ正方形の一辺を長辺とし、正方形の一辺の１／３〜１／２の長さを短辺とする長方形を想定し、これらの長方形について、次の(ｐ)又は(ｑ)の条件
   (ｐ)全ピクセルの１０％以上が画素値２５４以下である
   (ｑ)長方形の正方形側の長辺の長さの１／３以上のピクセルが画素値２５４以下である
   が満たされるものを顔領域候補として検出する機能、顔領域候補ごとに、目の位置検出用画像として明度が変化した複数の画像を作成する機能、その画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出する機能、検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択する機能、及び各目の位置候補の全ての目の位置検出用画像にわたる出現度数に基づいて目の位置を特定する機能を備えている目の位置の検出システム。
9. 一つのフレームＮで目の位置が特定された場合にその直後〜３秒後のフレームで、フレームＮが直近で目の位置が特定されたフレームとなるときに、該フレームＮにおける目の位置の周辺領域を顔領域候補とする機能を備えた請求項８記載の目の位置の検出システム。
10. 一つのフレームＮで目の位置が特定された場合にその直後〜３秒後のフレームで、フレームＮにおいて目の位置が特定された顔領域候補の最大サイズを顔画像サイズ枠とし、顔領域検出用画像上で顔画像サイズ枠を走査し、該枠内の中央部に比して周辺部が低明度となる領域を顔領域候補として検出する機能を備えた請求項８記載の目の位置の検出システム。
11. 一つのフレームＮで目の位置が特定された場合に、フレームＮにおいて目の位置が特定された顔領域候補を次のフレームＮ＋１で顔領域候補とすると共に、フレームＮにおいて目の位置が特定された顔領域候補をフレームＮ＋１の元画像から除いた画像から顔領域候補を検出する機能を備えた請求項８記載の目の位置の検出システム。
12. 動画像の取得手段が、動画像が撮影可能なカメラである請求項８〜１１のいずれかに記載の目の位置の検出システム。
13. 動画像の取得手段、及び演算手段を備えた顔領域の位置の検出システムであって、演算手段が、請求項８〜１２のいずれかに記載の演算手段の機能、及び顔領域候補のうち目の位置が特定されたものに基づいて顔領域を特定する機能を有する顔領域の位置の検出システム。