JP4831361B2 - 目の位置の検出方法および検出システム - Google Patents

目の位置の検出方法および検出システム Download PDF

Info

Publication number
JP4831361B2
JP4831361B2 JP2007176744A JP2007176744A JP4831361B2 JP 4831361 B2 JP4831361 B2 JP 4831361B2 JP 2007176744 A JP2007176744 A JP 2007176744A JP 2007176744 A JP2007176744 A JP 2007176744A JP 4831361 B2 JP4831361 B2 JP 4831361B2
Authority
JP
Japan
Prior art keywords
image
eye position
eye
area
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007176744A
Other languages
English (en)
Other versions
JP2009015599A (ja
Inventor
浩 池田
圭一 森谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kao Corp
Original Assignee
Kao Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kao Corp filed Critical Kao Corp
Priority to JP2007176744A priority Critical patent/JP4831361B2/ja
Publication of JP2009015599A publication Critical patent/JP2009015599A/ja
Application granted granted Critical
Publication of JP4831361B2 publication Critical patent/JP4831361B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

本発明は、顔画像を含む画像から目の位置を自動的に検出する方法および検出システムに関する。
顔画像における目の位置は、被験者の顔画像に髪型のモデル画像を重ねて髪型シミュレーション画像を形成する場合や、被験者の顔画像に唇、眉等の化粧画像を重ねてメイクアップシミュレーション画像を形成する場合に、画像の大きさの調整や位置合わせのために検出されている。また、目の位置の検出は、顔画像の目隠し処理、顔画像のフレーム処理、個人認証用画像の作成等においてもなされている。
従来、顔画像から目の位置を検出する方法としては、肌色領域の抽出により顔を検出し、さらにパターンマッチング等により目を検出する方法等が使用されている(非特許文献1、特許文献1)。
2005年第5回LSI IPデザインアワード受賞論文「高速・高信頼な顔検出を可能とする顔候補点検出法」(日経BP社) 特開2004−94917
しかしながら、肌色領域の抽出は照明環境の影響を受ける。そのため、種々の照明環境で撮られた不特定多数の顔画像を対象とする場合には信頼性が問題となる。また、パターンマッチングの手法は、計算量が莫大となるという問題がある。
これに対し、本発明は、顔画像を含む画像から目の位置を、簡便な手法で信頼性高く自動的に検出できるようにすることを目的とする。
本発明者らは、(1)顔画像を含む元画像を、髪領域と顔領域は判別できるが顔の造作は判別できない明度、即ち、髪領域と顔領域のおおよそ判別できるが、顔内部は全く現れないか、あるいは目・鼻・口はわかるが誰の顔か判別しがたい状態の明度に調整し、(2)顔サイズの枠をその画像上で走査させ、その枠の中央部は高明度でその周囲では低明度となる枠領域を検出すると、検出された領域は、元画像に含まれる個々の顔の領域に対応するので、この領域を目の検出対象領域として抽出できること、(3)個々の目の検出対象領域について、明度が変化した画像を作成すると、高明度側のフェードアウトした画像から低明度側の画像に順次フェードインするに伴い、最初に現れる画素が瞳領域のものであること、(4)この場合、瞳領域の画素は対になって現れ、これにより目の位置候補を定められること、そして、(5)対をなして現れた目の位置候補の全ての目の位置検出用画像にわたる出現度数の集積結果から目の位置候補を特定できることを見出した。
即ち、本発明は、顔画像を含む元画像から目の位置を検出する方法であって、
A.元画像から、走査対象画像を作成し、
前記走査対象画像上で顔画像サイズの枠を走査して該枠内の中央部に比して周辺部が低明度となる領域を目の位置の検出対象領域として検出する工程、
B.目の位置の検出対象領域ごとに、目の位置検出用画像として明度が変化した複数の画像を作成し、
前記目の位置検出用画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出し、
検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択し、
各目の位置候補の全ての目の位置検出用画像にわたる出現度数に基づいて目の位置候補を特定する工程、
を有する目の位置の検出方法を提供する。
また、本発明は、顔画像を含む元画像の取得手段、及び演算手段を備えた目の位置の検出システムであって、演算手段が
元画像から、走査対象画像を作成する機能、該走査対象画像上で顔画像サイズの枠を走査し、該枠内の中央部に比して周辺部が低明度となる枠領域を検出する機能、検出した枠領域を目の位置の検出対象領域として設定する機能、各目の位置の検出対象領域ごとに目の位置検出用画像として明度が変化した複数の画像を作成する機能、画像が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出する機能、検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択する機能、及び各目の位置候補の全ての目の位置検出用画像にわたる出現度数に基づいて目の位置候補を特定する機能を備えている目の位置の検出システムを提供する。
本発明の方法あるいはシステムによれば、顔画像を含む元画像において、個々の顔の領域に対応する目の位置の検出対象領域を自動的に検出し、目の位置の検出対象領域毎に明度を変化させた画像を複数形成することにより目の位置を特定するので、照明環境、被験者の肌色、被験者の瞳の色、顔画像における顔の向き等にかかわらず、元画像に含まれる顔の目の位置を信頼性高く短時間で自動的に検出することができる。
この方法あるいはシステムによれば、目の位置を基準に用いて種々のヘアスタイル画像を任意の顔画像にフィッティングさせる髪型シミュレーション画像の形成や、目の位置を基準に用いて化粧後の顔の部分画像を任意の顔画像にフィッティングさせる化粧シミュレーション画像の形成等のように、目の位置を基準に用いて複数の画像情報をフィッティングさせることによりシミュレーション画像を形成する場合に、自然さのあるシミュレーション画像を短時間で形成することが可能となる。また、個人情報保護のための目隠し処理のように、目の位置を基準としてモザイク、塗りつぶし等の画像処理を行う場合にも、本発明の方法あるいはシステムを好適に用いることができる。
以下、図面を参照しつつ本発明を詳細に説明する。
図1は、顔画像を含む元画像において、個々の顔画像の目の位置を検出する本発明の目の位置の検出方法の一実施例を示す流れ図であり、図2は、この方法を実施する目の位置の検出システム10のブロック図である。
このシステム10は、撮像装置1及びパソコン本体2からなっており、パソコン本体2には、ディスプレイ3、イメージスキャナ4、プリンタ5等が接続されている。
撮像装置1は、顔画像を含む元画像の取得手段として設けられており、市販のデジタルカメラを使用することができる。
パソコン本体2は、演算手段として設けられており、カラー画像をグレースケール画像へ変換する画像処理機能や所定のフェードイン割合の画像を作成する機能を備えている
ここで、カラー画像からグレースケール画像への変換は、各画素において、(1)R、G、Bの各値の最大値と最小値の平均を利用する方法、(2)R、G、Bの各値の平均を利用する方法、(3)R、G、Bの各値に所定の重み付け係数(NTSC等)を掛けた後、それらの平均をとる方法等により行えばよい。例えば、(3)の方法においては、次式
Y(出力輝度)=0.298912×R+0.568811×G+0.114478×B
を利用すればよい。このような画像処理機能は、例えば、アドビシステム社製フォトショップ等の市販のイメージ処理ソフトをパソコン本体2に搭載することにより得ることができる。
また、所定のフェードイン割合の画像は、例えば、元画像が256階調の場合、以下の通りに作成することができる。
まず、フェードイン0%の画像は、全ての画素の画素値を一律255とする。
また、フェードインx%の画像は、元画像において画素値が2.55x未満の画素は元画像の画素値を有し、画素値が2.55x以上の画素(但し、x>0)は一律画素値255を有するとする。
例えば、フェードイン10%の画像は、元画像において、画素値が25.5(=255×0.1)未満の画素はその画素値のまま、画素値が25.5以上の画素は画素値を一律255にする。
フェードイン20%の画像は、元画像において、画素値が51.0(=255×0.2)未満の画素はその画素値のまま、元画像の画素値が51.0以上の画素は画素値を一律255にする。
フェードイン100%の画像は、全ての画素の画素値を元画像の画素値のままとする。
また、パソコン本体2は、明度の変化に伴ってコントラストを変化させる機能(例えば、明度を高くするにしたがいコントラストを下げ、また、明度を低くするにしたがいコントラストをあげる機能)、画像の階層を明度の低い又は高い順にリスト番号を付けて管理する機能、所定明度の画像上で所定サイズの枠を走査させ、該枠内の中央部に比して周辺部が低明度となる枠領域を検出する機能、検出した枠領域を目の位置の検出対象領域として設定する機能、各目の位置の検出対象領域ごとに明度が変化した複数の画像を作成する機能、画像の明度の階層において、明度が高明度でフェードアウトした状態から低明度へフェードインするのに伴い、フェードアウトした顔領域に漸次現れる画素の固まり領域を検出する機能、検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択する機能、及び各目の位置候補の全階層の画像にわたる出現度数をカウントし、その値に基づいて目の位置候補を絞り込む機能などを有している。
さらに、パソコン本体2は、顔画像のサイズの調整機能、顔画像のぼかし機能、目の位置候補から特定の目の位置を特定する際の目の位置条件として目の位置候補相互の位置関係や目の位置候補の幅、隣接する目の位置候補の距離等を記憶する機能、目の位置候補から目の位置条件を満たすものを選択し、目の位置として特定する機能等を有している。
このシステム10を用いた目の位置の検出方法は、図1に示すように、概略、次のA、Bの2つの工程からなる。
A.顔画像を含む元画像から目の位置の検出対象領域を検出する工程、
B.目の位置の検出対象領域から最終的に目の位置を特定する工程であって、
(1)個々の目の位置の検出対象領域において目の位置候補を検出する工程
(2)個々の目の位置の検出対象領域で検出した目の位置候補から最終的に目の位置を特定する工程
工程Aでは、まず、目の位置の検出対象とする顔画像を有する元画像をパソコン本体2に取得する。元画像は、例えば、撮像装置1で顔画像を含む写真を撮り、それをパソコン本体2に取り込ませてもよく、イメージスキャナ4を用いて顔画像を含む写真を読み取ることによってもよく、インターネット等の通信回線を利用してそのような画像を取得してもよい。
なお、元画像としては、1つの元画像中に含まれる顔画像の数は、単数でも複数でもよいが、本発明は複数の顔画像のときに特に効果を発揮するので、複数の方が好ましい。また、元画像としては、その中に含まれる個々の顔画像について、最大サイズと最小サイズの比が、顔の長さで1〜3倍、好ましくは1.5〜2.5倍程度以内であるものが、目の位置の検出精度の点から好ましい。
次に、必要に応じて、元画像のサイズを目の位置の検出処理に適したサイズに調整する。より具体的には、検出速度と検出精度の観点から、480×360〜320×240ピクセル程度に画面サイズを変更することが好ましい。
また、顔画像がシャープであると、後の画像処理で細かいエッジが多数現れ、目の位置候補の検出のノイズとなるので、必要に応じて元画像にぼかし処理を行う。この場合、ぼかしの程度は、弱〜中とすることが好ましく、例えば、各画素について、注目点の画素とその周囲の25画素に対して1〜5の重み付ぼかしフィルタを使用して輝度の平均値を出力するぼかし処理を行う。このぼかし処理は、必要に応じて複数回行っても良い。
さらに、本発明の目の位置の検出方法においては、カラー画像である必要は無いため、取得した元画像がカラー画像の場合には、後の処理量を低減させるため、グレースケール画像に変換することが好ましい。
次に、図3に示すように、取得した元画像20において、適当な大きさの顔画像サイズの枠30を予め設定する。通常、この枠30のサイズは、元画像20に含まれる個々の顔画像のうち、両目の間隔が最大のものの両目間隔L1の2倍〜3倍程度を一辺とする矩形枠30とすることが好ましい。この枠30のサイズを厳密に規定する必要はないが、漏れなく検出対象をとらえ、かつ検出を正確に行う観点から、当該元画像20に好適な枠サイズを本システムの操作者が適宜設定することが好ましい。この設定は元画像20を取得した後、次に説明する走査対象画像21上で顔画像サイズの枠30を走査させる前なら、いつ行ってもよい。
そして元画像20から走査対象画像21を作成する。図4Aに示すように走査対象画像21としては、元画像20の明度を変化させることにより、髪領域と顔領域は判別できるが顔の造作は判別できない状態、即ち、髪領域と顔領域はおおよそ判別できるが、顔内部は全く現れていないか、あるいは目・鼻・口はわかるが誰の顔だか判別しがたい状態の画像を作成することが好ましい。
走査対象画像21の作成方法は、元画像20の撮影条件にもよるが、基本的には元画像から、前述したフェードイン割合としてフェードイン25〜35%の画像を作成することが好ましい。なお、走査対象画像21は、図4Bに示すように、階調を反転させたネガ画像として形成してもよい。
走査対象画像21の作成方法は、前述の所定のフェードイン割合の画像を作成する方法に限らず、種々の2値化処理による方法が適用可能である。例えば、元画像20の明度ヒストグラムの中心明度値を閾値とする2値化処理など、元画像の特性に基づき閾値を決める種々の2値化処理(一般的に可変閾値処理と呼ばれている)により走査対象画像21を作成することができる。
また、走査対象画像21は、元画像20が極端に明るかったり暗かったりする場合には、以下のように予め元画像20に明度補正を行ってから作成するのが好ましい。すなわち、図5A(a)のように明るすぎる元画像20について、あるいは図5B(a)のように暗すぎる元画像20について、それぞれ元画像20の明度ヒストグラムを作成し、最大カウント数Aの1.5%〜15%、好ましくは3%〜8%以下のカウント数である画素値のカウント数をゼロとした後、カウント数がゼロではない画素値のうち最大の画素値Xmaxおよび最小の画素値Xminを求める。次に、同図(b)のように、元画像の画素値Xiを次式に代入して明度補正後の画素値とすることにより元画像の明度補正を行う。
但し、Xi<Xminの場合、Xi=Xminとし、
Xi>Xmaxの場合、Xi=Xmaxとする。
明度補正の方法としては前述の方法に限らず、種々の方法が適用可能である。例えば、予め任意の画像を基準画像とし、その平均明度を測定すると共に走査対象画像作成のための適正明度変化量を決定しておき、基準画像の平均明度に対する元画像の平均明度の比率を算出し、基準画像における適正明度変化量に平均明度の比率を乗じた量だけ元画像の明度を変化させて元画像の明度を補正する。
ここで、基準画像における適正明度変化量の決定は次のように行う。まず、基準画像の平均明度を明暗両方向に1階調ずつ変化させた画像を作成し、それぞれの画像に対して次に示す目の位置の検出対象領域の検出を行い、その検出結果が実際に顔画像の存在する領域と整合しているかを目視で判断し、その検出の成功率を計算する。そしてその成功率が最大になる画像の平均明度を求め、これと基準画像の平均明度との差を適正明度変化量とする。
基準画像としては、5〜20人の顔画像が写っており、個々の顔画像の最大サイズと最小サイズの比が、顔の長さで1〜3倍以内であるものが好ましい。目の位置の検出対象領域の設定は次に示す方法によればよい。
次に、図6に示すように、走査対象画像21上で顔画像サイズの枠30を走査させ、該枠内の中央部に比して周辺部が低明度となる枠領域(図6に示すようにネガ画像では、中央部に比して周辺部が高明度となる領域)30a〜30eを検出し、検出した枠領域30a〜30eを目の位置の検出対象領域として設定する。より具体的には、走査対象画像21上で、顔画像サイズの枠30の一辺の長さをXピクセルとしたとき、1〜0.35Xピクセル、好ましくは0.2X〜0.3Xピクセル、より好ましくは0.23X〜0.27Xピクセルずつ縦横に移動させ、以下の基準(1)〜(3)に基づいて枠領域を検出する。なお、この枠30の走査と以下の枠領域の検出とは同時に行ってもよく、走査を完了させた後に枠領域を検出してもよい。
顔画像サイズの枠30を3×3の9領域に分割した場合に、
(1)画素値254以下の領域(白で無い領域)の存在割合が、中央部領域に比して周囲8領域での平均値が高い、
(2)画素値254以下の領域の存在割合が、中央部領域に比して上部中央領域で高い、
(3)画素値254以下の領域の存在割合が、中央部領域に比して中央部左領域又は中央部右領域で高い
これらの基準のうち、(1)は、肌や髪の色が異なる人種を問わず、また、頭髪の有無も問わず、グレースケール画像では、顔領域が、頭、帽子、衣服、その他の顔領域の周囲に比して明るいことに基づくものであり、顔領域を検出するために必要な基準となる。
(2)は、正面顔画像のように、画像上、顔の明るい領域の上方に頭髪の暗い領域が存在する場合、(3)は、横向の顔画像のように、画像上、顔の右側又は左側に髪の暗い領域が存在する場合に対応し、これらは(1)の条件だけでは、目の検出対象領域が過度に広く設定される場合に使用する。したがって、検出漏れ防止を優先目的とする場合は(1)の条件だけを満たす枠領域を検出することが好ましく、演算時間の短縮も目的とする場合は(1)と(2)を同時に満たす枠領域、又は(1)と(3)を同時に満たす枠領域を検出することが好ましい。
こうして、目の位置の検出対象領域30a〜30eを設定した後は、工程Bで、元画像の個々の目の位置の検出対象領域ごとに目の位置候補を検出する。この目の位置候補の検出のため、まず、目の位置の検出対象領域ごとに、目の位置検出用画像として、明度が変化した複数の目の位置検出用画像を形成する。より具体的には、例えば図7に示すように、前述した所定のフェードイン割合の画像の形成方法に従ってフェードイン0%から漸次明度を低下させたフェードイン画像を、10〜80%まで1%刻みに70階層程度作成する。
なお、このフェードイン画像の階層の作成に際しては、検出精度を保ちつつ処理速度を高くするため、予め、各検出対象領域30a〜30eの一辺の大きさが80〜120ピクセルより大きなものは、一辺の大きさが80〜120ピクセルとなるように、各検出対象領域30a〜30eの画像サイズを調整することが好ましく、また、ノイズを低下させるため、必要に応じてぼかし処理を行うことが好ましい。
また、フェードイン画像の形成に際しては、明度を上げるにつれてコントラストを下げ、明度を下げるにつれてコントラストをあげると、フェードイン画像中に目の部分がより鮮明に現れるので好ましい。
この他、目の位置検出用画像として、例えば、γ値を漸次変化させることにより図7に示すように明度が変化した画像を複数形成してもよく、これ以外にも種々の一般的方法を用いることが可能である。
図7からわかるように、検出対象領域の明度をあげて完全にフェードアウトさせた画像から明度を低下させてフェードイン画像の階層を形成していくと、通常、まず最初に瞳に画素の固まりが検出され、次に鼻や口に画素の固まりが検出される。また、瞳領域の画素の固まりは左右一対として現れる。そこで、目の位置候補として、左右一対の画素の固まりを選択する。階層によっては、瞳の他に口元、眉、額等の領域にも、画素の固まり領域が対になって現れるが、この段階では、これらの画素の固まり領域も目の位置候補として選択する。
なお、画素の固まり領域の検出においても、明度が変化した画像は、図8に示すようにネガ画像として形成してもよい。
図9は、目の位置の検出対象領域30eのある階層のフェードイン画像(ネガ画像)において、顔領域中に現れた画素の固まり領域を矩形で示し、さらにこれらのうち対をなしているものを直線で結んだものである。
対をなしている画素の固まり領域のうち、目の位置候補として選択するものの条件として、予め次の(1)、(2)を設定しておくことが好ましい。
(1)左右一対の画素の固まり領域の横方向の距離が一定の範囲にあること
(2)左右一対の画素の固まり領域の縦方向の距離が一定の範囲にあること
次に、図10に示すように、各フェードイン画像毎に現れた一対の目の位置候補を、目の位置検出用画像の全階層にわたって集積し、その出現度数をカウントし、このカウント数の多い順にランキングリストを作成する。このカウントでは、フェードアウトした顔画像から段階的に明度を下げていった場合に最初に現れ、最終段階まで現れ続ける瞳領域の目の位置候補が通常、最大カウント(ランキング第1位)となる。そこで、カウント値が2以下のものは目の位置候補から外し、また、原則的に最大カウントの目の位置候補の位置を目の位置候補として絞り込む。
ただし、次の(a)〜(c)の条件を全て満たした場合、あるいは(d)の条件を満たした場合には、カウント数が2番目に多かった目の位置候補の位置を目の位置として特定する。
(a)ランキング第2位の目の位置候補が、ランキング第1位の目の位置候補より上方にある場合
(b)ランキング第2位の目の位置候補の目と目の中心間距離が、ランキング第1位の目の位置候補の中心間距離より長い場合
(c)ランキング第2位の目の位置候補の左右の瞳にあたる領域が、共にランキング第1位の目候補の左右の瞳にあたる位置よりも外側にある場合
(d)ランキング第1位の目の位置候補とランキング第2位の目の位置候補の縦方向の距離が、目と眉の距離程度に離れ、ランキング第1位の目の位置候補がランキング第2位の目の位置候補よりも上にある場合
このうち、(a)〜(c)は、ランキング第1位がまれに口領域になることがあるのに対し、口の位置を目の位置であると誤判定しないためのものであり、(d)は、目の周りの眉等を目の位置であると誤判定しないためのものである。
以上により、図11に示すように、個々の目の位置の検出対象領域において、目の位置候補(より正確には瞳の位置)を正確に検出することが可能となる。
以上の目の位置候補の特定方法は、工程Aで設定した全ての目の位置の検出対象領域30a〜30eについてそれぞれ行う。また、いずれかの目の位置の検出対象領域において、目の位置候補を特定できなかった場合には、以降、その領域には目が存在しないとして扱う。
こうして個々の目の位置の検出対象領域で特定された目の位置を、最終的に図12に示すように元画像の対応する位置に重ね、元画像における個々の顔画像の目の位置とすることが可能となる。
本発明の目の位置の検出方法は、複数顔画像において、目の位置の検出対象とする個々の被写体の肌の色、瞳の色、顔の向き、照明環境の変化によらず、精度よく、簡便な演算方法で、高い処理速度で目の位置を検出することができる。したがって、白人、黒人を問わず、複数顔画像から目の位置を検出することができる。
こうして検出された目の位置は、髪型シミュレーション画像を形成する場合、化粧シミュレーション画像を形成する場合、顔画像の目隠し処理をする場合、顔画像のフレーム処理をする場合、個人認証用画像を作成する場合など、目の位置の検出が必要とされる種々の場面で利用することができる。
本発明は、目の位置を基準に用いて種々のヘアスタイル画像を任意の顔画像にフィッティングさせる髪型シミュレーション画像の形成、目の位置を基準に用いて化粧後の顔の部分画像を任意の顔画像にフィッティングさせる化粧シミュレーション画像の形成、顔画像の目隠し処理、顔画像のフレーム処理など、複数顔画像の画像処理において、目の位置の検出が必要とされる種々の場面で有用となる。
目の位置の検出方法の流れ図である。 目の位置の検出システムのブロック図である。 顔画像サイズの枠の設定方法の説明図である。 走査対象画像(ポジ画像)である。 走査対象画像(ネガ画像)である。 明度ヒストグラムである。 明度ヒストグラムである。 検出対象領域を検出した走査対象画像である。 個々の検出対象領域において明度を変化させた目の位置検出用画像である。 個々の検出対象領域において明度を変化させた目の位置検出用画像のネガ画像である。 ある検出対象領域のフェードイン画像における画素の固まり領域の説明図である。 目の位置候補を、目の位置検出用画像の全階層にわたって集積した状態の説明図である。 個々の検出対象領域において検出した目の位置を表示した目の位置検出用画像である。 元画像において、目の位置の検出対象領域を元画像に重ねた状態を示す図である。
符号の説明
1 撮像装置
2 パソコン本体
3 ディスプレイ
4 イメージスキャナ
5 プリンタ
10 目の位置の検出システム
20 元画像
21 走査対象画像
30 顔画像サイズの枠
30a〜30e 目の位置の検出対象領域
L1 両目間隔

Claims (3)

  1. 顔画像を含む元画像から目の位置を検出する方法であって、
    A.元画像にぼかし処理とグレースケール画像への変換を行い、
    ぼかし処理とグレースケール画像への変換を行った元画像から走査対象画像を作成し、
    走査対象画像上で顔画像サイズの枠を走査して該枠内の中央部に比して周辺部が低明度となる領域を目の位置の検出対象領域として検出する工程、
    B.目の位置の検出対象領域ごとに、明度が変化した複数階層の目の位置検出用画像を作成し、
    複数階層の目の位置検出用画像において、高明度でフェードアウトしたグレースケール画像から低明度のグレースケール画像へ漸次明度変化するのに伴い、目の位置検出用画像に漸次現れる画素の固まり領域を検出し、
    検出した画素の固まり領域のうち対となって現れたものを目の位置候補として選択し、全階層の目の位置検出用画像にわたる目の位置候補の出現度数に基づいて目の位置候補から目の位置を特定する工程、
    を有し、
    工程Aにおいて、グレースケール画像に変換した元画像が256階調の場合に、フェードイン0%の画像は全ての画素が画素値255を有し、フェードインx%の画像(但し、x>0)は、元画像において画素値が2.55x未満の画素は元画像の画素値を有し、画素値が2.55x以上の画素は一律画素値255を有するとしたときに、走査対象画像として、ぼかし処理とグレースケール画像への変換を行った元画像に対してフェードイン25〜35%の画像を形成し、
    該走査対象画像上で走査する顔画像サイズの枠を3×3の9領域に分割し、顔画像サイズの枠が次の(1)、(2)及び(3)
    (1)画素値254以下の領域の存在割合が、中央部領域に比して周囲8領域で高い
    (2)画素値254以下の領域の存在割合が、中央部領域に比して上部中央領域で高い
    (3)画素値254以下の領域の存在割合が、中央部領域に比して中央部左領域又は中央部右領域で高い
    を満たすときに、該枠領域を目の位置の検出対象領域として検出し、
    工程Bにおいて、全階層の目の位置検出用画像にわたる目の位置候補の出現度数を集積し、カウントし、ランキングして最大カウントの目の位置候補の位置を目の位置とし、だたし、次の(a)〜(d)の条件、
    (a)ランキング第2位の目の位置候補が、ランキング第1位の目の位置候補より上方にある場合
    (b)ランキング第2位の目の位置候補の目と目の中心間距離が、ランキング第1位の目の位置候補の中心間距離より長い場合
    (c)ランキング第2位の目の位置候補の左右の瞳にあたる領域が、共にランキング第1位の目の位置候補の左右の瞳にあたる位置よりも外側にある場合
    (d)ランキング第1位の目の位置候補とランキング第2位の目の位置候補の縦方向の距離が、目と眉の距離程度に離れ、ランキング第1位の目の位置候補がランキング第2位の目の位置候補よりも上にある場合
    のうち、(a)〜(c)の条件を全て満たした場合、あるいは(d)の条件を満たした場合には、カウント数が2番目に多かった目の位置候補の位置を目の位置と特定する目の位置の検出方法。
  2. 工程Aにおいて、元画像に明度補正を行って走査対象画像を作成する請求項1記載の目の位置の検出方法。
  3. 工程Aにおいて、顔画像サイズの枠として、元画像に含まれる個々の顔画像の目の間隔の最大値の2倍〜3倍を一辺とする矩形枠を設定する請求項1又は2記載の目の位置の検出方法。
JP2007176744A 2007-07-04 2007-07-04 目の位置の検出方法および検出システム Expired - Fee Related JP4831361B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007176744A JP4831361B2 (ja) 2007-07-04 2007-07-04 目の位置の検出方法および検出システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007176744A JP4831361B2 (ja) 2007-07-04 2007-07-04 目の位置の検出方法および検出システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011088669A Division JP5093540B2 (ja) 2011-04-12 2011-04-12 目の位置の検出方法および検出システム

Publications (2)

Publication Number Publication Date
JP2009015599A JP2009015599A (ja) 2009-01-22
JP4831361B2 true JP4831361B2 (ja) 2011-12-07

Family

ID=40356427

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007176744A Expired - Fee Related JP4831361B2 (ja) 2007-07-04 2007-07-04 目の位置の検出方法および検出システム

Country Status (1)

Country Link
JP (1) JP4831361B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7054492B2 (ja) * 2017-01-23 2022-04-14 株式会社Revo 情報加工モジュール、情報加工方法、情報加工プログラム及び情報処理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3355076B2 (ja) * 1995-09-14 2002-12-09 三菱電機株式会社 顔画像処理装置
KR19990016896A (ko) * 1997-08-20 1999-03-15 전주범 얼굴영상에서 눈영역 검출방법
CN1313979C (zh) * 2002-05-03 2007-05-02 三星电子株式会社 产生三维漫画的装置和方法
JP2005346474A (ja) * 2004-06-03 2005-12-15 Canon Inc 画像処理方法及び装置及びプログラム及び記憶媒体

Also Published As

Publication number Publication date
JP2009015599A (ja) 2009-01-22

Similar Documents

Publication Publication Date Title
JP4307496B2 (ja) 顔部位検出装置及びプログラム
EP1970859B1 (en) Detecting method and detecting system for positions of face parts
EP1596573B1 (en) Image correction apparatus
KR101446975B1 (ko) 얼굴 검출 기능을 사용한 얼굴 및 피부의 자동 미화
US9111132B2 (en) Image processing device, image processing method, and control program
JP4708909B2 (ja) デジタル画像の対象物検出方法および装置並びにプログラム
JP4739870B2 (ja) サングラス検出装置及び顔中心位置検出装置
JP3993029B2 (ja) 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム及びそのプログラムを記録した記録媒体
JP2004005384A (ja) 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置、並びに肖像写真撮影装置
US9323981B2 (en) Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored
JP4775599B2 (ja) 目の位置の検出方法
JP4530173B2 (ja) 顔パーツの位置の検出方法及び検出システム
JP4831361B2 (ja) 目の位置の検出方法および検出システム
JP5093540B2 (ja) 目の位置の検出方法および検出システム
JP4831344B2 (ja) 目の位置の検出方法
JP4683236B2 (ja) 目の位置の検出方法
JP2009258770A (ja) 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
JP2005165983A (ja) 人物顔のあご検出方法及びあご検出システム並びにあご検出プログラム
JP2007048108A (ja) 画像評価システム及び画像評価方法並びに画像評価プログラム
JPH11283036A (ja) 対象物検出装置及び対象物検出方法
CN105654541A (zh) 窗口图像处理方法和装置
JP2007025901A (ja) 画像処理装置、画像処理方法
JP7510258B2 (ja) 画像処理装置、画像処理方法、撮像装置、プログラム、記憶媒体
JP4323559B2 (ja) 撮像装置および方法並びにプログラム
JPWO2016158274A1 (ja) 画像処理装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100929

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101129

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110112

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110412

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110608

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110824

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110906

R151 Written notification of patent or utility model registration

Ref document number: 4831361

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140930

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees