JP3549013B2 - Eye position detection method, eye position detection device, and recording medium recording eye position detection program - Google Patents

Eye position detection method, eye position detection device, and recording medium recording eye position detection program Download PDF

Info

Publication number
JP3549013B2
JP3549013B2 JP05302798A JP5302798A JP3549013B2 JP 3549013 B2 JP3549013 B2 JP 3549013B2 JP 05302798 A JP05302798 A JP 05302798A JP 5302798 A JP5302798 A JP 5302798A JP 3549013 B2 JP3549013 B2 JP 3549013B2
Authority
JP
Japan
Prior art keywords
eye
area
face image
region
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP05302798A
Other languages
Japanese (ja)
Other versions
JPH11250267A (en
Inventor
高明 秋本
春美 川村
力 堀越
智 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP05302798A priority Critical patent/JP3549013B2/en
Publication of JPH11250267A publication Critical patent/JPH11250267A/en
Application granted granted Critical
Publication of JP3549013B2 publication Critical patent/JP3549013B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、目の位置検出方法、目の位置検出装置および目の位置検出プログラムを記録した記録媒体に係わり、特に、デジタルカメラやビデオカメラ等により、デジタルデータとしてコンピュータ等に取り込まれた人の顔画像の中から目の位置を自動的に検出する目の位置検出方法、目の位置検出装置および目の位置検出プログラムを記録した記録媒体に関する。
【0002】
【従来の技術】
例えば、ある眼鏡を装用したとき自分の顔がどのように見えるかをシミュレーションする眼鏡装用シミュレーションシステムにおいては、人の顔画像から目の位置を検出する技術が必要となる。
即ち、眼鏡装用シミュレーションシステムでは、人の顔画像上に眼鏡画像を重畳表示するため、その重畳位置や眼鏡画像のサイズは顔画像中の両目の位置や両目の間隔に基づいて決める必要がある。
従来の顔画像中から目の位置を検出する方法として、下記(1)または(2)の方法が知られている。
(1)先ず、顔画像の中から肌色の領域を抽出しその領域を肌領域とみなし、次に、肌領域の中から肌色と異なる領域を抽出し目候補領域とし、目候補領域の中から肌領域の中心に対して上部にあり、かつ左右に対称に位置する一対の2つの領域を左目候補領域及び右目候補領域とみなして、その2領域それぞれの中心位置を両目の位置とする。
(2)顔画像中から肌色の領域を抽出し、その肌領域中で急激に輝度が変化している部分(エッジ)を抽出し、抽出されたエッジの中から、人の顔の中の目、鼻、口等の位置関係から目に対応するエッジを選択する。
【0003】
【発明が解決しようとする課題】
しかしながら、顔画像中の肌領域は目や口以外はほとんど均一という場合はほとんどなく、顔の凹凸による陰影や肌の不均一性によって肌色と異なる領域やエッジとして抽出される領域は多数存在することが多い。
したがって、前記(1)、(2)の方法のように、そのような多数の領域から正しく両目に該当する一対の領域を顔の目、鼻、口等の位置関係のみに基づいて選択することは極めて困難となる。
【0004】
例えば、目以外に眉の部分が肌色と大きく異なる領域として検出されることが多く、そのようなときは眉の領域を目の領域とみなしてしまい、最終的に目の位置として誤った位置を出力してしまうことが比較的高い確率で発生していた。
【0005】
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、目の位置検出方法および目の位置検出装置において、様々な撮影条件で撮影された様々な人の顔画像に対して、安定して正しい両目の位置を検出することが可能となる技術を提供することにある。
【0006】
また、本発明の他の目的は、前記目の位置検出方法をコンピュータに実行させるための目の位置検出プログラムが記録された記録媒体を提供することにある。
【0007】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【0008】
【課題を解決するための手段】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
【0009】
即ち、本発明は、先ず、人の典型的な顔画像からその目の位置を基準にして顔内部領域を切り出して生成した平均顔画像を予め用意しておき、入力された人のカラー顔画像をYIQ色表現に変換してYIQ顔画像を生成し、当該YIQ顔画像のI成分画像をその画素値分布に基づいて決定されたしきい値により2値化して2値化画像を生成し、当該2値化画像から顔画像の中央付近に位置し所定の面積より大きい連結領域を肌領域として抽出し、当該肌領域の最外周より内側に存在する肌領域でない複数の連結領域を目候補領域として抽出し、当該複数の目候補領域の中から左目候補領域と右目候補領域の対を選択し、当該選択された左目候補領域と右目候補領域との位置を基準にして入力されたカラー顔画像から顔内部領域を切出して部分顔画像を生成し、部分顔画像と前記平均顔画像との相違度を計算し、目候補領域内の全ての左目候補領域と右目候補領域の対に対して前記部分顔画像の生成と相違度の計算を行い最も相違度が小さくなる左目候補領域と右目候補領域の対を、それぞれを左目領域および右目領域と決定し目の位置とすることを特徴とする。
【0010】
また、本発明は、決定された左目領域および右目領域それぞれの重心位置を求めることにより目の位置とすることを特徴とする。
【0011】
また、本発明は、決定された左目領域および右目領域それぞれの縦横の中心を求めることにより目の位置とすることを特徴とする。
【0012】
また、本発明は、眼球を正面から照明したときの眼球による反射光の輝度パターンを予め用意しておき、決定された左目領域および右目領域の内部で、当該輝度パターンと左目領域または右目領域の輝度との相違度を、当該輝度パターンを移動させながら計算し、相違度が最も小さくなるときの輝度パターンの中心位置を左目または右目の位置とすることを特徴とする。
【0013】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【0014】
なお、実施の形態を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
【0015】
図1は、本発明の実施の形態の目の位置検出装置の概略構成を示すブロック図である。
同図において、10は制御部、11は顔画像蓄積部、12は平均顔画像蓄積部、13は輝度パターン蓄積部、14は顔画像蓄積部11平均顔画像蓄積部12および輝度パターン蓄積部13が設けられる蓄積手段、20は入力部、21はYIQ変換部、22は2値化画像生成部、23は肌領域抽出部、24は目候補領域抽出部、25は部分顔画像生成部、26は顔画像相違度計算部、27は左目・右目領域決定部、28は左目・右目相違度計算部、29は左目・右目位置決定部である。
【0016】
図2は、本実施の形態の目の位置検出方法を説明するためのフローチャートである。
以下、図1、図2を用いて、本実施の形態の目の位置検出方法について説明する。
始めに、入力部20から入力される平均顔画像を蓄積手段14内の平均顔画像蓄積部12に蓄積する(ステップ101)。
この平均顔画像とは、人の典型的な顔画像から、例えば、図3に示すように、その目の位置を基準にして、位置と大きさとを決めて切り出した背景、頭髪、衣類などを含まない顔内部のみの部分の画像である。
つまり、図3に示すように、典型的な顔画像において両目の間の距離が2L(または、両目の間の距離の1/2がL)である場合、a、b、cを予め適切な値に設定した定数とし、左右方向には左右の目の位置からそれぞれa×L、上方向には目の位置からb×L、下方向には目の位置からc×Lほどの大きさとなるように範囲を決めて切り出し、平均顔画像とする。
ここでは説明を簡単にするために、平均顔画像は白黒画像とする。
【0017】
次に、入力部20から入力される眼球による反射光の輝度パターンを蓄積手段14内の輝度パターン蓄積部13に蓄積する(ステップ102)。
この眼鏡による反射光の輝度パターンとは、図4に示すように、目に正面から光をあてた場合に生じるスポット状の輝点を中心として、所定の大きさにその部分を切り取った画像である。
ここでは説明を簡単にするために、輝度パターンは白黒の輝度画像とするが、カラー画像であっても良い。
【0018】
次に、入力部20から入力される、目の位置を検出するカラー顔画像を蓄積手段14内の顔画像蓄積部11に蓄積する(ステップ103)。
ここでは説明を簡単にするために、カラー顔画像は、赤、緑、青の三原色(RGB)で表現されているものとするが、別の色表現方法で表現されたカラー画像であってもよい。
なお、顔画像を撮影時には、顔の正面から一つの光源で照明して撮影するものとする。
【0019】
次に、YIQ変換部21で、カラー顔画像をYIQ色表現に変換し、YIQ顔画像を生成する(ステップ104)。
RGB色表現からYIQ色表現への変換は、よく知られており、例えば、下記(1)式の計算により変換できる。
【0020】
【数1】
Y=0.299R+0.587G+0.114B
I=0.596R−0.274G−0.322B
Q=0.211R−0.522G+0.311B ・・・(1)
次に、2値化画像生成部22で、YIQ顔画像のI成分画像の各画素の値があるしきい値より大きい場合はその画素の値を「1」に、小さい場合は「0」にすることにより、I成分画像を2値化する(ステップ105)。
2値化するためのしきい値は、I成分画像の各画素の値の分布に基づいて決めることができる。
このしきい値の決め方はいろいろあるが、例えば、画素の値を横軸に、その値を持つ画素の個数を縦軸とするヒストグラムを生成し、そのヒストグラムをあるしきい値によって2つにクラスに分割したときのクラス間の分散が最大になるようにしきい値を選ぶ方法(大津:”判別及び最小2乗規準に基づく自動しきい値選定法”、電子通信学会論文誌、vol.J63−D,no.4,PP.349−356,1980年参照)等がある。
【0021】
次に、肌領域抽出部23で、2値化画像から「1」の値を持ち隣接している画素の集合である連結領域を抽出し、また、その連結領域の重心位置と面積を求め、その重心位置が画像の中央部を示す所定の範囲内にある連結領域の中で最も面積が大きい連結領域を選択し、それを肌領域とする(ステップ106)。
領域の重心位置とは、その領域に含まれている各画素のx座標値の平均を重心位置のx座標、領域に含まれている各画素のy座標値の平均を重心位置のy座標とする位置である。
【0022】
次に、目候補領域抽出部24で、I成分画像において、肌領域の最外周を通る閉曲線の内側にあり「0」の値の画素で構成される連結領域、即ち、肌領域の最外周の内部に存在する肌領域ではない領域(つまり肌領域内の穴)を抽出し、それらの連結領域を目候補領域とする(ステップ107)。
図5に、肌領域31と目候補領域32との一例を図示する。
【0023】
次に、部分顔画像生成部25で、部分顔画像を生成する。
即ち、目候補領域(図5に示す32)から肌領域(図5に示す31)の左右の中心線の左側にある領域を一つ選択して左目候補領域とし、右側にある領域を一つ選択して右目候補領域とする(ステップ108)。
次に、ステップ108で選択した左目候補領域および右目候補領域の重心位置に基づいて平均顔画像の生成と同じ方法で顔画像の顔部分を切出し、さらに切り出した画像の大きさが平均顔画像と同じになるように拡大縮小して部分顔画像を生成する(ステップ109)。
【0024】
図6に、眉の部分が左目候補領域および右目候補領域とされた場合の部分顔画像の切出しの様子を示す。
図6に示すように、左目候補領域および右目候補領域である左右の眉の間の距離が2X(または、左右の眉の間の距離の1/2がX)の場合、図3に示すLの代わりにXとして、図2と同様に入力されたカラー顔画像41から所定の範囲を切出し、部分顔画像42とする。
なお、以下の説明を簡単にするために、部分顔画像42はYIQ顔画像のY成分画像を切り出した白黒画像とする。
【0025】
次に、顔画像相違度計算部26で、部分顔画像(図6の42)と平均顔画像との相違度を計算する(ステップ110)。
この相違度の計算は、例えば、部分顔画像および平均顔画像の座標(i,j)の位置の画素の輝度(値)をそれぞれP(i,j)、A(i,j)とするとき、下記(2)式により計算する。
【0026】
【数2】

Figure 0003549013
【0027】
なお、この(2)式において、N、Mはそれぞれ部分顔画像または平均顔画像の横または縦の大きさ(画素数)である。
また、前記(2)式のように、P(i,j)とA(i,j)の差の2乗和の平方根ではなく、P(i,j)とA(i,j)の差の絶対値の和を求めて、それを相違度とする方法もあり、さらに、部分顔画像42と平均顔画像の相互相関係数を求めて、例えば、求められた相互相関係数の逆数を相違度とする方法などもある。
【0028】
次に、今回の計算で得られた相違度が、今までの相違度の最小よりもさらに小さい場合、今回の相違度とその相違度を与えた左目候補領域および右目候補領域を記録する(ステップ111)。
そして、前記ステップ108からステップ111までの処理を、目候補領域から選択される左目候補領域および右目候補領域の対のすべての可能な選択について行い、左目・右目領域決定部27で、最小の相違度を与える左目候補領域および右目候補領域を、左目領域および右目領域と決定する(ステップ113)。
【0029】
YIQ顔画像のI成分画像を2値化することにより、安定して肌領域を抽出できることが経験上分かっており、その肌領域内の肌色でない部分を抽出することにより、目や眉の領域を安定して抽出できる。
したがって、本実施の形態の目の位置検出方法のように、これらの目候補領域から左目候補領域および右目候補領域を適当に選択し、その左目候補領域および右目候補領域の位置に基づいて切り出された部分顔画像(図6に示す42)と、人の典型的な顔画像から生成された平均顔画像を比較して、全体的に最も平均顔画像に類似している部分顔画像を作り出すような左目候補領域および右目候補領域を選び出すことにより、確実に左目領域および右目領域を選び出すことができる。
なお、本実施の形態の目の位置検出方法においては、左目候補領域および右目候補領域のみを検出し、口の検出を行わないので、不確実な口の検出(唇の色は肌色に近いため肌領域から口領域を抽出することが困難となる)を必要としないために、安定した結果を得ることができる。
【0030】
次に、左目・右目相違度計算部28で、輝度パターン蓄積部13に蓄積されている輝度パターンと顔画像のY成分画像との相違度を計算する。
即ち、輝度パターン蓄積部13に蓄積されている、眼球による反射光の輝度パターンの中心を、前記左目・右目領域決定部27で決定された左目領域および右目領域内の適当な場所に置き(ステップ114)、その位置において輝度パターンと顔画像のY成分画像との相違度を輝度パターンの範囲内で計算する(ステップ115)。
【0031】
この相違度の計算を、輝度パターン中心を左目領域内または右目領域内で移動させながら行い(ステップ116、ステップ117)、左目領域または右目領域のそれぞれにおいて最も小さい相違度を与える輝度パターンの中心位置を求め、左目・右目位置決定部29で、最小の相違度を与える輝度パターンの中心位置を左目の位置または右目の位置と決定する(ステップ118)。
なお、前記各ステップは、制御部10の指示の基に実行される。
このように、本実施の形態の目の位置検出方法では、眼球を正面から照明したときの眼球による反射光の輝度パターンを、左目領域および右目領域中から検出するようにしたので、正確な目の中心位置を得ることができる。
なお、本実施の形態において、最終的な目の位置として、眼球に照明光が反射して生じるスポット状の輝点を検出し、その位置を目の位置と決定(ステップ114〜ステップ118)するようにしたが、ステップ113で得られた左目領域および右目領域の重心位置を目の位置としたり、左目領域および右目領域の左右・上下の中心の位置を目の位置とすることも可能である。
また、前記実施の形態において、例えば、入力画像中の微小なノイズを低減するための処理や、色や輝度の補正処理や、肌領域や目候補領域の抽出の時に微小な連結領域を無視するための平滑化処理など、必要があればよく知られている画像の処理を付加するようにしてもよい。
【0032】
また、本実施の形態の目の位置検出方法においては、制御部10、入力部20、YIC変換部21、2値化画像生成部22、肌領域抽出部23、目領域抽出部24、部分顔画像生成部25、顔画像相違度計算部26、左目・右目領域決定部27、左目・右目相違度計算部28、および左目・右目決定部29がそれぞれ専用のハードウェアで構成される場合について説明したが、本発明はこれに限定されるものではなく、例えば、コンピュータのソフトウェア処理で実行することも可能である。
この場合に、本実施の形態の目の位置検出方法は、図7に示す中央処理装置(CPU)210が、主メモリ202に読み込まれた目の位置検出プログラムを実行することにより行われる。
この場合に、YIC変換部21、2値化画像生成部22、肌領域抽出部23、目領域抽出部24、部分顔画像生成部25、顔画像相違度計算部26、左目・右目領域決定部27、左目・右目相違度計算部28、および左目・右目決定部29は、図7に示すYIC変換部211、2値化画像生成部212、肌領域抽出部213、目領域抽出部214、部分顔画像生成部215、顔画像相違度計算部216、左目・右目領域決定部217、左目・右目相違度計算部218、および左目・右目決定部219のように、中央処理装置(CPU)210により実現される機能手段となる。
なお、図7は、本実施の形態の目の位置検出プログラムを実行するコンピュータの概略構成を示すブロック図である。
同図において、201は画像を入力するための画像入力装置、202は主メモリ、203はキーボード・マウス等の入力装置、204は補助記憶装置、205は表示装置、206はバスライン、210は中央処理装置(CPU)である。
前記目の位置検出プログラムは、例えば、CD−ROM等の記録媒体により提供され主メモリ202に読み込まれか、あるいは、例えば、補助記憶装置204に格納される。
【0033】
以上、本発明者によってなされた発明を、前記実施の形態に基づき具体的に説明したが、本発明は、前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【0034】
【発明の効果】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
【0035】
(1)本発明によれば、肌領域内の肌色でない部分として抽出された目候補領域から左目候補領域および右目候補領域を適当に選択し、その左目候補領域および右目候補領域の位置に基づいて切り出された部分顔画像と人の典型的な顔画像から生成された平均顔画像を比較して、全体的に最も平均顔画像に類似している部分顔画像を生成する左目候補領域および右目候補領域を選び出すようにしたので、左目領域および右目領域を確実に選び出すことが可能となる。
【0036】
(2)本発明によれば、眼球を正面から照明したときの眼球による反射光の輝度パターンを、左目領域および右目領域中から検出するようにしたので、目の中心位置を正確に得ることが可能となる。
【図面の簡単な説明】
【図1】本発明の実施の形態の目の位置検出装置の概略構成を示すブロック図である。
【図2】本実施の形態の目の位置検出方法を説明するためのフローチャートである。
【図3】図1に示す平均顔画像を説明するための図である。
【図4】図1に示す眼球による反射光の輝度パターンを説明するための図である。
【図5】本実施の形態における、肌領域と目候補領域との一例を示す図である。
【図6】本実施の形態における、眉の部分が左目候補領域および右目候補領域とされた場合の部分顔画像の切出しの様子を示す。
【図7】本実施の形態の目の位置検出プログラムを実行するコンピュータの概略構成を示すブロック図である。
【符号の説明】
10…制御部、11…顔画像蓄積部、12…平均顔画像蓄積部、13…輝度パターン蓄積部、14…蓄積手段、20…入力部、21,211…YIC変換部、22,212…2値化画像生成部、23,213…肌領域抽出部、24,214…目領域抽出部、25,215…部分顔画像生成部、26,216…顔画像相違度計算部、27,217…左目・右目領域決定部、28,218…左目・右目相違度計算部、29,219…左目・右目決定部、31…肌領域、32…目候補領域、41…カラー顔画像、42…部分顔画像、201…画像入力装置、202…主メモリ、203…キーボード・マウス等の入力装置、204…補助記憶装置、205…表示装置、206…バスライン、210…中央処理装置(CPU)。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an eye position detection method, an eye position detection device, and a recording medium on which an eye position detection program is recorded. The present invention relates to an eye position detection method for automatically detecting an eye position from a face image, an eye position detection device, and a recording medium on which an eye position detection program is recorded.
[0002]
[Prior art]
For example, in a spectacle wearing simulation system that simulates how one's face looks when certain spectacles are worn, a technique for detecting the position of eyes from a human face image is required.
That is, in the spectacle wearing simulation system, since the spectacle image is superimposed on the human face image, the superimposed position and the size of the spectacle image need to be determined based on the positions of the eyes in the face image and the distance between the eyes.
The following method (1) or (2) is known as a conventional method for detecting the position of an eye from a face image.
(1) First, a skin color region is extracted from the face image, and the region is regarded as a skin region. Next, a region different from the skin color is extracted from the skin region as an eye candidate region. A pair of two regions located on the upper side of the center of the skin region and located symmetrically to the left and right are regarded as a left eye candidate region and a right eye candidate region, and the center position of each of the two regions is set as the position of both eyes.
(2) A skin-colored area is extracted from the face image, a portion (edge) where the luminance is rapidly changed in the skin area is extracted, and an eye in a human face is extracted from the extracted edges. The edge corresponding to the eye is selected from the positional relationship of the nose, mouth, and the like.
[0003]
[Problems to be solved by the invention]
However, the skin area in the face image is hardly uniform except for the eyes and mouth, and there are many areas different from the skin color and areas extracted as edges due to shading due to unevenness of the face and uneven skin. There are many.
Therefore, as in the methods (1) and (2), a pair of regions corresponding to both eyes is correctly selected from such a large number of regions based only on the positional relationship of the eyes, nose, mouth, and the like of the face. Becomes extremely difficult.
[0004]
For example, eyebrow parts other than eyes are often detected as areas that are significantly different from skin color. In such a case, the eyebrow area is regarded as an eye area, and an incorrect eye position is finally determined. Outputting occurred with a relatively high probability.
[0005]
The present invention has been made to solve the problems of the prior art, and an object of the present invention is to provide an eye position detection method and an eye position detection device that use various images captured under various imaging conditions. It is an object of the present invention to provide a technique capable of stably detecting a correct position of both eyes with respect to a human face image.
[0006]
Another object of the present invention is to provide a recording medium in which an eye position detection program for causing a computer to execute the eye position detection method is recorded.
[0007]
The above and other objects and novel features of the present invention will become apparent from the description of the present specification and the accompanying drawings.
[0008]
[Means for Solving the Problems]
The following is a brief description of an outline of typical inventions disclosed in the present application.
[0009]
That is, according to the present invention, first, an average face image generated by cutting out a face internal region from a typical face image of a person based on the position of the eyes is prepared in advance, and the input color face image of the person is input. Is converted into a YIQ color expression to generate a YIQ face image, and the I component image of the YIQ face image is binarized by a threshold determined based on the pixel value distribution to generate a binarized image. A connected region located near the center of the face image and larger than a predetermined area is extracted from the binarized image as a skin region, and a plurality of connected regions that are not skin regions existing inside the outermost periphery of the skin region are eye candidate regions. And selecting a pair of a left-eye candidate area and a right-eye candidate area from the plurality of eye-candidate areas, and inputting a color face image based on the positions of the selected left-eye and right-eye candidate areas. Cut out the area inside the face from An image is generated, and the difference between the partial face image and the average face image is calculated. The generation of the partial face image and the difference of the difference between the pair of the left eye candidate region and the right eye candidate region in the eye candidate region are performed. A pair of a left-eye candidate area and a right-eye candidate area which are calculated and have the smallest degree of difference are determined as a left-eye area and a right-eye area, respectively, and are determined as eye positions.
[0010]
Also, the present invention is characterized in that the positions of the centers of gravity of the determined left eye region and right eye region are determined to determine the positions of the eyes.
[0011]
Further, the present invention is characterized in that the positions of the eyes are determined by obtaining the vertical and horizontal centers of the determined left eye region and right eye region.
[0012]
Further, the present invention prepares in advance a luminance pattern of light reflected by the eyeball when the eyeball is illuminated from the front, and within the determined left-eye area and right-eye area, the luminance pattern and the left-eye area or the right-eye area. The degree of difference from the luminance is calculated while moving the luminance pattern, and the center position of the luminance pattern when the degree of difference is the smallest is set to the position of the left eye or the right eye.
[0013]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0014]
In all the drawings for describing the embodiments, components having the same function are denoted by the same reference numerals, and repeated description thereof will be omitted.
[0015]
FIG. 1 is a block diagram illustrating a schematic configuration of an eye position detection device according to an embodiment of the present invention.
In the figure, 10 is a control unit, 11 is a face image storage unit, 12 is an average face image storage unit, 13 is a luminance pattern storage unit, 14 is a face image storage unit 11, an average face image storage unit 12 and a luminance pattern storage unit 13 , An input unit, 21 a YIQ conversion unit, 22 a binarized image generation unit, 23 a skin region extraction unit, 24 an eye candidate region extraction unit, 25 a partial face image generation unit, 26 Denotes a face image dissimilarity calculating unit, 27 denotes a left eye / right eye region determining unit, 28 denotes a left eye / right eye dissimilarity calculating unit, and 29 denotes a left eye / right eye position determining unit.
[0016]
FIG. 2 is a flowchart illustrating the eye position detection method according to the present embodiment.
Hereinafter, an eye position detection method according to the present embodiment will be described with reference to FIGS.
First, the average face image input from the input unit 20 is stored in the average face image storage unit 12 in the storage unit 14 (step 101).
The average face image is, for example, a background, hair, clothing, etc. cut out from a typical face image of a person, as shown in FIG. This is an image of only a portion inside the face that is not included.
That is, as shown in FIG. 3, when the distance between the eyes is 2L (or の of the distance between the eyes is L) in a typical face image, a, b, and c are appropriately set in advance. It is a constant set to a value, which is a × L from the left and right eye positions in the left and right direction, b × L from the eye position in the upward direction, and c × L from the eye position in the downward direction. In this way, the range is determined and cut out to obtain an average face image.
Here, for the sake of simplicity, the average face image is a monochrome image.
[0017]
Next, the luminance pattern of the light reflected by the eyeball input from the input unit 20 is stored in the luminance pattern storage unit 13 in the storage unit 14 (Step 102).
The luminance pattern of the light reflected by the glasses is, as shown in FIG. 4, an image obtained by cutting a portion of a predetermined size around a spot-shaped bright spot generated when light is applied from the front of the eye. is there.
Here, for the sake of simplicity, the luminance pattern is a black-and-white luminance image, but may be a color image.
[0018]
Next, a color face image for detecting the position of the eyes, which is input from the input unit 20, is stored in the face image storage unit 11 in the storage unit 14 (step 103).
Here, for the sake of simplicity, it is assumed that the color face image is represented by three primary colors (RGB) of red, green, and blue. However, a color image represented by another color expression method may be used. Good.
Note that when capturing a face image, it is assumed that one face of the face is illuminated with one light source and captured.
[0019]
Next, the YIQ conversion unit 21 converts the color face image into a YIQ color expression to generate a YIQ face image (step 104).
The conversion from the RGB color expression to the YIQ color expression is well known, and can be performed, for example, by calculating the following equation (1).
[0020]
(Equation 1)
Y = 0.299R + 0.587G + 0.114B
I = 0.596R-0.274G-0.322B
Q = 0.111R−0.522G + 0.311B (1)
Next, the binarized image generation unit 22 sets the value of each pixel of the I component image of the YIQ face image to “1” when the value of the pixel is larger than a certain threshold, and to “0” when the value is smaller. Thus, the I component image is binarized (step 105).
The threshold for binarization can be determined based on the distribution of values of each pixel of the I component image.
There are various ways of determining this threshold value. For example, a histogram is generated in which the horizontal axis is the pixel value and the vertical axis is the number of pixels having that value, and the histogram is classified into two classes by a certain threshold value. (Otsu: "Automatic threshold selection method based on discrimination and least square criterion", Vol. J63-, IEICE Transactions on Information, Vol. D, no. 4, PP. 349-356, 1980).
[0021]
Next, the skin region extraction unit 23 extracts, from the binarized image, a connected region that is a set of adjacent pixels having a value of “1”, and calculates the center of gravity position and area of the connected region, The connected area having the largest area is selected from the connected areas whose center of gravity is within a predetermined range indicating the center of the image, and is set as the skin area (step 106).
The barycentric position of a region is defined as the average of the x coordinate values of each pixel included in the region, the x coordinate of the barycentric position, and the average of the y coordinate value of each pixel included in the region as the y coordinate of the barycentric position. It is a position to do.
[0022]
Next, the eye candidate area extraction unit 24 connects the I-component image with a pixel having a value of “0” inside the closed curve passing through the outermost periphery of the skin region, that is, the outermost periphery of the skin region. A region which is not a skin region existing inside (that is, a hole in the skin region) is extracted, and a connected region thereof is set as an eye candidate region (step 107).
FIG. 5 illustrates an example of the skin region 31 and the eye candidate region 32.
[0023]
Next, the partial face image generation unit 25 generates a partial face image.
That is, one area on the left side of the left and right center lines of the skin area (31 shown in FIG. 5) is selected from the eye candidate area (32 shown in FIG. 5) to be a left eye candidate area, and one area on the right side is selected. This is selected as a right eye candidate area (step 108).
Next, the face portion of the face image is cut out in the same manner as the generation of the average face image based on the center of gravity of the left eye candidate region and the right eye candidate region selected in step 108, and the size of the cut image is set to the average face image. A partial face image is generated by enlarging or reducing so as to be the same (step 109).
[0024]
FIG. 6 shows how the partial face image is cut out when the eyebrow part is a left eye candidate area and a right eye candidate area.
As shown in FIG. 6, when the distance between the left and right eyebrows as the left eye candidate area and the right eye candidate area is 2X (or 1/2 of the distance between the left and right eyebrows is X), L shown in FIG. Instead of X, a predetermined range is cut out from the color face image 41 input in the same manner as in FIG.
In order to simplify the following description, the partial face image 42 is a black and white image obtained by cutting out the Y component image of the YIQ face image.
[0025]
Next, the face image difference calculating section 26 calculates the difference between the partial face image (42 in FIG. 6) and the average face image (step 110).
The calculation of the degree of difference is performed, for example, when the brightness (value) of the pixel at the position of the coordinate (i, j) of the partial face image and the average face image is P (i, j) and A (i, j), respectively. , Calculated by the following equation (2).
[0026]
(Equation 2)
Figure 0003549013
[0027]
In the equation (2), N and M are the horizontal or vertical size (number of pixels) of the partial face image or the average face image, respectively.
Also, as in the above equation (2), the difference between P (i, j) and A (i, j) is not the square root of the sum of squares of the difference between P (i, j) and A (i, j). There is also a method of calculating the sum of the absolute values of and calculating the difference between the partial face image 42 and the cross-correlation coefficient of the partial face image 42 and the average face image. There is also a method of determining the degree of difference.
[0028]
Next, when the dissimilarity obtained by the current calculation is smaller than the minimum dissimilarity up to now, the present dissimilarity and the left-eye candidate area and the right-eye candidate area given the dissimilarity are recorded (step 111).
Then, the processing from step 108 to step 111 is performed for all possible selections of the pair of the left-eye candidate area and the right-eye candidate area selected from the eye candidate areas. The left-eye candidate area and the right-eye candidate area that give the degree are determined as the left-eye area and the right-eye area (step 113).
[0029]
It has been empirically known that the binarization of the I component image of the YIQ face image enables stable extraction of the skin region. By extracting a non-skin color portion in the skin region, the eye and eyebrow regions can be extracted. Can be extracted stably.
Therefore, as in the eye position detection method of the present embodiment, a left eye candidate area and a right eye candidate area are appropriately selected from these eye candidate areas, and cut out based on the positions of the left eye candidate area and the right eye candidate area. By comparing the extracted partial face image (42 shown in FIG. 6) with the average face image generated from a typical face image of a person, a partial face image most similar to the average face image as a whole is created. By selecting the right and left eye candidate areas, the left and right eye areas can be reliably selected.
In the eye position detection method according to the present embodiment, only the left eye candidate region and the right eye candidate region are detected and the mouth is not detected. Therefore, uncertain mouth detection (because the lip color is close to skin color, (It becomes difficult to extract the mouth region from the skin region), so that a stable result can be obtained.
[0030]
Next, the left-eye / right-eye difference calculation unit 28 calculates the difference between the luminance pattern stored in the luminance pattern storage unit 13 and the Y component image of the face image.
That is, the center of the luminance pattern of the light reflected by the eyeball stored in the luminance pattern storage unit 13 is placed at an appropriate position in the left eye region and the right eye region determined by the left eye / right eye region determination unit 27 (step 114) At that position, the difference between the luminance pattern and the Y component image of the face image is calculated within the range of the luminance pattern (step 115).
[0031]
The calculation of the degree of difference is performed while moving the center of the luminance pattern in the left-eye area or the right-eye area (steps 116 and 117), and the center position of the luminance pattern that gives the smallest degree of difference in each of the left-eye area and the right-eye area Is determined, and the left-eye / right-eye position determining unit 29 determines the center position of the luminance pattern giving the minimum degree of difference as the left-eye position or the right-eye position (step 118).
Each of the above steps is executed based on an instruction from the control unit 10.
As described above, in the eye position detection method according to the present embodiment, the luminance pattern of the light reflected by the eyeball when the eyeball is illuminated from the front is detected from the left eye area and the right eye area. Can be obtained.
In the present embodiment, as a final eye position, a spot-shaped bright spot generated by reflection of illumination light on the eyeball is detected, and the position is determined as the eye position (steps 114 to 118). However, the position of the center of gravity of the left eye region and the right eye region obtained in step 113 can be set as the eye position, and the position of the left, right, up, and down centers of the left eye region and the right eye region can be set as the eye position. .
In the above-described embodiment, for example, processing for reducing minute noise in an input image, processing for correcting color and luminance, and extraction of a skin area or an eye candidate area ignore a minute connected area. If necessary, a well-known image process such as a smoothing process may be added.
[0032]
In the eye position detecting method according to the present embodiment, the control unit 10, the input unit 20, the YIC conversion unit 21, the binarized image generation unit 22, the skin region extraction unit 23, the eye region extraction unit 24, the partial face A description will be given of a case where the image generation unit 25, the face image dissimilarity calculation unit 26, the left eye / right eye region determination unit 27, the left eye / right eye dissimilarity calculation unit 28, and the left eye / right eye determination unit 29 are each configured by dedicated hardware. However, the present invention is not limited to this. For example, the present invention can be executed by software processing of a computer.
In this case, the eye position detection method of the present embodiment is performed by the central processing unit (CPU) 210 shown in FIG. 7 executing the eye position detection program read into the main memory 202.
In this case, the YIC converter 21, the binarized image generator 22, the skin region extractor 23, the eye region extractor 24, the partial face image generator 25, the face image dissimilarity calculator 26, the left eye / right eye region determiner 27, a left-eye / right-eye dissimilarity calculation unit 28, and a left-eye / right-eye determination unit 29 include a YIC conversion unit 211, a binarized image generation unit 212, a skin region extraction unit 213, an eye region extraction unit 214, A central processing unit (CPU) 210, such as a face image generation unit 215, a face image difference calculation unit 216, a left eye / right eye region determination unit 217, a left eye / right eye difference calculation unit 218, and a left eye / right eye determination unit 219. It is a function means to be realized.
FIG. 7 is a block diagram illustrating a schematic configuration of a computer that executes the eye position detection program according to the present embodiment.
In FIG. 1, reference numeral 201 denotes an image input device for inputting an image, 202 denotes a main memory, 203 denotes an input device such as a keyboard and a mouse, 204 denotes an auxiliary storage device, 205 denotes a display device, 206 denotes a bus line, and 210 denotes a center. It is a processing device (CPU).
The eye position detection program is provided on a recording medium such as a CD-ROM, is read into the main memory 202, or is stored in, for example, the auxiliary storage device 204.
[0033]
As described above, the invention made by the inventor has been specifically described based on the embodiment. However, the present invention is not limited to the embodiment, and can be variously modified without departing from the gist of the invention. Needless to say,
[0034]
【The invention's effect】
The following is a brief description of an effect obtained by a representative one of the inventions disclosed in the present application.
[0035]
(1) According to the present invention, a left eye candidate region and a right eye candidate region are appropriately selected from eye candidate regions extracted as non-skin color portions in a skin region, and based on the positions of the left eye candidate region and the right eye candidate region. A left-eye candidate area and a right-eye candidate that compare the cut-out partial face image with an average face image generated from a typical human face image to generate a partial face image that is overall most similar to the average face image Since the regions are selected, the left eye region and the right eye region can be reliably selected.
[0036]
(2) According to the present invention, since the luminance pattern of the light reflected by the eyeball when the eyeball is illuminated from the front is detected from the left eye area and the right eye area, the center position of the eye can be accurately obtained. It becomes possible.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a schematic configuration of an eye position detection device according to an embodiment of the present invention.
FIG. 2 is a flowchart for describing an eye position detection method according to the present embodiment.
FIG. 3 is a diagram for explaining the average face image shown in FIG. 1;
FIG. 4 is a diagram for explaining a luminance pattern of light reflected by the eyeball shown in FIG. 1;
FIG. 5 is a diagram showing an example of a skin area and an eye candidate area in the present embodiment.
FIG. 6 shows how a partial face image is cut out when the eyebrow portion is a left eye candidate region and a right eye candidate region in the present embodiment.
FIG. 7 is a block diagram illustrating a schematic configuration of a computer that executes an eye position detection program according to the present embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... Control part, 11 ... Face image storage part, 12 ... Average face image storage part, 13 ... Brightness pattern storage part, 14 ... Storage means, 20 ... Input part, 21, 211 ... YIC conversion part, 22,212 ... 2 Valued image generation units, 23, 213: skin region extraction units, 24, 214: eye region extraction units, 25, 215: partial face image generation units, 26, 216: face image dissimilarity calculation units, 27, 217: left eye A right eye region determining unit, 28, 218 left eye / right eye difference calculating unit, 29, 219 left eye / right eye determining unit, 31 skin region, 32 candidate eye region, 41 color face image, 42 partial face image Reference numeral 201 denotes an image input device, 202 denotes a main memory, 203 denotes an input device such as a keyboard and mouse, 204 denotes an auxiliary storage device, 205 denotes a display device, 206 denotes a bus line, and 210 denotes a central processing unit (CPU).

Claims (9)

人のカラー顔画像から目の位置を検出する目の位置検出装置において、
入力された人のカラー顔画像をYIQ色表現に変換してYIQ顔画像を生成する第1の手段と、
前記第1の手段で生成されたYIQ顔画像のI成分画像を、その画素値分布に基づいて決定されるしきい値により2値化して2値化画像を生成する第2の手段と、
前記第2の手段で生成された2値化画像から顔画像の中央付近に位置し所定の面積より大きい連結領域を肌領域として抽出する第3の手段と、
前記第3の手段で抽出された肌領域の最外周より内側に存在する肌領域でない複数の連結領域を目候補領域として抽出する第4の手段と、
前記第4の手段で抽出された複数の目候補領域の中から左目候補領域と右目候補領域の対を選択する第5の手段と、
前記第5の手段で選択された全ての左目候補領域と右目候補領域の対に対して、左目候補領域と右目候補領域との位置を基準にして、前記入力されたカラー顔画像から顔内部領域を切出して部分顔画像を生成する第6の手段と、
前記第6の手段で生成された部分顔画像と、人の典型的な顔画像からその目の位置を基準にして顔内部領域を切り出して生成した平均顔画像との相違度を計算する第7の手段と、
前記第7の手段で計算された相違度が最も小さくなる左目候補領域と右目候補領域の対を、左目領域および右目領域と決定する第8の手段とを有することを特徴とする目の位置検出装置。
In an eye position detection device that detects an eye position from a color face image of a person,
First means for converting an input color face image of a person into a YIQ color expression to generate a YIQ face image;
A second unit that binarizes the I component image of the YIQ face image generated by the first unit with a threshold value determined based on the pixel value distribution to generate a binarized image;
Third means for extracting a connected area located near the center of the face image and larger than a predetermined area as a skin area from the binary image generated by the second means;
Fourth means for extracting, as eye candidate areas, a plurality of connected areas that are not skin areas existing inside the outermost periphery of the skin area extracted by the third means,
Fifth means for selecting a pair of a left eye candidate area and a right eye candidate area from the plurality of eye candidate areas extracted by the fourth means,
For all pairs of the left-eye candidate area and the right-eye candidate area selected by the fifth means, a face internal area is determined from the input color face image based on the positions of the left-eye candidate area and the right-eye candidate area. Sixth means for extracting a partial face image by extracting
A seventh calculating means calculates a degree of difference between the partial face image generated by the sixth means and an average face image generated by extracting a face internal region from a typical face image of a person based on the position of the eyes. Means,
Eighth means for determining a pair of a left-eye candidate area and a right-eye candidate area having the smallest degree of difference calculated by the seventh means as a left-eye area and a right-eye area, wherein eye position detection is performed. apparatus.
前記第8の手段で決定された左目領域および右目領域の重心の位置、あるいは、前記第8の手段で決定された左目領域および右目領域のそれぞれの領域の左右並びに上下の中心の位置を目の位置と決定する第9の手段を、さらに有することを特徴とする請求項1に記載の目の位置検出装置。The position of the center of gravity of the left eye region and the right eye region determined by the eighth means, or the position of the center of the left, right, up, and down of each of the left eye region and the right eye region determined by the eighth means is determined. The eye position detecting device according to claim 1, further comprising ninth means for determining a position. 前記第8の手段で決定された左目領域および右目領域の内部で、眼球を正面から照明したときの眼球による反射光の輝度パターンと左目領域または右目領域の輝度との相違度を、前記輝度パターンを移動させながら計算し、相違度が最も小さくなるときの前記輝度パターンの中心位置を左目または右目の位置と決定する第9の手段とを、さらに有することを特徴とする請求項1に記載の目の位置検出装置。Within the left eye area and the right eye area determined by the eighth means, the difference between the luminance pattern of the reflected light from the eyeball when the eyeball is illuminated from the front and the luminance of the left eye area or the right eye area, 9. The method according to claim 1, further comprising: ninth means for calculating while moving the difference, and determining the center position of the luminance pattern when the degree of difference becomes minimum as the position of the left eye or the right eye. Eye position detector. 人のカラー顔画像から目の位置を検出する目の位置検出方法において、
人の典型的な顔画像からその目の位置を基準にして顔内部領域を切り出して生成した平均顔画像を予め用意する第1のステップと、
入力された人のカラー顔画像をYIQ色表現に変換してYIQ顔画像を生成する第2のステップと、
前記第2のステップで生成されたYIQ顔画像のI成分画像を、その画素値分布に基づいて決定されるしきい値により2値化して2値化画像を生成する第3のステップと、
前記第3のステップで生成された2値化画像から顔画像の中央付近に位置し所定の面積より大きい連結領域を肌領域として抽出する第4のステップと、
前記第4のステップで抽出された肌領域の最外周より内側に存在する肌領域でない複数の連結領域を目候補領域として抽出する第5のステップと、
前記第5のステップで抽出された複数の目候補領域の中から左目候補領域と右目候補領域の対を選択する第6のステップと、
前記第6のステップで選択された左目候補領域と右目候補領域との位置を基準にして、前記入力されたカラー顔画像から顔内部領域を切出して部分顔画像を生成する第7のステップと、
前記第7のステップで生成された部分顔画像と、前記第1のステップで予め用意された平均顔画像との相違度を計算する第8のステップと、
前記第5のステップで抽出された目候補領域内の全ての左目候補領域と右目候補領域の対に対して、前記第6ないし第8のステップを実行し、最も相違度が小さくなる左目候補領域と右目候補領域の対を、左目領域および右目領域と決定する第9のステップとを有することを特徴とする目の位置検出方法。
In an eye position detection method for detecting an eye position from a color face image of a person,
A first step of preparing in advance an average face image generated by cutting out a face internal region from a typical face image of a person based on the position of the eyes,
A second step of converting the input color face image of the person into a YIQ color representation to generate a YIQ face image;
A third step of binarizing the I component image of the YIQ face image generated in the second step with a threshold determined based on the pixel value distribution to generate a binarized image;
A fourth step of extracting a connected area located near the center of the face image and larger than a predetermined area as a skin area from the binarized image generated in the third step;
A fifth step of extracting, as eye candidate areas, a plurality of connected areas that are not skin areas existing inside the outermost periphery of the skin area extracted in the fourth step, and
A sixth step of selecting a pair of a left-eye candidate area and a right-eye candidate area from among the plurality of eye candidate areas extracted in the fifth step;
A seventh step of extracting a face internal area from the input color face image based on the positions of the left eye candidate area and the right eye candidate area selected in the sixth step to generate a partial face image;
An eighth step of calculating a degree of difference between the partial face image generated in the seventh step and the average face image prepared in the first step;
The sixth to eighth steps are performed on all pairs of the left eye candidate area and the right eye candidate area in the eye candidate area extracted in the fifth step, and the left eye candidate area having the smallest degree of difference is obtained. And a ninth step of determining a pair of a right eye candidate area and a right eye area as a left eye area and a right eye area.
前記第9のステップで決定された左目領域および右目領域の重心の位置、あるいは、前記第9のステップで決定された左目領域および右目領域のそれぞれの領域の左右並びに上下の中心の位置を目の位置と決定する第10のステップを、さらに有することを特徴とする請求項4に記載の目の位置検出方法。The position of the center of gravity of the left eye region and the right eye region determined in the ninth step, or the position of the center of the left, right, up, and down of each of the left eye region and the right eye region determined in the ninth step The eye position detecting method according to claim 4, further comprising a tenth step of determining a position. 眼球を正面から照明したときの眼球による反射光の輝度パターンを予め用意する第10のステップと、前記第9のステップで決定された左目領域および右目領域の内部で、前記第10のステップで予め用意された輝度パターンと左目領域または右目領域の輝度との相違度を、前記輝度パターンを移動させながら計算し、相違度が最も小さくなるときの輝度パターンの中心位置を左目または右目の位置と決定する第11のステップとを、さらに有することを特徴とする請求項4に記載の目の位置検出方法。A tenth step of preparing in advance a luminance pattern of light reflected by the eyeball when the eyeball is illuminated from the front, and inside the left eye area and the right eye area determined in the ninth step, The degree of difference between the prepared luminance pattern and the luminance of the left eye area or the right eye area is calculated while moving the luminance pattern, and the center position of the luminance pattern when the degree of difference becomes minimum is determined as the position of the left or right eye. The eye position detecting method according to claim 4, further comprising an eleventh step of: コンピュータによって、人のカラー顔画像から目の位置を検出するための目の位置検出プログラムを記録した記録媒体であって、
当該目の位置検出プログラムは、コンピュータに、入力された人のカラー顔画像をYIQ色表現に変換してYIQ顔画像を生成させ、前記生成させたYIQ顔画像のI成分画像をその画素値分布に基づいて決定されるしきい値により2値化して2値化画像を生成させ、前記生成させた2値化画像から顔画像の中央付近に位置し所定の面積より大きい連結領域を肌領域として抽出させ、前記抽出させた肌領域の最外周より内側に存在する肌領域でない複数の連結領域を目候補領域として抽出させ、前記抽出させた複数の目候補領域の中から左目候補領域と右目候補領域の対を選択させ、前記選択させた全ての左目候補領域と右目候補領域の対に対して、左目候補領域と右目候補領域との位置を基準にして前記入力されたカラー顔画像から顔内部領域を切出して部分顔画像を生成させ、前記生成させた部分顔画像と人の典型的な顔画像からその目の位置を基準にして顔内部領域を切り出して生成した平均顔画像との相違度を計算させ、前記計算させた相違度が最も小さくなる左目候補領域と右目候補領域の対を左目領域および右目領域と決定させることを特徴とする目の位置検出プログラムを記録した記録媒体。
A computer-readable recording medium storing an eye position detection program for detecting an eye position from a color face image of a person,
The eye position detection program causes the computer to convert the input color face image of the person into a YIQ color expression to generate a YIQ face image, and to convert the I component image of the generated YIQ face image into a pixel value distribution thereof. A binarized image is generated by binarizing with a threshold value determined based on the above, and a connected region located near the center of the face image and larger than a predetermined area from the generated binarized image is defined as a skin region Extracting a plurality of connected regions that are not skin regions existing inside the outermost periphery of the extracted skin region as eye candidate regions; and extracting a left-eye candidate region and a right-eye candidate from among the extracted eye candidate regions. A pair of regions is selected, and for all pairs of the selected left-eye candidate region and right-eye candidate region, a face inside the face is input from the input color face image based on the positions of the left-eye candidate region and the right-eye candidate region. A partial face image is generated by cutting out a region, and the difference between the generated partial face image and an average face image generated by cutting out a face internal region from a typical face image of a person based on the position of the eyes. And calculating a pair of a left-eye candidate area and a right-eye candidate area that minimizes the calculated degree of difference as a left-eye area and a right-eye area.
前記目の位置検出プログラムは、さらに、コンピュータに、前記決定させた左目領域および右目領域の重心の位置、あるいは、前記決定させた左目領域および右目領域のそれぞれの領域の左右並びに上下の中心の位置を目の位置と決定させることを特徴とする請求項7に記載の目の位置検出プログラムを記録した記録媒体。The eye position detection program further causes the computer to determine the position of the center of gravity of the determined left eye region and right eye region, or the position of the left, right, up, and down centers of the determined left eye region and right eye region, respectively. 8. The recording medium storing the eye position detection program according to claim 7, wherein the recording medium is determined as the eye position. 前記目の位置検出プログラムは、さらに、コンピュータに、前記決定させた左目領域および右目領域の内部で、眼球を正面から照明したときの眼球による反射光の輝度パターンと左目領域または右目領域の輝度との相違度を、前記輝度パターンを移動させながら計算し、相違度が最も小さくなるときの前記輝度パターンの中心位置を左目または右目の位置と決定させることを特徴とする請求項7に記載の目の位置検出プログラムを記録した記録媒体。The eye position detection program, further, the computer, within the determined left eye region and the right eye region, the luminance pattern of the reflected light from the eyeball when illuminating the eyeball from the front and the luminance of the left eye region or right eye region. 8. The eye according to claim 7, wherein the degree of difference is calculated while moving the luminance pattern, and the center position of the luminance pattern when the degree of difference is minimized is determined as the position of the left eye or the right eye. Recording medium on which the position detection program is recorded.
JP05302798A 1998-03-05 1998-03-05 Eye position detection method, eye position detection device, and recording medium recording eye position detection program Expired - Fee Related JP3549013B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05302798A JP3549013B2 (en) 1998-03-05 1998-03-05 Eye position detection method, eye position detection device, and recording medium recording eye position detection program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05302798A JP3549013B2 (en) 1998-03-05 1998-03-05 Eye position detection method, eye position detection device, and recording medium recording eye position detection program

Publications (2)

Publication Number Publication Date
JPH11250267A JPH11250267A (en) 1999-09-17
JP3549013B2 true JP3549013B2 (en) 2004-08-04

Family

ID=12931419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05302798A Expired - Fee Related JP3549013B2 (en) 1998-03-05 1998-03-05 Eye position detection method, eye position detection device, and recording medium recording eye position detection program

Country Status (1)

Country Link
JP (1) JP3549013B2 (en)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6134339A (en) * 1998-09-17 2000-10-17 Eastman Kodak Company Method and apparatus for determining the position of eyes and for correcting eye-defects in a captured frame
JP2002175538A (en) * 2000-12-08 2002-06-21 Mitsubishi Electric Corp Device and method for portrait generation, recording medium with portrait generating program recorded thereon, terminal for communication, and communication method by terminal for communication
AU2003289116A1 (en) * 2002-12-16 2004-07-09 Canon Kabushiki Kaisha Pattern identification method, device thereof, and program thereof
CN1333370C (en) * 2003-06-18 2007-08-22 佳能株式会社 Image processing method and device
JP4130820B2 (en) * 2004-08-27 2008-08-06 株式会社豊田中央研究所 Face center position detection apparatus and method, and program
JP4540705B2 (en) * 2005-02-17 2010-09-08 富士通株式会社 Image processing method, image processing system, imaging apparatus, image processing apparatus, and computer program
JP4799104B2 (en) * 2005-09-26 2011-10-26 キヤノン株式会社 Information processing apparatus and control method therefor, computer program, and storage medium
JP4799105B2 (en) * 2005-09-26 2011-10-26 キヤノン株式会社 Information processing apparatus and control method therefor, computer program, and storage medium
US8542928B2 (en) 2005-09-26 2013-09-24 Canon Kabushiki Kaisha Information processing apparatus and control method therefor
JP5354842B2 (en) 2006-05-26 2013-11-27 キヤノン株式会社 Image processing method and image processing apparatus
JP4928346B2 (en) 2007-05-08 2012-05-09 キヤノン株式会社 Image search apparatus, image search method, program thereof, and storage medium
JP5127592B2 (en) 2008-06-25 2013-01-23 キヤノン株式会社 Image processing apparatus, image processing method, program, and computer-readable recording medium
JP5132445B2 (en) 2008-06-25 2013-01-30 キヤノン株式会社 Image processing apparatus, image processing method, computer program, and storage medium
JP5719123B2 (en) 2010-05-24 2015-05-13 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP5744429B2 (en) 2010-07-16 2015-07-08 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP5744430B2 (en) 2010-07-16 2015-07-08 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP5744431B2 (en) 2010-07-16 2015-07-08 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP6012308B2 (en) 2012-07-09 2016-10-25 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP6071289B2 (en) 2012-07-09 2017-02-01 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP6071288B2 (en) 2012-07-09 2017-02-01 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP6012310B2 (en) 2012-07-09 2016-10-25 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP6045232B2 (en) 2012-07-09 2016-12-14 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP6016489B2 (en) 2012-07-09 2016-10-26 キヤノン株式会社 Image processing apparatus, image processing apparatus control method, and program
JP6039942B2 (en) 2012-07-09 2016-12-07 キヤノン株式会社 Information processing apparatus, control method thereof, and program
JP6074182B2 (en) 2012-07-09 2017-02-01 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP6012309B2 (en) 2012-07-09 2016-10-25 キヤノン株式会社 Information processing apparatus, information processing method, and program
JP5993642B2 (en) 2012-07-09 2016-09-14 キヤノン株式会社 Information processing apparatus, control method thereof, and program
JP5981789B2 (en) 2012-07-09 2016-08-31 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP6071287B2 (en) 2012-07-09 2017-02-01 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP5956860B2 (en) 2012-07-09 2016-07-27 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP6222900B2 (en) 2012-07-09 2017-11-01 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP6261206B2 (en) 2013-06-28 2018-01-17 キヤノン株式会社 Information processing apparatus, information processing method, and program
JP6168928B2 (en) 2013-09-05 2017-07-26 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP6282065B2 (en) 2013-09-05 2018-02-21 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP2015053541A (en) 2013-09-05 2015-03-19 キヤノン株式会社 Image processing apparatus, image processing method, and program

Also Published As

Publication number Publication date
JPH11250267A (en) 1999-09-17

Similar Documents

Publication Publication Date Title
JP3549013B2 (en) Eye position detection method, eye position detection device, and recording medium recording eye position detection program
KR100682889B1 (en) Method and Apparatus for image-based photorealistic 3D face modeling
US7197166B2 (en) Iris extraction method capable of precisely determining positions and sizes of irises in a digital face image
JP3761059B2 (en) Method and apparatus for detecting human face and observer tracking display
JP4723834B2 (en) Photorealistic three-dimensional face modeling method and apparatus based on video
JP2500726B2 (en) Method and apparatus for detecting upper eyelid region, inner corner of eye, outer corner of eye, upper eyelid region and eye structure
KR0158038B1 (en) Apparatus for identifying person
US8218862B2 (en) Automatic mask design and registration and feature detection for computer-aided skin analysis
JP3143819B2 (en) Eyelid opening detector
US8401247B2 (en) Image processing apparatus, biometric authentication apparatus, image processing method and recording medium
WO2012120697A1 (en) Image processing device, image processing method, and control program
JPH0877334A (en) Automatic feature point extracting method for face image
JP2007272435A (en) Face feature extraction device and face feature extraction method
JP2000137792A (en) Eye part detecting device
JP3993029B2 (en) Makeup simulation apparatus, makeup simulation method, makeup simulation program, and recording medium recording the program
KR20160115663A (en) Image processing apparatus and image processing method
CN113139557A (en) Feature extraction method based on two-dimensional multivariate empirical mode decomposition
KR100815209B1 (en) The Apparatus and Method for Abstracting Peculiarity of Two-Dimensional Image ? The Apparatus and Method for Creating Three-Dimensional Image Using Them
JP4076777B2 (en) Face area extraction device
Arsic et al. Improved lip detection algorithm based on region segmentation and edge detection
JP2010271921A (en) Skin area extraction method, skin area extraction device, and skin area extracting program
JP2003317084A (en) System, method and program for detecting gaze from face image
ES2658293T3 (en) Method of extracting the optical disk from a retina image
JPH07311833A (en) Human face detecting device
JP2008084109A (en) Eye opening/closing determination device and eye opening/closing determination method

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040406

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20040413

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040413

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090430

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090430

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100430

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100430

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110430

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120430

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130430

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees