JP3549013B2

JP3549013B2 - Eye position detection method, eye position detection device, and recording medium recording eye position detection program

Info

Publication number: JP3549013B2
Application number: JP05302798A
Authority: JP
Inventors: 高明秋本; 春美川村; 力堀越; 智鈴木
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1998-03-05
Filing date: 1998-03-05
Publication date: 2004-08-04
Anticipated expiration: 2018-03-05
Also published as: JPH11250267A

Description

【０００１】
【発明の属する技術分野】
本発明は、目の位置検出方法、目の位置検出装置および目の位置検出プログラムを記録した記録媒体に係わり、特に、デジタルカメラやビデオカメラ等により、デジタルデータとしてコンピュータ等に取り込まれた人の顔画像の中から目の位置を自動的に検出する目の位置検出方法、目の位置検出装置および目の位置検出プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
例えば、ある眼鏡を装用したとき自分の顔がどのように見えるかをシミュレーションする眼鏡装用シミュレーションシステムにおいては、人の顔画像から目の位置を検出する技術が必要となる。
即ち、眼鏡装用シミュレーションシステムでは、人の顔画像上に眼鏡画像を重畳表示するため、その重畳位置や眼鏡画像のサイズは顔画像中の両目の位置や両目の間隔に基づいて決める必要がある。
従来の顔画像中から目の位置を検出する方法として、下記（１）または（２）の方法が知られている。
（１）先ず、顔画像の中から肌色の領域を抽出しその領域を肌領域とみなし、次に、肌領域の中から肌色と異なる領域を抽出し目候補領域とし、目候補領域の中から肌領域の中心に対して上部にあり、かつ左右に対称に位置する一対の２つの領域を左目候補領域及び右目候補領域とみなして、その２領域それぞれの中心位置を両目の位置とする。
（２）顔画像中から肌色の領域を抽出し、その肌領域中で急激に輝度が変化している部分（エッジ）を抽出し、抽出されたエッジの中から、人の顔の中の目、鼻、口等の位置関係から目に対応するエッジを選択する。
【０００３】
【発明が解決しようとする課題】
しかしながら、顔画像中の肌領域は目や口以外はほとんど均一という場合はほとんどなく、顔の凹凸による陰影や肌の不均一性によって肌色と異なる領域やエッジとして抽出される領域は多数存在することが多い。
したがって、前記（１）、（２）の方法のように、そのような多数の領域から正しく両目に該当する一対の領域を顔の目、鼻、口等の位置関係のみに基づいて選択することは極めて困難となる。
【０００４】
例えば、目以外に眉の部分が肌色と大きく異なる領域として検出されることが多く、そのようなときは眉の領域を目の領域とみなしてしまい、最終的に目の位置として誤った位置を出力してしまうことが比較的高い確率で発生していた。
【０００５】
本発明は、前記従来技術の問題点を解決するためになされたものであり、本発明の目的は、目の位置検出方法および目の位置検出装置において、様々な撮影条件で撮影された様々な人の顔画像に対して、安定して正しい両目の位置を検出することが可能となる技術を提供することにある。
【０００６】
また、本発明の他の目的は、前記目の位置検出方法をコンピュータに実行させるための目の位置検出プログラムが記録された記録媒体を提供することにある。
【０００７】
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述及び添付図面によって明らかにする。
【０００８】
【課題を解決するための手段】
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、下記の通りである。
【０００９】
即ち、本発明は、先ず、人の典型的な顔画像からその目の位置を基準にして顔内部領域を切り出して生成した平均顔画像を予め用意しておき、入力された人のカラー顔画像をＹＩＱ色表現に変換してＹＩＱ顔画像を生成し、当該ＹＩＱ顔画像のＩ成分画像をその画素値分布に基づいて決定されたしきい値により２値化して２値化画像を生成し、当該２値化画像から顔画像の中央付近に位置し所定の面積より大きい連結領域を肌領域として抽出し、当該肌領域の最外周より内側に存在する肌領域でない複数の連結領域を目候補領域として抽出し、当該複数の目候補領域の中から左目候補領域と右目候補領域の対を選択し、当該選択された左目候補領域と右目候補領域との位置を基準にして入力されたカラー顔画像から顔内部領域を切出して部分顔画像を生成し、部分顔画像と前記平均顔画像との相違度を計算し、目候補領域内の全ての左目候補領域と右目候補領域の対に対して前記部分顔画像の生成と相違度の計算を行い最も相違度が小さくなる左目候補領域と右目候補領域の対を、それぞれを左目領域および右目領域と決定し目の位置とすることを特徴とする。
【００１０】
また、本発明は、決定された左目領域および右目領域それぞれの重心位置を求めることにより目の位置とすることを特徴とする。
【００１１】
また、本発明は、決定された左目領域および右目領域それぞれの縦横の中心を求めることにより目の位置とすることを特徴とする。
【００１２】
また、本発明は、眼球を正面から照明したときの眼球による反射光の輝度パターンを予め用意しておき、決定された左目領域および右目領域の内部で、当該輝度パターンと左目領域または右目領域の輝度との相違度を、当該輝度パターンを移動させながら計算し、相違度が最も小さくなるときの輝度パターンの中心位置を左目または右目の位置とすることを特徴とする。
【００１３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００１４】
なお、実施の形態を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
【００１５】
図１は、本発明の実施の形態の目の位置検出装置の概略構成を示すブロック図である。
同図において、１０は制御部、１１は顔画像蓄積部、１２は平均顔画像蓄積部、１３は輝度パターン蓄積部、１４は顔画像蓄積部１１平均顔画像蓄積部１２および輝度パターン蓄積部１３が設けられる蓄積手段、２０は入力部、２１はＹＩＱ変換部、２２は２値化画像生成部、２３は肌領域抽出部、２４は目候補領域抽出部、２５は部分顔画像生成部、２６は顔画像相違度計算部、２７は左目・右目領域決定部、２８は左目・右目相違度計算部、２９は左目・右目位置決定部である。
【００１６】
図２は、本実施の形態の目の位置検出方法を説明するためのフローチャートである。
以下、図１、図２を用いて、本実施の形態の目の位置検出方法について説明する。
始めに、入力部２０から入力される平均顔画像を蓄積手段１４内の平均顔画像蓄積部１２に蓄積する（ステップ１０１）。
この平均顔画像とは、人の典型的な顔画像から、例えば、図３に示すように、その目の位置を基準にして、位置と大きさとを決めて切り出した背景、頭髪、衣類などを含まない顔内部のみの部分の画像である。
つまり、図３に示すように、典型的な顔画像において両目の間の距離が２Ｌ（または、両目の間の距離の１／２がＬ）である場合、ａ、ｂ、ｃを予め適切な値に設定した定数とし、左右方向には左右の目の位置からそれぞれａ×Ｌ、上方向には目の位置からｂ×Ｌ、下方向には目の位置からｃ×Ｌほどの大きさとなるように範囲を決めて切り出し、平均顔画像とする。
ここでは説明を簡単にするために、平均顔画像は白黒画像とする。
【００１７】
次に、入力部２０から入力される眼球による反射光の輝度パターンを蓄積手段１４内の輝度パターン蓄積部１３に蓄積する（ステップ１０２）。
この眼鏡による反射光の輝度パターンとは、図４に示すように、目に正面から光をあてた場合に生じるスポット状の輝点を中心として、所定の大きさにその部分を切り取った画像である。
ここでは説明を簡単にするために、輝度パターンは白黒の輝度画像とするが、カラー画像であっても良い。
【００１８】
次に、入力部２０から入力される、目の位置を検出するカラー顔画像を蓄積手段１４内の顔画像蓄積部１１に蓄積する（ステップ１０３）。
ここでは説明を簡単にするために、カラー顔画像は、赤、緑、青の三原色（ＲＧＢ）で表現されているものとするが、別の色表現方法で表現されたカラー画像であってもよい。
なお、顔画像を撮影時には、顔の正面から一つの光源で照明して撮影するものとする。
【００１９】
次に、ＹＩＱ変換部２１で、カラー顔画像をＹＩＱ色表現に変換し、ＹＩＱ顔画像を生成する（ステップ１０４）。
ＲＧＢ色表現からＹＩＱ色表現への変換は、よく知られており、例えば、下記（１）式の計算により変換できる。
【００２０】
【数１】
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｉ＝０．５９６Ｒ−０．２７４Ｇ−０．３２２Ｂ
Ｑ＝０．２１１Ｒ−０．５２２Ｇ＋０．３１１Ｂ・・・（１）
次に、２値化画像生成部２２で、ＹＩＱ顔画像のＩ成分画像の各画素の値があるしきい値より大きい場合はその画素の値を「１」に、小さい場合は「０」にすることにより、Ｉ成分画像を２値化する（ステップ１０５）。
２値化するためのしきい値は、Ｉ成分画像の各画素の値の分布に基づいて決めることができる。
このしきい値の決め方はいろいろあるが、例えば、画素の値を横軸に、その値を持つ画素の個数を縦軸とするヒストグラムを生成し、そのヒストグラムをあるしきい値によって２つにクラスに分割したときのクラス間の分散が最大になるようにしきい値を選ぶ方法（大津：”判別及び最小２乗規準に基づく自動しきい値選定法”、電子通信学会論文誌、ｖｏｌ．Ｊ６３−Ｄ，ｎｏ．４，ＰＰ．３４９−３５６，１９８０年参照）等がある。
【００２１】
次に、肌領域抽出部２３で、２値化画像から「１」の値を持ち隣接している画素の集合である連結領域を抽出し、また、その連結領域の重心位置と面積を求め、その重心位置が画像の中央部を示す所定の範囲内にある連結領域の中で最も面積が大きい連結領域を選択し、それを肌領域とする（ステップ１０６）。
領域の重心位置とは、その領域に含まれている各画素のｘ座標値の平均を重心位置のｘ座標、領域に含まれている各画素のｙ座標値の平均を重心位置のｙ座標とする位置である。
【００２２】
次に、目候補領域抽出部２４で、Ｉ成分画像において、肌領域の最外周を通る閉曲線の内側にあり「０」の値の画素で構成される連結領域、即ち、肌領域の最外周の内部に存在する肌領域ではない領域（つまり肌領域内の穴）を抽出し、それらの連結領域を目候補領域とする（ステップ１０７）。
図５に、肌領域３１と目候補領域３２との一例を図示する。
【００２３】
次に、部分顔画像生成部２５で、部分顔画像を生成する。
即ち、目候補領域（図５に示す３２）から肌領域（図５に示す３１）の左右の中心線の左側にある領域を一つ選択して左目候補領域とし、右側にある領域を一つ選択して右目候補領域とする（ステップ１０８）。
次に、ステップ１０８で選択した左目候補領域および右目候補領域の重心位置に基づいて平均顔画像の生成と同じ方法で顔画像の顔部分を切出し、さらに切り出した画像の大きさが平均顔画像と同じになるように拡大縮小して部分顔画像を生成する（ステップ１０９）。
【００２４】
図６に、眉の部分が左目候補領域および右目候補領域とされた場合の部分顔画像の切出しの様子を示す。
図６に示すように、左目候補領域および右目候補領域である左右の眉の間の距離が２Ｘ（または、左右の眉の間の距離の１／２がＸ）の場合、図３に示すＬの代わりにＸとして、図２と同様に入力されたカラー顔画像４１から所定の範囲を切出し、部分顔画像４２とする。
なお、以下の説明を簡単にするために、部分顔画像４２はＹＩＱ顔画像のＹ成分画像を切り出した白黒画像とする。
【００２５】
次に、顔画像相違度計算部２６で、部分顔画像（図６の４２）と平均顔画像との相違度を計算する（ステップ１１０）。
この相違度の計算は、例えば、部分顔画像および平均顔画像の座標（ｉ，ｊ）の位置の画素の輝度（値）をそれぞれＰ（ｉ，ｊ）、Ａ（ｉ，ｊ）とするとき、下記（２）式により計算する。
【００２６】
【数２】

【００２７】
なお、この（２）式において、Ｎ、Ｍはそれぞれ部分顔画像または平均顔画像の横または縦の大きさ（画素数）である。
また、前記（２）式のように、Ｐ（ｉ，ｊ）とＡ（ｉ，ｊ）の差の２乗和の平方根ではなく、Ｐ（ｉ，ｊ）とＡ（ｉ，ｊ）の差の絶対値の和を求めて、それを相違度とする方法もあり、さらに、部分顔画像４２と平均顔画像の相互相関係数を求めて、例えば、求められた相互相関係数の逆数を相違度とする方法などもある。
【００２８】
次に、今回の計算で得られた相違度が、今までの相違度の最小よりもさらに小さい場合、今回の相違度とその相違度を与えた左目候補領域および右目候補領域を記録する（ステップ１１１）。
そして、前記ステップ１０８からステップ１１１までの処理を、目候補領域から選択される左目候補領域および右目候補領域の対のすべての可能な選択について行い、左目・右目領域決定部２７で、最小の相違度を与える左目候補領域および右目候補領域を、左目領域および右目領域と決定する（ステップ１１３）。
【００２９】
ＹＩＱ顔画像のＩ成分画像を２値化することにより、安定して肌領域を抽出できることが経験上分かっており、その肌領域内の肌色でない部分を抽出することにより、目や眉の領域を安定して抽出できる。
したがって、本実施の形態の目の位置検出方法のように、これらの目候補領域から左目候補領域および右目候補領域を適当に選択し、その左目候補領域および右目候補領域の位置に基づいて切り出された部分顔画像（図６に示す４２）と、人の典型的な顔画像から生成された平均顔画像を比較して、全体的に最も平均顔画像に類似している部分顔画像を作り出すような左目候補領域および右目候補領域を選び出すことにより、確実に左目領域および右目領域を選び出すことができる。
なお、本実施の形態の目の位置検出方法においては、左目候補領域および右目候補領域のみを検出し、口の検出を行わないので、不確実な口の検出（唇の色は肌色に近いため肌領域から口領域を抽出することが困難となる）を必要としないために、安定した結果を得ることができる。
【００３０】
次に、左目・右目相違度計算部２８で、輝度パターン蓄積部１３に蓄積されている輝度パターンと顔画像のＹ成分画像との相違度を計算する。
即ち、輝度パターン蓄積部１３に蓄積されている、眼球による反射光の輝度パターンの中心を、前記左目・右目領域決定部２７で決定された左目領域および右目領域内の適当な場所に置き（ステップ１１４）、その位置において輝度パターンと顔画像のＹ成分画像との相違度を輝度パターンの範囲内で計算する（ステップ１１５）。
【００３１】
この相違度の計算を、輝度パターン中心を左目領域内または右目領域内で移動させながら行い（ステップ１１６、ステップ１１７）、左目領域または右目領域のそれぞれにおいて最も小さい相違度を与える輝度パターンの中心位置を求め、左目・右目位置決定部２９で、最小の相違度を与える輝度パターンの中心位置を左目の位置または右目の位置と決定する（ステップ１１８）。
なお、前記各ステップは、制御部１０の指示の基に実行される。
このように、本実施の形態の目の位置検出方法では、眼球を正面から照明したときの眼球による反射光の輝度パターンを、左目領域および右目領域中から検出するようにしたので、正確な目の中心位置を得ることができる。
なお、本実施の形態において、最終的な目の位置として、眼球に照明光が反射して生じるスポット状の輝点を検出し、その位置を目の位置と決定（ステップ１１４〜ステップ１１８）するようにしたが、ステップ１１３で得られた左目領域および右目領域の重心位置を目の位置としたり、左目領域および右目領域の左右・上下の中心の位置を目の位置とすることも可能である。
また、前記実施の形態において、例えば、入力画像中の微小なノイズを低減するための処理や、色や輝度の補正処理や、肌領域や目候補領域の抽出の時に微小な連結領域を無視するための平滑化処理など、必要があればよく知られている画像の処理を付加するようにしてもよい。
【００３２】
また、本実施の形態の目の位置検出方法においては、制御部１０、入力部２０、ＹＩＣ変換部２１、２値化画像生成部２２、肌領域抽出部２３、目領域抽出部２４、部分顔画像生成部２５、顔画像相違度計算部２６、左目・右目領域決定部２７、左目・右目相違度計算部２８、および左目・右目決定部２９がそれぞれ専用のハードウェアで構成される場合について説明したが、本発明はこれに限定されるものではなく、例えば、コンピュータのソフトウェア処理で実行することも可能である。
この場合に、本実施の形態の目の位置検出方法は、図７に示す中央処理装置（ＣＰＵ）２１０が、主メモリ２０２に読み込まれた目の位置検出プログラムを実行することにより行われる。
この場合に、ＹＩＣ変換部２１、２値化画像生成部２２、肌領域抽出部２３、目領域抽出部２４、部分顔画像生成部２５、顔画像相違度計算部２６、左目・右目領域決定部２７、左目・右目相違度計算部２８、および左目・右目決定部２９は、図７に示すＹＩＣ変換部２１１、２値化画像生成部２１２、肌領域抽出部２１３、目領域抽出部２１４、部分顔画像生成部２１５、顔画像相違度計算部２１６、左目・右目領域決定部２１７、左目・右目相違度計算部２１８、および左目・右目決定部２１９のように、中央処理装置（ＣＰＵ）２１０により実現される機能手段となる。
なお、図７は、本実施の形態の目の位置検出プログラムを実行するコンピュータの概略構成を示すブロック図である。
同図において、２０１は画像を入力するための画像入力装置、２０２は主メモリ、２０３はキーボード・マウス等の入力装置、２０４は補助記憶装置、２０５は表示装置、２０６はバスライン、２１０は中央処理装置（ＣＰＵ）である。
前記目の位置検出プログラムは、例えば、ＣＤ−ＲＯＭ等の記録媒体により提供され主メモリ２０２に読み込まれか、あるいは、例えば、補助記憶装置２０４に格納される。
【００３３】
以上、本発明者によってなされた発明を、前記実施の形態に基づき具体的に説明したが、本発明は、前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【００３４】
【発明の効果】
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば、下記の通りである。
【００３５】
（１）本発明によれば、肌領域内の肌色でない部分として抽出された目候補領域から左目候補領域および右目候補領域を適当に選択し、その左目候補領域および右目候補領域の位置に基づいて切り出された部分顔画像と人の典型的な顔画像から生成された平均顔画像を比較して、全体的に最も平均顔画像に類似している部分顔画像を生成する左目候補領域および右目候補領域を選び出すようにしたので、左目領域および右目領域を確実に選び出すことが可能となる。
【００３６】
（２）本発明によれば、眼球を正面から照明したときの眼球による反射光の輝度パターンを、左目領域および右目領域中から検出するようにしたので、目の中心位置を正確に得ることが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態の目の位置検出装置の概略構成を示すブロック図である。
【図２】本実施の形態の目の位置検出方法を説明するためのフローチャートである。
【図３】図１に示す平均顔画像を説明するための図である。
【図４】図１に示す眼球による反射光の輝度パターンを説明するための図である。
【図５】本実施の形態における、肌領域と目候補領域との一例を示す図である。
【図６】本実施の形態における、眉の部分が左目候補領域および右目候補領域とされた場合の部分顔画像の切出しの様子を示す。
【図７】本実施の形態の目の位置検出プログラムを実行するコンピュータの概略構成を示すブロック図である。
【符号の説明】
１０…制御部、１１…顔画像蓄積部、１２…平均顔画像蓄積部、１３…輝度パターン蓄積部、１４…蓄積手段、２０…入力部、２１，２１１…ＹＩＣ変換部、２２，２１２…２値化画像生成部、２３，２１３…肌領域抽出部、２４，２１４…目領域抽出部、２５，２１５…部分顔画像生成部、２６，２１６…顔画像相違度計算部、２７，２１７…左目・右目領域決定部、２８，２１８…左目・右目相違度計算部、２９，２１９…左目・右目決定部、３１…肌領域、３２…目候補領域、４１…カラー顔画像、４２…部分顔画像、２０１…画像入力装置、２０２…主メモリ、２０３…キーボード・マウス等の入力装置、２０４…補助記憶装置、２０５…表示装置、２０６…バスライン、２１０…中央処理装置（ＣＰＵ）。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an eye position detection method, an eye position detection device, and a recording medium on which an eye position detection program is recorded. The present invention relates to an eye position detection method for automatically detecting an eye position from a face image, an eye position detection device, and a recording medium on which an eye position detection program is recorded.
[0002]
[Prior art]
For example, in a spectacle wearing simulation system that simulates how one's face looks when certain spectacles are worn, a technique for detecting the position of eyes from a human face image is required.
That is, in the spectacle wearing simulation system, since the spectacle image is superimposed on the human face image, the superimposed position and the size of the spectacle image need to be determined based on the positions of the eyes in the face image and the distance between the eyes.
The following method (1) or (2) is known as a conventional method for detecting the position of an eye from a face image.
(1) First, a skin color region is extracted from the face image, and the region is regarded as a skin region. Next, a region different from the skin color is extracted from the skin region as an eye candidate region. A pair of two regions located on the upper side of the center of the skin region and located symmetrically to the left and right are regarded as a left eye candidate region and a right eye candidate region, and the center position of each of the two regions is set as the position of both eyes.
(2) A skin-colored area is extracted from the face image, a portion (edge) where the luminance is rapidly changed in the skin area is extracted, and an eye in a human face is extracted from the extracted edges. The edge corresponding to the eye is selected from the positional relationship of the nose, mouth, and the like.
[0003]
[Problems to be solved by the invention]
However, the skin area in the face image is hardly uniform except for the eyes and mouth, and there are many areas different from the skin color and areas extracted as edges due to shading due to unevenness of the face and uneven skin. There are many.
Therefore, as in the methods (1) and (2), a pair of regions corresponding to both eyes is correctly selected from such a large number of regions based only on the positional relationship of the eyes, nose, mouth, and the like of the face. Becomes extremely difficult.
[0004]
For example, eyebrow parts other than eyes are often detected as areas that are significantly different from skin color. In such a case, the eyebrow area is regarded as an eye area, and an incorrect eye position is finally determined. Outputting occurred with a relatively high probability.
[0005]
The present invention has been made to solve the problems of the prior art, and an object of the present invention is to provide an eye position detection method and an eye position detection device that use various images captured under various imaging conditions. It is an object of the present invention to provide a technique capable of stably detecting a correct position of both eyes with respect to a human face image.
[0006]
Another object of the present invention is to provide a recording medium in which an eye position detection program for causing a computer to execute the eye position detection method is recorded.
[0007]
The above and other objects and novel features of the present invention will become apparent from the description of the present specification and the accompanying drawings.
[0008]
[Means for Solving the Problems]
The following is a brief description of an outline of typical inventions disclosed in the present application.
[0009]
That is, according to the present invention, first, an average face image generated by cutting out a face internal region from a typical face image of a person based on the position of the eyes is prepared in advance, and the input color face image of the person is input. Is converted into a YIQ color expression to generate a YIQ face image, and the I component image of the YIQ face image is binarized by a threshold determined based on the pixel value distribution to generate a binarized image. A connected region located near the center of the face image and larger than a predetermined area is extracted from the binarized image as a skin region, and a plurality of connected regions that are not skin regions existing inside the outermost periphery of the skin region are eye candidate regions. And selecting a pair of a left-eye candidate area and a right-eye candidate area from the plurality of eye-candidate areas, and inputting a color face image based on the positions of the selected left-eye and right-eye candidate areas. Cut out the area inside the face from An image is generated, and the difference between the partial face image and the average face image is calculated. The generation of the partial face image and the difference of the difference between the pair of the left eye candidate region and the right eye candidate region in the eye candidate region are performed. A pair of a left-eye candidate area and a right-eye candidate area which are calculated and have the smallest degree of difference are determined as a left-eye area and a right-eye area, respectively, and are determined as eye positions.
[0010]
Also, the present invention is characterized in that the positions of the centers of gravity of the determined left eye region and right eye region are determined to determine the positions of the eyes.
[0011]
Further, the present invention is characterized in that the positions of the eyes are determined by obtaining the vertical and horizontal centers of the determined left eye region and right eye region.
[0012]
Further, the present invention prepares in advance a luminance pattern of light reflected by the eyeball when the eyeball is illuminated from the front, and within the determined left-eye area and right-eye area, the luminance pattern and the left-eye area or the right-eye area. The degree of difference from the luminance is calculated while moving the luminance pattern, and the center position of the luminance pattern when the degree of difference is the smallest is set to the position of the left eye or the right eye.
[0013]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0014]
In all the drawings for describing the embodiments, components having the same function are denoted by the same reference numerals, and repeated description thereof will be omitted.
[0015]
FIG. 1 is a block diagram illustrating a schematic configuration of an eye position detection device according to an embodiment of the present invention.
In the figure, 10 is a control unit, 11 is a face image storage unit, 12 is an average face image storage unit, 13 is a luminance pattern storage unit, 14 is a face image storage unit 11, an average face image storage unit 12 and a luminance pattern storage unit 13 , An input unit, 21 a YIQ conversion unit, 22 a binarized image generation unit, 23 a skin region extraction unit, 24 an eye candidate region extraction unit, 25 a partial face image generation unit, 26 Denotes a face image dissimilarity calculating unit, 27 denotes a left eye / right eye region determining unit, 28 denotes a left eye / right eye dissimilarity calculating unit, and 29 denotes a left eye / right eye position determining unit.
[0016]
FIG. 2 is a flowchart illustrating the eye position detection method according to the present embodiment.
Hereinafter, an eye position detection method according to the present embodiment will be described with reference to FIGS.
First, the average face image input from the input unit 20 is stored in the average face image storage unit 12 in the storage unit 14 (step 101).
The average face image is, for example, a background, hair, clothing, etc. cut out from a typical face image of a person, as shown in FIG. This is an image of only a portion inside the face that is not included.
That is, as shown in FIG. 3, when the distance between the eyes is 2L (or の of the distance between the eyes is L) in a typical face image, a, b, and c are appropriately set in advance. It is a constant set to a value, which is a × L from the left and right eye positions in the left and right direction, b × L from the eye position in the upward direction, and c × L from the eye position in the downward direction. In this way, the range is determined and cut out to obtain an average face image.
Here, for the sake of simplicity, the average face image is a monochrome image.
[0017]
Next, the luminance pattern of the light reflected by the eyeball input from the input unit 20 is stored in the luminance pattern storage unit 13 in the storage unit 14 (Step 102).
The luminance pattern of the light reflected by the glasses is, as shown in FIG. 4, an image obtained by cutting a portion of a predetermined size around a spot-shaped bright spot generated when light is applied from the front of the eye. is there.
Here, for the sake of simplicity, the luminance pattern is a black-and-white luminance image, but may be a color image.
[0018]
Next, a color face image for detecting the position of the eyes, which is input from the input unit 20, is stored in the face image storage unit 11 in the storage unit 14 (step 103).
Here, for the sake of simplicity, it is assumed that the color face image is represented by three primary colors (RGB) of red, green, and blue. However, a color image represented by another color expression method may be used. Good.
Note that when capturing a face image, it is assumed that one face of the face is illuminated with one light source and captured.
[0019]
Next, the YIQ conversion unit 21 converts the color face image into a YIQ color expression to generate a YIQ face image (step 104).
The conversion from the RGB color expression to the YIQ color expression is well known, and can be performed, for example, by calculating the following equation (1).
[0020]
(Equation 1)
Y = 0.299R + 0.587G + 0.114B
I = 0.596R-0.274G-0.322B
Q = 0.111R−0.522G + 0.311B (1)
Next, the binarized image generation unit 22 sets the value of each pixel of the I component image of the YIQ face image to “1” when the value of the pixel is larger than a certain threshold, and to “0” when the value is smaller. Thus, the I component image is binarized (step 105).
The threshold for binarization can be determined based on the distribution of values of each pixel of the I component image.
There are various ways of determining this threshold value. For example, a histogram is generated in which the horizontal axis is the pixel value and the vertical axis is the number of pixels having that value, and the histogram is classified into two classes by a certain threshold value. (Otsu: "Automatic threshold selection method based on discrimination and least square criterion", Vol. J63-, IEICE Transactions on Information, Vol. D, no. 4, PP. 349-356, 1980).
[0021]
Next, the skin region extraction unit 23 extracts, from the binarized image, a connected region that is a set of adjacent pixels having a value of “1”, and calculates the center of gravity position and area of the connected region, The connected area having the largest area is selected from the connected areas whose center of gravity is within a predetermined range indicating the center of the image, and is set as the skin area (step 106).
The barycentric position of a region is defined as the average of the x coordinate values of each pixel included in the region, the x coordinate of the barycentric position, and the average of the y coordinate value of each pixel included in the region as the y coordinate of the barycentric position. It is a position to do.
[0022]
Next, the eye candidate area extraction unit 24 connects the I-component image with a pixel having a value of “0” inside the closed curve passing through the outermost periphery of the skin region, that is, the outermost periphery of the skin region. A region which is not a skin region existing inside (that is, a hole in the skin region) is extracted, and a connected region thereof is set as an eye candidate region (step 107).
FIG. 5 illustrates an example of the skin region 31 and the eye candidate region 32.
[0023]
Next, the partial face image generation unit 25 generates a partial face image.
That is, one area on the left side of the left and right center lines of the skin area (31 shown in FIG. 5) is selected from the eye candidate area (32 shown in FIG. 5) to be a left eye candidate area, and one area on the right side is selected. This is selected as a right eye candidate area (step 108).
Next, the face portion of the face image is cut out in the same manner as the generation of the average face image based on the center of gravity of the left eye candidate region and the right eye candidate region selected in step 108, and the size of the cut image is set to the average face image. A partial face image is generated by enlarging or reducing so as to be the same (step 109).
[0024]
FIG. 6 shows how the partial face image is cut out when the eyebrow part is a left eye candidate area and a right eye candidate area.
As shown in FIG. 6, when the distance between the left and right eyebrows as the left eye candidate area and the right eye candidate area is 2X (or 1/2 of the distance between the left and right eyebrows is X), L shown in FIG. Instead of X, a predetermined range is cut out from the color face image 41 input in the same manner as in FIG.
In order to simplify the following description, the partial face image 42 is a black and white image obtained by cutting out the Y component image of the YIQ face image.
[0025]
Next, the face image difference calculating section 26 calculates the difference between the partial face image (42 in FIG. 6) and the average face image (step 110).
The calculation of the degree of difference is performed, for example, when the brightness (value) of the pixel at the position of the coordinate (i, j) of the partial face image and the average face image is P (i, j) and A (i, j), respectively. , Calculated by the following equation (2).
[0026]
(Equation 2)

[0027]
In the equation (2), N and M are the horizontal or vertical size (number of pixels) of the partial face image or the average face image, respectively.
Also, as in the above equation (2), the difference between P (i, j) and A (i, j) is not the square root of the sum of squares of the difference between P (i, j) and A (i, j). There is also a method of calculating the sum of the absolute values of and calculating the difference between the partial face image 42 and the cross-correlation coefficient of the partial face image 42 and the average face image. There is also a method of determining the degree of difference.
[0028]
Next, when the dissimilarity obtained by the current calculation is smaller than the minimum dissimilarity up to now, the present dissimilarity and the left-eye candidate area and the right-eye candidate area given the dissimilarity are recorded (step 111).
Then, the processing from step 108 to step 111 is performed for all possible selections of the pair of the left-eye candidate area and the right-eye candidate area selected from the eye candidate areas. The left-eye candidate area and the right-eye candidate area that give the degree are determined as the left-eye area and the right-eye area (step 113).
[0029]
It has been empirically known that the binarization of the I component image of the YIQ face image enables stable extraction of the skin region. By extracting a non-skin color portion in the skin region, the eye and eyebrow regions can be extracted. Can be extracted stably.
Therefore, as in the eye position detection method of the present embodiment, a left eye candidate area and a right eye candidate area are appropriately selected from these eye candidate areas, and cut out based on the positions of the left eye candidate area and the right eye candidate area. By comparing the extracted partial face image (42 shown in FIG. 6) with the average face image generated from a typical face image of a person, a partial face image most similar to the average face image as a whole is created. By selecting the right and left eye candidate areas, the left and right eye areas can be reliably selected.
In the eye position detection method according to the present embodiment, only the left eye candidate region and the right eye candidate region are detected and the mouth is not detected. Therefore, uncertain mouth detection (because the lip color is close to skin color, (It becomes difficult to extract the mouth region from the skin region), so that a stable result can be obtained.
[0030]
Next, the left-eye / right-eye difference calculation unit 28 calculates the difference between the luminance pattern stored in the luminance pattern storage unit 13 and the Y component image of the face image.
That is, the center of the luminance pattern of the light reflected by the eyeball stored in the luminance pattern storage unit 13 is placed at an appropriate position in the left eye region and the right eye region determined by the left eye / right eye region determination unit 27 (step 114) At that position, the difference between the luminance pattern and the Y component image of the face image is calculated within the range of the luminance pattern (step 115).
[0031]
The calculation of the degree of difference is performed while moving the center of the luminance pattern in the left-eye area or the right-eye area (steps 116 and 117), and the center position of the luminance pattern that gives the smallest degree of difference in each of the left-eye area and the right-eye area Is determined, and the left-eye / right-eye position determining unit 29 determines the center position of the luminance pattern giving the minimum degree of difference as the left-eye position or the right-eye position (step 118).
Each of the above steps is executed based on an instruction from the control unit 10.
As described above, in the eye position detection method according to the present embodiment, the luminance pattern of the light reflected by the eyeball when the eyeball is illuminated from the front is detected from the left eye area and the right eye area. Can be obtained.
In the present embodiment, as a final eye position, a spot-shaped bright spot generated by reflection of illumination light on the eyeball is detected, and the position is determined as the eye position (steps 114 to 118). However, the position of the center of gravity of the left eye region and the right eye region obtained in step 113 can be set as the eye position, and the position of the left, right, up, and down centers of the left eye region and the right eye region can be set as the eye position. .
In the above-described embodiment, for example, processing for reducing minute noise in an input image, processing for correcting color and luminance, and extraction of a skin area or an eye candidate area ignore a minute connected area. If necessary, a well-known image process such as a smoothing process may be added.
[0032]
In the eye position detecting method according to the present embodiment, the control unit 10, the input unit 20, the YIC conversion unit 21, the binarized image generation unit 22, the skin region extraction unit 23, the eye region extraction unit 24, the partial face A description will be given of a case where the image generation unit 25, the face image dissimilarity calculation unit 26, the left eye / right eye region determination unit 27, the left eye / right eye dissimilarity calculation unit 28, and the left eye / right eye determination unit 29 are each configured by dedicated hardware. However, the present invention is not limited to this. For example, the present invention can be executed by software processing of a computer.
In this case, the eye position detection method of the present embodiment is performed by the central processing unit (CPU) 210 shown in FIG. 7 executing the eye position detection program read into the main memory 202.
In this case, the YIC converter 21, the binarized image generator 22, the skin region extractor 23, the eye region extractor 24, the partial face image generator 25, the face image dissimilarity calculator 26, the left eye / right eye region determiner 27, a left-eye / right-eye dissimilarity calculation unit 28, and a left-eye / right-eye determination unit 29 include a YIC conversion unit 211, a binarized image generation unit 212, a skin region extraction unit 213, an eye region extraction unit 214, A central processing unit (CPU) 210, such as a face image generation unit 215, a face image difference calculation unit 216, a left eye / right eye region determination unit 217, a left eye / right eye difference calculation unit 218, and a left eye / right eye determination unit 219. It is a function means to be realized.
FIG. 7 is a block diagram illustrating a schematic configuration of a computer that executes the eye position detection program according to the present embodiment.
In FIG. 1, reference numeral 201 denotes an image input device for inputting an image, 202 denotes a main memory, 203 denotes an input device such as a keyboard and a mouse, 204 denotes an auxiliary storage device, 205 denotes a display device, 206 denotes a bus line, and 210 denotes a center. It is a processing device (CPU).
The eye position detection program is provided on a recording medium such as a CD-ROM, is read into the main memory 202, or is stored in, for example, the auxiliary storage device 204.
[0033]
As described above, the invention made by the inventor has been specifically described based on the embodiment. However, the present invention is not limited to the embodiment, and can be variously modified without departing from the gist of the invention. Needless to say,
[0034]
【The invention's effect】
The following is a brief description of an effect obtained by a representative one of the inventions disclosed in the present application.
[0035]
(1) According to the present invention, a left eye candidate region and a right eye candidate region are appropriately selected from eye candidate regions extracted as non-skin color portions in a skin region, and based on the positions of the left eye candidate region and the right eye candidate region. A left-eye candidate area and a right-eye candidate that compare the cut-out partial face image with an average face image generated from a typical human face image to generate a partial face image that is overall most similar to the average face image Since the regions are selected, the left eye region and the right eye region can be reliably selected.
[0036]
(2) According to the present invention, since the luminance pattern of the light reflected by the eyeball when the eyeball is illuminated from the front is detected from the left eye area and the right eye area, the center position of the eye can be accurately obtained. It becomes possible.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a schematic configuration of an eye position detection device according to an embodiment of the present invention.
FIG. 2 is a flowchart for describing an eye position detection method according to the present embodiment.
FIG. 3 is a diagram for explaining the average face image shown in FIG. 1;
FIG. 4 is a diagram for explaining a luminance pattern of light reflected by the eyeball shown in FIG. 1;
FIG. 5 is a diagram showing an example of a skin area and an eye candidate area in the present embodiment.
FIG. 6 shows how a partial face image is cut out when the eyebrow portion is a left eye candidate region and a right eye candidate region in the present embodiment.
FIG. 7 is a block diagram illustrating a schematic configuration of a computer that executes an eye position detection program according to the present embodiment.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 ... Control part, 11 ... Face image storage part, 12 ... Average face image storage part, 13 ... Brightness pattern storage part, 14 ... Storage means, 20 ... Input part, 21, 211 ... YIC conversion part, 22,212 ... 2 Valued image generation units, 23, 213: skin region extraction units, 24, 214: eye region extraction units, 25, 215: partial face image generation units, 26, 216: face image dissimilarity calculation units, 27, 217: left eye A right eye region determining unit, 28, 218 left eye / right eye difference calculating unit, 29, 219 left eye / right eye determining unit, 31 skin region, 32 candidate eye region, 41 color face image, 42 partial face image Reference numeral 201 denotes an image input device, 202 denotes a main memory, 203 denotes an input device such as a keyboard and mouse, 204 denotes an auxiliary storage device, 205 denotes a display device, 206 denotes a bus line, and 210 denotes a central processing unit (CPU).

Claims

In an eye position detection device that detects an eye position from a color face image of a person,
First means for converting an input color face image of a person into a YIQ color expression to generate a YIQ face image;
A second unit that binarizes the I component image of the YIQ face image generated by the first unit with a threshold value determined based on the pixel value distribution to generate a binarized image;
Third means for extracting a connected area located near the center of the face image and larger than a predetermined area as a skin area from the binary image generated by the second means;
Fourth means for extracting, as eye candidate areas, a plurality of connected areas that are not skin areas existing inside the outermost periphery of the skin area extracted by the third means,
Fifth means for selecting a pair of a left eye candidate area and a right eye candidate area from the plurality of eye candidate areas extracted by the fourth means,
For all pairs of the left-eye candidate area and the right-eye candidate area selected by the fifth means, a face internal area is determined from the input color face image based on the positions of the left-eye candidate area and the right-eye candidate area. Sixth means for extracting a partial face image by extracting
A seventh calculating means calculates a degree of difference between the partial face image generated by the sixth means and an average face image generated by extracting a face internal region from a typical face image of a person based on the position of the eyes. Means,
Eighth means for determining a pair of a left-eye candidate area and a right-eye candidate area having the smallest degree of difference calculated by the seventh means as a left-eye area and a right-eye area, wherein eye position detection is performed. apparatus.

The position of the center of gravity of the left eye region and the right eye region determined by the eighth means, or the position of the center of the left, right, up, and down of each of the left eye region and the right eye region determined by the eighth means is determined. The eye position detecting device according to claim 1, further comprising ninth means for determining a position.

Within the left eye area and the right eye area determined by the eighth means, the difference between the luminance pattern of the reflected light from the eyeball when the eyeball is illuminated from the front and the luminance of the left eye area or the right eye area, 9. The method according to claim 1, further comprising: ninth means for calculating while moving the difference, and determining the center position of the luminance pattern when the degree of difference becomes minimum as the position of the left eye or the right eye. Eye position detector.

In an eye position detection method for detecting an eye position from a color face image of a person,
A first step of preparing in advance an average face image generated by cutting out a face internal region from a typical face image of a person based on the position of the eyes,
A second step of converting the input color face image of the person into a YIQ color representation to generate a YIQ face image;
A third step of binarizing the I component image of the YIQ face image generated in the second step with a threshold determined based on the pixel value distribution to generate a binarized image;
A fourth step of extracting a connected area located near the center of the face image and larger than a predetermined area as a skin area from the binarized image generated in the third step;
A fifth step of extracting, as eye candidate areas, a plurality of connected areas that are not skin areas existing inside the outermost periphery of the skin area extracted in the fourth step, and
A sixth step of selecting a pair of a left-eye candidate area and a right-eye candidate area from among the plurality of eye candidate areas extracted in the fifth step;
A seventh step of extracting a face internal area from the input color face image based on the positions of the left eye candidate area and the right eye candidate area selected in the sixth step to generate a partial face image;
An eighth step of calculating a degree of difference between the partial face image generated in the seventh step and the average face image prepared in the first step;
The sixth to eighth steps are performed on all pairs of the left eye candidate area and the right eye candidate area in the eye candidate area extracted in the fifth step, and the left eye candidate area having the smallest degree of difference is obtained. And a ninth step of determining a pair of a right eye candidate area and a right eye area as a left eye area and a right eye area.

The position of the center of gravity of the left eye region and the right eye region determined in the ninth step, or the position of the center of the left, right, up, and down of each of the left eye region and the right eye region determined in the ninth step The eye position detecting method according to claim 4, further comprising a tenth step of determining a position.

A tenth step of preparing in advance a luminance pattern of light reflected by the eyeball when the eyeball is illuminated from the front, and inside the left eye area and the right eye area determined in the ninth step, The degree of difference between the prepared luminance pattern and the luminance of the left eye area or the right eye area is calculated while moving the luminance pattern, and the center position of the luminance pattern when the degree of difference becomes minimum is determined as the position of the left or right eye. The eye position detecting method according to claim 4, further comprising an eleventh step of:

A computer-readable recording medium storing an eye position detection program for detecting an eye position from a color face image of a person,
The eye position detection program causes the computer to convert the input color face image of the person into a YIQ color expression to generate a YIQ face image, and to convert the I component image of the generated YIQ face image into a pixel value distribution thereof. A binarized image is generated by binarizing with a threshold value determined based on the above, and a connected region located near the center of the face image and larger than a predetermined area from the generated binarized image is defined as a skin region Extracting a plurality of connected regions that are not skin regions existing inside the outermost periphery of the extracted skin region as eye candidate regions; and extracting a left-eye candidate region and a right-eye candidate from among the extracted eye candidate regions. A pair of regions is selected, and for all pairs of the selected left-eye candidate region and right-eye candidate region, a face inside the face is input from the input color face image based on the positions of the left-eye candidate region and the right-eye candidate region. A partial face image is generated by cutting out a region, and the difference between the generated partial face image and an average face image generated by cutting out a face internal region from a typical face image of a person based on the position of the eyes. And calculating a pair of a left-eye candidate area and a right-eye candidate area that minimizes the calculated degree of difference as a left-eye area and a right-eye area.

The eye position detection program further causes the computer to determine the position of the center of gravity of the determined left eye region and right eye region, or the position of the left, right, up, and down centers of the determined left eye region and right eye region, respectively. 8. The recording medium storing the eye position detection program according to claim 7, wherein the recording medium is determined as the eye position.

The eye position detection program, further, the computer, within the determined left eye region and the right eye region, the luminance pattern of the reflected light from the eyeball when illuminating the eyeball from the front and the luminance of the left eye region or right eye region. 8. The eye according to claim 7, wherein the degree of difference is calculated while moving the luminance pattern, and the center position of the luminance pattern when the degree of difference is minimized is determined as the position of the left eye or the right eye. Recording medium on which the position detection program is recorded.