JPH11250267A - Method and device for detecting position of eye and record medium recording program for detecting position of eye - Google Patents

Method and device for detecting position of eye and record medium recording program for detecting position of eye

Info

Publication number
JPH11250267A
JPH11250267A JP10053027A JP5302798A JPH11250267A JP H11250267 A JPH11250267 A JP H11250267A JP 10053027 A JP10053027 A JP 10053027A JP 5302798 A JP5302798 A JP 5302798A JP H11250267 A JPH11250267 A JP H11250267A
Authority
JP
Japan
Prior art keywords
eye
area
face image
region
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10053027A
Other languages
Japanese (ja)
Other versions
JP3549013B2 (en
Inventor
Takaaki Akimoto
高明 秋本
Harumi Kawamura
春美 川村
Tsutomu Horikoshi
力 堀越
Satoshi Suzuki
智 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP05302798A priority Critical patent/JP3549013B2/en
Publication of JPH11250267A publication Critical patent/JPH11250267A/en
Application granted granted Critical
Publication of JP3549013B2 publication Critical patent/JP3549013B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To stably and properly detect the positions of both eyes in the face images of various persons photographed on various photographic conditions by selecting left and right eye candidate areas for generating a partial face image most similar to an average face image as a whole. SOLUTION: The partial face image is generated by a partial face image generating part 25. In this case, one of areas on the left side of a center line from side to side of a skin area is selected out of eye candidate areas and defined as the left eye candidate area, one of areas on the right side is selected and defined as the right eye candidate area. Next, the face section of the face image is segmented similarly to the generation of average face image based on the centroid positions of respective selected left and right eye candidate areas, and the partial face image is generated by expanding and reducing the size of the segmented image equally with the average face image. Next, a face image difference degree calculating part 26 calculates the degree of difference between the partial face image and the average face image. Then, the left and right eye candidate areas applying the minimum degree of difference are determined as left and right eye areas by left and right eye area determining parts 27.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、目の位置検出方
法、目の位置検出装置および目の位置検出プログラムを
記録した記録媒体に係わり、特に、デジタルカメラやビ
デオカメラ等により、デジタルデータとしてコンピュー
タ等に取り込まれた人の顔画像の中から目の位置を自動
的に検出する目の位置検出方法、目の位置検出装置およ
び目の位置検出プログラムを記録した記録媒体に関す
る。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an eye position detecting method, an eye position detecting device, and a recording medium on which an eye position detecting program is recorded. The present invention relates to an eye position detection method for automatically detecting an eye position from a face image of a person captured in an eye, and the like, an eye position detection device, and a recording medium storing an eye position detection program.

【0002】[0002]

【従来の技術】例えば、ある眼鏡を装用したとき自分の
顔がどのように見えるかをシミュレーションする眼鏡装
用シミュレーションシステムにおいては、人の顔画像か
ら目の位置を検出する技術が必要となる。即ち、眼鏡装
用シミュレーションシステムでは、人の顔画像上に眼鏡
画像を重畳表示するため、その重畳位置や眼鏡画像のサ
イズは顔画像中の両目の位置や両目の間隔に基づいて決
める必要がある。従来の顔画像中から目の位置を検出す
る方法として、下記(1)または(2)の方法が知られ
ている。 (1)先ず、顔画像の中から肌色の領域を抽出しその領
域を肌領域とみなし、次に、肌領域の中から肌色と異な
る領域を抽出し目候補領域とし、目候補領域の中から肌
領域の中心に対して上部にあり、かつ左右に対称に位置
する一対の2つの領域を左目候補領域及び右目候補領域
とみなして、その2領域それぞれの中心位置を両目の位
置とする。 (2)顔画像中から肌色の領域を抽出し、その肌領域中
で急激に輝度が変化している部分(エッジ)を抽出し、
抽出されたエッジの中から、人の顔の中の目、鼻、口等
の位置関係から目に対応するエッジを選択する。
2. Description of the Related Art For example, in a spectacle wearing simulation system for simulating how one's face looks when certain spectacles are worn, a technique for detecting an eye position from a human face image is required. That is, in the spectacle wearing simulation system, since the spectacle image is superimposed on the human face image, the superimposed position and the size of the spectacle image need to be determined based on the position of both eyes and the distance between the eyes in the face image. The following method (1) or (2) is known as a conventional method for detecting the position of an eye from a face image. (1) First, a skin color region is extracted from a face image, and the extracted region is regarded as a skin region. Next, a region different from the skin color is extracted from the skin region as an eye candidate region. A pair of two regions located above and symmetrically to the left and right with respect to the center of the skin region are regarded as a left eye candidate region and a right eye candidate region, and the center position of each of the two regions is defined as the position of both eyes. (2) Extract a skin-colored area from the face image, and extract a portion (edge) in which the luminance changes rapidly in the skin area,
From the extracted edges, the edge corresponding to the eye is selected from the positional relationship of the eyes, nose, mouth, etc. in the human face.

【0003】[0003]

【発明が解決しようとする課題】しかしながら、顔画像
中の肌領域は目や口以外はほとんど均一という場合はほ
とんどなく、顔の凹凸による陰影や肌の不均一性によっ
て肌色と異なる領域やエッジとして抽出される領域は多
数存在することが多い。したがって、前記(1)、
(2)の方法のように、そのような多数の領域から正し
く両目に該当する一対の領域を顔の目、鼻、口等の位置
関係のみに基づいて選択することは極めて困難となる。
However, the skin area in the face image is hardly uniform except for the eyes and the mouth, and is different from the skin color due to shading due to the unevenness of the face and uneven skin. There are many areas to be extracted. Therefore, the above (1),
As in the method (2), it is extremely difficult to correctly select a pair of regions corresponding to both eyes from such a large number of regions based only on the positional relationship of the eyes, nose, mouth, and the like.

【0004】例えば、目以外に眉の部分が肌色と大きく
異なる領域として検出されることが多く、そのようなと
きは眉の領域を目の領域とみなしてしまい、最終的に目
の位置として誤った位置を出力してしまうことが比較的
高い確率で発生していた。
For example, eyebrow parts other than eyes are often detected as areas that are significantly different from skin color. In such a case, the eyebrow area is regarded as an eye area, and an erroneous eye position is finally determined. The output of the position that has occurred has occurred with a relatively high probability.

【0005】本発明は、前記従来技術の問題点を解決す
るためになされたものであり、本発明の目的は、目の位
置検出方法および目の位置検出装置において、様々な撮
影条件で撮影された様々な人の顔画像に対して、安定し
て正しい両目の位置を検出することが可能となる技術を
提供することにある。
SUMMARY OF THE INVENTION The present invention has been made to solve the problems of the prior art, and an object of the present invention is to provide an eye position detecting method and an eye position detecting apparatus which are used for photographing under various photographing conditions. Another object of the present invention is to provide a technology that enables stable detection of the positions of both eyes with respect to various human face images.

【0006】また、本発明の他の目的は、前記目の位置
検出方法をコンピュータに実行させるための目の位置検
出プログラムが記録された記録媒体を提供することにあ
る。
It is another object of the present invention to provide a recording medium on which an eye position detecting program for causing a computer to execute the eye position detecting method is recorded.

【0007】本発明の前記ならびにその他の目的と新規
な特徴は、本明細書の記述及び添付図面によって明らか
にする。
[0007] The above and other objects and novel features of the present invention will become apparent from the description of the present specification and the accompanying drawings.

【0008】[0008]

【課題を解決するための手段】本願において開示される
発明のうち、代表的なものの概要を簡単に説明すれば、
下記の通りである。
SUMMARY OF THE INVENTION Among the inventions disclosed in the present application, the outline of a representative one will be briefly described.
It is as follows.

【0009】即ち、本発明は、先ず、人の典型的な顔画
像からその目の位置を基準にして顔内部領域を切り出し
て生成した平均顔画像を予め用意しておき、入力された
人のカラー顔画像をYIQ色表現に変換してYIQ顔画
像を生成し、当該YIQ顔画像のI成分画像をその画素
値分布に基づいて決定されたしきい値により2値化して
2値化画像を生成し、当該2値化画像から顔画像の中央
付近に位置し所定の面積より大きい連結領域を肌領域と
して抽出し、当該肌領域の最外周より内側に存在する肌
領域でない複数の連結領域を目候補領域として抽出し、
当該複数の目候補領域の中から左目候補領域と右目候補
領域の対を選択し、当該選択された左目候補領域と右目
候補領域との位置を基準にして入力されたカラー顔画像
から顔内部領域を切出して部分顔画像を生成し、部分顔
画像と前記平均顔画像との相違度を計算し、目候補領域
内の全ての左目候補領域と右目候補領域の対に対して前
記部分顔画像の生成と相違度の計算を行い最も相違度が
小さくなる左目候補領域と右目候補領域の対を、それぞ
れを左目領域および右目領域と決定し目の位置とするこ
とを特徴とする。
That is, according to the present invention, first, an average face image generated by cutting out a face internal region from a typical face image of a person with reference to the position of the eyes is prepared in advance, and the input person's face image is prepared. The color face image is converted to a YIQ color expression to generate a YIQ face image, and the I component image of the YIQ face image is binarized by a threshold value determined based on the pixel value distribution to generate a binarized image. Generate a connected region located near the center of the face image and larger than a predetermined area as a skin region from the binarized image, and extract a plurality of connected regions that are not skin regions existing inside the outermost periphery of the skin region. Extracted as eye candidate area,
A pair of a left eye candidate region and a right eye candidate region is selected from the plurality of eye candidate regions, and a face internal region is selected from a color face image input based on the positions of the selected left eye candidate region and right eye candidate region. Is cut out to generate a partial face image, the degree of difference between the partial face image and the average face image is calculated, and the pair of the left face candidate area and the right eye candidate area in the eye candidate area is compared with the partial face image. A pair of a left-eye candidate region and a right-eye candidate region, which are generated and calculated for the degree of difference and have the smallest degree of difference, are determined as a left-eye region and a right-eye region, respectively, and are determined as eye positions.

【0010】また、本発明は、決定された左目領域およ
び右目領域それぞれの重心位置を求めることにより目の
位置とすることを特徴とする。
Further, the present invention is characterized in that the center of gravity of each of the determined left eye region and right eye region is determined to determine the position of the eye.

【0011】また、本発明は、決定された左目領域およ
び右目領域それぞれの縦横の中心を求めることにより目
の位置とすることを特徴とする。
Further, the present invention is characterized in that the positions of the eyes are determined by obtaining the vertical and horizontal centers of the determined left eye region and right eye region.

【0012】また、本発明は、眼球を正面から照明した
ときの眼球による反射光の輝度パターンを予め用意して
おき、決定された左目領域および右目領域の内部で、当
該輝度パターンと左目領域または右目領域の輝度との相
違度を、当該輝度パターンを移動させながら計算し、相
違度が最も小さくなるときの輝度パターンの中心位置を
左目または右目の位置とすることを特徴とする。
Further, according to the present invention, a brightness pattern of light reflected by the eyeball when the eyeball is illuminated from the front is prepared in advance, and the brightness pattern and the left eye area or the left eye area are determined inside the determined left eye area and right eye area. The degree of difference from the luminance of the right eye area is calculated while moving the luminance pattern, and the center position of the luminance pattern when the degree of difference becomes minimum is set to the left eye or right eye position.

【0013】[0013]

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を詳細に説明する。
Embodiments of the present invention will be described below in detail with reference to the drawings.

【0014】なお、実施の形態を説明するための全図に
おいて、同一機能を有するものは同一符号を付け、その
繰り返しの説明は省略する。
In all the drawings for describing the embodiments, those having the same functions are denoted by the same reference numerals, and their repeated description will be omitted.

【0015】図1は、本発明の実施の形態の目の位置検
出装置の概略構成を示すブロック図である。同図におい
て、10は制御部、11は顔画像蓄積部、12は平均顔
画像蓄積部、13は輝度パターン蓄積部、14は顔画像
蓄積部11平均顔画像蓄積部12および輝度パターン蓄
積部13が設けられる蓄積手段、20は入力部、21は
YIQ変換部、22は2値化画像生成部、23は肌領域
抽出部、24は目候補領域抽出部、25は部分顔画像生
成部、26は顔画像相違度計算部、27は左目・右目領
域決定部、28は左目・右目相違度計算部、29は左目
・右目位置決定部である。
FIG. 1 is a block diagram showing a schematic configuration of an eye position detecting device according to an embodiment of the present invention. In the figure, 10 is a control unit, 11 is a face image storage unit, 12 is an average face image storage unit, 13 is a luminance pattern storage unit, 14 is a face image storage unit 11, an average face image storage unit 12 and a luminance pattern storage unit 13 , An input unit, 21 a YIQ conversion unit, 22 a binarized image generation unit, 23 a skin region extraction unit, 24 an eye candidate region extraction unit, 25 a partial face image generation unit, 26 Denotes a face image dissimilarity calculation unit, 27 denotes a left eye / right eye area determination unit, 28 denotes a left eye / right eye difference calculation unit, and 29 denotes a left eye / right eye position determination unit.

【0016】図2は、本実施の形態の目の位置検出方法
を説明するためのフローチャートである。以下、図1、
図2を用いて、本実施の形態の目の位置検出方法につい
て説明する。始めに、入力部20から入力される平均顔
画像を蓄積手段14内の平均顔画像蓄積部12に蓄積す
る(ステップ101)。この平均顔画像とは、人の典型
的な顔画像から、例えば、図3に示すように、その目の
位置を基準にして、位置と大きさとを決めて切り出した
背景、頭髪、衣類などを含まない顔内部のみの部分の画
像である。つまり、図3に示すように、典型的な顔画像
において両目の間の距離が2L(または、両目の間の距
離の1/2がL)である場合、a、b、cを予め適切な
値に設定した定数とし、左右方向には左右の目の位置か
らそれぞれa×L、上方向には目の位置からb×L、下
方向には目の位置からc×Lほどの大きさとなるように
範囲を決めて切り出し、平均顔画像とする。ここでは説
明を簡単にするために、平均顔画像は白黒画像とする。
FIG. 2 is a flowchart for explaining the eye position detecting method according to the present embodiment. Hereinafter, FIG.
An eye position detection method according to the present embodiment will be described with reference to FIG. First, the average face image input from the input unit 20 is stored in the average face image storage unit 12 in the storage unit 14 (Step 101). The average face image is, for example, a background, hair, clothing, and the like cut out from a typical face image of a person, as shown in FIG. This is an image of only a portion inside the face that is not included. That is, as shown in FIG. 3, when the distance between the eyes is 2L (or 距離 of the distance between the eyes is L) in a typical face image, a, b, and c are appropriately set in advance. It is a constant set to a value, which is a × L from the left and right eye positions in the left and right direction, b × L from the eye position in the upward direction, and c × L from the eye position in the downward direction. In this way, the range is determined and cut out to obtain an average face image. Here, for the sake of simplicity, the average face image is a monochrome image.

【0017】次に、入力部20から入力される眼球によ
る反射光の輝度パターンを蓄積手段14内の輝度パター
ン蓄積部13に蓄積する(ステップ102)。この眼鏡
による反射光の輝度パターンとは、図4に示すように、
目に正面から光をあてた場合に生じるスポット状の輝点
を中心として、所定の大きさにその部分を切り取った画
像である。ここでは説明を簡単にするために、輝度パタ
ーンは白黒の輝度画像とするが、カラー画像であっても
良い。
Next, the luminance pattern of the light reflected by the eyeball input from the input section 20 is stored in the luminance pattern storage section 13 in the storage means 14 (step 102). The luminance pattern of the light reflected by the glasses is, as shown in FIG.
This is an image in which a portion is cut out to a predetermined size around a spot-shaped bright spot generated when light is applied from the front to the eyes. Here, for the sake of simplicity, the luminance pattern is a monochrome luminance image, but may be a color image.

【0018】次に、入力部20から入力される、目の位
置を検出するカラー顔画像を蓄積手段14内の顔画像蓄
積部11に蓄積する(ステップ103)。ここでは説明
を簡単にするために、カラー顔画像は、赤、緑、青の三
原色(RGB)で表現されているものとするが、別の色
表現方法で表現されたカラー画像であってもよい。な
お、顔画像を撮影時には、顔の正面から一つの光源で照
明して撮影するものとする。
Next, a color face image input from the input unit 20 for detecting the position of the eyes is stored in the face image storage unit 11 in the storage unit 14 (step 103). Here, for the sake of simplicity, it is assumed that the color face image is represented by three primary colors (RGB) of red, green, and blue. However, a color image represented by another color expression method may be used. Good. Note that when capturing a face image, it is assumed that one face of the face is illuminated with one light source and captured.

【0019】次に、YIQ変換部21で、カラー顔画像
をYIQ色表現に変換し、YIQ顔画像を生成する(ス
テップ104)。RGB色表現からYIQ色表現への変
換は、よく知られており、例えば、下記(1)式の計算
により変換できる。
Next, the YIQ conversion unit 21 converts the color face image into a YIQ color expression to generate a YIQ face image (step 104). The conversion from the RGB color expression to the YIQ color expression is well known, and can be performed, for example, by calculating the following equation (1).

【0020】[0020]

【数1】 Y=0.299R+0.587G+0.114B I=0.596R−0.274G−0.322B Q=0.211R−0.522G+0.311B ・・・(1) 次に、2値化画像生成部22で、YIQ顔画像のI成分
画像の各画素の値があるしきい値より大きい場合はその
画素の値を「1」に、小さい場合は「0」にすることに
より、I成分画像を2値化する(ステップ105)。2
値化するためのしきい値は、I成分画像の各画素の値の
分布に基づいて決めることができる。このしきい値の決
め方はいろいろあるが、例えば、画素の値を横軸に、そ
の値を持つ画素の個数を縦軸とするヒストグラムを生成
し、そのヒストグラムをあるしきい値によって2つにク
ラスに分割したときのクラス間の分散が最大になるよう
にしきい値を選ぶ方法(大津:”判別及び最小2乗規準
に基づく自動しきい値選定法”、電子通信学会論文誌、
vol.J63−D,no.4,PP.349−35
6,1980年参照)等がある。
Y = 0.299R + 0.587G + 0.114B I = 0.596R−0.274G−0.322B Q = 0.221R−0.522G + 0.311B (1) Next, a binarized image The generation unit 22 sets the value of each pixel of the I component image of the YIQ face image to “1” when the value of the pixel is larger than a certain threshold, and sets the value of the pixel to “0” when the value is smaller than the threshold. Is binarized (step 105). 2
The threshold for converting into a value can be determined based on the distribution of values of each pixel of the I component image. There are various ways to determine this threshold. For example, a histogram is generated in which the horizontal axis is the pixel value and the vertical axis is the number of pixels having that value, and the histogram is classified into two classes by a certain threshold value. Method to select the threshold value so that the variance between classes when splitting into classes is maximized (Otsu: “Automatic threshold value selection method based on discrimination and least square criterion”, IEICE Transactions,
vol. J63-D, no. 4, PP. 349-35
6, 1980).

【0021】次に、肌領域抽出部23で、2値化画像か
ら「1」の値を持ち隣接している画素の集合である連結
領域を抽出し、また、その連結領域の重心位置と面積を
求め、その重心位置が画像の中央部を示す所定の範囲内
にある連結領域の中で最も面積が大きい連結領域を選択
し、それを肌領域とする(ステップ106)。領域の重
心位置とは、その領域に含まれている各画素のx座標値
の平均を重心位置のx座標、領域に含まれている各画素
のy座標値の平均を重心位置のy座標とする位置であ
る。
Next, the skin region extraction unit 23 extracts a connected region which is a set of adjacent pixels having a value of “1” from the binarized image, and also calculates the center of gravity and area of the connected region. Is determined, and a connected region having the largest area is selected from the connected regions whose center of gravity is within a predetermined range indicating the center of the image, and is set as a skin region (step 106). The barycentric position of the region is defined as the average of the x coordinate values of the pixels included in the region, the x coordinate of the barycentric position, and the average of the y coordinate values of the pixels included in the region as the y coordinate of the barycentric position. It is a position to do.

【0022】次に、目候補領域抽出部24で、I成分画
像において、肌領域の最外周を通る閉曲線の内側にあり
「0」の値の画素で構成される連結領域、即ち、肌領域
の最外周の内部に存在する肌領域ではない領域(つまり
肌領域内の穴)を抽出し、それらの連結領域を目候補領
域とする(ステップ107)。図5に、肌領域31と目
候補領域32との一例を図示する。
Next, the eye candidate area extracting section 24 connects the I-component image with a pixel having a value of "0" inside a closed curve passing through the outermost periphery of the skin area, that is, the skin area. Regions that are not skin regions existing inside the outermost periphery (that is, holes in the skin region) are extracted, and their connected regions are set as eye candidate regions (step 107). FIG. 5 shows an example of the skin region 31 and the eye candidate region 32.

【0023】次に、部分顔画像生成部25で、部分顔画
像を生成する。即ち、目候補領域(図5に示す32)か
ら肌領域(図5に示す31)の左右の中心線の左側にあ
る領域を一つ選択して左目候補領域とし、右側にある領
域を一つ選択して右目候補領域とする(ステップ10
8)。次に、ステップ108で選択した左目候補領域お
よび右目候補領域の重心位置に基づいて平均顔画像の生
成と同じ方法で顔画像の顔部分を切出し、さらに切り出
した画像の大きさが平均顔画像と同じになるように拡大
縮小して部分顔画像を生成する(ステップ109)。
Next, a partial face image generation section 25 generates a partial face image. That is, one area on the left side of the left and right center lines of the skin area (31 shown in FIG. 5) is selected from the eye candidate area (32 shown in FIG. 5) as a left eye candidate area, and one area on the right side is selected. Select to make a right eye candidate area (Step 10
8). Next, based on the barycentric positions of the left eye candidate area and the right eye candidate area selected in step 108, the face portion of the face image is cut out in the same manner as the generation of the average face image, and the size of the cut out image is equal to the average face image. A partial face image is generated by enlarging or reducing so as to be the same (step 109).

【0024】図6に、眉の部分が左目候補領域および右
目候補領域とされた場合の部分顔画像の切出しの様子を
示す。図6に示すように、左目候補領域および右目候補
領域である左右の眉の間の距離が2X(または、左右の
眉の間の距離の1/2がX)の場合、図3に示すLの代
わりにXとして、図2と同様に入力されたカラー顔画像
41から所定の範囲を切出し、部分顔画像42とする。
なお、以下の説明を簡単にするために、部分顔画像42
はYIQ顔画像のY成分画像を切り出した白黒画像とす
る。
FIG. 6 shows how a partial face image is cut out when the eyebrow part is a left eye candidate area and a right eye candidate area. As shown in FIG. 6, when the distance between the left and right eyebrows, which is the left eye candidate area and the right eye candidate area, is 2X (or 1/2 of the distance between the left and right eyebrows is X), L shown in FIG. Instead of X, a predetermined range is cut out from the input color face image 41 in the same manner as in FIG.
In addition, in order to simplify the following description, the partial face image 42
Is a black and white image obtained by cutting out the Y component image of the YIQ face image.

【0025】次に、顔画像相違度計算部26で、部分顔
画像(図6の42)と平均顔画像との相違度を計算する
(ステップ110)。この相違度の計算は、例えば、部
分顔画像および平均顔画像の座標(i,j)の位置の画
素の輝度(値)をそれぞれP(i,j)、A(i,j)
とするとき、下記(2)式により計算する。
Next, the face image difference calculating section 26 calculates the difference between the partial face image (42 in FIG. 6) and the average face image (step 110). The calculation of the degree of difference is performed by, for example, setting the luminance (value) of the pixel at the position (i, j) of the partial face image and the average face image to P (i, j) and A (i, j), respectively.
Is calculated by the following equation (2).

【0026】[0026]

【数2】 (Equation 2)

【0027】なお、この(2)式において、N、Mはそ
れぞれ部分顔画像または平均顔画像の横または縦の大き
さ(画素数)である。また、前記(2)式のように、P
(i,j)とA(i,j)の差の2乗和の平方根ではな
く、P(i,j)とA(i,j)の差の絶対値の和を求
めて、それを相違度とする方法もあり、さらに、部分顔
画像42と平均顔画像の相互相関係数を求めて、例え
ば、求められた相互相関係数の逆数を相違度とする方法
などもある。
In the equation (2), N and M are the horizontal or vertical size (number of pixels) of the partial face image or the average face image, respectively. Further, as shown in the above equation (2), P
Not the square root of the sum of squares of the difference between (i, j) and A (i, j), but the sum of the absolute value of the difference between P (i, j) and A (i, j) There is also a method of calculating the cross-correlation coefficient between the partial face image 42 and the average face image, and a method of determining the reciprocal of the obtained cross-correlation coefficient as the degree of difference.

【0028】次に、今回の計算で得られた相違度が、今
までの相違度の最小よりもさらに小さい場合、今回の相
違度とその相違度を与えた左目候補領域および右目候補
領域を記録する(ステップ111)。そして、前記ステ
ップ108からステップ111までの処理を、目候補領
域から選択される左目候補領域および右目候補領域の対
のすべての可能な選択について行い、左目・右目領域決
定部27で、最小の相違度を与える左目候補領域および
右目候補領域を、左目領域および右目領域と決定する
(ステップ113)。
Next, when the difference obtained by the current calculation is smaller than the minimum difference until now, the current difference and the left-eye candidate area and the right-eye candidate area given the difference are recorded. (Step 111). Then, the processing from step 108 to step 111 is performed for all possible selections of the pair of the left-eye candidate area and the right-eye candidate area selected from the eye candidate areas, and the left-eye / right-eye area determination unit 27 determines the minimum difference. The left-eye candidate area and the right-eye candidate area that give the degree are determined as the left-eye area and the right-eye area (step 113).

【0029】YIQ顔画像のI成分画像を2値化するこ
とにより、安定して肌領域を抽出できることが経験上分
かっており、その肌領域内の肌色でない部分を抽出する
ことにより、目や眉の領域を安定して抽出できる。した
がって、本実施の形態の目の位置検出方法のように、こ
れらの目候補領域から左目候補領域および右目候補領域
を適当に選択し、その左目候補領域および右目候補領域
の位置に基づいて切り出された部分顔画像(図6に示す
42)と、人の典型的な顔画像から生成された平均顔画
像を比較して、全体的に最も平均顔画像に類似している
部分顔画像を作り出すような左目候補領域および右目候
補領域を選び出すことにより、確実に左目領域および右
目領域を選び出すことができる。なお、本実施の形態の
目の位置検出方法においては、左目候補領域および右目
候補領域のみを検出し、口の検出を行わないので、不確
実な口の検出(唇の色は肌色に近いため肌領域から口領
域を抽出することが困難となる)を必要としないため
に、安定した結果を得ることができる。
It has been empirically known that the binarization of the I component image of the YIQ face image can stably extract a skin region. By extracting a non-skin color portion in the skin region, the eyes and eyebrows can be extracted. Region can be stably extracted. Therefore, as in the eye position detection method of the present embodiment, the left eye candidate area and the right eye candidate area are appropriately selected from these eye candidate areas, and cut out based on the positions of the left eye candidate area and the right eye candidate area. The partial face image (42 shown in FIG. 6) is compared with an average face image generated from a typical human face image to generate a partial face image that is overall most similar to the average face image. By selecting the right and left eye candidate areas, the left and right eye areas can be reliably selected. In the eye position detection method according to the present embodiment, only the left eye candidate region and the right eye candidate region are detected and the mouth is not detected. Therefore, uncertain mouth detection (because the lip color is close to skin color, (It becomes difficult to extract the mouth region from the skin region), so that a stable result can be obtained.

【0030】次に、左目・右目相違度計算部28で、輝
度パターン蓄積部13に蓄積されている輝度パターンと
顔画像のY成分画像との相違度を計算する。即ち、輝度
パターン蓄積部13に蓄積されている、眼球による反射
光の輝度パターンの中心を、前記左目・右目領域決定部
27で決定された左目領域および右目領域内の適当な場
所に置き(ステップ114)、その位置において輝度パ
ターンと顔画像のY成分画像との相違度を輝度パターン
の範囲内で計算する(ステップ115)。
Next, the left-eye / right-eye difference calculation unit 28 calculates the difference between the luminance pattern stored in the luminance pattern storage unit 13 and the Y component image of the face image. That is, the center of the luminance pattern of the reflected light from the eyeball stored in the luminance pattern storage unit 13 is placed at an appropriate place in the left eye area and the right eye area determined by the left eye / right eye area determination unit 27 (step 114) At that position, the difference between the luminance pattern and the Y component image of the face image is calculated within the range of the luminance pattern (step 115).

【0031】この相違度の計算を、輝度パターン中心を
左目領域内または右目領域内で移動させながら行い(ス
テップ116、ステップ117)、左目領域または右目
領域のそれぞれにおいて最も小さい相違度を与える輝度
パターンの中心位置を求め、左目・右目位置決定部29
で、最小の相違度を与える輝度パターンの中心位置を左
目の位置または右目の位置と決定する(ステップ11
8)。なお、前記各ステップは、制御部10の指示の基
に実行される。このように、本実施の形態の目の位置検
出方法では、眼球を正面から照明したときの眼球による
反射光の輝度パターンを、左目領域および右目領域中か
ら検出するようにしたので、正確な目の中心位置を得る
ことができる。なお、本実施の形態において、最終的な
目の位置として、眼球に照明光が反射して生じるスポッ
ト状の輝点を検出し、その位置を目の位置と決定(ステ
ップ114〜ステップ118)するようにしたが、ステ
ップ113で得られた左目領域および右目領域の重心位
置を目の位置としたり、左目領域および右目領域の左右
・上下の中心の位置を目の位置とすることも可能であ
る。また、前記実施の形態において、例えば、入力画像
中の微小なノイズを低減するための処理や、色や輝度の
補正処理や、肌領域や目候補領域の抽出の時に微小な連
結領域を無視するための平滑化処理など、必要があれば
よく知られている画像の処理を付加するようにしてもよ
い。
The calculation of the degree of difference is performed while moving the center of the luminance pattern in the left-eye area or the right-eye area (steps 116 and 117), and the luminance pattern giving the smallest degree of difference in each of the left-eye area and the right-eye area. And the left eye / right eye position determination unit 29
Then, the center position of the luminance pattern giving the minimum difference is determined as the position of the left eye or the position of the right eye (step 11).
8). Each of the above steps is executed based on an instruction from the control unit 10. As described above, in the eye position detection method according to the present embodiment, the luminance pattern of the light reflected by the eyeball when the eyeball is illuminated from the front is detected from the left eye area and the right eye area. Can be obtained. In the present embodiment, as a final eye position, a spot-shaped bright spot generated by reflection of illumination light on the eyeball is detected, and the position is determined as the eye position (steps 114 to 118). However, the position of the center of gravity of the left eye region and the right eye region obtained in step 113 can be used as the eye position, and the position of the left, right, up, and down centers of the left eye region and the right eye region can be used as the eye position. . Further, in the above-described embodiment, for example, processing for reducing minute noise in an input image, processing for correcting color and brightness, and extraction of a skin area or an eye candidate area ignore a minute connected area. If necessary, a well-known image process such as a smoothing process may be added.

【0032】また、本実施の形態の目の位置検出方法に
おいては、制御部10、入力部20、YIC変換部2
1、2値化画像生成部22、肌領域抽出部23、目領域
抽出部24、部分顔画像生成部25、顔画像相違度計算
部26、左目・右目領域決定部27、左目・右目相違度
計算部28、および左目・右目決定部29がそれぞれ専
用のハードウェアで構成される場合について説明した
が、本発明はこれに限定されるものではなく、例えば、
コンピュータのソフトウェア処理で実行することも可能
である。この場合に、本実施の形態の目の位置検出方法
は、図7に示す中央処理装置(CPU)210が、主メ
モリ202に読み込まれた目の位置検出プログラムを実
行することにより行われる。この場合に、YIC変換部
21、2値化画像生成部22、肌領域抽出部23、目領
域抽出部24、部分顔画像生成部25、顔画像相違度計
算部26、左目・右目領域決定部27、左目・右目相違
度計算部28、および左目・右目決定部29は、図7に
示すYIC変換部211、2値化画像生成部212、肌
領域抽出部213、目領域抽出部214、部分顔画像生
成部215、顔画像相違度計算部216、左目・右目領
域決定部217、左目・右目相違度計算部218、およ
び左目・右目決定部219のように、中央処理装置(C
PU)210により実現される機能手段となる。なお、
図7は、本実施の形態の目の位置検出プログラムを実行
するコンピュータの概略構成を示すブロック図である。
同図において、201は画像を入力するための画像入力
装置、202は主メモリ、203はキーボード・マウス
等の入力装置、204は補助記憶装置、205は表示装
置、206はバスライン、210は中央処理装置(CP
U)である。前記目の位置検出プログラムは、例えば、
CD−ROM等の記録媒体により提供され主メモリ20
2に読み込まれか、あるいは、例えば、補助記憶装置2
04に格納される。
In the eye position detecting method according to the present embodiment, the control unit 10, the input unit 20, the YIC conversion unit 2
1, binarized image generation unit 22, skin region extraction unit 23, eye region extraction unit 24, partial face image generation unit 25, face image difference calculation unit 26, left eye / right eye region determination unit 27, left eye / right eye difference The case has been described in which the calculation unit 28 and the left-eye / right-eye determination unit 29 are each configured by dedicated hardware, but the present invention is not limited to this.
It is also possible to execute by software processing of a computer. In this case, the eye position detection method of the present embodiment is performed by the central processing unit (CPU) 210 shown in FIG. 7 executing the eye position detection program read into the main memory 202. In this case, the YIC conversion section 21, the binarized image generation section 22, the skin area extraction section 23, the eye area extraction section 24, the partial face image generation section 25, the face image difference degree calculation section 26, the left eye / right eye area determination section 27, a left eye / right eye dissimilarity calculation unit 28, and a left eye / right eye determination unit 29 include a YIC conversion unit 211, a binarized image generation unit 212, a skin region extraction unit 213, an eye region extraction unit 214 shown in FIG. The central processing unit (C) includes a face image generation unit 215, a face image difference calculation unit 216, a left eye / right eye region determination unit 217, a left eye / right eye difference calculation unit 218, and a left eye / right eye determination unit 219.
PU) 210. In addition,
FIG. 7 is a block diagram illustrating a schematic configuration of a computer that executes the eye position detection program according to the present embodiment.
In FIG. 1, reference numeral 201 denotes an image input device for inputting an image, 202 denotes a main memory, 203 denotes an input device such as a keyboard and a mouse, 204 denotes an auxiliary storage device, 205 denotes a display device, 206 denotes a bus line, and 210 denotes a center. Processing unit (CP
U). The eye position detection program includes, for example,
Main memory 20 provided by a recording medium such as a CD-ROM
2 or, for example, an auxiliary storage device 2
04.

【0033】以上、本発明者によってなされた発明を、
前記実施の形態に基づき具体的に説明したが、本発明
は、前記実施の形態に限定されるものではなく、その要
旨を逸脱しない範囲において種々変更可能であることは
勿論である。
As described above, the invention made by the present inventor is:
Although a specific description has been given based on the above-described embodiment, the present invention is not limited to the above-described embodiment, and it is needless to say that various modifications can be made without departing from the gist of the invention.

【0034】[0034]

【発明の効果】本願において開示される発明のうち代表
的なものによって得られる効果を簡単に説明すれば、下
記の通りである。
The effects obtained by typical ones of the inventions disclosed in the present application will be briefly described as follows.

【0035】(1)本発明によれば、肌領域内の肌色で
ない部分として抽出された目候補領域から左目候補領域
および右目候補領域を適当に選択し、その左目候補領域
および右目候補領域の位置に基づいて切り出された部分
顔画像と人の典型的な顔画像から生成された平均顔画像
を比較して、全体的に最も平均顔画像に類似している部
分顔画像を生成する左目候補領域および右目候補領域を
選び出すようにしたので、左目領域および右目領域を確
実に選び出すことが可能となる。
(1) According to the present invention, the left eye candidate area and the right eye candidate area are appropriately selected from the eye candidate areas extracted as non-skin color parts in the skin area, and the positions of the left eye candidate area and the right eye candidate area are selected. Left eye candidate area that generates a partial face image that is overall most similar to the average face image by comparing the partial face image cut out based on the average face image generated from the typical face image of a person Since the left eye region and the right eye region are selected, the left eye region and the right eye region can be reliably selected.

【0036】(2)本発明によれば、眼球を正面から照
明したときの眼球による反射光の輝度パターンを、左目
領域および右目領域中から検出するようにしたので、目
の中心位置を正確に得ることが可能となる。
(2) According to the present invention, since the luminance pattern of the light reflected by the eyeball when the eyeball is illuminated from the front is detected from the left eye area and the right eye area, the center position of the eye can be accurately determined. It is possible to obtain.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の実施の形態の目の位置検出装置の概略
構成を示すブロック図である。
FIG. 1 is a block diagram illustrating a schematic configuration of an eye position detection device according to an embodiment of the present invention.

【図2】本実施の形態の目の位置検出方法を説明するた
めのフローチャートである。
FIG. 2 is a flowchart for explaining an eye position detection method according to the present embodiment.

【図3】図1に示す平均顔画像を説明するための図であ
る。
FIG. 3 is a diagram for explaining the average face image shown in FIG. 1;

【図4】図1に示す眼球による反射光の輝度パターンを
説明するための図である。
FIG. 4 is a diagram for explaining a luminance pattern of light reflected by the eyeball shown in FIG. 1;

【図5】本実施の形態における、肌領域と目候補領域と
の一例を示す図である。
FIG. 5 is a diagram showing an example of a skin region and an eye candidate region in the present embodiment.

【図6】本実施の形態における、眉の部分が左目候補領
域および右目候補領域とされた場合の部分顔画像の切出
しの様子を示す。
FIG. 6 shows how a partial face image is cut out when the eyebrow portion is a left eye candidate region and a right eye candidate region in the present embodiment.

【図7】本実施の形態の目の位置検出プログラムを実行
するコンピュータの概略構成を示すブロック図である。
FIG. 7 is a block diagram illustrating a schematic configuration of a computer that executes an eye position detection program according to the present embodiment.

【符号の説明】[Explanation of symbols]

10…制御部、11…顔画像蓄積部、12…平均顔画像
蓄積部、13…輝度パターン蓄積部、14…蓄積手段、
20…入力部、21,211…YIC変換部、22,2
12…2値化画像生成部、23,213…肌領域抽出
部、24,214…目領域抽出部、25,215…部分
顔画像生成部、26,216…顔画像相違度計算部、2
7,217…左目・右目領域決定部、28,218…左
目・右目相違度計算部、29,219…左目・右目決定
部、31…肌領域、32…目候補領域、41…カラー顔
画像、42…部分顔画像、201…画像入力装置、20
2…主メモリ、203…キーボード・マウス等の入力装
置、204…補助記憶装置、205…表示装置、206
…バスライン、210…中央処理装置(CPU)。
10 control section, 11 face image storage section, 12 average face image storage section, 13 luminance pattern storage section, 14 storage means,
20 input unit, 21, 211 ... YIC conversion unit, 22, 2
12 ... binarized image generation unit, 23, 213 ... skin region extraction unit, 24, 214 ... eye region extraction unit, 25, 215 ... partial face image generation unit, 26, 216 ... face image dissimilarity calculation unit, 2
7, 217: left-eye / right-eye area determination unit, 28, 218: left-eye / right-eye difference calculation unit, 29, 219: left-eye / right-eye determination unit, 31: skin area, 32: eye candidate area, 41: color face image, 42 ... partial face image, 201 ... image input device, 20
2 main memory, 203 input device such as keyboard / mouse, 204 auxiliary storage device, 205 display device, 206
... bus line, 210 ... central processing unit (CPU).

───────────────────────────────────────────────────── フロントページの続き (72)発明者 鈴木 智 東京都新宿区西新宿三丁目19番2号 日本 電信電話株式会社内 ──────────────────────────────────────────────────の Continuing on the front page (72) Inventor Satoshi Suzuki Nippon Telegraph and Telephone Corporation, 3-19-2 Nishishinjuku, Shinjuku-ku, Tokyo

Claims (9)

【特許請求の範囲】[Claims] 【請求項1】 人のカラー顔画像から目の位置を検出す
る目の位置検出装置において、 入力された人のカラー顔画像をYIQ色表現に変換して
YIQ顔画像を生成する第1の手段と、 前記第1の手段で生成されたYIQ顔画像のI成分画像
を、その画素値分布に基づいて決定されるしきい値によ
り2値化して2値化画像を生成する第2の手段と、 前記第2の手段で生成された2値化画像から顔画像の中
央付近に位置し所定の面積より大きい連結領域を肌領域
として抽出する第3の手段と、 前記第3の手段で抽出された肌領域の最外周より内側に
存在する肌領域でない複数の連結領域を目候補領域とし
て抽出する第4の手段と、 前記第4の手段で抽出された複数の目候補領域の中から
左目候補領域と右目候補領域の対を選択する第5の手段
と、 前記第5の手段で選択された全ての左目候補領域と右目
候補領域の対に対して、左目候補領域と右目候補領域と
の位置を基準にして、前記入力されたカラー顔画像から
顔内部領域を切出して部分顔画像を生成する第6の手段
と、 前記第6の手段で生成された部分顔画像と、人の典型的
な顔画像からその目の位置を基準にして顔内部領域を切
り出して生成した平均顔画像との相違度を計算する第7
の手段と、 前記第7の手段で計算された相違度が最も小さくなる左
目候補領域と右目候補領域の対を、左目領域および右目
領域と決定する第8の手段とを有することを特徴とする
目の位置検出装置。
1. An eye position detecting device for detecting an eye position from a color face image of a person, wherein first means for converting an input color face image of the person into a YIQ color expression to generate a YIQ face image. Second means for binarizing the I component image of the YIQ face image generated by the first means with a threshold value determined based on the pixel value distribution to generate a binarized image; A third means for extracting, as a skin area, a connected area located near the center of the face image and larger than a predetermined area from the binary image generated by the second means; Means for extracting, as eye candidate areas, a plurality of connected areas that are not skin areas existing inside the outermost periphery of the skin area, and selecting a left eye candidate from the plurality of eye candidate areas extracted by the fourth means. Fifth means for selecting a pair of a region and a right eye candidate region; For all pairs of the left-eye candidate area and the right-eye candidate area selected by the fifth means, based on the positions of the left-eye candidate area and the right-eye candidate area, a face internal area is obtained from the input color face image. And generating a partial face image by cutting out a partial face image generated by the sixth means, and extracting a face internal area from a typical face image of a person based on the position of the eyes. Calculating the degree of difference from the average face image generated by
Means, and an eighth means for determining a pair of a left-eye candidate area and a right-eye candidate area having the smallest degree of difference calculated by the seventh means as a left-eye area and a right-eye area. Eye position detector.
【請求項2】 前記第8の手段で決定された左目領域お
よび右目領域の重心の位置、あるいは、前記第8の手段
で決定された左目領域および右目領域のそれぞれの領域
の左右並びに上下の中心の位置を目の位置と決定する第
9の手段を、さらに有することを特徴とする請求項1に
記載の目の位置検出装置。
2. The position of the center of gravity of the left eye region and the right eye region determined by the eighth means, or the center of the left and right and top and bottom of each of the left eye region and the right eye region determined by the eighth means The eye position detecting apparatus according to claim 1, further comprising ninth means for determining the position of the eye as the eye position.
【請求項3】 前記第8の手段で決定された左目領域お
よび右目領域の内部で、眼球を正面から照明したときの
眼球による反射光の輝度パターンと左目領域または右目
領域の輝度との相違度を、前記輝度パターンを移動させ
ながら計算し、相違度が最も小さくなるときの前記輝度
パターンの中心位置を左目または右目の位置と決定する
第9の手段とを、さらに有することを特徴とする請求項
1に記載の目の位置検出装置。
3. A difference between a luminance pattern of light reflected by an eyeball when the eyeball is illuminated from the front and a luminance of a left-eye area or a right-eye area in the left-eye area and the right-eye area determined by the eighth means. Ninth means for calculating the luminance pattern while moving the luminance pattern, and determining the center position of the luminance pattern when the degree of difference is the smallest as the position of the left eye or the right eye. Item 3. An eye position detecting device according to Item 1.
【請求項4】 人のカラー顔画像から目の位置を検出す
る目の位置検出方法において、 人の典型的な顔画像からその目の位置を基準にして顔内
部領域を切り出して生成した平均顔画像を予め用意する
第1のステップと、 入力された人のカラー顔画像をYIQ色表現に変換して
YIQ顔画像を生成する第2のステップと、 前記第2のステップで生成されたYIQ顔画像のI成分
画像を、その画素値分布に基づいて決定されるしきい値
により2値化して2値化画像を生成する第3のステップ
と、 前記第3のステップで生成された2値化画像から顔画像
の中央付近に位置し所定の面積より大きい連結領域を肌
領域として抽出する第4のステップと、 前記第4のステップで抽出された肌領域の最外周より内
側に存在する肌領域でない複数の連結領域を目候補領域
として抽出する第5のステップと、 前記第5のステップで抽出された複数の目候補領域の中
から左目候補領域と右目候補領域の対を選択する第6の
ステップと、 前記第6のステップで選択された左目候補領域と右目候
補領域との位置を基準にして、前記入力されたカラー顔
画像から顔内部領域を切出して部分顔画像を生成する第
7のステップと、 前記第7のステップで生成された部分顔画像と、前記第
1のステップで予め用意された平均顔画像との相違度を
計算する第8のステップと、 前記第5のステップで抽出された目候補領域内の全ての
左目候補領域と右目候補領域の対に対して、前記第6な
いし第8のステップを実行し、最も相違度が小さくなる
左目候補領域と右目候補領域の対を、左目領域および右
目領域と決定する第9のステップとを有することを特徴
とする目の位置検出方法。
4. An eye position detecting method for detecting an eye position from a color face image of a person, wherein an average face generated by cutting out a face internal region from a typical face image of the person based on the position of the eyes is provided. A first step of preparing an image in advance, a second step of converting an input color face image of a person into a YIQ color representation to generate a YIQ face image, and a YIQ face generated in the second step. A third step of binarizing the I component image of the image with a threshold value determined based on the pixel value distribution to generate a binarized image; and a binarization generated in the third step. A fourth step of extracting, as a skin area, a connected area located near the center of the face image from the image and larger than a predetermined area; and a skin area existing inside the outermost periphery of the skin area extracted in the fourth step. Multiple connected areas that are not A fifth step of extracting as a candidate eye area; a sixth step of selecting a pair of a candidate left eye area and a candidate right eye area from the plurality of candidate eye areas extracted in the fifth step; A seventh step of generating a partial face image by cutting out a face internal area from the input color face image based on the positions of the left eye candidate area and the right eye candidate area selected in the step; An eighth step of calculating a degree of difference between the partial face image generated in the step and the average face image prepared in the first step; and an eye candidate area extracted in the fifth step. The above-mentioned sixth to eighth steps are executed for all pairs of the left-eye candidate area and the right-eye candidate area, and the pair of the left-eye candidate area and the right-eye candidate area with the smallest degree of difference is defined as the left-eye area and the right-eye area. Decide Position detecting method eyes and having a ninth step.
【請求項5】 前記第9のステップで決定された左目領
域および右目領域の重心の位置、あるいは、前記第9の
ステップで決定された左目領域および右目領域のそれぞ
れの領域の左右並びに上下の中心の位置を目の位置と決
定する第10のステップを、さらに有することを特徴と
する請求項4に記載の目の位置検出方法。
5. The position of the center of gravity of the left eye region and the right eye region determined in the ninth step, or the center of the left and right and top and bottom of each of the left eye region and the right eye region determined in the ninth step 5. The eye position detecting method according to claim 4, further comprising a tenth step of determining the position of the eye as the eye position.
【請求項6】 眼球を正面から照明したときの眼球によ
る反射光の輝度パターンを予め用意する第10のステッ
プと、前記第9のステップで決定された左目領域および
右目領域の内部で、前記第10のステップで予め用意さ
れた輝度パターンと左目領域または右目領域の輝度との
相違度を、前記輝度パターンを移動させながら計算し、
相違度が最も小さくなるときの輝度パターンの中心位置
を左目または右目の位置と決定する第11のステップと
を、さらに有することを特徴とする請求項4に記載の目
の位置検出方法。
6. A tenth step in which a brightness pattern of light reflected by the eyeball when the eyeball is illuminated from the front is prepared in advance, and inside the left eye area and the right eye area determined in the ninth step, Calculating the difference between the luminance pattern prepared in advance in step 10 and the luminance of the left eye area or the right eye area while moving the luminance pattern;
The eye position detecting method according to claim 4, further comprising: an eleventh step of determining a center position of the luminance pattern when the degree of difference becomes minimum as a left eye or right eye position.
【請求項7】 コンピュータによって、人のカラー顔画
像から目の位置を検出するための目の位置検出プログラ
ムを記録した記録媒体であって、 当該目の位置検出プログラムは、コンピュータに、入力
された人のカラー顔画像をYIQ色表現に変換してYI
Q顔画像を生成させ、前記生成させたYIQ顔画像のI
成分画像をその画素値分布に基づいて決定されるしきい
値により2値化して2値化画像を生成させ、前記生成さ
せた2値化画像から顔画像の中央付近に位置し所定の面
積より大きい連結領域を肌領域として抽出させ、前記抽
出させた肌領域の最外周より内側に存在する肌領域でな
い複数の連結領域を目候補領域として抽出させ、前記抽
出させた複数の目候補領域の中から左目候補領域と右目
候補領域の対を選択させ、前記選択させた全ての左目候
補領域と右目候補領域の対に対して、左目候補領域と右
目候補領域との位置を基準にして前記入力されたカラー
顔画像から顔内部領域を切出して部分顔画像を生成さ
せ、前記生成させた部分顔画像と人の典型的な顔画像か
らその目の位置を基準にして顔内部領域を切り出して生
成した平均顔画像との相違度を計算させ、前記計算させ
た相違度が最も小さくなる左目候補領域と右目候補領域
の対を左目領域および右目領域と決定させることを特徴
とする目の位置検出プログラムを記録した記録媒体。
7. A recording medium recording an eye position detection program for detecting an eye position from a color face image of a person by a computer, wherein the eye position detection program is input to the computer. Convert a human color face image to YIQ color representation
A Q face image is generated, and I of the generated YIQ face image is generated.
The component image is binarized by a threshold value determined based on the pixel value distribution to generate a binarized image. The binarized image is located near the center of the face image from the generated binarized image and has a predetermined area. A large connected region is extracted as a skin region, and a plurality of connected regions that are not skin regions existing inside the outermost periphery of the extracted skin region are extracted as eye candidate regions. A pair of a left-eye candidate region and a right-eye candidate region is selected from all of the selected pairs of the left-eye candidate region and the right-eye candidate region with respect to the position of the left-eye candidate region and the right-eye candidate region. The face internal region is cut out from the color face image to generate a partial face image, and the face internal region is cut out from the generated partial face image and a typical face image of a person based on the position of the eyes to generate the partial face image. Average face image and The dissimilarity is calculated, the calculated allowed the degree of difference becomes minimum eye candidate region and the right-eye candidate region recording medium for recording a position detecting program eye, characterized in pairs to be determined as the left eye region and the right eye region of.
【請求項8】 前記目の位置検出プログラムは、さら
に、コンピュータに、前記決定させた左目領域および右
目領域の重心の位置、あるいは、前記決定させた左目領
域および右目領域のそれぞれの領域の左右並びに上下の
中心の位置を目の位置と決定させることを特徴とする請
求項7に記載の目の位置検出プログラムを記録した記録
媒体。
8. The eye position detection program further causes the computer to determine the position of the center of gravity of the determined left-eye area and right-eye area, or the left and right of the determined left-eye area and right-eye area. The recording medium according to claim 7, wherein the position of the upper and lower centers is determined as the position of the eye.
【請求項9】 前記目の位置検出プログラムは、さら
に、コンピュータに、前記決定させた左目領域および右
目領域の内部で、眼球を正面から照明したときの眼球に
よる反射光の輝度パターンと左目領域または右目領域の
輝度との相違度を、前記輝度パターンを移動させながら
計算し、相違度が最も小さくなるときの前記輝度パター
ンの中心位置を左目または右目の位置と決定させること
を特徴とする請求項7に記載の目の位置検出プログラム
を記録した記録媒体。
9. The eye position detection program further causes the computer to determine, within the determined left-eye area and right-eye area, a luminance pattern of light reflected by the eyeball when the eyeball is illuminated from the front and a left-eye area or The difference between the luminance of the right eye region and the luminance of the right eye region is calculated while moving the luminance pattern, and the center position of the luminance pattern when the difference is minimum is determined as the position of the left eye or the right eye. A recording medium recording the eye position detection program according to claim 7.
JP05302798A 1998-03-05 1998-03-05 Eye position detection method, eye position detection device, and recording medium recording eye position detection program Expired - Fee Related JP3549013B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05302798A JP3549013B2 (en) 1998-03-05 1998-03-05 Eye position detection method, eye position detection device, and recording medium recording eye position detection program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05302798A JP3549013B2 (en) 1998-03-05 1998-03-05 Eye position detection method, eye position detection device, and recording medium recording eye position detection program

Publications (2)

Publication Number Publication Date
JPH11250267A true JPH11250267A (en) 1999-09-17
JP3549013B2 JP3549013B2 (en) 2004-08-04

Family

ID=12931419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05302798A Expired - Fee Related JP3549013B2 (en) 1998-03-05 1998-03-05 Eye position detection method, eye position detection device, and recording medium recording eye position detection program

Country Status (1)

Country Link
JP (1) JP3549013B2 (en)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000113199A (en) * 1998-09-17 2000-04-21 Eastman Kodak Co Method for deciding eye position
JP2002175538A (en) * 2000-12-08 2002-06-21 Mitsubishi Electric Corp Device and method for portrait generation, recording medium with portrait generating program recorded thereon, terminal for communication, and communication method by terminal for communication
WO2004055735A1 (en) * 2002-12-16 2004-07-01 Canon Kabushiki Kaisha Pattern identification method, device thereof, and program thereof
WO2006087790A1 (en) * 2005-02-17 2006-08-24 Fujitsu Limited Image processing method, image processing system, imaging device, image processing device, and computer program
JP2007087345A (en) * 2005-09-26 2007-04-05 Canon Inc Information processing device, control method therefor, computer program, and memory medium
JP2007087346A (en) * 2005-09-26 2007-04-05 Canon Inc Information processing device, control method therefor, computer program, and memory medium
CN1333370C (en) * 2003-06-18 2007-08-22 佳能株式会社 Image processing method and device
CN100407221C (en) * 2004-08-27 2008-07-30 爱信精机株式会社 Central location of a face detecting device, method and program
EP2391115A2 (en) 2010-05-24 2011-11-30 Canon Kabushiki Kaisha Image processing apparatus, control method, and program
US8374439B2 (en) 2008-06-25 2013-02-12 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program, and computer-readable print medium
US8391595B2 (en) 2006-05-26 2013-03-05 Canon Kabushiki Kaisha Image processing method and image processing apparatus
US8442315B2 (en) 2010-07-16 2013-05-14 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer-readable medium
US8457397B2 (en) 2010-07-16 2013-06-04 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer-readable medium
US8532431B2 (en) 2007-05-08 2013-09-10 Canon Kabushiki Kaisha Image search apparatus, image search method, and storage medium for matching images with search conditions using image feature amounts
US8542928B2 (en) 2005-09-26 2013-09-24 Canon Kabushiki Kaisha Information processing apparatus and control method therefor
US8630503B2 (en) 2008-06-25 2014-01-14 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer program
US9002107B2 (en) 2010-07-16 2015-04-07 Canon Kabushiki Kaisha Color balance correction based on skin color and highlight color
US9014487B2 (en) 2012-07-09 2015-04-21 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US9189681B2 (en) 2012-07-09 2015-11-17 Canon Kabushiki Kaisha Image processing apparatus, method thereof, and computer-readable storage medium
US9208595B2 (en) 2012-07-09 2015-12-08 Canon Kabushiki Kaisha Apparatus, image processing method and storage medium storing program
US9214027B2 (en) 2012-07-09 2015-12-15 Canon Kabushiki Kaisha Apparatus, method, and non-transitory computer-readable medium
US9275270B2 (en) 2012-07-09 2016-03-01 Canon Kabushiki Kaisha Information processing apparatus and control method thereof
US9280720B2 (en) 2012-07-09 2016-03-08 Canon Kabushiki Kaisha Apparatus, method, and computer-readable storage medium
US9292760B2 (en) 2012-07-09 2016-03-22 Canon Kabushiki Kaisha Apparatus, method, and non-transitory computer-readable medium
US9299177B2 (en) 2012-07-09 2016-03-29 Canon Kabushiki Kaisha Apparatus, method and non-transitory computer-readable medium using layout similarity
US9436706B2 (en) 2013-09-05 2016-09-06 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium for laying out images
US9501688B2 (en) 2012-07-09 2016-11-22 Canon Kabushiki Kaisha Apparatus, processing method and storage medium storing program
US9509870B2 (en) 2013-09-05 2016-11-29 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium enabling layout varations
US9519842B2 (en) 2012-07-09 2016-12-13 Canon Kabushiki Kaisha Apparatus and method for managing an object extracted from image data
US9542594B2 (en) 2013-06-28 2017-01-10 Canon Kabushiki Kaisha Information processing apparatus, method for processing information, and program
US9558212B2 (en) 2012-07-09 2017-01-31 Canon Kabushiki Kaisha Apparatus, image processing method and computer-readable storage medium for object identification based on dictionary information
US9563823B2 (en) 2012-07-09 2017-02-07 Canon Kabushiki Kaisha Apparatus and method for managing an object extracted from image data
US9846681B2 (en) 2012-07-09 2017-12-19 Canon Kabushiki Kaisha Apparatus and method for outputting layout image
US9904879B2 (en) 2013-09-05 2018-02-27 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US10013395B2 (en) 2012-07-09 2018-07-03 Canon Kabushiki Kaisha Apparatus, control method thereof, and storage medium that determine a layout image from a generated plurality of layout images by evaluating selected target images

Cited By (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4583527B2 (en) * 1998-09-17 2010-11-17 イーストマン コダック カンパニー How to determine eye position
JP2000113199A (en) * 1998-09-17 2000-04-21 Eastman Kodak Co Method for deciding eye position
JP2002175538A (en) * 2000-12-08 2002-06-21 Mitsubishi Electric Corp Device and method for portrait generation, recording medium with portrait generating program recorded thereon, terminal for communication, and communication method by terminal for communication
WO2004055735A1 (en) * 2002-12-16 2004-07-01 Canon Kabushiki Kaisha Pattern identification method, device thereof, and program thereof
US7577297B2 (en) 2002-12-16 2009-08-18 Canon Kabushiki Kaisha Pattern identification method, device thereof, and program thereof
CN1333370C (en) * 2003-06-18 2007-08-22 佳能株式会社 Image processing method and device
CN100407221C (en) * 2004-08-27 2008-07-30 爱信精机株式会社 Central location of a face detecting device, method and program
WO2006087790A1 (en) * 2005-02-17 2006-08-24 Fujitsu Limited Image processing method, image processing system, imaging device, image processing device, and computer program
US8300101B2 (en) 2005-02-17 2012-10-30 Fujitsu Limited Image processing method, image processing system, image pickup device, image processing device and computer program for manipulating a plurality of images
JPWO2006087790A1 (en) * 2005-02-17 2008-07-03 富士通株式会社 Image processing method, image processing system, imaging apparatus, image processing apparatus, and computer program
JP4540705B2 (en) * 2005-02-17 2010-09-08 富士通株式会社 Image processing method, image processing system, imaging apparatus, image processing apparatus, and computer program
JP2007087346A (en) * 2005-09-26 2007-04-05 Canon Inc Information processing device, control method therefor, computer program, and memory medium
JP2007087345A (en) * 2005-09-26 2007-04-05 Canon Inc Information processing device, control method therefor, computer program, and memory medium
US8542928B2 (en) 2005-09-26 2013-09-24 Canon Kabushiki Kaisha Information processing apparatus and control method therefor
US8391595B2 (en) 2006-05-26 2013-03-05 Canon Kabushiki Kaisha Image processing method and image processing apparatus
US8532431B2 (en) 2007-05-08 2013-09-10 Canon Kabushiki Kaisha Image search apparatus, image search method, and storage medium for matching images with search conditions using image feature amounts
US8374439B2 (en) 2008-06-25 2013-02-12 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program, and computer-readable print medium
US8630503B2 (en) 2008-06-25 2014-01-14 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer program
EP2391115A2 (en) 2010-05-24 2011-11-30 Canon Kabushiki Kaisha Image processing apparatus, control method, and program
US8639030B2 (en) 2010-05-24 2014-01-28 Canon Kabushiki Kaisha Image processing using an adaptation rate
US9398282B2 (en) 2010-05-24 2016-07-19 Canon Kabushiki Kaisha Image processing apparatus, control method, and computer-readable medium
US9002107B2 (en) 2010-07-16 2015-04-07 Canon Kabushiki Kaisha Color balance correction based on skin color and highlight color
US8842914B2 (en) 2010-07-16 2014-09-23 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer-readable medium
US8934712B2 (en) 2010-07-16 2015-01-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer-readable medium
US8457397B2 (en) 2010-07-16 2013-06-04 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer-readable medium
US9406003B2 (en) 2010-07-16 2016-08-02 Canon Kabushiki Kaisha Image processing with color balance correction
US8442315B2 (en) 2010-07-16 2013-05-14 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer-readable medium
US9214027B2 (en) 2012-07-09 2015-12-15 Canon Kabushiki Kaisha Apparatus, method, and non-transitory computer-readable medium
US9519842B2 (en) 2012-07-09 2016-12-13 Canon Kabushiki Kaisha Apparatus and method for managing an object extracted from image data
US9275270B2 (en) 2012-07-09 2016-03-01 Canon Kabushiki Kaisha Information processing apparatus and control method thereof
US9280720B2 (en) 2012-07-09 2016-03-08 Canon Kabushiki Kaisha Apparatus, method, and computer-readable storage medium
US9292760B2 (en) 2012-07-09 2016-03-22 Canon Kabushiki Kaisha Apparatus, method, and non-transitory computer-readable medium
US9299177B2 (en) 2012-07-09 2016-03-29 Canon Kabushiki Kaisha Apparatus, method and non-transitory computer-readable medium using layout similarity
US9189681B2 (en) 2012-07-09 2015-11-17 Canon Kabushiki Kaisha Image processing apparatus, method thereof, and computer-readable storage medium
US9014487B2 (en) 2012-07-09 2015-04-21 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US10127436B2 (en) 2012-07-09 2018-11-13 Canon Kabushiki Kaisha Apparatus, image processing method and storage medium storing program
US9501688B2 (en) 2012-07-09 2016-11-22 Canon Kabushiki Kaisha Apparatus, processing method and storage medium storing program
US10055640B2 (en) 2012-07-09 2018-08-21 Canon Kabushiki Kaisha Classification of feature information into groups based upon similarity, and apparatus, image processing method, and computer-readable storage medium thereof
US9208595B2 (en) 2012-07-09 2015-12-08 Canon Kabushiki Kaisha Apparatus, image processing method and storage medium storing program
US10013395B2 (en) 2012-07-09 2018-07-03 Canon Kabushiki Kaisha Apparatus, control method thereof, and storage medium that determine a layout image from a generated plurality of layout images by evaluating selected target images
US9558212B2 (en) 2012-07-09 2017-01-31 Canon Kabushiki Kaisha Apparatus, image processing method and computer-readable storage medium for object identification based on dictionary information
US9563823B2 (en) 2012-07-09 2017-02-07 Canon Kabushiki Kaisha Apparatus and method for managing an object extracted from image data
US9846681B2 (en) 2012-07-09 2017-12-19 Canon Kabushiki Kaisha Apparatus and method for outputting layout image
US9852325B2 (en) 2012-07-09 2017-12-26 Canon Kabushiki Kaisha Apparatus, image processing method and storage medium storing program
US9542594B2 (en) 2013-06-28 2017-01-10 Canon Kabushiki Kaisha Information processing apparatus, method for processing information, and program
US9904879B2 (en) 2013-09-05 2018-02-27 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US9509870B2 (en) 2013-09-05 2016-11-29 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium enabling layout varations
US9436706B2 (en) 2013-09-05 2016-09-06 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium for laying out images

Also Published As

Publication number Publication date
JP3549013B2 (en) 2004-08-04

Similar Documents

Publication Publication Date Title
JP3549013B2 (en) Eye position detection method, eye position detection device, and recording medium recording eye position detection program
US7197166B2 (en) Iris extraction method capable of precisely determining positions and sizes of irises in a digital face image
KR100682889B1 (en) Method and Apparatus for image-based photorealistic 3D face modeling
US7035461B2 (en) Method for detecting objects in digital images
JP3761059B2 (en) Method and apparatus for detecting human face and observer tracking display
JP3999964B2 (en) Multi-mode digital image processing method for eye detection
US7092554B2 (en) Method for detecting eye and mouth positions in a digital image
JP4708909B2 (en) Method, apparatus and program for detecting object of digital image
JP3143819B2 (en) Eyelid opening detector
JP4597391B2 (en) Facial region detection apparatus and method, and computer-readable recording medium
EP1217572A2 (en) Digital image processing method and computer program product for detecting human irises in an image
KR20150051711A (en) Apparatus and method for extracting skin area for blocking harmful content image
JP2007272435A (en) Face feature extraction device and face feature extraction method
JP2000137792A (en) Eye part detecting device
KR20160115663A (en) Image processing apparatus and image processing method
KR100815209B1 (en) The Apparatus and Method for Abstracting Peculiarity of Two-Dimensional Image ? The Apparatus and Method for Creating Three-Dimensional Image Using Them
JP4076777B2 (en) Face area extraction device
Arsic et al. Improved lip detection algorithm based on region segmentation and edge detection
JP2010271921A (en) Skin area extraction method, skin area extraction device, and skin area extracting program
JP2010237976A (en) Light source information obtaining device, shading detection device, shading removal device, and those methods and programs
JPH07311833A (en) Human face detecting device
KR100618493B1 (en) The Apparatus and Method for Creating Three-Dimensional Image Automatically
JP6994704B1 (en) Iris detection method, iris detection device, and iris detection program
CN114627003A (en) Method, system, device and storage medium for removing eye fat of face image
JP3624069B2 (en) Image processing method and image processing apparatus

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040406

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20040413

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040413

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090430

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090430

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100430

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100430

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110430

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120430

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130430

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees