KR19990079823A - Face Recognition Method Considering Lighting Change - Google Patents

Face Recognition Method Considering Lighting Change Download PDF

Info

Publication number
KR19990079823A
KR19990079823A KR1019980012628A KR19980012628A KR19990079823A KR 19990079823 A KR19990079823 A KR 19990079823A KR 1019980012628 A KR1019980012628 A KR 1019980012628A KR 19980012628 A KR19980012628 A KR 19980012628A KR 19990079823 A KR19990079823 A KR 19990079823A
Authority
KR
South Korea
Prior art keywords
face
image
gallery
normal
brightness
Prior art date
Application number
KR1019980012628A
Other languages
Korean (ko)
Other versions
KR100287216B1 (en
Inventor
기석철
Original Assignee
윤종용
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자 주식회사 filed Critical 윤종용
Priority to KR1019980012628A priority Critical patent/KR100287216B1/en
Publication of KR19990079823A publication Critical patent/KR19990079823A/en
Application granted granted Critical
Publication of KR100287216B1 publication Critical patent/KR100287216B1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Collating Specific Patterns (AREA)

Abstract

본 발명은 조명 변화를 고려한 얼굴 인식 방법에 관한 것으로서, 조명 변화를 고려한 얼굴 인식 방법은, 등록하고자 하는 얼굴들(갤러리)의 이미지를 입력받아 각 얼굴 이미지의 픽셀의 표면 반사 계수 ρ 의 평균값 및 법선(surface normal) ns를 산출하여 저장하는 갤러리 등록 단계; 갤러리를 이루는 모든 얼굴의 법선 평균을 구하는 단계; 인식 대상인 얼굴 사진 밝기, ρ 의 평균값 및 법선 평균을 이용하여 입력된 얼굴 사진 촬상시 노출된 빛의 방향을 추정하는 단계; 추정된 빛의 방향과 등록되어 있는 갤러리의 ρ 및 법선을 이용하여 각 갤러리의 밝기를 다시 산출하는 단계; 및 다시 산출된 각 갤러리의 밝기와 새로 입력된 사진의 얼굴 밝기를 비교하여 가장 유사한 갤러리를 찾음으로써 얼굴을 인식하는 단계를 구비한다.The present invention relates to a face recognition method in which illumination changes are considered, and a face recognition method that considers illumination changes is a method of recognizing a face by receiving an image of faces (galleries) ρ A normal registration step of calculating and storing an average value and a surface normal n s of the image; Obtaining a normal average of all faces of the gallery; Face image brightness, ρ Estimating a direction of light exposed at the time of capturing an input face image by using an average value and a normal mean of the input image; Estimated light direction and registered gallery ρ And calculating a brightness of each gallery using a normal line; And comparing the calculated brightness of each gallery and the brightness of the face of the newly input picture to find the most similar gallery to recognize the face.

본 발명에 의하면 조명의 변화를 고려함으로써 조명 변화가 심한 곳에서 얼굴 인식의 정확도가 높아지고 얼굴의 법선을 추출함으로써 얼굴 합성 분야에 쉽게 응용할 수 있다.According to the present invention, by considering the change of illumination, the accuracy of face recognition is increased at a place where illumination change is severe, and the normal of the face can be extracted to easily apply to the face synthesis field.

Description

조명변화를 고려한 얼굴 인식 방법Face Recognition Method Considering Lighting Change

본 발명은 얼굴 인식 시스템에 관한 것으로서, 보다 상세하게는 등록할 갤러리를 구성하는 각 얼굴 영상으로부터 조명 변화를 고려한 파라미터를 추출하여 등록하여 그에 따라 조명을 고려하여 인식대상을 인식하는, 조명 변화를 고려한 얼굴인식 방법에 관한 것이다.[0001] The present invention relates to a face recognition system, and more particularly, to a face recognition system which extracts and registers parameters considering illumination change from each face image constituting a gallery to be registered, recognizes an object to be recognized in consideration of illumination, And a face recognition method.

일반적으로 얼굴 인식 기술은 음성인식, 지문인식, 안구인식과 같이 신분을 검증하는데 응용되는 기술이다. 얼굴 인식 기술은 다른 신분 검증 기술과 비교했을 때, 상대적으로 저렴한 가격에 구현이 가능하고 사용자가 특별하게 인식을 위한 행위를 취할 필요가 없어서 인식 대상자의 거부감을 방지할 수 있다. 특히 최근 멀티미디어 피시(PC)가 보편화되면서 영상 취득 장치가 기본적으로 장착되는 추세에 있으므로, 별도의 하드웨어 구성 없이 얼굴 인식 기술 응용이 가능하다.Generally, face recognition technology is applied to verification of identity such as speech recognition, fingerprint recognition, and eye recognition. The face recognition technology can be implemented at a relatively low price compared to other identification verification techniques, and it is possible to prevent the rejection feeling of the recognition object because the user does not need to take special action for recognition. Particularly since the multimedia capture (PC) has been popularized and the image acquisition device is basically installed, it is possible to apply the face recognition technology without a separate hardware configuration.

종래에 사람의 얼굴을 인식하는 기술(Yael Adini, Yael Moses and Shimon Ullman, "Face Recognition : The Problem of Compensating for Changes in Illumination Direction," IEEE Trans, Pattern Analysis and Machine Intelligence, Vol.19, No.7, pp721~732 July 1997.)에서는, 조명의 변화가 심한 경우, 조명의 변화에 가장 덜 민감한 인식 파라미터와 거리 척도를 선택적으로 사용하였다. 예를 들어, 엣지 맵(edge map), 이미지 인텐시티 데리버티브스(image intensity derivatives), 2차원 가버-라이크 필터(2D Gabor-like filter) 등과 같은 인식 파라미터를 아래 수학식 1과 같은 어파인-지엘 디스턴스 메저(affine-GL distance measure)로 인식하는 것 등이다.Conventionally, a technique of recognizing human faces (Yael Adini, Yael Moses and Shimon Ullman, "Face Recognition: The Problem of Compensating for Changes in Illumination Direction," IEEE Trans, Pattern Analysis and Machine Intelligence, Vol. , pp721 ~ 732 July 1997.), the recognition parameters and the distance scale, which are least sensitive to the change of illumination, are selectively used when the illumination change is severe. For example, recognition parameters such as an edge map, image intensity derivatives, a 2D Gabor-like filter, And recognizing it as an affine-GL distance measure.

위의 수학식 1은 I1인 얼굴 사진과 I2인 얼굴 사진을 비교하여 그 유사성의 정도를 산출하는 식이다. 여기서 얼굴 사진은 밝기의 정도로서 표현되어지는 것이므로 같은 얼굴이라도 그 얼굴 사진 촬영 당시의 조명 또는 빛의 방향이 다르면 위와 같은 방법으로는 서로 다른 얼굴로서 인식될 수밖에 없다. 즉, 조명변화에 의한 얼굴 인식의 가장 근본적인 문제점은 3차원 형상을 가진 얼굴을 인식하는데 있어서, 조명에 의해 왜곡된 2차원의 밝기 정보만을 이용할 수밖에 없다는 것이다. 상술한 종래의 조명 변화를 고려하지 않은 얼굴 인식 방법으로는 조명변화가 심한 경우, 거의 인식에 성공할 수 없다는 문제가 있다.The above equation (1) is a formula for comparing the face image of I 1 and the face image of I 2 to calculate the degree of similarity. Since the face photographs are expressed by the degree of brightness, even if the faces are the same, if the direction of the light or the light at the time of photographing the face is different, it is inevitably recognized as different faces by the above method. That is, the most fundamental problem of face recognition due to illumination change is that only two-dimensional brightness information distorted by illumination can be used in recognizing a face having a three-dimensional shape. There is a problem in that, if the illumination change is severe, the face recognition method that does not take into consideration the conventional illumination change described above can hardly succeed in recognition.

본 발명이 이루고자하는 기술적 과제는, 얼굴 표면의 평균 반사 계수와 법선 벡터를 가진 갤러리를 등록하는 방법 및 그를 이용하여 인식하고자 하는 얼굴의 조명 방향을 추정하여 갤러리와 동일한 조명 조건하에서 얼굴인식을 수행하는 조명변화를 고려한 얼굴 인식 방법을 제공하는데 있다.The present invention provides a method of registering a gallery having an average reflection coefficient and a normal vector of a face surface and estimating illumination direction of a face to be recognized using the method, thereby performing face recognition under the same illumination condition as the gallery And to provide a face recognition method considering illumination change.

도 1은 도 1은 본 발명의 갤러리 등록시 입력될 베이시스 이미지(basis image)를 얻기 위한 촬영 구도를 도시한 것이다.FIG. 1 is a view illustrating a photographing scheme for obtaining a basis image to be inputted at the time of registering a gallery of the present invention.

도 2는 본 발명의 얼굴 인식을 위한 갤러리 등록 방법의 흐름도를 도시한 것이다.FIG. 2 is a flowchart illustrating a method of registering a gallery for face recognition according to the present invention.

도 3은 본 발명의 얼굴 인식 방법의 흐름도이다.3 is a flowchart of a face recognition method according to the present invention.

상기 과제를 해결하기 위한, 얼굴 인식시 인식할 대상의 비교 자료가 되는 얼굴 영상(갤러리)을 등록하는 방법은, 등록하고자 하는 사람의 얼굴이 세가지 방향의 조명에 노출되어 촬상된 베이시스 이미지(basis image)를 입력받는 단계; 상기 베이시스 이미지에서 얼굴을 이루는 각 픽셀의 표면 반사 계수 ρ 를 산출하는 단계; 상기 각 픽셀에서의 ρ 에 대한 평균값을 산출하는 단계; 상기 얼굴을 이루는 각 픽셀의 법선(surface normal)을 산출하는 단계; 및 산출된 ρ 의 평균값과 상기 법선을 등록하여 저장하는 단계를 구비한다.A method of registering a face image (gallery) as a comparison object to be recognized in face recognition in order to solve the above problem is a method in which a face of a person to be registered is exposed to illumination in three directions, ); The surface reflection coefficient of each pixel forming the face in the basis image ρ ; In each pixel, ρ Calculating an average value for the average value; Calculating a surface normal of each pixel constituting the face; And the calculated ρ And registering and storing the normal line.

상기 ρ 를 산출하는 방법은, 얼굴 사진 또는 영상이 람버시안 표면 모델(Lambertian surface model)이라 가정하여, 세 조명 방향에 대한 얼굴 밝기 벡터 I, 세 조명 방향 벡터 N을 사용하여 아래 수학식 2와 같이,remind ρ Is calculated by using the face brightness vector I and the three illumination direction vectors N for three illumination directions, assuming that the face image or image is a Lambertian surface model,

ρ=|N-1I|ρ = | N -1 I |

로 산출함이 바람직하다..

상기 얼굴 표면의 법선 산출은, 아래의 수학식 3과 같이,The normal calculation of the facial surface can be expressed by the following equation (3)

하여 산출함이 바람직하다..

상기 다른 과제를 해결하기 위한, 조명 변화를 고려한 얼굴 인식 방법은, 등록하고자 하는 얼굴들(갤러리)의 이미지를 입력받아 각 얼굴 이미지의 픽셀의 표면 반사 계수 ρ 의 평균값 및 법선(surface normal) ns를 산출하여 저장하는 갤러리 등록 단계; 상기 갤러리를 이루는 모든 얼굴의 법선 평균을 구하는 단계; 상기 인식 대상인 얼굴 사진 밝기, 상기 ρ 의 평균값 및 상기 법선 평균을 이용하여 상기 입력된 얼굴 사진 촬상시 노출된 빛의 방향을 추정하는 단계; 상기 추정된 빛의 방향과 상기 등록되어 있는 갤러리의 ρ 및 법선을 이용하여 각 갤러리의 밝기를 다시 산출하는 단계; 및 다시 산출된 각 갤러리의 밝기와 새로 입력된 사진의 얼굴 밝기를 비교하여 가장 유사한 갤러리를 찾음으로써 얼굴을 인식하는 단계를 구비한다.According to another aspect of the present invention, there is provided a face recognition method in which illumination changes are considered. The face recognition method includes receiving an image of faces (galleries) to be registered, ρ A normal registration step of calculating and storing an average value and a surface normal n s of the image; Obtaining a normal average of all faces of the gallery; The face photograph brightness to be recognized, ρ Estimating a direction of light that is exposed at the time of capturing the input face image by using an average value of the face images and the normal line average; The direction of the estimated light and the direction of the registered gallery ρ And calculating a brightness of each gallery using a normal line; And comparing the calculated brightness of each gallery and the brightness of the face of the newly input picture to find the most similar gallery to recognize the face.

상기 갤러리 등록 단계는, 등록하고자 하는 사람의 얼굴이 세가지 방향의 조명에 노출되어 촬상된 베이시스 이미지(basis image)를 입력받는 단계; 상기 베이시스 이미지에서 얼굴을 이루는 각 픽셀의 표면 반사 계수 ρ 를 산출하는 단계; 상기 각 픽셀에서의 ρ 에 대한 평균값을 산출하는 단계, 상기 얼굴을 이루는 각 픽셀의 법선(surface normal)을 산출하는 단계; 및 산출된 ρ 의 평균값과 상기 법선을 등록하여 저장하는 단계를 거치는 얼굴 인식을 위한 갤러리 등록 단계를 구비함이 바람직하다.Wherein the gallery registration step comprises: receiving a basis image of a face of a person to be registered exposed to illumination in three directions; The surface reflection coefficient of each pixel forming the face in the basis image ρ ; In each pixel, ρ Calculating a surface normal of each pixel forming the face; And the calculated ρ And registering the normal line and storing the normal line.

상기 인식대상 사진 촬상시 노출된 빛의 방향을 추정하는 단계는, 상기 인식대상이 한 장의 사진으로 입력되므로 그 사진 영상의 각 픽셀에 대한 밝기 정보 I(x,y)를 얻고, 상기 갤러리들의 ρ 평균과 평균 법선 ns를 사용하여 최소자승오차법을 이용해 아래와 같은The step of estimating the direction of the exposed light when capturing the image of the object to be recognized comprises the steps of obtaining the brightness information I (x, y) for each pixel of the photographic image since the object to be recognized is input as a single photograph, ρ Using the mean and the average normal, n s , using the least square error method,

I(x,y)=ρNns I (x, y) =? Nn s

특정한 조명에서의 방향 벡터 N을 얻음이 바람직하다.It is preferable to obtain the direction vector N in a specific illumination.

상기 갤러리에 속한 얼굴들 각각의 밝기를 다시 산출하는 단계는, 상기 ρ 평균과 상기 조명의 방향 벡터 N 및 상기 등록된 각자의 법선 ns를 사용하여 상기 수학식 4와 같은 밝기 I를 산출하는 단계임이 바람직하다.Wherein the step of calculating the brightness of each of the faces belonging to the gallery further comprises: ρ To be a step of averaging the direction of the illumination vector N and using the normal n s of each of the registered output brightness I, such as the equation (4) is preferred.

이하에서 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will now be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 갤러리 등록을 위한 베이시스 이미지(basis image) 촬영 구도를 도시한 것으로서, 한 사람의 얼굴 자료를 입력하기 위해 각각 서로 다른 세방향에 있는 조명에 노출된 얼굴 사진, 즉 베이시스 이미지를 얻기 위한 촬상 구도이다. 통상 얼굴이라는 이미지는 시시디(CCD) 카메라등에 의해 촬상되어 컴퓨터나 소정의 얼굴 인식 전용 하드웨어내의 소정의 응용프로그램에 의해 처리되어진다. 이 때 촬상된 얼굴 이미지는 그 이미지를 구성하는 영상의 밝기가 되므로 촬상 당시의 빛 또는 조명의 위치에 따라 서로 동일한 얼굴의 이미지가 다른 얼굴로 인식되는 오류가 발생될 수 있다. 이러한 오류 발생 가능성 때문에 인식을 위해 등록할 여러 얼굴 이미지의 데이터는 각각 서로 다른 위치에 있는 조명하에서 촬상된 세 이미지를 필요로 한다. 이 각각의 베이시스 이미지들로부터 얼굴 표면의 표면 반사 계수 평균값과 법선 벡터를 추출하여 저장하고 이를 인식을 위한 파라미터로 이용한다. 즉, 인식을 위해 등록시킨 다수의 얼굴 이미지들(이하 갤러리;gallery)이 가진 법선 벡터의 평균을 구하여 인식하고자 하는 얼굴 영상의 조명 방향을 추출하는데 이용하는 것이다. 이는, 법선 벡터가 얼굴의 밝기와는 상관없는 얼굴의 윤곽과 관련된 벡터이고, 모든 얼굴들의 윤곽에 큰 차이가 없다고 가정하여 성립된다. 도 1과 같이 3차원 공간상에서 동일 평면에 위치하지 않는 3곳의 위치를 미리 설정하고, 각각의 위치에서 조명을 비춰가면서 각 인식 대상 얼굴마다 3장의 베이시스 이미지를 획득한다. 이 3장의 베이시스 이미지를 각각 I1(x,y), I2(x,y), I3(x,y)라고 밝기 벡터 I를 정의한다. 이 때 각 조명의 위치 벡터를 각각 n1, n2, n3이라 하고, 이를 방향 행렬(direction matrix) N으로 정의한다. 아래의 수학식에 이들 벡터를 보인다.FIG. 1 illustrates a basis image photographing scheme for registering a gallery according to the present invention. In order to input a face image of a person, a face image exposed in three different directions, that is, a basis image FIG. Usually, an image called a face is picked up by a CCD camera or the like and processed by a predetermined application program in a computer or a predetermined face recognition dedicated hardware. At this time, since the image of the face image taken is the brightness of the image constituting the image, an error may occur that the images of the same face are recognized as different faces depending on the position of light or illumination at the time of imaging. Due to the possibility of this error, the data of the various facial images to be registered for recognition requires three images each captured under illumination in different positions. From each of these basis images, the mean value and the normal vector of the surface reflection coefficient of the facial surface are extracted and stored and used as a parameter for recognition. That is, an average of normal vectors of a plurality of registered face images (hereinafter, referred to as 'gallery') registered for recognition is searched and used to extract the illumination direction of a face image to be recognized. It is assumed that the normal vector is a vector related to the outline of the face which is not related to the brightness of the face, and that there is not a large difference in the outline of all the faces. As shown in Fig. 1, three positions that are not located on the same plane in a three-dimensional space are preset, and three basis images are acquired for each recognition target face while illuminating the illumination at each position. I 3 (x, y) and I 3 (x, y) are defined as I 1 (x, y), I 2 In this case, the position vectors of each illumination are denoted by n 1 , n 2 , and n 3 , respectively, and defined as a direction matrix N. These vectors are shown in the following equation.

I=[I1,I2,I3]′I = [I 1 , I 2 , I 3 ]

n1=[n11n12n13]′n 1 = [n 11 n 12 n 13 ] '

n2=[n21n22n23]′n 2 = [n 21 n 22 n 23 ]

n3=[n31n32n33]′n 3 = [n 31 n 32 n 33 ]

얼굴 영상이 람버시안 표면 모델(Lambertian surface model)이라고 가정하면 얼굴 영상을 이루는 각 픽셀에서의 밝기 I(x,y)는 상술한 수학식 4에 의해 산출될 수 있다. 여기서 ρ 는 얼굴 표면 반사 계수(reflectance)이고 ns는 얼굴 표면의 법선(surface normal)이다. 얼굴 영상에서 얼굴 표면 밝기 계수는 픽셀의 위치에 따라 각각 다르게 산출되나, 얼굴 인식을 위해서는 얼굴의 윤곽이 보다 중요한 인식 파라미터가 되므로 계산의 단순화를 위해서 얼굴 표면의 반사계수는 모두 같다고 가정한다. 얼굴 영상을 이루는 픽셀의 밝기 I를 이용하여 표면 반사 계수 ρ 를 수학식 2와 같이 산출한다. 이렇게 산출된 ρ 를 이용하여 얼굴 인식에 중요한 파라미터가 되는 법선 ns를 수학식 3과 같이 산출한다.Assuming that the facial image is a lambertian surface model, the brightness I (x, y) in each pixel of the facial image can be calculated by Equation (4). here ρ Is the facial surface reflectance and n s is the surface normal of the face. In the face image, the face surface brightness coefficients are calculated differently according to the positions of the pixels. However, since the outline of the face is a more important recognition parameter for the face recognition, it is assumed that the reflection coefficients of the face surface are all the same for the simplification of calculation. Using the brightness I of the pixel forming the facial image, ρ As shown in Equation (2). This calculated ρ The normal line n s , which is an important parameter for face recognition, is calculated as shown in equation (3).

도 2는 본 발명의 얼굴 인식을 위한 갤러리 등록 방법의 흐름도를 도시한 것으로서, 얼굴 인식을 위한 데이터베이스로서의 갤러리를 등록하는 방법은, 먼저, 등록하고자 하는 사람의 얼굴 영상에 대해 도 1과 같이 세가지 서로 다른 조명 방향에 노출된 베이시스 이미지(basis image) 3장을 입력받는다(200단계). 베이시스 이미지의 얼굴을 이루는 각 픽셀의 표면 반사 계수 ρ 를 산출한다(210단계). ρ 는 상술한 수학식 2에 의해 산출된다. 수학식 2에서, 조명의 방향 행렬 N과 그 인버스 행렬 N-1은 조명의 위치가 일정하게 정해지므로 알 수 있고, 픽셀의 밝기 I도 알 수 있으므로 이를 이용하여 ρ 가 쉽게 산출될 수 있다. 얼굴 인식을 위해서는 얼굴 표면의 반사 계수보다는 전체적인 얼굴 형태가 중요하므로 계산의 단순화를 위해 얼굴 표면의 반사계수는 모두 같다고 가정한다. 이 가정하에 얼굴을 이루는 모든 픽셀의 반사계수 ρ 를 더하고, 전체 픽셀수로 나누어 평균 반사계수값을 구한다(220단계). 수학식 3을 이용하여 각 픽셀에서의 법선 ns를 산출한다(230단계). 이 때 ρ 는 220단계에서 산출된 평균 ρ 값을 이용한다. 이렇게 산출된 ρ 평균과 법선 ns를 등록하여 저장한다(240단계). 등록할 얼굴의 개수를 카운트하여, 각 얼굴에 대해 200단계부터 240단계까지의 단계를 적용하여 갤러리 등록을 마친다. 한 얼굴에 대해 200단계에서 입력해야할 베이시스 이미지가 3장씩이므로 만약 10개의 얼굴을 갤러리로 등록하려면 30개의 이미지가 필요하게 된다.FIG. 2 is a flowchart of a method for registering a face image for face recognition according to the present invention. In the method for registering a gallery as a database for face recognition, first, face images of a person to be registered are three Three basis images exposed in different illumination directions are input (step 200). The surface reflection coefficient of each pixel that forms the face of the basis image ρ (Step 210). ρ Is calculated by the above-described equation (2). In Equation (2), the direction matrix N of the illumination and its inverse matrix N- 1 can be known because the position of the illumination is fixed and the brightness I of the pixel can be known. ρ Can be easily calculated. In order to simplify the calculation, it is assumed that the reflection coefficients of the facial surface are all the same. The reflection coefficient of all the pixels forming the face under this assumption ρ And the average reflection coefficient value is divided by the total number of pixels (Step 220). A normal line n s at each pixel is calculated using Equation (3) (Step 230). At this time ρ The average calculated in step 220 ρ Value. This calculated ρ The average and normal n s are registered and stored (step 240). Counts the number of faces to be registered, and applies the steps from 200 to 240 for each face to complete the gallery registration. If you want to register 10 faces as a gallery, you need 30 images because there are 3 basis images to be input in 200 steps for one face.

도 3은 본 발명의 얼굴 인식 방법의 흐름도로서, 도 2와 같이 등록된 갤러리를 가진 얼굴 인식 시스템이 새로 인식하고자하는 얼굴 입력을 처리하는 얼굴 인식 방법은, 먼저 도 2에서 산출하여 등록한 각 갤러리의 ns의 평균을 구하는 것이다(300단계). 인식하고자 하는 대상(이하 프로브;probe)이 입력되면, 즉 인식하고자 하는 얼굴 사진(picture)이 한 장 입력되면, 얼굴의 밝기 I와 갤러리 등록시 구했던 평균 ρ 및 평균 ns를 이용하여, 최소자승 오차법으로 입력된 사진이 촬상된 조명 방향을 추정한다(310단계). 상술한 수학식 4로부터 아래의 수학식 5와 같은 관계식을 유도할 수 있다.3 is a flowchart of a face recognition method according to the present invention. In the face recognition method for processing a face input to be newly recognized by a face recognition system having a registered gallery as shown in FIG. 2, n s (step 300). When a subject to be recognized (hereinafter referred to as a probe) is input, that is, when a face image to be recognized is input, the brightness I of the face and the average ρ And the average n s , the illumination direction in which the photograph input by the least squares error method is imaged is estimated (step 310). From the above equation (4), the following equation (5) can be derived.

여기서, Ii는 인식하고자 하는 영상, 즉 프로브의 i번째 픽셀에서의 밝기값이고, m은 프로브 전체 영상의 픽셀 개수, nx는 추정하고자하는 빛의 방향, 그리고 ns i는 도 2의 갤러리 등록시 산출한 평균 영상의 i번째 픽셀에서의 법선을 의미한다. 수학식 6에 최소 자승 방법(least square method)을 적용하여, nx를 추정할 수 있다. 이렇게 추정된 빛의 방향과 도 2와 같이 하여 등록된 각자가 가진 ρ 평균 및 법선을 이용하여, 수학식 4에 적용하여, 등록된 갤러리 각각의 밝기를 다시 산출한다(320단계). 이것은 등록된 갤러리와 현재 입력된 프로브의 조명 조건을 동일하게 맞추기 위한 것이다. 이는 인식할 대상인 프로브와 비교대상인 갤러리의 조명 조건이 동일하지 않으면 같은 얼굴이라도 그 밝기에 차이가 나기 때문에 서로 다른 얼굴로 인식될 가능성이 있기 때문이다. 다시 산출된 각 갤러리의 밝기와 인식 대상인 프로브의 밝기를 비교하여 가장 차이가 적은 인식결과를 산출한다(330단계). 상술한, 조명 변화를 고려한 얼굴 인식 방법을 컴퓨터의 스크린 세이버(screen saver)나 보안 시스템(security system)에 적용할 수 있다. 가령 스크린 세이버의 경우, 기존의 것에서는 스크린 세이버를 해제하기 위해 패스워드를 입력하거나 사용자 입력을 감지하였으나, 본 발명의 얼굴 인식 방법을 사용하여 컴퓨터의 사용자의 얼굴을 갤러리로 등록한 후, 컴퓨터에 붙은 소정의 카메라로 그 컴퓨터를 사용하려는 사람의 얼굴을 입력받아 등록된 얼굴과 같은지를 인식하여 같은 얼굴이면 스크린 세이버를 해제하게 할 수 있다. 보안 시스템의 경우, 자동자 도난 방비, 사무실 문 잠금 장치등 보안을 요구하는 장소에 카메라를 설치하여 본 발명에 따른 갤러리 등록 및 그에 따른 얼굴 인식을 수행함으로써 사용자의 거부감없이 접근을 허/불허 할 수 있다.Here, I i is the image, that is, the brightness value of the i-th pixel of the probe to be recognized, m is a gallery in the direction of the light to be estimated is the pixel number, n x of the entire image probe, and n s i 2 FIG. Means the normal at the i-th pixel of the average image calculated at the time of registration. N x can be estimated by applying a least square method to Equation (6). The direction of the estimated light and the direction of the light ρ Using the average and the normal, the brightness of each of the registered galleries is again computed by applying Equation (4) (Step 320). This is to match the illumination conditions of the currently registered probe with the registered gallery. This is because, if the illumination condition of the probe to be recognized and the gallery to be compared are not the same, even the same face may be recognized as different faces because the brightness is different. The brightness of each gallery is compared with the brightness of the probe to be recognized, and the recognition result with the smallest difference is calculated (operation 330). The above-described face recognition method considering illumination change can be applied to a screen saver of a computer or a security system. For example, in the case of a screen saver, a password is inputted or a user input is detected in order to release a screen saver in the existing one. However, after the face of a user of the computer is registered as a gallery using the face recognition method of the present invention, The user can recognize the same face as the registered face by inputting the face of the person who intends to use the computer by using the camera of the computer, and can release the screen saver if the face is the same face. In the case of the security system, the camera is installed in a place requiring security such as automatic car security, office door locking device, etc., and registration of the gallery according to the present invention and face recognition are performed, .

본 발명에 의하면 조명의 변화를 고려함으로써 조명 변화가 심한 곳에서 얼굴 인식의 정확도가 높아지고 얼굴의 법선을 추출함으로써 얼굴 합성 분야에 쉽게 응용할 수 있다.According to the present invention, by considering the change of illumination, the accuracy of face recognition is increased at a place where illumination change is severe, and the normal of the face can be extracted to easily apply to the face synthesis field.

Claims (7)

얼굴 인식시 인식할 대상의 비교 자료가 되는 얼굴 영상(갤러리)을 등록하는 방법에 있어서,A method of registering a face image (gallery) serving as a comparison object of an object to be recognized upon face recognition, 등록하고자 하는 사람의 얼굴이 세가지 방향의 조명에 노출되어 촬상된 베이시스 이미지(basis image)를 입력받는 단계;Receiving a captured basis image by exposing a face of a person to be registered to illumination in three directions; 상기 베이시스 이미지에서 얼굴을 이루는 각 픽셀의 표면 반사기 계수 ρ 를 산출하는 단계;The surface reflector coefficients of each of the pixels forming the face in the basis image ρ ; 상기 각 픽셀에서의 ρ 에 대한 평균값을 산출하는 단계;In each pixel, ρ Calculating an average value for the average value; 상기 얼굴을 이루는 각 픽셀의 법선(surface normal)을 산출하는 단계; 및Calculating a surface normal of each pixel constituting the face; And 산출된 ρ 의 평균값과 상기 법선을 등록하여 저장하는 단계를 포함함을 특징으로 하는 얼굴 인식을 위한 갤러리 등록 방법.Calculated ρ And a step of registering and storing the normal line and the normal line. 제1항에 있어서, 상기 ρ 를 산출하는 방법은,The method according to claim 1, ρ Is calculated, 얼굴 사진 또는 영상이 람버시안 표면 모델(Lambertian surface model)이라 가정하여, 세 조명 방향에 대한 얼굴 밝기 벡터 I, 세 조명 방향 벡터 N을 사용하여 아래와 같은,Assuming that the face photograph or image is a Lambertian surface model, the face brightness vector I for the three illumination directions, and the three illumination direction vectors N, ρ =|N-1I| ρ = | N -1 I | 로 산출함을 특징으로 하는 얼굴 인식을 위한 갤러리 등록 방법.The method of claim 1, 제2항에 있어서, 상기 얼굴 표면의 법선 산출은,3. The method according to claim 2, 아래의 식과 같이,As shown in the following equation, 하여 산출함을 특징으로 하는 얼굴 인식을 위한 갤러리 등록 방법.And calculating a face image based on the face recognition result. 얼굴 인식 방법에 있어서,In the face recognition method, 등록하고자 하는 얼굴들(갤러리)의 이미지를 입력받아 각 얼굴 이미지의 픽셀의 표면 반사 계수 ρ 의 평균값 및 법선(surface normal) ns를 산출하여 저장하는 갤러리 등록 단계;The image of the face (gallery) to be registered is input, and the surface reflection coefficient ρ A normal registration step of calculating and storing an average value and a surface normal n s of the image; 상기 갤러리를 이루는 모든 얼굴의 법선 평균을 구하는 단계;Obtaining a normal average of all faces of the gallery; 상기 인식 대상인 얼굴 사진 밝기, 상기 ρ 의 평균값 및 상기 법선 평균을 이용하여 상기 입력된 얼굴 사진 촬상시 노출된 빛의 방향을 추정하는 단계;The face photograph brightness to be recognized, ρ Estimating a direction of light that is exposed at the time of capturing the input face image by using an average value of the face images and the normal line average; 상기 추정된 빛의 방향과 상기 등록되어 있는 갤러리의 ρ 및 법선을 이용하여 각 갤러리의 밝기를 다시 산출하는 단계; 및The direction of the estimated light and the direction of the registered gallery ρ And calculating a brightness of each gallery using a normal line; And 다시 산출된 각 갤러리의 밝기와 새로 입력된 사진의 얼굴 밝기를 비교하여 가장 유사한 갤러리를 찾음으로써 얼굴을 인식하는 단계를 포함함을 특징으로 하는 조명변화를 고려한 얼굴 인식 방법.And recognizing the face by comparing the brightness of each gallery and the face brightness of the newly input picture to find the most similar gallery. 제4항에 있어서, 상기 갤러리 등록 단계는,[5] The method of claim 4, 등록하고자 하는 사람의 얼굴이 세가지 방향의 조명에 노출되어 촬상된 베이시스 이미지(basis image)를 입력받는 단계;Receiving a captured basis image by exposing a face of a person to be registered to illumination in three directions; 상기 베이시스 이미지에서 얼굴을 이루는 각 픽셀의 표면 반사 계수 ρ 를 산출하는 단계;The surface reflection coefficient of each pixel forming the face in the basis image ρ ; 상기 각 픽셀에서의 ρ 에 대한 평균값을 산출하는 단계, 상기 얼굴을 이루는 각 픽셀의 법선(surface normal)을 산출하는 단계; 및In each pixel, ρ Calculating a surface normal of each pixel forming the face; And 산출된 ρ 의 평균값과 상기 법선을 등록하여 저장하는 단계를 거치는 얼굴 인식을 위한 갤러리 등록 단계를 포함함을 특징으로 하는 조명변화를 고려한 얼굴 인식 방법.Calculated ρ And registering the normals and registering the normals, and storing the registered normals. 제4항에 있어서, 상기 인식대상 사진 촬상시 노출된 빛의 방향을 추정하는 단계는,5. The method according to claim 4, wherein the step of estimating the direction of the exposed light at the time of picking- 상기 인식대상이 한 장의 사진으로 입력되므로 그 사진 영상의 각 픽셀에 대한 밝기 정보 I(x,y)를 얻고, 상기 갤러리들의 ρ 평균과 평균 법선 ns를 사용하여 최소자승법의 식에 적용하여 아래와 같은Since the recognition object is input as a single photograph, brightness information I (x, y) for each pixel of the photographic image is obtained, ρ Applying the mean and the average normal n s to the expression of the least squares method, I(x,y)=ρNns I (x, y) =? Nn s 조명의 방향 벡터 N을 얻음을 특징으로 하는 조명변화를 고려한 얼굴 인식 방법.And obtaining a direction vector N of the illumination. 제4항에 있어서, 상기 갤러리에 속한 얼굴들 각각의 밝기를 다시 산출하는 단계는,5. The method of claim 4, wherein calculating the brightness of each of the faces belonging to the gallery further comprises: 상기 ρ 평균과 상기 조명의 방향 벡터 N 및 상기 등록된 각자의 법선 ns를 사용하여 상기 수학식 4와 같은 밝기 I를 산출하는 단계임을 특징으로 하는 조명변화를 고려한 얼굴 인식 방법.remind ρ Mean the direction of the illumination vector N and a face recognition method considering an illumination change, it characterized in that the step of calculating the brightness I, such as the equation (4) using the normal n s of each of the registration.
KR1019980012628A 1998-04-09 1998-04-09 Robust face recognition system under varying illumination KR100287216B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019980012628A KR100287216B1 (en) 1998-04-09 1998-04-09 Robust face recognition system under varying illumination

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019980012628A KR100287216B1 (en) 1998-04-09 1998-04-09 Robust face recognition system under varying illumination

Publications (2)

Publication Number Publication Date
KR19990079823A true KR19990079823A (en) 1999-11-05
KR100287216B1 KR100287216B1 (en) 2001-04-16

Family

ID=37514972

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019980012628A KR100287216B1 (en) 1998-04-09 1998-04-09 Robust face recognition system under varying illumination

Country Status (1)

Country Link
KR (1) KR100287216B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100345245B1 (en) * 1999-09-22 2002-07-20 주식회사 드림미르 Method of Processing Face Recognition Robust to Illumination Change, Facial Expression or Eyewear
KR100647298B1 (en) * 2004-11-29 2006-11-23 삼성전자주식회사 Method and apparatus for processing image, and computer readable media for storing computer program considering light reflection
KR100756047B1 (en) * 2006-01-25 2007-09-07 한국인식산업(주) Apparatus for recognizing a biological face and method therefor
KR100876786B1 (en) * 2007-05-09 2009-01-09 삼성전자주식회사 System and method for verifying user's face using light masks
KR100893086B1 (en) * 2006-03-28 2009-04-14 (주)코아정보시스템 Method for detecting face robust to illumination change
KR100907597B1 (en) * 2007-12-05 2009-07-14 에스케이 텔레콤주식회사 Face recognition system and method based on lighting control, and apparatus and server applied thereto

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101844371B1 (en) 2014-03-19 2018-04-02 삼성전자주식회사 Method and apparatus for processing image

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100345245B1 (en) * 1999-09-22 2002-07-20 주식회사 드림미르 Method of Processing Face Recognition Robust to Illumination Change, Facial Expression or Eyewear
KR100647298B1 (en) * 2004-11-29 2006-11-23 삼성전자주식회사 Method and apparatus for processing image, and computer readable media for storing computer program considering light reflection
KR100756047B1 (en) * 2006-01-25 2007-09-07 한국인식산업(주) Apparatus for recognizing a biological face and method therefor
KR100893086B1 (en) * 2006-03-28 2009-04-14 (주)코아정보시스템 Method for detecting face robust to illumination change
KR100876786B1 (en) * 2007-05-09 2009-01-09 삼성전자주식회사 System and method for verifying user's face using light masks
KR100907597B1 (en) * 2007-12-05 2009-07-14 에스케이 텔레콤주식회사 Face recognition system and method based on lighting control, and apparatus and server applied thereto

Also Published As

Publication number Publication date
KR100287216B1 (en) 2001-04-16

Similar Documents

Publication Publication Date Title
US10102427B2 (en) Methods for performing biometric recognition of a human eye and corroboration of same
US6404900B1 (en) Method for robust human face tracking in presence of multiple persons
JP5955133B2 (en) Face image authentication device
US7715596B2 (en) Method for controlling photographs of people
JP2000306095A (en) Image collation/retrieval system
US11341348B2 (en) Hand biometrics system and method using digital fingerprints
JP6822482B2 (en) Line-of-sight estimation device, line-of-sight estimation method, and program recording medium
JP7192872B2 (en) Iris authentication device, iris authentication method, iris authentication program and recording medium
CN113033519A (en) Living body detection method, estimation network processing method, device and computer equipment
KR100347058B1 (en) Method for photographing and recognizing a face
US11354924B1 (en) Hand recognition system that compares narrow band ultraviolet-absorbing skin chromophores
US20240169763A1 (en) Compact system and method for iris recognition
KR100287216B1 (en) Robust face recognition system under varying illumination
US7653219B2 (en) System and method for image attribute recording an analysis for biometric applications
US11568683B2 (en) Facial biometrics system and method using digital fingerprints
JP2012238111A (en) Face image recognition device and face image recognition program
CN112711968A (en) Face living body detection method and system
JP7103443B2 (en) Information processing equipment, information processing methods, and programs
CN112906613A (en) Identity information acquisition method and device
PETERSEN CHAPTER FOURTEEN 3D FINGERPRINTS: A SURVEY WEI ZHOU, 1 JIANKUN HU, 1,* SONG WANG, 2
He et al. A Trend for Face Recognition

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090112

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee