KR100571800B1

KR100571800B1 - Method and apparatus for face recognition based on hierarchical Principal Component Analysis

Info

Publication number: KR100571800B1
Application number: KR1020010014302A
Authority: KR
Inventors: 기석철; 이경무
Original assignee: 삼성전자주식회사
Priority date: 2001-03-20
Filing date: 2001-03-20
Publication date: 2006-04-17
Also published as: KR20020074330A

Abstract

계층적 주요 성분 분석에 기반한 얼굴 인식 방법 및 장치가 개시된다. 이 방법은 n(여기서, n은 고유벡터의 수)을 '1'로 설정하는 단계와, 데이타 베이스화되어 있는 학습된 얼굴 영상과 입력 얼굴 영상을 n차원 고유 공간에 투영시켜 고유 벡터와 고유값을 구하는 (b) 단계와, n개의 고유벡터에 대하여 학습된 얼굴 영상과 입력 얼굴 영상간의 유클리디언 거리를 구하는 단계와, 유클리디언 거리를 이용하여 P_n-1%의 학습 벡터들로 이루어진 집합에서 입력 얼굴 영상과 유사한 P_n%의 학습 벡터들로 이루어진 집합을 추출하는 단계와, P_n%의 학습 벡터들로 이루어진 집합에 남겨진 학습벡터의 수가 하나인가를 판단하는 단계와, P_n%의 학습 벡터들로 이루어진 집합에 남겨진 학습벡터의 수가 하나가 아니라고 판단되면, n을 1만큼 증가시키고, (b) 단계로 진행하는 단계 및 P_n%의 학습 벡터들로 이루어진 집합에 남겨진 학습벡터의 수가 하나라고 판단되면, 남겨진 하나의 학습벡터에 해당하는 학습된 얼굴 영상을 입력 얼굴 영상과 가장 유사한 영상으로서 결정하는 단계를 구비하는 것을 특징으로 한다. 그러므로, 계산량이 줄어들고 정합 성능이 향상되는 효과를 갖는다.Disclosed are a face recognition method and apparatus based on hierarchical principal component analysis. This method sets n (where n is the number of eigenvectors) to '1' and projects the eigenvectors and eigenvalues by projecting the learned face images and the input face images, which are databased, into the n-dimensional eigenspace. (B) obtaining a step, obtaining a Euclidean distance between the learned face image and the input face image for n eigenvectors, and using the Euclidean distance, a set of learning vectors of P _n-1 %. in the steps of the, P _n% to determined whether a number of learning vector left in the set consisting of the learning vector in P _n% of extracting a set consisting of the learning vector in P _n% similar to the input face image If it is determined that the number of learning vectors left in the set of learning vectors is not one, increase n by 1, proceed to step (b), and determine the number of learning vectors left in the set of learning vectors of P _n %. And if it is determined that the number is one, determining the learned face image corresponding to the left one learning vector as the image most similar to the input face image. Therefore, the calculation amount is reduced and the matching performance is improved.

Description

Method and apparatus for face recognition based on hierarchical principal component analysis

도 1은 본 발명에 의한 계층적 주요 성분 분석에 기반한 얼굴 인식 방법을 설명하기 위한 플로우차트이다.1 is a flowchart illustrating a face recognition method based on hierarchical principal component analysis according to the present invention.

도 2는 도 1에 도시된 얼굴 인식 방법을 수행하는 본 발명에 의한 얼굴 인식 장치의 블럭도이다.2 is a block diagram of a face recognition apparatus according to the present invention for performing the face recognition method shown in FIG.

도 3은 학습된 얼굴 영상을 구하는 본 발명에 의한 얼굴 인식 방법을 설명하기 위한 플로우차트이다.3 is a flowchart illustrating a face recognition method according to the present invention for obtaining a learned face image.

도 4는 입력 얼굴 영상을 구하는 본 발명에 의한 얼굴 인식 방법을 설명하기 위한 플로우차트이다.4 is a flowchart illustrating a face recognition method according to the present invention for obtaining an input face image.

도 5 (a) 및 (b)들은 얼굴 영상을 1차원 고유 공간에 투영시키는 것을 설명하기 위한 예시적인 도면이다.5 (a) and 5 (b) are exemplary diagrams for explaining projecting a face image in a one-dimensional unique space.

도 6 (a) 및 (b)들은 얼굴 영상을 2차원 고유 공간에 투영시키는 것을 설명하기 위한 예시적인 도면이다.6 (a) and 6 (b) are exemplary diagrams for explaining projecting a face image in a two-dimensional unique space.

도 7은 고유값의 크기에 따른 고유 벡터의 분포를 나타내는 그래프이다.7 is a graph illustrating a distribution of eigenvectors according to magnitudes of eigenvalues.

도 8은 동일 계산량에서의 본 발명과 종래의 얼굴 인식 성능을 비교하는 그 래프이다.8 is a graph comparing the present invention and conventional face recognition performance at the same calculation amount.

본 발명은 얼굴 인식에 관한 것으로서, 특히 계층적 주요 성분 분석에 기반한 얼굴 인식 방법 및 장치에 관한 것이다.The present invention relates to face recognition, and more particularly, to a face recognition method and apparatus based on hierarchical principal component analysis.

주요 성분 분석(PCA:Principal Component Analysis)에 기반하여 얼굴을 인식하는데 이용될 수 있는 종래의 방법이 "Detection, recognition and coding of complex objects using probabilistic eigenspace analysis"라는 제목의 미국 특허 번호 US5,710,833에 개시되어 있다. 개시된 종래의 특허는 영상 자체가 갖는 고유 정보의 손실을 최소화하면서 KL(Karhanen-Loeve) 변환을 이용하여 영상 데이타를 저 차원 고유 벡터 공간으로 투영시켜 정보를 축소시킨다. 그러나, 고유 벡터 공간으로 영상 데이타를 투영시킬 때, 종래에는 비효율적인 상관(correlation) 방법을 사용하기 때문에 계산량을 증가시킨다.Conventional methods that can be used to recognize faces based on Principal Component Analysis (PCA) are disclosed in US Pat. No. US 5,710,833 entitled "Detection, recognition and coding of complex objects using probabilistic eigenspace analysis". It is. The disclosed conventional patent reduces image information by projecting the image data into a low dimensional eigenvector space using a Karhanen-Loeve (KL) transform while minimizing the loss of inherent information of the image itself. However, when projecting image data into the eigenvector space, the computation amount is increased because the conventional inefficient correlation method is used.

이 때, 얼굴 영상을 인식하기 위해 PCA를 이용하는 종래의 다른 방법은 계산량을 감소시키기 위해 너무 낮은 차원에서 정합을 수행함으로 인해 상세한 정보를 손실하여 오정합 가능성을 상대적으로 증가시키는 문제점을 갖는다. 즉, 투영되어 얻어진 상위 p%만의 벡터들만을 가지고 영상을 인식하므로 계산량을 많이 줄일 수 있지만, 고 차원에서의 정합을 무시함에 따라 잘못된 정합을 일으키는 가능성을 많이 갖는다. 한편, 정합 성능을 개선하기 위하여 고차원의 정합을 수행하면 많은 계 산량으로 인한 인식 속도 저하의 문제가 발생한다.At this time, another conventional method using PCA for recognizing a face image has a problem of losing detailed information due to performing matching at too low a dimension to reduce the amount of calculation, thereby increasing the possibility of mismatching relatively. That is, since the image is recognized using only the vectors of only the upper p% obtained by projecting, the computational amount can be greatly reduced, but there is a high possibility of causing incorrect matching by ignoring the matching in the high dimension. On the other hand, if the high-level matching is performed to improve the matching performance, a problem of recognition speed decrease due to a large amount of calculation occurs.

본 발명이 이루고자 하는 기술적 과제는, 학습된 영상을 저 차원에서 고 차원으로 계층적으로 검색할 때 각 차원에서 검색되는 데이타의 수를 해당하는 고유값(eigen value)의 유사도에 비례하도록 하여 계산량과 정합 성능을 동시에 향상시킨 계층적 주요 성분 분석에 기반한 얼굴 인식 방법을 제공하는 데 있다.The technical problem to be solved by the present invention is to calculate the number of data retrieved in each dimension in the hierarchical order from low to high dimension in proportion to the similarity of the corresponding eigen value The present invention aims to provide a face recognition method based on hierarchical principal component analysis that simultaneously improves matching performance.

본 발명이 이루고자 하는 다른 기술적 과제는, 상기 얼굴 인식 방법을 수행하는 계층적 주요 성분 분석에 기반한 얼굴 인식 장치를 제공하는 데 있다.Another object of the present invention is to provide a face recognition apparatus based on hierarchical principal component analysis for performing the face recognition method.

상기 과제를 이루기 위한 본 발명에 의한 계층적 주요 성분 분석에 기반한 얼굴 인식 방법은, n(여기서, n은 고유벡터의 수)을 '1'로 설정하는 단계와, 데이타 베이스화되어 있는 학습된 얼굴 영상과 입력 얼굴 영상을 n차원 고유 공간에 투영시켜 고유 벡터와 고유값을 구하는 (b) 단계와, n개의 고유벡터에 대하여 학습된 얼굴 영상과 입력 얼굴 영상간의 유클리디언 거리를 구하는 단계와, 유클리디언 거리를 이용하여 P_n-1%의 학습 벡터들로 이루어진 집합에서 입력 얼굴 영상과 유사한 P_n%의 학습 벡터들로 이루어진 집합을 추출하는 단계와, P_n%의 학습 벡터들로 이루어진 집합에 남겨진 학습벡터의 수가 하나인가를 판단하는 단계와, P_n%의 학습 벡터들로 이루어진 집합에 남겨진 학습벡터의 수가 하나가 아니라고 판단되면, n을 1만큼 증가시키고, (b) 단계로 진행하는 단계 및 P_n%의 학습 벡터들로 이루어진 집합에 남겨진 학습벡터의 수가 하나라고 판단되면, 남겨진 하나의 상기 학습벡터에 해당하는 상기 학습된 얼굴 영상을 상기 입력 얼굴 영상과 가장 유사한 영상으로서 결정하는 (g) 단계로 이루어지는 것이 바람직하다.The face recognition method based on hierarchical principal component analysis according to the present invention for achieving the above object, the step of setting n (where n is the number of eigenvectors) to '1', and the database of the learned face image And (b) obtaining an eigenvector and an eigenvalue by projecting the input face image into an n-dimensional eigenspace, and obtaining the Euclidean distance between the learned face image and the input face image for n eigenvectors. Extracting a set of learning vectors of P _n % similar to the input face image from the set of learning vectors of P _n-1 % using the cleadian distance, and a set of learning vectors of P _n % When the step of determining the number is a learning Vector left on, determined that the number of one of the learning vector left in the set made up of a learning vector P _n%, and increases the n by 1, (b) When to step determines that the number of learning vector left in the set consisting of the steps of progress and learning vector in P _n% one, the learning face image that corresponds to the one of the learning vector remained as the most similar image and the input face image It is preferable that it consists of the (g) step of determining.

상기 다른 과제를 이루기 위한 본 발명에 의한 계층적 주요 성분 분석에 기반한 얼굴 인식 장치는, 제어 신호에 응답하여 상향 카운팅하고, 카운팅된 결과를 상기 n으로서 출력하는 카운터와, 상기 학습된 얼굴 영상과 상기 입력 얼굴 영상을 임의의 상기 n차원 고유 공간에 투영시켜 생성한 고유 벡터와 고유값을 출력하는 영상 투영부와, 상기 영상 투영부로부터 출력되는 상기 고유값으로부터 상기 유클리디언 거리를 계산하고, 계산된 유클리디언 거리를 출력하는 거리 계산부와, 상기 거리 계산부로부터 입력한 상기 유클리디언 거리로부터 P_n-1%의 벡터들로 이루어진 집합에서 상기 입력 얼굴 영상과 가장 유사한 P_n%의 벡터들로 이루어진 집합을 추출하는 유사 벡터 추출부와, 상기 P_n%의 벡터들로 이루어진 집합에 남겨진 학습벡터의 수가 하나인가를 검사하고, 검사된 결과에 응답하여 상기 제어 신호를 발생하는 제어부 및 상기 제어 신호에 응답하여, 남겨진 하나의 상기 학습벡터에 해당하는 상기 학습된 얼굴 영상을 입력하여 상기 입력 얼굴 영상과 가장 유사한 영상으로서 출력하는 영상 결정부로 구성되는 것이 바람직하다.According to an aspect of the present invention, there is provided a face recognition apparatus based on hierarchical principal component analysis according to an embodiment of the present invention, including: a counter that counts up in response to a control signal and outputs a counted result as n, the learned face image, Calculates and calculates the Euclidean distance from an eigenvector generated by projecting an input face image into the n-dimensional eigenspace and an eigenvalue output from the eigenvalue output from the image projector; the Euclidean outputting a distance calculation section and the distance calculator which the Euclidean distance vector in P _n% is most similar to the input face image from a set consisting of the vectors P _n-1% from the input from the the similarity vector for extracting a set consisting of the extraction unit, the number of learning vector left in the set consisting of the vector of the P _n% a The control unit generates the control signal in response to the checked result and the learned face image corresponding to the left one learning vector in response to the control signal, and inputs the most similar image to the input face image. It is preferable that it is comprised by the image determination part which outputs.

이하, 본 발명에 의한 계층적 주요 성분 분석에 기반한 얼굴 인식 방법과 그 방법을 수행하는 본 발명에 의한 얼굴 인식 장치의 구성 및 동작을 첨부한 도면들을 참조하여 다음과 같이 설명한다.Hereinafter, a face recognition method based on hierarchical principal component analysis according to the present invention, and a configuration and operation of a face recognition device according to the present invention for performing the method will be described with reference to the accompanying drawings.

도 1은 본 발명에 의한 계층적 주요 성분 분석에 기반한 얼굴 인식 방법을 설명하기 위한 플로우차트로서, 최소의 유클리디언 거리를 구하여 남은 한개의 학습벡터로부터 입력 얼굴 영상과 유사한 학습된 얼굴 영상을 구하는 단계(제10 ∼ 제22 단계들)로 이루어진다.FIG. 1 is a flowchart illustrating a face recognition method based on hierarchical principal component analysis according to the present invention, wherein a minimum Euclidean distance is obtained to obtain a learned face image similar to an input face image from a remaining learning vector. It consists of steps (10th to 22nd steps).

도 2는 도 1에 도시된 얼굴 인식 방법을 수행하는 본 발명에 의한 얼굴 인식 장치의 블럭도로서, 카운터(40), 영상 투영부(42), 거리 계산부(44), 유사 벡터 추출부(46), 제어부(48) 및 영상 결정부(50)로 구성된다.2 is a block diagram of a face recognition apparatus according to the present invention for performing the face recognition method shown in FIG. 1, which includes a counter 40, an image projector 42, a distance calculator 44, and a similar vector extractor ( 46), and a control unit 48 and an image determination unit 50.

도 1에 도시된 본 발명에 의한 얼굴 인식 방법은 먼저, n(여기서, 1≤n≤k, k는 고유벡터의 수)을 '1'로 설정한다(제10 단계). 제10 단계후에, 주요 성분 분석(PCA) 공간상으로 변환된 미리 학습되어 데이타 베이스화되어 있는 학습된 얼굴 영상과 PCA 공간상으로 변환된 인식 대상이 되는 입력 얼굴 영상을 임의의 n차원 고유 공간(eigen space)에 투영시켜 고유 벡터(eigen vector)와 고유값을 구한다(제12 단계). 이를 위해, 제어부(48)로부터 출력되는 제어 신호에 응답하여 상향 카운팅하고, 카운팅된 결과를 n으로서 영상 투영부(42)로 출력하는 카운터(40)가 마련될 수 있다. 이 때, 제10 단계를 수행하기 위해, 카운터(40)는 초기 상태에서 '1'로 설정되고, 설정된 '1'을 n으로서 영상 투영부(42)로 출력한다. 또한, 제12 단계를 수행하기 위해, 영상 투영부(42)는 입력단자 IN1을 통해 입력된 학습된 얼굴 영상과 입력단자 IN2를 통해 입력된 입력 얼굴 영상을 임의의 n차원 고유 공간에 투영시켜 생성한 고유 벡터와 고유값을 거리 계산부(44)로 출력한다.The face recognition method according to the present invention shown in FIG. 1 first sets n (where 1 ≦ n ≦ k and k is the number of eigenvectors) to '1' (step 10). After the tenth step, an arbitrary n-dimensional eigen space is obtained by using a pre-learned, database-based trained face image transformed into PCA space and an input face image to be recognized as transformed into PCA space. projecting in space to obtain an eigen vector and an eigenvalue (step 12). To this end, a counter 40 may be provided that counts up in response to the control signal output from the controller 48 and outputs the counted result to the image projector 42 as n. At this time, in order to perform the tenth step, the counter 40 is set to '1' in the initial state, and outputs the set '1' as n to the image projector 42. In addition, in order to perform the twelfth step, the image projector 42 generates the learned face image input through the input terminal IN1 and the input face image input through the input terminal IN2 in an arbitrary n-dimensional unique space. An eigenvector and an eigenvalue are output to the distance calculator 44.

이하, 도 2에 입력단자 IN1 및 IN2를 통해 각각 입력되는 학습된 얼굴 영상과 입력 얼굴 영상을 구하는 본 발명에 의한 얼굴 인식 방법을 첨부한 도면들을 참조하여 다음과 같이 설명한다.Hereinafter, a face recognition method according to an exemplary embodiment of the present invention for obtaining a learned face image and an input face image respectively input through the input terminals IN1 and IN2 will be described with reference to the accompanying drawings.

도 3은 학습된 얼굴 영상을 구하는 본 발명에 의한 얼굴 인식 방법을 설명하기 위한 플로우차트로서, 정규화 및 PCA 변환을 통해 학습된 얼굴 영상을 구하는 단계들(제60 ∼ 제68 단계들)로 이루어진다.3 is a flowchart illustrating a face recognition method according to an embodiment of the present invention for obtaining a learned face image, and includes steps (steps 60 to 68) of obtaining a learned face image through normalization and PCA transformation.

도 3을 참조하면, 학습된 얼굴 영상을 얻기 위해, 먼저, 인식하고자 하는 N(여기서, N≥k 이다.)명의 얼굴을 포함하는 학습될 얼굴 영상을 준비한다(제60 단계). 제60 단계후에, 준비된 학습될 얼굴 영상에서 얼굴 부분의 영역과 눈 중심점의 위치를 찾는다(제62 단계). 제62 단계후에, 눈 중심점의 위치를 기준으로 얼굴 부분의 영역을 동일한 포즈(pose)와 크기로 정규화한다(제64 단계). 제64 단계후에, 정규화된 결과를 PCA 공간상으로 변환한다(제66 단계). 제66 단계후에, PCA 공간상으로 변환된 모든 결과를 k차원의 고유벡터로 표현하여 각 k차원의 고유벡터를 하나의 학습된 얼굴 영상으로서 등록하고 제12 단계로 진행한다.Referring to FIG. 3, in order to obtain a learned face image, first, a face image to be learned including N (here, N ≧ k) faces to be recognized is prepared (step 60). After step 60, the location of the face portion and the eye center point are found in the prepared face image to be learned (step 62). After step 62, the area of the face part is normalized to the same pose and size based on the position of the eye center point (step 64). After step 64, the normalized result is converted into PCA space (step 66). After operation 66, all the transformed results in the PCA space are represented by k-dimensional eigenvectors, and each k-dimensional eigenvector is registered as one learned face image.

도 4는 입력 얼굴 영상을 구하는 본 발명에 의한 얼굴 인식 방법을 설명하기 위한 플로우차트로서, 정규화 및 PCA 변환을 통해 입력 얼굴 영상을 구하는 단계(제80 ∼ 제86 단계들)로 이루어진다.FIG. 4 is a flowchart for describing a face recognition method according to an embodiment of the present invention for obtaining an input face image, and includes obtaining the input face image through normalization and PCA conversion (steps 80 to 86).

도 4를 참조하면, 입력 얼굴 영상을 구하기 위해, 먼저, 현재 인식 대상이 될 하나의 얼굴을 포함하는 영상을 준비한다(제80 단계). 제80 단계후에, 준비된 영상에서 얼굴 부분의 영역과 눈 중심점의 위치를 찾는다(제82 단계). 제82 단계후에, 눈 중심점의 위치를 기준으로 얼굴 부분의 영역을 동일한 포즈와 크기로 정규화한다(제84 단계). 제84 단계후에, 정규화된 결과를 PCA 공간상으로 변환하고, 변환된 결과를 입력 얼굴 영상으로서 결정한 후에, 제10 단계로 진행한다.Referring to FIG. 4, in order to obtain an input face image, first, an image including one face to be currently recognized is prepared (operation 80). After operation 80, the position of the region of the face and the location of the eye center point are found in the prepared image (operation 82). After operation 82, the area of the face part is normalized to the same pose and size based on the position of the eye center point (operation 84). After step 84, the normalized result is converted into PCA space, and after the converted result is determined as an input face image, the flow proceeds to step 10.

한편, 전술한 바와 같이 제12 단계가 수행된 후에, 거리 계산부(44)는 영상 투영부(42)로부터 출력되는 n차원의 고유벡터를 이용하여 학습된 얼굴 영상과 입력 얼굴 영상간의 유클리디언 거리를 계산하고, 계산된 유클리디언 거리(E_n)를 유사 벡터 추출부(46)로 출력한다(제14 단계).On the other hand, after the twelfth step is performed as described above, the distance calculation unit 44 is Euclidean between the face image learned and the input face image using the n-dimensional eigenvectors output from the image projector 42 The distance is calculated, and the calculated Euclidean distance E _n is output to the pseudo vector extraction unit 46 (step 14).

제14 단계후에, 유사 벡터 추출부(46)는 거리 계산부(44)로부터 입력한 유클리디언 거리(E_n)값이 가까운 P_n-1%의 학습 벡터들로 이루어진 집합에서 입력 얼굴 영상과 가장 유사한 P_n%의 학습 벡터들로 이루어진 벡터 집합을 추출한다(제16 단계). 예컨데, P_n-1%의 학습 벡터들의 집합을 D_n-1이라고 할 때, n차원 공간에서는 이들 P_n-1%의 학습 벡터 집합에 포함된 학습 벡터들에 대해서만 검색을 수행한다.After the fourteenth step, the pseudo-vector extractor 46 is connected to the input face image from the set of learning vectors of P _n-1 % close to the Euclidean distance E _n inputted from the distance calculator 44. A vector set of learning vectors of the most similar P _n % is extracted (step 16). For example, when a set of P _n-1 % learning vectors is referred to as D _n-1 , a search is performed only on the learning vectors included in the set of P _n-1 % learning vectors in the _n- dimensional space.

제16 단계후에, 제어부(48)는 유사 벡터 추출부(46)로부터 출력되는 P_n%의 학습 벡터들로 이루어진 집합에 남겨진 학습벡터의 수가 하나인가를 검사하고, 검사된 결과에 응답하여 생성한 제어 신호를 카운터(40) 및 영상 결정부(50)로 각각 출력한다(제18 단계).After the sixteenth step, the controller 48 checks whether the number of the learning vectors left in the set of the learning vectors of P _n % output from the pseudo vector extraction unit 46 is one, and generates the response vector in response to the checked result. The control signal is output to the counter 40 and the image determining unit 50, respectively (step 18).

만일, 유사 벡터 추출부(46)로부터 출력되는 P_n%의 학습 벡터들로 이루어진 집합에 남겨진 학습벡터의 수가 하나가 아니라고 판단될 경우, 제어부(48)는 제어 신호를 발생하여 n이 1만큼 증가되도록 카운터(40)를 상향 카운팅시킨다(제20 단계). 이 때, 제20 단계에서 P_n=λ_n/λ_max(여기서, λ는 고유값을 의미한다.)가 된다.If it is determined that the number of learning vectors left in the set of P _n % learning vectors output from the pseudo vector extraction unit 46 is not one, the control unit 48 generates a control signal and n increases by one. The counter 40 is counted upward as much as possible (20th step). At this time, P _n = λ _n / λ _max (where λ means an eigenvalue) in a twentieth step.

따라서, 제18 단계에서 학습된 얼굴 영상으로서 등록된 학습벡터가 한 개만 존재할 때까지 제12 ∼ 제20 단계들이 반복적으로 수행된다. 이는, 상향 카운팅된 결과가 카운터(40)로부터 영상 투영부(42)로 출력될 때마다 영상 투영부(42), 거리 계산부(44), 유사 벡터 추출부(46) 및 제어부(48)가 제12, 제14, 제16 및 제18 단계를 각각 수행하도록 하므로서 가능해진다.Therefore, steps 12 to 20 are repeatedly performed until only one learning vector registered as the face image learned in step 18 exists. This means that whenever the upward counted result is output from the counter 40 to the image projector 42, the image projector 42, the distance calculator 44, the similar vector extractor 46, and the controller 48 are separated. This is made possible by performing the twelfth, fourteenth, sixteenth and eighteenth steps, respectively.

그러나, 유사 벡터 추출부(46)에서 추출된 P_n%의 학습 벡터들로 이루어진 집합에 남겨진 학습벡터의 수가 하나라고 판단될 경우, 제어부(48)로부터 출력되는 제어 신호에 응답하여, 영상 결정부(50)는 남겨진 하나의 학습벡터에 해당하며 입력단자 IN1을 통해 입력된 학습된 얼굴 영상을 입력 얼굴 영상과 가장 유사한 영상으로서 결정하여 출력단자 OUT를 통해 출력한다(제22 단계). 결국, n이 증가할 수록 학습 벡터들로 이루어진 집합(D_n)에 포함된 학습벡터의 수는 순차적으로 감소하게 되고, 최종적인 벡터 집합(D_n)에는 하나의 학습벡터만이 존재하게 됨을 알 수 잇다.However, when it is determined that the number of learning vectors left in the set of learning vectors of P _n % extracted by the similar vector extracting unit 46 is one, the image determining unit in response to the control signal output from the control unit 48 is determined. Reference numeral 50 denotes a left learning vector and determines the learned face image input through the input terminal IN1 as the image most similar to the input face image and outputs it through the output terminal OUT (step 22). As a result, as n increases, the number of learning vectors included in the set of learning vectors D _n decreases sequentially, and only one learning vector exists in the final vector set D _n . Can be.

본 발명의 이해를 돕기 위해, 도 1 및 도 2에 도시된 본 발명에 의한 얼굴 인식 방법 및 장치를 첨부한 도면들을 참조하여 다음과 같이 설명한다.For better understanding of the present invention, a face recognition method and apparatus according to the present invention shown in FIGS. 1 and 2 will be described below with reference to the accompanying drawings.

도 5 (a) 및 (b)들은 얼굴 영상을 1차원(n=1) 고유 공간에 투영시키는 것을 설명하기 위한 예시적인 도면이다. 여기서, x는 얼굴 영상을 나타낸다.5A and 5B are exemplary diagrams for describing projecting a face image in a one-dimensional (n = 1) eigenspace. Here, x represents a face image.

도 6 (a) 및 (b)들은 얼굴 영상을 2차원(n=2) 고유 공간에 투영시키는 것을 설명하기 위한 예시적인 도면이다.6 (a) and 6 (b) are exemplary diagrams for explaining projecting a face image in a two-dimensional (n = 2) unique space.

먼저, n=1인 경우, 도 1에 도시된 제12 단계는 도 5 (a)에 도시된 얼굴 영상을 도 5 (b)에 도시된 바와 같이 1차원 고유 공간에 투영한다. 이 때, 제14 단계를 수행하여 구한 유클리디언 거리로부터 P₁% 학습벡터 집합이 제16 단계에서 추출되고, 추출된 P₁%의 학습벡터 집합에 존재하는 학습벡터의 수가 한 개 보다 많다고 제18 단계에서 판단되어, 제20 단계에서 n이 2로 증가된다.First, when n = 1, the twelfth step shown in FIG. 1 projects the face image shown in FIG. 5 (a) into a one-dimensional eigenspace as shown in FIG. 5 (b). At this time, the P ₁ % learning vector set is extracted from the Euclidean distance obtained by performing step 14, and the number of learning vectors present in the extracted P ₁ % learning vector set is greater than one. Determined in step 18, n is increased to 2 in step 20.

n=2로 된 다음, 제12 단계를 수행하기 위해, 영상 투영부(42)는 도 6 (a)에 도시된 영상을 다시 도 6 (b)에 도시된 바와 같이 2차원 고유 공간으로 투영한다. 이 때, 제14 단계를 수행하여 구한 유클리디언 거리로부터 P₂%의 학습벡터 집합이 제16 단계에서 추출되고, P₂%의 학습벡터 집합에 존재하는 학습벡터의 수가 도 6 (b)에 도시된 바와 같이 한개 남아있다고 제18 단계에서 판단되면, 즉, 최종적으로 최소의 유클리디언 거리를 갖는 원(90)이 발견되면, 남아 있는 한 개의 학습벡터에 해당하는 학습된 얼굴 영상이 입력 얼굴 영상과 가장 유사한 영상으로 결정된다.After n = 2, in order to perform the twelfth step, the image projector 42 projects the image shown in FIG. 6 (a) again into a two-dimensional eigenspace as shown in FIG. 6 (b). . At this time, the training vector set of P ₂ % is extracted from the Euclidean distance obtained by performing the fourteenth step in step 16, and the number of training vectors present in the training vector set of P ₂ % is shown in FIG. If it is determined in step 18 that one remains as shown, that is, if a circle 90 having a minimum Euclidean distance is finally found, the learned face image corresponding to the remaining learning vector is input face. The image is most similar to the image.

결국, 도 1 및 도 2에 도시된 본 발명에 의한 얼굴 인식 방법 및 장치는 PCA를 통해 얻어진 고유 벡터를 고유값에 따라 그 중요도 순으로 정렬하고, 저 차원으로부터 고 차원으로 고유공간을 단계적으로 차원을 이동해가면서 정합(matching)을 수행한다. 여기서, PCA를 이용하여 얻어진 고유 벡터들이 그들의 고유값에 의존하여 중요도가 결정되는 이유를 살펴보면 다음과 같다.As a result, the method and apparatus for face recognition according to the present invention shown in FIGS. 1 and 2 arrange the eigenvectors obtained through the PCA in order of their importance according to the eigenvalues, and gradually dimension the eigenspace from low dimension to high dimension. Matching is performed by moving. Here, the reasons why the eigenvectors obtained using the PCA are determined based on their eigenvalues are as follows.

도 7은 고유값의 크기에 따른 고유 벡터의 분포를 나타내는 그래프로서, 횡축은 고유 벡터의 수를 나타내고 종축은 고유값을 각각 나타낸다.7 is a graph showing the distribution of eigenvectors according to the magnitude of the eigenvalues, where the horizontal axis represents the number of eigenvectors and the vertical axis represents the eigenvalue, respectively.

일반적으로 고유값이 높은 고유 벡터는 그 영상에서 상대적으로 중요한 정보를 갖게 되고, 고유값이 낮은 벡터는 상대적으로 중요도가 낮은 정보를 갖게 된다. 왜냐하면, 도 7에 도시된 바와 같이, 대부분의 에너지는 상위 몇 개(약 20%)의 고유값들이 차지하고 있기 때문이다. 따라서, 높은 고유값을 갖는 소수의 상위 고유 벡터들만을 사용한 저 차원 공간으로 원래의 입력 얼굴 영상 벡터들을 투영하여 비교해도 많은 정보 손실없이 비교적 정확한 정합이 이루어질 수 있다.In general, eigenvectors with high eigenvalues have relatively important information in the image, and vectors with low eigenvalues have relatively low importance. Because, as shown in Figure 7, most of the energy is occupied by the top few (about 20%) eigenvalues. Accordingly, even when the original input face image vectors are compared and projected into a low dimensional space using only a few upper eigenvectors having a high eigenvalue, a relatively accurate matching can be achieved without much information loss.

그럼에도 불구하고, 본 발명에서는 잘못된 정합의 가능성을 줄이기 위해, 저 차원으로부터 고 차원으로 계층적으로 학습된 얼굴영상의 고유벡터들 즉, 학습벡터를 검색해간다. 또한, 본 발명에 의한 얼굴 인식 방법 및 장치는 종래의 방법과 달리, 각 차원에서 소수의 정합 후보만을 선별적으로 선택하므로써 전체적인 계산량과 정합 성능을 향상시켰다. 예컨데, 얼굴 영상을 인식하기 위해서, 본 발명에 의한 계층적 PCA를 이용할 때와, 종래와 같이 정규화된 상관(normalized correlation) 또는 PCA를 이용할 때의 계산량을 살펴보면 다음과 같다.Nevertheless, the present invention searches for eigenvectors, that is, learning vectors, of face images hierarchically learned from low to high dimensions in order to reduce the possibility of mismatching. In addition, unlike the conventional method, the face recognition method and apparatus according to the present invention improve the overall calculation amount and matching performance by selectively selecting only a few matching candidates in each dimension. For example, in order to recognize a face image, a calculation amount when using hierarchical PCA according to the present invention and when using normalized correlation or PCA as in the prior art is as follows.

영상의 크기가 M이라고 할 때, 먼저 종래의 정규화된 상관을 이용할 경우의 계산량은 O(M²×N)이고, 종래의 PCA를 이용할 경우의 계산량은 O(k×M² + k×N)가 되는 반면, 본 발명에 의한 계층적 PCA를 이용할 경우의 계산량은 O(k×M² + N×Λ) 가 된다. 여기서, O는 차수(Order)를 나타내며 ( )의 주 인자(main factor)에 의해 곱셈의 수가 거의 정해지며, Λ는 다음 수학식 1과 같이 표현된다.When the size of the image is M, first, the amount of calculation using the conventional normalized correlation is O (M ² × N), and the amount of calculation using the conventional PCA is O (k × M ² + k × N). On the other hand, the calculation amount in the case of using hierarchical PCA according to the present invention is O (k × M ² + N × Λ). Here, O represents the order (Order), and the number of multiplications is almost determined by the main factor of (), Λ is expressed by the following equation (1).

그러므로, 본 발명에 의한 얼굴 인식 방법 및 장치는 종래의 방식보다 전체적인 계산량을 줄일 수 있음을 알 수 있다. 이 때, 동일한 계산량에서의 종래와 본 발명의 얼굴 인식율을 그래프로서 표현하면 다음과 같다.Therefore, it can be seen that the face recognition method and apparatus according to the present invention can reduce the overall calculation amount than the conventional method. At this time, the conventional and the face recognition rates of the present invention in the same calculation amount are expressed as a graph as follows.

도 8은 동일 계산량에서의 본 발명과 종래의 얼굴 인식 성능을 비교하는 그래프로서, 횡축은 곱셈의 차수(order)를 나타내고, 종축은 인식율을 %로 나타낸다.8 is a graph comparing the present invention and the conventional face recognition performance at the same calculation amount, where the horizontal axis represents the order of multiplication, and the vertical axis represents the recognition rate in%.

도 8을 참조하면, 동일한 계산량에서 본 발명에 의한 얼굴 인식 방법 및 장치가 종래의 방식보다 향상된 얼굴 인식율을 가짐을 알 수 있다.Referring to FIG. 8, it can be seen that the face recognition method and apparatus according to the present invention have improved face recognition rate compared to the conventional method at the same calculation amount.

이상에서 설명한 바와 같이, 본 발명에 의한 계층적 주요 성분 분석에 기반한 얼굴 인식 방법 및 장치는 학습된 얼굴 영상을 저 차원에서 고 차원으로 계층적으로 검색하기 때문에 잘못된 정합의 가능성을 줄여 정합 성능을 향상시킬 수 있을 뿐만 아니라, 각 차원에서 검색되는 데이타의 수를 해당하는 학습벡터들의 수에 비례하도록 하기 때문에 계산량도 줄일 수 있는 효과를 갖는다.As described above, the face recognition method and apparatus based on hierarchical principal component analysis according to the present invention improves matching performance by reducing the possibility of false matching because hierarchically searched the learned face image from low to high dimensions. In addition, the number of data retrieved in each dimension is proportional to the number of corresponding learning vectors, thereby reducing the amount of computation.

Claims

(a) setting n (where n is the number of eigenvectors) to '1';

(b) Projecting the learned face image, which has been transformed into PCA space, into the trained face image, and the input face image that is to be recognized as transformed into the PCA space, in any nth unique space. Obtaining an eigenvector and an eigenvalue;

obtaining a Euclidean distance between the learned face image and the input face image for n eigenvectors;

(d) extracting a set of learning vectors of P _n % similar to the input face image from the set of learning vectors of P _n-1 % using the Euclidean distance;

(e) determining whether the number of learning vectors left in the set of the learning vectors of P _n % is one;

(f) if it is determined that the number of learning vectors left in the set of the learning vectors of P _n % is not one, increasing n by 1 and proceeding to step (b); And

(g) if it is determined that the number of the learning vectors left in the set of the learning vectors of P _n % is one, the learned face image corresponding to the left one learning vector is most similar to the input face image; And determining a function of the face recognition method based on hierarchical principal component analysis (PCA).

The method of claim 1, wherein the face recognition method

Preparing a face image to be learned including N faces, where N ≧ k;

Finding a location of an area of a face and an eye center point in the face image to be learned;

Normalizing an area of the face part with the same pose and size based on the position of the eye center point;

Converting the normalized result into the PCA space; And

Hierarchical principal component analysis (PCA), further comprising: registering all the results transformed into the PCA space as k-dimensional eigenvectors, registering them as the learned face images, and proceeding to step (b). ) Based facial recognition method.

The method of claim 1, wherein the face recognition method

Preparing an image including one face to be currently recognized;

Finding the area of the face part and the position of the eye center point in the prepared image;

Normalizing an area of the face part with the same pose and size based on the position of the eye center point; And

And converting the normalized result into the PCA space, determining the converted result as the input face image, and proceeding to the step (a). Way.

The apparatus of claim 1, wherein the face recognition apparatus performs the face recognition method.

A counter that counts up in response to a control signal and outputs a counted result as n;

An image projector for outputting an eigenvector and an eigenvalue generated by projecting the learned face image and the input face image into an arbitrary n-dimensional eigenspace;

A distance calculator configured to calculate the Euclidean distance with respect to the n eigenvectors output from the image projector, and output the calculated Euclidean distance;

A similar vector extracting unit for extracting a set of learning vectors of P _n % similar to the input face image from the set of learning vectors of P _n-1 % from the Euclidean distance input from the distance calculating unit;

A controller which checks whether the number of learning vectors left in the set of learning vectors of P _n % is one and generates the control signal in response to the result of the checking; And

And an image determining unit configured to input the learned face image corresponding to the left one learning vector in response to the control signal and output the image as the image most similar to the input face image. Face recognition device based.