KR101040182B1

KR101040182B1 - Face recognition method using feature feedback

Info

Publication number: KR101040182B1
Application number: KR1020090050197A
Authority: KR
Inventors: 정구민; 최상일; 송영호; 김수현; 이태양
Original assignee: 국민대학교산학협력단
Priority date: 2009-06-08
Filing date: 2009-06-08
Publication date: 2011-06-09
Also published as: KR20100131550A

Abstract

본 발명은 특징 되먹임을 이용한 얼굴 인식 기술에 관한 것으로, 특히 이미지에서 중요 데이터 영역을 찾고 중요 데이터 영역에 대해 이미지 인식 방법을 적용하여 이미지 인식율을 높인 특징 되먹임을 이용한 얼굴 인식 기술에 관한 것이다. 본 발명에 따르면 특징 되먹임을 통하여 이미지 분류에 중요한 영향을 미치는 중요 데이터를 추출해서 추출된 중요 데이터를 이미지 인식 알고리즘에 적용하여 이미지 인식율을 향상시키고, 인식 대상이 되는 이미지에서 중요 데이터 영역을 추출하여 추출된 중요 데이터에 기반하여 이미지 인식을 수행함으로써 가려짐, 변환 등의 영향에 강인한 패턴 인식 방법을 구현하고, 이미지 인식에 중요한 데이터 영역과 중요하지 않은 데이터 영역을 차등 압축함으로써 이미지 압축 효율을 높이는 효과가 있다.The present invention relates to a face recognition technique using characteristic feedbacks, and more particularly, to a face recognition technique using characteristic feedbacks in which an important data region is found in an image and an image recognition method is applied to an important data region to increase the image recognition rate. According to the present invention, by extracting important data having important influence on image classification through characteristic feedback, important data extracted is applied to image recognition algorithm to improve image recognition rate, and important data region is extracted from image to be recognized By performing image recognition on the basis of important data, it is possible to implement a pattern recognition method that is robust against the effects of masking, conversion, etc., and to enhance image compression efficiency by differentially compressing data areas important for image recognition and non- have.

특징 되먹임, 패턴 인식, 차등 압축 Feature Feedback, Pattern Recognition, Differential Compression

Description

[0001] The present invention relates to a face recognition method using a feature feedback,

본 발명은 특징 되먹임을 이용한 얼굴 인식 기술에 관한 것으로, 특히 이미지에서 중요 데이터 영역을 찾고 중요 데이터 영역에 대해 이미지 인식 방법을 적용하여 이미지 인식율을 높인 특징 되먹임을 이용한 얼굴 인식 기술에 관한 것이다.The present invention relates to a face recognition technique using characteristic feedbacks, and more particularly, to a face recognition technique using characteristic feedbacks in which an important data region is found in an image and an image recognition method is applied to an important data region to increase the image recognition rate.

패턴 인식은 얼굴 인식, 지문 인식, 가스 인식에서의 어플리케이션과 이론적인 도전으로 인해 많은 주목을 받고 있다. 결과적으로 최근 십년 간 패턴 인식에 관해 수많은 방법이 개발되고 있는 중이다. 몇가지 패턴 인식 방법은 입력 데이터 샘플의 차원을 낮추기 위해 제안되고 있다. 인식율을 높이기 위해서 주성분 분석법(PCA: Principal Component Analysis) 및 선형 판별 기법(LDA: Linear Discriminant Analysis)와 같은 일반적인 특징 추출 방법은 통계학에 기반을 둔 입력 데이터 샘플로부터 새로운 특징을 구성하고 입력 샘플을 더 낮은 차원의 특징 공간으로 투영시킨다.Pattern recognition is attracting much attention due to applications and theoretical challenges in face recognition, fingerprint recognition, and gas recognition. As a result, a number of methods have been developed for pattern recognition in recent decades. Several pattern recognition methods have been proposed to lower the dimensions of input data samples. A general feature extraction method such as Principal Component Analysis (PCA) and Linear Discriminant Analysis (LDA) to increase the recognition rate constructs new features from statistical-based input data samples, Dimensional feature space.

다른 한편으로는 가장 실세계의 문제는 다량의 입력 변수에 연관되어 있고, 예를 들면, 이미지에서는 수많은 픽셀이 존재한다. 대부분의 경우 이미지 인식을 위해 수많은 픽셀을 사용하는 것은 불필요하다. 따라서 각 입력 변수의 중요도를 분석할 수 있다면 인식 과정은 더 효율적으로 수행될 수 있고 인식 결과도 진보할 수 있다.On the other hand, the real-world problem is associated with a large number of input variables, for example, there are a lot of pixels in an image. In most cases, it is not necessary to use a large number of pixels for image recognition. Therefore, if the importance of each input variable can be analyzed, the recognition process can be performed more efficiently and the recognition result can be improved.

본 발명의 목적은 인식 대상이 되는 이미지에 대해 특징 되먹임을 적용하여 이미지에서 중요 데이터 영역을 추출하여 추출된 중요 데이터를 이미지 인식 알고리즘으로 이미지를 판별하여 인식하는 특징 되먹임을 이용한 얼굴 인식 기술을 제공하는 것이다.It is an object of the present invention to provide a face recognition technique using characteristic feedbacks in which an important data region is extracted from an image by applying a characteristic feedback to an image to be recognized and the extracted important data is discriminated and recognized by an image recognition algorithm will be.

본 발명에 따른 특징 되먹임을 이용한 얼굴 인식 방법은 (a) 다수의 훈련 데이터를 포함하는 갤러리 데이터를 데이터베이스화하는 단계; (b) 다수의 훈련 데이터에 PCA와 LDA의 융합모델을 적용하여 훈련 데이터의 특징을 나타내는 복수 개의 피셔훼이스를 연산하는 단계; (c) 복수 개의 피셔훼이스 중 양호한 고유값을 갖는 피셔훼이스를 선택하는 단계; (d) 선택된 피셔훼이스의 픽셀 값이 미리 설정된 임계치를 초과하면 중요 데이터 영역으로 판단하는 단계; (e) 선택된 피셔훼이스에 대한 각각의 중요 데이터 영역으로부터 특징 마스크를 만드는 단계; (f) 시험 데이터에 특징 마스크를 적용하여 중요 데이터를 추출하는 단계; 및 (g) 추출된 중요 데이터를 이용하여 시험 데이터에 상응하는 갤러리 데이터를 판별하는 단계;를 포함하여 구성된다.A method of recognizing a face using feature feedback according to the present invention includes the steps of: (a) converting a gallery data including a plurality of training data into a database; (b) computing a plurality of fisher faces that characterize training data by applying a fusion model of PCA and LDA to a plurality of training data; (c) selecting a fisherface having a good eigenvalue among the plurality of fisher faces; (d) determining that the pixel value of the selected fisher face is an important data region if the pixel value of the selected fisher face exceeds a preset threshold value; (e) creating a feature mask from each critical data region for the selected fisher face; (f) extracting important data by applying a feature mask to the test data; And (g) identifying the gallery data corresponding to the test data using the extracted important data.

본 발명에 따른 미리 설정된 임계치는 피셔훼이스의 픽셀값에 절대값을 적용하여 얻어지는 절대값에 대한 평균과 평균에 가중치를 두어 계산된 값인 것을 특징 으로 한다.The preset threshold value according to the present invention is a value calculated by applying an absolute value to the pixel value of the Fisherface and an average of the absolute value and weighting the average value.

본 발명에 따른 (b) 단계는, 다수의 훈련 데이터에 대해 선형판별 기법(LDA)을 적용하는 단계; 및 선형판별 기법 적용 시 시스템의 분류 바이어스가 커지는 문제 및 학습 데이터의 특성에 따라 변환벡터의 계산 알고리즘이 수렴하지 않는 문제점을 극복하기 위해 고차원의 데이터를 주성분 분석법(PCA)을 이용하여 저차원으로 변환하여 적용하는 단계;를 포함하며, 이를 통해 변환 후 서로 다른 클래스에 속하는 영상간의 분산은 최대로 하고 같은 클래스의 영상간의 분산은 최소가 되도록 하는 변환벡터를 구하는 것을 특징으로 한다.The step (b) according to the present invention comprises the steps of: applying a linear discriminant technique (LDA) to a plurality of training data; In order to overcome the problem that the classification bias of the system increases when applying the linear discriminant technique and the problem that the calculation algorithm of the transform vector does not converge according to the characteristics of the learning data, the high dimensional data is transformed into the low dimension using the principal component analysis (PCA) And a transform vector is obtained by maximizing the variance among the images belonging to different classes after the transformation and minimizing the variance among the images of the same class.

본 발명에 따른 (c) 단계는 복수 개의 피셔훼이스 중 고유값이 큰 피셔훼이스를 미리 설정된 개수만큼 선택하는 단계를 포함하고, (e) 단계는 미리 설정된 개수만큼 선택된 피셔훼이스에 대한 각각의 중요 데이터 영역을 논리합하여 특징 마스크를 만드는 단계를 포함하여 구성된 것을 특징으로 한다.The step (c) includes selecting a predetermined number of fisher faces having a larger eigenvalue among the plurality of fisher faces, wherein the step (e) includes the steps of: And performing a logical sum of the regions to form a feature mask.

본 발명에 따른 특징 되먹임을 이용한 얼굴 인식 방법은 이미지 데이터에 특징 마스크를 적용하여 추출된 중요 데이터에 대해 고품질로 압축하는 단계; 및 중요 데이터 이외의 중요하지 않은 데이터에 대해 저품질로 압축하는 단계;를 더 포함하여 구성된 것을 특징으로 한다.According to the present invention, there is provided a face recognition method using feature feedback, comprising: compressing important data extracted by applying a feature mask to image data with high quality; And compressing the unimportant data other than the important data to a low quality.

본 발명에 따른 특징 되먹임을 이용한 얼굴 인식 방법은 압축된 이미지 데이터를 복호화하고 복호된 이미지 데이터에 특징 마스크를 적용하여 중요 데이터를 추출하는 단계; 및 추출된 중요 데이터를 이용하여 이미지 데이터에 상응하는 갤러리 데이터를 판별하는 단계;를 더 포함하여 구성된 것을 특징으로 한다.A method for recognizing a face using feature feedback according to the present invention includes extracting important data by decoding a compressed image data and applying a feature mask to the decoded image data; And determining the gallery data corresponding to the image data using the extracted important data.

본 발명에 따른 특징 되먹임을 이용한 얼굴 인식 방법은 다수의 훈련 데이터를 포함하는 갤러리 데이터를 데이터베이스화하는 단계; 다수의 훈련 데이터의 특징을 나타내는 복수 개의 피셔훼이스를 연산해서 복수 개의 피셔훼이스 중 양호한 고유값을 갖는 피셔훼이스를 선택하는 단계; 선택된 피셔훼이스의 각 픽셀값이 미리 설정된 임계치를 초과하면 중요 데이터 영역으로 판단해서 중요 데이터 영역으로부터 특징 마스크를 만드는 단계; 및 시험 데이터에 상기 특징 마스크를 적용하여 중요 데이터를 추출하고 추출된 중요 데이터를 이용하여 시험 데이터에 상응하는 갤러리 데이터를 판별하는 단계;를 포함하여 구성된다.A method of recognizing a face using characteristic feedbacks according to the present invention includes: converting a gallery data including a plurality of training data into a database; Calculating a plurality of fisher faces that characterize a plurality of training data and selecting a fisher face having a good eigenvalue among the plurality of fisher faces; Making a feature mask from an important data region by judging that each pixel value of the selected face of the fisher exceeds a preset threshold value as an important data region; And extracting important data by applying the characteristic mask to the test data and discriminating the gallery data corresponding to the test data using the extracted important data.

본 발명에 따른 특징 되먹임을 이용한 얼굴 인식 방법은 다수의 얼굴 원본 데이터를 포함하는 갤러리 데이터를 데이터베이스화하는 단계; 주성분 분석법(PCA)을 통해 상기 얼굴 원본 데이터의 특징을 표현하는 고유 얼굴을 구하는 단계; 상기 고유 얼굴에 대한 각 픽셀값의 평균을 구하는 단계; 상기 고유 얼굴에 대해 평균 이상인 영역과 평균 이하인 영역으로 구성되는 특징 마스크를 구하는 단계; 상기 특징 마스크를 얼굴 훈련 데이터에 되먹임하여 잡음을 제거하는 단계; 잡음이 제거된 얼굴 훈련 데이터에 PCA와 LDA 융합모델을 적용하여 훈련 데이터의 특징을 나타내는 복수의 피셔훼이스를 연산하는 단계; 상기 복수 개의 피셔훼이스 중 양호한 고유값을 갖는 피셔훼이스를 선택하고, 선택된 피셔훼이스의 각 픽셀 값이 미리 설정된 임계치를 초과하면 중요 데이터 영역으로 판단하는 단계; 상기 선택된 피셔훼이스에 대한 각각의 중요 데이터 영역으로부터 특징 마스크를 만들고, 얼굴 시험 데이터에 특징 마스크를 적용하여 중요 데이터를 추출하는 단계; 상기 추출된 중요 데이터를 이용하여 얼굴 시험 데이터에 상응하는 갤러리 데이터를 판별하는 단계;를 포함하여 구성된다.A method for recognizing a face using feature feedback according to the present invention includes: converting a gallery data including a plurality of facial original data into a database; Obtaining a unique face expressing a characteristic of the facial original data through principal component analysis (PCA); Determining an average of each pixel value for the unique face; Obtaining a feature mask composed of an area above the average and an area below the average; Feedbacking the feature mask to face training data to remove noise; Computing a plurality of fisher faces that characterize the training data by applying PCA and LDA fusion models to the noise removed face training data; Selecting a fisherface having a good eigenvalue among the plurality of fisher faces, and determining the important data region if each pixel value of the selected fisher face exceeds a preset threshold value; Creating a feature mask from each important data region for the selected fisher face and applying a feature mask to the face test data to extract critical data; And determining the gallery data corresponding to the face test data using the extracted important data.

본 발명에 따르면 특징 되먹임을 통하여 이미지 분류에 중요한 영향을 미치는 중요 데이터를 추출해서 추출된 중요 데이터를 이미지 인식 알고리즘에 적용하여 이미지 인식율을 향상시키는 효과가 있다.According to the present invention, there is an effect of improving the image recognition rate by extracting important data that has an important influence on image classification through characteristic feedback and applying the extracted important data to an image recognition algorithm.

또한, 본 발명은 인식 대상이 되는 이미지에서 중요 데이터 영역을 추출하여 추출된 중요 데이터에 기반하여 이미지 인식을 수행함으로써 가려짐, 변환 등의 영향에 강인한 패턴 인식 방법을 구현하는 효과가 있다.In addition, the present invention has an effect of realizing a pattern recognition method that is robust to the effects of masking, conversion, and the like by performing image recognition based on extracted important data by extracting an important data region from an image to be recognized.

또한, 본 발명은 이미지 인식에 중요한 데이터 영역과 중요하지 않은 데이터 영역을 차등 압축함으로써 이미지 압축 효율을 높이는 효과가 있다.In addition, the present invention has an effect of enhancing image compression efficiency by differentially compressing a data area important for image recognition and a non-important data area.

이하, 본 발명의 실시예를 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

[도 1]은 본 발명에 사용되는 PCA와 LDA 융합모델을 이용하여 얻어진 피셔훼이스를 보인 예시도이다.1 is an illustration showing a fisher face obtained by using the PCA and LDA fusion models used in the present invention.

주성분 분석법(PCA)은 이미지 데이터와 같은 다차원 데이터를 낮은 차원의 데이터로 투영하고자 N차원의 M개의 벡터를 공분산 행렬에 의해 고유 벡터로 표현한다. PCA에서 고유벡터는 데이터의 분포를 표현하는 축을 의미하고, 고유값은 그 축에서 변화도를 의미한다. 따라서 고유값이 큰 고유벡터는 이미지 데이터를 잘 표현하는 벡터이다. 고유값이 큰 상위 몇 개의 고유벡터가 이미지 데이터의 특징을 대부분 표현한다.Principal component analysis (PCA) expresses M vectors of N dimensions as eigenvectors by covariance matrix in order to project multidimensional data such as image data as low dimensional data. In PCA, an eigenvector means an axis expressing the distribution of data, and an eigenvalue means a degree of change in the axis. Therefore, a eigenvector with a large eigenvalue is a vector that represents image data well. The top few eigenvectors with large eigenvalues represent most of the image data.

선형 판별 기법(LDA)은 하나의 데이터가 아닌 여러 개의 데이터 셋을 낮은 차원으로 표현할 때 주로 이용된다. 이때 각각의 데이터 셋을 클래스라 한다. LDA는 서로 다른 클래스에 속하는 영상간의 분산은 최대로 하고 같은 클래스의 영상간의 분산은 최소가 되도록 하는 변환 벡터를 구한다.The linear discriminant technique (LDA) is mainly used to represent low-dimensional data sets rather than single data. At this time, each data set is called a class. LDA finds a transform vector that maximizes the variance among images belonging to different classes and minimizes the variance among images of the same class.

PCA와 LDA의 융합모델은 선형판별 기법 적용시 시스템의 분류 바이어스가 커지는 것과 학습데이터의 특성에 따라 변환벡터의 계산 알고리즘이 수렴하지 않는 문제점을 극복하기 위해 사용된다.The convergence model of PCA and LDA is used to overcome the problem that the classification bias of the system increases when applying the linear discriminant technique and that the calculation algorithm of the transform vector does not converge according to the characteristics of the learning data.

다수의 이미지 데이터에 대한 특징을 잘 나타내기 위해 훈련 데이터에 PCA와 LDA 융합모델을 적용하여 훈련 데이터의 특징을 잘 나타내는 부 차원으로의 사상벡터들을 구한다. 이미지 데이터에 대한 사상벡터의 경우 얼굴 형상을 지니는 특징을 보이는 것을 피셔훼이스(Fisher face)라 한다. 즉, 피셔훼이스는 훈련 데이터의 특징을 잘 나타내는 부차원으로의 사상벡터들의 집합이다. 도 1에 도시된 피셔훼이스는 이미지 데이터인 예일(Yale) 데이터(120X100 크기의 15명에 대한 11가지 표정 사진)에 대해 구한 피셔훼이스로 사진 크기에 맞게 120X100 크기로 만들면 사진 형상이 된다. 세 개의 사진 형상 중 첫번째 사진 형상은 가장 큰 고유값에 대한 사상벡터이고, 두번째 사진 형상은 그 다음으로 큰 고유값에 대한 사상벡터이고, 세번째 사진 형상은 두번째 사진 형상 다음으로 큰 고유값에 대한 사상벡터이다. 사상 벡터는 데이터의 분포를 표현하는 축을 의미하고, 고유값은 그 축에서 변화도를 의미한다. 고유값이 큰 수 개의 사상벡터가 원본 데이터의 특징을 대부분 포함한다.We apply the PCA and LDA fusion models to the training data in order to characterize the characteristics of multiple image data. In the case of a mapping vector for image data, a feature that has a face shape is called a Fisher face. In other words, the Fisherface is a set of mapping vectors that are subdimensions that characterize the training data. The fisher face shown in Fig. 1 is a fisher face obtained for Yale data (image of 11 faces for 15 persons in the size of 120X100), which is image data, and becomes a photograph shape when the size is set to 120X100 according to the photograph size. The first photographic shape of the three photographic shapes is a mapping vector for the largest eigenvalue, the second photographic shape is a mapping vector for the next largest eigenvalue, the third photographic shape is the mapping for the next largest eigenvalue It is a vector. The mapping vector means an axis expressing the distribution of data, and the eigenvalue means the degree of change in the axis. Several mapping vectors with large eigenvalues contain most of the features of the original data.

[도 2]는 본 발명에서 피셔훼이스에 임계치를 적용하여 얻어지는 단편화된 이미지를 보인 예시도이다.FIG. 2 is an example of a fragmented image obtained by applying a threshold value to a Fisherface in the present invention. FIG.

피셔훼이스에서 중요 데이터 영역을 추출하기 위해 피셔훼이스의 각 픽셀값에 절대값을 취하여 평균을 구한다. 그리고 평균에 가중치를 두어 이들 임계치 이상이 되는 데이터 영역을 얼굴을 인식하는데 중요한 데이터 영역으로 가정하고 그 이외의 영역을 중요하지 않은 데이터 영역으로 가정한다.To extract the important data region in the Fisherface, take an absolute value for each pixel value of the Fisherface and average it. Then, we assume that the data area with the weighted average is above the threshold value as an important data area for recognizing the face, and the other area is assumed as the insignificant data area.

도 2에 도시된 세 개의 단편화된 이미지는 도 1에 도시된 세 개의 사진 형상에 임계치를 적용하여 임계치 이상인 영역을 하얀색으로 표현하고 임계치 미만인 영역을 검은색으로 표현한다.The three fragmented images shown in FIG. 2 apply thresholds to the three photographic shapes shown in FIG. 1 to represent areas above the threshold value in white and regions below the threshold in black.

[도 3]은 본 발명에서 피셔훼이스에 임계치를 적용하여 얻어지는 단편화된 피셔훼이스를 논리합하여 특징 마스크를 만드는 실시예를 보인 예시도이다.FIG. 3 is an exemplary diagram showing an embodiment of performing a feature mask by performing a logical sum of fragmented fisher faces obtained by applying a threshold value to a Fisherface in the present invention.

사진 형상을 갖는 세 개의 피셔훼이스는 다수의 훈련 데이터의 특징을 나타내는 사상벡터의 집합이다. 세 개의 피셔훼이스에 임계치를 적용하여 중요 데이터 영역을 추출한다.The three fisher faces with a photo shape are a set of mapping vectors that characterize a number of training data. Critical data areas are extracted by applying threshold values to the three fisher faces.

피셔훼이스에 대해 임계치를 적용하여 중요 데이터 영역을 추출하는 사전 작업으로 다음과 같은 과정이 필요하다. 먼저 다수의 훈련 데이터를 포함하는 갤러리 데이터를 데이터베이스화하여 저장한다. 그리고 데이터베이스화된 다수의 훈련 데이터의 특징을 나타내는 복수 개의 피셔훼이스인 사상벡터의 집합을 연산한다. 그 다음 과정으로 복수 개의 피셔훼이스 중 고유값이 큰 피셔훼이스를 선택한다. 선택된 피셔훼이스에 임계치를 적용하여 중요 데이터 영역을 추출한다.The following procedure is required as a preliminary work for extracting important data area by applying a threshold value to the fisher face. First, the gallery data including a plurality of training data is stored in a database. Then, a set of mappings of a plurality of Fischer-faced mappings representing characteristics of a plurality of database-structured training data is calculated. Next, a fisherface having a large eigenvalue is selected from a plurality of fisher faces. The critical data area is extracted by applying a threshold value to the selected fisher face.

중요 데이터 영역이 추출된 세 개의 피셔훼이스에 대해 중요 데이터 영역을 논리합하여 특징 마스크를 만든다. 피셔훼이스는 축소하는 차원 수에 따라 다양하게 존재하며 첫번째 피셔훼이스가 가장 많은 특징을 포함하며 뒤로 갈수록 적은 특징을 포함한다. 본 실시예에서는 세 개의 피셔훼이스를 선택하여 중요 데이터 영역을 논리합 연산해서 세 개의 피셔훼이스가 가진 특징을 모아 특징 마스크를 만든다.A feature mask is created by performing a logical sum of the important data areas for the three fisher faces from which the important data area is extracted. Fisher faces vary in the number of dimensions to be reduced, the first Fisherface contains the most features, and the latter contains fewer features. In the present embodiment, three fisher faces are selected, and the important data areas are ORed together, thereby collecting the characteristics of the three fisher faces to create a feature mask.

[도 4]는 본 발명에서 특징 마스크를 시험 데이터에 적용하여 추출된 데이터를 PCA와 LDA 융합모델을 이용하여 시험 데이터를 판별하는 예시도이다.FIG. 4 is an exemplary diagram for explaining test data by applying a feature mask to test data in the present invention using the PCA and LDA fusion models. FIG.

원본 이미지인 시험 데이터에 특징 마스크를 적용하여 마스킹된 이미지를 얻는다. 마스킹된 이미지에서 추출된 데이터는 PCA와 LDA 융합모델에 적용되어 분류되서 어떤 얼굴에 대한 이미지인지를 판별되는데 사용된다.The feature mask is applied to the original test data to obtain the masked image. The extracted data from the masked image is applied to the PCA and LDA fusion model and is used to determine the image of a certain face.

얼굴 인식을 수행할 때는 세가지 종류의 데이터가 필요하다. 첫번째 데이터는 피셔훼이스를 얻기 위해 사용된 훈련 데이터이다. 훈련 데이터는 얼굴 인식 알고리즘을 만들기 위해 얼굴에서 특징이 되는 부분을 찾아내기 위한 데이터이다. 두번째 데이터는 갤러리(Gallery) 데이터로 인식할 사람의 얼굴을 미리 데이터베이스 에 저장해 둔다. 세번째 데이터는 시험 데이터로 인식 대상이 되는 얼굴 이미지에 대해 얼굴 인식 알고리즘을 적용하면 이미 저장해 둔 갤러리 데이터에서 어떤 사람의 얼굴 이미지임을 판별한다.Three kinds of data are needed when performing face recognition. The first data is the training data used to obtain the fisher face. The training data is data for finding a characteristic part of a face to make a face recognition algorithm. The second data stores the face of the person to be recognized as the Gallery data in advance in the database. The third data is the face image of the person to be recognized by the test data.

얼굴 인식에서 훈련 데이터를 이용하여 특징 마스크를 구하고, 특징 마스크를 시험 데이터에 되먹임해서 특징 마스크를 통과한 데이터 부분만을 이용하여 얼굴 인식을 하면 적은 수의 데이터만으로 얼굴 인식을 수행할 수 있으므로 계산량이 줄어들어 효율적이다.In the face recognition, the feature mask is obtained by using the training data, the feature mask is fed back to the test data, and the face recognition using only the data portion passing through the feature mask can perform face recognition using only a small number of data, It is efficient.

[도 5]는 본 발명에서 압축율을 다르게 적용하기 위해 특징 마스크를 블록화하여 얼굴 이미지에 대해 중요 데이터 영역과 중요하지 않은 데이터 영역을 분리하는 예시도이다.5 is a diagram illustrating an example in which a feature mask is partitioned in order to apply different compression ratios according to an embodiment of the present invention to separate an important data region and a non-critical data region with respect to a face image.

도 5에 도시된 세 개의 이미지 중에서 첫번째 이미지는 피셔훼이스를 나타내고, 두번째 이미지는 피셔훼이스에 격자 마스크가 적용됨을 나타내고, 세번째 이미지는 격자 마스크의 격자 블록이 적용되어 중요 데이터 영역에 대해서는 하얀색 격자 블록을 나타내고, 중요하지 않은 데이터 영역에 대해서는 검정색 격자 블록을 나타낸다.The first image of the three images shown in FIG. 5 represents the fisher face, the second image represents that the grid mask is applied to the fisher face, the third image is the grid block of the grid mask, and the white grid block for the important data region And black grid blocks for non-critical data areas.

피셔훼이스는 얼굴 이미지에 대한 특징을 반영하고 있다. 피셔훼이스에서 중요 데이터 영역을 추출하고자 피셔훼이스에 격자 마스크를 적용하여 중요 데이터 영역을 블록화한다. 블록화된 중요 데이터 영역에 대해서는 고품질로 압축하고, 중요 데이터 영역 이외의 데이터 영역은 중요하지 않은 데이터 영역으로 간주하여 저 품질로 압축해서 압축 효율을 높인다.Fischerface reflects the features of facial images. In order to extract the important data region from the Fisherface, the critical data region is blocked by applying a grid mask to the Fisherface. Quality compressed blocked important data area and regards the data area other than the important data area as an insignificant data area and compresses it with low quality to increase the compression efficiency.

[도 6]은 본 발명에서 얼굴 이미지에 블록화된 특징 마스크를 적용하여 중요 데이터 영역과 중요하지 않은 데이터 영역에 대해 압축율을 다르게 적용하여 압축된 얼굴 이미지를 보인 예시도이다.FIG. 6 illustrates an example of compressing a face image by applying a block feature mask to a face image and applying a different compression ratio to an important data area and an insignificant data area.

얼굴 이미지에 블록화된 특징 마스크를 적용하여 하얀색 블록에 대해서는 고품질 압축을 실행하고 검정색 블록에 대해서는 저품질 압축을 실행하여 압축된 얼굴 이미지를 만든다.Apply a block feature mask to the face image to perform high-quality compression for white blocks and low-quality compression for black blocks to create a compressed face image.

얼굴 이미지에 블록화된 특징 마스크를 적용하여 중요 데이터 영역과 중요하지 않은 데이터 영역에 대해 압축율을 다르게 적용하여 얼굴 이미지에 대한 압축율을 향상시킨다. 얼굴 이미지에 대한 압축율이 향상되면 저장 매체의 저장 공간을 효율적으로 사용할 수 있으므로 보다 많은 얼굴 이미지를 저장 매체에 저장할 수 있다.By applying the block feature mask to the face image, the compressibility of the face image is improved by applying different compression ratios to the important data area and the non-critical data area. If the compression ratio for the face image is improved, the storage space of the storage medium can be efficiently used, so that more face images can be stored in the storage medium.

[도 7]은 본 발명에서 압축된 얼굴 이미지에 대해 특징 마스크를 적용하여 얻어지는 마스킹된 이미지에 PCA와 LDA 융합모델을 적용하여 압축된 얼굴 이미지를 판별하는 예시도이다.FIG. 7 is an exemplary diagram for identifying a compressed face image by applying a PCA and LDA fusion model to a masked image obtained by applying a feature mask to a compressed face image in the present invention.

압축된 얼굴 이미지에 대해 특징 마스크를 적용하여 압축된 얼굴 이미지로부터 중요 데이터 영역을 추출하여 마스킹 이미지를 획득한다. 마스킹된 이미지에서 추출된 데이터는 PCA와 LDA 융합모델에 적용되어 분류되서 어떤 얼굴에 대한 이미 지인지를 판별되는데 사용된다.A feature mask is applied to the compressed face image to extract an important data region from the compressed face image to acquire a masking image. The data extracted from the masked image is applied to the PCA and LDA fusion models and is used to identify which face is the image.

차등 압축된 얼굴 이미지를 PCA와 LDA 융합모델에 적용하면 얼굴 인식율을 보다 향상시킨다. 이러한 얼굴 인식율 향상은 얼굴 인식에서 중요하지 않은 데이터 영역에 속하는 부분을 잡음으로 간주하여 이 잡음 부분에 대한 정보가 손실되면서 잡음이 감소해서 나타난 결과로 볼 수 있다.Applying differentially compressed facial images to PCA and LDA convergence models improves face recognition rate. This enhancement of face recognition rate can be regarded as a result of noise reduction due to loss of information on the noise part by considering the part belonging to the data area which is not important in face recognition as noise.

[도 8]은 본 발명에서 바람직한 훈련 데이터를 획득하기 위해 얼굴 이미지에 대해 잡음을 제거하는 과정을 보인 예시도이다.FIG. 8 is a diagram illustrating a process of removing noise from a face image to obtain training data preferred in the present invention. FIG.

도 8에 도시된 세 개의 이미지 중에서 첫 번째 이미지는 훈련데이터를 나타내고, 두 번째 이미지는 훈련데이터의 잡음을 제거하기 위한 마스크를 나타내고, 세 번째 이미지는 훈련데이터에 마스크가 적용되어 노이즈를 제거함을 나타낸다.The first of the three images shown in FIG. 8 represents the training data, the second image represents the mask for eliminating the noise of the training data, and the third image represents that the training data is masked to remove the noise .

얼굴 이미지에서 얼굴 주위의 배경과 같은 정보는 얼굴 인식과 관계 없는 정보인 잡음으로 볼 수 있다. 따라서 얼굴 이외의 정보가 들어있는 이미지에 대한 피셔훼이스는 얼굴로만 이루어진 이미지에 대한 피셔훼이스와는 다르게 잡음 정보를 포함한다.In the face image, information such as the background around the face can be regarded as noise, which is irrelevant to face recognition. Therefore, Fisherface for images containing information other than face includes noise information in contrast to Fisherface for images made only of face.

이로 인해 본 발명은 아래의 과정을 통해 얼굴 이미지에 포함된 잡음 정보를 제거한다.Accordingly, the present invention removes the noise information included in the face image through the following process.

프로세서는 다수의 얼굴 원본 데이터를 포함하는 갤러리 데이터를 데이터베이스화한다.The processor databaseizes gallery data including a plurality of facial original data.

프로세서는 주성분 분석법(PCA)을 통해 얼굴 훈련 데이터의 특징을 표현하는 고유 얼굴을 구하고, 고유 얼굴에 대한 각 픽셀값의 평균을 구한다.The processor obtains the unique face expressing the characteristics of the facial training data through Principal Component Analysis (PCA) and obtains the average of each pixel value for the native face.

프로세서는 고유 얼굴에 대해 평균 이상인 영역과 평균 이하인 영역으로 구성되는 특징 마스크를 구하고, 특징 마스크를 얼굴 훈련 데이터에 되먹임하여 잡음을 제거한다.The processor obtains a feature mask composed of an area above average and a region below average with respect to the native face, and rejects the noise by feeding back the feature mask to the face training data.

프로세서는 잡음이 제거된 얼굴 훈련 데이터에 PCA와 LDA 융합모델을 적용하여 훈련 데이터의 특징을 나타내는 복수 개의 피셔훼이스를 연산한다.The processor computes a plurality of fisher faces that characterize the training data by applying a PCA and LDA fusion model to the noisy face training data.

프로세서는 복수 개의 피셔훼이스 중 양호한 고유값을 갖는 피셔훼이스를 선택하고, 선택된 피셔훼이스의 각 픽셀 값이 미리 설정된 임계치를 초과하면 중요 데이터 영역으로 판단한다.The processor selects a fisher face having a good eigenvalue among the plurality of fisher faces, and judges the important data region when each pixel value of the selected fisher face exceeds a preset threshold value.

프로세서는 선택된 피셔훼이스에 대한 각각의 중요 데이터 영역으로부터 특징 마스크를 만들고, 얼굴 시험 데이터에 특징 마스크를 적용하여 중요 데이터를 추출한다.The processor creates a feature mask from each critical data region for the selected face and applies a feature mask to the face test data to extract the critical data.

프로세서는 추출된 중요 데이터를 이용하여 얼굴 시험 데이터에 상응하는 갤러리 데이터를 판별한다.The processor uses the extracted critical data to determine the gallery data corresponding to the face test data.

위에서 설명된 줌-아웃된 얼굴 이미지에서 잡음을 제거하는 알고리즘에 대한 원리에 대해 설명한다.The principle of the algorithm for removing noise from the zoomed-out face image described above is described.

먼저 프로세서는 주성분 분석법(PCA)을 통해 공분산 행렬에서 가장 큰 고유값을 가지는 고유벡터를 구한다. 공분산 행렬의 고유값은 해당 기저 방향으로의 변동량을 의미하므로, 가장 큰 고유값을 가지는 고유벡터는 원본 데이터를 가장 적절히 표현한다.First, the processor obtains the eigenvector with the largest eigenvalue in the covariance matrix through Principal Component Analysis (PCA). Since the eigenvalues of the covariance matrix represent the variation in the base direction, the eigenvectors having the largest eigenvalues best represent the original data.

다음으로, 프로세서는 계산된 고유벡터에 대해 평균을 구하고 평균 이상인 영역과 평균 이하인 영역으로 구성되는 특징 마스크를 생성한다. 변동이 없는 데이터는 공분산이 매우 작으므로, 평균 이하의 수치를 나타낸다. 프로세서는 평균 이하의 영역을 잡음으로 판단하고 특징 마스크를 원본 데이터에 되먹임하여 잡음을 제거한다.Next, the processor averages the computed eigenvectors and generates a feature mask that consists of regions above average and regions below average. Data with no variance has a covariance that is very small and therefore below average. The processor judges that the sub-averaged region is noise, and rejects the noise by feeding back the feature mask to the original data.

이상에서 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not to be limited to the details thereof, and various changes and modifications may be made without departing from the spirit and scope of the invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

도 1은 본 발명에 사용되는 PCA와 LDA 융합모델을 이용하여 얻어진 피셔훼이스를 보인 예시도,BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is an illustration showing a fisher face obtained using the PCA and LDA fusion model used in the present invention, Fig.

도 2는 본 발명에서 피셔훼이스에 임계치를 적용하여 얻어지는 단편화된 이미지를 보인 예시도,FIG. 2 shows an example of a fragmented image obtained by applying a threshold value to a Fisherface in the present invention,

도 3은 본 발명에서 피셔훼이스에 임계치를 적용하여 얻어지는 단편화된 피셔훼이스를 논리합하여 특징 마스크를 만드는 실시예를 보인 예시도,FIG. 3 is a diagram illustrating an embodiment of performing a feature mask by performing a logical sum of fragmented fisher faces obtained by applying a threshold value to a Fisherface in the present invention.

도 4는 본 발명에서 특징 마스크를 시험 데이터에 적용하여 추출된 데이터를 PCA와 LDA 융합모델을 이용하여 시험 데이터를 판별하는 예시도,FIG. 4 is a diagram illustrating an example of applying test data to a feature mask according to an exemplary embodiment of the present invention to determine test data using the PCA and LDA fusion models,

도 5는 본 발명에서 압축율을 다르게 적용하기 위해 특징 마스크를 블록화하여 얼굴 이미지에 대해 중요 데이터 영역과 중요하지 않은 데이터 영역을 분리하는 예시도,FIG. 5 illustrates an example of separating a critical data region and a non-critical data region with respect to a face image by blocking a feature mask in order to apply different compression ratios in the present invention.

도 6은 본 발명에서 얼굴 이미지에 블록화된 특징 마스크를 적용하여 중요 데이터 영역과 중요하지 않은 데이터 영역에 대해 압축율을 다르게 적용하여 압축된 얼굴 이미지를 보인 예시도,FIG. 6 is a diagram illustrating a compressed face image by applying a feature mask, which is blocked in a face image, to an important data region and a non-critical data region,

도 7은 본 발명에서 압축된 얼굴 이미지에 대해 특징 마스크를 적용하여 얻어지는 마스킹된 이미지에 PCA와 LDA 융합모델을 적용하여 압축된 얼굴 이미지를 판별하는 예시도,FIG. 7 is a diagram illustrating an example in which compressed face images are discriminated by applying a PCA and LDA fusion model to a masked image obtained by applying a feature mask to a compressed face image in the present invention,

도 8은 본 발명에서 바람직한 훈련 데이터를 획득하기 위해 얼굴 이미지에 대해 잡음을 제거하는 과정을 보인 예시도이다.FIG. 8 is a diagram illustrating an example of a process of eliminating noise on a face image to obtain training data preferred in the present invention.

Claims

A method of recognizing a face by applying a feature mask generated using a plurality of training data,

(a) databaseing gallery data including a plurality of training data;

(b) computing a plurality of fisher faces that characterize training data by applying a fusion model of PCA and LDA to the plurality of training data;

(c) selecting a fisherface having an eigenvalue equal to or greater than a reference value among the plurality of fisherfaces;

(d) determining each of the pixel values of the selected fisher face as an important data region when the pixel value exceeds a preset threshold value;

(e) creating a feature mask from each critical data region for the selected fisher face;

(f) extracting important data by applying a feature mask to the test data; And

(g) determining gallery data corresponding to the test data using the extracted important data;

The method comprising the steps of:

The method according to claim 1,

Wherein the predetermined threshold value is a value calculated by weighting an average of an absolute value obtained by applying an absolute value to each pixel value of a fisherface and an average value.

The method according to claim 1,

The step (b) comprises: applying a linear discriminant technique (LDA) to a plurality of training data; And

In order to overcome the problem that the classification bias of the system increases when applying the linear discriminant technique and that the calculation algorithm of the transform vector does not converge according to the characteristics of the learning data, the high dimensional data is transformed into low dimension using Principal Component Analysis (PCA) Wherein a transformation vector is obtained by maximizing the variance between images belonging to different classes after conversion and minimizing the variance between images of the same class through the transformation, .

The method of claim 3,

Wherein the step (c) includes the step of selecting a predetermined number of fisher faces having a larger eigenvalue among the plurality of fisher faces,

Wherein the step (e) comprises the step of performing a logical sum of the significance data areas of the fisher faces selected by a predetermined number to form a feature mask.

The method according to claim 1,

Compressing the extracted important data by applying a feature mask to the test data with high quality; And

And compressing the unimportant data other than the important data to a low quality level.

The method of claim 5,

Decoding the high-quality compressed important data to obtain important data; And

And determining the corresponding gallery data based on the test data by using the obtained important data.

Comprising the steps of: databaseizing gallery data including a plurality of training data;

Calculating a plurality of fisher faces that characterize the plurality of training data and selecting a fisher face having an eigenvalue equal to or greater than a reference value among the plurality of fisher faces;

Making a feature mask from an important data region by determining the pixel value of the selected fisher face as an important data region when the pixel value of the selected fisher face exceeds a preset threshold value; And

Extracting important data by applying the characteristic mask to the test data, and discriminating the gallery data corresponding to the test data using the extracted important data;

The method comprising the steps of:

Converting the gallery data including the plurality of facial original data into a database;

Obtaining a unique face expressing a characteristic of the facial original data through principal component analysis (PCA);

Determining an average of each pixel value for the unique face;

Obtaining a feature mask composed of an area above the average and an area below the average;

Removing noise by applying the feature mask to face training data;

Computing a plurality of fisher faces that characterize the training data by applying PCA and LDA fusion models to the noise removed face training data;

Selecting a fisherface having an eigenvalue equal to or greater than a reference value among the plurality of fisher faces and determining that the pixel region is an important data region when each pixel value of the selected fisherface exceeds a preset threshold value;

Creating a feature mask from each of the critical data areas for the selected fisher face and applying the feature mask to the face test data to extract critical data;

Identifying the gallery data corresponding to the face test data using the extracted important data;

The method comprising the steps of: