KR101310886B1 - Method for extracting face characteristic and apparatus thereof - Google Patents

Method for extracting face characteristic and apparatus thereof Download PDF

Info

Publication number
KR101310886B1
KR101310886B1 KR1020120087495A KR20120087495A KR101310886B1 KR 101310886 B1 KR101310886 B1 KR 101310886B1 KR 1020120087495 A KR1020120087495 A KR 1020120087495A KR 20120087495 A KR20120087495 A KR 20120087495A KR 101310886 B1 KR101310886 B1 KR 101310886B1
Authority
KR
South Korea
Prior art keywords
feature
candidate group
variable
feature variable
elements
Prior art date
Application number
KR1020120087495A
Other languages
Korean (ko)
Inventor
이장형
권용호
이동성
Original Assignee
주식회사 에스원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 에스원 filed Critical 주식회사 에스원
Priority to KR1020120087495A priority Critical patent/KR101310886B1/en
Application granted granted Critical
Publication of KR101310886B1 publication Critical patent/KR101310886B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • G06F18/2113Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation

Abstract

PURPOSE: A face characteristic extracting method and a device thereof are provided to extract face characteristic while maintaining the maximum quantity of information demanded for face identification without linear conversion causing time and space complexity on mass source data. CONSTITUTION: A source characteristic obtaining unit (11) obtains a source characteristic group including source face characteristic elements which are filter response data obtained by applying a face recognition filter to a face image. A characteristic candidate group generating unit (12) extracts characteristic elements satisfying a first condition from the source characteristic group to create a characteristic candidate group. An intermediate characteristic generating unit (13) generates an intermediate characteristic group including the first set number of characteristic elements from the characteristic candidate group. A final characteristic obtaining unit (14) obtains a final characteristic group including the second set number of characteristic elements used for face recognition from the intermediate characteristic group. [Reference numerals] (1) Face characteristic extracting device; (11) Source characteristic obtaining unit; (12) Characteristic candidate group generating unit; (121) Dispersion calculating module; (122) Comparison module; (123) Generating module; (13) Intermediate characteristic generating unit; (14) Final characteristic obtaining unit; (15) Characteristic candidate group excluding unit; (16) Characteristic candidate group renewing unit

Description

얼굴 특징량 추출 방법 및 그 장치{Method for extracting face characteristic and apparatus thereof}Method for extracting face characteristic and apparatus thereof

본 발명은 얼굴 인식에 관한 것으로, 특히 얼굴 이미지로부터 획득한 데이터로부터 얼굴 인식을 위한 얼굴 특징량을 추출하는 방법 및 그 장치에 관한 것이다. The present invention relates to face recognition, and more particularly, to a method and apparatus for extracting a facial feature amount for face recognition from data acquired from a face image.

생체 인식 중 얼굴 인식은 다양한 분야에 적용되고 있으며, 얼굴 인식의 정확성을 높이기 위한 다양한 연구들이 이루어지고 있다. 얼굴 정체성(face identity) 인식은 주어진 입력 이미지에서 얼굴 부분의 형태 정보를 특징량으로 변환하고, 입력 이미지로부터 획득한 특징량과 등록된 이미지의 특징량들을 비교하여 입력된 얼굴 이미지의 정체성을 결정하는 과정을 통하여 수행된다. Face recognition among biometrics is applied to various fields, and various studies are being conducted to increase the accuracy of face recognition. Face identity recognition converts the shape information of the face portion into a feature amount in a given input image, and compares the feature amount obtained from the input image with the feature amounts of the registered image to determine the identity of the input face image. This is done throughout the process.

사람의 얼굴은 세부적으로 이마, 눈썹, 눈, 코, 입 등의 부분으로 이루어지며, 3차원적인 대상(object)이다. 따라서 조명, 시야 각도(또는 카메라 각도), 피사체인 사람 즉, 피사자의 표정 유무 등의 변화 요소에 따라 촬상 평면에 투영되는 형태에 큰 변화가 발생된다. 변화의 정도는 얼굴 부분에 따라 다르다. 예를 들어, 코는 눈보다 더 입체적이기 때문에 촬상 평면에 투영되는 형태가 촬영 각도에 따라 더 큰 변화를 가진다. 한편 동일한 촬영 각도의 조건하에서 피사자가 크게 웃는 표정을 짓고 있는 경우에는, 코에 대한 이미지의 형태는 표정이 없는 경우에 비하여 거의 변화가 없으나, 눈과 입에 대한 이미지의 형태는 크게 변하게 된다. The human face is composed of parts of the forehead, eyebrows, eyes, nose, and mouth, and is a three-dimensional object. Therefore, a large change occurs in the shape projected onto the imaging plane depending on the change factors such as illumination, viewing angle (or camera angle), and the person who is the subject, that is, the presence or absence of a facial expression of the subject. The degree of change depends on the face. For example, since the nose is more three-dimensional than the eye, the shape projected onto the imaging plane has a larger change with the shooting angle. On the other hand, if the subject makes a big smile on the condition of the same shooting angle, the shape of the image of the nose is almost unchanged compared to the case of no expression, but the shape of the image of the eyes and the mouth is greatly changed.

기존의 많은 얼굴 인식 기술들은 일반적으로 얼굴 영역 전체를 하나의 대상으로 정량화시켜 처리함에 따라, 표정, 조명, 각도 등의 변화 요소에 대한 대응 능력이 취약하다. Many existing face recognition technologies generally quantify and process the entire face area as a single object, and thus have a poor ability to respond to changing factors such as facial expressions, lighting, and angles.

획득한 얼굴 이미지에 대한 컴퓨터화된 식별을 위하여 주파수 영역에서의 정량화를 가능케 하는 필터링이 널리 사용되고 있는데, 필터링에 사용되는 얼굴 인식 필터로는 가버(Gabor) 필터, 하(Haar) 필터, LBP(local binary pattern)-- DLBP(discriminative LBP), ULBP(uniform LBP), NLBP (number LBP) 등을 포함--등이 있다. 가버 필터는 주파수와 방향 특성을 가지는데, 얼굴 인식에 필요한 정보량의 확보를 위해 복수개의 주파수와 방향들을 고려한 조합들을 이미지에 적용하여 얻어지는 원시 특징량 벡터들이 일반적으로 매우 큰 사이즈이다. 예를 들어, 64×64 이미지에 24개의 필터로 구성된 필터 뱅크를 적용한 결과 얻어지는 원시 특징량 벡터들이 98304 개의 요소들로 구성될 수 있다. Filtering that enables quantification in the frequency domain is widely used for computerized identification of acquired face images. The face recognition filters used for filtering include Gabor, Haar, and LBP (local). binary pattern)-including discriminative LBP (DLBP), uniform LBP (ULBP), number LBP (NLBP), and so on. The Gabor filter has frequency and direction characteristics, and raw feature variable vectors obtained by applying a combination of a plurality of frequencies and directions to an image are generally very large in order to secure an amount of information required for face recognition. For example, the raw feature quantity vectors resulting from applying a filter bank of 24 filters to a 64x64 image may consist of 98304 elements.

이러한 매우 큰 특징량 벡터들을 처리하여 얼굴 인식을 수행하는 경우, 정보량의 손실을 최소하면서 원시 벡터들의 차원의 감소를 통해 최종 특징량 벡터를 얻기 위하여, PCA(principal component analysis), LDA(linear discriminant analysis) 등이 사용될 수 있다. When face recognition is performed by processing such very large feature vectors, principal component analysis (PCA) and linear discriminant analysis (LDA) are used to obtain the final feature vector by reducing the dimension of the primitive vectors while minimizing the loss of information. ) May be used.

그러나 이러한 방법들은 선형 변환을 기본으로 하는 것으로, 그 연산을 위해 매우 큰 행렬과 긴 연산 시간을 필요로 한다. 예를 들어, 98304개 요소의 벡터를 256개 요소의 최종 특징량 벡터로 변환하기 위해서는 약 2천5백만(n~98304×256) 개의 요소를 가지는 행렬이 필요하며 계산적으로 최소 n 회의 곱셈과 동수의 덧셈이 요구된다. 따라서 이러한 특징은 상기의 방법들을 조합하여 적용하는 경우(예를 들어, 가버 필터+PCA+LDA의 방법을 모두 상용하는 경우)나 실시간으로 얼굴 인식을 처리하는 환경에 적용하는데 있어서 걸림돌로 작용한다. However, these methods are based on linear transformations and require very large matrices and long computation times for their operation. For example, to convert a vector of 98304 elements into a final feature vector of 256 elements, you need a matrix of about 25 million (n to 98304 × 256) elements, with computationally at least n multiplications and equal numbers. Addition is required. Therefore, this feature is an obstacle in applying the above methods in combination (for example, using all Gabor filter + PCA + LDA methods) or in real-time face recognition processing.

본 발명이 해결하고자 하는 기술적 과제는 얼굴 식별에 요구되는 정보량을 최대한 유지하면서 보다 간단하게 얼굴의 특징량을 추출할 수 있는 방법 및 그 장치를 제공하는 것이다. The technical problem to be solved by the present invention is to provide a method and apparatus for extracting the feature amount of the face more simply while maintaining the maximum amount of information required for face identification.

위의 기술적 과제를 위하여, 본 발명의 특징에 따른 얼굴 특징량 추출 방법은 얼굴 이미지에 대하여 적어도 하나의 얼굴 인식 필터를 적용하여 획득한 필터 응답 데이터인 원시 얼굴 특징량 요소들을 포함하는 원시 특징량 집합을 획득하는 단계; 원시 특징량 집합으로부터 설정 조건을 만족하는 특징량 요소들을 추출하여 특징량 후보군을 생성하는 단계; 상기 특징량 후보군으로부터 제1 설정 개수의 특징량 요소들을 포함하는 중간 단계 특징량 집합을 생성하는 단계; 및 상기 중간 단계 특징량 집합으로부터 얼굴 인식에 사용할 제2 설정 개수의 특징량 요소들을 포함하는 최종 특징량 집합을 획득하는 단계를 포함하고, 상기 중간 단계 특징량 집합을 생성하는 단계는 상기 특징량 후보군으로부터 하나의 특징량 요소가 상기 중간 단계 특징량 집합에 포함되는 것으로 결정되면, 상기 특징량 요소에 관련된 일부 특징량 요소들을 상기 특징량 후보군으로부터 삭제시킨다. For the above technical problem, the facial feature extraction method according to an aspect of the present invention is a raw feature set including raw face feature feature elements that are filter response data obtained by applying at least one face recognition filter to a face image Obtaining a; Generating a feature variable candidate group by extracting feature variable elements satisfying a set condition from the original feature variable set; Generating an intermediate set of feature quantities comprising a first set number of feature quantities elements from the feature quantity candidate group; And obtaining a final feature set comprising a second set number of feature quantities elements to be used for face recognition from the intermediate feature set, wherein generating the intermediate feature set includes generating the feature variable candidate group If it is determined from that that one feature variable is included in the intermediate step feature set, some feature variables associated with the feature variable are deleted from the feature variable candidate group.

여기서 상기 중간 단계 특징량 집합을 생성하는 단계는 상기 하나의 특징량 요소를 기준으로 설정 반경내에 위치하는 상기 얼굴 이미지의 픽셀에 대응하는 특징량 요소를 상기 특징량 후보군으로부터 삭제시킬 수 있다. In the generating of the intermediate step feature set, the feature variable corresponding to the pixel of the face image positioned within a set radius with respect to the one feature variable may be deleted from the feature variable candidate group.

또한 상기 특징량 후보군을 생성하는 단계는, 상기 원시 특징량 집합에 포함되는 특징량 요소들 각각에 대한 분산을 산출하는 단계; 상기 산출된 분산을 미리 설정된 제1 문턱값과 비교하는 단계; 및 상기 산출된 분산이 제1 문턱값보다 큰 특징량 요소들을 추출하여 상기 특징량 후보군을 생성하는 단계를 포함할 수 있다. The generating of the feature variable candidate group may further include calculating a variance for each feature variable included in the raw feature variable set; Comparing the calculated variance with a first predetermined threshold; And extracting feature variable elements whose calculated variance is greater than a first threshold to generate the feature variable candidate group.

또한 상기 중간 단계 특징량 집합을 생성하는 단계는 상기 특징량 후보군에 포함되는 특징량 요소들 중에서 하나를 선택하는 단계; 상기 선택된 특징량 요소에 대하여 중간 단계 특징량 집합에 이미 포함된 특징량 요소와의 상관도를 산출하는 단계; 상기 산출된 상관도를 미리 설정된 제2 문턱값과 비교하는 단계; 상기 산출된 상관도가 제2 문턱값보다 작은 경우에 해당 특징량 요소를 중간 단계 특징량 집합에 포함시키는 단계; 및 상기 중간 단계 특징량 집합에 포함되는 상기 특징량 요소에 관련된 일부 특징량 요소들을 상기 특징량 후보군으로부터 삭제시키는 단계를 포함할 수 있다. 여기서 상기 제1 설정 개수의 특징량 요소를 포함할 때까지 상기 선택하는 단계, 상기 산출하는 단계, 상기 비교하는 단계, 상기 포함시키는 단계, 그리고 상기 삭제하는 단계가 반복적으로 수행된다. The generating of the intermediate step feature set may include selecting one of feature set elements included in the feature set candidate group; Calculating a correlation with the feature amount element already included in the intermediate step feature set for the selected feature variable; Comparing the calculated correlation with a second preset threshold; Including the corresponding feature variable in the intermediate step feature set when the calculated correlation is less than a second threshold; And deleting some feature variables related to the feature variable from the intermediate feature set from the feature variable candidate group. The selecting, the calculating, the comparing, the including, and the deleting are repeatedly performed until the first set number of feature elements is included.

한편 상기 최종 특징량 집합을 획득하는 단계는 상기 중간 단계 특징량 집합에 포함되는 각각의 특징량 요소들에 대한 분산을 산출하는 단계; 상기 분산의 값을 토대로 특징량 요소들을 정렬시키는 단계; 및 상기 정렬된 특징량 요소들로부터 가장 큰 분산을 가지는 특징량 요소를 기준으로 상기 제2 설정 개수의 특징량 요소들을 추출하여 최종 특징량 집합을 획득하는 단계를 포함할 수 있다. The obtaining of the final feature set may include calculating a variance for each feature set element included in the intermediate feature set; Arranging feature quantity elements based on the value of the variance; And extracting the second set number of feature variable elements based on the feature variable having the largest variance from the sorted feature variable elements to obtain a final feature set.

이외에도 상기 방법은, 상기 특징량 후보군의 각 특징량 요소에 대한 개인내 분산값을 토대로 상기 특징량 후보군을 갱신시키는 단계를 더 포함할 수 있으며, 상기 중간 단계 특징량 집합을 생성하는 단계는 상기 갱신된 특징량 후보군을 이용하여 중간 단계 특징량 집합을 생성할 수 있다. In addition, the method may further include updating the feature variable candidate group based on an in-person variance value for each feature variable of the feature variable candidate group, and generating the intermediate feature set includes: A set of intermediate feature quantities may be generated using the selected feature variable candidate group.

이 경우 상기 갱신하는 단계는 상기 특징량 후보군에 포함되는 특징량 요소들에 대한 개인내 분산값을 산출하는 단계; 상기 산출된 개인내 분산값을 미리 설정된 제3 문턱값과 비교하는 단계; 및 상기 산출된 개인내 분산값이 상기 제3 문턱값 보다 작은 경우에, 해당 특징량 요소를 새로운 특징량 후보군에 포함시키는 단계를 포함할 수 있다. In this case, the updating may include calculating an intra-person variance value of the feature variables included in the feature variable candidate group; Comparing the calculated in-person dispersion value with a third predetermined threshold value; And if the calculated intrapersonal variance value is smaller than the third threshold, including the corresponding feature variable in the new feature variable candidate group.

또한 상기 특징량 후보군을 생성하는 단계는 상기 특징량 후보군으로부터 얼굴 이미지에 포함되는 얼굴 영역에 대하여 미리 설정된 위치의 픽셀에 해당하는 특징량 요소들을 제외시키는 단계를 더 포함할 수 있다. The generating of the feature variable candidate group may further include excluding feature variable elements corresponding to pixels at preset positions with respect to the face area included in the face image from the feature variable candidate group.

본 발명의 다른 특징에 따른 얼굴 특징량 추출 장치는, 얼굴 이미지에 대하여 적어도 하나의 얼굴 인식 필터를 적용하여 획득한 필터 응답 데이터인 원시 얼굴 특징량 요소들을 포함하는 원시 특징량 집합을 획득하는 원시 특징량 획득부; 상기 원시 특징량 집합으로부터 제1 조건을 만족하는 특징량 요소들을 추출하여 특징량 후보군을 생성하는 특징량 후보군 생성부; 상기 특징량 후보군으로부터 제1 설정 개수의 특징량 요소들을 포함하는 중간 단계 특징량 집합을 생성하는 중간 단계 특징량 생성부; 상기 특징량 후보군으로부터 하나의 특징량 요소가 상기 중간 단계 특징량 집합에 포함되는 것으로 결정되면, 상기 하나의 특징량 요소를 기준으로 설정 반경내에 위치하는 상기 얼굴 이미지의 픽셀에 대응하는 특징량 요소를 상기 특징량 후보군으로부터 삭제시키는 특징량 후보군 제외부; 및 상기 중간 단계 특징량 집합으로부터 얼굴 인식에 사용할 제2 설정 개수의 특징량 요소들을 포함하는 최종 특징량 집합을 획득하는 최종 특징량 획득부를 포함한다. 여기서 상기 중간 단계 특징량 생성부는 상기 특징량 후보군 제외부에 의하여 처리된 특징량 후보군을 토대로 중간 단계 특징량 집합을 생성한다. An apparatus for extracting facial features according to another aspect of the present invention is a primitive feature for obtaining a set of primitive feature quantities including primitive face feature variables that are filter response data obtained by applying at least one face recognition filter to a face image Quantity obtaining unit; A feature variable candidate group generation unit for generating a feature variable candidate group by extracting feature variable elements satisfying a first condition from the original feature variable set; An intermediate step feature variable generating unit for generating an intermediate step feature variable set including a first set number of feature variable elements from the feature variable candidate group; If it is determined from the feature variable candidate group that one feature variable is included in the intermediate step feature set, the feature variable corresponding to the pixel of the face image located within a set radius with respect to the one feature variable is determined. A feature amount candidate group exclusion unit to delete from the feature variable candidate group; And a final feature variable obtaining unit for obtaining a final feature variable set including a second set number of feature variable elements to be used for face recognition from the intermediate step feature set. Here, the intermediate step feature variable generating unit generates the intermediate step feature set based on the feature variable candidate group processed by the feature variable candidate group exclusion unit.

상기 특징량 후보군 생성부는 상기 원시 특징량 집합에 포함되는 특징량 요소들 각각에 대한 분산을 산출하는 분산 산출 모듈; 상기 산출된 분산을 미리 설정된 제1 문턱값과 비교하는 비교 모듈; 및 상기 산출된 분산이 제1 문턱값보다 큰 특징량 요소들을 추출하여 상기 특징량 후보군을 생성하는 생성 모듈를 포함할 수 있다. The feature variable candidate group generation unit includes: a variance calculation module configured to calculate a variance for each feature variable included in the source feature set; A comparison module for comparing the calculated variance with a first preset threshold; And a generation module for generating the feature variable candidate group by extracting feature variable elements whose calculated variance is greater than a first threshold.

또한 상기 중간 단계 특징량 생성부는, 상기 특징량 후보군에 포함되는 특징량 요소들 중에서 하나를 선택하는 선택 모듈; 상기 선택된 특징량 요소에 대하여 중간 단계 특징량 집합에 이미 포함된 특징량 요소와의 상관도를 산출하는 상관도 산출 모듈; 상기 산출된 상관도가 미리 설정된 제2 문턱값과 비교하는 비교 모듈; 및 상기 산출된 상관도가 제2 문턱값보다 작은 경우에 해당 특징량 요소를 중간 단계 특징량 집합에 포함시키는 집합 생성 모듈을 포함할 수 있다. The intermediate step feature variable generating unit may further include: a selecting module configured to select one of the feature variable elements included in the feature variable candidate group; A correlation calculation module for calculating a correlation with the feature amount element already included in the intermediate step feature set for the selected feature variable; A comparison module for comparing the calculated correlation with a preset second threshold value; And a set generation module for including the corresponding feature variables in the intermediate step feature set when the calculated correlation is smaller than the second threshold.

한편 상기 장치는 상기 특징량 후보군에 포함되는 특징량 요소들에 대한 개인내 분산값을 산출하고, 산출된 개인내 분산값이 미리 설정된 제3 문턱값보다 작은 특징량 요소들만을 토대로 상기 특징량 후보군을 갱신하는, 특징량 후보군 갱신부를 더 포함할 수 있다. On the other hand, the apparatus calculates the in-person variance value for the feature amount elements included in the feature variable candidate group, and based on only the feature amount elements whose calculated in-person variance value is smaller than a third predetermined threshold, The apparatus may further include a feature amount candidate group updater.

본 발명의 실시 예에 따르면, 얼굴 인식을 위하여 획득한 방대한 양의 원시 데이터들로부터 시간적 및 공간적 복잡성(time complexity, space complexity)을 야기시키는 선형 변환을 사용하지 않으면서도 얼굴 식별에 요구되는 정보량을 최대한 유지하면서 얼굴 특징을 나타내는 특징량을 추출할 수 있다. According to an embodiment of the present invention, the maximum amount of information required for face identification is maximized without using a linear transformation that causes time and space complexity from a vast amount of raw data obtained for face recognition. A feature amount indicating a facial feature can be extracted while maintaining it.

도 1은 본 발명의 실시 예에 따른 필터 응답 데이터들을 나타낸 예시도이다.
도 2는 본 발명의 실시 예에 따른 얼굴 특징량 추출 방법의 흐름도이다.
도 3은 본 발명의 실시 예에 따른 특징량 요소를 중간 단계 특징량 집합에 포함시키는 과정을 나타낸 흐름도이다.
도 4 및 도 5는 본 발명의 다른 실시 예에 따른 얼굴 특징량 추출 방법의 흐름도이다.
도 6은 본 발명의 실시 예에 따른 얼굴 특징량 추출 장치의 구조도이다.
도 7은 도 6에 도시된 중간 단계 특징량 생성부의 구조도이다.
1 is an exemplary view showing filter response data according to an exemplary embodiment of the present invention.
2 is a flowchart of a facial feature extraction method according to an exemplary embodiment of the present invention.
3 is a flowchart illustrating a process of including a feature variable in an intermediate stage feature set according to an embodiment of the present invention.
4 and 5 are flowcharts of a facial feature extraction method according to another embodiment of the present invention.
6 is a structural diagram of a facial feature extraction apparatus according to an embodiment of the present invention.
FIG. 7 is a structural diagram of an intermediate stage feature variable generating unit shown in FIG. 6.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention.

그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 '포함'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification and claims, when a section is referred to as including an element, it is understood that it may include other elements as well, without departing from the other elements unless specifically stated otherwise.

이제 본 발명의 실시 예에 따른 얼굴 특징량 추출 방법 및 이를 이용한 얼굴 특징량 추출 장치에 대하여 설명한다. Now, a facial feature extraction method and a facial feature extraction apparatus using the same will be described.

본 발명의 실시 예에서는 얼굴 특징량을 추출하기 위하여 얼굴 인식 필터를 사용한다. 얼굴 인식 필터는 복수의 팩터(factor)들을 포함하며, 팩터들은 주파수(frequency), 방향성(orientation) 등을 포함할 수 있다. 팩터들에 따라 얼굴 인식 필터의 특성이 변화된다. 얼굴 인식 필터를 얼굴 이미지에 대하여 적용하여 필터 응답 데이터들을 획득할 수 있다. In an embodiment of the present invention, a face recognition filter is used to extract a facial feature amount. The face recognition filter includes a plurality of factors, and the factors may include frequency, orientation, and the like. The characteristics of the face recognition filter change according to factors. The filter response data may be obtained by applying a face recognition filter to the face image.

도 1은 본 발명의 실시 예에 따른 필터 응답 데이터들을 나타낸 예시도이다. 도 1에서는 하나의 얼굴 인식 필터만을 적용한 경우가 아니라, 서로 다른 팩터들로 이루어지는 복수의 얼굴 인식 필터들을 얼굴 이미지에 대하여 적용하였을 경우에 획득한 필터 응답 데이터들을 나타낸다. 여기서 얼굴 인식 필터는 가버 필터로 이루어지며, 24개의 방향성과 3개의 주파수를 토대로 서로 다른 특성을 가지는 얼굴 인식 필터들로 이루어지는 필터 집합들을 얼굴 이미지에 적용하였다. 여기서 얼굴 이미지로서, 통계적 대표성을 가지는 얼굴의 이미지들을 포함하는 얼굴 인구 집합에 포함되는 이미지들이 사용될 수 있다. 얼굴 인구 집합에 포함되는 이미지들을 트레이닝(training) 이미지라고 할 수 있다. 1 is an exemplary view showing filter response data according to an exemplary embodiment of the present invention. In FIG. 1, filter response data obtained when a plurality of face recognition filters having different factors are applied to a face image, not only one face recognition filter is applied. Here, the face recognition filter is composed of Gabor filters, and a set of filters including face recognition filters having different characteristics based on 24 directions and three frequencies is applied to the face image. Here, as a face image, images included in a face population set including images of a face having statistical representativeness may be used. The images included in the face population set may be referred to as training images.

이와 같이 얼굴 인식 필터들을 얼굴 이미지에 적용하여 획득한 필터 응답 데이터들을 얼굴 특징량이라고 할 수 있다. 이러한 얼굴 특징량들의 양이 방대하기 때문에 필터 작용에 의하여 획득한 얼굴 특징량 즉, 원시 특징량들을 토대로 얼굴 인식을 수행하기에는 많은 처리 시간과 연산이 소요된다. 따라서 본 발명의 실시 예에서는 이러한 원시 특징량으로부터 소정 특징량들을 추출하여 실질적으로 얼굴 인식에 사용되는 최종 특징량으로 사용한다. In this way, the filter response data obtained by applying the face recognition filters to the face image may be referred to as a facial feature amount. Since the face feature amounts are enormous, it takes a lot of processing time and computation to perform face recognition based on the face feature amount acquired by the filter action, that is, the raw feature amount. Therefore, in the embodiment of the present invention, the predetermined feature amounts are extracted from the original feature amounts and used as the final feature amounts that are substantially used for face recognition.

도 2는 본 발명의 실시 예에 따른 얼굴 특징량 추출 방법의 흐름도이다. 2 is a flowchart of a facial feature extraction method according to an exemplary embodiment of the present invention.

본 발명의 실시 예에 따른 얼굴 특징량 추출 방법은 얼굴 특징량 추출 장치에 의하여 수행될 수 있으며, 이러한 장치에 대해서는 추후에 보다 구체적으로 설명하기로 한다. The facial feature extracting method according to an embodiment of the present invention may be performed by the facial feature extracting apparatus, which will be described in more detail later.

본 발명의 실시 예에서는, 먼저 첨부한 도 2에서와 같이, 얼굴 이미지에 대하여 적어도 하나의 얼굴 인식 필터를 적용하여 획득한 필터 응답 데이터인 원시 얼굴 특징량 요소(이하, 설명의 편의를 위하여 원시 특징량 요소라고 명명함)들을 획득한다(S100). 원시 특징량 요소 f들을 포함하는 평면들의 집합을 원시 특징량 집합 F0라고 할 수 있으며, 원시 특징량 집합 F0는 도 1과 같은 특징을 가질 수 있다. According to an embodiment of the present invention, as shown in FIG. 2, the raw facial feature amount element, which is filter response data obtained by applying at least one face recognition filter to a face image (hereinafter, referred to as a primitive feature) The quantity elements are called (S100). A set of planes including the primitive feature variables f may be referred to as a primitive feature set F0, and the primitive feature set F0 may have the characteristics shown in FIG.

원시 특징량 집합 F0에서 제1 조건을 만족하는 특징량 요소들을 추출하여 특징량 후보군 C을 생성한다(S110). 구체적으로 원시 특징량 집합 F0에 포함되는 특징량 요소들 개개의 얼굴 인구 집합에 대한 분산을 산출하고, 제1 조건 즉, 산출된 분산이 미리 설정된 제1 문턱값(θv)보다 큰 조건을 만족하는 특징량 요소들을 원시 특징량 집합 F0로부터 추출한다. 원시 특징량 집합을 구성하는 각각의 특징량 요소 f들에 대한 분산(var(f))을 각각 산출하고, 산출된 분산이 제1 문턱값(θv)보다 큰 특징량 요소들을 추출하여 특징량 후보군 C를 생성한다. 특징량 후보군 C는 다음과 같이 나타낼 수 있다. A feature variable candidate group C is generated by extracting feature variable elements satisfying the first condition from the original feature set F0 (S110). In more detail, a variance is calculated for each face population set of feature variables included in the primitive feature set F0, and the first condition, that is, the calculated variance satisfies a condition larger than the preset first threshold value θv. The feature variables are extracted from the raw feature set F0. A variance var (f) is calculated for each of the feature quantities elements f constituting the set of raw feature quantities, and the feature quantity candidate groups are extracted by extracting feature quantities elements whose calculated variance is larger than the first threshold value θv. Generate C The feature variable candidate group C can be expressed as follows.

Figure 112012063922054-pat00001
Figure 112012063922054-pat00001

여기서 특징량 후보군 C는 최종 특징량 집합을 산출하기 위한 중간 단계 특징량 집합인 F1을 생성하기 위한 후보 특징량 요소들을 나타낸다. 특징량 후보군 C에 포함되는 특징량 요소들을 토대로 중간 단계 특징량 집합 F1을 생성한다. The feature variable candidate group C represents candidate feature variables for generating F1, which is an intermediate step feature set for calculating the final feature set. An intermediate step characteristic quantity set F1 is generated based on the characteristic quantity elements included in the characteristic quantity candidate group C. FIG.

여기서, 미리 설정된 제1 개수(K1)의 특징량 요소들을 포함하는 중간 단계 특징량 집합 F1을 생성하기 위하여, 특징량 후보군 C에 포함되는 특징량 요소들 중에서 하나를 선택할 수 있다(S120).Herein, in order to generate the intermediate step feature set F1 including the first set number of feature quantities, one of the feature quantities included in the feature group candidate group C may be selected (S120).

그리고 선택된 특징량 요소를 중간 단계 특징량 집합 F1에 포함시킬 수 있다(S130). The selected feature variable may be included in the intermediate feature set F1 (S130).

도 3은 본 발명의 실시 예에 따른 특징량 요소를 중간 단계 특징량 집합에 포함시키는 과정을 나타낸 흐름도이다. 3 is a flowchart illustrating a process of including a feature variable in an intermediate stage feature set according to an embodiment of the present invention.

첨부한 도 3에 도시되어 있듯이, 난수 벡터 r을 생성하고 이를 토대로 특징량 후보군 C으로부터 난수 벡터 r에 대응하는 특징량 요소 f를 선택한다(S131, S132). As shown in FIG. 3, a random number vector r is generated and a feature amount element f corresponding to the random number vector r is selected from the feature variable candidate group C based on the random number vector r (S131 and S132).

그리고 선택된 특징량 요소 f에 대하여, 중간 단계 특징량 집합 F1에 이미 포함된 각각의 특징량 요소들 f'와의 상관도를 모두 산출하고(S133), 산출된 상관도들이 제2 조건을 만족하는지를 판단한다. 구체적으로 산출된 상관도를 미리 설정된 제2 문턱값 θc와 비교하여(S134) 그 값이 제2 문턱값 θc보다 작은 경우, 해당 특징량 요소 f를 중간 단계 특징량 집합 F1에 포함시킨다. 즉, 선택된 특징량 요소 f와 중간 단계 특징량 집합 F1에 이미 포함된 특징량 요소 f'의 상관도 cor(f, f) < θc의 제2 조건을 만족하는 경우, 선택된 특징량 요소 f를 중간 단계 특징량 집합 F1에 포함시킨다(S135)(F1←F1+f). 그러나 위의 조건을 만족하지 않는 경우에는 선택된 특징량 요소 f를 중간 단계 특징량 집합 F1에 포함시키지 않는다(S136).With respect to the selected feature variable f, all correlations with each feature variable f 'already included in the intermediate feature set F1 are calculated (S133), and it is determined whether the calculated correlations satisfy the second condition. do. Specifically, the calculated correlation is compared with the preset second threshold value θc (S134), and when the value is smaller than the second threshold value θc, the feature amount element f is included in the intermediate step feature set F1. That is, when the second condition of the correlation cor (f, f) &lt; theta < c &gt; It is included in the step feature set F1 (S135) ( F1 ← F1 + f). However, if the above condition is not satisfied, the selected feature variable f is not included in the intermediate feature set F1 (S136).

한편 위의 단계(S132)에서 이후의 단계(S133, 134)를 수행하지 않고 선택된 선택된 특징량 요소 f를 중간 단계 특징량 집합 F1에 포함시킬 수도 있다. On the other hand, the selected selected feature variable f may be included in the intermediate feature set F1 without performing the subsequent steps S133 and 134 in step S132.

위와 같은 단계를 통하여, 특징량 후보군 C로부터 중간 단계 특징량 집합 F1에 포함시킬 하나의 특징량 요소 f가 선택되면, 첨부한 도 2에서와 같이, 선택된 특징량 요소 f를 중간 단계 특징량 집합 F1에 포함시킨 다음에, 이후 처리 과정의 간소화를 위하여, 선택된 특징량 요소 f를 토대로 일부 특징량 요소들을 특징량 후보군 C으로부터 제외시킬 수 있다(S140). Through the above steps, if one feature amount element f to be included in the intermediate step feature set F1 is selected from the feature group candidate group C, as shown in FIG. Then, in order to simplify the subsequent processing, some feature amount elements may be excluded from the feature amount candidate group C based on the selected feature amount element f (S140).

얼굴 이미지 자체의 2차원적인 특성으로 인하여, 서로 인접하거나 가까운 거리에 있는 픽셀들에 대응하는 특징량들은 서로 강한 상관 관계를 가진다. 따라서, 하나의 특징량 요소 f가 중간 단계 특징량 집합 F1에 포함되는 것으로 결정되면, 결정된 특징량 요소 f를 기준으로 설정 반경(w) 내에 위치한 이웃 픽셀에 대응하는 특징량 요소들(n_w(f))를 특징량 후보군 C으로부터 제외시킨다. 이에 따라 특징량 후보군은 CC - f - n_w(f)와 같이 갱신될 수 있다. Due to the two-dimensional nature of the facial image itself, feature quantities corresponding to pixels that are adjacent or close to each other have a strong correlation with each other. Therefore, if it is determined that one feature amount element f is included in the intermediate step feature set F1, the feature amount elements n_w (f corresponding to neighboring pixels located within the set radius w with respect to the determined feature amount element f )) Is excluded from feature quantity candidate group C. Accordingly, the feature variable candidate group may be updated as CC -f-n_w (f).

이러한 과정을 설정 개수(K1)의 특징량 요소들을 포함하는 중간 단계 특징량 집합 F1을 생성할 때(|F1|=k1)까지 반복한다. This process is repeated until the intermediate stage feature set F1 including the feature number elements of the set number K1 (| F1 | = k1).

설정 개수(K1)의 특징량 요소들을 포함하는 중간 단계 특징량 집합 F1이 생성되면(S150), 중간 단계 특징량 집합 F1으로부터 얼굴 인식에 사용할 최종 특징량 집합 F2를 획득한다(S160). When the intermediate feature set F1 including the feature number elements of the set number K1 is generated (S150), a final feature set F2 to be used for face recognition is obtained from the intermediate feature set F1 (S160).

최종 특징량 집합 F2를 획득하기 위하여, 기존의 알고리즘 예를 들어, LDA(linear discriminant analysis)를 사용할 수 있다. 구체적으로 원시 특징량 집합으로부터 얼굴의 특징을 명확하게 나타낼 수 있는 특징량 요소들을 포함하는 중간 단계 특징량 집합이 생성되었으므로, 이러한 중간 단계 특징량 집합에 대하여 기존의 알고리즘인 LDA를 적용하여 최종 특징량 집합 F2를 획득할 수 있다(F2<-LDA (F1, k2)). 이미 원시 특징량 집합에 비하여 중간 단계 특징량 집합의 특징량 요소들의 개수가 현저하게 감소된 상태임으로, 기존 알고리즘(LDA)를 사용하여도 기존에 비하여 연산 시간과 복잡성이 현저하게 감소될 수 있다. In order to obtain the final feature set F2, an existing algorithm, for example, linear discriminant analysis (LDA) can be used. Specifically, since the intermediate feature set is generated from the original feature set that includes the feature variables that can clearly represent the feature of the face, the final feature variable is applied to the intermediate feature set by applying the existing algorithm, LDA. The set F2 can be obtained ( F2 <-LDA ( F1 , k2)). Already, the number of feature elements of the intermediate feature set is significantly reduced compared to the original feature set, and thus, even when the existing algorithm (LDA) is used, computation time and complexity can be significantly reduced.

또한 최종 특징량 집합 F2를 획득하기 위하여, 중간 단계 특징량 집합 F1에 포함되는 각각의 특징량 요소들에 대한 분산을 구하고, 분산의 값을 토대로 특징량 요소들을 정렬시킨다. 그리고 정렬된 특징량 요소들으로부터 가장 큰 분산을 가지는 특징량 요소를 기준으로 설정 개수(K2)의 특징량 요소들을 추출하여, 최종 특징량 집합 F2를 생성한다. Also, in order to obtain the final feature set F2, the variances for each feature set included in the intermediate feature set F1 are obtained, and the feature quantities are sorted based on the value of the variance. Then, the feature number elements of the set number K2 are extracted based on the feature amount element having the largest variance from the aligned feature amount elements, thereby generating a final feature amount set F2.

한편, 위에 기술된 실시 예와는 달리, 중간 단계 특징량 집합 생성시에 다른 방법을 사용할 수 있다. On the other hand, unlike the embodiment described above, another method may be used when generating the intermediate feature set.

도 4 및 도 5는 본 발명의 다른 실시 예에 따른 얼굴 특징량 추출 방법의 흐름도이다. 4 and 5 are flowcharts of a facial feature extraction method according to another embodiment of the present invention.

여기서는 위에 기술된 실시 예와는 달리, 특징량 후보군을 생성한 다음에 생성된 특징량 후보군에 대하여 추가적인 선별 처리를 수행하여 새로운 특징량 후보군을 생성한다. Here, unlike the embodiment described above, a new feature variable candidate group is generated by generating a feature variable candidate group and then performing additional screening on the generated feature variable candidate group.

구체적으로, 도 4에서와 같이, 위에 기술된 실시 예와 동일하게, 원시 특징량 집합으로부터 제1 조건(C={f | var(f)> θv})을 만족하는 특징량 요소들을 추출하여 특징량 후보군 C를 생성한 다음에(S300, S310), 특징량 후보군 C에 대하여 특징량 요소에 대한 개인내 분산값을 산출하고(S320), 산출된 개인내 분산값을 토대로 특징량 후보군 C로부터 소정 특징량 요소들을 추출하여 새로운 특징량 후보군 C'를 생성한다. Specifically, as shown in FIG. 4, in the same manner as in the above-described embodiment, the characteristic quantity elements satisfying the first condition C = {f | var (f)> θv} are extracted from the original characteristic quantity set After the quantity candidate group C is generated (S300 and S310), the intrapersonal variance value for the feature quantity element is calculated for the feature quantity candidate group C (S320), and the predetermined amount is determined from the feature quantity candidate group C based on the calculated intrapersonal variance value. Characteristic quantity elements are extracted to generate a new characteristic quantity candidate group C '.

개인내 분산값은 동일인에 대한 복수의 이미지별 차이를 나타내는 것으로, 구체적으로 동일인에 대하여 획득한 복수의 이미지들에서 소정 위치의 픽셀에 해당하는 특징량 요소들간의 차이를 나타낸다. 특징량 후보군 C에 포함되면서 소정 위치의 픽셀에 해당하는 특징량 요소 f에 대한 개인내 분산값(var_w(f))를 산출하고, 산출된 개인내 분산값 (var_w(f))이 미리 설정된 제3 문턱값 θ_wv보다 작은지를 판단한다(S330).The variance value within an individual represents a difference for each of a plurality of images of the same person, and in detail, represents a difference between feature elements corresponding to a pixel at a predetermined position in the plurality of images acquired for the same person. The intrapersonal variance value var_w (f) for the feature amount element f corresponding to the pixel at the predetermined position and included in the feature quantity candidate group C is calculated, and the calculated intrapersonal variance value var_w (f) is set in advance. It is determined whether it is smaller than the three threshold value θ_wv (S330).

특징량 요소 f에 대한 개인내 분산값(var_w(f))이 제3 문턱값 θ_wv보다 작은 경우에, 해당 특징량 요소 f(즉, 소정 위치의 픽셀에 해당하는 특징량 요소들)를 새로운 특징량 후보군 C'에 포함시킨다(S340).When the in-person variance value var_w (f) for the feature amount element f is smaller than the third threshold value θ_wv, the feature amount element f (that is, the feature amount elements corresponding to the pixels at the predetermined position) is new. The amount is included in the candidate group C '(S340).

이러한 과정(S320~S340)을 특징량 후보군 C의 각 특징량 요소에 적용하여, 위의 조건(S330)을 만족하는 특징량 요소들만을 포함하는 새로운 특징량 후보군 C'를 생성한다. This process (S320 to S340) is applied to each feature variable in the feature variable candidate group C, thereby creating a new feature variable candidate group C 'including only feature variable elements satisfying the above condition (S330).

이후 새로운 특징량 후보군 C'의 생성이 완료되면, 도 5에서와 같이, 위의 실시 예와 동일하게, 특징량 후보군 C'로부터 중간 단계 특징량 집합 F1을 생성하고(S360~S390), 중간 단계 특징량 집합 F1으로부터 얼굴 인식에 사용할 최종 특징량 집합 F2를 획득한다(S400).Subsequently, when the generation of the new feature variable candidate group C 'is completed, as shown in FIG. 5, the intermediate feature set F1 is generated from the feature variable candidate group C' in the same manner as in the above embodiment (S360 to S390). A final feature set F2 to be used for face recognition is obtained from the feature set F1 (S400).

한편, 위에 기술된 실시 예들에서, 특징량 후보군(C 또는 C')으로부터 얼굴 영역에서 다른 부분에 비하여 촬영 조건(예를 들어, 카메라와 피사체의 각도, 조명 등)에 영향을 많이 받는 부분에 해당하는 위치에 해당하는 특징량 요소들을 추가적으로 제외시킬 수 있다. 예를 들어, 얼굴 영역에서 코 주위의 부분은 다른 부분에 비하여 촬영 조건에 많은 영향을 받는다. 따라서, 이러한 부분에 대응하는 위치를 설정 위치로 미리 정해놓은 다음에, 특징량 후보군(C 또는 C')으로부터 설정 위치의 픽셀에 해당하는 특징량 요소들을 제외시킬 수 있다. Meanwhile, in the above-described embodiments, the feature amount candidate group C or C 'corresponds to a portion that is more affected by shooting conditions (eg, angles of the camera and the subject, lighting, etc.) than other portions of the face area. The feature amount elements corresponding to the position may be additionally excluded. For example, the part around the nose in the face area is more affected by the shooting conditions than the other parts. Therefore, after the position corresponding to this portion is determined in advance as the setting position, the characteristic quantity elements corresponding to the pixels of the setting position can be excluded from the characteristic quantity candidate group C or C '.

다음에는 이러한 얼굴 특징량 추출 방법을 이용한 얼굴 특징량 추출 장치에 대하여 설명한다. Next, a facial feature extraction apparatus using this facial feature extraction method will be described.

도 6 및 도 7은 본 발명의 실시 예에 따른 얼굴 특징량 추출 장치의 구조를 나타낸 도이다. 6 and 7 are views showing the structure of the facial feature extraction apparatus according to an embodiment of the present invention.

첨부한 도 6에서와 같이 본 발명의 실시 예에 따른 얼굴 특징량 추출 장치(1)는 원시 특징량 획득부(11), 특징량 후보군 생성부(12), 중간 단계 특징량 생성부(13), 최종 특징량 획득부(14)를 포함하며, 이외에도 특징량 후보군 제외부(15) 및/또는 특징량 후보군 갱신부(16)를 더 포함할 수 있다. As shown in FIG. 6, the apparatus for extracting facial features according to an embodiment of the present invention 1 includes a raw feature variable obtaining unit 11, a feature group candidate group generating unit 12, and an intermediate stage feature variable generating unit 13. And a final feature variable obtaining unit 14, and may further include a feature variable candidate group exclusion unit 15 and / or a feature variable candidate group updating unit 16.

원시 특징량 획득부(11)는 얼굴 이미지에 대하여 적어도 하나의 얼굴 인식 필터를 적용하여 획득한 필터 응답 데이터인 원시 얼굴 특징량 요소들을 포함하는 원시 특징량 집합을 획득한다. The raw feature variable obtaining unit 11 obtains a raw feature variable set including raw face feature variable elements which are filter response data obtained by applying at least one face recognition filter to a face image.

특징량 후보군 생성부(12)는 원시 특징량 집합으로부터 제1 조건을 만족하는 특징량 요소들을 추출하여 특징량 후보군을 생성한다. The feature variable candidate group generation unit 12 generates a feature variable candidate group by extracting feature variable elements satisfying the first condition from the original feature variable set.

이를 위하여, 특징량 후보군 생성부(12)는 원시 특징량 집합에 포함되는 특징량 요소들 각각에 대한 분산을 산출하는 분산 산출 모듈(121), 산출된 분산을 미리 설정된 제1 문턱값과 비교하는 비교 모듈(122), 산출된 분산이 제1 문턱값보다 작은 특징량 요소들을 포함하는 특징량 후보군 C를 생성하는 생성 모듈(123)을 포함한다. To this end, the feature amount candidate group generation unit 12 calculates a variance for each of the feature amount elements included in the set of raw feature quantities, and calculates a variance for the variance calculation module 121 and compares the calculated variance with a preset first threshold value. The comparison module 122 includes a generation module 123 for generating the feature amount candidate group C including the feature amount elements whose calculated variance is less than the first threshold.

중간 단계 특징량 생성부(13)는 특징량 후보군으로부터 제1 설정 개수의 특징량 요소들을 포함하는 중간 단계 특징량 집합을 생성한다. 이를 위하여, 도 7에서와 같이, 중간 단계 특징량 생성부(13)는 특징량 후보군에 포함되는 특징량 요소들 중에서 하나를 선택하는 선택 모듈(131), 선택된 특징량 요소에 대하여 중간 단계 특징량 집합에 이미 포함된 특징량 요소와의 상관도를 산출하는 상관도 산출 모듈(132), 산출된 상관도를 미리 설정된 제2 문턱값과 비교하는 비교 모듈(133), 산출된 상관도가 제2 문턱값보다 작은 경우에 해당 특징량 요소를 중간 단계 특징량 집합에 포함시키는 집합 생성 모듈(134)을 포함한다. 이러한 선택 모듈(131), 상관도 산출 모듈(132), 비교 모듈(133), 집합 생성 모듈(134)은 설정 개수의 특징량 요소를 포함하는 중간 단계 특징량 집합이 생성될 때까지 반복적으로 해당 동작을 수행할 수 있다. The intermediate step feature variable generating section 13 generates an intermediate step feature set which includes a first set number of feature variable elements from the feature variable candidate group. To this end, as shown in FIG. 7, the intermediate step feature variable generating unit 13 selects one of the feature variable elements included in the feature variable candidate group 131 and the intermediate step feature variable for the selected feature variable. A correlation coefficient calculating module 132 that calculates a correlation with the feature amount elements already included in the set, a comparison module 133 that compares the calculated correlation with a preset second threshold value, and the calculated correlation is second And a set generation module 134 for including the corresponding feature variables in the intermediate step feature set when the threshold is smaller than the threshold. The selection module 131, the correlation calculation module 132, the comparison module 133, and the set generation module 134 repeatedly apply the intermediate step feature set including the set number of feature elements. You can perform the operation.

최종 특징량 획득부(14)는 제2 설정 개수의 특징량 요소들을 포함하는 중간 단계 특징량 집합으로부터 얼굴 인식에 사용할 최종 특징량 집합을 획득한다. 중간 단계 특징량 집합에 대하여 기존의 알고리즘인 LDA를 적용하여 최종 특징량 집합을 획득할 수 있다. 또는 중간 단계 특징량 집합에 포함되는 각각의 특징량 요소들에 대한 분산을 구하고 분산의 값을 토대로 특징량 요소들을 정렬시킨 다음에, 정렬된 특징량 요소들으로부터 가장 큰 분산을 가지는 특징량 요소를 기준으로 설정 개수(K2)의 특징량 요소들을 추출하여 최종 특징량 집합을 획득할 수 있다.The final feature variable obtaining unit 14 obtains the final feature variable set to be used for face recognition from the intermediate step feature variable set including the second set number of feature variable elements. The final feature set can be obtained by applying the existing algorithm LDA to the intermediate feature set. Or obtain variances for each of the feature elements included in the intermediate set of feature quantities, arrange the feature variables based on the value of the variance, and then select the feature variable with the largest Based on the feature number elements of the set number K2, the final feature amount set may be obtained.

한편, 후보군 제외부(15)는 중간 단계 특징량 생성부(13)에 의하여 하나의 특징량 요소가 중간 단계 특징량 집합에 포함되는 것으로 결정되면, 결정된 특징량 요소를 기준으로 설정 반경내에 위치한 이웃 픽셀에 대응하는 특징량 요소들을 특징량 후보군으로부터 제외시킨다. On the other hand, if the candidate group exclusion unit 15 determines that one feature variable is included in the intermediate feature set by the intermediate feature set generation unit 13, the candidate group exclusion unit 15 is located within a set radius based on the determined feature variable. The feature amount elements corresponding to the pixels are excluded from the feature variable candidate group.

또한 특징량 후보군 갱신부(16)는 특징량 후보군에 포함되는 특징량 요소들에 대한 개인내 분산값을 산출하고, 산출된 개인내 분산값을 토대로 특징량 후보군으로부터 소정 특징량 요소들을 추출하여 새로운 특징량 후보군을 생성한다. 이후 중간 단계 특징량 생성부(13)는 특징량 후보군 갱신부(16)에 의하여 새로이 생성된 특징량 후보군으로부터 제1 설정 개수의 특징량 요소들을 포함하는 중간 단계 특징량 집합을 생성할 수 있다. In addition, the feature amount candidate group updating unit 16 calculates an in-person variance value of the feature amount elements included in the feature amount candidate group, extracts predetermined feature variable elements from the feature amount candidate group based on the calculated in-person dispersion value, A feature variable candidate group is generated. Thereafter, the intermediate step feature variable generating unit 13 may generate an intermediate step feature set including the first set number of feature variable elements from the feature variable candidate group newly generated by the feature variable candidate group updater 16.

이상에서 설명한 본 발명의 실시 예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예에 따른 방법 및 그 시스템의 구성에 대응하는 기능을 실행시킬 수 있는 프로그램 또는 그 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다. Although the present invention has been described and illustrated in detail, it is clearly understood that the same is by way of illustration and example only and is not to be construed as limited to the embodiments set forth herein. And the present invention can be easily implemented by those skilled in the art from the description of the embodiments described above.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims (12)

얼굴 이미지에 대하여 적어도 하나의 얼굴 인식 필터를 적용하여 획득한 필터 응답 데이터인 원시 얼굴 특징량 요소들을 포함하는 원시 특징량 집합을 획득하는 단계;
원시 특징량 집합으로부터 설정 조건을 만족하는 특징량 요소들을 추출하여 특징량 후보군을 생성하는 단계;
상기 특징량 후보군으로부터 제1 설정 개수의 특징량 요소들을 포함하는 중간 단계 특징량 집합을 생성하는 단계; 및
상기 중간 단계 특징량 집합으로부터 얼굴 인식에 사용할 제2 설정 개수의 특징량 요소들을 포함하는 최종 특징량 집합을 획득하는 단계
를 포함하고,
상기 중간 단계 특징량 집합을 생성하는 단계는 상기 특징량 후보군으로부터 선택되는 하나의 특징량 요소에 대하여, 상기 중간 단계 특징량 집합에 이미 포함된 특징량 요소와의 상관도를 산출하고, 산출된 상관도를 토대로 상기 하나의 특징량 요소가 상기 중간 단계 특징량 집합에 포함되는 것으로 결정되면, 상기 특징량 후보군으로부터 상기 하나의 특징량 요소에 관련된 일부 특징량 요소들을 삭제시키는, 얼굴 특징량 추출 방법.
Obtaining a raw feature variable set including raw face feature variable elements which are filter response data obtained by applying at least one face recognition filter to a face image;
Generating a feature variable candidate group by extracting feature variable elements satisfying a set condition from the original feature variable set;
Generating an intermediate set of feature quantities comprising a first set number of feature quantities elements from the feature quantity candidate group; And
Obtaining a final feature set comprising a second set number of feature quantities elements to be used for face recognition from the intermediate feature set
Lt; / RTI &gt;
Generating the intermediate feature set includes calculating a correlation with a feature variable already included in the intermediate feature set for one feature variable selected from the feature variable candidate group, and calculating the correlation And if it is determined based on the figure that the one feature variable is included in the intermediate step feature set, deleting some feature variable related to the one feature variable from the feature variable candidate group.
제1항에 있어서
상기 중간 단계 특징량 집합을 생성하는 단계는 상기 하나의 특징량 요소를 기준으로 설정 반경내에 위치하는 상기 얼굴 이미지의 픽셀에 대응하는 특징량 요소를 상기 특징량 후보군으로부터 삭제시키는, 얼굴 특징량 추출 방법.
The method of claim 1, wherein
The generating of the intermediate feature set may include deleting, from the feature variable candidate group, a feature variable corresponding to a pixel of the face image located within a set radius with respect to the one feature variable. .
제1항에 있어서
상기 특징량 후보군을 생성하는 단계는,
상기 원시 특징량 집합에 포함되는 특징량 요소들 각각에 대한 분산을 산출하는 단계;
상기 산출된 분산을 미리 설정된 제1 문턱값과 비교하는 단계; 및
상기 산출된 분산이 제1 문턱값보다 큰 특징량 요소들을 추출하여 상기 특징량 후보군을 생성하는 단계
를 포함하는, 얼굴 특징량 추출 방법.
The method of claim 1, wherein
Generating the feature variable candidate group,
Calculating a variance for each of the feature quantities elements included in the set of raw feature quantities;
Comparing the calculated variance with a first predetermined threshold; And
Generating the feature variable candidate group by extracting feature variable elements whose calculated variance is greater than a first threshold
Including, facial feature extraction method.
제1항에 있어서
상기 중간 단계 특징량 집합을 생성하는 단계는
상기 특징량 후보군에 포함되는 특징량 요소들 중에서 하나를 선택하는 단계;
상기 선택된 특징량 요소에 대하여 중간 단계 특징량 집합에 이미 포함된 특징량 요소와의 상관도를 산출하는 단계;
상기 산출된 상관도가 미리 설정된 제2 문턱값과 비교하는 단계;
상기 산출된 상관도가 제2 문턱값보다 작은 경우에 해당 특징량 요소를 중간 단계 특징량 집합에 포함시키는 단계; 및
상기 중간 단계 특징량 집합에 포함되는 상기 특징량 요소에 관련된 일부 특징량 요소들을 상기 특징량 후보군으로부터 삭제시키는 단계
를 포함하고,
상기 제1 설정 개수의 특징량 요소를 포함할 때까지 상기 선택하는 단계, 상기 산출하는 단계, 상기 비교하는 단계, 상기 포함시키는 단계, 그리고 상기 특징량 후보군으로부터 삭제시키는 단계가 반복적으로 수행되는, 얼굴 특징량 추출 방법.
The method of claim 1, wherein
Generating the intermediate step feature set
Selecting one of the feature elements included in the feature variable candidate group;
Calculating a correlation with the feature amount element already included in the intermediate step feature set for the selected feature variable;
Comparing the calculated correlation with a preset second threshold value;
Including the corresponding feature variable in the intermediate step feature set when the calculated correlation is less than a second threshold; And
Deleting some feature variables related to the feature variables in the intermediate feature set from the feature variable candidate group
Lt; / RTI &gt;
Wherein the selecting, calculating, comparing, including, and deleting from the feature variable candidate group are repeatedly performed until the first set number of feature quantities elements is included. Feature extraction method.
제1항에 있어서
상기 최종 특징량 집합을 획득하는 단계는
상기 중간 단계 특징량 집합에 포함되는 각각의 특징량 요소들에 대한 분산을 산출하는 단계;
상기 분산의 값을 토대로 특징량 요소들을 정렬시키는 단계; 및
상기 정렬된 특징량 요소들으로부터 가장 큰 분산을 가지는 특징량 요소를 기준으로 상기 제2 설정 개수의 특징량 요소들을 추출하여 최종 특징량 집합을 획득하는 단계
를 포함하는, 얼굴 특징량 추출 방법.
The method of claim 1, wherein
Acquiring the final feature set
Calculating a variance for each feature amount element included in the intermediate feature set;
Arranging feature quantity elements based on the value of the variance; And
Extracting the second set number of feature variable elements based on the feature variable having the largest variance from the sorted feature variable elements to obtain a final feature set
Including, facial feature extraction method.
제1항 내지 제5항 중 어느 한 항에 있어서
상기 특징량 후보군의 각 특징량 요소에 대한 개인내 분산값을 토대로 상기 특징량 후보군을 갱신시키는 단계
를 더 포함하고,
상기 중간 단계 특징량 집합을 생성하는 단계는 상기 갱신된 특징량 후보군을 이용하여 중간 단계 특징량 집합을 생성하는, 얼굴 특징량 추출 방법.
The method according to any one of claims 1 to 5.
Updating the feature variable candidate group based on the in-person dispersion value for each feature variable element of the feature variable candidate group
Further comprising:
The generating of the intermediate feature set may include generating an intermediate feature set using the updated feature variable candidate group.
제6항에 있어서
상기 갱신하는 단계는
상기 특징량 후보군에 포함되는 특징량 요소들에 대한 개인내 분산값을 산출하는 단계;
상기 산출된 개인내 분산값을 미리 설정된 제3 문턱값과 비교하는 단계; 및
상기 산출된 개인내 분산값이 상기 제3 문턱값 보다 작은 경우에, 해당 특징량 요소를 새로운 특징량 후보군에 포함시키는 단계
를 포함하는, 얼굴 특징량 추출 방법.
The method of claim 6, wherein
The step of updating
Calculating an in-person variance value for the feature variables included in the feature variable candidate group;
Comparing the calculated in-person dispersion value with a third predetermined threshold value; And
Incorporating the corresponding feature variable into a new feature variable candidate group when the calculated intrapersonal variance is smaller than the third threshold.
Including, facial feature extraction method.
제1항 내지 제5항 중 어느 한 항에 있어서
상기 특징량 후보군을 생성하는 단계는
상기 특징량 후보군으로부터 얼굴 이미지에 포함되는 얼굴 영역에 대하여 미리 설정된 위치의 픽셀에 해당하는 특징량 요소들을 제외시키는 단계를 더 포함하는, 얼굴 특징량 추출 방법.
The method according to any one of claims 1 to 5.
Generating the feature variable candidate group
And excluding feature amount elements corresponding to pixels at preset positions with respect to the face area included in the face image from the feature variable candidate group.
얼굴 이미지에 대하여 적어도 하나의 얼굴 인식 필터를 적용하여 획득한 필터 응답 데이터인 원시 얼굴 특징량 요소들을 포함하는 원시 특징량 집합을 획득하는 원시 특징량 획득부;
상기 원시 특징량 집합으로부터 제1 조건을 만족하는 특징량 요소들을 추출하여 특징량 후보군을 생성하는 특징량 후보군 생성부;
상기 특징량 후보군으로부터 제1 설정 개수의 특징량 요소들을 포함하는 중간 단계 특징량 집합을 생성하는 중간 단계 특징량 생성부;
상기 특징량 후보군으로부터 선택되는 하나의 특징량 요소에 대하여, 상기 중간 단계 특징량 집합에 이미 포함된 특징량 요소와의 상관도를 산출하고, 산출된 상관도를 토대로 상기 하나의 특징량 요소가 상기 중간 단계 특징량 집합에 포함되는 것으로 결정되면, 상기 하나의 특징량 요소를 기준으로 설정 반경내에 위치하는 상기 얼굴 이미지의 픽셀에 대응하는 특징량 요소를 상기 특징량 후보군으로부터 삭제시키는 특징량 후보군 제외부; 및
상기 중간 단계 특징량 집합으로부터 얼굴 인식에 사용할 제2 설정 개수의 특징량 요소들을 포함하는 최종 특징량 집합을 획득하는 최종 특징량 획득부
를 포함하고,
상기 중간 단계 특징량 생성부는 상기 특징량 후보군 제외부에 의하여 처리된 특징량 후보군을 토대로 중간 단계 특징량 집합을 생성하는, 얼굴 특징량 추출 장치.
A raw feature variable obtaining unit obtaining a raw feature variable set including raw face feature variable elements which are filter response data obtained by applying at least one face recognition filter to a face image;
A feature variable candidate group generation unit for generating a feature variable candidate group by extracting feature variable elements satisfying a first condition from the original feature variable set;
An intermediate step feature variable generating unit for generating an intermediate step feature variable set including a first set number of feature variable elements from the feature variable candidate group;
For one feature variable selected from the feature variable candidate group, a correlation with the feature variable already included in the intermediate step feature set is calculated, and based on the calculated correlation, the feature with the feature A feature amount candidate group exclusion unit which deletes, from the feature variable candidate group, a feature variable corresponding to a pixel of the face image located within a set radius with respect to the one feature variable when it is determined to be included in the intermediate feature set; ; And
A final feature variable obtaining unit for obtaining a final feature variable set including a second set number of feature variable elements to be used for face recognition from the intermediate feature set;
Lt; / RTI &gt;
And the intermediate step feature variable generating unit generates the intermediate step feature variable set based on the feature variable candidate group processed by the feature variable candidate group exclusion unit.
제9항에 있어서
상기 특징량 후보군 생성부는
상기 원시 특징량 집합에 포함되는 특징량 요소들 각각에 대한 분산을 산출하는 분산 산출 모듈;
상기 산출된 분산을 미리 설정된 제1 문턱값과 비교하는 비교 모듈; 및
상기 산출된 분산이 제1 문턱값보다 큰 특징량 요소들을 추출하여 상기 특징량 후보군을 생성하는 생성 모듈
을 포함하는, 얼굴 특징량 추출 장치.
The method of claim 9, wherein
The feature variable candidate group generation unit
A variance calculation module for calculating a variance for each of the feature quantities elements included in the set of primitive features;
A comparison module for comparing the calculated variance with a first preset threshold; And
A generation module for extracting feature quantity elements having the calculated variance greater than a first threshold to generate the feature quantity candidate group
A facial feature extraction apparatus comprising a.
제9항에 있어서
상기 중간 단계 특징량 생성부는,
상기 특징량 후보군에 포함되는 특징량 요소들 중에서 하나를 선택하는 선택 모듈;
상기 선택된 특징량 요소에 대하여 중간 단계 특징량 집합에 이미 포함된 특징량 요소와의 상관도를 산출하는 상관도 산출 모듈;
상기 산출된 상관도가 미리 설정된 제2 문턱값과 비교하는 비교 모듈; 및
상기 산출된 상관도가 제2 문턱값보다 작은 경우에 해당 특징량 요소를 중간 단계 특징량 집합에 포함시키는 집합 생성 모듈
을 포함하는, 얼굴 특징량 추출 장치.
The method of claim 9, wherein
The intermediate step feature variable generating unit,
A selection module for selecting one of the feature variables included in the feature variable candidate group;
A correlation calculation module for calculating a correlation with the feature amount element already included in the intermediate step feature set for the selected feature variable;
A comparison module for comparing the calculated correlation with a preset second threshold value; And
A set generation module for including the corresponding feature variables in the intermediate step feature set when the calculated correlation is less than a second threshold
A facial feature extraction apparatus comprising a.
제9항에 있어서
상기 특징량 후보군에 포함되는 특징량 요소들에 대한 개인내 분산값을 산출하고, 산출된 개인내 분산값이 미리 설정된 제3 문턱값보다 작은 특징량 요소들만을 토대로 상기 특징량 후보군을 갱신하는, 특징량 후보군 갱신부를 더 포함하는, 얼굴 특징량 추출 장치.
The method of claim 9, wherein
Calculating an in-person variance value for the feature amount elements included in the feature variable candidate group, and updating the feature amount candidate group based only on the feature amount elements whose calculated in-person variance value is smaller than a preset third threshold value, And a feature feature candidate group updater.
KR1020120087495A 2012-08-09 2012-08-09 Method for extracting face characteristic and apparatus thereof KR101310886B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120087495A KR101310886B1 (en) 2012-08-09 2012-08-09 Method for extracting face characteristic and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120087495A KR101310886B1 (en) 2012-08-09 2012-08-09 Method for extracting face characteristic and apparatus thereof

Publications (1)

Publication Number Publication Date
KR101310886B1 true KR101310886B1 (en) 2013-09-25

Family

ID=49456586

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120087495A KR101310886B1 (en) 2012-08-09 2012-08-09 Method for extracting face characteristic and apparatus thereof

Country Status (1)

Country Link
KR (1) KR101310886B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09265528A (en) * 1996-03-28 1997-10-07 Fujitsu Denso Ltd Fingerprint registering method
KR20050112219A (en) * 2004-05-25 2005-11-30 한양대학교 산학협력단 Method for recognizing a face using haar-like feature/lda and apparatus thereof
KR20080041931A (en) * 2006-11-08 2008-05-14 삼성전자주식회사 Method and apparatus for recognizing face using extended gabor wavelet features
JP2011257963A (en) 2010-06-08 2011-12-22 Canon Inc Image processing device, and processing method and program thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09265528A (en) * 1996-03-28 1997-10-07 Fujitsu Denso Ltd Fingerprint registering method
KR20050112219A (en) * 2004-05-25 2005-11-30 한양대학교 산학협력단 Method for recognizing a face using haar-like feature/lda and apparatus thereof
KR20080041931A (en) * 2006-11-08 2008-05-14 삼성전자주식회사 Method and apparatus for recognizing face using extended gabor wavelet features
JP2011257963A (en) 2010-06-08 2011-12-22 Canon Inc Image processing device, and processing method and program thereof

Similar Documents

Publication Publication Date Title
Almaev et al. Local gabor binary patterns from three orthogonal planes for automatic facial expression recognition
US9400919B2 (en) Learning deep face representation
Ko et al. Development of a Facial Emotion Recognition Method based on combining AAM with DBN
US20170357847A1 (en) Biologically inspired apparatus and methods for pattern recognition
US20200005023A1 (en) Facial image recognition using pseudo-images
KR20150116641A (en) Apparatus for recognizing image, method for recognizing image thereof, and method for generating face image thereof
US20100111375A1 (en) Method for Determining Atributes of Faces in Images
Zhao et al. Applying contrast-limited adaptive histogram equalization and integral projection for facial feature enhancement and detection
Moallem et al. Fuzzy inference system optimized by genetic algorithm for robust face and pose detection
Parde et al. Face and image representation in deep CNN features
KR101326691B1 (en) Robust face recognition method through statistical learning of local features
CN111539320B (en) Multi-view gait recognition method and system based on mutual learning network strategy
Torrisi et al. Selecting discriminative CLBP patterns for age estimation
de Pontes Oliveira et al. A data augmentation methodology to improve age estimation using convolutional neural networks
Cho et al. Robust facial expression recognition using a smartphone working against illumination variation
Reale et al. Facial action unit analysis through 3d point cloud neural networks
Ignat et al. Gender recognition with Gabor filters
Gowda Face verification across age progression using facial feature extraction
CN115688075A (en) Identity verification method and device based on face recognition
US20180247184A1 (en) Image processing system
KR101310886B1 (en) Method for extracting face characteristic and apparatus thereof
Abayomi-Alli et al. Facial image quality assessment using an ensemble of pre-trained deep learning models (EFQnet)
Geetha et al. 3D face recognition using Hadoop
CN110084110B (en) Near-infrared face image recognition method and device, electronic equipment and storage medium
Khryashchev et al. Gender and age recognition for video analytics solution

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170901

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180830

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190902

Year of fee payment: 7