KR101558547B1 - Age Cognition Method that is powerful to change of Face Pose and System thereof - Google Patents
Age Cognition Method that is powerful to change of Face Pose and System thereof Download PDFInfo
- Publication number
- KR101558547B1 KR101558547B1 KR1020140009896A KR20140009896A KR101558547B1 KR 101558547 B1 KR101558547 B1 KR 101558547B1 KR 1020140009896 A KR1020140009896 A KR 1020140009896A KR 20140009896 A KR20140009896 A KR 20140009896A KR 101558547 B1 KR101558547 B1 KR 101558547B1
- Authority
- KR
- South Korea
- Prior art keywords
- dimensional shape
- age
- vector
- user
- dimensional
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
Abstract
본 발명 얼굴 포즈 변화에 강한 연령 인식방법은 연령대를 알고자하는 사용자의 얼굴 이미지를 입력받는 단계와, 입력받은 이미지를 기초로 하여 3차원 형상 정보를 추출하는 단계와, 3차원 형상 정보를 기반으로 3차원 형상의 특징을 표현하는 기술자를 생성하는 단계 및 상기 생성된 기술자를 기초로 연령을 예측하는 단계를 포함하여 이루어진 것으로 얼굴 포즈 변화에 강한 연령 인식 시스템은 입력된 얼굴 이미지를 기초로 3차원 형상 정보를 생성하는 3차원 형상 정보 추출기와, 상기 3차원 형상 정보 추출기에서 생성된 3차원 정보를 기초로 3차원 형상의 특징을 표현하는 기술자들을 생성하는 3차원 형상 기반 특징 추출기 및 상기 3차원 형상 기반 특징 추출기에서 생성된 기술자들을 수신하여 연령을 예측하는 연령 예측기로 구성된 것을 특징으로 하는 것이다.According to an aspect of the present invention, there is provided a method of recognizing a face which is strong in face pose change, comprising the steps of: inputting a face image of a user who wants to know the age range; extracting three-dimensional shape information based on the input image; And a step of predicting the age on the basis of the generated descriptor. The age recognition system, which is resistant to the change of the face pose, generates a three-dimensional shape A three-dimensional shape feature extractor for generating three-dimensional shape information based on the three-dimensional information generated by the three-dimensional shape information extractor, And an age predictor for predicting the age by receiving the descriptors generated in the feature extractor .
Description
본 발명은 시스템에 입력되는 얼굴 이미지를 기초로 하여 사람의 연령을 인식하고 예측하는 것에 관한 것이다. 일반적으로 기술 발전에 의하여 사람들이 직접 대면하지 아니하고 화상 통신과 같은 방법으로 원거리에서 서로 실시간으로 토의하고 대화하는 것이 일반화된 상태이다. 따라서 화상 통신과 같은 방법을 통하여 대화하고 토의하는 상대의 연령 등을 파악하여 연령에 따라 대응할 필요가 있는 것이다. 본 발명은 화상 통신과 같이 사람의 얼굴 이미지가 시스템이 입력되는 겨우 그 입력된 이미지를 기초로 하여 특징점의 3차원의 형상을 추출하고 이를 이용하여 연령을 인식하고 예측하는 것에 관한 것이다.
The present invention relates to recognizing and predicting a person's age based on a face image input to the system. Generally, it is generalized that people do not face directly by technological development but discuss and communicate with each other at a distance from each other in the same way as video communication. Therefore, it is necessary to grasp the age and the like of the person who talks and discusses through a method such as video communication, and it is necessary to respond according to the age. The present invention relates to a method for extracting a three-dimensional shape of a feature point based on an input image of a face image of a person, such as image communication, and recognizing and predicting the age using the input image.
본 발명과 관련된 종래의 기술은 대한민국 공개특허 공개번호 제10-2011-0029805호에 개시되어 있다. 도 1은 상기 종래의 시각 기반 사용자 연령대 구분 및 추정 방법에 대한 흐름도이다. 상기도 1에서 종래의 시각 기반 사용자 연령대 구분 및 추정 방법은 카메라 등의 영상획득장치로부터 이미지가 입력되면 얼굴을 검출하여 정면 얼굴 영역을 찾는다(S110). 이 때 Viola and Jones 기반 얼굴 검출 방법 등을 사용할 수 있는 것이다. 다음은 이와 같이 검출된 얼굴 영역을 더 세밀하게 조정하기 위하여 눈의 위치를 찾는다(S120). 눈의 위치를 찾기 위해서는 Active Appearance Model과 같은 얼굴 영역 검출 방법을 이용할 수 있는 것이다. 다음, 검출된 눈의 위치를 기준으로 하여 얼굴 영역에 대한 이미지 조정을 수행한다(S130). 이미지 조정은 얼굴 영역 이외의 부분을 잘라내거나(crop), 얼굴 영역이 이미지의 중앙에 위치하도록 정렬하거나(align), 얼굴을 회전하거나(rotate), 크기를 조정하는(scale) 등의 과정을 통해 수행되는 것이다. 이는 눈의 위치를 기준으로 수행되는데, 눈의 위치가 검출되면 기준 크기(예를 들면 50*50 화소)의 이미지상에서 오른쪽과 왼쪽 눈의 위치가 특정 위치에 오도록 이미지를 조정하는 것이다. 조정된 이미지를 이용하여 인식에 유리하도록 이미지 변환작업을 수행하여 특징벡터를 추출한다(S140). 이를 위해서는 Histogram of Gradients 기술을 이용할 수 있는 것이다. 위에서 예로 든 50*50 화소 크기의 이미지에서는 HOG 특징벡터를 추출할 경우 그 크기(차원)가 2500 정도인 벡터가 생성된다. 이 벡터의 차원은 HOG 생성에 관련된 파라미터에 따라 약간의 변동이 생길 수 있는 것이다. 다음으로는, 약 2500 정도 차원의 특징 벡터를 연령대 인식에 유리하도록 차원을 줄인다(S150). 차원을 줄이기 위해서는 Manifold Learning 방식이 사용되는데, Linear Discriminant Analysis와 유사한 Orthogonal Localith Preserving Projections (OLPP) 방법 등을 사용할 수 있는 것이다. 이와 같이 벡터의 차원(크기)을 줄임으로서 연령대 인식에 있어서 노이즈가 되는 특징들을 없앨 수 있고 이는 곧 연령대 인식 성능의 향상으로 이어지는 것이다. OLPP를 이용하여 줄여진 저차원의 특징 벡터를 이용하여 연령대를 구분한다(S160). 연령대 구분을 위해서는 kNN 알고리즘을 이용할 수 있는 것이다. 즉, 미리 구축된 다량의 연령대 이미지 데이터베이스와 현재 이미지의 특징 벡터를 비교하여 k개의 가장 가까운 데이터베이스 상에서의 이미지를 찾는 것이다. 상기 k개의 이미지 중에서 가장 많이 존재하는 연령대를 최종 결과로 선택한다. 이 때 연령대는 10세 미만, 10대, 20대, 30대, ..., 80대 이상과 같이 나눌 수 있는 것이다. 이와 같이 연령대를 결정하는 데 사용되는 연령대 데이터베이스는 상술한 바와 같은 이미지 분석 단계를 동일하게 거친 저차원의 특징 벡터와 실제 연령대의 쌍으로 이루어져 미리 구축되는 것이다. 한편, 위의 방법의 각 단계에서 사용할 수 있는 알고리즘을 예시하였으나 이는 상술한 예에 제한되지 않으며 그 밖의 다양한 알고리즘이 대체되어 쓰일 수 있는 것이고, 예를 들면, 이미지 변환(특징 추출) 단계에서 HOG 뿐 아니라 Image Normalization, Self-Quotient Image(SQI), Modified Census Transform(MCT) 등이 사용될 수 있는 것이다.
A conventional technique related to the present invention is disclosed in Korean Patent Laid-Open Publication No. 10-2011-0029805. FIG. 1 is a flowchart of the conventional time-based user age grouping and estimation method. In FIG. 1, the conventional time-based user age grouping and estimation method detects a face when an image is input from an image acquisition device such as a camera to search for a front face area (S110). In this case, Viola and Jones based face detection method can be used. Next, the eye position is searched for more precisely adjusting the detected face area (S120). In order to find the position of the eye, a facial region detection method such as the Active Appearance Model can be used. Next, image adjustment is performed on the face area based on the detected eye position (S130). Image adjustment involves cropping parts other than the face area, aligning the face area to the center of the image, rotating the face, scaling, etc. . This is performed based on the position of the eye. When the position of the eye is detected, the image is adjusted so that the positions of the right and left eyes come to a specific position on an image of a reference size (for example, 50 * 50 pixels). The feature vector is extracted by performing an image conversion operation so as to be advantageous for recognition using the adjusted image (S140). For this, Histogram of Gradients technique can be used. In the case of the 50 * 50 pixel size image, a vector with a size (dimension) of about 2500 is generated when the HOG feature vector is extracted. The dimension of this vector may vary slightly depending on the parameters involved in HOG generation. Next, the feature vectors of about 2500 dimensions are reduced in size so as to be advantageous to age recognition (S150). To reduce the dimension, Manifold Learning method is used. Orthogonal Localith Preserving Projections (OLPP) method similar to Linear Discriminant Analysis can be used. By reducing the dimension (size) of the vector as described above, it is possible to eliminate the noise characteristics in the age recognition, which leads to the improvement of the age recognition performance. The age group is classified using the low-dimensional feature vector reduced using OLPP (S160). The kNN algorithm can be used for age classification. That is, a large amount of a pre-constructed age-range image database is compared with a feature vector of the current image to find an image on k closest databases. And selects the ages most existing among the k images as a final result. At this time, ages can be divided into 10 years, 10s, 20s, 30s, ..., 80s or more. The age group database used to determine the age group is constructed in advance as a pair of a low-dimensional feature vector and an actual age group that are identical to the image analysis step described above. However, the present invention is not limited to the above-described examples and various other algorithms may be used. For example, in the image transformation (feature extraction) step, only HOG Image Normalization, Self-Quotient Image (SQI), and Modified Census Transform (MCT) can be used.
상기와 같은 종래의 시각 기반 사용자 연령대 구분 방법은 눈의 위치를 기준으로 하여 얼굴 이미지를 정규화한 후 특징점을 추출하고 학습데이터와 비교하여 연령대를 판단하므로 얼굴의 포즈에 따라 정규화된 이미지에서 코, 입의 위치 및 전체적인 크기가 변하게 되어 학습이 어렵고 예측 정확도가 떨어지는 문제점이 있는 것이다. 또한 종래의 방법은 이미지를 기반으로 하므로 조명 변화 등에 따라서 정확도에 영향을 받는 문제점이 있는 것이다. 상기와 같은 종래 기술의 문제점을 해결하기 위한 본 발명 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템은 입력 이미지로부터 3차원 형상을 추출하여 연령대를 인식함으로 포즈 변화, 조명 변화에도 불구하고 연령대를 정확히 인식하기 위한 것이다.
The above-described conventional time-based user age segmentation method normalizes a face image based on eye position, extracts feature points, and compares the extracted feature points with learning data to determine age ranges. Therefore, The position and the overall size of the image are changed, so that learning is difficult and prediction accuracy is poor. In addition, since the conventional method is based on an image, there is a problem that it is affected by accuracy due to illumination change and the like. According to an aspect of the present invention, there is provided a method and system for recognizing age pose change in face pose, which extracts a three-dimensional shape from an input image and recognizes ages, thereby accurately recognizing ages .
상기와 같은 목적을 가진 본 발명 얼굴 포즈 변화에 강한 연령 인식방법은 연령대를 알고자하는 사용자의 얼굴 이미지를 입력받는 단계와, 입력받은 이미지를 기초로 하여 3차원 형상 정보를 추출하는 단계와, 3차원 형상 정보를 기반으로 3차원 형상의 특징을 표현하는 기술자를 생성하는 단계 및 상기 생성된 기술자를 기초로 연령을 예측하는 단계를 포함하여 이루어진 것을 특징으로 하는 것이다. 또한 본 발명 얼굴 포즈 변화에 강한 연령 인식 시스템은 입력된 얼굴 이미지를 기초로 3차원 형상 정보를 생성하는 3차원 형상 정보 추출기와, 상기 3차원 형상 정보 추출기에서 생성된 3차원 정보를 기초로 3차원 형상의 특징을 표현하는 기술자들을 생성하는 3차원 형상 기반 특징 추출기 및 상기 3차원 형상 기반 특징 추출기에서 생성된 기술자들을 수신하여 연령을 예측하는 연령 예측기로 이루어진 것을 특징으로 하는 것이다.
According to an aspect of the present invention, there is provided a method for recognizing an age of a face, the method comprising the steps of: inputting a face image of a user who wants to know the age; extracting three-dimensional shape information based on the input image; Generating a descriptor that expresses a feature of the three-dimensional shape based on the 3D shape information, and predicting the age based on the generated descriptor. According to an embodiment of the present invention, there is provided an age recognition system that is strong against changes in facial pose. The system includes a three-dimensional shape information extractor for generating three-dimensional shape information based on an input face image, A three-dimensional shape-based feature extractor for generating descriptors expressing features of the shape, and an age predictor for receiving the descriptors generated by the three-dimensional shape-based feature extractor and predicting the age.
상기와 같이 구성된 본 발명 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템은 사용자의 포즈 변화와 안경과 같은 악세서리, 일부 영역의 가려짐과 같은 경우에도 연령을 예측할 수 있는 효과가 있는 것이고, 또한 조명 변화와 같은 외부 환경 변화에도 불구하고 사용자의 연령을 정확히 예측할 수 있는 효과가 있는 것이다.
According to the present invention, a method and system for recognizing a face pose that is strong against changes in face pose have an effect of predicting the age even when a pose change of a user, an accessory such as a glasses, It is possible to accurately predict the age of the user even in the same external environment change.
도 1은 종래의 시각 기반 사용자 연령대 구분 및 추정 방법에 대한 흐름도,
도 2는 본 발명 3차원 형상 정보를 기초로 한 연령 인식방법에 대한 제어 흐름도,
도 3은 본 발명 3차원 형상 정보를 기초로 한 연령 인식 시스템 구성도,
도 4는 본 발명에 적용되는 얼굴 이미지와 특징점들의 예를 나타내는 구성도,
도 5는 본 발명에 적용되는 3차원 형상을 정면과 측면에서 바라본 구성도로서 (a)는 정면에서 바라본 구성도이고, (b)는 측면에서 바라본 구성도이다.FIG. 1 is a flowchart of a conventional time-based user age grouping and estimation method,
FIG. 2 is a control flowchart for an age recognition method based on three-dimensional shape information according to the present invention;
FIG. 3 is a block diagram of an age recognition system based on the three-dimensional shape information of the present invention,
4 is a block diagram showing an example of a face image and minutiae points applied to the present invention,
FIG. 5 is a diagram showing a three-dimensional shape applied to the present invention as viewed from the front and the side, wherein (a) is a structural view as seen from the front and (b) is a structural view as viewed from a side.
상기와 같은 목적을 가진 본 발명 얼굴 포즈 변화에 강한 연령 인식방법 및 시스템을 도 2 내지 도 5를 참고로 하여 설명하면 다음과 같다. 상기도 2는 본 발명 3차원 형상 정보를 기초로 한 연령 인식방법에 대한 제어 흐름도이고, 상기도 3은 본 발명 3차원 형상 정보를 기초로 한 연령 인식 시스템 구성도이며, 상기도 4는 본 발명에 적용되는 얼굴 이미지와 특징점들의 예를 나타내는 구성도이고, 상기도 5는 본 발명에 적용되는 3차원 형상을 정면과 측면에서 바라본 구성도로서 (a)는 정면에서 바라본 구성도이고, (b)는 측면에서 바라본 구성도를 나타내는 것이다. 또한 상기도 4에서 얼굴의 특징점을 검출하는 방법은 AAM[4], SDM[5] 등 여러가지 방법이 개발되어 있으며 본 출원에서는 상기 얼굴의 특징점들이 검출된 것을 가정하고 이루어지는 것이다.A method and system for recognizing an age-resistant face pose change with the above-described object will be described with reference to FIGS. 2 to 5. FIG. FIG. 2 is a control flowchart for an age recognition method based on three-dimensional shape information according to the present invention. FIG. 3 is a block diagram of an age recognition system based on the three-dimensional shape information of the present invention. FIG. 5 is a diagram showing a three-dimensional shape applied to the present invention as viewed from the front and the side, in which FIG. 5 (a) is a structural view as seen from the front, and FIG. 5 Which is a side view. In addition, various methods such as AAM [4] and SDM [5] have been developed as methods for detecting facial feature points in FIG. 4, and the present application assumes that feature points of the face are detected.
도 2는 본 발명 3차원 형상 정보를 기초로 한 연령 인식방법에 대한 제어 흐름도이다. 상기도 2에서 본 발명 3차원 형상 정보를 기초로 한 연령 인식 방법은 사용자의 얼굴 이미지를 입력받는 단계(S11)와, 입력받은 얼굴 이미지를 기초로 하여 3차원 형상 정보를 추출하는 단계(S12)와, 3차원 형상 정보를 기반으로 3차원 형상의 특징을 표현하는 기술자들을 생성하는 단계(S13) 및 상기 생성된 기술자들을 기초로 사용자 연령을 예측하는 단계(S14)를 포함하여 이루어진 것을 특징으로 하는 것이다. 상기에서 입력받은 이미지를 기초로 하여 3차원 형상 정보를 추출하는 단계는 사용자 얼굴에서 N개의 특징점을 추출하고 각 특징점의 (x, y) 좌표를 나열한 2차원 형상 벡터를 구하는 단계와, N 개의 3차원 점으로 표현한 3차원 형상 벡터를 정의하는 단계와, 3차원 형상 벡터를 선형 모델로 정의하는 단계와, 선형 모델로 정의된 3차원 형상 벡터의 에러 함수를 최소로 하는 가중치를 찾는 단계와, 상기 가중치를 기초로 2차원 형상 벡터에 해당하는 3차원 형상 벡터를 구하는 단계로 이루어지는 것이다. 또한 상기 3차원 형상 정보를 기반으로 3차원 형상의 특징을 표현하는 기술자들을 생성하는 단계는 추출된(복원된) 3차원 형상의 두 눈의 중심점 사이의 유클리드 길이(l0)를 기준으로 하여 다른 두 특징점 사이의 거리의 비율 값으로 1차 기술자를 생성하는 단계와, 상기 1차 기술자의 두 값의 비를 이용하여 2차 기술자를 생성하는 단계로 이루어진 것을 특징으로 하는 것이다. 또한 상기 생성된 기술자들을 기초로 사용자 연령을 예측하는 단계는 다수의 이진 분류기의 조합으로 구성하는 것을 특징으로 하는 것이다. 2 is a control flowchart for an age recognition method based on the three-dimensional shape information of the present invention. 2, an age recognition method based on the three-dimensional shape information of the present invention includes a step S11 of inputting a user's face image, a step S12 of extracting three-dimensional shape information based on the input face image, (S13) of generating descriptors representing features of the three-dimensional shape based on the three-dimensional shape information, and estimating a user age based on the generated descriptors (S14) will be. The step of extracting the three-dimensional shape information based on the input image may include extracting N feature points from the user's face and obtaining a two-dimensional shape vector of (x, y) coordinates of each feature point, A step of defining a three-dimensional shape vector expressed by a dimension point, a step of defining a three-dimensional shape vector as a linear model, a step of finding a weight that minimizes an error function of the three- And obtaining a three-dimensional shape vector corresponding to the two-dimensional shape vector on the basis of the weight. Also other on the basis of the Euclidean length (l 0) between the step of generating a descriptor representing characteristics of a three-dimensional shape based on the three-dimensional shape information is extracted (restored) 3D eyes center point of the shape Generating a first descriptor with a ratio value of the distance between two feature points; and generating a second descriptor using the ratio of the two values of the first descriptor. In addition, the step of predicting the user age based on the generated descriptors comprises a combination of a plurality of binary classifiers.
도 3은 본 발명 3차원 형상 정보를 기초로 한 연령 인식 시스템 구성도이다. 상기도 3에서 본 발명 3차원 형상 정보를 기초로 한 연령 인식 시스템은 입력된 얼굴 이미지를 기초로 3차원 형상 정보를 생성하는 3차원 형상 정보 추출기(100)와, 상기 3차원 형상 정보 추출기에서 생성된 3차원 정보를 기초로 3차원 형상의 특징을 표현하는 기술자들을 생성하는 3차원 형상 기반 특징 추출기(200) 및 상기 3차원 형상 기반 특징 추출기에서 생성된 기술자들을 수신하여 연령을 예측하는 연령 예측기(300)로 이루어진 것을 특징으로 하는 것이다. 상기에서 3차원 형상 정보 추출기가 형상 정보를 추출하는 방법은 얼굴의 특징점들의 2차원 위치 정보와 미리 학습한 3차원 형상 모델을 이용하여 입력 이미지의 3차원 형상 정보를 추출하는 것으로 순서는 다음과 같다.3 is a block diagram of an age recognition system based on the three-dimensional shape information of the present invention. 3, the age recognition system based on the three-dimensional shape information of the present invention includes a three-dimensional
1) 상기도 4와 같이 사용자 얼굴에서 N개의 특징점을 추출하고 각 특징점의 (x, y) 좌표를 나열한 2차원 형상 벡터를 구하는 단계이다. 상기 2차원 형상 벡터 s 는 다음과 같다.1) extracting N feature points from the user's face and obtaining a two-dimensional shape vector in which (x, y) coordinates of each feature point are arranged as shown in FIG. The two-dimensional shape vector s is as follows.
s = (x1, y1,…, xN,yN) (식 1)s = (x 1 , y 1 , ... , x N , y N ) (Equation 1)
마찬가지로 N 개의 3차원 점으로 표현한 3차원 형상 벡터 S는 특징점들의 3차원 공간에서의 X, Y, Z 좌표를 나열하여 다음과 같이 나타낼 수 있는 것이다.Similarly, the three-dimensional shape vector S represented by N three-dimensional points can be expressed as follows by arranging the X, Y, Z coordinates in the three-dimensional space of the minutiae points.
S = (X1, Y1, Z1, …, XN, YN, ZN) (식 2) S = (X 1, Y 1 , Z 1, ..., X N, Y N, Z N) ( Equation 2)
또한 임의의 3차원 형상 벡터를 다음과 같이 선형 모델로 표현할 수 있다고 가정하면 3차원 형상 벡터는,Furthermore, assuming that an arbitrary three-dimensional shape vector can be represented by a linear model as follows, a three-
상기 (식 3)에서 β0는 평균 3차원 형상 벡터이고, βi는 형상의 변화를 표현하는 기저 벡터이고, αi는 각 기저 벡터의 가중치이다. 상기에서 β0와 βi는 학습 데이터로부터 수집한 형상 벡터 데이터에 공지된 PCA(Principal Component Analysis)를 적용하여 구할 수 있는 것이다.In Equation (3),? 0 is an average three-dimensional shape vector,? I is a basis vector expressing a change in shape, and? I is a weight value of each basis vector. In the above, β 0 and β i can be obtained by applying known PCA (Principal Component Analysis) to the shape vector data collected from the learning data.
또한, 3차원 형상 추출기는 (식 1)의 2원 형상 벡터가 (식 3)의 선형 모델로 표현된 3차원 형상이 이미지로 투영된 결과라는 가정을 적용하면 적절한 가중치 αi를 산정할 수 있는 것이다. 즉 다음과 같은 에러 함수를 최소화하는 αi를 찾음으로서 해결되는 것이다.In addition, the three-dimensional shape extractor can calculate the appropriate weight α i by applying the assumption that the two-dimensional shape vector of (Equation 1) is the result of projecting the three-dimensional shape represented by the linear model of (Equation 3) will be. This is solved by looking for α i which minimizes the following error function:
상기 (식 4)에서 함수 f()는 3차원 형상 벡터가 2차원 형상 벡터로 투영되는 과정을 표현하는 투영 함수이고, R과 T는 각각 3차원 공간상에서 3차원 얼굴 형상의 회전과 이동을 표현하는 3X3 회전 행렬과 3X1 이동 벡터를 나타내는 것으로 (식 4)를 최소화하는 αi 와 함께 구해지는 값이다. 따라서 상기 (식 4)를 최소화하는 가중치 αi(i=1, …K)가 찾아지면 2차원 형상 벡터에 해당하는 3차원 형상 벡터는 (식 3)을 이용하여 구할 수 있는 것이다. 또한 상기 투영 함수는 여러가지 방법으로 정의될 수 있는 것이다. 일 예로 f()를 초점거리 1인 핀홀 카메라로 가정하는 경우 3차원 형상 S를 구성하는 j 번째 점의 3차원 좌표 Pj = (Xj, Yj, Zj)T 가 2차원으로 투영된 점의 좌표 (xj,yj)는 다음과 같이 계산되는 것이다.In Equation (4), the function f () is a projection function representing a process of projecting a three-dimensional shape vector into a two-dimensional shape vector, and R and T represent rotation and movement of a three- And a 3X1 rotation matrix and a 3X1 motion vector, and is a value obtained together with [alpha] i that minimizes (Equation 4). Therefore, if the weight α i (i = 1,... K) that minimizes (Equation 4) is found, the three-dimensional shape vector corresponding to the two-dimensional shape vector can be obtained by using (Equation 3). Also, the projection function can be defined in various ways. For example, if f () is assumed to be a pinhole camera with a focal length of 1, the 3D coordinates P j = (X j , Y j , Z j ) T of the j- The coordinates of the point (x j , y j ) are calculated as follows.
xj =Xj'/Zj'. yj = Yj'/Zj', (Xj',Yj',Zj')T =R*Pj T + T
x j = X j '/ Z j '. Y j = Y j '/ Z j ', (X j ', Y j ', Z j ') T = R * P j T + T
또한 상기 3차원 형상기반 특징 추출기가 3차원 형상의 기술자들을 생성하는 방법은 그림 5와 같이 복원된 3차원 형상의 두 눈의 중심점 사이의 유클리드 길이(l0)를 기준으로 하여 다른 두 특징점 사이의 거리의 비율 값으로 1차 기술자를 생성하는 것이다. 예를 들어 다음과 같이 다양한 1차 기술자들을 정의할 수 있는 것이다.In addition, the method of generating the three-dimensional shape descriptors by the three-dimensional shape-based feature extractor is based on the Euclidean length (l 0 ) between the center points of the two eyes of the reconstructed three-dimensional shape as shown in Fig. It is to generate the primary descriptor with the ratio value of the distance. For example, you can define various primary descriptors as follows:
(1) r1=l1/l0, l1 = 두 눈의 안쪽 점 사이의 거리(점 11과 점19 사이의 거리)(1) r 1 = l 1 / l 0 , l 1 = distance between inner points of two eyes (distance between points 11 and 19)
(2) r2=l2/l0, l2 = 두 눈의 바깥 점 사이의 거리(점 16과 점 23 사이의 거리)(2) r 2 = l 2 / l 0 , l 2 = distance between outer points of two eyes (distance between point 16 and point 23)
(3) r3=l3/l0, l3 = 코의 너비(점 33과 점 34 사이의 거리)(3) r 3 = l 3 / l 0 , l 3 = width of nose (distance between point 33 and point 34)
(4) r4=l4/l0, l4 = 입의 너비(점 34과 점 40 사이의 거리)(4) r 4 = l 4 / l 0 , l 4 = width of mouth (distance between
(5) r5=l5/l0, l5 = 얼굴 너비(점 55과 점 69 사이의 거리)(5) r 5 = l 5 / l 0 , l 5 = face width (distance between
(6) r6=l6/l0, l6 = 얼굴 높이(점 62와 두 눈의 중심을 지나는 직선 사이의 거리)(6) r 6 = l 6 / l 0 , l 6 = face height (distance between
(7) r7=l7/l0, l7 = 턱의 길이(점 43과 점 62 사이의 거리)(7) r 7 = l 7 / l 0 , l 7 = length of jaw (distance between point 43 and point 62)
또한 상기 1차 기술자의 두 값의 비를 이용하여 2차 기술자는 다음과 같이 정의할 수 있는 것이다.Also, using the ratio of the two values of the primary descriptor, the secondary descriptor can be defined as follows.
(8) r65=r6/r5, 얼굴높이/얼굴너비(8) r 65 = r 6 / r 5 , face height / face width
(9) r76=r7/r6, 턱높이/얼굴높이.(9) r 76 = r 7 / r 6 , jaw height / face height.
또한, 상기 연령 예측기는 상기 3차원 형상기반 특징 추출기에서 구한 얼굴 기술자들을 입력받아 연령을 예측하는 것이다. 상기 연령 예측기는 다양한 방법으로 구성할 수 있으나 다수의 이진 분류기의 조합으로 구성하는 방법을 예를 들면 다음과 같다.In addition, the age predictor receives the face descriptors obtained from the 3D feature-based feature extractor and estimates the age. The age predictor can be configured in various ways, but a method of constructing a combination of a plurality of binary classifiers is as follows.
얼굴 이미지가 0 ~ 70 사이의 71개 연령 중 하나의 값을 가진다고 가정하면 이 경우 70개의 이진 분류기를 학습하는 것이다. 입력 얼굴 이미지가 x 이고, 연령 라벨이 y 인 경우, k 번째 이진 분류기 hk(x)의 동작은 다음과 같다.Assuming that the face image has a value of one of 71 ages between 0 and 70, in this case it is learning 70 binary classifiers. If the input face image is x and the age label is y, the operation of the kth binary classifier h k (x) is as follows.
hk(x)=0 if y<k, 1 otherwise (k=1, …, 70) (식 5)h k (x) = 0 if y <k, 1 otherwise (k = 1, ..., 70)
상기 이진 분류기들을 이용하여 예측 연령 값은 다음과 같이 이진 분류기들의 출력값의 합산으로 계산할 수 있는 것이다.The prediction age value using the binary classifiers can be calculated by summing up the output values of the binary classifiers as follows.
상기에서 이진 분류기는 AdaBoost[7], RF(random forest)[8], SVM[9] 등의 여러가지 방법으로 학습할 수 있는 것이다.In the above, the binary classifier can learn by various methods such as AdaBoost [7], RF (random forest) [8], and SVM [9].
상기에서와 같이 70개의 특징점을 이용하는 경우를 예를 들면 1차 기술자는 2414(70x69/2-1)개이고, 2차 기술자는 2, 912,491개가 정의될 수 있는 것이다. 그러나 모든 기술자를 이용하지 아니하고 일부만의 기술자들을 이용하여 효율적으로 연령을 예측하는 것도 가능한 것이다. 입력 얼굴 이미지가 정면을 바라보지 아니하는 경우에는 얼굴에서 가려짐으로 인하여 보이지 않는 특징점은 검출 위치가 정확하지 아니하고 복원된 3차원 형상도 정확하지 아니할 수 있으므로 얼굴이 잘 보이는 왼쪽 영역에 대해서만 정의하고 오른쪽 영역에 대해서는 얼굴의 대칭 구조를 이용하여 정의할 수 있는 것이다. 또한 정면 얼굴의 경우 왼쪽과 오른쪽에서 2 세트의 얼굴 기술자를 얻을 수 있으며 상기 2세트의 얼굴 기술자에 대한 연령 예측 값을 각각 구한 후 평균하여 최종 예측 값을 출력할 수 있는 것이다.
As described above, for example, 2414 (70x69 / 2-1) pieces of primary descriptors and 2, 912,491 pieces of secondary descriptors can be defined when 70 feature points are used. However, it is also possible to predict the age efficiently by using only a few technicians without using all technicians. In the case where the input face image is not viewed from the front face, since the detection position is not accurate and the restored three-dimensional shape may not be accurate due to the invisible feature point due to occlusion in the face, The area can be defined using the symmetric structure of the face. Also, in the case of the front face, two sets of face descriptors can be obtained on the left and right sides, and the estimated predicted values for the two sets of face descriptors can be respectively obtained and then averaged to output the final predicted value.
100 : 3차원 형상 추출기, 200 : 3차원 형상기반 특징 추출기,
300 : 연령 예측기100: three-dimensional shape extractor, 200: three-dimensional shape-based feature extractor,
300: Age estimator
Claims (13)
상기 사용자의 연령을 예측하는 방법은,
사용자의 얼굴 이미지를 입력받는 단계(S11)와;
입력받은 이미지를 기초로 하여 사용자 얼굴에서 N개의 특징점을 추출하고 각 특징점의 (x, y) 좌표를 나열한 2차원 형상 벡터를 구하고, N개의 3차원 점으로 표현한 3차원 형상 벡터를 정의하고, 3차원 형상 벡터를 선형 모델로 정의하고, 선형 모델로 정의된 3차원 형상 벡터의 에러 함수를 최소로 하는 가중치를 찾고, 상기 가중치를 기초로 2차원 형상 벡터에 해당하는 3차원 형상 벡터를 구하는 방식으로 3차원 형상 정보를 추출하는 단계와;
3차원 형상 정보를 기반으로 3차원 형상의 특징을 표현하는 기술자들을 생성하는 단계(S13);
및 상기 생성된 기술자들을 기초로 사용자 연령을 예측하는 단계(S14)를 포함하여 이루어진 것을 특징으로 하는 사용자의 연령을 예측하는 방법.
A method for predicting a user's age based on a face image input to a system,
A method for predicting the age of a user,
Receiving a user's face image (S11);
Dimensional shape vector obtained by extracting N feature points from the user's face based on the input image and arranging (x, y) coordinates of each feature point, defining a three-dimensional shape vector represented by N three-dimensional points, Dimensional shape vector is defined as a linear model, a weight for minimizing the error function of the three-dimensional shape vector defined by the linear model is found, and a three-dimensional shape vector corresponding to the two-dimensional shape vector is obtained on the basis of the weight Extracting three-dimensional shape information;
A step (S13) of generating descriptors describing features of the three-dimensional shape based on the three-dimensional shape information;
And predicting a user age based on the generated descriptors (S14).
상기 3차원 형상 정보를 기반으로 3차원 형상의 특징을 표현하는 기술자들을 생성하는 단계(S13)는,
추출된 3차원 형상의 두 눈의 중심점 사이의 유클리드 길이(l0)를 기준으로 하여 다른 두 특징점 사이의 거리의 비율 값으로 1차 기술자를 생성하는 단계;
및 상기 1차 기술자의 두 값의 비를 이용하여 2차 기술자를 생성하는 단계로 이루어지는 것을 특징으로 하는 사용자의 연령을 예측하는 방법.
The method according to claim 1,
The step (S13) of generating descriptors describing features of the three-dimensional shape based on the three-dimensional shape information,
Generating a primary descriptor with a ratio value of the distance between two other feature points based on the Euclidean length ( 10 ) between the center points of the two eyes of the extracted three-dimensional shape;
And generating a secondary descriptor using the ratio of the two values of the primary descriptor.
상기 생성된 기술자들을 기초로 사용자 연령을 예측하는 단계(S14)는,
다수의 이진 분류기의 조합으로 구성하는 것을 특징으로 하는 사용자의 연령을 예측하는 방법.
The method according to claim 1,
The step of estimating a user age based on the generated descriptors (S14)
And a plurality of binary classifiers. ≪ RTI ID = 0.0 > 8. < / RTI >
상기 2차원 형상 벡터는,
s = (x1, y1,…, xN,yN)로 정의되는 것을 특징으로 하는 사용자의 연령을 예측하는 방법.
The method according to claim 1,
The two-
s = (x 1 , y 1 , ... , x N , y N ). < / RTI >
상기 3차원 형상 벡터는,
S = (X1, Y1, Z1, …, XN, YN, ZN) 로 정의되는 것을 특징으로 하는 사용자의 연령을 예측하는 방법.
The method according to claim 1,
The three-
S = how to estimate the age of the user, characterized in that which is defined as (X 1, Y 1, Z 1, ..., X N, Y N, Z N).
상기 3차원 형상 벡터의 선형 모델은,
여기서, β0는 평균 3차원 형상 벡터이고, βi는 형상의 변화를 표현하는 기저 벡터이고, αi는 각 기저 벡터의 가중치, k는 기저 벡터의 수임.
The method according to claim 1,
The linear model of the three-
Here, β 0 is an average three-dimensional shape vector, β i is a basis vector expressing a change in shape, α i is a weight of each basis vector, and k is the number of basis vectors.
상기 에러 함수는,
여기서, S는 3차원 형상 벡터의 선형 모델, 함수 f()는 3차원 형상 벡터가 2차원 형상 벡터로 투영되는 과정을 표현하는 투영 함수, R과 T는 각각 3차원 공간상에서 3차원 얼굴 형상의 회전과 이동을 표현하는 3X3 회전 행렬과 3X1 이동 벡터, βi는 형상의 변화를 표현하는 기저 벡터이고, αi는 각 기저 벡터의 가중치, k는 기저 벡터의 수임.
The method according to claim 1,
The error function may include:
Here, S denotes a linear model of a three-dimensional shape vector, a function f () denotes a projection function representing a process of projecting a three-dimensional shape vector into a two-dimensional shape vector, R and T denote a three- A 3X3 rotation matrix and a 3X1 motion vector for expressing rotation and movement, β i is a basis vector expressing a change in shape, α i is a weight of each basis vector, and k is a number of basis vectors.
상기 이진 분류기는,
hk(x)=0 if y<k, 1 otherwise (k=1, …, 70)로 정의되는 것을 특징으로 하는 사용자의 연령을 예측하는 방법.
여기서 k는 이진 분류기의 수, x는 입력 얼굴 이미지, y는 연령 라벨임.
5. The method of claim 4,
The binary classifier comprises:
h k (x) = 0 if y <k, 1 otherwise how to estimate the age of the user, characterized in that which is defined as (k = 1, ..., 70 ).
Where k is the number of binary classifiers, x is the input face image, and y is the age label.
상기 3차원 형상 정보를 기초로 한 연령 인식 시스템은,
입력된 얼굴 이미지를 기초로 얼굴의 특징점들의 2차원 위치 정보와 미리 학습한 3차원 형상 모델을 이용하여 입력 이미지의 3차원 형상 정보를 추출하는 3차원 형상 정보 추출기(100)와;
상기 3차원 형상 정보 추출기에서 추출된 3차원 정보를 기초로 3차원 형상의 특징을 표현하는 기술자들을 생성하는 3차원 형상 기반 특징 추출기(200);
및 상기 3차원 형상 기반 특징 추출기에서 생성된 기술자들을 수신하여 연령을 예측하는 연령 예측기(300)로 이루어진 것을 특징으로 하는 3차원 형상 정보를 기초로 한 연령 인식 시스템.
In an age recognition system based on three-dimensional shape information,
Wherein the age recognition system based on the three-
A three-dimensional shape information extractor (100) for extracting three-dimensional shape information of an input image using two-dimensional position information of feature points of a face based on the input face image and a three-dimensional shape model previously learned;
A three-dimensional shape-based feature extractor (200) for generating descriptors representing features of the three-dimensional shape based on the three-dimensional information extracted by the three-dimensional shape information extractor;
And an age predictor (300) for receiving the descriptors generated by the three-dimensional shape-based feature extractor and predicting the age.
상기 연령 예측기(300)는,
이진 분류기들의 출력값의 합산으로 예측하는 것을 특징으로 하는 3차원 형상 정보를 기초로 한 연령 인식 시스템.
11. The method of claim 10,
The age predictor (300)
And estimates the sum by summing the output values of the binary classifiers.
상기 이진 분류기는,
hk(x)=0 if y<k, 1 otherwise (k=1, …, N)로 정의되는 것을 특징으로 하는 3차원 형상 정보를 기초로 한 연령 인식 시스템.
여기서 k는 이진 분류기의 수, x는 입력 얼굴 이미지, y는 연령 라벨임.
13. The method of claim 12,
The binary classifier comprises:
(k = 1, ..., N) is defined as h k (x) = 0 if y <k, 1 otherwise (k = 1, ..., N).
Where k is the number of binary classifiers, x is the input face image, and y is the age label.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140009896A KR101558547B1 (en) | 2014-01-27 | 2014-01-27 | Age Cognition Method that is powerful to change of Face Pose and System thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140009896A KR101558547B1 (en) | 2014-01-27 | 2014-01-27 | Age Cognition Method that is powerful to change of Face Pose and System thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150089370A KR20150089370A (en) | 2015-08-05 |
| KR101558547B1 true KR101558547B1 (en) | 2015-10-19 |
Family
ID=53885830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140009896A KR101558547B1 (en) | 2014-01-27 | 2014-01-27 | Age Cognition Method that is powerful to change of Face Pose and System thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101558547B1 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101758825B1 (en) | 2015-09-22 | 2017-07-18 | 한국과학기술연구원 | Method for facial age simulation based on age of each part and environmental factors, recording medium and device for performing the method |
| CN105469042A (en) * | 2015-11-20 | 2016-04-06 | 天津汉光祥云信息科技有限公司 | Improved face image comparison method |
| CN107977633B (en) * | 2017-12-06 | 2019-04-09 | 平安科技（深圳）有限公司 | Age recognition methods, device and the storage medium of facial image |
| KR102194282B1 (en) * | 2019-05-17 | 2020-12-23 | 네이버 주식회사 | Method for generating pose similarity measurement model and apparatus for the same |
| CN110334663A (en) * | 2019-07-09 | 2019-10-15 | 北京字节跳动网络技术有限公司 | Age recognition methods and device, storage medium and terminal based on image |
| KR20210142342A (en) * | 2020-05-18 | 2021-11-25 | 주식회사 엘지생활건강 | Age estimating apparatus and method for estimating age |
| KR20230046210A (en) * | 2021-09-29 | 2023-04-05 | 주식회사 엘지생활건강 | Age estimation device |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009093490A (en) | 2007-10-10 | 2009-04-30 | Mitsubishi Electric Corp | Age estimation device and program |
-
2014
- 2014-01-27 KR KR1020140009896A patent/KR101558547B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009093490A (en) | 2007-10-10 | 2009-04-30 | Mitsubishi Electric Corp | Age estimation device and program |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20150089370A (en) | 2015-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101558547B1 (en) | Age Cognition Method that is powerful to change of Face Pose and System thereof | |
| KR102596897B1 (en) | Method of motion vector and feature vector based fake face detection and apparatus for the same | |
| JP5010905B2 (en) | Face recognition device | |
| US8254645B2 (en) | Image processing apparatus and method, and program | |
| Li et al. | Efficient 3D face recognition handling facial expression and hair occlusion | |
| US9443137B2 (en) | Apparatus and method for detecting body parts | |
| WO2013017858A1 (en) | Gait recognition methods and systems | |
| JP2011086265A (en) | Image processing apparatus and method, program, and storage medium | |
| KR101117549B1 (en) | Face recognition system and method thereof | |
| KR20160066380A (en) | Method and apparatus for registering face, method and apparatus for recognizing face | |
| Ouanan et al. | Facial landmark localization: Past, present and future | |
| JP2010108494A (en) | Method and system for determining characteristic of face within image | |
| JP6417664B2 (en) | Person attribute estimation device, person attribute estimation method and program | |
| Gürel et al. | Design of a face recognition system | |
| KR101727833B1 (en) | Apparatus and method for constructing composite feature vector based on discriminant analysis for face recognition | |
| Tin et al. | Gender and age estimation based on facial images | |
| JP6430102B2 (en) | Person attribute estimation device, person attribute estimation method and program | |
| Luo et al. | Dynamic face recognition system in recognizing facial expressions for service robotics | |
| Kuo et al. | Face recognition based on a two-view projective transformation using one sample per subject | |
| Bingöl et al. | Facial action unit intensity estimation using rotation invariant features and regression analysis | |
| Pal et al. | Face recognition using interpolated Bezier curve based representation | |
| KR20090042558A (en) | Method and device detect face using aam(active appearance model) | |
| Deepa et al. | Challenging aspects for facial feature extraction and age estimation | |
| Pande et al. | Parallel processing for multi face detection and recognition | |
| Rabba et al. | Discriminative robust gaze estimation using kernel-dmcca fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20190904 Year of fee payment: 5 |