KR20130049099A - Method and apparatus for estimating age or gender using face image - Google Patents
Method and apparatus for estimating age or gender using face image Download PDFInfo
- Publication number
- KR20130049099A KR20130049099A KR1020110114151A KR20110114151A KR20130049099A KR 20130049099 A KR20130049099 A KR 20130049099A KR 1020110114151 A KR1020110114151 A KR 1020110114151A KR 20110114151 A KR20110114151 A KR 20110114151A KR 20130049099 A KR20130049099 A KR 20130049099A
- Authority
- KR
- South Korea
- Prior art keywords
- age
- gender
- similarity
- face
- face images
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 얼굴 정보를 이용하여 사용자의 성별이나 나이를 추정하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for estimating a gender or age of a user using face information.
사람의 얼굴은 그 사람에 대한 많은 정보를 담고 있다. 예를 들자면, 사람은 상대방의 얼굴을 통해 남자인지 여자인지를 판별이 가능하며, 나이, 인종 등을 판단할 수 있다. 그리고 여기서 나아가 얼굴에 직접적으로 나타나는 특성 외에 성품 또는 성격까지도 가늠하기도 한다.A person's face contains a lot of information about that person. For example, a person can determine whether he or she is a man or a woman through the face of the other person, and can determine age, race, and the like. In addition to this, in addition to the traits that appear directly on the face, the character or personality can also be measured.
현재 대부분의 자동화 기기는 주민등록증과 여권 같은 신분증을 사용하거나 사용자가 직접 입력한 데이터에 기반하여 성별과 나이를 판별한다. 일례로, 자동 담배 판매기의 경우, 성인만이 담배를 구매할 수 있도록 주민등록증을 입력 받아 나이를 확인한다. 앞의 예에서처럼 신분증을 이용한 경우, 나이나 성별을 정확하게 판단이 가능하지만, 사용자가 적극적으로 서비스를 이용하고자 하는 의지가 없는 경우에는 적용에 많은 제한이 있다. 예를 들어, 지나가는 사용자의 나이 또는 성별 등을 추정하여 맞춤 광고를 내보내는 시스템을 구성할 경우, 사용자에게 신분증을 요구한다거나 나이 또는 성별을 직접 입력하도록 하는 것은 시스템 운영 상 적합하지 않을 뿐만 아니라 사용자 접근성에 많은 제약을 가하게 된다.Currently, most automated devices use IDs such as ID cards and passports, or determine gender and age based on user-entered data. For example, in the case of the automatic cigarette vending machine, the resident registration card is input to confirm the age so that only an adult can purchase a cigarette. In the case of using the identification card as in the previous example, it is possible to accurately determine the age or gender, but there are many limitations in the application if the user does not want to actively use the service. For example, if you configure a system that sends personalized ads by estimating the age or gender of a passing user, requiring users to enter IDs or entering their age or gender directly is not appropriate for system operation and may affect user accessibility. There are many restrictions.
본 발명이 이루고자 하는 기술적 과제는 사용자가 나이나 성별 관련 정보를 직접 입력하지 않고도 사용자의 얼굴로부터 나이 또는 성별을 추정할 수 있는 방법 및 장치를 제공하는 데 있다.An object of the present invention is to provide a method and apparatus for estimating age or gender from a face of a user without directly inputting age or gender related information.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 나이 또는 성별 추정 방법은, 사용자의 얼굴 영상으로부터 얼굴 특징 정보를 추출하는 얼굴 특징 추출 단계; 상기 추출된 얼굴 특징 정보와 기 저장된 복수 개의 얼굴 영상들 각각의 얼굴 특징 정보를 비교하여 상기 사용자의 얼굴 영상과 상기 복수 개의 얼굴 영상들 각각과의 유사도를 계산하는 제1 유사도 계산 단계; 상기 제1 유사도 계산 단계에서 계산된 유사도에 따라 상기 기 저장된 복수 개의 얼굴 영상들 중 일정 개수의 얼굴 영상들을 선택하는 얼굴 영상 선택 단계; 상기 선택된 얼굴 영상들 각각의 얼굴 특징 정보를 상호 교차 비교하여 상기 선택된 얼굴 영상들 간의 유사도를 계산하는 제2 유사도 계산 단계; 및 상기 선택된 얼굴 영상들 각각의 나이 또는 성별, 상기 제1 유사도 계산 단계에서 계산된 유사도, 및 상기 제2 유사도 계산 단계에서 계산된 유사도를 기반으로 상기 사용자의 나이 또는 성별을 추정하는 나이/성별 추정 단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method of estimating age or gender, comprising: facial feature extraction step of extracting facial feature information from a face image of a user; A first similarity calculation step of comparing the extracted facial feature information with facial feature information of each of the plurality of pre-stored face images to calculate a similarity between the face image of the user and each of the plurality of face images; A face image selecting step of selecting a predetermined number of face images from among the plurality of previously stored face images according to the similarity calculated in the first similarity calculating step; A second similarity calculation step of calculating a similarity between the selected face images by cross-cross comparing face feature information of each of the selected face images; And an age / gender estimation for estimating the age or gender of the user based on the age or gender of each of the selected face images, the similarity calculated in the first similarity calculating step, and the similarity calculated in the second similarity calculating step. Characterized in that it comprises a step.
상기 나이/성별 추정 단계는, 상기 선택된 얼굴 영상들 각각의 나이 또는 성별을 상기 제2 유사도 계산 단계에서 계산된 유사도를 이용하여 보정하고, 상기 보정된 나이 또는 성별과 상기 제1 유사도 계산 단계에서 계산된 유사도를 이용하여 상기 사용자의 나이 또는 성별을 계산할 수 있다.The estimating of the age / gender may include correcting the age or gender of each of the selected face images using the similarity calculated in the second similarity calculating step, and calculating the corrected age or gender in the first similarity calculating step. Similarity may be used to calculate the age or gender of the user.
상기 제2 유사도 계산 단계는, 상기 일정 개수를 N(N은 2 이상의 자연수)이라 할 때, N×N 유사도 행렬-여기서, 상기 유사도 행렬의 (m, n) (m=1, …, N, n=1, …, N) 성분은 m 번째 얼굴 영상과 n 번째 얼굴 영상 간의 유사도임-을 구할 수 있다.In the second similarity calculation step, when the predetermined number is N (N is a natural number of 2 or more), an N × N similarity matrix, wherein (m, n) (m = 1,…, N, n = 1, ..., N) component can be obtained that is the similarity between the m-th face image and the n-th face image.
상기 나이/성별 추정 단계는, 상기 선택된 얼굴 영상들 각각의 나이 또는 성별을 상기 유사도 행렬을 이용하여 보정하고, 상기 보정된 나이 또는 성별과 상기 제1 유사도 계산 단계에서 계산된 유사도를 이용하여 상기 사용자의 나이 또는 성별을 계산할 수 있다.The estimating of the age / gender may include correcting an age or gender of each of the selected face images using the similarity matrix, and using the similarity calculated in the corrected age or sex and the first similarity calculating step. The age or gender of the can be calculated.
상기 복수 개의 얼굴 영상들 각각의 나이 또는 성별은 해당 얼굴 영상의 피촬영자의 실제 나이 또는 성별에 해당할 수 있다.The age or gender of each of the plurality of face images may correspond to the actual age or gender of the subject of the face image.
상기 복수 개의 얼굴 영상들 각각의 나이 또는 성별은 해당 얼굴 영상의 피촬영자의 실제 나이 또는 성별에서 보정된 나이 또는 성별에 해당할 수 있다.The age or gender of each of the plurality of face images may correspond to an age or gender corrected from the actual age or gender of the photographed person of the face image.
상기 얼굴 특징 정보 추출 단계는 PCA(Principal Component Analysis) 기법 또는 FLD(Fisher Linear Discriminant) 기법을 이용할 수 있다.The facial feature information extraction step may use a Principal Component Analysis (PCA) technique or a Fisher Linear Discriminant (FLD) technique.
상기 얼굴 특징 정보 추출 단계는 상기 얼굴 영상의 에지 정보를 상기 얼굴 특징 정보로서 추출할 수 있다.In the extracting of facial feature information, edge information of the facial image may be extracted as the facial feature information.
상기 얼굴 특징 정보 추출 단계는, 상기 얼굴 영상을 에지 추출 필터를 이용하여 필터링하고, 필터링된 영상의 각 화소마다 주변 화소의 에지 패턴을 부호화하고, 부호화된 영상을 복수 개의 부분 영역으로 분할하고 각 부분 영역 별로 히스토그램을 생성할 수 있다.In the extracting of facial feature information, the face image is filtered using an edge extraction filter, an edge pattern of neighboring pixels is encoded for each pixel of the filtered image, the encoded image is divided into a plurality of partial regions, and each portion is Histograms can be generated for each area.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 나이 또는 성별 추정 장치는, 사용자의 얼굴 영상으로부터 얼굴 특징 정보를 추출하는 얼굴 특징 추출부; 복수 개의 얼굴 영상들 각각의 얼굴 특징 정보와 상기 복수 개의 얼굴 영상들 각각의 나이 또는 성별에 관한 정보를 저장하는 얼굴 정보 데이터베이스; 상기 추출된 얼굴 특징 정보와 상기 복수 개의 얼굴 영상들 각각의 얼굴 특징 정보를 비교하여 상기 사용자의 얼굴 영상과 상기 복수 개의 얼굴 영상들 각각과의 유사도를 계산하는 제1 유사도 계산부; 상기 제1 유사도 계산부에서 계산된 유사도에 따라 상기 복수 개의 얼굴 영상들 중 일정 개수의 얼굴 영상들을 선택하는 선택부; 상기 선택된 얼굴 영상들 각각의 얼굴 특징 정보를 상호 교차 비교하여 상기 선택된 얼굴 영상들 간의 유사도를 계산하는 제2 유사도 계산부; 및 상기 선택된 얼굴 영상들 각각의 나이 또는 성별, 상기 제1 유사도 계산부에서 계산된 유사도, 및 상기 제2 유사도 계산부에서 계산된 유사도를 기반으로 상기 사용자의 나이 또는 성별을 추정하는 나이/성별 추정부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for estimating age or gender, comprising: a face feature extractor extracting face feature information from a face image of a user; A face information database storing face feature information of each of a plurality of face images and information on an age or gender of each of the plurality of face images; A first similarity calculator which compares the extracted facial feature information with facial feature information of each of the plurality of face images to calculate a similarity between the user's face image and each of the plurality of face images; A selector which selects a predetermined number of face images from among the plurality of face images according to the similarity calculated by the first similarity calculator; A second similarity calculator configured to cross-compare face feature information of each of the selected face images to calculate similarity between the selected face images; And an age / gender estimation for estimating the age or gender of the user based on the age or gender of each of the selected face images, the similarity calculated by the first similarity calculator, and the similarity calculated by the second similarity calculator. It is characterized by including a wealth.
상기 나이/성별 추정부는, 상기 선택된 얼굴 영상들 각각의 나이 또는 성별을 상기 제2 유사도 계산부에서 계산된 유사도를 이용하여 보정하고, 상기 보정된 나이 또는 성별과 상기 제1 유사도 계산부에서 계산된 유사도를 이용하여 상기 사용자의 나이 또는 성별을 계산할 수 있다.The age / gender estimator corrects the age or gender of each of the selected face images by using the similarity calculated by the second similarity calculator and calculates the corrected age or gender by the first similarity calculator. Similarity may be used to calculate the age or gender of the user.
상기 제2 유사도 계산부는, 상기 일정 개수를 N(N은 2 이상의 자연수)이라 할 때, N×N 유사도 행렬-여기서, 상기 유사도 행렬의 (m, n) (m=1, …, N, n=1, …, N) 성분은 m 번째 얼굴 영상과 n 번째 얼굴 영상 간의 유사도임-을 구할 수 있다.The second similarity calculator, when the predetermined number is N (N is a natural number of 2 or more), is an N × N similarity matrix, where (m, n) (m = 1,…, N, n of the similarity matrix). = 1, ..., N) components can be obtained as the similarity between the m th face image and the n th face image.
상기 나이/성별 추정부는, 상기 선택된 얼굴 영상들 각각의 나이 또는 성별을 상기 유사도 행렬을 이용하여 보정하고, 상기 보정된 나이 또는 성별과 상기 제1 유사도 계산부에서 계산된 유사도를 이용하여 상기 사용자의 나이 또는 성별을 계산할 수 있다.The age / gender estimator corrects an age or gender of each of the selected face images using the similarity matrix, and uses the corrected age or gender and the similarity calculated by the first similarity calculator to determine the user's age. The age or gender can be calculated.
본 발명에 의하면 사용자가 나이나 성별 관련 정보를 직접 입력하지 않고 사용자의 얼굴로부터 나이 또는 성별을 추정할 수 있다.According to the present invention, the user may estimate the age or gender from the face of the user without directly inputting age or gender related information.
사람의 나이와 성별은 얼굴을 통해 직접적으로 나타나는 특징이다. 본 발명은 사용자의 얼굴과 기 등록된 얼굴과의 유사 정도에 기반하여 기 등록된 얼굴과 연계된 나이와 성별 정보로부터 사용자의 나이와 성별을 유추하기 때문에 보다 정확하게 사용자의 나이와 성별을 추정할 수 있다.A person's age and gender are characteristic features that appear directly through the face. According to the present invention, since the user's age and gender are inferred from the age and gender information associated with the registered face, the user's age and sex can be estimated more accurately. have.
본 발명의 접근 제어의 활용 예로서는, 사용자의 나이를 추정하여 미성년자가 자동 판매기를 이용하여 담배를 구매하지 못하도록 할 수 있다. 맞춤형 서비스 제공 예로서, 연령과 성별에 따른 상품 추천과 광고를 들 수 있다. 엔터테인먼트의 예로서는 친구들과 자신의 얼굴 나이 비교하기가 있을 수 있다. 또는, 출입문 통제 용 얼굴 인증 시스템에서, 사용자의 나이와 성별을 미리 판별하여 사용자의 나이와 성별에 맞는 모델이나 방법을 적용함으로써 보다 정확한 사용자 인증이 가능하다.As an example of using the access control of the present invention, the age of the user may be estimated to prevent the minor from purchasing a cigarette using a vending machine. Examples of personalized service provision include product recommendation and advertisement according to age and gender. An example of entertainment may be comparing your face age with friends. Alternatively, in the face authentication system for door control, the user's age and gender may be determined in advance, and a more accurate user authentication may be performed by applying a model or a method suitable for the user's age and gender.
도 1은 본 발명의 일 실시예에 따른 나이/성별 추정 장치의 구성을 나타낸다.
도 2는 본 발명의 일 실시예에 따른 나이/성별 추정 방법의 흐름도를 나타낸다.
도 3은 사용자의 얼굴 영상의 예를 나타낸다.
도 4는 소벨 연산자의 예를 나타낸다.
도 5는 프리위트 연산자의 예를 나타낸다.
도 6은 얼굴 영상에 가우시안 1차 미분 필터를 적용한 결과를 나타낸다.
도 7은 에지 추출 필터를 통하여 필터링된 영상의 예를 나타낸다.
도 8은 필터링된 영상의 중심 화소의 주변 화소의 예를 나타낸다.
도 9a 및 도 9b는 에지의 패턴을 부호화하는 방법의 예를 나타낸다.
도 10은 에지의 패턴이 부호화된 영상의 예를 나타낸다.
도 11은 부호화된 영상으로부터 히스토그램을 생성하는 방법의 예를 나타낸다.
도 12는 부분 영역 별 히스토그램을 정합하여 하나의 히스토그램을 생성하는 방법의 예를 나타낸다. 1 illustrates a configuration of an age / gender estimation apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating an age / gender estimation method according to an embodiment of the present invention.
3 illustrates an example of a face image of a user.
4 shows an example of the Sobel operator.
5 shows an example of a free operator.
6 illustrates a result of applying a Gaussian first derivative filter to a face image.
7 illustrates an example of an image filtered through an edge extraction filter.
8 illustrates an example of peripheral pixels of a center pixel of a filtered image.
9A and 9B show an example of a method of encoding a pattern of edges.
10 shows an example of an image in which an edge pattern is encoded.
11 shows an example of a method of generating a histogram from an encoded image.
12 illustrates an example of a method of generating a histogram by matching histograms of partial regions.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In the following description and the accompanying drawings, substantially the same components are denoted by the same reference numerals, and redundant description will be omitted. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.
도 1은 본 발명의 일 실시예에 따른 나이/성별 추정 장치의 구성을 나타내고, 도 2는 본 발명의 일 실시예에 따른 나이/성별 추정 방법의 흐름도를 나타낸다. 본 발명의 실시예에 따른 나이/성별 추정 장치는 도 1에 도시된 바와 같이, 얼굴 영상 입력부(110), 얼굴 특징 추출부(120), 제1 유사도 계산부(130), 선택부(133), 제2 유사도 계산부(137), 나이/성별 추정부(140), 얼굴 정보 데이터베이스(150)를 포함하여 이루어진다. 이하에서는 이러한 나이/성별 추정 장치의 동작을 도 2에 도시된 나이/성별 추정 방법의 흐름도를 함께 참조하여 설명한다. 1 shows a configuration of an age / gender estimation apparatus according to an embodiment of the present invention, and FIG. 2 shows a flowchart of an age / gender estimation method according to an embodiment of the present invention. As shown in FIG. 1, an age / gender estimation apparatus according to an exemplary embodiment of the present invention includes a face
얼굴 영상 입력부(110)는 나이 또는 성별을 추정하고자 하는 사용자의 얼굴 영상을 입력받는다(210단계). 얼굴 영상 입력부(110)는 CCTV 카메라, VCR, DVR, 웹 카메라 등 다양한 영상 획득 장치로부터 사용자의 얼굴 영상을 입력받을 수 있다. 또한, 컴퓨터의 이미지 파일을 통해 얼굴 영상을 입력받을 수도 있다. 얼굴 영상은 가시광선 영상 뿐만 아니라 적외선 영상 등 다양한 형태의 영상일 수 있다. 또한 경우에 따라 특정 영상 정보만을 입력받거나 여러 형태의 영상 정보를 함께 입력받을 수도 있다. The face
얼굴 특징 추출부(120)는 사용자의 얼굴 영상으로부터 얼굴 특징 정보를 추출한다(220단계). 얼굴 특징 추출부(120)는 얼굴 특징 정보를 추출하기 위하여 우선 입력된 영상에 얼굴이 포함되어 있는지를 판단하고 입력된 영상에서 얼굴 영역을 검출하는 과정을 수행할 수 있다. 얼굴 특징 추출부(120)는 도 3에 도시된 바와 같이 입력된 얼굴 영상을 정규화한 다음 정규화된 얼굴 영상을 가지고 얼굴 특징을 추출할 수 있다.The
일 실시예에서, 얼굴 특징 추출부(120)는 얼굴 영상에 PCA(Principal Component Analysis) 기법을 적용하여 얼굴 특징 정보를 추출할 수 있다. PCA 기법은 eigenface 방법으로도 알려져 있다. 다른 실시예로서, 얼굴 특징 추출부(120)는 얼굴 영상에 FLD(Fisher Linear Discriminant) 기법을 적용하여 특징을 추출할 수도 있다. FLD 기법은 fisherface 방법으로도 알려져 있다. In one embodiment, the
또 다른 실시예로서, 얼굴 특징 추출부(120)는 얼굴 영상의 에지 정보를 추출하여 얼굴 특징 정보로 사용할 수 있다. 얼굴 영상에서 에지는 얼굴의 가장자리, 윤곽선, 또는 영상에서 칼라값 또는 밝기가 상대적으로 크게 변하는 부분에 해당한다. 에지 정보는 얼굴 영상에서 얼굴의 가장자리, 윤곽선, 또는 에지 정보는 얼굴의 모양, 생김새 또는 형상을 보다 잘 기술하거나 표현할 수 있다. As another embodiment, the
얼굴 특징 추출부(120)는 영상 필터를 이용하여 영상으로부터 에지 정보를 추출할 수 있다. 이때 필터링된 영상이 에지 정보를 포함하게 된다. The
얼굴 특징 추출부(120)는 도 4에 도시된 바와 같은 소벨 연산자(Sobel Operator) 또는 도 5에 도시된 바와 같은 프리위트(Prewitt Operator) 등의 에지 추출 필터를 얼굴 영상에 적용하여 얼굴의 에지 정보를 추출할 수 있다.The
또한 얼굴 특징 추출부(120)는 가우시안 필터와 에지 추출 필터가 결합된 가우시안 미분 필터 또는 라플라시안-가우시안 필터를 이용하여 에지 정보를 추출할 수 있다. Also, the
기본적으로, 가우시안 필터는 수학식 1과 같이 정의된다. Basically, the Gaussian filter is defined as in
가우시안 1차 미분 필터는 수학식 2와 같이 정의된다.Gaussian first-order differential filters are defined as in
가우시안 2차 미분 필터는 수학식 3과 같이 정의된다.The Gaussian second-order differential filter is defined as in
또한, 라플라시안-가우시안 필터는 수학식 4와 같이 정의된다. In addition, the Laplacian-Gaussian filter is defined as in
라플라시안-가우시안 필터는 에지의 방향에 상관 없이 에지를 추출하는 필터이다. 반면에, 가우시안 1차 미분 필터와 가우시안 2차 미분 필터는 특정 방향에 맞춰 에지를 추출할 수 있다. 예를 들어, 도 3과 같은 얼굴 영상에 가우시안 1차 미분 필터를 적용한 결과를 영상 형태로 나타내면 도 6과 같다. 도 6은 가우시안 1차 미분 필터를 얼굴 영상에 적용한 결과와 해당 가우시안 1차 미분 필터를 보여준다. The Laplacian-Gaussian filter is a filter that extracts edges regardless of the direction of the edges. On the other hand, the Gaussian first-order derivative filter and the Gaussian second-order derivative filter can extract edges in a specific direction. For example, the result of applying the Gaussian first derivative filter to the face image as shown in FIG. 3 is shown in FIG. 6. 6 illustrates a result of applying a Gaussian first order differential filter to a face image and a corresponding Gaussian first order differential filter.
에지 정보가 추출되면, 얼굴 특징 추출부(120)는 얼굴 영상을 복수 개의 부분 영역으로 분할하고, 분할된 부분 영역 별로 에지의 특성(예컨대 에지의 분포 또는 패턴)을 기술한다. 이러한 과정의 일례를 도 7 내지 도 12를 참조하여 설명한다.When the edge information is extracted, the
우선, 도 7의 영상을 에지 추출 필터를 통하여 필터링된 영상이라 가정한다. 만일 복수 개의 에지 추출 필터를 사용하는 경우 각각의 필터링된 영상에 이하의 과정이 동일하게 적용된다. First, it is assumed that the image of FIG. 7 is an image filtered through an edge extraction filter. If a plurality of edge extraction filters are used, the following process is equally applied to each filtered image.
도 7을 참조하면, 각 칸은 필터링된 영상의 화소 또는 셀(cell)을 나타내며, 가로와 세로의 숫자는 영상 내에서 화소의 행과 열의 위치를 나타낸다. 예를 들어 “X”로 표시된 중심 화소의 위치는 (2,3)으로 표현된다. 여기서 중심 화소 (2,3)과 그 주변의 화소의 값들이 도 8과 같다고 가정한다. Referring to FIG. 7, each column represents a pixel or a cell of the filtered image, and horizontal and vertical numbers represent positions of rows and columns of pixels in the image. For example, the position of the center pixel indicated by "X" is represented by (2, 3). Here, it is assumed that the values of the center pixel (2, 3) and the pixels around it are as shown in FIG.
에지의 패턴을 표현하는 한 방법은 중심 화소의 값보다 주변 화소의 값이 크거나 같으면 1, 작으면 0으로 설정하는 것이다. 도 9a는 이러한 방법을 중심 화소 (2,3)과 그 주변의 화소에 적용한 결과를 나타낸다. 도 9a를 참조하면, 화소 (1,2)에서 시작하여 시계 방향으로 회전하면서 이진값을 정렬하여 01001100(2) 또는 10진수 64+8+4=76의 단일 값으로 부호화함으로써 에지의 패턴을 표현할 수 있다. 이 경우 총 256가지의 패턴이 나올 수 있으며, 이러한 방법은 영상 처리 분야에서 지역적 이진 패턴(Local Binary Pattern, LBP) 분석으로 알려져 있다. One way to express the pattern of the edge is to set it to 1 if the value of the surrounding pixel is greater than or equal to the value of the center pixel, and to 0 if it is smaller. 9A shows the result of applying this method to the center pixel (2,3) and the pixels around it. Referring to FIG. 9A, a pattern of edges can be expressed by encoding binary values starting from pixel (1,2) and rotating clockwise to encode a single value of 01001100 (2) or decimal 64 + 8 + 4 = 76. Can be. In this case, a total of 256 patterns can be generated, and this method is known as local binary pattern (LBP) analysis in the field of image processing.
에지의 패턴을 표현하는 다른 방법은 중심 화소의 값과 그 주변 화소의 값들의 평균값을 계산한 후 평균값보다 크거나 같으면 1, 작으면 0으로 설정하는 것이다. 도 9b는 이러한 방법을 중심 화소 (2,3)과 그 주변의 화소에 적용한 결과를 나타낸다. 도 9b를 참조하면, 화소 (1,2)에서 시작하여 시계 방향으로 회전하고 마지막을 중심 화소로 하여 이진값을 정렬하여 010011000(2) 또는 십진수 152의 단일 값으로 부호화함으로써 에지의 패턴을 표현할 수 있다. 이 경우에는 총 512가지의 패턴이 나올 수 있으며, 이러한 방법은 영상 처리 분야에서 MCT(Modified Census Transform) 분석에 해당한다. Another way of expressing the pattern of the edge is to calculate the average value of the value of the center pixel and the surrounding pixels, and then set it to 1 if the value is greater than or equal to the average value and 0 if the value is smaller than the mean value. 9B shows the result of applying this method to the center pixel (2, 3) and the pixels around it. Referring to FIG. 9B, a pattern of edges can be expressed by rotating in a clockwise direction starting from pixel (1,2), arranging binary values with the last as a center pixel, and encoding them into a single value of 010011000 (2) or decimal 152. have. In this case, a total of 512 patterns can be generated, and this method corresponds to the Modified Census Transform (MCT) analysis in the field of image processing.
이제, 도 7의 필터링된 영상(13X13)이 부호화 과정을 거쳐 도 10과 같은 영상(11X11)으로 표현되었다고 하자. 도 10에서 X로 표현된 화소 (1,2)의 값은 도 7의 중심 화소 (2,3)과 그 주변 화소 (1,2), (1,3), (1,4), (2,2), (2,4), (3,2), (3,3), (3,4)의 에지 패턴을 부호화한 값에 해당한다. Now, it is assumed that the filtered image 13X13 of FIG. 7 is represented by the image 11X11 as shown in FIG. 10 through an encoding process. The values of the pixels (1,2) represented by X in FIG. 10 are the center pixel (2,3) and the surrounding pixels (1,2), (1,3), (1,4), (2) in FIG. Corresponds to a value obtained by encoding edge patterns of (2, 4), (2, 4), (3, 2), (3, 3), and (3, 4).
얼굴 특징 추출부(120)는 부호화된 영상을 도 11에 도시된 바와 같이 복수 개의 부분 영역으로 분할하고 각 부분 영역에 대한 에지 패턴에 대응하는 히스토그램을 생성한다. 이때 각 부분 영역이 서로 겹쳐지게 분할하거나 또는 겹쳐지지 않게 분할할 수 있다. 또한, 가능한 모든 패턴에 대해 히스토그램의 빈을 구성할 필요 없이, 서로 유사한 패턴들은 하나의 패턴으로 묶어서 빈도수를 나타내거나 통계적으로 의미가 적은 패턴을 무시할 수도 있다. The
다음으로, 얼굴 특징 추출부(120)는 부분 영역 별 에지의 특성을 이용하여 부분 영역보다 넓은 범위 또는 얼굴의 전체 영역에 대한 특성, 즉 전역적 특징을 추출한다. 도 12는 이러한 전역적 특징을 나타내는 도면이다. 얼굴 특징 추출부(120)는 부분 영역 별 에지의 특성에 대응하는 히스토그램을 도 12에 도시된 바와 같이 정합하여, 하나의 히스토그램을 생성한다. 여기서 생성되는 하나의 히스토그램이 얼굴의 전체 영역에 대한 특징 정보에 해당한다. 이때, 부분 영역 별 히스토그램이 모두 사용될 수 있으며, 또는 다양한 조합으로 일부의 부분 영역만을 선택하여 사용될 수도 있다. 또는, 개별 히스토그램 또는 다양한 조합을 정합된 히스토그램 또는 하나의 히스토그램에 PCA(Principal Component Analysis) 또는 FLD(Fisher Linear Discriminant)와 같은 데이터 분석 방법을 추가적으로 적용하여, 데이터의 차원을 줄이고 분류 성능을 높일 수도 있다.Next, the
다시 도 1 및 도 2를 참조하면, 제1 유사도 계산부(130)는 사용자의 얼굴 영상으로부터 추출된 얼굴 특징 정보와 얼굴 정보 데이터베이스(150)에 저장된 복수 개의 얼굴 영상들 각각의 얼굴 특징 정보를 비교하여 사용자의 얼굴 영상과 복수 개의 얼굴 영상들 각각과의 유사도를 계산한다(230단계). 1 and 2, the
얼굴 정보 데이터베이스(150)는 복수 개의 얼굴 영상들 각각의 얼굴 특징 정보와 복수 개의 얼굴 영상들 각각의 나이 또는 성별에 관한 정보를 저장한다.The
얼굴 정보 데이터베이스(150)에 저장되는 얼굴 특징 정보는 얼굴 특징 추출부(120)에서 추출되는 얼굴 특징 정보와 동일한 종류의 얼굴 특징 정보에 해당한다. The facial feature information stored in the
얼굴 정보 데이터베이스(150)에 저장되는 나이 또는 성별에 관한 정보는 해당 얼굴 영상의 피촬영자의 실제 나이 또는 성별에 관한 정보일 수 있다. 다만, 사람마다 나이 또는 성별은 얼굴에 따라 실제와 다르게 판단될 수 있으므로, 얼굴 정보 데이터베이스(150)에 저장되는 나이 또는 성별에 관한 정보는 경우에 따라 해당 얼굴 영상의 피촬영자의 실제 나이 또는 성별에서 보정된 나이 또는 성별로 저장될 수 있다.The information about the age or gender stored in the
예컨대, 실제 나이보다 훨씬 어려 보이는 얼굴인 경우 얼굴 정보 데이터베이스(150)에 나이 정보를 실제 나이보다 적게 등록할 수 있다. 또는, 성별 정보를 남성을 +1로, 여성을 -1로 설정할 때 어떤 남성이 외모를 여성스럽게 꾸며 여성 이미지가 강할 경우 해당 얼굴의 성별 정보를 +0.5 또는 +0.3과 같이 +1과 -1 사이의 값으로 설정할 수도 있다.For example, if the face looks much younger than the actual age, the age information may be registered in the
본 명세서에서, 제1 유사도 계산부(130)가 계산하는 ‘유사도’는 ‘비유사도’를 포함하는 개념이다. 유사도는 영상 간의 특징이 비슷할수록 커지는 값이고 비유사도는 영상 간의 특징이 비슷할수록 작아지는 값으로서, 유사도와 비유사도는 서로 불가분의 관계에 있으며 서로 쉽게 변환이 가능하다. 예컨대 유사도의 역수를 취함으로써 비유사도를 구할 수 있다.In the present specification, the 'similarity' calculated by the
제1 유사도 계산부(130)는 코사인 유사도를 이용하여 두 얼굴 특징 정보 간의 유사도를 구할 수 있다. 또는 제1 유사도 계산부(130)는 유클리디언 거리(Euclidean distance)를 이용하여 두 얼굴 특징 정보 간의 비유사도를 구할 수 있다. 유사도 계산부(130)는 구해진 유사도 또는 비유사도를 확률 또는 사후 확률(posterior probability)의 의미를 가지도록 0과 1사이의 값으로 정규화하거나 변환할 수 있다. 이하에서는 설명의 편의상 유사도를 기반으로 설명하며 유사도는 양수 값을 가지는 것으로 가정한다.The
선택부(133)는 제1 유사도 계산부(130)에서 계산된 각 얼굴 영상의 유사도에 따라 얼굴 정보 데이터베이스(150)의 얼굴 영상들 중 유사도가 상위인 일정 개수(N)의 얼굴 영상들(또는 상위 N명)을 선택한다(240단계). 만일 사용자의 성별 추정에 앞서 사용자의 나이 또는 연령대가 미리 판별되었거나 주어진 경우 얼굴 정보 데이터베이스(150)의 얼굴 영상들 중 사용자의 나이와 같거나 비슷한 연령대에 해당하는 얼굴 영상들 중에서 상위 일정 개수(N)의 얼굴 영상들(또는 상위 N명)을 선택할 수도 있다. 여기서 N 값은 미리 설정된 고정된 값일 수 있으며, 또는 유사도 계산 결과에 따라 유동적으로 정해지는 값일 수도 있다. 물론 N 값은 얼굴 정보 데이터베이스(150)에 저장된 전체 얼굴의 수(또는 전체 사람 수)일 수도 있다.The
제2 유사도 계산부(137)는 선택부(133)에서 선택된 얼굴 영상들 각각의 얼굴 특징 정보를 상호 교차 비교하여 선택된 얼굴 영상들 간의 유사도를 계산한다(250단계). 다시 말하면, 선택된 얼굴 영상들로부터 얻어지는 모든 얼굴 영상 쌍들 각각에 대하여, 얼굴 특징 정보를 비교하여 얼굴 영상 간의 유사도를 계산하는 것이다. 제2 유사도 계산부(137)에서 계산되는 유사도는 전술한 제1 유사도 계산부(130)에서 계산되는 유사도와 동일한 개념이므로 반복 설명은 생략한다. The
제2 유사도 계산부(137)는, N개의 얼굴 영상이 선택되었다고 하면, 이러한 유사도들들 성분으로 하는 N×N 유사도 행렬 를 구할 수 있다. 여기서, 상기 유사도 행렬의 (m, n) (m=1, …, N, n=1, …, N) 성분은 m번째 얼굴 영상과 n번째 얼굴 영상 간의 유사도가 된다. 물론, m과 n이 동일한 경우는 해당 성분은 동일한 얼굴 영상 간의 유사도이므로, 100% 유사함을 나타내는 값(예를 들어, 1)이 될 것이다. The
나이/성별 추정부(140)는 상기 선택부(133)에서 선택된 얼굴 영상들 각각의 나이 또는 성별과, 상기 제1 유사도 계산부(130)에서 계산된 유사도와, 상기 제2 유사도 계산부(137)에서 계산된 유사도를 기반으로 사용자의 나이 또는 성별을 추정한다(260단계).The age /
본 단계에서, 나이/성별 추정부(140)는 우선 선택된 얼굴 영상들 각각의 나이 또는 성별을 상기 제2 유사도 계산부(137)에서 계산된 유사도를 이용하여 보정한다. In this step, the age /
선택부(133)에서 선택된 N개의 얼굴 영상의 성별 값 또는 나이 값을 ()라 하면, N개의 얼굴 영상의 나이 또는 성별은 를 성분으로 하는 N 차원의 벡터 로 표현할 수 있다. 여기서, 성별 값은 전술한 바와 같이 +1, -1의 이진 값으로, 표현하거나, +1 과 -1 사이의 값으로 표현할 수 있다. The gender value or age value of the N face images selected by the selector 133 ( ), The age or gender of the N facial images N-dimensional vector containing . Here, as described above, the gender value may be represented by a binary value of +1, -1, or a value between +1 and -1.
나이/성별 추정부(140)는 상기 벡터 와 상기 유사도 행렬 를 이용하여, 선택된 얼굴 영상들 각각의 보정된 나이 또는 성별을 구할 수 있다.Age /
여기서, 는 보정된 나이 또는 성별을 나타낸다. 의 t는 반복 회수로서, 상기 수학식은 가 재귀적으로 반복되어 계산됨을 나타낸다. 즉, 보정된 나이 또는 성별 는 이전 단계에서 계산된 보정된 나이 또는 성별 과 유사도 행렬 , 그리고 상기 벡터 로부터 구해진다. 는 조합 가중치로서, 예컨대 0과 1 사이의 값이 될 수 있으며, 임의로 설정될 수 있다. 의 초기값은 임의로 설정될 수 있으며, 는 반복 회수가 늘어남에 따라 어떤 값에 수렴하게 된다. 위와 같은 수학식을 이용하여 보정된 나이 또는 성별 값을 계산함에 있어서, 반복 회수는 미리 정해진 회수가 될 수도 있고, 반복에 따른 값이 변화가 소정의 임계값 미만일 때(즉, 수렴한 것으로 판단될 때)까지 반복할 수도 있다. here, Represents the corrected age or gender. T is the number of repetitions, and Denotes recursively repeated. That is, the corrected age or gender Is the calibrated age or gender calculated in the previous step And similarity matrix , And the vector Obtained from Is a combination weight, for example, may be a value between 0 and 1, and may be arbitrarily set. The initial value of can be arbitrarily set. Converges to a value as the number of iterations increases. In calculating the corrected age or gender value by using the above equation, the number of repetitions may be a predetermined number, The value may be repeated until the change is below a predetermined threshold (ie, determined to converge).
나이 값 또는 성별 정보는 얼굴을 통해 드러나지만, 얼굴 영상과 나이 또는 성별과의 관계를 정확히 나타내는 것은 한계가 있다. 위와 같이 선택된 얼굴 영상들 각각의 나이 또는 성별을 보정하는 과정은, 사용자의 나이 또는 성별을 보다 정확하게 추정하기 위하여, 얼굴 영상들 간의 유사한 정도를 고려하여 각 얼굴 영상의 나이 또는 성별을 조정하는 과정이다.Age value or gender information is revealed through the face, but there is a limit in accurately representing the relationship between the face image and age or gender. The process of correcting the age or gender of each of the selected face images is a process of adjusting the age or gender of each face image in consideration of the similarity between the face images in order to more accurately estimate the age or gender of the user. .
나이/성별 추정부(140)는, 선택된 얼굴 영상들 각각의 나이 또는 성별이 보정되면, 보정된 나이 또는 성별과 상기 제1 유사도 계산부(130)에서 계산된 유사도를 이용하여 사용자의 나이 또는 성별을 계산한다. 여기서, 나이/성별 추정부(140)는 선택된 얼굴 영상들 각각의 사용자의 얼굴 영상과의 유사도를 가중치로 하여, 선택된 얼굴 영상들 각각의 보정된 나이 또는 성별의 가중 평균을 계산함으로써 사용자의 나이 또는 성별을 구할 수 있다. 이를 위하여 예를 들어 다음과 같은 수학식에 따라 사용자의 나이 또는 성별을 계산할 수 있다.When the age or gender of each of the selected face images is corrected, the age /
여기서, 는 선택부(133)에서 선택된 i번째 얼굴 영상의 사용자 얼굴 영상과의 유사도이고, 는 상기 i번째 얼굴 영상의 보정된 나이 또는 성별을 나타내고, 이다. 가 나이 값에 해당하는 경우, 수학식 6의 값이 사용자의 추정된 나이가 될 수 있다. 가 성별 값에 해당하는 경우, 수학식 6의 값이 부호가 사용자의 추정된 성별이 될 수 있다. 예컨대, 부호가 (+)이면 남성으로, (-)이면 여성으로 추정된다. here, Is a similarity degree to the user face image of the i-th face image selected by the selecting
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.The above-described embodiments of the present invention can be embodied in a general-purpose digital computer that can be embodied as a program that can be executed by a computer and operates the program using a computer-readable recording medium. The computer-readable recording medium includes a storage medium such as a magnetic storage medium (e.g., ROM, floppy disk, hard disk, etc.), optical reading medium (e.g., CD ROM,
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.
Claims (15)
상기 추출된 얼굴 특징 정보와 기 저장된 복수 개의 얼굴 영상들 각각의 얼굴 특징 정보를 비교하여 상기 사용자의 얼굴 영상과 상기 복수 개의 얼굴 영상들 각각과의 유사도를 계산하는 제1 유사도 계산 단계;
상기 제1 유사도 계산 단계에서 계산된 유사도에 따라 상기 기 저장된 복수 개의 얼굴 영상들 중 일정 개수의 얼굴 영상들을 선택하는 얼굴 영상 선택 단계;
상기 선택된 얼굴 영상들 각각의 얼굴 특징 정보를 상호 교차 비교하여 상기 선택된 얼굴 영상들 간의 유사도를 계산하는 제2 유사도 계산 단계;
상기 선택된 얼굴 영상들 각각의 나이 또는 성별, 상기 제1 유사도 계산 단계에서 계산된 유사도, 및 상기 제2 유사도 계산 단계에서 계산된 유사도를 기반으로 상기 사용자의 나이 또는 성별을 추정하는 나이/성별 추정 단계를 포함하는 것을 특징으로 하는 나이 또는 성별 추정 방법.A facial feature extraction step of extracting facial feature information from a face image of a user;
A first similarity calculation step of comparing the extracted facial feature information with facial feature information of each of the plurality of pre-stored face images to calculate a similarity between the face image of the user and each of the plurality of face images;
A face image selecting step of selecting a predetermined number of face images from among the plurality of previously stored face images according to the similarity calculated in the first similarity calculating step;
A second similarity calculation step of calculating a similarity between the selected face images by cross-cross comparing face feature information of each of the selected face images;
An age / gender estimation step of estimating the age or gender of the user based on the age or gender of each of the selected face images, the similarity calculated in the first similarity calculating step, and the similarity calculated in the second similarity calculating step Age or gender estimation method comprising a.
상기 나이/성별 추정 단계는, 상기 선택된 얼굴 영상들 각각의 나이 또는 성별을 상기 제2 유사도 계산 단계에서 계산된 유사도를 이용하여 보정하고, 상기 보정된 나이 또는 성별과 상기 제1 유사도 계산 단계에서 계산된 유사도를 이용하여 상기 사용자의 나이 또는 성별을 계산하는 것을 특징으로 하는 나이 또는 성별 추정 방법. The method of claim 1,
The estimating of the age / gender may include correcting the age or gender of each of the selected face images using the similarity calculated in the second similarity calculating step, and calculating the corrected age or gender in the first similarity calculating step. And calculating the age or gender of the user using the similarity.
상기 제2 유사도 계산 단계는, 상기 일정 개수를 N(N은 2 이상의 자연수)이라 할 때, N×N 유사도 행렬-여기서, 상기 유사도 행렬의 (m, n) (m=1, …, N, n=1, …, N) 성분은 m 번째 얼굴 영상과 n 번째 얼굴 영상 간의 유사도임-을 구하는 것을 특징으로 하는 나이 또는 성별 추정 방법.The method of claim 1,
In the second similarity calculation step, when the predetermined number is N (N is a natural number of 2 or more), an N × N similarity matrix, wherein (m, n) (m = 1,…, N, n = 1, ..., N) component is a similarity between the m-th face image and the n-th face image.
상기 나이/성별 추정 단계는, 상기 선택된 얼굴 영상들 각각의 나이 또는 성별을 상기 유사도 행렬을 이용하여 보정하고, 상기 보정된 나이 또는 성별과 상기 제1 유사도 계산 단계에서 계산된 유사도를 이용하여 상기 사용자의 나이 또는 성별을 계산하는 것을 특징으로 하는 나이 또는 성별 추정 방법.The method of claim 3,
The estimating of the age / gender may include correcting an age or gender of each of the selected face images using the similarity matrix, and using the similarity calculated in the corrected age or sex and the first similarity calculating step. Calculating the age or sex of the age or sex estimation method.
상기 복수 개의 얼굴 영상들 각각의 나이 또는 성별은 해당 얼굴 영상의 피촬영자의 실제 나이 또는 성별에 해당하는 것을 특징으로 하는 나이 또는 성별 추정 방법.The method of claim 1,
Age or gender of each of the plurality of face images corresponding to the actual age or gender of the subject of the face image.
상기 복수 개의 얼굴 영상들 각각의 나이 또는 성별은 해당 얼굴 영상의 피촬영자의 실제 나이 또는 성별에서 보정된 나이 또는 성별에 해당하는 나이 또는 성별 추정 방법.The method of claim 1,
The age or gender of each of the plurality of face images corresponds to the age or gender corrected from the actual age or gender of the subject of the face image.
상기 얼굴 특징 추출 단계는 PCA(Principal Component Analysis) 기법 또는 FLD(Fisher Linear Discriminant) 기법을 이용하는 것을 특징으로 하는 나이 또는 성별 추정 방법.The method of claim 1,
The facial feature extracting method may include age or sex estimation method using a Principal Component Analysis (PCA) technique or a Fisher Linear Discriminant (FLD) technique.
상기 얼굴 특징 추출 단계는 상기 얼굴 영상의 에지 정보를 상기 얼굴 특징 정보로서 추출하는 것을 특징으로 하는 나이 또는 성별 추정 방법.The method of claim 1,
The facial feature extracting step may include extracting edge information of the face image as the facial feature information.
상기 얼굴 특징 추출 단계는, 상기 얼굴 영상을 에지 추출 필터를 이용하여 필터링하고, 필터링된 영상의 각 화소마다 주변 화소의 에지 패턴을 부호화하고, 부호화된 영상을 복수 개의 부분 영역으로 분할하고 각 부분 영역 별로 히스토그램을 생성하는 것을 특징으로 하는 나이 또는 성별 추정 방법.The method of claim 1,
In the facial feature extraction step, the face image is filtered using an edge extraction filter, an edge pattern of neighboring pixels is encoded for each pixel of the filtered image, the encoded image is divided into a plurality of partial regions, and each partial region is extracted. Age or gender estimation method characterized in that for generating a histogram for each.
복수 개의 얼굴 영상들 각각의 얼굴 특징 정보와 상기 복수 개의 얼굴 영상들 각각의 나이 또는 성별에 관한 정보를 저장하는 얼굴 정보 데이터베이스;
상기 추출된 얼굴 특징 정보와 상기 복수 개의 얼굴 영상들 각각의 얼굴 특징 정보를 비교하여 상기 사용자의 얼굴 영상과 상기 복수 개의 얼굴 영상들 각각과의 유사도를 계산하는 제1 유사도 계산부;
상기 제1 유사도 계산부에서 계산된 유사도에 따라 상기 복수 개의 얼굴 영상들 중 일정 개수의 얼굴 영상들을 선택하는 선택부;
상기 선택된 얼굴 영상들 각각의 얼굴 특징 정보를 상호 교차 비교하여 상기 선택된 얼굴 영상들 간의 유사도를 계산하는 제2 유사도 계산부; 및
상기 선택된 얼굴 영상들 각각의 나이 또는 성별, 상기 제1 유사도 계산부에서 계산된 유사도, 및 상기 제2 유사도 계산부에서 계산된 유사도를 기반으로 상기 사용자의 나이 또는 성별을 추정하는 나이/성별 추정부를 포함하는 것을 특징으로 하는 나이 또는 성별 추정 장치.A facial feature extractor extracting facial feature information from a face image of a user;
A face information database storing face feature information of each of a plurality of face images and information on an age or gender of each of the plurality of face images;
A first similarity calculator which compares the extracted facial feature information with facial feature information of each of the plurality of face images to calculate a similarity between the user's face image and each of the plurality of face images;
A selector which selects a predetermined number of face images from among the plurality of face images according to the similarity calculated by the first similarity calculator;
A second similarity calculator configured to cross-compare face feature information of each of the selected face images to calculate similarity between the selected face images; And
An age / gender estimator for estimating the age or gender of the user based on the age or gender of each of the selected face images, the similarity calculated by the first similarity calculator, and the similarity calculated by the second similarity calculator; Age or gender estimation device comprising a.
상기 나이/성별 추정부는, 상기 선택된 얼굴 영상들 각각의 나이 또는 성별을 상기 제2 유사도 계산부에서 계산된 유사도를 이용하여 보정하고, 상기 보정된 나이 또는 성별과 상기 제1 유사도 계산부에서 계산된 유사도를 이용하여 상기 사용자의 나이 또는 성별을 계산하는 것을 특징으로 하는 나이 또는 성별 추정 장치.The method of claim 10,
The age / gender estimator corrects the age or gender of each of the selected face images by using the similarity calculated by the second similarity calculator and calculates the corrected age or gender by the first similarity calculator. Age or gender estimation device for calculating the age or gender of the user using the degree of similarity.
상기 제2 유사도 계산부는, 상기 일정 개수를 N(N은 2 이상의 자연수)이라 할 때, N×N 유사도 행렬-여기서, 상기 유사도 행렬의 (m, n) (m=1, …, N, n=1, …, N) 성분은 m 번째 얼굴 영상과 n 번째 얼굴 영상 간의 유사도임-을 구하는 것을 특징으로 하는 나이 또는 성별 추정 장치.The method of claim 10,
The second similarity calculator, when the predetermined number is N (N is a natural number of 2 or more), is an N × N similarity matrix, where (m, n) (m = 1,…, N, n of the similarity matrix). = 1, ..., N) components are similarities between the m th face image and the n th face image.
상기 나이/성별 추정부는, 상기 선택된 얼굴 영상들 각각의 나이 또는 성별을 상기 유사도 행렬을 이용하여 보정하고, 상기 보정된 나이 또는 성별과 상기 제1 유사도 계산부에서 계산된 유사도를 이용하여 상기 사용자의 나이 또는 성별을 계산하는 것을 특징으로 하는 나이 또는 성별 추정 장치. The method of claim 12,
The age / gender estimator corrects an age or gender of each of the selected face images using the similarity matrix, and uses the corrected age or gender and the similarity calculated by the first similarity calculator to determine the user's age. Age or gender estimation device, characterized in that for calculating the age or gender.
상기 복수 개의 얼굴 영상들 각각의 나이 또는 성별은 해당 얼굴 영상의 피촬영자의 실제 나이 또는 성별을 포함하는 것을 특징으로 하는 나이 또는 성별 추정 장치.The method of claim 10,
Age or gender of each of the plurality of face images includes the actual age or gender of the subject of the face image.
상기 복수 개의 얼굴 영상들 각각의 나이 또는 성별은 해당 얼굴 영상의 피촬영자의 실제 나이 또는 성별에서 보정된 나이 또는 성별을 포함하는 것을 특징으로 하는 나이 또는 성별 추정 장치.The method of claim 10,
The age or gender of each of the plurality of face images includes an age or gender corrected from the actual age or gender of the subject of the face image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110114151A KR101700818B1 (en) | 2011-11-03 | 2011-11-03 | Method and apparatus for estimating age or gender using face image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020110114151A KR101700818B1 (en) | 2011-11-03 | 2011-11-03 | Method and apparatus for estimating age or gender using face image |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130049099A true KR20130049099A (en) | 2013-05-13 |
KR101700818B1 KR101700818B1 (en) | 2017-02-01 |
Family
ID=48659959
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020110114151A KR101700818B1 (en) | 2011-11-03 | 2011-11-03 | Method and apparatus for estimating age or gender using face image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101700818B1 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101685437B1 (en) | 2015-07-31 | 2016-12-28 | 울산과학기술원 | System for providing age limit service using face edtecting sensor and method using the same |
WO2017052153A1 (en) * | 2015-09-22 | 2017-03-30 | 한국과학기술연구원 | Age changing method based on age of each facial part and environmental factors, and recording medium and device for performing same |
GB2551715A (en) * | 2016-06-27 | 2018-01-03 | Image Capture Ltd | A system and method for determining the age of an individual |
US9930156B2 (en) | 2015-07-30 | 2018-03-27 | Xiaomi Inc. | Method and apparatus for recommending contact information |
CN110163584A (en) * | 2019-02-13 | 2019-08-23 | 腾讯科技(深圳)有限公司 | A kind of data processing method based on electronics red packet, device and relevant device |
CN111881721A (en) * | 2020-06-10 | 2020-11-03 | 广东芯盾微电子科技有限公司 | Cross-age face recognition method, system, device and storage medium |
CN111967447A (en) * | 2020-09-07 | 2020-11-20 | 深圳安道客网络科技有限公司 | Local skin image analysis method |
CN112464842A (en) * | 2020-12-04 | 2021-03-09 | 北京华捷艾米科技有限公司 | Age display method and device, storage medium and electronic equipment |
CN113743236A (en) * | 2021-08-11 | 2021-12-03 | 交控科技股份有限公司 | Passenger portrait analysis method, device, electronic equipment and computer readable storage medium |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20220013820A (en) | 2020-07-27 | 2022-02-04 | 주식회사 큐브릭디지털 | Multitasking, ensemble learning, and depth-based incremental convolution-based embedded deep learning face gender and age estimation method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100462183B1 (en) * | 2002-07-15 | 2004-12-17 | 삼성전자주식회사 | Method of retrieving facial image using combined facial component descriptor and apparatus thereof |
KR20110029805A (en) * | 2009-09-16 | 2011-03-23 | 한국전자통신연구원 | Vision-based age classification and estimation method |
KR20110052962A (en) * | 2009-11-13 | 2011-05-19 | 한국전자통신연구원 | Apparatus and method of recognizing an object |
-
2011
- 2011-11-03 KR KR1020110114151A patent/KR101700818B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100462183B1 (en) * | 2002-07-15 | 2004-12-17 | 삼성전자주식회사 | Method of retrieving facial image using combined facial component descriptor and apparatus thereof |
KR20110029805A (en) * | 2009-09-16 | 2011-03-23 | 한국전자통신연구원 | Vision-based age classification and estimation method |
KR20110052962A (en) * | 2009-11-13 | 2011-05-19 | 한국전자통신연구원 | Apparatus and method of recognizing an object |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9930156B2 (en) | 2015-07-30 | 2018-03-27 | Xiaomi Inc. | Method and apparatus for recommending contact information |
KR101685437B1 (en) | 2015-07-31 | 2016-12-28 | 울산과학기술원 | System for providing age limit service using face edtecting sensor and method using the same |
WO2017052153A1 (en) * | 2015-09-22 | 2017-03-30 | 한국과학기술연구원 | Age changing method based on age of each facial part and environmental factors, and recording medium and device for performing same |
US10593083B2 (en) | 2015-09-22 | 2020-03-17 | Korea Institute Of Science And Technology | Method for facial age simulation based on age of each part and environmental factors, recording medium and device for performing the method |
GB2551715A (en) * | 2016-06-27 | 2018-01-03 | Image Capture Ltd | A system and method for determining the age of an individual |
CN110163584A (en) * | 2019-02-13 | 2019-08-23 | 腾讯科技(深圳)有限公司 | A kind of data processing method based on electronics red packet, device and relevant device |
CN111881721A (en) * | 2020-06-10 | 2020-11-03 | 广东芯盾微电子科技有限公司 | Cross-age face recognition method, system, device and storage medium |
CN111967447A (en) * | 2020-09-07 | 2020-11-20 | 深圳安道客网络科技有限公司 | Local skin image analysis method |
CN112464842A (en) * | 2020-12-04 | 2021-03-09 | 北京华捷艾米科技有限公司 | Age display method and device, storage medium and electronic equipment |
CN113743236A (en) * | 2021-08-11 | 2021-12-03 | 交控科技股份有限公司 | Passenger portrait analysis method, device, electronic equipment and computer readable storage medium |
Also Published As
Publication number | Publication date |
---|---|
KR101700818B1 (en) | 2017-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20130049099A (en) | Method and apparatus for estimating age or gender using face image | |
Tan et al. | Noisy iris image matching by using multiple cues | |
Raja et al. | Smartphone based visible iris recognition using deep sparse filtering | |
CN104751108B (en) | Facial image identification device and facial image recognition method | |
US9530071B2 (en) | Hierarchical interlinked multi-scale convolutional network for image parsing | |
Lee et al. | Intra-class variation reduction using training expression images for sparse representation based facial expression recognition | |
Pontes et al. | A flexible hierarchical approach for facial age estimation based on multiple features | |
Elaiwat et al. | A curvelet-based approach for textured 3D face recognition | |
Seal et al. | Human face recognition using random forest based fusion of à-trous wavelet transform coefficients from thermal and visible images | |
US20140099029A1 (en) | Face Age-Estimation and Methods, Systems, and Software Therefor | |
KR102284096B1 (en) | System and method for estimating subject image quality using visual saliency and a recording medium having computer readable program for executing the method | |
CN106507199A (en) | TV programme suggesting method and device | |
Galdi et al. | FIRE: Fast Iris REcognition on mobile phones by combining colour and texture features | |
CN105718873A (en) | People stream analysis method based on binocular vision | |
US20160148070A1 (en) | Image processing apparatus, image processing method, and recording medium | |
JP6527421B2 (en) | Person recognition apparatus and program thereof | |
Duan et al. | Face verification with local sparse representation | |
Sajid et al. | The role of facial asymmetry in recognizing age-separated face images | |
KR20130059212A (en) | Robust face recognition method through statistical learning of local features | |
Mohammad et al. | Eyebrows and eyeglasses as soft biometrics using deep learning | |
Viedma et al. | Relevant features for gender classification in NIR periocular images | |
Lienhard et al. | How to predict the global instantaneous feeling induced by a facial picture? | |
Monwar et al. | Eigenimage based pain expression recognition | |
Travieso et al. | Using a discrete Hidden Markov Model Kernel for lip-based biometric identification | |
Rahman | Unsupervised Natural Image Segmentation Using Mean Histogram Features. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |