KR20130049099A - Method and apparatus for estimating age or gender using face image - Google Patents

Method and apparatus for estimating age or gender using face image Download PDF

Info

Publication number
KR20130049099A
KR20130049099A KR1020110114151A KR20110114151A KR20130049099A KR 20130049099 A KR20130049099 A KR 20130049099A KR 1020110114151 A KR1020110114151 A KR 1020110114151A KR 20110114151 A KR20110114151 A KR 20110114151A KR 20130049099 A KR20130049099 A KR 20130049099A
Authority
KR
South Korea
Prior art keywords
age
gender
similarity
face
face images
Prior art date
Application number
KR1020110114151A
Other languages
Korean (ko)
Other versions
KR101700818B1 (en
Inventor
이용진
이한성
문대성
유장희
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110114151A priority Critical patent/KR101700818B1/en
Publication of KR20130049099A publication Critical patent/KR20130049099A/en
Application granted granted Critical
Publication of KR101700818B1 publication Critical patent/KR101700818B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

PURPOSE: A method for estimating an age or a gender by using a face image and a device thereof are provided to use similarity between a face of a user and a registered face, thereby accurately estimating the age and the gender of the user without inputting the age or gender related information. CONSTITUTION: A face feature extraction unit(120) extracts face feature information from a face image of a user. A first similarity calculation unit(130) calculates similarity by comparing the extracted face feature information with face feature information of face images. A selection unit(133) selects the number of face images among the face images corresponding to the similarity. A second similarity calculation unit(137) calculates the similarity by comparing face feature information of the selected face images. An age/gender estimation unit(140) estimates an age or a gender of the user based on the similarity and ages or genders of the selected face images. [Reference numerals] (110) Face image input unit; (120) Face feature extraction unit; (130) First similarity calculation unit; (133) Selection unit; (137) Second similarity calculation unit; (140) Age/gender estimation unit; (150) Face information database

Description

얼굴 영상을 이용하여 나이 또는 성별을 추정하는 방법 및 장치{Method and apparatus for estimating age or gender using face image}Method and apparatus for estimating age or gender using face image {Method and apparatus for estimating age or gender using face image}

본 발명은 얼굴 정보를 이용하여 사용자의 성별이나 나이를 추정하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for estimating a gender or age of a user using face information.

사람의 얼굴은 그 사람에 대한 많은 정보를 담고 있다. 예를 들자면, 사람은 상대방의 얼굴을 통해 남자인지 여자인지를 판별이 가능하며, 나이, 인종 등을 판단할 수 있다. 그리고 여기서 나아가 얼굴에 직접적으로 나타나는 특성 외에 성품 또는 성격까지도 가늠하기도 한다.A person's face contains a lot of information about that person. For example, a person can determine whether he or she is a man or a woman through the face of the other person, and can determine age, race, and the like. In addition to this, in addition to the traits that appear directly on the face, the character or personality can also be measured.

현재 대부분의 자동화 기기는 주민등록증과 여권 같은 신분증을 사용하거나 사용자가 직접 입력한 데이터에 기반하여 성별과 나이를 판별한다. 일례로, 자동 담배 판매기의 경우, 성인만이 담배를 구매할 수 있도록 주민등록증을 입력 받아 나이를 확인한다. 앞의 예에서처럼 신분증을 이용한 경우, 나이나 성별을 정확하게 판단이 가능하지만, 사용자가 적극적으로 서비스를 이용하고자 하는 의지가 없는 경우에는 적용에 많은 제한이 있다. 예를 들어, 지나가는 사용자의 나이 또는 성별 등을 추정하여 맞춤 광고를 내보내는 시스템을 구성할 경우, 사용자에게 신분증을 요구한다거나 나이 또는 성별을 직접 입력하도록 하는 것은 시스템 운영 상 적합하지 않을 뿐만 아니라 사용자 접근성에 많은 제약을 가하게 된다.Currently, most automated devices use IDs such as ID cards and passports, or determine gender and age based on user-entered data. For example, in the case of the automatic cigarette vending machine, the resident registration card is input to confirm the age so that only an adult can purchase a cigarette. In the case of using the identification card as in the previous example, it is possible to accurately determine the age or gender, but there are many limitations in the application if the user does not want to actively use the service. For example, if you configure a system that sends personalized ads by estimating the age or gender of a passing user, requiring users to enter IDs or entering their age or gender directly is not appropriate for system operation and may affect user accessibility. There are many restrictions.

본 발명이 이루고자 하는 기술적 과제는 사용자가 나이나 성별 관련 정보를 직접 입력하지 않고도 사용자의 얼굴로부터 나이 또는 성별을 추정할 수 있는 방법 및 장치를 제공하는 데 있다.An object of the present invention is to provide a method and apparatus for estimating age or gender from a face of a user without directly inputting age or gender related information.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 나이 또는 성별 추정 방법은, 사용자의 얼굴 영상으로부터 얼굴 특징 정보를 추출하는 얼굴 특징 추출 단계; 상기 추출된 얼굴 특징 정보와 기 저장된 복수 개의 얼굴 영상들 각각의 얼굴 특징 정보를 비교하여 상기 사용자의 얼굴 영상과 상기 복수 개의 얼굴 영상들 각각과의 유사도를 계산하는 제1 유사도 계산 단계; 상기 제1 유사도 계산 단계에서 계산된 유사도에 따라 상기 기 저장된 복수 개의 얼굴 영상들 중 일정 개수의 얼굴 영상들을 선택하는 얼굴 영상 선택 단계; 상기 선택된 얼굴 영상들 각각의 얼굴 특징 정보를 상호 교차 비교하여 상기 선택된 얼굴 영상들 간의 유사도를 계산하는 제2 유사도 계산 단계; 및 상기 선택된 얼굴 영상들 각각의 나이 또는 성별, 상기 제1 유사도 계산 단계에서 계산된 유사도, 및 상기 제2 유사도 계산 단계에서 계산된 유사도를 기반으로 상기 사용자의 나이 또는 성별을 추정하는 나이/성별 추정 단계를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a method of estimating age or gender, comprising: facial feature extraction step of extracting facial feature information from a face image of a user; A first similarity calculation step of comparing the extracted facial feature information with facial feature information of each of the plurality of pre-stored face images to calculate a similarity between the face image of the user and each of the plurality of face images; A face image selecting step of selecting a predetermined number of face images from among the plurality of previously stored face images according to the similarity calculated in the first similarity calculating step; A second similarity calculation step of calculating a similarity between the selected face images by cross-cross comparing face feature information of each of the selected face images; And an age / gender estimation for estimating the age or gender of the user based on the age or gender of each of the selected face images, the similarity calculated in the first similarity calculating step, and the similarity calculated in the second similarity calculating step. Characterized in that it comprises a step.

상기 나이/성별 추정 단계는, 상기 선택된 얼굴 영상들 각각의 나이 또는 성별을 상기 제2 유사도 계산 단계에서 계산된 유사도를 이용하여 보정하고, 상기 보정된 나이 또는 성별과 상기 제1 유사도 계산 단계에서 계산된 유사도를 이용하여 상기 사용자의 나이 또는 성별을 계산할 수 있다.The estimating of the age / gender may include correcting the age or gender of each of the selected face images using the similarity calculated in the second similarity calculating step, and calculating the corrected age or gender in the first similarity calculating step. Similarity may be used to calculate the age or gender of the user.

상기 제2 유사도 계산 단계는, 상기 일정 개수를 N(N은 2 이상의 자연수)이라 할 때, N×N 유사도 행렬-여기서, 상기 유사도 행렬의 (m, n) (m=1, …, N, n=1, …, N) 성분은 m 번째 얼굴 영상과 n 번째 얼굴 영상 간의 유사도임-을 구할 수 있다.In the second similarity calculation step, when the predetermined number is N (N is a natural number of 2 or more), an N × N similarity matrix, wherein (m, n) (m = 1,…, N, n = 1, ..., N) component can be obtained that is the similarity between the m-th face image and the n-th face image.

상기 나이/성별 추정 단계는, 상기 선택된 얼굴 영상들 각각의 나이 또는 성별을 상기 유사도 행렬을 이용하여 보정하고, 상기 보정된 나이 또는 성별과 상기 제1 유사도 계산 단계에서 계산된 유사도를 이용하여 상기 사용자의 나이 또는 성별을 계산할 수 있다.The estimating of the age / gender may include correcting an age or gender of each of the selected face images using the similarity matrix, and using the similarity calculated in the corrected age or sex and the first similarity calculating step. The age or gender of the can be calculated.

상기 복수 개의 얼굴 영상들 각각의 나이 또는 성별은 해당 얼굴 영상의 피촬영자의 실제 나이 또는 성별에 해당할 수 있다.The age or gender of each of the plurality of face images may correspond to the actual age or gender of the subject of the face image.

상기 복수 개의 얼굴 영상들 각각의 나이 또는 성별은 해당 얼굴 영상의 피촬영자의 실제 나이 또는 성별에서 보정된 나이 또는 성별에 해당할 수 있다.The age or gender of each of the plurality of face images may correspond to an age or gender corrected from the actual age or gender of the photographed person of the face image.

상기 얼굴 특징 정보 추출 단계는 PCA(Principal Component Analysis) 기법 또는 FLD(Fisher Linear Discriminant) 기법을 이용할 수 있다.The facial feature information extraction step may use a Principal Component Analysis (PCA) technique or a Fisher Linear Discriminant (FLD) technique.

상기 얼굴 특징 정보 추출 단계는 상기 얼굴 영상의 에지 정보를 상기 얼굴 특징 정보로서 추출할 수 있다.In the extracting of facial feature information, edge information of the facial image may be extracted as the facial feature information.

상기 얼굴 특징 정보 추출 단계는, 상기 얼굴 영상을 에지 추출 필터를 이용하여 필터링하고, 필터링된 영상의 각 화소마다 주변 화소의 에지 패턴을 부호화하고, 부호화된 영상을 복수 개의 부분 영역으로 분할하고 각 부분 영역 별로 히스토그램을 생성할 수 있다.In the extracting of facial feature information, the face image is filtered using an edge extraction filter, an edge pattern of neighboring pixels is encoded for each pixel of the filtered image, the encoded image is divided into a plurality of partial regions, and each portion is Histograms can be generated for each area.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 나이 또는 성별 추정 장치는, 사용자의 얼굴 영상으로부터 얼굴 특징 정보를 추출하는 얼굴 특징 추출부; 복수 개의 얼굴 영상들 각각의 얼굴 특징 정보와 상기 복수 개의 얼굴 영상들 각각의 나이 또는 성별에 관한 정보를 저장하는 얼굴 정보 데이터베이스; 상기 추출된 얼굴 특징 정보와 상기 복수 개의 얼굴 영상들 각각의 얼굴 특징 정보를 비교하여 상기 사용자의 얼굴 영상과 상기 복수 개의 얼굴 영상들 각각과의 유사도를 계산하는 제1 유사도 계산부; 상기 제1 유사도 계산부에서 계산된 유사도에 따라 상기 복수 개의 얼굴 영상들 중 일정 개수의 얼굴 영상들을 선택하는 선택부; 상기 선택된 얼굴 영상들 각각의 얼굴 특징 정보를 상호 교차 비교하여 상기 선택된 얼굴 영상들 간의 유사도를 계산하는 제2 유사도 계산부; 및 상기 선택된 얼굴 영상들 각각의 나이 또는 성별, 상기 제1 유사도 계산부에서 계산된 유사도, 및 상기 제2 유사도 계산부에서 계산된 유사도를 기반으로 상기 사용자의 나이 또는 성별을 추정하는 나이/성별 추정부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for estimating age or gender, comprising: a face feature extractor extracting face feature information from a face image of a user; A face information database storing face feature information of each of a plurality of face images and information on an age or gender of each of the plurality of face images; A first similarity calculator which compares the extracted facial feature information with facial feature information of each of the plurality of face images to calculate a similarity between the user's face image and each of the plurality of face images; A selector which selects a predetermined number of face images from among the plurality of face images according to the similarity calculated by the first similarity calculator; A second similarity calculator configured to cross-compare face feature information of each of the selected face images to calculate similarity between the selected face images; And an age / gender estimation for estimating the age or gender of the user based on the age or gender of each of the selected face images, the similarity calculated by the first similarity calculator, and the similarity calculated by the second similarity calculator. It is characterized by including a wealth.

상기 나이/성별 추정부는, 상기 선택된 얼굴 영상들 각각의 나이 또는 성별을 상기 제2 유사도 계산부에서 계산된 유사도를 이용하여 보정하고, 상기 보정된 나이 또는 성별과 상기 제1 유사도 계산부에서 계산된 유사도를 이용하여 상기 사용자의 나이 또는 성별을 계산할 수 있다.The age / gender estimator corrects the age or gender of each of the selected face images by using the similarity calculated by the second similarity calculator and calculates the corrected age or gender by the first similarity calculator. Similarity may be used to calculate the age or gender of the user.

상기 제2 유사도 계산부는, 상기 일정 개수를 N(N은 2 이상의 자연수)이라 할 때, N×N 유사도 행렬-여기서, 상기 유사도 행렬의 (m, n) (m=1, …, N, n=1, …, N) 성분은 m 번째 얼굴 영상과 n 번째 얼굴 영상 간의 유사도임-을 구할 수 있다.The second similarity calculator, when the predetermined number is N (N is a natural number of 2 or more), is an N × N similarity matrix, where (m, n) (m = 1,…, N, n of the similarity matrix). = 1, ..., N) components can be obtained as the similarity between the m th face image and the n th face image.

상기 나이/성별 추정부는, 상기 선택된 얼굴 영상들 각각의 나이 또는 성별을 상기 유사도 행렬을 이용하여 보정하고, 상기 보정된 나이 또는 성별과 상기 제1 유사도 계산부에서 계산된 유사도를 이용하여 상기 사용자의 나이 또는 성별을 계산할 수 있다.The age / gender estimator corrects an age or gender of each of the selected face images using the similarity matrix, and uses the corrected age or gender and the similarity calculated by the first similarity calculator to determine the user's age. The age or gender can be calculated.

본 발명에 의하면 사용자가 나이나 성별 관련 정보를 직접 입력하지 않고 사용자의 얼굴로부터 나이 또는 성별을 추정할 수 있다.According to the present invention, the user may estimate the age or gender from the face of the user without directly inputting age or gender related information.

사람의 나이와 성별은 얼굴을 통해 직접적으로 나타나는 특징이다. 본 발명은 사용자의 얼굴과 기 등록된 얼굴과의 유사 정도에 기반하여 기 등록된 얼굴과 연계된 나이와 성별 정보로부터 사용자의 나이와 성별을 유추하기 때문에 보다 정확하게 사용자의 나이와 성별을 추정할 수 있다.A person's age and gender are characteristic features that appear directly through the face. According to the present invention, since the user's age and gender are inferred from the age and gender information associated with the registered face, the user's age and sex can be estimated more accurately. have.

본 발명의 접근 제어의 활용 예로서는, 사용자의 나이를 추정하여 미성년자가 자동 판매기를 이용하여 담배를 구매하지 못하도록 할 수 있다. 맞춤형 서비스 제공 예로서, 연령과 성별에 따른 상품 추천과 광고를 들 수 있다. 엔터테인먼트의 예로서는 친구들과 자신의 얼굴 나이 비교하기가 있을 수 있다. 또는, 출입문 통제 용 얼굴 인증 시스템에서, 사용자의 나이와 성별을 미리 판별하여 사용자의 나이와 성별에 맞는 모델이나 방법을 적용함으로써 보다 정확한 사용자 인증이 가능하다.As an example of using the access control of the present invention, the age of the user may be estimated to prevent the minor from purchasing a cigarette using a vending machine. Examples of personalized service provision include product recommendation and advertisement according to age and gender. An example of entertainment may be comparing your face age with friends. Alternatively, in the face authentication system for door control, the user's age and gender may be determined in advance, and a more accurate user authentication may be performed by applying a model or a method suitable for the user's age and gender.

도 1은 본 발명의 일 실시예에 따른 나이/성별 추정 장치의 구성을 나타낸다.
도 2는 본 발명의 일 실시예에 따른 나이/성별 추정 방법의 흐름도를 나타낸다.
도 3은 사용자의 얼굴 영상의 예를 나타낸다.
도 4는 소벨 연산자의 예를 나타낸다.
도 5는 프리위트 연산자의 예를 나타낸다.
도 6은 얼굴 영상에 가우시안 1차 미분 필터를 적용한 결과를 나타낸다.
도 7은 에지 추출 필터를 통하여 필터링된 영상의 예를 나타낸다.
도 8은 필터링된 영상의 중심 화소의 주변 화소의 예를 나타낸다.
도 9a 및 도 9b는 에지의 패턴을 부호화하는 방법의 예를 나타낸다.
도 10은 에지의 패턴이 부호화된 영상의 예를 나타낸다.
도 11은 부호화된 영상으로부터 히스토그램을 생성하는 방법의 예를 나타낸다.
도 12는 부분 영역 별 히스토그램을 정합하여 하나의 히스토그램을 생성하는 방법의 예를 나타낸다.
1 illustrates a configuration of an age / gender estimation apparatus according to an embodiment of the present invention.
2 is a flowchart illustrating an age / gender estimation method according to an embodiment of the present invention.
3 illustrates an example of a face image of a user.
4 shows an example of the Sobel operator.
5 shows an example of a free operator.
6 illustrates a result of applying a Gaussian first derivative filter to a face image.
7 illustrates an example of an image filtered through an edge extraction filter.
8 illustrates an example of peripheral pixels of a center pixel of a filtered image.
9A and 9B show an example of a method of encoding a pattern of edges.
10 shows an example of an image in which an edge pattern is encoded.
11 shows an example of a method of generating a histogram from an encoded image.
12 illustrates an example of a method of generating a histogram by matching histograms of partial regions.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. In the following description and the accompanying drawings, substantially the same components are denoted by the same reference numerals, and redundant description will be omitted. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

도 1은 본 발명의 일 실시예에 따른 나이/성별 추정 장치의 구성을 나타내고, 도 2는 본 발명의 일 실시예에 따른 나이/성별 추정 방법의 흐름도를 나타낸다. 본 발명의 실시예에 따른 나이/성별 추정 장치는 도 1에 도시된 바와 같이, 얼굴 영상 입력부(110), 얼굴 특징 추출부(120), 제1 유사도 계산부(130), 선택부(133), 제2 유사도 계산부(137), 나이/성별 추정부(140), 얼굴 정보 데이터베이스(150)를 포함하여 이루어진다. 이하에서는 이러한 나이/성별 추정 장치의 동작을 도 2에 도시된 나이/성별 추정 방법의 흐름도를 함께 참조하여 설명한다. 1 shows a configuration of an age / gender estimation apparatus according to an embodiment of the present invention, and FIG. 2 shows a flowchart of an age / gender estimation method according to an embodiment of the present invention. As shown in FIG. 1, an age / gender estimation apparatus according to an exemplary embodiment of the present invention includes a face image input unit 110, a face feature extractor 120, a first similarity calculator 130, and a selector 133. And a second similarity calculator 137, an age / gender estimator 140, and a face information database 150. Hereinafter, the operation of the age / gender estimation apparatus will be described with reference to a flowchart of the age / gender estimation method illustrated in FIG. 2.

얼굴 영상 입력부(110)는 나이 또는 성별을 추정하고자 하는 사용자의 얼굴 영상을 입력받는다(210단계). 얼굴 영상 입력부(110)는 CCTV 카메라, VCR, DVR, 웹 카메라 등 다양한 영상 획득 장치로부터 사용자의 얼굴 영상을 입력받을 수 있다. 또한, 컴퓨터의 이미지 파일을 통해 얼굴 영상을 입력받을 수도 있다. 얼굴 영상은 가시광선 영상 뿐만 아니라 적외선 영상 등 다양한 형태의 영상일 수 있다. 또한 경우에 따라 특정 영상 정보만을 입력받거나 여러 형태의 영상 정보를 함께 입력받을 수도 있다. The face image input unit 110 receives a face image of a user who wants to estimate an age or a gender (step 210). The face image input unit 110 may receive a face image of a user from various image acquisition devices such as a CCTV camera, a VCR, a DVR, a web camera, and the like. In addition, a face image may be input through an image file of a computer. The face image may be various types of images such as an infrared image as well as a visible light image. In some cases, only specific image information may be input or various types of image information may be received together.

얼굴 특징 추출부(120)는 사용자의 얼굴 영상으로부터 얼굴 특징 정보를 추출한다(220단계). 얼굴 특징 추출부(120)는 얼굴 특징 정보를 추출하기 위하여 우선 입력된 영상에 얼굴이 포함되어 있는지를 판단하고 입력된 영상에서 얼굴 영역을 검출하는 과정을 수행할 수 있다. 얼굴 특징 추출부(120)는 도 3에 도시된 바와 같이 입력된 얼굴 영상을 정규화한 다음 정규화된 얼굴 영상을 가지고 얼굴 특징을 추출할 수 있다.The facial feature extractor 120 extracts facial feature information from the face image of the user in operation 220. In order to extract face feature information, the face feature extractor 120 may determine whether a face is included in an input image and detect a face region from the input image. The face feature extractor 120 may normalize the input face image as shown in FIG. 3, and then extract the face feature with the normalized face image.

일 실시예에서, 얼굴 특징 추출부(120)는 얼굴 영상에 PCA(Principal Component Analysis) 기법을 적용하여 얼굴 특징 정보를 추출할 수 있다. PCA 기법은 eigenface 방법으로도 알려져 있다. 다른 실시예로서, 얼굴 특징 추출부(120)는 얼굴 영상에 FLD(Fisher Linear Discriminant) 기법을 적용하여 특징을 추출할 수도 있다. FLD 기법은 fisherface 방법으로도 알려져 있다. In one embodiment, the facial feature extractor 120 may extract facial feature information by applying a Principal Component Analysis (PCA) technique to the face image. The PCA technique is also known as the eigenface method. As another example, the facial feature extractor 120 may extract a feature by applying a Fisher Linear Discriminant (FLD) technique to the face image. The FLD technique is also known as the fisherface method.

또 다른 실시예로서, 얼굴 특징 추출부(120)는 얼굴 영상의 에지 정보를 추출하여 얼굴 특징 정보로 사용할 수 있다. 얼굴 영상에서 에지는 얼굴의 가장자리, 윤곽선, 또는 영상에서 칼라값 또는 밝기가 상대적으로 크게 변하는 부분에 해당한다. 에지 정보는 얼굴 영상에서 얼굴의 가장자리, 윤곽선, 또는 에지 정보는 얼굴의 모양, 생김새 또는 형상을 보다 잘 기술하거나 표현할 수 있다. As another embodiment, the face feature extractor 120 may extract edge information of the face image and use the face feature information. In the face image, an edge corresponds to an edge of a face, an outline, or a portion in which a color value or brightness changes relatively large in the image. The edge information may better describe or express the shape, appearance, or shape of the face in the face image, the edge, contour, or edge information of the face.

얼굴 특징 추출부(120)는 영상 필터를 이용하여 영상으로부터 에지 정보를 추출할 수 있다. 이때 필터링된 영상이 에지 정보를 포함하게 된다. The facial feature extractor 120 may extract edge information from an image using an image filter. At this time, the filtered image includes edge information.

얼굴 특징 추출부(120)는 도 4에 도시된 바와 같은 소벨 연산자(Sobel Operator) 또는 도 5에 도시된 바와 같은 프리위트(Prewitt Operator) 등의 에지 추출 필터를 얼굴 영상에 적용하여 얼굴의 에지 정보를 추출할 수 있다.The facial feature extractor 120 applies an edge extraction filter, such as a Sobel operator as shown in FIG. 4 or a Prewitt operator as shown in FIG. 5, to the face image to apply edge information of the face. Can be extracted.

또한 얼굴 특징 추출부(120)는 가우시안 필터와 에지 추출 필터가 결합된 가우시안 미분 필터 또는 라플라시안-가우시안 필터를 이용하여 에지 정보를 추출할 수 있다. Also, the facial feature extractor 120 may extract edge information using a Gaussian differential filter or a Laplacian-Gaussian filter in which a Gaussian filter and an edge extraction filter are combined.

기본적으로, 가우시안 필터는 수학식 1과 같이 정의된다. Basically, the Gaussian filter is defined as in Equation 1.

Figure pat00001
Figure pat00001

가우시안 1차 미분 필터는 수학식 2와 같이 정의된다.Gaussian first-order differential filters are defined as in Equation 2.

Figure pat00002
Figure pat00002

가우시안 2차 미분 필터는 수학식 3과 같이 정의된다.The Gaussian second-order differential filter is defined as in Equation 3.

Figure pat00003
Figure pat00003

또한, 라플라시안-가우시안 필터는 수학식 4와 같이 정의된다. In addition, the Laplacian-Gaussian filter is defined as in Equation 4.

Figure pat00004
Figure pat00004

라플라시안-가우시안 필터는 에지의 방향에 상관 없이 에지를 추출하는 필터이다. 반면에, 가우시안 1차 미분 필터와 가우시안 2차 미분 필터는 특정 방향에 맞춰 에지를 추출할 수 있다. 예를 들어, 도 3과 같은 얼굴 영상에 가우시안 1차 미분 필터를 적용한 결과를 영상 형태로 나타내면 도 6과 같다. 도 6은 가우시안 1차 미분 필터를 얼굴 영상에 적용한 결과와 해당 가우시안 1차 미분 필터를 보여준다. The Laplacian-Gaussian filter is a filter that extracts edges regardless of the direction of the edges. On the other hand, the Gaussian first-order derivative filter and the Gaussian second-order derivative filter can extract edges in a specific direction. For example, the result of applying the Gaussian first derivative filter to the face image as shown in FIG. 3 is shown in FIG. 6. 6 illustrates a result of applying a Gaussian first order differential filter to a face image and a corresponding Gaussian first order differential filter.

에지 정보가 추출되면, 얼굴 특징 추출부(120)는 얼굴 영상을 복수 개의 부분 영역으로 분할하고, 분할된 부분 영역 별로 에지의 특성(예컨대 에지의 분포 또는 패턴)을 기술한다. 이러한 과정의 일례를 도 7 내지 도 12를 참조하여 설명한다.When the edge information is extracted, the facial feature extractor 120 divides the face image into a plurality of partial regions, and describes characteristics (eg, distribution or pattern of edges) of the edge for each divided partial region. An example of such a process will be described with reference to FIGS. 7 to 12.

우선, 도 7의 영상을 에지 추출 필터를 통하여 필터링된 영상이라 가정한다. 만일 복수 개의 에지 추출 필터를 사용하는 경우 각각의 필터링된 영상에 이하의 과정이 동일하게 적용된다. First, it is assumed that the image of FIG. 7 is an image filtered through an edge extraction filter. If a plurality of edge extraction filters are used, the following process is equally applied to each filtered image.

도 7을 참조하면, 각 칸은 필터링된 영상의 화소 또는 셀(cell)을 나타내며, 가로와 세로의 숫자는 영상 내에서 화소의 행과 열의 위치를 나타낸다. 예를 들어 “X”로 표시된 중심 화소의 위치는 (2,3)으로 표현된다. 여기서 중심 화소 (2,3)과 그 주변의 화소의 값들이 도 8과 같다고 가정한다. Referring to FIG. 7, each column represents a pixel or a cell of the filtered image, and horizontal and vertical numbers represent positions of rows and columns of pixels in the image. For example, the position of the center pixel indicated by "X" is represented by (2, 3). Here, it is assumed that the values of the center pixel (2, 3) and the pixels around it are as shown in FIG.

에지의 패턴을 표현하는 한 방법은 중심 화소의 값보다 주변 화소의 값이 크거나 같으면 1, 작으면 0으로 설정하는 것이다. 도 9a는 이러한 방법을 중심 화소 (2,3)과 그 주변의 화소에 적용한 결과를 나타낸다. 도 9a를 참조하면, 화소 (1,2)에서 시작하여 시계 방향으로 회전하면서 이진값을 정렬하여 01001100(2) 또는 10진수 64+8+4=76의 단일 값으로 부호화함으로써 에지의 패턴을 표현할 수 있다. 이 경우 총 256가지의 패턴이 나올 수 있으며, 이러한 방법은 영상 처리 분야에서 지역적 이진 패턴(Local Binary Pattern, LBP) 분석으로 알려져 있다. One way to express the pattern of the edge is to set it to 1 if the value of the surrounding pixel is greater than or equal to the value of the center pixel, and to 0 if it is smaller. 9A shows the result of applying this method to the center pixel (2,3) and the pixels around it. Referring to FIG. 9A, a pattern of edges can be expressed by encoding binary values starting from pixel (1,2) and rotating clockwise to encode a single value of 01001100 (2) or decimal 64 + 8 + 4 = 76. Can be. In this case, a total of 256 patterns can be generated, and this method is known as local binary pattern (LBP) analysis in the field of image processing.

에지의 패턴을 표현하는 다른 방법은 중심 화소의 값과 그 주변 화소의 값들의 평균값을 계산한 후 평균값보다 크거나 같으면 1, 작으면 0으로 설정하는 것이다. 도 9b는 이러한 방법을 중심 화소 (2,3)과 그 주변의 화소에 적용한 결과를 나타낸다. 도 9b를 참조하면, 화소 (1,2)에서 시작하여 시계 방향으로 회전하고 마지막을 중심 화소로 하여 이진값을 정렬하여 010011000(2) 또는 십진수 152의 단일 값으로 부호화함으로써 에지의 패턴을 표현할 수 있다. 이 경우에는 총 512가지의 패턴이 나올 수 있으며, 이러한 방법은 영상 처리 분야에서 MCT(Modified Census Transform) 분석에 해당한다. Another way of expressing the pattern of the edge is to calculate the average value of the value of the center pixel and the surrounding pixels, and then set it to 1 if the value is greater than or equal to the average value and 0 if the value is smaller than the mean value. 9B shows the result of applying this method to the center pixel (2, 3) and the pixels around it. Referring to FIG. 9B, a pattern of edges can be expressed by rotating in a clockwise direction starting from pixel (1,2), arranging binary values with the last as a center pixel, and encoding them into a single value of 010011000 (2) or decimal 152. have. In this case, a total of 512 patterns can be generated, and this method corresponds to the Modified Census Transform (MCT) analysis in the field of image processing.

이제, 도 7의 필터링된 영상(13X13)이 부호화 과정을 거쳐 도 10과 같은 영상(11X11)으로 표현되었다고 하자. 도 10에서 X로 표현된 화소 (1,2)의 값은 도 7의 중심 화소 (2,3)과 그 주변 화소 (1,2), (1,3), (1,4), (2,2), (2,4), (3,2), (3,3), (3,4)의 에지 패턴을 부호화한 값에 해당한다. Now, it is assumed that the filtered image 13X13 of FIG. 7 is represented by the image 11X11 as shown in FIG. 10 through an encoding process. The values of the pixels (1,2) represented by X in FIG. 10 are the center pixel (2,3) and the surrounding pixels (1,2), (1,3), (1,4), (2) in FIG. Corresponds to a value obtained by encoding edge patterns of (2, 4), (2, 4), (3, 2), (3, 3), and (3, 4).

얼굴 특징 추출부(120)는 부호화된 영상을 도 11에 도시된 바와 같이 복수 개의 부분 영역으로 분할하고 각 부분 영역에 대한 에지 패턴에 대응하는 히스토그램을 생성한다. 이때 각 부분 영역이 서로 겹쳐지게 분할하거나 또는 겹쳐지지 않게 분할할 수 있다. 또한, 가능한 모든 패턴에 대해 히스토그램의 빈을 구성할 필요 없이, 서로 유사한 패턴들은 하나의 패턴으로 묶어서 빈도수를 나타내거나 통계적으로 의미가 적은 패턴을 무시할 수도 있다. The face feature extractor 120 splits the encoded image into a plurality of partial regions as shown in FIG. 11 and generates a histogram corresponding to an edge pattern for each partial region. At this time, the partial regions may be divided to overlap each other or may not be overlapped. In addition, without having to construct bins of histograms for all possible patterns, similar patterns can be grouped into one pattern to indicate frequency or ignore statistically insignificant patterns.

다음으로, 얼굴 특징 추출부(120)는 부분 영역 별 에지의 특성을 이용하여 부분 영역보다 넓은 범위 또는 얼굴의 전체 영역에 대한 특성, 즉 전역적 특징을 추출한다. 도 12는 이러한 전역적 특징을 나타내는 도면이다. 얼굴 특징 추출부(120)는 부분 영역 별 에지의 특성에 대응하는 히스토그램을 도 12에 도시된 바와 같이 정합하여, 하나의 히스토그램을 생성한다. 여기서 생성되는 하나의 히스토그램이 얼굴의 전체 영역에 대한 특징 정보에 해당한다. 이때, 부분 영역 별 히스토그램이 모두 사용될 수 있으며, 또는 다양한 조합으로 일부의 부분 영역만을 선택하여 사용될 수도 있다. 또는, 개별 히스토그램 또는 다양한 조합을 정합된 히스토그램 또는 하나의 히스토그램에 PCA(Principal Component Analysis) 또는 FLD(Fisher Linear Discriminant)와 같은 데이터 분석 방법을 추가적으로 적용하여, 데이터의 차원을 줄이고 분류 성능을 높일 수도 있다.Next, the facial feature extractor 120 extracts a feature, that is, a global feature, for a wider range than the partial region or the entire region of the face using the characteristics of the edge of each partial region. 12 illustrates this global feature. The facial feature extractor 120 matches a histogram corresponding to a characteristic of an edge of each partial region as illustrated in FIG. 12 to generate one histogram. One histogram generated here corresponds to feature information of the entire area of the face. In this case, all histograms for each partial region may be used, or only some partial regions may be selected and used in various combinations. Alternatively, data analysis methods such as Principal Component Analysis (PCA) or Fisher Linear Discriminant (FLD) can be additionally applied to individual histograms or various combinations to matched histograms or to one histogram, thereby reducing the dimension of data and improving classification performance. .

다시 도 1 및 도 2를 참조하면, 제1 유사도 계산부(130)는 사용자의 얼굴 영상으로부터 추출된 얼굴 특징 정보와 얼굴 정보 데이터베이스(150)에 저장된 복수 개의 얼굴 영상들 각각의 얼굴 특징 정보를 비교하여 사용자의 얼굴 영상과 복수 개의 얼굴 영상들 각각과의 유사도를 계산한다(230단계). 1 and 2, the first similarity calculator 130 compares facial feature information extracted from a user's face image with facial feature information of each of the plurality of face images stored in the face information database 150. In operation 230, the degree of similarity between the face image of the user and each of the plurality of face images is calculated.

얼굴 정보 데이터베이스(150)는 복수 개의 얼굴 영상들 각각의 얼굴 특징 정보와 복수 개의 얼굴 영상들 각각의 나이 또는 성별에 관한 정보를 저장한다.The face information database 150 stores face feature information of each of the plurality of face images and information about an age or gender of each of the plurality of face images.

얼굴 정보 데이터베이스(150)에 저장되는 얼굴 특징 정보는 얼굴 특징 추출부(120)에서 추출되는 얼굴 특징 정보와 동일한 종류의 얼굴 특징 정보에 해당한다. The facial feature information stored in the face information database 150 corresponds to facial feature information of the same type as the facial feature information extracted by the facial feature extractor 120.

얼굴 정보 데이터베이스(150)에 저장되는 나이 또는 성별에 관한 정보는 해당 얼굴 영상의 피촬영자의 실제 나이 또는 성별에 관한 정보일 수 있다. 다만, 사람마다 나이 또는 성별은 얼굴에 따라 실제와 다르게 판단될 수 있으므로, 얼굴 정보 데이터베이스(150)에 저장되는 나이 또는 성별에 관한 정보는 경우에 따라 해당 얼굴 영상의 피촬영자의 실제 나이 또는 성별에서 보정된 나이 또는 성별로 저장될 수 있다.The information about the age or gender stored in the face information database 150 may be information about the actual age or gender of the photographer of the face image. However, since an age or gender may be determined differently from person to person according to a face, information about an age or a gender stored in the face information database 150 may be different from an actual age or gender of the subject of the face image in some cases. Can be stored with a calibrated age or gender.

예컨대, 실제 나이보다 훨씬 어려 보이는 얼굴인 경우 얼굴 정보 데이터베이스(150)에 나이 정보를 실제 나이보다 적게 등록할 수 있다. 또는, 성별 정보를 남성을 +1로, 여성을 -1로 설정할 때 어떤 남성이 외모를 여성스럽게 꾸며 여성 이미지가 강할 경우 해당 얼굴의 성별 정보를 +0.5 또는 +0.3과 같이 +1과 -1 사이의 값으로 설정할 수도 있다.For example, if the face looks much younger than the actual age, the age information may be registered in the face information database 150 less than the actual age. Or, if you set gender information to +1 for men and women to -1, if a man looks feminine and the female image is strong, the gender information for that face is between +1 and -1, such as +0.5 or +0.3. Can also be set to

본 명세서에서, 제1 유사도 계산부(130)가 계산하는 ‘유사도’는 ‘비유사도’를 포함하는 개념이다. 유사도는 영상 간의 특징이 비슷할수록 커지는 값이고 비유사도는 영상 간의 특징이 비슷할수록 작아지는 값으로서, 유사도와 비유사도는 서로 불가분의 관계에 있으며 서로 쉽게 변환이 가능하다. 예컨대 유사도의 역수를 취함으로써 비유사도를 구할 수 있다.In the present specification, the 'similarity' calculated by the first similarity calculator 130 is a concept including 'similarity'. Similarity is a value that increases with similar features between images, and dissimilarity decreases with similar features between images. Similarity and dissimilarity are inseparably related to each other and can be easily converted to each other. For example, dissimilarity can be obtained by taking the inverse of the similarity.

제1 유사도 계산부(130)는 코사인 유사도를 이용하여 두 얼굴 특징 정보 간의 유사도를 구할 수 있다. 또는 제1 유사도 계산부(130)는 유클리디언 거리(Euclidean distance)를 이용하여 두 얼굴 특징 정보 간의 비유사도를 구할 수 있다. 유사도 계산부(130)는 구해진 유사도 또는 비유사도를 확률 또는 사후 확률(posterior probability)의 의미를 가지도록 0과 1사이의 값으로 정규화하거나 변환할 수 있다. 이하에서는 설명의 편의상 유사도를 기반으로 설명하며 유사도는 양수 값을 가지는 것으로 가정한다.The first similarity calculator 130 may calculate the similarity between two facial feature information by using the cosine similarity. Alternatively, the first similarity calculator 130 may calculate dissimilarity between two facial feature information using Euclidean distance. The similarity calculator 130 may normalize or convert the obtained similarity or dissimilarity into a value between 0 and 1 to have a meaning of probability or posterior probability. Hereinafter, for convenience of explanation, the description will be based on the similarity and the similarity is assumed to have a positive value.

선택부(133)는 제1 유사도 계산부(130)에서 계산된 각 얼굴 영상의 유사도에 따라 얼굴 정보 데이터베이스(150)의 얼굴 영상들 중 유사도가 상위인 일정 개수(N)의 얼굴 영상들(또는 상위 N명)을 선택한다(240단계). 만일 사용자의 성별 추정에 앞서 사용자의 나이 또는 연령대가 미리 판별되었거나 주어진 경우 얼굴 정보 데이터베이스(150)의 얼굴 영상들 중 사용자의 나이와 같거나 비슷한 연령대에 해당하는 얼굴 영상들 중에서 상위 일정 개수(N)의 얼굴 영상들(또는 상위 N명)을 선택할 수도 있다. 여기서 N 값은 미리 설정된 고정된 값일 수 있으며, 또는 유사도 계산 결과에 따라 유동적으로 정해지는 값일 수도 있다. 물론 N 값은 얼굴 정보 데이터베이스(150)에 저장된 전체 얼굴의 수(또는 전체 사람 수)일 수도 있다.The selector 133 may include a predetermined number N of face images (or similarities) among the face images of the face information database 150 according to the similarity of each face image calculated by the first similarity calculator 130. Top N names) (step 240). If the user's age or age group is previously determined or given prior to the user's gender estimation, the upper predetermined number N of the face images of the face information database 150 corresponding to the same age group as or similar to the user's age Facial images (or top N names) may be selected. Herein, the N value may be a predetermined fixed value or may be a value that is fluidly determined according to the similarity calculation result. Of course, the N value may be the total number of faces (or the total number of people) stored in the face information database 150.

제2 유사도 계산부(137)는 선택부(133)에서 선택된 얼굴 영상들 각각의 얼굴 특징 정보를 상호 교차 비교하여 선택된 얼굴 영상들 간의 유사도를 계산한다(250단계). 다시 말하면, 선택된 얼굴 영상들로부터 얻어지는 모든 얼굴 영상 쌍들 각각에 대하여, 얼굴 특징 정보를 비교하여 얼굴 영상 간의 유사도를 계산하는 것이다. 제2 유사도 계산부(137)에서 계산되는 유사도는 전술한 제1 유사도 계산부(130)에서 계산되는 유사도와 동일한 개념이므로 반복 설명은 생략한다. The second similarity calculator 137 calculates the similarity between the selected face images by performing cross-cross comparison between face feature information of each of the face images selected by the selector 133 (step 250). In other words, for each face pair obtained from the selected face images, similarity between face images is calculated by comparing face feature information. Since the similarity calculated by the second similarity calculator 137 is the same concept as the similarity calculated by the first similarity calculator 130, repeated description thereof will be omitted.

제2 유사도 계산부(137)는, N개의 얼굴 영상이 선택되었다고 하면, 이러한 유사도들들 성분으로 하는 N×N 유사도 행렬

Figure pat00005
를 구할 수 있다. 여기서, 상기 유사도 행렬의 (m, n) (m=1, …, N, n=1, …, N) 성분은 m번째 얼굴 영상과 n번째 얼굴 영상 간의 유사도가 된다. 물론, m과 n이 동일한 경우는 해당 성분은 동일한 얼굴 영상 간의 유사도이므로, 100% 유사함을 나타내는 값(예를 들어, 1)이 될 것이다. The second similarity calculator 137 assumes that N face images are selected, the N × N similarity matrix having these similarities as a component.
Figure pat00005
Can be obtained. Here, the (m, n) (m = 1, ..., N, n = 1, ..., N) component of the similarity matrix is the similarity between the m th face image and the n th face image. Of course, when m and n are the same, since the corresponding components have similarities between the same face images, they will be values indicating 100% similarity (eg, 1).

나이/성별 추정부(140)는 상기 선택부(133)에서 선택된 얼굴 영상들 각각의 나이 또는 성별과, 상기 제1 유사도 계산부(130)에서 계산된 유사도와, 상기 제2 유사도 계산부(137)에서 계산된 유사도를 기반으로 사용자의 나이 또는 성별을 추정한다(260단계).The age / gender estimator 140 includes the age or gender of each of the face images selected by the selector 133, the similarity calculated by the first similarity calculator 130, and the second similarity calculator 137. In step 260, the user's age or gender is estimated based on the similarity calculated in step (a).

본 단계에서, 나이/성별 추정부(140)는 우선 선택된 얼굴 영상들 각각의 나이 또는 성별을 상기 제2 유사도 계산부(137)에서 계산된 유사도를 이용하여 보정한다. In this step, the age / gender estimator 140 first corrects the age or gender of each of the selected face images using the similarity calculated by the second similarity calculator 137.

선택부(133)에서 선택된 N개의 얼굴 영상의 성별 값 또는 나이 값을

Figure pat00006
(
Figure pat00007
)라 하면, N개의 얼굴 영상의 나이 또는 성별은
Figure pat00008
를 성분으로 하는 N 차원의 벡터
Figure pat00009
로 표현할 수 있다. 여기서, 성별 값은 전술한 바와 같이 +1, -1의 이진 값으로, 표현하거나, +1 과 -1 사이의 값으로 표현할 수 있다. The gender value or age value of the N face images selected by the selector 133
Figure pat00006
(
Figure pat00007
), The age or gender of the N facial images
Figure pat00008
N-dimensional vector containing
Figure pat00009
. Here, as described above, the gender value may be represented by a binary value of +1, -1, or a value between +1 and -1.

나이/성별 추정부(140)는 상기 벡터

Figure pat00010
와 상기 유사도 행렬
Figure pat00011
를 이용하여, 선택된 얼굴 영상들 각각의 보정된 나이 또는 성별을 구할 수 있다.Age / gender estimation unit 140 is the vector
Figure pat00010
And the similarity matrix
Figure pat00011
By using, the corrected age or gender of each of the selected face images may be obtained.

Figure pat00012
Figure pat00012

여기서,

Figure pat00013
는 보정된 나이 또는 성별을 나타낸다.
Figure pat00014
의 t는 반복 회수로서, 상기 수학식은
Figure pat00015
가 재귀적으로 반복되어 계산됨을 나타낸다. 즉, 보정된 나이 또는 성별
Figure pat00016
는 이전 단계에서 계산된 보정된 나이 또는 성별
Figure pat00017
과 유사도 행렬
Figure pat00018
, 그리고 상기 벡터
Figure pat00019
로부터 구해진다.
Figure pat00020
는 조합 가중치로서, 예컨대 0과 1 사이의 값이 될 수 있으며, 임의로 설정될 수 있다.
Figure pat00021
의 초기값은 임의로 설정될 수 있으며,
Figure pat00022
는 반복 회수가 늘어남에 따라 어떤 값에 수렴하게 된다. 위와 같은 수학식을 이용하여 보정된 나이 또는 성별 값을 계산함에 있어서, 반복 회수는 미리 정해진 회수가 될 수도 있고, 반복에 따른
Figure pat00023
값이 변화가 소정의 임계값 미만일 때(즉, 수렴한 것으로 판단될 때)까지 반복할 수도 있다. here,
Figure pat00013
Represents the corrected age or gender.
Figure pat00014
T is the number of repetitions, and
Figure pat00015
Denotes recursively repeated. That is, the corrected age or gender
Figure pat00016
Is the calibrated age or gender calculated in the previous step
Figure pat00017
And similarity matrix
Figure pat00018
, And the vector
Figure pat00019
Obtained from
Figure pat00020
Is a combination weight, for example, may be a value between 0 and 1, and may be arbitrarily set.
Figure pat00021
The initial value of can be arbitrarily set.
Figure pat00022
Converges to a value as the number of iterations increases. In calculating the corrected age or gender value by using the above equation, the number of repetitions may be a predetermined number,
Figure pat00023
The value may be repeated until the change is below a predetermined threshold (ie, determined to converge).

나이 값 또는 성별 정보는 얼굴을 통해 드러나지만, 얼굴 영상과 나이 또는 성별과의 관계를 정확히 나타내는 것은 한계가 있다. 위와 같이 선택된 얼굴 영상들 각각의 나이 또는 성별을 보정하는 과정은, 사용자의 나이 또는 성별을 보다 정확하게 추정하기 위하여, 얼굴 영상들 간의 유사한 정도를 고려하여 각 얼굴 영상의 나이 또는 성별을 조정하는 과정이다.Age value or gender information is revealed through the face, but there is a limit in accurately representing the relationship between the face image and age or gender. The process of correcting the age or gender of each of the selected face images is a process of adjusting the age or gender of each face image in consideration of the similarity between the face images in order to more accurately estimate the age or gender of the user. .

나이/성별 추정부(140)는, 선택된 얼굴 영상들 각각의 나이 또는 성별이 보정되면, 보정된 나이 또는 성별과 상기 제1 유사도 계산부(130)에서 계산된 유사도를 이용하여 사용자의 나이 또는 성별을 계산한다. 여기서, 나이/성별 추정부(140)는 선택된 얼굴 영상들 각각의 사용자의 얼굴 영상과의 유사도를 가중치로 하여, 선택된 얼굴 영상들 각각의 보정된 나이 또는 성별의 가중 평균을 계산함으로써 사용자의 나이 또는 성별을 구할 수 있다. 이를 위하여 예를 들어 다음과 같은 수학식에 따라 사용자의 나이 또는 성별을 계산할 수 있다.When the age or gender of each of the selected face images is corrected, the age / gender estimator 140 uses the corrected age or gender and the similarity calculated by the first similarity calculator 130 to determine the age or gender of the user. Calculate Here, the age / gender estimator 140 calculates a weighted average of the corrected age or gender of each of the selected face images by weighting the similarity with the face image of the user of each of the selected face images, and thus the age or gender of the user. Gender can be obtained. To this end, for example, the age or gender of the user may be calculated according to the following equation.

Figure pat00024
Figure pat00024

여기서,

Figure pat00025
는 선택부(133)에서 선택된 i번째 얼굴 영상의 사용자 얼굴 영상과의 유사도이고,
Figure pat00026
는 상기 i번째 얼굴 영상의 보정된 나이 또는 성별을 나타내고,
Figure pat00027
이다.
Figure pat00028
가 나이 값에 해당하는 경우, 수학식 6의 값이 사용자의 추정된 나이가 될 수 있다.
Figure pat00029
가 성별 값에 해당하는 경우, 수학식 6의 값이 부호가 사용자의 추정된 성별이 될 수 있다. 예컨대, 부호가 (+)이면 남성으로, (-)이면 여성으로 추정된다. here,
Figure pat00025
Is a similarity degree to the user face image of the i-th face image selected by the selecting unit 133,
Figure pat00026
Represents the corrected age or gender of the i-th face image,
Figure pat00027
to be.
Figure pat00028
Is a age value, the value of Equation 6 may be the estimated age of the user.
Figure pat00029
Is a gender value, the value of Equation 6 may be the estimated gender of the user. For example, if the sign is positive, it is assumed to be male, and if it is negative, it is assumed to be female.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.The above-described embodiments of the present invention can be embodied in a general-purpose digital computer that can be embodied as a program that can be executed by a computer and operates the program using a computer-readable recording medium. The computer-readable recording medium includes a storage medium such as a magnetic storage medium (e.g., ROM, floppy disk, hard disk, etc.), optical reading medium (e.g., CD ROM,

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

Claims (15)

사용자의 얼굴 영상으로부터 얼굴 특징 정보를 추출하는 얼굴 특징 추출 단계;
상기 추출된 얼굴 특징 정보와 기 저장된 복수 개의 얼굴 영상들 각각의 얼굴 특징 정보를 비교하여 상기 사용자의 얼굴 영상과 상기 복수 개의 얼굴 영상들 각각과의 유사도를 계산하는 제1 유사도 계산 단계;
상기 제1 유사도 계산 단계에서 계산된 유사도에 따라 상기 기 저장된 복수 개의 얼굴 영상들 중 일정 개수의 얼굴 영상들을 선택하는 얼굴 영상 선택 단계;
상기 선택된 얼굴 영상들 각각의 얼굴 특징 정보를 상호 교차 비교하여 상기 선택된 얼굴 영상들 간의 유사도를 계산하는 제2 유사도 계산 단계;
상기 선택된 얼굴 영상들 각각의 나이 또는 성별, 상기 제1 유사도 계산 단계에서 계산된 유사도, 및 상기 제2 유사도 계산 단계에서 계산된 유사도를 기반으로 상기 사용자의 나이 또는 성별을 추정하는 나이/성별 추정 단계를 포함하는 것을 특징으로 하는 나이 또는 성별 추정 방법.
A facial feature extraction step of extracting facial feature information from a face image of a user;
A first similarity calculation step of comparing the extracted facial feature information with facial feature information of each of the plurality of pre-stored face images to calculate a similarity between the face image of the user and each of the plurality of face images;
A face image selecting step of selecting a predetermined number of face images from among the plurality of previously stored face images according to the similarity calculated in the first similarity calculating step;
A second similarity calculation step of calculating a similarity between the selected face images by cross-cross comparing face feature information of each of the selected face images;
An age / gender estimation step of estimating the age or gender of the user based on the age or gender of each of the selected face images, the similarity calculated in the first similarity calculating step, and the similarity calculated in the second similarity calculating step Age or gender estimation method comprising a.
제1항에 있어서,
상기 나이/성별 추정 단계는, 상기 선택된 얼굴 영상들 각각의 나이 또는 성별을 상기 제2 유사도 계산 단계에서 계산된 유사도를 이용하여 보정하고, 상기 보정된 나이 또는 성별과 상기 제1 유사도 계산 단계에서 계산된 유사도를 이용하여 상기 사용자의 나이 또는 성별을 계산하는 것을 특징으로 하는 나이 또는 성별 추정 방법.
The method of claim 1,
The estimating of the age / gender may include correcting the age or gender of each of the selected face images using the similarity calculated in the second similarity calculating step, and calculating the corrected age or gender in the first similarity calculating step. And calculating the age or gender of the user using the similarity.
제1항에 있어서,
상기 제2 유사도 계산 단계는, 상기 일정 개수를 N(N은 2 이상의 자연수)이라 할 때, N×N 유사도 행렬-여기서, 상기 유사도 행렬의 (m, n) (m=1, …, N, n=1, …, N) 성분은 m 번째 얼굴 영상과 n 번째 얼굴 영상 간의 유사도임-을 구하는 것을 특징으로 하는 나이 또는 성별 추정 방법.
The method of claim 1,
In the second similarity calculation step, when the predetermined number is N (N is a natural number of 2 or more), an N × N similarity matrix, wherein (m, n) (m = 1,…, N, n = 1, ..., N) component is a similarity between the m-th face image and the n-th face image.
제3항에 있어서,
상기 나이/성별 추정 단계는, 상기 선택된 얼굴 영상들 각각의 나이 또는 성별을 상기 유사도 행렬을 이용하여 보정하고, 상기 보정된 나이 또는 성별과 상기 제1 유사도 계산 단계에서 계산된 유사도를 이용하여 상기 사용자의 나이 또는 성별을 계산하는 것을 특징으로 하는 나이 또는 성별 추정 방법.
The method of claim 3,
The estimating of the age / gender may include correcting an age or gender of each of the selected face images using the similarity matrix, and using the similarity calculated in the corrected age or sex and the first similarity calculating step. Calculating the age or sex of the age or sex estimation method.
제1항에 있어서,
상기 복수 개의 얼굴 영상들 각각의 나이 또는 성별은 해당 얼굴 영상의 피촬영자의 실제 나이 또는 성별에 해당하는 것을 특징으로 하는 나이 또는 성별 추정 방법.
The method of claim 1,
Age or gender of each of the plurality of face images corresponding to the actual age or gender of the subject of the face image.
제1항에 있어서,
상기 복수 개의 얼굴 영상들 각각의 나이 또는 성별은 해당 얼굴 영상의 피촬영자의 실제 나이 또는 성별에서 보정된 나이 또는 성별에 해당하는 나이 또는 성별 추정 방법.
The method of claim 1,
The age or gender of each of the plurality of face images corresponds to the age or gender corrected from the actual age or gender of the subject of the face image.
제1항에 있어서,
상기 얼굴 특징 추출 단계는 PCA(Principal Component Analysis) 기법 또는 FLD(Fisher Linear Discriminant) 기법을 이용하는 것을 특징으로 하는 나이 또는 성별 추정 방법.
The method of claim 1,
The facial feature extracting method may include age or sex estimation method using a Principal Component Analysis (PCA) technique or a Fisher Linear Discriminant (FLD) technique.
제1항에 있어서,
상기 얼굴 특징 추출 단계는 상기 얼굴 영상의 에지 정보를 상기 얼굴 특징 정보로서 추출하는 것을 특징으로 하는 나이 또는 성별 추정 방법.
The method of claim 1,
The facial feature extracting step may include extracting edge information of the face image as the facial feature information.
제1항에 있어서,
상기 얼굴 특징 추출 단계는, 상기 얼굴 영상을 에지 추출 필터를 이용하여 필터링하고, 필터링된 영상의 각 화소마다 주변 화소의 에지 패턴을 부호화하고, 부호화된 영상을 복수 개의 부분 영역으로 분할하고 각 부분 영역 별로 히스토그램을 생성하는 것을 특징으로 하는 나이 또는 성별 추정 방법.
The method of claim 1,
In the facial feature extraction step, the face image is filtered using an edge extraction filter, an edge pattern of neighboring pixels is encoded for each pixel of the filtered image, the encoded image is divided into a plurality of partial regions, and each partial region is extracted. Age or gender estimation method characterized in that for generating a histogram for each.
사용자의 얼굴 영상으로부터 얼굴 특징 정보를 추출하는 얼굴 특징 추출부;
복수 개의 얼굴 영상들 각각의 얼굴 특징 정보와 상기 복수 개의 얼굴 영상들 각각의 나이 또는 성별에 관한 정보를 저장하는 얼굴 정보 데이터베이스;
상기 추출된 얼굴 특징 정보와 상기 복수 개의 얼굴 영상들 각각의 얼굴 특징 정보를 비교하여 상기 사용자의 얼굴 영상과 상기 복수 개의 얼굴 영상들 각각과의 유사도를 계산하는 제1 유사도 계산부;
상기 제1 유사도 계산부에서 계산된 유사도에 따라 상기 복수 개의 얼굴 영상들 중 일정 개수의 얼굴 영상들을 선택하는 선택부;
상기 선택된 얼굴 영상들 각각의 얼굴 특징 정보를 상호 교차 비교하여 상기 선택된 얼굴 영상들 간의 유사도를 계산하는 제2 유사도 계산부; 및
상기 선택된 얼굴 영상들 각각의 나이 또는 성별, 상기 제1 유사도 계산부에서 계산된 유사도, 및 상기 제2 유사도 계산부에서 계산된 유사도를 기반으로 상기 사용자의 나이 또는 성별을 추정하는 나이/성별 추정부를 포함하는 것을 특징으로 하는 나이 또는 성별 추정 장치.
A facial feature extractor extracting facial feature information from a face image of a user;
A face information database storing face feature information of each of a plurality of face images and information on an age or gender of each of the plurality of face images;
A first similarity calculator which compares the extracted facial feature information with facial feature information of each of the plurality of face images to calculate a similarity between the user's face image and each of the plurality of face images;
A selector which selects a predetermined number of face images from among the plurality of face images according to the similarity calculated by the first similarity calculator;
A second similarity calculator configured to cross-compare face feature information of each of the selected face images to calculate similarity between the selected face images; And
An age / gender estimator for estimating the age or gender of the user based on the age or gender of each of the selected face images, the similarity calculated by the first similarity calculator, and the similarity calculated by the second similarity calculator; Age or gender estimation device comprising a.
제10항에 있어서,
상기 나이/성별 추정부는, 상기 선택된 얼굴 영상들 각각의 나이 또는 성별을 상기 제2 유사도 계산부에서 계산된 유사도를 이용하여 보정하고, 상기 보정된 나이 또는 성별과 상기 제1 유사도 계산부에서 계산된 유사도를 이용하여 상기 사용자의 나이 또는 성별을 계산하는 것을 특징으로 하는 나이 또는 성별 추정 장치.
The method of claim 10,
The age / gender estimator corrects the age or gender of each of the selected face images by using the similarity calculated by the second similarity calculator and calculates the corrected age or gender by the first similarity calculator. Age or gender estimation device for calculating the age or gender of the user using the degree of similarity.
제10항에 있어서,
상기 제2 유사도 계산부는, 상기 일정 개수를 N(N은 2 이상의 자연수)이라 할 때, N×N 유사도 행렬-여기서, 상기 유사도 행렬의 (m, n) (m=1, …, N, n=1, …, N) 성분은 m 번째 얼굴 영상과 n 번째 얼굴 영상 간의 유사도임-을 구하는 것을 특징으로 하는 나이 또는 성별 추정 장치.
The method of claim 10,
The second similarity calculator, when the predetermined number is N (N is a natural number of 2 or more), is an N × N similarity matrix, where (m, n) (m = 1,…, N, n of the similarity matrix). = 1, ..., N) components are similarities between the m th face image and the n th face image.
제12항에 있어서,
상기 나이/성별 추정부는, 상기 선택된 얼굴 영상들 각각의 나이 또는 성별을 상기 유사도 행렬을 이용하여 보정하고, 상기 보정된 나이 또는 성별과 상기 제1 유사도 계산부에서 계산된 유사도를 이용하여 상기 사용자의 나이 또는 성별을 계산하는 것을 특징으로 하는 나이 또는 성별 추정 장치.
The method of claim 12,
The age / gender estimator corrects an age or gender of each of the selected face images using the similarity matrix, and uses the corrected age or gender and the similarity calculated by the first similarity calculator to determine the user's age. Age or gender estimation device, characterized in that for calculating the age or gender.
제10항에 있어서,
상기 복수 개의 얼굴 영상들 각각의 나이 또는 성별은 해당 얼굴 영상의 피촬영자의 실제 나이 또는 성별을 포함하는 것을 특징으로 하는 나이 또는 성별 추정 장치.
The method of claim 10,
Age or gender of each of the plurality of face images includes the actual age or gender of the subject of the face image.
제10항에 있어서,
상기 복수 개의 얼굴 영상들 각각의 나이 또는 성별은 해당 얼굴 영상의 피촬영자의 실제 나이 또는 성별에서 보정된 나이 또는 성별을 포함하는 것을 특징으로 하는 나이 또는 성별 추정 장치.
The method of claim 10,
The age or gender of each of the plurality of face images includes an age or gender corrected from the actual age or gender of the subject of the face image.
KR1020110114151A 2011-11-03 2011-11-03 Method and apparatus for estimating age or gender using face image KR101700818B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110114151A KR101700818B1 (en) 2011-11-03 2011-11-03 Method and apparatus for estimating age or gender using face image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110114151A KR101700818B1 (en) 2011-11-03 2011-11-03 Method and apparatus for estimating age or gender using face image

Publications (2)

Publication Number Publication Date
KR20130049099A true KR20130049099A (en) 2013-05-13
KR101700818B1 KR101700818B1 (en) 2017-02-01

Family

ID=48659959

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110114151A KR101700818B1 (en) 2011-11-03 2011-11-03 Method and apparatus for estimating age or gender using face image

Country Status (1)

Country Link
KR (1) KR101700818B1 (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101685437B1 (en) 2015-07-31 2016-12-28 울산과학기술원 System for providing age limit service using face edtecting sensor and method using the same
WO2017052153A1 (en) * 2015-09-22 2017-03-30 한국과학기술연구원 Age changing method based on age of each facial part and environmental factors, and recording medium and device for performing same
GB2551715A (en) * 2016-06-27 2018-01-03 Image Capture Ltd A system and method for determining the age of an individual
US9930156B2 (en) 2015-07-30 2018-03-27 Xiaomi Inc. Method and apparatus for recommending contact information
CN110163584A (en) * 2019-02-13 2019-08-23 腾讯科技(深圳)有限公司 A kind of data processing method based on electronics red packet, device and relevant device
CN111881721A (en) * 2020-06-10 2020-11-03 广东芯盾微电子科技有限公司 Cross-age face recognition method, system, device and storage medium
CN111967447A (en) * 2020-09-07 2020-11-20 深圳安道客网络科技有限公司 Local skin image analysis method
CN112464842A (en) * 2020-12-04 2021-03-09 北京华捷艾米科技有限公司 Age display method and device, storage medium and electronic equipment
CN113743236A (en) * 2021-08-11 2021-12-03 交控科技股份有限公司 Passenger portrait analysis method, device, electronic equipment and computer readable storage medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220013820A (en) 2020-07-27 2022-02-04 주식회사 큐브릭디지털 Multitasking, ensemble learning, and depth-based incremental convolution-based embedded deep learning face gender and age estimation method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100462183B1 (en) * 2002-07-15 2004-12-17 삼성전자주식회사 Method of retrieving facial image using combined facial component descriptor and apparatus thereof
KR20110029805A (en) * 2009-09-16 2011-03-23 한국전자통신연구원 Vision-based age classification and estimation method
KR20110052962A (en) * 2009-11-13 2011-05-19 한국전자통신연구원 Apparatus and method of recognizing an object

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100462183B1 (en) * 2002-07-15 2004-12-17 삼성전자주식회사 Method of retrieving facial image using combined facial component descriptor and apparatus thereof
KR20110029805A (en) * 2009-09-16 2011-03-23 한국전자통신연구원 Vision-based age classification and estimation method
KR20110052962A (en) * 2009-11-13 2011-05-19 한국전자통신연구원 Apparatus and method of recognizing an object

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9930156B2 (en) 2015-07-30 2018-03-27 Xiaomi Inc. Method and apparatus for recommending contact information
KR101685437B1 (en) 2015-07-31 2016-12-28 울산과학기술원 System for providing age limit service using face edtecting sensor and method using the same
WO2017052153A1 (en) * 2015-09-22 2017-03-30 한국과학기술연구원 Age changing method based on age of each facial part and environmental factors, and recording medium and device for performing same
US10593083B2 (en) 2015-09-22 2020-03-17 Korea Institute Of Science And Technology Method for facial age simulation based on age of each part and environmental factors, recording medium and device for performing the method
GB2551715A (en) * 2016-06-27 2018-01-03 Image Capture Ltd A system and method for determining the age of an individual
CN110163584A (en) * 2019-02-13 2019-08-23 腾讯科技(深圳)有限公司 A kind of data processing method based on electronics red packet, device and relevant device
CN111881721A (en) * 2020-06-10 2020-11-03 广东芯盾微电子科技有限公司 Cross-age face recognition method, system, device and storage medium
CN111967447A (en) * 2020-09-07 2020-11-20 深圳安道客网络科技有限公司 Local skin image analysis method
CN112464842A (en) * 2020-12-04 2021-03-09 北京华捷艾米科技有限公司 Age display method and device, storage medium and electronic equipment
CN113743236A (en) * 2021-08-11 2021-12-03 交控科技股份有限公司 Passenger portrait analysis method, device, electronic equipment and computer readable storage medium

Also Published As

Publication number Publication date
KR101700818B1 (en) 2017-02-01

Similar Documents

Publication Publication Date Title
KR20130049099A (en) Method and apparatus for estimating age or gender using face image
Tan et al. Noisy iris image matching by using multiple cues
Raja et al. Smartphone based visible iris recognition using deep sparse filtering
CN104751108B (en) Facial image identification device and facial image recognition method
US9530071B2 (en) Hierarchical interlinked multi-scale convolutional network for image parsing
Lee et al. Intra-class variation reduction using training expression images for sparse representation based facial expression recognition
Pontes et al. A flexible hierarchical approach for facial age estimation based on multiple features
Elaiwat et al. A curvelet-based approach for textured 3D face recognition
Seal et al. Human face recognition using random forest based fusion of à-trous wavelet transform coefficients from thermal and visible images
US20140099029A1 (en) Face Age-Estimation and Methods, Systems, and Software Therefor
KR102284096B1 (en) System and method for estimating subject image quality using visual saliency and a recording medium having computer readable program for executing the method
CN106507199A (en) TV programme suggesting method and device
Galdi et al. FIRE: Fast Iris REcognition on mobile phones by combining colour and texture features
CN105718873A (en) People stream analysis method based on binocular vision
US20160148070A1 (en) Image processing apparatus, image processing method, and recording medium
JP6527421B2 (en) Person recognition apparatus and program thereof
Duan et al. Face verification with local sparse representation
Sajid et al. The role of facial asymmetry in recognizing age-separated face images
KR20130059212A (en) Robust face recognition method through statistical learning of local features
Mohammad et al. Eyebrows and eyeglasses as soft biometrics using deep learning
Viedma et al. Relevant features for gender classification in NIR periocular images
Lienhard et al. How to predict the global instantaneous feeling induced by a facial picture?
Monwar et al. Eigenimage based pain expression recognition
Travieso et al. Using a discrete Hidden Markov Model Kernel for lip-based biometric identification
Rahman Unsupervised Natural Image Segmentation Using Mean Histogram Features.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant