KR20230070590A - Face recognition method using facial emotion synthesys - Google Patents

Face recognition method using facial emotion synthesys Download PDF

Info

Publication number
KR20230070590A
KR20230070590A KR1020210156323A KR20210156323A KR20230070590A KR 20230070590 A KR20230070590 A KR 20230070590A KR 1020210156323 A KR1020210156323 A KR 1020210156323A KR 20210156323 A KR20210156323 A KR 20210156323A KR 20230070590 A KR20230070590 A KR 20230070590A
Authority
KR
South Korea
Prior art keywords
images
facial expression
facial
user
face
Prior art date
Application number
KR1020210156323A
Other languages
Korean (ko)
Other versions
KR102592601B1 (en
Inventor
박용석
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020210156323A priority Critical patent/KR102592601B1/en
Publication of KR20230070590A publication Critical patent/KR20230070590A/en
Application granted granted Critical
Publication of KR102592601B1 publication Critical patent/KR102592601B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

Provided is a face recognition method using synthetic facial expressions. According to an embodiment of the present invention, a face recognition method includes the steps of: generating multiple user facial expression images by synthesizing user's face images with multiple facial expression images; extracting facial features for each facial expression from each of the generated user facial expression images; and performing user face recognition using extracted facial features for each facial expression. As a result, various facial expressions of the user are synthesized from a single user's face image, so that when recognizing faces in an ambient computing environment, it is possible to compare and recognize faces with various facial expressions, thereby improving user identification ability.

Description

합성 표정을 이용한 얼굴인식 방법{Face recognition method using facial emotion synthesys}Face recognition method using facial emotion synthesys}

본 발명은 영상처리 기반의 얼굴인식에 관한 것으로 사용자 얼굴 이미지를 다른 사람들의 표정 이미지들과 합성하여 사용자 인식에 사용하는 방법에 관한 것이다.The present invention relates to face recognition based on image processing, and relates to a method of synthesizing a user's face image with facial expression images of other people and using the same for user recognition.

얼굴인식(face recognition) 기술은 출입관리(access control), 컴퓨터나 휴대폰 등 기기 잠금 해제 등 개인 신원확인 및 인증(personal identification & verification) 용도로 사용되고 있다. 일반적으로 얼굴인식을 위해 한 개의 중립적인 표정의 얼굴 이미지를 촬영하고 사용한다. 신원확인을 위한 얼굴인식 시 사용자는 의식적으로 중립적인 표정을 취하고, 인증장치와 근거리에서 인증을 진행한다. Face recognition technology is used for personal identification & verification purposes, such as access control and unlocking devices such as computers and mobile phones. In general, a face image with a neutral expression is taken and used for face recognition. During face recognition for identification, the user consciously takes a neutral facial expression and proceeds with authentication at a short distance from the authentication device.

사용자의 선호도 또는 취향에 따른 맞춤형 서비스를 제공하기 위한 앰비언트 컴퓨팅(ambient computing) 환경에서 사용자 식별을 위해 얼굴인식을 사용할 경우, 얼굴인식이 올바르게 이루어지지 않는 경우가 발생한다. 사용자는 인증장치를 인지하고 있지 않기 때문에 얼굴인식 처리에 적절하지 않은 이미지가 입력되는 경우가 발생한다. 사용자는 일상에서 자연스럽게 활동하고 있기 때문에 다양한 크기, 각도와 표정의 얼굴 이미지가 캡처된다. 이와 같은 이미지를 얼굴인식을 위해 처리할 경우 거짓양성(false positive, 다른 사람인데 동일인으로 판단)과 거짓음성(false negative, 동일인인데 다른 사람으로 판단) 등 오인식률이 증가한다.When face recognition is used for user identification in an ambient computing environment to provide customized services according to the user's preference or taste, face recognition may not be performed correctly. Since the user is not aware of the authentication device, an image inappropriate for face recognition processing may be input. Since users are naturally active in their daily lives, facial images of various sizes, angles, and facial expressions are captured. When such images are processed for face recognition, the false recognition rate increases, such as false positives (different people but judged as the same person) and false negatives (same person but judged as different people).

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 한 장의 사용자 얼굴 이미지로부터 해당 사용자의 다양한 얼굴표정을 합성하여, 앰비언트 컴퓨팅 환경에서 얼굴인식 시 보다 정확한 사용자 신원확인 방법을 제공함에 있다.The present invention has been devised to solve the above problems, and an object of the present invention is to synthesize various facial expressions of a corresponding user from a single user's face image, and to provide a more accurate user identification method when recognizing a face in an ambient computing environment. is in providing

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 얼굴인식 방법은, 사용자 얼굴 이미지를 다수의 표정 이미지들과 합성하여, 다수의 사용자 표정 이미지들을 생성하는 제1 생성단계; 생성한 사용자 표정 이미지들 각각에서 표정별 얼굴 특징들을 각각 추출하는 단계; 및 추출한 표정별 얼굴 특징들을 이용하여, 사용자 얼굴 인식을 수행하는 단계;를 포함한다.According to an embodiment of the present invention for achieving the above object, a face recognition method includes a first generation step of generating a plurality of user expression images by synthesizing a user face image with a plurality of facial expression images; extracting facial features for each facial expression from each of the generated facial expression images of the user; and performing user face recognition using the extracted facial features for each facial expression.

본 발명의 실시예에 따른 얼굴인식 방법은, 다른 사람들의 얼굴 이미지들 각각에 대한 표정 이미지들을 획득하는 단계; 획득한 표정 이미지들에 대해, 동일 표정의 표정 이미지들을 평균하여 표정별 평균 얼굴 이미지들을 각각 생성하는 제2 생성단계;를 더 포함하고, 제1 생성단계는, 제2 생성단계에서 생성된 표정별 평균 얼굴 이미지들 각각을 사용자 얼굴 이미지와 합성하여, 사용자의 표정 이미지들을 생성할 수 있다.A face recognition method according to an embodiment of the present invention includes acquiring facial expression images for each of other people's face images; A second generation step of averaging facial expression images of the same facial expression with respect to the acquired facial expression images to generate average face images for each facial expression, wherein the first generation step is performed for each facial expression generated in the second generation step. Expression images of the user may be generated by combining each of the average face images with the user's face image.

본 발명의 실시예에 따른 얼굴인식 방법은, 사용자의 얼굴 정보와 유사한 얼굴 정보를 갖는 다른 사람들의 얼굴 이미지들을 검색하는 단계; 검색된 얼굴 이미지들에서 사용자의 얼굴 특징과 유사한 얼굴 특징을 갖는 얼굴 이미지들만 분류하는 단계;를 더 포함하고, 획득 단계는, 분류 단계에서 분류된 얼굴 이미지들 각각에 대한 표정 이미지들을 획득할 수 있다.A face recognition method according to an embodiment of the present invention includes the steps of retrieving other people's face images having face information similar to that of a user; Classifying only facial images having facial features similar to those of the user from the searched facial images, and the acquiring step may obtain facial expression images for each of the facial images classified in the classifying step.

검색 단계와 획득 단계는, 다른 사람들들의 표정 이미지들이 얼굴 정보가 태깅되어 저장된 얼굴표정 데이터베이스에서 수행될 수 있다.The search step and the acquiring step may be performed in a facial expression database in which facial information-tagged facial expression images of other people are stored.

본 발명의 실시예에 따른 얼굴인식 방법은, 한 장의 사용자 얼굴 이미지에서 얼굴 특징을 추출하는 단계; 추출된 얼굴 특징을 기초로, 사용자의 얼굴 정보를 취득하는 단계;를 더 포함하고, 검색 단계는, 취득 단계에서 취득된 사용자의 얼굴 정보와 유사한 얼굴 정보를 갖는 다른 사람들의 얼굴 이미지들을 검색할 수 있다.A face recognition method according to an embodiment of the present invention includes extracting facial features from a user's face image; Acquiring face information of the user based on the extracted facial features; and the searching step may search other people's face images having face information similar to the user's face information obtained in the acquiring step. there is.

그리고 얼굴 정보는, 성별, 나이, 인종 및 표정 중 적어도 하나를 포함할 수 있다.The face information may include at least one of gender, age, race, and expression.

제2 생성단계는, 동일 표정의 표정 이미지들의 특징점들의 평균 좌표값을 계산하는 단계; 계산된 평균 특징점을 이용하여 삼각 메시를 구하고 표정 이미지들을 삼각형 구역으로 분할하는 단계; 분할된 삼각형 구역에서 기하학적 변형 기반의 이미지 워핑을 수행하는 단계; 및 표정 이미지들의 화소 강도를 더한 후 표정 이미지들의 개수로 나누어 표정별 평균 얼굴 이미지들을 생성하는 단계;를 포함할 수 있다.The second generation step may include calculating an average coordinate value of feature points of facial expression images of the same facial expression; obtaining a triangular mesh using the calculated average feature points and dividing facial expression images into triangular regions; performing geometric transformation-based image warping on the divided triangular zone; and adding pixel intensities of the facial expression images and then dividing them by the number of facial expression images to generate average face images for each facial expression.

한편, 본 발명의 다른 실시예에 따른, 얼굴인식 시스템은, 사용자 얼굴 이미지를 다수의 표정 이미지들과 합성하여, 다수의 사용자 표정 이미지들을 생성하는 생성부; 생성부에서 생성한 사용자 표정 이미지들 각각에서 표정별 얼굴 특징들을 각각 추출하는 추출부; 및 추출부에서 추출한 표정별 얼굴 특징들을 이용하여, 사용자 인증을 수행하는 인증부;를 포함한다.On the other hand, according to another embodiment of the present invention, the face recognition system, the user's face image and a plurality of facial expression images by synthesizing, generating a plurality of user facial expression images; an extraction unit for extracting facial features for each facial expression from each of the user's facial expression images generated by the generating unit; and an authentication unit that performs user authentication by using the facial features for each facial expression extracted by the extraction unit.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 한 장의 사용자 얼굴 이미지로부터 해당 사용자의 다양한 얼굴표정을 합성하여, 앰비언트 컴퓨팅 환경에서 얼굴인식 시 다양한 표정의 얼굴 비교 인식이 가능해져, 사용자 식별 능력을 개선할 수 있게 된다.As described above, according to the embodiments of the present invention, various facial expressions of a corresponding user are synthesized from a single user's face image, and face comparison and recognition of various facial expressions are possible during face recognition in an ambient computing environment, thereby improving user identification ability can be improved.

또한, 본 발명의 실시예들에 따르면, 얼굴인식과 표정인식이 동시에 가능해지므로, 기기의 연산 부하를 줄일 수 있게 된다.In addition, according to embodiments of the present invention, face recognition and facial expression recognition are simultaneously possible, thereby reducing the computational load of the device.

도 1. 본 발명의 일 실시예에 따른 합성 표정 기반의 사용자 얼굴인식 시스템
도 2. 얼굴특징 분석
도 3. 이미지 검색
도 4. 평균 표정 생성
도 5. 평균 표정 생성부의 세부 프로세스
도 6. 표정 이미지 생성
1. User face recognition system based on synthesized expression according to an embodiment of the present invention.
Figure 2. Facial feature analysis
Fig. 3. Image Search
Fig. 4. Generating an average expression
Figure 5. Detailed process of the average expression generating unit
Figure 6. Facial expression image creation

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.

본 발명의 실시예에서는 합성 표정을 이용한 얼굴인식 방법을 제시한다. 구체적으로 사용자의 얼굴 이미지로부터 다수의 합성 표정을 생성하여 얼굴인증을 하는 방법이다.In an embodiment of the present invention, a face recognition method using synthetic facial expressions is proposed. Specifically, it is a method of performing face authentication by generating a plurality of synthesized facial expressions from a user's face image.

도 1은 본 발명의 일 실시예에 따른 합성 표정 기반의 사용자 얼굴인식 시스템을 도시한 도면이다. 본 발명의 실시예에 따른 사용자 얼굴인식 시스템은 한 장의 사용자 얼굴 이미지로부터 다양한 표정을 합성(synthesize)하여 신원확인에 활용한다.1 is a diagram illustrating a system for recognizing a user's face based on a synthesized facial expression according to an embodiment of the present invention. The user's face recognition system according to an embodiment of the present invention synthesizes various facial expressions from a single user's face image and uses them for identification.

이와 같은 기능을 수행하는 본 발명의 실시예에 따른 사용자 얼굴인식 시스템은 도시된 바와 같이 얼굴특징 분석부(110), 이미지 검색부(120), 평균 표정 생성부(130), 표정 이미지 생성부(140), 표정 특징 추출부(150)를 포함하여 구성된다.The user's face recognition system according to an embodiment of the present invention performing such a function includes a facial feature analyzer 110, an image search unit 120, an average expression generator 130, and a facial expression image generator ( 140), and a facial expression feature extraction unit 150.

얼굴특징 분석부(110)는 한 장의 사용자 이미지를 입력받아 사용자 얼굴영역을 검출하고, 검출된 사용자 얼굴영역에서 얼굴 특징점(facial landmarks)을 추출한다.The facial feature analyzer 110 receives a single user image, detects a user's face area, and extracts facial landmarks from the detected user's face area.

그리고 얼굴특징 분석부(110)는 도 2에 도시되어 있는 바와 같이 추출된 얼굴 특징점을 분석하여 성별 분류(gender classification), 나이 예측(age estimation), 인종 분류(ethnicity classification) 및 표정 인식(facial emotion recognition)을 수행하여 사용자의 얼굴 정보(성별, 나이 범위, 인종, 표정 정보)를 취득한다.And, as shown in FIG. 2, the facial feature analysis unit 110 analyzes the extracted facial feature points to perform gender classification, age estimation, ethnicity classification, and facial emotion recognition. Recognition is performed to obtain the user's face information (gender, age range, race, facial expression information).

이하에서 '사용자 이미지로부터 검출된 사용자 얼굴영역'은 '사용자 얼굴 이미지'로 표기될 수 있다.Hereinafter, 'user face region detected from user image' may be expressed as 'user face image'.

이미지 검색부(120)는 도 3에 도시되어 있는 바와 같이 얼굴특징 분석부(110)에 의해 분석된 사용자 정보와 유사한 조건의 얼굴들을 얼굴표정 데이터베이스에서 검색한다.As shown in FIG. 3 , the image search unit 120 searches the facial expression database for faces with similar conditions to the user information analyzed by the facial feature analyzer 110 .

구체적으로 이미지 검색부(120)는 얼굴특징 분석부(110)에 의해 분석된 사용자의 얼굴 정보와 유사한 얼굴 정보를 갖는 다른 사람들의 얼굴 이미지들을 얼굴표정 데이터베이스에서 검색한다.In detail, the image search unit 120 searches the facial expression database for facial images of other people having facial information similar to that of the user analyzed by the facial feature analyzer 110 .

다음 이미지 검색부(120)는 검색된 얼굴 이미지들에서 사용자의 얼굴 특징과 유사한 얼굴 특징을 갖는 얼굴 이미지들만 분류하고, 분류된 얼굴 이미지들 각각에 대한 표정 이미지들을 얼굴표정 데이터베이스에서 획득한다.Next, the image search unit 120 classifies only facial images having facial features similar to those of the user from the searched facial images, and obtains facial expression images for each of the classified facial images from a facial expression database.

얼굴표정 데이터베이스에는 다양한 사람들의 얼굴표정 이미지들이 얼굴 정보가 태깅되어 저장되어 있다. 즉, 사람-1의 중립 표정, 기쁜 표정, 슬픈 표정, 화난 표정 등이 저장되어 있고, 사람-2의 중립 표정, 기쁜 표정, 슬픈 표정, 화난 표정 등이 저장되어 있으며, ..., 사람-n의 중립 표정, 기쁜 표정, 슬픈 표정, 화난 표정 등이 저장되어 있다In the facial expression database, facial expression images of various people are stored with facial information tagged. That is, Person-1's neutral expression, happy expression, sad expression, angry expression, etc. are stored, and Person-2's neutral expression, happy expression, sad expression, angry expression, etc. are stored, ..., Person- n's neutral facial expressions, happy facial expressions, sad facial expressions, angry facial expressions, etc. are stored

만약, 검색 후 분류된 이미지가 사람-1의 슬픈 표정 이미지와 사람-2의 기쁜 표정 이미지라면, 이미지 검색부(120)는 사람-1의 중립 표정, 기쁜 표정, 슬픈 표정, 화난 표정 이미지들을 획득하고, 사람-2의 중립 표정, 기쁜 표정, 슬픈 표정, 화난 표정 이미지들을 획득하게 된다.If the images classified after retrieval are a sad expression image of Person-1 and a happy expression image of Person-2, the image search unit 120 obtains Person-1's neutral expression, happy expression, sad expression, and angry expression images. Then, neutral facial expression, happy expression, sad expression, and angry expression images of Person-2 are obtained.

평균 표정 생성부(130)는 도 4에 도시된 바와 같이 이미지 검색부(120)가 획득한 표정 이미지들 각각에 대해 동일 표정의 표정 이미지들을 평균하여 표정별 평균 얼굴 이미지(average face image)를 생성한다.As shown in FIG. 4 , the average facial expression generator 130 averages facial expression images of the same facial expression for each of the facial expression images obtained by the image search unit 120 to generate an average face image for each facial expression. do.

위 예의 경우 평균 표정 생성부(130)는 사람-1과 사람-2의 중립 표정 이미지들을 평균하여 중립 표정 평균 얼굴 이미지를 생성하고, 사람-1과 사람-2의 기쁜 표정 이미지들을 평균하여 기쁜 표정 평균 얼굴 이미지를 생성하며, 사람-1과 사람-2의 슬픈 표정 이미지들을 평균하여 슬픈 표정 평균 얼굴 이미지를 생성하고, 사람-1과 사람-2의 화난 표정 이미지들을 평균하여 화난 표정 평균 얼굴 이미지를 생성하게 된다.In the case of the above example, the average expression generator 130 averages the neutral expression images of person-1 and person-2 to generate a neutral expression average face image, and averages the happy expression images of person-1 and person-2 to create a happy expression. An average face image with sad expressions is generated by averaging the sad expression images of person-1 and person-2, and an average face image with angry expressions is generated by averaging the angry expression images of person-1 and person-2. will create

도 5는 평균 표정 생성부(130)의 세부 프로세스를 보여준다. 도시된 바와 같이, 평균 표정 생성부(130)는 각 표정 이미지에서 얼굴 특징점(facial landmark)을 추출하고(S210), 눈 끝의 특징점들을 이용하여 이미지를 동일한 크기와 각도로 정규화(normalize) 한다(S220).5 shows a detailed process of the average expression generating unit 130 . As shown, the average facial expression generator 130 extracts facial landmarks from each facial expression image (S210), and normalizes the image to the same size and angle using the eye-end landmarks (S210). S220).

이를 위해, 등각 변환, similarity transformation 등을 사용할 수 있다. 만약 얼굴표정 데이터베이스에 저장된 표정 이미지들이 이미 정규화 되어 있고 특징점이 추출되어 있는 경우라면 S210단계와 S220단계는 생략할 수 있다.To this end, conformal transformations, similarity transformations, and the like can be used. If the facial expression images stored in the facial expression database have already been normalized and feature points have been extracted, steps S210 and S220 can be omitted.

다음 평균 표정 생성부(130)는 정규화된 이미지들의 특징점을 이용하여 특징점들의 평균(average) 좌표값을 계산하고(S230), 평균 특징점을 이용하여 삼각 메시(예. 델로네 삼각분할, Delaunay triangulation)를 구하고 이미지를 삼각형 구역으로 분할한다(S240).Next, the average expression generation unit 130 calculates an average coordinate value of the feature points using the feature points of the normalized images (S230), and uses the average feature point to perform a triangular mesh (eg, Delaunay triangulation). is obtained and the image is divided into triangular regions (S240).

그리고 평균 표정 생성부(130)는 각 이미지에 대해 분할된 삼각구역에서 기하학적 변형(geometric transformation) 기반의 이미지 워핑(예. 아핀변환 affine transform)을 하고, 모든 이미지들의 화소 강도(pixel intensity)를 더한 후 사용된 이미지의 개수로 나누어 평균 얼굴 이미지를 생성한다(S250).In addition, the average expression generation unit 130 performs image warping (eg, affine transform) based on geometric transformation in the divided triangular zone for each image, and adds the pixel intensities of all images. Then, an average face image is generated by dividing by the number of used images (S250).

표정 이미지 생성부(140)는 도 6에 도시되어 있는 바와 같이 평균 표정 생성부(130)에 의해 생성된 표정별 평균 얼굴 이미지들(도 6의 좌측 이미지) 각각을 사용자 얼굴 이미지(도 6의 중앙 이미지)와 합성하여, 사용자의 표정 이미지들(도 6의 우측 이미지)을 생성한다.As shown in FIG. 6, the facial expression image generator 140 converts each of the average facial images (left image in FIG. 6) for each expression generated by the average facial expression generator 130 into a user face image (center in FIG. 6). image) to generate facial expression images of the user (right image in FIG. 6).

이미지 합성은 표정별 평균 얼굴 이미지들을 사용자 얼굴 이미지의 특징점에 각각 대응시켜 사용자 얼굴 이미지의 특징점을 이동시키는 이미지 워핑을 통해 사용자의 표정 이미지들을 생성하는 과정으로 수행된다.Image synthesis is performed as a process of generating facial expression images of the user through image warping in which the average facial images for each facial expression are corresponding to the feature points of the user's face image, respectively, and the feature points of the user's face image are moved.

표정 특징 추출부(150)는 표정 이미지 생성부(140)에 의해 생성된 각 사용자 얼굴 표정 이미지들에 대해 얼굴인식 알고리즘을 적용하여 해당 이미지의 특징 벡터(representation vector)를 추출하여 저장한다.The facial expression feature extractor 150 applies a face recognition algorithm to each user's facial expression images generated by the facial expression image generator 140 to extract and store a feature vector of the corresponding image.

표정 특징 추출부(150)에 의해 저장된된 사용자 표정별 특징 벡터들은 사용자 얼굴인식 시 입력되는 얼굴 이미지의 특징 벡터와 비교(예. euclidean distance 사용)되어 얼굴인식에 의한 신원확인(사용자 인증) 및 표정 확인에 이용된다.The feature vectors for each user's expression stored by the facial expression feature extraction unit 150 are compared with the feature vector of the facial image input during user's face recognition (eg, using euclidean distance) to verify identity (user authentication) and facial expression by face recognition. used for verification

특징 벡터가 사용자 표정별로 저장되어 있으므로, 입력되는 사용자의 얼굴 이미지가 어떤 표정이던 간에 정확한 얼굴인식이 가능하다.Since feature vectors are stored for each facial expression of the user, accurate face recognition is possible regardless of the facial expression of the input user's facial image.

지금까지 합성 표정을 이용한 얼굴인식 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.So far, a face recognition method using a synthetic facial expression has been described in detail with a preferred embodiment.

위 실시예에서는 한장의 사용자 얼굴 이미지로부터 해당 사용자의 다양한 얼굴표정을 합성하여, 앰비언트 컴퓨팅 환경에서 얼굴인식 시 보다 정확한 사용자 신원확인을 가능하게 하는 방법을 제시하였다.In the above embodiment, a method for enabling more accurate user identification during face recognition in an ambient computing environment by synthesizing various facial expressions of a corresponding user from a single user's face image was presented.

또한, 별도의 표정인식 알고리즘을 수행하지 않아도, 얼굴인식 과정에서 표정인식이 함께 수행되므로 기기의 연산 부하를 줄일 수 있다.In addition, even if a separate facial expression recognition algorithm is not performed, the computational load of the device can be reduced because the facial expression recognition is performed together in the face recognition process.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.Meanwhile, it goes without saying that the technical spirit of the present invention can also be applied to a computer-readable recording medium containing a computer program for performing the functions of the apparatus and method according to the present embodiment. In addition, technical ideas according to various embodiments of the present invention may be implemented in the form of computer readable codes recorded on a computer readable recording medium. The computer-readable recording medium may be any data storage device that can be read by a computer and store data. For example, the computer-readable recording medium may be ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, and the like. In addition, computer readable codes or programs stored on a computer readable recording medium may be transmitted through a network connected between computers.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. Of course, various modifications are possible by those skilled in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.

110 : 얼굴특징 분석부
120 : 이미지 검색부
130 : 평균 표정 생성부
140 : 표정 이미지 생성부
150 : 표정 특징 추출부
110: facial feature analysis unit
120: image search unit
130: average expression generation unit
140: facial expression image generating unit
150: expression feature extraction unit

Claims (8)

사용자 얼굴 이미지를 다수의 표정 이미지들과 합성하여, 다수의 사용자 표정 이미지들을 생성하는 제1 생성단계;
생성한 사용자 표정 이미지들 각각에서 표정별 얼굴 특징들을 각각 추출하는 단계;
추출한 표정별 얼굴 특징들을 이용하여, 사용자 얼굴 인식을 수행하는 단계;를 포함하는 것을 특징으로 하는 얼굴인식 방법.
a first generating step of synthesizing a user's face image with a plurality of facial expression images to generate a plurality of user's facial expression images;
extracting facial features for each facial expression from each of the generated facial expression images of the user;
A face recognition method comprising the steps of performing user face recognition using extracted facial features for each facial expression.
청구항 1에 있어서,
다른 사람들의 얼굴 이미지들 각각에 대한 표정 이미지들을 획득하는 단계;
획득한 표정 이미지들에 대해, 동일 표정의 표정 이미지들을 평균하여 표정별 평균 얼굴 이미지들을 각각 생성하는 제2 생성단계;를 더 포함하고,
제1 생성단계는,
제2 생성단계에서 생성된 표정별 평균 얼굴 이미지들 각각을 사용자 얼굴 이미지와 합성하여, 사용자의 표정 이미지들을 생성하는 것을 특징으로 하는 얼굴인식 방법.
The method of claim 1,
acquiring facial expression images for each of other people's face images;
A second generation step of averaging facial expression images of the same facial expression with respect to the acquired facial expression images to generate average facial images for each facial expression;
The first generation step is
A face recognition method characterized by generating facial expression images of a user by synthesizing each of the average face images for each facial expression generated in the second generating step with the user's face image.
청구항 2에 있어서,
사용자의 얼굴 정보와 유사한 얼굴 정보를 갖는 다른 사람들의 얼굴 이미지들을 검색하는 단계;
검색된 얼굴 이미지들에서 사용자의 얼굴 특징과 유사한 얼굴 특징을 갖는 얼굴 이미지들만 분류하는 단계;를 더 포함하고,
획득 단계는,
분류 단계에서 분류된 얼굴 이미지들 각각에 대한 표정 이미지들을 획득하는 것을 특징으로 하는 얼굴인식 방법.
The method of claim 2,
Retrieving other people's face images having face information similar to the user's face information;
Classifying only facial images having facial features similar to those of the user from the searched facial images;
The acquisition phase is
A face recognition method characterized in that obtaining facial expression images for each of the classified face images in the classification step.
청구항 3에 있어서,
검색 단계와 획득 단계는,
다른 사람들들의 표정 이미지들이 얼굴 정보가 태깅되어 저장된 얼굴표정 데이터베이스에서 수행되는 것을 특징으로 하는 얼굴인식 방법.
The method of claim 3,
The search phase and the acquisition phase are
A face recognition method characterized in that facial expression images of other people are performed in a facial expression database in which face information is tagged and stored.
청구항 3에 있어서,
한 장의 사용자 얼굴 이미지에서 얼굴 특징을 추출하는 단계;
추출된 얼굴 특징을 기초로, 사용자의 얼굴 정보를 취득하는 단계;를 더 포함하고,
검색 단계는,
취득 단계에서 취득된 사용자의 얼굴 정보와 유사한 얼굴 정보를 갖는 다른 사람들의 얼굴 이미지들을 검색하는 것을 특징으로 하는 얼굴인식 방법.
The method of claim 3,
extracting facial features from one user's face image;
Based on the extracted facial features, acquiring face information of the user; further comprising,
The search step is
A face recognition method characterized by retrieving other people's face images having face information similar to the user's face information acquired in the acquiring step.
청구항 5에 있어서,
얼굴 정보는,
성별(gender), 나이(age), 인종(ethnicity) 및 표정(facial emotion) 중 적어도 하나를 포함하는 것을 특징으로 하는 얼굴인식 방법.
The method of claim 5,
face information,
A face recognition method comprising at least one of gender, age, ethnicity, and facial emotion.
청구항 2에 있어서,
제2 생성단계는,
동일 표정의 표정 이미지들의 특징점들의 평균 좌표값을 계산하는 단계;
계산된 평균 특징점을 이용하여 삼각 메시를 구하고 표정 이미지들을 삼각형 구역으로 분할하는 단계;
분할된 삼각형 구역에서 기하학적 변형 기반의 이미지 워핑을 수행하는 단계; 및
표정 이미지들의 화소 강도를 더한 후 표정 이미지들의 개수로 나누어 표정별 평균 얼굴 이미지들을 생성하는 단계;를 포함하는 것을 특징으로 하는 얼굴인식 방법.
The method of claim 2,
The second generation step,
calculating an average coordinate value of feature points of facial expression images of the same facial expression;
obtaining a triangular mesh using the calculated average feature points and dividing facial expression images into triangular regions;
performing geometric transformation-based image warping on the divided triangular zone; and
A face recognition method comprising adding pixel intensities of the facial expression images and then dividing them by the number of facial expression images to generate average face images for each facial expression.
사용자 얼굴 이미지를 다수의 표정 이미지들과 합성하여, 다수의 사용자 표정 이미지들을 생성하는 생성부;
생성부에서 생성한 사용자 표정 이미지들 각각에서 표정별 얼굴 특징들을 각각 추출하는 추출부; 및
추출부에서 추출한 표정별 얼굴 특징들을 이용하여, 사용자 인증을 수행하는 인증부;를 포함하는 것을 특징으로 하는 얼굴인식 시스템.
a generating unit generating a plurality of user facial expression images by synthesizing a user face image with a plurality of facial expression images;
an extraction unit for extracting facial features for each facial expression from each of the user's facial expression images generated by the generating unit; and
A face recognition system comprising: an authentication unit that performs user authentication using the facial features for each facial expression extracted from the extraction unit.
KR1020210156323A 2021-11-15 2021-11-15 Face recognition method using facial emotion synthesys KR102592601B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210156323A KR102592601B1 (en) 2021-11-15 2021-11-15 Face recognition method using facial emotion synthesys

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210156323A KR102592601B1 (en) 2021-11-15 2021-11-15 Face recognition method using facial emotion synthesys

Publications (2)

Publication Number Publication Date
KR20230070590A true KR20230070590A (en) 2023-05-23
KR102592601B1 KR102592601B1 (en) 2023-10-23

Family

ID=86544696

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210156323A KR102592601B1 (en) 2021-11-15 2021-11-15 Face recognition method using facial emotion synthesys

Country Status (1)

Country Link
KR (1) KR102592601B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671774A (en) * 2024-01-11 2024-03-08 好心情健康产业集团有限公司 Face emotion intelligent recognition analysis equipment

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050053130A (en) * 2003-12-02 2005-06-08 삼성전자주식회사 Large volume face recognition appratus and method thereof
KR101198322B1 (en) * 2011-09-23 2012-11-06 (주) 어펙트로닉스 Method and system for recognizing facial expressions
KR20170123950A (en) * 2016-04-29 2017-11-09 주식회사 에스원 Access Control Method and System using Face Recognition

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050053130A (en) * 2003-12-02 2005-06-08 삼성전자주식회사 Large volume face recognition appratus and method thereof
KR101198322B1 (en) * 2011-09-23 2012-11-06 (주) 어펙트로닉스 Method and system for recognizing facial expressions
KR20170123950A (en) * 2016-04-29 2017-11-09 주식회사 에스원 Access Control Method and System using Face Recognition

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117671774A (en) * 2024-01-11 2024-03-08 好心情健康产业集团有限公司 Face emotion intelligent recognition analysis equipment
CN117671774B (en) * 2024-01-11 2024-04-26 好心情健康产业集团有限公司 Face emotion intelligent recognition analysis equipment

Also Published As

Publication number Publication date
KR102592601B1 (en) 2023-10-23

Similar Documents

Publication Publication Date Title
Singh et al. Face detection and recognition system using digital image processing
Cootes et al. Robust and accurate shape model fitting using random forest regression voting
Jesorsky et al. Robust face detection using the hausdorff distance
JP3873793B2 (en) Face metadata generation method and face metadata generation apparatus
US7873189B2 (en) Face recognition by dividing an image and evaluating a similarity vector with a support vector machine
WO2014037709A1 (en) Image processing apparatus and method for fitting a deformable shape model to an image using random forest regression voting
AU2019200711A1 (en) Biometric verification
Dave et al. Face recognition in mobile phones
Kawulok Energy-based blob analysis for improving precision of skin segmentation
Kheirkhah et al. A hybrid face detection approach in color images with complex background
US20230252820A1 (en) Authentication method, information processing device, and non-transitory computer-readable recording medium storing authentication program
CN111444817B (en) Character image recognition method and device, electronic equipment and storage medium
Oh et al. Selective generation of Gabor features for fast face recognition on mobile devices
Benlamoudi et al. Face spoofing detection using multi-level local phase quantization (ML-LPQ)
Tathe et al. Human face detection and recognition in videos
KR102592601B1 (en) Face recognition method using facial emotion synthesys
Karappa et al. Detection of sign-language content in video through polar motion profiles
Lin et al. A gender classification scheme based on multi-region feature extraction and information fusion for unconstrained images
Krishnaveni et al. Approximation algorithm based on greedy approach for face recognition with partial occlusion
KR20040079637A (en) Method and apparatus for face recognition using 3D face descriptor
Cornelia et al. Face anti-spoofing method based on quaternionic local ranking binary pattern features
CN115668186A (en) Authentication method, information processing device, and authentication program
Srivastava et al. Face Verification System with Liveness Detection
JP3841482B2 (en) Face image recognition device
Ren et al. Real-time head pose estimation on mobile platforms

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant