KR20230070590A - Face recognition method using facial emotion synthesys - Google Patents
Face recognition method using facial emotion synthesys Download PDFInfo
- Publication number
- KR20230070590A KR20230070590A KR1020210156323A KR20210156323A KR20230070590A KR 20230070590 A KR20230070590 A KR 20230070590A KR 1020210156323 A KR1020210156323 A KR 1020210156323A KR 20210156323 A KR20210156323 A KR 20210156323A KR 20230070590 A KR20230070590 A KR 20230070590A
- Authority
- KR
- South Korea
- Prior art keywords
- images
- facial expression
- facial
- user
- face
- Prior art date
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000008451 emotion Effects 0.000 title claims 2
- 230000008921 facial expression Effects 0.000 claims abstract description 110
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000014509 gene expression Effects 0.000 description 41
- 230000007935 neutral effect Effects 0.000 description 9
- 239000013598 vector Substances 0.000 description 4
- 239000000284 extract Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 영상처리 기반의 얼굴인식에 관한 것으로 사용자 얼굴 이미지를 다른 사람들의 표정 이미지들과 합성하여 사용자 인식에 사용하는 방법에 관한 것이다.The present invention relates to face recognition based on image processing, and relates to a method of synthesizing a user's face image with facial expression images of other people and using the same for user recognition.
얼굴인식(face recognition) 기술은 출입관리(access control), 컴퓨터나 휴대폰 등 기기 잠금 해제 등 개인 신원확인 및 인증(personal identification & verification) 용도로 사용되고 있다. 일반적으로 얼굴인식을 위해 한 개의 중립적인 표정의 얼굴 이미지를 촬영하고 사용한다. 신원확인을 위한 얼굴인식 시 사용자는 의식적으로 중립적인 표정을 취하고, 인증장치와 근거리에서 인증을 진행한다. Face recognition technology is used for personal identification & verification purposes, such as access control and unlocking devices such as computers and mobile phones. In general, a face image with a neutral expression is taken and used for face recognition. During face recognition for identification, the user consciously takes a neutral facial expression and proceeds with authentication at a short distance from the authentication device.
사용자의 선호도 또는 취향에 따른 맞춤형 서비스를 제공하기 위한 앰비언트 컴퓨팅(ambient computing) 환경에서 사용자 식별을 위해 얼굴인식을 사용할 경우, 얼굴인식이 올바르게 이루어지지 않는 경우가 발생한다. 사용자는 인증장치를 인지하고 있지 않기 때문에 얼굴인식 처리에 적절하지 않은 이미지가 입력되는 경우가 발생한다. 사용자는 일상에서 자연스럽게 활동하고 있기 때문에 다양한 크기, 각도와 표정의 얼굴 이미지가 캡처된다. 이와 같은 이미지를 얼굴인식을 위해 처리할 경우 거짓양성(false positive, 다른 사람인데 동일인으로 판단)과 거짓음성(false negative, 동일인인데 다른 사람으로 판단) 등 오인식률이 증가한다.When face recognition is used for user identification in an ambient computing environment to provide customized services according to the user's preference or taste, face recognition may not be performed correctly. Since the user is not aware of the authentication device, an image inappropriate for face recognition processing may be input. Since users are naturally active in their daily lives, facial images of various sizes, angles, and facial expressions are captured. When such images are processed for face recognition, the false recognition rate increases, such as false positives (different people but judged as the same person) and false negatives (same person but judged as different people).
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 한 장의 사용자 얼굴 이미지로부터 해당 사용자의 다양한 얼굴표정을 합성하여, 앰비언트 컴퓨팅 환경에서 얼굴인식 시 보다 정확한 사용자 신원확인 방법을 제공함에 있다.The present invention has been devised to solve the above problems, and an object of the present invention is to synthesize various facial expressions of a corresponding user from a single user's face image, and to provide a more accurate user identification method when recognizing a face in an ambient computing environment. is in providing
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 얼굴인식 방법은, 사용자 얼굴 이미지를 다수의 표정 이미지들과 합성하여, 다수의 사용자 표정 이미지들을 생성하는 제1 생성단계; 생성한 사용자 표정 이미지들 각각에서 표정별 얼굴 특징들을 각각 추출하는 단계; 및 추출한 표정별 얼굴 특징들을 이용하여, 사용자 얼굴 인식을 수행하는 단계;를 포함한다.According to an embodiment of the present invention for achieving the above object, a face recognition method includes a first generation step of generating a plurality of user expression images by synthesizing a user face image with a plurality of facial expression images; extracting facial features for each facial expression from each of the generated facial expression images of the user; and performing user face recognition using the extracted facial features for each facial expression.
본 발명의 실시예에 따른 얼굴인식 방법은, 다른 사람들의 얼굴 이미지들 각각에 대한 표정 이미지들을 획득하는 단계; 획득한 표정 이미지들에 대해, 동일 표정의 표정 이미지들을 평균하여 표정별 평균 얼굴 이미지들을 각각 생성하는 제2 생성단계;를 더 포함하고, 제1 생성단계는, 제2 생성단계에서 생성된 표정별 평균 얼굴 이미지들 각각을 사용자 얼굴 이미지와 합성하여, 사용자의 표정 이미지들을 생성할 수 있다.A face recognition method according to an embodiment of the present invention includes acquiring facial expression images for each of other people's face images; A second generation step of averaging facial expression images of the same facial expression with respect to the acquired facial expression images to generate average face images for each facial expression, wherein the first generation step is performed for each facial expression generated in the second generation step. Expression images of the user may be generated by combining each of the average face images with the user's face image.
본 발명의 실시예에 따른 얼굴인식 방법은, 사용자의 얼굴 정보와 유사한 얼굴 정보를 갖는 다른 사람들의 얼굴 이미지들을 검색하는 단계; 검색된 얼굴 이미지들에서 사용자의 얼굴 특징과 유사한 얼굴 특징을 갖는 얼굴 이미지들만 분류하는 단계;를 더 포함하고, 획득 단계는, 분류 단계에서 분류된 얼굴 이미지들 각각에 대한 표정 이미지들을 획득할 수 있다.A face recognition method according to an embodiment of the present invention includes the steps of retrieving other people's face images having face information similar to that of a user; Classifying only facial images having facial features similar to those of the user from the searched facial images, and the acquiring step may obtain facial expression images for each of the facial images classified in the classifying step.
검색 단계와 획득 단계는, 다른 사람들들의 표정 이미지들이 얼굴 정보가 태깅되어 저장된 얼굴표정 데이터베이스에서 수행될 수 있다.The search step and the acquiring step may be performed in a facial expression database in which facial information-tagged facial expression images of other people are stored.
본 발명의 실시예에 따른 얼굴인식 방법은, 한 장의 사용자 얼굴 이미지에서 얼굴 특징을 추출하는 단계; 추출된 얼굴 특징을 기초로, 사용자의 얼굴 정보를 취득하는 단계;를 더 포함하고, 검색 단계는, 취득 단계에서 취득된 사용자의 얼굴 정보와 유사한 얼굴 정보를 갖는 다른 사람들의 얼굴 이미지들을 검색할 수 있다.A face recognition method according to an embodiment of the present invention includes extracting facial features from a user's face image; Acquiring face information of the user based on the extracted facial features; and the searching step may search other people's face images having face information similar to the user's face information obtained in the acquiring step. there is.
그리고 얼굴 정보는, 성별, 나이, 인종 및 표정 중 적어도 하나를 포함할 수 있다.The face information may include at least one of gender, age, race, and expression.
제2 생성단계는, 동일 표정의 표정 이미지들의 특징점들의 평균 좌표값을 계산하는 단계; 계산된 평균 특징점을 이용하여 삼각 메시를 구하고 표정 이미지들을 삼각형 구역으로 분할하는 단계; 분할된 삼각형 구역에서 기하학적 변형 기반의 이미지 워핑을 수행하는 단계; 및 표정 이미지들의 화소 강도를 더한 후 표정 이미지들의 개수로 나누어 표정별 평균 얼굴 이미지들을 생성하는 단계;를 포함할 수 있다.The second generation step may include calculating an average coordinate value of feature points of facial expression images of the same facial expression; obtaining a triangular mesh using the calculated average feature points and dividing facial expression images into triangular regions; performing geometric transformation-based image warping on the divided triangular zone; and adding pixel intensities of the facial expression images and then dividing them by the number of facial expression images to generate average face images for each facial expression.
한편, 본 발명의 다른 실시예에 따른, 얼굴인식 시스템은, 사용자 얼굴 이미지를 다수의 표정 이미지들과 합성하여, 다수의 사용자 표정 이미지들을 생성하는 생성부; 생성부에서 생성한 사용자 표정 이미지들 각각에서 표정별 얼굴 특징들을 각각 추출하는 추출부; 및 추출부에서 추출한 표정별 얼굴 특징들을 이용하여, 사용자 인증을 수행하는 인증부;를 포함한다.On the other hand, according to another embodiment of the present invention, the face recognition system, the user's face image and a plurality of facial expression images by synthesizing, generating a plurality of user facial expression images; an extraction unit for extracting facial features for each facial expression from each of the user's facial expression images generated by the generating unit; and an authentication unit that performs user authentication by using the facial features for each facial expression extracted by the extraction unit.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 한 장의 사용자 얼굴 이미지로부터 해당 사용자의 다양한 얼굴표정을 합성하여, 앰비언트 컴퓨팅 환경에서 얼굴인식 시 다양한 표정의 얼굴 비교 인식이 가능해져, 사용자 식별 능력을 개선할 수 있게 된다.As described above, according to the embodiments of the present invention, various facial expressions of a corresponding user are synthesized from a single user's face image, and face comparison and recognition of various facial expressions are possible during face recognition in an ambient computing environment, thereby improving user identification ability can be improved.
또한, 본 발명의 실시예들에 따르면, 얼굴인식과 표정인식이 동시에 가능해지므로, 기기의 연산 부하를 줄일 수 있게 된다.In addition, according to embodiments of the present invention, face recognition and facial expression recognition are simultaneously possible, thereby reducing the computational load of the device.
도 1. 본 발명의 일 실시예에 따른 합성 표정 기반의 사용자 얼굴인식 시스템
도 2. 얼굴특징 분석
도 3. 이미지 검색
도 4. 평균 표정 생성
도 5. 평균 표정 생성부의 세부 프로세스
도 6. 표정 이미지 생성1. User face recognition system based on synthesized expression according to an embodiment of the present invention.
Figure 2. Facial feature analysis
Fig. 3. Image Search
Fig. 4. Generating an average expression
Figure 5. Detailed process of the average expression generating unit
Figure 6. Facial expression image creation
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.
본 발명의 실시예에서는 합성 표정을 이용한 얼굴인식 방법을 제시한다. 구체적으로 사용자의 얼굴 이미지로부터 다수의 합성 표정을 생성하여 얼굴인증을 하는 방법이다.In an embodiment of the present invention, a face recognition method using synthetic facial expressions is proposed. Specifically, it is a method of performing face authentication by generating a plurality of synthesized facial expressions from a user's face image.
도 1은 본 발명의 일 실시예에 따른 합성 표정 기반의 사용자 얼굴인식 시스템을 도시한 도면이다. 본 발명의 실시예에 따른 사용자 얼굴인식 시스템은 한 장의 사용자 얼굴 이미지로부터 다양한 표정을 합성(synthesize)하여 신원확인에 활용한다.1 is a diagram illustrating a system for recognizing a user's face based on a synthesized facial expression according to an embodiment of the present invention. The user's face recognition system according to an embodiment of the present invention synthesizes various facial expressions from a single user's face image and uses them for identification.
이와 같은 기능을 수행하는 본 발명의 실시예에 따른 사용자 얼굴인식 시스템은 도시된 바와 같이 얼굴특징 분석부(110), 이미지 검색부(120), 평균 표정 생성부(130), 표정 이미지 생성부(140), 표정 특징 추출부(150)를 포함하여 구성된다.The user's face recognition system according to an embodiment of the present invention performing such a function includes a
얼굴특징 분석부(110)는 한 장의 사용자 이미지를 입력받아 사용자 얼굴영역을 검출하고, 검출된 사용자 얼굴영역에서 얼굴 특징점(facial landmarks)을 추출한다.The
그리고 얼굴특징 분석부(110)는 도 2에 도시되어 있는 바와 같이 추출된 얼굴 특징점을 분석하여 성별 분류(gender classification), 나이 예측(age estimation), 인종 분류(ethnicity classification) 및 표정 인식(facial emotion recognition)을 수행하여 사용자의 얼굴 정보(성별, 나이 범위, 인종, 표정 정보)를 취득한다.And, as shown in FIG. 2, the facial
이하에서 '사용자 이미지로부터 검출된 사용자 얼굴영역'은 '사용자 얼굴 이미지'로 표기될 수 있다.Hereinafter, 'user face region detected from user image' may be expressed as 'user face image'.
이미지 검색부(120)는 도 3에 도시되어 있는 바와 같이 얼굴특징 분석부(110)에 의해 분석된 사용자 정보와 유사한 조건의 얼굴들을 얼굴표정 데이터베이스에서 검색한다.As shown in FIG. 3 , the
구체적으로 이미지 검색부(120)는 얼굴특징 분석부(110)에 의해 분석된 사용자의 얼굴 정보와 유사한 얼굴 정보를 갖는 다른 사람들의 얼굴 이미지들을 얼굴표정 데이터베이스에서 검색한다.In detail, the
다음 이미지 검색부(120)는 검색된 얼굴 이미지들에서 사용자의 얼굴 특징과 유사한 얼굴 특징을 갖는 얼굴 이미지들만 분류하고, 분류된 얼굴 이미지들 각각에 대한 표정 이미지들을 얼굴표정 데이터베이스에서 획득한다.Next, the
얼굴표정 데이터베이스에는 다양한 사람들의 얼굴표정 이미지들이 얼굴 정보가 태깅되어 저장되어 있다. 즉, 사람-1의 중립 표정, 기쁜 표정, 슬픈 표정, 화난 표정 등이 저장되어 있고, 사람-2의 중립 표정, 기쁜 표정, 슬픈 표정, 화난 표정 등이 저장되어 있으며, ..., 사람-n의 중립 표정, 기쁜 표정, 슬픈 표정, 화난 표정 등이 저장되어 있다In the facial expression database, facial expression images of various people are stored with facial information tagged. That is, Person-1's neutral expression, happy expression, sad expression, angry expression, etc. are stored, and Person-2's neutral expression, happy expression, sad expression, angry expression, etc. are stored, ..., Person- n's neutral facial expressions, happy facial expressions, sad facial expressions, angry facial expressions, etc. are stored
만약, 검색 후 분류된 이미지가 사람-1의 슬픈 표정 이미지와 사람-2의 기쁜 표정 이미지라면, 이미지 검색부(120)는 사람-1의 중립 표정, 기쁜 표정, 슬픈 표정, 화난 표정 이미지들을 획득하고, 사람-2의 중립 표정, 기쁜 표정, 슬픈 표정, 화난 표정 이미지들을 획득하게 된다.If the images classified after retrieval are a sad expression image of Person-1 and a happy expression image of Person-2, the
평균 표정 생성부(130)는 도 4에 도시된 바와 같이 이미지 검색부(120)가 획득한 표정 이미지들 각각에 대해 동일 표정의 표정 이미지들을 평균하여 표정별 평균 얼굴 이미지(average face image)를 생성한다.As shown in FIG. 4 , the average
위 예의 경우 평균 표정 생성부(130)는 사람-1과 사람-2의 중립 표정 이미지들을 평균하여 중립 표정 평균 얼굴 이미지를 생성하고, 사람-1과 사람-2의 기쁜 표정 이미지들을 평균하여 기쁜 표정 평균 얼굴 이미지를 생성하며, 사람-1과 사람-2의 슬픈 표정 이미지들을 평균하여 슬픈 표정 평균 얼굴 이미지를 생성하고, 사람-1과 사람-2의 화난 표정 이미지들을 평균하여 화난 표정 평균 얼굴 이미지를 생성하게 된다.In the case of the above example, the
도 5는 평균 표정 생성부(130)의 세부 프로세스를 보여준다. 도시된 바와 같이, 평균 표정 생성부(130)는 각 표정 이미지에서 얼굴 특징점(facial landmark)을 추출하고(S210), 눈 끝의 특징점들을 이용하여 이미지를 동일한 크기와 각도로 정규화(normalize) 한다(S220).5 shows a detailed process of the average
이를 위해, 등각 변환, similarity transformation 등을 사용할 수 있다. 만약 얼굴표정 데이터베이스에 저장된 표정 이미지들이 이미 정규화 되어 있고 특징점이 추출되어 있는 경우라면 S210단계와 S220단계는 생략할 수 있다.To this end, conformal transformations, similarity transformations, and the like can be used. If the facial expression images stored in the facial expression database have already been normalized and feature points have been extracted, steps S210 and S220 can be omitted.
다음 평균 표정 생성부(130)는 정규화된 이미지들의 특징점을 이용하여 특징점들의 평균(average) 좌표값을 계산하고(S230), 평균 특징점을 이용하여 삼각 메시(예. 델로네 삼각분할, Delaunay triangulation)를 구하고 이미지를 삼각형 구역으로 분할한다(S240).Next, the average
그리고 평균 표정 생성부(130)는 각 이미지에 대해 분할된 삼각구역에서 기하학적 변형(geometric transformation) 기반의 이미지 워핑(예. 아핀변환 affine transform)을 하고, 모든 이미지들의 화소 강도(pixel intensity)를 더한 후 사용된 이미지의 개수로 나누어 평균 얼굴 이미지를 생성한다(S250).In addition, the average
표정 이미지 생성부(140)는 도 6에 도시되어 있는 바와 같이 평균 표정 생성부(130)에 의해 생성된 표정별 평균 얼굴 이미지들(도 6의 좌측 이미지) 각각을 사용자 얼굴 이미지(도 6의 중앙 이미지)와 합성하여, 사용자의 표정 이미지들(도 6의 우측 이미지)을 생성한다.As shown in FIG. 6, the facial
이미지 합성은 표정별 평균 얼굴 이미지들을 사용자 얼굴 이미지의 특징점에 각각 대응시켜 사용자 얼굴 이미지의 특징점을 이동시키는 이미지 워핑을 통해 사용자의 표정 이미지들을 생성하는 과정으로 수행된다.Image synthesis is performed as a process of generating facial expression images of the user through image warping in which the average facial images for each facial expression are corresponding to the feature points of the user's face image, respectively, and the feature points of the user's face image are moved.
표정 특징 추출부(150)는 표정 이미지 생성부(140)에 의해 생성된 각 사용자 얼굴 표정 이미지들에 대해 얼굴인식 알고리즘을 적용하여 해당 이미지의 특징 벡터(representation vector)를 추출하여 저장한다.The facial
표정 특징 추출부(150)에 의해 저장된된 사용자 표정별 특징 벡터들은 사용자 얼굴인식 시 입력되는 얼굴 이미지의 특징 벡터와 비교(예. euclidean distance 사용)되어 얼굴인식에 의한 신원확인(사용자 인증) 및 표정 확인에 이용된다.The feature vectors for each user's expression stored by the facial expression
특징 벡터가 사용자 표정별로 저장되어 있으므로, 입력되는 사용자의 얼굴 이미지가 어떤 표정이던 간에 정확한 얼굴인식이 가능하다.Since feature vectors are stored for each facial expression of the user, accurate face recognition is possible regardless of the facial expression of the input user's facial image.
지금까지 합성 표정을 이용한 얼굴인식 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.So far, a face recognition method using a synthetic facial expression has been described in detail with a preferred embodiment.
위 실시예에서는 한장의 사용자 얼굴 이미지로부터 해당 사용자의 다양한 얼굴표정을 합성하여, 앰비언트 컴퓨팅 환경에서 얼굴인식 시 보다 정확한 사용자 신원확인을 가능하게 하는 방법을 제시하였다.In the above embodiment, a method for enabling more accurate user identification during face recognition in an ambient computing environment by synthesizing various facial expressions of a corresponding user from a single user's face image was presented.
또한, 별도의 표정인식 알고리즘을 수행하지 않아도, 얼굴인식 과정에서 표정인식이 함께 수행되므로 기기의 연산 부하를 줄일 수 있다.In addition, even if a separate facial expression recognition algorithm is not performed, the computational load of the device can be reduced because the facial expression recognition is performed together in the face recognition process.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.Meanwhile, it goes without saying that the technical spirit of the present invention can also be applied to a computer-readable recording medium containing a computer program for performing the functions of the apparatus and method according to the present embodiment. In addition, technical ideas according to various embodiments of the present invention may be implemented in the form of computer readable codes recorded on a computer readable recording medium. The computer-readable recording medium may be any data storage device that can be read by a computer and store data. For example, the computer-readable recording medium may be ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, and the like. In addition, computer readable codes or programs stored on a computer readable recording medium may be transmitted through a network connected between computers.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. Of course, various modifications are possible by those skilled in the art, and these modifications should not be individually understood from the technical spirit or perspective of the present invention.
110 : 얼굴특징 분석부
120 : 이미지 검색부
130 : 평균 표정 생성부
140 : 표정 이미지 생성부
150 : 표정 특징 추출부110: facial feature analysis unit
120: image search unit
130: average expression generation unit
140: facial expression image generating unit
150: expression feature extraction unit
Claims (8)
생성한 사용자 표정 이미지들 각각에서 표정별 얼굴 특징들을 각각 추출하는 단계;
추출한 표정별 얼굴 특징들을 이용하여, 사용자 얼굴 인식을 수행하는 단계;를 포함하는 것을 특징으로 하는 얼굴인식 방법.
a first generating step of synthesizing a user's face image with a plurality of facial expression images to generate a plurality of user's facial expression images;
extracting facial features for each facial expression from each of the generated facial expression images of the user;
A face recognition method comprising the steps of performing user face recognition using extracted facial features for each facial expression.
다른 사람들의 얼굴 이미지들 각각에 대한 표정 이미지들을 획득하는 단계;
획득한 표정 이미지들에 대해, 동일 표정의 표정 이미지들을 평균하여 표정별 평균 얼굴 이미지들을 각각 생성하는 제2 생성단계;를 더 포함하고,
제1 생성단계는,
제2 생성단계에서 생성된 표정별 평균 얼굴 이미지들 각각을 사용자 얼굴 이미지와 합성하여, 사용자의 표정 이미지들을 생성하는 것을 특징으로 하는 얼굴인식 방법.
The method of claim 1,
acquiring facial expression images for each of other people's face images;
A second generation step of averaging facial expression images of the same facial expression with respect to the acquired facial expression images to generate average facial images for each facial expression;
The first generation step is
A face recognition method characterized by generating facial expression images of a user by synthesizing each of the average face images for each facial expression generated in the second generating step with the user's face image.
사용자의 얼굴 정보와 유사한 얼굴 정보를 갖는 다른 사람들의 얼굴 이미지들을 검색하는 단계;
검색된 얼굴 이미지들에서 사용자의 얼굴 특징과 유사한 얼굴 특징을 갖는 얼굴 이미지들만 분류하는 단계;를 더 포함하고,
획득 단계는,
분류 단계에서 분류된 얼굴 이미지들 각각에 대한 표정 이미지들을 획득하는 것을 특징으로 하는 얼굴인식 방법.
The method of claim 2,
Retrieving other people's face images having face information similar to the user's face information;
Classifying only facial images having facial features similar to those of the user from the searched facial images;
The acquisition phase is
A face recognition method characterized in that obtaining facial expression images for each of the classified face images in the classification step.
검색 단계와 획득 단계는,
다른 사람들들의 표정 이미지들이 얼굴 정보가 태깅되어 저장된 얼굴표정 데이터베이스에서 수행되는 것을 특징으로 하는 얼굴인식 방법.
The method of claim 3,
The search phase and the acquisition phase are
A face recognition method characterized in that facial expression images of other people are performed in a facial expression database in which face information is tagged and stored.
한 장의 사용자 얼굴 이미지에서 얼굴 특징을 추출하는 단계;
추출된 얼굴 특징을 기초로, 사용자의 얼굴 정보를 취득하는 단계;를 더 포함하고,
검색 단계는,
취득 단계에서 취득된 사용자의 얼굴 정보와 유사한 얼굴 정보를 갖는 다른 사람들의 얼굴 이미지들을 검색하는 것을 특징으로 하는 얼굴인식 방법.
The method of claim 3,
extracting facial features from one user's face image;
Based on the extracted facial features, acquiring face information of the user; further comprising,
The search step is
A face recognition method characterized by retrieving other people's face images having face information similar to the user's face information acquired in the acquiring step.
얼굴 정보는,
성별(gender), 나이(age), 인종(ethnicity) 및 표정(facial emotion) 중 적어도 하나를 포함하는 것을 특징으로 하는 얼굴인식 방법.
The method of claim 5,
face information,
A face recognition method comprising at least one of gender, age, ethnicity, and facial emotion.
제2 생성단계는,
동일 표정의 표정 이미지들의 특징점들의 평균 좌표값을 계산하는 단계;
계산된 평균 특징점을 이용하여 삼각 메시를 구하고 표정 이미지들을 삼각형 구역으로 분할하는 단계;
분할된 삼각형 구역에서 기하학적 변형 기반의 이미지 워핑을 수행하는 단계; 및
표정 이미지들의 화소 강도를 더한 후 표정 이미지들의 개수로 나누어 표정별 평균 얼굴 이미지들을 생성하는 단계;를 포함하는 것을 특징으로 하는 얼굴인식 방법.
The method of claim 2,
The second generation step,
calculating an average coordinate value of feature points of facial expression images of the same facial expression;
obtaining a triangular mesh using the calculated average feature points and dividing facial expression images into triangular regions;
performing geometric transformation-based image warping on the divided triangular zone; and
A face recognition method comprising adding pixel intensities of the facial expression images and then dividing them by the number of facial expression images to generate average face images for each facial expression.
생성부에서 생성한 사용자 표정 이미지들 각각에서 표정별 얼굴 특징들을 각각 추출하는 추출부; 및
추출부에서 추출한 표정별 얼굴 특징들을 이용하여, 사용자 인증을 수행하는 인증부;를 포함하는 것을 특징으로 하는 얼굴인식 시스템.
a generating unit generating a plurality of user facial expression images by synthesizing a user face image with a plurality of facial expression images;
an extraction unit for extracting facial features for each facial expression from each of the user's facial expression images generated by the generating unit; and
A face recognition system comprising: an authentication unit that performs user authentication using the facial features for each facial expression extracted from the extraction unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210156323A KR102592601B1 (en) | 2021-11-15 | 2021-11-15 | Face recognition method using facial emotion synthesys |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210156323A KR102592601B1 (en) | 2021-11-15 | 2021-11-15 | Face recognition method using facial emotion synthesys |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230070590A true KR20230070590A (en) | 2023-05-23 |
| KR102592601B1 KR102592601B1 (en) | 2023-10-23 |
Family
ID=86544696
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210156323A KR102592601B1 (en) | 2021-11-15 | 2021-11-15 | Face recognition method using facial emotion synthesys |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102592601B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117671774A (en) * | 2024-01-11 | 2024-03-08 | 好心情健康产业集团有限公司 | Face emotion intelligent recognition analysis equipment |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050053130A (en) * | 2003-12-02 | 2005-06-08 | 삼성전자주식회사 | Large volume face recognition appratus and method thereof |
| KR101198322B1 (en) * | 2011-09-23 | 2012-11-06 | (주) 어펙트로닉스 | Method and system for recognizing facial expressions |
| KR20170123950A (en) * | 2016-04-29 | 2017-11-09 | 주식회사 에스원 | Access Control Method and System using Face Recognition |
-
2021
- 2021-11-15 KR KR1020210156323A patent/KR102592601B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20050053130A (en) * | 2003-12-02 | 2005-06-08 | 삼성전자주식회사 | Large volume face recognition appratus and method thereof |
| KR101198322B1 (en) * | 2011-09-23 | 2012-11-06 | (주) 어펙트로닉스 | Method and system for recognizing facial expressions |
| KR20170123950A (en) * | 2016-04-29 | 2017-11-09 | 주식회사 에스원 | Access Control Method and System using Face Recognition |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117671774A (en) * | 2024-01-11 | 2024-03-08 | 好心情健康产业集团有限公司 | Face emotion intelligent recognition analysis equipment |
| CN117671774B (en) * | 2024-01-11 | 2024-04-26 | 好心情健康产业集团有限公司 | Face emotion intelligent recognition analysis equipment |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102592601B1 (en) | 2023-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Singh et al. | Face detection and recognition system using digital image processing | |
| Cootes et al. | Robust and accurate shape model fitting using random forest regression voting | |
| Jesorsky et al. | Robust face detection using the hausdorff distance | |
| JP3873793B2 (en) | Face metadata generation method and face metadata generation apparatus | |
| US7873189B2 (en) | Face recognition by dividing an image and evaluating a similarity vector with a support vector machine | |
| WO2014037709A1 (en) | Image processing apparatus and method for fitting a deformable shape model to an image using random forest regression voting | |
| AU2019200711A1 (en) | Biometric verification | |
| Dave et al. | Face recognition in mobile phones | |
| Kawulok | Energy-based blob analysis for improving precision of skin segmentation | |
| Kheirkhah et al. | A hybrid face detection approach in color images with complex background | |
| US20230252820A1 (en) | Authentication method, information processing device, and non-transitory computer-readable recording medium storing authentication program | |
| CN111444817B (en) | Character image recognition method and device, electronic equipment and storage medium | |
| Oh et al. | Selective generation of Gabor features for fast face recognition on mobile devices | |
| Benlamoudi et al. | Face spoofing detection using multi-level local phase quantization (ML-LPQ) | |
| Tathe et al. | Human face detection and recognition in videos | |
| KR102592601B1 (en) | Face recognition method using facial emotion synthesys | |
| Karappa et al. | Detection of sign-language content in video through polar motion profiles | |
| Lin et al. | A gender classification scheme based on multi-region feature extraction and information fusion for unconstrained images | |
| Krishnaveni et al. | Approximation algorithm based on greedy approach for face recognition with partial occlusion | |
| KR20040079637A (en) | Method and apparatus for face recognition using 3D face descriptor | |
| Cornelia et al. | Face anti-spoofing method based on quaternionic local ranking binary pattern features | |
| CN115668186A (en) | Authentication method, information processing device, and authentication program | |
| Srivastava et al. | Face Verification System with Liveness Detection | |
| JP3841482B2 (en) | Face image recognition device | |
| Ren et al. | Real-time head pose estimation on mobile platforms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |