KR20190038203A - Facial expression recognition system and method using machine learning - Google Patents

Facial expression recognition system and method using machine learning Download PDF

Info

Publication number
KR20190038203A
KR20190038203A KR1020170128341A KR20170128341A KR20190038203A KR 20190038203 A KR20190038203 A KR 20190038203A KR 1020170128341 A KR1020170128341 A KR 1020170128341A KR 20170128341 A KR20170128341 A KR 20170128341A KR 20190038203 A KR20190038203 A KR 20190038203A
Authority
KR
South Korea
Prior art keywords
user
face
landmark
facial expression
module
Prior art date
Application number
KR1020170128341A
Other languages
Korean (ko)
Other versions
KR102005150B1 (en
Inventor
고병철
남재열
정미라
Original Assignee
이인규
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이인규 filed Critical 이인규
Priority to KR1020170128341A priority Critical patent/KR102005150B1/en
Publication of KR20190038203A publication Critical patent/KR20190038203A/en
Application granted granted Critical
Publication of KR102005150B1 publication Critical patent/KR102005150B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06K9/00302—
    • G06K9/00288—
    • G06K9/00604—
    • G06K9/481—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor

Abstract

The present invention relates to a face expression recognition system using machine learning and a method for the same. Specifically, the face expression recognition system includes: a detecting module detecting a face area of a user in a video including a face of the user which is input; an extraction module extracting a feature vector on the face of the user from the face area; a classification module classifying the face of the user by using the feature vector; and a recognition module recognizing a face expression of the user from the face of the user. Also, specifically, the face expression recognition system includes: (1) a step in which the detecting module detects the face area of the user in the video including the face of the user which is input; (2) a step in which the extraction module extracts the feature vector on the face of the user from the face area; (3) a step in which the classification module classifies the face of the user by using the feature vector; and (4) a step in which the recognition module recognizes the face expression of the user from the face of the user. According to the present invention, the face expression recognition system using machine learning can improve speed of recognizing the face expression of the user in comparison with an existing face recognition technique.

Description

머신 러닝을 이용한 얼굴 표정 인식 시스템 및 방법{FACIAL EXPRESSION RECOGNITION SYSTEM AND METHOD USING MACHINE LEARNING}TECHNICAL FIELD [0001] The present invention relates to a facial expression recognition system and method using machine learning,

본 발명은 얼굴 표정 인식 시스템 및 방법에 관한 것으로서, 보다 구체적으로는 머신 러닝을 이용한 얼굴 표정 인식 시스템 및 방법에 관한 것이다.The present invention relates to a facial expression recognition system and method, and more particularly, to a facial expression recognition system and method using machine learning.

얼굴 인식 기술이란, 인체 인식 기술의 하나로서, 얼굴 인식 기술은 촬영한 영상에서 얼굴을 찾아내는 얼굴 검출 기술과, 검출된 얼굴이 등록된 사용자의 얼굴인지 확인하는 인증 기술로 나눌 수 있다. 초기 얼굴 인증 기술에서는 검출된 얼굴을 얼굴의 기하학적 특징으로 구별하는 방법을 사용하였다. 도 1은 기존의 얼굴 인식 기술의 일실시예를 나타내는 도면으로서, 도 1을 통하여, 기존의 얼굴 인식 기술은 눈, 입 등의 얼굴 구성요소들을 찾고 이들 구성요소 간의 지형적인 특성 차이를 이용하는 것임을 확인할 수 있다. 다만, 기존의 방식은 얼굴의 표정, 조명, 각도 등의 주변 환경 요인으로부터 영향을 받게 되어, 얼굴 인식이 어렵게 되는 문제가 있었는바, 이를 해결하기 위하여, 복잡한 얼굴 인증 기술에 대하여 개발이 진행되고 있으며, 홍채, 지문인식뿐만 아니라 얼굴 인식 기술을 이용하는 시스템이 증가하고 있기도 하다. 도 2는 기존의 얼굴 인증 기술이 이용되는 일실시예를 나타내는 사진이며, 얼굴 인증 기술이 보안 등의 분야에서 사용되고 있는 것을 확인할 수 있다.
Face recognition technology is one of human body recognition technology, and face recognition technology is a technique of detecting faces A face detection technique, and an authentication technique for verifying whether the detected face is a face of a registered user. In the initial face authentication technique, a method of distinguishing the detected face by the geometric features of the face is used. FIG. 1 is a view showing an embodiment of a conventional face recognition technology. Referring to FIG. 1, the conventional face recognition technology finds facial components such as eyes and mouth, and confirms that the difference in topographic characteristics between the components is utilized . However, since the conventional method is affected by surrounding factors such as facial expression, lighting, angle, and the like, there has been a problem that face recognition becomes difficult. In order to solve this problem, complex facial authentication technology is being developed , Iris, and fingerprint recognition as well as face recognition technology. FIG. 2 is a photograph showing an embodiment in which a conventional face authentication technique is used, and it can be confirmed that a face authentication technique is used in fields such as security.

또한, 최근에는 단순히 얼굴을 인식하여 인증하는 것이 아니라, 더 나아가 사용자의 얼굴 표정 인식을 통해 사용자의 감정을 파악하는, 얼굴 표정 인식 기술에 대한 연구가 진행되고 있다. 얼굴 표정 인식 기술은 얼굴 표정을 통해 사용자의 감정을 분석하기 위하여 사용될 수 있으며, 뿐만 아니라, 사용자의 감정을 데이터화하여 분석하는 것을 통하여 상담, 인지 심리, 교육 분야, 사람, 컴퓨터 간 상호작용, 사용성 테스트 및 마켓 리서치 등의 분야에서도 폭넓게 사용될 수 있다.
In addition, in recent years, research on a facial expression recognition technology that not only recognizes and authenticates a face but also grasps a user's emotions through recognition of facial expressions of a user is being conducted. Facial expression recognition technology can be used to analyze user's emotions through facial expressions. In addition to analyzing user's emotions by data analysis, it can be used for counseling, cognitive psychology, education field, human, computer interaction, usability test And market research.

일반적으로 얼굴 표정 인식 기술은 사용자의 얼굴 이미지를 영상이나 사진으로 획득하여 표정을 추출한다. 그러나 이러한 얼굴 표정 인식 기술 역시, 조명, 주변 환경 요인의 영향을 받으며, 이로 인하여 사람의 얼굴이 다양하게 비춰질 수 있음은 물론이고, 획득된 영상으로부터 얼굴을 인식하고 표정을 분류하는 과정에서도 변수, 어려움이 많다는 문제점이 있다.
In general, facial expression recognition technology extracts facial expressions by acquiring user 's facial images as images or photographs. However, this facial expression recognizing technique is also influenced by lighting and surrounding factors. Therefore, not only human faces can be seen in various ways, but also in recognizing faces from facial images and classifying facial expressions, There are many problems.

상기와 같은 얼굴 영상을 획득하여 그로부터 표정을 추출하는 기술 외에, 얼굴 표정 인식 기술은 얼굴과 그 표정을 인식하기 위해서 얼굴의 기하학적 특징을 이용하거나 템플릿 매칭을 이용하는 방법이 있으며, 이러한 방법은 얼굴에서 주요 포인트가 되는 특징점을 검출하여 표정을 인식하는 방법이다. 다만, 특징점을 검출하여 얼굴 표정을 인식하는 기술 역시, 조명 등에 다라 다양한 변화가 있을 수 있는 이미지로부터 다수의 특징점을 검출해야 한다는 점, 사용자의 얼굴을 인식하기 위해서, 충분한 훈련 영상이 필요하므로 다수개의 영상이 반드시 필요하다는 점에서, 이를 이용하는 계산량 또한 증가하여 얼굴 및 표정 인식 속도가 느려지고, 그 결과 실시간으로 얼굴 표정을 인식하기 어렵게 되는 문제가 있다. 이와 관련된 선행기술로는, 등록특허 제10-0983346호(발명의 명칭: IR 조명을 이용한 얼굴인식 시스템 및 방법) 등이 있다.
In addition to the technique of acquiring the facial image as described above and extracting facial expressions from the facial image, the facial expression recognition technology uses a geometric feature of the face or a template matching to recognize the facial expression and the facial expression. A feature point to be a point is detected and a facial expression is recognized. However, the technique of detecting facial expressions by detecting feature points is also required to detect a large number of feature points from an image that may have various changes depending on illumination, etc., and a sufficient training image is required to recognize a user's face. Since the image is indispensable, the amount of calculation using the image is also increased, which slows down the recognition speed of the face and the facial expression, and as a result, it is difficult to recognize the facial expression in real time. Prior art related to this is Registration No. 10-0983346 entitled " Face Recognition System and Method Using IR Lighting ".

상술한 바와 같은 문제를 개선하기 위하여, 주변 환경 요인으로부터 영향을 최소화하고, 필요한 영상의 개수를 최소화함으로써 얼굴 인식 속도를 향상시키며, 사람의 얼굴 표정을 더욱 세밀하게 인식할 수 있는 기술의 개발이 필요하다.In order to solve the above problems, it is necessary to develop a technique that can minimize the influence from surrounding environmental factors, minimize the number of required images, improve the speed of face recognition, and recognize human facial expressions more finely Do.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 얼굴 표정 인식 시스템으로서, 입력된 사용자의 얼굴을 포함한 동영상 중에서, 사용자의 얼굴 영역을 검출하는 검출모듈, 검출모듈에서 검출된 얼굴 영역으로부터, 사용자의 얼굴에 대한 특징벡터를 추출하는 추출모듈, 추출모듈에서 추출된 특징벡터를 이용하여 사용자의 표정을 분류하는 분류모듈, 및 분류모듈에서 분류된 사용자의 표정으로부터, 사용자의 얼굴 표정을 인식하는 인식모듈을 포함하고, 추출모듈은 랜드마크 추출부, 특징벡터 추출부를 포함하여 구성되며, 사용자의 얼굴 영역으로부터 추출된 랜드마크로부터 랜드마크별 각도와 거리 비율 정보를 특징벡터를 추출함으로써, 특징벡터의 차원을 최소화하는 것을 통하여 연산량을 감소시켜 기존의 얼굴 인식 기술에 비하여 사용자의 얼굴 표정을 인식하는 속도를 향상시킨, 머신 러닝을 이용한 얼굴 표정 인식 시스템 및 방법을 제공하는 것을 그 목적으로 한다.
The present invention has been proposed in order to solve the above-mentioned problems of the previously proposed methods, and is a facial expression recognition system comprising: a detection module for detecting a face region of a user from a moving image including a face of an input user; An extraction module for extracting a feature vector of a face of the user from the detected face area, a classification module for classifying the facial expression of the user using the feature vector extracted from the extraction module, The extraction module includes a landmark extracting unit and a feature vector extracting unit. The angle and distance ratio information of the landmark extracted from the landmark extracted from the face region of the user is converted into a feature vector To reduce the amount of computation by minimizing the dimension of the feature vector It is an object of the present invention to provide a system and method for facial expression recognition using machine learning that improves the speed of recognizing facial expressions of a user as compared with a facial recognition technology of a zone.

또한, 본 발명은, 분류모듈은 랜덤 포레스트 분류기를 이용하며, 추출모듈에서 추출된 특징벡터로부터, 사용자의 표정을 행복, 놀람, 화남, 중립, 및 기타의 5가지의 경우로 분류하는 제1 분류부, 및 제1 분류부에서 기타로 분류된 경우, 노여움, 역겨움, 슬픔의 3가지의 경우로 분류하는 제2 분류부를 포함하여 구성됨으로써, 학습데이터를 이용하여 학습시킨 랜덤포레스트 분류기를 통한 2단계의 분류 과정을 거쳐, 사용자의 얼굴 표정을 더욱 세밀하게 인식할 수 있도록 하는, 머신 러닝을 이용한 얼굴 표정 인식 시스템 및 방법을 제공하는 것을 다른 목적으로 한다.Further, the present invention is characterized in that the classification module uses a random forest classifier, and from the feature vectors extracted from the extraction module, the user's facial expressions are classified into five categories: happiness, surprise, angry, neutral, And a second classifier for classifying the first classifier into three cases of anger, disgust, and sadness when the first classifier classifies the first classifier into two classes, Another object of the present invention is to provide a system and method for facial expression recognition using machine learning, which enables a user to recognize a facial expression more precisely through a classification process.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른, 머신 러닝을 이용한 얼굴 표정 인식 시스템은,According to an aspect of the present invention, there is provided a facial expression recognition system using machine learning,

얼굴 표정 인식 시스템으로서,A facial expression recognition system comprising:

입력된 사용자의 얼굴을 포함한 동영상 중에서, 사용자의 얼굴 영역을 검출하는 검출모듈;A detection module for detecting a face region of a user from a moving image including the inputted user's face;

상기 검출모듈에서 검출된 얼굴 영역으로부터, 사용자의 얼굴에 대한 특징벡터를 추출하는 추출모듈;An extraction module for extracting a feature vector of a user's face from the face region detected by the detection module;

상기 추출모듈에서 추출된 특징벡터를 이용하여 사용자의 표정을 분류하는 분류모듈; 및A classification module for classifying facial expressions of the user using the feature vectors extracted by the extraction module; And

상기 분류모듈에서 분류된 사용자의 표정으로부터, 사용자의 얼굴 표정을 인식하는 인식모듈을 포함하는 것을 그 구성상의 특징으로 한다.
And a recognition module for recognizing the facial expression of the user from the facial expression of the user classified by the classification module.

바람직하게는, 상기 추출모듈은,Advantageously, said extraction module comprises:

상기 얼굴영역 검출모듈에서 검출된 얼굴 영역에서, 랜드마크를 추출하는 랜드마크 추출부; 및A landmark extracting unit for extracting a landmark from the face area detected by the face area detecting module; And

상기 랜드마크 추출부에서 추출된 랜드마크로부터 사용자의 얼굴에 대한 특징벡터를 추출하는 특징벡터 추출부를 포함할 수 있다.
And a feature vector extracting unit for extracting a feature vector of a user's face from the landmark extracted by the landmark extracting unit.

더 바람직하게는,More preferably,

상기 랜드마크는 각각의 프레임별로 추출되며, 상기 랜드마크 추출부에서 추출된 랜드마크에 있어서, 현시점 프레임의 랜드마크 위치와 이전 프레임의 랜드마크 위치를 비교하여, 랜드마크의 변화량이 미리 지정된 임계값 이하라면 표정 변화가 완료된 것으로 판단하여, 사용자의 표정을 분류할 수 있다.
The landmark extracted by the landmark extracting unit compares the landmark position of the current frame with the landmark position of the previous frame in the landmark extracted by the landmark extracting unit, It is judged that the change of the facial expression has been completed and the facial expression of the user can be classified.

바람직하게는, 상기 분류모듈은,Advantageously, the classification module comprises:

학습 데이터를 이용하여 학습된 랜덤 포레스트 분류기를 이용할 수 있다.
A learned random forest classifier can be used with learning data.

바람직하게는, 상기 분류모듈은,Advantageously, the classification module comprises:

상기 추출모듈에서 추출된 특징벡터로부터, 사용자의 표정을 행복, 놀람, 화남, 중립, 및 기타의 5가지의 경우로 분류하는 제1 분류부; 및A first classifier for classifying the facial expressions of the user into five cases of happiness, surprise, anger, neutrality, and others from the feature vectors extracted from the extraction module; And

상기 제1 분류부에서 기타로 분류된 경우, 노여움, 역겨움, 슬픔의 3가지의 경우로 분류하는 제2 분류부를 포함할 수 있다.
And a second classifier for classifying into three cases of anger, disgust, and sadness when the first classifier classifies the classifier as guitar.

더 바람직하게는, 상기 랜드마크 추출부는,More preferably, the landmark extracting unit extracts,

사용자의 얼굴에서 주요 부분의 특징을 추출하는 것으로서, 상기 주요 부분은 사용자 얼굴에서 눈썹, 눈, 코, 입, 및 턱을 포함할 수 있다.
Extracting features of a major portion from a user's face, wherein the major portion may include eyebrows, eyes, nose, mouth, and jaws on a user's face.

더 바람직하게는, 상기 특징벡터 추출부는,More preferably, the feature vector extracting unit extracts,

추출된 랜드마크로부터, 랜드마크 상호간의 각도, 거리 비율 정보를 특징벡터로 추출할 수 있다.
From the extracted landmarks, angle and distance ratio information between the landmarks can be extracted as the feature vector.

바람직하게는,Preferably,

상기 추출모듈에서 추출된 특징벡터로부터, 사용자의 눈동자 방향을 인식할 수 있다.
From the feature vector extracted by the extraction module, the user's pupil direction can be recognized.

바람직하게는,Preferably,

상기 추출모듈에서 추출된 특징벡터로부터, 사용자의 얼굴이 향하는 방향을 인식할 수 있다.
From the feature vector extracted by the extraction module, the direction of the user's face can be recognized.

바람직하게는,Preferably,

사용자의 얼굴 표정을 인식하는 과정, 상기 인식모듈에서 인식된 사용자의 얼굴 표정에 대한 정보 중 적어도 하나 이상을 표시하는 표시모듈을 더 포함할 수 있다.
And a display module for displaying at least one of information on the facial expression of the user recognized by the recognition module.

더 바람직하게는, 상기 표시모듈은,More preferably, the display module includes:

TV, 컴퓨터, PDA, 휴대폰 중 어느 하나에 포함될 수 있다.
A television, a computer, a PDA, or a cellular phone.

또한, 상기한 목적을 달성하기 위한 본 발명의 다른 특징에 따른 머신 러닝을 이용한 얼굴 표정 인식 방법은,According to another aspect of the present invention, there is provided a facial expression recognizing method using machine learning,

얼굴 표정 인식 방법으로서,A facial expression recognizing method,

(1) 검출모듈이, 입력된 사용자의 얼굴을 포함한 동영상 중에서, 사용자의 얼굴 영역을 검출하는 단계;(1) detecting a face region of a user from a moving image including a face of the input user;

(2) 추출모듈이, 상기 단계 (1)의 검출모듈에서 검출된 얼굴 영역으로부터, 사용자의 얼굴에 대한 특징 벡터를 추출하는 단계;(2) extracting a feature vector of a user's face from the face region detected by the detection module of step (1);

(3) 분류모듈이, 상기 단계 (2)의 추출모듈에서 추출된 특징벡터를 이용하여 사용자의 표정을 분류하는 단계; 및(3) classifying the facial expression of the user using the feature vector extracted from the extraction module of step (2); And

(4) 인식모듈이, 상기 단계 (3)의 분류모듈에서 분류된 사용자의 표정으로부터, 사용자의 얼굴 표정을 인식하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
(4) The recognition module includes a step of recognizing the facial expression of the user from the facial expression of the user classified in the classification module of step (3).

바람직하게는, 상기 단계 (2)의 추출모듈은,Advantageously, the extraction module of step (2)

상기 얼굴영역 검출모듈에서 검출된 얼굴 영역에서, 랜드마크를 추출하는 랜드마크 추출부; 및A landmark extracting unit for extracting a landmark from the face area detected by the face area detecting module; And

상기 랜드마크 추출부에서 추출된 랜드마크로부터 사용자의 얼굴에 대한 특징벡터를 추출하는 특징벡터 추출부를 포함할 수 있다.
And a feature vector extracting unit for extracting a feature vector of a user's face from the landmark extracted by the landmark extracting unit.

더 바람직하게는,More preferably,

상기 랜드마크는 각각의 프레임별로 추출되며, 상기 랜드마크 추출부에서 추출된 랜드마크에 있어서, 현시점 프레임의 랜드마크 위치와 이전 프레임의 랜드마크 위치를 비교하여, 랜드마크의 변화량이 미리 지정된 임계값 이하라면 표정 변화가 완료된 것으로 판단하여, 사용자의 표정을 분류할 수 있다.
The landmark extracted by the landmark extracting unit compares the landmark position of the current frame with the landmark position of the previous frame in the landmark extracted by the landmark extracting unit, It is judged that the change of the facial expression has been completed and the facial expression of the user can be classified.

바람직하게는, 상기 단계 (3)의 분류모듈은,Advantageously, the classification module of step (3)

학습 데이터를 이용하여 학습된 랜덤 포레스트 분류기를 이용할 수 있다.
A learned random forest classifier can be used with learning data.

바람직하게는, 상기 단계 (3)의 분류모듈은,Advantageously, the classification module of step (3)

상기 추출모듈에서 추출된 특징벡터로부터, 사용자의 표정을 행복, 놀람, 화남, 중립, 및 기타의 5가지의 경우로 분류하는 제1 분류부; 및A first classifier for classifying the facial expressions of the user into five cases of happiness, surprise, anger, neutrality, and others from the feature vectors extracted from the extraction module; And

상기 제1 분류부에서 기타로 분류된 경우, 노여움, 역겨움, 슬픔의 3가지의 경우로 분류하는 제2 분류부를 포함할 수 있다.
And a second classifier for classifying into three cases of anger, disgust, and sadness when the first classifier classifies the classifier as guitar.

더 바람직하게는, 상기 랜드마크 추출부는,More preferably, the landmark extracting unit extracts,

사용자의 얼굴에서 주요 부분의 특징을 추출하는 것으로서, 상기 주요 부분은 사용자 얼굴에서 눈썹, 눈, 코, 입, 및 턱을 포함할 수 있다.
Extracting features of a major portion from a user's face, wherein the major portion may include eyebrows, eyes, nose, mouth, and jaws on a user's face.

더 바람직하게는, 상기 특징벡터 추출부는,More preferably, the feature vector extracting unit extracts,

추출된 랜드마크로부터, 랜드마크 상호간의 각도, 거리 비율 정보를 특징벡터로 추출할 수 있다.
From the extracted landmarks, angle and distance ratio information between the landmarks can be extracted as the feature vector.

바람직하게는,Preferably,

상기 추출모듈에서 추출된 특징벡터로부터, 사용자의 눈동자 방향을 인식할 수 있다.
From the feature vector extracted by the extraction module, the user's pupil direction can be recognized.

바람직하게는,Preferably,

상기 추출모듈에서 추출된 특징벡터로부터, 사용자의 얼굴이 향하는 방향을 인식할 수 있다.From the feature vector extracted by the extraction module, the direction of the user's face can be recognized.

본 발명에서 제안하고 있는 머신 러닝을 이용한 얼굴 표정 인식 시스템 및 방법에 따르면, 얼굴 표정 인식 시스템으로서, 입력된 사용자의 얼굴을 포함한 동영상 중에서, 사용자의 얼굴 영역을 검출하는 검출모듈, 검출모듈에서 검출된 얼굴 영역으로부터, 사용자의 얼굴에 대한 특징벡터를 추출하는 추출모듈, 추출모듈에서 추출된 특징벡터를 이용하여 사용자의 표정을 분류하는 분류모듈, 및 분류모듈에서 분류된 사용자의 표정으로부터, 사용자의 얼굴 표정을 인식하는 인식모듈을 포함하고, 추출모듈은 랜드마크 추출부, 특징벡터 추출부를 포함하여 구성되며, 사용자의 얼굴 영역으로부터 추출된 랜드마크로부터 랜드마크별 각도와 거리 비율 정보를 특징벡터를 추출함으로써, 특징벡터의 차원을 최소화하는 것을 통하여 연산량을 감소시켜 기존의 얼굴 인식 기술에 비하여 사용자의 얼굴 표정을 인식하는 속도를 향상시킬 수 있다.
According to the system and method for facial expression recognition using machine learning proposed in the present invention, a facial expression recognition system includes a detection module that detects a face region of a user from a moving image including an input user's face, An extraction module for extracting a feature vector for a user's face from a face area, a classification module for classifying a user's facial expression using the feature vector extracted from the extraction module, The extraction module includes a landmark extracting unit and a feature vector extracting unit. The extracting module extracts a feature vector from the landmark extracted from the face region of the user by the landmark angle and distance ratio information. By minimizing the dimensionality of the feature vector, the amount of computation is reduced, It can improve the speed of recognizing the user's facial expressions compared with face recognition technology.

또한, 본 발명에 따르면, 분류모듈은 랜덤 포레스트 분류기를 이용하며, 추출모듈에서 추출된 특징벡터로부터, 사용자의 표정을 행복, 놀람, 화남, 중립, 및 기타의 5가지의 경우로 분류하는 제1 분류부, 및 제1 분류부에서 기타로 분류된 경우, 노여움, 역겨움, 슬픔의 3가지의 경우로 분류하는 제2 분류부를 포함하여 구성됨으로써, 학습데이터를 이용하여 학습시킨 랜덤포레스트 분류기를 통한 2단계의 분류 과정을 거쳐, 사용자의 얼굴 표정을 더욱 세밀하게 인식할 수 있도록 할 수 있다.In addition, according to the present invention, the classification module uses a random forest classifier and extracts user's facial expressions from the feature vectors extracted from the extraction module into five cases of happiness, surprise, anger, neutrality, And a second classifier for classifying the first classifier into three cases of anger, disgust, and sadness when the classifier classifies the first classifier as the other classifier, The facial expression of the user can be recognized more finely through the classification process of the step.

도 1은 기존의 얼굴 인식 기술의 일실시예를 나타내는 도면.
도 2는 기존의 얼굴 인증 기술이 이용되는 일실시예를 나타내는 사진.
도 3은 본 발명의 일실시예에 따른 머신 러닝을 이용한 얼굴 표정 인식 시스템의 전체 구성을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 머신 러닝을 이용한 얼굴 표정 인식 시스템에 있어서, 전체 흐름을 설명하기 위하여 도시한 도면.
도 5는 본 발명의 일실시예에 따른 머신 러닝을 이용한 얼굴 표정 인식 시스템에 있어서, 랜드마크별 각도를 설명하기 위하여 도시한 도면.
도 6은 본 발명의 일실시예에 따른 머신 러닝을 이용한 얼굴 표정 인식 시스템에 있어서, 랜드마크별 거리 비율을 설명하기 위하여 도시한 도면.
도 7은 본 발명의 일실시예에 따른 머신 러닝을 이용한 얼굴 표정 인식 시스템에 있어서, 분류모듈의 2단계 분류 과정을 설명하기 위하여 도시한 도면.
도 8은 본 발명의 일실시예에 따른 머신 러닝을 이용한 얼굴 표정 인식 시스템을 이용하여 얼굴 표정을 인식하는 모습을 도시한 도면.
도 9는 본 발명의 다른 실시예에 따른 머신 러닝을 이용한 얼굴 표정 인식 시스템을 이용하여 얼굴 표정을 인식하는 모습을 도시한 도면.
도 10은 본 발명의 일실시예에 따른 머신 러닝을 이용한 얼굴 표정 인식 방법의 흐름도를 도시한 도면.Brief Description of the Drawings Fig. 1 shows an embodiment of a conventional face recognition technique. Fig.
2 is a photograph showing an embodiment in which a conventional face authentication technique is used.
3 is a diagram illustrating the overall configuration of a facial expression recognition system using machine learning according to an embodiment of the present invention.
FIG. 4 illustrates a facial expression recognition system using machine learning according to an exemplary embodiment of the present invention, for illustrating an overall flow. FIG.
5 is a view for explaining angles of landmarks in a facial expression recognition system using machine learning according to an embodiment of the present invention.
FIG. 6 is a view for explaining a distance ratio of each landmark in a facial expression recognition system using machine learning according to an embodiment of the present invention; FIG.
FIG. 7 is a view for explaining a two-step classification process of a classification module in a facial expression recognition system using machine learning according to an embodiment of the present invention. FIG.
8 is a view illustrating recognition of a facial expression using a facial expression recognition system using machine learning according to an embodiment of the present invention.
9 is a view illustrating recognition of a facial expression using a facial expression recognition system using machine learning according to another embodiment of the present invention.
10 is a flowchart illustrating a facial expression recognition method using machine learning according to an embodiment of the present invention.

이하 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, which may be readily understood by those skilled in the art. In the following detailed description of the preferred embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In the drawings, like reference numerals are used throughout the drawings.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’되어 있다고 할 때, 이는 ‘직접적으로 연결’되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the entire specification, when a part is referred to as being 'connected' to another part, it may be referred to as 'indirectly connected' not only with 'directly connected' . Also, to "include" an element means that it may include other elements, rather than excluding other elements, unless specifically stated otherwise.

도 3은 본 발명의 일실시예에 따른 머신 러닝을 이용한 얼굴 표정 인식 시스템의 전체 구성을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 머신 러닝을 이용한 얼굴 표정 인식 시스템(10)은, 얼굴 표정 인식 시스템으로서, 입력된 사용자의 얼굴을 포함한 동영상 중에서, 사용자의 얼굴 영역을 검출하는 검출모듈(100), 검출모듈(100)에서 검출된 얼굴 영역으로부터, 사용자의 얼굴에 대한 특징벡터를 추출하는 추출모듈(200), 추출모듈(200)에서 추출된 특징벡터를 이용하여 사용자의 표정을 분류하는 분류모듈(300), 및 분류모듈(300)에서 분류된 사용자의 표정으로부터, 사용자의 얼굴 표정을 인식하는 인식모듈(400)을 포함하는 것을 그 구성상의 특징으로 한다. 사용자의 얼굴 표정을 인식함으로써 최종적으로는 사용자의 현재 감정 상태를 알 수 있게 된다.
FIG. 3 is a diagram illustrating an entire configuration of a facial expression recognition system using machine learning according to an embodiment of the present invention. 3, the facial expression recognition system 10 using machine learning according to an exemplary embodiment of the present invention is a facial expression recognition system. In the facial expression recognition system, a face region of a user, An extraction module 200 for extracting a feature vector of a user's face from a face area detected by the detection module 100, And a recognition module 400 for recognizing the facial expression of the user from facial expressions of the user classified in the classification module 300. [ By recognizing the facial expression of the user, finally, the user can know the current emotional state.

도 4는 본 발명의 일실시예에 따른 머신 러닝을 이용한 얼굴 표정 인식 시스템에 있어서, 전체 흐름을 설명하기 위하여 도시한 도면이다. 먼저 도 4의 (a)로부터, 본 발명의 일실시예에 따른 머신 러닝을 이용한 얼굴 표정 인식 시스템(10)이, 사용자의 얼굴이 포함된 동영상을 입력받게 되면, 먼저 검출모듈(100)에서 입력된 사용자의 얼굴을 포함한 동영상 중에서, 사용자의 얼굴 영역을 검출한다. 그 다음으로는, 추출모듈(200)이 검출된 얼굴 영역으로부터 랜드마크를 추출하고, 이로부터 특징벡터를 추출하며, 분류모듈(300)에서 추출된 특징벡터 값에 대하여, 랜덤 포레스트 분류기를 이용하는 것이다. 분류기를 통한 결과로서, 사용자의 얼굴 표정이 어떤 표정을 하고 있는지 분류되며, 현재 사용자의 감정 상태를 인식할 수 있게 된다. 특히, 본 발명은 특징벡터를 추출하는 과정에서, 특징벡터의 차원을 최소화하는 것을 통하여 연산량을 감소시키도록 하였으며, 이로 인하여 기존의 얼굴 인식 기술에 비하여, 사용자의 얼굴 표정을 인식하는 속도를 향상시킬 수 있게 되었고, 사용자에게 실시간으로 얼굴 표정을 인식할 수 있도록 하였다는 점에 의의가 있다. 도 4의 (b)는 사용자의 얼굴에서 표정 변화가 일어나고 있는 중간 시점인지, 표정 변화가 완료된 시점인지를 판단하는 과정을 설명하기 위하여 도시한 도면이다. 랜드마크는 각각의 프레임별로 추출되며, 랜드마크 추출부(210)에서 추출된 랜드마크에 있어서, 표정 변화에 따른 랜드마크의 이동량(거리)을 프레임별로 조사하여, 해당 영상에서 표정 변화가 일어나는 중간 단계인지 완료된 단계인지를 판단하는 것이다. 즉, 현시점 프레임의 랜드마크 위치와 이전 프레임의 랜드마크 위치를 비교하여, 랜드마크의 변화량이 미리 지정된 임계값 이하라면 표정 변화가 완료된 것으로 판단하여, 사용자의 표정을 분류하도록 하는 것으로, 구체적으로는, 이전 프레임 랜드마크들과 거리 차의 합이 미리 지정된 임계값 이하인지 여부를 판단하는 것이다. 이하에서는 각각의 구성에 대하여 설명하도록 한다.
FIG. 4 is a diagram for explaining an overall flow in a facial expression recognition system using machine learning according to an embodiment of the present invention. First, referring to FIG. 4A, when a facial expression recognition system 10 using machine learning according to an embodiment of the present invention receives a moving image including a user's face, The face region of the user is detected from the moving image including the user's face. Next, the extraction module 200 extracts a landmark from the detected face region, extracts a feature vector from the extracted face region, and uses a random forest classifier for the feature vector values extracted from the classification module 300 . As a result of the classifier, the facial expressions of the user are classified as to what kind of facial expression they are, and the emotional state of the current user can be recognized. In particular, the present invention reduces the amount of computation by minimizing the dimension of the feature vector in the process of extracting the feature vector, thereby improving the speed of recognizing the facial expression of the user as compared with the existing face recognition technology And it is meaningful that the user can recognize the facial expression in real time. 4B is a diagram for explaining a process of determining whether the face of the user is in the middle of changing the face or when the change of the face is completed. The landmark is extracted for each frame. In the landmark extracted by the landmark extracting unit 210, the amount of movement (distance) of the landmark according to the change of the facial expression is examined frame by frame, It is determined whether the step is a step that has been recognized or completed. That is, the landmark position of the current frame is compared with the landmark position of the previous frame, and if the amount of change of the landmark is equal to or less than the predetermined threshold value, it is determined that the facial expression change is completed and the facial expression of the user is classified. , It is determined whether or not the sum of the previous frame landmarks and the distance difference is less than a predetermined threshold value. Hereinafter, each configuration will be described.

추출모듈(200)은, 검출모듈(100)에서 검출된 얼굴 영역으로부터, 사용자의 얼굴에 대한 특징벡터를 추출하는 역할을 한다. 추출모듈(200)은, 검출모듈(100)에서 검출된 얼굴 영역에서, 랜드마크를 추출하는 랜드마크 추출부(210), 및 랜드마크 추출부(210)에서 추출된 랜드마크로부터 사용자의 얼굴에 대한 특징벡터를 추출하는 특징벡터 추출부(220)를 포함할 수 있다. 구체적으로는, 랜드마크 추출부(210)는, 사용자의 얼굴에서 주요 부분의 특징을 추출하는 역할을 하며, 실시예에 따라서는 눈썹, 눈, 코, 입, 및 턱을 포함하는 주요 부분의 특징을 추출할 수 있다. 물론, 주요 부분이 나열된 특정 부분에 한정되는 것은 아니다. 특징벡터 추출부(220)는, 추출된 랜드마크로부터, 랜드마크 상호간의 각도, 거리 비율 정보를 이용하여 특징벡터를 추출하는 역할을 한다.
The extraction module 200 extracts a feature vector for a user's face from the face region detected by the detection module 100. [ The extraction module 200 includes a landmark extraction unit 210 for extracting a landmark from the face area detected by the detection module 100 and a landmark extraction unit 210 for extracting a landmark extracted from the landmark extraction unit 210 And a feature vector extractor 220 for extracting a feature vector for the feature vector. Specifically, the landmark extracting unit 210 extracts the feature of the main part from the face of the user, and according to the embodiment, the feature of the main part including the eyebrow, eye, nose, mouth, Can be extracted. Of course, the main parts are not limited to the specific parts listed. The feature vector extracting unit 220 extracts a feature vector from the extracted landmarks using angle and distance ratio information between the landmarks.

도 5는 본 발명의 일실시예에 따른 머신 러닝을 이용한 얼굴 표정 인식 시스템에 있어서, 랜드마크별 각도를 설명하기 위하여 도시한 도면이고, 도 6은 본 발명의 일실시예에 따른 머신 러닝을 이용한 얼굴 표정 인식 시스템에 있어서, 랜드마크별 거리 비율을 설명하기 위하여 도시한 도면이다. 도 5 및 도 6에 도시된, 사용자의 얼굴에는 랜드마크 추출부(210)에서 추출된 랜드마크가 넘버링되어 표시되어 있으며, 각각의 랜드마크 위치마다 랜드마크별 각도, 랜드마크별 거리 비율이 함께 표시되어 있다. 표시된 정보를 이용하여 특징벡터를 도출하는 것으로서, 사용자 얼굴 표정 인식을 위한 특징벡터를 도출은, 사용자 얼굴의 랜드마크의 위치에 변화가 있을 때에만 진행될 수 있다.
FIG. 5 is a view for explaining an angle of a landmark in a facial expression recognition system using machine learning according to an embodiment of the present invention. FIG. FIG. 3 is a diagram for explaining distance ratios for landmarks in the facial expression recognition system. FIG. 5 and 6, the landmark extracted by the landmark extracting unit 210 is numbered and displayed on the face of the user, and the angles of the landmarks and the distance ratios of the landmarks are displayed for each landmark position together Is displayed. Deriving the feature vector by using the displayed information, and deriving the feature vector for recognition of the user facial expression can be performed only when there is a change in the position of the landmark of the user's face.

분류모듈(300)은, 추출모듈(200)에서 추출된 특징벡터를 이용하여 사용자의 표정을 분류하는 역할을 한다. 본 발명의 일실시예에 따른 머신 러닝을 이용한 얼굴 표정 인식 시스템(10)에 있어서, 분류모듈(300)은 2단계로 구성된 계층적 분류기를 이용할 수 있으며, 각 단계별로, 최적의 카테고리 분류를 위한, 특징 관련 사항의 테스트 과정을 포함할 수 있다. 구체적으로는 분류모듈(300)은, 학습 데이터를 이용하여 학습된 랜덤 포레스트 분류기를 이용할 수 있으며, 랜덤 포레스트 분류기를 이용하여 사용자의 얼굴 표정을, 행복, 놀람, 화남, 중립, 노여움, 역겨움, 및 슬픔의 7가지로 분류할 수 있다. 도 7은 본 발명의 일실시예에 따른 머신 러닝을 이용한 얼굴 표정 인식 시스템에 있어서, 분류모듈의 2단계 분류 과정을 설명하기 위하여 도시한 도면이다. 도 7에 도시된 바와 같이, 분류모듈(300)은, 입력된 동영상, 즉, 추출모듈(200)에서 추출된 특징벡터로부터, 사용자의 표정을 행복, 놀람, 화남, 중립, 및 기타의 5가지의 경우로 분류하는 제1 분류부(310), 및 제1 분류부(310)에서 기타로 분류된 경우, 노여움, 역겨움, 슬픔의 3가지의 경우로 분류하는 제2 분류부(320)를 포함할 수 있다. 즉, 본 발명인 머신 러닝을 이용한 얼굴 표정 인식 시스템(10)은, 상기와 같은 랜덤 포레스트 분류기를 통한 2단계의 분류 과정을 거침으로써, 기존의 얼굴 인식장치에 비하여 사용자의 얼굴 표정을 더욱 세밀하게 인식할 수 있도록 한 것이다. 구체적으로는, 기존의 기술은 노여움, 역겨움, 슬픔의 3가지의 표정의 구분을 명확하게 하지 못하였으나, 본 발명에서는 노여움, 역겨움, 슬픔의 3가지의 표정을 명확하게 구분하도록 하였다는 점에서 본 발명의 의의가 있다고 볼 수 있다.
The classification module 300 serves to classify the user's facial expressions using the feature vectors extracted from the extraction module 200. In the facial expression recognizing system 10 using machine learning according to an embodiment of the present invention, the classification module 300 may use a hierarchical classifier composed of two stages. In each step, , And testing of feature related matters. Specifically, the classification module 300 can use the learned random forest classifier using the learning data, and can use the random forest classifier to classify the user's facial expressions into three categories: happy, surprise, angry, neutral, anger, And sadness. FIG. 7 is a diagram for explaining a two-step classification process of a classification module in a facial expression recognition system using machine learning according to an embodiment of the present invention. As shown in FIG. 7, the classification module 300 extracts the user's facial expressions from the input moving image, that is, the feature vector extracted from the extraction module 200, into five types: happy, surprise, angry, And a second classifier 320 for classifying into three cases of anger, nausea, and sadness when the first classifier 310 classifies the first classifier 310 as 'other' can do. That is, the facial expression recognizing system 10 using machine learning according to the present invention performs a two-step classification process using the random forest classifier as described above, so that the facial expression of the user is more finely recognized To be able to do. Specifically, the conventional technique does not clarify the three expressions of anger, disgust, and sadness. However, in the present invention, the three expressions of anger, disgust, and sadness are clearly distinguished from each other It can be said that there is significance of the invention.

도 8은 본 발명의 일실시예에 따른 머신 러닝을 이용한 얼굴 표정 인식 시스템을 이용하여 얼굴 표정을 인식하는 모습을 도시한 도면이다. 도 8에 도시된 동영상 속의 사용자는 각각, 화남(fear), 슬픔(sadness), 역겨움(disgust), 놀람(surprise)의 표정을 짓고 있다. 각각의 영상에는, 전체 영상에서 사용자의 얼굴 영역을 검출하기 위한 것으로서, 사용자의 얼굴 영역에 사각형의 검은 테두리가 표시되어 있는 것을 확인할 수 있고, 사용자의 얼굴 중 주요부분(눈썹, 눈, 코, 입, 턱)에는 랜드마크가 표시되어 있는 것을 확인할 수 있다. 각각의 사용자의 얼굴 표정에 따라 랜드마크의 위치가 상이한바, 각 표정마다 추출된 특징벡터가 상이하게 되므로, 상이한 특징벡터를 분류모듈(300)의 랜덤 포레스트 분류기에 넣음으로써, 사용자의 각기 다른 표정을 분류하도록 하는 것이다.
FIG. 8 is a diagram illustrating a facial expression recognition using a facial expression recognition system using machine learning according to an embodiment of the present invention. Each of the users in the video shown in FIG. 8 has facial expressions of fear, sadness, disgust, and surprise. Each image is for detecting the face area of the user in the whole image. It can be confirmed that a black border of a rectangle is displayed on the face area of the user, and the main part (eyebrow, eye, nose, mouth , And the jaw), it is confirmed that the landmark is displayed. The extracted feature vectors are different for each facial expression because the positions of the landmarks are different according to the facial expressions of the respective users. Therefore, by inputting different feature vectors into the random forest classifier of the classification module 300, .

도 9는 본 발명의 다른 실시예에 따른 머신 러닝을 이용한 얼굴 표정 인식 시스템을 이용하여 얼굴 표정을 인식하는 모습을 도시한 도면이다. 도 9의 동영상에는 중립 표정을 짓고 있는 사용자의 얼굴 영상이 포함되어 있으며, 사용자의 얼굴 부근에는 “neutral”이라는 단어가 표시되어 있다. 사용자 얼굴의 주요부분에 표시된 랜드마크를 이용하여 특징벡터를 추출하고, 추출된 특징벡터를 랜덤 포레스트 분류기에 넣어서, 사용자의 얼굴 표정을 분류하는 과정을 거치게 되는 것이다. 인식모듈(400)은, 분류모듈(400)의 랜덤 포레스트 분류기로부터 분류된 사용자의 표정이, “중립”을 의미하는 표정임을 인식하는 역할을 하며, 이렇게 인식된 “중립”이라는 단어를 사용자에게 제공할 수 있도록 한다. 실시예에 따라서는, 도 9에 도시된 바와 같이, 사용자의 눈동자, 및 얼굴 중심에 대한 랜드마크를 이용하여, 사용자의 눈동자가 향하는 방향, 얼굴이 향하는 방향을 인식할 수도 있다. 즉, 추출모듈(200)에서 추출된 특징벡터로부터, 사용자의 눈동자 방향을 인식할 수 있으며, 사용자의 얼굴이 향하는 방향을 인식할 수도 있는 것이다. 이렇게 인식된 눈동자의 방향 및 얼굴이 향하는 방향은, 사용자의 얼굴 표정을 인식하는 과정에서 이용될 수 있으며, 이를 통하여 사용자의 감정 상태를 더욱 정확하게 판단할 수 있다.
9 is a diagram illustrating a facial expression recognition using a facial expression recognition system using machine learning according to another embodiment of the present invention. 9 includes a face image of a user who creates a neutral face, and the word " neutral " is displayed near the face of the user. A feature vector is extracted using a landmark displayed on a main part of a user's face and the extracted feature vector is inserted into a random forest classifier to classify the facial expression of the user. The recognition module 400 recognizes that the facial expression of the user classified from the random forest classifier of the classification module 400 is a expression indicating " neutral ", and recognizes the word " neutral " . According to the embodiment, as shown in Fig. 9, the direction of the user's pupil and the direction of the face may be recognized using the user's pupil and the landmark with respect to the center of the face. That is, the direction of the user's pupil can be recognized from the feature vector extracted by the extraction module 200, and the direction of the face of the user can be recognized. The direction of the recognized pupil and the direction in which the face faces can be used in the process of recognizing the facial expression of the user, thereby allowing the user to more accurately determine the emotional state.

또한, 본 발명인 머신 러닝을 이용한 얼굴 표정 인식 시스템(10)은, 사용자의 얼굴 표정을 인식하는 과정, 인식모듈(400)에서 인식된 사용자의 얼굴 표정에 대한 정보 중 적어도 하나 이상을 표시하는 표시모듈(500)을 더 포함할 수 있다. 표시모듈(500)은, TV, 컴퓨터, PDA, 휴대폰 중 어느 하나에 포함될 수 있으나, 이에 한정되는 것은 아니며, 휴대 가능한 단말기에 표시모듈(500)이 포함되는 경우, 사용자는 특정 공간에서만이 아니라, 이동 중에도 실시간으로 표정 인식 결과를 확인할 수 있게 된다.
In addition, the facial expression recognition system 10 using machine learning according to the present invention includes a process of recognizing a facial expression of a user, a display module 400 displaying at least one or more information of a facial expression of a user recognized by the recognition module 400, (500). The display module 500 may be included in any one of a TV, a computer, a PDA, and a cellular phone. However, the present invention is not limited thereto. When the display module 500 is included in a portable terminal, It is possible to check the result of face recognition in real time even on the move.

도 10은 본 발명의 일실시예에 따른 머신 러닝을 이용한 얼굴 표정 인식 방법의 흐름도를 도시한 도면이다. 도 10의 (a)에 도시된 바와 같이, 본 발명의 일실시예에 따른 머신 러닝을 이용한 얼굴 표정 인식 방법은, 얼굴 표정 인식 방법으로서, 검출모듈(100)이 입력된 사용자의 얼굴을 포함한 동영상 중에서, 사용자의 얼굴 영역을 검출하는 단계(S100), 추출모듈(200)이 단계 S100의 검출모듈(100)에서 검출된 얼굴 영역으로부터, 사용자의 얼굴에 대한 특징벡터를 추출하는 단계(S200), 분류모듈(300)이 단계 S200의 추출모듈(200)에서 추출된 특징벡터를 이용하여 사용자의 표정을 분류하는 단계(S300), 및 인식모듈(400)이 단계 S300의 분류모듈(300)에서 분류된 사용자의 표정으로부터, 사용자의 얼굴 표정을 인식하는 단계(S400)를 포함하는 것을 그 구성상의 특징으로 한다. (b)는 사용자의 얼굴에서 표정 변화가 일어나고 있는 중간 시점인지, 표정 변화가 완료된 시점인지를 판단하는 과정을 설명하기 위하여 도시한 도면이다. 사용자의 표정이 계속하여 변화하고 있는 중간 시점이라면, 사용자의 표정을 분류, 인식하는 단계로 진행되지 않게 하고, 사용자의 표정의 변화가 완료된 시점이라면, 사용자의 표정을 분류하여, 표정을 인식하는 단계로 진행되게 하기 위함이다. 이는, (b)의 단계 S300의 분류모듈(300)이, 단계 S200의 랜드마크 추출부(210)에서 추출된 랜드마크에 있어서, 현시점 프레임의 랜드마크 위치와 이전 프레임의 랜드마크 위치를 비교하여, 랜드마크의 변화량이 미리 지정된 임계값 이하라면 표정 변화가 완료된 것으로 판단하여, 사용자의 표정을 분류하는 과정을 포함하는 것으로부터 확인할 수 있다.
10 is a flowchart illustrating a facial expression recognition method using machine learning according to an embodiment of the present invention. As shown in FIG. 10A, a facial expression recognizing method using machine learning according to an embodiment of the present invention is a facial expression recognizing method, in which a detecting module 100 detects a moving image including a user's face A step S200 of extracting a feature vector for a user's face from the face area detected by the detection module 100 of the step S100, The classification module 300 classifies the user's facial expressions using the feature vectors extracted from the extraction module 200 in step S200 and the recognition module 400 classifies the classification in the classification module 300 in step S300 And recognizing the facial expression of the user from the facial expression of the user (S400). (b) is a diagram for explaining a process of determining whether the face of the user is in the middle of the change of the face or the change of the face of the face. If the user's facial expression is continuously changing, the facial expression of the user is not proceeded to the step of classifying and recognizing, and if the change of the facial expression of the user is completed, the facial expression of the user is classified and the facial expression is recognized . This is because the classification module 300 of step S300 of FIG. 3B compares the landmark position of the current frame with the landmark position of the previous frame in the landmark extracted by the landmark extraction unit 210 of step S200 , And if the change amount of the landmark is equal to or less than a predetermined threshold value, it is determined that the facial expression change has been completed and that the facial expression of the user is classified.

각각의 단계들과 관련된 상세한 내용들은, 앞서 본 발명의 일실시예에 따른 머신 러닝을 이용한 얼굴 표정 인식 시스템(10)과 관련하여 충분히 설명되었으므로, 상세한 설명은 생략하기로 한다.
Details related to the respective steps have been described in detail with respect to the facial expression recognition system 10 using machine learning according to an embodiment of the present invention, and a detailed description thereof will be omitted.

상술한 바와 같이, 본 발명에서 제안하고 있는 머신 러닝을 이용한 얼굴 표정 인식 시스템 및 방법에 따르면, 얼굴 표정 인식 시스템으로서, 입력된 사용자의 얼굴을 포함한 동영상 중에서, 사용자의 얼굴 영역을 검출하는 검출모듈, 검출모듈에서 검출된 얼굴 영역으로부터, 사용자의 얼굴에 대한 특징벡터를 추출하는 추출모듈, 추출모듈에서 추출된 특징벡터를 이용하여 사용자의 표정을 분류하는 분류모듈, 및 분류모듈에서 분류된 사용자의 표정으로부터, 사용자의 얼굴 표정을 인식하는 인식모듈을 포함하고, 추출모듈은 랜드마크 추출부, 특징벡터 추출부를 포함하여 구성되며, 사용자의 얼굴 영역으로부터 추출된 랜드마크로부터 랜드마크별 각도와 거리 비율 정보를 특징벡터를 추출함으로써, 특징벡터의 차원을 최소화하는 것을 통하여 연산량을 감소시켜 기존의 얼굴 인식 기술에 비하여 사용자의 얼굴 표정을 인식하는 속도를 향상시킬 수 있다. 또한, 분류모듈은 랜덤 포레스트 분류기를 이용하며, 추출모듈에서 추출된 특징벡터로부터, 사용자의 표정을 행복, 놀람, 화남, 중립, 및 기타의 5가지의 경우로 분류하는 제1 분류부, 및 제1 분류부에서 기타로 분류된 경우, 노여움, 역겨움, 슬픔의 3가지의 경우로 분류하는 제2 분류부를 포함하여 구성됨으로써, 학습데이터를 이용하여 학습시킨 랜덤포레스트 분류기를 통한 2단계의 분류 과정을 거쳐, 사용자의 얼굴 표정을 더욱 세밀하게 인식할 수 있도록 할 수 있다.
As described above, according to the facial expression recognition system and method using machine learning proposed in the present invention, a facial expression recognition system includes a detection module that detects a face region of a user from a moving image including an input user's face, An extraction module for extracting a feature vector of the user's face from the face region detected by the detection module, a classification module for classifying the user's facial expressions using the feature vector extracted from the extraction module, And the extraction module includes a landmark extracting unit and a feature vector extracting unit. The extracting module extracts the angle and distance ratio information of each landmark from the landmark extracted from the face region of the user By extracting the feature vector, minimizing the dimension of the feature vector, The reduction was possible to improve the speed of recognizing the user's facial expressions compared to the conventional face recognition technology. Also, the classification module uses a random forest classifier, and a first classifier classifies the facial expressions of the user into five types of happiness, surprise, angry, neutral, and other, from the feature vectors extracted from the extraction module, The first classifier classifies the classifier into three cases of anger, disgust, and sadness when the classifier classifies the classifier as guitar, so that the classifier classifies the classifier into a two-stage classifier through a random forest classifier learned using the learning data Thus, the facial expression of the user can be recognized more precisely.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention may be embodied in many other specific forms without departing from the spirit or essential characteristics and scope of the invention.

10: 본 발명의 일실시예에 따른 머신 러닝을 이용한 얼굴 표정 인식 시스템
100: 검출모듈
200: 추출모듈
210: 랜드마크 추출부
220: 특징벡터 추출부
300: 분류모듈
310: 제1 분류부
320: 제2 분류부
400: 인식모듈
500: 표시모듈10: Facial expression recognition system using machine learning according to an embodiment of the present invention
100: Detection module
200: Extraction Module
210: Landmark extraction unit
220: Feature vector extracting unit
300: Classification module
310: first classification section
320: second classification section
400: recognition module
500: Display module

Claims (20)

얼굴 표정 인식 시스템으로서,
입력된 사용자의 얼굴을 포함한 동영상 중에서, 사용자의 얼굴 영역을 검출하는 검출모듈;
상기 검출모듈에서 검출된 얼굴 영역으로부터, 사용자의 얼굴에 대한 특징벡터를 추출하는 추출모듈;
상기 추출모듈에서 추출된 특징벡터를 이용하여 사용자의 표정을 분류하는 분류모듈; 및
상기 분류모듈에서 분류된 사용자의 표정으로부터, 사용자의 얼굴 표정을 인식하는 인식모듈을 포함하는 것을 특징으로 하는, 머신 러닝을 이용한 얼굴 표정 인식 시스템.
A facial expression recognition system comprising:
A detection module for detecting a face region of a user from a moving image including the inputted user's face;
An extraction module for extracting a feature vector of a user's face from the face region detected by the detection module;
A classification module for classifying facial expressions of the user using the feature vectors extracted by the extraction module; And
And a recognition module for recognizing the facial expression of the user from facial expressions of the user classified by the classifying module.
제1항에 있어서, 상기 추출모듈은,
상기 얼굴영역 검출모듈에서 검출된 얼굴 영역에서, 랜드마크를 추출하는 랜드마크 추출부; 및
상기 랜드마크 추출부에서 추출된 랜드마크로부터 사용자의 얼굴에 대한 특징벡터를 추출하는 특징벡터 추출부를 포함하는 것을 특징으로 하는, 머신 러닝을 이용한 얼굴 표정 인식 시스템.
2. The apparatus of claim 1,
A landmark extracting unit for extracting a landmark from the face area detected by the face area detecting module; And
And a feature vector extracting unit for extracting a feature vector of a user's face from the landmark extracted by the landmark extracting unit.
제2항에 있어서,
상기 랜드마크는 각각의 프레임별로 추출되며, 상기 랜드마크 추출부에서 추출된 랜드마크에 있어서, 현시점 프레임의 랜드마크 위치와 이전 프레임의 랜드마크 위치를 비교하여, 랜드마크의 변화량이 미리 지정된 임계값 이하라면 표정 변화가 완료된 것으로 판단하여, 사용자의 표정을 분류하는 것을 특징으로 하는, 머신 러닝을 이용한 얼굴 표정 인식 시스템.
3. The method of claim 2,
The landmark extracted by the landmark extracting unit compares the landmark position of the current frame with the landmark position of the previous frame in the landmark extracted by the landmark extracting unit, The facial expression recognizing system using machine learning classifies the facial expression of the user by judging that the facial expression change has been completed.
제1항에 있어서, 상기 분류모듈은,
학습 데이터를 이용하여 학습된 랜덤 포레스트 분류기를 이용하는 것을 특징으로 하는, 머신 러닝을 이용한 얼굴 표정 인식 시스템.
The apparatus of claim 1,
A facial expression recognizing system using machine learning, characterized by using a learned random forest classifier using learning data.
제1항에 있어서, 상기 분류모듈은,
상기 추출모듈에서 추출된 특징벡터로부터, 사용자의 표정을 행복, 놀람, 화남, 중립, 및 기타의 5가지의 경우로 분류하는 제1 분류부; 및
상기 제1 분류부에서 기타로 분류된 경우, 노여움, 역겨움, 슬픔의 3가지의 경우로 분류하는 제2 분류부를 포함하는 것을 특징으로 하는, 머신 러닝을 이용한 얼굴 표정 인식 시스템.
The apparatus of claim 1,
A first classifier for classifying the facial expressions of the user into five cases of happiness, surprise, anger, neutrality, and others from the feature vectors extracted from the extraction module; And
And a second classifier for classifying the first classifier into three cases of anger, nausea, and sadness if the first classifier classifies the facial expressions using the machine learning method.
제2항에 있어서, 상기 랜드마크 추출부는,
사용자의 얼굴에서 주요 부분의 특징을 추출하는 것으로서, 상기 주요 부분은 사용자 얼굴에서 눈썹, 눈, 코, 입, 및 턱을 포함하는 것을 특징으로 하는, 머신 러닝을 이용한 얼굴 표정 인식 시스템.
3. The apparatus according to claim 2,
Wherein the main feature extracts features of a main part from a user's face, wherein the main part includes eyebrows, eyes, nose, mouth, and jaws on a user's face.
제2항에 있어서, 상기 특징벡터 추출부는,
추출된 랜드마크로부터, 랜드마크 상호간의 각도, 거리 비율 정보를 특징벡터로 추출하는 것을 특징으로 하는, 머신 러닝을 이용한 얼굴 표정 인식 시스템.
3. The apparatus according to claim 2,
And extracting angle and distance ratio information between the landmarks from the extracted landmarks as a feature vector.
제1항에 있어서,
상기 추출모듈에서 추출된 특징벡터로부터, 사용자의 눈동자 방향을 인식하는 것을 특징으로 하는, 머신 러닝을 이용한 얼굴 표정 인식 시스템.
The method according to claim 1,
Wherein the direction of the user's pupil is recognized from the feature vector extracted by the extraction module.
제1항에 있어서,
상기 추출모듈에서 추출된 특징벡터로부터, 사용자의 얼굴이 향하는 방향을 인식하는 것을 특징으로 하는, 머신 러닝을 이용한 얼굴 표정 인식 시스템.
The method according to claim 1,
And recognizing a direction of a face of the user from the feature vector extracted by the extraction module.
제1항에 있어서,
사용자의 얼굴 표정을 인식하는 과정, 상기 인식모듈에서 인식된 사용자의 얼굴 표정에 대한 정보 중 적어도 하나 이상을 표시하는 표시모듈을 더 포함하는 것을 특징으로 하는, 머신 러닝을 이용한 얼굴 표정 인식 시스템.
The method according to claim 1,
And a display module for displaying at least one of information on facial expressions of the user recognized by the recognition module, and a display module for recognizing facial expressions using the machine learning.
제11항에 있어서, 상기 표시모듈은,
TV, 컴퓨터, PDA, 휴대폰 중 어느 하나에 포함될 수 있는 것을 특징으로 하는, 머신 러닝을 이용한 얼굴 표정 인식 시스템.
The display device according to claim 11,
A face recognition system using machine learning, a face recognition system, a face recognition system, a TV, a computer, a PDA, and a mobile phone.
얼굴 표정 인식 방법으로서,
(1) 검출모듈이, 입력된 사용자의 얼굴을 포함한 동영상 중에서, 사용자의 얼굴 영역을 검출하는 단계;
(2) 추출모듈이, 상기 단계 (1)의 검출모듈에서 검출된 얼굴 영역으로부터, 사용자의 얼굴에 대한 특징벡터를 추출하는 단계;
(3) 분류모듈이, 상기 단계 (2)의 추출모듈에서 추출된 특징벡터를 이용하여 사용자의 표정을 분류하는 단계; 및
(4) 인식모듈이, 상기 단계 (3)의 분류모듈에서 분류된 사용자의 표정으로부터, 사용자의 얼굴 표정을 인식하는 단계를 포함하는 것을 특징으로 하는, 머신 러닝을 이용한 얼굴 표정 인식 방법.
A facial expression recognizing method,
(1) detecting a face region of a user from a moving image including a face of the input user;
(2) extracting a feature vector of a user's face from the face region detected by the detection module of step (1);
(3) classifying the facial expression of the user using the feature vector extracted from the extraction module of step (2); And
(4) The method for recognizing facial expressions using machine learning, comprising recognizing a facial expression of a user from a facial expression of a user classified in the classification module of step (3).
제12항에 있어서, 상기 단계 (2)의 추출모듈은,
상기 얼굴영역 검출모듈에서 검출된 얼굴 영역에서, 랜드마크를 추출하는 랜드마크 추출부; 및
상기 랜드마크 추출부에서 추출된 랜드마크로부터 사용자의 얼굴에 대한 특징벡터를 추출하는 특징벡터 추출부를 포함하는 것을 특징으로 하는, 머신 러닝을 이용한 얼굴 표정 인식 방법.
The method according to claim 12, wherein the extraction module (2)
A landmark extracting unit for extracting a landmark from the face area detected by the face area detecting module; And
And a feature vector extracting unit for extracting a feature vector of a user's face from the landmark extracted by the landmark extracting unit.
제13항에 있어서,
상기 랜드마크는 각각의 프레임별로 추출되며, 상기 랜드마크 추출부에서 추출된 랜드마크에 있어서, 현시점 프레임의 랜드마크 위치와 이전 프레임의 랜드마크 위치를 비교하여, 랜드마크의 변화량이 미리 지정된 임계값 이하라면 표정 변화가 완료된 것으로 판단하여, 사용자의 표정을 분류하는 것을 특징으로 하는, 머신 러닝을 이용한 얼굴 표정 인식 방법.
14. The method of claim 13,
The landmark extracted by the landmark extracting unit compares the landmark position of the current frame with the landmark position of the previous frame in the landmark extracted by the landmark extracting unit, The facial expression recognizing unit judges that the facial expression change has been completed and classifies the facial expression of the user.
제12항에 있어서, 상기 단계 (3)의 분류모듈은,
학습 데이터를 이용하여 학습된 랜덤 포레스트 분류기를 이용하는 것을 특징으로 하는, 머신 러닝을 이용한 얼굴 표정 인식 방법.
13. The method of claim 12, wherein the classification module of step (3)
And a random forest classifier learned using the learning data is used.
제12항에 있어서, 상기 단계 (3)의 분류모듈은,
상기 추출모듈에서 추출된 특징벡터로부터, 사용자의 표정을 행복, 놀람, 화남, 중립, 및 기타의 5가지의 경우로 분류하는 제1 분류부; 및
상기 제1 분류부에서 기타로 분류된 경우, 노여움, 역겨움, 슬픔의 3가지의 경우로 분류하는 제2 분류부를 포함하는 것을 특징으로 하는, 머신 러닝을 이용한 얼굴 표정 인식 방법.
13. The method of claim 12, wherein the classification module of step (3)
A first classifier for classifying the facial expressions of the user into five cases of happiness, surprise, anger, neutrality, and others from the feature vectors extracted from the extraction module; And
And a second classifier for classifying the first classifier into three cases of anger, nausea, and sadness when the first classifier classifies the classifier as guitar.
제13항에 있어서, 상기 랜드마크 추출부는,
사용자의 얼굴에서 주요 부분의 특징을 추출하는 것으로서, 상기 주요 부분은 사용자 얼굴에서 눈썹, 눈, 코, 입, 및 턱을 포함하는 것을 특징으로 하는, 머신 러닝을 이용한 얼굴 표정 인식 방법.
14. The image processing apparatus according to claim 13,
Extracting a feature of a main part from a user's face, wherein the main part includes eyebrows, eyes, nose, mouth, and chin on a user's face.
제13항에 있어서, 상기 특징벡터 추출부는,
추출된 랜드마크로부터, 랜드마크 상호간의 각도, 거리 비율 정보를 특징벡터로 추출하는 것을 특징으로 하는, 머신 러닝을 이용한 얼굴 표정 인식 방법.
14. The apparatus of claim 13, wherein the feature vector extractor comprises:
And extracting the angle and distance ratio information between the landmarks from the extracted landmarks as a feature vector.
제12항에 있어서,
상기 추출모듈에서 추출된 특징벡터로부터, 사용자의 눈동자 방향을 인식하는 것을 특징으로 하는, 머신 러닝을 이용한 얼굴 표정 인식 방법.
13. The method of claim 12,
Wherein the direction of the user's pupil is recognized from the feature vector extracted by the extraction module.
제12항에 있어서,
상기 추출모듈에서 추출된 특징벡터로부터, 사용자의 얼굴이 향하는 방향을 인식하는 것을 특징으로 하는, 머신 러닝을 이용한 얼굴 표정 인식 방법.13. The method of claim 12,
Wherein the direction of the face of the user is recognized from the feature vector extracted by the extraction module.
KR1020170128341A 2017-09-29 2017-09-29 Facial expression recognition system and method using machine learning KR102005150B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170128341A KR102005150B1 (en) 2017-09-29 2017-09-29 Facial expression recognition system and method using machine learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170128341A KR102005150B1 (en) 2017-09-29 2017-09-29 Facial expression recognition system and method using machine learning

Publications (2)

Publication Number Publication Date
KR20190038203A true KR20190038203A (en) 2019-04-08
KR102005150B1 KR102005150B1 (en) 2019-10-01

Family

ID=66164374

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170128341A KR102005150B1 (en) 2017-09-29 2017-09-29 Facial expression recognition system and method using machine learning

Country Status (1)

Country Link
KR (1) KR102005150B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190118993A (en) * 2019-10-01 2019-10-21 (주)진학어플라이 Surrogate Interview Prevention Method and Processing Technology Using Deep Learning
KR20200132138A (en) * 2019-05-15 2020-11-25 계명대학교 산학협력단 Facial expression recognition method and apparatus based on lightweight multilayer random forests
KR20210085174A (en) * 2019-12-30 2021-07-08 주식회사 하이퍼커넥트 Landmark data decomposition device, method and computer readable recording medium thereof
KR20220072560A (en) * 2020-11-25 2022-06-02 상명대학교산학협력단 Device and method of screening dementia through analysis between face direction and gaze
KR20220072484A (en) * 2020-11-25 2022-06-02 한국전자기술연구원 Autism spectrum disorder evaluation method based on facial expression analysis

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102603424B1 (en) 2022-06-24 2023-11-20 주식회사 노타 Method, Apparatus, and Computer-readable Medium for Determining Image Classification using a Neural Network Model

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010271872A (en) * 2009-05-20 2010-12-02 Canon Inc Image recognition device, imaging apparatus, and image recognition method
KR20130015958A (en) * 2011-08-05 2013-02-14 충남대학교산학협력단 Emotion recognition apparatus using facial expression, emotion recognition method using the same, and recording medium thereof
KR101451854B1 (en) * 2013-10-10 2014-10-16 재단법인대구경북과학기술원 Apparatus for recongnizing face expression and method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010271872A (en) * 2009-05-20 2010-12-02 Canon Inc Image recognition device, imaging apparatus, and image recognition method
KR20130015958A (en) * 2011-08-05 2013-02-14 충남대학교산학협력단 Emotion recognition apparatus using facial expression, emotion recognition method using the same, and recording medium thereof
KR101451854B1 (en) * 2013-10-10 2014-10-16 재단법인대구경북과학기술원 Apparatus for recongnizing face expression and method thereof

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200132138A (en) * 2019-05-15 2020-11-25 계명대학교 산학협력단 Facial expression recognition method and apparatus based on lightweight multilayer random forests
KR20190118993A (en) * 2019-10-01 2019-10-21 (주)진학어플라이 Surrogate Interview Prevention Method and Processing Technology Using Deep Learning
KR20210085174A (en) * 2019-12-30 2021-07-08 주식회사 하이퍼커넥트 Landmark data decomposition device, method and computer readable recording medium thereof
KR20220072560A (en) * 2020-11-25 2022-06-02 상명대학교산학협력단 Device and method of screening dementia through analysis between face direction and gaze
KR20220072484A (en) * 2020-11-25 2022-06-02 한국전자기술연구원 Autism spectrum disorder evaluation method based on facial expression analysis

Also Published As

Publication number Publication date
KR102005150B1 (en) 2019-10-01

Similar Documents

Publication Publication Date Title
KR102005150B1 (en) Facial expression recognition system and method using machine learning
US7873189B2 (en) Face recognition by dividing an image and evaluating a similarity vector with a support vector machine
Gao et al. Standardization of face image sample quality
US7412081B2 (en) Personal authentication apparatus and personal authentication method
US6690814B1 (en) Image processing apparatus and method
Lee et al. Vasir: an open-source research platform for advanced iris recognition technologies
CN106778450B (en) Face recognition method and device
Chauhan et al. Study & analysis of different face detection techniques
KR100944247B1 (en) System and method for face recognition
KR100473600B1 (en) Apparatus and method for distinguishing photograph in face recognition system
Ekbote et al. Indian sign language recognition using ANN and SVM classifiers
Yustiawati et al. Analyzing of different features using Haar cascade classifier
KR101455666B1 (en) Authentication apparatus and authentication method thereof
JP2012252581A (en) Sign language recognition method and apparatus thereof
KR100545559B1 (en) Method for recognizing a face using Haar-like feature/LDA and apparatus thereof
Kintonova et al. Improvement of iris recognition technology for biometric identification of a person
Khan et al. Real time hand gesture recognition by skin color detection for american sign language
Campadelli et al. Face and facial feature localization
Schneider et al. Feature based face localization and recognition on mobile devices
Senarathne et al. Blindaid-android-based mobile application guide for visually challenged people
Tian et al. Automatic detecting neutral face for face authentication and facial expression analysis
Afroze et al. Talking vs Non-Talking: a vision based approach to detect human speaking mode
Lunerti et al. Sensing movement on smartphone devices to assess user interaction for face verification
Santana et al. Encara: real-time detection of frontal faces
KR102643277B1 (en) Password input method and system using face recognition

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant