KR101734212B1 - Facial expression training system - Google Patents
Facial expression training system Download PDFInfo
- Publication number
- KR101734212B1 KR101734212B1 KR1020150166728A KR20150166728A KR101734212B1 KR 101734212 B1 KR101734212 B1 KR 101734212B1 KR 1020150166728 A KR1020150166728 A KR 1020150166728A KR 20150166728 A KR20150166728 A KR 20150166728A KR 101734212 B1 KR101734212 B1 KR 101734212B1
- Authority
- KR
- South Korea
- Prior art keywords
- facial expression
- face
- user
- information
- model
- Prior art date
Links
Images
Classifications
-
- G06K9/00255—
-
- G06F17/30244—
-
- G06K9/00288—
-
- G06K9/00302—
-
- G06K2009/00221—
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 표정 연습 시스템에 관한 것으로서, 보다 상세하게는 사용자를 촬영한 정보를 분석함으로써 사용자의 표정 연습을 도와주는 표정 연습 시스템에 대한 것이다.The present invention relates to a facial expression exercising system, and more particularly, to a facial expression exercising system that assists a user in facial expression practice by analyzing information captured by a user.
자연스럽고 매력적인 표정은 첫 인상을 좋게 만드는데 중요한 역할을 한다. 또한, 다양한 표정의 연습을 통하여 안면근의 긴장과 조절을 통해 입꼬리가 처지는 것을 방지할 수 있고, 얼굴이 생기있게 보일 수 있다.The natural and charming facial expression plays an important role in making the first impression good. In addition, through various exercises of facial expression, it is possible to prevent the mouth tails from sagging through tautness and control of the facial muscles, and the face can be seen to be alive.
또한, 안면근육이 마비된 환자같이 얼굴 근육의 재활이 요구되는 사람들이나, 배우 지망생, 스튜어디스 같이 연기나 호감형 인상을 제공하기 위해서 다양한 표정 연습이 요구된다.In addition, a variety of facial exercises are required to provide acting or favorable impression, such as those who require rehabilitation of facial muscles, such as patients with paralyzed facial muscles, aspiring learners, or stewardesses.
따라서 실시간으로 사용자의 표정을 인식하고 분석, 평가하여 다양한 표정을 연습할 수 있는 시스템이 요구된다.Therefore, a system that can recognize, analyze, and evaluate a user's facial expression in real time and practice various facial expressions is required.
카메라와 같은 촬영장치를 이용하여 사용자의 얼굴을 촬영하고 분석하는 시스템에 있어서, 종래의 표정 연습 시스템은 사용자의 얼굴 형상에 대한 고려 없이 모든 사용자에게 동일한 표정 연습 기능을 제공한다.In a system for photographing and analyzing a user's face using a photographing device such as a camera, a conventional facial expression exercising system provides the same facial expression exercising function to all users without considering the shape of a user's face.
이러한 경우, 사용자마다 다양한 얼굴의 유형을 고려하지 않고 일괄적인 표정 연습 환경을 제공하여 표정 연습의 효과를 제대로 얻기 힘든 문제점이 있다.In such a case, there is a problem that it is difficult to obtain the effect of the expression exercise practically by providing a collective expression exercise environment without consideration of various types of faces for each user.
또한, 종래의 기술은 연습하고자 하는 표정을 데이터베이스에 이미 입력된 표정 정보 내에서만 검색할 수 있기 때문에, 데이터베이스에 입력 되어 있지 않은 다양한 표정의 연습이 어렵다는 문제점이 있다.In addition, the conventional technique has a problem in that it is difficult to practice various facial expressions that are not inputted in the database, since the facial expression to be practiced can be retrieved only in the facial expression information already inputted in the database.
또한, 종래의 기술은 연습하고자 하는 표정이 움직이지 않는 사진에 한정되어서, 시간의 흐름에 따른 표정의 변화를 연습하기 어렵다는 문제점이 있다.In addition, the conventional art has a problem that it is difficult to practice the change of the expression according to the passage of time because the expression to be practiced is limited to the photograph which does not move.
본 발명이 해결하고자 하는 과제는 실시간으로 사용자의 표정을 인식하고 분석, 평가하는 표정 연습 시스템을 제공하는 것에 있다.An object of the present invention is to provide a facial expression exercise system for recognizing, analyzing and evaluating a user's facial expression in real time.
본 발명이 해결하고자 하는 다른 과제는 사용자마다 다른 얼굴 유형을 고려한 표정 연습 기능을 제공하는 것에 있다.Another object of the present invention is to provide a facial expression exercising function that takes into account different facial types for each user.
본 발명이 해결하고자 하는 또 다른 과제는 데이터베이스에 입력되어있지 않은 다양한 표정에 대해서도 표정연습이 가능토록 하는 것에 있다.Another object to be solved by the present invention is to make facial expression exercises possible for various facial expressions which are not inputted in the database.
본 발명이 해결하고자 하는 또 다른 과제는 시간의 흐름에 따른 표정의 변화를 연습할 수 있는 기능을 제공하는 것에 있다.Another object to be solved by the present invention is to provide a function of practicing a change of facial expression according to time.
본 발명의 표정 연습 시스템은 사용자를 촬영한 촬영 정보를 제공하고, 상기 사용자의 표정 연습을 위한 연습 얼굴 모델을 사용자에게 제시하며, 상기 사용자가 선택한 상기 연습 얼굴 모델의 제1 얼굴 표정 값을 전달 하는 인터페이스부; 상기 촬영 정보를 분석하여 상기 사용자의 얼굴에 대응하는 사용자 얼굴 정보를 생성하는 분석부; 상기 제1 얼굴 표정 값 및 상기 사용자 얼굴 정보에 대응하여 표정 가이드 모델을 생성하고, 상기 표정 가이드 모델과 상기 사용자 얼굴 정보를 비교한 비교 정보를 상기 인터페이스부에 제공하는 비교부; 및 상기 연습 얼굴 모델들을 저장하고, 상기 인터페이스부의 요청에 대응하여 해당 상기 연습 얼굴 모델을 제공하는 데이터베이스; 를 포함하고, 상기 제1 얼굴 표정 값은 상기 연습 얼굴 모델의 표정을 수치화한 값인 것을 특징으로 한다.The facial expression exercise system of the present invention provides photographing information photographed by a user, presents an exercise face model for user's facial expression exercise to a user, and transmits a first facial expression value of the practice face model selected by the user An interface unit; An analysis unit for analyzing the shooting information and generating user face information corresponding to the user's face; A comparison unit for generating a facial expression guide model corresponding to the first facial expression value and the user facial information and providing comparison information obtained by comparing the facial expression guide model and the user facial information to the interface unit; And a database for storing the practice face models and providing the practice face models corresponding to the request of the interface unit; And the first facial expression value is a value obtained by digitizing a facial expression of the practice face model.
또한, 본 발명의 표정 연습 시스템은 사용자를 촬영한 촬영 정보 및 상기 촬영 정보와 비교하기 위한 이미지 정보를 제공하는 인터페이스부; 상기 촬영 정보 및 상기 이미지 정보를 수신하고 분석하며, 상기 촬영 정보에 포함된 상기 사용자의 얼굴에 대응하는 사용자 얼굴 정보 및 상기 이미지 정보의 제1 얼굴 표정 값을 제공하는 분석부; 및 상기 사용자 얼굴 정보와 상기 제1 얼굴 표정 값에 대응하여 표정 가이드 모델을 생성하고, 상기 표정 가이드 모델과 상기 사용자 얼굴 정보를 비교한 비교 정보를 상기 인터페이스부에 제공하는 비교부; 를 포함하고, 상기 제1 얼굴 표정 값은 얼굴 표정을 수치화한 값인 것을 특징으로 한다.In addition, the facial expression exercising system of the present invention includes an interface unit for providing photographing information photographed by a user and image information for comparing the photographing information; An analysis unit for receiving and analyzing the photographing information and the image information, providing user face information corresponding to the face of the user included in the photographing information, and a first facial expression value of the image information; And a comparison unit configured to generate a face guide model corresponding to the user face information and the first facial expression value and to provide comparison information obtained by comparing the facial expression guide model and the user facial information to the interface unit; And the first facial expression value is a value obtained by digitizing the facial expression.
상술한 것과 같이 본 발명은 실시간으로 사용자의 표정을 인식하고 분석, 평가하는 표정 연습 시스템을 제공할 수 있다.As described above, the present invention can provide a facial expression exercising system for recognizing, analyzing and evaluating facial expressions of a user in real time.
또한, 본 발명은 사용자마다 다른 얼굴 유형을 고려한 표정 연습 기능을 제공한다.In addition, the present invention provides a facial expression exercising function considering different facial types for each user.
또한, 본 발명은 데이터베이스에 입력되어있지 않은 다양한 표정에 대해서도사용자가 입력한 얼굴 표정 영상을 통해 얼굴 표정 데이터를 자동으로 생성하여 사용자가 표정 연습이 가능토록 한다.In addition, the present invention automatically generates facial expression data through a facial expression image input by a user for various facial expressions that are not input in the database, and allows the user to perform facial expression exercises.
또한, 본 발명을 통하여 시간의 흐름에 따른 표정의 변화를 연습할 수 있다.Further, the present invention can practice the change of the expression according to the passage of time.
도 1은 본 발명의 표정 연습 시스템에 의한 일 실시예를 나타내는 블록도이다.
도 2는 본 발명의 표정 연습 시스템에 의한 다른 실시예를 나타내는 블록도이다.
도 3은 도 1, 도 2의 촬영 정보를 생성하기 위한 촬영 방법에 대한 도면이다.
도 4는 얼굴 정체성 값과 얼굴 표정 값에 따라 분류될 수 있는 다양한 얼굴모델에 대한 도면이다.
도 5는 도 1의 사용자가 연습 얼굴 모델을 수정하는 방법을 예시하는 도면이다.
도 6은 도 2의 이미지 정보가 사진 파일인 경우를 예시한 도면이다.
도 7은 도 1, 도 2의 사용자가 데이터베이스(400)에 저장된 연습 얼굴 모델 중 표정 연습의 대상으로 할 연습 얼굴 모델을 선택하는 방법을 예시한 도면이다.
도 8은 도 1, 도 2의 비교부가 표정 가이드 모델을 렌더링 하는 것을 예시하기 위한 도면이다.
도 9는 도 1, 도 2의 비교부가 표정 가이드 모델을 렌더링 하는 것을 예시하기 위한 다른 도면이다.
도 10은 도 1, 도 2의 비교부가 시각적 주석을 표시하는 것을 예시하기 위한 도면이다.
도 11은 도 1, 도 2의 사용자가 표정 가이드 모델을 따라서 표정 연습을 완료한 것을 예시하는 도면이다.
도 12는 도 1의 표정 연습 시스템에 따라 표정 연습을 하는 과정을 나타낸 순서도이다. 1 is a block diagram showing an embodiment of a facial expression exercising system of the present invention.
2 is a block diagram showing another embodiment of the expression exercise system of the present invention.
FIG. 3 is a diagram of a photographing method for generating the photographing information of FIGS. 1 and 2. FIG.
4 is a diagram of various face models that can be classified according to facial identity values and facial expression values.
5 is a diagram illustrating a method by which the user of FIG. 1 modifies an exercise face model.
FIG. 6 is a diagram illustrating a case where the image information of FIG. 2 is a picture file.
FIG. 7 is a diagram illustrating a method of selecting an exercise face model to be subjected to a face exercise exercise among the exercise face models stored in the
FIG. 8 is a diagram for illustrating the rendering of the comparison guide model in FIGS. 1 and 2; FIG.
FIG. 9 is another view for illustrating that the comparison unit of FIGS. 1 and 2 renders a facial expression guide model.
FIG. 10 is a diagram for illustrating that the comparison unit of FIG. 1 and FIG. 2 displays a visual annotation.
Fig. 11 is a diagram illustrating that the user of Figs. 1 and 2 has completed the expression exercise according to the expression guide model.
FIG. 12 is a flowchart showing a process of exercising facial expression according to the facial expression exercise system of FIG.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다. 본 명세서 및 특허청구범위에 사용된 용어는 통상적이거나 사전적 의미로 한정되어 해석되지 아니하며, 본 발명의 기술적 사항에 부합하는 의미와 개념으로 해석되어야 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. It is to be understood that the terminology used herein is for the purpose of description and should not be interpreted as limiting the scope of the present invention.
본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예이며, 본 발명의 기술적 사상을 모두 대변하는 것이 아니므로, 본 출원 시점에서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있다.The embodiments described in the present specification and the configurations shown in the drawings are preferred embodiments of the present invention and are not intended to represent all of the technical ideas of the present invention and thus various equivalents and modifications Can be.
도 1은 본 발명의 표정 연습 시스템에 의한 일 실시예를 나타내는 블록도이다.1 is a block diagram showing an embodiment of a facial expression exercising system of the present invention.
도 1을 참고하면, 본 발명의 일 실시예는 인터페이스부(100), 분석부(200), 비교부(300) 및 데이터베이스(400)를 포함한다.Referring to FIG. 1, an embodiment of the present invention includes an
사용자는 인터페이스부(100)를 통하여 본 발명의 표정 연습 시스템을 이용할 수 있다. 여기서 사용자는 본 발명의 표정 연습 시스템을 이용하여 표정 연습을 하거나 하려는 자를 일컫는다. 본 발명에 따른 표정 연습 시스템은 스마트 시스템과 같은 스마트 디바이스에 설치될 수 있는 어플리케이션이거나 데스크탑, 노트북 등에 설치될 수 있는 프로그램일 수 있다.The user can use the facial expression exercise system of the present invention through the
본 발명은 카메라가 내장된 휴대폰뿐만 아니라 휴대용 멀티미디어 플레이어(PMP, Portable Multimedia Player), 개인 휴대용 정보 단말기(PDA, Personal Digital Assistant)나 노트북 등에서도 시스템 내부에 얼굴을 인식할 수 있는 카메라나 그 밖에 얼굴 표정을 인식할 수 있는 센서가 내장되어 있다면 이용 가능하다.The present invention can be applied not only to a mobile phone having a built-in camera but also to a camera capable of recognizing a face in the system, such as a portable multimedia player (PMP), a personal digital assistant (PDA) It is available if you have built in sensors that can recognize facial expressions.
인터페이스부(100)는 카메라나 다양한 얼굴 표정 인식을 위한 센서를 통하여 사용자에 대한 이미지를 캡쳐한 촬영 정보를 분석부(200)에 제공한다.The
또한, 인터페이스부(100)는 하기할 데이터베이스(400)가 제공하는 연습 얼굴 모델을 사용자에게 제시함으로써 사용자의 선택을 유도할 수 있다.In addition, the
또한, 인터페이스부(100)는 하기할 비교부(300)가 제공하는 비교 정보를 사용자에게 디스플레이함으로써 사용자의 표정 연습을 도울 수 있다.In addition, the
여기서 촬영 정보는 카메라를 비롯한 촬영 기기나 얼굴 인식 센서를 통해 사용자를 촬영한 내용의 파일 또는 사용자를 실시간으로 촬영하는 영상을 의미할 수 있다.Here, the photographing information may refer to a photographing device including a camera, a file of a user's photographed through a face recognizing sensor, or an image photographed in real time by a user.
또한, 비교 정보는 하기할 비교부(300)가 사용자 얼굴 정보와 표정 가이드 모델을 비교하는 과정, 비교 화면 또는 비교 결과에 대한 정보를 포함할 수 있다.In addition, the comparison information may include information on a process of comparing the user's face information and a facial expression guide model, a comparison screen, or a comparison result.
인터페이스부(100)는 표정 연습을 위한 적어도 하나 이상의 연습 얼굴 모델을 제공받아 사용자에게 제시하며, 사용자가 선택한 연습 얼굴 모델의 얼굴 표정 값(제1 얼굴 표정 값)을 비교부(300)에 전달한다.The
연습 얼굴 모델은 다양한 표정으로 이루어진 3D 얼굴 모델일 수 있다. 또한, 각 연습 모델 마다 서로 다른 얼굴 표정 값(제1 얼굴 표정 값)을 가질 수 있다. 연습 얼굴 모델은 데이터베이스(400)에 저장되어 있을 수 있다.The practice face model may be a 3D face model made up of various expressions. In addition, it is possible to have different face expression values (first facial expression values) for each exercise model. The practice face model may be stored in the
얼굴 표정 값이란, 얼굴 표정을 수치화한 값을 의미한다. 즉, 연습 얼굴 모델이나 하기할 사용자 얼굴 모델 같은 얼굴 모델이 가지는 표정의 변화 정도에 따라 다른 값을 가질 수 있다. 얼굴 표정 값은 다양한 변수로 표현될 수 있다. 예를 들면, 얼굴 모델의 눈 모양과 관련된 얼굴 표정 값은 눈 모양의 변화 정도에 따라 다른 값을 가질 수 있고, 얼굴 모델의 입 모양과 관련된 얼굴 표정 값은 입 모양의 변화 정도에 따라 다른 값을 가질 수 있다. 이외에도 얼굴의 각 부위나 안면 근육의 위치와 방향을 고려하여 다양한 얼굴 표정 값이 정의될 수 있다. 이 때, 얼굴 표정 값은 얼굴 모델이 표현하는 얼굴 모양, 즉 얼굴 정체성 값이 다르더라도 같은 표정을 표현하고 있다면 같은 얼굴 표정 값을 가질 수 있다.The facial expression value means a value obtained by digitizing facial expression. That is, it can have a different value depending on the degree of change of expression of a face model such as an exercise face model or a user's face model to be performed. The facial expression value can be expressed by various variables. For example, the facial expression value associated with the eye shape of the face model may have a different value depending on the degree of change of the eye shape, and the facial expression value associated with the mouth shape of the face model may be different depending on the degree of change of the mouth shape Lt; / RTI > In addition, various facial expression values can be defined in consideration of the positions and orientations of facial parts and facial muscles. In this case, the facial expression value may have the same facial expression value if the facial expression represented by the facial model, that is, the facial identity value, is different but the same facial expression is expressed.
여기서, 연습 얼굴 모델이 가지는 얼굴 표정 값을 제1 얼굴 표정 값, 사용자 얼굴 모델이 가지는 얼굴 표정 값을 제2 얼굴 표정 값으로 볼 수 있다.Here, the facial expression value of the practice face model may be regarded as the first facial expression value, and the facial expression value of the user facial model may be regarded as the second facial expression value.
또한, 연습 얼굴 모델은 정지된 표정이 아닌 시간의 흐름에 따라 표정이 변하는 시퀀스로 구성될 수 있다. 연습 얼굴 모델이 시퀀스로 구성되는 경우 해당 연습 모델이 가지는 얼굴 표정 값(제1 얼굴 표정 값)도 시간의 흐름에 따라 변하는 시퀀스로 구성될 수 있다. 사용자가 시퀀스로 구성된 연습 얼굴 모델을 선택하는 경우, 사용자는 하나의 표정에 제한되지 않고 표정의 변화를 함께 연습할 수 있다.In addition, the practice face model can be composed of a sequence in which the expression changes according to the passage of time, not the stationary facial expression. When the practice face model is composed of a sequence, the facial expression value (first facial expression value) possessed by the practice model may also be composed of a sequence that varies with the passage of time. When the user selects an exercise face model composed of a sequence, the user can practice the change of the expression together without being limited to a single expression.
인터페이스부(100)는 데이터베이스(400)에 저장된 연습 얼굴 모델들 중 복수의 연습 얼굴 모델을 요청하여 사용자에게 제시할 수 있다. 여기서 인터페이스부(100)가 요청하는 연습 얼굴 모델은 각 연습 얼굴 모델에 별도로 부여된 가중치(예를 들면, 사용자에 의해 더 많이 선택된 연습 얼굴 모델에 더 높은 가중치가 부여됨)에 따라 상위 가중치를 갖는 일정한 수의 연습 얼굴 모델일 수 있고, 임의로 결정될 수 도 있다. 또한, 데이터베이스(400)는 설정 값에 따라 데이터베이스(400)에 저장되어 있는 모든 연습 얼굴 모델을 제공할 수도 있다.The
사용자가 제시된 연습 얼굴 모델 중 하나를 선택하면, 인터페이스부(100)는 선택된 연습 얼굴 모델의 얼굴 표정 값(제1 얼굴 표정 값)을 비교부(300)에 전달한다.When the user selects one of the presented exercise face models, the
또한, 인터페이스부(100)는 상기 사용자가 상기 연습 얼굴 모델의 표정을 수정하면 수정된 연습 얼굴 모델의 얼굴 표정 값(제1 얼굴 표정 값)을 전달할 수 있다.In addition, the
즉, 사용자는 인터페이스부(100)로부터 제시된 연습 얼굴 모델을 선택하고, 나아가 선택한 연습 얼굴 모델을 수정할 수 있다. 사용자가 연습 얼굴 모델을 수정하면, 수정된 상태의 연습 얼굴 모델이 가지는 얼굴 표정 값(제1 얼굴 표정 값)이 인터페이스부(100)에 의하여 비교부(300)에 제공된다.That is, the user can select the practice face model presented from the
사용자가 연습 얼굴 모델을 수정할 때 얼굴 표정 값(제1 얼굴 표정 값)도 수정될 수 있다. 보다 상세하게, 사용자가 연습 얼굴 모델을 수정할 때, 해당 연습 얼굴 모델이 가지는 얼굴 표정 값(제1 얼굴 표정 값)이 표현된 파라미터나 수치를 직접 수정하여 연습 얼굴 모델의 표정을 바꿀 수 있다. 또한, 사용자는 연습 얼굴 모델이 표시되는 화면 상에서 연습 얼굴 모델의 눈이나 입을 클릭하거나 터치하여 눈이나 입 모양 등의 표정 변화를 줌으로써, 관련된 얼굴 표정 값(제1 얼굴 표정 값)을 간접적으로 수정할 수 도 있다.When the user modifies the practice face model, the facial expression value (first facial expression value) can also be modified. More specifically, when the user modifies the practice face model, the expression of the practice face model can be changed by directly modifying the parameter or numerical value expressing the facial expression value (first facial expression value) of the practice face model. In addition, the user can indirectly modify the related facial expression value (first facial expression value) by clicking or touching the eyes or mouth of the practicing face model on the screen on which the practicing face model is displayed, There is also.
분석부(200)는 촬영 정보를 수신하고 분석하여 상기 사용자의 얼굴에 대응하는 사용자 얼굴 정보를 생성한다.The
여기서 사용자 얼굴 정보는 사용자 얼굴 모델과 사용자 얼굴 모델에 대한 각종 정보를 포함하는 정보이다. 사용자 얼굴 모델이란, 촬영 정보에 포함된 사용자의 얼굴의 형상과 표정을 인식하여 촬영되고 있는 사용자의 현재 얼굴을 3D모델로 복원한 것을 의미한다. 또한, 사용자 얼굴 정보는 각종 정보로서, 하기할 사용자 얼굴 정보의 얼굴 표정 값(제2 얼굴 표정 값), 얼굴 정체성 값, 얼굴 크기 정보, 얼굴 회전 정보, 얼굴 위치 정보 및 카메라 정보를 더 포함할 수 있다.Here, the user face information is information including various information about the user face model and the user face model. The user face model means that the current face of the user who is being photographed is recognized as a 3D model by recognizing the shape and facial expression of the user's face included in the photographing information. The user face information may further include a face expression value (second face expression value), a face identity value, a face size information, a face rotation information, a face position information, and a camera information of user face information to be set have.
분석부(200)가 촬영 정보로부터 사용자 얼굴 정보를 생성하는 과정은 촬영 정보의 매 프레임마다 실시간으로 이루어 질 수 있다. 즉, 분석부(200)는 촬영 정보를 실시간으로 분석하여 사용자 얼굴 정보를 생성할 수 있다.The process in which the
이 때, 사용자 얼굴 정보는 분석부(200)가 촬영 정보를 실시간으로 분석하여 생성되므로, 사용자 얼굴 정보의 사용자 얼굴 모델은 촬영 정보에 포함된 사용자의 얼굴을 실시간으로 따라하는 효과가 있다.At this time, since the user's face information is generated by analyzing the shooting information in real time by the analyzing
분석부(200)는 촬영 정보로부터 사용자 얼굴 모델을 생성하고, 사용자 얼굴모델로부터 얼굴 정체성 값과 얼굴 표정 값(제2 얼굴 표정 값)을 추출할 수 있다.The
여기서 얼굴 정체성 값은 얼굴 형상의 종류를 수치화한 값을 의미한다. 예를 들어서, 이마가 넓은 얼굴, 광대뼈가 튀어나온 얼굴, 눈이 작거나 큰 얼굴, 코나 턱이 긴 얼굴 등 다양한 얼굴 형상이 존재할 수 있고, 각 형상에 따라 다른 얼굴 정체성 값이 설정될 수 있다.Here, the face identity value means a value obtained by digitizing the type of the face shape. For example, there may be various face shapes such as a wide forehead, a cheekbone protruding face, a small or large eye, and a long face with a corner or jaw, and a different face identity value may be set according to each shape.
같은 표정을 연습하더라도 사용자마다 얼굴의 형상이 다를 수 있다. 따라서, 사용자 얼굴 정보를 생성하는 경우, 사용자마다 다른 값을 갖는 얼굴 정체성 값을 고려할 수 있다.Even if you practice the same expression, the shape of your face may vary from person to person. Therefore, when user face information is generated, a face identity value having a different value can be considered for each user.
분석부(200)는 생성된 사용자 얼굴 모델로부터 얼굴 정체성 값, 얼굴 표정 값(제2 얼굴 표정 값) 이외에 얼굴 크기 정보, 얼굴 위치 정보, 얼굴 회전 정보 및 카메라 정보를 더 추출할 수 있다.The
여기서 얼굴 크기 정보는 촬영 정보에 포함된 사용자의 얼굴의 크기에 대한 정보로서, 3D 얼굴 모델의 스케일링에 대한 파라미터를 포함할 수 있다. Here, the face size information is information on the size of the face of the user included in the photographing information, and may include a parameter for scaling of the 3D face model.
얼굴 위치 정보는 촬영 정보에 포함된 사용자의 얼굴이 화면 내 어떤 위치에 있는지에 대한 정보로서, 3D 얼굴 모델의 위치 혹은 병진 행렬을 포함할 수 있다.The face position information may include a position or a translation matrix of the 3D face model as information on the position of the user's face included in the shooting information in the screen.
얼굴 회전 정보는 촬영 정보에 포함된 사용자의 얼굴이 어느 방향을 향하여 얼마만큼 회전되어 있는지에 대한 정보로서, 3D 얼굴 모델의 회전에 대한 행렬 정보가 포함될 수 있다. The face rotation information is information on how much the face of the user included in the photographing information is rotated toward which direction, and matrix information about the rotation of the 3D face model may be included.
카메라 정보는 사용자를 촬영하는 카메라의 초점 거리에 대한 정보로서, 카메라를 투영(projection)하기 위한 정보를 포함할 수 있다.The camera information is information on a focal length of a camera that photographs a user, and may include information for projecting the camera.
분석부(200)가 사용자 얼굴 모델로부터 추출한 얼굴 정체성 값, 얼굴 표정 값(제2 얼굴 표정 값), 얼굴 크기 정보, 얼굴 위치 정보, 얼굴 회전 정보 및 카메라 정보는 이후 비교부(300)가 표정 가이드 모델을 렌더링할 때 사용될 수 있다. 또한, 사용자 얼굴 모델로부터 추출된 얼굴 표정 값(제2 얼굴 표정 값)은 이후 비교부(300)가 연습 얼굴 모델의 얼굴 표정 값(제1 얼굴 표정 값)과 비교할 때 사용될 수 있다.The
상기한 사용자 얼굴 모델이나 연습 얼굴 모델은 다음과 같은 수학식으로 표현될 수 있다.The user face model or the practice face model can be expressed by the following equation.
<수학식 1>&Quot; (1) "
<수학식 1>은 3D 얼굴 모델의 표현식으로서, V를 사용자 얼굴 정보나 연습 얼굴 모델과 같은 3D 얼굴 모델이라 할 때, Cr은 핵심 구조 모델에 해당한다. Cr은 사용자에게 직접 보여지지않는 시스템 내부에서 학습된 값이며, 3D 얼굴 모델의 분석은 Cr을 기초로하여 시작된다. Wid는 얼굴 정체성 값, Wexp는 얼굴 표정 값에 해당한다. 함수 f()는 다양한 방식으로 전개될 수 있다. 즉, 3D 얼굴 모델은 Cr에 Wid와 Wexp의 값을 변화시킴으로써 따라 다양한 얼굴 모델을 생성할 수 있다.Equation (1) is an expression of a 3D face model. When V is a 3D face model such as a user face information or an exercise face model, C r corresponds to a core structure model. C r is the value learned inside the system that is not directly visible to the user, and analysis of the 3D face model is started based on C r . W id is the face identity value, and W exp is the face expression value. The function f () can be developed in various ways. That is, the 3D face model can generate various face models by changing the values of W id and W exp in C r .
<수학식 2>&Quot; (2) "
<수학식 2>는 <수학식 1>을 텐서 연산으로 다시 표현한 수학식이다.Equation (2) is a mathematical expression re-expressing Equation (1) by a tensor operation.
텐서 연산은 얼굴 정체성 값, 얼굴 표정 값, 얼굴 구조체 (vertex) 정보를 서로 파라미터화(parameterized)하기 위한 식이다.The tensor operation is an expression for parameterizing the face identity value, the facial expression value, and the face structure information (vertex) with each other.
상기한 분석부(200)가 사용자 얼굴 정보로부터 추출한 얼굴 정체성 값, 얼굴 표정 값, 얼굴 크기 정보, 얼굴 위치 정보, 얼굴 회전 정보 및 카메라 정보는 다음과 같이 렌더링 과정에서 사용될 수 있다.The facial identity value, facial expression value, facial size information, facial position information, facial rotation information, and camera information extracted from the user facial information by the analyzing
<수학식3>&Quot; (3) "
<수학식 3>은 <수학식 1>로 계산되는 3D 얼굴 모델이 인터페이스부(100)를 통하여 실제 화면에서 사용자에게 보여지며 모델링 될 때의 수학식에 해당한다.Equation (3) corresponds to a mathematical expression when a 3D face model calculated by Equation (1) is displayed to a user on an actual screen through the
<수학식 3>에서 3D Model은 실제 화면에서 사용자에게 보여지는 3D 모델, s는 얼굴 크기 정보, P는 카메라 정보, R은 얼굴 회전 정보, T는 얼굴 위치 정보에 해당한다.In Equation (3), the 3D model corresponds to the 3D model shown to the user on the actual screen, s corresponds to face size information, P corresponds to camera information, R corresponds to face rotation information, and T corresponds to face position information.
즉, 실제 화면에서 사용자에게 보여지는 3D 모델은 Cr, Wid 및 Wexp로 표현되는 <수학식 1>의 3D 얼굴 모델을 회전(R)을 시키고 크기 조정(s)과 카메라 프로젝션(P)을 한 후, 위치를 조정(T)하여 표현된다.That is, the 3D model shown to the user on the actual screen rotates the 3D face model of Equation (1) represented by Cr, W id, and W exp , and resizes (S) and camera projection (P) , And then adjusted by adjusting the position (T).
<수학식 4>&Quot; (4) "
<수학식 4>는 본 발명의 표정 연습 시스템에서 <수학식 3>의 3D 얼굴 모델을 카메라로부터 받아온 촬영 정보에 최적화를 할 때 사용되는 목적 함수(Objective Function)이다. 즉, 영상에 나타난 얼굴을 3차원 얼굴 모델로 복원 할 때 사용되는 목적함수를 의미한다.Equation (4) is an objective function used in optimizing the 3D face model of Equation (3) from the camera in the face exercise program of the present invention. That is, it means an objective function used when restoring the face shown in the image to the 3D face model.
여기서 n은 3D 얼굴 모델의 특징점(Feature Point)과 거기에 해당하는 의미를 갖는 얼굴 영상에서의 특징점의 개수이고, Xi 3d는 3D 얼굴 모델의 특징점이고, Xi 2d는 그에 해당하는 의미를 갖는 얼굴 영상에서의 특징점, (X)는 해당 특징점 X의 특징 벡터 또는 묘사자(Feature vector 또는 Descriptor), s 는 3D 얼굴 크기 정보, P 는 카메라 정보, R은 얼굴 회전 정보, T 는 얼굴 위치 정보이다.Here, n is the number of feature points in the face image having the feature point of the 3D face model and the corresponding meaning, X i 3d is the feature point of the 3D face model, and X i 2d has the corresponding meaning (X) is the feature vector or descriptor of the feature point X, s is the 3D face size information, P is the camera information, R is the face rotation information, and T is the face position information .
여기서, 특징점은 얼굴 모델의 표정을 결정 짓는 지점을 의미하는 것으로서, 시각적으로 분별하기 쉬운 특징을 가지고 있는 점을 의미한다. 예를 들면, 눈이나 입의 모양을 정의하는 외곽선, 눈꺼풀의 라인 포인트, 눈썹의 외곽 선 들이 예시될 수 있다.Here, the minutia refers to a point at which the facial expression of the facial model is determined, which means that it has a feature that is easily recognizable visually. For example, an outline defining the shape of an eye or a mouth, a line point of an eyelid, and an outline of an eyebrow may be exemplified.
또한, 특징 벡터란 특징점을 영상 정보가 아닌 다른 차원의 정보로 표현하는 것을 의미한다. In addition, the feature vector means that the feature points are represented by information of dimensions other than image information.
이 때, dist[]는 두 벡터간의 거리를 나타내며 코사인 거리(Cosine Distance), 유클리디안 거리(Euclidean Distance), 해밍 거리(Hamming Distance) 중 적어도 하나의 측정치를 이용하여 유사도를 판단할 수 있다. In this case, dist [] represents the distance between two vectors, and the degree of similarity can be determined using at least one of a cosine distance, an Euclidean distance, and a Hamming distance.
여기서, 코사인 거리는 두 데이터 간의 유사도를 코사인 연산으로 알아내는 방법을 의미하고, 유클리디안 거리는 두 데이터 간의 유사도를 L2 norm으로 알아배는 방법을 의미하며, 해밍 거리는 두 데이터 간의 유사도를 각 데이터를 구성하는 요소간 차이나는 부분의 개수로 측정하는 방법을 의미한다.Here, the cosine distance means a method of finding the similarity between two data by a cosine calculation. The Euclidean distance means a method of knowing the similarity between two data by L2 norm. The Hamming distance indicates a degree of similarity between the two data, The difference between the elements means the method of measuring the number of parts.
또한, (X) 는 합성곱 신경망(Convolutional Neural Network) 혹은 심층 신경망 (Deep Neural Network)을 이용한 특징추출 (Feature Extraction)을 통한 특징벡터를 사용할 수 있다. In addition, (X) can use feature vectors through Feature Extraction using Convolutional Neural Network or Deep Neural Network.
여기서 심층 신경망은 기존의 신경 망(Neural Network)를 확장하여 Convolution Layer, Pooling Layer, Normalization Layer, Recurrent Layer 등의 조합으로 구성된 네트워크를 사용하는 학습 기법을 의미한다. Here, the deep neural network refers to a learning technique using a network composed of a combination of a convolution layer, a pooling layer, a normalization layer, and a recurrent layer by extending an existing neural network.
<수학식4>를 풀기 위해서 경사 하강법(Gradient Descent), 연속된 리그레서(Cascade Regressor)를 통한 리그레션(regression) 방법, 반복 신경망(Recurrent Neural Network)을 통한 방법 중 어느 하나 이상을 사용할 수 있다.In order to solve Equation (4), at least one of a gradient descent method, a regression method using a continuous regressor, and a method using a recurrent neural network can be used have.
여기서 경사 하강법은 미분 개념을 활용한 방법으로써, 현재의 위치에서 기울기(Gradient)에 비례하여 단계적으로 함수의 최소 또는 최대에 접근하는 점근적인 알고리즘을 의미한다. 즉, 주어진 문제의 최소 또는 최대값을 찾기 위해 문제의 해답의 초기 예상 값부터 시작해서 경사(Gradient)를 따라 탐색해 나가는 방법을 의미한다.The slope descent method is a method using the differential concept, which means an asymptotic algorithm that approaches the minimum or maximum of the function step by step in proportion to the gradient at the current position. That is, it means searching along the gradient starting from the initial estimate of the solution of the problem to find the minimum or maximum value of the given problem.
또한, 연속된 리그레서를 통한 리그레션 방법은 함수의 최소 또는 최대 값을 구하기 위해 기존의 문제에서 해답을 구하는 과정을 미리 학습한 연속된 리그레서를 연속적으로 적용하면서 탐색하는 알고리즘을 의미한다. 이 때, 리그레서(Regressor)로서, 문제를 다른 차원의 특징 공간(Feature Space)으로 표현하여 해당 특징 공간에서의 반복적인 선형 결합으로 문제의 해를 구하는 연속된 선형 리그레서(Cascade Linear Regressor), 문제를 트리나 FERN 구조의 특징 벡터들의 연속된 조합으로 해를 구하는 트리 기반 리그레서(Tree bases Regressor)등을 예시할 수 있다.In addition, the regression method through the continuous regressor means an algorithm that continuously searches for a series of regressors by learning a solution to an existing problem in order to obtain a minimum or maximum value of a function. In this case, as a regressor, a continuous linear regressor that expresses a problem as a feature space of another dimension and obtains a solution of the problem by repetitive linear combination in the feature space, A tree-based regressor for solving a problem by successive combinations of characteristic vectors of a tree or FERN structure, and the like.
또한, 반복 신경 망은 신경망(Neural Network)을 구성할 때, 데이터의 방향이 앞으로만 진행하는(Feed Forward) 것이 아닌, 앞뒤 양방향으로 진행할 수 있는 (Recurrent) 반복적인 순환 구조를 특징으로 하는 신경망을 의미한다.In addition, when a neural network is constructed, the neural network is characterized by a repetitive cyclic structure in which the direction of data is not forward feed forward but can proceed both forward and backward (Recurrent) it means.
분석부(200)는 촬영 정보로부터 사용자 얼굴 정보를 생성하기 위하여 Adaboost(Adaptive Boosting) 및 합성곱 신경망(Convolutional Neural Network)를 사용할 수 있다.The
여기서 Adaboost와 나선형 신경망은 모두 기계 학습(Machine Learning)에 사용되는 알고리즘이다. Adaboost는 약한 분류기를 연속적으로 결합하여 더 강력한 분류기를 만드는 방법을 의미하고, 다른 종류의 학습 알고리즘과 같이 쓰임으로써 그 성능을 증대시킬 수 있다. 또한, 나선형 신경망은 다량의 데이터 속에서 일정한 패턴을 파악해 낼 수 있도록 해주는 인공 신경망(Artificial Neural Network)의 일종이다.Here, both Adaboost and Spiral Neural Network are algorithms used for Machine Learning. Adaboost means to create a stronger classifier by combining weak classifiers successively, and it can be increased by using it with other kinds of learning algorithms. In addition, spiral neural network is a type of artificial neural network that allows a certain pattern to be grasped in a large amount of data.
분석부(200)가 촬영 정보를 분석할 때 사용될 수 있는 방법으로서, 경사하강법, 연속된 리그레서를 통한 리그레션 방법 중 적어도 어느 하나 이상을 포함하는 방법을 사용할 수 있다.As a method that can be used when the
또한, 분석부(200)는 촬영 정보를 분석할 때, 표정 가이드 모델을 렌더링 할 때, 사용되는 대응 정보(Corresponding Information)로써 영상의 이미지를 다른 차원의 묘사자(Descriptor)로 표현하는 다양한 기법 중, 합성곱 필터(Convolution filter)를 학습하여 Convolution을 포함한 다층 레이어의 연산으로 특징(Feature)을 표현하는 합성곱 신경망(Convolutional Neural Network)을 이용하여 얻은 특징 또는 묘사자를 사용할 수 있다.In addition, the
비교부(300)는 연습 얼굴 모델의 얼굴 표정 값(제1 얼굴 표정 값) 및 사용자 얼굴 정보를 수신하고 이에 대응하여 표정 가이드 모델을 생성한다. 또한, 표정 가이드 모델과 사용자 얼굴 정보를 비교한 비교 정보를 인터페이스부(100)에 제공한다.The
여기서 표정 가이드 모델은 사용자가 연습 대상으로 삼은 표정을 사용자의 얼굴 형상에 맞도록 생성한 3D 모델을 의미한다. 따라서 표정 가이드 모델은 인터페이스부(100)로부터 제공받은 얼굴 표정 값(제1 얼굴 표정 값)과 분석부(200)로부터 제공받은 사용자 얼굴 정보의 얼굴 정체성 값, 얼굴 크기 정보, 얼굴 회전 정보, 얼굴 위치 정보 및 카메라 정보를 이용하여 생성될 수 있다.Here, the expression guide model refers to a 3D model in which a user has created a facial expression that the user has practiced to match the face shape of the user. Accordingly, the facial expression guide model may include a facial expression value (first facial expression value) provided from the
비교부(300)는 촬영 정보에서 사용자의 얼굴이 위치하는 전체 영역 또는 일부 영역에 표정 가이드 모델을 렌더링할 수 있다.The comparing
즉, 비교부(300)는 사용자의 얼굴을 3D 모델로 복원한 표정 가이드 모델을 생성하고, 표정 가이드 모델을 화면상 사용자의 얼굴 위치, 크기, 회전 정도에 알맞게 렌더링 할 수 있다. That is, the
비교부(300)는 표정 가이드 모델을 렌더링 할 때, 투명하거나 반투명하게 처리하여 렌더링할 수 있다. 촬영 정보에 나타나는 사용자의 얼굴에 사용자가 따라해야할 표정 가이드 모델을 투명하거나 반투명하게 렌더링함으로써, 사용자는 촬영 정보에 나타나는 자신의 얼굴에 증강된 표정 가이드 모델을 따라 표정 연습을 할 수 있게된다.When the facial expression guide model is rendered, the comparing
또한, 비교부(300)는 표정 가이드 모델을 렌더링할 때, 표정 가이드 모델의 특징점 만을 추출하여 상기 촬영 정보에 포함된 상기 사용자의 얼굴에 렌더링 할 수 있다. Also, when the facial expression guide model is rendered, the comparing
즉, 사용자는 촬영 정보에 포함된 자신의 얼굴 형상을 가지는 표정 가이드 모델의 표정을 따라 표정 연습을 할 수 있다. 또한, 비교부(300)는 표정 가이드 모델과 사용자 얼굴 정보를 비교하여 비교 정보를 인터페이스부(100)에 제공하며, 인터페이스부(100)가 비교 정보를 사용자에게 디스플레이 한다.That is, the user can exercise the facial expression in accordance with the expression of the facial expression guide model having his / her facial shape included in the photographing information. Also, the
비교부(300)는 표정 가이드 모델과 사용자 얼굴 정보를 비교할 때, 표정 가이드 모델의 얼굴 표정 값(제1 얼굴 표정 값)과 사용자 얼굴 정보의 얼굴 표정 값(제2 얼굴 표정 값)간의 유사도를 판단하여 비교할 수 있다. When comparing the facial expression guide model and the user's face information, the comparing
또한, 비교부(300)는 표정 가이드 모델과 사용자 얼굴 정보를 비교할 때, 표정 가이드 모델과 사용자 얼굴 정보의 특징점을 나타내는 정점(vertex) 의 위치 유사도를 판단하여 비교할 수 있다. Also, when comparing the facial expression guide model and the user face information, the comparing
이 때, 비교부(300)는 얼굴 표정 값 간의 차이나 특징점의 위치간 거리를 코사인 거리(Cosine Distance), 유클리디안 거리(Euclidean Distance), 해밍 거리(Hamming Distance) 중 적어도 어느 하나의 이상의 측정치를 이용하여 유사도를 판단할 수 있다.At this time, the
비교부(300)는 사용자 얼굴 정보와 표정 가이드 모델의 유사도를 판단하여 임계점 이상의 유사도를 가지는 경우, 사용자의 표정 연습이 성공적으로 완료되었다고 판단할 수 있다.The comparing
여기서 임계점은 사용자의 표정이 얼마나 연습 대상으로 삼은 표정과 유사 하여야 비교부(300)가 표정 연습이 완료 되었다고 볼 것인지를 의미한다. 임계점은 사용자에 의해 임의로 설정될 수 있다.Here, the critical point means whether the
비교부(300)는 사용자 얼굴 정보와 표정 가이드 모델 간의 차이를 나타내기 위한 시각적 주석(Visual annotation)을 포함하여 비교 정보를 제공할 수 있다. 시각적 주석은 사용자가 자신의 얼굴 표정을 어떻게 바꾸어야 할지에 대한 가이드 역할을 한다. 즉, 시각적 주석은 표정 가이드 모델과 사용자 얼굴 정보간 차이가 나는 부분을 동시에 증강함으로써 표정 연습 정도에 대한 피드백을 줄 수 있고, 어느 방향으로 어느 부위를 더 움직여야 하는지를 알 수 있다. 시각적 주석은 표정 연습에 있어서 사용자가 변화 시켜야 할 얼굴 부위의 직관적인 이해를 돕기 위한 것이며, 시각적 주석은 화살표나 점선 등의 기호나 그림, 동영상, 문자 등의 미디어 정보를 해당 위치에 나타냄으로써 표시될 수 있다. The comparing
도 2는 본 발명의 다른 실시예를 나타내는 블록도이다.2 is a block diagram showing another embodiment of the present invention.
도 2를 참고하면, 본 발명의 일 실시예는 인터페이스부(100), 분석부(200) 및 비교부(300)를 포함한다. 도 2의 실시예에서 도 1의 실시예와 중복되는 구성이나 효과의 기재는 생략한다.Referring to FIG. 2, an embodiment of the present invention includes an
도 2의 실시예는 사용자가 인터페이스부(100)를 통하여 촬영 정보와 이미지 정보를 제공하는 경우에 대한 실시예이다. 여기서 이미지 정보는 표정 연습의 대상이 되는 얼굴이 포함된 영상 또는 사진 파일일 수 있다.The embodiment of FIG. 2 is an embodiment in which a user provides shooting information and image information through the
도 2의 실시예는 도 1의 실시예와 달리 데이터베이스(400)에 저장되어있는 연습 얼굴 모델을 사용하는 것이 아니므로, 표정 연습을 위해선 이미지 정보로부터 얼굴 표정 값(제1 얼굴 표정 값)을 분석해내야 한다.Since the embodiment of FIG. 2 does not use the practice face model stored in the
이미지 정보가 영상 파일인 경우, 분석부(200)는 영상 파일에 포함된 얼굴을 분석하여 적어도 하나 이상의 표정이 연속된 시퀀스로 구성되며 시간의 흐름에 따라 변하는 얼굴 표정 값(제1 얼굴 표정 값)을 제공할 수 있다.If the image information is an image file, the
이미지 정보가 사진 파일인 경우, 분석부(200)는 사진 파일에 포함된 얼굴을 분석하여 얼굴 표정 값(제1 얼굴 표정 값)을 제공할 수 있다.If the image information is a photo file, the
즉, 도 2의 실시예는 도 1과 달리 데이터베이스에 이미 저장되어있는 연습 얼굴 모델 중 하나를 표정 연습 대상으로 선택하는 경우와 달리, 사용자가 별도의 이미지 정보로서 영상 또는 사진 파일을 표정 연습의 대상으로 삼고자 하는 경우의 실시예이다.In other words, unlike the case of selecting one of the practice face models already stored in the database, unlike in FIG. 1, the embodiment of FIG. 2 selects a video or photo file as separate image information As shown in Fig.
분석부(200)는 촬영 정보 및 이미지 정보를 수신하고 분석하며 촬영 정보에 포함된 사용자의 얼굴에 대응하는 사용자 얼굴 정보를 생성하며, 이미지 정보의 얼굴 표정 값(제1 얼굴 표정 값)을 제공한다. The
분석부(200)는 도 1의 실시예에서 촬영 정보를 분석하는 것과 같은 방법으로 영상 또는 사진 파일로 구성된 이미지 정보를 분석하여 연습 얼굴 모델을 생성하고 해당 연습 얼굴 모델의 얼굴 표정 값(제1 얼굴 표정 값)을 추출하여 비교부(300)에 제공할 수 있다.1, the analyzing
비교부(300)는 분석부(200)로부터 제공받은 사용자 얼굴 정보와 얼굴 표정 값(제1 얼굴 표정 값)에 대응하여 표정 가이드 모델을 생성하고, 표정 가이드 모델과 사용자 얼굴 정보를 비교한 비교 정보를 인터페이스부(100)에 제공할 수 있다.The
도 2의 실시예는 분석부(200)가 분석한 이미지 정보 및 이미지 정보의 얼굴 표정 값(제1 얼굴 표정 값)을 저장하고, 인터페이스부(100)의 요청에 대응하여 해당 이미지 정보 및 이미지 정보의 얼굴 표정 값(제1 얼굴 표정 값)을 제공하는 데이터베이스(400)를 더 포함할 수 있다.The embodiment of FIG. 2 stores the facial expression values (first facial expression values) of the image information and the image information analyzed by the
도 3은 도 1의 인터페이스부(100)가 제공하는 촬영 정보를 생성하기 위한 촬영 방법에 대한 도면이다.FIG. 3 is a diagram of a photographing method for generating photographing information provided by the
도 3을 참조하면, 본 발명은 사용자를 촬영하거나 인식할 수 있는 카메라나 얼굴 인식 센서를 구비한 장치(예: 스마트 디바이스, 노트북, 데스크탑 등)에서 실시될 수 있다.Referring to FIG. 3, the present invention can be implemented in a device (e.g., a smart device, a notebook, a desktop, or the like) having a camera or a face recognition sensor capable of photographing or recognizing a user.
도 4는 얼굴 정체성 값과 얼굴 표정 값에 따라 분류될 수 있는 다양한 얼굴모델에 대한 도면이다. 도 4를 참조하면, 가로축이 얼굴 정체성 값(Wid), 세로축이 얼굴 표정 값(Wexp)의 변화를 나타낸다. 같은 얼굴 정체성 값(Wid)를 가지더라도 얼굴 표정 값(Wexp)의 변화에 따라 다양한 표정을 가질 수 있고, 같은 얼굴 표정 값(Wexp)를 가지더라도 얼굴 정체성 값(Wid)에 따라 얼굴 형상이 달라질 수 있음을 알 수 있다.4 is a diagram of various face models that can be classified according to facial identity values and facial expression values. Referring to FIG. 4, the horizontal axis represents the face identity value (W id ), and the vertical axis represents the change in the facial expression value (W exp ). Such as facial identity value (W id) branches even facial value according to the change of (W exp) can have a variety of expressions, such as facial expression values (W exp) branches even face identity value of the face according to the (W id) It can be seen that the shape can be changed.
도 5는 사용자가 연습 얼굴 모델을 수정하는 방법을 예시하는 도면이다. 도 5를 참조하면, 사용자는 51, 52와 같이 얼굴 표정 값을 나타내는 파라미터를 수정하여 얼굴 표정 값을 직접 수정하는 식으로 연습 얼굴 모델을 수정할 수 도 있고, 53과 같이 화면에 나타나는 연습 얼굴 모델의 표정을 직접 터치하거나 클릭하여 관련된 부위의 얼굴 표정 값을 간접적으로 수정할 수도 있다.5 is a diagram illustrating a method by which a user modifies an exercise face model. 5, the user can modify the exercise face model by directly modifying the face expression value by modifying the parameter representing the face expression value, such as 51 and 52, and the user can modify the exercise face model The facial expression value of the relevant site can be indirectly modified by directly touching or clicking the facial expression.
도 6은 도 2의 이미지 정보가 사진 파일인 경우를 예시한 도면이다. 도6을 참조하면, 사용자가 이미지(61)가 포함된 사진 파일을 인터페이스부(100)를 통하여 입력한 경우를 예시할 수 있다. 분석부(200)는 이미지(61)에 포함된 얼굴을 인식(62)하고 분석하여 연습 얼굴 모델(63, 64, 65)을 생성하고, 해당 연습 얼굴 모델의 얼굴 표정 값을 추출하여 비교부(300)에 전달할 수 있다.FIG. 6 is a diagram illustrating a case where the image information of FIG. 2 is a picture file. Referring to FIG. 6, a case where a user inputs a photo file including an
도 7은 사용자가 데이터베이스(400)에 저장된 연습 얼굴 모델 중 표정 연습의 대상이 되는 연습 얼굴 모델을 선택하는 방법을 예시한 도면이다. 도 7을 참조하면, 인터페이스부(100)는 데이터베이스(400)에 저장된 다양한 연습 얼굴 모델을 사용자에게 제시하여, 사용자가 연습 얼굴 모델을 선택할 수 있도록 한다.FIG. 7 is a diagram illustrating a method for the user to select an exercise face model to be subjected to a face exercise exercise among the exercise face models stored in the
도 8은 비교부(300)가 표정 가이드 모델을 렌더링 하는 것을 예시하기 위한 도면이다. 도 8을 참조하면, 표정 가이드 모델(82 또는 83)이 촬영 정보에 포함된 사용자의 얼굴이 위치하는 영역에 얼굴 크기, 얼굴 회전, 카메라 정보 등을 고려하여 렌더링 되는 것(81)을 알 수 있다.8 is a diagram for illustrating that the
도 9는 비교부(300)가 표정 가이드 모델을 렌더링 하는 것을 예시하기 위한 다른 도면이다. 도 9를 참조하면, 비교부(300)는 촬영 정보에서 사용자의 얼굴이 위치하는 영역에 표정 가이드 모델(93)을 투명하거나 반투명하게 처리하여 렌더링할 수 있다(91). 또한, 비교부(300)는 촬영 정보에서 사용자의 얼굴이 위치하는 영역에 상기 표정 가이드 모델(93)의 특징점을 추출하여 렌더링(92)할 수 있다.9 is another diagram for illustrating that the
도 10은 비교부(300)가 시각적 주석을 표시하는 것을 예시하기 위한 도면이다. 도 10을 참조하면, 사용자가 표정 가이드 모델을 쉽게 따라 할 수 있도록 사용자의 입 주위에 화살표로 표시한 것을 알 수 있다.10 is a diagram for illustrating that the
도 11은 사용자가 표정 가이드 모델을 따라서 표정 연습을 완료한 것을 예시하는 도면이다. 도 11을 참조하면, 사용자가 표정 가이드 모델과 유사하게 따라하는 경우, 비교부(300)는 사용자 얼굴 정보와 표정 가이드 모델이 임계점 이상의 유사도를 가지는지 판단한다. 비교부(300)는 임계점 이상의 유사도를 가진다고 판단되는 경우 사용자의 표정 연습이 성공적으로 완료된 것으로 본다.Fig. 11 is a diagram illustrating that the user completes the expression exercise according to the facial expression guide model. Referring to FIG. 11, when the user follows the facial expression guide model, the comparing
도 12는 도 1의 표정 연습 시스템에 따라 표정 연습을 하는 과정을 나타낸 순서도이다. FIG. 12 is a flowchart showing a process of exercising facial expression according to the facial expression exercise system of FIG.
도 12를 참조하면, 인터페이스부(100)는 사용자에게 연습 얼굴 모델을 제시하고, 사용자는 그 중에서 표정 연습의 대상으로 연습 얼굴 모델을 선택한다(S1).Referring to FIG. 12, the
인터페이스부(100)는 비교부(300)에 사용자가 선택한 연습 얼굴 모델의 얼굴 표정 값(제1 얼굴 표정 값)을 제공한다(S2). The
분석부(200)는 인터페이스부(100)로부터 제공받은 촬영 정보를 이용하여 사용자 얼굴 정보를 생성한다(S3).The
비교부(300)는 사용자가 선택한 연습 얼굴 모델의 얼굴 표정 값(제1 얼굴 표정 값)과 사용자 얼굴 정보의 얼굴 정체성 값 등을 이용하여 표정 가이드 모델을 생성한다(S4).The comparing
비교부(300)는 사용자 얼굴 정보와 표정 가이드 모델을 비교하여 유사도가 임계값 이상인지 판단한다(S5).The comparing
비교부(300)의 판단 결과, 유사도가 임계값보다 낮다면 사용자의 표정 연습이 실패한 것이므로 다시 앞선 단계로 돌아간다.If it is determined that the similarity degree is lower than the threshold value as a result of the
비교부(300)의 판단 결과, 유사도가 임계값 이상이라면 사용자가 성공적으로 표정 연습을 한 것이므로, 표정 가이드 모델이 시퀀스로 이루어진 것인지 판단한다(S6)If it is determined that the similarity degree is equal to or greater than the threshold value as a result of the comparison, the user determines whether the facial expression guide model is composed of a sequence (S6)
표정 가이드 모델이 시퀀스가 아닌 단일 표정이라면 표정 연습을 종료하고, 표정 가이드 모델이 시퀀스로 이루어져 있다면 다음 시퀀스를 표정 연습 대상으로 하여 다시 표정 연습 단계로 돌아간다.If the facial expression guide model is a single facial expression rather than a sequence, the facial expression practice is terminated. If the facial expression guide model is composed of a sequence, the following sequence is used as a facial expression practice.
상술한 것과 같이 본 발명은 실시간으로 사용자의 표정을 인식하고 분석, 평가하는 표정 연습 시스템을 제공할 수 있다. 또한, 본 발명은 사용자마다 다른 얼굴 유형을 고려한 표정 연습 기능을 제공한다. 또한, 본 발명은 데이터베이스에 입력되어있지 않은 다양한 표정에 대해서도표정 연습이 가능토록 한다. 또한, 본 발명을 통하여 시간의 흐름에 따른 표정의 변화를 연습할 수 있다.As described above, the present invention can provide a facial expression exercising system for recognizing, analyzing and evaluating facial expressions of a user in real time. In addition, the present invention provides a facial expression exercising function considering different facial types for each user. In addition, the present invention allows facial expression exercises for various facial expressions that are not input in the database. Further, the present invention can practice the change of the expression according to the passage of time.
100 : 인터페이스부 200 : 분석부
300 : 비교부 400 : 데이터베이스100: interface unit 200: analysis unit
300: comparison unit 400: database
Claims (25)
상기 촬영 정보를 분석하여 상기 사용자의 얼굴을 3D로 복원한 사용자 얼굴 모델을 포함하는 사용자 얼굴 정보를 생성하는 분석부;
상기 제1 얼굴 표정 값 및 상기 사용자 얼굴 정보에 대응하여 표정 가이드 모델을 생성하고, 상기 표정 가이드 모델과 상기 사용자 얼굴 정보를 비교한 비교 정보를 상기 인터페이스부에 제공하는 비교부; 및
상기 연습 얼굴 모델을 저장하고, 상기 인터페이스부의 요청에 대응하여 해당 상기 연습 얼굴 모델을 제공하는 데이터베이스; 를 포함하고,
상기 제1 얼굴 표정 값은 상기 연습 얼굴 모델의 표정을 수치화한 값인 것을 특징으로 하는 표정 연습 시스템.An interface unit for providing photographing information photographed by a user, presenting a practice face model for user's facial expression exercises to a user, and transmitting a first facial expression value of the practice face model selected by the user;
An analysis unit for generating user face information including a user face model obtained by analyzing the photographing information and restoring the face of the user in 3D;
A comparison unit for generating a facial expression guide model corresponding to the first facial expression value and the user facial information and providing comparison information obtained by comparing the facial expression guide model and the user facial information to the interface unit; And
A database for storing the exercise face model and providing the exercise face model in response to a request of the interface unit; Lt; / RTI >
Wherein the first facial expression value is a value obtained by digitizing a facial expression of the practice face model.
상기 사용자가 상기 연습 얼굴 모델의 표정을 수정하면 수정된 상기 연습 얼굴 모델의 상기 제1 얼굴 표정 값을 전달하는 것을 특징으로 하는 표정 연습 시스템.2. The apparatus of claim 1, wherein the interface
And when the user corrects the face of the exercise face model, the first face expression value of the modified exercise face model is delivered.
상기 사용자가 상기 연습 얼굴 모델의 표정을 수정하면 수정된 상기 연습 얼굴 모델을 저장하는 것을 특징으로 하는 표정 연습 시스템. 3. The method of claim 2, wherein the database
And the user stores the modified exercise face model when the user corrects the expression of the practice face model.
적어도 하나 이상의 표정이 연속된 시퀀스로 구성되는 상기 연습 얼굴 모델의 상기 제1 얼굴 표정 값을 전달하는 것을 특징으로 하는 표정 연습 시스템.2. The apparatus of claim 1, wherein the interface
Wherein the first facial expression value of the training face model is composed of at least one sequence of consecutive facial expressions.
상기 제1 얼굴 표정 값에 대응하여 연속된 시퀀스로 구성되고, 시간의 흐름에 따라 표정이 변하는 것을 특징으로 하는 표정 연습 시스템.5. The method according to claim 4,
And the second face is composed of a series of consecutive sequences corresponding to the first facial expression, and the facial expression changes with the passage of time.
경사 하강법(Gradient Descent), 연속된 리그레서를 통한 리그레션 방법(Cascade Regressor) 중 적어도 어느 하나 이상을 사용하여 상기 촬영 정보를 분석 하는 것을 특징으로 하는 표정 연습 시스템.The apparatus of claim 1, wherein the analyzing unit
Wherein the photographing information is analyzed using at least one of a gradient descent method, a regression method using a continuous regressor, and a cascade regressor.
상기 촬영 정보를 실시간으로 분석하여 상기 사용자 얼굴 정보를 생성하는 것을 특징으로 하는 표정 연습 시스템.The apparatus of claim 1, wherein the analyzing unit
Wherein the facial expression information is generated by analyzing the photographing information in real time.
상기 사용자 얼굴 모델, 상기 사용자 얼굴 정보로부터 추출된 얼굴 정체성 값과 제2 얼굴 표정 값에 대한 정보를 포함하고,
상기 얼굴 정체성 값은 얼굴 형상의 종류를 수치화한 값이며,
상기 제2 얼굴 표정 값은 상기 사용자 얼굴 모델의 표정을 수치화한 값인 것을 특징으로 하는 표정 연습 시스템.The method of claim 1,
The user's face model, the face identity value extracted from the user's face information, and the information about the second facial expression value,
The face identity value is a value obtained by digitizing the type of the face shape,
Wherein the second facial expression value is a value obtained by digitizing a facial expression of the user facial model.
상기 사용자 얼굴 정보로부터 추출된 얼굴 크기 정보, 얼굴 위치 정보, 얼굴 회전 정보 및 카메라 정보를 더 포함하는 표정 연습 시스템.9. The method according to claim 8,
And further comprising face size information, face position information, face rotation information, and camera information extracted from the user face information.
상기 제1 얼굴 표정 값과 상기 사용자 얼굴 정보의 상기 얼굴 정체성 값, 상기 얼굴 크기 정보, 상기 얼굴 위치 정보, 상기 얼굴 회전 정보 및 상기 카메라 정보를 이용하여 상기 표정 가이드 모델을 생성하는 것을 특징으로 하는 표정 연습 시스템.10. The apparatus of claim 9, wherein the comparing unit
Wherein the facial expression model generating unit generates the facial expression guide model using the facial identity value, the facial size information, the facial position information, the facial rotation information, and the camera information of the first facial expression value and the user facial information Exercise system.
상기 표정 가이드 모델과 상기 사용자 얼굴 정보를 비교할 때, 상기 제1 얼굴 표정 값과 상기 제2 얼굴 표정 값 간의 유사도를 판단하는 것을 특징으로 하는 표정 연습 시스템.11. The apparatus of claim 10, wherein the comparing unit
Wherein the degree of similarity between the first facial expression value and the second facial expression value is determined when comparing the facial expression guide model and the user facial information.
상기 유사도를 판단할 때, 코사인 거리(Cosine Distance), 유클리디안 거리(Euclidean Distance) 및 해밍 거리(Hamming Distance) 중 적어도 어느 하나 이상을 이용하는 것을 특징으로 하는 표정 연습 시스템. 12. The apparatus of claim 11, wherein the comparing unit
Wherein at least one of a cosine distance, an Euclidean distance, and a Hamming distance is used when determining the degree of similarity.
상기 표정 가이드 모델과 상기 사용자 얼굴 정보를 비교할 때, 상기 표정 가이드 모델과 상기 사용자 얼굴 모델의 특징점을 나타내는 정점(vertex)의 위치의 유사도를 판단하는 것을 특징으로 하는 표정 연습 시스템. 9. The apparatus of claim 8, wherein the comparing unit
Wherein the degree of similarity between the facial expression guide model and a position of a vertex indicating a feature point of the user facial model is determined when comparing the facial expression guide model and the user facial information.
상기 유사도를 판단할 때, 코사인 거리(Cosine Distance), 유클리디안 거리(Euclidean Distance) 및 해밍 거리(Hamming Distance) 중 적어도 어느 하나 이상을 이용하는 것을 특징으로 하는 표정 연습 시스템. 14. The apparatus of claim 13, wherein the comparing unit
Wherein at least one of a cosine distance, an Euclidean distance, and a Hamming distance is used when determining the degree of similarity.
상기 사용자 얼굴 모델과 상기 표정 가이드 모델 간의 차이를 나타내기 위한 시각적 주석을 포함하는 상기 비교정보를 제공하는 것을 특징으로 하는 표정 연습 시스템.9. The apparatus of claim 8, wherein the comparing unit
And providing the comparison information including a visual annotation for indicating a difference between the user's face model and the facial expression guide model.
상기 사용자 얼굴 모델과 상기 표정 가이드 모델의 유사도를 판단하여 임계점 이상의 상기 유사도를 가지는 경우, 상기 사용자의 표정 연습이 성공적으로 완료된 것으로 판단하는 표정 연습 시스템.9. The apparatus of claim 8, wherein the comparing unit
Determining a degree of similarity between the user's face model and the facial expression guide model and determining that the user's facial expression exercises have been successfully completed when the similarity degree is equal to or greater than a critical point.
상기 사용자에 의하여 임의로 설정될 수 있는 것을 특징으로 하는 표정 연습 시스템.17. The method of claim 16,
Wherein the user can be arbitrarily set by the user.
상기 촬영 정보에서 상기 사용자의 얼굴이 위치하는 영역에 상기 표정 가이드 모델을 렌더링하는 것을 특징으로 하는 표정 연습 시스템.The apparatus of claim 1, wherein the comparing unit
Wherein the facial expression model is rendered in an area where the face of the user is located in the photographing information.
상기 표정 가이드 모델을 렌더링 할때, 상기 표정 가이드 모델의 특징점을 추출하여 렌더링하는 것을 특징으로 하는 표정 연습 시스템.19. The apparatus of claim 18, wherein the comparing unit
And extracting and rendering the feature points of the facial expression guide model when rendering the facial expression guide model.
상기 표정 가이드 모델을 렌더링 할때, 상기 표정 가이드 모델을 투명하거나 반투명하게 처리하여 렌더링하는 것을 특징으로 하는 표정 연습 시스템.19. The apparatus of claim 18, wherein the comparing unit
Wherein when the facial expression guide model is rendered, the facial expression model is rendered transparent or translucent.
상기 표정 가이드 모델을 렌더링 할때, 상기 촬영 정보에서 상기 사용자의 얼굴이 위치하는 전체 영역 또는 일부 영역에 렌더링하는 것을 특징으로 하는 표정 연습 시스템.19. The apparatus of claim 18, wherein the comparing unit
And when the facial expression model is rendered, the facial expression model is rendered in the entire area or a part of the area where the user's face is located in the photographing information.
상기 촬영 정보 및 상기 이미지 정보를 수신하고 분석하며, 상기 촬영 정보에 포함된 상기 사용자의 얼굴을 3D로 복원한 사용자 얼굴 모델을 포함하는 사용자 얼굴 정보 및 상기 이미지 정보의 제1 얼굴 표정 값을 제공하는 분석부; 및
상기 사용자 얼굴 정보와 상기 제1 얼굴 표정 값에 대응하여 표정 가이드 모델을 생성하고, 상기 표정 가이드 모델과 상기 사용자 얼굴 정보를 비교한 비교 정보를 상기 인터페이스부에 제공하는 비교부; 를 포함하고,
상기 제1 얼굴 표정 값은 얼굴 표정을 수치화한 값인 것을 특징으로 하는 표정 연습 시스템.An interface unit for providing photographing information photographed by a user and image information for comparing the photographing information;
The user's face information including the user's face model in which the photographing information and the image information are received and analyzed and the user's face included in the photographing information is restored in 3D and a first facial expression value of the image information Analysis section; And
A comparison unit for generating a facial expression guide model corresponding to the user facial information and the first facial expression value and providing comparison information for comparing the facial expression guide model and the user facial information to the interface unit; Lt; / RTI >
Wherein the first facial expression value is a value obtained by digitizing a facial expression.
상기 이미지 정보는 영상 파일이고,
상기 분석부는 상기 영상 파일에 포함된 얼굴을 분석하고, 적어도 하나 이상의 표정이 연속된 시퀀스로 구성되는 얼굴에 대응하는 상기 제1 얼굴 표정 값을 제공하는 것을 특징으로 하는 표정 연습 시스템.23. The method of claim 22,
Wherein the image information is an image file,
Wherein the analyzing unit analyzes the face included in the image file and provides the first facial expression value corresponding to a face composed of at least one sequence of consecutive facial expressions.
상기 이미지 정보는 사진 파일이고,
상기 분석부는 상기 사진 파일에 포함된 얼굴을 분석하여 상기 사진 파일의 상기 제1 얼굴 표정 값을 제공하는 것을 특징으로 하는 표정 연습 시스템.23. The method of claim 22,
The image information is a picture file,
Wherein the analysis unit analyzes the face included in the photo file to provide the first facial expression value of the photo file.
상기 분석부가 분석한 상기 이미지 정보 및 상기 이미지 정보의 상기 제1 얼굴 표정 값을 저장하고, 상기 인터페이스부의 요청에 대응하여 해당 상기 이미지 정보 및 상기 이미지 정보의 상기 제1 얼굴 표정 값을 제공하는 데이터베이스; 를 더 포함하는 표정 연습 시스템.23. The method of claim 22,
A database for storing the image information analyzed by the analysis unit and the first facial expression values of the image information and providing the first facial expression values of the image information and the image information corresponding to a request of the interface unit; And a face exercise program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150166728A KR101734212B1 (en) | 2015-11-26 | 2015-11-26 | Facial expression training system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150166728A KR101734212B1 (en) | 2015-11-26 | 2015-11-26 | Facial expression training system |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101734212B1 true KR101734212B1 (en) | 2017-05-11 |
Family
ID=58742084
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150166728A KR101734212B1 (en) | 2015-11-26 | 2015-11-26 | Facial expression training system |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101734212B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101902553B1 (en) * | 2017-09-07 | 2018-09-28 | 박병화 | Terminal for providing storytelling contents tool and Method for providing storytelling |
KR20220053886A (en) * | 2020-10-23 | 2022-05-02 | 이세호 | System and method for correcting facial asymmetry linked to smart phone using correction mirror |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003510983A (en) * | 1999-09-24 | 2003-03-18 | ソニー エレクトロニクス インク | Classification adaptive error recovery method and apparatus |
-
2015
- 2015-11-26 KR KR1020150166728A patent/KR101734212B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003510983A (en) * | 1999-09-24 | 2003-03-18 | ソニー エレクトロニクス インク | Classification adaptive error recovery method and apparatus |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101902553B1 (en) * | 2017-09-07 | 2018-09-28 | 박병화 | Terminal for providing storytelling contents tool and Method for providing storytelling |
KR20220053886A (en) * | 2020-10-23 | 2022-05-02 | 이세호 | System and method for correcting facial asymmetry linked to smart phone using correction mirror |
KR102497691B1 (en) * | 2020-10-23 | 2023-02-07 | 이세호 | System and method for correcting facial asymmetry linked to smart phone using correction mirror |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7075085B2 (en) | Systems and methods for whole body measurement extraction | |
CN110532984B (en) | Key point detection method, gesture recognition method, device and system | |
EP3885965B1 (en) | Image recognition method based on micro facial expressions, apparatus and related device | |
CN112990054B (en) | Compact linguistics-free facial expression embedding and novel triple training scheme | |
Abd El Meguid et al. | Fully automated recognition of spontaneous facial expressions in videos using random forest classifiers | |
KR102174595B1 (en) | System and method for identifying faces in unconstrained media | |
EP3953859B1 (en) | Method and system for estimating eye-related geometric parameters of a user | |
CN116097320A (en) | System and method for improved facial attribute classification and use thereof | |
CN105518708A (en) | Method and equipment for verifying living human face, and computer program product | |
WO2017177259A1 (en) | System and method for processing photographic images | |
Soladié et al. | A multimodal fuzzy inference system using a continuous facial expression representation for emotion detection | |
US11282257B2 (en) | Pose selection and animation of characters using video data and training techniques | |
WO2020211347A1 (en) | Facial recognition-based image modification method and apparatus, and computer device | |
CA3050456C (en) | Facial modelling and matching systems and methods | |
CN110728194A (en) | Intelligent training method and device based on micro-expression and action recognition and storage medium | |
CN112200236A (en) | Training method of face parameter recognition model and face parameter recognition method | |
KR101734212B1 (en) | Facial expression training system | |
CN113076918B (en) | Video-based facial expression cloning method | |
KR20230060726A (en) | Method for providing face synthesis service and apparatus for same | |
CN107886568B (en) | Method and system for reconstructing facial expression by using 3D Avatar | |
CN113781271A (en) | Makeup teaching method and device, electronic equipment and storage medium | |
US11361467B2 (en) | Pose selection and animation of characters using video data and training techniques | |
Moran | Classifying emotion using convolutional neural networks | |
TW202122040A (en) | Method for analyzing and estimating face muscle status | |
Mattheij | The eyes have it |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
R401 | Registration of restoration |