KR20130098824A - 3d facial pose and expression estimating method using aam and estimated depth information - Google Patents

3d facial pose and expression estimating method using aam and estimated depth information Download PDF

Info

Publication number
KR20130098824A
KR20130098824A KR1020120020657A KR20120020657A KR20130098824A KR 20130098824 A KR20130098824 A KR 20130098824A KR 1020120020657 A KR1020120020657 A KR 1020120020657A KR 20120020657 A KR20120020657 A KR 20120020657A KR 20130098824 A KR20130098824 A KR 20130098824A
Authority
KR
South Korea
Prior art keywords
face
aam
model
dimensional
depth information
Prior art date
Application number
KR1020120020657A
Other languages
Korean (ko)
Other versions
KR101333836B1 (en
Inventor
강행봉
주명호
Original Assignee
가톨릭대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가톨릭대학교 산학협력단 filed Critical 가톨릭대학교 산학협력단
Priority to KR1020120020657A priority Critical patent/KR101333836B1/en
Publication of KR20130098824A publication Critical patent/KR20130098824A/en
Application granted granted Critical
Publication of KR101333836B1 publication Critical patent/KR101333836B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

PURPOSE: A three-dimensional facial pose and expression estimating method using an active appearance model (AAM) and estimated depth information is provided to learn an input image of a front face by using the AAM and combine the AAM with the depth information about a face estimated from input face images, thereby performing face fitting for various facial poses without depending on prior learning. CONSTITUTION: By marking a landmark on an input image, a triangular mesh is formed (S100). A two-dimensional active appearance model (AAM) face model is generated from an AAM parameter defined in a learning process by an AAM in respect to a front face among the input images in which the landmarks are marked (S200). A two-dimensional transform parameter is applied to the generated AAM face model (S300). Estimated three-dimensional face depth information is added to the AAM face model (S400,S500). A three-dimensional transform parameter is applied to the generated three-dimensional face model (S600). The two-dimensional and three-dimensional transform parameters are updated for every input image frames (S700). [Reference numerals] (S100) Triangular mesh is formed by marking landmarks on an input image showing the front and two sides of a face; (S200) Two-dimensional active appearance model (AAM) face model is generated from an AAM parameter defined in a learning process by an AAM in respect to a front face among the input images in which the landmarks are marked; (S300) Two-dimensional transform parameters are applied to the generated AAM face model and is fitted to the input image; (S400) Face depth information is estimated based on the front and two sides of the face; (S500) Three-dimensional face model is created by applying the estimated face depth information as a Z axis to the AAM face model; (S600) Three-dimension transform parameters are applied to the three-dimensional face model and the three-dimensional face model is fitted to the input image; (S700) Two- and three-dimension transform parameters are updated at every image frame of changing poses and looks of the face in a three-dimensional way by repetitively performing the stage 100 and the stage 600; (S800) Directions of the mesh values for those overlapped areas is identified and the weight of the mesh values of the overlapped areas with their directions contradicting each other is set as 0 by replacing the face texture within the triangle with an average texture

Description

에이에이엠 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법{3D FACIAL POSE AND EXPRESSION ESTIMATING METHOD USING AAM AND ESTIMATED DEPTH INFORMATION}3D FACIAL POSE AND EXPRESSION ESTIMATING METHOD USING AAM AND ESTIMATED DEPTH INFORMATION}

본 발명은 3차원 얼굴 포즈 및 표정 변화 추정 방법에 관한 것으로서, 보다 구체적으로는 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법에 관한 것이다.The present invention relates to a three-dimensional face pose and facial expression change estimation method, and more particularly to a three-dimensional face pose and facial expression change estimation method using AAM and estimated depth information.

얼굴의 3차원 정보는 얼굴 인식이나 표정 인식, 얼굴 추적, HCI(Human Computer Interaction), 얼굴 모델링 등 컴퓨터 비전 분야에서 다양하게 이용될 수 있으며 그 중요도 또한 매우 높다. 하지만 얼굴은 3차원의 비선형적인 곡면체이기 때문에 얼굴의 3차원 회전 변화에 따라 투영되는 영상에서의 얼굴 형태가 크게 변하고 얼굴의 표정 변화는 동일한 얼굴 포즈에 대해서도 다양한 얼굴 형태로 표현되기 때문에 기존의 얼굴 추적 알고리즘을 그대로 적용하기는 어려운 문제점이 있다. 또한, 3D 스캐너나 깊이 카메라(Depth camera) 등과 같은 특수한 카메라를 제외한 일반적으로 많이 이용되는 카메라로부터 획득된 영상은 영상 내 물체에 대한 깊이 정보를 포함하지 않기 때문에 이와 같은 영상으로부터 3차원 얼굴 형태 변화를 정확하게 추정하는 것도 쉽지 않다. 이를 위해, 3차원으로 변화하는 입력 얼굴을 피팅하기 위한 다양한 방법들이 연구되고 있다.
The three-dimensional information of the face can be used in a variety of computer vision fields such as face recognition, facial expression recognition, face tracking, human computer interaction (HCI), and face modeling. However, since the face is a three-dimensional nonlinear curved body, the face shape in the projected image is greatly changed by the three-dimensional rotational change of the face, and the facial expression change is expressed in various face shapes even for the same face pose. It is difficult to apply the algorithm as it is. In addition, images obtained from commonly used cameras, except for special cameras such as 3D scanners and depth cameras, do not include depth information about objects in the image. Accurate estimation is not easy. To this end, various methods for fitting an input face that changes in three dimensions have been studied.

Cootes(T. F. Cootes, G. V. Wheeler, K. N. Walker and C. J. Taylor. “View-based active appearance models”, Image and Vision Computing, vol. 20, pp. 657-664, 2002.)는 주요한 얼굴 포즈마다 AAM(Active Appearance Model)을 독립적으로 생성하고 입력 얼굴의 포즈에 따라 최소 에러를 갖는 AAM을 선택하여 얼굴을 피팅하는 View-based AAM 방법을 제안하였다. 하지만 각각의 포즈마다의 학습 영상이 모두 요구되며, 학습되지 않거나 학습된 포즈와 입력 얼굴 간의 포즈 차이가 커질수록 정확한 얼굴 피팅을 수행하지 못하는 문제점이 있다.
Cootes (TF Cootes, GV Wheeler, KN Walker and CJ Taylor. “View-based active appearance models”, Image and Vision Computing, vol. 20, pp. 657-664, 2002.) We propose a view-based AAM method that generates a model independently and fits the face by selecting the AAM with the minimum error according to the pose of the input face. However, all the training images are required for each pose, and as the pose difference between the untrained or learned pose and the input face increases, it is impossible to perform accurate face fitting.

또한, Chen과 Wang(C.-W. Chen, and C.-C. Wang. “3D Active Appearance Model for Aligning Faces in 2D Images”, Proceedings of the IEEE/RS International Conference on Intelligent Robots and Systems, 3133-3139, 2008.)은 얼굴의 3차원 모델을 추정하기 위해 AAM과 스테레오 기법을 결합한 3D AAM을 제안하였다. 즉, 스테레오 카메라를 이용하여 사용자 얼굴의 깊이 정보를 추정하고 학습에 이용되는 특징점(land-mark)에 추정된 깊이 정보를 추가한 얼굴의 3차원 형태를 AAM으로 학습함으로써 입력 얼굴의 3차원의 정보를 표현하는 방법을 제안하였다.
Chen and Wang (C.-W. Chen, and C.-C. Wang. “3D Active Appearance Model for Aligning Faces in 2D Images”, Proceedings of the IEEE / RS International Conference on Intelligent Robots and Systems, 3133-). 3139, 2008.) proposed 3D AAM that combines AAM and stereo techniques to estimate three-dimensional models of faces. That is, 3D information of the input face by estimating depth information of the user's face using a stereo camera and learning the 3D shape of the face by adding the estimated depth information to the land-mark used for learning by AAM. A method of expressing is proposed.

뿐만 아니라, Sung과 Kim(J. Sung, and D. Kim. “Pose-Robust Facial Expression Recognition Using View-Based 2D+3D AAM”, IEEE Transactions On Systems, Man and Cybernetics, Part A: SYSTEMS AND HUMANS, 38(4):852-866, 2008.)은 View-based AAM의 방법을 이용하여 다양한 얼굴 포즈의 입력 얼굴을 피팅하고 피팅된 결과를 스테레오 방법과 결합하여 얼굴의 3차원 정보를 추정하는 방법을 제안하였다.
In addition, Sung and Kim (J. Sung, and D. Kim. “Pose-Robust Facial Expression Recognition Using View-Based 2D + 3D AAM”, IEEE Transactions On Systems, Man and Cybernetics, Part A: SYSTEMS AND HUMANS, 38 (4): 852-866, 2008.) proposes a method of estimating three-dimensional information of a face by fitting input faces of various face poses using the method of View-based AAM and combining the fitted results with stereo methods. It was.

하지만 개시된 방법들은 각 얼굴 포즈에 대한 사전 학습이 필요한바, 사전 학습되지 않은 폭넓은 얼굴 포즈에 대해 얼굴 피팅을 수행하는 데에는 한계가 있는 문제점이 있다.However, since the disclosed methods require pre-learning for each face pose, there is a limitation in performing face fitting for a wide range of face poses that have not been pre-learned.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 정면 얼굴의 입력 영상에 대해 AAM을 이용하여 학습하고, 정면과 양 측면얼굴의 입력 영상으로부터 추정된 얼굴의 깊이 정보를 AAM과 결합함으로써 사전 학습에 의존적이지 않고 폭넓은 얼굴 포즈에 대해 얼굴 피팅을 수행하는 것이 가능한, AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법을 제공하는 것을 그 목적으로 한다.
The present invention is proposed to solve the above problems of the conventionally proposed methods, using the AAM for the front face input image, the face depth information estimated from the input image of the front and both side faces Aims to provide a three-dimensional face pose and facial expression estimation method using AAM and estimated depth information, which is capable of performing face fitting on a wide range of face poses without being dependent on prior learning by combining with AAM. .

또한, 본 발명은 얼굴 포즈 변화로 인해 발생하는 자기 가림(self-occlusion)에 대해 메쉬의 방향성을 이용한 가중치 처리를 수행함으로써 학습된 정면 얼굴과 다른 얼굴 포즈에 대해서도 효과적인 얼굴 피팅을 수행하는 것이 가능한, AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법을 제공하는 것을 또 다른 목적으로 한다.In addition, the present invention can perform an effective face fitting for the face face different from the learned front face by performing a weighting process using the directionality of the mesh for the self-occlusion caused by the face pose change, Another object of the present invention is to provide a 3D face pose and facial expression change estimation method using AAM and estimated depth information.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법은,3D face pose and facial expression change estimation method using the AAM and the estimated depth information according to the characteristics of the present invention for achieving the above object,

(1) 정면 및 양 측면 얼굴을 나타내는 입력 영상에 특징점(land-mark)을 표기하여 삼각형 메쉬(mesh)를 형성하는 단계;(1) forming a triangular mesh by marking land-marks on input images representing front and side faces;

(2) 상기 특징점을 표기한 입력 영상 중 정면 얼굴에 대하여 AAM(Active Appearance Model)에 의한 학습과정에서 정의되는 AAM 모델 파라미터로부터 2차원의 AAM 얼굴모델을 생성하는 단계;(2) generating a two-dimensional AAM face model from an AAM model parameter defined in a learning process by an AAM (Active Appearance Model) for the front face among the input images indicating the feature points;

(3) 상기 생성된 AAM 얼굴모델에 2차원 변환 파라미터를 적용하고 상기 입력 영상에 피팅(fitting)하는 단계;(3) applying a 2D transformation parameter to the generated AAM face model and fitting it to the input image;

(4) 상기 입력 영상의 정면 및 양 측면 얼굴로부터 3차원의 얼굴 깊이 정보를 추정하는 단계;(4) estimating three-dimensional face depth information from the front and both side faces of the input image;

(5) 상기 AAM 얼굴모델에 상기 추정된 얼굴 깊이 정보를 z축으로 추가하여 3차원의 얼굴모델을 생성하는 단계;(5) generating a three-dimensional face model by adding the estimated face depth information to the AAM face model on a z-axis;

(6) 상기 생성된 3차원의 얼굴모델에 3차원 변환 파라미터를 적용하고 상기 입력 영상에 피팅하는 단계; 및(6) applying a 3D transformation parameter to the generated 3D face model and fitting it to the input image; And

(7) 3차원으로 변화하는 얼굴 포즈 및 표정에 따라 입력되는 영상 프레임마다 상기 단계 (1) 내지 단계 (6)을 반복 수행하여 상기 2차원 및 3차원 변환 파라미터를 갱신하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
(7) repeating steps (1) to (6) for each input image frame according to a facial pose and expression changing in three dimensions to update the two-dimensional and three-dimensional conversion parameters. It is characterized by the configuration.

바람직하게는,Preferably,

(8) 자기 가림이 발생한 영역에 대해 메쉬의 방향성을 판별하여 반대일 경우 삼각형 내의 얼굴 질감을 평균 질감으로 대체하여 가려진 메쉬에 대한 가중치를 0으로 처리하는 단계를 더 포함할 수 있다.
(8) The method may further include determining the directionality of the mesh with respect to the region where the magnetic occlusion occurs, and if the opposite is the case, replacing the face texture in the triangle with the average texture and processing the weight of the masked mesh as 0.

바람직하게는, 상기 단계 (1)에서,Preferably, in said step (1)

상기 특징점은 86개이고, 상기 메쉬는 138개일 수 있다.
The feature point is 86, and the mesh may be 138.

바람직하게는, 상기 단계 (2)는,Preferably, the step (2)

(2-1) 상기 특징점으로부터 추출되는 정면 얼굴의 형태 벡터를 Procustes Analysis 방법을 이용하여 평균 얼굴 형태

Figure pat00001
로 정렬하고, PCA(Principal Component Analysis)를 적용하여 형태 모델을 생성하는 단계로서, 상기 형태 모델은 형태고유 벡터와 형태 파라미터의 선형결합으로 정의되는, 형태 모델 생성 단계;(2-1) Average face shape using the Procustes Analysis method for the front face shape vector extracted from the feature points
Figure pat00001
Generating a shape model by applying Principal Component Analysis (PCA), wherein the shape model is defined as a linear combination of shape-specific vectors and shape parameters;

(2-2) 상기 정면 얼굴을 상기 평균 얼굴 형태

Figure pat00002
로 와핑(warping)하여 형태를 정규화한 후, 질감 벡터에 대해 PCA를 적용하여 질감 모델을 생성하는 단계로서, 상기 질감 모델은 질감 고유 벡터와 질감 파라미터의 선형 결합과 평균 질감 벡터의 합으로 정의되는, 질감 모델 생성 단계;(2-2) the average face shape of the front face
Figure pat00002
After the normalization of the shape by warping to generate a texture model by applying the PCA to the texture vector, the texture model is defined as a linear combination of texture eigenvectors and texture parameters and the sum of the average texture vectors. , Texture model generation step;

(2-3) 상기 형태 모델과 질감 모델을 결합하기 위해 상기 형태 파라미터와 질감 파라미터를 연결하고, PCA를 수행함으로써 AAM 모델 고유 행렬과 AAM 모델 파라미터를 생성하는 단계; 및(2-3) generating an AAM model unique matrix and an AAM model parameter by connecting the shape parameter and texture parameter to combine the shape model and the texture model, and performing a PCA; And

(2-4) 상기 생성된 AAM 모델 파라미터로부터 AAM 얼굴모델을 생성하는 단계를 포함할 수 있다.
(2-4) may include generating an AAM face model from the generated AAM model parameters.

바람직하게는, 상기 단계 (4)는,Preferably, the step (4)

(4-1) 상기 정면 얼굴로부터 3차원 얼굴 형태의 x, y축을 정의하는 단계;(4-1) defining the x and y axes of the three-dimensional face shape from the front face;

(4-2) 상기 양 측면 얼굴로부터 깊이 정보를 정의하는 단계; 및(4-2) defining depth information from both side faces; And

(4-3) 상기 측면 얼굴의 영상을 정면 얼굴의 영상으로 정렬하는 단계를 포함할 수 있다.
And (4-3) aligning the image of the side face with the image of the front face.

더욱 바람직하게는, 상기 단계 (4-3)은,More preferably, the step (4-3) is,

상기 정면 얼굴 및 측면 얼굴은 3차원 얼굴 형태에서 y축만을 공유하며, 하기의 수학식에 의해 y축 간의 에러를 최소화함으로써 정렬할 수 있다.The front face and the side face share only the y-axis in the three-dimensional face shape, and can be aligned by minimizing the error between the y-axis by the following equation.

Figure pat00003
Figure pat00003

여기서, ys는 측면 얼굴의 y축 좌표 벡터이고, yf는 정면 얼굴의 y축 좌표 벡터이다.
Here, y s is the y-axis coordinate vector of the side face and y f is the y-axis coordinate vector of the front face.

바람직하게는, 상기 단계 (7)은,Preferably, step (7) is

하기의 수학식에 따라 추정되는 얼굴 파라미터가 최적화될 때까지 반복 수행될 수 있다.It may be repeated until the face parameter estimated according to the following equation is optimized.

Figure pat00004
Figure pat00004

여기서, c는 AAM 모델 파라미터이고, t는 변환 파라미터이다.Where c is an AAM model parameter and t is a conversion parameter.

본 발명에서 제안하고 있는 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법에 따르면, 정면 얼굴의 입력 영상에 대해 AAM을 이용하여 학습하고, 정면과 양 측면얼굴의 입력 영상으로부터 추정된 얼굴의 깊이 정보를 AAM과 결합함으로써 사전 학습에 의존적이지 않고 폭넓은 얼굴 포즈에 대해 얼굴 피팅을 수행할 수 있다.
According to the three-dimensional face pose and facial expression change estimation method using the AAM and the estimated depth information proposed in the present invention, the input image of the front face is trained using AAM and estimated from the input images of the front and both side faces. By combining the depth information of the acquired face with AAM, face fitting can be performed for a wide range of face poses without being dependent on prior learning.

또한, 본 발명에 따르면, 얼굴 포즈 변화로 인해 발생하는 자기 가림(self-occlusion)에 대해 메쉬의 방향성을 이용한 가중치 처리를 수행함으로써 학습된 정면 얼굴과 다른 얼굴 포즈에 대해서도 효과적인 얼굴 피팅을 수행할 수 있다.In addition, according to the present invention, by performing a weighting process using the directionality of the mesh for the self-occlusion caused by the change of the face pose, it is possible to perform an effective face fitting for the face face and other face poses learned. have.

도 1은 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법의 순서도.
도 2는 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법의 개요도.
도 3는 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법의 단계 S100에 의해 표시된 특징점 및 메쉬를 나타낸 도면.
도 4는 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법의 단계 S200에 대한 세부 순서도.
도 5는 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법의 단계 S240에서, 상위 AAM 모델 파라미터 c1, c2, c3을 증감하였을 경우에 대한 얼굴 형태 및 질감 변화를 나타낸 도면.
도 6은 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법의 단계 S400에 대한 세부 순서도.
도 7은 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법의 단계 S400에 의해 얼굴 깊이 정보를 추정한 결과를 나타낸 도면.
도 8은 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법에서, 얼굴의 3차원 포즈 변화에 따른 메쉬의 방향성 차이를 나타낸 도면.
도 9는 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법과 기존 방법에 따른 얼굴 피팅 결과를 나타낸 도면.
도 10은 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법에 따라 입력 영상에서 얼굴을 피팅하여 3차원 얼굴 포즈를 추정한 결과를 나타낸 도면.
도 11은 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법의 얼굴 포즈 및 표정 변화 추정 성능 실험에서, View-based AAM의 학습 영상을 나타낸 도면.
도 12는 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법의 얼굴 포즈 및 표정 변화 추정 성능 실험에 대한 결과를 나타낸 도면.
도 13은 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법의 얼굴 포즈 각 변화에 따른 포즈 추정 실험에 대한 결과를 나타낸 도면.
도 14는 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법으로 추정된 입력 얼굴의 3차원 포즈 각과 사람이 인위적으로 측정한 포즈 각 간의 RMS 차이 에러를 산출한 결과를 나타낸 도면.1 is a flowchart of a 3D face pose and facial expression change estimation method using AAM and estimated depth information according to an embodiment of the present invention.
2 is a schematic diagram of a three-dimensional face pose and facial expression change estimation method using AAM and estimated depth information according to an embodiment of the present invention.
FIG. 3 is a diagram showing feature points and a mesh indicated by step S100 of a method of estimating a three-dimensional face pose and facial expression change using AAM and estimated depth information according to an embodiment of the present invention. FIG.
4 is a detailed flowchart of step S200 of a method for estimating a three-dimensional face pose and facial expression change using AAM and estimated depth information according to an embodiment of the present invention.
FIG. 5 illustrates a case in which the upper AAM model parameters c 1 , c 2 , and c 3 are increased or decreased in step S240 of the 3D face pose and facial expression change estimation method using AAM and estimated depth information according to an embodiment of the present invention. Figures showing the face shape and texture changes for.
6 is a detailed flowchart of step S400 of the three-dimensional face pose and facial expression change estimation method using AAM and estimated depth information according to an embodiment of the present invention.
7 is a view showing a result of estimating face depth information by step S400 of the three-dimensional face pose and facial expression change estimation method using the AAM and the estimated depth information according to an embodiment of the present invention.
FIG. 8 is a diagram illustrating a direction difference of a mesh according to a three-dimensional pose change of a face in a method of estimating a three-dimensional face pose and facial expression change using AAM and estimated depth information according to an embodiment of the present invention. FIG.
9 illustrates a three-dimensional face pose and facial expression change estimation method using AAM and estimated depth information according to an embodiment of the present invention, and a face fitting result according to a conventional method.
FIG. 10 is a diagram illustrating a result of estimating a three-dimensional face pose by fitting a face in an input image according to a three-dimensional face pose and an expression change estimation method using AAM and estimated depth information according to an embodiment of the present invention. FIG.
FIG. 11 is a view showing a learning image of a view-based AAM in a performance experiment of face pose and facial expression change estimation of a three-dimensional face pose and facial expression change estimation method using AAM and estimated depth information according to an embodiment of the present invention. FIG.
12 is a view showing results of a face pose and facial expression change estimation performance test of the three-dimensional face pose and facial expression change estimation method using AAM and estimated depth information according to an embodiment of the present invention.
FIG. 13 is a view showing a result of a pose estimation experiment according to a change in face pose angle of the 3D face pose and facial expression change estimation method using AAM and estimated depth information according to an embodiment of the present invention; FIG.
14 is an RMS difference error between a 3D pose angle of an input face estimated by a 3D face pose and an expression change estimation method using an AAM and estimated depth information according to an embodiment of the present invention and a pose angle artificially measured by a person Drawing showing the result of calculating.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, in order that those skilled in the art can easily carry out the present invention. In the following detailed description of the preferred embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In the drawings, like reference numerals are used throughout the drawings.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the entire specification, when a part is referred to as being 'connected' to another part, it may be referred to as 'indirectly connected' not only with 'directly connected' . In addition, the term 'comprising' of an element means that the element may further include other elements, not to exclude other elements unless specifically stated otherwise.

도 1은 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법의 순서도이고, 도 2는 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법의 개요도이다. 도 1 및 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법은, 정면 및 양 측면 얼굴을 나타내는 입력 영상에 특징점(land-mark)을 표기하여 삼각형 메쉬(mesh)를 형성하는 단계(S100), 특징점을 표기한 입력 영상 중 정면 얼굴에 대하여 AAM(Active Appearance Model)에 의한 학습과정에서 정의되는 AAM 모델 파라미터로부터 2차원의 AAM 얼굴모델을 생성하는 단계(S200), 생성된 AAM 얼굴모델에 2차원 변환 파라미터를 적용하고 입력 영상에 피팅(fitting)하는 단계(S300), 입력 영상의 정면 및 양 측면 얼굴로부터 3차원의 얼굴 깊이 정보를 추정하는 단계(S400), AAM 얼굴모델에 추정된 얼굴 깊이 정보를 z축으로 추가하여 3차원의 얼굴모델을 생성하는 단계(S500), 생성된 3차원의 얼굴모델에 3차원 변환 파라미터를 적용하고 입력 영상에 피팅하는 단계(S600), 3차원으로 변화하는 얼굴 포즈 및 표정에 따라 입력되는 영상 프레임마다 단계 S100 내지 단계 S600을 반복 수행하여 2차원 및 3차원 변환 파라미터를 갱신하는 단계(S700), 및 자기 가림이 발생한 영역에 대해 메쉬의 방향성을 판별하여 반대일 경우 삼각형 내의 얼굴 질감을 평균 질감으로 대체하여 가려진 메쉬에 대한 가중치를 0으로 처리하는 단계(S800)를 포함하여 구성될 수 있다.
1 is a flowchart of a 3D face pose and facial expression change estimation method using AAM and estimated depth information according to an embodiment of the present invention, and FIG. 2 illustrates AAM and estimated depth information according to an embodiment of the present invention. It is a schematic diagram of the 3D face pose and facial expression change estimation method used. As shown in FIGS. 1 and 2, the 3D face pose and facial expression change estimation method using AAM and estimated depth information according to an embodiment of the present invention may include a feature point on an input image representing front and side faces. forming a triangular mesh by marking land-marks (S100), and two-dimensional from an AAM model parameter defined in a learning process by an AAM (Active Appearance Model) for a front face of an input image in which feature points are marked. Generating the AAM face model of the step (S200), applying a two-dimensional transformation parameter to the generated AAM face model and fitting (fitting) to the input image (S300), three-dimensional from the front and both sides of the input image Estimating face depth information (S400), generating a three-dimensional face model by adding the estimated face depth information to the AAM face model as a z-axis (S500), and converting the three-dimensional face model to a three-dimensional face model. wave Applying a parameter and fitting to the input image (S600), repeating steps S100 to S600 for each input image frame according to the facial pose and facial expression that changes in three dimensions to update the two-dimensional and three-dimensional conversion parameters Step S700, and determining the directionality of the mesh with respect to the region where the magnetic occlusion has occurred, and if it is the opposite, replacing the face texture in the triangle with an average texture and processing the weight for the masked mesh as 0 (S800). Can be.

단계 S100에서는, 정면 및 양 측면 얼굴을 나타내는 입력 영상에 특징점(land-mark)을 표기하여 삼각형 메쉬(mesh)를 형성한다. 즉, 단계 S100은 후술할 AAM을 이용한 학습 및 얼굴 깊이 정보를 추정하기 위한 전처리 단계로서, 특징점이 표기된 얼굴 영상으로부터 AAM 학습이 수행되며, 특징점으로부터 얼굴 깊이 정보를 추정할 수 있다. 보다 구체적으로, AAM은 얼굴의 형태(shape)와 질감(appearance)을 결합하여 얼굴을 표현하고, 이러한 형태와 질감은 수공(manual)으로 특징점이 표기된 얼굴 영상으로부터 학습된다. 얼굴의 형태는 M개의 특징점으로 표현되며 일반적으로 영상은 2차원이기 때문에 N개의 입력 영상을 이용할 경우, 형태는 d x N의 벡터들로 표현될 수 있다. 특징점은 입력 영상에서 얼굴특징 요소를 이루는 부분으로서 입력 영상에서 나타나는 에지(edge), 모서리(corner)와 함께 3차원 회전을 고려하기 위해 3차원 상의 모서리에 해당하는 코끝이나 미간 등에 표기하는 것이 바람직하다. 더욱 바람직하게는 86개의 특징점을 표기하며, 이를 통해 138개의 삼각형 메쉬를 형성하고, 도 3은 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법의 단계 S100에 의해 표시된 특징점 및 메쉬를 나타낸 도면이다.
In operation S100, a triangular mesh is formed by marking land-marks on input images representing front and side faces. That is, step S100 is a preprocessing step for estimating learning and face depth information using AAM, which will be described later. AAM learning may be performed from a face image in which feature points are marked, and face depth information may be estimated from feature points. More specifically, AAM expresses a face by combining a shape and texture of the face, and the shape and texture are learned from a face image in which feature points are marked as manual. The shape of the face is represented by M feature points, and since the image is generally two-dimensional, when the N input images are used, the shape may be represented by vectors of dx N. The feature point is a part of a face feature element in the input image, and it is preferable to mark the tip of the nose or the middle of the nose corresponding to the three-dimensional corner in order to consider the three-dimensional rotation together with the edge and the corner appearing in the input image. . More preferably, it marks 86 feature points, thereby forming 138 triangular meshes, and FIG. 3 illustrates a three-dimensional face pose and facial expression change estimation method using AAM and estimated depth information according to an embodiment of the present invention. It is a figure which shows the feature point and mesh displayed by step S100.

단계 S200에서는, 단계 S100에 의해 특징점을 표기한 입력 영상 중 정면 얼굴에 대하여 AAM에 의한 학습과정에서 정의되는 AAM 모델 파라미터로부터 2차원의 AAM 얼굴모델을 생성한다. 단계 S200에 대하여 도 4 및 도 5를 참조하여 상세히 설명하도록 한다.
In step S200, a two-dimensional AAM face model is generated from the AAM model parameters defined in the learning process by the AAM for the front face among the input images in which the feature points are marked in step S100. Step S200 will be described in detail with reference to FIGS. 4 and 5.

도 4는 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법의 단계 S200에 대한 세부 순서도이다. 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법의 단계 S200은, 특징점으로부터 추출되는 정면 얼굴의 형태 벡터를 Procustes Analysis 방법을 이용하여 평균 얼굴 형태

Figure pat00005
로 정렬하고, PCA(Principal Component Analysis)를 적용하여 형태 모델을 생성하는 단계(S210), 정면 얼굴을 평균 얼굴 형태
Figure pat00006
로 와핑(warping)하여 형태를 정규화한 후, 질감 벡터에 대해 PCA를 적용하여 질감 모델을 생성하는 단계(S220), 형태 모델과 질감 모델을 결합하기 위해 형태 파라미터와 질감 파라미터를 연결하고 PCA를 수행함으로써 AAM 모델 고유 행렬과 AAM 모델 파라미터를 생성하는 단계(S230), 및 생성된 AAM 모델 파라미터로부터 AAM 얼굴모델을 생성하는 단계(S240)을 포함할 수 있다.
4 is a detailed flowchart of step S200 of a method for estimating a three-dimensional face pose and facial expression change using AAM and estimated depth information according to an embodiment of the present invention. As shown in FIG. 4, step S200 of the method of estimating a three-dimensional face pose and facial expression change using the AAM and the estimated depth information according to an embodiment of the present invention includes performing a shape vector of a front face extracted from a feature point. Average face shape using the method
Figure pat00005
Arranged to form a step, generating a shape model by applying a principal component analysis (S210), the front face average face shape
Figure pat00006
After the normalization of the shape by warping with a step, generating a texture model by applying the PCA to the texture vector (S220), connecting the shape parameters and texture parameters to combine the shape model and the texture model and perform the PCA. Therefore, the method may include generating an AAM model eigen matrix and an AAM model parameter (S230), and generating an AAM face model from the generated AAM model parameter (S240).

단계 S210에서는, 특징점으로부터 추출되는 정면 얼굴의 형태 벡터를 Procustes Analysis 방법을 이용하여 평균 얼굴 형태

Figure pat00007
로 정렬하고, PCA(Principal Component Analysis)를 적용하여 형태 모델(SM)을 생성하며, 이러한 형태 모델(SM)은 얼굴 형태 공간(the shape subspace)으로부터 l개의 형태 고유 벡터 p={p1, ..., pl}와 형태 파라미터 s={s1, ..., sl}의 선형 결합으로 정의되고, 이는 하기의 수학식 1로 표현될 수 있다.In step S210, the shape of the face vector extracted from the feature point is averaged face shape using the Procustes Analysis method.
Figure pat00007
By applying the sort and, (Principal Component Analysis) PCA to generate a shape model (S M), this type of model (S M) is a facial area (the shape subspace) from l of type-specific vector p = {p 1 , ..., p l } and a form parameter s = {s 1 , ..., s l } are defined as a linear combination, which can be expressed by Equation 1 below.

Figure pat00008
Figure pat00008

단계 S220에서는, 정면 얼굴을 평균 얼굴 형태

Figure pat00009
로 와핑(warping)하여 형태를 정규화한 후, 질감 벡터에 대해 PCA를 적용하여 질감 모델(GM)을 생성하며, 이러한 질감 모델(GM)은 m개의 질감 고유 벡터 g={g1, ..., gm}와 질감 파라미터 A={A1, ..., Am}의 선형 결합과 평균 질감 벡터
Figure pat00010
의 합으로 정의되고, 하기의 수학식 2로 표현될 수 있다.In step S220, the face shape averages the front face
Figure pat00009
As after normalizing the form in warping (warping), applying PCA to the texture vectors texture model (G M) for the creation, this texture model (G M) are m number of texture eigenvectors g = {g 1, and. .., g m } and the linear combination of the texture parameters A = {A 1 , ..., A m } and the mean texture vector
Figure pat00010
It is defined as the sum of and can be expressed by the following equation (2).

Figure pat00011
Figure pat00011

단계 S230에서는, 단계 S210 및 S220에 의해 생성된 형태 모델과 질감 모델을 결합하기 위해 형태 파라미터와 질감 파라미터를 연결하여 PCA를 수행함으로써 n개의 AAM 모델 고유 행렬 q={q1, ..., qn}과 AAM 모델 파라미터 c={c1, ..., cn}를 생성하며, 이는 하기의 수학식 3으로 표현될 수 있다.In step S230, n AAM model intrinsic matrices q = {q 1 , ..., q by performing a PCA by combining shape parameters and texture parameters to combine the shape models and texture models generated by steps S210 and S220. n } and the AAM model parameters c = {c 1 , ..., c n }, which can be expressed by Equation 3 below.

Figure pat00012
Figure pat00012

여기서, κ는 형태 모델에 대한 가중치로 형태와 질감 간의 차이를 최소화한다.
Where κ is a weight for the shape model to minimize the difference between shape and texture.

단계 S240에서는, 단계 S230에 의해 생성된 AAM 모델 파라미터로부터 AAM 얼굴모델을 생성한다. 보다 구체적으로, AAM 얼굴모델은 수학식 3의 AAM 모델 파라미터 c를 변경함으로써 얼굴의 형태와 질감을 조정하며, 도 5는 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법의 단계 S240에서, 상위 AAM 모델 파라미터 c1, c2, c3을 증감하였을 경우에 대한 얼굴 형태 및 질감 변화를 나타낸 도면이다.
In step S240, an AAM face model is generated from the AAM model parameters generated in step S230. More specifically, the AAM face model adjusts the shape and texture of the face by changing the AAM model parameter c of Equation 3, and FIG. 5 illustrates a three-dimensional face using AAM and estimated depth information according to an embodiment of the present invention. In step S240 of the method of estimating the pose and facial expression change, a diagram showing a change in the shape and texture of the face when the upper AAM model parameters c 1 , c 2 , and c 3 are increased or decreased.

단계 S300에서는, 단계 S200에 의해 생성된 AAM 얼굴모델에 2차원 변환 파라미터를 적용하고 입력 영상에 피팅(fitting)한다. AAM 모델 파라미터가 생성되고 정의되었을 때, 입력 영상의 얼굴을 피팅하기 위해서는 얼굴의 변화 파라미터 t가 필요하다. 즉, 임의의 입력 얼굴 X는 AAM 모델 파라미터로부터 생성된 얼굴 형태에서 회전 θ, 크기변환 s, 이동변환 tx, ty로 변환되는 닮음 변환(similarity transformation)으로 표현될 수 있다. 그리고 입력 얼굴의 텍스처는 모델의 텍스처를 감마 변환 파라미터 u로 차이를 최소화할 수 있다. 따라서 입력 영상의 얼굴에 대한 변환 파라미터(2차원 변환 파라미터)는 t={θ, s, tx, ty, u}로 정의된다.
In step S300, the 2D transformation parameter is applied to the AAM face model generated in step S200 and fitted to the input image. When the AAM model parameters are generated and defined, the face change parameter t is needed to fit the face of the input image. That is, the arbitrary input face X may be expressed as a similarity transformation that is transformed into rotation θ, size transformation s, movement transformation t x , t y in the face shape generated from the AAM model parameters. In addition, the texture of the input face may minimize the difference between the texture of the model and the gamma transform parameter u. Therefore, the conversion parameter (two-dimensional conversion parameter) for the face of the input image is defined as t = {θ, s, t x , t y , u}.

단계 S400에서는, 입력 영상의 정면 및 양 측면 얼굴로부터 3차원의 얼굴 깊이 정보를 추정한다. 단계 S400에 대하여, 도 6 및 도 7을 참조하여 상세히 설명하도록 한다.
In operation S400, three-dimensional face depth information is estimated from the front and both side faces of the input image. The step S400 will be described in detail with reference to FIGS. 6 and 7.

도 6은 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법의 단계 S400에 대한 세부 순서도이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법의 단계 S400은, 정면 얼굴로부터 3차원 얼굴 형태의 x, y축을 정의하는 단계(S410), 양 측면 얼굴로부터 깊이 정보를 정의하는 단계(S420) 및 측면 얼굴의 영상을 정면 얼굴의 영상으로 정렬하는 단계(S430)를 포함할 수 있다.
FIG. 6 is a detailed flowchart of step S400 of a 3D face pose and facial expression change estimation method using AAM and estimated depth information according to an embodiment of the present invention. As shown in FIG. 6, step S400 of the three-dimensional face pose and facial expression change estimation method using the AAM and the estimated depth information according to an embodiment of the present invention may include the x and y axes of the three-dimensional face shape from the front face. Defining step S410, defining depth information from both side faces S420, and arranging an image of the side face into an image of the front face S430.

단계 S410에서는, 단계 S100에 의해 특징점이 표기된 입력 영상의 정면 얼굴로부터 3차원 얼굴 형태의 x, y축을 정의한다.
In step S410, the x- and y-axes of the three-dimensional face shape are defined from the front face of the input image in which the feature points are marked by step S100.

단계 S420에서는, 단계 S100에 의해 특징점이 표기된 입력 영상의 양 측면 얼굴로부터 깊이 정보를 정의한다.
In step S420, depth information is defined from both side faces of the input image in which the feature point is marked by step S100.

단계 S430에서는, 측면 얼굴의 영상을 정면 얼굴의 영상으로 정렬한다. 실제 촬영된 사용자와 카메라 간의 간격에 따라 얼굴의 크기가 변경되기 때문에 정면 얼굴의 영상과 측면 얼굴의 영상 간의 정렬(Alignment)이 필요하다.
In step S430, the image of the side face is aligned with the image of the front face. Since the size of the face changes according to the distance between the user and the camera, the alignment between the front face image and the side face image is necessary.

일반적으로, 형태 간 정렬을 위해 가장 많이 이용되는 알고리즘은 Procrustes Analysis로서, 이 방법은 하기의 수학식 4와 같은 에러를 최소화함으로써 다수의 형태를 평균 형태로 정렬한다.In general, the most widely used algorithm for sorting between shapes is Procrustes Analysis, which sorts a plurality of shapes into an average shape by minimizing an error as shown in Equation 4 below.

Figure pat00013
Figure pat00013

여기서, xi는 i번째 형태벡터이고,

Figure pat00014
는 평균 형태벡터이다.
Where x i is the i th form vector,
Figure pat00014
Is the mean shape vector.

하지만, 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법의 단계 S430은, 이와 다르게 측면 얼굴의 영상을 정면얼굴의 영상으로 정렬하는 것을 목적으로 하며 정면 얼굴 영상과 측면 얼굴 영상은 3차원 얼굴 형태에서 y축만을 공유한다. 따라서 수학식 4를 하기의 수학식 5와 같이 y축 간의 에러로 재정의하여 정렬한다.However, step S430 of the three-dimensional face pose and facial expression change estimation method using the AAM and the estimated depth information according to an embodiment of the present invention aims to align the image of the side face with the image of the front face differently. The front face image and the side face image share only the y-axis in the three-dimensional face shape. Therefore, Equation 4 is rearranged by an error between the y-axes as shown in Equation 5 below.

Figure pat00015
Figure pat00015

여기서, ys는 측면 영상의 y축 좌표 벡터이고, yf는 정면 영상의 y축 좌표 벡터이다.
Here, y s is a y-axis coordinate vector of the side image and y f is a y-axis coordinate vector of the front image.

이와 같이, 정면 및 양 측면얼굴의 입력 영상만을 이용함으로써 간단하고 신속하게 얼굴 깊이 정보를 추정할 수 있으며, 도 7은 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법의 단계 S400에 의해 얼굴 깊이 정보를 추정한 결과를 나타낸 도면이다.
As such, the face depth information can be estimated simply and quickly by using only the input images of the front and side faces, and FIG. 7 illustrates a three-dimensional face pose using the AAM and the estimated depth information according to an embodiment of the present invention. And a result of estimating face depth information by step S400 of the facial expression change estimation method.

단계 S500에서는, 단계 S400에 의해 추정된 얼굴 깊이 정보를 z축으로 AAM 얼굴모델에 추가하여 3차원의 얼굴모델을 생성한다.
In step S500, the face depth information estimated in step S400 is added to the AAM face model on the z-axis to generate a three-dimensional face model.

단계 S600에서는, 생성된 3차원의 얼굴모델에 3차원 변환 파라미터를 적용하고 입력 영상에 피팅한다. 따라서 본 발명에 따른 AAM 및 추정된 깊이 정보를 이용한 얼굴 피팅은 임의의 얼굴 포즈 및 표정을 갖는 입력 영상으로부터 하기의 수학식 6에 따른 얼굴 파라미터 p를 추정한다.In operation S600, a 3D transformation parameter is applied to the generated 3D face model and fitted to the input image. Therefore, face fitting using AAM and estimated depth information according to the present invention estimates a face parameter p according to Equation 6 below from an input image having an arbitrary face pose and facial expression.

Figure pat00016
Figure pat00016

여기서, c는 AAM 모델 파라미터이고, t는 변환 파라미터이다.
Where c is an AAM model parameter and t is a conversion parameter.

단계 S700에서는, 3차원으로 변화하는 얼굴 포즈 및 표정에 따라 입력되는 영상 프레임마다 단계 S100 내지 단계 S600을 반복 수행하여 2차원 및 3차원 변환 파라미터를 갱신한다.
In step S700, steps S100 to S600 are repeated for each input image frame according to a facial pose and facial expression that change in three dimensions to update two-dimensional and three-dimensional transformation parameters.

AAM을 이용한 얼굴 피팅은 얼굴 파라미터를 찾는 최적화 단계에서 사용되는 Jacobian 행렬을 학습 단계에서 계산함으로써 매우 빠른 피팅을 수행할 수 있다. AAM을 이용하여 얼굴의 3차원 포즈를 추정하기 위해서 수학식 6에 따른 얼굴 파라미터에 하기의 수학식 7과 같이 3차원 회전에 대한 추가의 변환 파라미터가 요구된다.Face fitting using AAM can perform very fast fitting by calculating the Jacobian matrix used in the optimization phase to find the face parameter in the learning phase. In order to estimate the three-dimensional pose of the face using AAM, an additional transformation parameter for three-dimensional rotation is required for the facial parameter according to Equation 6 as shown in Equation 7 below.

Figure pat00017
Figure pat00017

하지만, 기존의 AAM을 3차원의 특징점으로 학습할 경우, 수학식 7의 파라미터에 대해 기존 AAM의 방법으로 Jacobian을 학습 단계에서 계산할 경우, 3차원 변환 파라미터인 θx와 θy에 대한 얼굴 질감 변화가 크지 않고 얼굴 포즈에 따라 생성되는 Jacobian이 달라지기 때문에 사전 학습된 Jacobian을 이용하여 얼굴의 3차원 변화를 효과적으로 피팅하기 어렵다.
However, in the case of learning the existing AAM with three-dimensional feature points, when Jacobian is calculated in the learning step with the conventional AAM method with respect to the parameter of Equation 7, the facial texture change for the three-dimensional transformation parameters θ x and θ y It is difficult to fit the three-dimensional changes of the face effectively using the pre-learned Jacobian because it is not large and the generated Jacobian varies according to the face pose.

이를 해결하기 위해, 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법에서는, 2차원에 대한 파라미터와 3차원에 대한 파라미터를 단계적으로 갱신(update)함으로써 입력 영상에서 효과적인 얼굴 피팅을 수행할 수 있다. 즉, 3차원으로 변화하는 입력 영상의 얼굴을 피팅하기 위해 기존 학습된 AAM과 추정된 깊이 정보를 이용한 얼굴 피팅(단계 S100 내지 단계 S600)을 반복적으로 수행하며 최종적으로 얼굴 파라미터가 최적화될 때까지 반복 수행한다.
In order to solve this problem, in the 3D face pose and facial expression change estimation method using AAM and estimated depth information according to an embodiment of the present invention, the parameters for 2D and the parameters for 3D are gradually updated. Thus, effective face fitting can be performed on the input image. That is, in order to fit the face of the input image that changes in three dimensions, face fitting (steps S100 to S600) using the previously learned AAM and estimated depth information is repeatedly performed and finally, until the face parameters are optimized. To perform.

보다 구체적으로, AAM 얼굴모델을 입력 영상의 얼굴에 피팅하기 위해서는 입력 영상의 얼굴의 질감 벡터 GI와 AAM 얼굴모델의 질감 벡터 GM와의 차이를 최소화하는 얼굴 파라미터 p를 최적화한다. 다시 말해, 얼굴 파라미터 p가 주어졌을 때, 두 질감 벡터의 차이에 따른 에러는 하기의 수학식 8과 같이 정의된다.More specifically, in order to fit the AAM face model to the face of the input image, the face parameter p that minimizes the difference between the texture vector G I of the input image face and the texture vector G M of the AAM face model is optimized. In other words, when the face parameter p is given, an error according to the difference between the two texture vectors is defined as in Equation 8 below.

Figure pat00018
Figure pat00018

수학식 8에 대한 테일러 급수(first order Taylor expansion)는 하기의 수학식 9로 표현될 수 있다.The Taylor order (first order Taylor expansion) for Equation 8 may be expressed by Equation 9 below.

Figure pat00019
Figure pat00019

따라서 얼굴 피팅은 e(p+δp)을 최소화하는 δp를 반복적으로 갱신(update)한다. e(p+δp)을 최소화하기 위해 수학식 9의 좌변을 0으로 정의하면 갱신 파라미터 δp는 하기의 수학식 10과 같이 정의하며, 수학식 10에 따라 수학식 6의 얼굴 파라미터를 갱신할 수 있다.Thus, face fitting repeatedly updates δp which minimizes e (p + δp). In order to minimize e (p + δp), when the left side of Equation 9 is defined as 0, the update parameter δp is defined as in Equation 10 below, and the face parameter of Equation 6 may be updated according to Equation 10. .

Figure pat00020
Figure pat00020

더욱이, AAM 얼굴모델을 통한 얼굴 피팅은 피팅 얼굴 형태의 X, Y 좌표를 결정하며, 여기에 얼굴의 3차원 회전을 추정하기 위해 결정된 X, Y좌표에 추정된 깊이 정보(단계 S400)로부터 z축을 추가하여 입력 얼굴에 대해 3차원 변환 파라미터인 θx, θy를 갱신한다. 이때, θx, θy에 대한 수학식 10의 Jacobian 행렬은 입력 얼굴 포즈에 따라 다르기 때문에 입력 프레임마다 새로 계산되는 것이 바람직하다. 뿐만 아니라, Jacobian이 θx, θy에 대한 파라미터만을 고려할 경우에는 얼굴의 회전축에 따라 올바르게 얼굴을 피팅하지 못할 수 있기 때문에, 3차원 변환 파라미터 θx, θy와 함께 얼굴의 이동 파라미터 tx, ty를 함께 갱신하는 것이 바람직하다.
Furthermore, the face fitting through the AAM face model determines the X and Y coordinates of the fitting face shape, and the z-axis from the depth information estimated at the X and Y coordinates determined in order to estimate the three-dimensional rotation of the face. In addition, the three-dimensional transformation parameters θ x and θ y are updated for the input face. In this case, since the Jacobian matrix of Equation 10 for θ x and θ y is different according to the input face pose, it is preferable to newly calculate each input frame. In addition, when Jacobian considers only the parameters for θ x and θ y , the face may not fit properly according to the rotation axis of the face. Therefore, along with the three-dimensional transformation parameters θ x and θ y , the face movement parameters t x , It is desirable to update t y together.

단계 S800에서는, 자기 가림이 발생한 영역에 대해 메쉬의 방향성을 판별하여 반대일 경우 삼각형 내의 얼굴 질감을 평균 질감으로 대체하여 가려진 메쉬에 대한 가중치를 0으로 처리한다.
In step S800, the direction of the mesh is determined for the region where the magnetic occlusion has occurred, and if it is reversed, the face texture in the triangle is replaced with the average texture, and the weight of the masked mesh is zero.

3차원 포즈 및 표정 변화에 대한 얼굴 피팅을 수행하는 과정에서, 얼굴의 질감은 얼굴의 포즈가 정면에서 멀어질수록 가려짐(occlusion)이 발생하기 때문에 정확한 얼굴 피팅 결과를 얻기 어려운바, 이러한 자기 가려짐(self-occlusion)을 적절히 처리하는 것이 중요하다. 보다 구체적으로, 얼굴을 형성하는 메쉬는 삼각형으로 정의되기 때문에 2차원에 투영된 얼굴 모델 메쉬의 방향은 메쉬가 가려졌을 경우 반대의 방향성을 가지며, 도 8은 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법에서, 얼굴의 3차원 포즈 변화에 따른 메쉬의 방향성 차이를 나타낸 도면이다. 도 8에 도시된 바와 같이, (a)의 경우, 붉은색 메쉬는 A-B-C의 삼각형을 이루는 반면, (b)의 경우, 붉은색 메쉬는 포즈 변화로 인해 메쉬가 뒤쪽으로 가려지기 때문에 2차원에 투영된 메쉬는 A-C-B의 반대 방향으로 나타난다.
In the process of fitting the face to the 3D pose and facial expression change, the texture of the face is difficult to obtain accurate face fitting results because the occlusion occurs as the face pose moves away from the front. It is important to properly handle self-occlusion. More specifically, since the mesh forming the face is defined by a triangle, the direction of the face model mesh projected in two dimensions has the opposite direction when the mesh is obscured, and FIG. 8 illustrates an AAM according to an embodiment of the present invention. In the three-dimensional face pose and facial expression change estimation method using the estimated depth information, it is a diagram showing the directional difference of the mesh according to the three-dimensional pose changes of the face. As shown in FIG. 8, in the case of (a), the red mesh forms a triangle of ABC, while in (b), the red mesh is projected in two dimensions because the mesh is obscured due to a pose change. Meshes appear in the opposite direction of the ACB.

이를 위해, 단계 S800에서는, 메쉬의 방향성을 이용하여 3차원 포즈 변환(X, Y축 회전) 하였을 경우, 얼굴 메쉬에 대해 가려진 메쉬에 대한 판단을 수행한다. 즉, 얼굴 모델을 형성하는 모든 메쉬에 대해 방향성을 판별하여 반대일 경우 삼각형 내의 얼굴 질감을 AAM에 학습된 평균 질감으로 대체함으로써 가려진 메쉬에 대한 가중치를 0으로 처리한다. 메쉬의 방향성은 메쉬를 형성하는 벡터 간의 내적을 이용하여 빠르게 판별 가능하다.
To this end, in step S800, when a three-dimensional pose transformation (X, Y-axis rotation) is performed using the directionality of the mesh, a determination is made on a mesh that is masked with respect to the face mesh. That is, the directionality is determined for all the meshes forming the face model, and if it is the opposite, the face texture in the triangle is replaced with the average texture learned in the AAM, so that the weight of the masked mesh is zero. The directionality of the mesh can be quickly determined using the dot product between the vectors forming the mesh.

도 9는 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법과 기존 방법에 따른 얼굴 피팅 결과를 나타낸 도면이고, 도 10은 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법에 따라 입력 영상에서 얼굴을 피팅하여 3차원 얼굴 포즈를 추정한 결과를 나타낸 도면이다. 도 9 및 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법은, AAM 및 View-based AAM에 비하여 우수한 얼굴 피팅 성능을 가지는바, 3차원 얼굴 포즈를 정확하게 추정할 수 있다.
9 is a diagram illustrating a 3D face pose and facial expression change estimation method using AAM and estimated depth information according to an embodiment of the present invention and a face fitting result according to an existing method, and FIG. 10 is an embodiment of the present invention. FIG. 3 shows a result of estimating a three-dimensional face pose by fitting a face in an input image according to a three-dimensional face pose and a facial expression change estimation method using the AAM and the estimated depth information. 9 and 10, the three-dimensional face pose and facial expression change estimation method using AAM and estimated depth information according to an embodiment of the present invention has better face fitting performance than AAM and View-based AAM. Since the 3D face pose can be estimated accurately.

본 발명은 이하의 실시예에 의하여 더욱 상세히 설명되나, 본 발명이 이하의 실시예에 의해 어떤 식으로든 제한되는 것은 아니다.
The present invention is explained in more detail by the following examples, but the present invention is not limited in any way by the following examples.

얼굴 포즈 및 표정 변화 추정 성능 비교 실험Performance comparison experiment to estimate facial pose and facial expression change

하기와 같이 본 발명에 따른 방법을 이용한 얼굴 피팅 결과와 AAM 및 View-based AAM을 이용한 얼굴 피팅 결과를 비교 분석함으로써 본 발명에 따른 방법의 얼굴 포즈 및 표정 변화 추정 성능 효과를 확인하였다.
By comparing and analyzing the face fitting results using the method according to the present invention and the face fitting results using the AAM and View-based AAM as described below, the effects of the estimation of facial pose and facial expression change of the method according to the present invention were confirmed.

실험은 9명의 사용자로부터 수행되었으며 학습을 위해 각각의 사용자마다 정면 포즈에서 다양한 표정 변화를 포함하는 영상을 획득하였다. 실험에 사용된 학습 영상과 테스트 영상은 640×480의 영상크기를 가지며 15fps로 웹캠을 이용하여 촬영되었으며 학습 영상과 테스트 영상은 별도로 촬영되었다. 학습된 AAM은 95%의 PCA 계수를 이용하여 정면으로부터 학습된 AAM의 경우, 13개의 AAM 모델 파라미터 계수가 사용되었다. 실험에 사용된 컴퓨터는 Intel Core i5 750 CPU와 4GB의 램을 가지고 있으며, 본 발명에 따른 방법과의 비교에 사용된 대조군 방법은 모두 Visual Studio 2005에서 C++기반으로 OpenCV 2.0을 이용하여 제작되었다. AAM을 학습하기 위해 사용자마다 학습 영상으로부터 10프레임 간격으로 35장의 영상을 추출하고 86개의 얼굴 특징점을 표기하였다. 정면 포즈 영상으로부터 학습된 AAM은 기존 AAM의 방법과 본 발명에 따른 방법의 일부분으로 이용되었다. 그리고 View-based AAM은 도 11과 같이 3개의 얼굴 포즈에 대해 각각의 포즈마다 35장의 얼굴 표정 영상으로부터 학습하였다.
The experiment was performed from nine users, and for learning, each user acquired images including various facial expression changes in the front pose. The training and test images used in the experiments were 640 × 480 image size and were taken using webcam at 15fps. The training and test images were taken separately. For the AAM trained, 13 AAM model parameter coefficients were used for AAM trained from the front using 95% PCA coefficients. The computer used in the experiment has an Intel Core i5 750 CPU and 4GB of RAM, and the control methods used in comparison with the method according to the present invention were all made using OpenCV 2.0 based on C ++ in Visual Studio 2005. In order to learn AAM, 35 images were extracted at intervals of 10 frames from the learning images for each user, and 86 facial feature points were marked. The AAM learned from the front pose image was used as part of the existing AAM method and the method according to the present invention. As shown in FIG. 11, the view-based AAM was learned from 35 facial expression images for each of three poses.

본 발명의 방법에 따라 추정된 깊이 정보와 정면 영상으로부터 학습된 AAM을 결합하여 입력 얼굴에 대한 얼굴 피팅을 수행하고, 이를 정면 포즈 얼굴 영상에 대한 학습을 수행한 AAM과 3개의 서로 다른 얼굴 포즈를 이용하여 학습한 View-based AAM을 이용한 얼굴 피팅 결과와 비교 분석하였다. 또한, 각각의 방법에 따른 피팅 결과의 정확성을 판별하기 위해 수학식 8의 에러 함수를 이용하여 에러 값 및 그 평균값을 산출하였고, 그 결과를 표 1 및 도 12에 나타내었다.According to the method of the present invention, a face fitting is performed on the input face by combining the estimated depth information and the AAM learned from the front image, and the AAM performing the learning on the front pose face image and three different face poses are performed. The results were compared with the face fitting using the trained View-based AAM. In addition, in order to determine the accuracy of the fitting result according to each method, the error value and its average value were calculated using the error function of Equation 8, and the results are shown in Table 1 and FIG.

구분division 평균 피팅 에러Average fitting error AAMAAM 2.8173552.817355 View-based AAMView-based AAM 1.4306531.430653 ProposedProposed 0.6547650.654765

도 12에 나타낸 바와 같이, AAM의 경우, 190프레임까지 불안정하게 얼굴 피팅을 수행하였으며 190프레임 이후에는 얼굴을 놓치고 높은 에러를 나타내었다. 이를 통해 AAM은 정면 영상만을 이용하여 학습되기 때문에 얼굴 포즈가 정면을 벗어날 경우, 얼굴을 올바르게 피팅하지 못하는 것을 확인하였다. 또한, View-based AAM의 경우, 학습된 3개의 얼굴 포즈에 대해서 가장 적합한 포즈의 AAM을 이용하여 입력 얼굴을 피팅하기 때문에 보다 폭넓은 얼굴 포즈를 피팅할 수 있는 것을 확인하였다. 하지만, 50프레임 전후나 250 프레임 전후와 같이 얼굴 포즈가 학습된 얼굴 포즈와 다를 경우 본 발명에 따른 방법에 비해 높은 에러를 보이며 305 프레임부터는 잘못된 포즈가 보다 적은 에러를 보여 얼굴을 놓친 것을 확인하였다. 한편, 본 발명에 따른 방법에서는, 다양한 얼굴 포즈에 대해 매 프레임마다 3차원 파라미터 갱신을 위한 Jacobian을 계산하기 때문에 기존의 방법에 비해 정확하게 얼굴 피팅을 수행할 수 있음을 확인하였다.
As shown in FIG. 12, in the case of AAM, face fitting was performed unstable up to 190 frames, and after 190 frames, a face was missed and a high error was shown. Through this, the AAM is trained using only the front image, so that if the face pose is out of the front, the face is not properly fitted. In addition, in the case of view-based AAM, the input face is fitted using the most suitable pose AAM for the three face poses learned, and thus, it is confirmed that a wider face pose can be fitted. However, when the face pose is different from the learned face pose, such as around 50 frames or around 250 frames, it shows a higher error compared to the method according to the present invention. On the other hand, in the method according to the present invention, since it is calculated Jacobian for the three-dimensional parameter update for each frame for various face poses, it was confirmed that the face fitting can be performed more accurately than the conventional method.

뿐만 아니라, 도 12에 나타난 그래프는 수학식 8의 에러 함수를 이용하여 계산된 에러 값들의 제곱 합을 나타낸 것이며, 표 1은 평균 피팅 에러 값을 나타낸 것이다. 에러 값은 학습된 AAM으로부터 재구성된 얼굴 모델과 입력 얼굴 간의 차이를 나타낸 것으로서, 얼굴이 올바르게 피팅될수록 얼굴 모델과 입력 얼굴의 질감 차이가 작아져 0에 가까운 값을 갖는 반면 얼굴이 정확하게 피팅되지 않거나 얼굴 영역을 놓쳤을 경우, 음이나 양의 방향으로 매우 높은 값을 갖는다. 표 1 및 도 12에 나타낸 바와 같이, 본 발명에 따른 방법에 의한 얼굴 피팅의 에러 값은 0에 가까운 값을 가지는바, 우수한 얼굴 피팅 성능을 가지는 것을 확인하였다.
In addition, the graph shown in FIG. 12 shows the sum of squares of error values calculated using the error function of Equation 8, and Table 1 shows the average fitting error values. The error value represents the difference between the face model reconstructed from the trained AAM and the input face, and as the face is correctly fitted, the difference in the texture between the face model and the input face is smaller, which is close to zero, while the face is not fitted correctly or the face is not. If you miss an area, it is very high in the negative or positive direction. As shown in Table 1 and Figure 12, the error value of the face fitting by the method according to the present invention has a value close to 0, it was confirmed that has an excellent face fitting performance.

따라서, 본 발명에 따른 방법은 입력 영상의 얼굴에 정확한 피팅을 할 수 있는바, 이로 인해 다양한 얼굴 포즈 및 표정 변화 추정 성능이 우수한 것을 알 수 있었다.
Therefore, the method according to the present invention can be accurately fitted to the face of the input image, it was found that the excellent performance of the estimation of various face poses and facial expression changes.

얼굴 포즈 각 변화에 따른 포즈 추정 에러 실험Pose Estimation Error Experiment According to Face Pose Angle Variation

본 발명에 따른 추정 방법은 얼굴의 3차원 모델을 생성하기 때문에 입력 얼굴에 대한 얼굴의 3차원 포즈 각을 추정할 수 있는바, 추정한 3차원 포즈 각의 정확성을 측정하기 위해 x, y, z축에 대한 얼굴 포즈 변화의 실제 포즈 각과 추정된 포즈 각과의 차이를 비교하였고, 그 결과를 도 13에 나타내었다. 한편, 포즈 각 비교에 사용된 동영상은 얼굴의 표정변화를 갖지 않는 무표정으로 각 축에 대한 포즈 변화만을 포함하였다. 또한, 실험 동영상의 각 프레임에서 본 발명에 따른 방법으로 추정된 입력 얼굴의 3차원 포즈 각과 사람이 인위적으로 측정한 포즈 각 간의 RMS 차이 에러를 산출하였고, 그 결과를 도 14에 나타내었다.
Since the estimation method according to the present invention generates a three-dimensional model of the face, it is possible to estimate the three-dimensional pose angle of the face with respect to the input face. In order to measure the accuracy of the estimated three-dimensional pose angle, x, y, z The difference between the actual pose angle of the face pose change with respect to the axis and the estimated pose angle was compared, and the results are shown in FIG. 13. On the other hand, the video used in the comparison of the pose angles includes only the pose changes on each axis with no expression and no facial expression changes. In addition, the RMS difference error between the three-dimensional pose angle of the input face estimated by the method according to the present invention and the artificially measured pose angle in each frame of the experimental video was calculated, and the results are shown in FIG. 14.

도 13에 나타낸 바와 같이, x축과 z축에 대한 포즈 변화의 경우, 얼굴 영상이 정면 영상과 유사하기 때문에 비교적 정확하게 포즈 각을 예측하였다. 반면 y축 포즈 변화의 경우에는, 정면과 멀어질수록 입력 영상이 정면 영상과 다르게 표현되기 때문에 추정된 포즈 각의 오차가 커졌다. 또한, 도 14에 나타낸 바와 같이, 실제 사람이 측정한 각에 비해 평균 4.43도의 오차를 가지며 실제 3차원 포즈 각과 거의 유사한 추정 결과를 가짐을 확인하였다.
As shown in FIG. 13, in the case of pose change about the x-axis and the z-axis, the pose angle was predicted relatively accurately because the face image is similar to the front image. On the other hand, in the case of a change in the y-axis pose, the farther away from the front side, the input image is represented differently from the front side image, so the error of the estimated pose angle becomes larger. In addition, as shown in FIG. 14, it was confirmed that the average human had an error of 4.43 degrees compared with the measured angle and had an estimation result almost similar to the actual three-dimensional pose angle.

따라서 본 발명에 따른 방법은 입력 얼굴에 대한 얼굴의 실제 3차원 포즈 각의 추정 성능이 우수함을 알 수 있다.
Accordingly, it can be seen that the method according to the present invention has excellent estimation performance of the actual three-dimensional pose angle of the face with respect to the input face.

계산 속도 비교 실험Calculation Speed Comparison Experiment

본 발명에 따른 방법과 AAM / View-based AAM 방법 및 3D AAM 방법 간의 반복(iteration) 당 계산 속도를 비교하였고, 그 결과를 표 2에 나타내었다.Computation rates per iteration between the method according to the invention, the AAM / View-based AAM method and the 3D AAM method were compared, and the results are shown in Table 2.

방법Way 평균 수행 시간 (iteration 당)Average execution time (per iteration) AAM / View-based AAMAAM / View-based AAM 5.17 ㎳5.17 ㎳ 3D AAM3D AAM 28.87 ㎳28.87 ㎳ PropesedPropesed 15.93 ㎳15.93 ㎳

표 2에 나타낸 바와 같이, AAM과 View-based AAM의 경우, Jacobian을 학습 단계에서 계산하기 때문에 가장 빠른 계산 속도를 나타내었으며, 그 다음으로 본 발명에 따른 방법의 계속 속도가 빨랐다. 3D AAM과 본 발명에 따른 방법은 모두 반복 단계에서 Jacobian을 계산하지만, 3D AAM의 경우 사용되는 모든 파라미터에 대해 Jacobian을 계산하는 반면, 본 발명에 따른 방법은 3차원 파라미터와 이동 파라미터의 4개 파라미터에 대한 Jacobian을 계산하기 때문에 3D AAM보다 빠른 계산 속도를 보였다.
As shown in Table 2, in the case of AAM and View-based AAM, the calculation speed was the fastest because Jacobian was calculated in the learning phase, and then the speed of the method according to the present invention was faster. Both 3D AAM and the method according to the present invention calculate Jacobian in an iterative step, but in the case of 3D AAM, Jacobian is calculated for all the parameters used, while the method according to the present invention uses four parameters of three-dimensional and moving parameters. Because we calculate Jacobian for, it is faster than 3D AAM.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention may be embodied in many other specific forms without departing from the spirit or essential characteristics of the invention.

S100: 정면 및 양 측면 얼굴을 나타내는 입력 영상에 특징점(land-mark)을 표기하여 삼각형 메쉬(mesh)를 형성하는 단계
S200: 특징점을 표기한 입력 영상 중 정면 얼굴에 대하여 AAM(Active Appearance Model)에 의한 학습과정에서 정의되는 AAM 모델 파라미터로부터 2차원의 AAM 얼굴모델을 생성하는 단계
S300: 생성된 AAM 얼굴모델에 2차원 변환 파라미터를 적용하고 입력 영상에 피팅(fitting)하는 단계
S400: 입력 영상의 정면 및 양 측면 얼굴로부터 3차원의 얼굴 깊이 정보를 추정하는 단계
S500: AAM 얼굴모델에 추정된 얼굴 깊이 정보를 z축으로 추가하여 3차원의 얼굴모델을 생성하는 단계
S600: 생성된 3차원의 얼굴모델에 3차원 변환 파라미터를 적용하고 입력 영상에 피팅하는 단계
S700: 3차원으로 변화하는 얼굴 포즈 및 표정에 따라 입력되는 영상 프레임마다 단계 S100 내지 단계 S600을 반복 수행하여 2차원 및 3차원 변환 파라미터를 갱신하는 단계
S800: 자기 가림이 발생한 영역에 대해 메쉬의 방향성을 판별하여 반대일 경우 삼각형 내의 얼굴 질감을 평균 질감으로 대체하여 가려진 메쉬에 대한 가중치를 0으로 처리하는 단계S100: forming a triangle mesh by marking a land-mark on the input image representing the front and side faces.
S200: generating a two-dimensional AAM face model from the AAM model parameters defined in the learning process by the AAM (Active Appearance Model) with respect to the front face among the input image indicating the feature points
S300: step of applying a 2D transformation parameter to the generated AAM face model and fitting it to the input image
S400: estimating three-dimensional face depth information from the front and both side faces of the input image
S500: generating a three-dimensional face model by adding the estimated face depth information to the AAM face model on the z-axis
S600: applying a 3D transformation parameter to the generated 3D face model and fitting it to the input image
S700: updating the two-dimensional and three-dimensional conversion parameters by repeating steps S100 to S600 for each input image frame according to a facial pose and expression changing in three dimensions
S800: Determining the direction of the mesh with respect to the area where the magnetic occlusion has occurred and if the opposite is the case, by replacing the face texture in the triangle with an average texture to process the weight for the masked mesh to 0

Claims (7)

(1) 정면 및 양 측면 얼굴을 나타내는 입력 영상에 특징점(land-mark)을 표기하여 삼각형 메쉬(mesh)를 형성하는 단계;
(2) 상기 특징점을 표기한 입력 영상 중 정면 얼굴에 대하여 AAM(Active Appearance Model)에 의한 학습과정에서 정의되는 AAM 모델 파라미터로부터 2차원의 AAM 얼굴모델을 생성하는 단계;
(3) 상기 생성된 AAM 얼굴모델에 2차원 변환 파라미터를 적용하고 상기 입력 영상에 피팅(fitting)하는 단계;
(4) 상기 입력 영상의 정면 및 양 측면 얼굴로부터 3차원의 얼굴 깊이 정보를 추정하는 단계;
(5) 상기 AAM 얼굴모델에 상기 추정된 얼굴 깊이 정보를 z축으로 추가하여 3차원의 얼굴모델을 생성하는 단계;
(6) 상기 생성된 3차원의 얼굴모델에 3차원 변환 파라미터를 적용하고 상기 입력 영상에 피팅하는 단계; 및
(7) 3차원으로 변화하는 얼굴 포즈 및 표정에 따라 입력되는 영상 프레임마다 상기 단계 (1) 내지 단계 (6)을 반복 수행하여 상기 2차원 및 3차원 변환 파라미터를 갱신하는 단계를 포함하는 것을 특징으로 하는, AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법.
(1) forming a triangular mesh by marking land-marks on input images representing front and side faces;
(2) generating a two-dimensional AAM face model from an AAM model parameter defined in a learning process by an AAM (Active Appearance Model) for the front face among the input images indicating the feature points;
(3) applying a 2D transformation parameter to the generated AAM face model and fitting it to the input image;
(4) estimating three-dimensional face depth information from the front and both side faces of the input image;
(5) generating a three-dimensional face model by adding the estimated face depth information to the AAM face model on a z-axis;
(6) applying a 3D transformation parameter to the generated 3D face model and fitting it to the input image; And
(7) updating the two-dimensional and three-dimensional conversion parameters by repeating steps (1) to (6) for each image frame input according to a facial pose and expression changing in three dimensions. A three-dimensional face pose and facial expression change estimation method using AAM and estimated depth information.
제1항에 있어서,
(8) 자기 가림이 발생한 영역에 대해 메쉬의 방향성을 판별하여 반대일 경우 삼각형 내의 얼굴 질감을 평균 질감으로 대체하여 가려진 메쉬에 대한 가중치를 0으로 처리하는 단계를 더 포함하는 것을 특징으로 하는, AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법.
The method of claim 1,
(8) AAM, characterized in that it comprises the step of determining the directionality of the mesh with respect to the region where the magnetic occlusion has occurred and if the opposite is the case, by replacing the face texture in the triangle with an average texture, the weight for the masked mesh to 0 And a 3D face pose and facial expression change estimation method using the estimated depth information.
제1항에 있어서, 상기 단계 (1)에서,
상기 특징점은 86개이고, 상기 메쉬는 138개인 것을 특징으로 하는, AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법.
2. The method according to claim 1, wherein in the step (1)
Wherein the feature point is 86 and the mesh is 138. 3. The method of claim 3, wherein the AAM and estimated depth information are used.
제1항에 있어서, 상기 단계 (2)는,
(2-1) 상기 특징점으로부터 추출되는 정면 얼굴의 형태 벡터를 Procustes Analysis 방법을 이용하여 평균 얼굴 형태
Figure pat00021
로 정렬하고, PCA(Principal Component Analysis)를 적용하여 형태 모델을 생성하는 단계로서, 상기 형태 모델은 형태고유 벡터와 형태 파라미터의 선형결합으로 정의되는, 형태 모델 생성 단계;
(2-2) 상기 정면 얼굴을 상기 평균 얼굴 형태
Figure pat00022
로 와핑(warping)하여 형태를 정규화한 후, 질감 벡터에 대해 PCA를 적용하여 질감 모델을 생성하는 단계로서, 상기 질감 모델은 질감 고유 벡터와 질감 파라미터의 선형 결합과 평균 질감 벡터의 합으로 정의되는, 질감 모델 생성 단계;
(2-3) 상기 형태 모델과 질감 모델을 결합하기 위해 상기 형태 파라미터와 질감 파라미터를 연결하고, PCA를 수행함으로써 AAM 모델 고유 행렬과 AAM 모델 파라미터를 생성하는 단계; 및
(2-4) 상기 생성된 AAM 모델 파라미터로부터 AAM 얼굴모델을 생성하는 단계를 포함하는 것을 특징으로 하는, AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법.
2. The method of claim 1, wherein step (2)
(2-1) Average face shape using the Procustes Analysis method for the front face shape vector extracted from the feature points
Figure pat00021
Generating a shape model by applying Principal Component Analysis (PCA), wherein the shape model is defined as a linear combination of shape-specific vectors and shape parameters;
(2-2) the average face shape of the front face
Figure pat00022
After the normalization of the shape by warping to generate a texture model by applying the PCA to the texture vector, the texture model is defined as a linear combination of texture eigenvectors and texture parameters and the sum of the average texture vectors. , Texture model generation step;
(2-3) generating an AAM model unique matrix and an AAM model parameter by connecting the shape parameter and texture parameter to combine the shape model and the texture model, and performing a PCA; And
(2-4) generating an AAM face model from the generated AAM model parameters, wherein the 3D face pose and facial expression change estimation method using AAM and estimated depth information.
제1항에 있어서, 상기 단계 (4)는,
(4-1) 상기 정면 얼굴로부터 3차원 얼굴 형태의 x,y축을 정의하는 단계;
(4-2) 상기 양 측면 얼굴로부터 깊이 정보를 정의하는 단계; 및
(4-3) 상기 측면 얼굴의 영상을 정면 얼굴의 영상으로 정렬하는 단계를 포함하는 것을 특징으로 하는, AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법.
2. The method of claim 1, wherein step (4)
(4-1) defining an x, y axis of a three-dimensional face shape from the front face;
(4-2) defining depth information from both side faces; And
And (4-3) aligning the image of the side face with the image of the front face, wherein the 3D face pose and facial expression change estimation method using the AAM and the estimated depth information.
제5항에 있어서, 상기 단계 (4-3)은,
상기 정면 얼굴 및 측면 얼굴은 3차원 얼굴 형태에서 y축만을 공유하며, 하기의 수학식에 의해 Y축 간의 에러를 최소화함으로써 정렬하는 것을 특징으로 하는, AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법.
Figure pat00023

여기서, ys는 측면 얼굴의 y축 좌표 벡터이고, yf는 정면 얼굴의 y축 좌표 벡터이다.
The method of claim 5, wherein step (4-3)
The front face and the side face share only the y-axis in the three-dimensional face shape, and the three-dimensional face pose using the AAM and estimated depth information, characterized in that the alignment by minimizing the error between the Y-axis by the following equation And facial expression change estimation method.
Figure pat00023

Here, y s is the y-axis coordinate vector of the side face and y f is the y-axis coordinate vector of the front face.
제1항에 있어서, 상기 단계 (7)은,
하기의 수학식에 따라 추정되는 얼굴 파라미터가 최적화될 때까지 반복 수행되는 것을 특징으로 하는, AAM 및 추정된 깊이 정보를 이용하는 3차원 얼굴 포즈 및 표정 변화 추정 방법.
Figure pat00024

여기서, c는 AAM 모델 파라미터이고, t는 변환 파라미터이다.The method of claim 1, wherein step (7)
3. A method of estimating a three-dimensional face pose and facial expression change using AAM and estimated depth information, characterized in that it is repeatedly performed until the estimated face parameter is optimized according to the following equation.
Figure pat00024

Where c is an AAM model parameter and t is a conversion parameter.
KR1020120020657A 2012-02-28 2012-02-28 3d facial pose and expression estimating method using aam and estimated depth information KR101333836B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120020657A KR101333836B1 (en) 2012-02-28 2012-02-28 3d facial pose and expression estimating method using aam and estimated depth information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120020657A KR101333836B1 (en) 2012-02-28 2012-02-28 3d facial pose and expression estimating method using aam and estimated depth information

Publications (2)

Publication Number Publication Date
KR20130098824A true KR20130098824A (en) 2013-09-05
KR101333836B1 KR101333836B1 (en) 2013-11-29

Family

ID=49450551

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120020657A KR101333836B1 (en) 2012-02-28 2012-02-28 3d facial pose and expression estimating method using aam and estimated depth information

Country Status (1)

Country Link
KR (1) KR101333836B1 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101436730B1 (en) * 2013-03-26 2014-09-02 가톨릭대학교 산학협력단 3d face fitting method of unseen face using active appearance model
CN107316020A (en) * 2017-06-26 2017-11-03 司马大大（北京）智能系统有限公司 Face replacement method, device and electronic equipment
CN109409274A (en) * 2018-10-18 2019-03-01 广州云从人工智能技术有限公司 A kind of facial image transform method being aligned based on face three-dimensional reconstruction and face
KR20190136349A (en) * 2018-05-30 2019-12-10 삼성전자주식회사 Face verifying method and apparatus based on 3d image
CN110796719A (en) * 2018-07-16 2020-02-14 北京奇幻科技有限公司 Real-time facial expression reconstruction method
CN110866864A (en) * 2018-08-27 2020-03-06 阿里巴巴集团控股有限公司 Face pose estimation/three-dimensional face reconstruction method and device and electronic equipment
CN112562027A (en) * 2020-12-02 2021-03-26 北京百度网讯科技有限公司 Face model generation method and device, electronic equipment and storage medium
US10977768B2 (en) 2018-05-09 2021-04-13 Samsung Electronics Co., Ltd. Method and apparatus with image normalization
WO2021093453A1 (en) * 2019-11-15 2021-05-20 腾讯科技（深圳）有限公司 Method for generating 3d expression base, voice interactive method, apparatus and medium
CN113887529A (en) * 2021-11-09 2022-01-04 天津大学 Three-dimensional facial expression generation system based on motion unit feature decomposition

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10558881B2 (en) 2016-08-24 2020-02-11 Electronics And Telecommunications Research Institute Parallax minimization stitching method and apparatus using control points in overlapping region
KR102633417B1 (en) 2022-08-25 2024-02-02 영남대학교 산학협력단 Apparatus and method for pose transformation

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101436730B1 (en) * 2013-03-26 2014-09-02 가톨릭대학교 산학협력단 3d face fitting method of unseen face using active appearance model
CN107316020A (en) * 2017-06-26 2017-11-03 司马大大（北京）智能系统有限公司 Face replacement method, device and electronic equipment
US10977768B2 (en) 2018-05-09 2021-04-13 Samsung Electronics Co., Ltd. Method and apparatus with image normalization
US11475537B2 (en) 2018-05-09 2022-10-18 Samsung Electronics Co., Ltd. Method and apparatus with image normalization
KR20190136349A (en) * 2018-05-30 2019-12-10 삼성전자주식회사 Face verifying method and apparatus based on 3d image
US11790494B2 (en) 2018-05-30 2023-10-17 Samsung Electronics Co., Ltd. Facial verification method and apparatus based on three-dimensional (3D) image
CN110796719A (en) * 2018-07-16 2020-02-14 北京奇幻科技有限公司 Real-time facial expression reconstruction method
CN110866864A (en) * 2018-08-27 2020-03-06 阿里巴巴集团控股有限公司 Face pose estimation/three-dimensional face reconstruction method and device and electronic equipment
CN109409274A (en) * 2018-10-18 2019-03-01 广州云从人工智能技术有限公司 A kind of facial image transform method being aligned based on face three-dimensional reconstruction and face
US11748934B2 (en) 2019-11-15 2023-09-05 Tencent Technology (Shenzhen) Company Limited Three-dimensional expression base generation method and apparatus, speech interaction method and apparatus, and medium
WO2021093453A1 (en) * 2019-11-15 2021-05-20 腾讯科技（深圳）有限公司 Method for generating 3d expression base, voice interactive method, apparatus and medium
CN112562027A (en) * 2020-12-02 2021-03-26 北京百度网讯科技有限公司 Face model generation method and device, electronic equipment and storage medium
CN113887529A (en) * 2021-11-09 2022-01-04 天津大学 Three-dimensional facial expression generation system based on motion unit feature decomposition

Also Published As

Publication number Publication date
KR101333836B1 (en) 2013-11-29

Similar Documents

Publication Publication Date Title
KR101333836B1 (en) 3d facial pose and expression estimating method using aam and estimated depth information
CN111784770B (en) Three-dimensional attitude estimation method in disordered grabbing based on SHOT and ICP algorithm
CN104036546B (en) Method for carrying out face three-dimensional reconstruction at any viewing angle on basis of self-adaptive deformable model
US9400921B2 (en) Method and system using a data-driven model for monocular face tracking
US9477878B2 (en) Rigid stabilization of facial expressions
Smolyanskiy et al. Real-time 3D face tracking based on active appearance model constrained by depth data
CN104123749A (en) Picture processing method and system
WO2018207282A1 (en) Target object recognition method, device, system, and program
Sung et al. Pose-Robust Facial Expression Recognition Using View-Based 2D $+ $ 3D AAM
CN108171133A (en) A kind of dynamic gesture identification method of feature based covariance matrix
CN102663351A (en) Face characteristic point automation calibration method based on conditional appearance model
Sung et al. A unified gradient-based approach for combining ASM into AAM
CN104036299B (en) A kind of human eye contour tracing method based on local grain AAM
CN108648203A (en) A method of the human body three-dimensional Attitude estimation based on monocular cam
CN109584347B (en) Augmented reality virtual and real occlusion processing method based on active appearance model
CN108694348B (en) Tracking registration method and device based on natural features
Ding et al. Generalized sum of Gaussians for real-time human pose tracking from a single depth sensor
CN114219920B (en) Method and device for constructing three-dimensional face model, storage medium and terminal
CN111612912B (en) Kinect2 camera face contour point cloud model-based rapid three-dimensional reconstruction and optimization method
WO2018207292A1 (en) Target object recognition method, device, system, and program
Ramnath et al. Increasing the density of active appearance models
Wang et al. 3D AAM based face alignment under wide angular variations using 2D and 3D data
JP2007047949A (en) Apparatus for tracking mouse and computer program
Xu et al. An automatic feature point extraction method based on laser vision for robotic multi-layer multi-pass weld seam tracking
KR101436730B1 (en) 3d face fitting method of unseen face using active appearance model

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161213

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171113

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181114

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191120

Year of fee payment: 7