KR102109818B1 - Method and apparatus for processing face image - Google Patents
Method and apparatus for processing face image Download PDFInfo
- Publication number
- KR102109818B1 KR102109818B1 KR1020180079628A KR20180079628A KR102109818B1 KR 102109818 B1 KR102109818 B1 KR 102109818B1 KR 1020180079628 A KR1020180079628 A KR 1020180079628A KR 20180079628 A KR20180079628 A KR 20180079628A KR 102109818 B1 KR102109818 B1 KR 102109818B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- mesh data
- data
- standard
- facial expression
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims description 14
- 230000008921 facial expression Effects 0.000 claims abstract description 89
- 238000003672 processing method Methods 0.000 claims abstract description 21
- 230000008685 targeting Effects 0.000 claims abstract description 6
- 230000001815 facial effect Effects 0.000 claims description 41
- 230000008859 change Effects 0.000 claims description 23
- 210000000988 bone and bone Anatomy 0.000 claims description 7
- 210000003054 facial bone Anatomy 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000014509 gene expression Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 2
- 230000001131 transforming effect Effects 0.000 abstract description 8
- 239000000203 mixture Substances 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 238000010276 construction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 239000000470 constituent Substances 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000008451 emotion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G06K9/00268—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
개시된 얼굴 영상 처리 장치에서 수행되는 얼굴 영상 처리 방법은, 표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터 및 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 단계, 임의 사용자에 대한 영상을 대상으로 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 단계, 복수의 특징점을 기초로 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성하는 단계, 표준 얼굴 메시 데이터와 개인 얼굴 메시 데이터간 변형 정보를 기초로 표정 데이터를 보정하는 단계를 포함한다.The face image processing method performed in the disclosed face image processing apparatus comprises: modeling a standard face to generate standard face mesh data including a plurality of meshes and facial expression data for the standard face mesh data, and targeting an image for an arbitrary user Extracting a plurality of feature points present in the face region in the image, transforming standard face mesh data based on the plurality of feature points to generate personal face mesh data, and transforming information between the standard face mesh data and the personal face mesh data And correcting facial expression data based on the.
Description
본 발명은 얼굴 영상 처리 방법 및 장치에 관한 것으로, 더욱 상세하게는 영상 내 얼굴의 표정을 변화시키는 얼굴 영상 처리 방법 및 장치에 관한 것이다.The present invention relates to a face image processing method and apparatus, and more particularly, to a face image processing method and apparatus for changing a facial expression in an image.
인간의 커뮤니케이션(communication) 방법에는 여러 가지가 있다. 그 중의 하나는 얼굴 표정이다. 커뮤니케이션의 상대방은 발화자의 얼굴 표정으로부터 발화자의 감정이나 의도 등을 파악할 수 있다.There are many methods of human communication. One of them is facial expression. The other party in communication can grasp the speaker's emotions or intentions from the speaker's facial expression.
얼굴 표정을 이용한 커뮤니케이션 방법은 영화나 애니메이션에 등장하는 가상의 캐릭터에 대해서도 동일하게 적용될 수 있다. 즉 관람객은 캐릭터의 얼굴 표정으로부터 캐릭터의 감정이나 의도 또는 주변 상황과 같은 정보를 파악할 수 있다. 나아가, 캐릭터의 얼굴 부위를 관람객의 얼굴 영상으로 대체하여 서비스를 제공할 수 있으며, 이 경우에는 자신의 얼굴이 영화나 애니메이션에 등장하기 때문에 그만큼 관람객의 몰입도가 향상된다.The communication method using facial expressions can be applied to virtual characters appearing in movies or animations. That is, the viewer can grasp information such as the emotion or intention of the character or the surrounding situation from the facial expression of the character. Furthermore, a service can be provided by replacing the face part of the character with the face image of the spectator, and in this case, the immersion of the spectator is improved as the face of the character appears in the movie or animation.
그런데, 이처럼 영화나 애니메이션 등과 같은 영상물 내 등장물의 얼굴 부위를 임의 사용자의 얼굴 영상으로 대체할 경우에는 일반적인 리타게팅(retargeting) 기법과는 다르게, 영상물 내에 삽입되는 얼굴 영상의 표정을 자연스럽게 변화시킬 수 있는 기술이 요구된다.However, in the case of replacing the face portion of a character in a video object such as a movie or animation with a face image of an arbitrary user, unlike the general retargeting technique, the expression of the face image inserted in the video object can be naturally changed. Technology is required.
본 발명의 실시예에 의하면, 서비스 대상 얼굴의 개인 특성을 고려하여 영상 내 얼굴의 표정을 보정하는 얼굴 영상 처리 방법 및 장치를 제공한다.According to an embodiment of the present invention, there is provided a face image processing method and apparatus for correcting a facial expression in an image in consideration of personal characteristics of a face to be serviced.
또, 영상 내 얼굴의 표정을 부위별로 보정하는 얼굴 영상 처리 방법 및 장치를 제공한다.In addition, a face image processing method and apparatus for correcting a facial expression in an image for each region are provided.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved of the present invention is not limited to those mentioned above, and another problem to be solved that is not mentioned will be clearly understood by those having ordinary knowledge to which the present invention belongs from the following description.
본 발명의 제 1 관점에 따라 얼굴 영상 처리 장치에서 수행되는 얼굴 영상 처리 방법은, 표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터 및 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 단계; 임의 사용자에 대한 영상을 대상으로 상기 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 단계; 상기 복수의 특징점을 기초로 상기 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성하는 단계; 상기 표준 얼굴 메시 데이터와 상기 개인 얼굴 메시 데이터간 변형 정보를 기초로 상기 표정 데이터를 보정하는 단계를 포함한다.According to a first aspect of the present invention, a face image processing method performed in a face image processing apparatus includes modeling a standard face to generate standard face mesh data including a plurality of meshes and facial expression data for the standard face mesh data. ; Extracting a plurality of feature points present in a face region in the image, targeting an image for an arbitrary user; Generating personal face mesh data by modifying the standard face mesh data based on the plurality of feature points; And correcting the facial expression data based on deformation information between the standard face mesh data and the personal face mesh data.
본 발명의 제 2 관점에 따른 컴퓨터 프로그램은 상기 얼굴 영상 처리 방법에 따른 각각의 단계를 수행하는 명령어가 컴퓨터 판독가능 기록매체에 기록된다.In the computer program according to the second aspect of the present invention, instructions for performing each step according to the face image processing method are recorded on a computer-readable recording medium.
본 발명의 제 3 관점에 따른 얼굴 영상 처리 장치는, 표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터를 생성하고, 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 모델링부; 임의 사용자에 대한 영상을 대상으로 상기 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 영상 처리부; 상기 복수의 특징점을 기초로 상기 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성하고, 상기 표준 얼굴 메시 데이터와 상기 개인 얼굴 메시 데이터간 변형 정보를 기초로 상기 표정 데이터를 보정하는 개인화 처리부를 포함한다.A face image processing apparatus according to a third aspect of the present invention includes a modeling unit for modeling a standard face to generate standard face mesh data including a plurality of meshes, and to generate facial expression data for the standard face mesh data; An image processing unit for extracting a plurality of feature points present in a face region in the image, for an image for an arbitrary user; And a personalization processing unit that generates personal face mesh data by transforming the standard face mesh data based on the plurality of feature points, and corrects the facial expression data based on deformation information between the standard face mesh data and the personal face mesh data. do.
본 발명의 실시예에 의하면, 영상 내 얼굴의 표정을 서비스 대상 얼굴의 개인 특성을 고려하거나 부위별로 보정함으로써, 표준 얼굴과 서비스 대상 얼굴간의 특성차에 의한 표정 일그러짐 현상이 발생하지 않는 효과가 있다.According to an exemplary embodiment of the present invention, the facial expression in the image may be corrected for each part by considering personal characteristics of the face to be serviced or corrected for each part, thereby preventing an expression distortion caused by a characteristic difference between the standard face and the service face.
도 1은 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치의 구성도이다.
도 2 내지 도 4는 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치에 의한 얼굴 영상 처리 방법을 설명하기 위한 흐름도들이다.
도 5 내지 도 11은 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치에서 얼굴 영상 처리 방법을 수행함에 따라 제공할 수 있는 얼굴 메시 데이터 및 서비스 대상 얼굴 영상의 다양한 예를 보인 것이다.1 is a block diagram of a facial image processing apparatus according to an embodiment of the present invention.
2 to 4 are flowcharts for explaining a face image processing method using a face image processing apparatus according to an embodiment of the present invention.
5 to 11 illustrate various examples of face mesh data and service target face images that can be provided by performing a face image processing method in the face image processing apparatus according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.Advantages and features of the present invention, and methods for achieving them will be clarified with reference to embodiments described below in detail together with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various forms, and only these embodiments allow the disclosure of the present invention to be complete, and have ordinary knowledge in the art to which the present invention pertains. It is provided to fully inform the person of the scope of the invention, and the scope of the invention is only defined by the claims.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing the embodiments of the present invention, detailed descriptions of known functions or configurations will be omitted except when necessary in describing the embodiments of the present invention. In addition, terms to be described later are terms defined in consideration of functions in an embodiment of the present invention, which may vary according to a user's or operator's intention or practice. Therefore, the definition should be made based on the contents throughout this specification.
도 1은 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치의 구성도이다.1 is a block diagram of a facial image processing apparatus according to an embodiment of the present invention.
도 1에 나타낸 바와 같이 일 실시예에 따른 얼굴 영상 처리 장치(100)는 모델링부(110), 영상 처리부(120) 및 개인화 처리부(130)를 포함한다.As shown in FIG. 1, the facial
모델링부(110)는 표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터를 생성한다. 그리고, 모델링부(110)는 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성할 수 있다. 예컨대, 모델링부(110)는 복수의 블렌드 쉐이프(Blend Shape)를 제작하여 표정 데이터를 생성할 수 있다. 블렌드 쉐이프는 메시 안에서 정점이 이동해야 하는 타깃의 거리 및 방향(Displacement) 값이다.The
영상 처리부(120)는 임의 사용자에 대한 영상을 대상으로 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출한다. 예를 들어, 영상 처리부(120)는 공지의 얼굴 특징점 검출(Facial Landmark Detection) 알고리즘을 이용할 수 있다.The
개인화 처리부(130)는 영상 처리부(120)에 의해 추출된 복수의 특징점을 기초로 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성한다. 그리고, 개인화 처리부(130)는 개인 얼굴 메시 데이터를 기초로 서비스 대상 얼굴이 포함된 영상에서 얼굴 부위를 분리한다. 그리고, 개인화 처리부(130)는 표준 얼굴 메시 데이터의 표정 데이터에 기초하여 개인 얼굴 메시 데이터의 표정 데이터를 생성할 수 있다. 여기서, 개인화 처리부(130)는 개인 얼굴 메시 데이터의 표정 데이터를 생성할 때에, 표정 왜곡을 방지하기 위해 표준과 개인간 변형 정보를 획득한다. 즉, 표준 얼굴 메시 데이터를 개인 얼굴 메시 데이터로 변형시킬 때에 두 개의 얼굴 메시 데이터 사이의 차이값을 의미하는 변형 정보를 획득한다. 이어서, 개인화 처리부(130)는 표준 얼굴 메시 데이터의 표정 데이터를 기초로 개인 얼굴 메시 데이터의 표정 데이터를 생성함에 있어서 표준과 개인간 변형 정보를 기초로 변형 정보만큼 보정된 표정 데이터를 생성한다. 즉, 개인화 처리부(130)에 의해 표준과 개인간 변형 정보에 비례하여 블렌드 쉐이프가 보정되는 것이다.The
또한, 개인화 처리부(130)는 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성할 때에, 표준 얼굴 메시 데이터의 메시를 구성하는 정점들을 임의 사용자에 대한 영상에서 추출된 복수의 특징점의 위치로 이동시켜서 개인 얼굴 메시 데이터를 생성할 수도 있으며, 표준 얼굴 메시 데이터에 복수의 얼굴구성점을 포함하는 얼굴뼈를 리깅(rigging)한 후 복수의 얼굴구성점을 복수의 특징점의 위치로 이동시켜서 개인 얼굴 메시 데이터를 생성할 수도 있다. 이 때, 개인화 처리부(130)는 표준 얼굴 메시 데이터의 정점들을 복수의 얼굴구성점 중 적어도 하나의 얼굴구성점에 리깅하여, 얼굴뼈가 리깅된 표준 얼굴 메시 데이터를 생성할 수 있다. 예를 들어, 표준 얼굴 메시 데이터에 포함된 정점들의 수와 얼굴구성점의 수는 동일할 수 있지만 이에 한정되지 않는다. 그리고, 개인화 처리부(130)는 표준 얼굴 메시 데이터의 정점들 중 적어도 일부는 얼굴뼈에 포함된 복수의 얼굴구성점 중 두 개 이상 내지 네 개 이하의 얼굴구성점에 리깅할 수 있다.Further, the
위와 같이 일 실시예에 따른 얼굴 영상 처리 장치(100)를 구성하는 모델링부(110), 영상 처리부(120) 및 개인화 처리부(130)는 각각 마이크로프로세서(Microprocessor)를 포함할 수 있으며, 이들의 동작은 아래에서 좀 더 자세히 설명하기로 한다.As described above, the
도 2 내지 도 4는 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치에 의한 얼굴 영상 처리 방법을 설명하기 위한 흐름도들이다. 이들 흐름도에서는 표정 데이터로서 블렌드 쉐이프를 제작하는 실시예를 나타나게 했다.2 to 4 are flowcharts for explaining a face image processing method using a face image processing apparatus according to an embodiment of the present invention. In these flowcharts, an example in which a blend shape is produced as facial expression data is shown.
도 2 내지 도 4에 나타낸 바와 같이 일 실시예에 따른 얼굴 영상 처리 방법은, 표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터를 생성하는 단계(S201), 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 단계(S203), 임의 사용자에 대한 영상을 대상으로 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 단계(S205), 복수의 특징점을 기초로 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성하는 단계(S207), 표준 얼굴 메시 데이터와 개인 얼굴 메시 데이터간 변형 정보를 획득하는 단계(S209), 획득된 변형 정보를 기초로 표정 데이터를 보정하는 단계(S211)를 포함한다.As shown in FIGS. 2 to 4, the face image processing method according to an embodiment includes modeling a standard face to generate standard face mesh data including a plurality of meshes (S201), and facial expressions for the standard face mesh data Generating data (S203), extracting a plurality of feature points present in a face portion of the image for an image for an arbitrary user (S205), modifying standard face mesh data based on the plurality of feature points to personal face The method includes generating mesh data (S207), obtaining deformation information between standard face mesh data and personal face mesh data (S209), and correcting facial expression data based on the obtained deformation information (S211).
여기서, 표준과 개인간 변형 정보를 획득할 때에, 표준 얼굴 메시 데이터의 얼굴 외곽 크기와 개인 얼굴 메시 데이터의 얼굴 외곽 크기간 변화율을 획득할 수 있고, 표정 데이터를 보정할 때에, 얼굴 외곽 크기간 변화율에 비례하여 표정 데이터를 보정할 수 있다. 또는, 표준과 개인간 변형 정보를 획득할 때에, 표준 얼굴 메시 데이터 및 개인 얼굴 메시 데이터를 복수의 부분으로 분할(S301)한 뒤, 복수의 부분별로 변형 정보를 획득(S303)하고, 표정 데이터를 보정할 때에, 획득된 복수의 부분별 변형 정보를 기초로 복수의 부분별로 표정 데이터를 보정(S305)할 수 있다.Here, when acquiring deformation information between the standard and the individual, it is possible to obtain a rate of change between the size of the face outline of the standard face mesh data and the size of the face outline of the personal face mesh data, and when correcting the facial expression data, the rate of change between the face outline sizes Facial expression data can be corrected proportionally. Alternatively, when acquiring the deformation information between the standard and the individual, the standard face mesh data and the personal face mesh data are divided into a plurality of parts (S301), and then the deformation information is obtained for each of the plurality of parts (S303), and facial expression data is corrected. At this time, facial expression data may be corrected for each of a plurality of parts based on the obtained deformation information for each part (S305).
또한, 개인 얼굴 메시 데이터를 생성할 때에, 복수의 얼굴구성점을 포함하는 얼굴뼈를 생성하여 표준 얼굴 메시 데이터에 리깅(S401)하고, 복수의 특징점을 기초로 복수의 얼굴구성점을 이동하여 개인 얼굴 메시 데이터로 변형(S403)할 수 있다.In addition, when generating personal face mesh data, face bones including a plurality of face construction points are generated and rigged in the standard face mesh data (S401), and the plurality of face construction points are moved based on the plurality of feature points to move the individual It can be transformed into face mesh data (S403).
이하, 도 1에 나타낸 본 발명의 일 실시예에 따른 얼굴 영상 처리 장치(100)에서 도 2 내지 도 4에 나타낸 바와 같은 얼굴 영상 처리 방법을 수행하는 과정들에 대해, 도 5 내지 도 11에 나타낸 다양한 예를 참조하여 자세히 살펴보기로 한다.Hereinafter, the processes of performing the face image processing method as shown in FIGS. 2 to 4 in the face
먼저, 얼굴 영상 처리 장치(100)의 모델링부(110)는 표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터를 생성한다. 이러한 모델링부(110)는 도 5에 예시한 바와 같이 적어도 세 개의 정점이 하나의 메시를 이루는 표준 얼굴 메시 데이터(501)를 생성할 수 있다(S201).First, the
그리고, 모델링부(110)는 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성할 수 있다. 예컨대, 모델링부(110)는 도 5에 예시한 바와 같이 복수의 블렌드 쉐이프(502, 503, 504, 505)를 제작하여 표정 데이터를 생성할 수 있다(S203).In addition, the
얼굴 영상 처리 장치(100)의 영상 처리부(120)는 임의 사용자에 대한 영상을 대상으로 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출한다. 이러한 영상 처리부(120)는 도 6에 예시한 바와 같이 서비스 대상 얼굴이 포함된 영상(601)이 입력되면 서비스 대상 얼굴이 갖는 복수의 특징점(602)을 추출할 수 있다. 예를 들어, 영상 처리부(120)는 공지의 얼굴 특징점 검출(Facial Landmark Detection) 알고리즘을 이용할 수 있다. 이러한 얼굴 특징점 검출 알고리즘은 딥러닝 기반의 이미지 프로세싱 기술로서, 얼굴의 눈, 코, 입, 턱 등의 특징점을 분석하여 약 68개의 특징점을 추출할 수 있다(S205).The
얼굴 영상 처리 장치(100)의 개인화 처리부(130)는 영상 처리부(120)에 의해 추출된 복수의 특징점을 기초로 표준 얼굴 메시 데이터가 변형된 개인 얼굴 메시 데이터를 생성한다. 이러한 개인화 처리부(130)는 도 6에 예시한 바와 같이 표준 얼굴 메시 데이터(501)를 이용하여 개인 얼굴 메시 데이터(603)를 생성할 수 있다. 예를 들어, 표준 얼굴 메시 데이터(507)의 메시를 구성하는 정점들을 서비스 대상 얼굴이 포함된 영상(601)의 복수의 특징점 위치로 이동시켜 변형시킴으로써 표준 얼굴 메시 데이터(501)가 변형된 개인 얼굴 메시 데이터(603)를 생성할 수 있다(S207).The
그리고, 개인화 처리부(130)는 앞서 설명한 바와 같이 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성한 바 있기 때문에, 이러한 표준 얼굴 메시 데이터의 표정 데이터에 기초하여 개인 얼굴 메시 데이터의 표정 데이터를 생성할 수 있다. 앞서 도 5를 참조하여 설명한 바와 같이 모델링부(110)는 표준 얼굴 메시 데이터(501)에 대한 복수의 블렌드 쉐이프(502, 503, 504, 505)를 제작하여 표정 데이터를 생성할 수 있다. 이 경우에, 개인화 처리부(130)는 도 6에 예시한 바와 같이 복수의 블렌드 쉐이프(502, 503, 504, 505)를 개인 얼굴 메시 데이터(603)에 적용함으로써, 복수의 블렌드 쉐이프(502, 503, 504, 505)에 각각 대응하는 서비스 대상 얼굴의 특정 표정 영상(604)를 포함하는 복수의 표정 영상을 생성할 수 있다.In addition, since the
그런데, 서비스 대상이 되는 사람들은 얼굴의 모양이 동일하지 않을 뿐만 아니라 많은 차이를 갖는다. 사람에 따라 얼굴의 크기가 서로 다르고, 얼굴을 구성하는 세부 부위인 눈, 코, 입 등의 크기 또한 다양하다. 그러므로, 표준 얼굴에서 생성한 표정 데이터를 개인 얼굴에 그대로 적용하면 희망하는 표정이 제대로 표현되지 않을 수 있다. 특히, 눈 부위와 입 부위처럼 다른 세부 부위보다 메시를 구성하는 정점들의 밀도가 상대적으로 높은 부위에서는 얼굴 표정의 왜곡이 발생할 가능성이 높다. 도 7에 예시한 바와 같이 정상적인 개인 얼굴 메시 데이터(701)와 비정상적인 개인 얼굴 메시 데이터(702)를 비교하여 보면 눈 부위가 일그러지는 현상(703)이 발생하여 표정이 왜곡된 것을 알 수 있다.However, not only the shape of the face is not the same, but there are many differences. Different people have different face sizes, and the size of the eyes, nose, and mouth, which are the parts that make up the face, also varies. Therefore, if the expression data generated from the standard face is applied to the personal face as it is, the desired expression may not be properly expressed. In particular, there is a high possibility of distortion of facial expressions in areas where the density of the vertices constituting the mesh is relatively higher than other detailed areas such as the eye area and the mouth area. As illustrated in FIG. 7, when the normal personal
그러므로, 개인화 처리부(130)는 표정 왜곡을 방지하기 위해 단계 S207에서 개인 얼굴 메시 데이터를 생성할 때에, 표준과 개인간 변형 정보를 획득한다. 즉, 표준 얼굴 메시 데이터를 개인 얼굴 메시 데이터로 변형시킬 때에 두 개의 얼굴 메시 데이터 사이의 차이값을 의미하는 변형 정보를 획득한다. 예를 들어, 개인화 처리부(130)는 도 8에 예시한 바와 같이 표준 얼굴 메시 데이터(801)의 얼굴 외곽 크기와 개인 얼굴 메시 데이터(802)의 얼굴 외곽크기간 변화율을 변형 정보로서 획득할 수 있다. 예컨대, 얼굴의 폭(width)과 높이(height)를 비교하여 얼굴 외곽크기간 변화율을 획득할 수 있다(S209).Therefore, the
이어서, 개인화 처리부(130)는 단계 S203에서 생성한 표정 데이터를 기초로 개인 얼굴 메시 데이터의 표정 데이터를 생성함에 있어서 단계 S209에서 획득한 표준과 개인간 변형 정보를 기초로 변형 정보만큼 보정된 표정 데이터를 생성한다. 즉, 개인화 처리부(130)에 의해 표준과 개인간 변형 정보에 비례하여 블렌드 쉐이프가 보정되는 것이다. 예를 들어, 표준 얼굴 메시 데이터의 얼굴 폭 및 얼굴 높이를 기준으로 하여 개인 얼굴 메시 데이터의 얼굴 폭이 90%이고 얼굴 높이가 70%인 경우, 각 포지션의 블렌드 쉐이프 타깃 포지션을 가로 10% 및 세로 30%씩 감소시킬 수 있다(S211).Subsequently, in generating the facial expression data of the personal face mesh data based on the facial expression data generated in step S203, the
또한, 개인화 처리부(130)는 단계 S211과 같이 표정 데이터를 보정할 때에, 얼굴을 복수의 부분으로 분할한 후에 각 부분별로 표정 데이터를 보정할 수 있다. 예를 들어, 개인화 처리부(130)는 얼굴의 세부 부위 중 눈 부위와 입 부위를 별도의 부분으로 분할할 수 있다. 이 때, 개인 얼굴 메시 데이터의 메시를 구성하는 정점들의 밀도와 기설정된 기준값을 비교한 결과를 기초로 눈 부위 및 입 부위를 분할할 수 있다. 예컨대, 눈 부위와 입 부위는 다른 부위에 비해 메시의 밀도가 높기 때문에 정정들의 밀도가 기설정된 기준값보다 높은 부위만을 분리하면 눈 부위 및 입 부위를 분할할 수 있다. 그리고, 개인화 처리부(130)는 도 9에 예시한 바와 같이 표준 얼굴 메시 데이터의 눈 부위(901)와 개인 얼굴 메시 데이터의 눈 부위(902)간 크기 변화율을 표준과 개인간 변형 정보로서 획득할 수 있고, 표준 얼굴 메시 데이터의 입 부위(903)와 개인 얼굴 메시 데이터의 눈 부위(904)간 크기 변화율을 표준과 개인간 변형 정보로서 획득할 수 있다. 예컨대, 눈 부위와 입 부위의 폭(width)과 높이(height)를 비교하여 크기 변화율을 획득할 수 있다(S303). 이어서, 개인화 처리부(130)는 단계 S203에서 생성한 표정 데이터를 기초로 개인 얼굴 메시 데이터의 표정 데이터를 생성함에 있어서 단계 S303에서 획득한 표준과 개인간의 복수의 부분별 변형 정보를 기초로 각각의 부분별 변형 정보만큼 각 부분별로 보정된 표정 데이터를 생성한다. 즉, 개인화 처리부(130)에 의해 표준과 개인간 복수의 부분별 변형 정보에 비례하여 각 부분별로 보정된 블렌드 쉐이프가 제작되는 것이다. 예를 들어, 표준 얼굴 메시 데이터의 눈 부위 폭 및 눈 부위 높이를 기준으로 하여 개인 얼굴 메시 데이터의 눈 부위 폭이 95%이고 눈 부위 높이가 90%인 경우, 해당 영역 내 각 포지션의 블렌드 쉐이프 타깃 포지션을 가로 5% 및 세로 10%씩 감소시킬 수 있다(S305).In addition, the
도 10은 표준 얼굴 메시 데이터의 블렌드 쉐이프를 개인 얼굴 메시 데이터에 그대로 반영한 얼굴 표정(1001), 표준과 개인간의 얼굴 외곽크기 변화율을 기초로 보정해 반영한 얼굴 표정(1002), 표준과 개인간의 눈 부위 크기 변화율 및 입 부위 크기 변화율을 기초로 부분별로 보정해 반영한 얼굴 표정(1003)를 비교한 것이다. 얼굴 표정(100)에서는 표정 일그러짐이 발생하지만, 얼굴 표정(1002) 및 얼굴 표정(1003)에서는 표정 일그러짐이 발생하지 않는 것을 알 수 있다. 얼굴 표정(1003)은 얼굴 표정(1002)에 비해 상대적으로 표정 변화가 더 부드럽게 나타나는 것을 알 수 있다.10 is a
한편, 개인화 처리부(130)는 단계 S207에서 개인 얼굴 메시 데이터를 생성할 때에 얼굴뼈를 표준 얼굴 메시 데이터에 리깅(rigging)한 후에 이를 변형하여 개인 얼굴 메시 데이터를 생성할 수 있다. 예를 들어, 개인화 처리부(130)는 도 11에 예시한 바와 같이 표준 얼굴 메시 데이터에 복수의 얼굴구성점(1101)을 포함하는 얼굴뼈를 리깅한다. 여기서, 개인화 처리부(130)는 표준 얼굴 메시 데이터의 정점들을 복수의 얼굴구성점(1101) 중 적어도 하나의 얼굴구성점에 리깅하여, 얼굴뼈가 리깅된 표준 얼굴 메시 데이터(1102)를 생성할 수 있다. 예를 들어, 표준 얼굴 메시 데이터에 포함된 정점들의 수와 얼굴구성점(1101)의 수는 동일할 수 있지만 이에 한정되지 않는다. 그리고, 개인화 처리부(130)는 표준 얼굴 메시 데이터의 정점들 중 적어도 일부는 얼굴뼈에 포함된 복수의 얼굴구성점(1101) 중 두 개 이상 내지 네 개 이하의 얼굴구성점에 리깅한다. 예를 들어, 표준 얼굴 메시 데이터의 하나의 정점을 얼굴뼈에 포함된 세 개의 얼굴구성점(1101)에 리깅한다는 것은 해당 정점이 세 개의 얼굴구성점에 의존한다는 것이다. 하나의 정점이 복수의 얼굴구성점 중 어떤 얼굴구성점에 얼마만큼 의존하는 가는 가중치로 나타낼 수 있고, 하나의 정점이 가지는 가중치의 합은 1이다. 예컨대, 하나의 정점을 얼굴뼈의 3개의 얼굴구성점 또는 4개의 얼굴구성점에 리깅함으로써, 얼굴뼈에 의한 폴리곤 변형이 부드럽게 나타나게 하면서 폴리곤이 겹쳐지는 현상이 발생하기 않도록 함과 아울러 연산량이 과도하게 상승하지 않도록 할 수 있다(S401).Meanwhile, when the personalized face mesh data is generated in step S207, the
그리고, 개인화 처리부(130)는 영상 처리부(120)에 의해 추출된 복수의 특징점을 기초로 복수의 얼굴구성점을 이동하여 표준 얼굴 메시 데이터가 변형된 개인 얼굴 메시 데이터를 생성한다. 이러한 개인화 처리부(130)는 도 11에 예시한 바와 같이 얼굴뼈가 리깅된 표준 얼굴 메시 데이터(1102)를 이용하여 개인 얼굴 메시 데이터를 생성할 수 있다. 예를 들어, 표준 얼굴 메시 데이터의 복수의 얼굴구성점을 서비스 대상 얼굴이 포함된 영상(601)의 복수의 특징점 위치로 이동시켜 변형시킴으로써 표준 얼굴 메시 데이터(1102)가 변형된 개인 얼굴 메시 데이터(603)를 생성할 수 있다(S403).Then, the
지금까지 설명한 바와 같은 본 발명의 일 실시예에 의하면, 영상 내 얼굴의 표정을 서비스 대상 얼굴의 개인 특성을 고려하거나 부위별로 보정함으로써, 표준 얼굴과 서비스 대상 얼굴간의 특성차에 의한 표정 일그러짐 현상이 발생하지 않는다.According to an embodiment of the present invention as described so far, facial expression in the image is distorted by taking into account the personal characteristics of the face to be serviced or correcting for each part, thereby causing facial expression distortion due to a characteristic difference between the standard face and the face to be serviced. I never do that.
본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.The combination of each block in the block diagram and each step of the flowchart attached to the present invention may be performed by computer program instructions. These computer program instructions may be mounted on a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, so that instructions executed through a processor of a computer or other programmable data processing equipment may be used in each block or flowchart of the block diagram. In each step, means are created to perform the functions described. These computer program instructions can also be stored in computer readable or computer readable memory that can be oriented to a computer or other programmable data processing equipment to implement a function in a particular way, so that computer readable or computer readable memory The instructions stored in it are also possible to produce an article of manufacture containing instructions means for performing the functions described in each step of each block or flowchart of the block diagram. Computer program instructions can also be mounted on a computer or other programmable data processing equipment, so a series of operational steps are performed on a computer or other programmable data processing equipment to create a process that is executed by the computer to generate a computer or other programmable data. It is also possible for instructions to perform processing equipment to provide steps for performing the functions described in each block of the block diagram and in each step of the flowchart.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.Further, each block or each step can represent a module, segment, or portion of code that includes one or more executable instructions for executing the specified logical function (s). It should also be noted that in some alternative embodiments it is possible that the functions mentioned in blocks or steps occur out of order. For example, two blocks or steps shown in succession may in fact be executed substantially simultaneously, or it is also possible that the blocks or steps are sometimes performed in reverse order depending on the corresponding function.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the art to which the present invention pertains may make various modifications and variations without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and the scope of the technical spirit of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the claims below, and all technical thoughts within the equivalent range should be interpreted as being included in the scope of the present invention.
본 발명의 실시예에 따르면, 영상 내 얼굴의 표정을 서비스 대상 얼굴의 개인 특성을 고려하거나 부위별로 보정함으로써, 표준 얼굴과 서비스 대상 얼굴간의 특성차에 의한 표정 일그러짐 현상이 발생하지 않는다.According to an embodiment of the present invention, the facial expression in the image does not occur due to a characteristic difference between a standard face and a service target face by considering the personal characteristics of the service target face or by correcting each face.
이러한 본 발명은 영화나 애니메이션 등과 같은 영상물 내 등장물의 얼굴 부위를 임의 사용자의 얼굴 영상으로 대체하여 서비스하는 기술 분야에 적용할 수 있다.The present invention can be applied to a technical field of service by replacing a face portion of an appearance in a video object such as a movie or animation with a face image of an arbitrary user.
100 : 얼굴 영상 처리 장치
110 : 모델링부
120 : 영상 처리부
130 : 개인화 처리부100: face image processing device
110: modeling department
120: image processing unit
130: personalization processing unit
Claims (15)
표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터 및 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 단계;
임의 사용자에 대한 영상을 대상으로 상기 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 단계;
상기 복수의 특징점을 기초로 상기 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성하는 단계;
상기 표준 얼굴 메시 데이터와 상기 개인 얼굴 메시 데이터간 변형 정보를 기초로 상기 표정 데이터를 보정하는 단계; 및
보정된 상기 표준 얼굴 메시 데이터에 대한 상기 표정 데이터를 기초로 상기 개인 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 단계를 포함하고,
상기 변형 정보는, 상기 표준 얼굴 메시 데이터의 얼굴 외곽 크기와 상기 개인 얼굴 메시 데이터의 얼굴 외곽 크기간 변화율을 포함하고,
상기 표정 데이터를 보정하는 단계는, 상기 변화율에 비례하여 상기 표정 데이터를 보정하는
얼굴 영상 처리 방법.
A face image processing method performed in a face image processing apparatus,
Modeling a standard face to generate standard face mesh data including a plurality of meshes and facial expression data for the standard face mesh data;
Extracting a plurality of feature points present in a face region in the image, targeting an image for an arbitrary user;
Generating personal face mesh data by modifying the standard face mesh data based on the plurality of feature points;
Correcting the expression data based on deformation information between the standard face mesh data and the personal face mesh data; And
Generating facial expression data for the personal facial mesh data based on the facial expression data for the corrected standard facial mesh data;
The deformation information includes a rate of change between the face outline size of the standard face mesh data and the face outline size of the personal face mesh data,
The step of correcting the facial expression data may correct the facial expression data in proportion to the rate of change.
Face image processing method.
상기 변형 정보는, 상기 표준 얼굴 메시 데이터 및 상기 개인 얼굴 메시 데이터를 복수의 부분으로 분할한 뒤, 상기 복수의 부분별로 획득된 변형 정보를 포함하고,
상기 표정 데이터를 보정하는 단계는, 획득된 상기 복수의 부분별 변형 정보를 기초로 상기 복수의 부분별로 상기 표정 데이터를 보정하는
얼굴 영상 처리 방법.According to claim 1,
The deformation information, after dividing the standard face mesh data and the personal face mesh data into a plurality of parts, includes deformation information obtained for each of the plurality of parts,
The correcting of the facial expression data may include correcting the facial expression data for each of the plurality of parts based on the obtained deformation information for each of the plurality of parts.
Face image processing method.
상기 복수의 부분으로 분할할 때, 얼굴의 세부 부위 중 눈 부위 또는 입 부위를 별도의 부분으로 분할하는
얼굴 영상 처리 방법.The method of claim 3,
When dividing into the plurality of parts, the eye or mouth part of the detailed parts of the face is divided into separate parts
Face image processing method.
상기 복수의 부분으로 분할할 때, 상기 메시를 구성하는 정점들의 밀도와 기설정된 기준값을 비교한 결과를 기초로 상기 눈 부위 또는 상기 입 부위를 분할하는
얼굴 영상 처리 방법.The method of claim 4,
When dividing into the plurality of parts, the eye part or the mouth part is divided based on a result of comparing the density of vertices constituting the mesh with a predetermined reference value.
Face image processing method.
표준 얼굴을 모델링하여 복수의 메시를 포함하는 표준 얼굴 메시 데이터 및 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 단계;
임의 사용자에 대한 영상을 대상으로 상기 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 단계;
상기 복수의 특징점을 기초로 상기 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성하는 단계;
상기 표준 얼굴 메시 데이터와 상기 개인 얼굴 메시 데이터간 변형 정보를 기초로 상기 표정 데이터를 보정하는 단계; 및
보정된 상기 표준 얼굴 메시 데이터에 대한 상기 표정 데이터를 기초로 상기 개인 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 단계를 포함하고,
상기 변형 정보는, 상기 표준 얼굴 메시 데이터 및 상기 개인 얼굴 메시 데이터를 복수의 부분으로 분할한 뒤, 상기 복수의 부분별로 획득된 변형 정보를 포함하고,
상기 표정 데이터를 보정하는 단계는, 획득된 상기 복수의 부분별 변형 정보를 기초로 상기 복수의 부분별로 상기 표정 데이터를 보정하는 것을 포함하고,
상기 복수의 부분으로 분할할 때, 얼굴의 세부 부위 중 눈 부위 또는 입 부위를 별도의 부분으로 분할하고,
상기 부분별 변형 정보는, 상기 눈 부위의 크기 변화율 또는 상기 입 부위의 크기 변화율을 포함하며,
상기 표정 데이터를 보정하는 단계는, 상기 눈 부위의 크기 변화율 또는 상기 입 부위의 크기 변화율에 비례하여 상기 표정 데이터를 보정하는
얼굴 영상 처리 방법.
A face image processing method performed in a face image processing apparatus,
Modeling a standard face to generate standard face mesh data including a plurality of meshes and facial expression data for the standard face mesh data;
Extracting a plurality of feature points present in a face region in the image, targeting an image for an arbitrary user;
Generating personal face mesh data by modifying the standard face mesh data based on the plurality of feature points;
Correcting the expression data based on deformation information between the standard face mesh data and the personal face mesh data; And
Generating facial expression data for the personal facial mesh data based on the facial expression data for the corrected standard facial mesh data;
The deformation information, after dividing the standard face mesh data and the personal face mesh data into a plurality of parts, includes deformation information obtained for each of the plurality of parts,
The correcting of the facial expression data includes correcting the facial expression data for each of the plurality of parts based on the obtained deformation information for each of the parts,
When dividing into the plurality of parts, the eye or mouth part of the detailed parts of the face is divided into separate parts,
The deformation information for each part includes a size change rate of the eye region or a size change ratio of the mouth region,
The correcting of the facial expression data may include correcting the facial expression data in proportion to the size change rate of the eye region or the size change ratio of the mouth region.
Face image processing method.
상기 개인 얼굴 메시 데이터를 생성하는 단계는, 복수의 얼굴구성점을 포함하는 얼굴뼈를 생성하여 상기 표준 얼굴 메시 데이터에 리깅(rigging)하는 단계; 및
상기 복수의 특징점을 기초로 상기 복수의 얼굴구성점을 이동하여 상기 개인 얼굴 메시 데이터로 변형하는 단계를 포함하는
얼굴 영상 처리 방법.According to claim 1,
The generating of the personal face mesh data may include: generating face bones including a plurality of face constituting points and rigging the standard face mesh data; And
And moving the plurality of facial constitution points based on the plurality of feature points to transform the personal face mesh data.
Face image processing method.
컴퓨터 판독가능 기록매체에 기록된 컴퓨터 프로그램.
An instruction to perform each step according to the face image processing method according to any one of claims 1 to 3 to 7
A computer program recorded on a computer readable recording medium.
임의 사용자에 대한 영상을 대상으로 상기 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 영상 처리부; 및
상기 복수의 특징점을 기초로 상기 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성하고, 상기 표준 얼굴 메시 데이터와 상기 개인 얼굴 메시 데이터간 변형 정보를 기초로 상기 표정 데이터를 보정하고, 보정된 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 기초로 상기 개인 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 개인화 처리부를 포함하고,
상기 변형 정보는, 상기 표준 얼굴 메시 데이터의 얼굴 외곽 크기와 상기 개인 얼굴 메시 데이터의 얼굴 외곽 크기간 변화율을 포함하고,
상기 개인화 처리부는, 상기 변화율에 비례하여 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 보정하는
얼굴 영상 처리 장치.
A modeling unit for modeling a standard face to generate standard face mesh data including a plurality of meshes, and to generate facial expression data for the standard face mesh data;
An image processing unit for extracting a plurality of feature points present in a face region in the image, for an image for an arbitrary user; And
The standard face mesh data is modified based on the plurality of feature points to generate personal face mesh data, and the facial expression data is corrected based on deformation information between the standard face mesh data and the personal face mesh data, and the corrected And a personalization processing unit that generates facial expression data for the personal facial mesh data based on facial expression data for standard facial mesh data,
The deformation information includes a rate of change between the face outline size of the standard face mesh data and the face outline size of the personal face mesh data,
The personalization processing unit corrects facial expression data for the standard face mesh data in proportion to the rate of change.
Face image processing device.
상기 개인화 처리부는, 상기 표준 얼굴 메시 데이터에 대한 표준 얼굴 메시 데이터 및 상기 개인 얼굴 메시 데이터를 복수의 부분으로 분할하고, 상기 복수의 부분별로 상기 변형 정보를 획득하며, 획득된 상기 복수의 부분별 변형 정보를 기초로 상기 복수의 부분별로 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 보정하는
얼굴 영상 처리 장치.The method of claim 9,
The personalization processing unit divides the standard face mesh data for the standard face mesh data and the personal face mesh data into a plurality of parts, acquires the deformation information for each of the plurality of parts, and obtains the deformation for each of the plurality of parts Correcting facial expression data for the standard face mesh data for each of the plurality of parts based on information
Face image processing device.
상기 개인화 처리부는, 얼굴의 세부 부위 중 눈 부위 또는 입 부위를 별도의 부분으로 분할하는
얼굴 영상 처리 장치.The method of claim 11,
The personalization processing unit divides the eye area or the mouth area into separate parts of the detailed parts of the face
Face image processing device.
상기 개인화 처리부는, 상기 메시를 구성하는 정점들의 밀도와 기설정된 기준값을 비교한 결과를 기초로 상기 눈 부위 또는 상기 입 부위를 분할하는
얼굴 영상 처리 장치.The method of claim 12,
The personalization processing unit divides the eye region or the mouth region based on a result of comparing the density of vertices constituting the mesh with a preset reference value.
Face image processing device.
임의 사용자에 대한 영상을 대상으로 상기 영상 내의 얼굴 부위에 존재하는 복수의 특징점을 추출하는 영상 처리부; 및
상기 복수의 특징점을 기초로 상기 표준 얼굴 메시 데이터를 변형하여 개인 얼굴 메시 데이터를 생성하고, 상기 표준 얼굴 메시 데이터와 상기 개인 얼굴 메시 데이터간 변형 정보를 기초로 상기 표정 데이터를 보정하고, 보정된 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 기초로 상기 개인 얼굴 메시 데이터에 대한 표정 데이터를 생성하는 개인화 처리부를 포함하고,
상기 개인화 처리부는, 상기 표준 얼굴 메시 데이터에 대한 표준 얼굴 메시 데이터 및 상기 개인 얼굴 메시 데이터를 복수의 부분으로 분할하고, 상기 복수의 부분별로 상기 변형 정보를 획득하며, 획득된 상기 복수의 부분별 변형 정보를 기초로 상기 복수의 부분별로 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 보정하고,
상기 개인화 처리부는, 얼굴의 세부 부위 중 눈 부위 또는 입 부위를 별도의 부분으로 분할하고,
상기 부분별 변형 정보는, 상기 눈 부위의 크기 변화율 또는 상기 입 부위의 크기 변화율을 포함하며,
상기 개인화 처리부는, 상기 눈 부위의 크기 변화율 또는 상기 입 부위의 크기 변화율에 비례하여 상기 표준 얼굴 메시 데이터에 대한 표정 데이터를 보정하는
얼굴 영상 처리 장치.A modeling unit for modeling a standard face to generate standard face mesh data including a plurality of meshes, and to generate facial expression data for the standard face mesh data;
An image processing unit for extracting a plurality of feature points present in a face region in the image, for an image for an arbitrary user; And
The standard face mesh data is modified based on the plurality of feature points to generate personal face mesh data, and the facial expression data is corrected based on deformation information between the standard face mesh data and the personal face mesh data, and the corrected And a personalization processing unit that generates facial expression data for the personal facial mesh data based on facial expression data for standard facial mesh data,
The personalization processing unit divides the standard face mesh data for the standard face mesh data and the personal face mesh data into a plurality of parts, acquires the deformation information for each of the plurality of parts, and obtains the deformation for each of the plurality of parts Correction of facial expression data for the standard face mesh data for each of the plurality of parts based on information,
The personalization processing unit divides the eye area or the mouth area of the detailed parts of the face into separate parts,
The deformation information for each part includes a size change rate of the eye region or a size change ratio of the mouth region,
The personalization processing unit corrects facial expression data for the standard face mesh data in proportion to the size change rate of the eye area or the size change rate of the mouth area
Face image processing device.
상기 개인화 처리부는, 복수의 얼굴구성점을 포함하는 얼굴뼈를 생성하여 상기 표준 얼굴 메시 데이터에 리깅(rigging)하고, 상기 복수의 특징점을 기초로 상기 복수의 얼굴구성점을 이동하여 상기 개인 얼굴 메시 데이터로 변형하는
얼굴 영상 처리 장치.
The method of claim 9 or 14,
The personalization processing unit generates a facial bone including a plurality of facial configuration points, rigging the standard facial mesh data, and moving the plurality of facial configuration points based on the plurality of feature points to move the personal facial mesh Transformed into data
Face image processing device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180079628A KR102109818B1 (en) | 2018-07-09 | 2018-07-09 | Method and apparatus for processing face image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180079628A KR102109818B1 (en) | 2018-07-09 | 2018-07-09 | Method and apparatus for processing face image |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200005964A KR20200005964A (en) | 2020-01-17 |
KR102109818B1 true KR102109818B1 (en) | 2020-05-13 |
Family
ID=69370095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180079628A KR102109818B1 (en) | 2018-07-09 | 2018-07-09 | Method and apparatus for processing face image |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102109818B1 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102480960B1 (en) * | 2020-12-17 | 2022-12-26 | 동국대학교 산학협력단 | Device and method for transforming human face into animal face |
KR102353556B1 (en) * | 2021-11-01 | 2022-01-20 | 강민호 | Apparatus for Generating Facial expressions and Poses Reappearance Avatar based in User Face |
KR102493882B1 (en) * | 2022-08-31 | 2023-02-01 | 주식회사 에이펀인터렉티브 | Metaverse character making system for using image analysis |
KR102495136B1 (en) * | 2022-09-23 | 2023-02-06 | 주식회사 에이펀인터렉티브 | Metaverse character making system for using user tracking and image analysis |
CN116524165B (en) * | 2023-05-29 | 2024-01-19 | 北京百度网讯科技有限公司 | Migration method, migration device, migration equipment and migration storage medium for three-dimensional expression model |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009075880A (en) * | 2007-09-20 | 2009-04-09 | Nippon Hoso Kyokai <Nhk> | Apparatus and program for deforming virtual face model |
JP2011107877A (en) * | 2009-11-16 | 2011-06-02 | Sony Corp | Image processing apparatus, image processing method, and program |
JP2014211719A (en) * | 2013-04-17 | 2014-11-13 | キヤノン株式会社 | Apparatus and method for information processing |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110304629A1 (en) * | 2010-06-09 | 2011-12-15 | Microsoft Corporation | Real-time animation of facial expressions |
CN107180446B (en) | 2016-03-10 | 2020-06-16 | 腾讯科技(深圳)有限公司 | Method and device for generating expression animation of character face model |
-
2018
- 2018-07-09 KR KR1020180079628A patent/KR102109818B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009075880A (en) * | 2007-09-20 | 2009-04-09 | Nippon Hoso Kyokai <Nhk> | Apparatus and program for deforming virtual face model |
JP2011107877A (en) * | 2009-11-16 | 2011-06-02 | Sony Corp | Image processing apparatus, image processing method, and program |
JP2014211719A (en) * | 2013-04-17 | 2014-11-13 | キヤノン株式会社 | Apparatus and method for information processing |
Also Published As
Publication number | Publication date |
---|---|
KR20200005964A (en) | 2020-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102109818B1 (en) | Method and apparatus for processing face image | |
US11423556B2 (en) | Methods and systems to modify two dimensional facial images in a video to generate, in real-time, facial images that appear three dimensional | |
KR101514327B1 (en) | Method and apparatus for generating face avatar | |
US8698796B2 (en) | Image processing apparatus, image processing method, and program | |
US11003898B2 (en) | Creating videos with facial expressions | |
US9679415B2 (en) | Image synthesis method and image synthesis apparatus | |
US11132544B2 (en) | Visual fatigue recognition method, visual fatigue recognition device, virtual reality apparatus and storage medium | |
WO2015123117A2 (en) | Method of making a mask with customized facial features | |
KR102072721B1 (en) | Method and apparatus for processing face image | |
KR20220054955A (en) | Device, method and computer program for replacing user face with another face | |
KR20170090303A (en) | Correction guiding method for asymmetric element by face element extraction | |
US10417811B2 (en) | Recording medium, information processing apparatus, and control method | |
JP6547244B2 (en) | Operation processing apparatus, operation processing method and program | |
KR20200048153A (en) | Method and apparatus for processing face image | |
US9251570B1 (en) | Smart image enhancements | |
KR102563321B1 (en) | Device and method for reducing sickness using reverse optical flow and computer readable program for the same | |
KR102613059B1 (en) | A method for protecting the perceptual constancy of objects in images. | |
JP6872828B1 (en) | 3D image processing device, 3D image processing method and 3D image processing program | |
KR20170099632A (en) | Game character making system using information of gene | |
KR20190137020A (en) | Device of generating animation character and Method thereof | |
JP6390210B2 (en) | Image processing apparatus, image processing method, and program | |
KR20190137021A (en) | Device of generating animation character and Method thereof | |
JP2015212889A (en) | Image processing method, device, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) |