KR20010091219A

KR20010091219A - Method for retargetting facial expression to new faces

Info

Publication number: KR20010091219A
Application number: KR1020000012679A
Authority: KR
Inventors: 김성호
Original assignee: 조영익; 주식회사 조오그라프
Priority date: 2000-03-14
Filing date: 2000-03-14
Publication date: 2001-10-23

Abstract

PURPOSE: A method for retargeting a sampled facial expression to a new face is provided to create the most suitable facial animation for a desired facial model by applying numerous facial expressions to a facial model of a 3D character. CONSTITUTION: A user captures various facial expressions produced by a specific performer using a face trace unit. The user extracts a behavior characteristic from the captured 3-dimensional facial expression data. The user applies the extracted behavior characteristic to various facial models. In the case of applying the behavior characteristic to different facial models, the user allocates a key pose every specific time while seeing each facial model directly.

Description

Retargeting facial expression to new faces {Method for retargetting facial expression to new faces}

본 발명은 사이버 인간의 얼굴표정을 표시하기 위한 얼굴표정 형성방법에 관한 것으로 특히, 기존의 얼굴 애니메이션에서 많이 사용하는 방법으로 얼굴 근육구조를 분석하고 이해하여 이를 그대로 얼굴 애니메이션에 적용하려는 방법에서 발생하는 제반 문제점과 얼굴 애니메이션이 특정 얼굴 모델에 한정되어 있다는 것을 해결하기 위해 기존의 이론적인 접근 방법이 아닌 실험적인 접근 방법으로서 인간이 가지고 있는 수많은 얼굴 표정들을 3D 캐릭터의 얼굴 모델에 적용하여 사용자들이 원하는 얼굴 모델에 가장 적합한 얼굴 애니메이션을 생성하도록 하는 표본화된 얼굴 표정을 새로운 얼굴에 리타켓팅하는 방법에 관한 것이다.The present invention relates to a method of forming facial expressions for displaying facial expressions of cyber humans. In particular, the present invention relates to a method for analyzing facial muscle structures and applying them to facial animations as they are commonly used in existing facial animations. In order to solve the problem and face animation is limited to a specific face model, it is an experimental approach, not a theoretical approach, but a lot of human facial expressions are applied to the 3D character face model. The present invention relates to a method for retargeting a sampled facial expression to a new face to generate a face animation best suited to a model.

일반적으로, 전자 통신분야의 눈부신 발전과 더불어 컴퓨터 산업의 팽창으로 인해 이제 세상은 사이버 시대에 접어들었다 하여도 과언이 아닌 세상이 되었다. 더욱이 인터넷의 등장으로 인하여 시간과 공간의 제한이 없어졌으며, 더 나아가서는 기존의 통념이 무너지고 새로운 질서가 재창조되는 일들이 발생되고 있다.In general, due to the remarkable development of the electronic communication field and the expansion of the computer industry, the world is now an exaggeration to say that it has entered the cyber era. Moreover, with the advent of the Internet, the limitation of time and space has been removed, and moreover, existing ideas are broken down and new orders are recreated.

이러한 경향은 최근 멀티미디어의 보급이 확산되면서 일방적이거나 단편적인 정보의 제공에서 탈피하여 네티즌들의 적극적인 참여의 성향이 부각되고 있다. 따라서, 대화형 영화(Interactive Movie)나 여러 가지 동영상에서 실감나는 양방향성 혹은 대화식의 접속을 위한 여러 가지 노력들이 제안 혹은 연구되고 있는 실정이다.The recent trend of the spread of multimedia has led to the tendency of active participation of netizens as it has deviated from providing unilateral or fragmentary information. Therefore, various efforts have been proposed or studied for an interactive movie or interactive connection in an interactive movie or various videos.

이러한 연구들 가운데, 인터넷을 통한 화상통화나 기타 방송프로그램(예를 들면 인터넷 비디오 자키, 오디오 자키 등등) 혹은 공중통신망을 이용한 화상통화 등의 경우 화상으로 취득되어 전송되는 사용자의 얼굴 표정(Facial Expression)의 자연스러움을 최대한 최적의 상태로 유지하려는 노력들이 이루어지고 있다.Among these studies, a facial expression of a user acquired and transmitted as an image in the case of a video call through the Internet or other broadcast programs (for example, an internet video jockey, an audio jockey, etc.) or a video call using a public communication network. Efforts have been made to keep the naturalness of the product as optimal as possible.

또한, 인터넷으로 인한 가상세계의 확산으로 말미암아 사용자가 가상세계에자신을 표출하려는 욕구가 생기게 되었다. 예를 들면, 인터넷 쇼핑몰 등에서 쇼핑을 하는 경우 화면에 표시된 상품을 클릭하여 선택하는 정도가 아니라 가상공간상에 자신의 체형과 유사한 하나의 가상인간을 설정하고 그 가상인간이 쇼핑을 하면서 옷이나 신발, 악세사리등을 쇼핑하면서 전체적인 코디를 같이 살펴보는 등의 기능을 점차 추구하고 있는 것이다.In addition, the spread of the virtual world due to the Internet has created a desire for users to express themselves in the virtual world. For example, if you are shopping in an internet shopping mall, you can set up a virtual human being similar to your body type in the virtual space, rather than clicking on the products displayed on the screen, and the virtual humans are shopping for clothes or shoes, He is gradually pursuing functions such as shopping for accessories and looking at the overall coordination.

이러한 사용자들의 욕구를 충족시켜 주기 위한 상거래 쇼핑몰들이 점차 증가하는 추세 속에서 사용자들의 욕구 또한 증가하고 있는데, 그 욕구란 단순히 체형뿐만 아니라 사이버 공간 속에서 자신을 대신하고 있는 가상인간이 사용자의 감정을 나타낼 수 있도록 하고자 하는 것이다.As the commerce shopping malls are increasing in order to satisfy the needs of users, the needs of users are also increasing. The desire is not only a figure, but also a virtual human who substitutes himself in cyber space to express the emotions of users. I want to be able to.

예를 들면, 사이버 백화점에서 각각의 네티즌들은 자기 자신을 대표하는 가상인간 혹은 3차원 캐릭터를 생성한 후 실제 현실세계에서의 백화점에서와 같이 쇼핑을 하게되는 데 그에 따라 다른 사용자를 대표하는 가상인간과 인사도 나누고 대화를 할 수도 있게된다.For example, in a cyber department store, each netizen creates a virtual human or 3D character representing himself, and then shops like a department store in the real world. You can also greet and talk.

이때, 사용자의 감정을 가상세계에서의 가상인간이 실 시간적으로 표현할 수 있었으면 하는 것이며, 이는 해당 가상인간이나 3차원 캐릭터의 얼굴표정이 사용자의 얼굴표정과 유사하면서도 자연스럽게 변화되어야 할 것이라는 전제조건이 형성되는 것이다.In this case, it is hoped that the virtual human in the virtual world can express the emotions of the user in real time, which is a precondition that the facial expression of the virtual human or 3D character should be similar to the facial expression of the user and should be changed naturally. Will be.

이러한 전제조건을 만족시키기 위하여 제안되어진 종래의 기술을 간단히 살펴보면, 최근 들어 상품화되어진 얼굴 애니메이션(Animation) 생성 시스템을 예로 들 수 있는데, 종래의 시스템에서의 디지털 얼굴 형성(Digital face Works)은 사용자가 원하는 하나의 2차원 얼굴 이미지로부터 3차원 얼굴 애니메이션을 생성할 수 있도록 하고 있으며, 그것으로 오디오 트랙(Audio Track)과 동기화를 시킨다. 그 결과 얼굴 애니메이션은 실제 사용자의 얼굴과 같이 움직이고 말을 하도록 하고 있다.Looking at the conventional technology proposed to satisfy such preconditions, a facial animation (Animation) generation system that has been commercialized in recent years, for example, Digital Face Works in the conventional system is a user desired It allows you to create three-dimensional face animations from a single two-dimensional face image, which synchronizes them with an audio track. As a result, facial animations move and talk like a real user's face.

상기 종래 시스템에서의 디지털 얼굴 형성에서 사용하고 있는 기법은 3D 와이어 프레임(Wireframe) 기하학(Geometry)을 사용하였으며, 입, 눈, 눈썹 같은 얼굴의 특정 영역을 사용자가 직접 제어할 수 있도록 하고 있다.The technique used in digital face shaping in the conventional system uses 3D wireframe geometry, and allows a user to directly control a specific area of the face such as mouth, eyes, and eyebrows.

얼굴형성은 크게 3가지 기능으로 구분되어져 있는데, 첫 번째 기능은 실시간 디스플레이(Real-time display) 기능으로서 사용자에 의해서 편집된 결과를 바로 보여준다. 즉, "Eye slider"는 눈을 뜨게 하고 감게 할 수 있고, "Mouse slider"는 입을 열고 닫을 수 있으며, "X rotation slider"는 머리를 왼쪽과 오른쪽으로 회전을 시킬 수 있고, "Y rotation slider"는 머리를 위 아래로 회전시킬 수 있다.Face shaping is largely divided into three functions. The first function is a real-time display function, which shows the result edited by the user immediately. That is, the "Eye slider" can open and close the eyes, the "Mouse slider" can open and close the mouth, the "X rotation slider" can rotate the head left and right, and the "Y rotation slider" Can rotate the head up and down.

두 번째 기능은 편집(Editing) 제어 패널(panel) 기능으로서 편집옵션(Editing option)을 보여준다. 즉, 사용자가 원하는 이빨의 모양과 눈의 모양 등을 선택할 수 있다. 마지막으로 세 번째 기능은 편집 윈도우(Editing window) 기능으로서 사용자가 와이어프레임 기하학으로 구성된 기하학 편집기(Geometry Editor)를 사용하여 애니메이션을 편집할 수 있도록 해준다.The second function is the Editing control panel function, which shows the Editing options. That is, the user can select the shape of the teeth and the shape of the eyes. Finally, the third feature is the Editing window, which allows users to edit animations using the Geometry Editor, which consists of wireframe geometry.

그러나, 상술한 종래의 시스템은 사용자가 원하는 한 장의 2D 정면 얼굴 이미지 모델을 사용하여 와이어프레임 기하학을 직접 조작함으로써 얼굴 애니메이션을 생성하는 방식이므로 즉, 와이어프레임 기하학을 기반으로 기존의 키프레임 애니메이션(Keyframe Animation) 방법을 그대로 적용하여 사용자가 원하는 얼굴 표정을 수동적으로 생성해야만 한다는 것이다.However, the conventional system described above generates a face animation by directly manipulating the wireframe geometry using a single 2D front face image model desired by the user, that is, based on the wireframe geometry. Animation) method must be applied as it is, and the user must manually create a desired facial expression.

따라서, 이와 같은 종래의 방법은 사용자로 하여금 너무 많은 수 작업을 필요로 할뿐만 아니라, 정면 얼굴 이미지만을 사용하기 때문에 어느 누가 보아도 정확한 얼굴 표정으로 인한 얼굴 애니메이션을 생성할 수 있다고 볼 수 없다는 문제점이 발생되고 있다.Therefore, this conventional method not only requires too much work for the user, but also uses only the front face image, so that no one can see that a face animation can be generated due to the correct facial expression. It is becoming.

상기와 같은 문제점을 해소하기 위한 본 발명의 목적은 기존의 얼굴 애니메이션에서 많이 사용하는 방법으로 얼굴 근육 구조를 분석하고 이해하여 이를 그대로 얼굴 애니메이션에 적용하려는 방법에서 발생하는 제반 문제점과 얼굴 애니메이션이 특정 얼굴 모델에 한정되어 있다는 것을 해결하기 위해 기존의 이론적인 접근 방법이 아닌 실험적인 접근 방법으로서 인간이 가지고 있는 수많은 얼굴 표정들을 3D 캐릭터의 얼굴 모델에 적용하여 사용자들이 원하는 얼굴 모델에 가장 적합한 얼굴 애니메이션을 생성하도록 하는 표본화된 얼굴 표정을 새로운 얼굴에 리타켓팅하는 방법을 제공하는 데 있다.An object of the present invention for solving the above problems is a problem that occurs in a method that analyzes and understands the facial muscle structure as a method frequently used in existing facial animations and applies it to the facial animations as it is, and the facial animation has a specific face. In order to solve the limitations of the model, it is an experimental approach, not a conventional theoretical approach, to apply a lot of human facial expressions to the 3D character's face model to create a face animation that best suits the user's desired face model. To retarget a sampled facial expression to a new face.

도 1은 특정 얼굴의 애니메이션 데이터에서 제어 포인트 한 개의 위치값 변화 예시도,1 is a diagram illustrating a change in a position value of one control point in animation data of a specific face;

도 2는 특정 얼굴의 애니메이션 데이터를 기반으로 사용자의 키 포즈(Key Pose)에 의해 생성된 새로운 제어 포인트,FIG. 2 illustrates a new control point generated by a user's key pose based on animation data of a specific face;

도 3은 키 포즈로 사용된 얼굴 표정의 예시도,3 is an exemplary view of a facial expression used as a key pose;

도 4는 특정 얼굴 모델의 제어 포인트,4 is a control point of a specific face model,

도 5는 제어 포인트들이 밀집한 눈, 코, 입 부분,5 is an eye, a nose, a mouth part of which control points are concentrated

도 6은 Mass-spring-hinge 모델 예시도,6 is an exemplary view of a mass-spring-hinge model,

도 7a와 도 7b는 입 주변에 6부분에 마커를 위치시키고, 그 움직임에 대한 좌표상태의 변화를 나타낸 것으로 본 발명의 개념을 설명하기 위한 예시도.Figures 7a and 7b is an exemplary view for explaining the concept of the present invention by showing the change in the coordinate state for the movement of the marker in the six parts around the mouth.

상기 목적을 달성하기 위한 본 발명의 특징은, 사이버 인간의 얼굴표정을 표시하기 위한 얼굴표정 형성방법에 있어서, 특정 연기자에 의해 연출되어진 다양한 얼굴 표정들은 페이스 추적수단을 사용하여 캡쳐하는 제 1과정과; 상기 제 1과정을 통해 캡쳐되어진 3차원 얼굴 표정 데이터들에서 행위특성을 추출하는 제 2과정; 및상기 제 2과정을 통해 추출되어진 행위특성을 서로 다른 얼굴의 모델에 적용하는 제 3과정을 포함하는 데 있다.A feature of the present invention for achieving the above object is, in the facial expression forming method for displaying the facial expression of the cyber human, a first process of capturing various facial expressions produced by a particular actor using a face tracking means; ; A second process of extracting behavior characteristics from the 3D facial expression data captured through the first process; And a third process of applying the behavioral characteristics extracted through the second process to models of different faces.

상기 목적을 달성하기 위한 본 발명의 부가적인 특징으로는, 상기 제 3과정에서 임의의 행위특성을 서로 다른 얼굴의 모델에 적용시 사용자가 직접 얼굴 모델을 보면서 특정 시간마다 Key-pose를 할당하도록 하는 제 4과정을 더 포함하는 데 있다.As an additional feature of the present invention for achieving the above object, in the third process, when the arbitrary behavioral characteristics are applied to models of different faces, the user may directly assign a key-pose at a specific time while looking directly at the face model. The fourth step is to include more.

상기 목적을 달성하기 위한 본 발명의 부가적인 다른 특징으로 상기 행위특성은 상기 페이스 추적 수단을 사용하여 상기 특정 연기자의 얼굴 근육부분에 부착한 각 마커들의 속도 및 가속도 그리고 마커들 간의 상대거리 등으로 이루어지는 데 있다.As another additional feature of the present invention for achieving the above object, the behavioral characteristic consists of the velocity and acceleration of each marker attached to the face muscle part of the specific performer using the face tracking means and the relative distance between the markers. There is.

본 발명의 상술한 목적과 여러 가지 장점은 이 기술 분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 후술되는 발명의 바람직한 실시 예로부터 더욱 명확하게 될 것이다.The above object and various advantages of the present invention will become more apparent from the preferred embodiments of the present invention described below with reference to the accompanying drawings by those skilled in the art.

우선, 본 발명의 기술적 사상을 살펴보기로 한다. 본 발명은 전술한 종래 기술의 문제점을 해소하기 위하여 제안되어진 하나의 논문을 기초로 해당 논문의 문제점을 해소하고자 하는 것으로 해당 논문은 [Cyyriaque Kouadio, Pierre Ppoulin, Pierre Llachapelle, "Real-Time Facial Animation based upon a Bank of 3D Facial Expressions"]이다.First, the technical idea of the present invention will be described. The present invention is to solve the problems of the paper based on one paper proposed to solve the above-mentioned problems of the prior art, which is described in [Cyyriaque Kouadio, Pierre Ppoulin, Pierre Llachapelle, "Real-Time Facial Animation based upon a Bank of 3D Facial Expressions "].

이 논문에서는 연기자(Performance Actor)로부터 생생한 얼굴 표정을 캡쳐하는 애니메이션 시스템을 보여준다. 그리고 그들을 인조의 캐릭터(SyntheticCharacter)에 실시간으로 애니메이트(Animate)하기 위해 사용하고, 인조 모델의 3D 얼굴 표정들의 뱅크(Bank)에 기반을 두고 있으며, 얼굴 모델의 임계(Critical) 포인트들은 실제 마커들과 매치(Match)되어 진다.This paper presents an animation system that captures vivid facial expressions from a performance actor. And we use them to animate the synthetic character in real time, based on the bank of the artificial model's 3D facial expressions, and the critical points of the facial model are Matched.

따라서, 대응(Corresponding)하는 포인트들과 마커들 사이에서 기하학적인 차이(Euclidean Distance)를 최소화함으로써 얻어진 기본 표정들의 선형 조합은 중간치 얼굴 표정을 구성하기 위해서 사용되어진다. 또한, 얼굴 표정들의 상기 뱅크에 있는 동작 맵(Motion Mapping)은 모델 자체의 특성에 더 많이 의존하는 미세한 동작(Subtle Motion)을 생성한다. 이때, 이러한 방식이 적용되는 경우 모델이 어떻게 움직이는지에 대한 추가적인 정보가 없이 모델을 변형하는 기존의 기법으로는 성취하기가 더 어렵다.Thus, a linear combination of basic facial expressions obtained by minimizing the geometric distance between corresponding points and markers is used to construct a median facial expression. In addition, Motion Mapping in the bank of facial expressions produces Subtle Motion, which is more dependent on the characteristics of the model itself. When this method is applied, it is more difficult to achieve with the existing technique of modifying the model without additional information on how the model moves.

그러므로 해당 논문에서는 대부분의 애니메이션들이 자동화되어지는 것과 함께, 얼굴에 생명을 불어넣기 위해 연기자(Performance Actor)의 기교와 얼굴 표정을 모델하기 위해 예술가의 기술적인 기교를 주로 사용한다. 또한, 마커 변위(Displacement)에 순차적으로 적용되어진 필터의 사용과 쌍꺼플(Eyelid)의 더 정밀한 제어를 위한 세부적인 항목들에 마커의 제어 향상을 보여준다. 얼굴 표정의 뱅크에 있어서 더 유연한 것은 독립된 성분들에서 얼굴 표정들의 일부를 분리함으로써, 그리고 단지 재구성된 표정의 수단인 이빨과 혀와 같은 보조적인 부분들을 조정함으로써 제공되어진다.Therefore, in this paper, most of the animations are automated, and the artist's technical skills are used mainly to model the performance actor's technique and facial expression to bring life to the face. In addition, the use of filters applied sequentially to marker displacement and improved control of the markers in detail for more precise control of eyelids. More flexibility in the bank of facial expressions is provided by separating some of the facial expressions from separate components, and by adjusting auxiliary parts such as teeth and tongue, which are only means of reconstructed facial expression.

즉, 선행논문은 Adaptive Optics의 FaceTrax^TM을 사용하여 연기자의 중립적(Neutral) 얼굴 표정에서부터 다양한 얼굴 표정을 캡쳐하고, n개의 기본 얼굴 표정을 선택한 다음 이들의 마커와 모델 포인트들을 매핑(Mapping)시킨다. 또한, 연기자의 마커와 캐릭터의 연관된 포인트들의 최대치 모션을 스케일링(Scale)하고, 뱅크에 저장한다.In other words, the preceding paper captures various facial expressions from the actor's neutral facial expression using FaceTrax ^TM of Adaptive Optics, selects n basic facial expressions, and maps their markers and model points. It also scales the maximum motion of the actor's marker and associated points of the character and stores it in a bank.

그러므로, 상술한 선행 논문의 기술적 요지를 간략하게 정리하면 연기자로부터 캡쳐한 얼굴 모션 데이터를 캐릭터에게 매핑시켜서 그대로 애니메이션을 생성시키는 것이므로, 물론 다양한 얼굴 표정들을 캡쳐하고 필터링(Filtering)이나 스케일링(Scaling) 등의 처리를 거친 다음 뱅크에 저장해서 사용한다고는 하지만, 사용자의 얼굴 모델에 적합한 얼굴 표정을 생성하는 것보다는 뱅크에 있는 얼굴 표정들을 재활용하는 것에 치중되어져 있으므로 실제로 다양한 얼굴 표정에서 비롯되는 얼굴 애니메이션을 생성할 수 있다고는 볼 수 없다.Therefore, the technical gist of the above-mentioned prior art is briefly summarized to generate animation as it is by mapping the face motion data captured from the actor to the character. Although it is processed and stored in a bank, it is focused on recycling the facial expressions in the bank rather than creating a facial expression suitable for the user's face model. I can't say that.

따라서, 본 발명에서는 상기 논문에서 제시하고 있는 연기자를 통한 다양한 표정연기를 데이터 베이스화한다는 기본 사상에 얼굴의 각 부위에 마커를 부착한 후 해당 마커간의 상대 위치 변화를 분석하여 표정에 대한 일대일 매칭이 아니라 표정의 추적 및 대응매칭을 통해 보다 자연스러운 표정의 애니메이션을 구현하도록 하는 것이다.Therefore, in the present invention, a marker is attached to each part of the face in the basic idea of databaseting various facial expressions through actors presented in the paper, and then the relative positional change between the markers is analyzed, not one-to-one matching for facial expressions. By tracking and matching facial expressions, more natural expressions of facial expressions can be realized.

이하, 첨부한 도면을 참조하여 본 발명에 따른 바람직한 실시 예를 설명한다.Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings.

첨부한 도 1은 특정 얼굴의 애니메이션 데이터에서 제어 포인트 한 개의 위치값 변화 예시도이며, 도 2는 특정 얼굴의 애니메이션 데이터를 기반으로 사용자의 키 포즈(Key Pose)에 의해 생성된 새로운 제어 포인트 예시도이고, 도 3은 키포즈로 사용된 얼굴 표정의 예시도이며, 도 4는 특정 얼굴 모델의 제어 포인트이고, 도 5는 제어 포인트들이 밀집한 눈, 코, 입 부분이며, 도 6은 Mass-spring-hinge 모델이다.1 is a diagram illustrating a change in the position value of one control point in animation data of a specific face, and FIG. 2 is a diagram illustrating a new control point generated by a user's key pose based on animation data of a specific face. 3 is an exemplary view of a facial expression used as a key pose, FIG. 4 is a control point of a specific face model, FIG. 5 is an eye, nose, and mouth part of which the control points are dense, and FIG. 6 is Mass-spring- It is a hinge model.

따라서, 본 발명을 적용시키기 위해 우선적으로 필요한 파라메타는 특정 얼굴 모델에 페이스 추적기를 사용하여 여러 가지 얼굴 표정을 캡쳐하고 캡쳐된 데이터로부터 얼굴 애니메이션의 표정 특징을 추출하는 것이다. 이는 수많은 형태의 얼굴 표정을 사용하여 생성된 얼굴 애니메이션이 수많은 얼굴의 근육 중 어떤 근육들에 의해서 애니메이션이 진행되는지를 실험적으로 알아내는 것이 필요하다.Therefore, the first parameter required to apply the present invention is to capture various facial expressions using a face tracker on a specific face model and extract facial features of facial animation from the captured data. It is necessary to experimentally find out which of the many facial muscles are animated by facial animations generated using numerous facial expressions.

또한, 두 번째 파라메타는 첫 번째 파라메타에서 추출된 제어 포인트들의 속도, 가속도, 제어 포인트들 간의 상대속도 등과 같은 표정동작 특징을 새로운 얼굴 모델에 적용하는 방법이라 할 수 있다.In addition, the second parameter may be a method of applying facial expression features such as velocity, acceleration, and relative velocity between control points extracted from the first parameter to a new face model.

이를 위해 사용자가 몇몇 특정 시간에 원하는 얼굴 표정 즉 키 포즈(Key Pose)를 설정해주면, 얼굴 애니메이션 시스템이 추출된 표정동작 특징에 따라서 새로운 얼굴 모델에 맞는 얼굴 애니메이션을 생성하게 된다To do this, if the user sets a desired facial expression, or key pose, at a specific time, the facial animation system generates a facial animation for the new facial model according to the extracted facial expression feature.

따라서, 상기 첫 번째 파라메타는 특정 얼굴의 모델에 페이스 추적기를 사용하여 여러 가지 얼굴 표정을 검출하고 검출된 데이터로부터 얼굴 애니메이션의 표정 특징을 추출하는 것이다. 이는 수많은 형태의 얼굴 표정을 사용하여 생성된 얼굴 애니메이션이 수많은 얼굴의 근육 중 어떤 근육들에 의해서 애니메이션이 진행되는지를 실험적으로 알아내기 위해서이다.Accordingly, the first parameter is to detect various facial expressions using a face tracker on a model of a specific face and extract facial expression features of the facial animation from the detected data. This is to experimentally find out which of the many facial muscles are animated by facial animations created using numerous facial expressions.

즉, 본 발명에서 우리는 얼굴 애니메이션을 생성하기 위해서 필요한 얼굴 특징을 추출하기 위해 먼저 첫 번째로 다음과 같은 연구를 진행한다.That is, in the present invention, in order to extract the facial features required to generate the facial animation, we first conduct the following research.

먼저, 페이스 추적기를 사용하여 캡쳐한 얼굴 애니메이션은 첨부한 도 1에 도시되어 있는 바와 같이 매 프레임(시간)마다 얼굴에 부착된 마커의 3차원 위치값을 가지고 있으며 각각의 마커마다 시간에 따른 위치값이 존재한다. 그러나 추출한 3D 위치값을 새로운 얼굴 모델에 그대로 적용할 경우 새로운 얼굴 모델이 특정 얼굴 모델과 똑같은 얼굴구조를 가지고 있지 않기 때문에 새로운 얼굴 모델에 적합한 얼굴 애니메이션이 생성될 수가 없다.First, a face animation captured using a face tracker has a three-dimensional position value of a marker attached to a face every frame (time), as shown in FIG. 1, and a position value over time for each marker. This exists. However, if the extracted 3D position value is applied to the new face model as it is, the face animation suitable for the new face model cannot be generated because the new face model does not have the same face structure as the specific face model.

그러므로 페이스 추적기를 사용하여 특정 얼굴 모델의 얼굴 애니메이션을 생성하였을 때 사용된 얼굴의 제어 포인트의 시간에 따른 행위특성을 추출한다.Therefore, we extract the behavioral characteristics according to the time of the control point of the face used when creating the face animation of the specific face model using the face tracker.

여기서, 행위특성이라 함은 제어 포인트의 시간에 따른 속도와 가속도 그리고 제어 포인트들이 밀집한 눈, 코, 입 등의 부분에서 제어 포인트들간의 상대적 거리와 위치 등을 들 수 있는데, 본 발명에서는 이와 같이 얼굴 표정을 결정짓고 얼굴 애니메이션에 영향을 미치는 얼굴 표정동작 특징이 어떤 것들이 있는 지를 파악하는 것이다.Here, the behavior characteristics may include the speed and acceleration over time of the control point and the relative distance and position between the control points in the eyes, nose, mouth, etc. where the control points are concentrated. Identify facial features that determine facial expressions and affect facial animation.

그러나, 특정 얼굴 모델을 새로운 얼굴 모델에 적용할 경우에 두 얼굴 모델간의 특성이 어떻게 연관되는지 알 수 없다.However, when applying a specific face model to a new face model, it is not known how the characteristics between the two face models are related.

따라서, 본 발명에서는 사용자로부터 새로운 얼굴 모델의 특성을 입력받고 두 얼굴 모델의 상호 관계를 결정하는 방식을 사용한다.Therefore, the present invention uses a method of receiving the characteristics of the new face model from the user and determining the mutual relationship between the two face models.

또한, 본 발명에 있어서 두 번째 파라메타는 첨부한 도 2에서와 같이 사용자가 지정한 특정 시간에 첨부한 도 4에 도시되어 있는 바와 같은 특정 얼굴 모델에서 사용된 제어 포인트의 위치를 임의로 조정하여 키 포즈(Key Pose)를 준다. 사용자가 키 포즈를 준다는 것은 첨부한 도 2에서 참조번호 "t1", "t2", "t3", "t4", "t5"등으로 표시되는 특정 시간에 첨부한 도 3에 도시되어 있는 바와 같은 얼굴 표정들을 사용자가 첨부한 도 4에 도시되어 있는 제어 포인트를 조정하여 생성하도록 하는 것이다.In addition, in the present invention, the second parameter is a key pose by arbitrarily adjusting the position of the control point used in the specific face model as shown in FIG. 4 attached at a specific time designated by the user as shown in FIG. Key Pose). The user giving the key pose is as shown in FIG. 3 attached at a particular time indicated by reference numerals “t1”, “t2”, “t3”, “t4”, “t5”, etc. in FIG. The facial expressions are generated by adjusting the control point shown in FIG. 4 attached to the user.

그리고, 키 포즈(Key Pose)를 주지 않는 부분에 대해서는 특정 얼굴 애니메이션에서 각 제어 포인트들의 표정동작 특성을 계산한 후, 새로운 얼굴 모델의 각 제어 포인트들에 연관된 표정동작 특성값을 적용하여 새로운 위치값을 얻는다.And, for the part that does not give a key pose, after calculating the facial expression behavior of each control point in a specific facial animation, the new facial position value is applied by applying the facial expression characteristics associated with each control point of the new face model. Get

그러나, 첨부한 도 5에 도시되어 있는 바와 같이 눈, 코, 입 등의 특정 부분 제어 포인트들은 상대적인 거리와 변화율을 가지고있기 때문에, 얼굴 표정에 따라서 이들의 변화율이 얼마나 심한지를 계산하고 이를 얼굴 모델 애니메이션에 적용하지 않을 경우에 위의 방법은 단순히 중간값을 생성해내는 것에 그치지 않는다.However, as shown in FIG. 5, since the specific control points such as eyes, nose, mouth, etc. have relative distances and rate of change, they calculate how severe their rate of change is in accordance with facial expressions and express the face model animation. The above method doesn't just generate intermediate values unless applied to.

따라서, 본 발명에서는 얼굴의 제어 포인트들은 각각 일정량의 질량을 가지고 있다고 가정한다.Therefore, in the present invention, it is assumed that the control points of the face each have a certain amount of mass.

그리고, 각 제어 포인트가 밀집한 부분인 눈, 코, 입 등의 부분에 있는 제어 포인트와 제어 포인트사이에는 첨부한 도 6에 도시되어 있는 Mass-spring-hinge 모델과 같이 강한 스프링이 서로 연결되어져 있다고 가정하면, 스프링을 최대한으로 늘려도 거의 고정된 거리 영역을 가지고 있다고 할 수 있다.In addition, it is assumed that strong springs are connected to each other between the control points and the control points in the parts of the eyes, nose, mouth, etc., in which each control point is dense, such as the mass-spring-hinge model shown in FIG. In other words, even if the spring is maximized, it has a fixed distance area.

따라서, 추출된 얼굴표정의 변화 중 눈 부분을 예를 들어 살펴보면, 눈을 작게 뜨면 스프링이 뻣뻣하게 연결되어져 있을 것이고, 최대한으로 크게 뜨면 제어포인트들 사이의 스프링이 최대한으로 늘어난다고 보는 것이다.Therefore, when looking at the eye part of the extracted facial expression change, for example, if the eye is opened small, the springs will be connected stiffly, and if it is opened as large as possible, the spring between the control points will be maximized.

그러므로, 본 발명은 특정 얼굴 애니메이션에서 추출된 표정 및 표정동작 특징을 얼굴 모델의 제어 포인트간의 상호 관계를 고려하면서 사용자가 원하는 새로운 얼굴 모델에 적용하여 얼굴 애니메이션을 생성하는 것이다.Therefore, the present invention is to generate a facial animation by applying the facial expression and facial expression features extracted from a specific facial animation to a new facial model desired by the user while considering the interrelationship between the control points of the facial model.

이와 같은 본 발명에 따른 Mass-spring-hinge 모델은 1997년 11월 Sarah F. F. Gibson과 Brian Mirtich에 의해 제안되어진 논문 "A Survey of Deformable Modeling in Computer Graphics"중 Mass-spring 모델의 개념을 차용한 것으로, 논문에 게재된 Mass-spring 모델의 수학적 모델은 아래의 수학식 1과 같다.The mass-spring-hinge model according to the present invention borrows the concept of the mass-spring model from the paper "A Survey of Deformable Modeling in Computer Graphics" proposed by Sarah FF Gibson and Brian Mirtich in November 1997. The mathematical model of the mass-spring model published in the paper is shown in Equation 1 below.

상기 수학식 1에서 m_i는 첨부한 도 6에서 참조번호 "M"으로 표현되는 제어포인트 혹은 'mass'를 의미하며, 상기 수학식 1은 3차원 입방면체에서 각 mass와 각 mass를 연결하는 스프링의 모델을 기초로 설정된 것이다.In Formula 1, m _i denotes a control point or 'mass' represented by reference numeral “M” in FIG. 6, wherein Equation 1 is a spring connecting each mass and each mass in a three-dimensional cube. It is set based on the model.

이와 같은, 기술적 사상을 근거한 본 발명에서의 얼굴 표정의 특성이란 표현의 의미를 첨부한 도 7a와 도 7b를 참조하여 간략히 설명하면 다음과 같다.Such a feature of the facial expression in the present invention based on the technical idea will be briefly described with reference to FIGS. 7A and 7B attached to the meaning of the expression.

도 7a와 도 7b는 입 주변에 6부분에 마커(m1∼m6)를 위치시키고, 그 움직임에 대한 좌표상태의 변화를 나타낸 것이며, 본 발명의 개념을 설명하기 위한 예시 도이다.7A and 7B show markers m1 to m6 positioned at six portions around the mouth, and show changes in coordinate state with respect to the movement, and are exemplary views for explaining the concept of the present invention.

이때, 본 발명과 종래 기술의 차이점을 살펴보면, 종래 방식에서는 첨부한도 7a의 모습과 도 7b의 모습 자체를 데이터 처리하여 사용자가 굳은 표정(7a)상태에서 미소를 짓는 모습을 선택하면 도 7b의 모습만이 데이터 저장장소에서 액세스되어 해당 표정의 변화를 줄 수 없는데, 반하여 본 발명에서는 도 7a의 모습에서 도 7b의 모습으로 변화되는 과정 중 각 마커(m1∼m6)의 움직임 벡터와 각 움직임 벡터들간의 상관관계를 정의하여 이를 저장하는 것이다.At this time, looking at the difference between the present invention and the prior art, when the user selects a state in which the user smiles in a state of firmness (7a) by processing the data of the state of Fig. 7a and 7b itself attached to the state of Fig. 7b Only the data can be accessed from the storage location to change the corresponding expression, whereas in the present invention, the motion vector of each marker m1 to m6 during the process of changing from the state of FIG. 7A to the state of FIG. 7B. And the correlation between each motion vector is defined and stored.

따라서, 본 발명에서 사용자가 종전에서와 같이 굳은 표정(7a)상태에서 미소를 짓는 모습을 선택하면 본 발명은 데이터 저장장소에서 저장되어 있는 움직임 벡터들간의 상관관계를 액세스하고 액세스되어진 상관관계를 기준으로 미소를 짓는 모습을 표현한다.Accordingly, in the present invention, when the user selects a state of smiling in the state of firmness (7a) as before, the present invention accesses the correlation between the motion vectors stored in the data storage location and refers to the accessed correlation. Expresses a smile.

이때, 사용자가 표현된 미소 짓는 모습이 어색하다거나 희망하는 표정이 아닌 경우(예를 들어, 한쪽의 입꼬리는 조금만 올리는 약간의 비웃음을 희망한다고 가정)에 마우스 등의 입력수단을 이용하여 일 측의 입꼬리를 조정한다.At this time, if the user's expression of a smile is not awkward or a desired expression (for example, assuming that one's mouth wants to raise a little bit of laughter), an input means such as a mouse may be used. Adjust the tail of the mouth.

이에 따라, 본 발명에 따른 리타켓팅 방식에서는 종전에 엑세스되어진 움직임 벡터들간의 상관관계를 사용자의 요구에 대응하도록 변경한 후 이를 다시 표현한다. 단, 데이터 저장장소에는 변경된 상관관계가 저장되는 것은 아니다.Accordingly, in the retargeting scheme according to the present invention, the correlation between the motion vectors previously accessed is changed to correspond to the user's request and then re-expressed. However, the changed correlation is not stored in the data storage location.

이와 같은 설명에 의해 즉, 본 발명의 표정특징을 추출하는데 있어 첨부한 도 7a와 도 7b를 기준으로 기술한 내용에서와 같이 움직임 벡터만을 이용하는 것으로 오인할 수 있으나, 본 발명은 상기 도 6에 도시되어 있는 Mass-spring-hinge 모델을 기준으로 표정 추출을 위한 특정 연기자의 얼굴 근육부분에 부착한 각 마커들의 속도 및 가속도 그리고 마커들 간의 상대거리 등으로 이루어지는 것을 부연 언급하는 바이다.By this description, in other words, in extracting the facial feature of the present invention, it can be mistaken to use only motion vectors as described with reference to FIGS. 7A and 7B. However, the present invention is illustrated in FIG. Based on the mass-spring-hinge model, it is mentioned that the speed, acceleration, and relative distance between the markers attached to the facial muscles of a specific actor for facial expression extraction are mentioned.

이상의 설명에서 본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능하다는 것을 당업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.While the invention has been shown and described in connection with specific embodiments thereof, it is well known in the art that various modifications and changes can be made without departing from the spirit and scope of the invention as indicated by the claims. Anyone who owns it can easily find out.

상술한 바와 같이 동작하는 본 발명에 따른 표본화된 얼굴 표정을 새로운 얼굴에 리타켓팅하는 방법을 제공하면, 사용자가 원하는 새로운 얼굴 모델에 적합한 얼굴 애니메이션을 생성하여 멀티미디어분야 뿐만 아니라 인터넷의 가상세계를 돌아다니는 가상인간(Avatar) 외에 수많은 응용 분야에서 유용하게 사용될 것으로 기대된다.By providing a method for retargeting a sampled facial expression to a new face according to the present invention operating as described above, by creating a face animation suitable for a new face model desired by the user to navigate the virtual world of the Internet as well as the multimedia field It is expected to be useful in many other applications besides Avatar.

또한, 최근에는 사이버 가수, 사이버 탤런트, 사이버 도우미 등이 활동 중에 있으며, 특히 가상대학이 활성화됨에 따라 사이버 교수까지 등장하여 학생들을 가르치고 있으나 아직까지 이러한 사이버 스타들은 얼굴 표정이 현실감을 주기에는 너무나 미흡하여 사용자들에게 친밀감이나 설득력을 주지 못하고 있으므로 본 발명을 적용하면 수많은 사이버 스타나 역사적인 인물들을 생성하여 활용하고자 하는 교육기관이나 공공기관, 회사는 물론이고 컴퓨터 게임, 광고, TV, 영화 등에서 충분히 유용하게 활용할 수 있을 것으로 기대되며, 또한 유명한 역사적인 인물들의 얼굴 및 표정을 재구성하여 교육, TV, 영화는 물론 관광산업에도 크게 영향을 줄 수 있을 것으로 기대된다.Recently, cyber singers, cyber talents, and cyber assistants are active, and as virtual colleges become active, even cyber professors have appeared to teach students. However, these cyber stars are still far from giving their facial expressions a reality. Since it does not give the user the intimacy or persuasiveness, the present invention can be usefully used in educational games, public institutions, companies, as well as computer games, advertisements, TVs, and movies, to create and utilize numerous cyber stars or historical figures. It is also expected to be able to reconstruct the faces and expressions of famous historical figures and to greatly influence the tourism industry as well as education, TV and film.

Claims

In the facial expression forming method for displaying the facial expression of the cyber human,

A first process of capturing various facial expressions directed by a specific actor using a face tracking means;

A second process of extracting behavior characteristics from the 3D facial expression data captured through the first process; And

And a third process of applying the behavior characteristics extracted through the second process to models of different faces.

The method of claim 1,

The method may further include a fourth process of allowing the user to assign a key pose at a specific time while the face model is applied when the arbitrary behavioral characteristics are applied to models of different faces in the third process. Retargeting a sampled facial expression to a new face.

The method of claim 1,

The behavioral characteristic is retargeting a sampled facial expression to a new face, comprising the speed and acceleration of each marker attached to the face muscle part of the specific actor using the face tracking means, and the relative distance between the markers. How to.

The method of claim 3, wherein

A method of retargeting a sampled facial expression to a new face, wherein the relative distance recognition between the markers is recognized based on a mass-spring-hinge model.

The method of claim 4, wherein

The mass-spring-hinge model assumes that the spring has a fixed distance region even when the maximum spring is maximized, and forms a model with high elasticity of each spring, wherein each connection point corresponds to the position of the marker. How to retarget an expression to a new face.

The method of claim 1,

In the third process, a feature of the new face model to which the behavior feature extracted through the second process is applied is received from the user, and the mutual relationship between the two face models is determined to suppress the simple application of the behavior feature. Retargeting a sampled facial expression to a new face.