KR100544684B1 - 영역 기반의 얼굴 표정 애니메이션 복제방법 - Google Patents

Abstract

본 발명은 가상 캐릭터 영역 기반의 얼굴 표정 애니메이션 복제방법에 관한 것으로써 특히, 기존의 애니메이션 데이터를 재활용하여 적은 수의 예제 모델만으로도 복잡, 다양한 얼굴 표정 애니메이션을 실시간에 생성하는 기술에 관한 것이다.

본 발명에 의하면, 가상 캐릭터 영역 기반의 얼굴 표정 애니메이션 복제방법에 있어서, 주어진 원본 예제 모델의 얼굴 표정을 분석하는 제 1단계와; 상기 원본 예제 모델과 대응하는 대상 예제 모델의 입력 얼굴 애니메이션이 주어지면, 대상 예제 모델들을 혼합하여 매 프레임 단위로 원본 예제 모델을 복제하는 제 2단계; 및 상기 복제된 원본 예제 모델을 실시간으로 얼굴 표정 애니메이션으로 합성하는 제 3단계를 포함하는 영역 기반의 얼굴 표정 애니메이션 복제방법을 제공한다.

따라서 본 발명은 빠른 시간 내에 사실적인 얼굴 표정을 생성하여야 하는 삼차원 게임, 안내 데스크의 도우미, 채팅 방의 아바타, 영화, 광고 등의 분야에 효과적으로 활용될 수 있다.

가상 캐릭터, 예제 모델, 애니메이션, 영역기반, 얼굴표정

Description

영역 기반의 얼굴 표정 애니메이션 복제방법{A feature-based approach to facial expression cloning method}

도 1은 본 발명에 따른 영역 기반의 얼굴 표정 애니메이션 복제시스템의 개념도이다.

도 2는 본 발명에 따라 남자와 여자에 대한 예제 모델들을 나타낸 도면이다.

도 3은 본 발명에 따라 예제 모델의 얼굴표정에 대한 특징점들을 나타낸 도면이다.

도 4는 본 발명에 따라 예제 모델의 정점과 특징점에 대한 상호 연관성을 나타낸 도면이다.

도 5는 본 발명에 따라 세 개의 대표 문턱값에 대한 영역분할 결과를 나타낸 도면이다.

도 6은 본 발명에 따라 변위 벡터에 대한 매개 변수화를 나타낸 도면이다.

도 7은 본 발명에 따라 실험에 쓰인 얼굴 모델들을 나타낸 도면이다.

도 8은 본 발명에 따라 Man A에서 Woman A로의 표정복제를 나타낸 도면이다.

도 9는 본 발명에 따라 Man B에서 Woman B와 고릴라로의 표정복제를 나타낸 도면이다.

본 발명은 영역 기반의 얼굴 표정 애니메이션 복제방법에 관한 것이다. 보다 상세하게는 기존의 애니메이션 데이터를 재활용하여 적은 수의 예제 모델만으로도 복잡, 다양한 얼굴 표정 애니메이션을 실시간에 생성하는 기술에 관한 것이다.

컴퓨터 게임, 안내데스크의 도우미, 채팅 방, 영화, 광고, 실시간 애니메이션 등에서 가상 캐릭터의 얼굴 애니메이션은 중요한 비중을 차지하고 있으며, 얼굴 표정에 대한 사용자의 기대치 또한 높다. 사실적인 얼굴 애니메이션을 제작하는 것은 숙련된 애니메이터의 시간과 노력이 많이 드는 어려운 작업이다. 현재는 축적된 디지털 컨텐츠의 내용이 풍부해짐에 따라 새로운 가상 캐릭터가 주어 질 때마다 처음부터 다시 만드는 것 아니라, 기존의 데이터를 이용해서 빠른 시간 내에 최소의 비용으로 고품질 얼굴 애니메이션의 제작이 가능하기를 원한다.

Parke[Parke F. I., Parameterized models for facial animation. IEEE Computer Graphics and Applications (Nov. 1982), 61-68.]의 이래로, 얼굴 애니메이션에 관한 많은 연구가 이루어져 왔다. 얼굴 애니메이션 전반에 걸친 기존 연구들은 [Parke F. I., Waters K., Computer facial animation. A K Peters, 289 Linden Street, Wellesley, MA 02181, 1996.]에 잘 정리되어 있으며, 여기서는 본 발명의 내용과 직접적으로 관련된 네 분야에 대해서 최근의 연구결과를 설명하기로 한다.

(1) 영역 분할

영역분할 문제는 이미지 처리나 컴퓨터 비젼(vision)쪽에서 많이 이루어져 왔 다. 주로 잡음(noise) 섞인 입력 이미지 신호로부터 이차원이나 삼차원 모델의 복원 및 인식에 영역 분할의 목적이 있었다. 그러나 본 발명에서 필요한 영역분할의 목표는 주어진 삼차원 얼굴 모델의 정점들을 영역에 따라 분류하여 영역별 혼합(blending)을 가능하게 하는데 있다. 수동으로 얼굴 모델을 영역 분할하는 것은 Kleiser에 의해 먼저 연구되었다.

Joshi 등은 얼굴의 물리적인 변형 특성에 기반하여 주어진 얼굴 모델을 자동으로 영역 분할하였다. 여기에 착안하여 본 발명에서는 얼굴표정 복제라는 목적에 맞도록 물리적인 변형 특성 필요 없이, 보다 직관적인 영역 분할을 자동으로 하고 있다.

(2) 변수동기(parameter-driven) 얼굴 애니메이션

앞서, 얼굴 행동 코딩시스템과 모델 기반 인물(persona) 전송에 관한 연구가 있었다. 최근에는 매개 변수를 통해 이차원 비디오 입력으로부터 삼차원 얼굴 애니메이션을 온라인으로 생성해냈다. 원본(source) 공간으로부터 주어진 매개 변수를 이용해서 대상(target) 키 모델(key-model)을 변형시키거나 다른 표정들의 삼차원 얼굴 키 모델들을 혼합하여 새로운 얼굴 표정을 만들어낸다.

Bregler 등은 만화 모션 포착(capture)과 재적용(retargetting)을 위해 변형된 매개변수 전송 방식을 제안했다. 여기서는 대상 키형상(key-shape)들과의 연관성 있게 원본 키 형상들을 선택하며, 주어진 입력 형상이 원본 키형상들에 대한 선형 결합의 유사(affine)변환으로 표현될 수 있다고 가정한다. 매 프레임마다 만화 모션을 포착하기위하여, 최소 제곱 근사(least squares approximation)를 통해 변환 변수 및 혼합 가중치를 함께 추출한 다음, 대상 키 형상들에 재적용시킨다. 비슷한 방식들이 얼굴 표정 재적용을 위한 실행기반(performance-driven) 애니메이션에서 쓰였는데, 이차원 비디오로부터 이차원 그림이나, 삼차원 모델의 생성에 관한 내용이다. 본 발명에서는 매개 변수 전송을 방식을 이용해서 대상 예제 모델들을 통해 애니메이터의 의도가 반영되도록 하였다.

(3) 분산 데이터 보간(scattered data interpolation)

Rose 등은 방사 기저 함수(radial basis function)를 이용한 분산 데이터 보간에 기반하여 모션 혼합 구조(framework)를 제시하였다. 그 후에, Sloan 등이 기수 기저 함수(cardinal basis function)를 이용하여 보다 효율적인 방법을 발표하였다. Park 등은 온라인 보행(locomotion) 동작 생성에 혼합 구조를 채택하였다. 또한 Pyun 등은 얼굴 표정 복제를 위해서 혼합 방식을 이용했고 속도와 질적인 면에서 효율성을 보였다. 본 발명에서도 시간이 많이 드는 최적화 방식에 의존하기 보다는 가중치 계산을 통한 혼합 방식을 통해 애니메이션을 생성한다.

(4) 표정 복제

Noh 와 Neumann 은 모션 재적용에 영향을 받아 얼굴 표정복제 방법을 제안하였다. 삼차원 모핑(morphing)에 기반하여, 원본 모델의 얼굴 모션 벡터들을 대응하는 대상 모델에 적용시켜 변형시키는 방식이다. 이 방법은 원본 모델과 대상 모델이 같은 위상기하(topology)를 가지는 경우에 잘 동작한다. Pyun 등은 분산 데이터 보간을 이용한 매개변수 전송으로 복제 문제를 새롭게 정형화함으로써 전혀 다른 방식을 제안했다. 그러나 보다 복잡한 표정을 생성해내려면 그만큼 많은 예제 모델들이 필요하 게 되는 부담이 있다.

따라서 본 발명은 상기한 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 가상 캐릭터의 얼굴 표정 애니메이션을 복제하는 새로운 방법으로서 기존의 애니메이션 데이터를 재활용하여 적은 수의 예제 모델만으로도 복잡, 다양한 얼굴 표정 애니메이션을 실시간에 생성하는 가상 캐릭터 영역 기반의 얼굴 표정 애니메이션 방법을 제공하는 데 있다.

상기한 본 발명의 목적을 달성하기 위한 기술적 사상으로써 본 발명은

가상 캐릭터 영역 기반의 얼굴 표정 애니메이션 복제방법에 있어서,

주어진 원본 예제 모델의 얼굴 표정을 분석하는 제 1단계와;

상기 원본 예제 모델과 대응하는 대상 예제 모델의 입력 얼굴 애니메이션이 주어지면, 대상 예제 모델들을 혼합하여 매 프레임 단위로 원본 예제 모델을 복제하는 제 2단계; 및

상기 복제된 원본 예제 모델을 실시간으로 얼굴 표정 애니메이션으로 합성하는 제 3단계를 포함하는 영역 기반의 얼굴 표정 애니메이션 복제방법을 제공한다.

이하, 본 발명의 실시 예에 대한 구성 및 그 작용을 첨부한 도면을 참조하면서 상세히 설명하기로 한다.

본 발명에서는 복잡, 다양한 얼굴 표정을 위해 많은 수의 예제 모델이 필요하게 되는 [Pyun et. al, An example-based approach for facial expression cloning. 2003 ACM SIGGRAPH/Eurographics Symposium on Computer Animation (2003), 167-176](이하, Pyun[1])의 약점을 얼굴 모델의 영역 분할과 합성을 통해 직접적으로 개선하고 있다. 그러면서도 전체적으로는 Pyun[1]의 분산 데이터 보간을 통한 혼합 기법으로 애니메이션을 생성함으로써 온라인 및 실시간 성능을 그대로 유지하였다.

도 1은 본 발명에 따른 영역 기반의 얼굴 표정 애니메이션 복제시스템의 개념도이다.

도 1을 살펴보면, 본 발명은 크게, 삼차원으로 주어진 얼굴 예제 모델들을 분석하는 분석부분(analysis)(100)과 실제로 얼굴 표정을 합성하는 합성부분(synthesis)(200)으로 구성된다.

전처리 과정인 분석단계(100)는 얼굴 모델의 영역분할(region segmentation)(110)과 영역별 매개 변수화(parameterization)(120)로 이루어진다. 원본 모델들과 그에 대응하는 대상 모델들이 입력으로 주어지면, 먼저 모든 예제 모델들을 왼쪽 눈 부분, 오른쪽 눈 부분, 입 부분의 세 영역으로 분할한다. 분할된 영역들은 그 경계에서 서로 중복되는 부분을 가진다. 영역 분할의 결과, 원본 및 대상 예제 모델들은 각각 세 가지 키형상(features)들을 얻는다. PCA(Principal Component Analysis)를 원본 키 형상들에 적용시켜 변수 차원을 낮춘 다음, 대상 모델의 키형상들을 변수 공간에 위치시킨다.

그리고 합성단계(200)에서는 실제 애니메이션 복제가 이루어지는데, 매개 변수 추출(Parameter extraction)(210), 키형상 혼합(Key-shape blending), 영역 합성(Region composition)(230)으로 구성된다. 처음 두 부분은 기수 기저 함수에 기 반한 분산 데이터 보간 방식에서 전형적으로 거치는 과정이며, 본 발명에서는 입력 애니메이션의 매 프레임마다 영역별로 따로 실행되어 대응하는 대상 얼굴 모델의 키형상들을 생성해 낸다. 마지막으로 독립적으로 혼합된 세 영역들을 합쳐서 온전한 하나의 결과 얼굴 애니메이션을 만든다.

1) 예제 모델 분석

먼저 얼굴 모델을 어떻게 영역 분할하는지 설명한 후, 영역별 키형상들에 대한 매개변수화에 대하여 설명하기로 한다.

1-1) 영역 분할

주어진 원본 예제 모델에 대해서 왼쪽 눈 부분, 오른쪽 눈 부분, 입 부분의 세 영역으로 분할하게 된다. 같은 방법으로 대상 예제 모델들을 영역 분할하기 때문에 여기서는 원본 예제 모델에 대해서만 설명한다.

(1) 예비지식

매개 변수 전송에 기반한 분산 데이터 보간 방식을 적용하려면 혼합을 위해 키형상들이 추출되는 예제 얼굴 모델들을 잘 선택하는 것이 중요하다. 보통 감정과 발음 모습을 따로 반영하기 위해 두 가지 종류의 예제 모델들이 있다. 감정 공간 도표를 참고하여 Pyun 등은 무표정, 행복, 놀람, 화남, 두려움, 슬픔의 여섯 가지 감정 상태를 표현하는 예제 모델을 선택하였다.

전형적인 얼굴 표정과는 달리, 두려움과 역겨움을 의도적으로 제외했는데, 각각 슬픔과 화남을 나타내는 표정과 기하학적으로 크게 다르지 않기 때문이다. 대신에 비대칭적인 입 모양과 눈 모양을 위해서 짜증남(annoyed)과 졸림을 나타내는 표정을 추가했다(상황에 따라 예제 모델 선택은 어려움 없이 변경 될 수 있음). 특히 졸리는 표정은 두 눈을 감고 있는데 윙크(wink)나 눈의 깜빡임(blinking)을 애니메이션 할 때 유용하게 쓰인다. 발음 할 때 입 모양을 나타내기 위해서 13개의 비즘(viseme, visual phoneme의 약어)을 Ezzat 및 Fisher 에서와 같이 선택하였다.

무표정한 모델을 먼저 만든 후, 그물망(mesh) 구조는 유지하면서 조금씩 변형시켜 총 20개의 예제 모델들을 제작했다. 따라서 원본 모델끼리는 같은 위상기하(topology)를 가지게 되고 대상 모델끼리도 마찬가지다. 하지만 원본 모델의 위상기하는 대상 모델의 그것과는 다를 수 있다. 도 2(a), (b)에서, 남자와 여자에 대한 예제 모델들을 보여주고 있다. 각 그림에서 첫째 줄은 눈을 감은 표정과 함께 여섯 개의 감정을 나타내고 있으며 두 번째, 세 번째 줄은 발음 모습을 하고 있다.

얼굴 모델이 감정을 나타내는 눈, 눈썹을 포함하는 윗부분과 발음을 표현하는 아랫부분으로 나뉜다는 사실은 널리 알려져 있다. 본 발명에서는 윗부분을 다시 두개로 분할하여 비대칭적인 눈 모양을 가능하게 하였다. 결국 얼굴 모델의 영역 분할이란, 모델을 이루고 있는 모든 정점(vertex)에 대해서 어떻게 분류(classify)하는가하는 문제로 귀결된다.

(2) 정점 분류(vertex classification)

얼굴 표정에 대한 특징을 추출하기 위해 도 3에서와 같이 총24개의 특징점(feature point)을 무표정 모델 위에 지정해 둔다. 이 특징점들은 정점 분류와 키형상 매개 변수화를 위해 해당 모델의 표정을 수치화하는 역할을 하게 된다.

정점들을 세 영역으로 분류하기위해 분류 기준을 정해야 한다. 직관적으로 생 각해보면 하나의 정점에 대해 각 영역의 움직임에 따른 연관성을 따져서 가장 많은 쪽으로 분류시켜야 한다. 움직임과 관련된 연관성을 따지기 위해 앞서 정해진 특징점들과의 민감도를 분석한다.

본 발명의 예제 모델들을

m^{ i }이라고 할 때,

를 기본모델(이후, 무표정한 모델을 기본모델이라 칭함)로,

은 감정을 나타내는 모델로,

은 발음 모델로 지정한다. 예제 모델

의 정점

와 특징점

에 대한 상호 연관성(coherency)

은 다음과 같이 정의된다.

여기서,

이고, n은 예제 모델을 이루는 정점의 총 수이다.

는 각각 0부터 1사이의 값을 가질 수 있으며

와

가 같을 때, 즉 완벽한 연관성이 있을 경우에 최대 값인 1을 취한다.

도 4에 도시된 바와 같이,

는

와

가 이루는 속도 비율임을 알 수 있고

는 움직일 때의 방향에 대한 유사함(similarity)을 나타내는 것이다. 또한

는 가까움의 정도를 정량화하고 있는데, 이는 근처에 있는 점들은 그 영역에 속해야 한다는 직관을 그대로 반영한다.

을 각각 모델

의 왼쪽 눈 영역, 오른쪽 눈 영역, 입 영역이라고 할 때, 정점

에 대해서 영역에 대한 연관성

을 구해야 한다. 도 3에서와 같이, 세 영역에 대해서 각각 8개의 특징점을 지정하고 있음을 알 수 있다. 따라서

는 특징점

각각에 대한 연관성

을 합쳐서 다음과 같이 평균하여 구한다.

여기서

은 영역

을 포함하는 부분이다.

마지막으로 모든 예제 모델들 중에 가장 큰

을 정점

의 해당 영역에 대한 연관성으로 다음과 같이 결정한다.

최대 값을 취함으로써 어느 하나에서라도 중요한 연관성을 보이면 그 영역으 로 포함될 수 있는 민감도를 가지고 있다.

(3) 키형상 추출(key-shape extraction)

앞에서 구한 영역별 연관성

과 문턱값(threshold value)

을 비교하여

이면 영역

에 포함시키는 식으로 모든 정점

을 분류할 수 있다. 영역들이 경계에서 서로 겹치기 때문에 하나의 정점은 두개 이상의 영역에 포함될 수 있다. 도 5는 세 개의 대표 문턱값에 대한 영역 분할 결과를 보여주고 있다. 실험적으로

일 때 좋은 결과를 얻을 수 있었다.

분류된 결과를 모든 예제 모델에 적용시킴으로써 하나의 영역에 대해 20개의 키형상을 얻는다.

1-2) 매개 변수화 (parameterization)

얼굴 분할의 결과물은 영역별 키형상들이다. 다시 말하면, 20개의 원본 모델로부터 나온 세 개의 키형상 집합을 얻은 것이다. 똑같은 방식으로 대상 모델에 대해서도 20개로 이루어진 세 개의 키형상 집합을 구한다.

을 각각 원본 모델에 대한 영역별 집합과 대상 모델에 대한 영역별 집합이라고 하면 다음과 같이 쓸 수 있다.

여기서

이고

과

은 각각 기본모델로부터 떨어져 나왔다. 이제

에 있는 원본 키형상들을 가지고 대응되는

의 대상 키형상들을 매개 변수화해야 한다. 나머지 두 영역도 같은 방법으로 할 수 있으므로 여기서는 왼쪽 눈 영역을 어떻게 매개 변수화하는지에 대해 설명한다. 원본 모델의 왼쪽 눈 영역 키형상 집합을

라고 하면, 기본모델

로부터 계산되는

의 변위(displacement) 벡터

는 아래와 같이 정의 된다.

여기서

와

은 각각

과

에 있는 특징점들을 순서대로 붙여서 만든 벡터이다. 도 6에서 변위 벡터

가 대상 키형상

을 24차원(왼쪽 눈 영역 특징점 개수의 세 배)의 공간에 배치시키는 과정을 볼 수 있다.

24차원이나 되는 변수 공간에 비해, 데이터 점들(키형상들)은 20개 밖에 되지 않는다. 따라서 변수 공간에서의 엉성함을 피하고 빠른 표정 복제를 위하여 PCA를 도입하여 변수 차원을 줄인다. 다행히 키형상 위에 있는 특징점들의 움직임은 서로 관련성이 높아서 원래 데이터 특성의 99%를 유지하면서 변수 공간을 24차원에서 5내지 6차원으로 줄일 수 있었다.

주어진 변위 벡터

에 대해서 항등벡터(eigen vector)

의 집합과 이 벡터들의 공분산 행렬(covariance matrix)을 구한다. 가장 중요한 r(r LEQ 24)개의 항등 벡터를 선택하여 변수 공간을 생성한다. 대상 키형상

의 매개 변 수 벡터

은 변위벡터

을 만들어진 변수 공간에 아래와 같이 투영(projection)시킴으로써 얻어진다.

여기서 E는 선택된 항등벡터들로 이루어진 행렬이다.

2) 얼굴 표정 합성

입력 얼굴 애니메이션이 주어지면 대상 예제 모델들을 혼합하여 프레임 단위로 원본 애니메이션을 복제하면서 실시간에 표정 합성 결과를 만들어 낸다. 기수 기저 함수에 기반한 분산 데이터 보간 방식을 채택함에 따라 실제 표정 복제는 매개변수 계산, 키형상 혼합, 영역 합성의 세 단계를 거쳐 이루어진다.

입력 애니메이션의 각 프레임 내의 모델

에 대해서 앞장에서 구한 정점 분류 결과를 이용하여 세 개의 영역

으로 분할한다. 이 작업은 쉽게 할 수 있는데, 그 이유는 입력 모델

은 같은 위상기하(topology)만 가지는 것이 아니라 원본 모델과 공통된 정점 색인(index)을 사용하기 때문이다. 입력 영역

에 대해 수학식 6에 의한 변위 벡터

을 구한다. 수학식 7로부터 입력 매개 변수 벡터

을 다음과 같이 얻는다.

이제, 입력 모델의

에 대해 모든 대상 키형상

의 가중치

아래처럼 구할 수 있다.

여기서

과

는 각각 선형 기저 함수와 그것의 계수이며,

과

는 각각 방사 기저 함수와 그것의 계수이다. r은 변수 공간의 차원을 나타낸다. 확장요소(dilation factor)가 변수 공간에서 가장 가까운 다른 키형상으로의 유클리디언(Euclidean) 거리로 주어지는 삼차 B-스플라인(cubic B-spline)을 방사 기저 함수로써 이용했다. 나머지 기수 기저 함수에 기반한 분산 데이터 보간 방식에서 찾을 수 있다.

내에 있는 대상 모델의 키 형상들

을 혼합하여 입력 모델의 영역

에 대응하는 결과 영역

을 아래처럼 얻어낸다.

마지막으로 혼합된 결과 영역들

을 합성하여 하나의 얼굴 모델

을 생성한다.

여기서

은 수학식 10에 의해 갱신된

와 함께 대상 기본모델을 이루는 모든 정점들을 붙인 것이다. 그러므로

에 속하지 않은

의 원소들은 모두 0으로 채워진다.

3) 실험 결과

본 발명에서의 실험은 인텔 펜티엄4 2.2GHz, 1GB RAM의 PC에서 수행되었다. 도 7에서와 같이 총 다섯 종류의 얼굴 모델을 사용했으며 표1에는 각 모델에서 쓰인 다각형 수와 정점의 수가 나타나 있다.

처음 두 모델(Man A와 Woman A)는 본 기술의 성능을 보여주기 위하여 그림3에서처럼 20개씩의 예제 모델을 준비했다. 나머지 모델들(Man B, Woman B, Gorilla)는 Pyun[1]의 결과와 비교하기 위해서 사용되었으며, 공정한 비교를 위해서 Pyun[1]에서 쓰였던, 같은 19개의 예제 모델들로 실험하였다.

기본모델에 24개의 특징점(모델을 이루는 정점들 중에 하나)을 선택하면 영역 분할은 자동으로 수행되었고 그 결과는 표2에 나타나있다.

모든 모델에 대해서

이며, 어떤 정점들은 두개 이상의 영역에 포함되기 때문에 마지막 행에서, 분류된 정점의 총 수는 영역별로 속한 정점 수를 다 더한 것과는 차이가 난다. 괄호 안에 있는 수만큼 두 개 이상의 영역에 포함되었다는 것이 다. 영역 분할은 모든 모델에 대해서 최대 2.4초 이내에 끝났다. 총 세 가지 실험을 하였는데 처음 두개는 본 방식이 수행하는 표정 복제의 질(quality)에 대한 것이고 마지막 실험은 그 효율성(efficiency)을 보여준다.

이제 영역 기반 표정 애니메이션 복제 방법의 성능에 대한 실험 결과를 설명 하겠다. 먼저 Man A에서 Woman A로 복제 하였다. 매우 복잡, 다양한 표정에 대해서도 실시간으로 복제된 애니메이션을 얻을 수 있었고 도 8에 의도적으로 과장된 몇몇 결과 프레임을 나타냈다. 비대칭적인 이런 장면들은 Pyun[1]에서는 얻기 힘들었다.

또한 Pyun[1]에서 쓰인 같은 19개의 예제 모델을 가지고 보다 복잡, 다양한 표정의 생성 및 복제에 대한 실험을 하였다. 특히 한 쪽 눈만 찌푸리는 등의 비대칭적인 움직임이 매우 부드럽게 생성되었고 일부 결과 프레임을 도 9에서 보여준다.

두 번째 실험으로 Pyun[1]에서 제안한 두 가지 방법대로 원본 모델 애니메이션을 다시 자기 자신에게로 복제 시켰을 경우의 오차율을 구해서 본 복제 방식의 정확도(accuracy)를 측정하였다. 첫 번째 방법은 Man B에서 바로 Man B로 복제 하는 것 이고 두 번째 방법은 Man B에서 Woman B로 복제한 다음 다시 Man B로 복제하는 것이다. 정점

의 세 좌표

에 대한 오차율

는 다음과 같이 정의 된다.

여기서

이며

는 각각

의

좌표 값이다. n은 모델을 이루는 정점의 총 수이고

는

에 대응하는 복제된 정점이다. 프레임 당 평균 오차율이 표 3(Man B -> Man B)과 표 4(Man B -> Woman B -> Man B)에 나타나 있다. 입력 애니메이션으로 Pyun[1]에서 Noh와 Neumann[16]의 결과와 비교하기 위해 쓰인 3120 프레임짜리 발표(speech) 애니메이션을 그대로 이용했다. 영역별로 따로 복제하기 때문에 본 방식의 평균 오차율이 약간 높음을 볼 수 있다.

마지막으로 기존의 방식 Pyun[1]들과 수행 시간을 비교하였다(표 5). 본 발명에서 제시한 방식은 전처리에서 주어진 예제 모델의 합성과정이 불필요하고 실제 혼합도 영역별로 이루어지기 때문에 분석 단계, 생성 단계 모두 효율적이었다.

이상에서와 같이 본 발명에 의한 영역 기반의 얼굴 표정 애니메이션 복제방법에 따르면, 가상 캐릭터의 얼굴 표정 애니메이션을 복제하는 새로운 방법으로, 기존의 애니메이션 데이터를 재활용하여 적은 수의 예제 모델만으로도 복잡, 다양한 표정 애니메이션을 온라인, 실시간으로 제작할 수 있다.

따라서 본 발명은 빠른 시간 내에 사실적인 얼굴 표정을 생성하여야 하는 삼차원 게임, 안내 데스크의 도우미, 채팅 방의 아바타, 영화, 광고 등의 분야에 효과적으로 활용될 수 있다.

Claims (8)

1. 가상 캐릭터 영역 기반의 얼굴 표정 애니메이션 복제방법에 있어서,

   주어진 원본 예제 모델의 얼굴 표정을 분석하는 제 1단계와;

   상기 원본 예제 모델과 대응하는 대상 예제 모델의 입력 얼굴 애니메이션이 주어지면, 대상 예제 모델들을 혼합하여 매 프레임 단위로 원본 예제 모델을 복제하는 제 2단계; 및

   상기 복제된 원본 예제 모델을 실시간으로 얼굴 표정 애니메이션으로 합성하는 제 3단계를 포함하는 영역 기반의 얼굴 표정 애니메이션 복제방법.
2. 청구항 1에 있어서, 상기 제 1단계의 원본 예제 모델의 얼굴 표정 분석에는

   주어진 원본 예제 모델의 얼굴을 세 영역으로 분할하는 단계와;

   상기 얼굴 분할의 결과물인 영역별 키형상들을 매개 변수화하는 단계를 더 포함하는 것을 특징으로 하는 영역 기반의 얼굴 표정 애니메이션 복제방법.
3. 청구항 2에 있어서, 상기 주어진 원본 예제 모델은 왼쪽 눈 부분, 오른쪽 눈 부분 및, 입부분의 세 영역으로 분할하는 것을 특징으로 하는 영역 기반의 얼굴 표정 애니메이션 복제방법.
4. 청구항 2 또는 청구항 3에 있어서, 상기 분할된 원본 예제 모델의 얼굴 표정 분석에는

   무표정한 얼굴 표정의 예제 모델을 선택하는 단계와;

   상기 예제 모델의 얼굴 표정에 대한 특징점들을 추출하여 정점 분류하는 단계와;

   상기 예제 모델에 대한 키형상을 추출하는 단계를 더 포함하는 것을 특징으로 하는 영역 기반의 얼굴 표정 애니메이션 복제방법.
5. 청구항 2에 있어서, 상기 매개 변수화 단계에서는

   PCA를 원본 키형상들에 적용시켜 변수 차원을 낮춘 후, 대상 모델의 키형상들을 변수 공간에 위치시키는 것을 특징으로 하는 영역 기반의 얼굴 표정 애니메이션 복제방법.
6. 청구항 1에 있어서, 상기 제 2단계의 원본 예제 모델을 복제 단계에서는

   기수 기저함수에 기반한 분산 데이터 보간 방식이 적용되는 것을 특징으로 하는 영역 기반의 얼굴 표정 애니메이션 복제방법.
7. 청구항 1 또는 청구항 2에 있어서, 상기 제 2단계의 원본 예제 모델을 복제 단계에서는

   입력 애니메이션의 매 프레임마다 영역별로 따로 실행되어 대응하는 대상 얼굴 모델의 키형상들을 생성하는 것을 특징으로 하는 영역 기반의 얼굴 표정 애니메이 션 복제방법.
8. 청구항 1에 있어서, 상기 제 1단계에서는 삼차원 얼굴 모델을 주어진 예제 모델로 분석하는 것을 특징으로 하는 영역 기반의 얼굴 표정 애니메이션 복제방법.

Images