KR20060109044A - 특징점 알고리즘을 이용한 3차원 얼굴 표정 애니메이션생성방법 - Google Patents

Abstract

특징점 알고리즘을 이용한 3차원 얼굴 표정 애니메이션 생성방법이 개시된다. 본 발명에 따른 3차원 얼굴 표정 애니메이션 생성방법은, 3차원 얼굴 표정 애니메이션 생성 요청에 대응하여 기 저장된 3차원 표준 얼굴 모델을 읽어 들여 표시하는 단계와, 3차원 표준 얼굴 모델에 선택된 얼굴 표정 생성에 영향을 주는 복수의 특징점들을 표시하는 단계와, 복수의 특징점들 중 임의의 특징점을 선택하여 이동시키는 단계 및 선택된 특징점의 이동에 대응하여 선택된 특징점의 영향을 받는 정점들을 코사인 곡선의 형태로 이동시키는 단계를 포함하여 이루어진다. 이에 의해, 전문 모델러나 고가의 모션캡쳐 장비에 의존하지 않고 소프트웨어적으로 3차원 얼굴 표정 애니메이션을 생성할 수 있다

특징점 알고리즘, 3차원 얼굴 표정, 애니메이션

Description

특징점 알고리즘을 이용한 3차원 얼굴 표정 애니메이션 생성방법{Method for manufacturing 3D facial expression animation using feature point algorithm}

도 1은 본 발명이 적용되는 3차원 얼굴 표정 애니메이션 생성장치에 대한 개략적인 블록도,

도 2는 본 발명에 따른 특징점 알고리즘을 설명하기 위해 도시한 도면,

도 3은 본 발명의 바람직한 실시예에 따른 특징점 알고리즘을 이용한 3차원 얼굴 표정 애니메이션 생성방법을 설명하기 위해 도시한 흐름도,

도 4는 본 발명에 따른 특징점 알고리즘을 이용한 3차원 얼굴 표정 애니메이션 생성결과를 도시한 도면, 그리고,

도 5는 종래 전문 모델러에 의한 수작업 방식과 본 발명에 따른 특징점 알고리즘 적용 방식을 비교하기 위해 도시한 도면이다.

* 도면의 주요 부분에 대한 부호의 설명 *

110 : 사용자 명령 입력부 120 : 입출력 제어부

130 : 표시부 140 : 저장부

150 : 애니메이션 생성 엔진

본 발명은 3차원 얼굴 표정 애니메이션 생성방법에 관한 것으로, 보다 상세하게는, 3차원 얼굴 데이터에서 특징이 되는 점을 움직이면 그 점을 중심으로 일정범위 내의 점들이 소정 패턴으로 자연스럽게 이동하는 특징점 알고리즘을 이용하여 별도의 장비 없이 소프트웨어적으로 3차원 얼굴 표정 애니메이션을 생성하는 방법에 관한 것이다.

얼굴 표정 애니메이션 생성 기술이란 컴퓨터상의 모델링 툴(Tool)을 이용하여 3차원 얼굴 메쉬(mesh) 모델을 생성한 후, 이 얼굴 메쉬 모델에 여러 가지 기법을 적용하여 실재감 있는 표정을 생성하는 기술을 의미한다.

종래 얼굴 표정 애니메이션을 생성하는 방식으로는 전문 모델러에 의한 수작업 방식과 모션캡쳐 장비를 이용한 방식을 들 수 있다. 여기서, 전문 모델러에 의한 수작업 방식은 전물 모델러가 3차원 얼굴 메쉬의 각 정점(vertex) 하나하나를 조절하여 원하는 표정을 생성하는 방식으로, 사실적 캐릭터의 애니메이션 생성에 용이하나, 모델러의 실력에 따라 생성된 얼굴 애니메이션의 결과에 많은 차이가 발생하는 문제점이 발생한다.

한편, 모션캡쳐 장비를 이용하는 방식은 사람의 얼굴에 옵티컬 마커(optical marker)라고 하는 발광체를 부착한 후 고속의 적외선 카메라로 촬영하고, 촬영을 통해 얻은 옵티컬 마커의 변화에 따른 얼굴 표정 데이터를 3차원 얼굴 메쉬 모델에 매핑시켜 3차원 얼굴 표정 애니메이션을 생성하는 방식이다. 이 방식의 경우 모델러에 의한 수작업 방식보다 작업 처리 속도가 빠르며, 고 품질(high quality)의 애 니메이션을 생성할 수 있는 장점은 있으나, 고가의 장비가 필요한 관계로 저가형 애니메이션이나 웹이나 모바일용 애니메이션 생성에 적용하기에는 적합하지 않다. 즉, 많은 비용을 투자하여야 하는 문제점이 발생한다.

따라서, 본 발명이 이루고자 하는 기술적 과제는, 전문 모델러나 고가의 모션캡쳐 장비에 의존하지 않고 특징점 알고리즘을 이용하여 소프트웨어적으로 3차원 얼굴 표정 애니메이션을 생성할 수 있는 방법을 제공하는 데 있다.

상기와 같은 기술적 과제를 해결하기 위한, 본 발명에 따른 3차원 얼굴 표정 애니메이션 생성방법은, 3차원 얼굴 표정 애니메이션 생성 요청에 대응하여 기 저장된 3차원 표준 얼굴 모델을 읽어 들여 표시하는 단계; 사용자의 선택에 따라 표정 생성에 영향을 주는 복수의 특징점들을 상기 3차원 표준 얼굴 모델에 표시하는 단계; 상기 복수의 특징점들 중 임의의 특징점을 선택하여 이동시키는 단계; 및 상기 선택된 특징점의 이동에 대응하여 상기 선택된 특징점의 영향을 받는 정점들을 코사인 곡선의 형태로 이동시키는 단계를 포함하여 이루어진다.

바람직하게는, 상기 선택된 특징점을 이동시키기 전에 상기 선택된 특징점의 영향범위를 설정하는 단계;를 더 포함하며, 상기 선택된 특징점의 영향을 받는 정점들은 상기 설정된 영향범위 내에 존재하는 정점들인 것을 특징으로 한다.

상기 선택된 특징점의 영향을 받는 정점들을 이동시키는 단계는, 상기 3차원 표준 얼굴 모델을 구성하는 다수의 정점(vertex)들 중 상기 설정된 영향범위 내에 존재하는 정점들을 검색하는 단계; 상기 선택된 특징점의 변위량에 따른 상기 검색된 각 정점들의 변위량을 계산하는 단계; 및 상기 계산된 변위량에 따라 상기 검색된 각 정점들을 상기 코사인 곡선의 형태로 이동시키는 단계를 포함하여 이루어진다.

상기 영향범위 내에 존재하는 정점들 검색하는 단계는, 상기 선택된 특징점과 상기 3차원 표준 얼굴 모델을 구성하는 각 정점들 사이의 거리를 상기 설정된 영향범위로 나누어 상기 선택된 특징점의 영향범위에 따른 상기 각 정점들의 상대적 거리를 계산하고, 상기 계산 결과를 기준범위와 비교하여 상기 설정된 영향범위 내에 존재하는 정점들을 검색하는 것을 특징으로 한다.

상기 검색된 각 정점들의 변위량 계산단계는, 상기 검색단계에서 계산된 상기 선택된 특징점의 영향범위에 따른 상기 검색된 각 정점들의 상대적 거리를 나타내는 값을 라디안 값으로 변환한 후 0°에서 90°사이의 코사인 곡선에 매핑시켜 출력한 값에 상기 선택된 특징점의 변위량을 곱하여 상기 검색된 각 정점들의 변위량을 계산하는 것을 특징으로 한다.

상기 3차원 표준 얼굴 모델에 표시되는 특징점들의 위치는, 생성하고자 하는 얼굴 표정에 따라 상이한 것을 특징으로 한다.

이하, 첨부된 도면들을 참조하여 본 발명을 보다 상세히 설명한다. 다만, 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.

도 1은 본 발명이 적용되는 3차원 얼굴 표정 애니메이션 생성장치에 대한 개략적인 블록도이다.

도 1에 도시된 바와 같이, 본 발명에 따른 3차원 얼굴 표정 애니메이션 생성장치는 사용자 명령 입력부(110), 입출력 제어부(120), 표시부(130), 저장부(140) 및 애니메이션 생성 엔진(150)을 포함하여 구성된다.

사용자 명령 입력부(110)는 사용자 제어 명령(얼굴 표정 선택 명령, 특징점의 변위량 및 영향범위 설정 명령 등)을 입력받는 사용자 인터페이스로서, 키보드, 마우스 등과 같은 키 입력장치가 적용될 수 있다.

입출력 제어부(120)는 사용자 명령 입력부(110)를 통해 입력되는 사용자 제어 명령을 애니메이션 생성 엔진(150)으로 전송하고, 애니메이션 생성 엔진(150)으로부터 전송되는 애니메이션 데이터를 표시부(130)로 전송하는 역할을 수행한다.

표시부(130)는 사용자 제어 명령을 입력받기 위한 사용자 인터페이스(User Interface) 및 애니메이션 생성 엔진(150)에 의해 생성된 애니메이션 데이터를 표시한다.

저장부(140)는 다수의 정점(vertex)으로 구성된 3차원 표준 얼굴 모델 및 얼굴 표정에 따른 특징점의 정보를 저장한다. 이때 얼굴 표정에 따른 특징점의 정보는 설정된 얼굴 표정에 따라 부위별 표정 생성에 영향을 미치는 특징점에 대한 정보, 각 특징점이 최대 이동 가능한 변위량에 대한 정보 및 상기 각 특징점들이 영향을 주는 영향범위에 대한 정보 등을 포함한다. 여기서, 각 특징점들의 영향범위에 대한 정보는 디폴트(default)로 설정된 값에 대한 정보이다.

애니메이션 생성 엔진(150)은 입출력 제어부(120)를 통해 사용자 명령 입력부(110)로부터 제공받은 사용자 제어 명령에 따라 3차원 얼굴 표정 애니메이션을 생성한다. 애니메이션 생성 엔진(150)은 도 2에 도시된 바와 같이, 3차원 얼굴 데이터에서 특징이 되는 점(Feature Point)을 움직이면 그 점을 중심으로 일정범위(range) 내에 존재하는 점들이 코사인 곡선(cosine curve)의 형태로 자연스럽게 이동하는 특징점 알고리즘을 이용하여 3차원 얼굴 표정 애니메이션을 생성한다.

도 3은 본 발명의 바람직한 실시예에 따른 특징점 알고리즘을 이용한 3차원 얼굴 표정 애니메이션 생성방법을 설명하기 위해 도시한 흐름도이다.

도 2에 도시된 바와 같이, 3차원 얼굴 표정 애니메이션 생성 요청에 대응하여(S210), 애니메이션 생성 엔진(150)은 저장부(140)에 저장된 3차원 표준 얼굴 모델을 읽어 들여 메인화면상에 표시해준다(S220). 사용자는 메인화면상에 표시된 메뉴 창에서 얼굴 표정 선택메뉴를 선택하여 생성하고자 하는 얼굴 표정을 선택한다.

사용자에 의해 생성하고자 하는 얼굴 표정이 선택되면(S230), 애니메이션 생성 엔진(150)은 선택된 얼굴 표정 생성에 영향을 주는 특징점을 메인 화면상에 표시중인 3차원 표준 얼굴 모델에 표시한다(S240). 이때, 특징점 표시는 얼굴 표정 선택에 대응하여 해당 얼굴 표정 생성에 영향을 주는 모든 특징점을 표시하도록 구현하거나, 또 다르게는 사용자에 의해 선택된 부위의 표정 생성에 영향을 주는 특징점만을 표시하도록 구현할 수 있다.

이 후 사용자는 영향범위 설정메뉴를 이용하여 3차원 표준 얼굴 모델에 표시된 특징점들 중 어느 하나의 특징점을 선택하여 영향범위를 설정한 후 특징점을 이 동 시킨다(S250).

특징점 이동에 대응하여, 애니메이션 생성 엔진(150)은 이동된 특징점에 영향을 받는 정점들, 즉 영향범위 내에 존재하는 정점들을 검색한다(S260).

애니메이션 생성 엔진(150)은 아래의 [수학식 1]을 이용하여 3차원 표준 얼굴 모델에 표시된 복수의 특징점 중 이동된 특징점의 영향범위에 존재하는 정점들을 검색한다.

여기서 함수 G_j,x(X_i)는 특징점 Q_j를 x축으로 이동시켰을 때, 특징점 Qj의 영향범위에 따른 각 정점들의 상대적 거리를 계산하기 위한 함수로, MaxLevel_x(Q_j)는 특징점 Q_j의 영향범위를 나타내고, Level_x(X_i)는 특징점 Q_j와 임의의 점 X_i사이의 거리를 나타낸다. 애니메이션 생성 엔진(150)은 계산된 특징점 Qj의 영향범위에 따른 각 정점들의 상대적 거리의 값이 기준범위(0 내지 1) 내에 존재하는 경우 이동된 특징점의 영향범위 내에 존재하는 것으로 판단한다.

이후, 애니메이션 생성 엔진(150)은 상기 260 단계를 통해 검색된 각 정점들의 변위량을 계산한다(S270). 애니메이션 생성 엔진(150)은 아래의 [수학식 2]를 이용하여 검색된 각 정점들의 변위량을 계산한다.

여기서, △Q_{j ,x}는 특징점 Q_j의 x축으로의 변위량이고, F_{j ,x}는 0°에서 90°사이의 코사인 곡선으로 특징점 Q_j가 이동할 때 영향범위 내에 존재하는 정점들이 움직이는 정도를 결정하기 위한 함수이다.

상기 [수학식 2]를 이용하여 각 정점들의 변위량을 계산하는 과정을 살펴보면 다음과 같다. 먼저, Gj_,x(X_i)=t로 가정할 때, t값을 라디안 값으로 변환한 후 변환한 라디안 값을 0°에서 90°사이의 코사인 곡선에 매핑시키면 F_{j ,x}함수의 결과값을 구할 수 있다. 상기에서 t값에 π(3.141...)값을 곱하면 라디안 값으로 변환할 수 있는데, 0°에서 90°사이의 코사인 곡선만을 이용하기 위해서는 변환한 라디안 값에 1/2를 곱해주어야 한다. 이 경우 변환된 라디안 값은 0°에서 90°사이의 값을 갖게 되므로, F_{j ,x}함수의 결과값은 0에서 1의 값을 갖게 된다.

이렇게 구해진 F_{j ,x}함수의 결과값에 특징점 Q_j의 x축 변위량 △Q_{j ,x}를 곱해주면 특징점 Q_j의 영향범위 내에 존재하는 임의의 점 X_i에 대한 x축 변위량이 결정된다. 이상은 임의의 점 X_i에 대한 x축 변위량 결정방법에 대해 설명하였지만, 상기와 같은 방식으로 y축 및 z축에 대한 변위량도 결정하여야 함은 물론이며, 이에 대한 설명은 생략한다.

상기 270 단계를 통해 이동된 특징점의 영향범위 내에 존재하는 각 정점들의 변위량이 계산되면, 애니메이션 생성 엔진(150)은 계산된 변위량을 기초로 영향범위 내에 존재하는 각 정점들을 코사인 곡선의 형태로 이동시킨다(S280). 이에 따라 선택된 부분의 표정이 자동으로 생성된다(S290).

이와 같은 본 발명에 따르면, 특징점의 이동만으로 영향범위 내의 정점들이 자연스럽게 이동함으로써, 소정의 특징점 이동만으로도 원하는 표정을 쉽게 생성할 수 있다.

한편, 이상에서는 선택된 얼굴 표정 생성에 영향을 미치는 복수의 특징점들 중 어느 하나의 특징점 이동에 대응하여 이동된 특징점의 영향범위 내에 존재하는 정점들의 변위에 대해 설명한 것으로, 영향범위 내에 존재하는 각 정점들의 변위량 결정시 하나의 특징점만을 고려하였다.

그러나 선택된 얼굴 표정 생성에 영향을 미치는 복수의 특징점들 중 하나 이상의 특징점 이동에 따른 임의의 한 정점 X_i의 x축 변위는 다음과 같이 정의된다. 즉 3차원 표준 얼굴 모델을 구성하는 m개의 정점들을 X₀, X₁,...X_{m -1}로 정의할 때, 선택된 얼굴 표정 생성에 영향을 미치는 n개의 특징점 Q₁, Q₂,...Q_n의 이동량 △Q_{1 ,x},△Q_{2 ,x},...△Q_{n ,x}에 따른 임의의 한 정점 X_i의 x축 변위 △X_{j ,x}는 [수학식 4]와 같이 구해진다.

이와 같이, 3차원 표준 얼굴 모델을 구성하는 m개의 정점들 중 임의의 한 정점 X_i의 x축 변위는, 선택된 얼굴 표정 생성에 영향을 미치는 n개의 특징점 중 X_i에 영향을 주는 특징점에 따른 x축의 변위가 모두 합쳐져서 결정된다.

도 4는 본 발명에 따른 특징점 알고리즘을 이용한 3차원 얼굴 표정 애니메이션 생성결과를 도시한 도면으로, (a)는 3차원 표준 얼굴 모델에 선택된 얼굴 표정에 영향을 주는 특징점이 표시된 상태를 도시한 도면이고, (b) 및 (c)는 각각 생성된 3차원 얼굴 표정 애니메이션의 정면과 측면(45°)을 도시한 도면이다.

도 5는 종래 전문 모델러에 의한 수작업 방식과 본 발명에 따른 특징점 알고리즘 적용 방식을 비교하기 위해 도시한 도면이다.

도 5에서 (a)는 종래 전문 모델러에 의한 수작업 방식에서의 점 이동방식을 나타낸 것으로, 종래 방식에 의하면 원하는 표정을 생성하기 위하여 전문 모델러가 정점 하나하나를 일일이 이동시켜야 한다. 특히, 얼굴 표정과 같이 기본 형태는 유지하면서 특정 부위만을 변경시켜야 하는 경우, 자연스러운 형태를 잡아주기 위해 정점의 수에 따라 수천에서 수만 번의 모델러의 손길이 요구된다.

한편, 5에서 (b)는 본 발명에 따른 특징점 알고리즘을 이용한 점 이동 방식을 나타낸 것으로, 본 발명에 따르면, 하나의 특징점이 사용자가 설정한 벡터의 크기만큼의 변위를 가질 때 주변의 일정범위 안의 정점들이 코사인 곡선을 따라 이동 되므로, 사용자는 특징점의 변위와 영향범위만 지정해주면 된다. 따라서 3차원 정보에 익숙하지 않은 유저들도 쉽게 사용할 수 있다.

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위 뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

지금까지 설명한 바와 같이, 본 발명에 따르면, 전문 모델러나 고가의 모션캡쳐 장비에 의존하지 않고 소프트웨어적으로 3차원 얼굴 표정 애니메이션을 생성할 수 있다. 따라서, 본 발명에 따르면, 기존의 전문 모델러에 의한 수작업 방식 대비 작업속도를 향상시킬 수 있으며, 모션갭쳐 방식 대비 적은 비용으로 3차원 얼굴 표정 애니메이션을 생성할 수 있는 효과를 갖는다.

Claims (6)

1. 3차원 얼굴 표정 애니메이션 생성 요청에 대응하여 기 저장된 3차원 표준 얼굴 모델을 읽어 들여 표시하는 단계;

   사용자의 선택에 따라 표정 생성에 영향을 주는 복수의 특징점들을 상기 3차원 표준 얼굴 모델에 표시하는 단계;

   상기 복수의 특징점들 중 임의의 특징점을 선택하여 이동시키는 단계; 및

   상기 선택된 특징점의 이동에 대응하여 상기 선택된 특징점의 영향을 받는 정점들을 코사인 곡선의 형태로 이동시키는 단계;를 포함하여 이루어진 3차원 얼굴 표정 애니메이션 생성방법.
2. 제 1항에 있어서,

   상기 선택된 특징점을 이동시키기 전에 상기 선택된 특징점의 영향범위를 설정하는 단계;를 더 포함하며,

   상기 선택된 특징점의 영향을 받는 정점들은 상기 설정된 영향범위 내에 존재하는 정점들인 것을 특징으로 하는 3차원 얼굴 표정 애니메이션 생성방법.
3. 제 2항에 있어서,

   상기 선택된 특징점의 영향을 받는 정점들을 이동시키는 단계는,

   상기 3차원 표준 얼굴 모델을 구성하는 다수의 정점(vertex)들 중 상기 설정 된 영향범위 내에 존재하는 정점들을 검색하는 단계;

   상기 선택된 특징점의 변위량에 따른 상기 검색된 각 정점들의 변위량을 계산하는 단계; 및

   상기 계산된 변위량에 따라 상기 검색된 각 정점들을 상기 코사인 곡선의 형태로 이동시키는 단계;를 포함하는 것을 특징으로 하는 3차원 얼굴 표정 애니메이션 생성방법.
4. 제 3항에 있어서

   상기 설정된 영향범위 내에 존재하는 정점들의 검색은,

   상기 선택된 특징점과 상기 3차원 표준 얼굴 모델을 구성하는 각 정점들 사이의 거리를 상기 설정된 영향범위로 나누어 상기 선택된 특징점의 영향범위에 따른 상기 각 정점들의 상대적 거리를 계산하고, 상기 계산 결과를 기준범위와 비교하여 상기 설정된 영향범위 내에 존재하는 정점들을 검색하는 것을 특징으로 하는 3차원 얼굴 표정 애니메이션 생성방법.
5. 제 4항에 있어서,

   상기 검색된 각 정점들의 변위량 계산단계는,

   상기 검색단계에서 계산된 상기 선택된 특징점의 영향범위에 따른 상기 검색된 각 정점들의 상대적 거리를 나타내는 값을 라디안 값으로 변환한 후 0°에서 90°사이의 코사인 곡선에 매핑시켜 출력한 값에 상기 선택된 특징점의 변위량을 곱 하여 상기 검색된 각 정점들의 변위량을 계산하는 것을 특징으로 하는 3차원 얼굴 표정 애니메이션 생성방법.
6. 제 1항에 있어서,

   상기 3차원 표준 얼굴 모델에 표시되는 특징점들의 위치는, 생성하고자 하는 얼굴 표정에 따라 상이한 것을 특징으로 하는 3차원 얼굴 표정 애니메이션 생성방법.

Images