KR100792704B1 - 와이어 곡선과 예제 표정 모델에 기반한 3차원 얼굴애니메이션의 재적용 방법 - Google Patents

와이어 곡선과 예제 표정 모델에 기반한 3차원 얼굴애니메이션의 재적용 방법 Download PDF

Info

Publication number
KR100792704B1
KR100792704B1 KR1020060075333A KR20060075333A KR100792704B1 KR 100792704 B1 KR100792704 B1 KR 100792704B1 KR 1020060075333 A KR1020060075333 A KR 1020060075333A KR 20060075333 A KR20060075333 A KR 20060075333A KR 100792704 B1 KR100792704 B1 KR 100792704B1
Authority
KR
South Korea
Prior art keywords
facial expression
original
model
expression model
facial
Prior art date
Application number
KR1020060075333A
Other languages
English (en)
Other versions
KR20070061252A (ko
Inventor
김예진
이기석
박재형
심광현
양광호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20070061252A publication Critical patent/KR20070061252A/ko
Application granted granted Critical
Publication of KR100792704B1 publication Critical patent/KR100792704B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 기존의 3차원 가상캐릭터의 얼굴 표정 애니메이션 데이터를 새로운 얼굴 모델에 효과적으로 적용시키는 와이어 곡선(Wire curve)과 예제 표정 모델(example expression model)에 기반한 표정 재적용(retargeting) 방법에 관한 것으로, 원본과 대상 얼굴 모델 사이에 대응 관계를 주기 위해서 사용자가 와이어 곡선(Wire curve)들을 모델 표면에 지정하는 제 1단계, 입력된 원본 애니메이션을 샘플링(sampling) 작업을 통해서 원본 예제 표정 모델들을 생성한 후, 이 예제 표정 모델들과 원본 모델 간의 변형 파라미터(deformation parameter) 값들을 추출하여 대상 얼굴 모델의 와이어 곡선에 적용시켜 대상 예제 표정 모델들을 생성하는 제 2단계, 원본 예제 표정 모델들과 애니메이션에서 매 프레임(frame)마다 들어오는 표정으로부터 블랜딩 가중치(blending weight) 값을 구한 뒤 대상 예제 표정 모델들을 RBF(Radial Basis Function)으로 블랜딩해서 최종 결과 애니메이션을 만들어내는 제 3단계를 포함하므로써, 본 발명은 3차원 가상 캐릭터의 사실적인 표정 애니메이션을 제작함에 있어 기존에 이미 제작된 다른 캐릭터의 얼굴 표정 애니메이션을 효과적으로 재사용할 수 있는 방법을 제공하여 3차원 애니메이션의 제작 시간을 단축하는데 기여할 수 있다.
3차원 얼굴 애니메이션, 특징점, 와이어 곡선, 예제 표정 모델, 블랜딩

Description

와이어 곡선과 예제 표정 모델에 기반한 3차원 얼굴 애니메이션의 재적용 방법 {A Method of Retargeting A Facial Animation Based on Wire Curves And Example Expression Models}
도 1은 본 발명에 따른 3차원 얼굴 애니메이션의 재적용 방법을 보여주는 흐름도,
도 2는 와이어 곡선을 이용한 원본과 대상 표정 모델의 상호 대응 관계를 나타내는 도,
도 3은 다양한 감정을 2차원 공간에 간략하게 표시한 감정 공간 다이어그램을 나타낸 도,
도 4는 원본 예제 표정 모델들과 원본 표정 모델(베이스 모델)로부터 와이어 곡선의 변형 파라미터 값(
Figure 112007062029617-pat00007
)을 추출하는 것을 나타낸 도,
도 5는 추출한 원본 와이어 곡선의 변형 파라미터 값(
Figure 112007062029617-pat00008
)을 대상 표정 모델의 와이어 곡선의 콘트롤 포인터에 적용시켜 생성한 대상 예제 표정 모델들을 나타낸 도,
도 6은 미리 정의한 가중치 함수를 이용해서 원본 예제 표정 모델들의 가중치 값을 얻어 대상 예제 표정 모델에 적용하여 블랜딩 시켜 새로운 표정을 생성하 는 것을 나타낸 도이다.
<도면의 중요한 부호의 설명>
10. 원본 애니메이션 20. 원본 표정 모델
21. 원본 예제 표정 모델 30. 대상 표정 모델
31. 대상 예제 표정 모델 40. 결과 애니메이션
50. 특징점 60. 와이어 곡선
본 발명은 3차원 얼굴 애니메이션 생성 방법에 관한 것으로, 기존의 3차원 가상캐릭터의 얼굴 표정 애니메이션 데이터를 새로운 얼굴 모델에 효과적으로 적용시키기 위해서 와이어 곡선(wire curve)과 예제 표정 모델(example expression model)을 사용한 표정 재적용(retargeting) 방법에 관한 것이다.
지금까지 보다 현실감 있는 3차원 얼굴 애니메이션을 생성하기 위해서 많은 방법들이 제안되어 왔으며, 특히, 그 중에서도 실제 사람 얼굴피부와 근육의 물리적 특징을 흉내낸 물리적-기반-접근(Physically-based approach), 카메라 앞에서 실제 얼굴에 붙힌 마커(marker)의 움직임으로부터 추출한 데이터를 기반으로 하는 Performance-driven approach, 2차원 얼굴 사진의 윤곽선 및 텍스쳐(texture) 정보로부터 추출한 데이터를 기반으로 하는 이미지-기반 접근(Image-based approach) 등이 있다. 이러한 종래의 방법으로 애니메이션을 생성하기 위해선 새로운 모델마다 같은 작업을 계속 반복해야 하는 단점이 있다.
최근에는 이러한 단점을 극복하기 위해서 기존 애니메이션 데이터를 새로운 모델에 재사용하는 Retargeting and Cloning approach가 제안되고 있다. 예를 들어, 특2003-0070578호(“3차원 스캔 얼굴 데이터의 자동 애니메이션 방법”)은 3차원 얼굴 모델의 레인지 스캔 데이터의 윤곽선 정보와 텍스쳐 정보를 통해 추출한 기하학 모델의 특징점으로 얼굴 모델을 간략화 시킨 후 모션 벡터를 통해 결과 애니메이션을 생성하는 방법을 제안하고 있으나, 스캐닝된 입력 얼굴 모델의 입술 윤곽선을 사용자가 지정해야 하는 문제점과, 모션 백터와 같은 기하학적인 계산에 의존해서 표정을 생성하기 때문에 결과 애니메이션에서 나타나는 표정들이 단조롭거나 실시간으로 생성하지 못하는 제약을 가지고 있다.
또한, 특2001-0091219호(표본화된 얼굴 표정을 새로운 얼굴에 리타켓팅하는 방법)는 페이스 추적수단으로 캡쳐되어진 3차원 얼굴 표정 데이터들로부터 행위 특성을 추출하고 추출되어진 행위 특성을 서로 다른 얼굴의 모델에 모션 백터를 통해 서로 다른 얼굴의 모델에 재적용하는 방법을 제안하고 있으나, 모션 백터와 같은 기하학적인 계산에 의존해서 표정을 생성하기 때문에 결과 애니메이션에서 나타나 는 표정들이 단조롭거나 실시간으로 생성하지 못하는 제약이 있다.
따라서 본 발명의 목적은 상기한 종래 기술의 문제점들을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 기존의 애니메이션을 대상 모델에 재적용하기 위해 주어진 원본 애니메이션이 담고 있는 다양한 표정의 변화를 포착함과 동시에 대상 표정 모델이 지니는 특유의 표정까지도 잘 반영된 결과 애니메이션이 실시간으로 생성되는 방법을 제공하는데 있다.
한편, 본 발명의 다른 목적은 3차원 가상 캐릭터의 사실적인 표정 애니메이션을 제작함에 있어 기존에 이미 제작된 다른 캐릭터의 얼굴 표정 애니메이션을 효과적으로 재사용함으로써 3차원 애니메이션의 제작 시간을 단축할 수 있는 방법을 제공하는데 있다.
한편, 본 발명의 또 다른 목적은 표정 재적용시 대상 모델의 특성을 고려하기 힘든 모션 벡터의 수학적인 계산에 의존하지 않고, 사용자가 직관적으로 표정 연출에 사용할 수 있는 예제 표정 모델을 와이어 곡선으로 직접 조작하면서 블랜딩 기법을 통해 보다 만족스러운 결과 애니메이션을 생성할 수 있는 방법을 제공하는데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 와이어 곡선과 예제 표정 모델에 기반한 3차원 얼굴 애니메이션의 재적용 방법은, 기존에 존재하는 얼굴 애니메이션을 새로운 모델에 재적용해서 새로운 애니메이션을 생성하는 방법에 있어서, 원본 표정 모델과 대상 표정 모델 사이에 대응 관계를 성립하는 제 1단계, 상기 원본 표정 모델과 대상 표정 모델에 대한 각각의 원본 예제 표정 모델과 대상 예제 표정 모델을 정의하는 제 2단계 및 상기 원본 예제 표정 모델로부터 추출한 가중치 값으로 대상 예제 표정 모델들을 블랜딩해서 새로운 표정을 만들어내는 제 3단계를 포함한다.
본 발명의 와이어 곡선과 예제 표정 모델에 기반한 3차원 얼굴 애니메이션의 재적용 방법에 있어서, 제 1단계는 상기 원본 표정 모델에 특징점 지정하는 단계, 상기 원본 표정 모델의 특징점을 대상 표정 모델에 적용하여 대응되는 특정한 부분에 특징점을 지정하는 단계 및 상기 특징점들을 콘트롤 포인트로 사용하여 와이어 곡선들을 모델 표면에 지정하는 단계를 포함하고, 제 2 단계는 상기 원본 예제 표정 모델들을 생성하는 단계, 상기 원본 예제 표정 모델들과 원본 표정 모델 간에 변형 파라미터 값들을 추출하는 단계 및 상기 원본 표정 모델에 대응하는 상기 대상 표정 모델의 와이어 곡선에 상기 변형 파라미터 값들을 적용시켜서 대상 예제 표정 모델들을 생성하는 단계를 포함하며, 제 3 단계는 각 원본 예제 표정 모델들마다 가중치 함수를 미리 정의하는 단계, 원본 애니메이션에서 표정들이 매 프레임 마다 입력될 때 상기 가중치 함수를 통해서 가중치 값을 추출하는 단계 및 상기 가중치 값으로 대상 예제 표정 모델들을 블랜딩하여 새로운 표정을 생성하는 단계를 포함한다.
특히, 본 발명에서는 표정 재적용시 대상 모델의 특성을 고려하기 힘든 모션 벡터의 수학적인 계산에 의존하지 않고, 사용자가 직관적으로 표정 연출에 사용할 수 있는 예제 표정 모델을 와이어 곡선으로 직접 조작하면서 블랜딩 기법을 통해 보다 만족스러운 결과 애니메이션을 생성한다.
또한, 예제 표정 모델을 정의하는데 필요한 와이어 곡선의 변형 파라미터 값이나 예제 표정 모델들을 보간(interpolation)하는데 필요한 블랜딩 가중치 값들은 미리 계산되어 행렬 값으로 저장되어 있고, 이 가중치 값들을 새로운 표정을 만들 때 사용하여 실시간으로 결과 애니메이션을 생성한다.
이하, 본 발명의 와이어 곡선과 예제 표정 모델에 기반한 3차원 얼굴 애니메이션의 재적용 방법에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 본 발명에 따른 3차원 얼굴 애니메이션의 재적용 방법을 보여주는 흐름도를 나타낸 것으로, 원본 애니메이션(10)으로부터 대응관계 성립(S100), 예제 표정 모델 정의(S200), 표정 블랜딩(S300)의 세 단계의 과정을 거친 후 최종 결과 애니메이션(40)이 생성된다.
대응관계를 성립(S100)하는 제1단계에서는 원본과 대상 얼굴 모델 사이에 대응 관계를 주기 위해서 사용자가 와이어 곡선(Wire curve; 60)들을 모델 표면에 지정해주고, 예제 표정 모델을 정의(S200)하는 제2단계에서는 입력된 원본 애니메이션(10)을 샘플링(sampling) 작업을 통해서 원본 예제 표정 모델들(21)을 생성하고, 이 생성된 원본 예제 표정 모델들(21)과 원본 표정 모델(20) 간의 변형 파라미터(deformation parameter) 값들을 추출한 후, 이 변형 파라미터 값을 대상 표정 모델(30)의 와이어 곡선(60)에 적용시켜 대상 예제 표정 모델들(31)을 생성한다. 마지막으로 표정을 블랜딩(S300)하는 제3단계에서는 원본 애니메이션(10)에서 매 프레임(frame)마다 들어오는 표정들과 원본 예제 표정 모델들(21)로부터 블랜딩 가중치(blending weight) 값을 구한 뒤 이 가중치 값을 이용하여 대상 예제 표정 모델들(31)을 RBF(Radial Basis Function)으로 블랜딩해서 최종 결과 애니메이션(40)을 만들어낸다.
이에 본 발명의 각 단계에 대해 도 2 내지 도 6을 참조하여 보다 상세하게 설명하기로 한다.
1. 대응 관계 성립 단계(S100)
도 2는 원본 표정 모델(20)과 대상 표정 모델(30) 간의 대응 관계를 보여주 고 있다. 먼저 원본 모델 표면에 있는 정점(vertex)들 중에서 표정 변화에 중요한 역할을 하는 특징점(50)을 선택해 지정하고, 이에 대응되는 특징점(50)을 대상 표정 모델(30)에서도 선택한다. 특징점(50)은 주로 정점의 움직임이 많은 입술 주위나 눈썹, 턱, 이마, 볼등을 중심으로 선택하고, 모델의 지형적 복잡도에 따라 20~40개 정도 지정한다. 여기서 특징점(50)의 수는 나중에 얼굴 모델 변형(deformation)이나 블랜딩 기법의 정확도 및 시간에 영향을 미친다.
특정점(50)들 중에서 가까운 곳에서 비슷한 표정 변화를 적용받는 특징점(50)들은 와이어 곡선(60)의 콘트롤 포인터(control point)들이 될 수 있다. 예를 들어 도 2에서 두 표정 모델(20, 30)의 왼쪽 눈썹 표면에 지정된 3개의 특징점(50)들은 왼쪽 눈썹의 움직임을 제어하는 와이어 곡선을 이루는 콘트롤 포인터가 된다.
이렇게 콘트롤 포인터로 이루어진 와이어 곡선(60)을 얼굴 모델에 적용하기 위해서는 먼저 정점들이 표시된 표정 모델에 변형하고자 하는 부분에 참조 곡선(reference wire)을 설정한다. 이 설정된 참조 곡선을 움직이면 그 주변의 정점들에 변형이 일어나고, 참조 곡선 근처의 정점들은 그 거리에 따라서 곡선의 변형에 영향을 받는 정도가 달라진다. 즉, 참조 곡선에 가까운 정점들은 참조 곡선과 비슷한 정도로 변형하고, 먼 정점은 거의 변형하지 않는다. 이처럼 참조 곡선의 변형에 영향을 받는 정도가 비슷한 정점을 연결한 것이 와이어이다. 와이어에 관한 더 자세한 설명은 Karan Singh등이 1998년도 SIGGRAPH에서 발표한 “Wires: A Geometric Deformation Technique”라는 제목의 논문을 참조하면 자세히 알 수 있으므로 본 발명에서는 그 설명을 생략한다.
이와 같이 두 표정 모델(20, 30)의 얼굴 표면 위에 와이어 곡선(60)을 만들고, 두 표정 모델(20, 30) 간 대응하는 와이어 곡선(60)을 지정함으로써 원본 표정 모델(20)에 표정 변화가 있을 때마다 원본 와이어 곡선의 파라미터 값을 추출하고, 대응하는 대상 와이어 곡선의 콘트롤 포인터에 추출한 파라미터 값을 적용해서 대상 표정 모델(30)의 표정을 원본 표정 모델(20)과 같이 변화시킬 수 있게 된다.
2. 예제 표정 모델 정의 단계(S200)
최종 결과 애니메이션(40)의 표정은 대상 예제 표정 모델(31)들을 블랜딩함으로써 생성되기 때문에 그 전에 원본 표정 모델(20)과 대상 표정 모델(30)의 주요 표정을 나타내는 예제 표정(21, 31)들을 먼저 생성하여야 한다. 원본 표정 모델(20)에 대해 생성된 원본 예제 표정 모델(21)들은 나중에 대상 표정 모델(30)의 대상 예제 표정 모델(31)들을 생성하는데 필요한 와이어 곡선(60)의 파라미터 값과 블랜딩에 필요한 가중치 값을 계산하는데 쓰인다.
2-1. 원본 표정 모델(20)의 원본 예제 표정 모델(21) 생성
주어진 원본 애니메이션(10)에서 표정 재적용에 필요한 중요 예제 표정(21) 들을 선택할 수 있다. 하지만 이럴 경우 사용자가 애니메이션의 모든 프레임을 보고 결정해야 하는 단점이 존재한다. 효율적으로 예제 표정들을 생성하기 위해서는 도 3에서와 같이 심리학에서 정의되어 있는 감정 공간 다이어그램(Emotion Space Diagram)을 참조하여 중요 표정들을 선택한 후, 그에 해당하는 예제 표정 모델(21)을 직접 생성하거나 대응관계 성립단계(S100)에서 사용자가 지정했던 특징점(50)의 움직임을 추적해서 변화가 큰 프레임을 원본 예제 표정 모델(21)로 선택할 수도 있다.
이렇게 선택된 원본 예제 표정 모델(21)들은 사용자가 지정한 베이스 모델(base model), 즉 원본 표정 모델(20)로부터 와이어 곡선(60)의 콘트롤 포인트를 조작하는데 필요한 변형 파라미터 값을 얻는데 사용된다.
도 4는 원본 예제 표정 모델(21)들과 원본 표정 모델(베이스 모델; 20)로부터 추출한 와이어 곡선(60)의 변형 파라미터 값(ΔVsi: 원본 표정 모델과 i번째 원본 예제 표정 모델 간의 변형 파라미터 값)을 나타낸 것이다. 원본 표정 모델(베이스 모델; 20)과 예제 표정 모델(21) 간에 변형 파라미터 값(ΔVsi)을 추출하는 과정은 와이어 곡선(60)의 변형을 역으로 푸는 과정으로 M(M은 자연수)개의 와이어 곡선(60)과 예제 표정 모델(21)이 주어질 때 최소제곱최적화(least-squares minimization) 기법으로 베이스 모델(20)로부터 m(m은 자연수)개의 예제 표정 모델(21)로 변형시키는데 필요한 변형 파라미터 값들을 추출해 낼 수가 있다. 이러한 변형 파라미터 값을 추출하는 과정의 더 자세한 설명은 H. Pyun등이 2004년도 Computers and Graphics에서 발표한 “On Extracting Wire Curves from Multiple Face Models for Facial Animation”라는 제목의 논문을 참조하면 자세히 알 수 있으므로 본 발명에서는 그 설명을 생략한다.
2-2. 대상 표정 모델(30)의 대상 예제 표정 모델(31) 생성
도 5는 추출한 원본 와이어 곡선(60)의 변형 파라미터 값(ΔVsi: 원본 표정 모델과 i번째 원본 예제 표정 모델 간의 변형 파라미터 값)을 대상 표정 모델(30)의 와이어 곡선(60)의 콘트롤 포인터에 적용시켜 생성한 대상 예제 표정 모델(31)들을 나타낸 것으로, 상기 원본 예제 표정 모델(21)들에서 추출된 변형 파라미터 값(ΔVsi)은 도 5와 같이 대상 표정 모델(베이스 모델; 30)에 있는 와이어 곡선(60)의 콘트롤 포인터에 적용되어 각 원본 예제 표정 모델(21)에 대응되는 대상 예제 표정 모델(31)을 생성한다.
이렇게 생성된 대상 예제 표정 모델(31)들은 다음 단계인 표정 블랜딩 단계(S300)에서 결과 애니메이션(40)으로 블랜딩 되는데 사용된다. 특히, 표정 블랜딩 단계(S300)에서 사용자가 특정 표정을 결과 애니메이션(40)에서 강조하고 싶을 경우 해당하는 대상 예제 표정 모델(31)의 표면에 있는 와이어 곡선(60)의 콘트롤 포인터에 곱해지는 가중치 값을 임의로 조정해서 원하는 표정의 연출도 가능하다.
3. 표정 블랜딩 단계(S300)
본 발명의 표정 블랜딩 단계(S300)에서는 전 단계(S200)에서 생성된 대상 예제 표정 모델(31)들을 원본 예제 표정 모델(21)들에서 구한 가중치 값만큼 블랜딩 시켜서 새로운 얼굴 표정을 생성한다.
3-1. 가중치 값의 추출
블랜딩 기법으로 새로운 표정을 생성하기 위해선 각 원본 예제 표정 모델(21)이 블랜딩 된 새로운 표정에 미치는 영향을 알아내야 한다. 따라서 본 발명에서는 이 영향을 대상 예제 표정 모델(31)에 곱해지는 가중치 값으로 정의하고, 이 가중치 값은 원본 예제 표정 모델(21)마다 미리 정의된 가중치 함수를 통해서 구해진다.
도 6은 미리 정의된 가중치 함수를 이용해서 원본 예제 대상 모델(21)들로부터 가중치 값을 구하여 대상 예제 표정 모델(31)들을 블랜딩 시킴으로써 새로운 표정(Voi: i번째 입력된 원본 예제 표정 모델에 대한 결과 애니메이션)을 생성하는 것을 나타낸 것으로, 도 6에서와 같이 원본 애니메이션(10)으로부터 매 프레임마다 새로운 표정(ΔVi)이 들어오면, 각 원본 예제 표정 모델(21)들에 미리 정의 되어 있는 가중치 함수를 통해서 새로운 표정(Voi = w1*Vt1 + w2*Vt2 + … + wi*Vti, 여기서 Vti는 i번째 대상 예제 표정 모델, wi는 i번째 예제 표정 모델의 가중치 값)을 생성하는데 필요한 가중치 값(w1, w2, . . ., wi)을 구할 수 있다. 그런 다음, 각 대상 예제 표정 모델(31)은 대응되는 원본 예제 표정 모델(21)로부터 가중치 값(w1, w2, . . ., wi)을 넘겨받은 후 표정 블랜딩을 통해서 새로운 표정(Voi)으로 생성된다.
여기서 표정 블랜딩에 쓰이는 가중치 값들은 새로운 표정이 들어올 때마다 재계산 되어야 하지만, 본 발명에서는 각 표정 모델마다 미리 정의된 가중치 함수를 사용하기 때문에 가중치 함수의 전처리 과정만 거친 후 새로운 표정의 실시간 처리가 가능하다. 본 발명에서 사용하는 가중치 함수는 P. P. Sloan 등이 2001년도 Syposium on Interactive 3D Graphics에서 발표한 “Shape by Example”라는 제목의 논문에서 정의한 기수 기반 함수(cardinal basis function)로 이루어진다. 이 기수 기반 함수(cardinal basis function)는 m차원의 공간에서 예제 표정들의 가중치 값을 대략적이지만 전체적인 선형(linear) 그래프 모양으로 정의하는 선형 기반 함수(linear-basis function)와 이 선형 그래프에 나머지(residue)를 더해 곡선 그래프 모양으로 정의하여 더 정확한 값을 측정해 내는 곡선 기반 함수(radial basis function)로 이루어져 있다. 즉, 선형 기반 함수(linear basis function)에서 얻은 전체적인 가중치 값을 이용하여 새로운 표정을 생성하고, 곡선 기반 함수(radial basis function)로 얻은 세밀한 가중치 값을 이용하여 상기 대상 예제 표정 모델의 표정 변화에 따른 특징점의 움직임을 생성하여 세밀한 표정 변화를 블랜딩할 수 있다. 이와 같이 상술한 2 종류의 가중치 함수를 이용한 블랜딩 기법을 통해서 원본 애니메이션(10)의 표정들을 좀 더 정확하게 결과 애니메이션(40)의 표정으로 생성 하는 것이 가능하다.
3-2. 블랜딩
원본 애니메이션(10)으로부터 입력된 표정의 결과 애니메이션(40)의 새로운 표정은 각 대상 예제 표정 모델(31)과 가중치 값을 곱한 뒤 하나의 표정으로 더해서 새로운 표정(Voi)이 생성된다(Voi = w1*Vt1 + w2*Vt2 + … + wi*Vti). 이 때 가중치 값의 오차로 인한 결과 애니메이션(40)의 표정에 나타나는 일그러짐을 방지하기 위해서 가중치 값에 곱해지는 각 대상 예제 표정 모델(31)은 대상 표정 모델(베이스 모델; 30)과의 특징점 차이 값만을 고려한다.
따라서 원본 애니메이션(10)에서 들어온 표정이 대상 예제 표정 모델(31)들과 표정 차이가 심해서 단순 블랜딩만으로는 결과 애니메이션(40)의 표정을 생성하기 힘들 때, 본 발명에 따른 가중치 값을 이용한 표정 블랜딩 기법을 통해서 대상 예제 표정 모델(31)을 블랜딩함으로써 원본 애니메이션(10)에서 들어온 표정과 최대한 가까운 결과 애니메이션(40)의 표정을 생성해 낼 수가 있다. 또한, 사용자가 입력되는 표정을 보고 대응되는 대상 표정을 포함시켜 주면 원본 애니메이션(10)에 보다 가까운 정확한 결과 애니메이션(40)을 생성해 낼 수 있다.
이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것이 아니고 본 발명의 기술사상을 벗어 나지 않는 범위 내에서 다양하게 변형실시될 수 있다.
상술한 바와 같이, 본 발명에 의한 와이어 곡선과 예제 표정 모델에 기반한 3차원 얼굴 애니메이션의 재적용 방법은, 기존의 모션 벡터 기반의 얼굴 애니메이션 재적용 방법에서 고려하기 힘들었던 대상 표정 모델의 특성을 사용자의 의도대로 결과 애니메이션에 반영하면서 원본 애니메이션을 새로운 모델에 실시간으로 재적용시킴으로써, 3차원 가상 캐릭터의 사실적인 표정 애니메이션을 제작함에 있어 기존에 이미 제작된 다른 캐릭터의 얼굴 표정 애니메이션을 효과적으로 재사용할 수 있어 새로운 애니메이션의 제작 시간을 단축하는데 기여할 수 있으며, 또한, 얼굴 애니메이션 이외에 캐리턱의 동작 애니메이션에도 활용이 가능하다.

Claims (10)

  1. 기존에 존재하는 얼굴 애니메이션을 새로운 모델에 재적용하여 새로운 애니메이션을 생성하는 방법에 있어서,
    원본 표정 모델과 대상 표정 모델 사이에 대응 관계를 성립하는 제 1단계;
    상기 원본 표정 모델과 대상 표정 모델에 대한 각각의 원본 예제 표정 모델과 대상 예제 표정 모델을 정의하는 제 2단계; 및
    상기 원본 예제 표정 모델로부터 추출한 가중치 값으로 상기 대상 예제 표정 모델들을 블랜딩하여 새로운 표정을 만들어내는 제 3단계
    를 포함하는 것을 특징으로 하는 와이어 곡선과 예제 표정 모델에 기반한 3차원 얼굴 애니메이션의 재적용 방법.
  2. 제 1항에 있어서, 상기 제 1단계는,
    상기 원본 표정 모델의 표면에 특징점을 지정하는 단계;
    상기 특징점을 대상 표정 모델에 적용하여 상기 원본 표정 모델과 대응되는 특정한 부분에 특징점을 지정하는 단계; 및
    상기 두 표정 모델의 특징점을 콘트롤 포인트로 사용하여 상기 두 표정 모델의 표면에 와이어 곡선들을 지정하는 단계
    를 포함하는 것을 특징으로 하는 와이어 곡선과 예제 표정 모델에 기반한 3 차원 얼굴 애니메이션의 재적용 방법.
  3. 제 1항에 있어서, 상기 제 2단계는,
    상기 원본 표정 모델에 대한 원본 예제 표정 모델들을 생성하는 단계;
    상기 원본 예제 표정 모델들과 상기 원본 표정 모델 간에 변형 파라미터 값들을 추출하는 단계; 및
    상기 원본 표정 모델에 대응하는 상기 대상 표정 모델의 와이어 곡선에 상기 변형 파라미터 값들을 적용시켜서 상기 대상 예제 표정 모델들을 생성하는 단계
    를 포함하는 것을 특징으로 하는 와이어 곡선과 예제 표정 모델에 기반한 3차원 얼굴 애니메이션의 재적용 방법.
  4. 제 1항에 있어서, 상기 제 3단계는,
    각 원본 예제 표정 모델들마다 가중치 함수를 미리 정의하는 단계;
    상기 원본 애니메이션에서 표정들이 매 프레임마다 입력될 때 상기 가중치 함수를 통해서 가중치 값을 추출하는 단계; 및
    상기 가중치 값으로 상기 대상 예제 표정 모델들을 블랜딩하여 새로운 표정을 생성하는 단계
    를 포함하는 것을 특징으로 하는 와이어 곡선과 예제 표정 모델에 기반한 3 차원 얼굴 애니메이션의 재적용 방법.
  5. 제 3항에 있어서, 상기 원본 예제 표정 모델의 생성은,
    감정 공간 다이어그램(Emotion Space Diagram)을 참조하여 표정들을 선택해서 직접 생성하는 것을 특징으로 하는 와이어 곡선과 예제 표정 모델에 기반한 3차원 얼굴 애니메이션의 재적용 방법.
  6. 제 3항에 있어서, 상기 원본 예제 표정 모델의 생성은,
    입력되는 원본 애니메이션을 샘플링하여 상기 제 1단계에서 지정된 특징점의 움직임을 추적하여 변화가 큰 프레임을 원본 예제 표정 모델로 지정하는 것을 특징으로 하는 와이어 곡선과 예제 표정 모델에 기반한 3차원 얼굴 애니메이션의 재적용 방법.
  7. 제 3항에 있어서, 상기 변형 파라미터 값의 추출은,
    상기 원본 표정 모델과 원본 예제 표정 모델 간에 와이어 곡선의 콘트롤 포인터의 모션 벡터를 통해서 변형 파라미터 값들을 추출하는 것을 특징으로 하는 와이어 곡선과 예제 표정 모델에 기반한 3차원 얼굴 애니메이션의 재적용 방법.
  8. 제 4항에 있어서, 상기 원본 예제 표정 모델에 미리 정의된 가중치 함수는,
    전체적인 가중치 값을 얻을 수 있는 선형 기반 함수(linear basis function)와, 세밀한 가중치 값을 얻을 수 있는 곡선 기반 함수(radial basis function)로 이루어진 것을 특징으로 하는 와이어 곡선과 예제 표정 모델에 기반한 3차원 얼굴 애니메이션의 재적용 방법.
  9. 제 4항에 있어서, 상기 블랜딩하여 새로운 표정을 생성하는 단계에 있어서, 상기 새로운 표정은 각 대상 예제 표정 모델에 추출된 가중치 값을 곱하고, 상기 가중치 값이 곱해진 각 대상 예제 표정 모델이 모두 합쳐져 생성되는 것을 특징으로 하는 와이어 곡선과 예제 표정 모델에 기반한 3차원 얼굴 애니메이션의 재적용 방법.
  10. 제 9항에 있어서,
    상기 가중치 값의 오차로 인해 생기는 상기 새로운 표정의 일그러짐은 상기 가중치 값에 곱해지는 상기 대상 예제 표정 모델과 상기 대상 표정 모델과의 특징점의 움직임 차이 값만을 고려하여 방지하는 것을 특징으로 하는 와이어 곡선과 예제 표정 모델에 기반한 3차원 얼굴 애니메이션의 재적용 방법.
KR1020060075333A 2005-12-08 2006-08-09 와이어 곡선과 예제 표정 모델에 기반한 3차원 얼굴애니메이션의 재적용 방법 KR100792704B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20050119836 2005-12-08
KR1020050119836 2005-12-08

Publications (2)

Publication Number Publication Date
KR20070061252A KR20070061252A (ko) 2007-06-13
KR100792704B1 true KR100792704B1 (ko) 2008-01-08

Family

ID=38357189

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060075333A KR100792704B1 (ko) 2005-12-08 2006-08-09 와이어 곡선과 예제 표정 모델에 기반한 3차원 얼굴애니메이션의 재적용 방법

Country Status (1)

Country Link
KR (1) KR100792704B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101148101B1 (ko) * 2009-01-30 2012-05-22 서강대학교산학협력단 얼굴 표정 리타게팅 방법
US10860841B2 (en) 2016-12-29 2020-12-08 Samsung Electronics Co., Ltd. Facial expression image processing method and apparatus
CN108257162B (zh) * 2016-12-29 2024-03-05 北京三星通信技术研究有限公司 合成脸部表情图像的方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050108582A (ko) * 2004-05-12 2005-11-17 한국과학기술원 영역 기반의 얼굴 표정 애니메이션 복제방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050108582A (ko) * 2004-05-12 2005-11-17 한국과학기술원 영역 기반의 얼굴 표정 애니메이션 복제방법

Also Published As

Publication number Publication date
KR20070061252A (ko) 2007-06-13

Similar Documents

Publication Publication Date Title
KR101819535B1 (ko) 표정 제어점에 기초한 강체 영역의 표현 방법 및 장치
Pighin et al. Synthesizing realistic facial expressions from photographs
Choe et al. Analysis and synthesis of facial expressions with hand-generated muscle actuation basis
CN113272870A (zh) 用于逼真的实时人像动画的系统和方法
JP2002508867A (ja) ２次元および３次元画像の変換制御用の方法および装置
US7872654B2 (en) Animating hair using pose controllers
KR101148101B1 (ko) 얼굴 표정 리타게팅 방법
EP1031945A2 (en) Animation creation apparatus and method
US9129434B2 (en) Method and system for 3D surface deformation fitting
KR100900823B1 (ko) 캐릭터 애니메이션 시 피부의 주름 실시간 표현 방법 및장치
Pighin et al. Facial motion retargeting
KR100792704B1 (ko) 와이어 곡선과 예제 표정 모델에 기반한 3차원 얼굴애니메이션의 재적용 방법
KR101780496B1 (ko) 컴퓨터그래픽 툴에 의한 캐릭터 모델링 기반 3d 디지털액터 영상 구현방법
US7477253B2 (en) Storage medium storing animation image generating program
JP2739447B2 (ja) しわの表現可能な三次元像生成装置
Li et al. Animating cartoon faces by multi‐view drawings
Magnenat-Thalmann et al. Automatic modeling of animatable virtual humans-a survey
Park et al. A feature‐based approach to facial expression cloning
US8077183B1 (en) Stepmode animation visualization
Laishram et al. High-quality face caricature via style translation
Lee et al. CartoonModes: Cartoon stylization of video objects through modal analysis
Wang et al. Uncouple generative adversarial networks for transferring stylized portraits to realistic faces
JP4361878B2 (ja) 統計力学的モデリングの方法と装置
Dutreve et al. Real-time dynamic wrinkles of face for animated skinned mesh
Kwon et al. Rubber-like exaggeration for character animation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110104

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20111208

Year of fee payment: 20