KR20080051007A - 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및애니메이션 생성 시스템 및 방법 - Google Patents

한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및애니메이션 생성 시스템 및 방법 Download PDF

Info

Publication number
KR20080051007A
KR20080051007A KR1020070094263A KR20070094263A KR20080051007A KR 20080051007 A KR20080051007 A KR 20080051007A KR 1020070094263 A KR1020070094263 A KR 1020070094263A KR 20070094263 A KR20070094263 A KR 20070094263A KR 20080051007 A KR20080051007 A KR 20080051007A
Authority
KR
South Korea
Prior art keywords
face
model
animation
face model
dimensional
Prior art date
Application number
KR1020070094263A
Other languages
English (en)
Other versions
KR100918095B1 (ko
Inventor
추창우
김재철
김호원
박정철
박지영
임성재
구본기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US11/945,330 priority Critical patent/US20080136814A1/en
Publication of KR20080051007A publication Critical patent/KR20080051007A/ko
Application granted granted Critical
Publication of KR100918095B1 publication Critical patent/KR100918095B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 비디오카메라를 통해 입력된 3차원 얼굴 메쉬의 모든 버텍스에 대해 다른 메쉬들과의 대응 관계를 설정하고 평균 3차원 얼굴 모델을 생성하고, 평균 얼굴 모델과 얼굴 모델간의 공분산 행렬의 주성분 분석을 통해 기하 모델 및 텍스쳐 분산 모델을 생성하는 전처리부와, 비디오카메라로부터 입력된 얼굴 연기 동영상 중에서 정면을 응시하는 무표정 상태의 얼굴 영상 프레임에 전처리부에서 생성한 평균 3차원 얼굴 모델을 투영하여 연기자의 3차원 얼굴 모델을 생성하는 얼굴모델생성부와, 애니메이션 제어 모델을 가진 3차원 얼굴 모델 템플릿을 얼굴모델생성부에서 생성한 연기자의 3차원 얼굴 모델에 전이시켜 애니메이션 제어 모델을 갖춘 연기자의 3차원 얼굴모델을 생성하는 전이부와, 전이부에 의해 전이된 애니메이션 제어 모델을 갖춘 연기자의 3차원 얼굴 모델을 표정 연기가 있는 얼굴 애니메이션 비디오 프레임에 투영시키는 투영부와, 투영부에 의해 투영된 오차를 계산하는 오차계산부와, 오차계산부에 의해 계산된 오차가 최소화되는 방향으로 조인트를 이동 및 회전 변환하여 메쉬를 변형하는 메쉬변형부로 구성되므로, 이상에서 설명한 본 발명에 의해 연기자의 얼굴 연기를 한 대의 비디오 카메라로 촬영한 얼굴 연기 동영상으로부터 손쉽게 3차원 애니메이션을 생성할 수 있는 효과가 있다.

Description

한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 시스템 및 방법{Method of Face Modeling and Animation From a Single Video Stream}
본 발명은 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 시스템 및 방법에 관한 것으로서, 한 대의 비디오 카메라로 촬영한 연기자(performer)의 얼굴 연기를 3차원 애니메이션으로 생성하기 위하여, 비디오로부터 배우의 3차원 얼굴을 모델링하고, 모델링한 얼굴에 애니메이션 제어 모델이 설정된 템플릿 모델을 전이하며, 전이된 모델의 조인트를 조절하여 변형한 얼굴 모델을 비디오에 투영하여 비디오 영상과 가장 오차가 적은 조인트 움직임 값을 찾는 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 시스템 및 방법에 관한 것이다.
기존에 3차원 얼굴 모델을 생성하기 위한 방법으로는 얼굴을 3차원 스캐닝하는 방법이 있다. 하지만, 이 방법으로 생성한 3차원 모델은 노이즈가 존재할 뿐만 아니라, 실제 애니메이션에 사용하기에는 데이터의 크기가 너무 커지게 되며, 애니메이션을 하기 위한 특징들이 사라지는 단점이 있다.
실제로는 숙련된 디자이너에 의한 수작업이 가장 선호되고 있으며, 3차원 스 캐닝하는 방법은 참조용으로 사용하는 경향이 있다. 그 외에 한 장의 사진으로부터 3차원 모델을 생성하는 방법으로 3D Morphable Model 방법이 존재한다. 이 방법은 3차원 스캐닝한 얼굴 DB를 전처리하여, 3차원 평균 얼굴 모델을 생성하고, 주성분 분석(PCA: Principal Component Analysis)을 통해 기하 모델과 텍스쳐의 분산 모델을 생성한다. 이 평균 모델을 영상에 투영하여 생성한 영상과 입력 영상의 차이를 최소화하는 기하모델과 텍스쳐의 주성분에 대한 계수와 투영을 위한 카메라 파라미터와 렌더링 파라미터를 찾는다. 입력 영상의 인물에 대한 3차원 모델은 평균 3차원 모델과 주성분의 선형 합으로 생성된다.
3차원 모델링한 얼굴을 애니메이션하기 위한 방법으로는 예제에 기반한 방법과 얼굴 모션캡쳐를 이용한 방법이 있다. 예제에 기반한 방법은 애니메이션하고자 하는 모델의 여러 가지 표정에 대한 3차원 모델을 미리 제작하고, 이들의 조합으로 새로운 표정을 만들어 내는 방법으로, 이때, 미리 제작한 여러 표정의 3차원 모델을 블렌드 쉐입(blend shape)이라고 한다. 얼굴 모션캡쳐에 의한 방법은 연기자의 얼굴에 수십 개의 마커를 부착하여 표정 연기를 하고, 이 마커의 3차원 움직임을 포착하여, 이를 애니메이션 데이터로 변환하여 사용하는 방식이다. 이 방법들은 현재 널리 사용되고 있으나, 숙련된 아티스트들의 수작업이 많이 소요되는 작업인 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위하여 제안된 것으로서, 그 목적은 한 대의 비디오 카메라로 촬영한 연기자의 얼굴 연기 동영상을 3차원 애니메이션으로 재생하는 방법을 제공하며, 이를 위해 정면을 응시하는 무표정 프레임으로부터 연기자의 3차원 얼굴 모델을 생성하고, 생성한 모델에 애니메이션 제어 모델이 설정된 템플릿 모델을 전이하여, 애니메이션 제어 모델이 갖추어진 연기자의 3차원 얼굴 모델을 생성하는 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 시스템 및 방법을 제공하는 데에 있는 것이다.
따라서, 본 발명의 목적을 달성하기 위한 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 시스템은, 3차원 얼굴 데이터베이스를 통해 입력된 3차원 얼굴 메쉬의 모든 버텍스에 대해 다른 메쉬들과의 대응 관계를 설정하고 평균 3차원 얼굴 모델을 생성하고, 평균 얼굴 모델과 얼굴 모델간의 공분산 행렬의 주성분 분석을 통해 기하 모델 및 텍스쳐 분산 모델을 생성하는 전처리부와, 비디오카메라로부터 입력된 얼굴 연기 동영상 중에서 정면을 응시하는 무표정 상태의 얼굴 영상 프레임에 전처리부에서 생성한 평균 3차원 얼굴 모델을 투영하여 연기자의 3차원 얼굴 모델을 생성하는 얼굴모델생성부와, 애니메이션 제어 모델을 가진 3차원 얼굴 모델 템플릿을 얼굴모델생성부에서 생성한 연기자의 3차원 얼굴 모델에 전이시켜 애니메이션 제어 모델을 갖춘 연기자의 3차원 얼굴모델을 생성하는 전이부와, 전이부에 의해 전이된 애니메이션 제어 모델을 갖춘 연기자의 3차원 얼굴 모델을 표정 연기가 있는 얼굴 애니메이션 비디오 프레임에 투영시키는 투영부와, 투영부에 의해 투영된 오차를 계산하는 오차계산부와, 오차계산부에 의해 계산된 오차가 최소화되는 방향으로 조인트를 이동 또는 회전 변환하여 메쉬를 변형하는 메쉬변형부로 구성되는 것을 특징으로 한다.
본 발명의 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 방법은, 3차원 얼굴 데이터베이스를 통해 입력된 3차원 얼굴 메쉬의 모든 버텍스에 대해 다른 메쉬들과의 대응 관계를 설정하고 평균 3차원 얼굴 모델을 생성하고, 평균 얼굴 모델과 얼굴 모델간의 공분산 행렬의 주성분 분석을 통해 기하 모델 및 텍스쳐 분산 모델을 생성하는 전처리단계와, 애니메이션 제어 모델을 가진 3차원 얼굴 모델 템플릿을 얼굴모델생성부에서 생성한 연기자의 3차원 얼굴 모델에 전이시키고, 애니메이션 제어 모델을 갖춘 연기자의 3차원 얼굴 모델을 표정 연기가 있는 얼굴 애니메이션 비디오 프레임에 투영시켜 오차를 계산하고 오차가 최소화되는 방향으로 조인트를 이동 또는 회전 변환하여 메쉬를 변형하는 애니메이션 형성 단계로 구성되는 것을 특징으로 한다.
이상에서 설명한 본 발명에 의해 연기자의 얼굴 연기를 한 대의 비디오 카메라로 촬영한 얼굴 연기 동영상으로부터 손쉽게 3차원 애니메이션을 생성할 수 있는 효과가 있다.
또한, 본 발명은 연기자의 얼굴 애니메이션 데이터를 가상의 배우의 얼굴 연 기로 쉽게 전이할 수 있는 효과가 있다.
이하, 본 발명에 따른 한 대의 비디오 카메라로 촬영한 연기자의 얼굴 연기 동영상을 3차원 애니메이션으로 생성하는 방법에 대해 첨부된 도면을 참조하여 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 3차원 애니메이션을 생성하기 위한 장치 구성을 나타낸 블록 구성도이다.
도 1을 참조하여 보면, 본 발명은 크게 비디오카메라(10), 컴퓨터(20) 및 출력장치(30)로 구성된다. 그리고, 컴퓨터(20)는 디지털신호처리부(22) 얼굴모델링부(24), 3차원얼굴 데이터베이스(26) 및 D/A 컨버터(28)로 구성된다.
먼저, 비디오카메라(10)는 입력장치로서의 역할을 하며, 움직이는 연기자의 영상을 촬영하여 그 동영상을 생성한다.
컴퓨터(20)는 비디오카메라(10)를 통해 입력된 연기자의 동영상을 처리하여 애니메이션화하는 장치이다. 한편, 전술한 비디오카메라(10)가 디지털로 처리되는 장치인 경우에는 그 정보가 그 내부에서 결과적으로 디지털 데이터로 입력되므로 별도의 A/D 장치가 필요 없다.
디지털신호처리부(22)는 비디오 카메라(10)로부터 전송된 사용자의 얼굴 연기 동영상을 수신하며, 수신된 아날로그 형태의 3차원 얼굴 연기 동영상을 0과 1로 표시되는 디지털 신호로 변환하여 수학적 연산에 의해 처리할 수 있도록 한다. 디지털신호처리부(22)는 신호의 왜곡이나 손실을 방지할 수 있다.
그리고, 얼굴모델링부(22)는 디지털 신호 처리된 연기자의 동영상을 받아 연기자의 3차원 얼굴을 프레임별로 모델링한다. 얼굴을 프레임별로 모델링하여 3차원 얼굴 모델과 기하 모델을 생성하고 애니메이션 제어 모델을 가진 3차원 얼굴 모델 템플릿(500), 3차원 얼굴 모델과 기하 모델을 이용하여 3차원 얼굴의 애니메이션 영상을 만들어낸다.
D/A 컨버터(28)는 얼굴모델링부에서 처리된 3차원 얼굴의 애니메이션 영상을 출력장치(30)를 통해 디스플레이할 수 있는 아날로그 신호로 변환한다.
도 2는 본 발명의 일실시예에 따른 얼굴모델링부의 구성을 나타낸 블록 구성도이며, 도 4는 본 발명의 일실시예에 따른 애니메이션 제어 모델을 가진 3차원 얼굴 모델 템플릿을 나타낸 예시도이고, 도 5는 본 발명의 일실시예에 따른 3차원 스캐닝한 얼굴 모델 중 입을 나타낸 예시도이다.
도 2, 도 4 및 도 5를 참조하여 보면, 전술한 얼굴모델링부(24)는 전처리부(210), 얼굴모델생성부(220), 전이부(230), 투영부(240), 오차계산부(250) 및 메쉬변형부(260)로 구성된다.
전처리부(210)는 비디오카메라(10)를 통해 입력된 3차원 얼굴 메쉬의 모든 버텍스에 대해 다른 메쉬들과의 대응 관계를 설정하고 대응되는 버텍스의 좌표와 컬러의 평균을 통해 평균 3차원 얼굴 모델을 생성한다. 그리고, 평균 얼굴 모델과 3차원 얼굴 데이터베이스(26)의 얼굴 모델간의 공분산 행렬(covariance matrix)의 주성분 분석을 통해 기하 모델 및 텍스쳐 분산 모델을 생성한다.
얼굴모델생성부(220)는 먼저, 비디오카메라(10)로부터 입력된 얼굴 연기 동 영상(400) 중에서 정면을 응시하는 무표정 상태의 얼굴 영상 프레임에 전처리부에서 생성한 평균 3차원 얼굴 모델을 투영하여 비디오 이미지와의 최소 오차를 가진 연기자의 3차원 얼굴 모델을 생성한다. 이때, 얼굴모델생성부(220)에서 생성된 얼굴 모델을 텍스쳐를 포함하는 연기자의 3차원 얼굴 모델이며, 평균 3차원 얼굴 모델을 얼굴 연기 동영상에 투영하기 위해서는 기하 모델 및 텍스쳐 분산 모델을 이용한다.
전처리부(210) 및 얼굴모델생성부(220)가 처리하는 과정은 기존의 3차원 얼굴 스캐닝 방법으로 대체될 수 있으나, 본 발명의 흐름을 따르면, 한 대의 비디오로 촬영한 영상만으로도 간단하게 3차원 모델을 생성할 수 있으며, 얼굴 애니메이션 대상이 바뀔 때마다 3차원 얼굴 스캐닝할 불편이 없어지는 효과가 있다.
한편, 얼굴모델생성부(220)에 의해 생성된 연기자의 3차원 얼굴 모델은 비록 연기자와 같은 형상을 갖추고 있으나, 아직 애니메이션을 하기에 적합하지 않은 상태이다.
전이부(230)는 도 4와 같은 애니메이션 제어 모델을 가진 3차원 얼굴 모델 템플릿(500)을 얼굴모델생성부(220)에서 생성한 연기자의 3차원 얼굴 모델에 전이시켜 애니메이션 제어 모델을 갖춘 연기자의 3차원 얼굴모델을 생성한다. 이때, 전이부(230)에 의해 애니메이션 제어 모델을 가진 3차원 얼굴 모델 템플릿(500)을 연기자의 3차원 얼굴 모델에 전이시에 얼굴 중 표정변화에 대해 움직임이 없는 특징들의 두 메쉬간 대응관계를 이용하여 전이시킨다.
또한, 전이부(230)에 의해 전이된 모델은 조인트의 이동 및 회전 변환을 통 해 얼굴을 변형할 수 있다. 예를 들어, 얼굴모델생성부(220)를 통해 만들어진 모델로 입을 열게 하고자 하나 얼굴모델생성부(220)에 의해 만들어진 모델의 입은 도 5와 같이 메쉬의 윗입술과 아랫입술의 경계가 모호하여 입을 열게 할 수 없다. 그러나, 전이부(230)에 의해 애니메이션 제어 모델을 가진 3차원 얼굴 모델 템플릿을 연기자의 3차원 얼굴 모델에 전이시킨 얼굴은 턱을 움직이는 조인트의 회전을 통해 입을 열게 할 수 있으며, 눈 주위, 코 주변 등을 변화시킬 수 있다.
애니메이션 제어 모델은 얼굴의 표정을 생성하기 위한 계층적 구조의 뼈대와 뼈대의 끝점인 조인트, 조인트가 주위 버텍스에 영향을 미치는 정도를 나타내는 가중치로 구성된다. 조인트가 움직이면, 애니메이션 제어 모델에 따라 모든 버텍스의 좌표가 다시 계산되어 새로운 표정을 생성하게 되는 것이다.
투영부(240)는 전이부(230)에 의해 전이되어 얼굴 애니메이션을 위한 준비를 마친 애니메이션 제어 모델을 갖춘 연기자의 3차원 얼굴 모델을 표정 연기가 있는 얼굴 애니메이션 비디오 프레임에 투영(projection)시킨다.
오차계산부(250)는 투영부(240)에서 전이된 3차원 얼굴 모델을 표정이 생긴 얼굴 애니메이션 비디오 프레임에 투영하여 오차를 계산한다.
메쉬변형부(260)는 오차계산부(250)에 의해 계산된 오차가 최소화되는 방향으로 조인트를 이동 및 회전 변환하여 메쉬를 변형한다.
이때, 오차계산부(250)와 메쉬변형부(260)의 동작을 얼굴 연기가 들어있는 비디오의 모든 프레임에 대해 반복하여 애니메이션을 생성하여 전체 비디오의 연기와 동일한 3차원 애니메이션을 생성할 수 있다.
도 3은 본 발명의 일실시예에 따른 한 대의 비디오로 촬영한 동영상을 이용하여 연기자의 3차원 얼굴 모델 생성하는 과정을 나타낸 순서도이다.
도 3을 참조하여 보면, 먼저, 본 발명의 단계는 크게 전처리부(210)에서 처리하는 전처리 단계(S100)와, 애니메이션을 생성하는 애니메이션 생성 단계(S200)로 구성된다.
먼저, 전처리부(210)는 3차원 얼굴 데이터베이스(24)로부터 얼굴 메쉬 정보를 수신하여 얼굴 메쉬의 모든 버텍스에 대해 다른 메쉬와의 대응 관계를 설정하고 대응되는 버텍스의 좌표와 컬러의 평균을 통해 평균 3차원 얼굴 모델을 생성한다(S101).
전처리부(210)는 평균 얼굴 모델과 3차원얼굴 데이터베이스(24)의 얼굴 모델간의 공분산 행렬(covariance matrix)의 주성분 분석을 통해 기하 모델 및 텍스쳐 분산 모델을 생성한다(S102). 한편, S101과 S102를 포함하여 전처리 단계(S100)로 정의한다.
그리고, 얼굴모델 생성부(220)는 먼저, 얼굴 연기한 동영상 중에서 비디오 카메라(10)가 획득한 정면을 응시하는 무표정 상태의 얼굴 모델 프레임에 평균 3차원 얼굴 모델을 투영하여 비디오 이미지와의 최소 오차를 가진 텍스쳐를 포함하는 연기자의 3차원 얼굴 모델을 생성한다(S201). 투영시에 S102에서 구한 기하모델 및 텍스쳐 분산 모델도 사용된다.
한편, 여기서, 전처리 단계(S100)와 연기자의 3차원 얼굴 모델을 생성하는 단계(S201)는 기존의 3차원 얼굴 스캐닝 방법으로 대체될 수 있으나, 본 발명의 흐 름을 따르면, 한 대의 비디오로 촬영한 영상만으로도 옆모습이나 뒷모습의 촬영없이 3차원 모델을 생성할 수 있으며, 얼굴 애니메이션 대상이 바뀔 때마다 3차원 얼굴을 스캐닝할 필요가 없어 간편하다.
S201에서 생성한 연기자의 3차원 얼굴 모델은 비록 연기자와 같은 형상을 갖추고 있으나, 아직 애니메이션을 하기에 적합하지 않은 상태이다. 도 2와 같은 애니메이션 제어 모델을 가진 3차원 얼굴 모델 템플릿(500)을 연기자의 3차원 얼굴 모델 생성단계(201)에서 만든 3차원 얼굴 모델에 전이하여 애니메이션 제어 모델을 갖춘 연기자의 3차원 얼굴모델을 생성한다(S202). 이때, S202에서 전이부(230)에 의해 애니메이션 제어 모델을 가진 3차원 얼굴 모델 템플릿(500)을 연기자의 3차원 얼굴 모델에 전이시에 얼굴 중 표정변화에 대해 움직임이 없는 특징들의 두 메쉬간 대응관계를 이용하여 전이시킨다.
S202에서 생성된 애니메이션 제어 모델을 갖춘 연기자의 3차원 얼굴모델은 조인트의 이동 및 회전 변환을 통해 얼굴을 변형할 수 있다. 예를 들어 S201을 통해 만들어진 모델로 입을 열게 하고자 하나 도 3과 같이 메쉬의 윗입술과 아랫입술의 경계가 모호하여 입을 열게 할 수 없으나, 단계 202를 통해 전이된 제어 모델을 갖춘 연기자의 3차원 얼굴 모델은 턱을 움직이는 조인트의 회전을 통해 입을 열게 할 수 있다.
얼굴 애니메이션을 위한 준비를 마친 연기자의 3차원 얼굴 모델을 표정 연기가 있는 얼굴 애니메이션 비디오 프레임에 투영시켜 생성한 영상과 표정 연기가 있는 비디오 프레임과의 오차를 계산한다(S203).
S203에서 계산된 오차가 최소오차 범위 내에 있는지의 여부를 판단한다(S204).
S204에서 판단하여 최소오차 범위 내에 있는 경우로 판단되면, 얼굴 연기의 3차원 애니메이션을 작성한고 종료한다. 즉, D/A 컨버터(28)를 통해 얼굴 연기의 3차원 애니메이션을 출력하고 종료한다.
S204에서 판단하여 최소오차 범위 외에 있는 경우로 판단되면, 오차가 최소화되는 방향으로 조인트를 이동 및 회전 변환하여 메쉬를 변형한다(S205). S205 단계 이후에 S203으로 진행하여 최소오차 범위 내에 들 때까지 반복함으로써, 오차가 최소가 될 때 그 프레임에 해당하는 애니메이션이 생성된다.
도 1은 본 발명의 일실시예에 따른 3차원 애니메이션을 생성하기 위한 시스템 구성을 나타낸 블록 구성도.
도 2는 본 발명의 일실시예에 따른 얼굴모델링부의 구성을 나타낸 블록 구성도.
도 3은 본 발명의 일실시예에 따른 한 대의 비디오로 촬영한 동영상을 이용하여 연기자의 3차원 얼굴 모델을 생성하는 과정을 나타낸 순서도.
도 4는 본 발명의 일실시예에 따른 애니메이션 제어 모델을 가진 3차원 얼굴 모델 템플릿을 나타낸 예시도.
도 5는 본 발명의 일실시예에 따른 3차원 스캐닝한 얼굴 모델 중 입을 나타낸 예시도.
＜도면의 주요 부분에 대한 부호의 설명＞
10 : 비디오카메라 20 : 컴퓨터
22 : 디지털신호처리부 24 : 얼굴모델링부
26 : 3차원얼굴 데이터베이스 28 : D/A 컨버터
30 : 출력장치 210 : 전처리부
220 : 얼굴모델생성부 230 : 전이부
240 : 투영부 250 : 오차계산부
260 : 메쉬변형부

Claims (8)

  1. 3차원 얼굴 데이터베이스를 통해 입력된 3차원 얼굴 메쉬의 모든 버텍스에 대해 다른 메쉬들과의 대응 관계를 설정하고 평균 3차원 얼굴 모델을 생성하고, 평균 얼굴 모델과 얼굴 모델간의 공분산 행렬의 주성분 분석을 통해 기하 모델 및 텍스쳐 분산 모델을 생성하는 전처리부;
    비디오카메라로부터 입력된 얼굴 연기 동영상 중에서 정면을 응시하는 무표정 상태의 얼굴 영상 프레임에 상기 전처리부에서 생성한 평균 3차원 얼굴 모델을 투영하여 연기자의 3차원 얼굴 모델을 생성하는 얼굴모델생성부;
    애니메이션 제어 모델을 가진 3차원 얼굴 모델 템플릿을 상기 얼굴모델생성부에서 생성한 연기자의 3차원 얼굴 모델에 전이시켜 애니메이션 제어 모델을 갖춘 연기자의 3차원 얼굴모델을 생성하는 전이부;
    상기 전이부에 의해 전이된 상기 애니메이션 제어 모델을 갖춘 연기자의 3차원 얼굴 모델을 표정 연기가 있는 얼굴 애니메이션 비디오 프레임에 투영시키는 투영부;
    상기 투영부에 의해 투영된 오차를 계산하는 오차계산부; 및
    상기 오차계산부에 의해 계산된 오차가 최소화되는 방향으로 조인트를 이동 또는 회전 변환하여 메쉬를 변형하는 메쉬변형부를 포함하는 것을 특징으로 하는 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 시스템.
  2. 제1항에 있어서,
    상기 전처리부 및 상기 얼굴모델생성부가 처리하는 과정은 기존의 3차원 얼굴 스캐닝을 이용하여 대체하는 것을 특징으로 하는 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 시스템.
  3. 제1항 또는 제2항에 있어서,
    상기 오차계산부와 상기 메쉬변형부에서의 동작을 얼굴 연기가 들어있는 비디오의 모든 프레임에 대해 반복하여 애니메이션을 생성하는 것을 특징으로 하는 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 시스템.
  4. 3차원 얼굴 데이터베이스를 통해 입력된 3차원 얼굴 메쉬의 모든 버텍스에 대해 다른 메쉬들과의 대응 관계를 설정하고 평균 3차원 얼굴 모델을 생성하고, 상기 평균 3차원 얼굴 모델과 얼굴 모델간의 공분산 행렬의 주성분 분석을 통해 기하 모델 및 텍스쳐 분산 모델을 생성하는 전처리단계; 및
    애니메이션 제어 모델을 가진 3차원 얼굴 모델 템플릿을 얼굴모델생성부에서 생성한 연기자의 3차원 얼굴 모델에 전이시키고, 상기 애니메이션 제어 모델을 갖춘 연기자의 3차원 얼굴 모델을 표정 연기가 있는 얼굴 애니메이션 비디오 프레임에 투영시켜 오차를 계산하고 상기 오차가 최소화되는 방향으로 조인트를 이동 또는 회전 변환하여 메쉬를 변형하는 애니메이션 형성 단계를 포함하는 것을 특징으 로 하는 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 방법.
  5. 제4항에 있어서,
    상기 애니메이션 형성 단계는,
    얼굴 연기한 동영상 중에서 비디오 카메라가 획득한 정면을 응시하는 무표정 상태의 얼굴 모델 프레임에 평균 3차원 얼굴 모델을 투영하여 연기자의 3차원 얼굴 모델을 생성하는 3차원 얼굴 모델 생성단계;
    상기 애니메이션 제어 모델을 가진 3차원 얼굴 모델 템플릿을 상기 3차원 얼굴 모델에 전이하여 애니메이션 제어 모델을 갖춘 연기자의 3차원 얼굴모델을 생성하는 연기자의 3차원 얼굴 모델 생성단계;
    연기자의 3차원 얼굴 모델을 표정 연기가 있는 얼굴 애니메이션 비디오 프레임에 투영시켜 생성한 영상과 표정 연기가 있는 비디오 프레임과의 오차를 계산하는 계산단계;
    상기 계산단계에서 계산된 오차가 최소오차 범위 내에 있는지의 여부를 판단하는 판단단계;
    상기 판단단계에서 판단하여 최소오차 범위 내에 있는 경우로 판단되면, 얼굴 연기의 3차원 애니메이션을 작성하는 애니메이션작성단계; 및
    상기 판단단계에서 판단하여 최소오차 범위 외에 있는 경우로 판단되면, 오차가 최소화되는 방향으로 조인트를 이동 및 회전 변환하여 메쉬를 변형하는 메쉬 변형단계를 포함하는 것을 특징으로 하는 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 방법.
  6. 제5항에 있어서,
    상기 전처리 단계와 상기 3차원 얼굴 모델 생성단계는 3차원 얼굴 스캐닝하는 단계로 대체하는 것을 특징으로 하는 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 방법.
  7. 제5항에 있어서,
    상기 계산단계, 상기 판단단계, 상기 애니메이션작성단계 및 메쉬변형단계를 최소 오차 범위가 될 때까지 반복하는 것을 특징으로 하는 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 방법.
  8. 제4항 또는 제5항에 있어서,
    상기 애니메이션 제어 모델을 가진 템플릿 3차원 얼굴 모델을 상기 연기자의 3차원 얼굴 모델에 전이하는 단계에서, 얼굴 중 표정변화에 대해 움직임이 없는 특징들의 두 메쉬간 대응관계를 이용하여 전이하는 것을 특징으로 하는 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및 애니메이션 생성 방법.
KR1020070094263A 2006-09-17 2007-09-17 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및애니메이션 생성 시스템 및 방법 KR100918095B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US11/945,330 US20080136814A1 (en) 2006-09-17 2007-11-27 System and method for generating 3-d facial model and animation using one video camera

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20060121359 2006-12-04
KR1020060121359 2006-12-04

Publications (2)

Publication Number Publication Date
KR20080051007A true KR20080051007A (ko) 2008-06-10
KR100918095B1 KR100918095B1 (ko) 2009-09-22

Family

ID=39825609

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070094263A KR100918095B1 (ko) 2006-09-17 2007-09-17 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및애니메이션 생성 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR100918095B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100933957B1 (ko) * 2008-05-16 2009-12-28 전남대학교산학협력단 단일 카메라를 이용한 삼차원 인체 포즈 인식 방법
US8624901B2 (en) 2009-04-09 2014-01-07 Samsung Electronics Co., Ltd. Apparatus and method for generating facial animation
WO2017026839A1 (ko) * 2015-08-12 2017-02-16 트라이큐빅스 인크. 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
CN111311712A (zh) * 2020-02-24 2020-06-19 北京百度网讯科技有限公司 视频帧处理方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020014844A (ko) * 2000-07-18 2002-02-27 최창석 3차원 얼굴 모델링 방법
KR20020054243A (ko) * 2000-12-27 2002-07-06 오길록 다중 영상을 이용한 대화형 모델 생성 장치 및 그 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100933957B1 (ko) * 2008-05-16 2009-12-28 전남대학교산학협력단 단일 카메라를 이용한 삼차원 인체 포즈 인식 방법
US8624901B2 (en) 2009-04-09 2014-01-07 Samsung Electronics Co., Ltd. Apparatus and method for generating facial animation
WO2017026839A1 (ko) * 2015-08-12 2017-02-16 트라이큐빅스 인크. 휴대용 카메라를 이용한 3차원 얼굴 모델 획득 방법 및 장치
CN111311712A (zh) * 2020-02-24 2020-06-19 北京百度网讯科技有限公司 视频帧处理方法和装置
CN111311712B (zh) * 2020-02-24 2023-06-16 北京百度网讯科技有限公司 视频帧处理方法和装置

Also Published As

Publication number Publication date
KR100918095B1 (ko) 2009-09-22

Similar Documents

Publication Publication Date Title
US20080136814A1 (en) System and method for generating 3-d facial model and animation using one video camera
US9036898B1 (en) High-quality passive performance capture using anchor frames
Chai et al. Vision-based control of 3 D facial animation
JP5344358B2 (ja) 演技から作り出される顔アニメーション
KR20170086317A (ko) 타이밍 변환을 이용한 3차원 캐릭터 동작 생성 장치 및 방법
JP2013524357A (ja) ビデオ・シーケンスに記録された現実エンティティのリアルタイムのクロッピングの方法
US20200357157A1 (en) A method of generating training data
US11158104B1 (en) Systems and methods for building a pseudo-muscle topology of a live actor in computer animation
Malleson et al. Rapid one-shot acquisition of dynamic VR avatars
KR100918095B1 (ko) 한 대의 비디오 카메라를 이용한 3차원 얼굴 모델 및애니메이션 생성 시스템 및 방법
JP5109192B2 (ja) モーションキャプチャにおけるｆａｃｓ（顔の表情符号化システム）解決法
Song et al. A generic framework for efficient 2-D and 3-D facial expression analogy
Edge et al. Use and re-use of facial motion capture data
JP7251003B2 (ja) 細かいしわを有する顔メッシュ変形
Woodward et al. A low cost framework for real-time marker based 3-D human expression modeling
Kshirsagar et al. Personalized face and speech communication over the internet
Tang et al. Mpeg4 performance-driven avatar via robust facial motion tracking
Nguyen et al. Real-time subject-specific head and facial mimic animation system using a contactless Kinect sensor and system of systems approach
US11410370B1 (en) Systems and methods for computer animation of an artificial character using facial poses from a live actor
US20230154094A1 (en) Systems and Methods for Computer Animation of an Artificial Character Using Facial Poses From a Live Actor
ARIPIN DEVELOPMENT OF INDONESIAN TALKING-HEAD ANIMATIONS ON HUMANOID AND NON-HUMANOID CHARACTERS USING THE RETARGETING PROCESS OF FACIAL MOTION CAPTURE DATA
Condell et al. Software and Methods for Motion Capture and Tracking in Animation.
WO2023022606A1 (en) Systems and methods for computer animation of an artificial character using facial poses from a live actor
Woodward et al. Journal of Applied Research and Technology
Zhislina et al. Creating and animating personalized head models from digital photographs and video

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120910

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130829

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140827

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150827

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160826

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20170828

Year of fee payment: 9