KR20090081004A

KR20090081004A - 모션 픽쳐에서의 표면 캡처링

Info

Publication number: KR20090081004A
Application number: KR1020097011192A
Authority: KR
Inventors: 데미안 고르돈
Original assignee: 소니 가부시끼 가이샤; 소니 픽쳐스 엔터테인먼트, 인크.
Priority date: 2006-11-01
Filing date: 2007-11-01
Publication date: 2009-07-27
Also published as: WO2008057953A2; KR20120135922A; US8330823B2; WO2008057953A3; AU2007317448B2; EP2078287A4; EP2078287A2; US20080100622A1; AU2007317448A1; CA2668430C; KR101342257B1; JP2010508609A; CA2668430A1; CN101573733B; CN101573733A; JP5235891B2

Abstract

모션 픽쳐에서 표면을 캡처하는 방법은, 마킹 재료로 구성된 패턴으로 표면을 덮는 단계; 각 영상 프레임이 상기 표면을 덮는 상기 패턴의 복수의 영상을 포함하는 영상 프레임 계열을 획득하는 단계; 상기 각 영상 프레임에 대해 상기 복수의 영상으로부터 메시 대상체를 도출하는 단계; 상기 프레임 계열을 통해 각 프레임 내의 상기 메시 대상체를 추적하는 단계; 및 상기 추적된 메시 대상체를 이용하여 상기 표면의 특징을 모델링하는 애니메이션 데이터를 생성하는 단계를 포함한다.

모션 픽쳐, 캡처, 마킹 재료, 영상 프레임, 메시 대상체, 애니메이션 데이터

Description

모션 픽쳐에서의 표면 캡처링{CAPTURING SURFACE IN MOTION PICTURE}

관련 출원의 상호 인용

본 출원은 출원 계속 중인 미국 임시특허 출원 제60/856,169호(출원일: 2006년 11월 1일, 발명의 명칭: "모션 픽쳐에서의 표면 캡처링")의 35 U.S.C.§119에 따른 우선권을 주장한다. 이 출원의 내용은 본 명세서에 인용으로서 포함된다.

본 출원은 본 출원인에게 양도된 미국특허 제7,068,277호(출원일: 2003년 5월 23일, 발명의 명칭: "디지털 얼굴 모델을 애니메이팅하기 위한 시스템 및 방법"); 미국 특허출원 제10/427,114호(출원일: 2003년 5월 1일, 발명의 명칭: "얼굴 및 몸체 모션을 캡처하기 위한 시스템 및 방법"); 미국 특허출원 제11/467,503호(출원일: 2006년 8월 25일, 발명의 명칭: "모션 픽쳐에 이용된 라벨링"); 및 미국 특허출원 제11/829,711호(출원일: 2007년 7월 27일, 발명의 명칭: "모션 픽쳐에서의 FACS 클리닝")의 내용을 인용으로서 더 포함한다.

본 발명은 일반적으로 모션 픽쳐에 관한 것으로, 특히 모션 마커 데이터를 이용하여 표면을 캡처링하는 것에 관한 것이다.

모션 캡처 시스템은 실제 대상의 움직임을 캡처하여 이를 애니메이션 방식으로 컴퓨터 생성 대상에 맵핑하는데 사용된다. 이 시스템은 컴퓨터 그래픽(CG) 애 니메이션을 제작하는데 있어 소스 데이터로서 이용되는 대상물이나 사람의 디지털 표현을 작성하기 위한 모션 픽쳐와 비디오 게임을 생성하는데 자주 이용된다. 통상적인 시스템에서 배우는 여러 군데에 마커(예컨대 몸체나 팔다리에 부착된 작은 반사성 마커)가 부착된 의상을 입고 있다. 그러면 적당한 곳에 위치한 디지털 카메라들이 마커에 조명이 비추어지는 동안에 캡처 볼륨 내의 배우의 몸체 움직임을 다양한 각도로 기록한다. 이 시스템은 후에 영상을 분석하여 각 프레임에서 배우 의상의 마커들의 위치와 배향(예컨대 공간 좌표)를 결정한다. 시스템은 마커 위치를 추적하여 시간에 따른 마커의 공간적 표현을 작성하고, 움직이고 있는 배우의 디지털 표현을 만들어 낸다. 그 다음, 이러한 모션은 배우 및/또는 연기의 완전한 CG 표현을 작성하기 위해 텍스처링 및 렌더링될 수 있는 가상 공간에서의 디지털 모델에 적용된다. 이 기법은 특수 효과를 제작 판매하는 회사들이 많은 인기 있는 영화에서 진짜같은 애니메이션을 제작하는데 이용하고 있다.

그러나 모션 캡처 시스템에는 여러 가지 제약이 있다. 특히 모션 캡처 세션 중에 발생된 데이터는 배우의 팔다리와 같이 뻣뻣한 부위의 움직임을 캡처한 것이다. 예컨대 배우의 팔뚝에 부착된 마커는 손과 팔죽지에 연결된 뻣뻣한 부위인 팔뚝의 모션을 기술하는 데이터를 전개하는데 이용된다. 그러므로 이 데이터가 처리되고 나면 이러한 모션은 막대기나 봉의 움직임과 비슷하다. 그러므로 이들 데이터는 때로는 배우의 "골격(skeleton)"이라고 한다. 그러나 팔꿈치에서 손목까지 테이프를 감은 것 같이 팔뚝 형상과, 팔뚝의 여러 위치에서의 단면 윤곽을 기술하는 데이터는 나타나지 않는다.

여기서 개시된 특정 실시예들은 모션 픽쳐에서 표면을 캡처하기 위한 방법, 시스템 및 컴퓨터 프로그램을 제공한다.

일 양상에서, 여기서 개시된 방법은 모션 픽쳐에서 표면을 캡처하는 방법이다. 이 방법은 마킹 재료로 구성된 패턴으로 표면을 덮는 단계; 각 영상 프레임이 상기 표면을 덮는 상기 패턴의 복수의 영상을 포함하는 영상 프레임 계열을 획득하는 단계; 상기 각 영상 프레임에 대해 상기 복수의 영상으로부터 메시 대상체를 도출하는 단계; 상기 프레임 계열을 통해 각 프레임 내의 상기 메시 대상체를 추적하는 단계; 및 상기 추적된 메시 대상체를 이용하여 상기 표면의 특징을 모델링하는 애니메이션 데이터를 생성하는 단계를 포함한다.

일 실시예에서 상기 마킹 재료는 상기 표면과 합치된다. 다른 실시예에서 상기 메시 대상체는 상기 표면을 모델링한다. 다른 실시예에서 상기 애니메이션 데이터는 골격 데이터, FACS 애니메이션 곡선, 및 모양 애니메이션 중 적어도 하나의 형태로 된 라벨이 붙여진 마커 데이터를 포함한다.

다른 양상에서, 배우의 머리의 3-D 모델을 획득하는 단계; 상기 3-D 모델을 2-D 텍스처로 푸는 단계; 상기 2-D 텍스처에서 표현된 배우의 얼굴 특징의 세부사항을 기지의 패턴으로 대체하는 단계; 상기 기지의 패턴을 가진 상기 2-D 텍스터를 가요성 재료에 프린트하는 단계; 상기 가요성 재료를 배우의 얼굴에 부착하는 단계; 각 영상 프레임이 상기 배우의 얼굴을 덮는 상기 기지의 패턴의 복수의 영상을 포함하는 영상 프레임 계열을 획득하는 단계; 및 상기 영상 프레임 계열을 이용하여 상기 배우의 얼굴을 표현하는 메시 대상체를 도출하는 단계를 포함하는 방법이 제공된다.

다른 양상에서 모션 픽쳐에서 표면을 캡처하는 시스템이 개시된다. 이 시스템은 각 영상 프레임이 표면 상에 배치된 패턴의 복수의 동기화된 영상을 포함하는 영상 프레임 계열을 생성하도록 구성된 영상 획득 모듈; 및 상기 영상 프레임 계열을 수신하고, 상기 표면 상에 배치된 상기 패턴에 기초하여 애니메이션 데이터를 생성하도록 구성된 표면 캡처 모듈을 포함한다.

본 발명의 다른 특징 및 이점들은 당업자라면 다음의 상세한 설명과 첨부 도면으로부터 쉽게 알 수 있다.

본 발명의 세부적인 구조와 동작은 첨부도면에 잘 드러나 있다.

도 1은 일 실시예에 따른 모션 캡처 시스템의 블록도.

도 2는 일 실시예에 따른 표면 캡처 방법을 설명하는 플로우차트.

도 3은 일 실시예에 따른 표면 캡처 시스템의 기능 블록도.

도 4는 일 실시예에 따른 표면 캡처 모듈의 기능 블록도.

도 5A는 사용자와 컴퓨터 시스템을 도시한 도.

도 5B는 표면 캡처 시스템을 호스팅하는 예시적인 컴퓨터 시스템의 기능 블록도.

도 6은 가요성 마킹 재료를 이용하는 방법을 설명하는 플로우차트.

종래, 배우나 대상체에 여러 가지 마커가 부착되고 복수의 모션 캡처 카메라가 마커의 움직임을 기록한다. 이 기록된 마커 움직임에 기초하여 배우나 대상체의 모션 모델을 도출하여 모션의 그래픽 표현을 작성하는데 사용한다.

본 발명의 실시예에 따라서 기지의 마킹 재료 패턴을 배우 및/또는 대상체의 표면의 거의 전체에 도포한다. 이 패턴의 영상을 기록하고 디지털화하여 모션 이외에도 배우 및/또는 대상체와 관련한 모양, 텍스처 및 조명 효과를 캡처한다. 이렇게 적용된 기지 및 미지의 패턴을 예컨대 양자 나노점, 야광(형광) 재료, 가시광, 적외선 또는 자외선 잉크, 페인트를 포함하는 재료, 또는 충분한 기지 및 임의의 패턴으로 적용될 수 있는 재료를 이용하여 생성한다.

일 실시예에서 배우의 얼굴, 몸체, 손, 팔다리 등의 모양, 텍스처, 조명 및 움직임을 캡처한다. 다른 실시예에서 캡처 볼륨 내의 세트나 소도구의 모양, 텍스처, 조명 및 움직임을 캡처한다. 또 다른 실시예에서보충적인 야광 마커 방식은 밝고 어두운 프레임 모두에서 텍스처의 캡처를 제공한다. 또는 기지 또는 임의의 야광 마커 재료 패턴과 함께 불연속적인 마커나 눈에 보이는 패턴으로 도포되는 밝은 마커(예컨대 반사성 마커나 활성 조명)가 있을 수 있다.

따라서 기지 및/또는 임의의 패턴을 배우 및/또는 대상체에 도포하고 이들의 움직임을 카메라로 기록함으로써 모션 뿐만 아니라 형상(예컨대, 모양, 텍스처 또는 명암 등)도 캡처할 수 있다. 캡처된 패턴은 기록된 영상 프레임마다 메시 대상체로서 재구성된다.

자동화된 피처 트랙커를 프레임 계열에 대해 도출된 메시 대상체에 적용할 수 있다. 일 실시예에서, 피처 트랙커는 지형 인식, 텍스처 트랙킹, 운동 골격, 및 얼굴 활동 코딩 시스템 (FACS) 클리닝의 조합을 이용하여 연속적이고 일관적으로 라벨이 붙은 포인트 데이터를 발생한다. 더욱이, 포인트 데이터는 캡처된 장면 내의 모든 대상으로부터 최종 출력으로서 골격 데이터, FACS 애니메이션 곡선, 또는 형상 애니메이션으로 분해될 수 있다.

골격 데이터는 캐릭터와 대상체들이 배우를 포함하여 원래의 것들과 동일한 방식으로 움직이도록 캐릭터와 대상체들을 애니메이트한다. "캐릭터-대상체"가 애니메이트되고 나면 "캐릭터-대상체"와 "배우-대상체" 간의 형상 차이가 결정된다. 골격 데이터에는 없으나 프레임 대상체당 메시에는 있는 세부적인 것은 추출되어 캐릭터 모델에 적용된다.

메시 대상체 데이터도 후처리 중에 (옷, 머리 또는 피부 지글링에 대한 것과 같은) 시뮬레이션에 대한 가이드라인으로 변형 정보를 추출하는데 이용될 수 있으며, 골격 데이터가 프레임 대상체당 메시와 밀접하게 매치되게 하는데 이용될 수 있다. 골격 데이터는 마커의 움직임만이 기록되기 때문에 정량화하기 어려우며, 따라서 종래의 모션 픽쳐에서는 원래 대상체의 특성이 없어진다.

캐릭터 텍스처와 조명은 캡처 시에 "배우-대상체"에 대해 기록된 텍스처에 끼워 넣어진 조명과 비교될 수 있다. 광 프로브를 이용하여 조명을 근사화하는데 이용된 것과 유사한 방식을 이용하여 목적하는 음영 또는 조명 특성이 추출되어 캐릭터 텍스처에서 복제된다.

다른 실시예에서 방법은 배우 머리의 3-D 모델을 구하고, 이 3-D 모델을 2-D 텍스처로 풀고, 2-D 텍스처로 표현된 배우 얼굴 특징의 세부 사항을 기지의 패턴으로 대체하고, 기지의 패턴을 가진 2-D 텍스처를 유연성 재료에 프린트하고, 이 유연성 재료를 배우 얼굴에 바르고, 각각이 배우 얼굴을 덮는 기지의 패턴의 복수의 영상을 포함하는 영상 프레임 계열을 획득하고, 이 영상 프레임을 이용하여 배우 얼굴을 나타내는 메시 대상체를 도출하는 것을 포함한다.

도 1은 일 실시예에 따른 모션 캡처 시스템(100)의 블록도이다. 모션 캡처 시스템(100)은 모션 캡처 프로세서(110), 모션 캡처 카메라(120, 122, 124), 사용자 워크스테이션(130), 및 소정의 패턴으로 마커 재료(160)가 덮인 배우의 몸체(140)와 얼굴(150)을 포함한다. 도 1은 10개의 마커만을 보여 주지만 몸체(140)와 얼굴(150)에는 그 이상의 마커가 사용될 수 있다. 모션 캡처 프로세서(110)는 워크스테이션(130)에 유선 또는 무선으로 연결된다. 모션 캡처 프로세서(110)는 통상적으로 워크스테이션(130)으로부터 제어 데이터 패킷을 수신하도록 구성된다.

모션 캡처 프로세서(110)에는 3개의 모션 캡처 카메라(120, 122, 124)가 연결되어 있지만, 일반적으로는 다양한 사용자 및 애니메이션 관련 필요와 요건에 따라서 3개 이상의 모션 캡처 카메라가 사용된다. 모션 캡처 카메라(120, 122, 124)는 마커 재료(160)가 붙여진 배우의 몸체(140)와 얼굴(150)에 초점이 맞추어져 있다. 마커 재료의 배치는 예컨대 배우의 몸체(140), 얼굴(150), 손(170), 팔(172), 다라(174) 및 발(176)을 포함하여 목적하는 모션을 캡처하도록 구성된다.

모션 캡처 카메라(120, 122, 124)는 모션 캡처 프로세서(110)에 의해 마커의 2차원(2-D) 영상을 프레임 별로 캡처하도록 제어된다. 영상은 영상 프레임으로 캡 처되며, 각 영상 프레임은 시간적 계열의 영상 프레임들 하나를 나타낸다. 각 영상 프레임은 복수의 2-D 영상을 포함하며, 각 2-D 영상은 하나의 모션 캡처 카메라(120, 122, 124)에 의해 개별적으로 발생된다. 이렇게 캡처된 2-D 영상은 통상적으로 사용자 워크스테이션(130)에서 실시간으로 저장 및/또는 표시된다.

모션 캡처 프로세서(110)는 2-D 영상을 통합하여(즉, "재구성"하여)3차원(3-D) 마커 데이터의 체적 프레임 계열을 발생한다. 이 체적 프레임 계열은 흔히 "비트(beat)"라고 하며, "샷" 또는 "장면"으로 생각할 수 있다. 종래에는 마커는 이산적인 대상체 또는 시각적 포인트이다. 재구성된 마커 데이터는 복수의 이산적 마커 데이터 포인트를 포함하며, 각 마커 데이터 포인트는 예컨대 배우(140)고 같은 타겟에 연결된 마커의 공간적(즉, 3-D) 위치를 나타낸다. 각 체적 프레임은 타겟의 공간 모델을 나타내는 복수의 마커 데이터 포인트를 포함한다. 모션 캡처 프로세서(110)는 체적 프레임 계열을 검색하고, 트랙킹 기능을 수행하여 각 프레임의 마커 데이터 포인트를 계열 내의 선행 및 후행 프레임의 마커 데이터 포인트과 정확하게 맵핑시킨다.

일례로서, 제1 체적 프레임 내의 각 마커 데이터 포인트는 배우의 몸체(140)에 위치한 하나의 마커에 해당한다. 제1 체적 프레임의 각 마커 데이터 포인트에는 고유 라벨이 할당된다. 그러면 마커 데이터 포인트는 제2 체적 프레임 내의 대응 마커 데이터 포인트와 연관되며, 제1 체적 프레임의 마커 데이터 포인트에 대한 고유 라벨은 제2 체적 프레임의 대응 마커 데이터 포인트에 할당된다. 체적 프레임 계열에 대한 라벨링(즉, 트랙킹)이 완료되면, 제1 체적 프레임의 마커 데이터 포인트는 이 계열을 통해 추적될 수 있으며, 이에 따라서 각 마커 데이터 포인트에 대한 개별 궤도가 발생한다.

이산적인 마커는 통상적으로 딱딱한 대상체의 모션이나 물체 또는 몸체의 부분들의 모션을 캡처하는데 사용된다. 예컨대 전술한 바와 같이 팔꿈치와 손목에 부착된 딱딱한 마커는 팔뚝의 끝부분의 위치를 정한다. 팔뚝이 움직이면 팔꿈치와 손목 마카의 모션이 추적되어 전술한 바와 같이 체적 프레임 계열로 분해된다. 이렇게 하여 팔뚝의 모션은 팔뚬치와 손목 마커에 의해 정해진 끝부분만을 가진 강체(예컨대 막대)로 모델링된다. 그러나 팔뚬치와 손목 마커의 공간 위치의 변화를 분석하여 팔뚝의 병진 운동이 쉽게 분해되지만, 팔뚝의 비틀림 동작은 손목이나 팔꿈치의 움직임없이 비틀림이 행해질 수 있기 때문에 검출하기가 어렵다.

일 실시예에서, 이산적인 마커의 이용과는 대조적으로, 마커 재료가 부착된 표면을 합치되게 덮는 마커 재료가 이용된다. 이 마커 재료는 전술한 바와 같이 이산적 마커와 유사하게 트랙킹할 수 있는 패턴을 더 갖고 있다. 이 패턴은 표면을 덮기때문에, 표면의 거의 전부 또는 일부는 이산적인 포인트와는 달리 추적될 수 있다. 일 실시예에서, 이런 식으로 표시되고 추적되는 표면은 각 체적 프레임에서 메시 대상체로서 재구성되며, 여기서 패턴의 추적가능한 양상이 꼭지점으로 나타내어진다. 따라서 각 체적 프레임은 마킹 재료가 부착된 표면의 모델을 포함하는 꼭지점 시스템을 포함한다. 메시 대상체는 체적 프레임 계열을 통해 추적되어, 예컨대 표면의 여러 가지 공간적 병진, 회전 및 비틀림을 표현하는 가상 애니메이션을 만들어낸다.

일 실시예에서 마킹 재료는 연기 중에 사용된 무대 세트나 소도구와 같은 대상체의 하나 또는 그 이상의 표면에 부착된다. 메시 대상체가 재구성되고, 메시 대상체의 꼭지점은 전술한 바와 같이 동일한 방식으로 체적 프레임 계열을 통해 추적된다.

도 2는 일 실시예에 따른 표면 캡처 방법(200)을 설명하는 플로우차트이다. 이 방법(200)은 블록(210)에서 타겟 대상체의 표면을 패턴화된 마킹 재료로 덮는 단계를 포함한다. 통상적으로 마킹 재료는 이것이 부착된 표면과 합치된다. 이에 따라 대응하는 메시 대상체가 전개될 표면의 여러 양상을 정확하게 표현할 수 있다.

마킹 재료를 표면에 붙이는데는 여러 가지 기술이 이용될 수 있다. 일반적으로 마킹 재료는 표면에 합치된다.

일 실시예에서 마킹 재료는 페인트나 잉크같은 액체 형태이며 애니메이터 또는 아티스트가 선택한 패턴으로 표면에 도포된다. 일례로서 마킹 재료는 배우의 몸체와 얼굴에 도트 시스템으로서 도포되며, 여기서 도트는 몸체나 얼굴의 특정 부위를 식별하는 패턴으로 배치된다. 고유 패턴이 재구성과 마커 추적 중에 쉽게 해석되기 때문에 이어지는 메시 대상체 처리가 상당히 단순화된다. 다른 예로서 마킹 재료는 처리를 단순화하기 위해 여러 가지 몸체 영역(즉, 오른쪽 무릎, 왼쪽 무릎 등)을 식별하는 배우의 몸체 상의 조형 마킹에 도포된다. 더욱이 액체 형태의 마킹 재료는 그 모양이나 연기 중에 생기는 여러 가지 찡그림과 같은 그 물리적 양상을 인식하기 위하여 표면을 덮는데 아주 적합하다.

상기 예를 참조로 설명하면, 배우의 팔뚝은 액체 형태의 마킹 재료에 의해 덮여지고 하나 또는 그 이상의 패턴으로 도포된다. 그런 다음에 패턴을 표현하는 메시 대상체가 가상 공간에서 재구성되어, 배우의 팔뚝 모양 뿐만 아니라 배우의 연기 중에 나온 비틀림 동작도 캡쳐한다.

다른 실시예에서 마킹 재료는 표면에 고착되는 천이나 가요성 테이프를 포함한다. 마킹 재료의 스트립이 만들어져 표면 상의 목적하는 영역에 붙여진다. 마킹 재료는 표면에 바로 붙여져 원하는 패턴을 만들어 낸다. 이와 달리, 마킹 재료는 독특한 그리고/또는 임의적인 모양을 포함하여 여러 가지 모양으로 만들어져 표면에 붙여진다. 다른 실시예에서 천 기재 마킹 재료는 원하는 패턴이 바느질되고, 채색되거나 착색되는 의상으로서 형성된다. 예컨대 배우가 특유의 패턴으로 구성된 꼭 맞고 형상이 합치된 소매를 팔뚝에 착용한다. 여러 날에 여러 번의 세션에 걸친 배우의 연기로부터 획득된 모션 캡처 데이터를 통합하는 것은 각 연기에서 팔뚝 상의 동일 위치에서 동일 패턴의 사용에 고유한 일관성의 정도가 높기 때문에 간단하게 되며 더 효율적으로 된다. 더욱이 꼭 맞는 의상은 배우의 팔뚝의 모양과 합치되기 때문에 그와 같은 의상 상의 패턴은 팔뚝의 정확한 메시 표현을 만들어 낸다.

마킹 재료로 구성된 또는 이에 의해 형성된 패턴은 영상 프레임 내의 배경과 구별되어야 한다.

일 실시예에서 마킹 재료는 조명 여기광보다 파장이 광을 방출하는 특성을 가진 물질인 양자 나노점을 포함한다. 즉, 제1 파장의 여기광은 양자 나노점 마킹 재료를 조명하는데 이용되며, 이에 응답하여 양자 나노점 마킹 재료는 양자 천이를 겪게 되고 제1 파장보다 높은 제2 파장의 광을 방출한다. 조명 여기광은 획득된 영상으로부터 필터링되어, 방출된 광만 따라서 양자 나노점을 이용하여 형성된 패턴의 영상만을 남긴다.

다른 실시예에서 마커 재료는 반사성 재료를 포함한다. 밝은 조명은 연기 중에 재료를 비추고, 따라서 획득된 영상 내의 패턴의 시각적 실재를 강화하며 제구성과 트랙킹을 지원한다.

다른 실시예에서 마커 재료는 "암 마커"라고도 하는 형광성 야광 물질을 포함한다. 암 마커를 이용하여 얻은 영상은 야광 재료만이 보이는 어두운 환경에서 얻어진다. 다른 암 마커 재료로는 IR 조명 하에 사용되는 적외선(IR) 마킹 재료, UV 조명 하에 시용되는 자외선(UV) 마킹 재료가 있다.

또 다른 실시예에서 예컨대 반사성 마킹 재료(광 마커)로 구성된 가시 패턴이 스트로브 라이트와 같이 밝고 어두운 것이 교대하는 조명 조건 하에서 암 마커 재료와 함께 사용된다.

마킹 재료에 붙여진 패턴은 예컨대 영상 획득, 애니메이터/아티스트 선호, 및/또는 애니메이션 제작의 요건에 따라 변한다. 일 실시예에서 패턴은 미리 결정된다. 고유 패턴이 전술한 바와 같이 만들어져, 통상적으로 마커 트랙킹 중에 영역들을 맵핑시키도록 타겟 표면에 붙여진다. 다른 실시예에서 패턴은 실질적으로 랜덤 패턴이다. 미리 정해진 고유 패턴과 유사하게 랜덤 패턴은 이것이 부착된 표면 상의 여러 위치 중에서 그 고유의 특이성을 추적하는 중에 유익하다.

도 2를 참조로 설명하면, 블록(220)에서 마킹 재료의 패턴을 캡처하는 영상 프레임 계열을 획득한다. 전술한 바와 같이 캡처 볼륨에 대해 정밀하게 배치된 복수의 모션 캡처 카메라(120, 122, 124)는 연기 중의 패턴의 영상을 동시에 얻는다. 복수의 카메라에 의한 영상 캡처의 각 동시적인 반복에 따라 영상 프레임이라 불리는 복수의 영상을 발생한다. 영상 프레임 계열은 통상적으로 비트 또는 연기의 지속 기간을 확장한다.

그 다음에 블록(230)에서 영상 프레임에 대해 동시에 얻은 복수의 영상으로부터 각 영상 프레임에 대해 적어도 하나의 메시 대상체가 도출된다. 복수의 대상체 또는 배우가 하나의 연기에 관련될 수 있으므로 이들을 표현하는데 복수의 메시 대상체가 발생된다. 도출된 메시 대상체는 복수의 영상 프레임에 대응하는 체적 프레임 내에 정해진 꼭지점으로 표현된다.

일 실시예에서 마커 재료에 의해 만들어진 패턴은 복수의 미세하게 분산된 마킹을 포함한다. 마킹의 위치는 프레임의 각 영상에서 결정되며, 캡처 볼륨에 대한 모션 캡처 카메라의 공간 배치에 대한 정보와 함께 마킹은 캡처 볼륨 내의 공간 위치로 분해된다. 분해된 각 공간 위치는 마커 데이터 포인트, 더 구체적으로는 패턴이 부착된 표면의 모델을 표현하는 메시 대상체의 꼭지점으로서 생각할 수 있다. 따라서 메시 대상체는 실질적으로 표면의 모양을 캡처한다. 일 실시예에서 메시 대상체는 표면의 텍스처도 캡처한다. 다른 실시예에서 메시 대상체는 영상 프레임이 캡쳐된 때에 표면 상의 조명 효과를 캡처한다. 예컨대 배우의 팔뚝을 싸고 있는 반사성 마커 재료로 만든 패턴은 팔뚝 표면으로의 광선의 입사각에 따라서 조명 점광을 가변적인 량으로 반사시킨다. 따라서 조명광의 반사도는 애니메이션 요건에 따라 활용을 위한 광과 음영 정보를 제공한다.

그 다음, 블록(240)에서 각 체적 프레임에 대응하는 메시 대상체는 체적 프레임 계열을 통해 추적된다. 일 실시예에서 제1 체적 프레임의 메시 대상체의 각 꼭지점은 이 계열의 다른 체적 프레임의 메시 대상체의 대응 꼭지점과 연관된다. 이 프로세스는 각 꼭지점이 체적 프레임 계열을 통해 추적될 수 있을 때까지 반복된다.

블록(250)에서 패턴의 모션 모델을 표현하는 따라서 이 패턴이 부착된 표면도 표현하는 애니메이션 데이터가 발생된다. 애니메이션 모델은 연기 중의 표면의 병진 및 찡그림 움직임이외에도 모양, 텍스처 및 조명 효과를 포함하여 표면의 적어도 한 가지 특징을 포함한다. 애니메이션 데이터는 캐릭터 모델, 보통은 패턴이 부착된 표면에 관련된 디지털 모델에 적용된다. 예컨대 배우의 팔뚝에 부착된 패턴으로부터 도출된 애니메이션 데이터는 애니메이트된 캐릭터의 대응하는 팔뚝 또는 가상적으로는 애니메이션 내의 임의의 다른 대상체를 애니메이트하는데 사용된다. 배우의 얼굴의 움직임으로부터 도출된 애니메이션 데이터에 대해서는, 예컨대 애니메이션 데이터는 배우의 안면 근육 그룹에 대응하는 디지털 안면 모델 상에서 가상 근육 그룹을 트리거하는데 이용되는 FACS 애니메이션 곡선을 포함한다. 일 실시예에서 애니메이션 데이터는 애니메이트된 몸체 또는 팔다리의 모션을 구동하기 위한 골격 데이터를 포함한다. 다른 실시예에서 애니메이션 데이터는 어떤 모양을 애니메이트하는데 이용된 체적 프레임 계열의 메시 대상체 꼭지점(즉, 모양 애니메이션 데이터)과 같은 것들을 포함한다.

도 3은 일 실시예에 따른 표면 캡처 시스템(300)의 기능 블록도이다. 표면 캡처 시스템(300)은 영상 획득 모듈(310)과 표면 캡처 모듈(320)을 포함한다.

영상 획득 모듈(310)은 도 1에 도시된 바와 같이 모션 캡처 카메라(120, 122, 124), 모션 캡처 프로세서(110) 및 사용자 워크스테이션(130)을 포함한다. 영상 획득 모듈(310)은 각각이 예컨대 비트 중에 복수의 모션 캡처 카메라(120, 122, 124)에 의해 동시에 획득된, 배우(140)에 부착된 마킹 재료의 적어도 하나의 패턴의 복수의 2-D 영상을 포함하는 영상 프레임을 발생한다. 영상 획득 모듈(310)에서 발생된 영상 프레임은 통상적으로 비트 중에 기록된 영상 프레임 계열을 포함한다. 이 영상 프레임은 영상 프레임으로부터 도출된 애니메이션 데이터를 발생하는 표면 캡처 모듈(320)에서 수신된다.

도 4는 일 실시예에 따른 표면 캡처 모듈(320)의 기능 블록도이다. 도 4에 도시된 바와 같이 표면 캡처 모듈(320)은 메시 도출 모듈(410)과 트랙킹 모듈(420)을 포함한다. 트랙킹 모듈(420)은 꼭지점 트랙킹 서브유닛(430), 지형 서브유닛(440), 텍스처 트랙킹 서브유닛(450), 운동 골격 서브유닛(460) 및 FACS 클리닝 서브유닛(470)을 포함한다.

메시 도출 모듈(410)은 영상 프레임을 수신하고 이 영상 프레임에 대응하는 체적 프레임에서 정해진 메시 대상체를 발생한다. 통상적으로 각 영상 프레임에 대해 그 영상 프레임에 대해 동시에 획득된 복수의 영상으로부터 적어도 하나의 메시 대상체가 도출된다. 도출된 메시 대상체는 그 영상 프레임에 대응하는 체적 프 레임 내에 정해진 꼭지점으로 표현된다.

마커 재료로 만들어진 패턴은 복수의 미세하게 분산된 마킹을 포함할 수 있다. 이 마킹은 영상 프레임의 각 영상에 위치하며, 캡처 볼륨에 대한 모션 캡처 카메라의 공간 배치에 대한 정보와 함께 마킹은 캡처 볼륨 내의 공간 위치로 분해된다. 분해된 각 공간 위치는 마커 데이터 포인트, 더 구체적으로는 패턴이 부착된 표면의 대응하는 프레임의 모델을 표현하는 메시 대상체의 꼭지점을 나타낸다. 메시 대상체는 실질적으로 표면의 모양을 캡처한다. 일 실시예에서 표면이 충분히 텍스처링된 곳에서 메시 대상체는 표면의 텍스처도 캡처한다. 다른 실시예에서 메시 대상체는 영상 프레임이 캡쳐된 때에 표면 상의 조명 효과를 캡처한다. 예컨대 배우의 팔뚝을 싸고 있는 반사성 마커 재료로 만든 패턴은 팔뚝 표면으로의 광선의 입사각에 따라서 조명 점광을 가변적인 량으로 반사시킨다. 따라서 조명광의 반사도는 애니메이션 요건에 따라 활용을 위한 광과 음영 정보를 제공한다.

각 체적 프레임에 대응하는 메시 대상체는 트랙킹 모듈(420)에서 수신되며 체적 프레임 계열을 통해 추적된다. 일 실시예에서 제1 체적 프레임의 메시 대상체의 각 꼭지점은 이 계열의 다른 프레임의 메시 대상체의 대응 꼭지점과 연관된다. 이 연관은 각 꼭지점이 전체 계열을 통해 추적될 수 있을 때까지 이 계열의 체적 프레임 중에서 반복된다.

지형 서브유닛(440)은 지형 인식 기능을 적용하여 체적 프레임 계열을 통해 메시 대상체의 하나 또는 그 이상의 지형 특징을 추적할 수 있다. 지형 특징을 추적하면 꼭지점 트랙킹 서브유닛(430)의 추적 정확도가 향상되며, 이 추적은 일 실 시예에서 단독의 메시 대상체 트랙킹 기술로서 이용된다.

텍스처 트랙킹 서브유닛(450)은 텍스처 인식 기능을 적용하여 체적 프레임 계열을 통해 메시 대상체에서 표현된 하나 또는 그 이상의 텍스처 특징을 추적할 수 있다. 텍스처 특징을 추적하면 꼭지점 트랙킹 서브유닛(430)의 추적 정확도가 향상되며, 이 추적은 일 실시예에서 단독의 메시 대상체 트랙킹 기술로서 이용된다.

운동 골격 서브유닛(460)은 몸체의 골격 요소의 모션에 여러 가지 제약(즉, "규칙")을 적용할 수 있다. 골격 데이터는 영상 프레임에서 캡처된 마커 재료의 패턴으로부터 도출된다. 예컨대 배우의 팔뚝은 팔꿈치를 손목에 연결하는 막대기나 스틱과 유사한 골격 요소에 의해 모델링된다. 전술한 바와 같이 이 방식은 팔뚝의 병진 운동을 캡처하는데는 효과적이지만 팔뚝의 비틀림과 같은 일그러지는 움직임을 캡처하는데는 불충분하다. 그러나 메시 대상체 추적의 정확도는 팔뚝에 대해 정해진 골격 요소의 움직임을 제약하는 규칙에 따라서 프레임 마다 꼭지점의 연관을 제약함으로써 개선된다. 2개의 프레임 간의 하나 또는 그 이상의 후보 꼭지점 라벨링 할당이 운동 골격 서브유닛(460)에 의해 결정된 팔뚝의 부자연스럽고, 있기 힘든 또는 불가능한 움직임을 기술한다면, 이들 꼭지점 할당은 제약 규칙에 따라서 골격 요소의 "허용가능한" 움직임과 모순이 없는 다른 꼭지점 할당을 위하여 득점이 낮게 된다. 따라서 운동 골격 분석을 적용하면 꼭지점 트랙킹 서브유닛(430)의 추적 정확도가 향상된다.

일반적으로 FACS는 인간의 얼굴 표현을 체계적으로 분류하는 표준 분류를 제 공한다. 이 방식은 예컨대 몸체 움직임에도 마찬가지로 적용될 수 있을 것이다. 여러 가지 얼굴 표현을 나타내는 얼굴 움직임 데이터는 도 1에 도시된 것과 유사한 모션 캡처 시스템을 이용하여 캡처되며, FACS에 따라 분류된다.

일 실시예에서 "FACS 메트릭스"는 핵심 얼굴 표정의 초기 조사를 위한 토대를 구성한다. 배우는 마킹 재료로 구현된 패턴을 얼굴에 붙이고 있으며 일정 범위의 표정을 연기하도록 지시를 받는다. 통상적으로 조명이 면밀히 제어되고 배우의 무관한 움직임은 세세하게 제한되는 작은 캡처 볼륨에서 이상적인 조건 하에서 핵심 얼굴 표정이 캡처된다. 배우는 종종 몸체 움직임을 얼굴 움직임과 분리하기 위하여 동작없이 앉아 있거나 서 있다.

이어서 FACS 매트릭스에서 유지된 핵심 얼굴 표정은 후처리 중에 "얼굴 기본 벡터"처럼 사용된다. 배우의 연기 중에 발생한 입력 얼굴 표정은 핵심 얼굴 표정의 가중 조합을 결정하기 위하여 분석된다. 일 실시예에서 가중 조합에 의해서는 첫번째 패스로 잘 설명되지 않는 부가적인 얼굴 표정을 통합함으로써 후처리 중에 FACS 매트릭스는 향상된다. 이들 얼굴 표정은 새로운 핵심 얼굴 표정으로 부가되어 FACS 매트릭스가 파악하는 얼굴 표정 범위(즉, 얼굴 기본 벡터)를 증가시킴으로써 FACS 매트릭스의 강건성을 향상시킨다.

얼굴 동작 코딩 시스템(FACS) 클리닝 서브유닛(470)은 배우의 얼굴을 나타내는 메시 대상체에 제약 규칙을 적용할 수 있다. 예컨대 얼굴 메시 대상체의 꼭지점들이 분석되어, 소정 규칙에 따라 "허용"되지 않는 움직임이 식별된다. 즉 FACS 매트릭스에 유지된 핵심 얼굴 표정에 의해 정해진 제약에 따라서 꼭지점의 프레임 간 공간 이동(즉, 움직임)이 분석된다. 일 실시예에서 허용된 얼굴 메시 대상체 꼭지점 움직임만이 복귀되고, 따라서 얼굴 메시 대상체 꼭지점(예컨대 바깥에 있는 메시 대상체 꼭지점) 내의 잡음을 제거하는 필터링 효과를 제공한다. 클리닝은 배우의 연기 중에 얼굴 메시 대상체 꼭지점이 보이지 않게 된 경우에(예컨대 얼굴 상의 마킹 재료의 패턴이 소도구에 의해 가려져 보이지 않는 경우에) 이 얼굴 메시 대상체 꼭지점이 점유해야 하는 공간 위치를 결정하는 것을 포함한다. 그러면 FACS 클리닝은 얼굴 메시 대상체 꼭지점 궤도 내의 갭을 FACS 매트릭스에 유지된 핵심 얼굴 표정에 합치되는 꼭지점으로 채운다. 따라서 갭이 없고, 정확하게 라벨이 붙은 무잡음 메시 대상체 꼭지점이 생성된다.

트랙킹 모듈(420)은 패턴의 모션 모델을 표현하는, 따라서 이 패턴이 부착된 표면도 표현하는 애니메이션 데이터를 발생한다. 애니메이션 모델은 연기 중의 표면의 병진 및 찡그림 움직임이외에도 모양, 텍스처 및 조명 효과를 포함하여 표면의 적어도 한 가지 특징을 포함한다. 애니메이션 데이터는 캐릭터 모델, 보통은 패턴이 부착된 표면의 디지털 모델에 적용된다. 예컨대 배우의 팔(172)에 부착된 패턴으로부터 도출된 애니메이션 데이터는 애니메이트된 캐릭터 또는 대상체의 대응하는 팔(또는 어떤 다른 팔다리)을 애니메이트하는데 사용된다. 배우의 얼굴(150)의 움직임으로부터 애니메이션 데이터가 도출된 경우에는, 애니메이션 데이터는 배우의 얼굴(150)의 안면 근육 그룹에 대응하는 디지털 안면 모델 상에서 가상 근육 그룹을 트리거하는데 이용된다.

도 5A는 컴퓨터 시스템(500)과 사용자(502)을 보여준다. 사용자(502)는 컴 퓨터 시스템(500)을 이용하여 표면 캡처를 수행한다. 컴퓨터 시스템(500)은 영상 프레임 데이터를 처리하는 표면 캡처 시스템(590)을 저장하고 실행한다.

도 5B는 표면 캡처 시스템(590)을 호스팅하는 컴퓨터 시스템(500)의 기능 블록도이다. 제어부(510)는 프로그램가능한 프로세서로서 컴퓨터 시스템(500)의 동작과 그 구성요소를 제어한다. 제어부(510)는 메모리(520) 또는 내장된 제어부 메모리(미도시)로부터 (예컨대 컴퓨터 프로그램 형태의) 명령을 로드하여 이 명령을 실행하여 시스템을 제어한다. 제어부(510)는 그 실행 시에 표면 캡처 시스템(590)을 소프트웨어 시스템으로서 제공한다. 대안으로서 이 서비스는 제어부(510) 또는 컴퓨터 시스템(500) 내의 별도의 구성요소로서 구현될 수 있다.

메모리(520)는 컴퓨터 시스템(500)의 여러 가지 구성요소가 이용하는 데이터를 임시로 저장한다. 일 실시예에서 메모리(520)는 RAM으로 구현된다. 일 실시예에서 메모리(520)는 플래시 메모리 및/또는 ROM과 같은 장기 또는 영구 메모리를 포함한다.

저장부(530)는 표면 캡처 시스템(590)이 이용하는 데이터를 저장하는 것과 같이 컴퓨터 시스템(500)의 여러 가지 구성요소가 이용하는 데이터를 임시로 또는 장기간 저장한다. 일 실시예에서 저장부(530)는 하드 디스크 드라이브이다.

미디어 장치(540)는 착탈식 미디어를 수용하고 삽입된 미디어에 대해 데이터를 독출 및/또는 기록한다. 일 실시예에서 예컨대 미디어 장치(540)는 광디스크 드라이브이다.

사용자 인터페이스(550)는 컴퓨터 시스템(500)의 사용자로부터 사용자 입력 을 받아들여 사용자에게 정보를 제공하기 위한 구성요소를 포함한다. 일 실시예에서 사용자 인터페이스(550)는 키보드, 마우스, 오디오 스피커, 및 디스플레이를 포함한다. 제어부(510)는 사용자로부터의 입력을 이용하여 컴퓨터 시스템(500)의 동작을 조정한다.

I/O 인터페이스(560)는 외부 저장 장치나 보충적인 장치(예컨대 프린터나 PDA)와 같은 대응하는 I/O 장치에 연결되는 하나 또는 그 이상의 I/O 포트를 포함한다. 일 실시예에서 I/O 인터페이스(560)의 포트는 USB 포트, PCMCIA 포트, 직렬 포트, 및/또는 병렬 포트와 같은 포트를 포함한다. 다른 실시예에서 I/O 인터페이스(560)는 외부 장치와의 무선 통신을 위한 무선 인터페이스를 포함한다.

네트워크 인터페이스(570)는 이더넷 접속을 지원하는 (802.11을 포함하는(이에 한정되지 않음)) RJ-45나 "Wi-Fi" 인터페이스와 같은 유선 및/또는 무선 네트워크 접속부를 포함한다.

컴퓨터 시스템(500)은 컴퓨터 시스템을 표상하는 추가적인 하드웨어와 소프트웨어(예컨대, 전력, 냉각, 운영 시스템)를 포함한다. 이들 구성요소는 간단화를 위해 도 5B에는 구체적으로 도시하지 않는다. 다른 실시예에서 컴퓨터 시스템의 다른 구성(예컨대 다른 버스 또는 저장 장치 구성 또는 멀티프로세서 구성)이 사용될 수 있다.

도 6은 가요성 마킹 재료(600)를 전개 이용하여 애니메이션 데이터를 발생하는 방법을 설명하는 플로우차트이다. 일 실시예에서 이 방법은 기지 및/또는 식별가능한 임의의 패턴이 프린트된 임시적인 문신을 이용한다. 먼저 단계(610)에서 배우 머리의 3-D 모델을 얻는다. 이 모델은 예컨대 레이저 스캐닝을 이용하여 텍스처 맵을 생성하여 얻을 수 있다. 다음, 단계(620)에서 레이저 스캔에 의해 생성된 얼굴 텍스터를 푸는 것과 같이 이렇게 얻어진 3-D 모델을 2-D 형태로 푼다. 단계(630)에서 배우의 얼굴 특징의 세부 사항은 적어도 하나의 기지 패턴으로 2-D 형태(예컨대 텍스처 맵)로 대체된다. 다른 실시예에서 기지의 패턴을 가진 프린트된 그리드가 포함된다. 그리드는 1차 마커 패턴으로서 기능하며, 기지의 패턴은 그리드 꼭지점에 라벨을 붙이기 쉽도록 하는 2차 마커 패턴으로서 기능한다. 즉 그리드는 타겟 표면의 정확한 디지털 모델(즉, 메시 대상체)을 용이하게 하기 위해 양호하게 균일하다. 그러나 그리드의 본질적인 균일성때문에 그리드 꼭지점이 개별적으로는 식별하기 어렵기 때문에 추적하기 어렵다. 그리드 상에 붙여진 기지의 마커 패턴은 2차 기준으로 이용되어 (1차) 그리드 꼭지점을 분해하는 것을 지원할 수 있다.

그 다음, 단계(640)에서 기지 패턴을 가진 2-D 텍스처 맵은 가요성 재료에 프린트된다. 일 실시예에서 가요성 재료는 임시적인 문신지를 포함한다. 일반적으로는 어떠한 가요성 및/또는 투명성 재료라도 충분할 것이다. 단계(650)에서, 패턴이 프린트된 가요성 재료(예컨대 임시적인 문신지)가 배우의 얼굴에 부착된다. 어떤 장면에서 연기하는 각 배우는 통상적으로는 고유 패턴을 받는다.

다른 실시예에서 배우의 얼굴의 움직임이 임시적인 문신 때문에 지나치게 제약을 받는다면 이 얼굴 문신은 더 작은 부분들로 나누어서 개별적인 문신으로서 부착될 수 있다.

단계(660)에서, 도 1을 참조로 전술한 모션 캡처 방법과 시스템에 따라서 영상 프레임 계열을 얻는다. 캡처되고 나면, 단계(670)에서, 영상 데이터를 이용하여 마커가 붙여진 배우나 대상체를 표현하는 하나 또는 그 이상의 메시 대상체(즉, 3-D 모델)를 재구성한다.

일 실시예에서 임시적인 문신에는 야광 잉크가 프린트될 수 있다. 그러면 셔터가 달린 명암 카메라를 이용하는 모션 캡처 방식을 이용하여 문신 상의 패턴을 기록할 수 있다. 다른 실시예에서 자와선 또는 적외선 광 또는 역반사성 재료를 이용하는 마커가 이용될 수 있다.

지금까지 본 발명의 각종 예시적인 실시예들에 대해 설명하였다. 그러나 당업자라면 본 발명의 범위 내에서 다른 추가적인 실시예도 가능함을 잘 알 것이다. 예컨대 표면 캡처 시스템에서 다루는 조명 정보는 일반적으로 메시 대상체와 관련되는 것으로 설명하였지만, 조명 정보는, 메시 대상체가 기록 시에 기록되었던 텍스터를 포함하므로 이 메시 대상체로부터 추출될 수도 있다. 일 실시예에서 텍스처는 프레임 단위로 프레임 대상체당 메시에 둘러싸여진다.

모듈이나 블록 내에서 기능들을 분류한 것은 설명을 쉽게하기 위한 것임을 잘 알 것이다. 특정 기능은 본 발명으로부터 벗어남이 없이 모듈 또는 블록 간에 이동될 수 있다.

따라서 본 발명은 전술한 실시예들에만 한정되는 것은 아니다.

Claims

마킹 재료로 구성된 패턴으로 표면을 덮는 단계;

상기 표면을 덮는 상기 패턴의 복수의 영상을 각각 포함하는 영상 프레임 계열을 획득하는 단계;

상기 각 영상 프레임에 대해 상기 복수의 영상으로부터 메시 대상체를 도출하는 단계;

상기 프레임 계열을 통해 각 프레임 내의 상기 메시 대상체를 추적하는 단계; 및

상기 추적된 메시 대상체를 이용하여 상기 표면의 특징을 모델링하는 애니메이션 데이터를 생성하는 단계

를 포함하는 방법.
제1항에 있어서,

상기 마킹 재료는 상기 표면과 합치되는 방법.
제1항에 있어서,

상기 메시 대상체는 상기 표면을 모델링하는 방법.
제1항에 있어서,

상기 메시 대상체는 복수의 꼭지점에 의해 정해지는 방법.
제4항에 있어서,

상기 메시 대상체 추적 단계는 상기 복수의 꼭지점들 중에서 적어도 하나의 꼭지점을 추적하는 단계를 포함하는 방법.
제1항에 있어서,

상기 애니메이션 데이터는 골격 데이터, FACS 애니메이션 곡선, 및 모양 애니메이션 중 적어도 하나의 형태로 된 라벨이 붙여진 마커 데이터를 포함하는 방법.
제1항에 있어서,

상기 표면은 사람의 표면을 포함하는 방법.
제1항에 있어서,

상기 패턴은 미리 정해진 패턴을 포함하는 방법.
제1항에 있어서,

상기 패턴은 임의의 패턴을 포함하는 방법.
표면 상에 배치된 패턴의 복수의 동기화된 영상을 각각 포함하는 영상 프레임 계열을 생성하도록 구성된 영상 획득 모듈; 및

상기 영상 프레임 계열을 수신하고, 상기 표면 상에 배치된 상기 패턴에 기초하여 애니메이션 데이터를 생성하도록 구성된 표면 캡처 모듈

을 포함하는 시스템.
제10항에 있어서,

상기 표면 캡처 모듈은,

상기 영상 프레임 계열을 수신하여 적어도 하나의 메시 대상체 계열을 생성하도록 구성된 메시 도출 모듈; 및

상기 적어도 하나의 메시 대상체 계열을 수신하여, 추적 정보로부터 에니메이션 데이터를 생성하도록 구성된 트랙킹 모듈

을 포함하는 시스템.
제11항에 있어서,

상기 적어도 하나의 메시 대상체 계열은 상기 영상 프레임 계열의 각 영상 프레임에 대해 생성된 메시 대상체를 포함하는 시스템.
제12항에 있어서,

각 영상 프레임에 대해 생성된 상기 메시 대상체는 복수의 꼭지점으로 정해 진 시스템.
제13항에 있어서,

상기 트랙킹 모듈은 상기 적어도 하나의 메시 대상체 계열을 통해 하나의 메시 대상체를 정하는 상기 복수의 꼭지점들 중 적어도 하나의 꼭지점을 추적함으로써 상기 추적 정보를 생성하도록 구성된 꼭지점 트랙킹 서브유닛을 포함하는 시스템.
제13항에 있어서,

상기 트랙킹 모듈은 소정의 제약에 따라서 상기 복수의 꼭지점들 중 적어도 하나의 꼭지점의 공간적 이동을 분석하도록 구성된 얼굴 동작 코딩 시스템(FACS) 클리닝 서브유닛을 포함하는 시스템.
제12항에 있어서,

상기 트랙킹 모듈은 하나의 메시 대상체의 적어도 하나의 지형 특징을 인식하고 상기 지형 특성을 상기 적어도 하나의 메시 대상체 계열을 통해 추적함으로써 상기 추적 정보를 생성하도록 구성된 지형 서브유닛을 포함하는 시스템.
제12항에 있어서,

상기 트랙킹 모듈은 하나의 메시 대상체의 텍스처 특징을 상기 적어도 하나 의 메시 대상체 계열을 통해 추적함으로써 상기 추적 정보를 생성하도록 구성된 텍스처 트랙킹 서브유닛을 포함하는 시스템.
제11항에 있어서,

상기 트랙킹 모듈은 골격 모델 정보에 기초하여 추적 규칙을 생성하도록 구성된 운동 골격 서브유닛을 포함하는 시스템.
컴퓨터 판독 저장 매체에 저장되며, 컴퓨터가,

표면을 덮는 패턴의 복수의 영상을 각각 포함하는 영상 프레임 계열을 획득하게 하고;

상기 각 영상 프레임에 대해 상기 복수의 영상으로부터 메시 대상체를 도출하게 하고;

상기 프레임 계열을 통해 각 프레임 내의 상기 메시 대상체를 추적하게 하고; 그리고

상기 추적된 메시 대상체를 이용하여 상기 표면의 특징을 모델링하는 애니메이션 데이터를 생성하게 하는

실행 명령어를 포함하는 컴퓨터 프로그램.
제19항에 있어서,

상기 메시 대상체는 복수의 꼭지점으로 정해지고, 컴퓨터가 상기 메시 대상 체를 추적하게 하는 상기 실행 명령어는 컴퓨터가 상기 복수의 꼭지점들 중 적어도 하나의 꼭지점을 추적하게 하는 실행 명령어를 포함하는 컴퓨터 프로그램.
제19항에 있어서,

컴퓨터가 상기 메시 대상체를 추적하게 하는 실행 명령어는 컴퓨터가 상기 메시 대상체의 지형 특징을 인식하게 하는 실행 명령어를 포함하는 컴퓨터 프로그램.
배우의 머리의 3-D 모델을 획득하는 단계;

상기 3-D 모델을 2-D 텍스처로 푸는 단계;

상기 2-D 텍스처에서 표현된 배우의 얼굴 특징의 세부사항을 기지의 패턴으로 대체하는 단계;

상기 기지의 패턴을 가진 상기 2-D 텍스터를 가요성 재료에 프린트하는 단계;

상기 가요성 재료를 배우의 얼굴에 부착하는 단계;

상기 배우의 얼굴을 덮는 상기 기지의 패턴의 복수의 영상을 각각 포함하는 영상 프레임 계열을 획득하는 단계; 및

상기 영상 프레임 계열로부터 상기 배우의 얼굴을 표현하는 메시 대상체를 도출하는 단계

를 포함하는 방법.
제22항에 있어서,

상기 가요성 재료는 임시적인 문신지를 포함하는 방법.
제22항에 있어서,

상기 가요성 재료는 투명 재료를 포함하는 방법.
제22항에 있어서,

상기 배우의 머리의 3-D 모델을 획득하는 단계는 상기 배우의 머리의 레이저 스캔을 수행하는 단계를 포함하는 방법.