KR101342257B1 - 모션 픽쳐에서의 표면을 캡처하는 방법 및 시스템, 컴퓨터 프로그램이 기록된 컴퓨터 판독가능 기록 매체 - Google Patents

모션 픽쳐에서의 표면을 캡처하는 방법 및 시스템, 컴퓨터 프로그램이 기록된 컴퓨터 판독가능 기록 매체 Download PDF

Info

Publication number
KR101342257B1
KR101342257B1 KR1020127028749A KR20127028749A KR101342257B1 KR 101342257 B1 KR101342257 B1 KR 101342257B1 KR 1020127028749 A KR1020127028749 A KR 1020127028749A KR 20127028749 A KR20127028749 A KR 20127028749A KR 101342257 B1 KR101342257 B1 KR 101342257B1
Authority
KR
South Korea
Prior art keywords
tracking
sequence
mesh object
pattern
mesh
Prior art date
Application number
KR1020127028749A
Other languages
English (en)
Other versions
KR20120135922A (ko
Inventor
데미안 고르돈
Original Assignee
소니 픽쳐스 엔터테인먼트, 인크.
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 픽쳐스 엔터테인먼트, 인크., 소니 주식회사 filed Critical 소니 픽쳐스 엔터테인먼트, 인크.
Publication of KR20120135922A publication Critical patent/KR20120135922A/ko
Application granted granted Critical
Publication of KR101342257B1 publication Critical patent/KR101342257B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/40—Circuit details for pick-up tubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

모션 픽쳐에서 표면을 캡처하는 방법은, 상기 표면을 덮는 상기 패턴의 복수의 영상을 각각 포함하는 영상 프레임의 시퀀스를 획득하는 단계, 상기 각 영상 프레임에 대해 상기 복수의 영상으로부터 메시 대상체를 도출하는 단계, 상기 프레임의 시퀀스에 걸쳐 각 프레임 내의 메시 대상체를 추적하는 단계 및 상기 추적된 메시 대상체를 이용하여 상기 표면의 특징을 모델링하는 애니메이션 데이터를 생성하는 단계를 포함한다.

Description

모션 픽쳐에서의 표면을 캡처하는 방법 및 시스템, 컴퓨터 프로그램이 기록된 컴퓨터 판독가능 기록 매체{CAPTURING SURFACE IN MOTION PICTURE}
관련 출원의 상호 인용
본 출원은 출원 계속 중인 미국 가출원 제60/856,199호(출원일: 2006년 11월 1일, 발명의 명칭: "모션 픽쳐에서의 표면 캡처링")의 35 U.S.C.§119에 따른 우선권의 이익을 주장한다. 이 출원의 내용은 본 명세서에 인용으로서 포함된다.
본 출원은 본 출원인에게 양도된 미국특허 제7,068,277호(출원일: 2003년 5월 23일, 발명의 명칭: "디지털 얼굴 모델을 애니메이팅하기 위한 시스템 및 방법"); 미국 특허출원 제10/427,114호(출원일: 2003년 5월 1일, 발명의 명칭: "얼굴 및 몸체 모션을 캡처하기 위한 시스템 및 방법"); 미국 특허출원 제11/467,503호(출원일: 2006년 8월 25일, 발명의 명칭: "모션 캡처에 이용된 라벨링"); 및 미국 특허출원 제11/829,711호(출원일: 2007년 7월 27일, 발명의 명칭: "모션 캡처에서의 FACS 클리닝")의 내용을 인용으로서 더 포함한다.
본 발명은 일반적으로 모션 캡처에 관한 것으로, 특히 모션 마커 데이터(motion marker data)를 이용하여 표면을 캡처링하는 것에 관한 것이다.
모션 캡처 시스템은 실제 대상의 움직임을 캡처하여 이를 애니메이션화하는 방식으로서 컴퓨터 생성 대상에 맵핑하는데 사용된다. 이 시스템은 컴퓨터 그래픽(CG) 애니메이션을 제작하는데 있어 소스 데이터로서 이용되는 대상물이나 사람의 디지털 표현을 작성하기 위한 모션 픽쳐와 비디오 게임을 생성하는데 자주 이용된다. 통상적인 시스템에서, 배우는 여러 군데에 마커(marker)(예컨대 몸체나 팔다리에 부착된 작은 반사성 마커)가 부착된 의상을 입고 있다. 그러면 적당한 곳에 위치한 디지털 카메라들이 마커에 조명이 비추어지는 동안에 캡처 볼륨 내의 배우의 몸체 움직임을 다양한 각도로부터 기록한다. 이 시스템은 후에 영상을 분석하여 각 프레임에서 배우의 의상상의 마커들의 위치(예컨대 공간 좌표)와 배향을 결정한다. 시스템은 마커 위치를 추적하여 시간의 경과에 따른 마커의 공간적 표현을 작성하고, 움직이고 있는 배우의 디지털 표현을 만들어 낸다. 그 다음, 이러한 모션은 가상 공간에서 디지털 모델에 적용되고, 텍스처링 및 렌더링되어, 배우 및/또는 연기(performance)의 완전한 CG 표현을 작성할 수 있다. 특수 효과를 제작 판매하는 회사들은 이 기법을 사용하여 많은 인기 있는 영화에서 진짜같은 애니메이션을 제작해 왔다.
그러나 모션 캡처 시스템에는 여러 가지 제약이 있다. 특히 모션 캡처 세션 중에 발생된 데이터는 배우의 몸체의 팔다리와 같이 단단한 부위의 움직임을 캡처한 것이다. 예컨대 배우의 팔뚝에 부착된 마커는 손과 상박(upper arm)에 연결된 단단한 부위인 팔뚝의 모션을 기술하는 데이터를 전개하는데 이용된다. 그러므로 이 데이터가 처리되고 나면 이러한 모션은 막대기나 봉의 움직임과 비슷하다. 그러므로 이들 데이터는 때로는 배우의 "골격(skeleton)"이라고 한다. 그러나 팔꿈치에서 손목까지 테이프를 감은 것 같은 팔뚝 형상과, 팔뚝의 여러 위치에서의 단면 윤곽을 기술하는 데이터는 누락되어 있다.
여기서 개시된 특정 실시예들은 모션 픽쳐에서 표면을 캡처하기 위한 방법, 시스템 및 컴퓨터 프로그램을 제공한다.
일 양상에서, 여기서 개시된 방법은 모션 픽쳐에서 표면을 캡처하는 방법을 제공한다. 이 방법은 마킹 재료로 구성된 패턴으로 표면을 덮는 단계; 상기 표면을 덮는 상기 패턴의 복수의 영상을 각각이 포함하는 영상 프레임의 시퀀스(sequence)를 획득하는 단계; 상기 각 영상 프레임에 대해 상기 복수의 영상으로부터 메시 대상체를 도출하는 단계; 상기 프레임 시퀀스에 걸쳐 각 프레임 내의 상기 메시 대상체를 추적하는 단계; 및 상기 추적된 메시 대상체를 이용하여 상기 표면의 특징을 모델링하는 애니메이션 데이터를 생성하는 단계를 포함한다.
일 실시예에서, 상기 마킹 재료는 상기 표면에 정합된다. 다른 실시예에서, 상기 메시 대상체(mesh object)는 상기 표면을 모델링한다. 다른 실시예에서, 상기 애니메이션 데이터는 골격 데이터, FACS 애니메이션 곡선, 및 형상 애니메이션 중 적어도 하나의 형태로 된 라벨이 붙여진 마커 데이터를 포함한다.
다른 양상에서, 방법은, 배우의 머리의 3-D 모델을 획득하는 단계; 상기 3-D 모델을 2-D 텍스처로 푸는(unwrap) 단계; 상기 2-D 텍스처로 표현된 배우의 얼굴 특징의 세부사항을 기지의 패턴으로 대체하는 단계; 상기 기지의 패턴을 갖는 상기 2-D 텍스처를 가요성 재료에 프린트하는 단계; 상기 가요성 재료를 배우의 얼굴에 부착하는 단계; 각각이 상기 배우의 얼굴을 덮는 상기 기지의 패턴의 복수의 영상을 포함하는 영상 프레임의 시퀀스를 획득하는 단계; 및 상기 영상 프레임을 이용하여 상기 배우의 얼굴을 표현하는 메시 대상체를 도출하는 단계를 포함한다.
다른 양상에서, 모션 픽쳐에서 표면을 캡처하는 시스템이 개시된다. 이 시스템은, 각각이 표면 상에 배치된 패턴의 복수의 동기화된 영상을 포함하는 영상 프레임의 시퀀스를 생성하도록 구성된 영상 획득 모듈; 및 상기 영상 프레임의 시퀀스를 수신하고, 상기 표면 상에 배치된 상기 패턴에 기초하여 애니메이션 데이터를 생성하도록 구성된 표면 캡처 모듈을 포함한다.
본 발명의 다른 특징 및 이점들은 당업자라면 다음의 상세한 설명과 첨부 도면을 살펴본 후 쉽게 알 수 있을 것이다.
본 발명의 구조와 동작에 관한 세부 사항은 첨부 도면을 살펴봄으로써 부분적으로 알 수 있다.
도 1은 일 실시예에 따른 모션 캡처 시스템의 블록도.
도 2는 일 실시예에 따른 표면 캡처 방법을 설명하는 플로우차트.
도 3은 일 실시예에 따른 표면 캡처 시스템의 기능 블록도.
도 4는 일 실시예에 따른 표면 캡처 모듈의 기능 블록도.
도 5a는 사용자와 컴퓨터 시스템을 도시한 도.
도 5b는 표면 캡처 시스템을 호스팅하는 예시적인 컴퓨터 시스템의 기능 블록도.
도 6은 가요성 마킹 재료를 이용하는 방법을 설명하는 플로우차트.
종래, 배우나 대상체에 이산적인 마커가 부착되고 복수의 모션 캡처 카메라가 마커의 움직임을 기록한다. 이 기록된 마커 움직임에 기초하여 배우나 대상체의 모션 모델을 도출하여 모션의 그래픽 표현을 작성하는데 사용한다.
본 발명의 실시예에 따라서 기지의 마킹 재료 패턴을 배우 및/또는 대상체의 표면의 거의 전체에 붙인다. 이 패턴의 영상을 기록하고 디지털화함으로써 모션 이외에도 배우 및/또는 대상체와 관련된 형상, 텍스처 및 조명 효과를 캡처한다. 이렇게 적용된 기지 및 미지의 패턴을, 예컨대, 양자 나노점, 야광(형광) 재료, 가상적으로 모든 가시광, 적외선 또는 자외선 잉크, 페인트를 포함하는 재료, 또는 충분히 기지이거나 또는 임의인 패턴에서 적용될 수 있는 재료를 이용하여 생성한다.
일 실시예에서, 배우의 얼굴, 몸체, 손, 팔다리 등의 형상, 텍스처, 조명 및 움직임을 캡처한다. 다른 실시예에서는, 캡처 볼륨 내의 세트나 소도구의 형상, 텍스처, 조명 및 움직임을 캡처한다. 또 다른 실시예에서는, 보충적인 라이트-다크(light-dark) 마커 방식이 밝고 어두운 프레임 모두에서 텍스처의 캡처를 제공한다. 또는 기지 또는 임의의 야광 마커 재료 패턴과 함께 이산적인 마커나 눈에 보이는 패턴으로서 붙여지는 밝은 마커(예컨대 반사성 마커나 활성 광)가 있을 수 있다.
따라서, 기지 및/또는 임의의 패턴을 배우 및/또는 대상체에 붙이고 이들의 움직임을 카메라로 기록함으로써, 모션 뿐만 아니라 기하학적인 구조(예컨대, 형상, 텍스처 또는 조명 등)도 캡처할 수 있다. 캡처된 패턴은 기록된 영상 프레임마다 메시 대상체로서 재구성된다.
프레임의 시퀀스에 대해 도출된 메시 대상체에 자동화된 피처 트랙커(automated feature tracker)를 적용할 수 있다. 일 실시예에서, 피처 트랙커는 지형 인식, 텍스처 트랙킹, 운동 골격, 및 얼굴 동작 코딩 시스템 (face action coding system: FACS) 클리닝의 조합을 이용하여 연속적이고 일관적으로 라벨이 붙은 포인트 데이터를 발생시킨다. 더욱이, 포인트 데이터는 캡처된 장면 내의 모든 대상으로부터 최종 출력으로서 골격 데이터, FACS 애니메이션 곡선, 또는 형상 애니메이션으로 결정(resolve)될 수 있다.
골격 데이터는 캐릭터와 대상체들이 배우를 포함하여 원래의 것들과 동일한 방식으로 움직이도록 캐릭터와 대상체들을 애니메이션화한다. "캐릭터-대상체"가 애니메이션화되고 나면 "캐릭터-대상체"와 "배우-대상체" 간의 형상의 차이가 결정된다. 골격 데이터에는 없으나 프레임 대상체마다의 메시에는 있는 세부적인 사항이 추출되어 캐릭터 모델에 적용된다.
메시 대상체 데이터도 후처리 중에 (옷, 머리 또는 피부 지글링(skin jiggling)에 대한 것과 같은) 시뮬레이션에 대한 가이드라인으로서 변형 정보를 추출하는데 이용될 수 있으며, 골격 데이터가 프레임 대상체마다의 메시와 밀접하게 일치되게 하는 것을 확실하게 하기 위해 이용될 수 있다. 골격 데이터는 마커의 움직임만이 기록되기 때문에 정량화하기 어려우며, 따라서 종래의 모션 픽쳐에서는 원래 대상체의 특성이 없어진다.
캐릭터 텍스처와 조명은 캡처 시에 "배우-대상체"에 대해 기록된 텍스처에 내장된 조명과 비교될 수 있다. 광 프로브를 이용하여 조명을 근사화하는데 이용된 것과 유사한 방식을 이용함으로써, 목적으로 하는 음영 또는 조명 특성이 추출되어 캐릭터 텍스처 및 조명에서 복제된다.
다른 실시예에서, 방법은 배우 머리의 3-D 모델을 구하고, 이 3-D 모델을 2-D 텍스처로 풀고, 2-D 텍스처로 표현된 배우 얼굴 특징의 세부 사항을 기지의 패턴으로 대체하고, 기지의 패턴을 갖는 2-D 텍스처를 가요성 재료에 프린트하고, 이 가요성 재료를 배우 얼굴에 부착하고, 각각이 배우 얼굴을 덮는 기지의 패턴의 복수의 영상을 포함하는 영상 프레임의 시퀀스를 획득하고, 이 영상 프레임을 이용하여 배우 얼굴을 표현하는 메시 대상체를 도출하는 것을 포함한다.
도 1은 일 실시예에 따른 모션 캡처 시스템(100)의 블록도이다. 모션 캡처 시스템(100)은 모션 캡처 프로세서(110), 모션 캡처 카메라(120, 122, 124), 사용자 워크스테이션(130), 및 소정의 패턴으로 마커 재료(160)가 덮인 배우의 몸체(140)와 얼굴(150)을 포함한다. 도 1은 10개의 마커만을 보여 주지만, 몸체(140)와 얼굴(150)에는 통상 그 이상의 마커가 사용될 수 있다. 모션 캡처 프로세서(110)는 워크스테이션(130)에 유선 또는 무선으로 연결된다. 모션 캡처 프로세서(110)는 통상적으로 워크스테이션(130)으로부터 제어 데이터 패킷을 수신하도록 구성된다.
모션 캡처 프로세서(110)에는 3개의 모션 캡처 카메라(120, 122, 124)가 연결되어 있지만, 일반적으로는 다양한 사용자 및 애니메이션 관련 필요와 요건에 따라서 3개보다 많은 모션 캡처 카메라가 사용된다. 모션 캡처 카메라(120, 122, 124)는 마커 재료(160)가 붙여진 배우의 몸체(140)와 얼굴(150)에 초점이 맞추어져 있다. 마커 재료의 배치는 예컨대 배우의 몸체(140), 얼굴(150), 손(170), 팔(172), 다리(174) 및 발(176)을 포함하여 목적하는 모션을 캡처하도록 구성된다.
모션 캡처 카메라(120, 122, 124)는 모션 캡처 프로세서(110)에 의해 마커의 2차원(2-D) 영상을 프레임 별로 캡처하도록 제어된다. 영상은 영상 프레임으로 캡처되며, 각 영상 프레임은 영상 프레임들의 시간적 시퀀스 중 하나를 나타낸다. 각 영상 프레임은 복수의 2-D 영상을 포함하며, 각 2-D 영상은 하나의 모션 캡처 카메라(120, 122, 124)에 의해 개별적으로 생성된다. 이렇게 캡처된 2-D 영상은 통상적으로 사용자 워크스테이션(130)에서 실시간으로 저장 및/또는 표시된다.
모션 캡처 프로세서(110)는 2-D 영상을 통합하여(즉, "재구성"하여) 3차원(3-D) 마커 데이터의 입체적 프레임 시퀀스를 생성한다. 이 입체적 프레임 시퀀스는 흔히 "비트(beat)"라고 하며, "샷(shot)" 또는 "씬(scene)"으로 생각할 수 있다. 종래에는 마커는 이산적인 대상체 또는 시각적 포인트이다. 재구성된 마커 데이터는 복수의 이산적 마커 데이터 포인트를 포함하며, 각 마커 데이터 포인트는 예컨대 배우(140)와 같은 타겟에 연결된 마커의 공간적(즉, 3-D) 위치를 나타낸다. 각 입체적 프레임은 타겟의 공간 모델을 나타내는 복수의 마커 데이터 포인트를 포함한다. 모션 캡처 프로세서(110)는 입체적 프레임 시퀀스를 검색하고, 트랙킹 기능을 수행하여, 각 프레임의 마커 데이터 포인트를 시퀀스 내의 각 선행 및 후행 프레임의 마커 데이터 포인트와 정확하게 맵핑시킨다.
일례로서, 제1 입체적 프레임 내의 각 마커 데이터 포인트는 배우의 몸체(140)에 위치한 하나의 마커에 해당한다. 제1 입체적 프레임의 이러한 각 마커 데이터 포인트에는 고유 라벨이 할당된다. 그러면 마커 데이터 포인트는 제2 입체적 프레임 내의 대응 마커 데이터 포인트와 연관되며, 제1 입체적 프레임의 마커 데이터 포인트에 대한 고유 라벨은 제2 입체적 프레임의 대응 마커 데이터 포인트에 할당된다. 입체적 프레임 시퀀스에 대한 라벨링(즉, 트랙킹)이 완료되면, 제1 입체적 프레임의 마커 데이터 포인트는 이 시퀀스에 걸쳐 추적될 수 있으며, 그 결과 각 마커 데이터 포인트에 대한 개별 궤도가 발생한다.
이산적인 마커는 통상적으로 단단한 대상체의 모션이나 물체 또는 몸체의 부분들의 모션을 캡처하는데 사용된다. 예컨대, 전술한 바와 같이, 팔꿈치와 손목에 부착된 단단한 마커는 팔뚝의 끝부분의 위치를 정의한다. 팔뚝이 움직이면 팔꿈치와 손목 마커의 모션이 추적되어 전술한 바와 같이 입체적 프레임의 시퀀스로서 결정된다. 이렇게 하여 팔뚝의 모션은 팔뚬치와 손목 마커에 의해 정의된 끝부분만을 갖는 강체(예컨대 막대)로서 모델링된다. 그러나, 팔뚬치와 손목 마커의 공간 위치의 변화를 분석함으로써 팔뚝의 병진 운동이 쉽게 결정되지만, 팔뚝의 공통의 비틀림 동작은 손목이나 팔꿈치의 실질적인 움직임 없이 비틀림이 행해질 수 있기 때문에 검출하기가 어렵다.
일 실시예에서, 이산적인 마커의 이용과는 대조적으로, 마커 재료가 부착된 표면에 정합되게 표면을 덮는 마커 재료가 이용된다. 이 마커 재료는, 또한 전술한 바와 같이, 이산적 마커와 마찬가지로 트랙킹할 수 있는 패턴을 갖고 있다. 이 패턴이 표면을 덮기 때문에, 이산적인 표인트만이 아니라 표면의 거의 전부 또는 일부가 추적될 수 있다. 일 실시예에서, 이런 방식으로 표시되고 추적되는 표면은 각 입체적 프레임에서 메시 대상체로서 재구성되며, 여기서 패턴의 추적가능한 양상이 꼭지점으로 나타내어진다. 따라서 각 입체적 프레임은 마킹 재료가 부착된 표면의 모델을 포함하는 꼭지점 시스템을 포함한다. 메시 대상체는 입체적 프레임 의 시퀀스에 걸쳐 추적되어, 예컨대 표면의 여러 가지 공간적 병진, 회전 및 비틀림을 표현하는 가상 애니메이션을 만들어낸다.
일 실시예에서, 마킹 재료는 연기 중에 사용된 무대 세트나 소도구와 같은 대상체의 하나 또는 그 이상의 표면에 부착된다. 메시 대상체가 재구성되고, 메시 대상체의 꼭지점은 전술한 바와 같이 동일한 방식으로 입체적 프레임 시퀀스에 걸쳐 추적된다.
도 2는 일 실시예에 따른 표면 캡처 방법(200)을 설명하는 플로우차트이다. 이 방법(200)은 블록(210)에서 타겟 대상체의 표면을 패턴화된 마킹 재료로 덮는 단계를 포함한다. 통상적으로 마킹 재료는 이것이 부착되는 표면에 정합된다. 이에 따라, 대응하는 메시 대상체는 전개될 표면의 여러 양상을 정확하게 표현할 수 있게 된다.
마킹 재료를 표면에 붙이는 데는 여러 가지 기술이 이용될 수 있다. 일반적으로 마킹 재료는 표면에 정합된다.
일 실시예에서, 마킹 재료는 페인트나 잉크같은 액체 형태이며 애니메이터 또는 아티스트가 선택한 패턴으로 표면에 부착된다. 일례로서, 마킹 재료는 배우의 몸체와 얼굴에 도트 시스템으로서 부착되며, 여기서 도트는 몸체나 얼굴의 특정 부위를 고유하게 식별하는 패턴으로 배치된다. 고유 패턴이 재구성과 마커 추적 중에 쉽게 해석되기 때문에 후속되는 메시 대상체 처리가 상당히 단순화된다. 다른 예로서, 마킹 재료는 처리를 단순화하기 위해 여러 가지 몸체 영역(즉, 오른쪽 무릎, 왼쪽 무릎 등)을 고유하게 식별하는 배우의 몸체 상의 조형 마킹에 부착된다. 더욱이 액체 형태의 마킹 재료는 연기 중에 생기는 여러 가지 뒤틀림이나 그 형상과 같은 그 물리적 양상을 인식하기 위하여 표면을 덮는데 아주 적합하다.
상기 예를 참조해보면, 배우의 팔뚝은 하나 또는 그 이상의 패턴으로 도포된액체 형태의 마킹 재료에 의해 덮여진다. 그런 다음에 패턴을 표현하는 메시 대상체가 가상 공간에서 재구성되어, 배우의 팔뚝 형상 뿐만 아니라 배우의 연기 중에 나온 비틀림 동작도 캡쳐한다.
다른 실시예에서, 마킹 재료는 표면에 고착되는 천이나 가요성 테이프를 포함한다. 마킹 재료의 스트립이 만들어져 표면 상의 목적하는 영역에 붙여진다. 마킹 재료는 표면에 바로 붙여져 원하는 패턴을 만들어 낸다. 이와 달리, 마킹 재료는 독특한 그리고/또는 임의적인 형상을 포함하여 여러 가지 형상으로 만들어져 표면에 붙여진다. 다른 실시예에서, 천을 기재로 하는 마킹 재료는 원하는 패턴이 바느질되고, 채색되거나 착색되는 의상으로서 형성된다. 예컨대 배우가 특유의 패턴으로 구성된 꼭 맞고 형상이 정합된 소매를 팔뚝에 착용한다. 여러 날에 여러 번의 세션에 걸친 배우의 연기로부터 획득된 모션 캡처 데이터를 통합하는 것은, 각 연기에서 팔뚝 상의 동일 위치에서 동일 패턴의 사용에 고유한 일관성의 정도가 높기 때문에 간단하게 되며 더 효율적으로 된다. 더욱이 꼭 맞는 의상은 배우의 팔뚝의 형상에 정합되기 때문에 그와 같은 의상 상의 패턴은 팔뚝의 정확한 메시 표현을 만들어 낸다.
마킹 재료로 구성된 또는 이에 의해 형성된 패턴은 영상 프레임 내의 배경과 구별되어야 한다.
일 실시예에서, 마킹 재료는 조명 여기광보다 긴 파장에서 광을 방출하는 특성을 갖는 물질인 양자 나노점을 포함한다. 즉, 제1 파장의 여기광은 양자 나노점 마킹 재료를 조명하는데 이용되며, 이에 응답하여 양자 나노점 마킹 재료는 양자 천이를 겪게 되고 제1 파장보다 높은 제2 파장의 광을 방출한다. 조명 여기광은 획득된 영상으로부터 필터링되어, 방출된 광만, 따라서, 양자 나노점을 이용하여 형성된 패턴의 영상만을 남긴다.
다른 실시예에서, 마커 재료는 반사성 재료를 포함한다. 밝은 광은 연기 중에 재료를 비추고, 따라서 획득된 영상 내의 패턴의 시각적 실재를 강화하며 제구성과 트랙킹을 지원한다.
다른 실시예에서, 마커 재료는 "암 마커(dark marker)"라고도 하는 형광성 야광 물질을 포함한다. 암 마커를 이용하여 얻은 영상은 야광 재료만이 보이는 어두운 환경에서 얻어진다. 다른 암 마커 재료로는 IR 조명 하에 사용되는 적외선(IR) 마킹 재료, UV 조명 하에 시용되는 자외선(UV) 마킹 재료가 있다.
또 다른 실시예에서, 예컨대 반사성 마킹 재료(광 마커)로 구성된 가시 패턴이 밝은 스트로브 광 하에서와 같이 밝고 어두운 것이 교대하는 조명 조건 하에서 암 마커 재료와 함께 사용된다.
마킹 재료에 적용되는 패턴은, 예컨대, 영상 획득, 애니메이터/아티스트 선호도, 및/또는 애니메이션 제작의 요건에 따라 다르다. 일 실시예에서, 패턴은 미리 결정된다. 고유 패턴이 전술한 바와 같이 만들어지고, 통상적으로 마커 트랙킹 중에 영역들을 맵핑시키도록 타겟 표면에 붙여진다. 다른 실시예에서, 패턴은 실질적으로 랜덤 패턴이다. 미리 정해진 고유 패턴과 마찬가지로, 랜덤 패턴은 이것이 부착된 표면 상의 여러 위치 중에서 그 고유의 특이성을 추적하는 동안 유익하다.
도 2를 참조해보면, 블록(220)에서 마킹 재료의 패턴을 캡처하는 영상 프레임의 시퀀스를 획득한다. 전술한 바와 같이, 캡처 볼륨 주위에 정밀하게 배치된 복수의 모션 캡처 카메라(120, 122, 124)는 연기 중 패턴의 영상을 동시에 얻는다. 복수의 카메라에 의한 영상 캡처의 각 동시적인 반복에 따라 영상 프레임이라 불리는 복수의 영상을 생성한다. 영상 프레임의 시퀀스는 통상적으로 비트 또는 연기의 지속 기간에 걸친다.
그 다음에 블록(230)에서 영상 프레임에 대해 동시에 얻은 복수의 영상으로부터 각 영상 프레임에 대해 적어도 하나의 메시 대상체가 도출된다. 복수의 대상체 또는 배우가 하나의 연기에 관련될 수 있으므로, 이들을 표현하는데 복수의 메시 대상체가 생성된다. 도출된 메시 대상체는 복수의 영상 프레임에 대응하는 입체적 프레임 내에서 정의된 꼭지점으로 표현된다.
일 실시예에서, 마커 재료에 의해 만들어진 패턴은 복수의 미세하게 분산된 마킹을 포함한다. 마킹의 위치는 프레임의 각 영상에서 결정되며, 캡처 볼륨에 대한 모션 캡처 카메라의 공간 배치에 대한 정보와 함께, 마킹은 캡처 볼륨 내의 공간 위치로 결정된다. 결정된 각 공간 위치는 마커 데이터 포인트, 더 구체적으로는 패턴이 부착된 표면의 모델을 표현하는 메시 대상체의 꼭지점으로서 생각할 수 있다. 따라서 메시 대상체는 실질적으로 표면의 형상을 캡처한다. 일 실시예에서, 메시 대상체는 표면의 텍스처도 캡처한다. 다른 실시예에서, 메시 대상체는 영상 프레임이 캡쳐된 때에 표면 상의 조명 효과를 캡처한다. 예컨대, 배우의 팔뚝을 싸고 있는 반사성 마커 재료로 만든 패턴은, 팔뚝 표면으로의 광선의 입사각에 따라서 정도를 달리하면서 조명 점 광원을 반사시킨다. 따라서 조명광의 반사도는 애니메이션 요건에 따라 활용을 위한 광과 음영 정보를 제공한다.
그 다음, 블록(240)에서 각 입체적 프레임에 대응하는 메시 대상체는 입체적 프레임의 시퀀스에 걸쳐 추적된다. 일 실시예에서, 제1 입체적 프레임의 메시 대상체의 각 꼭지점은 이 시퀀스의 다른 입체적 프레임의 메시 대상체의 대응 꼭지점과 연관된다. 이 프로세스는 각 꼭지점이 입체적 프레임의 시퀀스에 걸쳐 추적될 수 있을 때까지 반복된다.
블록(250)에서 패턴의 모션 모델을 표현하는 따라서 이 패턴이 부착된 표면도 표현하는 애니메이션 데이터가 생성된다. 애니메이션 모델은 연기 중의 표면의 병진 및 찡그림 움직임 이외에도 형상, 텍스처 및 조명 효과를 포함하여, 표면의 적어도 한 가지 특징을 포함한다. 애니메이션 데이터는 캐릭터 모델, 보통은 패턴이 부착된 표면에 관련된 디지털 모델에 적용된다. 예컨대, 배우의 팔뚝에 부착된 패턴으로부터 도출된 애니메이션 데이터는 애니메이트된 캐릭터의 대응하는 팔뚝 또는 가상적으로는 애니메이션 내의 임의의 다른 대상체를 애니메이션화하는데 사용된다. 배우의 얼굴의 움직임으로부터 도출된 애니메이션 데이터의 경우, 예컨대 애니메이션 데이터는 배우의 안면 근육 그룹에 대응하는 디지털 안면 모델 상에서 가상 근육 그룹을 트리거하는데 이용되는 FACS 애니메이션 곡선을 포함한다. 일 실시예에서, 애니메이션 데이터는 애니메이트화된 몸체 또는 팔다리의 모션을 구동하기 위한 골격 데이터를 포함한다. 다른 실시예에서, 애니메이션 데이터는 어떤 형상을 애니메이트화하는데 이용되는 입체적 프레임 시퀀스의 메시 대상체 꼭지점(즉, 형상 애니메이션 데이터)과 같은 것들을 포함한다.
도 3은 일 실시예에 따른 표면 캡처 시스템(300)의 기능 블록도이다. 표면 캡처 시스템(300)은 영상 획득 모듈(310)과 표면 캡처 모듈(320)을 포함한다.
영상 획득 모듈(310)은, 도 1에 도시된 바와 같이, 모션 캡처 카메라(120, 122, 124), 모션 캡처 프로세서(110) 및 사용자 워크스테이션(130)을 포함한다. 영상 획득 모듈(310)은, 각각이 예컨대 비트 중에 복수의 모션 캡처 카메라(120, 122, 124)에 의해 동시에 획득된, 배우(140)에 부착된 마킹 재료의 적어도 하나의 패턴의 복수의 2-D 영상을 포함하는 영상 프레임을 생성한다. 영상 획득 모듈(310)에서 생성된 영상 프레임은 통상적으로 비트 중에 기록된 영상 프레임의 시퀀스를 포함한다. 이 영상 프레임은 영상 프레임으로부터 도출된 애니메이션 데이터를 생성하는 표면 캡처 모듈(320)에서 수신된다.
도 4는 일 실시예에 따른 표면 캡처 모듈(320)의 기능 블록도이다. 도 4에 도시된 바와 같이 표면 캡처 모듈(320)은 메시 도출 모듈(410)과 트랙킹 모듈(420)을 포함한다. 트랙킹 모듈(420)은 꼭지점 트랙킹 서브유닛(430), 지형 서브유닛(440), 텍스처 트랙킹 서브유닛(450), 운동 골격 서브유닛(460) 및 FACS 클리닝 서브유닛(470)을 포함한다.
메시 도출 모듈(410)은 영상 프레임을 수신하고 이 영상 프레임에 대응하는 입체적 프레임에서 정의된 메시 대상체를 생성한다. 통상적으로 각 영상 프레임에 대해 그 영상 프레임에 대해 동시에 획득된 복수의 영상으로부터 적어도 하나의 메시 대상체가 도출된다. 도출된 메시 대상체는 그 영상 프레임에 대응하는 입체적 프레임 내에서 정의된 꼭지점으로 표현된다.
마커 재료로 만들어진 패턴은 복수의 미세하게 분산된 마킹을 포함할 수 있다. 이 마킹은 영상 프레임의 각 영상에 위치하며, 캡처 볼륨에 대한 모션 캡처 카메라의 공간 배치에 대한 정보와 함께, 마킹은 캡처 볼륨 내의 공간 위치로 결정된다. 결정된 각 공간 위치는 마커 데이터 포인트, 더 구체적으로는 패턴이 부착된 표면의 대응하는 프레임의 모델을 표현하는 메시 대상체의 꼭지점을 나타낸다. 메시 대상체는 실질적으로 표면의 형상을 캡처한다. 표면이 충분히 텍스처링된 일 실시예에서 메시 대상체는 표면의 텍스처도 캡처한다. 다른 실시예에서, 메시 대상체는 영상 프레임이 캡쳐된 때에 표면 상의 조명 효과를 캡처한다. 예컨대, 배우의 팔뚝을 싸고 있는 반사성 마커 재료로 만든 패턴은 팔뚝 표면으로의 광선의 입사각에 따라서 정도를 달리하면서 조명 점 광원을 반사시킨다. 따라서, 조명광의 반사도는 애니메이션 요건에 따라 활용을 위한 광과 음영 정보를 제공한다.
각 입체적 프레임에 대응하는 메시 대상체는 트랙킹 모듈(420)에서 수신되며 입체적 프레임 시퀀스에 걸쳐 추적된다. 일 실시예에서, 제1 입체적 프레임의 메시 대상체의 각 꼭지점은 이 시퀀스의 다른 프레임의 메시 대상체의 대응 꼭지점과 꼭지점 트랙킹 서브유닛(430)에 의해 연관된다. 이러한 연관은 각 꼭지점이 전체 시퀀스에 걸쳐 추적될 수 있을 때까지 이 시퀀스의 입체적 프레임 간에서 반복된다.
지형 서브유닛(440)은 지형 인식 기능을 적용하여 입체적 프레임 시퀀스에 걸쳐 메시 대상체의 하나 또는 그 이상의 지형 특징을 추적할 수 있다. 지형 특징을 추적하면 꼭지점 트랙킹 서브유닛(430)의 추적 정확도가 향상되며, 이 추적은 일 실시예에서 단독의 메시 대상체 트랙킹 기술로서 이용된다.
텍스처 트랙킹 서브유닛(450)은 텍스처 인식 기능을 적용하여 입체적 프레임 시퀀스에 걸쳐 메시 대상체에서 표현된 하나 또는 그 이상의 텍스처 특징을 추적할 수 있다. 텍스처 특징을 추적하면 꼭지점 트랙킹 서브유닛(430)의 추적 정확도가 향상되며, 이 추적은 일 실시예에서 단독의 메시 대상체 트랙킹 기술로서 이용된다.
운동 골격 서브유닛(460)은 몸체의 골격 요소의 모션에 여러 가지 제약(즉, "규칙")을 적용할 수 있다. 골격 데이터는 영상 프레임에서 캡처된 마커 재료의 패턴으로부터 도출된다. 예컨대, 배우의 팔뚝은 팔꿈치를 손목에 연결하는 막대기나 스틱과 유사한 골격 요소에 의해 모델링된다. 전술한 바와 같이, 이 방식은 팔뚝의 병진 운동을 캡처하는데는 효과적이지만 팔뚝의 비틀림과 같은 일그러지는 움직임을 캡처하는데는 불충분하다. 그러나 메시 대상체 추적의 정확도는 팔뚝에 대해 정의된 골격 요소의 움직임을 제약하는 규칙에 따라서 프레임 마다 꼭지점의 연관을 제약함으로써 개선된다. 2개의 프레임 간의 하나 또는 그 이상의 후보 꼭지점 라벨링 할당이 운동 골격 서브유닛(460)에 의해 결정된 팔뚝의 부자연스럽고, 있기 힘든 또는 불가능한 움직임을 기술한다면, 이들 꼭지점 할당은 제약 규칙에 따라서 골격 요소의 "허용가능한" 움직임과 모순이 없는 다른 꼭지점 할당을 위하여 득점이 낮게 된다. 따라서 운동 골격 분석을 적용하면 꼭지점 트랙킹 서브유닛(430)의 추적 정확도가 향상된다.
일반적으로, FACS는 인간의 얼굴 표현을 체계적으로 분류하는 표준 분류(standard taxonomy)를 제공한다. 이 방식은 예컨대 몸체 움직임에도 마찬가지로 적용될 수 있을 것이다. 여러 가지 얼굴 표현을 나타내는 얼굴 움직임 데이터는 도 1에 도시된 것과 유사한 모션 캡처 시스템을 이용하여 캡처되며, FACS에 따라 분류된다.
일 실시예에서, "FACS 메트릭스"는 핵심 얼굴 표정의 초기 조사를 위한 토대를 구성한다. 배우는 마킹 재료로 구현된 패턴을 얼굴에 붙이고 있으며 일정 범위의 표정을 연기하도록 지시를 받는다. 통상적으로 조명이 면밀히 제어되고 배우의 불필요한 움직임은 세세하게 제한되는 작은 캡처 볼륨에서, 이상적인 조건 하에서 핵심 얼굴 표정이 캡처된다. 배우는 종종 몸체 움직임을 얼굴 움직임과 분리하기 위하여 동작없이 앉아 있거나 서 있다.
이어서 FACS 매트릭스에서 유지된 핵심 얼굴 표정은 후처리 동안 "얼굴 기본 벡터"처럼 사용된다. 배우의 연기 중에 발생한 입력 얼굴 표정은 분석되어 핵심 얼굴 표정의 가중 조합을 결정한다. 일 실시예에서, 가중 조합에 의한 제1 패스(first pass) 상에서는 적절하게 기술되지 않는 부가적인 얼굴 표정을 포함함으로써 후처리 동안 FACS 매트릭스는 향상된다. 이들 얼굴 표정은 새로운 핵심 얼굴 표정으로 부가되어 FACS 매트릭스가 파악하는 얼굴 표정(즉, 얼굴 기본 벡터) 범위를 넓힘으로써 FACS 매트릭스의 강건성(robustness)을 향상시킨다.
얼굴 동작 코딩 시스템(FACS) 클리닝 서브유닛(470)은 배우의 얼굴을 나타내는 메시 대상체에 제약 규칙을 적용할 수 있다. 예컨대, 얼굴 메시 대상체의 꼭지점들이 분석되어, 소정 규칙에 따라 "허용"되지 않는 움직임이 식별된다. 즉, FACS 매트릭스에 유지된 핵심 얼굴 표정에 의해 정의된 제약에 따라서 꼭지점의 프레임간 공간적 변위(즉, 움직임)가 분석된다. 일 실시예에서, 허용된 얼굴 메시 대상체 꼭지점 움직임만이 리턴되어, 얼굴 메시 대상체 꼭지점 내의 잡음 아티팩트(예컨대, 메시 대상체 꼭지점의 이상치)를 제거하는 필터링 효과를 제공한다. 클리닝은 배우의 연기 동안 얼굴 메시 대상체 꼭지점이 보이지 않게 된 경우에(예컨대, 얼굴 상의 마킹 재료의 패턴이 소도구에 의해 가려져 보이지 않는 경우에) 이 얼굴 메시 대상체 꼭지점이 점유해야 하는 공간 위치를 결정하는 것을 더 포함한다. 그러면 FACS 클리닝은 얼굴 메시 대상체 꼭지점 궤도 내의 갭을 FACS 매트릭스에 유지된 핵심 얼굴 표정에 정합되는 꼭지점으로 채운다. 따라서, 갭이 없고, 정확하게 라벨링된 무잡음 메시 대상체 꼭지점이 생성된다.
트랙킹 모듈(420)은 패턴, 따라서 이 패턴이 부착된 표면의 모션 모델도 표현하는 애니메이션 데이터를 생성한다. 모션 모델은 연기 중의 표면의 병진 및 뒤틀림 움직임 이외에도 형상, 텍스처 및 조명 효과를 포함하는, 표면의 적어도 한 가지 특징을 포함한다. 애니메이션 데이터는 캐릭터 모델, 통상 패턴이 부착된 표면의 디지털 모델에 적용된다. 예컨대, 배우의 팔(172)에 부착된 패턴으로부터 도출된 애니메이션 데이터는 애니메이트화된 캐릭터 또는 대상체의 대응하는 팔(또는 어떤 다른 팔다리)을 애니메이트화하는데 사용된다. 배우의 얼굴(150)의 움직임으로부터 애니메이션 데이터가 도출된 경우에는, 애니메이션 데이터는 배우의 얼굴(150)의 안면 근육 그룹에 대응하는 디지털 안면 모델 상에서 가상 근육 그룹을 트리거하는데 이용된다.
도 5a는 컴퓨터 시스템(500)과 사용자(502)를 보여준다. 사용자(502)는 컴퓨터 시스템(500)을 이용하여 표면 캡처를 수행한다. 컴퓨터 시스템(500)은 영상 프레임 데이터를 처리하는 표면 캡처 시스템(590)을 저장하고 실행한다.
도 5b는 표면 캡처 시스템(590)을 호스팅하는 컴퓨터 시스템(500)의 기능 블록도이다. 제어부(510)는 프로그램가능한 프로세서이고 컴퓨터 시스템(500) 및 그 구성요소의 동작을 제어한다. 제어부(510)는 메모리(520) 또는 내장된 제어부 메모리(미도시)로부터 (예컨대 컴퓨터 프로그램 형태인) 명령을 로드하여 이 명령을 실행하여 시스템을 제어한다. 제어부(510)는 그 실행 시에 표면 캡처 시스템(590)을 소프트웨어 시스템으로서 제공한다. 대안으로서, 이 서비스는 제어부(510) 또는 컴퓨터 시스템(500) 내의 별도의 구성요소로서 구현될 수 있다.
메모리(520)는 컴퓨터 시스템(500)의 다른 구성요소가 이용하는 데이터를 임시로 저장한다. 일 실시예에서, 메모리(520)는 RAM으로 구현된다. 일 실시예에서 메모리(520)는, 플래시 메모리 및/또는 ROM과 같은 장기 또는 영속 메모리를 포함한다.
저장부(530)는 표면 캡처 시스템(590)이 이용하는 데이터를 저장하는 것과 같이, 컴퓨터 시스템(500)의 다른 구성요소가 이용하는 데이터를 임시로 또는 장기간 저장한다. 일 실시예에서, 저장부(530)는 하드 디스크 드라이브이다.
매체 디바이스(540)는 착탈 가능 매체를 수용하여 삽입된 매체에 대해 데이터를 독출 및/또는 기록한다. 일 실시예에서, 예컨대 매체 디바이스(540)는 광 디스크 드라이브이다.
사용자 인터페이스(550)는 컴퓨터 시스템(500)의 사용자로부터 사용자 입력을 받아들여 사용자에게 정보를 제공하기 위한 구성요소를 포함한다. 일 실시예에서, 사용자 인터페이스(550)는 키보드, 마우스, 오디오 스피커, 및 디스플레이를 포함한다. 제어부(510)는 사용자로부터의 입력을 이용하여 컴퓨터 시스템(500)의 동작을 조정한다.
I/O 인터페이스(560)는 외부 저장 장치나 보조 장치(예컨대, 프린터나 PDA)와 같은 대응하는 I/O 장치에 연결되는 하나 또는 그 이상의 I/O 포트를 포함한다. 일 실시예에서, I/O 인터페이스(560)의 포트는 USB 포트, PCMCIA 포트, 직렬 포트, 및/또는 병렬 포트와 같은 포트를 포함한다. 다른 실시예에서, I/O 인터페이스(560)는 외부 장치와의 무선 통신을 위한 무선 인터페이스를 포함한다.
네트워크 인터페이스(570)는 이더넷 접속을 지원하는 RJ-45나 (802.11을 포함하는(이에 한정되지 않음)) "Wi-Fi" 인터페이스와 같은 유선 및/또는 무선 네트워크 접속을 포함한다.
컴퓨터 시스템(500)은 컴퓨터 시스템의 통상적인 추가의 하드웨어와 소프트웨어(예컨대, 전원, 냉각, 운영 체제)를 포함하지만, 이들 구성요소는 명료함을 위해 도 5b에는 구체적으로 도시하지 않는다. 다른 실시예에서, 컴퓨터 시스템의 다른 구성(예컨대, 다른 버스 또는 저장 장치 구성 또는 멀티프로세서 구성)이 사용될 수 있다.
도 6은 가요성 마킹 재료를 전개 및 이용하여 애니메이션 데이터를 생성하는 방법(600)을 설명하는 플로우차트이다. 일 실시예에서, 이 방법은 기지 및/또는 식별가능한 임의의 패턴이 프린트된 일시적인 문신을 이용한다. 먼저, 단계(610)에서, 배우 머리의 3-D 모델을 얻는다. 이 모델은, 예컨대, 레이저 스캐닝을 이용하여 텍스처 맵을 생성하여 얻을 수 있다. 다음, 단계(620)에서, 레이저 스캔에 의해 생성된 얼굴 텍스처를 풀어서(unwrap), 이렇게 얻어진 3-D 모델을 2-D 형태로 푼다. 단계(630)에서, 배우의 얼굴 특징의 세부 사항은 적어도 하나의 기지 패턴을 갖는 2-D 형태(예컨대 텍스처 맵)로 대체된다. 다른 실시예에서, 기지의 패턴에 프린트된 그리드가 포함된다. 그리드는 1차 마커 패턴으로서 기능하며, 기지의 패턴은 2차 마커 패턴으로서 기능하여, 그리드 꼭지점의 라벨링을 용이하게 한다. 즉, 그리드는 양호하게 균일하여, 타겟 표면의 정확한 디지털 모델(즉, 메시 대상체)을 용이하게 얻을 수 있다. 그러나 그리드의 본질적인 균일성 때문에, 그리드 꼭지점은 개별적으로는 식별하기 어렵기 때문에 추적하기 어렵다. 그리드 상에 붙여진 기지의 마커 패턴은 2차 기준으로 이용되어 (1차) 그리드 꼭지점을 해결하는 것을 지원할 수 있다.
그 다음, 단계(640)에서, 기지 패턴을 갖는 2-D 텍스처 맵은 가요성 재료에 프린트된다. 일 실시예에서, 가요성 재료는 일시적인 문신지를 포함한다. 일반적으로는, 어떠한 가요성 및/또는 투명성 재료라도 충분할 것이다. 단계(650)에서, 패턴이 프린트된 가요성 재료(예컨대 일시적인 문신지)가 배우의 얼굴에 부착된다. 어떤 씬에서 연기하는 각 배우는 통상 고유의 패턴을 받는다.
다른 실시예에서, 배우의 얼굴의 움직임이 일시적인 문신 때문에 지나치게 제약을 받는다면, 이 얼굴 문신은 더 작은 부분들로 나누어서 개별적인 문신으로서 부착될 수 있다.
단계(660)에서, 도 1을 참조로 전술한 모션 캡처 방법과 시스템에 따라서 영상 프레임 시퀀스를 얻는다. 캡처되고 나면, 단계(670)에서, 영상 데이터를 이용하여 마커가 붙여진 배우나 대상체를 표현하는 하나 또는 그 이상의 메시 대상체(즉, 3-D 모델)를 재구성한다.
일 실시예에서, 일시적인 문신에는 야광 잉크가 프린트될 수 있다. 그러면 셔터가 달린 명암 카메라를 이용하는 모션 캡처 방식을 이용하여 문신 상의 패턴을 기록할 수 있다. 다른 실시예에서는, 자외선 또는 적외선 광 또는 역반사성 재료를 이용하는 마커가 이용될 수 있다.
지금까지 본 발명의 각종 예시적인 실시예들에 대해 설명하였다. 그러나 당업자라면 본 발명의 범위 내에서 다른 추가적인 실시예도 가능함을 잘 알 것이다. 예컨대, 표면 캡처 시스템에서 다루는 조명 정보는 일반적으로 메시 대상체와 관련되는 것으로 설명하였지만, 조명 정보는, 메시 대상체가 기록 시에 기록되었던 텍스처를 포함하므로 이 메시 대상체로부터 추출될 수도 있다. 일 실시예에서, 텍스처는 프레임 단위로 각 프레임 대상체마다의 메시 주위에 풀어져 있다.
모듈이나 블록 내의 기능들을 분류한 것은 설명을 쉽게 하기 위한 것임을 잘 알 것이다. 특정 기능은 본 발명으로부터 벗어남이 없이 모듈 또는 블록 간에 이동될 수 있다.
따라서 본 발명은 전술한 실시예들에만 한정되는 것은 아니다.
500: 컴퓨터 시스템
502: 사용자

Claims (18)

  1. 표면을 캡처하는 방법으로서,
    마킹 재료로 구성된 패턴으로 표면을 덮는 단계 - 상기 마킹 재료는, 어두운 조명 조건 및 밝은 조명 조건 모두에서 동작하여 표면의 텍스처 및 조명을 부여함 -;
    상기 표면을 덮는 상기 패턴의 복수의 영상을 각각 포함하는 영상 프레임의 시퀀스를 획득하는 단계 - 상기 패턴의 복수의 영상은, 움직임 및 표면의 기하학적 구조를 캡처하기 위해 랜덤 패턴으로서 형성됨 - ;
    상기 각 영상 프레임에 대해 상기 복수의 영상으로부터 메시 대상체를 도출하는 단계;
    상기 프레임의 시퀀스에 걸쳐 각 프레임 내의 메시 대상체의 복수의 꼭지점을 추적하는 단계; 및
    상기 추적된 메시 대상체의 복수의 꼭지점을 이용하여 애니메이션 데이터를 생성하는 단계
    를 포함하고,
    상기 애니메이션 데이터를 생성하는 단계에서 상기 애니메이션 데이터는 텍스쳐 및 조명을 포함하는 상기 표면의 특징을 모델링하는,
    표면 캡처 방법.
  2. 제1항에 있어서,
    상기 마킹 재료는 상기 표면에 정합되는(conform), 표면 캡처 방법.
  3. 제1항에 있어서,
    상기 메시 대상체는 상기 표면을 모델링하는, 표면 캡처 방법.
  4. 제1항에 있어서,
    상기 메시 대상체는 상기 복수의 꼭지점에 의해 정의되는, 표면 캡처 방법.
  5. 제1항에 있어서,
    상기 애니메이션 데이터는, 골격 데이터, FACS 애니메이션 곡선, 및 형상 애니메이션 중 적어도 하나의 형태로 된 라벨이 붙여진 마커 데이터를 포함하는, 표면 캡처 방법.
  6. 제1항에 있어서,
    상기 표면은 사람의 표면을 포함하는, 표면 캡처 방법.
  7. 제1항에 있어서,
    상기 마킹 재료는, 양자 나노점을 포함하는，표면 캡처 방법.
  8. 제1항에 있어서,
    상기 마킹 재료는, 적외선 잉크, 적외선 도료, 자외선 잉크, 자외선 도료, 및 야광 잉크 중 적어도 하나를 포함하는 표면 캡처 방법.
  9. 표면 캡처 시스템으로서,
    표면 상에 배치된 패턴의 복수의 영상을 각각 포함하는 영상 프레임의 시퀀스를 생성하도록 구성된 영상 획득 모듈 - 상기 패턴은, 마킹 재료로 형성되며, 상기 마킹 재료는 어두운 조명 조건 및 밝은 조명 조건 모두에서 동작해서 표면의 텍스쳐 및 조명을 부여하는 재료를 포함하고, 상기 패턴의 복수의 영상은, 움직임 및 표면의 기하학적 구조를 캡처하기 위해 랜덤 패턴으로서 형성됨 - ; 및
    상기 영상 프레임의 시퀀스를 수신하고, 상기 표면 상에 배치된 상기 패턴에 기초하여 애니메이션 데이터를 생성하도록 구성된 표면 캡처 모듈
    을 포함하고,
    상기 표면 캡처 모듈은,
    상기 영상 프레임의 시퀀스를 수신하여 메시 대상체의 적어도 하나의 시퀀스를 생성하도록 구성된 메시 도출 모듈; 및
    상기 메시 대상체의 적어도 하나의 시퀀스를 수신하고, 상기 적어도 하나의 시퀀스에 걸쳐 각 영상 프레임 내의 메시 대상체를 추적하며, 추적하여 얻어진 추적정보로부터 에니메이션 데이터를 생성하도록 구성된 트랙킹 모듈
    을 포함하는, 표면 캡처 시스템.
  10. 제9항에 있어서,
    메시 대상체의 상기 적어도 하나의 시퀀스는, 상기 영상 프레임의 시퀀스의 각 영상 프레임에 대해 생성된 메시 대상체를 포함하는, 표면 캡처 시스템.
  11. 제10항에 있어서,
    각 영상 프레임에 대해 생성된 상기 메시 대상체는 복수의 꼭지점에 의해 정의되는, 표면 캡처 시스템.
  12. 제11항에 있어서,
    상기 트랙킹 모듈은, 소정의 제약에 따라, 상기 복수의 꼭지점들 중 적어도 하나의 꼭지점의 공간적 변위를 분석하도록 구성된 얼굴 동작 코딩 시스템(FACS) 클리닝 서브유닛을 포함하는, 표면 캡처 시스템.
  13. 제10항에 있어서,
    상기 트랙킹 모듈은, 하나의 메시 대상체의 적어도 하나의 지형 특징(topographical feature)을 인식하고 상기 지형 특징을 메시 대상체의 상기 적어도 하나의 시퀀스에 걸쳐 추적함으로써 상기 추적 정보를 생성하도록 구성된 지형 서브유닛(topography subunit)을 포함하는, 표면 캡처 시스템.
  14. 제10항에 있어서,
    상기 트랙킹 모듈은, 하나의 메시 대상체의 텍스처 특징을 상기 메시 대상체의 상기 적어도 하나의 시퀀스에 걸쳐 추적함으로써 상기 추적 정보를 생성하도록 구성된 텍스처 트랙킹 서브유닛을 포함하는, 표면 캡처 시스템.
  15. 제9항에 있어서,
    상기 트랙킹 모듈은, 골격 모델 정보에 기초하여 추적 규칙을 생성하도록 구성된 운동 골격 서브유닛을 포함하는, 표면 캡처 시스템.
  16. 컴퓨터 실행가능 명령어를 포함하는 프로그램을 저장하는 컴퓨터 판독 가능 기록 매체로서, 상기 컴퓨터 실행가능 명령어들은 컴퓨터에 의해서 이용되는 경우 상기 컴퓨터로 하여금 표면을 캡처하는 방법을 수행하게 하며,
    상기 표면을 캡처하는 방법은,
    표면을 덮는 패턴의 복수의 영상을 각각 포함하는 영상 프레임의 시퀀스를 획득하는 단계 - 상기 패턴은 마킹 재료로 형성되고, 상기 마킹 재료는 어두운 조명 조건 및 밝은 조명 조건 모두에서 동작해서 표면의 텍스쳐 및 조명을 부여하는 재료를 포함하며, 상기 패턴의 복수의 영상은, 움직임 및 표면의 기하학적 구조를 캡처하기 위해 랜덤 패턴으로서 형성됨 - ;
    상기 각 영상 프레임에 대해 상기 복수의 영상으로부터 메시 대상체를 도출하는 단계;
    상기 프레임의 시퀀스에 걸쳐 각 프레임 내의 메시 대상체의 복수의 꼭지점을 추적하는 단계;
    상기 추적된 메시 대상체의 복수의 꼭지점을 이용하여 애니메이션 데이터를 생성하는 단계를 포함하고,
    상기 애니메이션 데이터를 생성하는 단계에서 상기 애니메이션 데이터는 텍스쳐 및 조명을 포함하는 상기 표면의 특징을 모델링하는
    컴퓨터 판독가능 기록 매체.
  17. 제16항에 있어서,
    상기 메시 대상체는, 복수의 꼭지점에 의해 정의되는, 컴퓨터 판독가능 기록 매체.
  18. 제16항에 있어서,
    상기 추적하는 단계는, 상기 메시 대상체의 지형 특징을 인식하게 하는 단계를 포함하는 컴퓨터 판독가능 기록 매체.
KR1020127028749A 2006-11-01 2007-11-01 모션 픽쳐에서의 표면을 캡처하는 방법 및 시스템, 컴퓨터 프로그램이 기록된 컴퓨터 판독가능 기록 매체 KR101342257B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US85619906P 2006-11-01 2006-11-01
US60/856,199 2006-11-01
US11/850,546 US8330823B2 (en) 2006-11-01 2007-09-05 Capturing surface in motion picture
US11/850,546 2007-09-05
PCT/US2007/083360 WO2008057953A2 (en) 2006-11-01 2007-11-01 Capturing surface in motion picture

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020097011192A Division KR20090081004A (ko) 2006-11-01 2007-11-01 모션 픽쳐에서의 표면 캡처링

Publications (2)

Publication Number Publication Date
KR20120135922A KR20120135922A (ko) 2012-12-17
KR101342257B1 true KR101342257B1 (ko) 2013-12-16

Family

ID=39329560

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020127028749A KR101342257B1 (ko) 2006-11-01 2007-11-01 모션 픽쳐에서의 표면을 캡처하는 방법 및 시스템, 컴퓨터 프로그램이 기록된 컴퓨터 판독가능 기록 매체
KR1020097011192A KR20090081004A (ko) 2006-11-01 2007-11-01 모션 픽쳐에서의 표면 캡처링

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020097011192A KR20090081004A (ko) 2006-11-01 2007-11-01 모션 픽쳐에서의 표면 캡처링

Country Status (8)

Country Link
US (1) US8330823B2 (ko)
EP (1) EP2078287A4 (ko)
JP (1) JP5235891B2 (ko)
KR (2) KR101342257B1 (ko)
CN (1) CN101573733B (ko)
AU (1) AU2007317448B2 (ko)
CA (1) CA2668430C (ko)
WO (1) WO2008057953A2 (ko)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8654815B1 (en) 2004-04-02 2014-02-18 Rearden, Llc System and method for distributed antenna wireless communications
US9826537B2 (en) 2004-04-02 2017-11-21 Rearden, Llc System and method for managing inter-cluster handoff of clients which traverse multiple DIDO clusters
US10425134B2 (en) 2004-04-02 2019-09-24 Rearden, Llc System and methods for planned evolution and obsolescence of multiuser spectrum
US9819403B2 (en) 2004-04-02 2017-11-14 Rearden, Llc System and method for managing handoff of a client between different distributed-input-distributed-output (DIDO) networks based on detected velocity of the client
US10277290B2 (en) 2004-04-02 2019-04-30 Rearden, Llc Systems and methods to exploit areas of coherence in wireless systems
US9685997B2 (en) 2007-08-20 2017-06-20 Rearden, Llc Systems and methods to enhance spatial diversity in distributed-input distributed-output wireless systems
US7605861B2 (en) * 2005-03-10 2009-10-20 Onlive, Inc. Apparatus and method for performing motion capture using shutter synchronization
GB2438783B8 (en) 2005-03-16 2011-12-28 Lucasfilm Entertainment Co Ltd Three-dimensional motion capture
US8659668B2 (en) 2005-10-07 2014-02-25 Rearden, Llc Apparatus and method for performing motion capture using a random pattern on capture surfaces
US7567293B2 (en) * 2006-06-07 2009-07-28 Onlive, Inc. System and method for performing motion capture by strobing a fluorescent lamp
US20100231692A1 (en) * 2006-07-31 2010-09-16 Onlive, Inc. System and method for performing motion capture and image reconstruction with transparent makeup
US8542236B2 (en) * 2007-01-16 2013-09-24 Lucasfilm Entertainment Company Ltd. Generating animation libraries
US8199152B2 (en) 2007-01-16 2012-06-12 Lucasfilm Entertainment Company Ltd. Combining multiple session content for animation libraries
US8130225B2 (en) * 2007-01-16 2012-03-06 Lucasfilm Entertainment Company Ltd. Using animation libraries for object identification
US8144153B1 (en) 2007-11-20 2012-03-27 Lucasfilm Entertainment Company Ltd. Model production for animation libraries
US8384714B2 (en) * 2008-05-13 2013-02-26 The Board Of Trustees Of The Leland Stanford Junior University Systems, methods and devices for motion capture using video imaging
US8144155B2 (en) 2008-08-11 2012-03-27 Microsoft Corp. Example-based motion detail enrichment in real-time
US9142024B2 (en) * 2008-12-31 2015-09-22 Lucasfilm Entertainment Company Ltd. Visual and physical motion sensing for three-dimensional motion capture
KR101640458B1 (ko) * 2009-06-25 2016-07-18 삼성전자주식회사 영상 장치 및 컴퓨터 판독 기록매체
US8842933B2 (en) * 2009-11-10 2014-09-23 Sony Corporation Facial motion capture using marker patterns that accommodate facial surface
US8994790B2 (en) * 2010-02-25 2015-03-31 The Board Of Trustees Of The Leland Stanford Junior University Motion capture with low input data constraints
US8611670B2 (en) * 2010-02-25 2013-12-17 The Board Of Trustees Of The Leland Stanford Junior University Intelligent part identification for use with scene characterization or motion capture
US20110208685A1 (en) * 2010-02-25 2011-08-25 Hariraam Varun Ganapathi Motion Capture Using Intelligent Part Identification
US11117033B2 (en) 2010-04-26 2021-09-14 Wilbert Quinc Murdock Smart system for display of dynamic movement parameters in sports and training
US20120036483A1 (en) * 2010-08-09 2012-02-09 Infineon Technologies Ag Device, method for displaying a change from a first picture to a second picture on a display, and computer program product
CN101930628A (zh) * 2010-09-21 2010-12-29 北京大学 基于单目摄像机和多平面镜折反射装置的运动捕捉方法
KR20120065834A (ko) * 2010-12-13 2012-06-21 한국전자통신연구원 멀티 카메라 기반의 디지털 액터 생성 장치 및 그 방법
US8922547B2 (en) * 2010-12-22 2014-12-30 Electronics And Telecommunications Research Institute 3D model shape transformation method and apparatus
US9082222B2 (en) * 2011-01-18 2015-07-14 Disney Enterprises, Inc. Physical face cloning
TWI443587B (zh) * 2011-05-30 2014-07-01 Univ Nat Cheng Kung 三維雙模掃描裝置及三維雙模掃描系統
US9230325B2 (en) * 2011-08-19 2016-01-05 University Of Rochester Three-dimensional model acquisition using planar mirrors
US9508176B2 (en) 2011-11-18 2016-11-29 Lucasfilm Entertainment Company Ltd. Path and speed based character control
US20130141433A1 (en) * 2011-12-02 2013-06-06 Per Astrand Methods, Systems and Computer Program Products for Creating Three Dimensional Meshes from Two Dimensional Images
KR101908284B1 (ko) 2012-01-13 2018-10-16 삼성전자주식회사 신체 연결 관계 분석 장치 및 방법
US10269165B1 (en) 2012-01-30 2019-04-23 Lucasfilm Entertainment Company Ltd. Facial animation models
US11189917B2 (en) 2014-04-16 2021-11-30 Rearden, Llc Systems and methods for distributing radioheads
US9923657B2 (en) 2013-03-12 2018-03-20 Rearden, Llc Systems and methods for exploiting inter-cell multiplexing gain in wireless cellular systems via distributed input distributed output technology
US9973246B2 (en) 2013-03-12 2018-05-15 Rearden, Llc Systems and methods for exploiting inter-cell multiplexing gain in wireless cellular systems via distributed input distributed output technology
US10488535B2 (en) 2013-03-12 2019-11-26 Rearden, Llc Apparatus and method for capturing still images and video using diffraction coded imaging techniques
RU2767777C2 (ru) 2013-03-15 2022-03-21 Риарден, Ллк Системы и способы радиочастотной калибровки с использованием принципа взаимности каналов в беспроводной связи с распределенным входом - распределенным выходом
US9196084B2 (en) 2013-03-15 2015-11-24 Urc Ventures Inc. Determining object volume from mobile device images
US10019825B2 (en) 2013-06-05 2018-07-10 Intel Corporation Karaoke avatar animation based on facial motion data
US9635895B1 (en) 2013-10-29 2017-05-02 Vf Imagewear, Inc. System and method for mapping wearer mobility for clothing design
US9910275B2 (en) 2015-05-18 2018-03-06 Samsung Electronics Co., Ltd. Image processing for head mounted display devices
CN105225262B (zh) * 2015-10-23 2018-09-21 深圳华侨城文化旅游科技股份有限公司 一种动态捕捉3d数据处理方法
WO2017116241A1 (en) * 2015-12-30 2017-07-06 Tds Polska Sp. Z O.O. The video-based system for the analysis of the sports' playground data for the purpose of statistical analysis, training and tactics development, especially in the basketball
US10452874B2 (en) 2016-03-04 2019-10-22 Disney Enterprises, Inc. System and method for identifying and tagging assets within an AV file
US10403037B1 (en) 2016-03-21 2019-09-03 URC Ventures, Inc. Verifying object measurements determined from mobile device images
US9495764B1 (en) 2016-03-21 2016-11-15 URC Ventures, Inc. Verifying object measurements determined from mobile device images
US10380758B2 (en) * 2016-04-27 2019-08-13 Mad Street Den, Inc. Method for tracking subject head position from monocular-source image sequence
EP3582642A4 (en) 2017-02-20 2021-01-13 3M Innovative Properties Company OPTICAL ARTICLES AND INTERACTING SYSTEMS
US10186049B1 (en) 2017-03-06 2019-01-22 URC Ventures, Inc. Determining changes in object structure over time using mobile device images
DE102017113615A1 (de) * 2017-06-20 2018-12-20 Carl Zeiss Smt Gmbh System, Verfahren und Marker zur Positionsbestimmung eines beweglichen Objektes im Raum
US20210134049A1 (en) * 2017-08-08 2021-05-06 Sony Corporation Image processing apparatus and method
WO2019064108A1 (en) 2017-09-27 2019-04-04 3M Innovative Properties Company PERSONAL PROTECTIVE EQUIPMENT MANAGEMENT SYSTEM USING OPTICAL PATTERNS FOR EQUIPMENT AND SECURITY MONITORING
BR112020012480B1 (pt) 2017-12-28 2023-11-21 Colgate-Palmolive Company Método para estimativa de uma pose de um dispositivo de higiene oral e sistema de rastreamento de movimento
CN108401177B (zh) * 2018-02-27 2021-04-27 上海哔哩哔哩科技有限公司 视频播放方法、服务器及视频播放系统
US11077351B2 (en) 2018-05-02 2021-08-03 Rapsodo Pte. Ltd. Measurement and reconstruction of the golf launching scene in 3D
TWI684955B (zh) * 2018-05-25 2020-02-11 瑞昱半導體股份有限公司 前景影像的提取方法與電子裝置
CN109063536A (zh) * 2018-06-01 2018-12-21 浙江理工大学 一种反射式舞台人员身份识别方法
KR102215290B1 (ko) * 2018-08-27 2021-02-15 주식회사 쓰리디팩토리 컴퓨터 그래픽 합성 시스템 및 방법
TWI681755B (zh) * 2018-12-24 2020-01-11 山衛科技股份有限公司 脊椎側彎量測系統與方法
JP2021184215A (ja) * 2020-05-22 2021-12-02 国立大学法人 東京大学 皮膚情報を用いた運動特徴量の取得方法及び装置
US11989899B2 (en) 2021-02-09 2024-05-21 Everypoint, Inc. Determining object structure using physically mounted devices with only partial view of object
US11282291B1 (en) 2021-02-09 2022-03-22 URC Ventures, Inc. Determining object structure using fixed-location cameras with only partial view of object
US11741618B2 (en) 2021-03-22 2023-08-29 Everypoint, Inc. Performing object modeling by combining visual data from images with motion data of the image acquisition device
CN113920164B (zh) * 2021-10-27 2024-05-24 浙江工商大学 一种剧场环境下基于近红外防伪油墨的演员身份重识别方法
KR102475243B1 (ko) * 2022-04-19 2022-12-09 키담 주식회사 영상의 배경 편집 기능을 가진 스포츠 교육 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002517859A (ja) * 1998-06-08 2002-06-18 マイクロソフト コーポレイション 表情の３ｄジオメトリ、色、およびシェーディングを取り込んで表すための方法およびシステム
US20060055699A1 (en) * 2004-09-15 2006-03-16 Perlman Stephen G Apparatus and method for capturing the expression of a performer
WO2006098770A2 (en) * 2005-03-10 2006-09-21 Rearden Llc Apparatus and method for performing motion capture using shutter synchronization

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5235416A (en) * 1991-07-30 1993-08-10 The Government Of The United States Of America As Represented By The Secretary Of The Department Of Health & Human Services System and method for preforming simultaneous bilateral measurements on a subject in motion
US6020892A (en) * 1995-04-17 2000-02-01 Dillon; Kelly Process for producing and controlling animated facial representations
US5818463A (en) * 1997-02-13 1998-10-06 Rockwell Science Center, Inc. Data compression for animated three dimensional objects
US5958560A (en) 1997-11-26 1999-09-28 Ewan; Frederick R. Temporary tatoo and method for manufacturing same
US20050105772A1 (en) * 1998-08-10 2005-05-19 Nestor Voronka Optical body tracker
US6487516B1 (en) * 1998-10-29 2002-11-26 Netmor Ltd. System for three dimensional positioning and tracking with dynamic range extension
US7050655B2 (en) * 1998-11-06 2006-05-23 Nevengineering, Inc. Method for generating an animated three-dimensional video head
WO2005099423A2 (en) * 2004-04-16 2005-10-27 Aman James A Automatic event videoing, tracking and content generation system
US7483049B2 (en) * 1998-11-20 2009-01-27 Aman James A Optimizations for live event, real-time, 3D object tracking
JP2000163596A (ja) * 1998-11-30 2000-06-16 Art Wing:Kk 動画処理装置
US6633294B1 (en) * 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation
US6522332B1 (en) * 2000-07-26 2003-02-18 Kaydara, Inc. Generating action data for the animation of characters
US6950104B1 (en) * 2000-08-30 2005-09-27 Microsoft Corporation Methods and systems for animating facial features, and methods and systems for expression transformation
US20030016368A1 (en) * 2001-07-23 2003-01-23 Aman James A. Visibly transparent retroreflective materials
US6592465B2 (en) * 2001-08-02 2003-07-15 Acushnet Company Method and apparatus for monitoring objects in flight
JP2003057017A (ja) * 2001-08-10 2003-02-26 Kao Corp 三次元物体の測定装置
US7231063B2 (en) * 2002-08-09 2007-06-12 Intersense, Inc. Fiducial detection system
US7027054B1 (en) * 2002-08-14 2006-04-11 Avaworks, Incorporated Do-it-yourself photo realistic talking head creation system and method
CN1506799A (zh) * 2002-12-11 2004-06-23 技嘉科技股份有限公司 虚拟位置动作捕捉装置
US9177387B2 (en) * 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
US7218320B2 (en) * 2003-03-13 2007-05-15 Sony Corporation System and method for capturing facial and body motion
US7068277B2 (en) * 2003-03-13 2006-06-27 Sony Corporation System and method for animating a digital facial model
JP2005258891A (ja) * 2004-03-12 2005-09-22 Nippon Telegr & Teleph Corp <Ntt> ３ｄモーションキャプチャ方法および装置
US20060055706A1 (en) * 2004-09-15 2006-03-16 Perlman Stephen G Apparatus and method for capturing the motion of a performer
US7777199B2 (en) * 2004-09-17 2010-08-17 Wichita State University System and method for capturing image sequences at ultra-high framing rates
US7324110B2 (en) * 2004-12-09 2008-01-29 Image Metrics Limited Method and system for cleaning motion capture data
US8659668B2 (en) * 2005-10-07 2014-02-25 Rearden, Llc Apparatus and method for performing motion capture using a random pattern on capture surfaces
US7667767B2 (en) * 2006-06-07 2010-02-23 Onlive, Inc. System and method for three dimensional capture of stop-motion animated characters

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002517859A (ja) * 1998-06-08 2002-06-18 マイクロソフト コーポレイション 表情の３ｄジオメトリ、色、およびシェーディングを取り込んで表すための方法およびシステム
US20060055699A1 (en) * 2004-09-15 2006-03-16 Perlman Stephen G Apparatus and method for capturing the expression of a performer
WO2006098770A2 (en) * 2005-03-10 2006-09-21 Rearden Llc Apparatus and method for performing motion capture using shutter synchronization

Also Published As

Publication number Publication date
WO2008057953A2 (en) 2008-05-15
EP2078287A4 (en) 2017-06-21
US8330823B2 (en) 2012-12-11
CA2668430A1 (en) 2008-05-15
EP2078287A2 (en) 2009-07-15
CN101573733B (zh) 2016-08-31
AU2007317448A1 (en) 2008-05-15
JP5235891B2 (ja) 2013-07-10
KR20120135922A (ko) 2012-12-17
AU2007317448B2 (en) 2012-10-11
JP2010508609A (ja) 2010-03-18
CA2668430C (en) 2013-10-01
US20080100622A1 (en) 2008-05-01
KR20090081004A (ko) 2009-07-27
CN101573733A (zh) 2009-11-04
WO2008057953A3 (en) 2008-07-31

Similar Documents

Publication Publication Date Title
KR101342257B1 (ko) 모션 픽쳐에서의 표면을 캡처하는 방법 및 시스템, 컴퓨터 프로그램이 기록된 컴퓨터 판독가능 기록 매체
Achenbach et al. Fast generation of realistic virtual humans
EP2078419B1 (en) Segment tracking in motion picture
Alexander et al. The digital emily project: photoreal facial modeling and animation
US8384714B2 (en) Systems, methods and devices for motion capture using video imaging
US8902232B2 (en) Facial performance synthesis using deformation driven polynomial displacement maps
KR101455403B1 (ko) 얼굴 모션 데이터 캡쳐링 및 처리
JP5468047B2 (ja) デジタル顔モデルのアニメーション化のためのシステム及び方法
Bhat et al. High fidelity facial animation capture and retargeting with contours
Tsoli et al. Breathing life into shape: Capturing, modeling and animating 3D human breathing
KR20120006610A (ko) 얼굴 애니메이션 시스템 및 방법
CA2634980A1 (en) Eye movement data replacement in motion capture
Woodward et al. A low cost framework for real-time marker based 3-D human expression modeling
Sibbing et al. Markerless reconstruction of dynamic facial expressions
AU2012203097B2 (en) Segment tracking in motion picture
Bradwell et al. A tutorial on motion capture driven character animation

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161125

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171129

Year of fee payment: 5