KR101299840B1 - 모바일 모션 캡쳐 카메라 - Google Patents

모바일 모션 캡쳐 카메라 Download PDF

Info

Publication number
KR101299840B1
KR101299840B1 KR1020087002642A KR20087002642A KR101299840B1 KR 101299840 B1 KR101299840 B1 KR 101299840B1 KR 1020087002642 A KR1020087002642 A KR 1020087002642A KR 20087002642 A KR20087002642 A KR 20087002642A KR 101299840 B1 KR101299840 B1 KR 101299840B1
Authority
KR
South Korea
Prior art keywords
motion capture
camera
mobile
motion
volume
Prior art date
Application number
KR1020087002642A
Other languages
English (en)
Other versions
KR20080059144A (ko
Inventor
데미안 고든
Original Assignee
소니 주식회사
소니 픽쳐스 엔터테인먼트, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/372,330 external-priority patent/US7333113B2/en
Application filed by 소니 주식회사, 소니 픽쳐스 엔터테인먼트, 인크. filed Critical 소니 주식회사
Publication of KR20080059144A publication Critical patent/KR20080059144A/ko
Application granted granted Critical
Publication of KR101299840B1 publication Critical patent/KR101299840B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

모션을 캡쳐링하기 위한 시스템은 적어도 하나의 이동 오브젝트 상에 복수의 포인트를 정의하는 마커를 구비하는 적어도 하나의 이동 오브젝트를 포함하는 모션 캡쳐 볼륨; 모션 캡쳐 볼륨 내에서 이동 가능하도록 구성된 적어도 하나의 모바일 모션 캡쳐 카메라; 및 적어도 하나의 모바일 모션 캡쳐 카메라에 결합되고, 적어도 하나의 이동 오브젝트의 움직임의 디지털 표현을 생성하는 모션 캡쳐 프로세서를 포함한다.
모션 캡쳐, 3D, 이미지 처리, 모션 캡쳐 볼륨, 카메라

Description

모바일 모션 캡쳐 카메라{MOBILE MOTION CAPTURE CAMERAS}
<관련 출원의 상호 참조>
본 출원은, 2003년 5월 1일에 제출된 "System and Method for Capturing Facial and Body Motion."이란 제목의 미국 특허 출원 일련번호 10/427,114의 일부 계속 출원인, 2004년 12월 3일에 제출된 "System anc Method fpr Capturing Facial and Body Motion."란 제목의 미국 특허 출원 일련번호 11/004,320의 일부 계속 출원으로서 35 U.S.C §120에 따라 우선권을 주장한다. 또한, 본 출원은 2005년 7월 1일에 제출된 "Mobile Motion Capture Cameras."란 제목의 공동계류중인 미국 가출원 일련 번호 60/696,193의 우선권을 주장한다.
2003년 5월 1일, 2004년 12월 3일 및 2005년 7월 1일의 제출일을 포함하는 상기 출원들에 대한 우선권이 본 명세서에서 주장되며, 상기 특허 출원들의 개시는 본 명세서에 참조로 원용된다.
본 발명은 3차원 그래픽스 및 애니메이션에 관한 것으로, 특히 복수의 연기자를 수용할 수 있는 볼륨 내에서 얼굴 및 몸 모션이 동시에 캡쳐될 수 있게 하는 모션 캡쳐 시스템에 관한 것이다.
모션 캡쳐 시스템은 실제 오브젝트의 움직임을 캡쳐하여 이를 컴퓨터 생성된 오브젝트 상으로 매핑하는데 이용된다. 그러한 시스템들은 종종 컴퓨터 그래픽스(CG) 애니메이션을 생성하는 소스 데이터로서 이용되는 사람의 디지털 표현(digital presentation)을 생성하기 위한 모션 픽쳐 및 비디오 게임의 생성에 이용된다. 전형적인 시스템에서, 연기자는 다양한 로케이션에 부착된 마커를 가지는(예를 들면, 몸 및 손발에 부착된 작은 반사형 마커를 가짐) 슈트를 입고 있고, 마커를 조명하는 동안에 디지털 카메라는 다른 각도에서 연기자의 움직임을 레코딩한다. 그리고 나서, 시스템은 이미지를 분석하여 각 프레임에서 연기자의 슈트 상의 마커의 로케이션(예를 들면, 공간 좌표로서) 및 방향을 결정한다. 마커의 로케이션을 추적함으로써, 시스템은 시간에 걸친 마커의 공간 표현을 생성하고 모션 중인 연기자의 디지털 표현을 구축한다. 그리고나서, 모션이 디지털 모델에 적용되고, 그리고나서 텍스쳐링 및 렌더링되어 연기자 및/또는 연기의 완전한 CG 표현을 생성한다. 이러한 기술은 다수의 인기많은 영화에서 믿기 어려울 정도로 사실적인 애니메이션을 생성하는 특수 효과 회사에 의해 이용되었다.
모션 캡쳐 시스템은 연기자의 얼굴 모션 및 표정(예를 들면, 웃기, 울기, 미소, 등)의 표현을 생성하기 위해 연기자의 얼굴 특징의 모션을 추적하는데 이용된다. 몸 모션 캡쳐에서와 같이, 마커는 연기자의 얼굴에 부착되고 카메라는 연기자의 표정을 레코딩한다. 얼굴 움직임은 몸 움직임과 관련된 더 큰 근육과 비교할 때 비교적 작은 근육에 관련되므로, 얼굴 마커는 통상 대응하는 몸 마커보다는 훨씬 더 작고, 카메라는 통상 몸 모션 캡쳐에 일반적으로 이용되는 카메라보다 더 큰 해상도를 가지고 있다. 카메라는 통상 카메라가 연기자의 얼굴에 포커싱을 유지하도록 제한되는 연기자의 물리적 움직임과 공통 면으로 통상 정렬된다. 얼굴 모션 캡쳐 시스템은 얼굴 마커를 일정하게 조명하고 카메라와 얼굴간의 상대 움직임의 정도를 최소화하기 위해, 헬멧 또는 연기자에게 물리적으로 부착되는 다른 기구에 통합될 수 있다. 이 때문에, 얼굴 움직임 및 몸 움직임은 통상 분리된 단계에서 캡쳐된다. 그리고나서, 캡쳐된 얼굴 모션 데이터는 후속 애니메이션 프로세스의 일부로서 캡쳐된 몸 모션 데이터와 나중에 결합된다.
키 프레이밍과 같은 전통적인 애니메이션 기술을 능가하는 모션 캡쳐 시스템의 장점은 실시간 가시화의 성능이다. 프로덕션 팀은 연기자의 모션의 공간 표현을 실시간 또는 거의 실시간으로 검토할 수 있으므로, 연기자가 최적 데이터를 캡쳐하도록 물리적 연기를 변경할 수 있게 한다. 더구나, 모션 캡쳐 시스템은 다른 애니메이션 기술을 이용하여 쉽게 재생될 수 없는 물리적 움직임의 미묘한 뉘앙스를 검출하고, 그럼으로써 자연스러운 움직임을 더 정확하게 반영하는 데이터를 생성한다. 결과적으로, 모션 캡쳐 시스템을 이용하여 수집된 소스 자료를 이용하여 생성된 애니메이션은 더 사실적인 외관을 나타낸다.
모션 캡쳐 시스템의 이들 장점에도 불구하고, 얼굴 및 몸 모션의 분리된 캡쳐는 종종 실제로 사실같지 않은 애니메이션 데이터로 나타나게 된다. 얼굴 모션 및 몸 모션은 불가분하게 결합되므로, 얼굴 표정은 종종 대응하는 몸 모션에 의해 강화된다. 예를 들면, 연기자는 흥분하여 말할 때 팔 흔들기를 이용하거나 눈살을 찌푸릴 때 어깨를 으쓱하는 것을 이용하는 것과 같이, 모션을 통신하고 대응하는 얼굴 표정을 강조하는데 특정 몸 모션(즉, 몸 언어)을 활용할 수 있다. 얼굴 모션과 몸 모션간의 이러한 결합은 모션들이 분리되어 캡쳐되는 경우에는 손실되고, 이렇게 분리되어 캡쳐된 모션을 함께 동기화하는 것이 어렵다. 얼굴 모션과 몸 모션이 결합되는 경우에, 결과적인 애니메이션은 종종 눈에 띄게 비정상적인 것으로 보일 것이다. 모션 캡쳐의 목적은 점점 더 사실적인 애니메이션의 생성을 가능하게 하는 것이므로, 얼굴 및 몸 모션의 디커플링은 종래 모션 캡쳐 시스템의 상당한 결함을 나타낸다.
종래 모션 캡쳐 시스템의 다른 단점은, 연기자의 모션 데이터가 소도구 또는 다른 배우자 등의 다른 오브젝트와의 간섭에 의해 차단될 수 있다는 점이다. 특히, 몸 또는 얼굴 마커의 일부가 디지털 카메라의 시야로부터 차단되는 경우, 그 몸 또는 얼굴의 일부와 관련된 데이터는 수집되지 않는다. 이것은 모션 데이터의 오클루젼(occlusion) 또는 홀(hole)로 나타나게 된다. 오클루젼은 나중에 종래의 컴퓨터 그래픽스 기술을 이용하여 후-공정 동안에 채워질 수 있지만, 필 데이터(fill data)는 실제 모션 데이터의 품질을 결여되게 하고, 결과적으로 애니메이션에 있어서 뷰잉 관객이 인식할 수 있는 결함이 나타나게 된다. 이러한 문제를 회피하기 위해, 종래 모션 캡쳐 시스템은 한 번에 캡쳐될 수 있는 오브젝트의 개수를, 예를 들면 하나의 연기자로 제한한다. 연기자의 연기의 품질은 다른 연기자 및 오브젝트와의 인터액션에 따라 좌우되므로, 이것은 모션 데이터를 덜 사실적으로 보이게 하는 경향이 있다. 더구나, 이들 분리된 연기를 자연스럽게 보이는 방식으로 함께 조합하는 것이 어렵다.
종래 모션 캡쳐 시스템의 또 다른 단점은 오디오가 모션 캡쳐와 동시에 레코딩되지 않는다는 점이다. 에니메이션에서, 오디오 트랙을 우선 레코딩하고 그리고나서 캐릭터를 애니메이팅하여 오디오 트랙을 매칭하는 것이 통상적이다. 얼굴 모션 캡쳐 동안에, 연기자는 레코딩된 오디오 트랙에 립싱크할 것이다. 이것은, 연기자가 얼굴 모션을 오디오 트랙에 완전하게 동기화하는 것이 어려우므로, 불가피하게 결과적으로 모션 데이터의 시각 품질의 추가 저하로 나타나게 된다. 또한, 몸 모션은 말이 전달되는 방식에 영향을 미치고, 몸 및 얼굴 모션의 분리된 캡쳐는 오디오 트랙을 동기화하여 전체적으로 잘 맞는 최종 제품을 생성하는 데 어려움을 증가시킨다.
따라서, 종래 기술의 이들 및 다른 단점들을 극복하는 모션 캡쳐 시스템을 제공하는 것이 바람직할 것이다. 더 구체적으로는, 몸 및 얼굴 모션이 복수의 연기자들을 수용할 수 있는 볼륨 내에서 동시에 캡쳐될 수 있게 하는 모션 캡쳐 시스템을 제공하는 것이 바람직할 것이다. 또한, 몸 및 얼굴 모션 캡쳐와 동시에 오디오 레코딩을 가능하게 하는 모션 캡쳐 시스템을 제공하는 것이 바람직할 것이다.
본 발명은 모바일 모션 캡쳐 카메라를 이용하여 모션을 캡쳐하기 위한 시스템 및 방법을 제공한다.
하나의 구현에서, 적어도 하나의 이동 오브젝트를 포함하도록 구성되고, 상기 적어도 하나의 이동 오브젝트 상에는 복수의 포인트를 정의하는 마커(markers)가 구비되어 있는 모션 캡쳐 볼륨, 상기 모션 캡쳐 볼륨 내에서 이동가능하도록 구성된 적어도 하나의 모바일 모션 캡쳐 카메라, 및 상기 적어도 하나의 모바일 모션 캡쳐 카메라에 결합되어, 상기 적어도 하나의 이동 오브젝트의 움직임의 디지털 표현(digital representation)을 생성하는 모션 캡쳐 프로세서를 포함한다.
다른 구현에서, 이동가능하도록 구성되고, 모션 캡쳐 볼륨 내에서 모션을 캡쳐하도록 동작하는 적어도 하나의 모바일 모션 캡쳐 카메라, 및 적어도 하나의 모바일 모션 캡쳐 리그를 포함하고, 상기 적어도 하나의 모바일 모션 캡쳐 리그는, 상기 적어도 하나의 모바일 모션 캡쳐 카메라의 카메라들이 이동될 수 있도록, 상기 적어도 하나의 모바일 모션 캡쳐 카메라가 적어도 하나의 모바일 모션 캡쳐 리그 상에 배치될 수 있도록 구성된다.
다른 구현에서, 적어도 하나의 이동 오브젝트를 포함하도록 구성되고 상기 적어도 하나의 이동 오브젝트 상에 복수의 포인트를 정의하는 마커(markers)가 구비되어 있는 모션 캡쳐 볼륨을 정의하는 단계, 상기 모션 캡쳐 볼륨 내에서 적어도 하나의 모바일 모션 캡쳐 카메라를 이동시키는 단계, 및 상기 적어도 하나의 모바일 모션 캡쳐 카메라로부터의 데이터를 처리하여, 상기 적어도 하나의 이동 오브젝트의 움직임의 디지털 표현을 생성하는 단계를 포함한다.
또 다른 구현에서, 적어도 하나의 이동 오브젝트를 포함하도록 구성되고 상기 적어도 하나의 이동 오브젝트 상에 복수의 포인트를 정의하는 마커(markers)가 구비되어 있는 모션 캡쳐 볼륨을 정의하기 위한 수단, 상기 모션 캡쳐 볼륨 내에서 적어도 하나의 모바일 모션 캡쳐 카메라를 이동시키기 위한 수단, 및 상기 적어도 하나의 모바일 모션 캡쳐 카메라로부터의 데이터를 처리하여 상기 적어도 하나의 이동 오브젝트의 움직임의 디지털 표현을 생성하기 위한 수단을 포함한다.
도 1은 본 발명의 실시예에 따른 모션 캡쳐 시스템을 예시하는 블록도이다.
도 2는 모션 캡쳐 볼륨 주변부 주위에 배열된 복수의 모션 캡쳐 카메라를 구비하는 모션 캡쳐 볼륨의 상면도이다.
도 3은 모션 캡쳐 볼륨의 주변부 주위에 배열된 복수의 모션 캡쳐 카메라를 구비하는 모션 캡쳐 볼륨의 측면도이다.
도 4는 모션 캡쳐 볼륨의 사분면에 대한 얼굴 모션 카메라의 배열을 예시하는 모션 캡쳐 볼륨의 상면도이다.
도 5는 모션 캡쳐 볼륨의 코너에 대해 얼굴 모션 카메라의 다른 배열을 예시하는 모션 캡쳐 볼륨의 상면도이다.
도 6은 모션 캡쳐 볼륨에서 2명의 연기자를 반영하는 모션 캡쳐 데이터를 예시하는 모션 캡쳐 볼륨의 사시도이다.
도 7은 모션 캡쳐 볼륨의 2명의 연기자를 반영하고 데이터의 오클루젼 영역을 나타내는 모션 캡쳐 데이터를 예시하고 있다.
도 8은 2개의 연기자 중 하나가 오클루젼 영역에 의해 가려지는, 도 7에서와 같은 모션 캡쳐 데이터를 예시하고 있다.
도 9는 모션 캡쳐 시스템에 이용되는 모션 캡쳐 카메라의 다른 실시예를 예시하는 블록도이다.
도 10은 본 발명의 다른 실시예에 따른 모션 캡쳐 시스템을 예시하는 블록도이다.
도 11은 복수의 연기 영역을 정의하는 확장된 모션 캡쳐 볼륨의 상면도이다.
도 12a-12c는 모션 캡쳐 카메라의 다른 배열을 예시하는 도 11의 확장된 모션 캡쳐 볼륨의 상면도이다.
도 13은 모바일 모션 캡쳐 리그(rig) 상에 배치된 카메라의 하나의 구현의 정면도를 도시하고 있다.
도 14는 도 13에 도시된 모바일 모션 캡쳐 리그의 특정 구현의 정면도를 예시하고 있다.
도 15는 도 13에 도시된 모바일 모션 캡쳐 리그의 특정 구현의 상면도를 예시하고 있다.
도 16은 도 13에 도시된 모바일 모션 캡쳐 리그의 특정 구현의 측면도를 예시하고 있다.
도 17은 모바일 모션 캡쳐 리그 상에 배치된 카메라의 다른 구현의 정면도를 도시하고 있다.
도 18은 모바일 모션 캡쳐 리그 상에 배치된 카메라의 또 다른 구현의 정면 사시도를 도시하고 있다.
도 19는 모션을 캡쳐하기 위한 방법의 하나의 구현을 예시하고 있다.
이하에 더 설명되는 바와 같이, 본 발명은 복수의 연기자를 수용할 수 있는 볼륨 내에서 몸 및 얼굴 모션이 둘다 동시에 캡쳐될 수 있도록 하는 모션 캡쳐 시스템에 대한 필요성을 만족시킨다. 또한 본 발명은 몸 및 얼굴 모션 캡쳐와 동시에 오디오 레코딩을 가능하게 하는 모션 캡쳐 시스템에 대한 필요성을 만족시킨다. 이하의 상세한 설명에서, 유사한 구성요소 참조부호는 하나 이상의 도면에서 예시된 유사한 구성요소를 설명하는데 이용된다.
우선, 도 1을 참조하면, 블록도는 본 발명의 실시예에 따른 모션 캡쳐 시스템(10)을 예시하고 있다. 모션 캡쳐 시스템(10)은 복수의 얼굴 모션 카메라(141-14N) 및 복수의 몸 모션 카메라(161-16N)와 통신하도록 구성된 모션 캡쳐 프로세서(12)를 포함한다. 모션 캡쳐 프로세서(12)는 연관된 데이터 파일의 저장이 가능하도록 구성된 데이터 저장 디바이스(20)를 구비하는 프로그램가능한 컴퓨터를 더 포함한다. 하나 이상의 컴퓨터 워크스테이션(181-18N)은 네트워크를 이용하여 모션 캡쳐 프로세서(12)에 결합되어 복수의 그래픽 아티스트들이 컴퓨터 그래픽스 애니메이션을 생성하는 프로세스에서 저장된 데이터 파일로 작업할 수 있게 한다. 얼굴 모션 카메라(141-14N) 및 몸 모션 카메라(161-16N)는 모션 캡쳐 볼륨(나중에 설명됨)에 대해 배열되어, 모션 캡쳐 볼륨 내에서 연기하는 하나 이상의 연기자의 조합된 모션을 캡쳐한다.
각 연기자의 얼굴 및 몸은 모션 캡쳐 볼륨 내에서 연기자의 연기 동안에 얼굴 모션 카메라(141-14N) 및 몸 모션 카메라(161-16N)에 의해 검출되는 마커로 마킹된다. 마커는 반사형 또는 조명되는 구성요소일 수 있다. 특히, 각 연기자의 몸은 머리, 다리, 팔 및 몸통을 포함하는 다양한 몸 로케이션에 배치된 복수의 반사형 마커로 마킹될 수 있다. 연기자는 마커가 부착된 비-반사형 재료로 형성된 몸 슈트를 착용하고 있을 수 있다. 연기자의 얼굴은 복수의 마커로 마킹될 것이다. 얼굴 마커는 일반적으로 몸 마커보다 작고 몸 마커의 개수보다 많은 개수의 얼굴 마커가 이용된다. 충분한 해상도로 얼굴 모션을 캡쳐하기 위해, 큰 개수의 얼굴 마커가 이용되어야 할 것으로 예상된다(예를 들면, 100개 이상). 하나의 구현에서, 152개의 작은 얼굴 마커 및 64개의 큰 몸 마커가 연기자에게 부착된다. 몸 마커는 5 내지 9밀리미터의 범위의 폭 또는 직경을 가질 수 있는데 반해, 얼굴 마커는 2 내지 4 밀리미터 범위의 폭 또는 직경을 가질 수 있다.
얼굴 마크의 배치의 일관성을 보장하기 위해, 마스크는 원하는 마커 로케이션에 대응하는 적절한 로케이션에 뚫린 구멍을 갖고, 각 연기자의 얼굴로 형성될 수 있다. 마스크가 연기자의 얼굴 위에 놓여지고, 구멍 로케이션은 적절한 펜을 이용하여 얼굴에 바로 마크될 수 있다. 그리고나서, 얼굴 마커는 마크된 로케이션에서 연기자의 얼굴에 부착될 수 있다. 얼굴 마커는 메이크-업 접착제와 같은 연극 분야에서 알려진 적절한 재료를 이용하여 연기자의 얼굴에 고정될 수 있다. 이와 같이, 긴 기간 동안(예를 들면, 몇 개월)에 걸쳐 연장되는 모션 캡쳐 생성은 마커가 날마다 부착되고 제거되더라도 연기자에 대한 상당히 일관된 모션 데이터를 얻을 수 있다.
모션 캡쳐 프로세서(12)는 얼굴 모션 카메라(141-14N) 및 몸 모션 카메라(161-16N)로부터 수신된 2차원 이미지를 처리하여, 캡쳐된 모션의 3차원 디지털 표현을 생성한다. 특히, 모션 캡쳐 프로세서(12)는 각 카메라로부터 2차원 데이터를 수신하고 이미지 캡쳐 프로세스의 일부로서 그 데이터를 복수의 데이터 파일 형태로 데이터 저장 디바이스(20)에 저장한다. 그리고나서, 2차원 데이터 파일이, 이미지 처리 프로세스의 일부로서 개별적인 마커의 움직임을 나타내는 궤적 파일의 형태로 함께 결합되는 하나의 3차원 좌표 세트로 변환된다. 이미지 처리 프로세스는 하나 이상의 카메라로부터의 이미지를 이용하여 각 마커의 로케이션을 결정한다. 예를 들면, 마커는 모션 캡쳐 볼륨내의 연기자들의 얼굴 특징 또는 몸 일부에 의한 오클루젼으로 인해 카메라의 서브세트에만 보여질 수 있다. 그 경우에, 이미지 처리는 그 마커의 미차단된 뷰를 갖는 다른 카메라로부터의 이미지를 이용하여 공간에서 마커의 로케이션을 결정한다.
마커의 로케이션을 결정하는데 복수의 카메라로부터의 이미지를 이용함으로써, 이미지 처리 프로세스는 복수의 각도로부터의 이미지 정보를 평가하고 삼각측량 프로세스를 이용하여 공간 로케이션을 결정한다. 그리고나서, 동역학 계산이 궤적 파일에 대해 수행되어 연기자의 연기에 대응하는 몸 및 얼굴 모션을 반영하는 디지털 표현을 생성한다. 시간에 따른 공간 정보를 이용함으로써, 계산은 각 마커가 공간을 통해 이동함에 따라 각 마커의 진행을 결정한다. 적합한 데이터 관리 프로세스는 데이터 저장 디바이스(20)로의 전체 프로세스와 연관된 많은 개수의 파일의 저장 및 검색을 제어하는 데 이용될 수 있다. 모션 캡쳐 프로세서(12) 및 워크스테이션(181-18N)은 Vicon Motion Systems 또는 Motion Analysis Corp.로부터 가용한 것과 같은, 상용 소프트웨어 패키지를 활용하여 이들 및 다른 데이터 처리 기능을 수행한다.
모션 캡쳐 시스템(10)은 모션뿐만 아니라 오디오를 레코딩하는 성능을 더 포함한다. 복수의 마이크로폰(241-24N)은 모션 캡쳐 볼륨 근처에 배열되어 연기자의 연기 동안에 오디오(예를 들면, 말한 대화)를 픽업한다. 모션 캡쳐 프로세서(12)는 마이크로폰(241-24N)에 직접 또는 오디오 인터페이스(22)를 통해 결합된다. 마이크로폰(241-24N)은 하나의 위치에 고정되거나, 붐(boom) 위에서 이동가능하여 모션을 따라가거나, 연기자에 의해 운반되어 모션 캡쳐 프로세서(12) 또는 오디오 인터페이스(22)와 무선으로 통신할 수 있다. 모션 캡쳐 프로세서(12)는 레코딩된 오디오를 수신하여 시간 트랙 또는 모션 데이터와 동기화를 가능하게 하는 다른 데이터와 함께 디지털 파일 형태로 데이터 저장 디바이스(20) 상에 저장한다.
도 2 및 3은 복수의 모션 캡쳐 카메라에 의해 둘러싸인 모션 캡쳐 볼륨(30)을 예시하고 있다. 모션 캡쳐 볼륨(30)은 주변 에지(32)를 포함한다. 모션 캡쳐 볼륨(30)은 그리드 라인으로 서브분할된 직사각형 형태의 영역으로서 예시되어 있다. 모션 캡쳐 볼륨(30)은 실제로는 모션 캡쳐 볼륨에 대한 바닥을 정의하는 그리드를 가지는 3차원 공간을 포함한다는 것은 자명하다. 모션은 바닥 위의 3차원 공간 내에서 캡쳐될 것이다. 본 발명의 하나의 구현에서, 모션 캡쳐 볼륨(30)은 대략 10피트 X 10피트의 바닥 면적을 포함하고, 바닥 위에 대략 6피트의 높이를 가지고 있다. 타원, 원형, 직사각형, 다각형 등과 같이, 다른 크기 및 형태의 모션 캡쳐 볼륨도 프로덕션의 특정 요구를 맞추기 위해 양호하게 활용될 수 있다.
도 2는 주변 에지(32) 주위에 일반적인 원형 패턴으로 배열된 복수의 모션 캡쳐 카메라를 구비하는 모션 캡쳐 볼륨(30)의 상면도를 예시하고 있다. 개별적인 카메라는 카메라의 렌즈의 방향을 나타내는 예각을 가지는 삼각형으로 그래픽적으로 표현되어 있고, 따라서 복수의 카메라가 복수의 다른 방향으로부터 모션 캡쳐 볼륨(30)을 향하고 있다는 것은 자명하다. 특히, 복수의 모션 캡쳐 카메라는 복수의 몸 모션 카메라(161-16N) 및 복수의 얼굴 모션 카메라(141-14N)를 더 포함한다. 도 2의 큰 개수의 얼굴 모션 카메라를 감안하여, 다수가 라벨링되지 않는 것은 자명하다. 본 발명의 본 실시예에서, 몸 모션 카메라의 수보다 많은 다수의 얼굴 모션 카메라가 있다. 몸 모션 카메라(161-16N)는 모션 캡쳐 볼륨(30)의 사이드당 대략 2개가 배열되고, 얼굴 모션 카메라(141-14N)는 모션 캡쳐 볼륨(30)의 사이드 당 대략 12개가 배열된다. 얼굴 모션 카메라(141-14N) 및 몸 모션 카메라(161-16N)는 얼굴 모션 카메라의 포커싱 렌즈가 몸 모션 카메라보다 더 좁은 시야를 제공하도록 선택된다는 점을 제외하고는 거의 동일하다.
도 3은 모션 캡쳐 볼륨의 바닥 위에 대략 3개의 층으로 배열된 복수의 모션 캡쳐 카메라를 구비하는 모션 캡쳐 볼륨(30)의 측면도를 예시하고 있다. 하층은 모션 캡쳐 볼륨(30)의 사이드 당 대략 8개가 배열되는 복수의 얼굴 모션 카메라(141-1432)를 포함한다. 본 발명의 실시예에서, 하층 얼굴 모션 카메라(141-1432) 각각은 모션 캡쳐 볼륨(30)의 대략 반대측에 있는 카메라가 시야 내에 들어오지 않도록 약간 위로 향해 있다. 모션 캡쳐 카메라는 일반적으로 모션 캡쳐 볼륨(30)을 조명하는데 이용되는 광원(예를 들면, 발광 다이오드 어레이)을 포함한다. 광원은 반사형 마커로부터 데이터를 매몰시키는 밝은 반사로서 모션 캡쳐 카메라에 나타날 것이므로, 모션 캡쳐 카메라가 다른 모션 캡쳐 카메라의 광원을 보지 않도록 하는 것이 바람직하다. 중층은 모션 캡쳐 볼륨(30)의 사이드 당 대략 2개가 배열된 복수의 몸 모션 카메라(163-167)를 포함한다. 상기 설명된 바와 같이, 몸 모션 카메라는 얼굴 모션 카메라보다 넓은 시야를 가지고 있고, 이는 각 카메라가 그 각각의 시야내에서 더 많은 양의 모션 캡쳐 볼륨(30)을 포함할 수 있게 한다.
상층은 모션 캡쳐 볼륨(30)의 사이드 당 대략 5개가 배열되는 얼굴 모션 카메라(예를 들면, 1433-1452)를 포함한다. 본 발명의 실시예에서, 상층 얼굴 모션 카메라(1433-1452)의 각각은 모션 캡쳐 볼륨(30)의 대략 반대측에 있는 카메라가 시야 내에 들어오지 않도록 약간 아래로 향해 있다. 도 2의 좌측 사이드에 도시되어 있듯이, 다수의 얼굴 모션 카메라(예를 들면, 1453-1460)는 모션 캡쳐 볼륨(30)의 전방 에지 상에 포커싱된 중층에 포함되어 있다. 연기자의 연기는 일반적으로 모션 캡쳐 볼륨(30)의 전방 에지를 향하고 있을 것이므로, 그 영역에서의 카메라의 개수가 증가되어 오클루젼으로 인해 손실되는 데이터 양을 감소시킨다. 뿐만 아니라, 다수의 얼굴 모션 카메라(예를 들면, 1461-1464)는 모션 캡쳐 볼륨(30)의 코너에 포커싱된 중층에 포함된다. 이들 카메라는 오클루젼으로 인해 손실되는 데이터 양을 감소시키는 기능을 한다.
몸 및 얼굴 모션 카메라는 다수의 다른 각도로부터 마크된 연기자의 이미지를 레코딩함으로써, 연기자의 거의 모든 측면(lateral surface)들이 항상 적어도 하나의 카메라에 노출된다. 더 구체적으로는, 카메라의 배열은 연기자의 거의 모든 측면이 항상 적어도 3개의 카메라에 노출되도록 제공하는 것이 바람직하다. 카메라를 복수의 높이에 놓음으로써, 연기자가 모션 캡쳐 필드(30) 내에서 이동함에 따라, 불규칙적인 표면이 모델링될 수 있다. 이에 따라, 본 모션 캡쳐 시스템(10)은 얼굴 움직임(즉, 표정)과 동시에 연기자의 몸 움직임을 레코딩한다. 상기 설명된 바와 같이, 오디오 레코딩은 모션 캡쳐와 동시에 수행될 수도 있다.
도 4는 얼굴 모션 카메라의 배열을 예시하는 모션 캡쳐 볼륨(30)의 상면도이다. 모션 캡쳐 볼륨(30)은 그래픽적으로 a, b, c 및 d로 라벨링된 사분면으로 분할된다. 얼굴 모션 카메라는 클러스터(36, 38)로 그룹화되고, 각 카메라 클러스터는 복수의 카메라를 나타낸다. 예를 들면, 그러한 하나의 카메라 클러스터는 하층에 위치되는 2개의 얼굴 모션 카메라 및 상층에 위치되는 하나의 얼굴 모션 카메라를 포함한다. 클러스터 내의 다른 카메라 배열도 양호하게 이용될 수 있다. 2개의 카메라 클러스터(36, 38)는 물리적으로 서로 인접하여 배치되지만, 인식가능한 거리만큼 서로 수평으로 오프셋된다. 2개의 카메라 클러스터(36, 38)는 대략 45도의 각도로부터 사분면 d의 전방 에지에 각각 포커싱된다. 제1 카메라 클러스터(36)는 부분적으로부터 사분면 c의 전방 에지로, 그리고 사분면 d의 전방 에지의 우측 엔드로 연장되는 시야를 가지고 있다. 제2 카메라 클러스터(38)는 사분면 d의 전방 에지의 좌측 엔드로부터 부분적으로 그리고 사분면 d의 우측 에지로 연장되는 시야를 가지고 있다. 그러므로, 제1 및 제2 카메라 클러스터(36, 38)의 각 시야는 사분면 d의 전방 에지의 실질적인 길이 위에서 중첩된다. 카메라 클러스터의 유사한 배열은 사분면 a, b, c 및 d의 다른 외부 에지(주변 에지(32)와 일치함) 각각에 대해 포함된다.
도 5는 얼굴 모션 카메라의 다른 배열을 예시하는 모션 캡쳐 볼륨(30)의 상면도이다. 도 4에서와 같이, 모션 캡쳐 볼륨(30)은 그래픽적으로 사분면 a, b, c 및 d로 분할된다. 얼굴 모션 카메라는 클러스터(42, 44)로 그룹화되고, 각 카메라 클러스터는 복수의 카메라를 나타낸다. 도 4의 실시예에서와 같이, 클러스터들은 다양한 높이에 위치된 하나 이상의 카메라를 포함한다. 이러한 배열에서, 카메라 클러스터(42, 44)는 모션 캡쳐 볼륨에 대면하는 모션 캡쳐 볼륨(30)의 코너에 위치된다. 이들 코너 카메라 클러스터(42, 44)는 오클루젼으로 인한 것과 같이, 다른 카메라에 의해 픽업되지 않는 연기자들의 이미지들을 레코딩한다. 다른 유사한 카메라 클러스터들은 모션 캡쳐 볼륨(30)의 다른 코너에 위치될 수 있다.
모션 캡쳐 볼륨(30)에 대해 다양한 카메라 높이 및 각도를 가지는 것은 모션 캡쳐 볼륨에서 연기자로부터 캡쳐되는 가용한 데이터를 증가시키고 데이터 오클루젼의 가능성을 감소시키는 기능을 한다. 이것은 또한 복수의 연기자들이 모션 캡쳐 볼륨(30) 내에서 동시에 캡쳐될 수 있도록 허용한다. 더구나, 큰 개수 및 다양한 카메라는 모션 캡쳐 볼륨(30)이 종래 기술보다 실질적으로 더 크게 할 수 있으므로, 모션 캡쳐 볼륨 내에서 더 큰 범위의 모션 및 이에 따른 더 복잡한 연기를 가능하게 한다. 몸 및 얼굴 모션 카메라의 다수의 다른 배열이 양호하게 활용될 수 있다는 것은 자명하다. 예를 들면, 더 많거나 더 적은 개수의 분리된 층들이 이용될 수 있고, 개별 층 내의 각 카메라의 실제 높이가 가변될 수 있다.
모션 캡쳐 카메라의 상기 설명에서, 몸 및 얼굴 모션 카메라는 제자리에 고정되어 유지된다. 이와 같이, 모션 캡쳐 프로세서(12)는 몸 및 얼굴 마커의 움직임이 측정될 수 있는 고정된 기준점을 가지고 있다. 이러한 배열의 단점은, 이것이 모션 캡쳐 볼륨(30)의 크기를 제한시킨다는 점이다. 더 큰 공간 볼륨을 요구하는 연기(예를 들면, 캐릭터가 더 큰 거리에 걸쳐 달리고 있는 장면)의 모션을 캡쳐하는 것이 요구된 경우, 연기는 분리되어 모션 캡쳐되는 복수의 세그먼트로 분할되어야만 할 것이다.
다른 구현에서, 다수의 모션 캡쳐 카메라는 고정되어 유지되는데 대해, 다른 것들은 이동 가능하다. 하나의 구성에서, 이동가능한 모션 캡쳐 카메라는 새로운 위치(들)로 이동되고, 새로운 위치(들)에 고정된다. 다른 구성에서, 이동가능한 모션 캡쳐 카메라는 액션을 따르도록 이동된다. 그러므로, 이러한 구성에서, 모션 캡쳐 카메라는 이동하는 동안에 모션 캡쳐를 수행한다.
이동가능한 모션 캡쳐 카메라는 컴퓨터-제어형 서보모터를 이용하여 이동되거나, 사람 카메라 조작자에 의해 수동으로 이동될 수 있다. 카메라가 액션을 따라 이동되는 경우(즉, 카메라가 이동하는 동안에 모션 캡쳐를 수행한다), 모션 캡쳐 프로세서(12)는 카메라의 이동을 추적하고, 캡쳐된 데이터의 후속 처리에서 이러한 이동을 제거하여, 연기자의 연기에 대응하는 몸 및 얼굴 모션을 반영하는 3차원 디지털 표현을 생성한다. 이동가능한 카메라들은 모바일 모션 캡쳐 리그 상에 배치되어 함께 이동되거나 개별적으로 또는 함께 이동될 수 있다. 그러므로, 모션 캡쳐를 위해 모바일 또는 이동가능한 카메라를 이용하는 것은 모션 캡쳐 생성의 유연성을 개선한다.
도 13에 예시된 하나의 구현에서, 모바일 모션 캡쳐 리그(1300)는 6개의 카메라(1310, 1312, 1314, 1316, 1320, 1322)를 포함한다. 도 13은 모바일 모션 캡쳐 리그(1300) 상에 배치된 카메라의 전방 뷰를 도시하고 있다. 도 13의 예시된 예에서, 4개의 카메라(1310, 1312, 1314, 1316)가 모션 캡쳐 카메라이다. 2개의 카메라(1320, 1322)는 기준 카메라이다. 하나의 기준 카메라(1320)는 모션 캡쳐 카메라(1310, 1312, 1314, 1316)의 뷰를 보여주는 것이다. 제2 기준 카메라(1322)는 비디오 기준 및 조정을 위한 것이다. 그러나, 다른 개수의 모션 캡쳐 카메라 및 기준 카메라를 가지는 다른 카메라 구성도 가능하다.
도 13이 4개의 모션 캡쳐 카메라 및 2개의 기준 카메라를 구비하는 모바일 모션 캡쳐 리그(1300)를 도시하고 있지만, 리그(1300)는 하나의 모션 캡쳐 카메라만 또는 그보다 많은 모션 캡쳐 카메라를 포함할 수 있다. 예를 들면, 하나의 구현에서, 모바일 모션 캡쳐 링(1300)은 2개의 모션 캡쳐 카메라를 포함한다. 다른 구현에서, 모바일 모션 캡쳐 링(1300)은 스테레오 뷰를 제공하는 필드 스플리터 또는 거울을 구비하는 하나의 모션 캡쳐 카메라를 포함한다.
도 14, 도 15 및 도 16은 도 13에 도시된 모바일 모션 캡쳐 리그의 특정 구 현의 전방, 상부 및 측면도를 각각 예시하고 있다. 모바일 모션 캡쳐 리그의 치수는 그 폭과 길이가 대략 40″X 40″이고, 깊이가 대략 14″이다.
도 14는 모바일 모션 캡쳐 리그(1400)의 특정 구현의 전방도를 도시하고 있다. 4개의 모바일 모션 캡쳐 카메라(1410, 1412, 1414, 1416)는 모바일 모션 캡쳐 링(1400) 상에 배치되고, 폭 및 길이별로 대략 40 내지 48인치 떨어져서 배치된다. 각 모바일 모션 캡쳐 카메라(1410, 1412, 1414 또는 1416)는 대략 2″ 외부 직경을 가지는 회전가능한 실린더형 베이스 상에 배치된다. 모바일 모션 캡쳐 리그(1400)는 기준 카메라(1420), 컴퓨터 및 디스플레이(1430), 및 프레이밍 및 포커스를 위한 뷰 파인더(1440)를 포함한다.
도 15는 모바일 모션 캡쳐 리그(1400)의 특정 구현의 상면도를 도시하고 있다. 이러한 뷰는 4개의 모바일 모션 캡쳐 카메라(1410, 1412, 1414, 1416)의 오프셋 레이아웃을 예시하고 있다. 상부 카메라(1410, 1412)는 각각 대략 2 인치 및 6인치의 깊이로 배치되는데 대해, 기저 카메라(1414, 1416)는 각각 대략 14인치 및 1인치의 깊이로 배치된다. 또한, 상부 카메라(1410, 1412)는 그 폭이 대략 42인치 떨어져 있는데 대해, 기저 카메라(1414, 1416)는 그 폭이 대략 46인치 떨어져 있다.
도 16은 모바일 모션 캡쳐 리그(1400)의 특정 구현의 측면도를 도시하고 있다. 이러한 뷰는 4개의 모바일 모션 캡쳐 카메라(1410, 1412, 1414, 1416)가 배치되는 다른 높이를 강조한다. 예를 들면, 상부 카메라(1410)는 모바일 모션 캡쳐 카메라(1412)의 약 2인치 위에 배치되는데 대해, 기저 카메라(1414)는 모바일 모션 캡쳐 카메라(1416)의 약 2인치 아래에 배치된다. 일반적으로, 모션 캡쳐 카메라의 일부는, 카메라가 땅에 무릎을 꿇거나 내려다 보는 것과 같이, 매우 낮은 높이에서 연기를 캡쳐할 수 있도록 충분히 낮게(예를 들면, 그라운드로부터 약 2피트 떨어짐) 배치되어야 한다.
다른 구현에서, 예를 들면, 모바일 모션 캡쳐 리그는 복수의 모바일 모션 캡쳐 카메라를 포함하지만 어떠한 기준 카메라도 포함하지 않는다. 그러므로, 이러한 구현에서, 모바일 모션 캡쳐 카메라로부터의 피드백은 기준 정보로서 이용된다.
또한, 복수의 링 사이에 분산되거나 하나 이상의 이동가능한 링 및 고정된 위치 사이에서 분할된 200개 이상의 카메라와 같은 다양한 모든 카메라가 모션 캡쳐 셋업에 이용될 수 있다. 예를 들면, 셋업은 208개의 고정형 모션 캡쳐 카메라(32, 몸의 실시간 재구성을 수행함) 및 24개의 모바일 모션 캡쳐 카메라를 포함한다. 하나의 예에서, 24개의 모바일 모션 캡쳐 카메라는 6개의 모션 캡쳐 리그로 분산되어, 각 리그는 4개의 모션 캡쳐 카메라를 포함한다. 다른 예들에서, 모션 캡쳐 카메라는 모션 캡쳐 카메라가 개별적으로 이동하도록 어떠한 리그도 포함하지 않는 임의의 개수의 모션 캡쳐 리그로 분산될 수 있다.
도 17에 예시된 또 다른 구현에서, 모바일 모션 캡쳐 리그(1700)는 6개의 모션 캡쳐 카메라(1710, 1712, 1714, 1716, 1718, 1720) 및 2개의 기준 카메라(1730, 1732)를 포함한다. 도 17은 모바일 모션 캡쳐 리그(1700) 상에 배치된 카메라의 전방 뷰를 도시하고 있다. 또한, 모션 캡쳐 리그(1700)는 기준 카메라에 의해 캡쳐된 이미지를 보여주는 하나 이상의 디스플레이를 포함할 수 있다.
도 18은 카메라(1810, 1812, 1814, 1816, 1820)를 포함하는 모바일 모션 캡쳐 리그(1800)의 전방 사시도를 예시하고 있다. 도 18의 예시된 구현에서, 모바일 모션 캡쳐 리그(1800)는 모션 캡쳐 카메라(1810, 1812, 1814, 1816, 1820)에 적어도 3도의 자유(6-DOF) 움직임을 제공하는 서보모터를 포함한다. 그러므로, 6-DOF 움직임은 3개의 축, X, Y 및 Z에 따른 3개의 병진 움직임, 및 3개의 축 X, Y 및 Z를 중심으로 한 3개의 회전 움직임, 즉 틸트, 패닝(pan), 및 회전을 포함한다.
하나의 구현에서, 모션 캡쳐 리그(1800)는 모두 5개의 카메라(1810, 1812, 1814, 1816, 1820)에 6-DOF 움직임을 제공한다. 다른 구현에서, 모션 캡쳐 리그(1850) 상의 각 카메라(1810, 1812, 1814, 1816, 1820)는 6-DOF 움직임의 일부 또는 모두로 제한된다. 예를 들면, 상부 카메라(1810, 1812)는 X 및 Z 병진 움직임으로 제한되고, 회전 움직임으로 패닝 및 틸팅 다운되며, 하부 카메라(1814, 1816)는 X 및 Z 병진 움직임으로 제한되고, 회전 움직임으로 패닝 및 틸팅 다운되며, 중앙 카메라(1820)는 모든 6개의 방향(즉, X, Y, Z 병진 움직임, 틸팅, 패닝 및 회전 움직임을 회전시킴)으로 이동할 수 있도록 제한되지 않아도 된다. 추가 구현에서, 모션 캡쳐 리그(1800)는 숏 동안에 및/또는 그 사이에 이동하고, 패닝하며, 틸팅하고, 회전하여, 카메라가 고정 위치로 이동되거나 배치될 수 있거나, 액션을 따르도록 이동될 수 있다.
하나의 구현에서, 모션 캡쳐 리그(1800)의 모션은 하나 이상의 사람들에 의해 제어된다. 모션 제어는 수동적, 기계적 또는 자동일 수 있다. 다른 구현에서, 모션 캡쳐 리그는 미리 프로그래밍된 모션 세트를 따라 이동한다. 다른 구현에서, 모션 캡쳐 리그는 리그 모션 제어 시스템에 의해 수신된 RF, IR, 음파 또는 비주얼 신호에 기초하여 이동하는 연기자를 추적하는 것과 같이, 수신된 입력에 기초하여 자동으로 이동한다.
다른 구현에서, 하나 이상의 고정형 또는 모바일 모션 캡쳐 카메라에 대한 조명은 휘도가 향상된다. 예를 들면, 추가적인 라이트가 각 카메라에 놓여진다. 증가된 휘도는 감소된 f-정지 세팅이 이용될 수 있게 하고, 따라서 카메라가 모션 캡쳐를 위한 비디오를 캡쳐링하는 볼륨의 깊이를 증가시킬 수 있다.
다른 구현에서, 모바일 모션 캡쳐 리그는 24P 비디오(즉, 점진적 이미지 저장으로 초당 24 프레임)를 이용하는 머신 비젼 카메라 및 초당 60 프레임 모션 캡쳐 카메라를 포함한다.
도 19는 모바일 카메라를 이용하여 모션을 캡쳐하기 위한 방법(1900)의 하나의 구현을 예시하고 있다. 처음에, 적어도 하나의 이동하는 오브젝트를 포함하도록 구성된 모션 캡쳐 볼륨이 박스 1902에서 정의된다. 이동하는 오브젝트는 이동하는 오브젝트 상에 복수의 포인트를 정의하는 마커들을 가지고 있다. 볼륨은 이용 가이드라인(예를 들면, 연기자 및 카메라는 주어진 로케이션의 10 미터 내에 머물러야 한다)에 의해 정의된 개방된 공간, 또는 배리어(예를 들면, 벽) 또는 마커(예를 들면, 바닥의 마커)에 의해 정의된 제한된 공간일 수 있다. 다른 구현에서, 볼륨은 모션 캡쳐 카메라에 의해 캡쳐될 수 있는 영역에 의해 정의된다(예를 들면, 볼륨은 모바일 모션 캡쳐 카메라와 함께 이동한다). 그리고나서, 박스 1904에서, 적어도 하나의 모바일 모션 캡쳐 카메라는, 모바일 캡쳐 볼륨 내에서 이동 중인 동안에 이동하는 오브젝트의 거의 모든 측면으로 노출된 표면이 모바일 모션 캡쳐 카메라의 시야 내에 거의 항상 있도록 모션 캡쳐 볼륨의 주변 주위에서 이동된다. 다른 구현에서, 하나 이상의 모바일 모션 캡쳐 카메라는 (하나 이상의 카메라들이 주변부 주위를 이동하는 대신에, 또는 그 뿐만 아니라) 주변부만이라기보다는 볼륨 내에서 이동한다. 마지막으로, 모션 캡쳐 카메라로부터의 데이터가 박스 1906에서 처리되어, 이동하는 오브젝트의 움직임의 디지털 표현을 생성한다.
도 6은 모션 캡쳐 볼륨 내의 2명의 연기자(52, 54)를 반영하는 모션 캡쳐 데이터를 예시하는 모션 캡쳐 볼륨(30)의 사시도이다. 도 6의 뷰는 모션 캡쳐 데이터가 도 1과 관련하여 상기 설명된 바와 같은 워크스테이션(18)의 조작자에 의해 어떻게 뷰잉될 것인지를 나타내 준다. 상기 도 2 및 3과 유사하게, 도 6은 하층에 위치된 카메라(141-1412), 상층에 위치된 카메라(1433-1440), 및 모션 캡쳐 볼륨(30)의 코너에 위치된 카메라(1460, 1462)를 포함하는, 복수의 얼굴 모션 카메라를 더 예시하고 있다. 2명의 연기자(52, 54)는 그 몸 및 얼굴의 반사형 마커에 대응하는 도트 구름으로 나타난다. 상기 도시되고 설명된 바와 같이, 그 몸보다는 연기자의 얼굴에 더 많은 개수의 마커가 위치되어 있다. 연기자의 몸 및 얼굴의 움직임은 상기 실질적으로 설명된 바와 같이, 모션 캡쳐 시스템(10)에 의해 추적된다.
이제 도 7 및 8을 참조하면, 모션 캡쳐 데이터는 워크스테이션(18)의 조작자에 의해 보여지는 것과 같이 도시되어 있다. 도 6에서와 같이, 모션 캡쳐 데이터는 높은 농도의 도트들이 연기자의 얼굴을 나타내고 나머지 도트들은 몸 포인트를 나타내는 2명의 연기자(52, 54)를 반영하고 있다. 모션 캡쳐 데이터는 타원 형태로 예시된 3개의 오클루젼 영역(62, 64, 66)을 더 포함한다. 오클루젼 영역(62, 64, 66)은 다른 카메라의 시야내에 드는 카메라들 중 하나로부터의 광으로 인해 신뢰성있는 모션 데이터가 캡쳐되지 않았던 위치들을 나타낸다. 이러한 광은 반사형 마커로부터의 조명을 매몰시키고, 모션 캡쳐 프로세서(12)에 의해 몸 또는 얼굴 마커로 해석된다. 모션 캡쳐 프로세서(12)에 의해 실행되는 이미지 처리 프로세스는 도 7 및 8에 예시된 오클루젼 영역(62, 64, 66)을 정의함으로써 카메라 조명을 필터링 제거하는 가상 마스크를 생성한다. 프로덕션 회사는 오클루젼 영역에 의해 가려지는 이동을 물리적으로 피하도록 연기자의 연기를 제어하려고 시도할 수 있다. 그럼에도 불구하고, 연기자(54)의 얼굴이 오클루젼 영역(64)으로의 물리적 이동에 의해 거의 완전하게 가려지는 도 8에 도시된 바와 같이, 일부 데이터 캡쳐의 손실이 불가피하게 발생한다.
도 9는 오클루젼 문제를 감소시키는 모션 캡쳐 시스템의 실시예를 예시하고 있다. 특히, 도 9는 모션 캡쳐 볼륨(도시되지 않음)을 가로질러 서로 반대쪽에 물리적으로 배치되는 카메라(84, 74)를 예시하고 있다. 카메라(84, 74)는 카메라의 시야를 조명하도록 구성된 각 광원(88, 78)을 포함한다. 카메라(84, 74)는 카메라 렌즈의 전방에 배치된 편광 필터(86, 76)를 더 구비한다. 이하의 설명으로부터 명백해지는 바와 같이, 편광 필터(86, 76)는 서로에 대해 위상이 어긋나게 배열된다(즉, 회전된다). 광원(88)은 편광 필터(86)에 의해 편광된 광을 방출한다. 편광은 카메라(74)의 편광 필터(76)에 도달하지만, 카메라(74)를 통과하기 보다는, 편광이 편광 필터(76)에 의해 반사 제거되거나 흡수된다. 결과적으로, 카메라(84)는 카메라(74)로부터의 조명을 "보지" 않을 것이고, 따라서 오클루젼 영역의 형성을 회피하고 가상 마스킹에 대한 필요성을 제거한다.
상기 설명이 모션을 추적하는데 몸 및 얼굴에 고정된 물리적 마커의 광학적 센싱의 이용을 언급했지만, 본 기술분야의 숙련자라면, 모션을 추적하는 다른 방법들이 양호하게 활용될 수도 있다는 것을 잘 알고 있을 것이다. 예를 들면, 마커를 고정시키는 대신에, 연기자의 물리적 특징(예를 들면, 코 또는 눈의 모양)이 자연적인 마커로 이용되어 모션을 추적할 수 있다. 그러한 특징-기반 모션 캡쳐 시스템은 각 연기 이전에 연기자에게 마커를 부착하는 태스크를 제거시킬 것이다. 뿐만 아니라, 광학 이외의 다른 매체가 대응하는 마커를 검출하는데 이용될 수 있다. 예를 들면, 마커는 모션 캡쳐 볼륨 주위에 배열된 대응하는 수신기에 의해 검출되는 초음파 또는 전자기 방출기를 포함할 수 있다. 이러한 측면에서, 상기 설명된 카메라는 단지 광학 센서이고 다른 타입의 센서가 양호하게 활용될 수 있다는 것은 자명하다.
이제, 도 10을 참조하면, 블록도는 본 발명의 다른 실시예에 따른 모션 캡쳐 시스템(100)을 예시하고 있다. 모션 캡쳐 시스템(100)은 상기 설명된 이전 실시예보다 실질적으로 증가된 데이터 용량을 가지고 있고, 확대된 모션 캡쳐 볼륨과 연관된 실질적으로 더 큰 데이터 양을 캡쳐하는데 적합하다. 모션 캡쳐 시스템(100)은 수집된 데이터의 저장소로서 기능하는 마스터 서버(110)에 의해 함께 묶여지는 3개의 분리된 네트워크를 포함한다. 네트워크는 데이터 네트워크(120), 아티스트 네트워크(130), 및 재구성 렌더 네트워크(140)를 포함한다. 마스터 서버(110)는 모션 캡쳐 시스템(100)에 대한 중앙 제어 및 데이터 저장을 제공한다. 데이터 네트워크(120)는 연기 동안에 캡쳐된 2차원(2D) 데이터를 마스터 서버(110)에 통신한다. 아티스트 네트워크(130) 및 재구성 렌더 네트워크(140)는 마스터 서버(110)로부터 이들 동일한 2D 데이터 파일을 후속적으로 액세스한다. 마스터 서버(110)는 큰 데이터 볼륨을 저장하는데 적합한 메모리(112) 시스템을 더 포함할 수 있다.
데이터 네트워크(120)는 모션 캡쳐 카메라와의 인터페이스를 제공하고, 캡쳐된 모션 데이터의 초기 데이터 처리를 제공하며, 그리고나서 메모리(112)로의 저장을 위해 마스터 서버(110)에 제공된다. 특히, 데이터 네트워크(120)는 모션 캡쳐 볼륨 내에서 연기하는 하나 이상의 연기자의 조합된 모션을 캡쳐하기 위해, 모션 캡쳐 볼륨(이하에 설명됨)에 대해 배열되는 복수의 모션 캡쳐 카메라(1221-122N)에 결합된다. 데이터 네트워크(120)는 복수의 마이크로폰(1261-126N)에 직접 또는 적합한 오디오 인터페이스(124)를 통해 결합되어, 연기(예를 들면, 대화)와 연관된 오디오를 캡쳐한다. 하나 이상의 사용자 워크스테이션(128)은 데이터 네트워크(120)에 결합되어, 데이터 네트워크 기능 중 동작, 제어 및 모니터링을 제공한다. 본 발명의 하나의 실시예에서, 데이터 네트워크(120)는 캡쳐된 데이터를 2D 파일로 함께 합치기 위한 복수의 슬레이브 처리 스테이션과 함께, Vicon Motion System 또는 Motion Analysis Corp.로부터 가용한 것과 같은 복수의 모션 캡쳐 데이터 처리 스테이션에 의해 제공될 수 있다.
아티스트 네트워크(130)는 적합한 워크스테이션(1321-132N)을 이용하여 복수의 데이터 체커 및 애니메이터에 대한 고속 인프라구조를 제공한다. 데이터 체커는 마스터 서버(110)로부터 2D 데이터 파일을 액세스하여, 데이터의 수용성을 검증한다. 예를 들면, 데이터 체커는 데이터를 검토하여 연기의 핵심적인 양태들이 캡쳐되었는지를 검증한다. 연기의 중요한 양태들이 캡쳐되지 않은 경우, 즉 데이터의 일부가 차폐된 경우, 연기는 캡쳐된 데이터가 수용가능한 것으로 여겨질 때까지 필요할 때마다 반복될 수 있다. 데이터 체커 및 연관된 워크스테이션(1321-132N)은 연기자 및/또는 장면 디렉터와의 통신을 용이하게 하기 위해 모션 캡쳐 볼륨에 물리적으로 근접한 주위에 위치될 수도 있다.
재구성 렌더 네트워크(140)는 2D 데이터 파일의 자동화된 재구성을 수행하고 2D 데이터 파일을 마스터 서버(110)에 의해 저장된 3차원(3D) 애니메이션 파일로 렌더링하는데 적합한 고속 데이터 처리 컴퓨터를 제공한다. 하나 이상의 사용자 워크스테이션(1421-142N)이 재구성 렌더 네트워크(140)에 결합되어, 데이터 네트워크의 기능의 동작, 제어 및 모니터링을 제공한다. 아티스트 네트워크(130)에 액세스하는 애니메이터는 최종 컴퓨터 그래픽스 애니메이션을 생성하는 동안에 3D 애니메이션 파일에 액세스할 것이다.
고정형 모션 캡쳐 카메라에 대한 상기 설명과 유사하게, 모션 캡쳐 리그의 모바일 카메라에 의해 캡쳐된 모션(예를 들면, 비디오)이 데이터 네트워크(120, 도 10을 참조)와 같은 모션 캡쳐 처리 시스템에 제공된다. 더구나, 모션 캡쳐 처리 시스템은 캡쳐된 모션을 이용하여 모션 캡쳐 카메라 전방의 타겟(또는 타겟들) 상의 마커의 로케이션 및 이동을 결정한다. 처리 시스템은 로케이션 정보를 이용하여, 타겟(들)을 나타내는 3차원 모델(포인트 구름)을 구축하고 업데이트한다. 복수의 모션 캡쳐 리그 또는 하나 이상의 모션 캡쳐 리그 및 하나 이상의 고정형 카메라의 조합을 이용하는 시스템에서, 처리 시스템은 다양한 소스로부터 모션 캡쳐 정보를 조합하여 모델을 생성한다.
하나의 구현에서, 처리 시스템은 이들 카메라에 대한 모션 캡쳐 정보와 다른 모션 캡쳐 카메라(예를 들면, 교정의 일부로서 기준 카메라)에 의해 캡쳐된 정보를 상관시킴으로써, 모션 캡쳐 리그의 로케이션과 리그 내의 카메라의 로케이션을 결정한다. 처리 시스템은 모션 캡쳐 리그가 이동함에 따라 모션 캡쳐 카메라를 자동으로 그리고 다이나믹하게 교정할 수 있다. 교정은 모션 캡쳐 리그 정보가 나머지 모션 캡쳐 모델과 상관되는 방법을 결정하는, 다른 리그 또는 고정형 카메라로부터와 같은, 다른 모션 캡쳐 정보에 기초할 수 있다.
다른 구현에서, 처리 시스템은 배경에서 주지된 고정된 로케이션에 부착된 고정형 추적 마커 또는 도트의 로케이션을 나타내는 모션 캡쳐 정보를 이용하여 카메라를 교정할 수 있다. 그러므로, 처리 시스템은 교정을 목적으로 하는 이동하는 타겟 상의 마커 또는 도트를 무시한다.
도 11은 다른 모션 캡쳐 볼륨(150)의 상면도를 예시하고 있다. 상기 실시예에서와 같이, 모션 캡쳐 볼륨(150)은 일반적으로 그리드 라인으로 서브분할된 직사각형 형태의 영역이다. 본 실시예에서, 모션 캡쳐 볼륨(150)은 상당히 더 큰 공간을 나타내는 것으로서, 4개의 섹션 또는 사분면(A, B, C, D)으로 더 서브분할될 수 있다. 각 섹션은 상기 설명된 모션 캡쳐 볼륨(30)과 대략 동일한 크기를 가지고 있고, 따라서, 이러한 모션 캡쳐 볼륨(150)은 이전 실시예의 표면 면적의 4배를 가지고 있다. 추가적인 섹션 E는 공간 내에서 중심에 있고 나머지 섹션 각각과 부분적으로 중첩된다. 그리드 라인은 수직축을 따른 숫자 좌표(1-5) 및 수평축에 따른 알파벳 좌표(A-E)를 더 포함한다. 이와 같이, 모션 캡쳐 볼륨 상의 특정 로케이션은 영역 4A와 같이, 그 알파벳숫자 좌표에 의해 정의될 수 있다. 그러한 지정은 그 연기를 어디에서 수행할 지 및/또는 소도구를 어디에 배치할 지에 대해 연기자에게 지침을 제공하는 측면에서 모션 캡쳐 볼륨(150)의 관리를 허용한다. 그리드라인 및 알파벳숫자 좌표는 연기자 및/또는 장면 디렉터의 편의를 위해 모션 캡쳐 볼륨(150)의 바닥에 물리적으로 마크될 수 있다. 이들 그리드라인 및 알파벳숫자 좌표는 2D 데이터 파일에 포함되지 않는 것은 자명하다.
본 발명의 양호한 실시예에서, 각 센션 A-E는 10피트 X 10 피트의 치수를 가지는 정사각형 모양을 가지고 있고, 전체 면적이 400제곱 피트로서, 즉 이전 실시예의 모션 캡쳐 볼륨의 대략 4배이다. 모션 캡쳐 볼륨(150)에 대한 다른 형태 및 크기가 양호하게 활용될 수 있다는 것은 자명하다.
이제, 도 12a-12c를 참조하면, 모션 캡쳐 카메라(1221-122N)의 배열은 모션 캡쳐 볼륨(150)의 주위의 주변 영역에 대해 예시되어 있다. 주변 영역은 카메라, 조명 및 다른 장비를 지지하는 비계(scaffolding)의 배치를 제공하고, 영역(1521-1524)으로서 예시되어 있다. 모션 캡쳐 카메라(1221-122N)는 다양한 카메라 높이 및 각도로 모션 캡쳐 볼륨(150)을 둘러싸는 각 영역(1521-1524)에 골고루 위치된다. 더구나, 모션 캡쳐 카메라(1221-122N)는 전체 모션 캡쳐 볼륨이라기보다는, 모션 캡쳐 볼륨(150)의 섹션들 중 개별적인 하나씩에 포커싱되도록 각각 방향 결정된다. 본 발명의 실시예에서, 모션 캡쳐 볼륨(150)의 5개의 섹션 A-E의 각각 하나에 전념된 40개의 개별적인 카메라 그룹을 가지는 200개의 전체 모션 캡쳐 카메라가 있다.
특히, 모션 캡쳐 카메라(1221-122N)의 배열은 모션 캡쳐 볼륨으로부터의 거리 및 모션 캡쳐 볼륨(150)의 바닥으로부터의 높이에 의해 정의될 수 있다. 도 12a는 모션 캡쳐 볼륨(150)으로부터 가장 큰 거리에 일반적으로 최저 높이로 방향 결정된 제1 그룹의 모션 캡쳐 카메라(1221-122N)의 배열을 예시하고 있다. 영역(152)(다른 영역들도 실질적으로 동일함)을 참조하면, 바닥으로부터 최고 높이(예를 들면, 6피트)에서 모션 캡쳐 볼륨(150)에 대해 외부쪽으로 방사상으로 배치된 제1 로우(172), 약간 더 낮은 높이(예를 들면, 4피트)의 제2 로우(174), 및 최저 높이(예를 들면, 1 피트)에서 제1 및 제2 로우에 대해 방사상으로 내부쪽으로 배치된 제3 로우(176)를 구비하는 3개의 카메라 로우가 있다. 본 실시예에서, 이러한 제1 그룹에 총 80개의 모션 캡쳐 카메라가 있다.
도 12b는 제1 그룹보다 모션 캡쳐 볼륨(150)에 더 근접하게, 그리고 제1 그룹보다 더 큰 높이로 방향 결정되는 제2 그룹의 모션 캡쳐 카메라(12281-122160)의 배열을 예시하고 있다. 영역(1521)(다른 영역들도 실질적으로 동일함)을 참조하면, 바닥으로부터 최고 높이(예를 들면, 14피트)에서 모션 캡쳐 볼륨에 대해 외부쪽으로 방사상으로 배치된 제1 로우(182), 약간 낮은 높이(예를 들면, 11피트)의 제2 로우(184), 및 최저 높이(예를 들면, 9피트)에서 제1 및 제2 로우에 대해 내부쪽으로 방사상으로 배치되는 제3 로우(186)를 구비하는 3개의 카메라 로우들이 있다. 본 실시예에서, 이러한 제2 그룹에 총 80개의 모션 캡쳐 카메라가 있다.
도 12c는 제2 그룹보다 모션 캡쳐 볼륨(150)에 더 근접하게, 그리고 제2 그룹보다 더 큰 높이로 방향 결정되는 제3 그룹의 모션 캡쳐 카메라(122161-122200)의 배열을 예시하고 있다. 영역(1521)(다른 영역들도 실질적으로 동일함)을 참조하면, 바닥으로부터 최고 높이(예를 들면, 21피트)에서 모션 캡쳐 볼륨에 대해 외부쪽으로 방사상으로 배치된 제1 로우(192), 약간 낮은 높이(예를 들면, 18피트)의 제2 로우(194), 및 최저 높이(예를 들면, 17피트)에서 제1 및 제2 로우에 대해 내부쪽으로 방사상으로 배치되는 제3 로우(196)를 구비하는 3개의 카메라 로우들이 있다. 본 실시예에서, 이러한 제3 그룹에 총 40개의 모션 캡쳐 카메라가 있다. 모션 캡쳐 카메라의 다른 배열 및 다른 개수의 모션 캡쳐 카메라도 양호하게 활용될 수 있다는 것은 자명하다.
모션 캡쳐 카메라는 도 4와 관련하여 상기 설명한 유사한 방식으로 모션 캡쳐 볼륨(150)의 각 섹션에 포커싱된다. 모션 캡쳐 볼륨(150)의 각 섹션 A-E에 대해, 4개의 사이드 각각으로부터의 모션 캡쳐 카메라는 섹션에 포커싱될 것이다. 예를 통해, 모션 캡쳐 볼륨으로부터 가장 먼 제1 그룹의 카메라는 그 카메라에 가장 가까운 모션 캡쳐 볼륨의 섹션에 포커싱한다. 반대로, 모션 캡쳐 볼륨에 가장 가까운 제3 그룹의 카메라는 그 카메라로부터 가장 먼 모션 캡쳐 볼륨의 섹션에 포커싱할 것이다. 하나의 사이드의 일단으로부터의 카메라는 타단의 섹션에 포커싱할 것이다. 더 구체적인 예에서, 모션 캡쳐 볼륨(150)의 섹션 A는 주변 영역(1521)의 제1 로우(182) 및 제3 로우(186)로부터의 소정의 낮은 높이 카메라, 주변 영역(1524)의 제1 로우(182) 및 제3 로우(186)로부터의 낮은 높이 카메라, 주변 영역(1523)의 제2 로우(184) 및 제3 로우(186)로부터의 중간 높이 카메라, 및 주변 영역(1522)의 제2 로우(184) 및 제3 로우(186)로부터의 중간 높이 카메라의 조합에 의해 커버될 수 있다. 도 12a 및 12b는 또한 중앙 섹션 E내에서 모션 캡쳐를 위해 주변 영역의 중앙에서 모션 카메라들이 더욱 밀집되어 있음을 도시한다.
다수의 카메라가 모션 캡쳐 볼륨(150)의 섹션에 포커싱하는 다양한 각도 및 높이를 제공함으로써, 바람직하지 않은 오클루젼의 발생을 최소화하면서도 전체 연기를 캡쳐링할 훨씬 더 큰 가능성이 있다. 이러한 배열에 이용되는 다수의 카메라를 감안하면, 모션 캡쳐 볼륨의 반대쪽에 위치된 다른 카메라로부터 여분 광의 검출 시에 줄이도록 각 카메라의 주위에 광 실드를 배치하는 것이 바람직하다. 본 발명의 본 실시예에서는, 얼굴 및 몸 모션 양쪽을 동시에 캡쳐하는 데 동일한 카메라가 이용되고, 따라서 몸 모션 카메라 및 얼굴 모션 카메라가 별도로 필요 없다. 얼굴 및 몸 모션을 구별하기 위해 다른 크기의 마커가 연기자에 대해 활용되고, 더 큰 모션 캡쳐 볼륨이 주어지는 경우에 데이터 캡쳐를 보장하도록 일반적으로 더 큰 마커가 전체적으로 이용된다. 예를 들면, 9밀리미터 마커는 몸에 이용되고 6밀리미터 마커는 얼굴에 이용된다.
본 발명의 다양한 구현들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들 기술들의 조합으로 실현된다. 하나의 구현은 모바일 모션 캡쳐 카메라에 의해 캡쳐된 비디오의 모션 캡쳐 처리를 제공하고 모션 동안에 이들 카메라를 교정하는 것과 같이, 컴퓨터 명령을 저장하고 실행하는 하나 이상의 프로그램가능한 프로세서 및 대응하는 컴퓨터 시스템 컴포넌트를 포함한다. 다른 구현들은 프로그램가능한 프로세서 또는 컴퓨터에 의해 실행되는 하나 이상의 컴퓨터 프로그램을 포함한다. 일반적으로, 각 컴퓨터는 하나 이상의 프로세서, 하나 이상의 데이터 저장 컴포넌트(예를 들면, 하드 및 플로피 디스크 드라이브, CD-ROM 드라이브 및 자기 테이프 드라이브와 같은, 휘발성 또는 비휘발성 메모리 모듈 및 지속적인 광 및 자기 저장 디바이스), 하나 이상의 입력 디바이스(예를 들면, 마우스 및 키보드), 및 하나 이상의 출력 디바이스(예를 들면, 표시 콘솔 및 프린터)를 포함한다.
컴퓨터 프로그램은 지속적인 저장 매체에 통상 저장되고 런-타임시에 메모리에 복사되는 실행가능한 코드를 포함한다. 프로세서는 메모리로부터 프로그램 명령을 규정된 순서로 검색함으로서 코드를 실행한다. 프로그램 코드를 실행할 때, 컴퓨터는 입력 및/또는 저장 디바이스로부터 데이터를 수신하고, 데이터에 대해 연산을 수행하며, 결과 데이터를 출력 및/또는 저장 디바이스에 전달한다.
본 발명의 다양한 예시적 구현들이 설명되었다. 그러나, 본 기술분야의 통 상의 기술자라면, 추가적인 구현들이 본 발명의 범주내에서 가능하다는 것을 알 수 있을 것이다. 예를 들면 하나의 변동에서, 다른 개수의 카메라를 가지는 모션 캡쳐 리그의 조합이 카메라 앞의 타겟의 모션을 캡쳐하는데 이용될 수 있다. 다른 개수의 고정형 및 모바일 카메라, 예를 들면 50% 고정형 카메라 및 50% 모바일 카메라, 90% 고정형 카메라 및 10% 모바일 카메라, 또는 100% 모바일 카메라는 원하는 결과 및 정확도를 달성할 수 있다. 그러므로, 카메라의 구성(예를 들면, 개수, 위치, 고정형 또는 모바일, 등)은 원하는 결과를 매칭하도록 선택될 수 있다.
따라서, 본 발명은 상기 설명된 이들 구현들만으로 제한되지 않는다.

Claims (33)

  1. 적어도 하나의 이동 오브젝트를 포함하도록 구성되고, 상기 적어도 하나의 이동 오브젝트 상에 복수의 포인트를 정의하는 마커(markers)가 구비되어 있는 모션 캡쳐 볼륨;
    상기 모션 캡쳐 볼륨 내에서 이동가능하도록 구성된 적어도 하나의 모바일 모션 캡쳐 카메라; 및
    상기 적어도 하나의 모바일 모션 캡쳐 카메라에 결합되어, 상기 적어도 하나의 이동 오브젝트의 움직임의 디지털 표현(digital representation)을 생성하는 모션 캡쳐 프로세서
    를 포함하는 모션 캡쳐 시스템.
  2. 제1항에 있어서, 적어도 하나의 고정형 모션 캡쳐 카메라를 더 포함하는 모션 캡쳐 시스템.
  3. 제1항에 있어서, 상기 적어도 하나의 모바일 모션 캡쳐 카메라는 상기 볼륨의 주변부 주위를 이동하는 모션 캡쳐 시스템.
  4. 제1항에 있어서, 상기 적어도 하나의 모바일 모션 캡쳐 카메라는, 상기 모션 캡쳐 볼륨 내에서의 모션 동안에 상기 적어도 하나의 이동 오브젝트의 실질적으로 모든 측방향으로 노출된 표면이 실질적으로 항상 상기 복수의 모션 캡쳐 카메라의 시야 내에 있도록 이동되는 모션 캡쳐 시스템.
  5. 제1항에 있어서, 상기 복수의 모션 캡쳐 카메라는 모든 고정형 모션 캡쳐 카메라로 가능한 것보다 큰 상기 모션 캡쳐 볼륨의 유효 볼륨을 제공하도록 배치되는 모션 캡쳐 시스템.
  6. 제1항에 있어서, 상기 적어도 하나의 모바일 모션 캡쳐 카메라는 제1 위치로부터 제2 위치로 이동되고, 상기 제2 위치에서 고정되는 모션 캡쳐 시스템.
  7. 제1항에 있어서, 상기 적어도 하나의 모바일 모션 캡쳐 카메라는, 상기 적어도 하나의 이동 오브젝트의 액션을 따르고 이동 중에 모션 캡쳐를 수행하도록, 이동하는 모션 캡쳐 시스템.
  8. 제1항에 있어서,
    상기 적어도 하나의 모바일 모션 캡쳐 카메라에 결합되어, 상기 적어도 하나의 모바일 모션 캡쳐 카메라의 움직임을 추적하고 캡쳐된 데이터의 후속 처리에서 상기 움직임을 제거하여, 상기 적어도 하나의 이동 오브젝트의 움직임의 상기 디지털 표현을 생성하는 카메라 모션 프로세서를 더 포함하는 모션 캡쳐 시스템.
  9. 제1항에 있어서, 상기 적어도 하나의 모바일 모션 캡쳐 카메라를 이동하는 데 이용되는 적어도 하나의 서보모터를 더 포함하는 모션 캡쳐 시스템.
  10. 제1항에 있어서, 상기 적어도 하나의 모바일 모션 캡쳐 카메라는 개별적으로 이동되는 모션 캡쳐 시스템.
  11. 제1항에 있어서, 상기 적어도 하나의 모바일 모션 캡쳐 카메라는 상기 적어도 하나의 모바일 모션 캡쳐 카메라의 뷰를 보여주도록 구성된 제1 기준 카메라를 포함하는 모션 캡쳐 시스템.
  12. 제1항에 있어서, 상기 적어도 하나의 모바일 모션 캡쳐 카메라는 상기 적어도 하나의 모바일 모션 캡쳐 카메라에 의해 캡쳐된 모션의 기준 및 조정을 생성하도록 구성된 제2 기준 카메라를 포함하는 모션 캡쳐 시스템.
  13. 제1항에 있어서, 상기 적어도 하나의 모바일 모션 캡쳐 카메라는 기준 카메라없이 상기 적어도 하나의 모바일 모션 캡쳐 카메라에 의해 캡쳐된 모션의 기준 및 조정을 생성하도록 구성된 피드백 루프를 포함하는 모션 캡쳐 시스템.
  14. 제1항에 있어서, 적어도 하나의 모바일 모션 캡쳐 리그(rig)를 더 포함하고, 상기 적어도 하나의 모바일 모션 캡쳐 카메라의 카메라들이 이동되도록, 상기 적어도 하나의 모바일 모션 캡쳐 리그 상에 상기 적어도 하나의 모바일 모션 캡쳐 카메라가 배치될 수 있도록 구성된 모션 캡쳐 시스템.
  15. 제14항에 있어서, 상기 적어도 하나의 모바일 모션 캡쳐 리그는 해당 모바일 모션 캡쳐 리그 상에 배치된 상기 적어도 하나의 모바일 모션 캡쳐 카메라에 병진(translation) 및 회전 움직임을 제공하도록 구성된 적어도 하나의 서보모터를 포함하는 모션 캡쳐 시스템.
  16. 제15항에 있어서, 상기 적어도 하나의 서보모터는 상기 적어도 하나의 모바일 모션 캡쳐 리그에 결합되어, 상기 적어도 하나의 모바일 모션 캡쳐 카메라에 상기 병진 및 회전 움직임을 함께 제공하는 모션 캡쳐 시스템.
  17. 제15항에 있어서, 상기 적어도 하나의 서보모터는 상기 적어도 하나의 모바일 모션 캡쳐 카메라 각각에 결합되어, 상기 적어도 하나의 모바일 모션 캡쳐 카메라에 상기 병진 및 회전 움직임을 개별적으로 제공하는 모션 캡쳐 시스템.
  18. 제17항에 있어서, 상기 적어도 하나의 모바일 모션 캡쳐 카메라 중 적어도 하나는 상기 병진 및 회전 움직임들 중 적어도 하나의 움직임으로 제한되는 모션 캡쳐 시스템.
  19. 제14항에 있어서, 상기 적어도 하나의 모바일 모션 캡쳐 리그는 상기 적어도 하나의 모바일 모션 캡쳐 리그의 움직임이 미리-프로그래밍되도록 구성되는 모션 캡쳐 시스템.
  20. 제14항에 있어서, 상기 적어도 하나의 모바일 모션 캡쳐 리그는 상기 적어도 하나의 이동 오브젝트에 대한 수신된 입력에 기초하여 자동으로 이동하도록 구성된 모션 캡쳐 시스템.
  21. 제20항에 있어서, 상기 수신된 입력은 상기 적어도 하나의 이동 오브젝트로부터 수신된 비주얼 신호를 포함하는 모션 캡쳐 시스템.
  22. 제21항에 있어서, 상기 적어도 하나의 모바일 모션 캡쳐 리그는 그 오브젝트의 캡쳐된 움직임에 기초하여 상기 적어도 하나의 이동 오브젝트와 함께 이동하는 모션 캡쳐 시스템.
  23. 제1항에 있어서, 상기 모션 캡쳐 볼륨 내의 고정된 로케이션에 배치된 고정형 추적 마커를 더 포함하는 모션 캡쳐 시스템.
  24. 제23항에 있어서, 상기 고정형 추적 마커의 로케이션을 나타내는 모션 캡쳐 정보를 이용하여 상기 적어도 하나의 모바일 모션 캡쳐 카메라를 교정(calibration)하는 카메라 교정 시스템을 더 포함하는 모션 캡쳐 시스템.
  25. 이동가능하도록 구성되고, 모션 캡쳐 볼륨 내에서 모션을 캡쳐하도록 동작하는 적어도 하나의 모바일 모션 캡쳐 카메라; 및
    적어도 하나의 모바일 모션 캡쳐 리그를 포함하고,
    상기 적어도 하나의 모바일 모션 캡쳐 리그는, 상기 적어도 하나의 모바일 모션 캡쳐 카메라의 카메라들이 이동될 수 있도록, 상기 적어도 하나의 모바일 모션 캡쳐 카메라가 상기 적어도 하나의 모바일 모션 캡쳐 리그 상에 배치될 수 있도록 구성된 모션 캡쳐 시스템.
  26. 적어도 하나의 이동 오브젝트를 포함하도록 구성되고 상기 적어도 하나의 이동 오브젝트 상에 복수의 포인트를 정의하는 마커(markers)가 구비되어 있는 모션 캡쳐 볼륨을 정의하는 단계;
    상기 모션 캡쳐 볼륨 내에서 적어도 하나의 모바일 모션 캡쳐 카메라를 이동시키는 단계; 및
    상기 적어도 하나의 모바일 모션 캡쳐 카메라로부터의 데이터를 처리하여, 상기 적어도 하나의 이동 오브젝트의 움직임의 디지털 표현을 생성하는 단계
    를 포함하는 모션 캡쳐 방법.
  27. 제26항에 있어서, 상기 적어도 하나의 모바일 모션 캡쳐 카메라를 이동시키는 단계는, 상기 적어도 하나의 모바일 모션 캡쳐 카메라를 제1 위치로부터 제2 위치로 이동시키고 상기 제2 위치에서 고정시키는 단계를 포함하는 모션 캡쳐 방법.
  28. 제26항에 있어서, 상기 적어도 하나의 모바일 모션 캡쳐 카메라를 이동시키는 단계는, 상기 적어도 하나의 모바일 모션 캡쳐 카메라가, 상기 적어도 하나의 이동 오브젝트의 액션을 따르고 이동 중에 모션 캡쳐를 수행하도록, 이동하는 단계를 포함하는 모션 캡쳐 방법.
  29. 제26항에 있어서,
    상기 적어도 하나의 모바일 모션 캡쳐 카메라의 움직임을 추적하는 단계; 및
    캡쳐된 데이터의 후속 처리에서 상기 움직임을 제거하여, 상기 적어도 하나의 이동 오브젝트의 움직임의 상기 디지털 표현을 생성하는 단계
    를 더 포함하는 모션 캡쳐 방법.
  30. 제26항에 있어서, 상기 적어도 하나의 모바일 모션 캡쳐 카메라에 의해, 상기 적어도 하나의 모바일 모션 캡쳐 카메라에 의해 캡쳐된 모션의 기준 및 조정을 생성하는 단계를 포함하는 모션 캡쳐 방법.
  31. 제26항에 있어서, 고정형 추적 마커를 상기 모션 캡쳐 볼륨 내의 고정된 위치에 배치하는 단계를 더 포함하는 모션 캡쳐 방법.
  32. 제31항에 있어서, 상기 고정형 추적 마커의 로케이션을 나타내는 모션 캡쳐 정보를 이용하여 상기 적어도 하나의 모바일 모션 캡쳐 카메라를 교정하는 단계를 더 포함하는 모션 캡쳐 방법.
  33. 적어도 하나의 이동 오브젝트를 포함하도록 구성되고 상기 적어도 하나의 이동 오브젝트 상에 복수의 포인트를 정의하는 마커(markers)가 구비되어 있는 모션 캡쳐 볼륨을 정의하기 위한 수단;
    상기 모션 캡쳐 볼륨 내에서 적어도 하나의 모바일 모션 캡쳐 카메라를 이동시키기 위한 수단; 및
    상기 적어도 하나의 모바일 모션 캡쳐 카메라로부터의 데이터를 처리하여 상기 적어도 하나의 이동 오브젝트의 움직임의 디지털 표현을 생성하기 위한 수단
    을 포함하는 모션 캡쳐 시스템.
KR1020087002642A 2005-07-01 2006-07-03 모바일 모션 캡쳐 카메라 KR101299840B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US69619305P 2005-07-01 2005-07-01
US60/696,193 2005-07-01
US11/372,330 US7333113B2 (en) 2003-03-13 2006-03-08 Mobile motion capture cameras
US11/372,330 2006-03-08
PCT/US2006/026088 WO2007005900A2 (en) 2005-07-01 2006-07-03 Mobile motion capture cameras

Publications (2)

Publication Number Publication Date
KR20080059144A KR20080059144A (ko) 2008-06-26
KR101299840B1 true KR101299840B1 (ko) 2013-08-23

Family

ID=39804314

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087002642A KR101299840B1 (ko) 2005-07-01 2006-07-03 모바일 모션 캡쳐 카메라

Country Status (4)

Country Link
JP (1) JP2008545206A (ko)
KR (1) KR101299840B1 (ko)
CN (1) CN101253538B (ko)
NZ (1) NZ564834A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019216468A1 (ko) * 2018-05-11 2019-11-14 재단법인 차세대융합기술연구원 모바일 뷰잉 시스템
KR20190129602A (ko) 2018-05-11 2019-11-20 재단법인차세대융합기술연구원 모바일 뷰잉 시스템

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100315524A1 (en) * 2007-09-04 2010-12-16 Sony Corporation Integrated motion capture
CN101635054B (zh) * 2009-08-27 2012-07-04 北京水晶石数字科技股份有限公司 一种信息点摆放的方法
KR101920473B1 (ko) 2011-07-27 2018-11-22 삼성전자주식회사 센서 융합 기반으로 3차원 위치와 방향을 추정하는 장치 및 방법
CN103106665A (zh) * 2011-11-11 2013-05-15 周建龙 一种空间增强现实系统中自动跟踪移动物体的方法
JP6235022B2 (ja) * 2012-09-10 2017-11-22 アエマス，インコーポレイテッド 複数デバイスを使用した周辺環境の多次元データキャプチャ
KR101385601B1 (ko) * 2012-09-17 2014-04-21 한국과학기술연구원 손동작 인식 및 인터렉션을 위한 장갑장치 및 방법
CN107469343B (zh) * 2017-07-28 2021-01-26 深圳市瑞立视多媒体科技有限公司 虚拟现实交互方法、装置及系统
CN111083462A (zh) * 2019-12-31 2020-04-28 北京真景科技有限公司 基于双视点的立体渲染方法
JP7335199B2 (ja) * 2020-04-30 2023-08-29 本田技研工業株式会社 解析装置、解析方法、プログラム、および較正方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6324296B1 (en) * 1997-12-04 2001-11-27 Phasespace, Inc. Distributed-processing motion tracking system for tracking individually modulated light points
US6633294B1 (en) * 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL136128A0 (en) * 1998-09-17 2001-05-20 Yissum Res Dev Co System and method for generating and displaying panoramic images and movies
US6788333B1 (en) * 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
US7012637B1 (en) * 2001-07-27 2006-03-14 Be Here Corporation Capture structure for alignment of multi-camera capture systems
US7106358B2 (en) * 2002-12-30 2006-09-12 Motorola, Inc. Method, system and apparatus for telepresence communications

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6324296B1 (en) * 1997-12-04 2001-11-27 Phasespace, Inc. Distributed-processing motion tracking system for tracking individually modulated light points
US6633294B1 (en) * 2000-03-09 2003-10-14 Seth Rosenthal Method and apparatus for using captured high density motion for animation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019216468A1 (ko) * 2018-05-11 2019-11-14 재단법인 차세대융합기술연구원 모바일 뷰잉 시스템
KR20190129602A (ko) 2018-05-11 2019-11-20 재단법인차세대융합기술연구원 모바일 뷰잉 시스템

Also Published As

Publication number Publication date
JP2008545206A (ja) 2008-12-11
CN101253538A (zh) 2008-08-27
CN101253538B (zh) 2011-09-14
NZ564834A (en) 2011-04-29
KR20080059144A (ko) 2008-06-26

Similar Documents

Publication Publication Date Title
JP5710652B2 (ja) モバイルモーションキャプチャカメラ
KR101299840B1 (ko) 모바일 모션 캡쳐 카메라
JP4901752B2 (ja) 顔動作および身体動作を取り込むシステムおよび方法
US8106911B2 (en) Mobile motion capture cameras
KR100688398B1 (ko) 얼굴 움직임과 몸체 움직임을 캡쳐하는 시스템 및 방법
US7358972B2 (en) System and method for capturing facial and body motion
JP2006520476A5 (ko)
US11282233B1 (en) Motion capture calibration
US20220076452A1 (en) Motion capture calibration using a wand
US20220076451A1 (en) Motion capture calibration using a three-dimensional assembly
US20220067969A1 (en) Motion capture calibration using drones
WO2022055371A1 (en) Motion capture calibration using a wand

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160808

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170809

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180808

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190807

Year of fee payment: 7