KR20090041417A - 모션 캡처 및 화상 복원을 수행하기 위한 시스템 및 방법 - Google Patents

Abstract

본 발명은 대상(subject)에 관하여 모션 캡처를 수행하기 위한 시스템 및 방법에 관한 것이다. 예를 들어, 본 발명의 일 실시예에 따른 컴퓨터로 구현되는 방법은: 대상의 3차원(3-D) 캡처 볼륨(capture volume)에 대한 스칼라 필드를 생성하는 단계; 상기 스칼라 필드에 대한 표면 메시(surface mesh)를 발생시키는 단계; 상기 표면 메시 중 양호한 정점을 유지하고 불량한 정점을 제거하는 단계; 및 상기 대상의 모션의 후속적인 복원에 사용하기 위한 양호한 정점을 저장하는 단계를 포함한다. 또 하나의 컴퓨터 실행 방법은: 상기 대상의 캡처된 표면을 한정하는 복수의 정점을 갖는 각 프레임의 시간 주기에 걸쳐 일련의 화상 프레임을 캡처하는 단계; 상기 복수의 정점 중 하나 이상의 정점을 갖는 기준 프레임을 확립하는 단계; (N-1)번째 프레임 또는 그 이전의 프레임에 기초하여 N번째 프레임 내의 정점을 식별하도록 프레임 대 프레임 트래킹을 수행하는 단계; 및 상기 프레임 사이의 포텐셜 드리프트(potential drift)를 무효로 하기 위해 상기 기준 프레임에 기초하여 상기 N번째 프레임 내의 정점을 식별하도록 기준 대 프레임 트래킹을 수행하는 단계를 포함한다. 또 하나의 컴퓨터 실행 방법은: 모션 캡처 세션동안 N개 정점의 복수의 화상을 포함하는 모션 캡처 데이터를 캡처하는 단계; X < N인 경우의 복수의 화상에 걸쳐 트래킹하도록 상기 N개 정점 중 X를 회귀적으로 식별하는 단계; 및 상기 복수의 화상에 걸쳐 X개의 정점을 트래킹하는 단계를 포함한다.

Description

모션 캡처 및 화상 복원을 수행하기 위한 시스템 및 방법{SYSTEM AND METHOD FOR PERFORMING MOTION CAPTURE AND IMAGE RECONSTRUCTION}

본 출원은 2006년 7월 31일에 출원된 "모션을 수행하기 위한 시스템 및 방법"이란 명칭의 미국 가 특허출원 No. 60/834,771에 대해 우선권을 주장한다.

본 발명은 일반적으로 모션 캡처(motion capture) 분야에 관한 것이다. 특히, 본 발명은 모션 캡처 및 화상 복원을 수행하기 위한 개선 장치 및 방법에 관한 것이다.

"모션 캡처"는 일반적으로 인간 및 동물의 움직임을 트래킹하고 기록하는 것을 지칭한다. 모션 캡처 시스템은 예를 들어, 비디오 게임 및 컴퓨터-제작 영화를 포함하는 다양한 응용분야에 사용된다. 전형적인 모션 캡처 세션(session)에서, "연기자(performer)"의 움직임이 캡처되어 컴퓨터-제작 캐릭터로 변환된다.

도 1에 도시된 바와 같이, 모션 캡처 시스템에서 복수의 모션 트래킹 "마커(markers)"(예를 들어, 마커(101, 102))가 연기자(100)의 몸체상의 여러 포인트에 부착된다. 상기 포인트는 인간 골격의 알려진 한계에 기초하여 선택된다. 서로 다른 캡처 시스템에 대해 서로 다른 타입의 모션 캡처 마커가 사용된다. 예를 들어, "자기" 모션 캡처 시스템에서, 상기 연기자에게 부착된 모션 마커는 측정가 능한 분열점 x, y, z 및 자기장에서의 편요각(yaw), 피치(pitch), 롤(roll)을 발생시키는 활성 코일이다.

이와 반대로, 도 1에 도시된 바와 같은 광학 모션 캡처 시스템에서, 상기 마커(101, 102)는 회귀-반사형 재료, 즉 이상적으로 광범위한 입사각에 걸쳐 발생한 방향으로 광을 되돌려 반사하는 재료로 이루어진 비활성 구체(spheres)이다. 상기 회귀-반사형 마커(101, 102) 및 상기 연기자의 다른 마커로부터 되돌려 반사된 LED 광을 캡처하도록, 각각 렌즈 주변에 LED 링(130, 131, 132)을 갖는 복수의 카메라(120, 121, 122)가 위치설정된다. 이상적으로, 상기 회귀-반사된 LED 광은 방안의 어떤 다른 광원보다도 훨씬 더 밝다. 전형적으로, 상기 방안의 임의의 다른 광으로부터 이상적으로 상기 반사형 마커의 반사된 광을 격리시키는 특정 레벨의 광도(brightness) 아래의 모든 광을 거부하도록 임계 함수가 상기 카메라(120, 121, 122)에 적용되며, 상기 카메라(120, 121, 122)는 연기자의 마커(101, 102) 및 다른 마커로부터의 광만을 캡처한다.

상기 카메라에 결합된 모션 트래킹 유닛(150)에는 상기 마커(101, 102) 각각의 상대적인 위치 및/또는 연기자 몸체의 알려진 한계가 프로그램되어 있다. 카메라(120-122)로부터 제공된 상기 정보 및 시각 데이터를 이용하면, 상기 모션 트래킹 유닛(150)은 상기 모션 캡처 세션 동안 상기 연기자의 움직임을 나타내는 인공 모션 데이터를 발생시킨다.

그래픽 처리 유닛(152)은 상기 모션 데이터를 이용하여 컴퓨터 디스플레이(160)(또는 유사한 디스플레이 장치)상에 연기자의 애니메이션 표현을 렌더링한 다. 예를 들어, 상기 그래픽 처리 유닛(152)은 서로 다른 애니메이션 캐릭터 및/또는 서로 다른 컴퓨터-제작 장면에 상기 애니메이션 캐릭터를 포함하도록 상기 연기자의 캡처 모션을 적용할 수 있다. 일 실시예에서, 상기 모션 트래킹 유닛(150) 및 그래픽 처리 유닛(152)은 컴퓨터의 버스(예를 들어, 많은 퍼스널 컴퓨터에 설비된 PCI 및 AGP 버스)에 결합된 프로그램가능 카드이다. 모션 캡처 시스템을 생산하는 잘 알려진 회사는 Motion Analysis Corporation(www.motionanalysis.com 참조)이다.

본 발명은 형광 램프를 사용하여 대상에 관하여 모션 캡처를 수행하기 위한 시스템 및 방법에 관한 것이다. 예를 들어, 본 발명의 일 실시예에 따른 시스템은: 하나 이상의 동기 신호를 발생시키는 동기 신호 발생기; 상기 하나 이상의 동기 신호 중 첫번째 동기 신호에 응답하여 스트로브(strobe) 온 및 오프하도록 구성되며, 모션 캡처 세션동안 대상에 도포된 인광성 구조, 페인트 또는 염료를 채우는 하나 이상의 형광 램프; 및 상기 인광성 페인트의 화상을 캡처하도록 광원의 스트로빙과 동기하여 스트로빙된 셔터를 갖는 복수의 카메라를 포함하며, 상기 셔터는 광원이 오프될 때 개방되며 상기 광원이 온 될 때 폐쇄된다.

본 발명은 도면과 함께 다음의 상세한 설명을 참조하면 더 잘 이해될 것이다.

도 1은 회귀-반사형 마커 및 카메라를 이용하여 연기자의 모션을 트래킹하는 종래의 모션 트래킹 시스템을 도시한다.

도 2a는 라이트 패널(light panel)이 켜진 때의 시간 간격동안의 본 발명의 일 실시예를 도시한다.

도 2b는 라이트 패널이 꺼진 때의 시간 간격동안의 본 발명의 일 실시예를 도시한다.

도 3은 본 발명의 일 실시예에 따른 상기 라이트 패널과 셔터 사이의 동기를 도시하는 타이밍도이다.

도 4는 리트 및 다크 시간 간격동안 모델상에 짙게 도포된 인광성 메이크업(makeup)의 화상뿐 아니라, 최종 복원된 3D 표면 및 텍스처 3D 표면을 도시한다.

도 5는 리트 및 다크 시간 간격동안 모델상에 베이스 메이크업과 혼합된 인광성 메이크업의 화상뿐 아니라, 최종 복원된 3D 표면 및 텍스처 3D 표면을 도시한다.

도 6은 리트 및 다크 시간 간격동안 천에 도포된 인광성 메이크업의 화상뿐 아니라, 최종 복원된 3D 표면 및 텍스처 3D 표면을 도시한다.

도 7a는 종래의 스톱-모션(stop-motion) 애니메이션 스테이지를 도시한다.

도 7b는 스톱-모션 캐릭터 및 세트가 함께 캡처되는 경우의 본 발명의 일 실시예를 도시한다.

도 7c는 스톱-모션 세트가 상기 캐릭터로부터 분리되어 캡처되는 경우의 본 발명의 일 실시예를 도시한다.

도 7d는 스톱-모션 캐릭터가 상기 세트와 다른 캐릭터로부터 분리되어 캡처 되는 경우의 본 발명의 일 실시예를 도시한다.

도 7e는 스톱-모션 캐릭터가 상기 세트와 다른 캐릭터로부터 분리되어 캡처되는 경우의 본 발명의 일 실시예를 도시한다.

도 8은 소정의 형광 및 LED 광원의 방출 스펙트럼뿐 아니라 ZnS:Cu 인광체의 여기(excitation) 및 방출 스펙트럼을 도시하는 차트이다.

도 9는 종래 형광 램프의 예시이다.

도 10은 종래의 형광 램프 안정기 뿐 아니라 본 발명의 목적을 위해 상기 안정기를 수정하기 위한 동기 제어 회로의 일 실시예의 회로도이다.

도 11은 도 9의 동기 제어 회로에 의해 수정된 형광 램프 안정기에 의해 구동된 형광 램프의 광 출력을 도시하는 오실로스코프 궤적이다.

도 12는 도 9의 동기 제어 회로에 의해 수정된 형광 램프 안정기에 의해 구동된 형광 램프의 광 출력의 쇠퇴 곡선을 도시하는 오실로스코프 궤적이다.

도 13은 형광 램프 필라멘트의 잔광(afterglow)과 필라멘트를 커버하는 강력 접착 테이프(gaffer's tape)의 사용의 예시이다.

도 14는 본 발명의 일 실시예에 따른 라이트 패널과 셔터 사이의 동기를 예시하는 타이밍도이다.

도 15는 본 발명의 일 실시예에 따른 라이트 패널과 셔터 사이의 동기를 예시하는 타이밍도이다.

도 16은 본 발명의 일 실시예에 따른 라이트 패널과 셔터 사이의 동기를 예시하는 타이밍도이다.

도 17은 본 발명의 일 실시예에 따른 라이트 패널과 셔터 사이의 동기를 예시하는 타이밍도이다.

도 18은 본 발명의 일 실시예에 따른 라이트 패널과 셔터 사이의 동기를 예시하는 타이밍도이다.

도 19는 라이트 패널이 켜진때의 시간 간격동안 본 발명의 카메라, 라이트 패널 및 동기 서브시스템의 일 실시예를 도시한다.

도 20은 본 발명의 일 실시예에 따른 라이트 패널과 셔터 사이의 동기를 예시하는 타이밍도이다.

도 21은 본 발명의 일 실시예에 따른 라이트 패널과 셔터 사이의 동기를 예시하는 타이밍도이다.

도 22는 컬러가 인광체 광도를 표시하도록 사용되는 경우의 본 발명의 일 실시예를 도시한다.

도 23은 표면으로부터의 거리 함수로서의 가중치(weighting)를 도시한다.

도 24는 표면 법선 함수로서의 가중치를 도시한다.

도 25는 표면으로부터의 거리 함수로서의 스칼라 필드를 도시한다.

도 26은 다중 범위 데이터 세트로부터 3D 표면을 구축하기 위한 프로세스의 일 실시예를 도시한다.

도 27은 다중 프레임에 대한 정점(vertex) 트래킹 방법의 일 실시예를 도시한다.

도 28은 단일 프레임의 정점 트래킹 방법의 일 실시예를 도시한다.

이하에서는 셔터 동기 및/또는 인광성 메이크업, 페인트 또는 염료를 이용하여 모션 캡처를 수행하는 개선된 장치 및 방법에 대해 설명한다. 이하에서는, 설명의 목적으로 본 발명의 완전한 이해를 제공하기 위해 다수의 특정 상세항목이 설명된다. 그러나, 본 발명은 이들 특정 상세항목의 일부가 없이도 실행될 수 있음을 당업자는 명백히 알 것이다. 다른 경우에, 잘 알려진 구조 및 디바이스는 본 발명의 기초 원리를 흐리지 않도록 블록도 형태로 도시된다.

본 출원의 양수인은 이전에 컬러-코딩 모션 캡처를 수행하는 시스템 및 연기자의 얼굴에 페인팅된 일련의 반사 곡선을 이용하여 모션 캡처를 수행하는 시스템을 개발하였다. 이들 시스템은 2004년 9월 15일 출원된 "연기자의 모션 및/또는 표현을 캡처링하는 장치 및 방법"이란 명칭의 계류중인 출원 No. 10/942,609 및 No. 10/942,413, 에 설명되어 있다. 이들 출원은 본 출원의 양수인에게 양도되며 본 명세서에서 참조로 통합된다.

본 출원의 양수인은 또한 이전에 표면에 도포된 랜덤 패턴의 모션 캡처를 수행하는 시스템을 개발하였다. 이 시스템은 2005년 10월 20일 출원된 "캡처 표면 상에 랜덤 패턴을 이용하여 모션 캡처를 수행하는 장치 및 방법"이란 명칭의 계류중인 출원 No. 11/255,854에 설명되어 있다. 본 출원은 본 출원의 양수인에게 양도되며 본 명세서에서 참조로 통합된다.

본 출원의 양수인은 또한 이전에 셔터 동기 및 인광성 페인트를 사용하여 모션 캡처를 수행하는 시스템을 개발하였다. 상기 시스템은 2005년 3월 10일에 출원 된 "셔터 동기를 이용하여 모션 캡처를 수행하는 장치 및 방법"이란 명칭의 계류중인 출원 No. 11/077,628에 설명되어 있다(이하 "셔터 동기" 출원). 간단히 말해서, 셔터 동기 출원에서 모션 캡처 시스템의 효율은 인광성 페인트 또는 메이크업을 사용함으로써, 그리고 상기 모션 캡처 카메라의 셔터간의 동기와 페인팅 곡선의 조명을 정확하게 제어함으로써 개선된다. 상기 출원은 본 출원의 양수인에게 양도되며 본 명세서에서 참조로 통합된다.

시스템 개요

이들 계류중인 출원에서 설명된 바와 같이, 연기자의 얼굴상의 불연속 마킹 지점 또는 마커보다는, 연기자의 얼굴상에 메이크업으로서 도포된 곡선 또는 랜덤 패턴을 분석함으로써, 상기 모션 캡처 시스템은 종래의 마킹 포인트 또는 마커-기반 트래킹 시스템보다 상당히 많은 표면 데이터를 발생시킬 수 있다. 랜덤 패턴 또는 곡선은 회귀-반사형, 무독성 페인트 또는 연극적인 메이크업을 사용하여 연기자의 얼굴상에 페인팅된다. 본 발명의 일 실시예에서, 랜덤 패턴 또는 곡선을 생성하도록 무독성 인광성 메이크업이 사용된다. 동기된 광 및 카메라 셔터와 조합된 인광성 페인트 또는 메이크업을 이용함으로써, 모션 캡처 시스템은 얼굴의 정규적으로-조명된 화상이나 하이라이트 및 섀도우와 같은 정규 조명의 다른 인공물로부터 연기자의 얼굴에 적용된 패턴을 더 잘 분리할 수 있다.

도 2a 및 도 2b는 인광성 메이크업의 랜덤 패턴이 연기자의 얼굴에 도포되며 광-밀봉 공간에서 모션 캡처 시스템이 동작되는, 계류중인 출원에 설명된 예시적인 모션 캡처 시스템을 도시한다. 상기 동기된 라이트 패널(208-209)이 도 2a에 예시 된 바와 같이 온이 될 때, 연기자의 얼굴은 화상(202)에서와 같이 보인다(즉, 인광성 메이크업이 약간만 보일 수 있다). 동기된 라이트 패널(208-209)(예를 들어, LED 어레이)이 도 2b에 도시된 바와 같이 오프될 때, 상기 연기자의 얼굴은 화상(203)에서와 같이 보인다(즉, 상기 인광성 메이크업의 백열광(glow)만이 보일 수 있다).

그레이스케일 다크 카메라(204-205)는 데이터 처리 시스템(210)에 결합되는 동기 신호 발생기 PC(220)의 PCI 버스에 결합된 동기 신호 발생기 PCI 카드(224)(예시적인 PCI 카드는 National Instruments of Austin, Texas에 의해 제조된 PCI-6601임)를 사용하여 라이트 패널(208-209)에 동기되며, 따라서 모든 시스템은 함께 동기된다. 라이트 패널 동기 신호(222)는 상기 신호(222)가 하이(즉, ≥2.0V)일 때 라이트 패널(208-209)이 턴 온되고, 상기 신호(222)가 로우(즉, ≤0.8V)일 때 라이트 패널(208-209)이 턴 오프되도록 상기 라이트 패널(208-209)에 TTL-레벨 신호를 제공한다. 다크 캠 동기(Dark Cam Sync) 신호(221)는 상기 신호(221)가 로우일 때 상기 카메라(204-205) 셔터가 개방되고 각 카메라(204-205)가 화상을 캡처하며, 상기 신호(221)가 하이일 때 상기 셔터가 폐쇄되고 상기 카메라가 상기 캡처된 화상을 카메라 제어기 PC(205)에 전송하도록 상기 그레이스케일 다크 카메라(204-205)에 TTL-레벨 신호를 제공한다. 상기 동기 타이밍(이하에서 상세하게 설명됨)은 상기 라이트 패널(208-209)이 오프될 때("다크" 간격) 프레임을 캡처하도록 상기 카메라(204-205) 셔터가 개방되게 하기 위한 것이다. 결과적으로, 그레이스케일 다크 카메라(204-205)는 상기 인광성 메이크업만의 출력 화상을 캡처한다. 유사하게, 리트 캠 동기(Lit Cam Sync)(223)는 신호(221)가 로우일 때 카메라(204-205) 셔터가 개방되고 각 카메라(204-205)가 화상을 캡처하며, 신호(221)가 하이일 때 상기 셔터가 폐쇄되고 상기 카메라가 캡처된 화상을 카메라 제어기 컴퓨터(225)에 전송하도록 컬러 리트 카메라(214-215)에 TTL-레벨 신호를 제공한다. 컬러 리트 카메라(214-215)는 라이트 패널(208-209)이 온일 때("리트" 간격) 프레임을 캡처하기 위해 상기 셔터가 개방되도록 동기된다(이하에서 상세하게 설명된다). 결과적으로, 컬러 리트 카메라(214-215)는 라이트 패널에 의해 조명된 연기자의 얼굴의 화상을 캡처한다.

본 명세서에서 사용된 바와 같이, 그레이스케일 카메라(204-205)는 라이트 패널(208-209)이 꺼진때에만 그 셔터가 정상적으로 동작하기 때문에 "다크 카메라" 또는 "다크 캠"이라 칭해질 수 있다. 유사하게, 컬러 카메라(214-215)는 라이트 패널(208-209)이 켜진 때에만 그 셔터가 정상적으로 개방되기 때문에 "리트 카메라" 또는 "리트 캠"이라 칭해질 수 있다. 그레이스케일 및 컬러 카메라는 특히 일 실시예에서의 각 조명 단계에 대해 사용되는 반면, 그레이스케일 또는 컬러 카메라는 다른 실시예에서의 어느쪽의 광 단계에 대해서도 사용될 수 있다.

일 실시예에서, 라이트 패널(208-209)은 초당 90 플래시로 급속하게 플래시되며(라이트 패널 동기 신호(222)로부터의 90Hz 구형파에 의해 구동됨), 이와 함께 카메라(204-205) 및 카메라(214-215)는 이전에 설명된 바와 같이 상기 패널에 동기된다. 초당 90 플래시에서, 상기 라이트 패널(208-209)은 대다수의 인간에 의해 인식될 수 있는 것보다 빠른 속도로 플래시되며, 결과적으로 연기자(모션 캡처 세 션의 임의의 관찰자 뿐 아니라)는 방안이 끊임없이 조명된 것으로 인식하고 플래싱을 인지하지 못하며, 연기자는 플래싱하는 라이트 패널(208-209)로부터 방해받지 않고 계속해서 연기를 진행할 수 있다.

계류중인 출원에서 상세하게 설명된 바와 같이, 카메라(204-205 및 214-215)에 의해 캡처된 화상은 카메라 제어기(225)(중앙 집중 모션 캡처 제어기(206)에 의해 통합됨)에 의해 기록되며 상기 화상 및 기록된 화상 시퀀스는 데이터 처리 시스템(210)에 의해 처리된다. 여러 그레이스케일 다크 카메라로부터의 화상은 얼굴(207)의 3D 표면의 기하학을 결정하도록 처리된다. 상기 얼굴(207)의 표면 기하학상에 캡처된 컬러 리트 화상을 맵핑하도록 데이터 처리 시스템(210)에 의한 추가의 처리가 이용될 수 있다. 프레임 대 프레임으로부터 상기 얼굴상의 표면 포인트를 트래킹하도록 상기 데이터 처리 시스템(210)에 의한 또 다른 추가 처리가 이용될 수 있다.

일 실시예에서, 카메라 제어기(225) 및 중앙 모션 캡처 제어기(206)의 각각은 분리된 컴퓨터 시스템을 사용하여 실행된다. 대안적으로, 상기 카메라 제어기 및 모션 캡처 제어기는 단일 컴퓨터 시스템상에 실행된 소프트웨어로서, 또는 하드웨어 및 소프트웨어의 임의의 조합으로서 실행될 수 있다. 일 실시예에서, 상기 카메라 제어기 컴퓨터(225)는 랙-탑재(rack-mounted) 컴퓨터이며, 각각 2 기가바이트의 랜덤 액세스 메모리(RAM)를 갖는 MSI Computer Japan Co.,Ltd.(C&K Bldg. 6F 1-17-6, Higashikanda, Chiyoda-ku, Tokyo 101-0031 Japan)로부터의 945GT Speedster-A4R 마더보드 및 Western Digital, Lake Forest CA로부터의 300 기가바 이트 SATA 하드디스크를 사용한다. 상기 카메라(204-205 및 214-215)는 IEEE 1394 케이블을 통해 카메라 제어기 컴퓨터(225)에 인터페이스한다.

또 하나의 실시예에서, 상기 중앙 모션 캡처 제어기(206)는 또한 동기 신호 발생기 PC(220)로서 동작한다. 또 하나의 실시예에서, 상기 동기 신호 발생기 PCI 카드(224)는 동기 신호 발생기 PC(220)의 병렬 포트 출력을 사용함으로써 교체된다. 그와 같은 일 실시예에서, 상기 병렬 포트의 TTL-레벨 출력의 각각은 동기 신호 발생기 PC(220)상에 실행하는 애플리케이션에 의해 제어되어, 원하는 신호 타이밍에 따라 각각의 TTL-레벨 출력을 하이 상태 또는 로우 상태로 스위칭한다. 예를 들어, PC(220) 병렬 포트의 비트 0은 동기 신호(221)를 구동하도록 사용되며, 비트 1은 신호(222)를 구동하도록 사용되며, 비트 2는 신호(224)를 구동하도록 사용된다. 그러나, 본 발명의 기초 원리는 상기 동기 신호를 발생시키는 임의의 특정 메커니즘에 한정되지 않는다.

본 발명의 일 실시예에서 사용된 광원 및 카메라사이의 동기는 도 3에 도시되어 있다. 본 실시예에서, 상기 라이트 패널 및 다크 캠 동기 신호(221 및 222)는 서로 동위상인 반면, 리트 캠 동기 신호(223)는 신호(221/222)의 역상태이다. 일 실시예에서, 상기 동기 신호는 0 내지 5V 사이에서 순환한다. 상기 동기 신호(221 및 223)에 응답하여, 상기 카메라(204-205 및 214-215)의 셔터는 도 3에 도시된 바와 같이 주기적으로 개방 및 폐쇄된다. 동기 신호(222)에 응답하여, 상기 라이트 패널은 도 3에 도시된 바와 같이 각각 주기적으로 턴 오프 및 턴 온된다. 예를 들어, 상기 동기 신호(223)의 하강 에지(314) 및 동기 신호(221 및 222)의 상 승 에지(324 및 334)상에서 각각, 상기 리트 카메라(214-215) 셔터는 개방되고 다크 카메라(204-215) 셔터는 폐쇄되며, 상기 라이트 패널은 상승 에지(344)에 의해 도시된 바와 같이 조명된다. 상기 셔터는 그 각각의 상태로 남아있으며 상기 라이트 패널은 시간 간격(301) 동안 조명된 채로 남아있다. 그 후에, 동기 신호(223)의 상승 에지(312) 및 상기 동기 신호(221 및 222)의 하강 에지(322 및 332)상에서 각각, 상기 리트 카메라(214-215) 셔터는 폐쇄되고 상기 다크 카메라(204-215) 셔터는 개방되며, 상기 라이트 패널은 하강 에지(342)에 의해 도시된 바와 같이 턴 오프된다. 상기 셔터 및 라이트 패널은 시간 간격(302) 동안 이러한 상태로 남아있다. 그 후에, 상기 프로세스는 각각의 연속하는 프레임 시간 간격(303) 동안 반복한다.

결과적으로, 제 1 시간 간격(301) 동안, 정상적으로 켜진(normally-lit) 화상은 컬러 리트 카메라(214-215)에 의해 캡처되고, 상기 인광성 메이크업은 라이트 패널(208-209)로부터의 광으로 조명된다(그리고 충전된다). 제 2 시간 간격(302) 동안, 상기 광은 턴 오프되고 상기 그레이스케일 다크 카메라(204-205)는 연기자 상의 백열하는 인광성 메이크업의 화상을 캡처한다. 상기 라이트 패널이 제 2 시간 간격(302)동안 오프되기 때문에, 상기 인광성 메이크업과 상기 인광성 메이크업이 없는 방안의 임의의 표면사이의 콘트라스트는 극도로 높으며(즉, 방안의 나머지는 피치 블랙(pitch black)이거나 적어도 상당히 어두우며, 결과적으로 인광성 방출로부터 반사된 광과 달리, 상당한 광이 방안의 표면에서 반사하지 않게 되며), 그로인해 연기자의 얼굴에 도포된 여러 패턴을 구별하는 시스템의 성능이 개선된 다. 게다가, 상기 라이트 패널은 상기 시간의 절반에서 온되기 때문에, 상기 연기자는 연기하는 동안 방 주변을 볼 수 있으며, 또한 인광성 메이크업이 지속적으로 재충전된다. 상기 동기 신호의 주파수는 1/(시간 간격(303))이며 라이트 패널이 턴 온 및 턴 오프되는 것을 연기자가 전혀 알아채지 못하는 높은 속도로 설정될 수 있다. 예를 들어, 90Hz 이상의 플래시 속도에서, 거의 모든 인간은 광이 플래싱되는 것을 인지할 수 없으며, 상기 광은 지속적으로 조명되는 것으로 나타난다. 정신 물리학적 어조로, 고주파수 플래싱 광이 계속적으로 조명되는 것으로 인간에 의해 인식될 때, 이를 "퓨전(fusion)"이 달성되었다고 말한다. 일 실시예에서, 상기 라이트 패널은 120Hz로 순환된다; 또 하나의 실시예에서, 상기 라이트 패널은 140Hz로 순환되며, 양 주파수는 어떠한 인간의 퓨전 임계치보다 훨씬 위에 있다. 그러나, 본 발명의 기초 원리는 임의의 특정 주파수에 한정되지 않는다.

인광성 랜덤 패턴을 이용하는 피부의 표면 캡처

도 4는 상술한 방법을 이용하여 캡처된 화상 및 그로부터 복원된 3D 표면 및 텍스처 3D 표면을 도시한다. 화상을 캡처링하기 전에, 박피 스폰지(exfoliating sponge)로 코카시안 모델의 얼굴에 인광성 메이크업이 도포되었다. 구리 활성제를 갖는 발광 아연 황화물(ZnS:Cu)은 상기 메이크업의 인광 특성을 담당하는 인광체이다. 상기 특정 형태의 발광 아연 황화물은 메이크업 준비를 위해 FDA 컬러 첨가물 법규 21 CFR Part 73에 의해 승인되어 있다. 상기 특정 브랜드는 판타지 F/XT 튜브 메이크업 ; 제품 # : FFX ; 컬러 명칭: GL ; 100 Red Schoolhouse Rd. Chestnut Ridge, NY 10977의 Mehron Inc. 제조이다. 이들 화상을 생산한 모션 캡처 세션은 복수의 각도로부터 모델의 얼굴을 둘러싸는 8개 그레이스케일 다크 카메라(카메라(204-205)) 및 리트 화상(401)에서 보여진 조망을 제공하도록 한 각도로부터의 모델의 얼굴에 향해진 1개의 컬러 리트 카메라(카메라(214-215))를 이용하였다. 상기 그레이스케일 카메라는 Basler AG, An der Strusbek 60-62, 22926 Ahrensburg, Germany사의 모델 A311f이며 컬러 카메라는 Basler 모델 A311fc였다. 상기 라이트 패널(208-209)은 초당 72 플래시의 속도로 플래시되었다.

리트 화상(401)은 상기 라이트 패널(208-209)이 온되며 상기 컬러 리트 카메라(214-215) 셔터가 개방될 때, 리트 간격(301) 동안 상기 컬러 리트 카메라(214-215) 중 하나에 의해 캡처된 연기자의 화상을 도시한다. 주목할 사항으로서, 상기 인광성 메이크업은 사용자의 얼굴, 특히 입술상에서 잘 보일 수 있다.

다크 화상(402)은 상기 라이트 패널(208-209)이 오프되며 상기 그레이스케일 다크 카메라(204-205) 셔터가 개방될 때, 다크 간격(302)동안 상기 그레이스케일 다크 카메라(204-205) 중 하나에 의해 캡처된 연기자의 화상을 도시한다. 주목할 사항으로서, 인광성 메이크업의 랜덤 패턴만이 그 패턴이 도포된 표면상에서 보일 수 있다. 상기 화상에서 연기자의 머리카락, 눈, 이빨, 귀 및 목을 포함한 모든 다른 표면은 완전히 블랙이다.

3D 표면(403)은 복수의 각도로부터 상기 모델의 얼굴에 향해진 그레이스케일 다크 카메라(204-205)(본 예에서, 8개의 그레이스케일 다크 카메라가 사용되었으며, 각각 다른 각도로부터 단일 다크 화상(402)을 생산함)로부터 상기 다크 화상(402)으로부터 복원된 표면의 렌더링된 화상을 도시한다. 상기 화상을 생성하도 록 사용될 수 있는 하나의 복원 프로세스는 2005년 10월 20일에 출원된 "캡처 표면상에 랜덤 패턴을 사용하여 모션 캡처를 수행하기 위한 장치 및 방법"이란 명칭의 계류중인 출원 No. 11/255,854에 상세되어 있다. 주목할 사항으로서, 3D 표면(403)은 인광성 메이크업이 도포된 표면으로부터만 복원된다. 또한, 상기 3D 표면(403)을 생성하도록 사용된 기술의 특정 실시예는 평탄한 표면을 갖는 3D 표면의 공동(예를 들어, 상기 예에서의 눈 및 입)을 채운다.

텍스처 3D 표면(404)은 텍스처 맵으로서 사용되고 3D 표면(403)상에 매핑되며 한 각도에서 렌더링된 리트 화상(401)을 도시한다. 텍스처 3D 표면(404)은 모델의 얼굴의 컴퓨터-제작 3D 화상이지만, 인간의 눈에는, 화상(404)에서와 같이 한 각도에서 렌더링될 때 상기 모델이 자신의 머리를 돌려 실제로 한 각도로 보는 환영을 생성하도록 충분히 리얼하게 나타난다. 주목할 사항으로서, 인광성 메이크업은 모델의 눈 및 이빨에 도포되지 않았으며, 눈 및 이빨의 화상은 3D 표면에서의 공동을 채우는 평탄한 표면상에 매핑된다. 그럼에도 불구하고, 상기 3D 표면의 나머지 부분은 정확하게 복원되며, 최종 텍스처 3D 표면(404)은 포토리얼리즘에 근사하게 된다. 상기 프로세스가 텍스처 3D 표면(404)의 연속 프레임을 생성하도록 적용될 때, 상기 프레임이 실시간으로 재생될 때, 비록 측면 각도로부터 조망된 모델의 컴퓨터-제작 3D 화상이지만, 리얼리즘의 레벨은 미숙련의 눈에는, 연속적인 프레임이 상기 모델의 실제 영상처럼 보이게 되는 정도이다.

상기 텍스처 3D 표면(404)은 컴퓨터-제작 3D 화상을 생성하기 때문에, 그와 같은 컴퓨터-제작 화상은 상기 모델의 캡처된 실제 영상보다 훨씬 더 유연성있게 조작될 수 있다. 실제 영상에서는 상기 영상이 촬영된 각도와는 다른 임의의 카메라 각도로부터 상기 영상의 객체를 도시하는 것이 종종 불가능해진다. 컴퓨터-제작 3D에서는, 상기 화상이 임의의 카메라 각도에서 보이는 것처럼 렌더링될 수 있다. 실제 영상에서는, 일반적으로 배경으로부터 객체를 분리하도록(예를 들어, TV 기상학자가 날씨 맵 앞에서 합성될 수 있도록) 그린 스크린 또는 블루 스크린을 사용해야 하며, 그 후에 그린 또는 블루 스크린된 객체는 상기 객체를 촬영하는 카메라 시야에서만 나타날 수 있다. 상술한 기술에서는, 그린/블루 스크린이 필요하지 않다. 인광성 메이크업, 페인트 또는 염료가 캡처되기를 원하는 영역(예를 들어, 기상학자의 얼굴, 몸체 및 의상)에 도포되며, 그 후에 전체 배경이 상기 객체로부터 분리된다. 더욱이, 상기 객체는 임의의 카메라 각도로부터 나타날 수 있다. 예를 들어, 상기 기상학자는 직선상의 촬영으로부터, 또는 측면 각도 촬영으로부터 보여질 수 있지만, 여전히 날씨 맵 앞에서 합성될 수 있다.

더욱이, 3D 제작 화상은 3D로 조작될 수 있다. 예를 들어, 표준 3D 메시 조작 툴(예컨대, Autodesk, Inc. 제품인 Maya)을 사용하면, 연기자는 자신의 코가 다른 크기에서 더 좋게 보인다는 미용적인 이유를 위해, 또는 연기자가 "반지의 제왕"의 골룸과 같은 판타지 캐릭터처럼 보이게 하는 창조 효과를 위해, 코가 짧아지거나 길어질 수 있다. 더 확장된 3D 조작은 연기자를 더 나이들어보이게 하도록 연기자의 얼굴에 주름을 더할 수 있거나, 더 젊어보이게 하도록 주름을 펼 수 있다. 상기 얼굴은 또한 연기자의 감정표현, 예를 들어 미소에서 찌푸림으로 변경하도록 조작될 수 있다. 일부 2D 조작이 종래의 2D 영상 캡처로 가능하지만, 이것은 일반적으로 카메라 시야에서의 조작으로 제한된다. 상기 모델이 영상 시퀀스동안 자신의 머리를 돌리면, 상기 머리가 카메라를 향할 때 적용된 상기 2D 조작은 상기 머리가 돌려질 때 변경되어야 한다. 3D 조작은 머리가 어느 방향으로 돌려지는지 관계없이 변경될 필요가 없다. 결과적으로, 영상 시퀀스에서 텍스처 3D 표면(404)의 연속하는 프레임을 생성하기 위한 상술한 기술은 실제 영상과 같이 보이게 하도록 객체를 캡처할 수 있으며, 그럼에도 불구하고 컴퓨터-제작 3D 객체로서의 조작의 유연성을 갖으므로, 비디오, 영화 및 비디오 게임(캐릭터가 3D로 플레이어에 의해 조작될 수 있음)의 제작에 막대한 이점을 제공한다.

주목할 사항으로서, 도 4에서 상기 인광성 메이크업은 리트 화상(401)의 모델의 얼굴상에서 보일 수 있으며 얼굴위에 황색 파우더가 뿌려진 것처럼 나타난다. 이것은 모델의 아랫입술에서 특히 두드러지는데, 여기서 상기 입술 컬러는 거의 전체가 적색에서 황색으로 변화된다. 이들 변색은 텍스처 3D 표면(404)에 나타나며, 예를 들어, 흑인인 어두운-피부의 모델에서 훨씬 더 두드러진다. 많은 애플리케이션(예를 들어, 골룸과 같은 판타지 3D 캐릭터 창조)은 3D 표면(403)만을 필요로 하며, 텍스처 3D 표면(404)은 모션 캡처 세션의 디렉터(director)나 또는 상기 3D 표면(403)을 조작하는 3D 애니메이터에게 참조로서만 작용한다. 그러나 일부 애플리케이션에서, 모델 피부의 실제 피부색을 유지하는 것이 중요하며 인광성 메이크업으로 인한 변색은 바람직하지 않다.

베이스와 혼합된 인광성 메이크업을 사용하는 표면 캡처

도 5는 동일한 조건하에서 캡처되고 생성된, 도 4에서와 유사한 화상 세트를 도시한다: 8개의 그레이스케일 다크 카메라(204-205), 1개의 컬러 카메라(214-215), 상기 광 어레이(208-209)가 온일 때의 시간 간격동안 상기 컬러 리트 카메라에 의해 캡처된 리트 화상(501) 및 상기 광 어레이(208-209)가 오프일 때 상기 8개 그레이스케일 다크 카메라 중 하나에 의해 캡처된 다크 화상(502). 3D 표면(503)은 상기 8개의 그레이스케일 다크 카메라로부터의 8개의 다크 화상(502)으로부터 복원되며, 텍스처 3D 표면(504)은 3D 표면(503)상에 텍스처-맵핑된 리트 화상(501)의 렌더링이다(그리고 화상(404)과 달리, 화상(504)은 리트 화상(501)을 캡처한 컬러 리트 카메라의 카메라 각도와 유사한 카메라 각도로부터 렌더링된다).

그러나, 도 5 및 도 4의 화상 사이에는 두드러진 차이점이 존재한다: 리트 화상(401) 및 텍스처 3D 표면(404)에서 두드러지게 보일 수 있는 상기 인광성 메이크업은 리트 화상(501) 및 텍스처 3D 표면(504)에서는 거의 눈에 보이지 않는다. 그 이유는, 도 4의 모션 캡처 세션에서 이루어진 것과 같이 인광성 메이크업을 순수 형태로 모델에게 도포하기 보다는, 도 5에 도시된 실시예에서는 상기 인광성 메이크업이 메이크업 베이스와 혼합된 후에 상기 모델에 도포되기 때문이다. 사용된 메이크업 베이스는 커버걸(Cover Girl)에 의해 제조된 "버프 베이지(Buff Beige)" 컬러의 "클린 메이크업(Clean Makeup)"이며 상기 베이스는 도 4에서 사용된 동일한 인광성 메이크업과 혼합되는데, 80%의 인광성 메이크업과 20%의 베이스 메이크업의 비율로 혼합된다.

주목할 사항으로서, 메이크업 베이스와 인광성 메이크업의 혼합은 다크 간격(302) 동안 상기 인광성의 광도를 감소시킨다. 그럼에도 불구하고, 상기 인광성 광도는 여전히 다크 화상(502)을 생산하도록 충분하며, 상기 8개 그레이스케일 다크 카메라로부터의 상기 다크 화상에서 3D 표면(503)을 복원하도록 충분한 동적 범위가 존재한다. 이전에 나타난 바와 같이, 일부 애플리케이션은 상기 모델의 피부색의 정확한 캡처를 필요로 하지 않으며, 그 경우에는 상기 인광성 메이크업을 베이스와 혼합하지 않는 것이 유리하며, 그 후에 다크 간격(302) 동안 더 높은 인광성 광도의 이점을 얻는다(예를 들어, 더 높은 광도는 카메라 렌즈상에 더 작은 개구 세팅을 허용하며, 이는 더 큰 피사계심도(depth of field)를 허용한다). 그러나 일부 애플리케이션은 상기 모델의 피부색의 정확한 캡처를 필요로 한다. 그러한 애플리케이션에 대해, 상기 인광성 메이크업과 베이스를 혼합하고(모델의 피부톤에 적합한 컬러로), 더 낮은 인광성 광도의 제약 내에서 작동하는 것이 유용하다. 또한, 일부 인광체 가시도는 수용가능하지만, 상기 가시도의 레벨이 리트 화상(401)에서는 보이지 않는 애플리케이션이 존재한다. 그와 같은 애플리케이션에 대해, 상기 베이스에 비해 더 높은 퍼센티지의 인광성 메이크업을 혼합함으로써 피부색 정확도 및 인광성 광도 관점에서 타협점을 찾을 수 있다.

또 하나의 실시예에서, 원시 형태의 발광 아연 황화물(ZnS:Cu)은 베이스 메이크업과 혼합되어 상기 모델의 얼굴에 도포된다.

인광성 랜덤 패턴에 의한 패브릭의 표면 캡처

또 하나의 실시예에서, 상술한 기술은 천을 캡처하도록 사용된다. 도 6은 그 위에 흡수된 도 4에서 사용된 동일한 인광성 메이크업을 갖는 한 조각의 천(실크 파자마 탑의 일부)의 캡처를 도시한다. 상기 캡처는 8개의 그레이스케일 카메 라(204-205)와 1개의 컬러 리트 카메라(214-215)로의 정확하게 동일한 조건으로 이루어졌다. 상기 인광성 메이크업은 리트 간격(301) 동안 리트 프레임(601)의 표면을 약간 변색하여 보여질 수 있지만, 다크 간격(302) 동안 다크 프레임(602)에서 밝게 인광을 발하는 것으로 보일 수 있다. 다크 프레임(602)의 8개 카메라로부터, 3D 표면(603)은 상기 3D 표면(403 및 503)을 복원하도록 사용된 동일한 기술을 이용하여 복원된다. 그리고, 그 후에 리트 화상(601)은 텍스처 3D 표면(604)을 생산하도록 3D 표면(603)상에 텍스처-맵핑된다.

도 6은 상기 천이 이동되고, 접히며 펼쳐지는 동안 캡처 세션에서 캡처된 수백개의 프레임 중 캡처된 천의 단일 프레임을 도시한다. 그리고 각 프레임에서, 상기 8개의 그레이스케일 카메라 중 적어도 2개가 지나치게 빗나가지 않은 영역의 시야를 갖는 한(예를 들어, 상기 카메라 광학 축이 상기 영역의 표면 법선의 30도 이내에 있는 한), 상기 천 표면의 각각의 영역이 정확하게 캡처된다. 일부 프레임에서, 상기 천은 비틀려 있어서 상기 천에서 깊이 접혀진 부분내의 영역이 존재하며(상기 라이트 패널(208-209)로부터의 광을 차단), 일부 프레임에서 상기 천은 만곡되어 있어서 하이라이트(즉, 실크 패브릭이 빛남)를 생성하도록 상기 라이트 패널(208-209)로부터 광을 되돌려 반사한 영역이 존재한다. 그와 같은 광 조건은 음영 영역이 정확한 캡처를 위해서는 너무 어두울 수 있고(예를 들어, 카메라 센서의 잡음 플로어(noise floor) 아래), 일부 하이라이트는 정확한 캡처를 위해서는 너무 밝을 수 있기 때문에(예를 들어, 상기 센서를 과포화시켜 센서가 전체 영역을 솔리드 화이트(solid white)로 판독함), 리트 간격(301) 동안 반사광을 이용하여 상기 천의 표면을 정확하게 캡처하는 것을 어렵게 한다. 그러나, 다크 간격(302) 동안은, 상기 인광성 메이크업이 상기 천의 깊게 접혀진 부분에 있든지 외부 곡선상에 있든지 간에 상당히 균일하게 광을 방출하기 때문에, 그와 같은 영역은 용이하게 정확하게 캡처된다.

상기 인광체가 상기 라이트 패널(208-209)로부터 직접적으로가 아닌 산란 또는 반사된 광을 포함하여, 입사하는 임의의 광으로부터 충전하기 때문에, 접혀진 부분내의 인광체도 충전되게 된다(상기 접혀진 부분이 너무 타이트하게 밀봉되지 않으면 광이 들어갈 수 없지만, 그러한 경우에는 어쨌든 카메라가 상기 접혀진 부분을 볼 수 있을 것 같지 않다). 이것은 캡처되는 표면 상에(또는 주입된) 패턴을 생성하도록 인광성 메이크업(또는 페인트 또는 염료)를 이용하는데 있어서 상당한 장점을 나타내는 것이다: 상기 인광체는 방출되며 하이라이트 및 음영에 영향을 받지 않으므로, 너무 어두운 영역이나 너무 밝은 영역을 갖지 않는, 상기 그레이스케일 다크 카메라(204-205)에 의해 보여진 패턴에 대해 고도로 균일한 광도 레벨을 생성한다.

인광성 메이크업을 상기 표면에 도포하기보다는, 인광성 염료 또는 페인트로 각각 표면을 염색하거나 페인팅하는 것의 또 하나의 장점은 상기 표면상에 인광성 패턴을 염색하거나 페인팅하는 것은 모션 캡처 세션 전체에 걸쳐 영구적으로 이루어질 수 있다는 것이다. 메이크업 자체는 제거가능하도록 디자인되고, 연기자는 그날의 모션 캡처 촬영이 끝날 때, 그렇지 않은 경우 잠자리에 들기 거의 직전에 인광성 메이크업을 제거할 것이다. 빈번하게, 모션 캡처 세션은 여러 날에 걸쳐 연장되며, 결과적으로 통상적으로 상기 모션 캡처 촬영 전에 매일 새로운 인광성 메이크업이 연기자에게 도포된다. 전형적으로 각각의 새로운 인광성 메이크업은 서로 다른 랜덤 패턴을 발생시킨다. 계류중인 출원에 개시된 기술 중 하나는 상기 캡처된 표면의 정점의 트래킹("정점 트래킹")이다. 정점 트래킹은 하나의 캡처 프레임으로부터 다음의 캡처 프레임으로 랜덤 패턴을 서로 관련시킴으로써 달성된다. 이러한 방법으로, 캡처된 표면상의 하나의 프레임은 프레임 대 프레임으로부터 후속될 수 있다. 그리고, 상기 표면상의 랜덤 패턴이 동일한 한, 캡처된 표면상의 포인트는 심지어 촬영 대 촬영으로부터 트래킹될 수 있다. 인광성 메이크업을 사용하여 이루어진 랜덤 패턴의 경우에, 전형적으로 모션 캡처 촬영의 하루분동안 상기 메이크업을 크게 방해받지 않게 할 수 있지만(일부 영역은 흐려질 수 있지만, 상기 메이크업의 대부분은 대개 제거될 때까지 변하지 않은 상태로 남아있음), 이전에 언급된 바와 같이, 통상적으로 상기 메이크업은 그날의 일과후에 제거된다. 따라서, 전형적으로 매일매일 동일한 인광성 랜덤 패턴(그리고, 특정 랜덤 패턴을 트래킹하는 것에 기초한 정점 트래킹)을 유지하는 것은 비현실적이다. 그러나, 패브릭과 같이 피부가 아닌 객체인 경우에는, 인광성 염료 또는 페인트가 랜덤 패턴을 생성하도록 사용될 수 있다. 염료 및 페인트가 본질적으로 영구적이기 때문에, 랜덤 패턴은 상기 모션 캡처 세션동안 흐려지지 않으며, 동일한 랜덤 패턴이 매일매일 불변으로 될 것이다. 이는 여러날의 모션 캡처 세션의 지속시간을 통해(또는 사실, 원하는 경우 시간적으로 긴 갭에 걸쳐 확산된 다중 모션 캡처 세션에 걸쳐) 동일한 랜덤 패턴을 트래킹하도록 랜덤 패턴을 갖는 염색된 또는 페인팅된 객체의 정점 트래킹을 허용한다.

피부는 또한, 반사광으로 조망될 때 음영과 하이라이트에 영향받기 쉽다. 종종 음영지는 많은 오목한 영역(예를 들어, 눈구멍)이 존재한다. 또한, 피부는 밝아지고 하이라이트를 발생시킬 수 있으며, 상기 피부가 그 광택을 감소시키기 위해 메이크업으로 커버되더라도, 연기자는 물리적 연기동안 땀흘릴 수 있어, 땀투성이의 피부로부터 광택을 발생시킨다. 인광성 메이크업은 광택 및 무광택 피부 영역으로부터, 그리고 몸체의 볼록 영역(예를 들어, 콧등(nose bridge)) 및 오목부(예를 들어, 눈구멍)로부터 균일하게 방출한다. 땀은 인광성 메이크업의 방출 광도에 거의 영향을 미치지 않는다. 인광성 메이크업은 또한 접혀지는 몸체의 영역(예를 들어, 눈꺼풀)에서 접혀지는 동안 충전하며, 상기 영역이 펴질때(예를 들어, 연기자가 눈을 깜박일때) 상기 인광성 패턴은 균일하게 광을 방출한다.

도 6으로 되돌아가서, 주목할 사항으로서 상기 인광성 메이크업은 리트 프레임(601) 및 텍스처 3D 표면(604)의 천 표면상에 보일 수 있다. 또한, 상기 화상에서 명확하지 않은 반면, 상기 천이 이동상태일 때에 있더라도, 상기 인광성 메이크업은 상기 실크 패브릭의 유연성에 작은 영향을 미친다. 또 하나의 실시예에서, 인광성 메이크업(물론 피부 적용을 위해 공식화됨)을 이용하는 대신에, 천위에 인광성 패턴을 생성하도록 인광성 염료가 사용된다. 인광성 염료는 다수의 제조업자로부터 이용가능하다. 예를 들어, 인광성 염료로 그위에 인쇄된 야광 패턴을 갖는 티셔츠를 신상품 숍에서 찾는 것이 일반적이다. 상기 염료는 또한 패브릭의 주어진 타입에 적합한 기성품 옷감 염료와 인광성 파우더(예를 들어, ZnS:Cu)를 혼합함 으로써 수동적으로 공식화될 수 있다. 예를 들어, 1604 Fourth Street, San Rafael, CA에 점포가 있는 Dharma Trading Company는 대량의 염료를 비축하며, 각 염료는 상기 염료를 공식화하도록 베이스 화학제품뿐 아니라 특정 패브릭 타입에 대해 디자인되었다(예를 들어, Dharma Fiber Reactive Procion Dye는 모든 천연섬유를 위한 것이며, Sennelier Tinfix Design-French Silk Dye는 실크 및 울을 위한 것이다). 인광성 파우더가 그와 같은 공식 표시의 안료로서 사용될 때, 주어진 패브릭 타입에 적합한 염료가 생산되며, 상기 패브릭은 상기 패브릭의 유연성에 대한 영향을 최소로 하면서 인광성 패턴으로 염색될 수 있다.

인광성 랜덤 패턴을 갖는 스톱-모션 애니메이션 캐릭터의 표면 캡처

또 하나의 실시예에서, 인광체는 캐릭터의 모형 점토(modeling clay)와 같은 실리콘 또는 주형가능 재료에 내장된다. 스톱-모션 애니메이션은 애니메이션 영화 및 영화 특수 효과에서 사용되는 기술이다. 예시적인 종래의 스톱-모션 애니메이션 스테이지는 도 7a에 도시되어 있다. 최근의 스톱-모션 애니메이션은 월레스와 그로밋: 거대토끼의 저주(Wallace & Gromit in The Curse of the Were-Rabbit)(2005년에 개봉된 아카데미 어워드-위닝 최고 애니메이션 피쳐 필름(feature film))(이하에서는 WG라 칭함) 및 유령 신부(Corpse Bride)(2005년 개봉된 아카데미 어워드-노미네이트 최고 애니메이션 피쳐 필름)(이하에서는 CB라 칭함)란 피쳐 필름이다. 스톱-모션 애니메이션에서는 다양한 기술이 사용된다. WG에서 상기 캐릭터(702-703)는 전형적으로 캐릭터 구조의 안전성을 제공하도록 기계적 보강재 주변에 랩핑된 모형 점토로 이루어진다. CB에서 캐릭터(702-703)는 주 형 실리콘(예를 들어, 얼굴에) 또는 일부 다른 재료(예를 들어, 의상에)로 커버되는 기계적 보강재를 갖는 인형으로 창조된다. 상기 양측 영화에서의 캐릭터(702-703)는 복잡한 세트(701)(예를 들어, 도시의 거리, 자연 세팅 또는 빌딩)에 위치하며, 상기 세트는 조명(708-709)으로 켜지며, 카메라(705)가 제위치에 놓여진 후에, 하나의 프레임이 카메라(705)(현대의 스톱-모션 애니메이션에서는, 전형적으로 디지털 카메라)에 의해 촬영된다. 그 후에, 상기 장면에서 움직이는 다양한 캐릭터(예를 들어, 가죽끈을 갖는 남자(702) 및 개(703))가 매우 천천히 이동된다. WG의 경우에, 상기 이동은 상기 점토(그리고 잠재적으로 그 바로 아래의 보강재)를 변형시킴으로써 또는 캐릭터(702-703)의 상세 부분을 변경함으로써(예를 들어, 각 프레임에 대해 말하는 것처럼 캐릭터(702-703)상에 서로 다른 입 모양으로 바꿈으로써) 달성된다. CB의 경우에, 캐릭터 인형(702-703) 보강재를 조정함으로써(예를 들어, 캐릭터 인형(702-703) 귀에 삽입된 드라이버는 캐릭터(702-703) 입을 벌리게 하는 보강재를 작동시키는 나사를 돌릴 수 있음) 달성된다. 또한, 상기 카메라(705)가 상기 장면에서 이동하면, 상기 카메라(705)는 이동되게 하는 메커니즘상에 위치하며 매 프레임 시간마다 약간만 이동된다. 상기 장면의 모든 캐릭터(702-703) 및 카메라(705)가 이동된 후에, 또 하나의 프레임이 상기 카메라(705)에 의해 캡처된다. 이러한 수고스러운 과정은 상기 촬영이 완료될 때까지 프레임단위로 계속된다.

애니메이터의 표현적 자유를 제한하고, 모션의 리얼리즘의 정도를 제한하며 생산 비용 및 시간을 부가하는 스톱-모션 애니메이션 프로세스에는 많은 어려움이 존재한다. 이들 어려움 중 하나는 도 7a에 도시된 바와 같은 스톱-모션 애니메이션 스테이지상의 복잡한 세트(701)내에 많은 복잡한 캐릭터(702-703)를 애니메이팅하는 것이다. 상기 애니메이터는 종종 상기 세트에 물리적으로 올라가고, 부주의하게 어떤것과 충돌하지 않도록 세심한 주의를 기울이며 서브-밀리미터의 정확도로 캐릭터(702-703) 표면에 조정을 수행할 필요가 있다. 캐릭터(702-703)가 서로 매우 가까워질 때, 이것은 훨씬 더 어려워진다. 또한, 때때로 캐릭터(702-703)는 캐릭터(702-703)가 용이하게 떨어질 수 있는 위치에 놓일 필요가 있다(예를 들어, 캐릭터(702-703)는 물구나무서기를 행하거나 날아다닌다). 이러한 경우에 상기 캐릭터(702-703)는 상기 카메라(705)에 의해 보여질 수 있는 어떤 지지 구조를 필요로 하며, 그렇다면 상기 지지 구조는 후반작업시에 상기 촬영으로부터 삭제될 필요가 있다.

도 7b의 스톱-모션 애니메이션 스테이지에 의해 예시된 일 실시예에서, 파우더 형태의 인광성 인광체(예를 들어, 아연 황화물)는 모형 점토에 혼합되어(예를 들어, 반죽되어) 랜덤 패턴을 갖는, 어둠속에서 인광되는 점토 표면을 발생시킨다. 아연 황화물 파우더는 또한 실리콘이 주형에 쏟아부어지기 전에 액상 실리콘에 혼합될 수 있으며, 그 후에 상기 실리콘이 건조 및 응고될 때, 전체에 걸쳐 분포된 아연 황화물을 갖는다. 또 하나의 실시예에서, 아연 황화물 파우더는 주형의 내부 표면상에 뿌려질 수 있으며, 그 후에 액상 실리콘이 주형에 쏟아부어져 응고된다(상기 표면상에 내장된 아연 황화물을 포함한다). 또 하나의 실시예에서, 아연 황화물은 모형 점토 또는 실리콘 중 하나의 표면에 도포되는 페인트와 혼합된다. 또 하나의 실시예에서, 아연 황화물은 캐릭터(702-703)에 입혀진 패브릭에 염색되거나 소도구 또는 세트(701)에 도포된 페인트에 혼합된다. 이들 모든 실시예에서, 최종 효과는 상기 장면의 캐릭터(702-703), 소도구 및 세트(701)의 표면이 랜덤 표면 패턴에 의해 어둠속에서 인광을 발한다는 것이다.

상술한 여러 실시예에서의 아연 황화물의 낮은 농도에서, 상기 아연 황화물은 라이트 패널(208-209)이 온 될 때 원하는 장면 조명하에서 잘 보이지 않는다. 아연 황화물의 정확한 퍼센티지는 혼합되거나 도포되는 특정 재료, 상기 재료의 컬러 및 캐릭터(702-703), 소도구 또는 세트(701)의 조명 환경에 따른다. 그러나, 실험적으로, 상기 아연 황화물 농도는 상기 캐릭터(702-703), 소도구 또는 세트(701)가 사용되는 조명 상태에서 더 이상 시각적으로 알아채지 못할 때까지 계속적으로 감소될 수 있다. 이는 매우 낮은 아연 황화물의 농도 및 매우 낮은 인광 방출을 발생시킬 수 있다. 이것은 통상적으로 흐릿한 인광성 패턴의 라이브 액션 프레임 캡처에서는 상당한 근심거리가 되지만, 스톱-모션 애니메이션에서는, 당연히 상기 장면이 움직이지 않기 때문에, 다크 프레임 캡처 셔터 시간은 극도로 길어질 수 있다(예를 들어, 1초 이상). 긴 셔터 시간으로는, 매우 흐릿한 인광성 방출도 정확하게 캡처될 수 있다.

일단 상기 장면에서 캐릭터(702-703), 소도구 및 세트(701)가 준비되면, 라이트 패널(208-209)이 온될 때 원하는 장면 조명하에서 보는 것처럼 거의 정확하게 보이지만, 상기 라이트 패널(208-209)이 턴 오프될 때 랜덤 패턴으로 인광을 발한다. 이 시점에서 상기 스톱-모션 애니메이션의 캐릭터(702-703), 소도구 및 세 트(701) 모두는 계류중인 출원에서 설명되며 도 2a 및 도 2b에 예시된 바와 같은 구성을 사용하여 3D로 캡처될 수 있다(도 7b-7e는 상기 스톱-모션 애니메이션 캐릭터(702-703) 및 세트(701)를 둘러싸는, 도 2a 및 도 2b로부터의 라이트 패널(208-209), 다크 카메라(204-205) 및 리트 카메라(214-215)를 갖는 스톱-모션 애니메이션 스테이지를 도시한다. 명확성을 위해, 디바이스(208-209, 204-205 및 214-215)로의 접속은 도 7b-7e에서 생략되었지만, 도 2a 및 도 2b에 도시된 바와 같이 접속되어 있다). 다크 카메라(204-205) 및 리트 카메라(214-215)는 최종 애니메이션에서 보여질 필요가 있는 무슨 표면이든지 캡처하도록 도 7b에 도시된 장면 주변에 배치되어 있다. 그 후에, 고속의 캡처 프레임 속도(예를 들어, 90 fps)로 동기 신호(221-223)를 급속하게 스위칭하기보다는, 상기 동기 신호는 매우 천천히 스위칭되며, 사실 손으로 스위칭될 수 있다.

일 실시예에서, 상기 애니메이터가 캐릭터(702-703), 소도구 또는 세트(701)에 대한 임의의 변경 위치를 조정하는 동안 상기 라이트 패널(208-209)은 온 상태로 남아있다. 주목할 사항으로서, 스톱-모션 애니메이션에서 상기 조명원을 급속하게 턴 온 및 턴 오프할 필요가 없기 때문에, 상기 라이트 패널(208-209)은 백열 램프를 포함하는 임의의 조명원일 수 있다. 일단 캐릭터(702-703), 소도구 및 세트(701)가 다음 프레임에 대한 위치에 있다면, 리트 캠 동기 신호(223)가 트리거되며(현재 바람직한 실시예에서의 하강 에지 천이에 의해) 상기 리트 카메라(214-215) 모두는 상기 캡처된 프레임을 위한 원하는 노출 시간에 기초하여 특정된 지속시간동안 프레임을 캡처한다. 다른 실시예에서, 서로 다른 카메라가 개별적인 노 출 요건에 기초하여 서로 다른 노출 시간을 가질 수 있다.

다음으로, 라이트 패널(208-209)이 턴 오프되며(동기 신호(222)에 의해 또는 손에 의해) 상기 램프는 상기 장면이 완전히 어두워질 때까지 쇠퇴하게 된다(예를 들어, 백열 램프는 쇠퇴하는데 수초가 걸릴 수 있다). 그 후에, 다크 캠 동기 신호(221)는 트리거되며(현재 바람직한 실시예에서의 하강 에지 천이에 의해) 모든 다크 카메라(208-209)는 캡처된 프레임에 대한 원하는 노출 시간에 기초하여 특정된 지속시간동안 랜덤 인광성 패턴의 프레임을 캡처한다. 다시한번, 서로 다른 카메라는 개별적인 노출 요건에 기초하여 서로 다른 노출 시간을 가질 수 있다. 이전에 설명된 바와 같이, 매우 흐릿한 인광성 방출의 경우에, 상기 노출 시간은 상당히 길어질 수 있다(예를 들어, 1초 이상). 노출 시간의 상한은 주로 카메라 센서의 잡음 축적에 의해 제한된다. 캡처된 다크 프레임은 3D 표면(207)을 생성한 후에 상기 리트 카메라(214-215)에 의해 캡처된 화상을 상기 3D 표면(207)상에 맵핑하여 텍스처 3D 표면(217)을 생성하도록 데이터 처리 시스템에 의해 처리된다. 그 후에, 상기 라이트 패널(208-209)은 다시 턴 온되며, 캐릭터(702-703), 소도구 및 세트(701)는 다시 이동되며, 전체 촬영이 완료될 때까지 본 문단에서 설명된 프로세스가 반복된다.

최종 출력은 비경사각도(예를 들어, 카메라의 광학 축으로부터 30도보다 작음)로 적어도 2개의 다크 카메라(204-205)의 시야에서 인광체가 내장되거나 인광체로 페인팅된 표면 영역을 갖는 캐릭터(702-703), 소도구 및 세트(701)의 텍스처 3D 표면의 연속적인 프레임이다. 이들 연속 프레임이 원하는 프레임 속도(예를 들어, 24 fps)로 재생될 때, 상기 애니메이션 장면이 소생되지만, 종래의 스톱-모션 애니메이션의 프레임과 달리, 상기 애니메이션은 단지 선택된 카메라 위치로부터의 텍스처된 3D 표면을 렌더링함으로써, 임의의 카메라 위치로부터 조망될 수 있다. 또한, 최종 애니메이션의 카메라 위치가 프레임 시퀀스동안 움직이게 되면(예를 들어, 카메라가 캐릭터(702-703)를 따라가게 되면), 상기 장면에서 이동하는 물리적 카메라를 가질 필요가 없다. 오히려, 각 연속 프레임에 대해, 상기 장면의 텍스처된 3D 표면은 Maya(Autodest, Inc. 제품)와 같은 3D 모델링/애니메이션 애플리케이션 소프트웨어를 사용하여 상기 프레임에 대해 원하는 카메라 위치로부터 간단하게 렌더링된다.

도 7c-7e에 도시된 또 하나의 실시예에서, 단일 스톱-모션 애니메이션 장면 내의 서로 다른 캐릭터(702-703), 소도구 및/또는 세트(701)의 일부 또는 전부가 도 2a 및 도 2b와 같은 구성으로 각각 분리되어 촬영된다. 예를 들어, 한 장면이 가죽끈(702)을 가진 남자와 그의 개(703)가 도시의 거리 세트(701)를 걸어가는 것이라면, 상기 도시의 거리 세트(701), 가죽끈(702)을 가진 남자 및 개(703)가 개별적으로 촬영되며, 각각은 도 7c(도시의 거리 세트(701)), 도 7d(가죽끈(702)을 가진 남자) 및 도 7e(개(703))에 도시된 바와 같은 별도의 모션 캡처 시스템을 갖는다. 2개의 캐릭터(702-703) 및 하나의 세트(701)의 스톱-모션 애니메이션은 각각 상술한 방식으로 개별적인 텍스처 3D 표면(217)으로서 별도로 캡처된다. 그 후에, 3D 모델링 및/또는 애니메이션 애플리케이션 소프트웨어로, 상기 2개의 캐릭터(702-703) 및 하나의 세트(701)는 함께 3D 장면으로 렌더링된다. 일 실시예에 서, 상기 캐릭터(702-703) 및 세트(701)를 조명하는 라이트 패널(208-209)은 동일하게 구성될 수 있으며, 따라서 가죽끈(702)을 가진 남자와 개(703)는 상기 세트(701)와 동일한 환경에서 조명되도록 나타난다. 또 하나의 실시예에서, 평면 조명(즉, 음영 및 하이라이트를 최소화하는 균일한 조명)이 사용되며, 그 후에 조명(음영 및 하이라이트를 포함)은 3D 모델링/애니메이션 애플리케이션 소프트웨어에 의해 시뮬레이팅된다. 상기 3D 모델링/애니메이션 애플리케이션 소프트웨어를 통해, 상기 애니메이터는 상기 캐릭터(702-703)가 서로 및 세트(701)에 대해 어떻게 보이는지를 알 수 있으며, 또한 상기 캡처를 수행하는 임의의 물리적 카메라(204-205 또는 214-215)를 이동시킬 필요없이 원하는 임의의 카메라 각도로부터 상기 캐릭터(702-703) 및 세트(701)를 볼 수 있다.

상기 방법은 스톱-모션 애니메이션에 상당한 장점을 제공한다. 다음은 상기 방법의 장점 중 일부이다: (a) 상기 애니메이터가 또 다른 캐릭터(702-703)와 충돌하거나 상기 캐릭터(702-703)가 서로 충돌할 염려 없이 개별적인 캐릭터(702-703)가 개별적으로 조작될 수 있고, (b) 상기 렌더링된 프레임의 카메라 위치가 연속하는 프레임에서 이동하는 카메라 위치를 갖는 것을 포함하여, 임의적으로 선택될 수 있고, (c) 상기 렌더링된 카메라 위치는 종래의 스톱-모션 구성에서는 카메라(705)를 물리적으로 위치시킬 수 없는(예를 들어, 카메라(705)에 대한 공간이 없는 서로 가까운 2개의 캐릭터(702-703) 사이에 직접) 위치도 가능하고, (d) 하이라이트 및 음영을 포함하는 조명은 물리적으로 실현 가능하지 않은(예를 들어, 캐릭터 백열광을 생산) 조명 상태를 생성하는 것을 포함하여, 임의적으로 제어될 수 있으며, (e) 특수 효과가 상기 캐릭터(702-703)에 적용될 수 있으며(예를 들어, 상기 장면에 렌더링될 때 유령 캐릭터(702-703)가 반투명하게 만들어질 수 있으며), (f) 상기 장면에서 캐릭터(702-703)는 땅 위의 물리적으로 안정적인 위치에 남아있을 수 있으며(예를 들어, 캐릭터(702-703)는 수직 위치에서 캡처될 수 있는 반면, 물구나무서기로 뒤집힌 장면으로 렌더링되거나 땅 위로 날아오르는 장면으로 렌더링되며), (g) 상기 캐릭터(702-703)의 일부는 그 위에 인광체를 갖지 않으며 캡처되지 않는 지지부에 의해 들어올려질 수 있으며(그리고 이후의 후반-작업시에 상기 촬영으로부터 제거되지 않아도 되며), (h) 상기 캐릭터(702-703)가 말할 때의 입의 위치와 같이 캐릭터(702-703)의 상세 요소가 3D 모델링/애니메이션 애플리케이션에 의해 렌더링될 수 있으므로, 상기 상세 요소는 상기 애니메이션 동안 상기 캐릭터(702-703)에 부착되지 않아도 되고 상기 캐릭터(702-703)로부터 제거되지 않아도 되며, (i) 캐릭터(702-703)는 컴퓨터-제작 3D 장면으로 렌더링될 수 있으며(예를 들어, 가죽끈(702)을 갖는 남자와 개(703)는 점토 애니메이션으로서 애니메이팅될 수 있지만, 도시의 거리 세트(701)는 컴퓨터-생성 장면일 수 있으며), (j) 이동할 때(또는 렌더링된 카메라 위치가 이동할 때) 상기 객체에 3D 모션의 흐림이 적용될 수 있어, 상기 애니메이션에 대한 모션의 더 매끄러운 인식을 야기시키며, 또한 지터(jitter)의 인지 없이 더 빠른 모션이 가능해진다.

추가적인 인광성 인광체

또 하나의 실시예에서, ZnS:Cu와는 다른 인광체가 패브릭 또는 다른 피부아닌 객체에 대한 염료를 갖는 안료로서 사용된다. ZnS:Cu는 화장용 안료로서 FDA 승인되어 있기 때문에 피부 도포를 위해 사용하는데 바람직한 인광체이다. 그러나, 피부에 사용하는데 승인받지 못하지만, 인간에 의해 취급되는 재료내에서 사용하도록 승인받는 일부 경우에 있는 방대한 다른 인광체가 존재한다. 그와 같은 인광체 중 하나는 SrAl₂O₄:Eu²⁺,Dy³⁺이다. 또 하나는 SrAl₂O₄:Eu²⁺이다. 양 인광체는 주어진 여기(excitation) 동안 ZnS:Cu보다 훨씬 더 긴 잔광을 갖는다.

인광성 방출의 최적화

가시광 스펙트럼에서 인광을 발하는 많은 인광체는 가시광보다는 자외광에 의해 더 효율적으로 충전된다. 이것은 ZnS:Cu(이하에서는 "아연 황화물"이라 칭함) 및 여러 광원의 근사 여기 및 방출 곡선을 도시하는 도 8의 차트(800)에서 알 수 있다. 아연 황화물의 경우에, 여기 곡선(811)은 230nm 내지 480nm 사이에 걸쳐 있으며, 360nm 근방에 피크치를 갖는다. 이 범위의 에너지로 일단 여기되면, 인광성 곡선(812)이 약 420nm 내지 650nm 사이에 걸쳐 있으며, 그린 백열광(greenish glow)를 생성한다. 상기 아연 황화물 인광성 광도(812)는 상기 아연 황화물에 의해 흡수된 여기 에너지(811)에 직접 비례한다. 여기 곡선(811)에 의해 알 수 있는 바와 같이, 아연 황화물은 파장에 따라 효율성의 정도가 변동하면서 여기된다. 예를 들어, 여기원으로부터 주어진 광도에서(즉, 현재의 바람직한 실시예의 경우에, 라이트 패널(208-209)로부터의 광 에너지), 아연 황화물은 360nm(UVA 광, 일반적으로 "흑색광"이라 칭함)에서 흡수하는 상기 에너지의 30%만을 450nm(청색광)에서 흡수한다. 상기 아연 황화물로부터 최대 인광성 방출을 획득하는 것이 바람직하기 때문에(예를 들어, 더 밝은 인광성은 더 작은 렌즈 개구와 더 긴 피사체심도를 허용함), 명백하게 가능한한 많은 에너지로 상기 아연 황화물을 여기시키는 것이 유용하다. 상기 라이트 패널(208-209)은 상기 광이 연기자에게 불편하게 되기 전의 소정의 광 레벨까지만 생산할 수 있다. 그래서, 상기 아연 황화물의 인광성 방출 출력을 최대화하기 위해, 이상적으로 상기 라이트 패널(208-209)은 아연 황화물을 여기하는데 가장 효율적인 파장에서 광을 출력해야 한다.

피부가 아닌 인광성 용도(예를 들어, 패브릭 염색)에 사용될 수 있는 다른 인광체는 또한 자외광에 의해 최적으로 여기된다. 예를 들어, SrAl₂O₄:Eu²⁺,Dy³⁺ 및 SrAl₂O₄:Eu²⁺는 둘다 가시광보다 자외광으로 더 효율적으로 여기되며, 특히 UVA(흑색광)에 의해 상당히 효율적으로 여기된다.

도 3에서 알 수 있는 바와 같이, 라이트 패널(208-209)에 사용된 광원의 요건은 완전히 어두운 상태에서 완전히 밝은 상태로 매우 빨리(예를 들어, 1밀리초 이하의 정도로), 그리고 완전히 밝은 상태에서 완전히 어두운 상태로 매우 빨리(예를 들어, 1밀리초 이하의 정도로) 천이할 수 있는 것이다. 대부분의 LED는 전형적으로 밀리초 정도로 턴 온 및 턴 오프되어 상기 요건을 상당히 잘 만족시킨다. 그렇지만 유감스럽게도, 현재의 LED는 일반적인 조명에 사용하기에는 다수의 문제점이 존재한다. 한가지는, 현재 이용가능한 LED는 대략 35W의 최대 광 출력을 갖는다는 것이다. Lamina Ceramics, 120 Hancock Lane, Westampton, NJ 08060사의 BL- 43F0-0305가 그와 같은 RGB LED 유닛이다. 또 하나의 문제점은 현재의 LED가 특정 전원 공급 요건을 갖는다는 것이다(BL-43F0-0305의 경우에, 상기 유닛의 서로 다른 컬러 LED에 대해 서로 다른 전원 공급이 필요하다). 게다가, 현재의 LED는 매우 크고 무거운 열 싱크(heatsink)를 필요로 하며 대량의 열을 생산한다. 이들 문제점 각각은 연기를 위한 전체 모션 캡처 스테이지를 조명하기에는 상기 LED가 비싸며 다소 실용적이지 않게 한다. 예를 들어, 스테이지를 조명하는데 3500 와트가 필요하다면, 100 35W LED 유닛이 필요하다.

그러나, 이들 단점 외에, 현재 이용가능한 유일하게 매우 밝은 LED는 백색 또는 RGB LED이다. 양쪽 타입의 LED의 경우에, 상기 LED에 의해 방출된 광의 파장은 상기 아연 황화물이 효율적으로 여기되는 파장과 중첩하지 않는다. 예를 들어, 도 8에서 상기 BL-43F0-0305 LED 유닛의 청색 LED의 방출 곡선(823)은 460nm 주변에 중심이 위치한다. 상기 곡선은 아연 황화물 여기 곡선(811)의 꼬리부분과만 중첩한다(그리고 상기 적색 및 녹색 LED는 상기 아연 황화물을 전혀 여기하지 않는다). 따라서, 상기 청색 LED가 매우 밝더라도(상기 LED가 연기자에게 편안한 정도로 밝은 포인트), 상기 광 에너지의 작은 퍼센티지만이 상기 아연 황화물을 여기하여, 상대적으로 흐릿한 인광을 발생시킨다. 상기 아연 황화물을 더 효율적으로 여기하는 청자색 및 UVA("흑색광")가 존재하지만, 이들은 0.1 와트 정도의 단지 매우 낮은 전력 레벨에서만 이용가능하다. 3500 와트의 조명을 달성하는데 그와 같은 0.1 와트 LED가 35,000개 필요하므로, 상당히 비실용적이며 엄청나게 비싸다.

플래싱 조명원으로서의 형광 램프

아연 황화물에 의해 더 효율적으로 흡수되는 파장에서 광을 출력하는 다른 광원이 존재한다. 예를 들어, 형광 램프(예를 들어, Kino-Flo, Inc. 2840 North Hollywood Way, Burbank, CA 91505의 482-S9)는 821과 유사한 방출 곡선으로 350nm 주변에 중심이 위치한 UVA(흑색광)를 방출하도록 이용가능하며, 822와 유사한 방출 곡선으로 420nm 주변에 중심이 위치한 청색/청자색 광을 방출하는 청색/청자색 형광 램프(예를 들어, Kino-Flo사의 482-S10-S)가 존재한다. 상기 방출 곡선(821 및 822)은 상기 아연 황화물 여기 곡선(811)의 피크에 훨씬 더 가까우며, 결과적으로 상기 광 에너지가 훨씬 더 효율적으로 흡수되어 주어진 여기 광도에 대해 훨씬 더 높은 인광 방출(812)을 발생시킨다. 그와 같은 형광 전구는 상당히 가격이 저렴하며(48" 전구에 대해 전구당 $15), 매우 적은 열을 생상하며 중량이 매우 가볍다. 상기 전구는 또한 높은 와트량에서 이용가능하다. 전형적인 4-전구 형광 설비는 160 와트 이상을 생산한다. 또한, 극장 설비는 스테이지 조명으로서 상기와 같은 전구를 적절하게 유지하도록 용이하게 이용가능하다. (UVB 및 UVC 형광 전구가 또한 이용가능하지만, UVB 및 UVC 노출은 어떤 조건하에서는 건강에 해로운 것으로 알려져 있으며, 적절한 안전 조치없이 인간이나 동물 연기자에게 사용하는 것은 적절하지 않다.)

형광 램프를 사용하는 주된 문제점은 상기 램프가 빠르게 스위치 온 및 오프하도록 설계되지 않는다는 것이다. 사실, 안정기(형광 램프를 점화하고 전력 공급하는 회로)는 전형적으로 상기 램프를 매우 천천히 턴 온시키며, 형광 램프가 완전히 조명될 때까지 1,2초 정도 걸릴 수 있다는 것은 알려진 상식이다.

도 9는 종래기술의 형광 램프의 도식도를 도시한다. 상기 램프의 요소는 본 예에서는 원통의 형상인(일반적으로 "튜브"라 칭해짐) 밀봉 유리 전구(910) 내에 포함되어 있다. 상기 전구는 일반적으로 아르곤과 같은 불활성 가스(940) 및 소량의 수은을 함유한다. 상기 전구의 내부 표면은 인광체(920)로 코팅되어 있다. 상기 램프는 2개의 전극(905-906)을 가지며, 상기 전극의 각각은 커넥터(901-904)를 통해 안정기에 결합되어 있다. 상기 전극(901-904)을 통해 큰 전압이 인가될 때, 상기 튜브 내의 수은 중 일부가 액체에서 기체로 변화하여 수은 증기를 생성하여, 우측 전기 환경하에서 자외광을 방출한다. 상기 자외광은 상기 전구의 내부 표면을 코팅하는 인광체를 여기시킨다. 그 후에, 상기 인광체는 상기 여기 파장보다 높은 파장에서 형광을 발생시킨다. 서로 다른 파장을 갖는 형광 램프에 대해 광범위한 인광체가 이용가능하다. 예를 들어, UVA 파장 및 모든 가시광 파장에서 방출하는 인광체는 많은 공급자로부터 용이하게 이용가능한 기성제품이다.

표준 형광 안정기는 형광 램프를 빨리 스위치 온 및 오프시키도록 설계되지 않지만, 그것이 가능하도록 기존의 안정기를 수정할 수 있다. 도 10은 본 발명의 추가된 동기 제어 회로(1001)로 수정된 종래의 27 와트 형광 램프 안정기(1002)의 회로도이다.

일단, 수정부(1001)가 없는 도 10의 종래의 안정기 회로(1002)만을 고려한다. 종래의 안정기(1002)는 다음의 방식으로 동작한다: 전압 2배기 회로는 전원 라인으로부터 120VAC를 300V DC로 변환한다. 상기 전압은 2개의 NPN 전력 트랜지스터(1004-1005)를 사용하는 하프 브리지 오실레이터/구동기 회로에 접속된다. 다 중-권선 변압기와 함께 상기 하프 브리지 구동기는 오실레이터를 형성한다. 상기 변압기 권선 중 2개는 2개의 전력 트랜지스터(1004-1005)에 높은 구동 전류를 제공한다. 상기 변압기의 제 3 권선은 공진 회로와 연결되어 진동을 유지하는데 필요한 피드백을 제공한다. 상기 하프 브리지 구동기는 하나의 절반 주기동안 +300볼트로부터 다음의 하프 주기에 대해 0볼트로 스윙하는 구형파를 발생시킨다. 상기 구형파 신호는 "LC"(즉, 인덕터-커패시터) 시리즈 공진 회로에 접속된다. 상기 회로의 주파수는 인덕턴스(Lres) 및 커패시턴스(Cres)에 의해 결정된다. 상기 형광 램프(1003)는 상기 공진 커패시터를 걸쳐 접속된다. 상기 구동기 회로로부터 상기 공진 커패시터를 걸쳐 유도된 전압은 상기 형광 램프(1003)에 전원 공급하도록 필요한 높은 전압 AC를 제공한다. 상기 회로를 진동 상태가 되게 하기 위해, 상기 전력 트랜지스터(1005)의 베이스는 단일의 완화 오실레이터 회로에 접속된다. 300V 전원으로부터 끌어온 전류는 저항기를 통해 라우팅되며 0.1μF 커패시터를 충전한다. 상기 커패시터 양단의 전압이 약 20볼트에 도달할 때, DIAC(쌍방 트리거 다이오드(bilateral trigger diode))는 빠르게 스위칭하며 전력 트랜지스터(1005)에 전류 스파이크를 공급한다. 상기 스파이크는 상기 회로가 진동 상태로 되게 한다.

동기 신호를 이용하여 상기 형광 램프(1003)의 급속한 온 및 오프 제어를 허용하도록 이전의 문단에서 설명한 종래의 안정기 회로(1002)를 수정하기 위해 동기 제어 회로(1001)가 부가된다. 도 10의 예시된 실시예에서, 도 2의 동기 신호(222)와 같은 동기 신호는 SYNC+ 입력에 전기적으로 결합된다. SYNC-는 접지에 결합된 다. 광-분리기(Opto-isolator) NEC PS2501-1은 회로의 높은 전압으로부터 SYNC+ 및 SYNC- 입력을 분리시킨다. 상기 광-분리기 집적 회로는 발광 다이오드(LED) 및 광 트랜지스터로 이루어진다. SYNC+에 결합된 동기 신호가 하이 레벨(예를 들어, ≥2.0V)일 때 SYNC+와 SYNC- 사이의 전압 차이는 상기 광-분리기의 LED가 상기 광 분리기의 광 트랜지스터를 조명시켜 턴 온 시키게 한다. 상기 광 트랜지스터가 턴 온될 때, 전압은 n-채널 MOSFET Q1(Zetex Semiconductor ZVN4106F DMOS FET)의 게이트에 라우팅된다. MOSFET Q1은 상기 오실레이터를 두절시키고 형광 램프(1003)를 턴 오프하도록 전력 트랜지스터(1005)의 베이스-이미터 전압을 단락시키는 낮은 저항 스위치로서 기능한다. 상기 형광 램프를 다시 턴 온 시키기 위해, 상기 동기 신호(222)가 로우 레벨(예를 들어, <0.8V)로 되어 상기 광-분리기의 LED를 턴 오프시켜 상기 광 분리기 광 트랜지스터를 턴 오프시키고 MOSFET Q1을 턴 오프시킴으로써, 전력 트랜지스터(1005)의 베이스-이미터 전압을 더 이상 단락시키지 않는다. 이에 의해, 킥 스타트 회로(kick start circuit)는 안정기 발진을 초기화하며, 형광 램프(1003)가 켜지게 된다.

상기 프로세스는 SYNC+에 결합된 동기 신호가 하이와 로우 레벨 사이에서 발진함에 따라 반복된다. 종래기술의 안정기(1002)와 결합된 동기 제어 회로(1001)는 초당 120 플래시를 충분히 넘어서 안정적으로 형광 램프(1003)를 스위치 온 및 오프시킨다. 주목할 사항으로서, 본 발명의 기초 원리는 도 10에 도시된 회로의 특정 세트에 제한되는 것은 아니다.

도 11은 이전의 문단에서 설명된 바와 같이 동기 제어 회로(1001)가 종래의 안정기(1002)에 결합되고 동기 신호(222)가 회로(1001)에 결합될 때 형광 램프(1003)의 광 출력을 도시한다. 궤적(1110 및 1120)은 본 발명의 동기 제어 회로(1001)로 수정된 종래의 안정기 회로(1002)를 이용하여 형광 램프의 전구 중심상에 위치한 포토다이오드의 출력의 오실로스코프 궤적이다. 수직 축은 램프(1003)의 광도를 나타내며 수평축은 시간이다. 궤적(1110)(2 밀리초/분할)은 동기 신호(222)가 60Hz 구형파를 생산할 때의 형광 램프(1003)의 광 출력을 도시한다. 궤적(1120)(오실로스코프가 1 밀리초/분할로 설정되고 수직 광도 스케일은 50%로 감소됨)은 현재 동기 신호(222)가 250 Hz 구형파를 생산하는 것을 제외하고는 동일한 테스트 조건하에서 램프(1003)의 광 출력을 도시한다. 피크(1121) 및 최소치(1122)(램프(1003)가 오프되어 거의 완전히 어두울 때)는 훨씬 더 높은 스위칭 주파수에서도 둘 다 여전히 상대적으로 평탄하다. 따라서, 종래 안정기(1002)에 대한 동기 제어 회로(1001) 수정부는 수정되지 않은 안정기(1002)와는 완전히 다른 광 출력을 생산하며, 도 3에서와 유사한 타이밍으로 도 2에 도시된 모션 캡처 시스템에 의해 요구되는 고주파수에서 형광 램프의 온 및 오프 스위칭을 달성할 수 있게 된다.

도 10에 도시된 수정된 회로가 도 2에 도시된 것과 같은 모션 캡처 시스템의 요건에 충분하도록 급속하게 형광 램프(1003)의 온 및 오프를 스위칭하지만, 실용적인 모션 캡처 시스템에서 사용하도록 수정될 수 있는 형광 램프의 어떤 속성이 존재한다.

도 12는 이들 속성 중 하나를 도시한다. 궤적(1210 및 1220)은 전구의 중심 에 위치한 포토다이오드를 사용하여, 회로(1001)에 의해 수정된 회로(1002)에 위치한 General Electric Gro and Sho 형광 램프(1003)의 광 출력의 오실로스코프 궤적이다. 자취(1210)는 1 밀리초/분할로 광 출력을 도시하며, 궤적(1220)은 20 마이크로초/분할로 광 출력을 도시한다. 궤적(1220)에 도시된 파형의 일부분은 궤적(1210)의 점선 영역(1213)와 개략적으로 동일하다. 동기 신호(222)는 이전에 설명된 바와 같이 회로(1002)에 결합되며 250 Hz로 구형파를 생산한다. 피크 레벨(1211)은 램프(1003)가 온일 때의 광 출력을 도시하며, 최소치(1212)는 램프(1003)가 오프일 때의 광 출력을 도시한다. 궤적(1210)이 상당히 평탄한 피크 레벨(1211) 및 최소치(1212)를 도시하는 한편, 궤적(1220)을 더 가까이서 살펴보면, 램프(1003)가 턴 오프될 때 완전히 온으로부터 완전히 오프로 즉시 천이하지 않는 것을 알 수 있다. 오히려, 대략 200 마이크로초(0.2 밀리초)의 지속시간으로의 쇠퇴 곡선이 존재한다. 이는 명백하게 상기 형광 전구 내부를 코팅하는 인광체의 쇠퇴 곡선때문이다(즉, 상기 램프(1003)가 턴 오프될 때, 상기 인광체는 짧은 시간 주기동안 계속해서 형광을 발한다). 따라서, 동기 신호(222)가 수정된 안정기(1001-1002)를 턴 오프시킬 때, 전형적으로 1 마이크로초 내에 스위치 오프되는 LED 광과는 달리, 형광 램프는 쇠퇴하여 어둡게 될 때까지 짧은 시간 간격을 갖는다.

서로 다른 브랜드 및 타입의 형광 램프에 대해, 200 마이크로초만큼 짧은 것으로부터 1 밀리초이상의 긴 것까지 광범위한 쇠퇴 주기가 존재한다. 이러한 형광 램프의 속성을 처리하기 위해, 본 발명의 일 실시예는 신호(221-223)를 조정한다. 본 실시예는 간단하게 논의하도록 한다.

도 2에 도시된 바와 같은 모션 캡처 시스템의 유용성에 영향을 주는 형광 램프의 또 하나의 속성은 상기 전구내의 전극이 전류를 전달할 때 백열되는 백열 필라멘트이며, 백열 필라멘트와 같이 상기 전극은 전류가 제거된 후에도 긴 시간 동안(종종 1초 이상) 계속 백열된다는 것이다. 따라서, 상기 전극이 회로(1001)에 의해 수정된 안정기(1002)를 이용하여 동기 신호(222)에 의해 급속하게(예를 들어, 90 Hz) 스위칭 온 및 오프되더라도, 전체 다크 간격(302)동안 계속적으로 백열한다. 상기 백열하는 전극으로부터의 형광 전구로부터 방출된 광이 완전히 조명된 형광 전구에 비해 매우 흐릿하더라도, 이것은 여전히 상당량의 광이며, 많은 형광 전구가 한번에 사용될 때, 함께 상기 전극이 다크 간격(302)동안 상당량의 광 혼합에 더해져, 가능한한 방을 어둡게 하는데 유용하다.

도 13은 이러한 문제점을 처리하는 본 발명의 일 실시예를 도시한다. 종래의 형광 램프(1350)는 램프가 차단된 후에 10 밀리초의 상태에서 도시된다. 상기 램프 내의 수은 증기는 더 이상 자외광을 방출하지 않으며, 상기 전구의 내부 표면을 채우는 인광체는 더 이상 상당량의 광을 방출하지 않는다. 그러나, 상기 전극(1351-1352)은 여전히 뜨겁기 때문에 여전히 백열된다. 상기 백열 전극은 형광 램프(1350)의 전구 끝단 근처에 조명 영역(1361-1362)을 발생시킨다.

형광 램프(1370)는 상기 전구(1370)가 차단된 후에 10 밀리초의, 종래의 램프(1350)와 동일한 상태의 램프이며, 그 전극(1371-1372)은 여전히 백열되며 형광 램프(1370)의 전구 단부 근처에 조명된 영역(1381-1382)을 생산하지만, 종래의 램 프(1350)와 달리, 불투명 테이프(1391 및 1392)(도시의 목적을 위해 빗금쳐진 부분으로 도시됨)가 램프(1370)의 단부 주변에 랩핑되어 있다. 본 발명의 바람직한 실시예에서, Permacel, A Nitto Denko Company, US Highway No. 1, P.O. Box 671, New Brunswick, NJ 08903의 4" P-665와 같은 흑색 강력 접착 테이프가 사용된다. 상기 불투명 테이프(1391-1392)는 리트 간격(301)동안 램프가 온 될때 상기 형광 램프의 전체 광 출력의 소량만을 차단하는 한편, 백열하는 전극(1371-1372)으로부터의 거의 모든 광을 차단하도록 작용된다. 이에 의해, 상기 형광 램프는 고속(예를 들어, 90Hz)으로 플래시 온 및 오프될 때 다크 간격(302) 동안 훨씬 더 어둡게 될 수 있다. 전극을 포함하는 상기 형광 램프의 일부로부터 광 방출을 차단하도록 상기 형광 램프를 유지하는 광 설비상에 다른 타입의 불투명 테이프, 불투명 페인트로 상기 전구의 단부를 페인팅하거나 불투명 재료(흑색 금속 시트)를 사용하는 것을 포함하여 상기 백열하는 전극으로부터 광을 차단하는데 다른 기술이 사용될 수 있다.

이제 도 12에 도시된 형광 램프의 광 쇠퇴 속성으로 되돌아가서, 라이트 패널(208-209)에 형광 램프가 사용되면, 라이트 패널 동기 신호(222)가 에지(332)상에 로우 레벨로 강하할 때, 형광 라이트 패널(208-209)이 완전히 어둡게 되는데 시간이 걸리기 때문에(즉, 에지(342)가 점진적으로 다크 레벨로 강하함), 도 3에 도시된 동기 신호 타이밍은 최적의 결과를 생산하지 못한다. 상기 다크 캠 동기 신호가 에지(322)에서와 동시에 셔터를 개방하도록 그레이스케일 카메라(204-205)를 트리거하면, 상기 그레이스케일 카메라는 쇠퇴 간격동안 라이트 패널(208-209)의 잔광에 의해 밝혀진 장면의 일부를 캡처할 것이다. 명백하게, 도 3의 타이밍 신호 및 광 출력 행동은 형광 램프보다 훨씬 더 빠르게 쇠퇴하는 LED와 같은 광원을 이용하는 라이트 패널(208-209)에 더 적합하다.

형광 램프에 대한 동기 시간

도 14는 형광 램프 및 최종 라이트 패널(208-209) 행동에 사용하는데 더 적합한 타이밍 신호를 도시한다(상기 쇠퇴 곡선(1442)의 지속시간은 예시적인 목적을 위한 후속적인 타이밍도에서 과장되어 있다). 동기 신호(222)의 상승 에지(1434)는 리트 캠 동기 신호(223)의 상승 에지(1414)(상기 리트 카메라(214-215) 셔터를 개방함) 및 다크 캠 동기 신호(223)의 하강 에지(1424)(상기 다크 카메라(204-205) 셔터를 폐쇄함)와 개략적으로 일치한다. 상기 상승 에지(1434)는 라이트 패널(208-209)의 형광 램프가 빠르게 조명되게 한다. 리트 시간 간격(1401) 동안, 상기 리트 카메라(214-215)는 광 출력 레벨(1443)에 의해 도시된 바와 같이 상대적으로 안정된 광을 방출하는 형광 램프에 의해 조명된 컬러 화상을 캡처한다.

리트 시간 간격(1401)의 끝에서, 동기 신호(222)의 하강 에지(1432)는 라이트 패널(208-209)을 턴 오프시키며 상기 리트 카메라(214-215)의 셔터를 폐쇄하는 리트 캠 동기 신호(223)의 상승 에지(1412)와 개략적으로 일치한다. 그러나, 라이트 패널(208-209)의 광 출력은 리트로부터 다크로 즉시 강하하지 않으며, 오히려 에지(1442)에 의해 도시된 바와 같이 상기 형광 램프 인광체가 쇠퇴함에 따라 다소 천천히 강하한다. 상기 형광 램프의 광 레벨이 최종적으로 다크 레벨(1441)에 도달할 때, 다크 캠 동기 신호(221)는 에지(1422)에 의해 도시된 바와 같이 하이에서 로우로 강하되며, 이것은 다크 카메라(204-205)의 셔터를 개방한다. 이 방법에서 상기 다크 카메라(204-205)는 인광성 메이크업, 페인트 또는 염료로부터의 방출만을 캡처하며, 쇠퇴 간격(1442) 동안 상기 형광 램프에 의해 조명된 임의의 객체로부터의 광의 반사를 캡처하지 않는다. 따라서, 본 실시예에서 상기 다크 간격(1402)은 상기 리트 간격(1401)보다 짧으며, 상기 다크 카메라(204-205) 셔터는 상기 리트 카메라(214-215) 셔터보다 짧은 시간 주기동안 개방된다.

또 하나의 실시예는 상기 다크 간격(1502)이 상기 리트 간격(1501)보다 긴 도 15에 도시되어 있다. 본 실시예의 장점은 상기 다크 카메라(204-205)에 대한 더 긴 셔터 시간을 허용한다는 것이다. 본 실시예에서, 라이트 패널 동기 신호(222) 하강 에지(1532)는 상기 라이트 패널(208-209)이 턴 오프되게 하도록 더 일찍 발생한다. 리트 캠 동기 신호(223) 상승 에지(1512)는 하강 에지(1532)와 개략적으로 일치하여 발생하며 상기 리트 카메라(214-215)상의 셔터를 폐쇄한다. 상기 라이트 패널(208-209) 형광 램프로부터의 광 출력은 에지(1542)에 의해 도시된 바와 같이 쇠퇴하기 시작하며, 최종적으로 다크 레벨(1541)에 도달한다. 이 때, 다크 캠 동기 신호(221)는 에지(1522)상의 로우 상태로 천이하며, 상기 다크 카메라(204-205)는 그 셔터를 개방하며 인광성 방출을 캡처한다.

도 14 및 도 15에 도시된 실시예에서, 상기 리트 카메라(214-215) 셔터는 상기 라이트 패널(208-209) 형광 램프의 광 출력이 최대값에 있는 동안만 개방되었다. 또 하나의 실시예에서, 상기 리트 카메라(214-215) 셔터는 캡처된 광량을 최대화하도록, 상기 형광 램프가 임의의 광을 방출하는 전체 시간 동안 개방될 수 있 다. 그러나, 이러한 상황에서, 상기 장면의 인광성 메이크업, 페인트 또는 염료는 상기 인광성 영역이 지속적으로 더 어둡게 되는 반면 상기 형광 램프 쇠퇴 동안 상기 인광성 영역이 상당히 지속적으로 계속 광을 방출하기 때문에, 상기 장면에서의 비인광성 영역에 비해 더 탁월하다. 상기 리트 카메라(214-215)는 셔터가 개방되는 전체 시간 동안 상기 광을 통합한다.

또 하나의 실시예에서, 상기 리트 카메라(214-215)는 상기 다크 시간 간격(1502)의 일부 또는 전부동안 셔터를 개방상태로 둔다. 이 경우에, 상기 리트 카메라(214-215)는 상기 리트 시간 간격(1501)으로부터 상기 광과 다크 시간 간격(1502) 동안의 광을 통합하기 때문에, 상기 장면의 인광성 영역은 비인광성 영역에 비해 매우 탁월하게 나타난다.

형광 램프는 일반적으로 그의 인광체 쇠퇴 특성을 상세하는 사양과 함께 팔리지 않기 때문에, 형광 램프의 쇠퇴 특성을 실험적으로 결정할 필요가 있다. 이는 동기 신호(222)의 하강 에지(1532)에 대해 동기 신호(221)의 하강 에지(1522)를 조정하고, 그 후에 상기 다크 카메라의 출력을 관찰함으로써 용이하게 행해질 수 있다. 예를 들어, 도 15에 도시된 실시예에서, 상기 형광 쇠퇴(1542) 동안 에지(1532) 후에 바로 에지(1522)가 하강하면, 비인광성 객체가 다크 카메라(204-205)에서 캡처된다. 상기 에지(1522)가 에지(1532)에 대해 천천히 지연되면, 다크 카메라(204-205)에서의 상기 비인광성 객체는 상기 비인광성 객체가 화상에 있을 때를 제외하고는, 캡처된 전체 화상이 어둡게 될 때까지 점진적으로 더 어둡게 된다. 그 때, 에지(1522)는 상기 형광 램프의 쇠퇴 간격(1542)을 지나간다. 본 문 단에서 설명된 프로세스는 동기 신호(221-223)의 출력 레벨을 제어하는 범용 컴퓨터상에 애플리케이션에서 용이하게 실행될 수 있다.

또 하나의 실시예에서, 상기 형광 램프의 인광체의 쇠퇴는 상기 장면에서 인광성 패턴의 충분히 밝은 화상을 캡처하기 위해 다크 카메라(204-205)가 충분히 긴 셔터 시간을 갖게 하도록 1522 후에 에지(1532)가 가능한한 길게 지연된 후에도, 상기 장면에서의 비인광성 객체가 약간 보일 수 있도록 상기 장면을 조명하는 형광 램프로부터 여전히 소량의 광이 존재하도록 되어 있다. 일반적으로, 이것은 상술한 계류중인 출원에서 설명된 패턴 처리 기술에 문제점을 발생시키지 않는다. 상기 장면의 인광성 패턴이 상기 장면의 흐릿하게 켜진 비형광 객체보다 실질적으로 더 밝은 한, 패턴 처리 기술은 상기 인광성 패턴을 적절하게 서로 관련시키고 처리할 수 있으며 상기 흐릿하게 켜진 비형광 객체를 잡음으로서 처리할 수 있다.

라이트 패널 플래싱 속도보다 낮은 프레임 속도를 갖는 카메라의 동기화

또 하나의 실시예에서, 상기 리트 카메라(214-215) 및 다크 카메라(204-205)는 상기 광 패널(208-209)의 플래싱 속도보다 낮은 프레임 속도로 동작한다. 예를 들어, 상기 캡처 프레임 속도는 초당 30 프레임일 수 있지만, 인간의 인지 임계값에 대해 상기 라이트 패널(208-209)의 플래싱을 유지하기 위해, 상기 라이트 패널(208-209)은 초당 90 플래시로 플래시된다. 이러한 상태는 도 16에 도시되어 있다. 상기 동기 신호(221-223)는 리트 시간 간격(1601) 및 다크 시간 간격(1602)(광 주기 0) 동안 도 15에서와 동일하게 제어되지만, 그 후에, 라이트 패널(208-209) 동기 신호(222)만이 광 주기(1 및 2) 동안 계속해서 발진한다. 동기 신호(221 및 223)는 상기 간격동안 하이 상태(1611 및 1626)로 남아있다. 그 후에, 광 주기(3) 동안 동기 신호(221 및 223)는 에지(1654 및 1662)로 다시한번 트리거되어, 리트 시간 간격(1604) 동안 리트 카메라(214-215)의 셔터를 개방하며, 그 후에 다크 시간 간격(1605) 동안 다크 카메라(204-205)의 셔터를 개방한다.

상기 리트 카메라(214-215) 및 다크 카메라(204-205)가 상기 라이트 패널(208-209)의 플래싱 속도보다 낮은 프레임 속도로 동작하는 또 하나의 실시예에서, 동기 신호(223)는 동기 신호(221)가 상기 다크 카메라(204-205)의 셔터를 개방시킨 후에, 상기 리트 카메라(214-215)의 셔터를 개방시킨다. 이것은 도 17에 도시되어 있다. 도 16에 비해 상기 타이밍 배열의 장점은 상기 형광 램프가 리트에서 다크(에지(1742))로 쇠퇴할 때보다 더 빨리 다크에서 리트(에지(1744))로 천이한다는 것이다. 이에 의해, 상기 다크 프레임 간격(1702)을 상기 리트 프레임 간격(1701)에 더 가깝게 인접시킬 수 있다. 캡처된 리트 텍스처는 다크 카메라 화상으로부터 복원된 3D 표면상에 맵핑되도록 종종 사용되기 때문에, 상기 리트 및 다크 캡처가 더 가깝게 발생할수록, 상기 캡처된 객체가 움직이는 경우에 더 가깝게 정렬된다.

상기 리트 카메라(214-215) 및 다크 카메라(204-205)가 상기 라이트 패널(208-209)의 플래싱 속도보다 낮은 프레임 속도로 동작되는 또 하나의 실시예에서, 상기 라이트 패널(208-209)은 상기 다크 카메라(204-205)나 리트 카메라(214-215)에 대해 더 긴 셔터 시간을 허용하도록, 또는 양쪽 카메라에 대해 더 긴 셔터 시간을 허용하도록 광 주기 간격을 변동시키면서 플래시된다. 본 실시예에서의 예 시는 도 18에 도시되어 있으며, 여기서 카메라(204-205 및 214-215)의 3배의 프레임 속도에서 플래시되지만, 상기 다크 카메라(204-205)의 개방 셔터 간격(1821)이 전체 프레임 시간(1803)의 거의 절반과 동일하다. 이는 라이트 패널(208-209) 동기 신호(222)가 긴 다크 간격(1802) 동안 상기 라이트 패널(208-209)을 턴 오프시키는 반면 다크 캠 동기 신호(221)가 긴 다크 간격(1802)의 지속시간 동안 상기 다크 셔터를 개방하게 함으로써 달성된다. 그 후에, 동기 신호(222)는 광 주기 0을 완료하도록 짧은 리트 간격(1801) 동안 상기 라이트 패널(208-209)을 턴 온시키며, 그 후에 광 주기(1 및 2)를 통해 상기 라이트 패널(208-209)을 급속하게 플래시한다. 이에 의해, 훨씬 더 긴 다크 간격(1802)에도 불구하고, 도 17에 도시된 실시예에서와 동일한 수의 초당 플래시가 발생된다. 이것이 유용한 구성인 이유는 인간의 시각 시스템은 플래싱 주기 횟수에 일부 불규칙성이 존재하더라도, 여전히 급속하게 플래싱하는 광(예를 들어, 초당 90 플래시)을 연속적으로 켜진 것으로 인식하기 때문이다. 상기 라이트 패널(208-209)의 리트 및 다크 간격의 지속시간을 변동시킴으로써, 다크 카메라(204-205), 리트 카메라(214-215) 또는 둘다의 셔터 횟수는 길어지거나 짧아질 수 있는 반면, 라이트 패널(208-209)이 계속적으로 켜진 것으로 인간의 인식을 유지한다.

캐스캐이드 카메라로부터의 높은 총계의 프레임 속도

도 19는 또 하나의 실시예를 도시하며, 여기서 리트 카메라(1941-1946) 및 다크 카메라(1931-1936)는 상기 라이트 패널(208-209)의 플래싱 속도보다 낮은 프레임 속도에서 동작된다. 도 19는 도 2a와 유사한 모션 캡처 시스템 구성을 도시 하지만, 도면에 주어진 공간 제한으로 인해, 라이트 패널, 카메라 및 동기 서브시스템만이 도시되어 있다. 도시되지 않은 도 2a의 나머지 구성요소는(즉, 상기 카메라로부터 카메라 제어기로의 인터페이스 및 데이터 처리 서브시스템 뿐 아니라, 데이터 처리 서브시스템의 출력) 도 19에 부분적으로 도시된 완전한 구성의 일부이며, 상기 구성요소는 도 2a의 구성요소에서와 동일한 방식으로 도 19의 구성요소에 결합되어 있다. 또한, 도 19는 "리트" 상태의 라이트 패널(208-209)을 도시한다. 라이트 패널(208-209)은 동기 신호(222)에 의해 "다크" 상태로 스위치 오프될 수 있으며, 이 경우에 연기자(202)는 더 이상 조명되지 않으며, 도 2b에 도시된 바와 같이 자신의 얼굴에 도포된 인광성 패턴만이 보일 수 있게 된다.

도 19는 6개의 리트 카메라(1941-1946) 및 6개의 다크 카메라(1931-1936)를 도시한다. 본 발명의 바람직한 실시예에서 컬러 카메라가 리트 카메라(1941-1946)용으로 사용되며 그레이스케일 카메라가 다크 카메라(1931-1936)용으로 사용되지만, 어느 한쪽의 타입이 어느 한쪽의 목적을 위해 사용될 수 있다. 카메라(1941-1946 및 1931-1936)상의 셔터는 동기 발생기 PCI 카드(224)로부터 동기 신호(1921-1926)에 의해 구동된다. 상기 동기 발생기 카드는 동기 발생기 PC(220)에 설치되어 이전에 설명된 바와 같이 동작한다. (또한, 또 하나의 실시예에서 상기 카드는 동기 신호(1921-1926)를 구동하도록 동기 발생기 PC(220)의 병렬 포트 출력을 사용함으로써 교체될 수 있으며, 이 경우에 예를 들어, 병렬 포트의 비트 0은 동기 신호(222)를 구동하며, 병렬 포트의 비트 1-6은 동기 신호(1921-1926)를 각각 구동한다.)

이전에 설명된 실시예와 달리, 다크 카메라에 대해 하나의 동기 신호(221)가 존재하고, 상기 리트 카메라에 대해 하나의 동기 신호(223)가 존재하며, 도 19에 도시된 실시예에서, 다크 카메라에 대해 3개의 동기 신호(1921-1923)가 존재하고, 다크 카메라에 대해 3개의 동기 신호(1924-1926)가 존재한다. 이들 동기 신호(1921-1926)에 대한 타이밍은 도 20에 도시되어 있다. 상기 동기 신호(1921-1926)가 하이 상태에 있을 때, 상기 신호에 부착된 카메라의 셔터가 폐쇄되게 하며, 상기 동기 신호가 로우 상태에 있을 때, 상기 신호에 부착된 카메라의 셔터가 개방되게 한다.

본 실시예에서, 도 20에 도시된 바와 같이, 상기 라이트 패널(208-209)은 동기 신호(222)에 의해 제어된 바와 같이, 일정한 초당 90 플래시로 플래시된다. 형광 램프 쇠퇴(2042)를 포함하여, 상기 라이트 패널(208-209)의 광 출력이 또한 도시된다. 각 카메라(1931-1936 및 1941-1946)는 라이트 패널의 초당 90 플래시 속도와 정확하게 1:3 비율인 초당 30 프레임(fps)으로 화상을 캡처한다. 도 20에 도시된 각 카메라는 상기 라이트 패널의 3개 플래시마다 하나의 화상을 캡처하며, 상기 카메라의 셔터는 "캐스캐이딩" 순서로 시퀀스된다. 3개 프레임의 시퀀스는 다음의 방법으로 캡처된다.

동기 신호(222)는 에지(2032)를 하이로부터 로우 상태(2031)로 천이시킨다. 로우 상태(2031)는 라이트 패널(208-209)을 턴 오프시켜, 상기 라이트 패널(208-209)이 쇠퇴 곡선(2042)을 따라 점진적으로 다크 상태(2041)로 쇠퇴한다. 상기 라이트 패널이 상기 장면의 비인광성 표면으로부터 상기 인광성 메이크업, 페인트 또 는 염료를 분리하는데 충분한 콘트라스트를 제공할 목적으로 충분히 어둡게 될 때, 동기 신호(1921)는 로우 상태(2021)로 천이한다. 이에 의해, 다크 카메라(1931-1932)는 셔터를 개방하며 다크 프레임을 캡처한다. 시간 간격(2002) 후에, 동기 신호(222)는 에지(2034)를 하이 상태(2033)로 천이시켜 상기 라이트 패널(208-209)이 에지(2044)를 리트 상태(2043)로 천이시킨다. 라이트 패널(208-209)이 켜지기 직전에, 동기 신호(1921)는 하이 상태(2051)로 천이하여 다크 카메라(1931-1932)의 셔터를 폐쇄한다. 상기 라이트 패널(208-209)이 켜진 직후에, 동기 신호(1924)는 로우 상태(2024)로 천이하여, 상기 리트 카메라(1941-1942) 상의 셔터가 시간 간격(2001) 동안 개방되게 하여 리트 프레임을 캡처한다. 동기 신호(222)는 로우 상태로 천이하여 상기 라이트 패널(208-209)을 턴 오프시키고, 동기 신호(1924)는 시간 간격(2001)의 끝에서 하이 상태로 천이하여 리트 카메라(1941-1942) 상의 셔터를 폐쇄시킨다.

이전의 문단에서 설명된 이벤트의 시퀀스는 2번 이상 반복되지만, 이들 반복 동안 동기 신호(1921 및 1924)는 카메라 셔터를 폐쇄한 채로 유지하면서 하이 상태로 남아있다. 제 1 반복 동안, 동기 신호(1922)는 다크 카메라(1933-1934)의 셔터를 개방하는 한편, 라이트 패널(208-209)은 어두워지며, 동기 신호(1925)가 리트 카메라(1943-1944)의 셔터를 개방하는 한편, 라이트 패널(208-209)은 켜진다. 제 2 반복 동안, 동기 신호(1923)는 다크 카메라(1935-1936)의 셔터를 개방하는 한편, 라이트 패널(208-209)은 어두워지며, 동기 신호(1926)가 리트 카메라(1945-1946)의 셔터를 개방하는 한편, 라이트 패널(208-209)은 켜진다.

그 후에, 이전의 2개 문단에서 설명된 이벤트의 시퀀스는 도 19에 도시된 모션 캡처 세션이 진행되는 동안 계속해서 반복되며, 따라서 각 카메라가 단지 30 fps로 화상을 캡처링한다는 사실에도 불구하고, 카메라 캡처의 "캐스캐이딩" 시퀀스는 3 세트의 다크 카메라 및 3 세트의 리트 카메라가 90 fps(즉, 초당 90 플래시의 플래싱 속도인 라이트 패널과 동일)로 모션을 캡처하게 한다. 각 카메라가 3개 프레임마다 1개만을 캡처하기 때문에, 데이터 처리 시스템(210)에 의해 저장된 캡처 프레임은 인터리빙되어 90 fps로 저장된 프레임 시퀀스가 적절한 시간 순서의 프레임을 갖는다. 상기 인터리빙 동작이 완료된 후에, 상기 데이터 처리 시스템은 90 fps로 복원된 3D 표면(207) 및 텍스처 3D 표면(217)을 출력한다.

도 20에 도시된 "캐스캐이딩" 타이밍 시퀀스는 90 fps의 총 속도로 화상을 캡처링하는 동안 카메라가 30 fps로 동작하게 하지만, 카메라(1921-1923 및 1924-1926) 전부를 동기하여 동작하도록 상기 타이밍을 스위칭할 수 있는 것이 바람직하다. 그와 같은 상황의 일 예는 서로 관련된 카메라의 상대적인 위치를 결정하는 것이다. 상기 카메라 사이의 정확한 삼각 측량을 위해 상기 다크 카메라(1921-1923)의 상대적인 위치의 정확한 지식이 사용되며, 상기 리트 카메라(1924-1926)에 의해 캡처된 텍스처 맵을 상기 다크 카메라(1921-1923)에 의해 캡처된 화상으로부터 복원된 기하학적 배열상에 맵핑하는 방법을 확립하기 위해 상기 다크 카메라(1921-1923)에 대해 상기 리트 카메라(1924-1926)의 위치의 정확한 지식이 사용된다. 고정된 카메라의 상대적인 위치를 결정하기 위한 종래의 일 방법(예를 들어, 모션 분석 코포레이션으로부터의 상기 모션 캡처 카메라에 대해 카메라를 보정 하도록 이용됨)은 알려진 객체(예를 들어, 리지드 어레이(rigid array)의 로드의 단부상의 구체)를 상기 카메라의 시야내로 위치시키고, 그 후에 동기적으로(즉, 모든 카메라의 셔터가 동시에 개방 및 폐쇄) 상기 객체가 움직임에 따라 모든 카메라에 의해 상기 알려진 객체의 화상의 연속적인 프레임을 캡처하는 것이다. 상기 모든 카메라로부터 연속적인 프레임을 처리함으로써, 서로에 대한 상기 카메라의 상대적인 위치를 계산할 수 있다. 그러나 이 방법을 적용하기 위해서는, 모든 카메라가 동기되어 동시에 화상을 캡처해야 한다. 상기 카메라 셔터가 동시에 개방되지 않으면, 각각 비동시성으로 셔터가 개방될 때, 카메라는 셔터가 서로 다른 시간으로 개방되는 다른 카메라와 공간적으로 다른 위치에서 움직이는 객체를 캡처할 것이다. 이에 의해, 서로에 대해 모든 카메라의 상대적인 위치를 정확하게 결정하는 것이 더 어려워진다(또는 불가능하다).

도 21은 또 하나의 실시예에서, 모든 카메라(1931-1936 및 1941-1946)가 셔터를 동시에 개방하도록 상기 동기 신호(1921-1926)가 조정될 수 있는 방법을 도시한다. 동기 신호(1921-1926)는 다크 시간 간격(2102) 동안 모두 로우 상태(2121-2126)로 천이한다. 상기 라이트 패널(208-209)이 초당 90 플래시로 플래시되더라도, 상기 카메라는 서로에 대해 30 fps로 동기적으로 프레임을 캡처링한다. (이 경우에, 본 발명의 바람직한 실시예에서 컬러 카메라인 리트 카메라(1941-1946)는 다크 간격(2102) 동안 상기 다크 카메라(1931-1936)와 동시에 프레임을 캡처링한다.) 전형적으로, 상기 동기된 동작 모드는 보통 연기자의 모션 캡처 전에 또는 후에, 보정 객체(예를 들어, 인광성 구체의 어레이)가 상기 카메라의 일부 또는 전 부의 시야내에 위치하며 연속적인 프레임을 통해 잠재적으로 이동될 때 행해질 것이다. 이러한 방식으로, 도 21에 도시된 바와 같이, 카메라가 30 fps로 동기하여 실행되는 동안 상기 카메라의 상대적인 위치가 결정될 수 있다. 그 후에, 상기 카메라 타이밍은 90 fps로 동작을 캡처하도록 도 20에 도시된 "캐스캐이딩" 타이밍으로 스위칭된다. 상기 90 fps 프레임이 데이터 처리 시스템(210)에 의해 복원될 때, 도 21에 도시된 동기 모드 시간으로 90fps 캡처에 대해 미리(또는 후속적으로) 결정된 카메라 위치 정보는 상기 3D 표면(207)을 계산하고 텍스처 3D 표면(217)을 생성하기 위해 상기 캡처된 리트 프레임 텍스처를 3D 표면상에 맵핑하도록 사용된다.

장면이 촬영될 때, 전형적으로 이용하는 종래 방법 및 카메라는 상기 장면의 2D 화상만을 캡처링하며, 도 19 및 도 20에 도시된 바와 같은 더 높은 총 프레임 속도를 달성하도록 다수의 더 느린 프레임 속도 카메라를 사용하는 "캐스캐이딩" 기술은 고품질의 결과를 생산하지 못한다. 그 이유는 "캐스캐이드" 상태의 각 카메라(예를 들어, 카메라(1931, 1933 및 1935))가 서로 다른 조망 포인트로부터 장면을 바라보기 때문이다. 각 카메라의 캡처된 30 fps 프레임이 시간적으로 연속적인 프레임의 90 fps 시퀀스를 생성하도록 함께 인터리빙되면, 상기 90 fps 시퀀스가 조망될 때, 상기 카메라가 다수의 위치사이에서 급격하게 이동하는 것처럼 지터(jitter)가 나타난다. 그러나 본 명세서에서 설명된 바와 같이 그리고 계류중인 출원에 설명된 방법과 조합하여, 장면에서 객체의 3D 표면을 캡처링하기 위해 도 19 및 도 20에 도시된 바와 같은 더 높은 총 프레임 속도를 달성하도록 더 느린 프 레임 속도 카메라가 "캐스캐이드"될 때, 최종 90 fps 인터리빙 3D 표면(207) 및 텍스처 3D 표면(217)은 전혀 지터를 나타내지 않으며, 오히려 완전히 안정한 상태로 보인다. 그 이유는 각 다크 프레임 간격(2002) 동안 적어도 한 쌍의 다크 카메라(1931-1936)가 복원될 표면 영역(인광성 메이크업, 페인트 또는 염료를 갖는)의 비경사 시야(예를 들어, < 30도)를 갖는 한, 상기 카메라(1931-1936 및 1941-1946)의 특정 위치는 복원 3D 표면에서 중요하지 않기 때문이다. 이것은 전형적으로 주어진 시간에서 상업적으로 이용가능한 고해상도 센서가 상업적으로 이용가능한 더 낮은 해상도의 센서보다 낮은 프레임 속도를 갖기 때문에, 종래기술의 2D 모션 화상 캡처(즉, 비디오 캡처로 공지됨)보다 상당한 장점을 제공한다. 따라서, 고해상도의 2D 모션 화상 캡처는 단일 고해상도 센서의 프레임 속도로 제한된다. 본 명세서에서 설명된 원리 하에서, 고해상도의 3D 모션 표면 캡처는 단일 고해상도 센서의 프레임 속도의 n배를 달성할 수 있는데, 여기서 n은 도 19 및 도 20에서 도시된 방법마다 함께 "캐스캐이드"된 카메라 그룹의 수이다.

인광체 광도의 컬러 맵핑

이상적으로, 다크 카메리(204-205)의 완전한 동적 범위는 최고 품질 패턴 캡처를 달성하도록 이용되어야 한다. 예를 들어, 너무 어두운 패턴이 캡처되면, 카메라(204-205)의 센서에서의 잡음 패턴이 캡처된 패턴만큼 두드러지게 될 수 있어, 부정확한 3D 복원을 발생시킨다. 패턴이 너무 밝으면, 상기 패턴의 일부 영역은 상기 센서의 동적 범위를 초과할 수 있으며, 그와 같은 영역의 모든 픽셀은 실제로 상기 패턴 영역을 구성하는 다양한 광도 레벨보다는, 최대 광도 레벨(예를 들어, 8 비트 센서에서 255)로 기록될 것이다. 이에 의해, 또한 부정확한 3D 복원이 발생할 것이다. 따라서, 본 명세서에서 설명된 기술마다 패턴을 캡처링하기 전에, 전체에 걸친 패턴의 광도가 너무 어둡거나 너무 밝지 않게(예를 들어, 상기 카메라 센서의 최대 광도 레벨에 도달하지 않도록) 하는 것이 유용하다.

인광성 메이크업이 연기자에게 도포될 때, 또는 인광성 메이크업, 페인트 또는 염료가 객체에 도포될 때, 인광체 도포가 모든 위치에서 충분히 밝거나 또는 일부 위치에서 너무 밝은 다크 카메라(204-205)에 의해 캡처된 패턴을 발생시키는지를 인간의 눈으로 평가하는 것은 어려운 일이다. 도 22의 화상(2201)은 랜덤 패턴의 인광체로 커버된 원통을 도시한다. 컴퓨터 디스플레이(예를 들어, LCD 모니터)상에서 상기 화상을 볼 때, 상기 패턴의 일부분이 너무 밝은지(예를 들어, 위치(2220)) 또는 너무 어두운지(예를 들어, 위치(2210))를 정확하게 결정하는 것은 어렵다. 이에 대해서는 많은 이유가 있다. 컴퓨터 모니터는 종종 센서로서 동일한 동적 범위를 갖지 않는다(예를 들어, 센서는 256 그레이 레벨을 캡처하는 반면, 컴퓨터 모니터는 128 고유 그레이 레벨만을 디스플레이할 수 있다). 상기 광도 및/또는 콘트라스트는 상기 모니터상에 정확하게 설정되지 않을 수 있다. 또한, 인간의 두뇌는 자신이 보는 광도에 적응될 수 있기 때문에 인간의 눈은 최대 광도 레벨을 구성하는 것이 무엇인지 결정하기 힘들고, 스크린상의 가장 밝은 영역이 최대 광도라고 생각한다. 이러한 모든 이유로 인하여, 인광성 메이크업, 페인트 또는 염료를 도포할 때 인간이 용이하게 평가할 수 있는 광도의 객관적인 측정수단을 갖는 것이 유용하다. 또한, 상기 렌즈 개구 및/또는 이득이 다크 카메라(204-205) 상에서 조정되며 및/또는 상기 라이트 패널(208-209)의 광도가 조정됨에 따라 객관적인 측정 광도를 갖는 것이 유용하다.

화상(2202)은 그와 같은 객관적인 측정수단을 도시한다. 상기 화상은 화상(2201)과 동일한 원통을 도시하지만, 그레이스케일 레벨(본 예에서, 0내지 255)로서 상기 화상의 각 픽셀의 광도를 나타내는 대신에, 컬러로서 도시한다. 각 컬러는 광도의 범위를 나타낸다. 예를 들어, 화상(2202)에서 청색은 광도 범위 0-32를 나타내며, 주황색은 광도 범위 192-223을 나타내며, 다크 레드는 광도 범위 224-255를 나타낸다. 다른 컬러는 다른 광도 범위를 나타낸다. 청색인 영역(2211)은 이제 매우 어두운 영역으로서 명백하게 식별가능하며, 다크 레드인 영역(2221)은 매우 밝은 영역으로서 명백하게 식별가능하다. 이러한 결정은 상기 디스플레이 모니터의 동적 범위가 상기 센서의 동적 범위보다 적을지라도, 또는 상기 디스플레이 모니터가 부정확하게 조정되거나 관찰자의 두뇌가 상기 디스플레이의 광도에 적응되더라도, 인간의 눈에 의해 명백하게 수행될 수 있다. 상기 정보를 이용하여 인간 관찰자는 인광성 메이크업, 염료 또는 페인트의 도포를 변경할 수 있다. 상기 인간 관찰자는 또한 상기 카메라(204-205) 상의 개구 및/또는 이득 설정 및/또는 상기 라이트 패널(208-209)의 광도를 조정할 수 있다.

일 실시예에서, 화상(2202)은 하나의 카메라 제어기 컴퓨터(225)상에 실행하는 애플리케이션 소프트웨어에 의해 생성되며 상기 카메라 제어기 컴퓨터(225)에 부착된 컬러 LCD 모니터상에 디스플레이된다. 상기 카메라 제어기 컴퓨터(225)는 다크 카메라(204)로부터 프레임을 캡처하며 상기 캡처된 프레임의 픽셀 값을 RAM의 어레이에 배치한다. 예를 들어, 상기 다크 카메라(204)가 8 비트/픽셀을 갖는 640x480 그레이스케일 카메라라면, 상기 어레이는 RAM에서 8비트 바이트의 640x480 어레이가 된다. 그 후에, 상기 애플리케이션은 상기 어레이에서 각 픽셀 값을 취하며, 가능한 픽셀 값의 수만큼 많은 엔트리를 갖는 컬러의 룩업 테이블로의 인덱스로서 사용한다. 8비트/픽셀에서는, 상기 룩업 테이블은 256 엔트리를 갖는다. 상기 룩업 테이블의 엔트리 각각은 주어진 광도 레벨을 위해 디스플레이되는 원하는 적색, 녹색, 청색(RGB) 컬러 값으로 사전-로딩된다(상기 애플리케이션의 사용자 또는 개발자에 의해). 각각의 광도 레벨은 고유한 컬러를 부여받거나, 광도 레벨의 범위는 고유한 컬러를 공유할 수 있다. 예를 들어, 화상(2202)에 대해, 룩업 테이블 엔트리(0-31)는 청색에 대한 RGB 값을 모두 로딩받으며, 엔트리(192-223)는 주황색에 대한 RGB 값을 로딩받으며, 엔트리(224-255)는 다크 레드에 대한 RGB 값을 로딩받는다. 다른 엔트리는 다른 RGB 컬러 값을 로딩받는다. 상기 애플리케이션은 상기 컬러 룩업 테이블로의 인덱스로서 캡처된 프레임의 어레이(예를 들어, 8비트 그레이스케일 값의 640x480)로부터의 각 픽셀 값을 이용하며, 상기 탐색된 컬러의 새로운 어레이(예를 들어, 24비트 RGB 값의 640x480)를 형성한다. 이와 같은 룩업 컬러의 새로운 어레이는 1102와 같은 컬러 화상을 생산하여 디스플레이된다.

컬러 카메라(리트 카메라(214) 또는 다크 카메라(204))가 2202와 같은 화상을 발생시키도록 상기 화상을 캡처하는데 사용되면, 상기 화상이 캡처된 후에, 그리고 이전의 문단에서 설명된 바와 같이 처리되기 전에 일 단계가 먼저 수행된다. 상기 카메라의 캡처된 RGB 출력은 카메라 제어기 컴퓨터(225) RAM(예를 들어, 24 비트/픽셀을 갖는 640x480)의 어레이에 저장된다. 카메라 제어기 컴퓨터(225) 상에 실행하는 애플리케이션은 각 픽셀의 적색, 녹색 및 청색 값을 평균함으로써(즉, 평균 = (R + G + B)/3) 각 픽셀의 평균 광도를 계산하며, 상기 평균값을 새로운 어레이(예를 들어, 8비트/픽셀을 갖는 640x480)에 배치한다. 평균 픽셀 광도의 어레이("평균 어레이")는 2202와 같은 컬러 화상을 생산하기 위해, 이전의 문단에서 설명된 바와 같이, 그레이스케일 카메라의 픽셀 출력인 것처럼 처리된다. 그러나, 먼저 하나 이상의 단계가 존재한다: 상기 애플리케이션은 상기 픽셀의 임의의 컬러 채널(즉, R, G 또는 B)이 최대 광도값(예를 들어, 255)에 있는지를 알기 위해 상기 캡처된 RGB 어레이의 각 픽셀을 검사한다. 임의의 채널이 있으면, 상기 애플리케이션은 상기 픽셀에 대해 평균 어레이의 값을 최대 광도값(예를 들어, 255)으로 설정한다. 그 이유는 픽셀의 하나의 컬러 채널이 최대 광도 범위를 넘어서 구동될 수 있는 반면(그러나 최대 광도값만을 출력), 다른 컬러 채널은 상대적으로 어두운 광도에 의해 구동되기 때문이다. 이에 의해, 중간-범위 레벨인 픽셀에 대해 평균 계산된 광도를 발생시킨다(그리고 양호한 품질의 패턴 캡처를 위한 문제점으로 고려되지 않는다). 그러나, 상기 컬러 채널 중 임의의 채널이 주어진 픽셀에서 과열 구동되면, 부정확한 패턴 캡처를 발생시킨다. 따라서, 상기 평균 어레이의 픽셀 값을 최대 광도로 설정함으로써, 상기 픽셀이 최고 광도로 도시되는 컬러 화상(2202)을 생산하며, 이는 고품질 패턴 캡처를 위해 화상(1102)에 잠재적인 문제점이 있음을 인간 관찰자에게 경고한다.

주목할 사항으로서, 본 발명의 기초 원리는 도 22에 도시된 상기 특정 컬러 범위 및 컬러 선택에 제한되지 않는다. 또한, 단일 컬러 룩업 테이블만을 사용하는 대신에, 2202에서 컬러를 결정하도록 다른 방법이 이용될 수 있다. 예를 들어, 일 실시예에서 캡처된 화상의 픽셀 광도(또는 평균 광도)는 상기 디스플레이된 컬러의 색조를 특정하도록 사용된다. 또 하나의 실시예에서, 캡처된 화상의 픽셀 광도(또는 평균 광도)의 고정된 수의 낮은 비트(예를 들어, 4)는 0으로 설정되며, 최종 숫자는 각 픽셀에 대한 색조를 특정하도록 사용된다. 이것은 광도의 범위에 각 단일 색조를 할당하는 효과를 갖는다.

다중 범위 데이터 세트로부터의 표면 복원

상술한 바와 같이 하나의 카메라에 의해 캡처된 라인 또는 랜덤 패턴과 다른 카메라로부터의 화상을 서로 관련시킴으로써, 각 카메라에 대한 범위 정보를 제공한다. 본 발명의 일 실시예에서, 다수 카메라로부터의 범위 정보는 세단계로 조합된다: (1) 상기 3D 캡처 볼륨을 스칼라 필드로서 처리하며; (2) 상기 스칼라 필드의 등가면(isosurface)을 탐색하고 상기 대상의 표면을 나타내는 폴리곤 메시(polygon mesh)를 생성하도록 "마칭 큐브(Marching Cubes)"(또는 관련된 "마칭 사면체(Marching Tetrahedrons") 알고리즘을 이용하며; (3) 잘못된 표면을 제거하고 상기 메시를 간소화한다. 이들 단계의 각각과 관련된 상세는 이하에 제공된다.

캡처 볼륨(또한 복셀이라 칭함)의 각 포인트의 스칼라 값은 각 카메라로부터의 스칼라 값의 가중 합계이다. 상기 복원된 표면 근처의 포인트에 대한 단일 카메라의 스칼라 값은 상기 표면에 대한 상기 포인트의 거리의 최상의 추정치이다. 상기 거리는 상기 객체 내의 포인트에 대해 포지티브(positive)이며 상기 객체 밖 의 포인트에 대해 네거티브(negative)이다. 그러나, 상기 표면에서 먼 포인트는 그 포인트가 상기 객체 내부에 있더라도 작은 네거티브 값이 주어진다.

각 카메라에 대해 사용된 가중치는 2개의 구성요소를 갖는다. 상기 표면에 대해 일반적인 법선 방향으로 놓인 카메라에는 1의 가중치가 주어진다. 상기 법선에 대해 90도로 놓인 카메라에는 0의 가중치가 주어진다. n_i = cos²a_i 형태의 함수가 사용되며, 여기서, n_i는 법선 가중 함수이며 a_i는 카메라 방향과 표면 법선 사이의 각도이다. 이것은 도 23에 도식적으로 예시되어 있다.

두번째 가중 구성요소는 거리의 함수이다. 상기 표면으로부터 볼륨 포인트가 멀수록, 상기 거리추정치의 정확성의 신뢰도가 적어진다. 상기 가중치는 거리가 증가하는 것보다 훨씬 빠르게 감소한다. w_i = 1/(d_i ² + 1) 형태의 함수가 사용되며, 여기서 w_i는 가중치이며 d_i는 거리이다. 이것은 도 24에 도식적으로 예시된다. 상기 가중치는 또한 상기 표면에 "가까운" 볼륨 포인트와 상기 표면으로부터 "먼" 볼륨 포인트 사이를 구별하도록 사용된다. 카메라 i에 대한 스칼라 필드의 값은 s_i = (d_i ^*w_i - k^*(1-w_i))^*n_i 형태의 함수이며, 여기서 d_i는 상기 볼륨 포인트로부터 상기 표면으로의 거리이고, w_i는 거리 가중 함수이고, k는 "아주 먼" 포인트에 대한 스칼라 값이며, n_i는 법선 가중 함수이다. 이것은 도 25에 도식적으로 예시되어 있다. 상기 스칼라 필드의 값은 모든 카메라에 대한 스칼라 필드의 가중합계이 다: s = sum(s_i ^*w). 예를 들어, 본 명세서에서 참조로 통합되는, Brian Curless and Marc Levoy, Stanford University, http://graphics.stanford.edu/papers/volrange/paper 1 level/paper.html의 "범위 화상으로부터 복합 모델을 구축하는 용적방법"을 참조하라.

주목할 사항으로서, 상술된 함수와 유사한 특성을 갖는 다른 알려진 함수가 사용될 수 있다. 예를 들어, 상술된 바와 같은 코사인-제곱 함수보다는, 임계값을 갖는 코사인 제곱 함수가 사용될 수 있다. 사실, 도 23 내지 도 25에 예시된 것과 유사한 형상의 그래프를 생산하는 실질적으로 임의의 다른 함수가 사용될 수 있다(예를 들어, 높은 각도에서 0을 향해 떨어지는 그래프).

본 발명의 일 실시예에서, "마칭 큐브" 알고리즘 및 그의 변형인 "마칭 사면체"는 스칼라 필드의 제로 교차점(zero crossing)을 탐색하며 표면 메시를 발생시킨다. 예를 들어, 본 명세서에서 참조로 통합되는, Lorensen, W.E. and Cline, H.E., Marching Cubes: a high resolution 3D surface reconstruction algorithm, Computer Graphics, Vol. 21, No. 4, pp 163-169(Proc. of SIGGRAPH), 1987을 참조한다. 볼륨은 큐브로 분할된다. 상기 스칼라 필드는 알려지거나 큐브의 각 코너에 대해 상기와 같이 계산된다. 상기 코너 중 일부는 포지티브 값을 갖고 일부는 네거티브 값을 가질 때, 상기 표면이 상기 큐브를 통과하는 것이 알려져 있다. 상기 표준 알고리즘은 상기 표면이 각 에지를 가로지르는 경우에 삽입된다. 본 발명의 일 실시예는 고도의 정확도로 상기 교차점을 탐색하기 위해 개선된 이진 검색을 이용함으로써 개선된다. 그렇게 함으로써, 상기 스칼라 필드는 추가적인 포인트에 대해 계산된다. 상기 계산적인 부하는 상기 표면을 따라서만 발생하며 최종 메시의 품질을 크게 개선시킨다. 테이블에 따라 상기 표면에 폴리곤이 부가된다. 상기 "마칭 사면체" 변형은 각 큐브를 6개의 사면체로 분할한다. 사면체용 테이블은 큐브용 테이블보다 훨씬 더 작으며 실행하기 쉽다. 더욱이, 마칭 큐브는 마칭 사면체에 존재하지 않는 모호한 경우를 갖는다.

최종 메시는 종종 다수의 바람직하지 않은 특성을 갖는다. 종종 원하는 표면 뒤에 유령 표면이 존재한다. 종종 실제 표면 주변에 후광을 형성하는 잘못된 표면이 존재한다. 그리고 마지막으로 상기 메시에서의 정점은 균일하게 간격을 두지 않는다. 상기 유령 표면 및 대부분의 잘못된 표면은 식별될 수 있으며 2개의 유사한 기술로 제거될 수 있다. 상기 복원된 표면의 각 정점은 각 카메라로부터의 상기 범위 정보에 대해 검사된다. 상기 정점이 충분한 수의 카메라(예를 들어, 1-4개 카메라)에 대한 범위 값에 근접하면, 상기 정점이 양호하다는 신뢰도가 높아진다. 상기 검사에 실패한 정점은 제거된다. 범위 정보는 일반적으로 카메라의 시야내의 모든 포인트에 대해 존재하지는 않는다. 상기 포인트가 표면상에 존재하지 않거나 또는 상기 표면 중 일부가 페인팅되지 않는 경우이다. 정점이 너무 많은 카메라(예를 들어, 1-4개 카메라)에 대한 "데이터 없음" 영역에 떨어지면, 상기 정점이 복원된 표면의 일부라는 신뢰도가 낮아진다. 상기 두번째 테스트를 실패한 정점은 또한 제거된다. 상기 테스트는 복원될 객체의 전반적인 형상에 대해 추정하고 제한을 가한다. 본 발명의 기초 원리가 임의의 특정 타입의 표면에 제한되지 는 않지만, 상기 테스트는 얼굴을 복원하는데 실용적으로 잘 동작한다. 마지막으로, 상기 정점의 간격은 상기 메시의 에지에 의해 접속된 최근접 쌍의 정점을 반복적으로 병합함으로써 더 균일하게 이루어진다. 상기 병합 프로세스는 최근접 쌍이 어떤 임계값 이상에 의해 분리될 때 중단된다. 현재로서는, 0.5배 그리드 간격이 양호한 결과를 나타내는 것으로 알려져 있다.

도 26은 전술한 프로세스의 개관을 제공하는 플로우 차트이다. 2601에서, 상기 스칼라 필드가 생성/계산된다. 2602에서, 상기 마칭 사면체 알고리즘 및/또는 마칭 큐브 알고리즘은 상기 스칼라 필드의 제로 교차점을 결정하고 표면 메시를 발생시키도록 사용된다. 2603에서, 특정 수의 카메라의 범위 값에 대한 정점의 상대적인 위치설정에 기초하여 "양호한" 정점이 식별된다. 상기 양호한 정점은 유지된다. 2604에서, 상기 카메라의 범위 값에 대한 상대적인 위치설정 및/또는 상기 정점이 특정 수의 카메라의 "데이터 없음" 영역에 떨어지는지(상술한 바와 같음)에 대한 결정에 기초하여 "불량한" 정점은 제거된다. 마지막으로, 2605에서, 상기 메시는 간략화되며(예를 들어, 상기 정점의 간격이 상술한 바와 같이 더 균일하게 이루어지며) 상기 프로세스는 종료한다.

정점 트래킹 실시예

본 명세서에서 사용된 "정점 트래킹"은 시간에 따라 캡처된 표면에서 선택된 포인트의 모션을 트래킹하는 프로세스이다. 일반적으로, 일 실시예는 정점을 트래킹하는데 2가지 방법을 이용한다. 프레임 대 프레임 방법은 매우 짧은 시간 간격으로 얻어진 화상을 비교함으로써 상기 포인트를 트래킹한다. 기준 대 프레임 방 법은 매우 다른 시간으로 캡처되거나 일부 다른 수단에 의해 획득된 기준 화상과 화상을 비교함으로써 포인트를 트래킹한다. 양 방법은 강점과 약점을 갖는다. 프레임 대 프레임 트래킹은 완벽한 결과를 제공하지 못한다. 작은 트래킹 에러가 많은 프레임에 걸쳐 누적될 수 있다. 포인트는 예정된 위치로부터 멀어지게 된다. 기준 대 프레임에서는, 상기 타겟 프레임의 대상이 기준으로부터 왜곡될 수 있다. 예를 들어, 기준 화상에서 입이 닫혀져 있으며 타겟 화상에서는 열려 있을 수 있다. 일부 경우에, 알아보지 못할 정도로 왜곡되기 때문에, 2개 화상에서 패턴을 일치시키지 못할 수 있다.

전술한 한계점을 해결하기 위해, 본 발명의 일 실시예에서, 기준 대 프레임 및 프레임 대 프레임 기술의 조합이 사용된다. 본 실시예에서 설명하는 플로우 차트는 도 27에 도시되어 있다. 2701에서, 프레임 대 프레임 트래킹은 상기 제 1 및 제 2 프레임 내의 포인트를 탐색하도록 사용된다. 2703에서, 프로세스 변수 N이 3으로 설정된다(즉, 프레임 3을 나타낸다). 그 후에, 2704에서 기준 대 프레임 트래킹은 상기 프레임 사이의 포텐셜 드리프트(potential drift)를 무효로 하도록 사용된다. 2705에서, N의 값이 증가되며(즉, N번째 프레임을 나타냄), 2706에서 결정된, 또 하나의 프레임이 존재하면, 상기 프로세스는 2703으로 리턴되어, 2704에서 기준 대 프레임 트래킹에 후속하여 프레임 대 프레임 트래킹이 사용된다.

일 실시예에서, 기준 대 프레임 및 프레임 대 프레임 트래킹 둘다에 대해, 상기 표면의 법선에 최근접한 카메라가 선택된다. 상기 포인트의 새로운 x,y 위치를 탐색하도록 상관관계가 사용된다. 예를 들어, 사용될 수 있는 상관관계 기술의 설명을 위해, 2005년 10월 20일에 출원된, No. 11/255,854의 "캡처 표면상에 랜덤 패턴을 이용하여 모션 캡처를 수행하는 장치 및 방법"을 참조한다. 상기 z 값은 복원된 표면으로부터 추출된다. 상기 상관관계 기술은 가능한한 많은 포인트를 탐색하도록 조정될 수 있는 다수의 파라미터를 갖는다. 예를 들어, 프레임 대 프레임 방법은 상대적으로 큰 영역에 걸쳐 포인트를 탐색할 수 있으며 포인트 매칭을 위해 큰 윈도우 함수를 이용할 수 있다. 상기 기준 대 프레임 방법은 더 작은 윈도우를 갖는 더 작은 영역을 탐색할 수 있다. 그러나, 식별가능한 피크가 존재하지 않거나 특정 세트의 파라미터에 대해 다수의 피크가 존재하는 경우가 종종 있다. 상기 포인트는 이들 파라미터를 이용하여 충분한 신뢰도로 트래킹될 수 없다. 이러한 이유로, 본 발명의 일 실시예에서, 다수의 상관관계 패스가 서로 다른 세트의 파라미터로 수행된다. 첫번째 이후의 패스에서, 상기 탐색 영역은 이전의 패스에서 성공적으로 트래킹된 근접 포인트의 위치에 기초한 포인트의 위치의 최소 제곱 추정치를 이용함으로써 축소될 수 있다. 상기 근접 포인트를 선택할 때 주의를 요해야 한다. 예를 들어, 윗입술상의 포인트는 하나의 프레임에서 아랫입술상의 포인트로 물리적으로 근접할 수 있지만, 이후의 프레임에서 상기 입술은 상당한 거리만큼 떨어질 수 있다. 상기 윗입술의 포인트는 아랫입술의 포인트의 위치의 양호한 예측자가 아니다. 포인트간의 공간적인 거리대신에, 상기 메시의 에지를 따라 이동이 제한될 때 포인트간의 최단선 거리가 최소 제곱 조정의 가중 함수에 대한 더 우수한 기반이 된다. 상기 예에서, 상기 윗입술로부터 아랫입술까지의 경로가 상기 입의 코너를 우회한다(훨씬 더 긴 거리이므로 반대 입술상의 포인트의 위 치상에 영향을 크게 감소시킨다).

도 28은 전술한 동작의 개요를 제공한다. 2801에서, 파라미터의 제 1 세트가 선택된다. 2802에서, 파라미터 세트가 주어진 정점을 트래킹하기 위한 시도가 이루어진다. 상술한 기준을 이용하여 성공여부가 결정된다. 2802에서, 성공적이지 않게 트래킹된 정점의 위치는 성공적으로 트래킹된 인접하는 정점의 위치로부터 추정된다. 2804 및 2805에서, 상기 파라미터 세트는 업데이트되거나, 상기 프로그램이 종료된다. 따라서, 다수의 상관관계 패스가 서로 다른 파라미터 세트를 이용하여 수행된다.

때때로, 표면의 복원은 불완전하다. 상기 표면은 구멍이나 외부의 돌기를 가질 수 있다. 모든 포인트의 위치는 인접 위치로부터 자신의 위치를 추정함으로써 검사된다. 트래킹된 위치가 너무 다르면, 트래킹이나 표면 복원 중 무엇인가 잘못되었음을 추측하게 된다. 어느 경우에도, 상기 포인트는 최상의 추정 위치로 교정된다.

회귀 트래킹 마커 선택

많은 종래의 모션 캡처 시스템(예를 들어, Vicon MX40 모션 캡처 시스템)은 모션이 캡처되는 객체에 부착되는 하나의 형태 또는 또 하나의 형태의 마커를 이용한다. 예를 들어, 얼굴의 움직임을 캡처링하기 위한 하나의 종래 기술은 얼굴에 역반사성 마커를 접착시키는 것이다. 얼굴의 움직임을 캡처하기 위한 또 하나의 종래기술은 얼굴상에 도트나 라인을 페인팅하는 것이다. 이들 마커는 얼굴에 부착된 위치에 대해 고정된 위치에 남아있기 때문에, 얼굴이 이동함에 따라 상기 얼굴 의 일부분의 움직임을 트래킹한다.

전형적으로, 프로덕션 모션 캡처 환경에서, 애니메이션을 구동하기 위해 장래에 캡처된 모션 데이터를 사용할 때, 상기 얼굴의 움직임을 트래킹할 필요가 있는 상기 얼굴상의 위치는 믿을 수 있는 프로덕션 팀에 의해 선택된다(예를 들어, 깜빡거리는 모션을 트래킹하도록 상기 눈꺼풀상에 마커를 위치시킬 수 있다). 이러한 방법의 문제점은 상기 마커가 캡처된 모션 캡처 세션 후에 몇달 또는 심지어 몇년이 될 수 있는 애니메이션 프로덕션이 진행된 후에도 상기 마커에 대한 이상적인 위치를 결정하는 것이 가능하지 않다는 것이다. 그 때, 상기 프로덕션 팀이 하나 이상의 마커가 차선의 위치(예를 들어, 모션을 왜곡하는 주름이 있는 얼굴상의 위치에 위치됨)에 있는 것으로 판단하면, 동일한 연기자로 또 하나의 모션 캡처 세션을 셋업하고 상기 데이터를 다시 캡처하는 것이 종종 불가능해진다.

본 발명의 일 실시예에서, 사용자는 모션 캡처 데이터가 캡처된 후에 트래킹하고자 하는 캡처 표면상의 포인트를 특정한다(즉, 미래적이기보다는 상기 모션 캡처 세션에 대해 회귀적으로). 전형적으로 프로덕션 애니메이션을 위해 트래킹되는, 사용자에 의해 특정된 포인트의 수는 본 실시예의 표면 캡처 시스템을 사용하여 각 프레임에서 캡처된 폴리곤의 정점의 수보다 훨씬 적은 포인트가 된다. 예를 들어, 100,000 정점 이상이 얼굴에 대해 각 프레임에서 캡처될 수 있는 반면, 대부분의 프로덕션 애니메이션 애플리케이션에 대해 1000개 이하의 트래킹된 정점이면 충분하다.

이와 같은 예에 대해, 사용자는 기준 프레임을 선택할 수 있으며, 그 후에 트래킹되는 표면상의 100,000 이상의 정점에서 1000개 정점을 선택할 수 있다. 그 후에, 이전에 설명되며 도 27 및 도 28에 도시된 정점 트래킹 기술을 이용하여, 1000개의 정점이 프레임 대 프레임으로부터 트래킹된다. 그 후에, 이들 1000개의 트래킹된 포인트는 선택하고자 하는 어떤 애니메이션이든 애니메이션 프로덕션 팀에 의해 사용된다. 상기 애니메이션 프로덕션 과정 동안의 어떤 시점에서, 상기 애니메이션 프로덕션 팀이 하나 이상의 트래킹된 정점을 얼굴상의 다른 위치로 이동시키려 하거나, 하나 이상의 트래킹된 정점을 부가할지 삭제할지를 결정하면, 상기 프로덕션 팀은 상기 변경사항을 특정할 수 있으며, 동일한 정점 트래킹 기술을 이용하여 새로운 정점이 트래킹된다. 사실, 트래킹되는 정점은 필요한 횟수만큼 변경될 수 있다. 트래킹 마커(예를 들어, 정점)를 회귀적으로 변경하는 능력은 모든 트래킹된 포인트가 모션 캡처 세션 전에 장래에 대해 특정되어야 하며 그 후에는 변경될 수 없는 종래의 방법에 비해 엄청난 개선점이다.

본 발명의 실시예는 상술한 여러 단계를 포함할 수 있다. 상기 단계는 범용 또는 특수 목적 프로세서가 어떤 단계를 수행하게 하는 기계-실행가능 명령으로 구현될 수 있다. 컴퓨터 메모리, 하드 드라이브, 입력 디바이스와 같이 본 발명의 기초 원리에 관련되지 않은 여러 요소는 본 발명의 관련 양상을 흐리는 것을 피하기 위해 도면에서 생략되었다.

대안적으로, 일 실시예에서, 본 명세서에 도시된 여러 기능적 모듈 및 관련 단계는 주문형 반도체("ASIC")와 같이 단계를 수행하기 위한 하드웨어 로직을 포함하는 특정 하드웨어 구성요소에 의해, 또는 프로그램된 컴퓨터 구성요소 및 주문형 하드웨어 구성요소의 임의의 조합에 의해 실행될 수 있다.

본 발명의 요소는 또한 기계-실행가능 명령을 저장하기 위한 기계-판독가능 매체로서 제공될 수 있다. 상기 기계-판독가능 매체는 플래시 메모리, 광 디스크, CD-ROMs, DVD ROMs, RAMs, EPROMs, EEPROMs, 자기 또는 광 카드, 전파 매체 또는 전자 명령을 저장하기에 적합한 다른 타입의 기계-판독가능 매체를 포함할 수 있지만, 이들에 한정되는 것은 아니다. 예를 들어, 본 발명은 통신 링크(예를 들어, 모뎀 또는 네트워크 접속)를 통해 반송파 또는 다른 전파 매체에 구현된 데이터 신호에 의해 원격 컴퓨터(예를 들어, 서버)로부터 요청 컴퓨터(예를 들어, 클라이언트)로 전송될 수 있는 컴퓨터 프로그램으로서 다운로딩될 수 있다.

설명의 목적을 위한 전술한 설명을 통해, 본 시스템 및 방법의 완전한 이해를 제공하기 위해 많은 특정 상세사항이 설명되었다. 그러나, 당업자라면 상기 시스템 및 방법은 이들 특정 상세사항 중 일부가 없이도 실행될 수 있음을 명백히 알 것이다. 따라서, 본 발명의 범위 및 정신은 다음의 청구범위의 관점에서 판단되어야 한다.

Claims (16)

1. 복수의 카메라들을 포함하며, 다중-범위 데이터 세트들로부터 3차원 캡처 볼륨을 갖는 대상(subject)의 표면 복원을 수행하기 위한 모션 캡처(motion capture) 시스템 내에서 실행되는 컴퓨터로 구현되는 방법으로서,

   상기 대상의 3차원(3D) 캡처 볼륨에 대해 스칼라 필드(scalar field)를 생성하는 단계;

   상기 스칼라 필드에 대해 표면 메시(mesh)를 발생시키는 단계;

   상기 표면 메시의 양호한 정점들을 유지하고 불량한 정점들을 제거하는 단계; 및

   상기 대상의 모션의 후속적인 복원에 사용하도록 상기 양호한 정점들을 저장하는 단계

   를 포함하는, 3차원 캡처 볼륨을 갖는 대상의 표면 복원을 수행하기 위한 모션 캡처 시스템 내에서 실행되는 컴퓨터로 구현되는 방법.
2. 제 1 항에 있어서,

   상기 스칼라 필드를 생성하는 단계는 상기 캡처 볼륨의 각 포인트에 대해 스칼라 값을 계산하는 단계를 포함하는,

   3차원 캡처 볼륨을 갖는 대상의 표면 복원을 수행하기 위한 모션 캡처 시스템 내에서 실행되는 컴퓨터로 구현되는 방법.
3. 제 2 항에 있어서,

   각각의 스칼라 값은 모션 캡처 세션(motion capture session)에서 사용된 각 카메라로부터 계산된 스칼라 값들의 가중합계로서 계산되는,

   3차원 캡처 볼륨을 갖는 대상의 표면 복원을 수행하기 위한 모션 캡처 시스템 내에서 실행되는 컴퓨터로 구현되는 방법.
4. 제 3 항에 있어서,

   각 카메라에 대해 사용된 가중치들은 (1) 카메라 방향의 각도 및 각 포인트가 속하는 표면에 대한 표면 법선 및 (2) 각 포인트로부터의 카메라의 거리에 기초하는, 3차원 캡처 볼륨을 갖는 대상의 표면 복원을 수행하기 위한 모션 캡처 시스템 내에서 실행되는 컴퓨터로 구현되는 방법.
5. 제 1 항에 있어서,

   상기 표면 메시를 발생시키는 단계는 상기 스칼라 필드의 제로 교차점들(zero crossings)을 결정하도록 마칭 큐브(Marching Cubes) 또는 마칭 사면체(Marching Tetrahedrons) 알고리즘을 실행하는 단계를 포함하는,

   3차원 캡처 볼륨을 갖는 대상의 표면 복원을 수행하기 위한 모션 캡처 시스템 내에서 실행되는 컴퓨터로 구현되는 방법.
6. 제 1 항에 있어서,

   "양호한" 정점들이 특정 수의 카메라들에 대한 범위 값들에 대한 상기 정점들의 상대적인 위치설정에 기초하여 식별되며, "불량한" 정점들이 상기 카메라들에 대한 상기 범위 값들에 대한 상기 정점들의 상대적인 위치설정 및/또는 상기 정점들이 특정 수의 카메라들의 "데이터 없음" 영역에 해당하는지 여부에 대한 결정에 기초하여 제거되는,

   3차원 캡처 볼륨을 갖는 대상의 표면 복원을 수행하기 위한 모션 캡처 시스템 내에서 실행되는 컴퓨터로 구현되는 방법.
7. 제 1 항에 있어서,

   상기 표면 메시의 에지에 의해 접속된 최근접 쌍의 정점들을 반복적으로 병합함으로써 상기 표면 메시를 간소화하는 단계를 더 포함하는,

   3차원 캡처 볼륨을 갖는 대상의 표면 복원을 수행하기 위한 모션 캡처 시스템 내에서 실행되는 컴퓨터로 구현되는 방법.
8. 제 7 항에 있어서,

   상기 최근접 쌍의 정점들이 특정된 임계값 이상의 거리로 분리될 때 병합을 중단하는 단계를 더 포함하는,

   3차원 캡처 볼륨을 갖는 대상의 표면 복원을 수행하기 위한 모션 캡처 시스템 내에서 실행되는 컴퓨터로 구현되는 방법.
9. 제 8 항에 있어서,

   상기 임계값은 상기 표면 메시의 0.5배 그리드 간격을 포함하는,

   3차원 캡처 볼륨을 갖는 대상의 표면 복원을 수행하기 위한 모션 캡처 시스템 내에서 실행되는 컴퓨터로 구현되는 방법.
10. 대상의 모션 캡처를 수행하기 위한 방법으로서,

    일정 시간 동안 상기 대상의 일련의 화상 프레임들을 캡처하는 단계 - 각각의 프레임은 상기 대상의 캡처된 표면을 규정하는 복수의 정점들을 가짐 -;

    상기 복수의 정점들 중 하나 이상의 정점을 갖는 기준 프레임을 설정하는 단계;

    (N-1)번째 프레임 또는 이전의 프레임에 기초하여 N번째 프레임 내의 정점들을 식별하도록 프레임 대 프레임 트래킹을 수행하는 단계; 및

    상기 프레임들간의 잠재적인 드리프트(potential drift)를 무효로 하기 위해 상기 기준 프레임에 기초하여 상기 N번째 프레임 내의 정점들을 식별하도록 기준 대 프레임 트래킹을 수행하는 단계를 포함하는,

    대상의 모션 캡처를 수행하기 위한 방법.
11. 제 10 항에 있어서,

    각 정점이 프레임 대 프레임 및 기준 대 프레임 트래킹을 수행하도록 위치하 는 표면의 법선에 최근접한 카메라를 선택하는 단계를 더 포함하는,

    대상의 모션 캡처를 수행하기 위한 방법.
12. 제 10 항에 있어서,

    상기 프레임 대 프레임 트래킹은 정점들을 매칭시키기 위한 상대적으로 큰 윈도우를 사용하여 수행되며, 상기 기준 대 프레임 트래킹은 정점들을 매칭시키기 위한 상대적으로 작은 윈도우를 사용하여 수행되는,

    대상의 모션 캡처를 수행하기 위한 방법.
13. 제 10 항에 있어서,

    각 프레임의 정점들에 대한 탐색 영역을 규정하는 서로 다른 세트의 파라미터들을 이용하여 상기 프레임 대 프레임 트래킹 및 상기 기준 대 프레임 트래킹을 다시 수행하는 단계를 더 포함하는,

    대상의 모션 캡처를 수행하기 위한 방법.
14. 제 10 항에 있어서,

    인접하는 정점들의 알려진 위치들에 기초하여 각 프레임 N에서 탐색되지 않은 정점의 위치를 추정하는 단계를 더 포함하는, 대상의 모션 캡처를 수행하기 위한 방법.
15. 대상의 모션을 캡처하기 위한 컴퓨터로 구현되는 방법으로서,

    모션 캡처 세션 동안 N개 정점들의 복수의 화상들을 포함하는 모션 캡처 데이터를 캡처하는 단계;

    X < N인 경우에 상기 복수의 화상들에 대해 트래킹하도록 상기 N개의 정점들 중 X개를 회귀적으로 식별하는 단계; 및

    상기 복수의 화상들에 대해 상기 X개 정점을 트래킹하는 단계

    를 포함하는, 대상의 모션을 캡처하기 위한 컴퓨터로 구현되는 방법.
16. 제 15 항에 있어서,

    Y < N인 경우에 상기 복수의 화상들에 대해 트래킹하도록 상기 N개 정점들 중 Y개를 회귀적으로 식별하는 단계 - 상기 Y개 정점들은 상기 X개 정점들에 포함되지 않는 정점들을 포함함 -; 및

    상기 복수의 화상들에 대해 상기 Y개 정점들을 트래킹하는 단계

    를 포함하는, 대상의 모션을 캡처하기 위한 컴퓨터로 구현되는 방법.

Images