KR20140100525A - 비디오 영화를 촬영하기 위한 시스템 - Google Patents

Abstract

실제 공간에서 비디오 영상을 촬영하기 위한 시스템은, 촬영 카메라(9)와, 촬영 카메라(9)에 대한 로케이션을 결정하기 위한 컴퓨터화된 핀포인팅 모듈(27)과, 모니터링 스크린(15)과, 모니터링 스크린(15) 상에 촬영 카메라(9)의 로케이션 데이터에 따라 발생된 실제 이미지와 가상 이미지의 프로젝션의 합성 이미지를 발생하기 위한 컴퓨터화된 합성 모듈(32)을 포함한다.

Description

비디오 영화를 촬영하기 위한 시스템{SYSTEM FOR FILMING A VIDEO MOVIE}

본 발명은 비디오 영상을 촬영하기 위한 시스템에 관한 것이다.

비디오 영상을 촬영할 수 있는 능력은 오랜 시간 동안 존재해 왔다. 최근 수십 년 동안, 실제 세계에서 촬영하기 어려울 것 같았던 사물 또는 사건들을 표현하기 위해, 방송 또는 배포된 비디오에서 증강 현실(augmented reality)을 사용하는 것이 점차 일반화되고 있다.

이러한 증강 현실의 연속을 포함하는 비디오 영상을 구성하기 위한 종래의 방법은 단색 배경의 스튜디오와 같은 중립적으로 조정된 환경에서 배우들을 촬영하여 시작된다. 몇 주 또는 몇 달 후, 삼차원 애니메이션들이 촬영된 배우와 상호 작용하는 환상(illusion)을 제공하기 위해 포스트 프로덕션(post-production) 중에 추가된다.

단색 배경의 스튜디오에서 사실적인 장면을 연기하고 촬영하는 것은 배우와 감독에게 있어 어려운 일이다. 따라서, 예비 버전의 애니메이션이 생성되고, 장면이 촬영되기 전에 감독과 배우에게 보여주는, 미리 시연하는 시스템이 최근에 제시되었다. 배우와 감독은 더 쉽게 그들의 가상 환경 및/또는 그들의 가상적인 분신의 행동을 상상할 수 있다.

그러나, 이러한 시스템은 아직 불충분하며, 그리고 현 시점에서 완전히 변경할 수 없는 기록된 영화에 애니메이션을 적용하기 위해서는 여전히 포스트 프로덕션에서 많은 조정이 이루어질 필요가 있다.

또한, 카메라가 촬영 중에 어디에 있는지에 대한 더 좋은 아이디어를 제공하기 위해 시도하는 보정 표시 장치(calibrated markers)를 사용하는 시스템이 알려져 있다. 라이트크라프트(Lightcraft)라는 이름으로 시판되고 있는 시스템이 하나의 예이다. 이러한 시스템들은 표시 장치가 구비된 스튜디오를 설치할 필요가 있기 때문에, 이를 구현하는 데 매우 힘이 들고, 복잡한 작업이 요구되며, 표시 장치가 배치되는 스튜디오에서 또는 제한된 범위의 공간에서 사용하여야 하는 한계가 있다.

본 발명은 이러한 단점을 극복하기 위한 것이다.

이를 위해, 실제 참조 시스템(real reference system) 내에 형성된 실제 공간에서 비디오 영상을 촬영하기 위한 시스템이 제안되며, 상기 시스템은,

- 복수의 개별 시간 프레임에 대한 실제 이미지를 기록하기에 적합한 촬영 카메라,

- 로케이션 핀포인팅(location pinpointing) 시스템으로서,

ㆍ 적어도 하나의 센서로서, 각 시간 프레임에 대하여 알려져 있는 촬영 카메라에 대한 로케이션 데이터가 제공되며, 센서에 의해 검출되는 자연적인 지형 정보를 컴퓨터화된 핀포인팅 모듈로 전송하기에 적합한, 적어도 하나의 센서와,

ㆍ 컴퓨터화된 핀포인팅 모듈로서, 각 시간 프레임에 대하여, 센서의 로케이션 데이터와, 자연적인 지형 정보와 실제 공간의 예정된 삼차원 모델의 비교에 기초하여, 실제 참조 시스템에서 촬영 카메라의 로케이션 데이터를 결정하기에 적합한, 컴퓨터화된 핀포인팅 모듈을 포함하는, 로케이션 핀포인팅 시스템과,

- 모니터링 스크린과,

- 모니터 스크린상에 생성하기에 적합한 컴퓨터화된 합성 모듈로서, 각 시간 프레임에 대하여, 실제 이미지와 가상 이미지의 프로젝션의 합성 화상이 가상의 애니메이션의 데이터베이스로부터 취해지고, 상기 프로젝션은 실제 참조 시스템에서 촬영 카메라의 로케이션 데이터에 따라 생성되는, 컴퓨터화된 합성 모듈을 포함한다.

모니터 스크린상의 디스플레이는, 예를 들어, 수초 이내에 거의 순간적으로 디스플레이되며, 다양한 시스템 구성 요소로 기인한 가능한 처리 시간 및 대기 시간을 포함한다.

이러한 장치로, 실제 세계와 가상 세계 사이의 상호 작용을 촬영하는 동안에 모니터링 스크린에서 직접 볼 수 있다. 이것은 필요한 경우, 만족 될 때까지 같은 영상을 재촬영(reshooting)할 수 있게 한다.

자연 지형 정보를 이용하면, 표시 장치에 대한 전술한 문제점이 제거된다. 이것은 촬영을 할 때, 더 많은 자유도를 제공한다.

본 발명의 바람직한 실시예에서, 하나 이상의 다음 장치를 선택적으로 사용할 수 있다:

- 핀포인팅 시스템의 센서는 다음과 같은 특성 중 적어도 하나를 갖는 광학 카메라이다:

- 촬영 카메라의 시야 입체각(solid angle)보다 큰 시야 입체각,

- 촬영 카메라의 포착 주파수보다 큰 포착 주파수,

- 흑과 백의 포착,

- 촬영 카메라의 부피보다 최소 두 배 더 작은 부피,

- 촬영 카메라의 광축과 평행한 광축,

- 촬영 카메라의 관측 시야(field of view) 상에서 중첩하는 관측 시야;

- 상기 핀포인팅 시스템은 예정된 실제 공간의 삼차원 모델을 생성하기에 적합한 컴퓨터화된 생성 모듈을 포함하고, 상기 센서는 센서에 의해 검출된 지형 정보를 컴퓨터화된 생성 모듈에 송신하기에 적합하다;

- 상기 센서는 센서에 의해 검출된 자연적인 지형 정보를 컴퓨터화된 핀포인팅 모듈 및 컴퓨터화된 생성 모듈에 동시에 송신하기에 적합하고, 상기 컴퓨터화된 생성 모듈은 센서에 의해 검출된 자연적인 지형 정보를 이용하여 예정된 실제 공간의 삼차원 모델을 강화(enriching)하기에 적합하다;

- 상기 지형 정보는 점들, 선들, 면들, 및 부피들 중에서 선택된 실제 공간의 기하학적인 물체(objects)와 관련된 정보를 포함한다;

- 촬영 구성에서, 촬영 카메라와 센서는 서로 고정 부착된다;

- 상기 시스템은 위치 설정 시스템(positioning system)을 더 포함하고, 상기 위치 설정 시스템은 위치 설정 구성 내의 촬영 카메라 및 센서에 의해 동시에 검출되기에 적합한 위치 설정 패턴과, 상기 위치 설정 패턴의 그들의 동시 검출로부터 센서와 촬영 카메라의 각각의 로케이션 데이터를 결정하기에 적합한 컴퓨터 위치 설정 모듈을 포함한다.

- 상기 시스템은 광학 교정 시스템을 더 포함하고, 상기 광학 교정 시스템은 광학 교정 구성에서 촬영 카메라에 의한 검출에 적합한 광학 교정 패턴을 포함하고, 컴퓨터화된 핀포인팅 모듈은 각 시간 프레임에 대하여, 상기 광학 교정 시스템에 의해 결정된 촬영 카메라의 광학 교정 데이터에 기초한 실제 시간 참조 시스템에서의 촬영 카메라(9)의 로케이션 데이터를 결정하기에 적합하다:

상기 시스템은 다음 구성들 중 적어도 하나를 더 포함한다:

ㆍ 촬영 카메라의 움직임을 결정하는 데 적합한 촬영 카메라에 고정된 관성 센서로서, 상기 컴퓨터화된 핀포인팅 모듈은 또한 상기 관성 센서에 의해 제공된 데이터에 기초한 실제 참조 시스템에서의 촬영 카메라의 로케이션을 결정하기에 적합한, 촬영 카메라에 고정된 관성 센서,

ㆍ 촬영 카메라에 의해 촬영될 수 있는 측정 리퍼런스(measurement reference)로서, 상기 컴퓨터화된 합성 모듈은 촬영 카메라에 의해 캡처된 측정 참조의 이미지에 기초한 실제 공간의 스케일에 가상 이미지를 가져올 수 있는, 촬영 카메라에 의해 촬영될 수 있는 측정 리퍼런스;

ㆍ 촬영 카메라를 위한 설정 배율을 결정하기 위한 시스템으로서, 상기 컴퓨터화된 합성 모듈은 상기 파라미터를 고려하여 합성 이미지를 생성하기에 적합한, 촬영 카메라를 위한 설정 배율을 결정하기 위한 시스템;

- 상기 시스템은 또한 가상 애니메이션의 데이터베이스를 포함하는 컴퓨터화된 애니메이션 모듈을 포함하며, 각각의 애니메이션은 각각의 한 세트의 시간 프레임에 대하여, 가상 참조 시스템에 발현된 삼차원 이미지를 포함하며, 상기 컴퓨터화된 애니메이션 모듈은 상기 삼차원 이미지를 합성 모듈에 전달하기에 적합하며;

- 상기 컴퓨터화된 핀포인팅 모듈은 예정된 실제 공간의 삼차원 모델을 컴퓨터화된 애니메이션 모듈에 전달하기에 적합하며;

- 상기 컴퓨터화된 합성 모듈은 각각의 시간 프레임에 대해, 모니터링 스크린상의 가상 이미지의 그림자를 생성하기에 적합하며, 상기 그림자는 실제 참조 시스템 내의 촬영 카메라의 로케이션 데이터와 실제 참조 시스템 내의 조명 로케이션 데이터에 따라 디스플레이되고,

- 나중의 시간 프레임의 경우, 상기 컴퓨터화된 핀포인팅 모듈은 이전 시간 프레임에 대한 실제 참조 시스템 내의 촬영 카메라 로케이션 데이터에 기초하여 실제 참조 시스템 내의 촬영 카메라 로케이션 데이터를 결정할 수 있다;

- 상기 컴퓨터화된 핀포인팅 모듈은, 기하학적 패턴들 중에서, 3D 공간에서 촬영 카메라의 위치를 로케이팅하는 데 사용할 수 있는 삼차원 모델의 기하학적 패턴을 선택하기에 적합한 선택 모듈을 포함한다;

- 상기 선택 모듈은 나중의 이미지의 기하학적인 패턴을 이전의 기하학적인 패턴과 비교하고, 두 개의 이미지 모두에 존재하는 기하학적인 패턴과 실제 공간에서 움직이지 않는 이미지를 결합하고, 삼차원 모델과 비교하기 위하여 다른 기하학적인 패턴들은 유지하지 않는다;

- 상기 핀포인팅 시스템은 제1 센서와 다르며, 위치, 방향, 시야 입체각, 포착 주파수, 광축 및 시야 중에서 선택된 적어도 하나의 특성을 갖는 제2 센서를 더 포함한다.

특정 실시예에서, 위치를 정확히 파악하고, 그렇게 하도록 최적화되어 있는 센서가 사용될 수 있고, 이 센서는 카메라가 촬영의 기본 기능에만 배타적으로 포커스를 맞추게 한다.

본 발명의 다른 특징 및 이점은 비 제한적인 실시예인, 첨부된 도면을 참조하여 다음의 설명으로부터 명백해질 것이다.

도면에서 :
도 1은 실제 공간을 개략적으로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 촬영 시스템을 개략적으로 도시한 도면이다.
도 3은 도 2의 시스템의 학습 구성을 개략적으로 도시한 도면이다.
도 4는 실제 공간의 삼차원 모델의 사시도이다.
도 5는 위치 결정 구성에서의 도 2와 유사한 도면이다.
도 5a는 스케일을 제공하기 위한 도 5와 유사한 도면이다.
도 6a는 제1 실시예에서 촬영 구성에서 시스템을 개략적으로 도시한 도면이다.
도 6b는 도 6a에 도시된 실시예에서 촬영 카메라에 의해 취득된 것을 나타내는 다이어그램이다.
도 6c는 같은 실시예에서 모니터링 스크린에 생성된 합성 이미지를 개략적으로 도시한 도면이다.
도 7a, 도 7b 및 도 7c는 각각 제2 실시예에 대하여, 도 6a, 6b 및 도 6c에 대응하는 도면이다.
도 8은 컴퓨터화된 애니메이션 모듈을 포함하는 프로그램 가능한 장치의 스크린을 개략적으로 도시한 도면이다.
도 9는 상술한 장치들을 사용하여 비디오 영상을 생성하기 위한 프로세스의 흐름도이다.
도 10은 다양한 실시예에서의 획득 시스템의 개략도이다.

여러 도면에서 동일한 도면 부호는 동일하거나 유사한 요소를 나타내는 데 사용된다.

도 1은 실제 공간(1)의 일 부분을 도시한다. 도 1은 실제 공간(1)의 매우 특정한 예를 나타낸다. 그러나, 본 발명은 매우 많은 수의 다른 실제 공간에 적용할 수 있다.

실제 참조 시스템(2)은 실제 공간(1)에 부착되어 있고, 예를 들어, 원점 0을 포함하고, 상호 수직하는 축 X, Y 및 Z를 포함한다. 따라서, 실제 공간에서 각각의 포인트는 실제 참조 시스템(2)에서 좌표의 고유한 세트를 가진다.

순전히 예로서 제공된 예에서, 실제 공간(1)은 외부 공간이고, 실질적으로 Y 축을 따라 연장하는 수평 도로(3)와, 더 뒤에 있는 건물(4)을 포함한다. 이 건물은 여러 개의 윈도우(5a, 5b, 5c)와 도어(6a, 6b, 6c)를 포함한다. 보도(7)는, 예를 들어 도로(3)와 건물(4) 사이에 연장되어 있다. 여기에는, 예를 들어 주차된 차(8)가 있을 수 있다.

변형 예로서, 내부 공간은 실제 공간, 예를 들면, 스튜디오로서 사용할 수 있다. 실제 공간(1)은 일정한 정도의 자연적인 지형 정보를 포함한다. 이러한 정보는, 예를 들어, 점들, 선들, 면들, 및/또는 부피와 같은 실제 공간의 기하학적 물체에 관한 것이다. 우리는, 예를 들어, 선들과 같은 구조의 에지와, 점들과 같은 이러한 두 개의 에지의 교차를 고려할 수 있다. 표면들에 있어서는, 우리는, 예를 들어, 자동차 후드와 같은 고체 표면들, 또는 다른 것을 고려할 수 있다. 부피에 있어서는, 우리는, 예를 들어, 자동차와 같은 물체 또는 실제 공간에 존재하는 다른 물체를 참조할 수 있다. 자연적인 지형 정보는 따라서 다음 사실(들)에 의해 관련된 교정 지표(landmarks)에 의해 구별된다 :

- 이들은 비-정렬된 방식으로, 무작위로 배치된다.

- 이들은 무한한 규모의 공간, 전 세계에 배치되어 있고, 표시 장치(markers)가 탑재된 영역에 제한되지 않는다.

- 이들은 매우 이질적이며, 바코드와 같은 코드에 의해 서로 구별되지 않는다.

- 이들은 하나 이상의 면에서뿐만 아니라, 3D 부피에서 사용할 수 있다.

- 그들은 사전 교정의 복잡한 설치가 필요하지 않다.

이제, 도 2를 참조하여, 촬영 구성에서, 하나의 실시예에 따른 비디오 영상을 촬영하기 위한 시스템을 개시한다. 비디오 영상은 관객에게 연속해서 표시되는 일련의 이미지(초당 여러 프레임)이며, 예를 들어, 초당 프레임이 24(영화), 25(PAL) 또는 30(NTSC)이다. 이러한 일련의 이미지는, 예를 들어, 방송 또는 장편 영화의 일부로서 보이거나, 텔레비전 영화, 정보 메시지, 비디오 게임, 또는 다른 형태이다. 특히, 방송 또는 전시는 촬영보다 나중에 발생할 수 있다.

이러한 이미지의 연속은 실제 공간(1)에서 일어나는 이벤트를 재연(recounts)한다.

이러한 영상을 촬영하는 데는 일반적으로 사용되는 임의의 종류의 촬영 카메라(9)가 사용된다. 특히, 디지털 카메라는 초당 여러 프레임, 예를 들어, 초당 24 프레임을 캡처할 수 있다.

이러한 촬영 카메라(9)는 관측 시야(11)에서 이미지를 캡처할 수 있고, 컴퓨터 시스템(12)에 연결되는 렌즈(10)를 포함한다. 이러한 연결은, 예를 들어, 적당한 케이블(13), 또는 예를 들어 무선 또는 다른 형태의 전송 장치에 의한 무선 통신을 사용하여 이루어진다.

촬영 카메라(9)는 공지된 임의의 적합한 유형이지만, 본 발명은 촬영 중에 관측 시야(11)를 변경할 수 있으면 특히 적합하다. 특히, 이 관측 시야(11)는 실제 공간 내에서 촬영 카메라(9)를 이동시켜 변화될 수 있다. 이것은, 특히 촬영 카메라(9)가 실제 공간(1)에서 안내되는 방식으로, 예를 들어 촬영 카메라(9)에 대하여 가능한 위치들을 형성하는 힌지 암(도시되지 않음)을 갖는 크레인 또는 레일에 장착되어 이동될 수 있다.

대안적으로는, 대안적으로 제시되는 촬영 카메라(9)는 조작자(도시되지 않음)에 의해 운반됨에 의해 실제 공간(1) 내의 주변에서 충분히 움직일 수 있게 콤팩트한 것이 사용된다.

하나의 예시적인 실시예에서, 촬영 카메라(9)는 카메라의 하우징에 장착되고 촬영자가 볼 수 있는 모니터링 스크린(15)을 가지며, 그 위에는 카메라에 의해 캡처되는 관측 시야(11)가 표시되는, 모니터(14)를 포함한다.

또한, 촬영 시스템은 로케이션 핀포인팅 시스템을 포함하며, 이 로케이션 핀포인팅 시스템은 센서와 상기 센서에 무선으로 연결되거나, 또는 전술한 바와 같이 케이블(18)에 의해 연결된, 컴퓨터 시스템(12)의 컴퓨터화된 핀포인팅 모듈(17)을 포함한다.

이 센서(16)는 촬영 카메라(9)에 대한 로케이션이 항상 알려지는 독특한 특징부를 갖는다. 여기에서 "로케이션(Location)"은 촬영 카메라(9)에 대하여 센서(16)의 위치 또는 방향이 항시 알려지는 것을 의미한다. 이것은, 특히 센서와 카메라(9)(카메라에 대한 CCD 어레이)의 획득 시스템의 상대적인 위치 및 방향과 관련된다. 이것은, 예를 들어, 클램프(19) 또는 다른 적당한 기계적인 시스템에 의해, 센서(16)를 촬영 카메라(9)에 견고하게 부착하여, 용이하게 얻어질 수 있다.

상기 센서(16)는, 특히, 캡처된 필드(20)에 의해 특징지워진다. 예를 들어, 센서(16)는, 도 2에 도시된 바와 같이, 촬영 카메라(9)의 부분이 임의의 캡처된 필드(20)를 차단하지 않고, 센서(16)의 부분이 임의의 관측 시야(11)를 차단하지 않도록 놓일 수 있다.

상기 센서(16)는 컴퓨터화된 핀포인팅 모듈(17)을 이용하여 실제 공간에서 센서(16)의 위치를 결정하기 위해, 실제 공간(1)에 대한 정보를 캡처하기에 적당하다. 특히, 촬영 구성에서, 이것은 실제 공간(1) 내의 로케이션 데이터가 센서에 의해 캡처되고, 센서(16)에 의해 포착되도록, 실제 공간의 예정된 삼차원 모델(21)을 사용하여, 컴퓨터화된 핀포인팅 모듈(17)이 실제 공간(1) 내의 센서(16)의 위치를 결정할 수 있도록 배치될 수 있다. 따라서, 핀포인팅 모듈(17)은 실제 공간에서 센서(16)의 가장 가능성 있는 위치를 결정하고, 이것은 센서(16)에 의해 캡처된 데이터를 실제 공간의 예정된 삼차원 모델(21)과 부합하게 한다.

실제 공간에서 센서(16)의 위치를 알고, 촬영 카메라(9) 및 센서(16)의 상대적인 위치를 알면, 이에 따라 컴퓨터화된 핀포인팅 모듈(17)은 실제 참조 시스템에서 촬영 카메라의 로케이션 데이터를 결정할 수 있다.

위에서 설명한 프로세스는 센서(16)의 위치를 결정하고, 다음에 촬영 카메라(9)의 위치를 결정하는 두 개의 연속적인 단계를 포함하지만, 대안적으로는, 촬영 카메라(9)의 위치가 센서(16)의 로케이션의 명시적인 결정없이 바로 결정될 수 있는 것이 주목된다.

로케이션을 정확히 파악하는 작업에 전념하고, 촬영 카메라(9)로부터 구별된 포착 특징을 갖는 센서(16)를 사용하는 것이 계획된다. 그리고 촬영 카메라(9)는 영화를 촬영하는 그의 작업에 전념하고, 센서(16)는 위치를 결정하는 자신의 작업에 전념할 수 있다.

일 예로서, 상기 센서(16)는 광학 센서이다. 센서(16)가 촬영 카메라(9)에 장착되게 되면, 콤팩트한 광학 카메라는, 특히 부피에 있어서, 촬영 카메라(9)의 부피보다 적어도 두 배 작은, 센서(16)가 제공될 수 있다. 이것은 사용자의 불편함을 최소화한다.

상기 센서(16)는, 특히 실제 공간에서 촬영 카메라(9)의 위치를 정확히 검출하기 위해 특별하게 작동하는 광학 카메라가 선택될 수 있다. 따라서, 예를 들어, 촬영 카메라(9)의 것의 적어도 정수 배의 취득 속도, 예를 들어, 초당 100 이미지 정도를 갖는 광학 카메라를 사용할 수 있게 되어, 각각의 시간 프레임에 있어서 실제 공간에서의 촬영 카메라(9)의 위치를 부드럽게 산출할 수 있다.

또한, 촬영 카메라의 위치를 계산하는 데 사용되는 실제 공간(1)에서 캡처한 정보를 최대화하기 위해, 촬영 카메라(11)의 것보다 더 큰 관측 시야(20)(시야의 입체각)를 갖는 광학 카메라를 특별히 선택할 수 있다. 예를 들면, 160도를 초과하는 캡처 각도를 갖는 광각 렌즈("어안" 렌즈)를 사용할 수 있다.

또한, 필요한 경우, 센서의 위치를 정확히 파악하기 위하여, 흑백 카메라를 사용할 수 있다. 본원에 기재된 방법은 컬러 정보를 캡쳐하지 않고도 작동할 수 있다.

실제 공간의 예정된 삼차원 모델은, 예를 들면, 실제 공간(1)으로부터의 자연적인 지형 정보를 포함한다. 그것은, 예를 들어 임의의 적절한 수단을 사용하여 제공된다. 그러나, 도 3 및 도 4에 도시된 바와 같이, 실제 공간의 예정된 삼차원 모델을 생성하기 위하여 전술한 시스템의 요소들 중 일부를 사용할 수 있다.

특히, 도 3에 도시된 바와 같이, 삼차원 모델(21)은 학습 구성의 예비 단계에서 생성된다. 이 단계는, 예를 들면, 촬영 바로 전에 실행되어, 촬영 중의 실제 공간이 미리 설정된 모델에 대응하게 된다.

학습 단계 동안, 학습 센서(22)는 실제 공간(1)에서 이동된다. 한 세트의 시간 프레임을 통해, 학습 센서(22)는 상기 학습 센서(22)에 의해 캡처된 정보를 임의의 적절한 수단에 의해, 컴퓨터 시스템(12)에 보낸다. 컴퓨터 시스템(12)은 컴퓨터화된 발생 모듈(23)을 포함하며, 상기 발생 모듈(23)은 이것이 상이한 시야 각으로부터의 학습 센서(22)로부터 정보를 수신하면, (스케일 요소에서) 삼차원 모델(21)을 결정할 수 있다. 따라서, 상이한 시야 각으로부터 실제 공간(1)의 동일한 자연적인 지형 정보를 캡처하기 위해 학습 센서(22)를 사용하면, 발생 모듈(23)은 실제 공간의 한 세트의 기하학적 물체의 삼차원 위치를 결정할 수 있다. 컴퓨터 스크린에 다른 관점에서 표시되는 바와 같이, 도 4에 도시된 삼차원 모델(21)은 한 세트의 기하학적 패턴(이 경우에는 점들)으로 구성된다. 이들 점들은 도 4에서, 실제 공간의 사시도에 도시된 바와 같이, 임의의 방향으로 나타날 수 있다. 점들(24)에 더하여, 삼차원 모델(21)은 또한 직선 또는 곡선, 평면 또는 곡면, 부피 등과 같은 한 세트의 다른 기하학적 물체들로 구성되며, 이러한 기하학적 물체들은 발생 모듈(23) 자체에 의해 또는 발생 모듈 오퍼레이터로부터의 도움에 의해 결정되며, 오퍼레이터는 한 세트의 기하학적 물체가 동일한 선/면/부피의 부분인 것을 발생 모듈에 나타낸다.

상술한 바와 같이, 이렇게 생성된 삼차원 모델(21)은 다음 촬영 구성에서 항상 실제 공간 내의 촬영 카메라의 실제 위치를 식별하기 위해 컴퓨터화된 핀포인팅 모듈로 반영된다.

설명한 예에서, 촬영 구성에서 사용된 동일한 센서(16)는 학습 센서(22)로서 사용될 수 있다. 그리고 동일한 알고리즘이 학습 구성의 실제 공간에서 기하학적 물체의 삼차원 위치를 결정하고, 동일한 카메라로 결정된 기하학적 물체의 실제 공간 내의 위치에 기초한 핀포인팅 카메라(16)의 실제 공간 내의 위치를 결정하는 데 사용된다. 또한, 양 단계에 대하여 동일한 센서를 사용함에 의해, 촬영 구성에서 모델이 촬영 중에 변경되어도(촬영이 외부에서 진행되거나 또는 배우가 촬영 구성에서 센서(16)의 시야에 있을 경우에) 계속하여 삼차원 모델을 유지할 수 있다. 이 경우, 학습 모드는 촬영 중에 계속된다.

상술한 바와 같이, 예정된 삼차원 모델(21)은 선택적으로 스케일 요소에서 생성될 수 있다. 이 경우, 예를 들면, 주어진 길이의 측정 참조 부(25)가 사용될 수 있고, 이 주어진 길이는 학습 센서(22)로 캡처되고, 도 5a에 도시된 바와 같이, 삼차원 모델(21)의 크기를 조절하는 데 사용된다.

또한, 위치 설정 구성은 촬영 카메라(9) 및, 촬영 전 핀포인팅 센서(16)에 대한 각각의 로케이션 데이터를 결정하는 데 사용될 수 있다. 특정 실시예는, 센서(16)가 촬영 카메라(9)에 견고하게 부착되는 경우에 주어진다. 핀포인팅 구성에서, 위치 설정 패턴(27)은 촬영 카메라(9)와 센서(16)에 의해 동시에 촬영된다. 두 개의 장비에 의해 얻어진 정보는 두 개의 장비에 의해 캡처된 동일한 위치 설정 패턴(27)의 이미지로부터 상대적인 위치를 결정하기에 적합한 컴퓨터화된 위치 설정 모듈(26)로 전송된다.

도 2로 돌아가서, 컴퓨터 시스템(12)은 또한 컴퓨터화된 애니메이션 모듈(28)을 포함한다. 이 애니메이션 모듈(28)은, 예를 들어 하나 이상의 가상 애니메이션을 포함하는 애니메이션 데이터베이스(29)를 포함할 수 있다. 각각의 애니메이션은, 예를 들어 촬영되는 비디오 영상의 기간의 모두 또는 일부에 대응하는 한 세트의 시간 프레임의 각각에 대하여, 가상 참조 시스템(U, V, W)에서 표출된 삼차원 물체(점, 선, 면, 부피, 조직, 등)의 특징을 포함한다. 각각의 애니메이션은, 예를 들어, 증강된 가상의 현실 이벤트를 나타낸다. 예를 들어, 애니메이션 데이터베이스는 움직이거나 움직이지 않는 가상 캐릭터, 특수 효과(비, 폭발 등), 또는 다른 애니메이션을 묘사하는 애니메이션을 제공한다. 예를 들어, 가상 물체(31)는 도 2에 도시되어 있고, 주어진 시간 프레임에 대하여, 가상 공간에서 표현되는 데이터인, U, V, W에 의해 나타나는 가상 참조 시스템의 위치를 특징으로 한다. 도시되어 있는 매우 간단한 예는 오버 타임이 고정된, 사각형 베이스를 갖는 수직 칼럼을 사용하지만, 실제로는, 예를 들어 걸어다니는 사자 등이 될 수 있다.

도 2에 도시된 바와 같이, 컴퓨터 시스템(12)은 합성 모듈(32)을 포함한다. 이 합성 모듈(32)은 링크(33)를 따라 애니메이션 모듈(28)로부터 애니메이션을 불러온다. 필요한 경우, 애니메이션이 이미 실제 참조 시스템(2)에서 표현되지 않은 경우, 합성 모듈(32)은 적절한 변환 매트릭스에 의해 가상 U, V, W와 실제 X, Y, Z을 수학적으로 연결한다(일 예는 아래에서 설명한다).

그리고 컴퓨터 합성 모듈(32)은 문제의 시간 프레임에 대하여, 촬영 카메라(9)에 의해 캡처된 실제 이미지로부터, 그리고 동일한 시간 프레임에 대한 가상 물체(31)의 프로젝션으로부터 합성 이미지를 발생하고, 이 프로젝션은 실제 참조 시스템 내의 촬영 카메라(9)의 로케이션 데이터에 따라 발생한다. 따라서, 가상 이미지가 상기 시간 프레임에서 촬영 카메라(9)에 의해 캡처된 실제 이미지에 존재하는 물체의 이미지라면, 합성 이미지는 중첩된 실제 이미지와 가상 이미지를 포함한다. 그리고 상기 합성 이미지는 모니터링 스크린(15)에 표시된다. 촬영 작업자는 따라서 각각의 시간 프레임에 대하여, 그의 모니터링 스크린에서, 이 가상 물체가 그의 앞에 존재하는 것처럼, 실제 공간에서 그의 시야 각도로부터 가상 물체의 위치 및 방향을 볼 수 있다. 그리고 조작자는 필요하다면, 물체에 대하여 촬영 카메라의 위치를 조정할 수 있다.

변형예로서, 컴퓨터 시스템(12)은 또한 감독 또는 임의의 관련된 사람이 실 시간으로, 촬영 카메라의 시야 각도로부터 합성 이미지를 볼 수 있게 하는, 모니터(14')의 모니터링 스크린(15')을 포함한다.

구체적인 예가 도 6a 내지 7c에 도시되어 있다. 도 6a 내지 도 6c는 제1 예에 대응하며, 여기에서, 오퍼레이터(도시되지 않음)는 자동차(8)의 후방 하부 부분에 대응하는 후방 공간의 부분(34)을 촬영한다. 이 순간에 촬영 카메라(9)에 의해 캡처된 이미지는 도 6b에서 볼 수 있다. 이 시간 프레임에 대한 촬영 카메라(9)의 위치는 핀포인팅 시스템에 의해 결정된다. 도 6c에 도시된 바와 같이, 모니터링 스크린(15, 15') 상에 생성된 합성 이미지(36)는, 촬영 카메라(9)의 캡처 각도로부터 보이는 바와 같이, 중첩된 실제 이미지와 가상 물체(31)를 포함한다. 이것을 얻기 위해, 상술한 바와 같이, 촬영 카메라(9)와 가상 물체의 실제 이미지는 주어진 순간에 알 수 있기 때문에, 이 물체가 이미지(35) 상으로 프로젝션되는 것이 계산될 수 있다.

도 7a 내지 도 7c는 나중의 시간 프레임(바로 직후)을 나타내고, 도 6a 내지 도 6c를 참조하여 설명한다. 도 7a 내지 도 7c에 표시되는 이벤트는 이전의 도면들 이후의 약 1/24 초에 발생한다. 이 시간 주기 동안, 촬영 카메라(9)의 시야 각도가 변경되고, 이제 촬영 카메라(9)는 자동차(8)의 상부를 더욱 가리키게 된다. 이미지화된 부분(34')은 또한 도 7a에 나타난다. 촬영 카메라(9)에 의해 캡처된 실제 이미지는 도 7b에서 참조 부호 35'로 지정된다. 도 7c는 이 시간 프레임에 대한 촬영 카메라(9)의 로케이션의 함수로서 표현된 중첩된 실제 이미지(35')와 가상 물체(31)에 대응하는 합성 이미지(36')를 나타낸다. 이 예에서, 가상 물체(31)는 두 개의 시간 프레임에서 동일할 수 있다는 것이 주목된다. 두 개의 시간 프레임에 프로젝션된 디스플레이는 시야각의 차이로 인해 서로 다르다. 그러나, 이것은 애니메이션이기 때문에, 가상 물체(31)는 두 개의 시간 프레임에 대하여 약간 다를 수 있다.

위의 단계는 촬영 중의 각각의 시간 프레임에 대하여, 그리고 필요한 경우 다중 촬영 카메라에 대하여 실 시간으로 반복될 수 있다.

고려된 시간 프레임에 대한 도 6a를 다시 참조하면, 센서(16)에 의해 캡처된 핀포인팅 이미지(37)는 실제 공간의 더 큰 부피에 대응할 수 있고, 컴퓨터화된 핀포인팅 모듈은 이 핀포인팅 이미지(37)로부터 자연적인 지형 정보를 추출하고, 상술한 바와 같이, 검출된 자연적인 지형 정보로부터, 그리고 삼차원 모델(21)로부터, 실제 참조 시스템(2) 내의 촬영 카메라(9)의 위치를 결정하는 데 적합하다. 특히, 실제 공간(1) 내에 고정된 광학 표시 장치의 필요성을 제거할 수 있어, 사용의 큰 편리성을 제공한다. 그리고 자연적인 지형 정보만이 사용되어, 인공 표시 장치로 인해 촬영 공간이 어지럽혀지는 것이 회피되게 된다. 그러나, 여기에 설명된 시스템은 인공 표시 장치와 호환된다.

센서(16)의 관측 시야가 실제 공간에서 실제 요소에 의해 방해받는 경우(오퍼레이터는 작업 중에 움직인다), 컴퓨터화된 핀포인팅 모듈은 언제라도 실제 공간에서 촬영 카메라(9)의 위치를 결정하기 위한 여러 옵션을 제공할 수 있다. 예를 들면, 컴퓨터화된 핀포인팅 모듈이 실제 공간에서 촬영 카메라(9)의 위치를 확실하게 결정하는 지형 정보를 충분하게 검출하지 못한 경우에는, 디폴트에 의해, 그 순간 동안 촬영 카메라(9)를 움직이지 못하게 하는 것을 고려할 수 있다. 실제로, 실시예에 도시된 바와 같이, 두 개의 장치(9, 16)가 서로 매우 밀접하게 가까워졌을 때, 센서(16)가 지형 정보를 검출하지 못한 경우에는, 이것은 아마도 촬영 카메라(9)의 관측 시야가 매우 밀접한 실제 물체에 의해 차단된 것을 의미한다. 다음번 프레임에서, 센서(16)가 삼차원 공간에서 촬영 카메라(9)의 위치를 식별하기 위한 지형 정보를 충분히 결정할 수 있을 때, 합성 이미지는 다시 한번 이 위치에서 생성될 수 있다.

컴퓨터화된 핀포인팅 모듈은 삼차원 모델의 기하학적 패턴을 선택하기에 적합한 선택 모듈을 포함하는 것을 주목할 수 있고, 상기 삼차원 모델의 기하학적 패턴은 3D 공간에서 촬영 카메라의 위치를 식별할 수 없다. 먼저, 센서(16)의 관측 시야 내에 있을 것 같은 기하학적 패턴은, 예를 들어, 이전의 시간 프레임에서 취해진 센서 위치의 대략적인 정보를 사용하여 선택된다. 그리고 센서(16)에 의해 캡처된 이미지의 영역에서, 식별된 기하학적 패턴들의 세트가 삼차원 모델과도 다른 경우, 이들 패턴들은 촬영 카메라의 위치를 결정하는 데 있어 고려되지 않는다.

센서(16)에 의해 캡처된 일시적으로 밀접한 두 개의 이미지를 비교하면, 두 개의 이미지 모두에 존재하고 실제 공간에서는 움직이지 않는 기하학적인 패턴들은 짝을 이루게 된다. 다른 기하학적인 패턴들은 실제 공간에서 이동하는 것으로 간주 되고, 삼차원 모델과의 비교를 위해 유지되지 않는다.

도 2에 도시된 바와 같이, 촬영 카메라(9)의 위치에 대한 추가적인 정보를 갖는 컴퓨터화된 핀포인팅 모듈을 제공하기에 적합한 관성 센서(38)를 추가하여, 이들 경우에서 컴퓨터화된 핀포인팅 모듈을 또한 향상시킬 수 있다. 예를 들어, 관성 센서(38)는 촬영 카메라(9)에 부착 또는 센서(16)가 촬영 카메라(9)에 부착되는 경우에는, 센서(16)에 부착된다. 촬영 카메라와 센서 사이를 변환하기 변환 매트릭스는 각각의 확대와 관련된다. 촬영 구성에서, 인코더로부터의 정보는 적당한 변환 매트릭스를 선택하는 데 사용된다.

일 실시예에 따르면, 도 6a 내지 도 6c에 도시된 바와 같이, 합성 모듈(32)은 실제 공간 내의 가상 물체(31)에 의해 프로젝션되는 그림자를 발생시키는 데 또한 적합할 수 있다. 예를 들어, 도 6a에서 볼 수 있는 바와 같이, 인공(도시된 바와 같이) 또는 자연 조명(39)이 실제 참조 시스템에서 공지된 위치에 제공된다. 따라서, 도 6b에서 볼 수 있는 바와 같이, 실제 이미지(35)는 물체(8)의 이미지에 더하여, 그 실제 그림자의 이미지(40)를 포함한다. 도 6c에 도시된 바와 같이, 개인화된 삼차원 모델은 표면에 대한 정보를 포함할 수 있고, 그 표면 위에는, 촬영 카메라의 시각에서 본 가상 물체(31)의 그림자(41)가 프로젝션된다. 가상 물체의 그림자는 가상 물체(31)의 실제 공간 내의 위치와, 가상 물체(31)의 그림자가 프로젝션되는 표면의 실제 공간에서의 위치와, 촬영 카메라의 위치와, 조명의 위치를 고려하여 계산된다. 실제 및 가상 그림자는 도 7c에서 볼 수 있다.

기술된 시스템은 애니메이션이 촬영 카메라(9)의 관측 시야에 대하여 움직일 때 특히 흥미롭다. 일 실시예에서, 촬영 구성에서, 움직이지 않는 실제 공간의 고정 촬영이 이루어지고, 여기에서 애니메이션은 시간이 지남에 따라 형태가 변화되게 된다. 따라서, 애니메이션이 촬영 중에 적절하게 프레임되었는지를 확인할 수 있다. 다른 예는 영화를 편집하면서, 또는 여전히, 포착 중에 애니메이션의 프레임이 바람직한지를 확인하면서, 실제 공간(1) 내에서 촬영 카메라(9)를 촬영하는 것으로 구성된다.

도 2로 돌아가서, 시스템은 촬영 카메라(9)의 렌즈(10)의 초점 길이의 변화를 고려하는 수단을 포함할 수 있다.

위의 예에서, 모든 작업은 고정된 초점 거리를 구현하는 것을 고려할 수 있다.

물론, 촬영하는 동안 초점 길이가 변경되면, 도 6b와 도 7b의 실제 이미지(35, 35')가 다른 확대 레벨로 나타날 수 있다. 따라서, 도 2에 도시된 바와 같이, 카메라(9)의 줌(42)을 위하여 확대 링(42)의 회전 각도를 검출할 수 있는 인코더(43)를 포함할 수 있고, 컴퓨터화된 핀포인팅 모듈(17)은 인코더(43)에 의해 전송된 데이터에 의해 결정된 확대 레벨을 고려할 수 있다. 이것은, 예를 들어, 촬영 카메라(9)의 렌즈(10)의 상이한 복수의 배율에 대해, 도 5의 로케이션 단계를 반복함으로써 수행될 수 있다.

상술한 실시예에서, 가상 물체(31)는 촬영 카메라(9)의 시야각으로부터 직접 볼 수 있도록 하기 위해 실제 참조 시스템(2)에서 직접 표현된다. 일 실시예에 따르면, 삼차원 모델을 생성하기 위한 모듈은 애니메이션 모듈(28)과 결합할 수 있다. 따라서, 애니메이션 모듈(28)로부터 합성 모듈(32)에 애니메이션을 내보내기 위해 도 2와 관련하여 설명되는 링크(33)는 실제 공간의 구성된 삼차원 모델(21)을 애니메이션 모듈(28)로 전송하기 위하여, 다른 방향에서 사용될 수 있다. 따라서, 애니메이션 데이터베이스 및 삼차원 모델(21)로부터 얻어진 가상 물체(31)는, 도 8에 도시된 바와 같이, 컴퓨터 애니메이션 모듈(28)의 스크린(44)에 중첩할 수 있다. 이 중첩은 가상 U, V, W 및 실제 X, Y, Z 참조 시스템 사이에서 변환 매트릭스를 형성할 수 있게 하며, 참조 시스템에서는 가상 물체(31)와 삼차원 모델(21)이 각각 표현된다. 이것은 또한 촬영 중에 애니메이션을 형성하거나 재형성할 수 있게 한다. 상기 애니메이션 모듈(28)은 따라서 스크린(44) 상에서 아이콘(45)에 의해 나타난 한 세트의 도구를 포함하고, 애니메이션을 미리 형성할 수 있게 하는 애플리케이션을 포함한다. 이것은 실제 공간에서 직접 촬영을 준비하기 위해 애니메이션을 생성하기 위한 학습 단계 중에 생성된 삼차원 점을 갖기에 충분하다. 예를 들어, 도 8에 있는 넓은 화살표들은 가상 공간 U, V, W에서 가상 물체(31)를 이동시키거나 크기를 조정하는 명령을 나타낸다. 참조 부호 31로 표시된 시작 물체와 참조 부호 46으로 표시된 종료 물체 사이에서는 시간이 지남에 따른 가상 물체의 변형을 정의할 수 있다. 시간이 지남에 따른 가상 물체의 이들 두 개의 표현 사이에서 변형이 형성될 수 있다. 여기에서 기술된 이러한 시스템은 단지 이해를 돕기 위하여 아주 간략하게 되어 있다.

여기에서 기술된 시스템은, 학습 구성에서의 시스템에 의해 획득된 후, 실제 공간에서 촬영될 때, 직접 애니메이션을 수정할 수 있도록 하며, 이것은 실제 세계와 가상 세계 사이에서 향상된 상호 작용을 제공한다.

도 9에서 매우 개략적으로 표현되는 바와 같이, 일 실시예에서, 촬영 시스템은 다음과 같이 사용될 수 있다.

제1 단계(101)에서, 시스템은 촬영 카메라(9)의 임의의 광학적 일탈을 결정하기 위해 광학적 교정 구성에 사용된다. 이 예비 단계는, 예를 들어 교정 패턴을 사용하여 수행되고, 수집된 정보는 동시에 촬영 카메라(9)의 포착을 교정하기 위해 컴퓨터 시스템(12)에 의해 사용될 수 있다.

그리고 단계(102) 중에, 시스템은 학습 구성에서 사용되며, 여기에서 학습 센서는 실제 공간의 삼차원 모델을 생성하는 실제 공간 내에서 움직인다. 상기 삼차원 모델은 또한 크기가 정해진다.

다음에, 단계(103) 중에, 위치 설정 구성에서, 촬영 카메라(9)와 핀포인팅 센서(16)의 상대적인 위치가 결정된다.

그런 다음, 단계(104) 중에, 애니메이션은 가상 애니메이션의 데이터베이스로부터 제공된다. 이 애니메이션은 촬영되는 실제 공간과 협력하도록 의도된다.

단계(105)에서, 촬영 구성 시스템이 사용되며, 촬영 카메라(9)에서 얻어진 실제 이미지와, 동일한 시간 프레임에서 발생한 프로젝션의 합성 이미지는 실제 참조 시스템의 촬영 카메라(9)의 로케이션 데이터에 기초하여, 촬영 로케이션에서 모니터링 스크린상에 디스플레이된다.

결정 단계(106)에서, 감독이 생성된 합성 이미지에 기초하여 만족스러운 것으로 간주하는 경우에(화살표 Y), 그는 비디오 영상(단계 107) 촬영을 중지한다.

결정 단계(106)에서 촬영이 만족하지 않은 경우에(화살표 N), 그는 모든 배우와 카메라 오퍼레이터를 활용하여 다시 영상을 촬영(단계 105로 돌아감)하여 장점을 취할 수 있다. 필요하다면, 애니메이션은 도 8과 관련하여 기술된 바와 같이, 이 단계에서 변경될 수 있다.

상기에 기술된 컴퓨터화된 시스템은 하나 또는 복수의 프로그램가능한 장치에 의해 구현될 수 있고, 이 장치는 네트워크를 통해 서로 통신할 수 있어, 원격 애니메이션 데이터베이스(29)로부터 애니메이션을 가져올 수 있게 한다.

키보드, 모니터, 마우스, CPU, 케이블 등과 같은 컴퓨터 부품은 종래의 공지의 형태가 될 수 있다. 특히, 애니메이션 데이터베이스로부터의 애니메이션은 최종 비디오 영상에 존재하게 되는 애니메이션의 단순화된 애니메이션에 대응할 수 있다. 몇 주 후, 포스트 프로덕션의 단계에서, 최종 애니메이션은 촬영 중에 사용된 초기 애니메이션과 촬영된 영상으로부터 만들어진다. 이 단순화된 애니메이션은 최종 애니메이션보다 작은 데이터 부피(예를 들어, 적어도 두 배 작은 부피)를 포함한다.

실제 공간에서 가상 물체의 이미지의 투사된 그림자를 생성하기 위한 도 6a 내지 도 6c와 관련하여 설명된 것과 동일한 방식으로, 삼차원 모델, 특히 부피는, 실제 공간 내의 물체 및 서로 감싸는 가상 물체를 관리하는데 사용될 수 있다. 이것이 촬영 카메라의 시야각에서 감지되면, 가상 물체는 삼차원 모델에 형성된 바와 같이 실제 공간에서의 불투명한 물체 뒤에 위치되고, 컴퓨터화된 추출된 모듈은 그 시간 프레임에 대한 합성 이미지로부터의 가상 물체의 숨겨진 일부를 제거하는 데 사용될 수 있다. 이것은 가상 물체, 그리고 삼차원 모델에 형성된 바와 같이, 불투명한 물체의 촬영 카메라의 실제 공간에서 위치된 것을 사용하여 가능하다. 이 방식은, 오퍼레이터 또는 감독이 그의 모니터링 스크린(15, 15')을 본다면, 그가 원치 않는 가상 물체(31)는 보이지 않도록 하기 위해, 그는 즉시 촬영 카메라의 위치를 조정할 수 있다.

위의 예에서, 도 2에는 센서(16)와 촬영 카메라(9)를 갖는 것으로 설명되어 있고, 이들은 상대적으로 평행하게 밀착하고 있는 시야 및/또는 취득 축과 겹쳐진다. 그러나, 이것은 필수적이 아니고, 변형 예로서, 센서(16)(또한 감시 카메라로 알려진)는, 예를 들면 촬영 카메라(9)의 광 축이 대체로 수평이면서, 실제 공간의 천장이나 바닥을 촬영할 수 있다.

도 10에 도시된 바와 같은 일 실시예에 따르면, 핀포인팅 시스템은 제2 센서(16')를 포함하며, 이 제2 센서(16')는, 예를 들면, 위치, 방향, 시야 입체각, 포착 주파수, 광축, 시야 중에서 선택된, 제1 센서(16)와는 다른 적어도 하나의 특성을 갖는다. 예를 들어, 제2 센서(16')는 천장 쪽을 향하게 할 수 있고, 제3 센서(16'')는 측면을 향하게 할 수 있다. 각 센서(16, 16', 16'')는 컴퓨터화된 핀포인팅 모듈을 감지하는 자연적인 지형 정보를 보낸다. 상기 컴퓨터화된 핀포인팅 모듈(17)은 이들 센서(16, 16', 16'')들로부터의 로케이션 데이터와, 자연적인 지형 정보와 실제 공간의 예정된 삼차원 모델(21)에 기초하여 실제 참조 시스템에서 촬영 카메라(9)의 로케이션 데이터를 결정한다.

위에서 설명한 다른 단계 및 프로세스는 기술된 일반적인 프로세스에서 그들의 사용을 넘는 혁신적인 것이며, 출원인은 임의의 적절한 방식으로 그들을 보호할 수 있는 권리를 보유한다.

Claims (16)

1. 실제 참조 시스템(real reference system) 내에 형성된 실제 공간에서 비디오 영상을 촬영하기 위한 시스템으로서,
   - 복수의 개별 시간 프레임에 대한 실제 이미지를 기록하기에 적합한 촬영 카메라(9)와,
   - 로케이션 핀포인팅(location pinpointing) 시스템으로서,
   ㆍ 적어도 하나의 센서(16)로서, 각각의 시간 프레임에 대하여 알려져 있는 촬영 카메라(9)에 대한 로케이션 데이터가 제공되며, 센서에 의해 검출되는 자연적인 지형 정보를 컴퓨터화된 핀포인팅 모듈로 전송하기에 적합한, 적어도 하나의 센서와,
   ㆍ 컴퓨터화된 핀포인팅 모듈(17)로서, 각 시간 프레임에 대하여, 센서의 로케이션 데이터와, 자연적인 지형 정보와 실제 공간의 예정된 삼차원 모델(21)의 비교에 기초하여, 실제 참조 시스템에서 촬영 카메라의 로케이션 데이터를 결정하는 데 적합한, 컴퓨터화된 핀포인팅 모듈을 포함하는, 로케이션 핀포인팅 시스템과,
   - 모니터링 스크린(15)과,
   - 모니터 스크린(15)상에 생성하기에 적합한 컴퓨터화된 합성 모듈(32)로서, 각 시간 프레임에 대하여, 실제 이미지와 가상 이미지의 프로젝션의 합성 화상이 가상의 애니메이션(29)의 데이터베이스로부터 취해지고, 상기 프로젝션은 실제 참조 시스템에서 촬영 카메라(9)의 로케이션 데이터에 따라 생성되는, 컴퓨터화된 합성 모듈을 포함하는, 비디오 영상을 촬영하기 위한 시스템.
2. 제1항에 있어서,
   상기 핀포인팅 시스템의 센서(16)는 다음의 특성,
   - 촬영 카메라의 시야 입체각(solid angle)보다 큰 시야 입체각,
   - 촬영 카메라의 포착 주파수보다 큰 포착 주파수,
   - 흑과 백의 포착,
   - 촬영 카메라의 부피보다 적어도 두 배 더 작은 부피,
   - 촬영 카메라(9)의 광축과 평행한 광축,
   - 촬영 카메라(9)의 관측 시야(field of view) 상에 중첩하는 관측 시야 중 적어도 하나를 갖는 광학 카메라인, 비디오 영상을 촬영하기 위한 시스템.
3. 제1항 또는 제2항에 있어서,
   상기 핀포인팅 시스템은 예정된 실제 공간의 삼차원 모델을 생성하기에 적합한 컴퓨터화된 생성 모듈(23)을 포함하고, 상기 센서(16)는 센서에 의해 검출된 지형 정보를 컴퓨터화된 생성 모듈에 송신하기에 적합한, 비디오 영상을 촬영하기 위한 시스템.
4. 제3항에 있어서,
   상기 센서(16)는 센서에 의해 검출된 자연적인 지형 정보를 컴퓨터화된 핀포인팅 모듈 및 컴퓨터화된 생성 모듈에 동시에 송신하기에 적합하고, 상기 컴퓨터화된 생성 모듈(23)은 센서에 의해 검출된 자연적인 지형 정보를 이용하여 예정된 실제 공간의 삼차원 모델을 강화(enriching)하기에 적합한, 비디오 영상을 촬영하기 위한 시스템.
5. 제1항 내지 제4항 중 어느 한 항에 있어서,
   상기 지형 정보는 점들, 선들, 면들, 및 부피들 중에서 선택된 실제 공간의 기하학적인 물체(objects)와 관련된 정보를 포함하는, 비디오 영상을 촬영하기 위한 시스템.
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   촬영 구성에서, 상기 촬영 카메라(9)와 상기 센서(16)는 서로 고정 부착되는, 비디오 영상을 촬영하기 위한 시스템.
7. 제1항 내지 제6항 중 어느 한 항에 있어서,
   위치 설정 시스템(positioning system)을 더 포함하고, 상기 위치 설정 시스템은 위치 설정 구성 내의 촬영 카메라 및 센서에 의해 동시 검출되기에 적합한 위치 설정 패턴(27)과, 상기 위치 설정 패턴의 그들의 동시 검출로부터 센서와 촬영 카메라의 각각의 로케이션 데이터를 결정하기에 적합한 컴퓨터 위치 설정 모듈(26)을 포함하는, 비디오 영상을 촬영하기 위한 시스템.
8. 제1항 내지 제7항 중 어느 한 항에 있어서,
   광학 교정 시스템을 더 포함하고, 상기 광학 교정 시스템은 광학 교정 구성에서 촬영 카메라에 의한 검출에 적합한 광학 교정 패턴을 포함하고, 컴퓨터화된 핀포인팅 모듈은 각 시간 프레임에 대하여, 상기 광학 교정 시스템에 의해 결정된 촬영 카메라의 광학 교정 데이터에 기초한 실제 시간 참조 시스템에서의 촬영 카메라(9)의 로케이션 데이터를 결정하기에 적합한, 비디오 영상을 촬영하기 위한 시스템.
9. 제1항 내지 제8항 중 어느 한 항에 있어서,
   - 촬영 카메라의 움직임을 결정하는 데 적합한, 촬영 카메라에 고정된 관성 센서(38)로서, 상기 컴퓨터화된 핀포인팅 모듈은 또한 상기 관성 센서에 의해 제공된 데이터에 기초한 실제 참조 시스템에서의 촬영 카메라의 로케이션을 결정하기에 적합한, 촬영 카메라에 고정된 관성 센서(38);
   -- 촬영 카메라에 의해 촬영될 수 있는 측정 리퍼런스(25)(measurement reference)로서, 상기 컴퓨터화된 합성 모듈은 촬영 카메라에 의해 캡처된 측정 참조의 이미지에 기초한 실제 공간의 스케일에 가상 이미지를 가져올 수 있는, 촬영 카메라에 의해 촬영될 수 있는 측정 리퍼런스(25);
   - 촬영 카메라를 위한 설정 배율 설정을 결정하기 위한 시스템(43)으로서, 상기 컴퓨터화된 합성 모듈은 상기 파라미터를 고려하여 합성 이미지를 생성하기에 적합한, 촬영 카메라를 위한 설정 배율 설정을 결정하기 위한 시스템(43) 중 적어도 하나를 더 포함하는, 비디오 영상을 촬영하기 위한 시스템.
10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    가상 애니메이션(29)의 데이터베이스를 포함하는 컴퓨터화된 애니메이션 모듈(28)을 더 포함하며, 각각의 애니메이션은 각각의 한 세트의 시간 프레임에 대하여, 가상 참조 시스템에 표현된 삼차원 이미지를 포함하며, 상기 컴퓨터화된 애니메이션 모듈은 상기 삼차원 이미지를 상기 합성 모듈(32)에 전달하기에 적합한, 비디오 영상을 촬영하기 위한 시스템.
11. 제10항에 있어서,
    상기 컴퓨터화된 핀포인팅 모듈은 예정된 실제 공간의 삼차원 모델(21)을 컴퓨터화된 애니메이션 모듈(28)에 전달하기에 적합한, 비디오 영상을 촬영하기 위한 시스템.
12. 제10항 또는 제11항에 있어서,
    상기 컴퓨터화된 합성 모듈은 각각의 시간 프레임에 대해, 모니터링 스크린상의 가상 이미지의 그림자(41)를 생성하기에 적합하며, 상기 그림자는 실제 참조 시스템 내의 촬영 카메라(9)의 로케이션 데이터와 실제 참조 시스템 내의 조명 로케이션 데이터에 따라 발생되는, 비디오 영상을 촬영하기 위한 시스템.
13. 제1항 내지 제12항 중 어느 한 항에 있어서,
    나중의 시간 프레임에 대하여, 상기 컴퓨터화된 핀포인팅 모듈(17)은 이전 시간 프레임에 대한 실제 참조 시스템 내의 촬영 카메라의 로케이션 데이터에 기초하여 실제 참조 시스템 내의 촬영 카메라(9)의 로케이션 데이터를 결정할 수 있는, 비디오 영상을 촬영하기 위한 시스템.
14. 제1항 내지 제13항 중 어느 한 항에 있어서,
    상기 컴퓨터화된 핀포인팅 모듈은, 기하학적 패턴들 중에서, 3D 공간에서 촬영 카메라의 위치를 위치시키는 데 사용할 수 있는 삼차원 모델의 기하학적 패턴을 선택하기에 적합한 선택 모듈을 포함하는, 비디오 영상을 촬영하기 위한 시스템.
15. 제14항에 있어서,
    상기 선택 모듈은 나중의 이미지의 기하학적인 패턴을 이전의 기하학적인 패턴과 비교하고, 두 개의 이미지 모두에 존재하는 기하학적인 패턴과 실제 공간에서 움직이지 않는 이미지를 결합하고, 삼차원 모델과 비교하기 위하여 다른 기하학적인 패턴들은 유지하지 않는, 비디오 영상을 촬영하기 위한 시스템.
16. 제1항 내지 제15항 중 어느 한 항에 있어서,
    상기 핀포인팅 시스템은 제1 센서(16)와 다르며, 위치, 방향, 시야 입체각, 포착 주파수, 광축 및 시야 중에서 선택된 적어도 하나의 특성을 갖는 제2 센서(16')를 더 포함하는, 비디오 영상을 촬영하기 위한 시스템.

Images