KR102474451B1 - 버추얼 프로덕션의 데이터 기록 방법, 장치, 시스템 및 프로그램 - Google Patents

Abstract

버추얼 프로덕션의 데이터 기록 방법, 장치, 시스템 및 프로그램에 관한 것이다. 본 발명의 일 실시예에 따른 장치는, 실사 영상인 제1 영상을 촬영하는 카메라의 움직임 및 렌즈 상태에 대한 트래킹 정보를 담은 제1 트래킹 데이터를 수신하는 통신부; 및 제1 트래킹 데이터를 이용하여, 가상 공간 내 가상 카메라의 움직임 및 렌즈 상태에 대한 트래킹 정보를 담은 제2 트래킹 데이터를 포함하는 기록 데이터를 저장하도록 제어하는 제어부;를 포함하며, 상기 제어부는 기록 데이터를 이용하여, 제2 트래킹 데이터에 기반하여 연동되는 가상 공간의 콘텐츠를 담은 제2 영상을 재생하도록 제어한다.

Description

버추얼 프로덕션의 데이터 기록 방법, 장치, 시스템 및 프로그램{APPARATUS, METHOD, SYSTEM AND PROGRAM FOR RECORDING DATA IN VIRTUAL PRODUCTION}

본 발명은 영상 촬영에서의 데이터 기록 및 재생 기술에 관한 것으로서, 더욱 상세하게는 버추얼 프로덕션(virtual production) 기반 영상 촬영에서의 트래킹 데이터 등을 기록하고 그 기록된 데이터를 이용하는 기술에 관한 것이다.

최근 코로나로 인해 국가 간 이동과 사람들의 모임이 제한되면서 가상 현실(virtual reality) 기반의 비대면 기술에 대한 관심이 커지고 있다. 이러한 추세에 따라, 방송, 영화, 공연 등의 영상 제작 분야에서도 버추얼 프로덕션(virtual production) 기술을 도입하는 시도들이 늘고 있다.

이때, 버추얼 프로덕션은 게임 엔진 등에 의해 생성되는 가상 공간의 콘텐츠인 실시간 렌더링 CG(computer graphics) 기술과, 카메라의 움직임 및 렌즈 상태를 반영하는 카메라 트래킹(camera tracking) 기술을 기반으로 한 즉각적인 시각화와 영상 합성이 가능한 영상 촬영 기술이다. 가령, 버추얼 프로덕션은 영상 촬영 현장에서 카메라 움직임 및 렌즈 상태가 반영된 CG를 다양한 형태로 시각화하여 실시간으로 카메라의 실사 영상과 합성하는 개념으로 사용될 수 있다.

이러한 버추얼 프로덕션은 주로 실내에서 이루어져 촬영 공간, 시간, 날씨 등의 제약을 줄일 수 있고, 복합적인 요소들이 동시적으로 촬영될 수 있어 영상 제작의 후반 작업(post production)의 시간을 줄일 수 있으므로, 영상 제작의 생산성 향상을 도모할 수 있다.

한편, 버추얼 프로덕션의 후반 작업에서는 실시간 그래픽 CG의 보정이 이루어지며 이에 따라 촬영 당시의 트래킹 데이터 등에 따른 실시간 그래픽 CG의 상태를 그대로 재생해야 하는 상황이 자주 발생한다. 이때, 촬영 당시의 카메라의 움직임 및 렌즈 상태를 반영한 트래킹 데이터(이하, "제1 트래킹 데이터"라고 지칭함)는 광학 촬영을 수행하는 실제 카메라에 설치되는 트래킹 장치를 통해 획득될 수 있다.

하지만, 촬영 당시에 제1 트래킹 데이터에 연동하여 실시간 렌더링 CG를 생성하도록 게임 엔진 등의 가상 공간 내에 위치하는 가상 카메라의 움직임 및 렌즈 상태를 반영한 트래킹 데이터(이하, "제2 트래킹 데이터"라고 지치함)는 제1 트래킹 데이터와 전혀 다른 종류의 데이터이다.

특히, 제2 트래킹 데이터의 경우, 가상 카메라가 가상 공간 내의 기준 위치에 대해 상대적으로 위치하는 가상 카메라의 움직임 및 렌즈 상태를 반영한 데이터에 해당하며, 이러한 가상 공간 내에서의 가상 카메라의 기준 위치는 촬영 당시에 감독 등의 요청에 따라 임의적으로 촬영 중에 가상 공간 내의 다양한 위치로 변경될 수 있다.

즉, 후반 작업 단계의 보정 시에는 촬영 당시의 실시간 그래픽 CG의 상태를 그대로 재생하기 위해 제2 트래킹 데이터가 실질적으로 필요하다. 하지만, 종래의 경우, 촬영 당시에 제1 트래킹 데이터만을 단순히 기록하는 경우가 일반적이므로, 후반 작업 단계의 보정이 사실상 불가능하거나, 후반 작업 단계 시에 제1 트래킹 데이터로부터 제2 트래킹 데이터를 도출하기 위해 촬영 당시와 동일한 조건의 촬영 장비를 준비해야 하는 시간 및 비용적인 문제가 발생한다(이하, "제1 문제점"이라 지칭함).

한편, 버추얼 프로덕션의 촬영 시에는 특점 시점에 실제 카메라에서 촬영되는 영상(이하, "제1 영상"이라 지칭함)과, 실제 카메라의 움직임 및 렌즈 상태에 대한 제1 트래킹 데이터에 연동하여 생성되는 실시간 렌더링 CG(이하, "제2 영상")의 제2 트래킹 데이터와, 제1 및 제2 영상을 실시간으로 합성한 결과 영상(이하, "합성 영상"이라 지칭함)을 각각 기록 저장해야 한다. 이때, 후반 작업 단계 중에 합성 영상에서 제2 영상의 특정 부분(이하, "오류 부분"이라 지칭함)에 대한 보정이 필요할 경우, 해당 오류 부분에 대한 가상 공간의 콘텐츠를 보정한 후 보정된 가상 공간의 콘텐츠를 해당 특정 시점의 제2 트래킹 데이터를 기반으로 재생하여 제1 영상에 합성해야 한다.

하지만, 종래의 경우, 제2 트래킹 데이터를 기록하기 어려움에 따라 제1 문제점만 뿐 아니라, 제2 트래킹 데이터를 기록한다고 하더라도 기록된 다수의 제2 트래킹 데이터 중에서 해당 특정 시점의 제2 트래킹 데이터가 어느 것인지에 대한 분별이 불가능한 문제점이 있다(이하, "제2 문제점"이라 지칭함).

다만, 상술한 내용은 단순히 본 발명에 대한 배경 정보를 제공할 뿐 기 공개된 기술에 해당하는 것은 아니다.

상기한 바와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 버추얼 프로덕션 촬영 시에 제2 트래킹 데이터를 기록할 수 있는 기술을 제공하는데 그 목적이 있다.

또한, 본 발명은 버추얼 프로덕션 촬영 시에 기록된 제2 트래킹 데이터를 기반으로 버추얼 프로덕션의 후반 작업 단계 중에 촬영 당시의 가상 카메라의 움직임 및 렌즈 상태를 반영한 제2 영상을 재생할 수 있는 기술을 제공하는데 그 다른 목적이 있다.

또한, 본 발명은 버추얼 프로덕션 촬영 시의 특정 시점의 제2 트래킹 데이터에 대한 분별이 가능한 데이터를 기록할 수 있는 기술을 제공하는데 그 다른 목적이 있다.

또한, 본 발명은 버추얼 프로덕션 촬영의 특정 시점에 기록된 제2 트래킹 데이터에 대한 분별 데이터를 기반으로 버추얼 프로덕션의 후반 작업 단계 중에 해당 특정 시점의 가상 카메라의 움직임 및 렌즈 상태를 반영한 제2 영상을 재생할 수 있는 기술을 제공하는데 그 다른 목적이 있다.

다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제에 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따른 장치는, 실사 영상인 제1 영상을 촬영하는 카메라의 움직임 및 렌즈 상태에 대한 트래킹 정보를 담은 제1 트래킹 데이터를 수신하는 통신부; 및 제1 트래킹 데이터를 이용하여, 가상 공간 내 가상 카메라의 움직임 및 렌즈 상태에 대한 트래킹 정보를 담은 제2 트래킹 데이터를 포함하는 기록 데이터를 저장하도록 제어하는 제어부;를 포함한다.

상기 제어부는 기록 데이터를 이용하여, 제2 트래킹 데이터에 기반하여 연동되는 가상 공간의 콘텐츠를 담은 제2 영상을 재생하도록 제어할 수 있다.

상기 제2 트래킹 데이터는 가상 카메라가 가상 공간 내의 기준 위치에서 제1 트래킹 데이터에 연동된 가상 카메라의 움직임 및 렌즈 상태에 대한 데이터에 해당할 수 있다.

상기 기준 위치는 촬영 중에 가상 공간 내의 다양한 위치로 변경될 수 있다.

상기 가상 카메라의 움직임은 가상 카메라의 위치 및 각도에 대한 정보를 포함할 수 있다.

상기 가상 카메라의 렌즈 상태는 가상 카메라의 렌즈의 화각 및 포커스에 대한 정보를 포함할 수 있다.

상기 제어부는 가상 공간의 콘텐츠에 대한 타임라인 위치 및 이벤트 발생의 상태 데이터를 기록 데이터로 함께 저장할 수 있다.

상기 가상 공간의 콘텐츠는 타임라인의 위치에 따라 변화되는 콘텐츠를 포함할 수 있다.

상기 이벤트 발생은 상기 가상 공간의 콘텐츠에서 특정 콘텐츠의 등장, 변경 또는 사라짐을 포함할 수 있다.

상기 타임라인 위치 및 이벤트 발생은 촬영 중에 다양한 상태로 설정될 수 있다.

상기 제어부는 촬영 시에 카메라가 생성하는 타임 코드에 대한 데이터와, 촬영이 진행된 절대 시간에 대한 데이터를 저장할 수 있다.

상기 제어부는 제1 영상의 각 프레임에 포함된 타임 코드를 이용하여, 상기 타임 코드에 대한 데이터를 저장하도록 제어할 수 있다.

상기 제어부는 상기 절대 시간에 대한 데이터를 상기 기록 데이터의 파일에 함께 저장하면서, 상기 타임 코드의 데이터를 상기 기록 데이터의 파일에 대한 메타 데이터에 저장할 수 있다.

상기 제어부는 수신된 제1 영상에 재생 중인 제2 영상을 합성하여, 해당 합성 영상을 다른 장치로 출력하도록 제어할 수 있다.

상기 다른 장치는 녹화 장치를 포함할 수 있다.

상기 제어부는 상기 제2 영상이 AR(augmented reality) 형태로 재생되도록 제어할 수 있다.

본 발명의 일 실시예에 따른 방법은 전자 장치에 의해 수행되는 방법으로서, 실사 영상인 제1 영상을 촬영하는 카메라의 움직임 및 렌즈 상태에 대한 트래킹 정보를 담은 제1 트래킹 데이터를 수신하는 단계; 및 제1 트래킹 데이터를 이용하여, 가상 공간 내 가상 카메라의 움직임 및 렌즈 상태에 대한 트래킹 정보를 담은 제2 트래킹 데이터를 포함하는 기록 데이터를 저장하면서, 제2 트래킹 데이터에 기반하여 연동되는 가상 공간의 콘텐츠를 담은 제2 영상을 재생하는 단계;를 포함한다.

본 발명의 다른 일 실시예에 따른 장치는, 가상 공간 내 가상 카메라의 움직임 및 렌즈 상태에 대한 트래킹 정보를 담은 제2 트래킹 데이터를 포함하는 기록 데이터의 다수 파일을 저장한 메모리; 및 촬영 당시의 특정 시점에 대한 기록 데이터를 포함하는 적어도 하나의 파일을 사용자의 입력에 따라 선택하도록 제어하는 제어부;를 포함한다.

상기 제어부는 선택된 파일의 제2 트래킹 데이터를 이용하여, 해당 제2 트래킹 데이터에 기반하여 연동되는 특정 시점에 대한 가상 공간의 콘텐츠를 담은 제2 영상을 재생하도록 제어하며, 상기 제2 트래킹 데이터는 실사 영상인 제1 영상을 촬영하는 카메라의 움직임 및 렌즈 상태에 대한 트래킹 정보를 담은 제1 트래킹 데이터를 이용하여 생성된 것일 수 있다.

본 발명의 다른 일 실시예에 따른 방법은 전자 장치에 의해 수행되는 방법으로서, 가상 공간 내 가상 카메라의 움직임 및 렌즈 상태에 대한 트래킹 정보를 담은 제2 트래킹 데이터를 포함하는 기록 데이터의 다수 파일 중에, 촬영 당시의 특정 시점에 대한 기록 데이터를 포함하는 적어도 하나의 파일을 사용자의 입력에 따라 선택하는 단계; 및 선택된 파일의 제2 트래킹 데이터를 이용하여, 해당 제2 트래킹 데이터에 기반하여 연동되는 특정 시점에 대한 가상 공간의 콘텐츠를 담은 제2 영상을 재생하는 단계;를 포함한다.

본 발명의 일 실시예에 따른 시스템은, 실사 영상인 제1 영상을 촬영하는 카메라; 및 카메라의 움직임 및 렌즈 상태에 대한 트래킹 정보를 담은 제1 트래킹 데이터를 수신하는 재생 장치;를 포함한다.

상기 재생 장치는, 제1 트래킹 데이터를 이용하여, 가상 공간 내 가상 카메라의 움직임 및 렌즈 상태에 대한 트래킹 정보를 담은 제2 트래킹 데이터를 포함하는 기록 데이터를 저장하며, 기록 데이터를 이용하여, 제2 트래킹 데이터에 기반하여 연동되는 가상 공간의 콘텐츠를 담은 제2 영상을 재생할 수 있다.

상기와 같이 구성되는 본 발명은 버추얼 프로덕션 촬영 시에 제2 트래킹 데이터를 기록하거나 해당 기록 데이터를 활용함으로써, 버추얼 프로덕션의 후반 작업 단계 중에 촬영 당시의 가상 카메라의 움직임 및 렌즈 상태를 반영한 제2 영상을 저비용으로 신속하게 재생할 수 있게 하는 이점이 있다.

또한, 본 발명은 버추얼 프로덕션 촬영 시의 특정 시점의 제2 트래킹 데이터에 대한 분별이 가능한 데이터를 기록하거나 해당 기록 데이터를 활용함으로써, 버추얼 프로덕션의 후반 작업 단계 중에 해당 특정 시점의 가상 카메라의 움직임 및 렌즈 상태를 반영한 제2 영상을 손쉽게 찾아 재생할 수 있게 하는 이점이 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 시스템(10)의 대략적인 블록 구성도를 나타낸다.
도 2는 본 발명의 일 실시예에 따른 시스템(10)을 이용한 버추얼 프로덕션 촬영의 개념도를 나타낸다.
도 3 및 도 4는 도 2에 따른 촬영 중에 카메라(100)의 이동에 따라 연동되는 가상 카메라(VC)의 이동에 대한 예들을 나타낸다.
도 5는 재생 장치(300)에서 기록되는 데이터에 대한 일 예를 나타낸다.
도 6은 재생 장치(300)의 블록 구성도를 나타낸다.
도 7은 본 발명의 일 실시예에 따른 제1 제어 방법의 동작 순서도를 나타낸다.
도 8은 본 발명의 일 실시예에 따른 제2 제어 방법의 동작 순서도를 나타낸다.

본 발명의 상기 목적과 수단 및 그에 따른 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 경우에 따라 복수형도 포함한다. 본 명세서에서, "포함하다", "구비하다", "마련하다" 또는 "가지다" 등의 용어는 언급된 구성요소 외의 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

본 명세서에서, "또는", "적어도 하나" 등의 용어는 함께 나열된 단어들 중 하나를 나타내거나, 또는 둘 이상의 조합을 나타낼 수 있다. 예를 들어, "A 또는 B","A 및 B 중 적어도 하나"는 A 또는 B 중 하나만을 포함할 수 있고, A와 B를 모두 포함할 수도 있다.

본 명세서에서, "예를 들어" 등에 따르는 설명은 인용된 특성, 변수, 또는 값과 같이 제시한 정보들이 정확하게 일치하지 않을 수 있고, 허용 오차, 측정 오차, 측정 정확도의 한계와 통상적으로 알려진 기타 요인을 비롯한 변형과 같은 효과로 본 발명의 다양한 실시 예에 따른 발명의 실시 형태를 한정하지 않아야 할 것이다.

본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 기재된 경우, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성 요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.

본 명세서에서, 어떤 구성요소가 다른 구성요소의 '상에' 있다거나 '접하여' 있다고 기재된 경우, 다른 구성요소에 상에 직접 맞닿아 있거나 또는 연결되어 있을 수 있지만, 중간에 또 다른 구성요소가 존재할 수 있다고 이해되어야 할 것이다. 반면, 어떤 구성요소가 다른 구성요소의 '바로 위에' 있다거나 '직접 접하여' 있다고 기재된 경우에는, 중간에 또 다른 구성요소가 존재하지 않은 것으로 이해될 수 있다. 구성요소 간의 관계를 설명하는 다른 표현들, 예를 들면, '～사이에'와 '직접 ～사이에' 등도 마찬가지로 해석될 수 있다.

본 명세서에서, '제1', '제2' 등의 용어는 다양한 구성요소를 설명하는데 사용될 수 있지만, 해당 구성요소는 위 용어에 의해 한정되어서는 안 된다. 또한, 위 용어는 각 구성요소의 순서를 한정하기 위한 것으로 해석되어서는 안되며, 하나의 구성요소와 다른 구성요소를 구별하는 목적으로 사용될 수 있다. 예를 들어, '제1구성요소'는 '제2구성요소'로 명명될 수 있고, 유사하게 '제2구성요소'도 '제1구성요소'로 명명될 수 있다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일 실시예를 상세히 설명하도록 한다.

먼저, 본 발명을 이해하기 위해 2가지 다른 관점으로 버추얼 프로덕션 기술을 살펴본다.

1. 영상 제작 단계 관점

일반적으로 게임 엔진이라 불리는 실시간 그래픽 렌더링 기술은 최근 실사 수준의 품질을 보일 만큼 진화를 거듭하고 있다. 이러한 즉각적이고 고품질의 시각화 기술은 사전 기획(Pre) - 제작(Production) - 후반 작업(Post)으로 구분되는 영상 제작 파이프라인의 여러 지점에 각기 다른 용도로 활용될 수 있다.

먼저, 사전 기획 단계에서는 스토리에 대한 시각화(Pre Vis)나 공간/장비에 대한 시뮬레이션(Tech Vis)에 게임 엔진을 적극적으로 사용할 수 있다. 즉, 계획 단계에서 콘텐츠의 전개뿐만 아니라 공간, 카메라의 움직임, 컷 편집 등을 미리 구현해보고 각종 이슈들을(세트 크기, 동선, 렌즈 화각 등) 사전에 점검하는 것이다. 특히, 최근에는 영화를 중심으로 VR Scouting 기법을 통해 가상 환경 안에서 구성 요소를 편집하거나 가상 카메라를 들고 촬영 시뮬레이션을 하는 등 가상 현실 기술의 활용 범위가 늘어나고 있다.

다음으로, 제작 단계에서는 후반(Post)에서 이루어지던 CG(computer graphics) 합성을 촬영과 동시에 진행하여 라이브로 송출하거나 후반 합성 부담을 줄이는 형태로 버추얼 프로덕션 기술이 사용된다. 이를 위해, 카메라의 움직임을 파악하는 트래킹 장치와 함께 실사 영상과 CG를 실시간으로 합성해 주는 XR 솔루션이 사용된다.

마지막으로, 후반 작업 단계에서는 촬영 중 생성된 트래킹 데이터 등의 상태 데이터를 활용할 수 있다. 이를 이용하여 촬영이 끝난 이후라도 추가적인 이팩트나 CG 요소를 생성할 수 있고 문제가 있거나 수정이 필요한 장면을 더 빠르게 보정할 수 있다.

2. CG 합성 방식 관점

버추얼 프로덕션 기술 중 핵심은 실제 공간과 가상 공간을 동기화하여 이질감 없이 실시간으로 CG와 실사 영상을 합성하거나 LED에 표출하는 시각화 기능이다. 따라서, CG가 합성되는 유형에 따라 VR(virtual reality), AR(augmented reality), XR(extended reality)이라는 용어가 사용되기도 한다.

먼저, VR은 크로마키(chroma key) 스튜디오를 기반으로 하는 실시간 공간 합성을 의미한다. 가령, 어떤 인물과 가상 공간을 동시에 3인칭으로 보여주기 위해, VR 방식의 버추얼 프로덕션 기술이 사용될 수 있다. 즉, 실시간 트래킹이 되는 카메라를 통해 마치 가상 현실 안에서 직접 촬영하는 것과 같은 효과를 얻을 수 있다. 이와 같은 연출이 가능한 이유는 가상 공간이 합성된 영상이 실시간으로 생성되어 카메라 감독과 연출자에게 제공되어 즉각적인 판단과 대응이 가능하기 때문이다.

AR의 경우, VR과 반대로 실사 영상 위에 특정 그래픽을 더하는 방식을 의미하며, 최근에는 방송, 공연, 제품 론칭쇼 등의 이벤트에 많이 활용되고 있다. 특히, Realtime Ray Tracing이나 DLSS와 같은 렌더링 기술의 발전으로 인해 게임 엔진의 CG 품질이 점차 실사에 근접해짐에 따라 물리적으로 구현하기 어려운 장면이나 비용이 많이 들어가는 연출 등을 AR 그래픽으로 표현하려는 시도들이 늘어나고 있다. 가령, 실제 무대 공간에 자동차 1대만 있는 영상에 AR 요소들을 추가하여 새로운 자동차가 바닥에서 나오거나 새로운 건물이 생성되는 등의 특수한 연출이 가능하다.

XR의 경우, 2020년부터 비대면 이벤트를 중심으로 본격적으로 사용되고 있다. AR이나 VR과 달리, XR은 원경과 근경을 모두 CG로 합성하여 완전히 가상 공간 안에 있는 것과 같은 표현이 가능하다. 이를 위해, LED 벽체를 배경에 배치하여 원경 장면을 출력하고, 피촬영자의 앞에 AR 그래픽을 더하여 공간감을 표현하며, LED 벽체의 물리적 경계 밖을 CG로 확장하여 마치 무한대의 공간에 있는 것과 같은 표현도 가능하다.

도 1은 본 발명의 일 실시예에 따른 시스템(10)의 대략적인 블록 구성도를 나타내며, 도 2는 본 발명의 일 실시예에 따른 시스템(10)을 이용한 버추얼 프로덕션 촬영의 개념도를 나타낸다.

본 발명의 일 실시예에 따른 시스템(10)(이하, "본 시스템"이라 지칭함)은 상술한 버추얼 프로덕션에서 활용되는 시스템으로서, 도 1에 도시된 바와 같이, 카메라(camera)(100), 트래킹 장치(200) 및 재생 장치(300)를 포함할 수 있다. 또한, 본 시스템(10)은 제1 및 제2 녹화 장치(400)를 더 포함할 수 있다.

이때, 카메라(100)는 실제 공간(물리 공간)에 존재하는 대상물(A)에 대한 광학 작용에 의해 실사 영상인 제1 영상을 촬영한다. 필요에 따라 카메라(100)는 복수 개가 마련될 수 있다. 일례로, 제1 영상은 시간에 따라 다양한 이미지가 변화되는 비디오일 수 있다. 이와 같이 카메라(100)에서 촬영된 실사 영상인 제1 영상은 제1 녹화 장치(400)로 전달되어 녹화될 수 있다.

트래킹 장치(200)는 카메라(100)에 설치(연결)된 장치로서, 카메라(100)의 움직임 및 렌즈 상태를 트래킹(tracking)하여 해당 트래킹에 대한 데이터인 제1 트래킹 데이터를 생성한다. 이때, 제1 트래킹 데이터에 포함된 카메라(100)의 움직임에 대한 데이터는 카메라(100)의 위치 및 각도 등에 관련된 데이터를 포함한다. 또한, 제1 트래킹 데이터에 포함된 렌즈 상태에 대한 데이터는 카메라(100)의 렌즈의 줌(zoom) 및 포커스(focus) 등에 관련된 데이터를 포함한다.

일례로, 트래킹 장치(200)는 실시간 비전 센싱을 기반으로 하는 광학식 방식이거나, 기계의 회전 값을 조합해 계산하는 인코더 방식 등으로 구현될 수 있다. 이러한 트래킹 장치(200)는 제조사 고유의 전송 프로토콜을 가지는 동시에 FreeD라는 UDP 방식의 공용 프로토콜로 카메라(100)의 위치, 각도 및 렌즈 상태(줌 및 포커스)에 대한 데이터를 포함하는 제1 트래킹 데이터를 전달한다.

즉, 도 2를 참조하면, 카메라(100)를 통해 실사 영상인 제1 영상(V1)이 촬영되는데, 이때 트래킹 장치(200)가 카메라(100)의 움직임 및 렌즈 상태에 대한 제1 트래킹 데이터를 생성하며, 생성된 제1 트래킹 데이터는 재생 장치(300)로 전달된다. 물론, 트래킹 장치(200)와 재생 장치(300)의 사이에 제1 트래킹 데이터를 트래킹 장치(200)로부터 수신하여 재생 장치(300)로 전달하는 서버(미도시)가 포함될 수 있다. 이후, 재생 장치(300)에서는 전달받은 제1 트래킹 데이터에 기반하여 연동되는 가상 공간의 콘텐츠(B)를 담은 제2 영상(V2)을 재생한다.

이때, 가상 공간의 콘텐츠(B)는 게임 엔진 등에 의해 생성되는 실시간 렌더링 CG(computer graphics)로서, 카메라(100)의 움직임 및 렌즈 상태를 트래킹하는 제1 트래킹 데이터에 연동되어 변화될 수 있는 콘텐츠에 해당한다. 일례로, 가상 공간의 콘텐츠는 VR 또는 XR을 위한 CG일 수 있으며, 언리얼 엔진(unreal engine)에 의해 제작된 미디어일 수 있으나, 이에 한정되는 것은 아니다.

즉, 가상 공간의 콘텐츠(B)는 상술한 사전 기획 단계에서 미리 마련된 CG 콘텐츠로서, 3차원 가상 콘텐츠가 있는 가상 공간에서 가상 카메라(VC)가 3차원 가상 콘텐츠 중에서 촬영(획득)한 부분에 해당한다. 이때, 재생 장치(300)는 가상 공간 내 기준 위치에서 가상 카메라(VC)가 제1 트래킹 데이터에 연동하여 움직임 및 렌즈 상태가 변경되면서 해당 가상 공간의 콘텐츠(B)를 촬영하도록 함으로써, 제2 영상(V2)을 생성하여 재생할 수 있다.

보다 상세하게는, 재생 장치(300)는 후술할 제2 트래킹 데이터를 제1 트래킹 데이터에 기반하여 생성하며, 해당 제2 트래킹 데이터에 기반하여 연동되는 가상 공간의 콘텐츠(B)를 담은 제2 영상(V2)을 생성하여 재생할 수 있다. 일례로, 제2 영상(V2)은 증강현실(augmented reality; AR) 형태로 재생될 수 있으며, 시간에 따라 다양한 이미지가 변화되는 비디오일 수 있다.

도 3 및 도 4는 도 2에 따른 촬영 중에 카메라(100)의 이동에 따라 연동되는 가상 카메라(VC)의 이동에 대한 예들을 나타낸다. 다만, 도 4는 도 3에서 기준 위치(R)가 변경된 경우를 나타낸다.

즉, 재생 장치(300)에서 재생되는 제2 영상(V2)은 카메라(100)의 움직임 및 렌즈 상태를 반영한 가상 공간의 콘텐츠를 담고 있다. 일례로, 도 3 및 도 4에 도시된 바와 같이, 카메라(100)가 제1 위치에서 제2 위치로 이동하는 경우, 기준 지점(R)을 기준으로 해당 위치 변경을 반영하여 가상 카메라(VC)도 위치가 변경되면서 가상 공간의 콘텐츠(B)가 촬영되어 제2 영상(V2)에 포함될 수 있다.

한편, 재생 장치(300)는 컴퓨팅(computing)이 가능한 전자 장치로서, 실시간 렌더링 CG(computer graphics)를 위한 정보를 저장하고 있으며, 제1 트래킹 데이터에 연동한 제2 영상을 생성하여 재생한다. 일례로, 재생 장치(300)는 제2 영상이 AR 형태로 재생되게 하는 플레이어(player)일 수 있다.

예를 들어, 재생 장치(300)는 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 태블릿 PC(tablet personal computer), 넷북 컴퓨터(netbook computer), 워크스테이션(workstation), 스마트폰(smart phone), 스마트패드(smart pad), 휴대폰(mobile phone) 또는 미디어 재생 장치 등일 수 있으나, 이에 한정되는 것은 아니다.

한편, 버추얼 프로덕션의 후반 작업에서는 실시간 그래픽 CG의 보정이 이루어지며 이에 따라 촬영 당시의 트래킹 데이터 등에 따른 실시간 그래픽 CG의 상태를 그대로 재생해야 하는 상황이 자주 발생한다. 하지만, 제1 트래킹 데이터만으로는 촬영 당시의 가상 공간의 콘텐츠를 담은 제2 영상을 그대로 재생하기 어려워 후반 작업 단계의 보정이 사실상 불가능하거나, 후반 작업 단계 시에 제1 트래킹 데이터로부터 제2 트래킹 데이터를 도출하기 위해 촬영 당시와 동일한 조건의 촬영 장비를 준비해야 하는 시간 및 비용적인 문제가 발생한다.

즉, 재생 장치(300)는 특정 시점에 생성된 FreeD 방식의 제1 트래킹 데이터를 트래킹 장치(200)로부터 전달 받아 그대로 기록할 수 있다. 하지만, 이러한 제1 트래킹 데이터만으로는 후반 작업 단계에서 다시 렌더링이 필요할 때 완벽하게 해당 시점의 조건을 재구성하기가 어렵다. 따라서, 제1 트래킹 데이터만을 기록하는 경우, 최악의 상황을 대비한 백업 데이터를 저장한다는 것에 의미가 있을 뿐, 해당 제1 트래킹 데이터는 후반 작업 단계에서 실제로 유용하게 사용되기는 어렵다. 그 이유는 다음과 같다.

(1) 제1 트래킹 데이터의 수치는 트래킹 장치(200)가 내보내는 Raw 데이터에 불과함

기본적으로 FreeD 프로토콜에는 카메라(100)의 위치 및 각도 외에도 렌즈의 줌 위치, 포커스 위치, 조리개 위치 등의 렌즈 상태에 대한 정보가 포함된다. 이때, 렌즈 상태를 나타내는 수치는 실제 렌즈의 화각, 포커스의 물리적 거리를 나타내는 것이 아닌, 렌즈에 부착된 인코더 장치가 출력하는 회전링의 위치 값을 의미한다. 따라서, 실제 촬영 시, 그러한 렌즈 데이터를 유의미한 정보(화각, 거리)로 변환하기 위해 데이터의 매핑 정보가 기록된 렌즈 파일을 사용하여 변환 후, 게임 엔진의 가상 카메라(VC)에 적용하는 과정을 거친다. 이때, 현장 촬영 시에는 렌즈 파일을 통한 수치 변환을 제공하는 상용 합성 프로그램(제로덴시티, 픽소톱)들을 사용하므로 FreeD 방식의 제1 트래킹 데이터를 문제없이 사용할 수 있지만, 후반 작업 단계에서 재렌더링이 필요한 경우, 해당 렌즈 파일이 없을뿐더러, 렌즈 파일이 있더라도 업체의 전용 포맷이므로 적용하는 것이 어렵다. 즉, FreeD 기반의 제1 트래킹 데이터를 기록한 파일이 있더라도 카메라(100)의 위치나 각도 등을 확인하는 정도로 도움은 되지만, 실질적으로 촬영 당시의 렌즈 상태나 가상 공간의 콘텐츠 상태까지는 포함되지 않으므로 효용성이 매우 떨어지게 된다.

(2) 제1 트래킹 데이터가 가진 카메라(100)의 움직임 및 렌즈 상태에 대한 데이터만으로는 해당 시점의 가상 공간의 콘텐츠를 그대로 재생하기 어려움

앞서 설명한 것처럼 FreeD 방식에 따라 전달되는 제1 트래킹 데이터에는 카메라 위치, 각도, 렌즈 줌, 렌즈 포커스 값 등이 트래킹 장치(200)가 제공하는 Raw 데이터 형태로 포함되어 있다. 이러한 데이터만을 가지고 다시 가상 공간의 CG 콘텐츠를 재생할 경우, 콘텐츠의 내용과 관계없이 가상 카메라(VC)가 기록된 제1 트래킹 데이터의 위치대로 실시간으로 움직이는 정도만을 재현할 수 있다. 즉, 해당 시점의 가상 공간의 콘텐츠 상태(타임라인의 위치, 발생한 이벤트)를 모른다면 실질적으로 동일한 연출로 콘텐츠를 다시 생성하는 것은 어렵다.

이러한 문제를 해결하기 위해, 본 발명에서는 재생 장치(300)가 촬영 당시에 가상 공간 내에서의 가상 카메라(VC)의 움직임 및 렌즈 상태에 대한 트래킹 데이터인 제2 트래킹 데이터를 기록 저장한다. 물론, 재생 장치(300)는 제1 트래킹 데이터도 제2 트래킹 데이터와 함께 기록 저장할 수 있다.

즉, 재생 장치(300)는 제2 영상에 대한 재생을 수행하면서, 재생되는 제2 영상에 대한 가상 카메라(VC)의 제2 트래킹 데이터를 트래킹 장치(200)로부터 전달되는 제1 트래킹 데이터를 이용하여 기록하여 저장한다.

이때, 제2 트래킹 데이터는 제1 트래킹 데이터에 연동하여 제2 영상을 촬영(획득)하도록 가상 공간 내에 위치하는 가상 카메라(VC)의 움직임 및 렌즈 상태를 반영한 트래킹 데이터이다. 다만, 제2 트래킹 데이터는 제1 트래킹 데이터에 연동되지만 제1 트래킹 데이터와 전혀 다른 종류의 데이터이다.

즉, 제2 트래킹 데이터에 포함된 가상 카메라(VC)의 움직임에 대한 데이터는 가상 카메라(VC)의 위치 및 각도 등에 관련된 데이터를 포함한다. 또한, 제2 트래킹 데이터에 포함된 렌즈 상태에 대한 데이터는 가상 카메라(VC)의 렌즈의 화각(aperture) 및 포커스(focus) 등에 관련된 데이터를 포함한다.

특히, 제2 트래킹 데이터는, 도 3 및 도 4에 도시된 바와 같이, 가상 카메라(VC)가 가상 공간 내의 기준 위치(R)에서 제1 트래킹 데이터에 연동된 가상 카메라(VC)의 움직임 및 렌즈 상태에 대한 데이터에 해당한다. 이러한 가상 공간 내에서의 가상 카메라(VC)의 기준 위치(R)는 촬영 중에 계속 고정되어 있지 않고, 촬영 시에 장면에 따라 감독 등의 요청에 따라 임의적으로 변경될 수 있다.

이때, 제2 트래킹 데이터는 변경된 기준 위치(R)를 반영한 가상 공간 내에서의 가상 카메라(VC)의 트래킹 데이터에 해당하므로, 후반 작업 단계에서 제2 트래킹 데이터를 이용하면, 이러한 가상 카메라(VC)의 기준 위치(R)에 대한 임의적 변경이 반영된 제2 영상을 재현할 수 있다.

이러한 제2 트래킹 데이터를 활용해야 하는 보다 구체적인 이유는 다음과 같다.

<FreeD 방식에 따른 제1 트래킹 데이터의 Raw 정보가 아닌 최종 해석된 정보를 실시간 기록해야 하기 때문>

실제 촬영 시 FreeD 방식에 따른 제1 트래킹 데이터가 가진 Raw 정보는 최종적으로 가상 공간의 콘텐츠를 렌더링을 위해 사용되는 정보가 아니다. 즉, 재생 장치(300)는 FreeD 방식으로 전달된 제1 트래킹 데이터에 담긴 정보들을 해석하거나 보정하여 도출된 값을 게임 엔진 등으로 보내야만 가상 공간의 콘텐츠를 렌더링을 할 수 있다.

즉, 제1 트래킹 데이터에서 카메라(100)의 움직임(위치 및 각도)에 관련 데이터는 트래킹 장치(200) 고유의 중심점을 기준으로 한 값이기 때문에 재생 장치(300)에서는 원하는 만큼 보정치를 설정하여 가상 공간에서의 가상 카메라(VC)의 위치를 잡게 된다. 따라서, 최종적으로는 보정치가 적용된 게임 엔진 내 가상 카메라(VC)의 위치 및 각도 값을 포함하는 제2 트래킹 데이터가 기록되어야 한다.

또한, 제1 트래킹 데이터에서 렌즈 상태(줌 및 포커스 거리)에 관련된 데이터의 경우도 마찬가지로, 단순히 트래킹 장치(200)의 수치일 뿐이므로 이것을 해석한 후 실제 게임 엔진의 가상 카메라(VC)에 적용한 화각(FOV) 및 포커스 거리의 값이 기록되어야 실질적으로 후반 작업 단계에서 활용 가능해 진다.

재생 장치(300)는 시간에 따라 제2 트래킹 데이터를 기록 저장함과 동시에, 각 시점에서의 가상 공간의 콘텐츠에 대한 상태(즉, 타임라인 위치, 이벤트 발생 등)도 기록 저장할 수 있다.

즉, 재생 장치(300)에서 재생되는 실시간 렌더링 CG(즉, 가상 공간의 콘텐츠)는 미리 마련된 타임라인의 위치에 따라 다양하게 변화되는 콘텐츠를 포함한다. 이러한 가상 공간의 콘텐츠에 대한 타임라인의 위치는 촬영 시 감독의 지시 등에 의해 시간에 따라 변화되거나 특정 위치에 고정될 수 있다.

예를 들어, 도 2에 도시된 가상 공간의 콘텐츠(B)는 '자동차'인데, 해당 자동차에 대한 타임라인은 5s(second)일 수 있다. 이때, 해당 자동차는 0s~1s의 타임라인에서 정지 상태이고, 1s~3s의 타임라인에서 일 방향으로 서서히 움직일 수 있으며, 3s~5s의 타임라인에서 급격히 움직이다 가상 공간에서 사라지는 상태일 수 있다.

재생 장치(300)는 촬영 중에 가상 공간의 콘텐츠에 대해 기 정의된 특정의 이벤트를 발생시킬 수 있다. 가령, 가상 공간의 콘텐츠에 대한 이벤트는 특정 콘텐츠의 등장, 변경 또는 사라짐 등일 수 있다. 즉, 재생 장치(300)는 일반 영상과 달리 실시간 렌더링 방식을 기반으로 개발되어 게임(game)과 유사하게 원하는 시점에 자유롭게 상태를 조정할 수 있는 성격을 가지므로, 이러한 가상 공간의 콘텐츠에 대한 이벤트 발생은 제2 영상 상태에 다양성을 부여하는데 사용될 수 있다.

예를 들어, 가상 공간에서 비가 오는 효과나 번개 효과 등이 미리 정의되어 있다면, 재생 장치(300)는 감독 등의 지시에 따라 촬영 중의 특정 시점에 해당 이벤트를 발생시킬 수 있다.

이러한 가상 공간의 콘텐츠 상태(즉, 타임라인의 위치 및 이벤트 발생)은 촬영 시 감독의 지시 등에 의해 다양한 다수의 상태로 설정될 수 있다. 이때, 재생 장치(300)는 촬영 시에 시간에 따른 가상 공간의 콘텐츠에 대한 타임라인의 위치와 특정 시점에서의 이벤트 발생에 대한 데이터(즉, 가상 공간의 콘텐츠에 대한 상태 데이터)를 제2 트래킹 데이터와 함께 기록 저장한다. 이에 따라, 후반 작업 단계에서는 제2 트래킹 데이터와 해당 상태 데이터를 이용함으로써, 촬영 당시의 각 시점에서의 가상 공간의 콘텐츠에 대한 상태를 그대로 재현할 수 있다.

이러한 가상 공간의 콘텐츠에 대한 상태 데이터를 활용해야 하는 보다 구체적인 이유는 다음과 같다.

FreeD에 따른 제1 트래킹 데이터에는 카메라(100)의 움직임 및 렌즈 상태에 대한 정보만 담겨 있으므로, 제1 트래킹 데이터만으로는 촬영 당시 실제로 가상 공간의 콘텐츠에 표출되던 장면이 무엇인지는 알 수가 없다. 이를 위해서는 해당 가상 공간의 콘텐츠에 대한 타임라인의 실시간 진행 상태를 알아야 한다. 또한, 촬영 중 불규칙하게 운영자가 인터렉션 이팩트(가령, 폭발)의 이벤트를 발생시켰다면, 해당 정보도 레코딩 파일 내부에 기록되어 있어야, 후반 작업 단계에서 동일한 조건으로 가상 공간의 콘텐츠에 대한 재현 가능해진다.

도 5는 재생 장치(300)에서 기록되는 데이터에 대한 일 예를 나타낸다.

즉, 재생 장치(300)에 의해 기록되는 데이터(이하, "기록 데이터"라 지칭함)는 가상 카메라(VC)에 대한 제2 트래킹 데이터와, 가상 공간의 콘텐츠에 대한 상태 데이터를 포함하며, 촬영 중에 다수의 파일(즉, 기록 데이터 파일)로 저장될 수 있다.

가령, 도 5를 참조하면, 제2 트래킹 데이터에 포함되는 가상 카메라(VC)의 움직임에 대한 데이터는, Pos x(가상 공간의 x축 값), Pos y(가상 공간의 y축 값) 및 Pos z(가상 공간의 z축 값)와 같은 가상 카메라(VC)에 대한 위치 데이터와, Rot x(가상 공간의 x축에 대한 각도), Rot y(가상 공간의 y축에 대한 각도) 및 Rot z(가상 공간의 z축에 대한 각도)와 같은 가상 카메라(VC)에 대한 각도 데이터를 포함한다. 또한, 제2 트래킹 데이터에 포함된 렌즈 상태에 대한 데이터는, Aperture와 같은 가상 카메라(VC)의 렌즈에 대한 화각 데이터와, Focal Length 및 Focal Distance와 같은 가상 카메라(VC)의 렌즈에 대한 포커스 데이터를 포함한다. 또한, 기록 데이터에 포함되는 가상 공간의 콘텐츠에 대한 상태 데이터는 타임라인 위치 및 타임라인 재생 여부를 포함할 수 있으며, 도 5에 도시되지 않았지만, 추가적으로 이벤트 발생에 대한 데이터도 포함할 수 있다.

한편, 재생 장치(300)는 카메라(100)에서 촬영된 제1 영상을 전달받아 제1 영상에 재생 중인 제2 영상을 합성한 결과 영상(이하, "합성 영상"이라 지칭함)을 출력한다. 이와 같이 재생 장치(300)에서 출력된 합성 영상은 제2 녹화 장치(500)로 전달되어 녹화될 수 있다.

또한, 후반 작업 단계 중에 합성 영상에서 제2 영상의 특정 부분(즉, 오류 부분)에 대한 보정이 필요한 경우가 있다. 이 경우, 해당 오류 부분에 대한 가상 공간의 콘텐츠를 보정한 후 보정된 가상 공간의 콘텐츠를 해당 특정 시점의 기록 데이터를 기반으로 재생하여 제1 영상에 다시 합성함으로써, 보정된 합성 영상을 생성할 수 있다.

이때, 보정된 가상 공간의 콘텐츠를 해당 특정 시점의 기록 데이터를 기반으로 재생하기 위해서는 재생 장치(300)에 의해 기록 저장된 다수의 기록 데이터 중에서 해당 특정 시점의 기록 데이터가 어느 것인지에 대한 분별이 가능해야 한다. 이를 해결하기 위해, 본 발명에서는 재생 장치(300)가 분별 데이터를 기록 데이터로 추가적으로 저장할 수 있다.

이러한 분별 데이터는 촬영 시에 카메라(100)가 생성하는 시간에 대한 정보인 타임 코드(time code)에 대한 데이터와, 해당 촬영이 진행된 절대적인 시간에 대한 정보인 절대 시간에 대한 데이터를 포함할 수 있다. 즉, 촬영 현장에서 카메라(100)는 시간에 따라 변경되는 타임 코드를 생성하는 장치(즉, 타임 코드 생성 장치)(미도시)에 연결되어, 촬영 시에 해당 타임 코드가 각 프레임에 포함되는 제1 영상에 대한 정보를 생성한다. 이때, 재생 장치(300)는 카메라(100)에 전달되는 타임 코드와 동일한 타임 코드를 카메라(100)의 제1 영상으로부터 파악하여, 해당 타임 코드 데이터를 분별 데이터로 기록 저장한다.

다만, 재생 장치(300)는 제2 트래킹 데이터 및 가상 공간의 콘텐츠에 대한 상태 데이터를 포함하는 기록 데이터 파일(가령, 도 5에 도시된 바와 같은 내역을 저장한 파일)에 타임 코드의 데이터를 기록하지 않고, 기록 데이터 파일에 대한 메타 데이터를 저장하는 메타 데이터 파일에 해당 타임 코드의 데이터를 저장할 수 있다.

또한, 재생 장치(300)는 촬영 시 기록 데이터 파일이 기록되기 시작한 시점을 0으로 하여, 그 이후의 시간을 차례로 측정하여 그에 대한 시간인 절대 시간의 데이터를 제2 트래킹 데이터 및 가상 공간의 콘텐츠에 대한 상태 데이터와 함께 기록 데이터로 기록할 수 있다. 또는, 재생 장치(300)는 촬영 시의 실시간 시간에 대한 절대 시간의 데이터를 제2 트래킹 데이터 및 가상 공간의 콘텐츠에 대한 상태 데이터와 함께 기록 데이터로 기록할 수 있다. 일례로, 도 5에서, '진행 시간'의 항목은 이러한 절대 시간의 데이터를 나타낸다.

이와 같이 분별 데이터를 활용하는 보다 구체적인 이유는 다음과 같다.

<기록된 제1 트래킹 데이터의 부분에 해당되는 원본 영상을 찾기 어려움>

FreeD 기반의 제1 트래킹 데이터의 경우, 시간을 포함하는 개념은 아니므로 레코딩 시 '절대 시간'은 포함되지 않으며 지정된 프레임에 따라 한 패킷씩 기록되는 것이 일반적이다. 하지만, 후반 작업 단계를 위해 기록 데이터와 함께 그에 매핑 되는 원본 촬영 영상을 찾아야 할 경우, 상당히 곤란할 수 있다. FreeD 기반의 제1 트래킹 데이터의 경우, 일련의 Raw데이터로된 파일이므로 이것을 기준으로 방대한 녹화 영상 중 원하는 부분을 찾기란 쉽지 않다.

<카메라(100)가 생성하는 타임 코드 값, 절대 시간을 메타 데이터로 기록하여 녹화 영상 검색을 용이하게 함

방대한 숫자의 조합인 FreeD 기반의 제1 트래킹 데이터만으로는 그 시점에 해당되는 녹화본 영상을 찾기는 어렵다. 따라서, 본 발명에서는 해당 촬영이 진행된 절대 시간과, 카메라(100)의 타임 코드의 시간을 구분하여 별도로 기록한다. 이를 통해, 해당 레코딩 파일이 언제 기록되었는지를 실제 녹화 영상 내에 기록된 타임 코드와 비교하여 빠르게 검색할 수 있다.

도 6은 재생 장치(300)의 블록 구성도를 나타낸다.

이러한 재생 장치(300), 도 6에 도시된 바와 같이, 입력부(310), 통신부(320), 디스플레이(330), 메모리(340) 및 제어부(350)를 포함할 수 있다.

입력부(310)는 다양한 사용자의 입력에 대응하여, 입력데이터를 발생시키며, 다양한 입력수단을 포함할 수 있다. 예를 들어, 입력부(310)는 키보드(key board), 키패드(key pad), 돔 스위치(dome switch), 터치 패널(touch panel), 터치 키(touch key), 터치 패드(touch pad), 마우스(mouse), 메뉴 버튼(menu button) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

통신부(320)는 다른 장치와의 통신을 수행하는 구성이다. 가령, 통신부(320)는 FreeD의 프로토콜을 통해 제1 트래킹 데이터를 트래킹 장치 또는 서버 등으로부터 수신할 수 있다. 예를 들어, 통신부(320)는 5G(5th generation communication), LTE-A(long term evolution-advanced), LTE(long term evolution), 블루투스, BLE(bluetooth low energy), NFC(near field communication), 와이파이(WiFi) 통신 등의 무선 통신을 수행하거나, 케이블 통신 등의 유선 통신을 수행할 수 있으나, 이에 한정되는 것은 아니다.

디스플레이(330)는 다양한 영상 데이터를 화면으로 표시하는 것으로서, 비발광형 패널이나 발광형 패널로 구성될 수 있다. 가령, 디스플레이(330)는 제1 영상, 제2 영상 또는 합성 영상을 표시할 수 있다. 예를 들어, 디스플레이(330)는 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스플레이, 또는 전자 종이(electronic paper) 디스플레이 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이(330)는 입력부(310)와 결합되어 터치 스크린(touch screen) 등으로 구현될 수도 있다.

메모리(340)는 재생 장치(300)의 동작에 필요한 각종 정보를 저장한다. 가령, 메모리(340)의 저장 정보로는 제1 영상, 제1 트래킹 데이터, 실시간 렌더링 CG에 대한 정보, 기록 데이터, 분별 데이터, 제2 영상, 합성 영상, 제어 프로그램, 후술할 제어 방법에 관련된 정보 등이 포함될 수 있으나, 이에 한정되는 것은 아니다.

예를 들어, 메모리(340)는 그 유형에 따라 하드디스크 타입(hard disk type), 마그네틱 매체 타입(magnetic media type), CD-ROM(compact disc read only memory), 광 기록 매체 타입(optical Media type), 자기-광 매체 타입(magneto-optical media type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 플래시 저장부 타입(flash memory type), 롬 타입(read only memory type), 또는 램 타입(random access memory type) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 또한, 메모리(340)는 그 용도/위치에 따라 캐시(cache), 버퍼, 주기억장치, 또는 보조기억장치이거나 별도로 마련된 저장 시스템일 수 있으나, 이에 한정되는 것은 아니다.

제어부(350)는 재생 장치(300)의 다양한 제어 동작을 수행할 수 있다. 즉, 제어부(350)는 상술한 기록 데이터 및 분별 데이터의 기록 저장을 제어할 수 있으며, 메모리(340)에 저장된 제어 프로그램 및 후술할 제어 방법에 대한 수행을 제어할 수 있다. 또한, 제어부(350)는 재생 장치(300)의 나머지 구성, 즉 입력부(310), 통신부(320), 디스플레이(330), 메모리(340) 등의 동작을 제어할 수 있다. 예를 들어, 제어부(350)는 하드웨어인 적어도 하나의 프로세서(processor)를 포함하며, 해당 프로세서에서 수행되는 소프트웨어인 프로세스(process) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

도 7은 본 발명의 일 실시예에 따른 제1 제어 방법의 동작 순서도를 나타낸다.

본 발명의 일 실시예에 따른 제1 제어 방법은 촬영 시에 수행되는 것으로서, 재생 장치(300)의 제어부(350)에 의해 그 동작 수행이 제어될 수 있으며, 도 7에 도시된 바와 같이, S110 내지 S130을 포함한다. 다만, S110 및 S120만이 필수 동작일 수 있으며, S130은 제2 영상이 AR 형태로 재생되는 경우에 적용되는 선택적인 동작일 수 있다.

S110에서, 제어부(350)는 통신부(320)를 통해 카메라(100)의 움직임 및 렌즈 상태를 트래킹하는 제1 트래킹 데이터를 수신하도록 제어한다. 해당 제1 트래킹 데이터는 트래킹 장치(200)에 의해 생성되어 재생 장치(300)로 전달될 수 있다.

S120에서, 제어부(350)는 수신된 제1 트래킹 데이터를 이용하여 기록 데이터를 생성하여 저장하면서, 제2 영상을 재생하도록 제어한다. 일례로, 기록 데이터는 제2 트래킹 데이터, 가상 공간의 콘텐츠에 대한 상태 데이터 및 분별 데이터 등을 포함할 수 잇다.

즉, 제어부(350)는 수신된 제1 트래킹 데이터를 기반으로 가상 공간 내에서의 가상 카메라(VC)의 움직임 및 렌즈 상태를 트래킹하는 제2 트래킹 데이터를 기록하면서, 제2 트래킹 데이터에 기반하여 연동되는 가상 공간의 콘텐츠를 담은 제2 영상을 재생하도록 제어할 수 있다.

또한, 제어부(350)는 제2 트래킹 데이터를 기록하면서, 촬영 각 시점에서의 가상 공간의 콘텐츠에 대한 상태 데이터(즉, 타임라인 위치, 이벤트 발생 등)도 함께 기록하도록 제어할 수 있다. 즉, 제어부(350)는 촬영 각 시점에서의 가상 공간의 콘텐츠에 대한 타임라인의 위치에 관련된 상태 데이터를 기록하도록 제어할 수 있다. 또한, 제어부(350)는 촬영 중에 가상 공간의 콘텐츠에 대한 이벤트 발생에 관련된 상태 데이터를 기록하도록 제어할 수 있다.

한편, 제어부(350)는 제2 트래킹 데이터를 기록하면서, 기록 데이터에 대한 분별 데이터도 함께 기록하도록 제어할 수 있다. 즉, 제어부(350)는 촬영 시에 카메라(100)가 생성하는 시간에 대한 정보인 타임 코드(time code)를 포함하는 분별 데이터를 기록하도록 제어할 수 있다. 또한, 제어부(350)는 각 촬영의 진행에 대한 절대적인 시간에 대한 정보인 절대 시간에 대한 데이터를 포함하는 분별 데이터를 기록하도록 제어할 수 있다.

S130에서, 제어부(350)는 수신된 카메라(100)의 제1 영상에 재생 중인 제2 영상을 합성하여, 해당 합성 영상을 제2 녹화 장치(400) 등에 출력하도록 제어한다.

도 8은 본 발명의 일 실시예에 따른 제2 제어 방법의 동작 순서도를 나타낸다.

본 발명의 일 실시예에 따른 제2 제어 방법은 촬영 이후의 후반 작업 단계에서 수행되는 것으로서, 재생 장치(300)의 제어부(350)에 의해 그 동작 수행이 제어될 수 있으며, 도 8에 도시된 바와 같이, S210 및 S220을 포함한다.

S210에서, 제어부(350)는 사용자의 입력에 따라 촬영 당시에 저장된 기록 데이터 파일에 대한 선택을 제어한다. 일례로, 합성 영상에서 특정 시점의 가상 공간의 콘텐츠에 대한 보정 등을 이유로, 특정 시점의 가상 공간의 콘텐츠에 대한 재생이 필요할 경우, 제어부(350)는 사용자의 입력에 따라 해당 특정 시점에 대한 기록 데이터가 저장된 파일을 선택하도록 제어할 수 있다. 이때, 제어부(350)는 기록 데이터의 분별 데이터를 이용하여, 해당 특정 시점에 대한 기록 데이터 파일에 대한 신속 정확한 검색이 가능하도록 제어할 수 있다.

S220에서, 제어부(350)는 선택된 기록 데이터 파일을 이용하여, 촬영 당시의 해당 특정 시점에 대한 제2 영상을 재생하도록 제어한다.

즉, 제어부(350)는 해당 특정 시점의 제2 트래킹 데이터를 이용하여, 가상 공간 내에서의 가상 카메라(VC)의 움직임 및 렌즈 상태가 해당 특정 시점의 제2 트래킹 데이터에 연동되는 가상 공간의 콘텐츠가 촬영(획득)되도록 제어함으로써, 해당 특정 시점에 대한 제2 영상이 재생되도록 제어할 수 있다.

물론, 제어부(350)는 해당 제2 트래킹 데이터와 함께, 해당 특정 시점의 가상 공간의 콘텐츠에 대한 상태 데이터(즉, 타임라인 위치, 이벤트 발생 등)도 함께 반영된 가상 공간의 콘텐츠가 촬영(획득)되도록 제어함으로써, 해당 특정 시점에 대한 제2 영상이 재생되도록 제어할 수 있다.

다만, 이러한 S110 내지 S130와, S210 및 S220의 구체적인 각 구성 및 작용은 도 1 내지 도 6에 따라 상술한 바와 같으므로, 이하 이에 대한 상세한 설명은 생략하도록 한다.

상술한 각 제어 방법은 메모리(340)에 로드되어 제어부(350)의 제어에 따라 프로그램을 실행함으로써 실행될 수 있다. 이러한 프로그램은, 여러 가지 유형의 비일시적인 컴퓨터 판독 가능한 매체(non-transitory computer readable medium)의 메모리(340)에 저장될 수 있다. 비일시적인 컴퓨터 판독 가능한 매체는 여러 가지 유형의 실체가 있는 기록 매체(tangible storage medium)를 포함한다.

예를 들어, 비일시적인 컴퓨터 판독 가능한 매체는, 자기 기록 매체(예를 들면, 플렉시블 디스크, 자기 테이프, 하드디스크 드라이브), 광자기 기록 매체(예를 들면, 광자기 디스크), CD-ROM(read only memory), CD-R, CD-R/W, 반도체 메모리(예를 들면, 마스크 ROM, PROM(programmable ROM), EPROM(erasable PROM), 플래시 ROM, RAM(random access memory))을 포함하나, 이에 한정되는 것은 아니다.

또한, 프로그램은 여러 가지 유형의 일시적인 컴퓨터 판독 가능한 매체(transitory computer readable medium)에 의해 공급될 수도 있다. 예를 들어, 일시적인 컴퓨터 판독 가능한 매체는, 전기 신호, 광신호, 전자파를 포함할 수 있으나, 이에 한정되는 것은 아니다. 즉, 일시적인 컴퓨터 판독 가능한 매체는 전선, 광섬유 등의 유선 통신로 또는 무선 통신로를 통해 프로그램을 제어부(350)에 공급할 수 있다.

상술한 바와 같이 구성되는 본 발명은 다음과 같은 특징을 가진다.

(1) 종래의 경우, 별도의 FreeD 기반의 레코딩 프로그램을 통해 단순히 카메라에서 전달되는 제1 트래킹 데이터만을 기록하는 정도만 가능할 뿐, 렌즈 파일에 의해 해석된 화각, 포커스 거리 또는 보정된 카메라의 위치 등 후반 작업 단계에서의 재생 시 실질적으로 필요한 정보는 담을 수 없다. 반면, 본 발명은 카메라에서 전달되는 FreeD 기반의 제1 트래킹 데이터를 해석하여 해당 정보를 담은 기록 데이터를 저장하는 방식이므로, 후반 작업 단계에서의 재생 시 실질적으로 필요한 정보를 해당 기록 데이터에 포함시킬 수 있다.

(2) 종래의 경우, 트래킹 장치의 제조사에서 제공하는 레코딩 파일 재생 기능을 이용하므로, 단순히 기록된 제1 트래킹 데이터의 Raw 데이터들을 순차적으로 읽어 다시 FreeD 기반으로 포맷으로 만들어 UDP 방식으로 전달한다. 반면, 본 발명은 가상 카메라에 대한 제2 트래킹 데이터와, 가상 공간의 콘텐츠에 대한 상태 데이터를 혼합한 별도 포맷의 기록 데이터를 저장하여 이용하므로, 후반 작업 단계에서 기록 데이터 파일을 선택 후 재생하면 가상 카메라의 움직임, 렌즈의 정보, 타임라인의 위치, 이벤트 발생까지 그대로 재현된 상태로 재생이 된다. 이를 통해, 실제 촬영 당시의 상태와 매우 근접한 수준으로 가상 공간의 콘텐츠를 다시 재생할 수 있다.

(3) 기록 방식의 차이

본 발명에서 기록 데이터를 기록하는 주체는 실제 가상 공간의 콘텐츠를 시각화하는 AR 또는 XR 프로그램을 실행하는 재생 장치이다. 따라서, 최종적인 가상 카메라의 정보뿐만 아니라 타임라인의 상태, 이벤트 발생 상태 및 실제 카메라의 타임 코드까지 완벽한 재생에 필요한 모든 정보를 모아 기록할 수 있다.

(4) 재생 방식의 차이

본 발명에서 단순히 가상 카메라에 대한 트래킹 정보인 제2 트래킹 데이터뿐만 아니라, 해당 촬영 시점의 다양한 정황 정보(타임라인 위치, 이벤트 발생 내역, 타임코드 등)를 포함하는 기록 데이터를 기록한다. 즉, 촬영 당시의 가상 공간의 콘텐츠에 연관된 정보들을 통합하여 기록하는 방식이므로, 해당 가상 공간의 콘텐츠를 촬영 당시 상태로 다시 재생하여야 하는 경우에, 매우 손쉽고 정확하게 매 순간들을 재현할 수 있게 된다.

또한, 기존 재생 방식의 경우, FreeD 기반의 레코딩 프로그램에서 특정 레코딩 파일을 재생하면 그 정보는 FreeD로 전환되어 마치 트래킹 장치가 만들어내는 것처럼 XR 시각화 프로그램으로 전달된다. 즉, 재생하는 시점에도 FreeD 기반의 제1 트래킹 데이터를 파싱하고 렌즈 파일을 통해 가공할 수 있는 전문 XR 솔루션이 있어야만, 가상 카메라의 움직임을 재현할 수 있다.

하지만, 본 발명에서는 재생 시에는 전문 XR 솔루션이 없어도, 기록 데이터 파일을 선택하여 특정 시점에 연관된 기록 데이터를 추출할 수 있다. 이와 같이 추출된 기록 데이터는 가상 카메라의 움직임/렌즈 상태, 타임라인 및 이벤트 내역에 대해, 별도의 해석이나 가공 과정 없이 바로 가상 공간의 콘텐츠에 적용할 수 있어, 촬영 당시 현장과 유사한 수준으로 가상 공간의 콘텐츠를 재현할 수 있다.

본 발명의 상세한 설명에서는 구체적인 실시 예에 관하여 설명하였으나 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되지 않으며, 후술되는 청구범위 및 이 청구범위와 균등한 것들에 의해 정해져야 한다.

10: 시스템 100: 카메라
200: 트래킹 장치 300: 재생 장치
310: 입력부 320: 통신부
330: 디스플레이 340: 메모리
350: 제어부 400: 제1 녹화 장치
500: 제2 녹화 장치 VC: 가상 카메라

Claims (20)

1. 실사 영상인 제1 영상을 촬영하는 카메라와, 상기 카메라에 연결되어 상기 카메라의 움직임 및 렌즈 상태에 대한 트래킹 정보를 담은 제1 트래킹 데이터를 생성하여 전달하는 트래킹 장치와, 수신된 상기 제1 트래킹 데이터를 이용하여 가상 공간의 콘텐츠를 담은 제2 영상을 재생하는 재생 장치를 각각 포함하여, 상기 제1 및 제2 영상에 대한 합성을 상기 제1 및 제2 영상의 촬영과 동시에 수행하는 제작 단계를 포함하는 버추얼 프로덕션((virtual production)에 대한 시스템에서, 상기 재생 장치로서, 상기 제1 트래킹 데이터를 수신하는 통신부; 및
   수신된 상기 제1 트래킹 데이터를 이용하여, 가상 공간 내 가상 카메라의 움직임 및 렌즈 상태에 대한 트래킹 정보를 담은 제2 트래킹 데이터를 포함하는 기록 데이터를 저장하도록 제어하는 제어부;를 포함하며,
   상기 제어부는 기록 데이터를 이용하여, 제2 트래킹 데이터에 기반하여 연동되는 상기 제2 영상을 재생하도록 제어하며,
   상기 카메라가 이동하는 경우에 가상 공간 내의 기준 위치를 기준으로 상기 카메라의 이동 위치를 반영하여 상기 가상 카메라의 위치가 변경되어 상기 기준 위치가 촬영 중에 가상 공간 내의 임의적 위치로 변경될 수 있고,
   상기 제2 트래킹 데이터는 상기 기준 위치에서 제1 트래킹 데이터에 연동된 가상 카메라의 움직임 및 렌즈 상태에 대한 트래킹 데이터에 해당하되, 상기 기준 위치가 촬영 중에 변경되는 경우에 변경된 기준 위치를 기반으로 반영한 가상 공간 내에서의 상기 가상 카메라의 트래킹 데이터에 해당하고,
   상기 제어부는 상기 기준 위치가 촬영 중에 변경되는 경우에 촬영이 끝난 상기 버추얼 프로덕션의 상기 제작 단계 이후에 상기 제2 트래킹 데이터를 이용하여 촬영 시에 변경된 상기 기준 위치를 반영한 상기 제2 영상을 재현하도록 제어 가능한 장치.
   
2. 삭제
3. 삭제
4. 제1항에 있어서,
   상기 가상 카메라의 움직임은 가상 카메라의 위치 및 각도에 대한 정보를 포함하는 장치.
   
5. 제1항에 있어서,
   상기 가상 카메라의 렌즈 상태는 가상 카메라의 렌즈의 화각 및 포커스에 대한 정보를 포함하는 장치.
   
6. 제1항에 있어서,
   상기 제어부는 가상 공간의 콘텐츠에 대한 타임라인 위치 및 이벤트 발생의 상태 데이터를 기록 데이터로 함께 저장하는 장치.
   
7. 제6항에 있어서,
   상기 가상 공간의 콘텐츠는 타임라인의 위치에 따라 변화되는 콘텐츠를 포함하는 장치.
   
8. 제6항에 있어서,
   상기 이벤트 발생은 상기 가상 공간의 콘텐츠에서 특정 콘텐츠의 등장, 변경 또는 사라짐을 포함하는 장치.
   
9. 제6항에 있어서,
   상기 타임라인 위치 및 이벤트 발생은 촬영 중에 다양한 상태로 설정될 수 있는 장치.
   
10. 제1항에 있어서,
    상기 제어부는 촬영 시에 카메라가 생성하는 타임 코드에 대한 데이터와, 촬영이 진행된 절대 시간에 대한 데이터를 저장하는 장치.
    
11. 제10항에 있어서,
    상기 제어부는 제1 영상의 각 프레임에 포함된 타임 코드를 이용하여, 상기 타임 코드에 대한 데이터를 저장하도록 제어하는 장치.
    
12. 제10항에 있어서,
    상기 제어부는 상기 절대 시간에 대한 데이터를 상기 기록 데이터의 파일에 함께 저장하면서, 상기 타임 코드의 데이터를 상기 기록 데이터의 파일에 대한 메타 데이터에 저장하는 장치.
    
13. 제1항에 있어서,
    상기 제어부는 수신된 제1 영상에 재생 중인 제2 영상을 합성하여, 해당 합성 영상을 다른 장치로 출력하도록 제어하는 장치.
    
14. 제13항에 있어서,
    상기 다른 장치는 녹화 장치를 포함하는 장치.
    
15. 제1항에 있어서,
    상기 제어부는 상기 제2 영상이 AR(augmented reality), VR(virtual reality), AR(augmented reality) 또는 XR(extended reality) 형태로 재생되도록 제어하는 장치.
    
16. 실사 영상인 제1 영상을 촬영하는 카메라와, 상기 카메라에 연결되어 상기 카메라의 움직임 및 렌즈 상태에 대한 트래킹 정보를 담은 제1 트래킹 데이터를 생성하여 전달하는 트래킹 장치와, 수신된 상기 제1 트래킹 데이터를 이용하여 가상 공간의 콘텐츠를 담은 제2 영상을 재생하는 재생 장치를 각각 포함하여, 상기 제1 및 제2 영상에 대한 합성을 상기 제1 및 제2 영상의 촬영과 동시에 수행하는 제작 단계를 포함하는 버추얼 프로덕션((virtual production)에 대한 시스템에서, 상기 재생 장치에 의해 수행되는 방법으로서,
    상기 제1 트래킹 데이터를 수신하는 단계; 및
    수신된 상기 제1 트래킹 데이터를 이용하여, 가상 공간 내 가상 카메라의 움직임 및 렌즈 상태에 대한 트래킹 정보를 담은 제2 트래킹 데이터를 포함하는 기록 데이터를 저장하면서, 제2 트래킹 데이터에 기반하여 연동되는 상기 제2 영상을 재생하는 단계;를 포함하며,
    상기 카메라가 이동하는 경우에 가상 공간 내의 기준 위치를 기준으로 상기 카메라의 이동 위치를 반영하여 상기 가상 카메라의 위치가 변경되되 상기 기준 위치가 촬영 중에 가상 공간 내의 임의적 위치로 변경될 수 있고,
    상기 제2 트래킹 데이터는 상기 기준 위치에서 제1 트래킹 데이터에 연동된 가상 카메라의 움직임 및 렌즈 상태에 대한 트래킹 데이터에 해당하되, 상기 기준 위치가 촬영 중에 변경되는 경우에 변경된 기준 위치를 기반으로 반영한 가상 공간 내에서의 상기 가상 카메라의 트래킹 데이터에 해당하고,
    상기 재생하는 단계는 상기 기준 위치가 촬영 중에 변경되는 경우에 촬영이 끝난 상기 버추얼 프로덕션의 상기 제작 단계 이후에 상기 제2 트래킹 데이터를 이용하여 촬영 시에 변경된 상기 기준 위치를 반영한 상기 제2 영상의 재현이 가능한 방법.
    
17. 실사 영상인 제1 영상을 촬영하는 카메라와, 상기 카메라에 연결되어 상기 카메라의 움직임 및 렌즈 상태에 대한 트래킹 정보를 담은 제1 트래킹 데이터를 생성하여 전달하는 트래킹 장치와, 수신된 상기 제1 트래킹 데이터를 이용하여 가상 공간의 콘텐츠를 담은 제2 영상을 재생하는 재생 장치를 각각 포함하여, 상기 제1 및 제2 영상에 대한 합성을 상기 제1 및 제2 영상의 촬영과 동시에 수행하는 제작 단계를 포함하는 버추얼 프로덕션((virtual production)에 대한 시스템에서, 상기 재생 장치로서,
    가상 공간 내 가상 카메라의 움직임 및 렌즈 상태에 대한 트래킹 정보를 담은 제2 트래킹 데이터를 포함하는 기록 데이터의 다수 파일을 저장한 메모리; 및
    촬영 당시의 특정 시점에 대한 기록 데이터를 포함하는 적어도 하나의 파일을 사용자의 입력에 따라 선택하도록 제어하는 제어부;를 포함하며,
    상기 제어부는 선택된 파일의 제2 트래킹 데이터를 이용하여, 해당 제2 트래킹 데이터에 기반하여 연동되는 특정 시점에 대한 상기 제2 영상을 재생하도록 제어하고,
    상기 카메라가 이동하는 경우에 가상 공간 내의 기준 위치를 기준으로 상기 카메라의 이동 위치를 반영하여 상기 가상 카메라의 위치가 변경되어 상기 기준 위치가 촬영 중에 가상 공간 내의 임의적 위치로 변경될 수 있으며,
    상기 제2 트래킹 데이터는 상기 기준 위치에서 상기 제1 영상을 촬영하는 카메라의 움직임 및 렌즈 상태에 대한 트래킹 정보를 담은 제1 트래킹 데이터를 이용하여 생성된 트래킹 데이터에 해당하되, 상기 기준 위치가 촬영 중에 변경되는 경우에 변경된 기준 위치를 기반으로 반영한 가상 공간 내에서의 상기 가상 카메라의 트래킹 데이터에 해당하고,
    상기 제어부는 상기 기준 위치가 촬영 중에 변경되는 경우에 촬영이 끝난 상기 버추얼 프로덕션의 상기 제작 단계 이후에 상기 제2 트래킹 데이터를 이용하여 촬영 시에 변경된 상기 기준 위치를 반영한 상기 제2 영상을 재현하도록 제어 가능한 장치.
    
18. 실사 영상인 제1 영상을 촬영하는 카메라와, 상기 카메라에 연결되어 상기 카메라의 움직임 및 렌즈 상태에 대한 트래킹 정보를 담은 제1 트래킹 데이터를 생성하여 전달하는 트래킹 장치와, 수신된 상기 제1 트래킹 데이터를 이용하여 가상 공간의 콘텐츠를 담은 제2 영상을 재생하는 재생 장치를 각각 포함하여, 상기 제1 및 제2 영상에 대한 합성을 상기 제1 및 제2 영상의 촬영과 동시에 수행하는 제작 단계를 포함하는 버추얼 프로덕션((virtual production)에 대한 시스템에서 상기 재생 장치에 의해 수행되는 방법으로서,
    가상 공간 내 가상 카메라의 움직임 및 렌즈 상태에 대한 트래킹 정보를 담은 제2 트래킹 데이터를 포함하는 기록 데이터의 다수 파일 중에, 촬영 당시의 특정 시점에 대한 기록 데이터를 포함하는 적어도 하나의 파일을 사용자의 입력에 따라 선택하는 단계; 및
    선택된 파일의 제2 트래킹 데이터를 이용하여, 해당 제2 트래킹 데이터에 기반하여 연동되는 특정 시점에 대한 상기 제2 영상을 재생하는 단계;를 포함하며,
    상기 카메라가 이동하는 경우에 가상 공간 내의 기준 위치를 기준으로 상기 카메라의 이동 위치를 반영하여 상기 가상 카메라의 위치가 변경되어 상기 기준 위치가 촬영 중에 가상 공간 내의 임의적 위치로 변경될 수 있으며,
    상기 제2 트래킹 데이터는 상기 기준 위치에서 상기 제1 영상을 촬영하는 카메라의 움직임 및 렌즈 상태에 대한 트래킹 정보를 담은 제1 트래킹 데이터를 이용하여 생성된 트래킹 데이터에 해당하되, 상기 기준 위치가 촬영 중에 변경되는 경우에 변경된 기준 위치를 기반으로 반영한 가상 공간 내에서의 상기 가상 카메라의 트래킹 데이터에 해당하고,
    상기 재생하는 단계는 상기 기준 위치가 촬영 중에 변경되는 경우에 촬영이 끝난 상기 버추얼 프로덕션의 상기 제작 단계 이후에 상기 제2 트래킹 데이터를 이용하여 촬영 시에 변경된 상기 기준 위치를 반영한 상기 제2 영상의 재현이 가능한 방법.
    
19. 실사 영상인 제1 영상과 가상 공간의 콘텐츠를 담은 제2 영상 간의 합성을 상기 제1 및 제2 영상의 촬영과 동시에 수행하는 제작 단계를 포함하는 버추얼 프로덕션((virtual production)에 대한 시스템으로서,
    상기 제1 영상을 촬영하는 카메라; 및
    상기 카메라의 움직임 및 렌즈 상태에 대한 트래킹 정보를 담은 제1 트래킹 데이터를 상기 카메라에 연결된 트래킹 장치로부터 수신하며, 수신된 상기 제1 트래킹 데이터를 이용하여, 가상 공간 내 가상 카메라의 움직임 및 렌즈 상태에 대한 트래킹 정보를 담은 제2 트래킹 데이터를 포함하는 기록 데이터를 저장하는 재생 장치;를 포함하며,
    상기 카메라가 이동하는 경우에 가상 공간 내의 기준 위치를 기준으로 상기 카메라의 이동 위치를 반영하여 상기 가상 카메라의 위치가 변경되어 상기 기준 위치가 촬영 중에 가상 공간 내의 임의적 위치로 변경될 수 있고,
    상기 제2 트래킹 데이터는 상기 기준 위치에서 제1 트래킹 데이터에 연동된 가상 카메라의 움직임 및 렌즈 상태에 대한 트래킹 데이터에 해당하되, 상기 기준 위치가 촬영 중에 변경되는 경우에 변경된 기준 위치를 기반으로 반영한 가상 공간 내에서의 상기 가상 카메라의 트래킹 데이터에 해당하고,상기 재생 장치는,
    상기 기준 위치가 촬영 중에 변경되는 경우에 촬영이 끝난 상기 버추얼 프로덕션의 상기 제작 단계 이후에 상기 제2 트래킹 데이터를 이용하여 촬영 시에 변경된 상기 기준 위치를 반영한 상기 제2 영상의 재현이 가능한 시스템.
    
20. 적어도 하나의 프로세서에 의해서 실행되고, 상기 적어도 하나의 프로세서가 제16항 또는 제18항의 방법을 실행시키도록 매체 저장된 프로그램.

Images