KR20240010339A

KR20240010339A - 실시간 vfx 및 xr 영상 송출을 위한 올인원 라이브 편집 서비스 방법 및 그 장치와 시스템

Info

Publication number: KR20240010339A
Application number: KR1020220087781A
Authority: KR
Inventors: 신정화
Original assignee: 주식회사 메타씨어터
Priority date: 2022-07-15
Filing date: 2022-07-15
Publication date: 2024-01-23

Abstract

올인원 라이브 편집 서비스 장치가 제공된다. 상기 올인원 라이브 편집 서비스 장치는, 촬영 카메라로부터 영상 데이터를 수신하도록 구성되는 통신 모듈; 및 상기 수신된 영상 데이터에 VFX 소스 데이터를 합성하도록 구성되는 VFX 합성 모듈을 포함할 수 있다.

Description

실시간 VFX 및 XR 영상 송출을 위한 올인원 라이브 편집 서비스 방법 및 그 장치와 시스템{A METHOD FOR SERVICING ALL-IN-ONE LIVE EDITING FOR REAL-TIME VFX AND XR VIDEO TRANSMISSION AND AN APPARATUS AND A SYSTEM THEREOF}

본 발명은 VFX 및 XR 영상 송출을 위한 올인원 라이브 편집 서비스 방법 및 그 장치와 시스템에 관한 발명으로서, 보다 구체적으로는 복수 개의 촬영 카메라로 촬영된 공연 영상에 VFX 또는 XR 기술을 구현하고, VFX 또는 XR 기술이 구현된 PVW 영상을 멀티뷰 화면으로 구현함으로써 보다 용이하게 PGM 영상을 선택하여 송출할 수 있도록 하는 실시간 VFX 및 XR 영상 송출을 위한 올인원 라이브 편집 서비스 방법 및 그 장치와 시스템에 관한 발명이다.

메타버스(Metaverse)란 현실 세계를 의미하는 '유니버스(Universe)'와 '가공, 추상'을 의미하는 '메타(Meta)'의 합성어로서 주로 3차원 가상세계를 의미할 수 있으나, 메타버스는 단순히 3차원 가상세계를 의미하는 것만이 아닌 3차원 가상세계와 관련된 VR(Virtual Reality, 가상현실), AR(Augmented Reality, 증강현실), XR(eXtended Reality, 확장현실) 등과 빅데이터, 인공지능, 블록체인, 전자상거래, IoT 등의 기술을 포괄하고, 이러한 다양한 기술 등을 이용하여 세상과 소통하는 새로운 방법론이자 변화를 인식하기 위한 틀에 가깝다.

또한, XR(확장현실)은 가상현실과 증강현실을 아우르는 혼합현실(MR, Mixed Reality) 기술을 망라하는 용어로서, 가상현실 또는 증강현실 기술의 개별 활용 또는 혼합 활용을 자유롭게 선택하여 확장된 현실을 창조할 수 있다. VFX(Visual Effects)는 시각적인 특수효과로서 영화, 드라마 등과 같은 영상 컨텐츠에 존재할 수 없는 영상이나 촬영 불가능한 장면 또는 실물을 사용하기에 문제가 있는 장면 등을 촬영하기 위해 이용되는 기법과 영상물을 통칭하는 용어이다. 컴퓨터를 이용한 제작을 의미하는 CG(Computer Graphic)는 VFX에 포함되는 개념이다.

최근, 뮤지컬, 오페라 등의 공연은 포스트 코로나 이후 공연 현장에서 직접 공연을 관람하는 사람에게만 제공되는 것이 아니라 온라인을 통해 세계 각지의 다양한 사람들에게도 실시간 스트리밍, 녹화본 송출 등의 방식으로도 제공될 수 있다. 온라인 공연 영상 송출 특성상, 송출되는 화면에 단순한 실제 공연 현장의 촬영 영상 외에도, 소개 영상, 스토리 작화 영상, 볼류메트릭(volumetric) 기술 등을 활용한 XR 또는 VFX가 구현된 영상 등 다양한 특수 영상이 삽입 또는 편집되어 송출될 수 있으나, 이와 같은 공연 영상을 실시간으로 스트리밍하며 XR 또는 VFX 등의 특수 효과를 접목시켜 온라인으로 관람하는 사람에게 원활하게 제공하기 위해서는 다양한 각도에서 공연을 촬영하는 카메라뿐만 아니라 촬영된 다양한 영상을 동시에 실시간으로 편집하고 XR 또는 VFX 기술을 접목시켜 PGM(program) 영상 및 PVW(preview) 영상을 제작하고 송출해야만 하는 기술적인 어려움에 직면하게 된다.

즉, 다양한 각도에서 촬영된 여러 개의 영상에 대해 모두 특수한 시각 효과를 적용시키면서도 이와 동시에 공연의 주제, 표현, 스토리라인 등이 가장 잘 드러난 영상을 선별하고 편집하는 과정에서 적지 않은 인력과 장비들이 필요하고 비교적 오랜 시간이 걸리는 복잡한 기술적 절차들을 거쳐야만 하는 문제점이 있고, 이러한 문제점으로 인해 특수 시각 효과가 적용된 공연 영상을 실시간으로 스트리밍하기가 매우 어려워지는 것이다.

그러므로, 본 발명자는 이러한 문제점을 해결하기 위해서 다양한 각도에서 촬영된 공연 영상들에 대해 동시에 보다 용이하게 VFX 및/또는 XR 등의 특수 효과를 접목시킬 수 있고, 이러한 다양한 영상들에 대해 효율적으로 라이브 편집이 이루어질 수 있도록 하며, 공연 촬영부터 영상 송출까지의 단계를 원-스텝으로 구현함으로써 필요한 중계 인력을 감축시키고 장비도 간소화할 수 있는 실시간 VFX 및 XR 영상 송출을 위한 올인원 라이브 편집 서비스 방법 및 그 장치와 시스템을 제안한다.

본 발명은 상기의 문제점을 해결하기 위해서 안출된 것으로, 본 발명은 다양한 각도에서 촬영된 공연 영상들에 대해 동시에 보다 용이하게 VFX 및/또는 XR 등의 특수 시각 효과를 접목시킬 수 있는 실시간 VFX 및 XR 영상 송출을 위한 올인원 라이브 편집 서비스 방법 및 그 장치와 시스템을 제공하는 것을 목적으로 한다.

또한, 본 발명은 VFX 및/또는 XR 등의 특수 시각 효과가 적용된 다양한 영상들에 대해 효율적으로 라이브 편집이 이루어질 수 있도록 하는 실시간 VFX 및 XR 영상 송출을 위한 올인원 라이브 편집 서비스 방법 및 그 장치와 시스템을 제공하는 것을 목적으로 한다.

또한, 본 발명은 공연 촬영부터 영상 송출까지의 단계를 원-스텝으로 구현함으로써 필요한 중계 인력을 감축시키고 장비도 간소화할 수 있는 실시간 VFX 및 XR 영상 송출을 위한 올인원 라이브 편집 서비스 방법 및 그 장치와 시스템을 제공하는 것을 목적으로 한다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기의 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 장치는, 촬영 카메라로부터 영상 데이터를 수신하도록 구성되는 통신 모듈; 및 상기 수신된 영상 데이터에 VFX 소스 데이터를 합성하도록 구성되는 VFX 합성 모듈을 포함할 수 있다.

또한, 상기 VFX 합성 모듈은, 상기 VFX 소스 데이터를 상기 영상 데이터의 타임코드에 동기화시키도록 구성되는 타임코드 동기화부를 포함할 수 있다.

또한, 올인원 라이브 편집 서비스 장치는, 상기 VFX 소스 데이터가 합성된 상기 영상 데이터를 기반으로 워크스테이션에 멀티뷰를 구현하도록 구성되는 멀티뷰 구현 모듈을 더 포함할 수 있다.

또한, 상기 멀티뷰 구현 모듈은, 적어도 하나 이상의 상기 영상 데이터를 상기 워크스테이션에 출력시킴으로써 PVW 영상을 구현하도록 구성되는 PVW 출력부를 포함할 수 있다.

상기의 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 시스템은, 상기 올인원 라이브 편집 서비스 장치; 상기 올인원 라이브 편집 서비스 장치와 통신 가능하게 결합되는 촬영 카메라; 및 상기 올인원 라이브 편집 서비스 장치와 통신 가능하게 결합되는 워크스테이션을 포함할 수 있다.

상기의 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 방법은, 촬영 카메라로부터 영상 데이터를 수신하는 단계; 및 상기 수신된 영상 데이터에 VFX 소스 데이터를 합성하는 단계를 포함할 수 있다.

또한, 상기 수신된 영상 데이터에 VFX 소스 데이터를 합성하는 단계는, 상기 VFX 소스 데이터를 상기 영상 데이터의 타임코드에 동기화시키는 단계를 포함할 수 있다.

또한, 상기 올인원 라이브 편집 서비스 방법은, 상기 VFX 소스 데이터가 합성된 상기 영상 데이터를 기반으로 워크스테이션에 멀티뷰를 구현하는 단계를 더 포함할 수 있다.

또한, 상기 VFX 소스 데이터가 합성된 상기 영상 데이터를 기반으로 워크스테이션에 멀티뷰를 구현하는 단계는, 적어도 하나 이상의 상기 영상 데이터를 상기 워크스테이션에 출력시킴으로써 PVW 영상을 구현하는 단계를 포함할 수 있다.

상기의 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 컴퓨터 프로그램은, 하드웨어인 컴퓨터와 결합되어, 상기 올인원 라이브 편집 서비스 방법을 수행할 수 있도록 컴퓨터 판독 가능한 기록 매체에 저장될 수 있다.

본 발명의 일 실시예에 따른 실시간 VFX 및 XR 영상 송출을 위한 올인원 라이브 편집 서비스 방법 및 그 장치와 시스템에 의하면, 다양한 각도에서 촬영된 공연 영상들에 대해 동시에 보다 용이하게 VFX 및/또는 XR 등의 특수 시각 효과를 접목시킬 수 있다.

또한, 본 발명의 일 실시예에 따른 실시간 VFX 및 XR 영상 송출을 위한 올인원 라이브 편집 서비스 방법 및 그 장치와 시스템에 의하면, VFX 및/또는 XR 등의 특수 시각 효과가 적용된 다양한 영상들에 대해 효율적으로 라이브 편집이 이루어질 수 있다.

또한, 본 발명의 일 실시예에 따른 실시간 VFX 및 XR 영상 송출을 위한 올인원 라이브 편집 서비스 방법 및 그 장치와 시스템에 의하면, 공연 촬영부터 영상 송출까지의 단계를 원-스텝으로 구현함으로써 필요한 중계 인력을 감축시키고 장비도 간소화할 수 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 시스템(1000)을 설명하기 위한 개략적인 블록도이다.
도 2는 본 발명의 일 실시예에 따른 VFX 합성 모듈(130)을 설명하기 위한 개략적인 블록도이다.
도 3은 본 발명의 일 실시예에 따른 멀티뷰 구현 모듈(140)을 설명하기 위한 개략적인 블록도이다.
도 4는 본 발명의 일 실시예에 따른 라이브 편집 모듈(150)을 설명하기 위한 개략적인 블록도이다.
도 5는 본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 방법(S10)을 설명하기 위한 개략적인 순서도이다.
도 6은 본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 장치(100)에 의해 촬영 카메라(200)가 촬영한 영상이 워크스테이션(300)에 멀티뷰로 구현된 일 예를 설명하기 위한 예시도이다.

이하, 본 발명에 따른 실시예들은 첨부된 도면들을 참조하여 설명한다. 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면 상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 실시예들을 설명할 것이나, 본 발명의 기술적 사상은 이에 한정되거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다.

도 1은 본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 시스템(1000)을 설명하기 위한 개략적인 블록도이다.

도 1에 도시되는 바와 같이, 본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 시스템(1000)은, 올인원 라이브 편집 서비스 장치(100), 촬영 카메라(200), 워크스테이션(300) 등을 포함할 수 있다.

먼저, 본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 장치(100)는, 복수 개의 촬영 카메라(200)로부터 영상 데이터를 수신하고, 수신된 영상 데이터에 VFX 소스 데이터를 합성하도록 구성될 수 있으며, 상기 VFX 소스 데이터가 합성된 영상 데이터를 기반으로 워크스테이션(300)에 멀티뷰를 구현하도록 구성될 수 있다. 본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 장치(100)의 세부적인 구성에 대해서는 먼저 촬영 카메라(200), 워크스테이션(300)에 대해 기술한 이후 보다 상세하게 기술하기로 한다.

본 발명의 일 실시예에 따른 촬영 카메라(200)는, 올인원 라이브 편집 서비스 장치(100)와 통신 가능하게 결합하도록 구성될 수 있다. 본 발명의 일 실시예에 따른 촬영 카메라(200)는 복수 개로 구비될 수 있고, 예를 들어 도 1에 도시되는 바와 같이 제1 촬영 카메라(200-1), 제2 촬영 카메라(200-2), 제3 촬영 카메라(200-3) … 제N 촬영 카메라(200-N; 여기서 N은 자연수)로 구비될 수 있다. 또한, 도 6을 참고하면, 복수 개의 촬영 카메라(200)는 공연장 현장의 적어도 일부 영역에 적어도 하나 이상이 설치될 수 있다. 또한, 본 발명의 일 실시예에 따른 촬영 카메라(200)는 올인원 라이브 편집 서비스 장치(100)에 의해 직접 제어되거나 또는 워크스테이션(300) 또는 별도의 리모트 콘트롤러 등이 올인원 라이브 편집 서비스 장치(100)에 촬영 카메라(200)의 제어 신호를 송신함으로써 간접적으로 제어되도록 구성될 수 있다. 또한, 본 발명의 일 실시예에 따른 촬영 카메라(200)는 협동 로봇과 결합된 형태로 구성되어 촬영 구도, 촬영 앵글, 카메라워크 등이 조절되도록 구성될 수 있다.

본 발명의 일 실시예에 따른 워크스테이션(300)은, 올인원 라이브 편집 서비스 장치(100)와 통신 가능하게 결합되도록 구성될 수 있다. 또한, 본 발명의 일 실시예에 따른 워크스테이션(300)은, 올인원 라이브 편집 서비스 장치(100)로부터 출력 신호를 전달받아 영상을 출력하도록 구성되는 별도의 디스플레이부가 구비될 수 있다. 본 발명의 일 실시예에 따른 워크스테이션(300)은 올인원 라이브 편집 서비스 장치(100)와 통신하여 올인원 라이브 편집 서비스 장치(100)를 제어하거나 또는 올인원 라이브 편집 서비스 장치(100)에 의해 제어되도록 구성될 수도 있다. 즉, 본 발명의 일 실시예에 따른 워크스테이션(300)은, 올인원 라이브 편집 서비스 장치(100)와 연동되는 프로그램이 설치된 사용자 단말, PC 등의 형태로 구현될 수 있다. 또한, 본 발명의 일 실시예에 따른 워크스테이션(300)은 키보드, 패드 등의 입력장치가 추가로 구비될 수 있고, 이에 따라 사용자가 워크스테이션(300)을 통해 본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 장치(100)를 제어하기에 보다 용이할 수 있다. 또한, 본 발명의 일 실시예에 따른 워크스테이션(300)은, 부조정실(sub-control room; 영상 제작에 필요한 특수 효과 장치, 촬영 카메라, 영상 모니터 등 모든 장비를 조정하는 장소)에 구비되어 사용자에 의해 제어되도록 구성될 수도 있다.

한편, 도 1을 참고하면, 본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 장치(100)는, 제어 모듈(110), 통신 모듈(120), VFX 합성 모듈(130), 멀티뷰 구현 모듈(140), 라이브 편집 모듈(150), 저장 모듈(160) 등을 포함할 수 있다. 또한, 본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 장치(100)는, 적어도 하나 이상의 촬영 카메라(200) 및 워크스테이션(300)과 통신 가능하게 결합되도록 구성될 수 있다. 또한, 본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 장치(100)는, 개인 또는 사설 기업에 의해 제작되어 운영되는 자체 컴퓨터 프로그램 기반의 장치에 해당하며, 관련 기술분야에서의 다양한 표현 방식에 따라 디바이스(device), 장비(equipment), 서버(server), 플랫폼(platform) 등의 용어로 지칭될 수도 있다.

참고로, 도 1에 도시되는 올인원 라이브 편집 서비스 장치(100)의 구성요소들(110, 120, 130, 140, 150, 160)은 본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 장치(100)의 동작, 기능 등을 설명하기 위한 예시적인 구성요소들에 불과하다. 즉, 본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 장치(100)가 도시된 구성요소들(110, 120, 130, 140, 150, 160) 이외의 다른 구성요소(예를 들어, 전원 모듈 등)를 추가로 포함할 수 있음은 명백하다.

먼저, 본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 장치(100)는, 올인원 라이브 편집 서비스 장치(100)의 다른 구성요소들(120, 130, 140, 150, 160)을 제어하도록 구성되는 제어 모듈(110)을 포함할 수 있다. 참고로, 제어 모듈(110)은 프로세서(processor), 마이크로프로세서(micro-processor), 컨트롤러(controller), 마이크로컨트롤러(micro-controller) 등으로 구현될 수 있다.

본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 장치(100)는, 촬영 카메라(200)로부터 영상 데이터를 수신하도록 구성되는 통신 모듈(120)을 포함할 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 통신 모듈(120)은, 복수 개의 촬영 카메라(200-1, 200-2, 200-3, … , 200-N)와 통신 가능하게 결합되어 적어도 하나 이상의 촬영 카메라(200)가 촬영한 영상 데이터를 수신하고, 수신된 영상 데이터를 올인원 라이브 편집 서비스 장치(100)의 다른 구성요소들(130, 140, 150)에 전달하거나 또는 저장 모듈(160)에 저장하도록 구성될 수 있다. 또한, 본 발명의 일 실시예에 따른 통신 모듈(120)은, 워크스테이션(300)과 통신 가능하게 결합되도록 구성될 수 있다. 즉, 본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 장치(100)에 통신 모듈(120)이 구비되어 촬영 카메라(200) 및 워크스테이션(300)과 통신함에 따라 본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 방법(S10, 도 5 참고)을 구현할 수 있다.

참고로, 통신 모듈(120)은 외부와의 직접 연결 또는 네트워크를 통한 연결을 위해 제공되는 것으로서, 유선 및/또는 무선 통신 모듈(120)일 수 있다. 구체적으로, 통신 모듈(120)은 제어 모듈(110), VFX 합성 모듈(130), 멀티뷰 구현 모듈(140), 라이브 편집 모듈(150), 저장 모듈(160) 등으로부터의 데이터를 유선 또는 무선으로 전송하거나, 외부로부터 데이터를 유선 또는 무선 수신하여 제어 모듈(110), VFX 합성 모듈(130), 멀티뷰 구현 모듈(140) 또는 라이브 편집 모듈(150)로 전달하거나 저장 모듈(160)에 저장할 수 있다. 상기 데이터에는 텍스트, 이미지, 동화상 등의 컨텐츠 등이 포함될 수 있다. 통신 모듈(120)은 랜(LAN), WCDMA(Wideband Code Division Multiple Access), LTE(Long Term Evolution), WiBro(Wireless Broadband Internet), RF(Radio Frequency)통신, 무선랜(Wireless LAN), 와이파이(Wireless Fidelity), NFC(Near Field Communication), 블루투스, 적외선 통신 등을 통해 통신할 수 있다. 다만, 이는 예시적인 것으로서, 본 발명이 적용되는 실시예에 따라 당해 기술분야에서 적용 가능한 다양한 유, 무선 통신 기술이 이용될 수 있다.

본 발명의 일 실시예에 따르면, 올인원 라이브 편집 서비스 장치(100)는, 수신된 영상 데이터에 VFX 소스 데이터를 합성하도록 구성되는 VFX 합성 모듈(130)을 포함할 수 있다. 도 2를 참고하면, 본 발명의 일 실시예에 따른 VFX 합성 모듈(130)은, VFX 소스 선택부(131), 타임코드 동기화부(132), 영상 설정부(133) 등을 포함할 수 있다.

먼저, 본 발명의 일 실시예에 따른 VFX 소스 선택부(131)는, 미리 입력된 VFX 소스 데이터를 선택하도록 구성될 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 VFX 소스 선택부(131)는, 사용자에 의해 저장 모듈(160)에 미리 입력되어 저장된 VFX 소스 데이터 또는 워크스테이션(300)에 구비된 별도의 저장 장치에 미리 입력되어 저장된 VFX 소스 데이터를 통신 모듈(120)을 통해 다운로드 등의 방식으로 전달받고, 촬영 카메라(200)가 촬영한 영상 데이터와 합성될 VFX 소스 데이터를 선택하도록 구성될 수 있다. 또한, 본 발명의 일 실시예에 따른 VFX 소스 선택부(131)는, 워크스테이션(300)으로부터 제어 신호를 전달 받고, 전달 받은 제어 신호에 따라 복수 개의 VFX 소스 데이터 중 적어도 하나 이상의 VFX 소스데이터를 선택하도록 구성될 수 있거나, 또는 인공지능 기반으로 영상 데이터에 합성될 수 있는 VFX 소스 데이터를 선별하고, 선별된 소스 데이터 중 적어도 일부를 선택할 수 있는 인터페이스를 워크스테이션(300)의 디스플레이부를 통해 출력시킴으로써 영상 데이터와 합성될 VFX 소스 데이터를 선택하도록 구성될 수도 있다.

참고로, VFX(Visual Effects)는 시각적인 특수효과로서 영화, 드라마 등과 같은 영상 컨텐츠에 존재할 수 없는 영상이나 촬영 불가능한 장면 또는 실물을 사용하기에 문제가 있는 장면 등을 촬영하기 위해 이용되는 기법과 영상물을 통칭하는 용어로서, VFX 소스 데이터는 영상 데이터와 합성될 VFX에 관한 소스 데이터를 의미할 수 있고, 또한 볼류메트릭(volumetric) 기술을 활용하여 XR 체험을 구현하기 위한 소스 데이터를 포함할 수도 있다.

또한, 본 발명의 일 실시예에 따른 타임코드 동기화부(132)는, VFX 소스 데이터를 영상 데이터의 타임코드에 동기화시키도록 구성될 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 타임코드 동기화부(132)는, 통신 모듈(120)을 통해 수신한 촬영 카메라(200)가 촬영한 영상 데이터의 타임코드에 VFX 소스 선택부(131)에 의해 선택된 VFX 소스 데이터를 동기화시키도록 구성될 수 있다. 부연 설명하면, 본 발명의 일 실시예에 따른 타임코드 동기화부(132)는, 촬영 카메라(200)로부터 수신한 영상 데이터의 타임코드와 VFX 소스 데이터에 포함된 타임코드를 동기화시킴으로써 촬영 카메라(200)에 의해 촬영된 영상 데이터와 VFX 소스 선택부(131)에 의해 선택된 VFX 소스 데이터를 합성하도록 구성될 수 있다. 이에 따라, 각기 다른 위치 및 각도로 설치된 복수 개의 촬영 카메라(200) 간 영상 싱크가 맞추어질 수 있고, 각기 다른 위치 및 각도에서 촬영된 공연에 관한 영상 데이터의 동일한 영상 싱크 및 타임라인에 VFX(또는 XR)가 모두 동일하게 구현 및 적용될 수 있다.

참고로, 영상 데이터는 복수 개의 카메라 간 촬영된 영상의 싱크를 일치시키기 위해 타임코드를 포함할 수 있고, 타임코드는 촬영 영상의 프레임을 시간 단위로 나타내는 부호를 포함하여 전자식 영상 편집이 용이하게 수행되도록 할 수 있다. 또한, 타임코드는 영상의 각 프레임마다 유일한 주소를 제공하는 신호로서 어드레스 코드(address code)로도 불릴 수 있고, 각 프레임에 유일한 표시를 부여함으로써 편집자 등이 프레임의 위치를 정확하게 알 수 있도록 할 수 있다. 또한, 타임코드는 타임코드 펄스 신호로 구성되는 디지털 신호로서, 방식에 따라 SMPTE-EBU LTC(longitude time code), VITC(vertical interval time code), IEC MIDI(musical instrument digital interface) 등 세 가지 기본 타임코드일 수 있다.

이어서, 본 발명의 일 실시예에 따른 영상 설정부(133)는, 영상 데이터에 합성된 VFX 소스 데이터에 관하여 옵션을 설정하도록 구성될 수 있다. 즉, 본 발명의 일 실시예에 따른 영상 설정부(133)는, VFX 소스 데이터와 영상 데이터의 타임코드 간에 동기화됨에 따라 공연 영상에 구현되는 VFX 또는 XR 영상에 대한 옵션을 설정하도록 구성될 수 있다. 또한, 본 발명의 일 실시예에 따른 영상 설정부(133)는, 워크스테이션(300)으로부터 수신되는 제어 신호에 따라 영상 데이터에 합성된 소스 데이터에 관하여 옵션을 설정하도록 구성될 수 있다. 예시적으로, 본 발명의 일 실시예에 따른 영상 설정부(133)는, 타임코드 동기화부(132)에 의해 합성된 VFX 및/또는 XR 영상에서 VFX 및/또는 XR이 구현되는 위치, 밝기, 투명도 등 공연 영상에 합성된 VFX 및/또는 XR 소스에 관한 세부적인 항목에 관한 수치 값을 설정하도록 구성될 수 있다. 이에 따라, 각기 다른 위치 및 각도의 촬영 카메라(200)를 통해 촬영된 복수 개의 영상에서도 VFX 및/또는 XR 영상이 이질감 없이 자연스럽게 구현될 수 있고, 공연연출자 등의 사용자가 구현되는 VFX 및/또는 XR에 관한 옵션을 워크스테이션(300)을 통해 보다 용이하게 설정할 수 있다. 이에 따라, 다양한 각도에서 촬영된 공연 영상들에 대해 동시에 보다 용이하게 VFX 및/또는 XR 등의 특수 시각 효과가 접목될 수 있다.

다시 도 1을 참고하면, 본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 장치(100)는, VFX 소스 데이터가 합성된 영상 데이터를 기반으로 워크스테이션(300)에 멀티뷰를 구현하도록 구성되는 멀티뷰 구현 모듈(140)을 포함할 수 있다. 도 3을 참고하면, 본 발명의 일 실시예에 따른 멀티뷰 구현 모듈(140)은, PVW 출력부(141), PGM 출력부(142), 사용자 설정부(143) 등을 포함할 수 있다.

먼저, 본 발명의 일 실시예에 따른 PVW 출력부(141)는, VFX 소스 데이터가 합성된 복수 개의 영상 데이터 및 촬영 카메라(200)의 원본 영상 데이터를 동시에 PVW(preview) 영상으로서 워크스테이션(300)에 출력시키도록 구성될 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 PVW 출력부(141)는, 촬영 카메라(200)가 촬영한 원본 상태의 영상 데이터 및 VFX 합성 모듈(130)에 의해 VFX 소스 데이터가 영상 데이터에 합성됨으로써 구현된 VFX 및/또는 XR 영상을 워크스테이션(300)에 구비되는 디스플레이부에 동시에 단일의 화면에 출력시킴으로써 복수 개의 PVW 영상을 출력시키도록 구성될 수 있다.

또한, 본 발명의 일 실시예에 따른 PVW 출력부(141)는, 워크스테이션(300)의 디스플레이부에 출력된 복수 개의 PVW 영상 중 적어도 하나를 선택하여 주 PVW(main preview) 영상으로 출력하도록 구성될 수 있다. 즉, 본 발명의 일 실시예에 따른 PVW 출력부(141)는, 워크스테이션(300)으로부터의 제어 신호에 따라 복수 개의 PVW 영상 중 적어도 하나를 주 PVW 영상으로 선택하여 출력시킬 수 있고, 또한 출력된 주 PVW 영상에 대해 선택되지 않은 다른 PVW 영상에 비해 워크스테이션(300)의 디스플레이부에서 상대적으로 큰 비율의 출력 화면 크기를 갖도록 구성될 수 있다.

예시적으로, 본 발명의 일 실시예에 따른 PVW 출력부(141)는, 5개의 촬영 카메라(200)에 의해 각각 촬영된 원본 영상 데이터가 재생되는 화면 5개, VFX 소스 데이터가 합성됨으로써 구현된 VFX 및/또는 RX 영상이 재생되는 화면 5개 즉, 총 10개의 영상을 PVW 영상으로서 워크스테이션(300)의 디스플레이부에 각각 분할된 화면 비율로 출력시키도록 구성될 수 있고, 또한 상기 총 10개의 PVW 영상 중에서 선택된 주 PVW 영상을 상기 총 10개의 PVW 영상에 비해 큰 화면 비율로 출력시키도록 구성될 수 있다. 참고로, PVW 영상(즉, 프리뷰 영상)은 실시간으로 송출되는 PGM(program) 영상 화면에 이어 순차로 출력될 영상을 의미하거나 또는 포함할 수 있다.

이어서, 본 발명의 일 실시예에 따른 PGM 출력부(142)는, PGM 영상을 워크스테이션(300)에 구비되는 디스플레이부에 출력시키도록 구성될 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 PGM 출력부(142)는, 워크스테이션(300)으로부터의 제어 신호에 따라 실시간으로 송출되는 PGM 영상을 워크스테이션(300)의 디스플레이부에 소정의 화면 비율로 출력시키도록 구성될 수 있고, 바람직하게는, 각각 분할된 화면 비율로 출력되는 PVW 영상보다는 큰 화면 비율을 갖는 주 PVW 영상과 동일한 화면 비율로 워크스테이션(300)의 단일의 디스플레이부에 출력시키도록 구성될 수 있다.

이와 같이, 본 발명의 일 실시예에 따른 PVW 출력부(141)가 워크스테이션(300)의 디스플레이부에 복수 개(예를 들어, 5개)의 원본 영상 데이터, VFX 소스 데이터가 합성된 복수 개(예를 들어, 5개)의 영상 데이터 및 선택된 단일의 주 PVW 영상을 각각 분할된 화면으로 출력시키고, PVW 영상 및 주 PVW 영상 출력과 함께 본 발명의 일 실시예에 따른 PGM 출력부(142)가 실시간으로 송출되는 단일의 PGM 영상을 워크스테이션(300)의 디스플레이부에 출력시킴으로써, 워크스테이션(300)의 디스플레이부에 총 12개의 영상 화면으로 구현되는 스위칭 화면이 멀티뷰로서 구현될 수 있다(도 6의 우측 워크스테이션(300)의 디스플레이부에 표시되는 화면 참고). 이에 따라, VFX 및/또는 XR 등의 특수 시각 효과가 적용된 다양한 영상들에 대해 효율적으로 라이브 편집이 이루어질 수 있다.

또한, 본 발명의 일 실시예에 따른 사용자 설정부(143)는 워크스테이션(300)에 구현된 멀티뷰에 대한 옵션을 설정하도록 구성될 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 사용자 설정부(143)는 워크스테이션(300)으로부터의 제어 신호에 따라 PVW 출력부(141) 및 PGM 출력부(142)에 의해 구현된 멀티뷰에 대한 옵션을 설정하도록 구성될 수 있다. 예시적으로, 본 발명의 일 실시예에 따른 사용자 설정부(143)는 구현된 멀티뷰의 각 영상 화면별 크기 비율, 각 영상 화면의 출력 위치 및 순서 등 멀티뷰의 상세 옵션 항목을 설정하도록 구성될 수 있다. 이에 따라, 사용자가 보다 용이하게 라이브 편집을 수행할 수 있도록 멀티뷰를 커스터마이징할 수 있다.

다시 도 1을 참고하면, 본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 장치(100)는, 워크스테이션(300)에 구현된 멀티뷰를 통해 라이브 편집을 수행하도록 구성되는 라이브 편집 모듈(150)을 포함할 수 있다. 또한, 본 발명의 일 실시예에 따른 라이브 편집 모듈(150)은, 멀티뷰 구현 모듈(140)에 의해 워크스테이션(300)의 디스플레이부에 구현된 멀티뷰를 통해 라이브 편집을 수행함으로써 최종 PGM 영상을 생성하도록 구성될 수 있다. 도 4를 참고하면, 본 발명의 일 실시예에 따른 라이브 편집 모듈(150)은, PGM 지정부(151), 트랜지션부(152), 카메라 제어부(153), 오디오 동기화부(154), 미디어 합성부(155), PIP 설정부(156) 등을 포함할 수 있다.

먼저, 본 발명의 일 실시예에 따른 PGM 지정부(151)는, 구현된 멀티뷰에 출력되는 복수 개의 PVW 영상에서 적어도 하나의 PVW 영상을 PGM 영상으로 지정하도록 구성될 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 PGM 지정부(151)는, 멀티뷰 구현 모듈(140)에 의해 워크스테이션(300)의 디스플레이부에 구현된 멀티뷰에 출력되는 복수 개의 PVW 영상 및 주 PVW 영상 중에서 워크스테이션(300)으로부터의 제어 신호에 따라 단일의 PVW 영상 또는 주 PVW 영상을 선택하고, 선택된 PVW 영상 또는 주 PVW 영상을 PGM 영상으로 지정함으로써 최종 PGM 영상을 생성하도록 구성될 수 있다.

또한, 본 발명의 일 실시예에 따른 PGM 지정부(151)는, 멀티뷰에 출력되는 복수 개의 PVW 영상 및 주 PVW 영상 중에서 워크스테이션(300)으로부터의 제어 신호에 따라 복수 개의 PVW 영상 또는 주 PVW 영상을 선택하고, 선택된 PVW 영상 또는 주 PVW 영상을 분할 화면으로 구성되는 PGM 영상으로 지정함으로써 복수 개의 분할 화면으로 구성되는 최종 PGM 영상을 생성하도록 구성될 수 있다. 이에 더하여, 본 발명의 일 실시예에 따른 PGM 지정부(151)는, 복수 개의 분할 화면으로 구성되는 최종 PGM 영상에서 복수 개의 분할 화면 중 적어도 하나를 선택하고 선택된 화면을 출력시키도록 구성될 수 있다. 이에 따라, 송출되는 최종 PGM 영상을 시청 또는 관람하는 사용자는 복수 개의 분할 화면 중 적어도 하나를 선택하여 자유롭게 자신이 원하는 분할 화면의 영상을 시청 또는 관람할 수 있다. 본 발명의 일 실시예에 따른 PGM 지정부(151)는, 복수 개의 PVW 영상 중에서 선택된 주 PVW 영상을 자동으로 PGM 영상으로 지정하도록 구성될 수 있다. 즉, 본 발명의 일 실시예에 따른 PGM 지정부(151)는, 별도로 PGM 영상 지정이 없는 경우 자동으로 PVW 출력부(141)에 의해 선택된 주 PVW 영상을 PGM 영상으로 지정하도록 구성될 수 있다.

이어서, 본 발명의 일 실시예에 따른 트랜지션부(152)는, 지정된 PGM 영상에 대한 트랜지션을 수행하도록 구성될 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 트랜지션부(152)는, 지정된 PGM 영상에 대해 워크스테이션(300)으로부터의 제어 신호에 따라 워크스테이션(300)의 디스플레이부에 멀티뷰로 출력되는 다른 PVW 영상 또는 주 PVW 영상으로 트랜지션 즉, 화면 전환을 수행하도록 구성될 수 있다. 또한, 본 발명의 일 실시예에 따른 트랜지션부(152)는, 지정된 PGM 영상에 대한 트랜지션을 수행 시 페이더(fader) 효과를 부여하도록 구성될 수도 있다.

본 발명의 일 실시예에 따른 카메라 제어부(153)는, 올인원 라이브 편집 서비스 장치(100)와 연동된 적어도 하나의 촬영 카메라(200)를 제어하도록 구성될 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 카메라 제어부(153)는, 올인원 라이브 편집 서비스 장치(100)와 통신 가능하게 결합되어 영상 데이터를 송신하는 적어도 하나의 촬영 카메라(200)를 올인원 라이브 편집 서비스 장치(100)와 연동시킴으로써 연동된 적어도 하나의 촬영 카메라(200)를 제어하도록 구성될 수 있다. 예시적으로, 본 발명의 일 실시예에 따른 카메라 제어부(153)는, 올인원 라이브 편집 서비스 장치(100)와 연동된 적어도 하나의 촬영 카메라(200) 및 촬영 카메라(200)와 기계적으로 결합된 협동 로봇을 제어함으로써 카메라워크, 줌 인 아웃 등을 조정하도록 구성될 수 있고, 조정된 촬영 카메라(200)에 의해 촬영된 영상 데이터는 실시간으로 PVW 영상으로 워크스테이션(300)의 디스플레이부에 멀티뷰로 출력될 수 있다.

또한, 본 발명의 일 실시예에 따른 오디오 동기화부(154)는, 오디오 데이터와 영상 데이터 및 VFX 소스 데이터가 합성된 영상 데이터 간에 자동 동기화를 수행하도록 구성될 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 오디오 동기화부(154)는, 촬영 카메라(200) 또는 별도의 오디오 입력 장치로부터 입력되는 오디오 데이터와 워크스테이션(300)의 디스플레이부에 멀티뷰로 구현되는 원본 영상 데이터 및 VFX 소스 데이터가 합성된 영상 데이터 간에 자동 동기화를 수행 즉, 오디오 데이터와 영상 데이터 간 타임코드를 동일한 영역으로 자동으로 일치시키도록 구성될 수 있고, 이에 따라 최종 PGM 영상 송출 시 오디오와 영상이 불일치하거나 또는 어느 하나가 딜레이되는 문제를 방지할 수 있다.

이어서, 본 발명의 일 실시예에 따른 미디어 합성부(155)는, 미리 입력되어 저장된 미디어 데이터를 PVW 영상 또는 지정된 PGM 영상에 합성하도록 구성될 수 있다. 보다 구체적으로, 본 발명의 일 실시예에 따른 미디어 합성부(155)는, 저장 모듈(160)에 미리 입력되어 저장된 미디어 데이터 또는 워크스테이션에 구비된 별도의 저장 장치에 미리 입력되어 저장된 미디어 데이터를 워크스테이션(300)으로부터의 제어 신호에 따라 PVW 영상 또는 PGM 지정부(151)에 의해 지정된 PGM 영상에 합성함으로써 최종 PGM 영상을 생성하도록 구성될 수 있다. 즉, 최종 PGM 영상은 송출단으로 출력되는 영상으로서 PGM 지정부(151)에 의해 생성될 수 있거나 또는 추가적으로 PGM 지정부(151)가 지정한 PGM 영상에 미디어 합성부(155)가 미디어 데이터를 합성함으로써 생성될 수 있다. 예시적으로, 본 발명의 일 실시예에 따른 미디어 합성부(155)는, 저장 모듈(160) 등에 미리 입력되어 저장된 배경음악, 자막 등의 미디어 데이터를 PGM 영상에 합성함으로써 최종 PGM 영상을 생성하도록 구성될 수 있다.

또한, 본 발명의 일 실시예에 따른 미디어 합성부(155)는, 미디어 데이터에 포함된 타임코드 정보를 리딩(reading)하고 리딩한 타임코드 정보에 따라 자동으로 PVW 영상 또는 PGM 영상의 일부 위치 영역에 미디어 데이터를 합성하도록 구성될 수도 있다. 이에 따라, 별도의 워크스테이션(300)으로부터의 제어 신호 없이도 미디어 데이터에 포함된 타임코드 정보에 따라 자동으로 PVW 영상 또는 PGM 영상의 일부 위치 영역에 미디어 데이터가 합성될 수 있다.

이어서, 본 발명의 일 실시예에 따른 PIP 설정부(156)는, 워크스테이션(300)에 멀티뷰로 구현되는 적어도 하나 이상의 PVW 영상을 지정된 PGM 영상에 PIP(Picture In Picture)로 구현하도록 구성될 수 있다. 예시적으로, 본 발명의 일 실시예에 따른 PIP 설정부(156)는, 멀티뷰로 구현되는 PVW 영상 또는 선택된 주 PVW 영상을 지정된 PGM 영상의 적어도 일부 영역에 PIP로 구현하도록 구성될 수 있다. 이에 따라, 워크스테이션(300)을 통해 올인원 라이브 편집 서비스 장치(100)에 제어 신호를 보내어 라이브 편집을 수행하는 사용자가 계속 이어서 송출되는 영상을 미리 용이하게 예측하여 라이브 편집을 수행할 수 있다.

한편, 본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 장치(100)는, 올인원 라이브 편집 서비스 장치(100)의 구성요소들(110, 120, 130, 140, 150, 160)의 동작 등에 관한 데이터가 저장되도록 구성되는 저장 모듈(160)을 포함할 수 있다. 예시적으로, 본 발명의 일 실시예에 따른 저장 모듈(160)에는, 촬영 카메라(200)로부터 수신한 영상 데이터, VFX 소스 데이터, 영상 데이터의 타임코드에 관한 데이터, 오디오 동기화에 관한 데이터, 미디어 데이터 등이 저장될 수 있다. 참고로, 저장 모듈(160)은, HDD(Hard Disk Drive), ROM(Read Only Memory), RAM(Random Access Memory), EEPROM(Electrically Erasable and Programmable Read Only Memory), 플래시 메모리(flash memory), CF(Compact Flash) 카드, SD(Secure Digital) 카드, SM(Smart Media) 카드, MMC(Multimedia) 카드 또는 메모리 스틱(Memory Stick) 등 정보의 입출력이 가능한 다양한 형태의 저장 장치로 구현될 수 있으며, 도 1에 도시된 바와 같이 올인원 라이브 편집 서비스 장치(100)의 내부에 구비되거나 별도의 외부 장치에 구비될 수 있다. 또는, 저장 모듈(160)이 인터넷 상에서 저장 기능을 수행하는 웹 스토리지(web storage)로 대체될 수도 있다.

본 발명의 추가 실시예에 따른 올인원 라이브 편집 서비스 장치(100)는, 현실에서 이루어지는 실제 공연의 무대 환경과 동일한 가상의 무대 환경을 가상세계에서 구축하도록 구성될 수 있고, 공연자의 모션을 감지하는 별도의 장치와 연동되어 공연자와 동일한 모션을 수행하는 공연자의 가상의 아바타를 생성하도록 구성될 수도 있다. 또한, 본 발명의 추가 실시예에 따른 올인원 라이브 편집 서비스 장치(100)는, 구축된 가상의 무대 환경에서 생성된 가상의 아바타를 통해 현실에서 이루어지는 실제 공연과 동시에 가상 공연을 구현하도록 구성될 수 있고, 이러한 가상 공연에 관한 영상을 워크스테이션(300)에 구현되는 멀티뷰에 PVW 영상으로 추가로 출력시키도록 구성될 수 있다. 또한, 본 발명의 추가 실시예에 따른 올인원 라이브 편집 서비스 장치(100)는, PIP 설정부(156)를 통해 PVW 영상으로 멀티뷰에 출력되는 가상 공연에 관한 영상을 PGM 영상의 적어도 일부 영역에 PIP로 출력시키도록 구성될 수도 있다.

또한, 본 발명의 추가 실시예에 따른 올인원 라이브 편집 서비스 장치(100)는, 워크스테이션(300)에 구현되는 멀티뷰를 가상 세계에 구현되는 가상의 디스플레이부에 출력시키도록 구성될 수 있고, 가상의 디스플레이부에 출력된 멀티뷰에 대해 사용자가 VR 장치 기기 등을 이용하여 라이브 편집을 수행하도록 구성될 수 있다. 이에 따라, 가상의 공연 연출자도 현실 세계에서의 라이브 영상 편집을 수행할 수 있다.

도 5는 본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 방법(S10)을 설명하기 위한 개략적인 순서도이다.

본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 방법(S10)은, 먼저 통신 모듈(120)이 촬영 카메라(200)로부터 영상 데이터를 수신하고(S100), VFX 합성 모듈(130)이 수신된 영상 데이터에 VFX 소스 데이터를 합성할 수 있다(S200). 이어서, 멀티뷰 구현 모듈(140)이 VFX 소스 데이터가 합성된 영상 데이터를 기반으로 워크스테이션(300)에 멀티뷰를 구현하고(S300), 라이브 편집 모듈(150)이 워크스테이션(300)에 구현된 멀티뷰를 통해 라이브 편집을 수행하여 최종 PGM 영상을 생성할 수 있으며(S400), 제어 모듈(110)이 통신 모듈(120)을 통해 생성된 최종 PGM 영상을 송출단으로 출력시킬 수 있다(S500).

참고로, 도 5에서는 각 단계들이 특정한 순서에 따라 이루어짐으로써 올인원 라이브 편집 서비스 방법(S10)을 구현하는 것으로 도시되고 있으나, 이는 본 발명의 용이한 이해를 위한 일 예에 불과하며, 도시되는 순서와 상이한 순서로 각 단계들이 이루어지는 올인원 라이브 편집 서비스 방법(S10) 또한 본 발명의 일 실시예에 포함됨은 물론이다. 또한, 본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 방법(S10)의 각 단계들(S100, S200, S300, S400, S500)에 관한 세부적인 구성 및 과정에 대해서는 상술한 바와 같으므로 본 도에서는 생략하기로 한다.

도 6은 본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 장치(100)에 의해 촬영 카메라(200)가 촬영한 영상이 워크스테이션(300)에 멀티뷰로 구현된 일 예를 설명하기 위한 예시도이다.

상술한 바와 같이, 공연 현장에서 복수 개의 촬영 카메라(200-1, 200-2, 200-3, 200-4, 200-5)가 공연 무대 현장을 촬영하여 영상 데이터를 올인원 라이브 편집 서비스 장치(100)로 송신할 수 있고, 본 발명의 일 실시예에 따른 올인원 라이브 편집 서비스 장치(100)는, 수신한 영상 데이터 및 VFX 소스 데이터가 합성된 영상 데이터를 기반으로 워크스테이션(300)에 구비되는 디스플레이부에 라이브 편집 가능한 멀티뷰를 구현할 수 있다.

상술한 바와 같이, 본 발명의 일 실시예에 따른 실시간 VFX 및 XR 영상 송출을 위한 올인원 라이브 편집 서비스 방법 및 그 장치와 시스템에 의하면, 다양한 각도에서 촬영된 공연 영상들에 대해 동시에 보다 용이하게 VFX 및/또는 XR 등의 특수 시각 효과를 접목시킬 수 있다.

또한, 본 발명의 일 실시예에 따른 실시간 VFX 및 XR 영상 송출을 위한 올인원 라이브 편집 서비스 방법 및 그 장치와 시스템에 의하면, 공연 촬영부터 영상 송출까지의 단계를 원-스텝으로 구현시킴으로써 필요한 중계 인력을 감축시키고 장비도 간소화시킬 수 있다.

한편, 본 명세서에 기재된 다양한 실시예들은 하드웨어, 미들웨어, 마이크로코드, 소프트웨어 및/또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 실시예들은 하나 이상의 주문형 반도체(ASIC)들, 디지털 신호 프로세서(DSP)들, 디지털 신호 프로세싱 디바이스(DSPD)들, 프로그램어블 논리 디바이스(PLD)들, 필드 프로그램어블 게이트 어레이(FPGA)들, 프로세서들, 컨트롤러들, 마이크로컨트롤러들, 마이크로프로세서들, 여기서 제시되는 기능들을 수행하도록 설계되는 다른 전자 유닛들 또는 이들의 조합 내에서 구현될 수 있다.

또한, 예를 들어, 다양한 실시예들은 명령들을 포함하는 컴퓨터-판독가능한 매체에 수록되거나 인코딩될 수 있다. 컴퓨터-판독가능한 매체에 수록 또는 인코딩된 명령들은 프로그램 가능한 프로세서 또는 다른 프로세서로 하여금 예컨대,　명령들이 실행될 때 방법을 수행하게끔 할 수 있다. 컴퓨터-판독가능한 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 예를 들어, 이러한 컴퓨터-판독가능한 매체는 RAM, ROM, EEPROM, CD-ROM　또는 기타 광학 디스크 저장 매체, 자기 디스크 저장 매체 또는 기타 자기 저장 디바이스를 포함할 수 있다.

이러한 하드웨어, 소프트웨어, 펌웨어 등은 본 명세서에 기술된 다양한 동작들 및 기능들을 지원하도록 동일한 디바이스 내에서 또는 개별 디바이스들 내에서 구현될 수 있다. 추가적으로, 본 발명에서 "~부"로 기재된 구성요소들, 유닛들, 모듈들, 컴포넌트들 등은 함께 또는 개별적이지만 상호 운용 가능한 로직 디바이스들로서 개별적으로 구현될 수 있다. 모듈들, 유닛들 등에 대한 서로 다른 특징들의 묘사는 서로 다른 기능적 실시예들을 강조하기 위해 의도된 것이며, 이들이 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 실현되어야만 함을 필수적으로 의미하지 않는다. 오히려, 하나 이상의 모듈들 또는 유닛들과 관련된 기능은 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 수행되거나 또는 공통의 또는 개별의 하드웨어 또는 소프트웨어 컴포넌트들 내에 통합될 수 있다.

특정한 순서로 동작들이 도면에 도시되어 있지만, 이러한 동작들이 원하는 결과를 달성하기 위해 도시된 특정한 순서, 또는 순차적인 순서로 수행되거나, 또는 모든 도시된 동작이 수행되어야 할 필요가 있는 것으로 이해되지 말아야 한다. 임의의 환경에서는, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 더욱이, 상술한 실시예에서 다양한 구성요소들의 구분은 모든 실시예에서 이러한 구분을 필요로 하는 것으로 이해되어서는 안되며, 기술된 구성요소들이 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키징될 수 있다는 것이 이해되어야 한다.

이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

100: 올인원 라이브 편집 서비스 장치
110: 제어 모듈
120: 통신 모듈
130: VFX 합성 모듈
131: VFX 소스 선택부
132: 타임코드 동기화부
133: 영상 설정부
140: 멀티뷰 구현 모듈
141: PVW 출력부
142: PGM 출력부
143: 사용자 설정부
150: 라이브 편집 모듈
151: PGM 지정부
152: 트랜지션부
153: 카메라 제어부
154: 오디오 동기화부
155: 미디어 합성부
156: PIP 설정부
160: 저장 모듈
200: 촬영 카메라
300: 워크스테이션
1000: 올인원 라이브 편집 서비스 시스템

Claims

올인원 라이브 편집 서비스 장치(100)로서,
촬영 카메라(200)로부터 영상 데이터를 수신하도록 구성되는 통신 모듈(120); 및
상기 수신된 영상 데이터에 VFX 소스 데이터를 합성하도록 구성되는 VFX 합성 모듈(130)을 포함하는,
올인원 라이브 편집 서비스 장치(100).
제 1항에 있어서,
상기 VFX 합성 모듈(130)은, 상기 VFX 소스 데이터를 상기 영상 데이터의 타임코드에 동기화시키도록 구성되는 타임코드 동기화부(132)를 포함하는,
올인원 라이브 편집 서비스 장치(100).
제 1항에 있어서,
상기 VFX 소스 데이터가 합성된 상기 영상 데이터를 기반으로 워크스테이션(300)에 멀티뷰를 구현하도록 구성되는 멀티뷰 구현 모듈(140)을 더 포함하는,
올인원 라이브 편집 서비스 장치(100).
제 3항에 있어서,
상기 멀티뷰 구현 모듈(140)은, 적어도 하나 이상의 상기 영상 데이터를 상기 워크스테이션(300)에 출력시킴으로써 PVW(preview) 영상을 구현하도록 구성되는 PVW 출력부(141)를 포함하는,
올인원 라이브 편집 서비스 장치(100).
올인원 라이브 편집 서비스 시스템(1000)으로서,
제 1항에 따른 올인원 라이브 편집 서비스 장치(100);
상기 올인원 라이브 편집 서비스 장치(100)와 통신 가능하게 결합되는 촬영 카메라(200); 및
상기 올인원 라이브 편집 서비스 장치(100)와 통신 가능하게 결합되는 워크스테이션(300)을 포함하는,
올인원 라이브 편집 서비스 시스템(1000).
올인원 라이브 편집 서비스 방법으로서,
촬영 카메라로부터 영상 데이터를 수신하는 단계; 및
상기 수신된 영상 데이터에 VFX 소스 데이터를 합성하는 단계를 포함하는,
올인원 라이브 편집 서비스 방법.
제 6항에 있어서,
상기 수신된 영상 데이터에 VFX 소스 데이터를 합성하는 단계는, 상기 VFX 소스 데이터를 상기 영상 데이터의 타임코드에 동기화시키는 단계를 포함하는,
올인원 라이브 편집 서비스 방법.
제 6항에 있어서,
상기 VFX 소스 데이터가 합성된 상기 영상 데이터를 기반으로 워크스테이션에 멀티뷰를 구현하는 단계를 더 포함하는,
올인원 라이브 편집 서비스 방법.
제 8항에 있어서,
상기 VFX 소스 데이터가 합성된 상기 영상 데이터를 기반으로 워크스테이션에 멀티뷰를 구현하는 단계는, 적어도 하나 이상의 상기 영상 데이터를 상기 워크스테이션에 출력시킴으로써 PVW 영상을 구현하는 단계를 포함하는,
올인원 라이브 편집 서비스 방법.
하드웨어인 컴퓨터와 결합되어, 제 6항 내지 제 9항 중 어느 한 항에 따른 방법을 수행할 수 있도록 컴퓨터 판독 가능한 기록 매체에 저장되는,
컴퓨터 프로그램.