KR102081067B1

KR102081067B1 - 스튜디오 환경에서의 비디오 믹싱 플랫폼

Info

Publication number: KR102081067B1
Application number: KR1020180076906A
Authority: KR
Inventors: 손정균; 이정원
Original assignee: (주)진명아이앤씨
Priority date: 2018-07-03
Filing date: 2018-07-03
Publication date: 2020-02-25
Also published as: KR20200004009A

Abstract

본 발명은 스튜디오 환경에서의 비디오 믹싱 플랫폼에 관한 것으로, 스튜디오 환경에서 방송콘텐츠를 제작할 때, 카메라로부터 입력되는 영상데이터로부터 적어도 하나 이상의 3차원 객체 추출하고, 상기 영상데이터로부터 상기 추출한 3차원 객체에 대한 레이어를 구분하여, 상기 추출한 3차원 객체를 상기 구분한 레이어에 해당하는 가상비디오의 레이어와 믹싱하는 레이어 기반 비디오 믹싱 기술을 제공함으로써, 보다 생동감있고 현실성 있는 증강현실, 혼합현실 또는 가상현실을 구현한 방송콘텐츠를 제작할 수 있도록 하는 스튜디오 환경에서의 비디오 믹싱 플랫폼에 관한 것이다.

Description

스튜디오 환경에서의 비디오 믹싱 플랫폼{PLATFORM FOR VIDEO MIXING IN STUDIO ENVIRONMENT}

본 발명은 스튜디오 환경에서의 비디오 믹싱 플랫폼에 관한 것으로, 더욱 상세하게는 스튜디오 환경에서 방송콘텐츠를 제작할 때, 카메라로부터 입력되는 영상데이터로부터 적어도 하나 이상의 3차원 객체 추출하고, 상기 영상데이터로부터 상기 추출한 3차원 객체에 대한 레이어를 구분하여, 상기 추출한 3차원 객체를 상기 구분한 레이어에 해당하는 가상비디오의 레이어와 믹싱하는 레이어 기반 비디오 믹싱 기술을 제공함으로써, 보다 생동감있고 현실성 있는 방송콘텐츠를 제작할 수 있도록 하는 스튜디오 환경에서의 비디오 믹싱 플랫폼에 관한 것이다.

최근 산업발전과 영상 및 이미지 처리 기술의 급격한 발전으로 인해 실제 환경에 가상의 정보를 융합한 증강현실(augmented reality) 기술이 급속하게 발전하고 있다.

일반적으로 증강현실(augmented reality)은 현실을 기반으로 가상의 사물이나 가상의 정보를 실시간으로 결합하여 보여주는 기술로써, 과거에는 TV자막이나 컴퓨터 그래픽 등에서 자주 사용되어 왔으나, 최근에는 게임이나, 스포츠, 방송, 의료, 교육, 모바일 등과 같이 인간 생활과 밀접한 연관이 있는 다양한 분야로 확대되고 있어, 증강현실 기술에 대한 대중의 관심이 급격하게 증대되고 있다.

특히 상기 증강현실은 방송분야에서도 적극적으로 도입되어 실용화되고 있으며, 일기예보, 뉴스, 선거방송 등과 같이 스튜디오 방식의 환경에서 증강현실 기반의 방송콘텐츠를 제작하기 위한 주요 핵심기술로 이용되고 있다.

종래의 방송콘텐츠는 특정 색상으로 구성되는 배경색을 기반으로 대상을 촬영하고, 상기 단색배경의 키값을 제거하여 가상의 배경과 융합하는 크로마키 방식을 주로 이용하여 증강현실을 구현하였다.

그러나 크로마키 방식은 배경에서 관심영역을 분리하기 위해 배경색이 단일 색상으로 구성된 스튜디오에서 피사체를 촬영하여, 새로운 배경플레이트와 관심영역을 중첩하는 기술로써, 하나의 키값만을 제거할 수 있기 때문에 반드시 단일 색상의 배경을 두고 촬영해야하는 문제점이 있다.

또한 크로마키 방식은 실제 스튜디오 테이블이 포함한 각종 시설들이 미리 준비되어 있어야 하며, 빛의 밝기, 그림자 등과 같은 다양한 외부환경 요인들로 인해 상기 배경색이 조금씩 달라질 수 있기 때문에 완벽한 영상합성은 거의 불가능한 단점이 있다. 이로 인해, 크로마키 방식을 이용하여 증강현실을 구현한 방송콘텐츠는 현실성이 현저하게 떨어지며, 상기 방송콘텐츠를 제작할 수 있는 환경이 매우 제한적인 문제점이 있다.

이에 본 발명은 스튜디오 환경에서 방송콘텐츠를 제작할 때, 3D 카메라로부터 입력되는 3차원 영상데이터와 이에 대한 깊이영상을 이용하여, 사용자가 원하는 3차원 객체를 간편하게 추출하여, 레이어 기반 비디오 믹싱 기술을 통해 상기 추출한 3차원 객체와 미리 저작하여 저장한 가상 오브젝트 또는 이들의 조합을 가상비디오와 믹싱함으로써, 증강현실, 혼합현실 또는 가상현실을 구현한 방송콘텐츠를 제작할 수 있도록 하여, 보다 현실감있는 방송콘텐츠를 시청자에게 제공할 수 있도록 하고, 또한 단일 색상의 배경 스크린이 없는 환경에서도 고품질의 방송콘텐츠를 제작할 수 있도록 하는 스튜디오 환경에서의 레이어 기반 비디오 믹싱 플랫폼을 제공하고자 한다.

다음으로 본 발명의 기술분야에 존재하는 선행기술에 대하여 간단하게 설명하고, 이어서 본 발명이 상기 선행기술에 비해서 차별적으로 이루고자 하는 기술적 사항에 대해서 기술하고자 한다.

먼저 한국등록특허 제1225421호(2013.01.16.)는 중첩 레이어를 활용한 증강현실 기반의 크로마키 방법에 관한 것으로, 촬영영상으로부터 크로마키 방식을 이용하여 전경과 배경을 검출하고, 상기 검출한 전경에서 마커가 검출된 경우, 가상 객체를 증강시킨 후, 상기 검출한 전경과 새로운 배경 및 증강된 가상 객체를 개별 레이어로 구성하여 중첩시킴으로써, 가상스튜디오를 실시간으로 구성하는 중첩 레이어를 활용한 증강 현실 기반의 크로마키 방법에 관한 것이다.

상기 선행기술은 촬영영상을 크로마키 방식으로 배경과 전경을 분리한 후, 마커를 기반으로 검출되는 가상의 객체와 상기 전경 및 새로운 배경을 개별 레이어로 구성하여, 각 레이어를 중첩시킴으로써 가상스튜디오를 구성하는 것이다.

상기 선행기술은 전경을 검출함에 있어, 종래의 크로마키 기술을 적용하기 때문에 결국 단일색상의 배경 플레이트로 구성되는 스튜디오 환경 하에서만 적용이 가능하며, 빛이나 그림자 등과 같은 외부환경으로 인해 완벽한 영상합성이 불가능하기 때문에 고품질의 증강현실을 구현하기에는 매우 어려운 문제점을 내포하고 있다.

반면에 본 발명은 3D 카메라로부터 입력되는 영상데이터를 토대로 가상현실로 구현할 3차원 객체를 추출하고, 상기 3차원 객체에 대한 레이어를 구분하여, 상기 추출한 3차원 객체를 상기 구분한 레이어에 따라 가상비디오의 레이어와 믹싱함으로써, 증강현실, 혼합현실 또는 가상현실을 구현한 새로운 비디오(즉, 방송콘텐츠)를 제작할 수 있도록 함으로써, 단일색상의 배경플레이트나 마커 등과 같은 다수의 시설을 구비하지 않고서도 상기 3D 카메라가 설치된 다양한 장소에서 현실감 높은 방송콘텐츠를 제작할 수 있도록 하는 것으로, 상기 선행기술은 이러한 본 발명의 기술적 특징에 대해서는 아무런 기재가 없어, 본 발명과 목적, 구성, 효과에 있어서 명확한 차이점이 있다.

또한 한국등록특허 제0918392호(2009.09.15.)는 콘텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법에 관한 것으로, 외부로부터 입력받은 2D 영상으로부터 사용자 객체를 인식하여 분할하고, 상기 분할한 사용자 객체에 AR 가상 객체를 오버랩함으로써, 가상의 콘텐츠를 제작할 수 있도록 하는 콘텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법에 관한 것이다.

상기 선행기술은 2D 입력 영상에 대해 일정 시간 정적 배경을 학습하여, 동적인 사용자 객체를 추출함으로써, 가상의 콘텐츠를 제작할 수 있도록 하는 것이다.

반면에 본 발명은 3D 카메라로부터 입력되는 영상데이터로부터 3차원 객체를 추출하고, 상기 추출한 3차원 객체를 레이어 기반 비디오 믹싱 기술을 통해 가상비디오와 믹싱할 수 있도록 하여, 증강현실, 혼합현실 또는 가상현실을 구현한 다양한 고품질의 방송콘텐츠를 제작할 수 있도록 하는 것으로, 상기 선행기술은 이러한 본 발명의 기술적 특징에 대해서 기재하거나 시사하고 있지 않다.

이상에서 선행기술들을 검토한 결과 대부분의 선행기술들은 촬영영상의 실제 객체를 추출하여 가상의 객체와 중첩하여 증강현실을 구현하는 기본적인 개념만을 기재하고 있을 뿐, 3D 카메라로부터 입력되는 영상데이터에서 3차원 객체를 추출하고, 상기 3차원 객체와 미리 제작된 가상비디오를 레이어 기반으로 믹싱함으로써, 보다 현실감 있는 방송콘텐츠를 제작하는 구성에 대해서는 구체적인 기재나 아무런 시나 또는 암시가 없기 때문에 본 발명과 상기 선행기술들의 기술적 차이점은 분명하다.

본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 스튜디오 환경에서, 3D 카메라로부터 입력되는 3차원 영상데이터와 3차원 영상데이터에 대한 깊이영상을 이용하여, 스튜디오 배경이 삭제된 3차원 객체에 대한 컬러영상을 쉽고 간편하게 추출할 수 있도록 하는 스튜디오 환경에서의 레이어 기반 비디오 믹싱 플랫폼을 제공하는 것을 그 목적으로 한다.

이를 통해 본 발명은 3차원 객체를 추출하기 위한 별도의 배경플레이트나 마커를 이용하지 않고서도 간편하고 효율적으로 3차원 객체에 대한 컬러영상을 추출할 수 있는 것이다.

또한 본 발명은 상기 추출한 3차원 객체 및 오브젝트와 전경이나 배경으로 사용하기 위한 가상비디오를 레이어 기반으로 믹싱함으로써, 현실감이 현저하게 높은 증강현실, 혼합현실 또는 가상현실을 구현한 방송콘텐츠를 제작할 수 있도록 하는 스튜디오 환경에서의 레이어 기반 비디오 믹싱 플랫폼을 제공하는 것을 또 다른 목적으로 한다.

또한 본 발명은 상기 가상비디오의 레이어에 상기 3차원 객체 및 가상 오브젝트를 믹싱하는 레이어 기반 비디오 믹싱 기술을 토대로 종래의 크로마키 방식을 이용한 스튜디오 방식의 방송제작환경을 개선하고, 보다 현실성 있는 가상현실을 구현한 방송콘텐츠를 실시간으로 제작하여 제공할 수 있도록 하는 스튜디오 환경에서의 레이어 기반 비디오 믹싱 플랫폼을 제공하는 것을 또 다른 목적으로 한다.

본 발명의 일 실시예에 따른 스튜디오 환경에서의 레이어 기반 비디오 믹싱 플랫폼은 스튜디오 환경에서 3차원 영상데이터와 상기 3차원 영상데이터에 대한 깊이영상을 입력받는 영상데이터 입력부, 상기 깊이영상을 이용하여 상기 3차원 영상데이터로부터 3차원 객체를 추출하는 3차원 객체 추출부, 상기 깊이영상으로부터 상기 3차원 객체에 대한 레이어를 구분하는 레이어 정보 추출부, 상기 3차원 객체를 상기 구분한 3차원 객체에 대한 레이어에 따라 가상비디오의 해당 레이어와 믹싱하는 레이어 믹서를 포함하며, 상기 스튜디오 환경에서 깊이영상으로 3차원 객체를 추출하고, 상기 3차원 객체의 레이어를 구분하며, 상기 구분된 레이어에 따라 3차원 객체를 가상비디오의 레이어와 믹싱함으로써, 새로운 비디오를 생성하는 것을 특징으로 한다.

또한 상기 3차원 객체는, 상기 깊이영상의 공간에 대한 깊이값과 3차원 객체에 대한 깊이값을 이용하여 상기 3차원 영상데이터로부터 상기 스튜디오 배경과 상기 3차원 객체를 분리함으로써, 추출되는 것을 특징으로 한다.

또한 상기 레이어 정보 추출부는, 상기 깊이영상의 깊이값에 따라 스튜디오 배경과 3차원 객체에 대한 레이어를 각각 구성함으로써, 상기 3차원 객체에 대한 레이어를 구분하는 것을 특징으로 한다.

또한 상기 레이어 믹서는, 상기 가상비디오의 각 프레임별로 상기 구분한 3차원 객체에 대한 레이어와 동일한 깊이값을 가지는 레이어를 포함하도록 구성하고, 상기 추출한 3차원 객체를 상기 구분한 3차원 객체에 대한 레이어에 따라 상기 구성한 가상비디오의 각 프레임별 레이어에 상기 3차원 객체를 삽입함으로써, 상기 믹싱을 수행하는 것을 특징으로 한다.

또한 상기 레이어 믹서는, 상기 추출된 3차원 객체, 사용자에 의해 선택된 적어도 하나 이상의 가상 오브젝트 또는 이들의 조합을 상기 가상비디오의 레이어와 믹싱하여 새로운 비디오를 생성하는 것을 더 포함하며, 상기 가상 오브젝트는 가상의 그래프, 텍스트, 사물, 동물 또는 이들의 조합을 포함하는 것을 특징으로 한다.

또한 상기 가상비디오는, 상기 3차원 객체와 믹싱되는 비디오로 가상환경을 모델링한 영상, 카메라로 촬영한 촬영영상, 애니메이션 영상 또는 그래픽 영상을 포함한 3차원 또는 3차원 비디오를 의미하며, 적어도 하나 이상의 레이어를 포함한 복수의 프레임을 시간의 흐름에 따라 연결하여 구성되며, 상기 각 프레임별 레이어에 믹싱되는 3차원 객체의 삽입 위치에 따라 증강현실, 혼합현실 또는 가상현실의 배경, 전경 또는 이들의 조합으로 사용되는 것을 특징으로 한다.

아울러 본 발명의 일실시예에 따른 스튜디오 환경에서의 레이어 기반 비디오 믹싱 방법은, 스튜디오 환경에서 3차원 영상데이터와 상기 3차원 영상데이터에 대한 깊이영상을 입력받는 영상데이터 입력 단계, 상기 깊이영상을 이용하여 상기 3차원 영상데이터로부터 3차원 객체를 추출하는 3차원 객체 추출 단계, 상기 깊이영상으로부터 상기 3차원 객체에 대한 레이어를 구분하는 레이어 정보 추출 단계, 상기 3차원 객체를 상기 구분한 3차원 객체에 대한 레이어에 따라 가상비디오의 해당 레이어와 믹싱하는 단계를 포함하며, 상기 스튜디오 환경에서 깊이영상으로 3차원 객체를 추출하고, 상기 3차원 객체의 레이어를 구분하며, 상기 구분된 레이어에 따라 3차원 객체를 가상비디오의 레이어와 믹싱함으로써, 새로운 비디오를 생성하는 것을 특징으로 한다.

또한 상기 레이어 정보 추출 단계는, 상기 깊이영상의 깊이값에 따라 스튜디오 배경과 3차원 객체에 대한 레이어를 구성함으로써, 상기 3차원 객체에 대한 레이어를 구분하는 것을 특징으로 한다.

또한 상기 믹싱하는 단계는, 상기 가상비디오의 각 프레임별로 상기 구분한 3차원 객체에 대한 레이어와 동일한 깊이값을 가지는 레이어를 포함하도록 구성하고, 상기 추출한 3차원 객체를 상기 구분한 3차원 객체에 대한 레이어에 따라 구성한 상기 가상비디오의 각 프레임별 레이어에 상기 3차원 객체를 삽입함으로써, 상기 믹싱을 수행하는 것을 특징으로 한다.

또한 상기 믹싱하는 단계는, 상기 추출된 3차원 객체, 사용자에 의해 선택된 적어도 하나 이상의 가상 오브젝트 또는 이들의 조합을 상기 가상비디오의 레이어와 믹싱하여 새로운 비디오를 생성하는 것을 더 포함하며, 상기 가상 오브젝트는 가상의 그래프, 텍스트, 사물, 동물 또는 이들의 조합을 포함하는 것을 특징으로 하는 스튜디오 환경에서의 레이어 기반 비디오 믹싱 방법.

이상에서와 같이 본 발명의 스튜디오 환경에서의 레이어 기반 비디오 믹싱 플랫폼은 스튜디오 환경에서 증강현실, 혼합현실 또는 가상현실 기반의 방송콘텐츠를 제작할 때, 3D 카메랄로부터 입력되는 영상데이터를 이용하여 관심영역에 대한 적어도 하나 이상의 3차원 객체를 쉽고 간편하게 추출할 수 있는 효과가 있다.

또한 본 발명은 상기 추출한 3차원 객체와 가상비디오를 레이어 기반으로 믹싱함으로써, 현실감이 현저하게 높은 방송콘텐츠를 제작할 수 있도록 하는 효과가 있다.

즉, 본 발명은 상기 3차원 객체를 추출하는 과정과 상기 믹싱하는 과정을 통해 사용자의 니즈에 적합한 고품질의 가상현실을 구현한 방송콘텐츠를 제작할 수 있도록 하는 효과가 있다.

또한 본 발명은 상기 추출한 3차원 객체뿐만 아니라, 가상의 그래프, 동물, 사물, 건물 또는 이들의 조합을 포함하는 가상 오브젝트를 상기 가상비디오에 믹싱할 수 있도록 함으로서, 더욱 생동감 있는 방송콘텐츠를 제작할 수 있도록 하는 효과가 있다.

도 1은 본 발명의 일 실시예에 따른 스튜디오 환경에서의 레이어 기반 비디오 믹싱 플랫폼을 개략적으로 설명하기 위해 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 스튜디오 환경에서의 레이어 기반 비디오 믹싱 플랫폼의 동작과정을 설명하기 위해 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 스튜디오 환경에서의 레이어 기반 비디오 믹싱 플랫폼의 구성을 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 스튜디오 환경에서의 레이어 기반 비디오 믹싱 플랫폼을 통해 가상현실을 구현한 방송콘텐츠를 생성하기 위한 레이어 기반 비디오 믹싱 방법을 설명하기 위해 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 레이어 기반 비디오 믹싱 플랫폼을 통해 가상현실을 구현한 방송콘텐츠를 제작하기 위한 레이어 기반 비디오 믹싱과정을 나타낸 흐름도이다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 또한 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는 것이 바람직하다.

도 1은 본 발명의 일 실시예에 따른 스튜디오 환경에서의 레이어 기반 비디오 믹싱 플랫폼을 개략적으로 설명하기 위해 나타낸 개념도이다.

도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 스튜디오 환경에서의 레이어 기반 비디오 믹싱 플랫폼(100)(이하, 레이어 기반 비디오 믹싱 플랫폼이라 칭함)은 카메라로부터 입력되는 영상데이터를 토대로 증강현실, 혼합현실 또는 가상현실을 구현한 방송콘텐츠를 제작하여 송출함으로써, 시청자 디바이스(200)로 제공할 수 있다.

이때, 상기 레이어 기반 비디오 믹싱 플랫폼(100)은 종래의 크로마키 방식의 문제점을 극복하고, 보다 현실감 있는 가상현실을 구현한 방송콘텐츠를 제작할 수 있도록 레이어 믹서 기반의 영상처리를 위한 사용자 인터페이스를 사용자(예: 방송콘텐츠 제작자)에게 제공한다.

카메라는 3D 카메라(200)를 의미하며, 상기 영상데이터는 3차원 영상데이터와 상기 3차원 영상데이터에 대한 깊이영상을 포함한다.

한편 상기 3D 카메라(200)는 방송콘텐츠를 제작하기 위한 스튜디오 내부에 위치하는 피사체(즉, 실제 객체)를 촬영하기 위한 것으로, 촬영대상 영역으로 적외선 신호를 방출하고, 적외선 깊이센서를 통해 상기 방출한 적외선 신호가 상기 촬영대상 영역 내의 물체에 반사되어 돌아오는 시간을 계산하는 TOF(time of flight) 방식을 통해 물체까지의 거리를 측정하여 상기 촬영대상 영역에 대한 깊이영상을 실시간으로 생성하여, 이를 기반으로 사용자가 원하는 3차원 객체를 추출할 수 있도록 한다.

또한 3D 카메라(200)의 3차원 영상데이터에 대한 깊이영상은 깊이값이 포함되어 있으므로, 스튜디오의 배경과 3차원 객체의 구분 및 분리가 용이하다. 이를 토대로 상기 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 깊이영상을 이용하여 상기 3차원 영상데이터로부터 스튜디오 배경을 삭제함으로써, 적어도 하나 이상의 3차원 객체를 용이하게 추출할 수 있다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 사용자가 레이어 기반 비디오 믹싱 기술을 통해 방송콘텐츠를 제작할 수 있도록 사용자 인터페이스를 제공한다.

따라서 사용자는 자신이 구비한 사용자 단말(400)을 통해 상기 레이어 기반 비디오 믹싱 플랫폼(100)에 접속하여 상기 사용자 인터페이스를 통해 증강현실, 혼합현실 또는 가상현실을 구현한 새로운 비디오(즉, 방송콘텐츠)를 제작하기 위한 전반적인 작업을 수행할 수 있다.

또한 레이어 기반 비디오 믹싱 플랫폼폼(100)은 3D 카메라(200)로부터 3차원 영상데이터와 3차원 영상데이터에 대한 깊이영상을 입력받아, 상기 깊이영상을 이용하여 상기 3차원 영상데이터로부터 적어도 하나 이상의 3차원 객체를 추출한다.

이때, 상기 3차원 객체는 증강현실, 혼합현실 또는 가상현실로 구현되어 방송콘텐츠로 제작될 관심영역을 의미한다. 즉, 상기 3차원 객체는 상기 스튜디오의 촬영대상 영역에 위치하는 액터(actor), 사물, 물건, 동물 등과 같이 스튜디오 환경에서 방송콘텐츠를 제작하는 사용자에 의해 상기 가상현실로 구현할 대상을 의미하는 것이다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 적어도 하나 이상의 가상비디오를 제공하며, 사용자는 상기 추출한 3차원 객체를 사용자가 원하는 임의의 가상비디오와 믹싱함으로써, 상기 가상현실을 구현한 새로운 비디오인 방송콘텐츠를 제작할 수 있다.

한편 상기 가상비디오는 상기 추출한 3차원 객체와 결합되는 영상데이터로써, 가상환경을 모델링한 영상, 카메라로 촬영한 촬영영상, 애니메이션 영상, 또는 그래픽 영상을 포함한 2차원 또는 3차원 비디오를 포함한다.

즉, 상기 가상비디오는 상기 추출한 실제 3차원 객체와 결합하기 위해 미리 구비된 임의의 2차원 혹은 3차원 비디오를 의미한다.

상기 믹싱은 레이어 기반으로 수행되는 것으로, 이를 위해 상기 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 입력받은 깊이영상의 깊이값를 이용하여 상기 스튜디오 배경 및 적어도 하나 이상의 3차원 객체에 대한 레이어를 구분한다.

즉, 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 깊이영상의 깊이값에 따라 스튜디오 배경 및 적어도 하나 이상의 3차원 객체에 대한 레이어를 구성함으로써, 상기 3차원 객체에 대한 레이어를 쉽고 간편하게 구분할 수 있다.

다음으로 상기 비디오 믹싱 플랫폼(100)은 상기 가상비디오의 각 프레임을 상기 구분한 적어도 하나 이상의 3차원 객체에 대한 레이어와 동일한 깊이값을 가지는 적어도 하나 이상의 레이어를 가지도록 구성한다. 이후, 상기 3차원 객체를 상기 구분한 레이어에 따라 동일한 깊이값를 가지는 상기 구성한 레이어에 믹싱함으로써, 가상현실을 구현한 방송콘텐츠를 최종적으로 생성하게 된다.

즉, 비디오 믹싱 플랫폼(100)은 3D 카메라(200)에서 촬영한 영상데이터로부터 스튜디오 배경을 삭제하여 증강현실로 구현할 적어도 하나 이상의 3차원 객체를 추출하고, 상기 추출한 3차원 객체에 대한 전경, 배경 또는 이들의 조합으로 사용하기 위한 가상비디오를 레이어 기반으로 믹싱함으로써, 가상현실을 구현한 방송콘텐츠를 제작할 수 있도록 하는 것이다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 가상의 그래프, 텍스트 박스, 건물, 나무, 동물, 사물 또는 이들의 조합을 포함하는 가상 오브젝트를 사용자에게 제공할 수 있으며, 사용자는 선택에 따라 상기 3차원 객체 이외에 상기 가상 오브젝트를 상기 가상비디오와 믹싱할 수도 있다.

상기에서는 레이어 기반 비디오 믹싱 플랫폼(100)을 통해 상기 추출한 3차원 객체를 가상비디오와 믹싱하여 방송콘텐츠를 제작할 수 있도록 기재되어 있지만, 상기 추출한 3차원 객체 이외에 미리 저작된 적어도 하나 이상의 가상 오브젝트를 혼합하여 믹싱할 수 있도록 함으로써, 더욱 현실감 있는 방송콘텐츠를 제작할 수 있다.

즉, 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 추출한 3차원 객체, 상기 가상 오브젝트 또는 이들의 조합을 상기 가상비디오에 믹싱할 수 있도록 함으로써, 보다 생동감 있고 현실감 있는 방송콘텐츠를 제작할 수 있도록 한다.

또한 상기 가상 오브젝트는 사용자 또는 전문가에 의해 저작되어 레이어 기반 비디오 믹싱 플랫폼(100)에 제공될 수 있으며, 상기 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 가상 오브젝트를 가상 오브젝트 데이터베이스(520)에 저장 및 관리한다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 사용자의 조작을 토대로 상기 3차원 객체, 가상 오브젝트 또는 이들의 조합과 상기 가상비디오를 믹싱할 때, 상기 3차원 객체, 가상 오브젝트 또는 이들의 조합이 믹싱될 가상비디오의 각 프레임별 특정 레이어에서의 초기 위치는 물론, 시간의 경과에 따라 변화하는 각 프레임별 특정 레이어에서의 위치를 조정하여야 하며, 위치가 조정된 상기 3차원 객체, 가상 오브젝트 또는 이들의 조합과 상기 가상비디오를 시간의 경과에 따라 각 프레임별로 렌더링처리를 수행함으로써, 최종적인 방송콘텐츠를 제작할 수 있도록 한다.

이렇게 생성되는 방송콘텐츠는 종래의 기술(즉, 크로마키 방식)과는 현저한 차이점이 있다. 예를 들어 종래의 기술은 증강현실로 구현되는 객체가 미리 제작된 가상콘텐츠의 모든 프레임의 전경이나 배경에 대한 임의의 위치에 중첩, 오버레이, 삽입 등의 방식으로 구현된다. 그러나 본 발명의 일 실시예에 따른 레이어 기반 비디오 믹싱 플랫폼(100)은 각 프레임별 레이어 위치에 따라 변경하여 상기 3차원 객체, 가상 오브젝트 또는 이들의 조합을 믹싱하는 레이어 믹서 기반의 기술로 구현된다. 따라서 상기 3차원 객체 또는 가상 오브젝트가 상기 가상비디오의 전경에 위치한 상태에서 시간의 경과에 따라 배경에 위치하는 등 자유롭게 증강현실을 구현할 수 있는 것이다. 이는 본 발명에서 제시하는 핵심적인 기술적 특징 중 하나로써, 종래의 증강현실 기술과 대비되는 차이점이다.

따라서 상기 3차원 객체, 가상 오브젝트 또는 이들의 조합과 믹싱되는 가상비디오는 적어도 하나 이상의 레이어가 중첩되어 형성된 각각의 프레임을 시간의 흐름에 따라 연결하여 구성되며, 2차원, 3차원 또는 이들의 조합을 포함하는 일련의 영상 정보로써, 정적영상, 동적영상 또는 이들의 조합을 포함할 수 있다.

또한 상기 가상비디오는 상기 레이어 기반 비디오 믹싱 플랫폼(100)에서 수행하는 믹싱작업에 의해 상기 추출된 3차원 객체에 대한 전경, 배경 또는 이들의 조합으로 사용되며, 미리 제작되어 가상비디오 데이터베이스(510)에 저장 및 관리된다.

한편 상기 가상비디오는 방송콘텐츠를 제작하는 상기 사용자 또는 가상비디오 제작 전문가에 의해 제작되어 상기 레이어 기반 비디오 믹싱 플랫폼(100)으로 제공될 수 있다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 제작한 방송콘텐츠를 압축하여 송출하는 기능을 더 포함하여 구현될 수 있다. 즉, 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 제작한 방송콘텐츠를 저장 및 관리하거나, 또는 상기 방송콘텐츠의 크기를 줄이고 전송효율을 높이기 위해 상기 방송콘텐츠를 부호화하여 압축된 영상 스트림을 생성하고, 이를 네트워크를 통해 상기 레이어 기반 비디오 믹싱 플랫폼(100)과 접속된 다른 방송장비나 상기 방송콘텐츠를 시청하는 시청자 디바이스(300)로 송출하는 것이다.

한편 데이터베이스(500)는 레이어 기반 비디오 믹싱 플랫폼(100)에서 사용되는 방송콘텐츠 제작을 위한 각종 동작 프로그램을 저장관리하며, 또한 상기 3D 카메라(200)로부터 촬영된 영상데이터(즉, 3차원 영상데이터 및 이에 대한 깊이영상), 상기 추출한 3차원 객체 및 이에 대한 깊이정보를 저장 관리하기 위해 구비된다.

또한 데이터베이스(500)는 상기 복수의 가상비디오를 저장 관리하기 위한 가상비디오 데이터베이스(510), 상기 복수의 가상 오브젝트를 저장 및 관리하기 위한 가상 오브젝트 데이터베이스(520) 및 상기 제작한 방송콘텐츠를 저장 및 관리하기 위한 방송콘텐츠 데이터베이스(530)를 더 포함하여 구성될 수 있다.

또한 시청자 디바이스(300)는 스마트 TV, 스마트 폰, 데스크톱 PC 등과 같이 영상 데이터를 재생하여 출력하는 유무선 통신단말을 의미하는 것으로, 네트워크를 통해 상기 레이어 기반 비디오 믹싱 플랫폼(100)에서 제작한 방송콘텐츠를 수신하여 출력하는 기능을 수행한다.

이하에서는 도 2를 참조하여 본 발명의 일 실예에 따른 레이어 기반 비디오 믹싱 플랫폼(100)의 동작과정을 상세히 설명하도록 한다.

도 2는 본 발명의 일 실시예에 따른 스튜디오 환경에서의 레이어 기반 비디오 믹싱 플랫폼의 동작과정을 설명하기 위해 나타낸 도면이다.

도 2에 도시한 바와 같이 본 발명의 일 실시예에 따른 레이어 기반 비디오 믹싱 플랫폼(100)은 레이어 기반으로 3차원 객체와 가상비디오를 믹싱함으로써, 증강현실, 혼합현실 또는 가상현실을 구현한 방송콘텐츠를 제작하기 위한 일련의 과정을 수행할 수 있도록 사용자 인터페이스(미도시)를 제공한다.

따라서 사용자는 자신이 구비한 사용자 단말(400)을 이용하여 네트워크를 통해 레이어 기반 비디오 믹싱 플랫폼(100)에 접속하고, 상기 레이어 기반 비디오 믹싱 플랫폼(100)에서 제공하는 사용자 인터페이스를 통해 방송콘텐츠를 제작하기 위한 일련의 과정을 수행할 수 있다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 가상현실을 구현한 방송콘텐츠 제작의 토대가 되는 복수의 가상비디오를 다양한 경로를 통해 수집하거나, 직접 생성하여 가상비디오 데이터베이스(510)에 저장 관리할 수 있다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 사용자의 조작에 의해 가상현실을 구현한 방송콘텐츠를 제작하기 위해 우선, 3D 카메라(200)로 영상데이터를 입력받는다.

상기 영상데이터는 스튜디오 환경에서, 가상현실로 구현할 적어도 하나 이상의 3차원 객체를 촬영한 것으로, 3차원 영상데이터와 이에 대한 깊이영상을 포함한다.

또한 상기 영상데이터는 상기 3D 카메라(200)로부터 직접 제공받거나, 사용자 단말(200)로부터 제공받을 수 있으며, 상기 입력한 영상데이터를 데이터베이스(500)에 저장하여 관리할 수 있다.

다음으로 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 깊이영상으로부터 공간에 대한 깊이정보와 적어도 하나 이상의 3차원 객체에 대한 깊이정보를 추출한다.

다음으로 상기 추출한 깊이정보를 이용하여 상기 3차원 영상데이터로부터 스튜디오 배경을 삭제한 적어도 하나 이상의 3차원 객체를 추출한다.

이때, 상기 사용자는 상기 추출한 적어도 하나 이상의 3차원 객체로부터 방송콘텐츠로 제작할 적어도 하나 이상의 특정 3차원 객체를 선택할 수 있다.

다음으로 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 깊이영상으로부터 상기 3차원 객체에 대한 레이어를 구분한다.

즉, 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 추출한 3차원 객체에 대한 깊이정보를 가지는 레이어를 배경에 대한 레이어와 구분하는 것이다.

다음으로 상기 3차원 영상데이터로부터 3차원 객체를 추출하고, 해당 3차원 객체에 대한 레이어를 구분한 이후, 상기 3차원 객체가 증강현실, 혼합현실 또는 가상현실로 구현될 특정 가상비디오를 선택하여 상기 3차원 객체와 상기 선택한 가상비디오를 믹싱함으로써, 최종적인 방송콘텐츠를 생성한다.

즉, 레이어 기반 비디오 믹싱 플랫폼(100)은 가상비디오 데이터베이스(510)에 저장된 복수의 가상비디오를 사용자에게 제공하고, 사용자가 상기 복수의 가상비디오 중 어느 하나를 선택하도록 함으로써, 상기 선택한 특정 가상비디오를 이용하여 방송콘텐츠를 제작할 수 있도록 한다. 이때, 상기 가상비디오는 사용자가 직접 제공한 것으로 이용될 수 있음은 당연하다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 추출한 3차원 객체와 상기 선택한 가상비디오를 레이어 기반으로 믹싱을 수행하며, 이를 위해 우선, 상기 구분한 3차원 객체에 대한 레이어가 가지는 깊이값를 이용하여, 상기 가상비디오의 각 프레임이 상기 깊이값를 가지는 적어도 하나 이상의 레이어를 포함하도록 구성한다.

즉, 상기 가상비디오의 각 프레임은 상기 3차원 객체가 믹싱될 레이어를 생성하여, 상기 각 프레임이 상기 생성한 레이어를 포함하도록 구성되는 것이다.

다음으로 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 추출한 3차원 객체를 상기 구분한 레이어에 따라 동일한 깊이값를 가지는 상기 가상비디오의 각 프레임을 구성하는 해당 레이어에 믹싱함으로써, 증강현실, 혼합현실 또는 가상현실을 구현한 방송콘텐츠를 생성한다.

한편 레이어 기반 비디오 믹싱 플랫폼(100)은 가상 오브젝트 데이터베이스(520)에 저장된 복수의 가상 오브젝트를 사용자에게 제공하여, 이를 선택할 수 있도록 한다. 물론, 사용자는 상기 제공된 가상 오브젝트를 선택하지 않을 수 있다.

따라서, 상기 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 3차원 객체, 상기 가상 오브젝트 또는 이들의 조합과 상기 가상비디오를 믹싱할 수 있으며, 이를 통해 보다 생동감있고 현실감 있는 방송콘텐츠를 생성할 수 있도록 한다.

즉, 상기 3차원 객체, 가상 오브젝트 또는 이들의 조합을 기간의 흐름에 따라 레이어 기반으로 상기 가상비디오와 믹싱하여 증강현실을 구현함으로써, 가상현실을 구현한 방송콘텐츠를 제작할 수 있도록 하는 것이다. 한편 상기 믹싱과정은 도 4를 참조하여 상세히 설명하도록 한다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 제작한 방송콘텐츠를 방송콘텐츠 데이터베이스(530)에 저장하여 관리하거나, 또는 상기 방송콘텐츠를 부호화하여 압축하고, 이를 네트워크를 통해 시청자 디바이스(300)로 송출하여 시청자들이 증강현실로 구현된 방송콘텐츠를 시청할 수 있도록 한다.

도 3은 본 발명의 일 실시예에 따른 스튜디오 환경에서의 레이어 기반 비디오 믹싱 플랫폼의 구성을 나타낸 블록도이다.

도 3에 도시한 바와 같이, 본 발명의 일 실시예에 따른 레이어 기반 비디오 믹싱 플랫폼(100)은 사용자 인터페이스를 제공하는 사용자 인터페이스 제공부(110), 3D 카메라(200)로 촬영한 3차원 영상데이터와 이에 대한 깊이영상을 입력받은 영상데이터 입력부(120), 상기 입력받은 깊이영상을 이용하여 상기 3차원 영상데이터로부터 3차원 객체를 추출하는 3차원 객체 추출부(130), 상기 깊이영ㅅ아으로부터 상기 3차원 객체에 대한 레이어를 구분하는 레이어 정보 추출부(140), 가상 오브젝트를 선택하는 가상 오브젝트 선택부(150), 상기 추출한 3차원 객체, 상기 선택한 가상 오브젝트 또는 이들의 조합을 믹싱하기 위한 가상비디오를 선택하는 가상비디오 선택부(160), 상기 추출한 3차원 객체, 상기 선택한 가상 오브젝트 또는 이들의 조합을 상기 선택한 가상비디오와 믹싱하여 방송콘텐츠를 생성하는 레이어 믹서(170), 상기 생성한 방송콘텐츠를 저장, 송출 또는 이들의 조합을 수행하는 방송콘텐츠 처리부(180) 및 상기 레이어 기반 비디오 믹싱 플랫폼(100)을 전반적으로 제어하기 위한 제어부(190)를 포함하여 구성된다.

사용자 인터페이스 제공부(110)는 네트워크를 통해 접속하는 사용자 단말(400)에게 레이어 기반 비디오 믹싱을 통해 증강현실, 혼합현실 또는 가상현실을 구현한 방송콘텐츠를 제작하기 위한 일련의 과정을 수행할 수 있도록 사용자 인터페이스를 제공한다.

따라서 사용자는 상기 사용자 인터페이스를 통해 영상데이터(즉, 3차원 영상데이터 및 이에 대한 깊이영상)를 입력하고, 상기 영상데이터를 토대로 증강현실을 구현한 방송콘텐츠를 제작할 수 있다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 정당한 사용자가 해당 레이어 기반 비디오 믹싱 플랫폼(100)을 이용할 수 있도록 로그인과 같은 사용자 인증과정을 사용자 인터페이스를 통해 수행할 수 있다. 이때, 사용자는 이전에 제공한 사용자 정보(예: 사용자 ID 및 비밀번호)를 사용자 인터페이스를 통해 입력함으로써, 상기 레이어 기반 비디오 믹싱 플랫폼(100)을 이용할 수 있다.

또한 영상데이터 입력부(110)는 스튜디오 환경에서 3D 카메라(200)로 촬영된 3차원 영상데이터와 이에 대한 깊이영상을 3차원 객체 추출부(130) 및 레이어 정보 추출부(140)로 제공한다.

또한 상기 영상데이터는 3D 카메라(200), 사용자 단말(400) 또는 데이터베이스(500)에 의해 제공받을 수 있다.

또한 3차원 객체 추출부(130)는 상기 깊이영상을 이용하여 상기 3차원 영상데이터로부터 3차원 객체를 추출하는 기능을 수행한다.

즉, 상기 3차원 객체 추출부(130)는 상기 입력받은 깊이영상을 토대로 공간에 대한 깊이값과 적어도 하나 이상의 3차원 객체에 대한 깊이값을 추출하여, 상기 추출한 깊이값을 이용하여 상기 3차원 객체를 추출한다.

다시 말해, 3차원 객체 추출부(130)는 상기 깊이값을 토대로 스튜디오 배경이나 3차원 객체에 대한 레이어를 구분하고, 상기 스튜디오 배경에 대한 레이어를 제거함으로써, 상기 3차원 영상데이터로부터 상기 3차원 객체를 추출하는 것이다.

따라서, 상기 3차원 객체 추출부(130)는 3차원 영상데이터로부터 스튜디오 배경이 삭제된 3차원 객체를 추출한다.

또한 레이어 정보 추출부(140)는 상기 깊이영상으로부터 상기 3차원 객체에 대한 레이어를 구분하여, 해당 레이어에 대한 깊이값을 상기 레이어 믹서(170)에 제공한다.

또한 가상비디오 선택부(160)는 상기 추출한 3차원 객체와 믹싱하기 위한 가상비디오를 사용자로부터 선택받는다. 이때, 상기 가상비디오 선택부(160)는 가상비디오 데이터베이스(510)로부터 복수의 가상비디오를 로딩하여 상기 사용자 인터페이스를 통해 시각적으로 표시하며, 사용자는 상기 표시한 복수의 가상비디오 중 가상현실로 구현할 하나의 가상비디오를 선택할 수 있다.

상기 믹싱되는 가상비디오는 적어도 하나 이상의 레이어가 중첩, 오버레이 또는 삽입된 복수의 프레임을 시간의 흐름에 따라 결합한 2차원, 3차원 또는 이들의 조합을 포함하는 동적영상 또는 정적영상, 애니메이션 등으로 구현된 데이터를 의미한다.

또한 가상비디오는 각 프레임별 레이어에 대한 상기 3차원 객체의 삽입 위치에 따라 상기 구현될 가상현실의 배경, 전경 또는 이들의 조합으로 사용되어 최종적인 방송콘텐츠를 생성할 수 있도록 한다.

또한 레이어 믹서(170)는 상기 추출한 3차원 객체를 상기 선택한 가상비디오와 레이어 기반으로 믹싱함으로써, 증강현실, 혼합현실 또는 가상현실을 포함하는 가상현실을 구현한 방송콘텐츠를 생성한다.

상기 방송콘텐츠를 생성하기 위해, 상기 레이어 믹서(170)는 우선, 상기 구분한 3차원 객체에 대한 레이어의 깊이값을 이용하여, 상기 선택한 가상비디오의 각 프레임별로 상기 추출한 3차원 객체가 믹싱될 레이어를 생성한다.

이때, 상기 가상비디오의 각 프레임별로 생성되는 레이어는 상기 구분한 3차원 객체에 대한 레이어와 동일한 깊이값을 가짐은 상술한 바와 같다.

따라서, 상기 레이어 믹서(170)는 상기 3차원 객체 추출부(140)에서 추출한 3차원 객체를 상기 구분한 레이어에 따라 상기 생성한 가상비디오의 해당 레이어와 믹싱함으로써, 가상현실을 구현상 방송콘텐츠를 생성한다.

한편 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 추출한 3차원 객체와 함께 가상현실로 구현할 방송콘텐츠를 제작하기 위해 적어도 하나 이상의 가상 오브젝트를 선택하도록 하는 오브젝트 선택부(150)를 더 포함하여 구성될 수 있다.

가상 오브젝트 선택부(150)는 적어도 하나 이상의 가상 오브젝트를 가상 오브젝트 데이터베이스(520)로부터 로딩하여 사용자 인터페이스를 통해 사용자에게 시각적으로 표시하며, 사용자는 상기 표시된 복수의 가상 오브젝트 중 자신이 원하는 적어도 하나 이상의 가상 오브젝트를 선택할 수 있다.

상기 가상 오브젝트는 가상의 그래프, 건물, 나무 등과 같이 상기 추출한 3차원 객체와 함께 가상현실로 구현되기 위해 사용되는 것으로, 2차원, 3차원 또는 이들의 조합, 동적영상(예: 애니메이션)으로 구현될 수 있다.

즉, 본 발명의 일 실시예에 따른 레이어 기반 비디오 믹싱 플랫폼(100)은 가상현실을 구현한 방송콘텐츠를 생성하기 위해 상기 추출한 3차원 객체 이외에, 상기 방송콘텐츠에 어울리는 다양하고 생동감 넘치는 오브젝트를 구현함으로써, 상기 방송콘텐츠를 더욱 현실감 있게 생성할 수 있도록 한다.

이때, 상기 레이어 믹서(170)는 상기 객체 추출부(140)에서 추출한 3차원 객체와 상기 가상 오브젝트 선택부(150)를 통해 선택한 가상 오브젝트를 상기 선택한 가상비디오와 믹싱하여 가상현실을 구현한 방송콘텐츠를 최종적으로 생성한다.

즉, 상기 레이어 믹서(170)는 상기 3차원 객체, 가상 오브젝트 또는 이들의 조합을 상기 선택한 가상비디오의 레이어와 믹싱함으로서, 가상현실을 구현한 방송콘텐츠를 생성하는 것이다.

또한 레이어 믹서(170)는 상기 추출한 3차원 객체, 가상 오브젝트 또는 이들의 조합이 상기 가상비디오와 믹싱된 각 프레임별 특정 레이어에서의 초기 위치와 시간 경과에 따라 변화되는 위치를 조정하는 위치 조정부(미도시)와, 상기 위치 조정부에서 위치가 조정된 상기 3차원 객체, 가상 오브젝트 또는 이들의 조합과 상기 가상비디오를 시간의 경과에 따라 각 프레임별로 렌더링하는 렌더링 처리부(미도시)를 더 포함하여 구성될 수 있다.

한편 도 3에는 상기 3차원 객체 추출부(130), 레이어 정보 추출부(140), 가상 오브젝트 선택부(150), 가상비디오 선택부(160) 및 레이어 믹서(170)는 별도 구성으로 나타나 있으나, 상기 3차원 객체 추출부(130), 레이어 정보 추출부(140), 가상 오브젝트 선택부(150), 가상비디오 선택부(160)는 상기 레이어 믹서(170)에 통합되어 구현될 수 있다.

또한 방송콘텐츠 처리부(180)는 상기 생성한 방송콘텐츠를 부호화하여 압축된 영상 스트림을 생성한 후, 네트워크를 통해 방송장비, 시청자 디바이스(300) 또는 이들의 조합으로 송출하거나, 데이터베이스(500)에 저장하는 기능을 수행한다.

또한 데이터베이스(500)는 레이어 기반 비디오 믹싱 플랫폼(100)에서 사용하는 방송콘텐츠 생성을 위한 각종 동작 프로그램을 저장하고 있으며, 3D 카메라(200)로 촬영된 영상데이터, 가상비디오, 가상오브젝트, 상기 생성한 방송콘텐츠를 저장 및 관리하는 기능을 수행한다.

또한 제어부(190)는 상기 레이어 기반 비디오 믹싱 플랫폼(100)의 각 구성부분 간 데이터 이동을 포함하여, 상기 각 구성부분을 전반적으로 제어하는 기능을 수행한다.

도 4는 본 발명의 일 실시예에 따른 스튜디오 환경에서의 레이어 기반 비디오 믹싱 플랫폼을 통해 가상현실을 구현한 방송콘텐츠를 생성하기 위한 비디오 믹싱 방법을 설명하기 위해 나타낸 도면이다.

도 4에 도시한 바와 같이, 본 발명의 일 실시예에 따른 레이어 기반 비디오 믹싱 플랫폼(100)은 3D 카메라(200)로 촬영한 3차원 영상데이터와 3차원 영상데이터에 대한 깊이영상을 포함하는 영상데이터를 입력받아, 상기 깊이영상을 이용하여 상기 3차원 영상데이터로부터 3차원 객체를 추출한다.

즉, 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 깊이영상으로부터 공간에 대한 깊이값과 3차원 객체에 대한 깊이값을 이용하여 스튜디오 배경과 3차원 객체를 분리함으로써, 상기 3차원 영상데이터로부터 배경이 삭제된 3차원 객체를 추출한다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 깊이영상으로부터 3차원 객체의 깊이에 해당하는 레이어를 구분하고, 해당 레이어의 깊이값을 포함하는 레이어 정보를 추출한다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 사용자가 선택한 가상비디오의 각 프레임에 대해, 상기 추출한 레이어정보를 토대로 상기 3차원 객체를 믹싱할 적어도 하나 이상의 레이어를 구성한다.

즉, 상기 구성한 레이어는 상기 3차원 객체에 대해 구분한 레이어의 깊이값과 동일한 깊이값을 가진다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 구분한 3차원 객체의 레이어와 동일한 깊이값을 가지는 상기 구성한 가상비디오 레이어에, 상기 추출한 3차원 객체를 믹싱한다.

이때, 상기 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 가상비디오의 t1 내지 tn의 시간 흐름에 따른 각각의 프레임별 레이어를 확인하여 상기 추출한 3차원 객체를 믹싱함으로써, 가상현실이 구현된 방송콘텐츠를 생성한다.

한편 레이어 기반 비디오 믹싱 플랫폼(100)은 사용자가 선택한 가상 오브젝트를 상기 추출한 3차원 객체와 함께 상기 가상비디오와 믹싱할 수 있다.

이때, 상기 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 선택한 가상 오브젝트를 믹싱할 상기 가상비디오의 각 프레임별로 새로운 레이어를 구성하거나, 상기 3차원 객체를 믹싱한 동일한 레이어에 믹싱될 수 있다.

한편 상기 가상 오브젝트는 선택적인 것으로, 상기 가상비디오에 상기 추출한 3차원 객체만을 믹싱할 수 있음은 당연하다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 믹싱과정에 있어서, 각 프레임별로 상기 구성한 레이어에 3차원 객체, 가상 오브젝트 또는 이들의 조합을 믹싱할 때, 상기 3차원 객체, 가상 오브젝트 또는 이들의 조합에 대한 위치정보도 함께 결정한다.

이에 따라 상기 스튜디오형 비디오 믹싱 플랫폼(100)은 상기 결정한 정보를 토대로 상기 3차원 객체, 가상 오브젝트 또는 이들의 조합과 상기 가상 콘텐츠를 믹싱하여 증강현실을 구현한 방송콘텐츠를 생성한다.

이와 같이 시간의 흐름에 따라 상기 가상비디오의 각 프레임별 레이어에 상기 3차원 객체, 가상 오브젝트 또는 이들의 조합을 믹싱하면, 상기 가상현실로 구현한 방송콘텐츠에서, 시간 경과에 따라 상기 3차원 객체, 가상 오브젝트 또는 이들의 조합에 대한 움직임 또는 이동과정이 재생된다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 추출한 3차원 객체 이외에 사용자 선택에 따라 적어도 하나 이상의 가상 오브젝트를 상기 가상비디오에 믹싱할 수 있도록 함으로써, 더욱 생동감 있고 현실감 있는 방송콘텐츠를 생성할 수 있다.

이하에서는 레이어 기반 비디오 믹싱 플랫폼(100)을 통해 가상현실을 구현한 방송콘텐츠를 제작하기 위한 레이어 기반 비디오 믹싱과정을 상세하게 설명하도록 한다. 이때 본 발명의 방법에 따른 각 단계는 사용 환경이나 당업자에 의해 순서가 변경될 수 있음은 당연하다.

도 5는 본 발명의 일 실시예에 따른 레이어 기반 비디오 믹싱 플랫폼을 통해 가상현실을 구현한 방송콘텐츠를 제작하기 위한 레이어 기반 비디오 믹싱과정을 나타낸 흐름도이다.

도 5에 도시한 바와 같이, 본 발명의 일 실시예에 따른 레이어 기반의 비디오 믹싱 플랫폼을 통해 가상현실을 구현한 방송콘텐츠를 제작하기 위한 레이어 기반 비디오 믹싱과정은 우선, 레이어 기반 비디오 믹싱 플랫폼(100)은 3D 카메라(200)로부터 3차원 영상데이터와 상기 3차원 영상데이터에 대한 깊이영상을 입력받는다(S110).

한편 상기 3차원 영상데이터와 이에 대한 깊이영상은 스튜디오 내에 구비되는 3D 카메라(200)로부터 실시간으로 입력받거나, 사용자 단말(400)로부터 기존에 촬영된 3차원 영상데이터와 이에 대한 깊이영상을 입력받을 수 있다.

다음으로 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 입력받은 깊이영상을 이용하여 상기 입력받은 3차원 영상데이터로부터 적어도 하나 이상의 3차원 객체를 추출한다(S120).

즉, 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 입력받은 깊이영상으로부터 공간에 대한 깊이값과 상기 3차원 객체에 대한 깊이값을 이용하여 스튜디오 배경과 상기 3차원 객체를 분리함으로써, 상기 3차원 영상데이터로부터 스튜디오 배경이 삭제된 3차원 객체를 추출하게 되는 것이다.

다음으로 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 깊이영상을 이용하여 상기 3차원 객체에 대한 레이어를 구분한다(S130).

즉, 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 깊이영상으로부터 스튜디오 배경, 적어도 하나 이상의 3차원 객체에 대한 깊이값을 추출하여, 상기 추출한 깊이값에 대한 각각의 레이어를 구성하고, 상기 스튜디오 배경과 상기 3차원 객체에 대한 레이어를 분리함으로써, 상기 3차원 객체에 대한 레이어를 구분하는 것이다.

다음으로 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 S120단계에서 추출한 3차원 객체가 증강현실, 혼합현실 또는 가상현실로 구현될 각종 가상비디오를 가상비디오 데이터베이스(510)로부터 로딩하여 사용자로 하여금 선택할 수 있도록 한다(S140).

이때, 상기 레이어 기반 비디오 믹싱 플랫폼(100)은 가상 오브젝트 데이터베이스(520)로부터 복수의 가상 오브젝트를 사용자에게 제공하여 적어도 하나 이상의 가상 오브젝트를 선택하도록 할 수 있다.

한편 상기 가상 오브젝트는 가상의 그래프, 텍스트 박스, 건물, 사물, 동울 또는 이들의 조합을 포함하는 것으로, 상기 추출한 3차원 객체와 함께 상기 가상현실로 구현될 수 있다.

또한 상기 가상비디오 및 가상 오브젝트는 사용자 또는 전문가에 의해 제작되거나, 상기 레이어 기반 비디오 믹싱 플랫폼(100)을 통해 제작된 것으로, 상기 가상비디오 및 가상 오브젝트는 가상비디오 데이터베이스(510) 및 가상 오브젝트 데이터베이스(520)에 각각 저장되어 관리될 수 있다.

다음으로 상기 S120단계 내지 S140단계를 통해 가상현실로 구현될 3차원 객체 및 가상비디오가 결정되면, 상기 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 추출한 3차원 객체와 상기 선택한 가상비디오를 레이어 기반으로 믹싱함으로써, 방송콘텐츠를 최종적으로 생성한다(S150).

이때, 상기 사용자가 적어도 하나 이상의 가상 오브젝트를 선택한 경우, 상기 추출한 3차원 객체와 함께 상기 선택한 가상비디오와 믹싱될 수 있음은 상술한 바와 같다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 S130단계에서 구분한 3차원 객체에 대한 레이어를 토대로 상기 선택한 가상비디오의 각각의 프레임이 적어도 하나 이상의 레이어를 포함하도록 구성하고, 상기 구성한 레이어에 상기 3차원 객체를 삽입함으로써, 상기 추출한 3차원 객체와 상기 선택한 가상비디오를 믹싱한다. 이때, 상기 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 믹싱 작업을 수행할 때, 상기 가상비디오의 각 프레임별 레이어에 대한 상기 3차원 객체에 대한 초기 위치와 시간 경과에 따라 변화되는 위치를 조정해 주면서 상기 믹싱 작업을 수행한다. 한편 상기 믹싱과정은 도 3 및 도 4를 참조하여 설명하였으므로 여기서는 더 이상의 상세한 설명은 생략하도록 한다.

다음으로 상기 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 생성한 방송콘텐츠를 방송콘텐츠 데이터베이스(530)에 저장하여 관리하거나, 또는 부호화하여 압축된 영상 스트림을 생성한 다음, 네트워크를 통해 다른 방송장비나 시청자 디바이스(300)로 송출함으로써, 시청자들이 상기 방송콘텐츠를 시청할 수 있도록 한다(S160).

이상에서 설명한 바와 같이 본 발명의 일 실시예에 따른 레이어 기반 비디오 믹싱 플랫폼(100)은 제한적인 환경에서 방송콘텐츠를 제작하는 종래의 크로마키 방식을 탈피하여, 자유로운 스튜디오 환경에서 가상현실을 구현한 방송콘텐츠를 제작할 수 있도록 함으로써, 방송콘텐츠의 제작의 편의성을 사용자에게 제공할 수 있는 효과가 있다.

또한 본 발명은 레이어를 기반으로 3차원 객체, 가상의 오브젝트 또는 이들의 조합과 가상비디오를 믹싱함으로써, 보다 생동감 있고 현실성 있는 고품질의 방송 콘텐츠를 제작할 수 있는 효과가 있다.

상기에서는 본 발명에 따른 바람직한 실시예를 위주로 상술하였으나, 본 발명의 기술적 사상은 이에 한정되는 것은 아니며 본 발명의 각 구성요소는 동일한 목적 및 효과의 달성을 위하여 본 발명의 기술적 범위 내에서 변경 또는 수정될 수 있을 것이다.

아울러 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

100: 스튜디오 환경세어의 레이어 기반 비디오 믹싱 플랫폼
110: 사용자 인터페이스 제공부 120: 영상데이터 입력부
130: 3차원 객체 추출부 140: 레이어 정보 추출부
150: 가상 오브젝트 선택부 160: 가상비디오 선택부
170: 레이어 믹서 180: 방송콘텐츠 처리부
190: 제어부 200: 3D 카메라
300: 시청자 디바이스 400: 사용자 단말
500: 데이터베이스 510: 가상비디오 데이터베이스
520: 가상 오브젝트 데이터베이스 530: 방송콘텐츠 데이터베이스

Claims

스튜디오 환경에서 3차원 영상데이터와 상기 3차원 영상데이터에 대한 깊이영상을 입력받는 영상데이터 입력부;
상기 깊이영상을 이용하여 상기 3차원 영상데이터로부터 3차원 객체를 추출하는 3차원 객체 추출부;
상기 깊이영상으로부터 상기 3차원 객체에 대한 레이어를 구분하는 레이어 정보 추출부; 및
상기 3차원 객체를 상기 구분한 3차원 객체에 대한 레이어에 따라 가상비디오의 해당 레이어와 믹싱하는 레이어 믹서;를 포함하며,
상기 스튜디오 환경에서 깊이영상으로 3차원 객체를 추출하고, 상기 3차원 객체의 레이어를 구분하며, 상기 구분된 레이어에 따라 3차원 객체를 가상비디오의 레이어와 믹싱함으로써, 새로운 비디오를 생성하며,
상기 레이어 믹서는, 상기 가상비디오의 각 프레임별로 상기 구분한 3차원 객체에 대한 레이어와 동일한 깊이값을 가지는 레이어를 포함하도록 구성하고, 상기 추출한 3차원 객체를 상기 구분한 3차원 객체에 대한 레이어에 따라 구성한 가상비디오의 각 프레임별 레이어에 삽입하여 믹싱하는 것을 특징으로 하는 스튜디오 환경에서의 레이어 기반 비디오 믹싱 플랫폼.
청구항 1에 있어서,
상기 레이어 정보 추출부는,
상기 깊이영상의 깊이값에 따라 상기 스튜디오의 배경과 상기 3차원 객체에 대한 레이어를 구성함으로써, 상기 3차원 객체에 대한 레이어를 구분하는 것을 특징으로 하는 스튜디오 환경에서의 레이어 기반 비디오 믹싱 플랫폼.
삭제
청구항 1에 있어서,
상기 레이어 믹서는,
상기 추출한 3차원 객체, 사용자에 의해 선택된 적어도 하나 이상의 가상 오브젝트 또는 이들의 조합을 상기 가상비디오의 레이어와 믹싱하여 새로운 비디오를 생성하는 것을 더 포함하며,
상기 가상 오브젝트는, 가상의 그래프, 텍스트, 사물, 동물 또는 이들의 조합을 포함하는 것을 특징으로 하는 스튜디오 환경에서의 레이어 기반 비디오 믹싱 플랫폼.
청구항 1에 있어서,
상기 가상비디오는,
상기 3차원 객체와 믹싱되는 비디오로 가상환경을 모델링한 영상, 카메라로 촬영한 촬영영상, 애니메이션 영상 또는 그래픽 영상을 포함한 2차원 또는 3차원 비디오이며,
적어도 하나 이상의 레이어를 포함한 복수의 프레임을 시간의 흐름에 따라 연결하여 구성되며, 상기 각 프레임별 레이어에 믹싱되는 3차원 객체의 삽입 위치에 따라 증강현실, 혼합현실 또는 가상현실의 배경, 전경 또는 이들의 조합으로 사용되는 것을 특징으로 하는 스튜디오 환경에서의 레이어 기반 비디오 믹싱 플랫폼.
스튜디오 환경에서 3차원 영상데이터와 상기 3차원 영상데이터에 대한 깊이영상을 입력받는 영상데이터 입력 단계;
상기 깊이영상을 이용하여 상기 3차원 영상데이터로부터 3차원 객체를 추출하는 3차원 객체 추출 단계;
상기 깊이영상으로부터 상기 3차원 객체에 대한 레이어를 구분하는 레이어 정보 추출 단계; 및
상기 3차원 객체를 상기 구분한 3차원 객체에 대한 레이어에 따라 가상비디오의 해당 레이어와 믹싱하는 단계;를 포함하며,
상기 스튜디오 환경에서 깊이영상으로 3차원 객체를 추출하고, 상기 3차원 객체의 레이어를 구분하며, 상기 구분된 레이어에 따라 3차원 객체를 가상비디오의 레이어와 믹싱함으로써, 새로운 비디오를 생성하며,
상기 믹싱하는 단계는, 상기 가상비디오의 각 프레임별로 상기 구분한 3차원 객체에 대한 레이어와 동일한 깊이값을 가지는 레이어를 포함하도록 구성하고, 상기 추출한 3차원 객체를 상기 구분한 3차원 객체에 대한 레이어에 따라 구성한 가상비디오의 각 프레임별 레이어에 삽입하여 믹싱하는 것을 특징으로 하는 스튜디오 환경에서의 레이어 기반 비디오 믹싱 방법.
청구항 6에 있어서,
상기 레이어 정보 추출 단계는,
상기 깊이영상의 깊이값에 따라 상기 스튜디오의 배경과 상기 3차원 객체에 대한 레이어를 구성함으로써, 상기 3차원 객체에 대한 레이어를 구분하는 것을 특징으로 하는 스튜디오 환경에서의 레이어 기반 비디오 믹싱 방법.
삭제
청구항 6에 있어서,
상기 믹싱하는 단계는,
상기 추출한 3차원 객체, 사용자에 의해 선택된 적어도 하나 이상의 가상 오브젝트 또는 이들의 조합을 상기 가상비디오의 레이어와 믹싱하여 새로운 비디오를 생성하는 것을 더 포함하며,
상기 가상 오브젝트는, 가상의 그래프, 텍스트, 사물, 동물 또는 이들의 조합을 포함하는 것을 특징으로 하는 스튜디오 환경에서의 레이어 기반 비디오 믹싱 방법.
청구항 6에 있어서,
상기 가상비디오는,
상기 3차원 객체와 믹싱되는 비디오로 가상환경을 모델링한 영상, 카메라로 촬영한 촬영영상, 애니메이션 영상 또는 그래픽 영상을 포함한 2차원 또는 3차원 비디오이며,
적어도 하나 이상의 레이어를 포함한 복수의 프레임을 시간의 흐름에 따라 연결하여 구성되며, 상기 각 프레임별 레이어에 믹싱되는 3차원 객체의 삽입 위치에 따라 증강현실, 혼합현실 또는 가상현실의 배경, 전경 또는 이들의 조합으로 사용되는 것을 특징으로 하는 스튜디오 환경에서의 레이어 기반 비디오 믹싱 방법.