KR102462863B1 - 백그라운드 스크린 기반 스튜디오에서의 비디오 믹싱 플랫폼 - Google Patents

Abstract

본 발명의 백그라운드 스크린 기반 스튜디오에서의 비디오 믹싱 플랫폼은 영상데이터와 깊이영상을 제공하는 백그라운드 스크린 기반 스튜디오; 상기 백그라운드 스크린 기반 스튜디오에서 상기 영상데이터와 상기 깊이영상을 입력받는 영상데이터 입력부; 상기 영상데이터를 이용하여 스크린 3차원 배경을 추출하고, 상기 깊이영상을 이용하여 3차원 객체를 추출하는 3차원 객체 추출부; 상기 스크린 3차원 배경과 상기 3차원 객체에 대한 레이어를 구분하는 레이어 정보 추출부; 상기 스크린 3차원 배경과 상기 3차원 객체를 상기 레이어에 따라 가상비디오의 해당 레이어와 믹싱하는 레이어 믹서를 포함하며, 상기 백그라운드 스크린 기반 스튜디오에서 상기 영상데이터로 상기 스크린 3차원 배경을 추출하고 상기 깊이영상으로 상기 3차원 객체를 추출하고, 상기 스크린 3차원 배경과 상기 3차원 객체의 레이어를 구분하며, 상기 구분된 레이어에 따라 3차원 객체를 가상비디오의 레이어와 믹싱함으로써, 새로운 비디오를 생성하는 것을 특징으로 한다.

Description

백그라운드 스크린 기반 스튜디오에서의 비디오 믹싱 플랫폼{METHOD OF OPERATING OPEN MARKET PLATFORM THAT MATCHES USERS WITH SELLERS WHO AUTOMATICALLY RECOMMEND PRODUCTS TO USERS BASED ON ARTIFICIAL INTELLIGENCE}

본 발명은 백그라운드 스크린 기반 스튜디오에서의 비디오 믹싱 플랫폼에 관한 것이다.

최근 산업발전과 영상 및 이미지 처리 기술의 급격한 발전으로 인해 실제 환경에 가상의 정보를 융합한 증강현실(augmented reality) 기술이 급속하게 발전하고 있다.

일반적으로 증강현실(augmented reality)은 현실을 기반으로 가상의 사물이나 가상의 정보를 실시간으로 결합하여 보여주는 기술로써, 과거에는 TV자막이나 컴퓨터 그래픽 등에서 자주 사용되어 왔으나, 최근에는 게임이나, 스포츠, 방송, 의료, 교육, 모바일 등과 같이 인간 생활과 밀접한 연관이 있는 다양한 분야로 확대되고 있어, 증강현실 기술에 대한 대중의 관심이 급격하게 증대되고 있다.

특히 상기 증강현실은 방송분야에서도 적극적으로 도입되어 실용화되고 있으며, 일기예보, 뉴스, 선거방송 등과 같이 스튜디오 방식의 환경에서 증강현실 기반의 방송콘텐츠를 제작하기 위한 주요 핵심기술로 이용되고 있다.

종래의 방송콘텐츠는 특정 색상으로 구성되는 배경색을 기반으로 대상을 촬영하고, 상기 단색배경의 키값을 제거하여 가상의 배경과 융합하는 크로마키 방식을 주로 이용하여 증강현실을 구현하였다.

그러나 크로마키 방식은 배경에서 관심영역을 분리하기 위해 배경색이 단일 색상으로 구성된 스튜디오에서 피사체를 촬영하여, 새로운 배경플레이트와 관심영역을 중첩하는 기술로써, 하나의 키값만을 제거할 수 있기 때문에 반드시 단일 색상의 배경을 두고 촬영해야하는 문제점이 있다.

또한 크로마키 방식은 실제 스튜디오 테이블이 포함한 각종 시설들이 미리 준비되어 있어야 하며, 빛의 밝기, 그림자 등과 같은 다양한 외부환경 요인들로 인해 상기 배경색이 조금씩 달라질 수 있기 때문에 완벽한 영상합성은 거의 불가능한 단점이 있다. 이로 인해, 크로마키 방식을 이용하여 증강현실을 구현한 방송콘텐츠는 현실성이 현저하게 떨어지며, 상기 방송콘텐츠를 제작할 수 있는 환경이 매우 제한적인 문제점이 있다.

이에 본 발명은 크로마키 방식을 탈피하여 백그라운드 스크린(배경 영상이 3차원으로 재생되는 스크린) 스튜디오 환경에서 방송콘텐츠를 제작할 때, 카메라로부터 입력되는 영상데이터와 깊이영상을 이용하여, 사용자가 원하는 스크린 3차원 배경과 3차원 객체를 간편하게 추출하여, 레이어 기반 비디오 믹싱 기술을 통해 상기 추출한 스크린 3차원 배경과 3차원 객체와 미리 저작하여 저장한 가상 오브젝트 또는 이들의 조합을 가상비디오와 믹싱함으로써, 증강현실, 혼합현실 또는 가상현실을 구현한 방송콘텐츠를 제작할 수 있도록 하여, 보다 현실감있는 방송콘텐츠를 시청자에게 제공할 수 있도록 하고, 또한 단일 색상의 배경 스크린이 없는 환경에서도 고품질의 방송콘텐츠를 제작할 수 있도록 하는 스튜디오 환경에서의 레이어 기반 비디오 믹싱 플랫폼을 제공하고자 한다.

본 발명이 해결하고자 하는 과제는 백그라운드 스크린 기반 스튜디오에서의 비디오 믹싱 플랫폼을 제공하는 것이다.

본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

상술한 과제를 해결하기 위한 본 발명의 백그라운드 스크린 기반 스튜디오에서의 비디오 믹싱 플랫폼은 영상데이터와 깊이영상을 제공하는 백그라운드 스크린 기반 스튜디오; 상기 백그라운드 스크린 기반 스튜디오에서 상기 영상데이터와 상기 깊이영상을 입력받는 영상데이터 입력부; 상기 영상데이터를 이용하여 스크린 3차원 배경을 추출하고, 상기 깊이영상을 이용하여 3차원 객체를 추출하는 3차원 객체 추출부; 상기 스크린 3차원 배경과 상기 3차원 객체에 대한 레이어를 구분하는 레이어 정보 추출부; 상기 스크린 3차원 배경과 상기 3차원 객체를 상기 레이어에 따라 가상비디오의 해당 레이어와 믹싱하는 레이어 믹서를 포함하며, 상기 백그라운드 스크린 기반 스튜디오에서 상기 영상데이터로 상기 스크린 3차원 배경을 추출하고 상기 깊이영상으로 상기 3차원 객체를 추출하고, 상기 스크린 3차원 배경과 상기 3차원 객체의 레이어를 구분하며, 상기 구분된 레이어에 따라 3차원 객체를 가상비디오의 레이어와 믹싱함으로써, 새로운 비디오를 생성하는 것을 특징으로 할 수 있다.

상기 레이어 정보 추출부는, 상기 영상데이터와 상기 깊이영상의 깊이값에 따라 실제 배경과 상기 스크린 3차원 배경과 상기 3차원 객체에 대한 레이어를 구성함으로써, 상기 스크린 3차원 배경과 상기 3차원 객체에 대한 레이어를 구분하는 것을 특징으로 할 수 있다.

상기 레이어 믹서는, 상기 가상비디오의 각 프레임별로 상기 구분한 레이어와 동일한 깊이값을 가지는 레이어를 포함하도록 구성하고, 추출한 상기 스크린 3차원 배경과 상기 3차원 객체를 상기 구분한 레이어에 따라 상기 구성한 가상비디오의 각 프레임별 레이어에 상기 스크린 3차원 배경과 상기 3차원 객체를 삽입함으로써, 상기 믹싱을 수행하는 것을 특징으로 할 수 있다.

상기 레이어 믹서는, 추출된 상기 스크린 3차원 배경과 상기 3차원 객체를, 사용자에 의해 선택된 적어도 하나 이상의 가상 오브젝트 또는 이들의 조합을 상기 가상비디오의 레이어와 믹싱하여 새로운 비디오를 생성하는 것을 더 포함하며, 상기 가상 오브젝트는 가상의 그래프, 텍스트, 사물, 동물 또는 이들의 조합을 포함하는 것을 특징으로 할 수 있다.

상기 가상비디오는, 상기 스크린 3차원 배경과 상기 3차원 객체와 믹싱되는 비디오로 가상환경을 모델링한 영상, 카메라로 촬영한 촬영영상, 애니메이션 영상 또는 그래픽 영상을 포함한 3차원 또는 3차원 비디오를 의미하며, 적어도 하나 이상의 레이어를 포함한 복수의 프레임을 시간의 흐름에 따라 연결하여 구성되며, 상기 각 프레임별 레이어에 믹싱되는 상기 스크린 3차원 배경과 상기 3차원 객체의 삽입 위치에 따라 증강현실, 혼합현실 또는 가상현실의 배경, 전경 또는 이들의 조합으로 사용되는 것을 특징으로 할 수 있다.

본 발명의 백그라운드 스크린 기반 스튜디오에서의 비디오 믹싱 플랫폼은 스튜디오 환경에서 증강현실, 혼합현실 또는 가상현실 기반의 방송콘텐츠를 제작할 때, 3D 카메라로부터 입력되는 영상데이터를 이용하여 관심영역에 대한 적어도 하나 이상의 스크린 3차원 배경과 3차원 객체를 쉽고 간편하게 추출할 수 있는 효과가 있다.

나아가 본 발명의 백그라운드 스크린 기반 스튜디오에서의 비디오 믹싱 플랫폼은 추출한 스크린 3차원 배경과 3차원 객체와 가상비디오를 레이어 기반으로 믹싱함으로써, 현실감이 현저하게 높은 방송콘텐츠를 제작할 수 있도록 하는 효과가 있다.

본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 백그라운드 스크린 기반 스튜디오를 나타낸 개념도이다.
도 2는 본 발명의 일 실시예에 따른 백그라운드 스크린 기반 스튜디오에서의 비디오 믹싱 플랫폼을 개략적으로 설명하기 위해 나타낸 개념도이다.
도 3은 본 발명의 일 실시예에 따른 백그라운드 스크린 기반 스튜디오에서의 비디오 믹싱 플랫폼의 동작과정을 설명하기 위해 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 백그라운드 스크린 기반 스튜디오에서의 비디오 믹싱 플랫폼의 구성을 나타낸 블록도이다.
도 5는 본 발명의 일 실시예에 따른 백그라운드 스크린 기반 스튜디오에서의 비디오 믹싱 플랫폼을 통해 가상현실을 구현한 방송콘텐츠를 생성하기 위한 레이어 기반 비디오 믹싱 방법을 설명하기 위해 나타낸 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.

도 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 백그라운드 스크린 기반 스튜디오에서의 비디오 믹싱 플랫폼(100)(이하, 레이어 기반 비디오 믹싱 플랫폼이라 칭함)은 카메라로부터 입력되는 영상데이터를 토대로 증강현실, 혼합현실 또는 가상현실을 구현한 방송콘텐츠를 제작하여 송출함으로써, 시청자 디바이스(200)로 제공할 수 있다.

이 경우, 백그라운드 스크린에서는 3차원 배경영상이 재생될 수 있다. 이때, 상기 레이어 기반 비디오 믹싱 플랫폼(100)은 종래의 크로마키 방식의 문제점을 극복하고, 보다 현실감있는 가상현실을 구현한 방송콘텐츠를 제작할 수 있도록 레이어 믹서 기반의 영상처리를 위한 사용자 인터페이스를 사용자(예: 방송콘텐츠 제작자)에게 제공한다.

카메라는 3D 카메라(200)를 의미하며, 상기 영상데이터와 상기 영상데이터에 대한 깊이영상을 촬상할 수 있다.

한편, 상기 3D 카메라(200)는 방송콘텐츠를 제작하기 위한 스튜디오 내부에 위치하는 피사체(즉, 실제 객체)를 촬영하기 위한 것으로, 일반 영상데이터(RGB영상, 특징적으로, 스크린 3차원 배경은 3차원 깊이 정보를 가짐)와 촬영대상 영역으로 적외선 신호를 방출하고, 적외선 깊이센서를 통해 상기 방출한 적외선 신호가 상기 촬영대상 영역 내의 물체에 반사되어 돌아오는 시간을 계산하는 TOF(time of flight) 방식을 통해 물체까지의 거리를 측정하여 상기 촬영대상 영역에 대한 깊이영상(실제 RGB영상과 깊이정보를 포함하는 영상개념)을 실시간으로 생성하여, 이를 기반으로 사용자가 원하는 스크린 3차원 배경(스크린에 재생되는 배경)과 3차원 객체(일 예로, 배우, 소품 등)를 추출할 수 있도록 한다.

또한 3D 카메라(200)의 영상데이터에서 스크린 3차원 배경과 영상데이터에 대한 깊이영상(3차원 객체 추출)은 깊이값이 포함되어 있으므로, 스튜디오의 실제 배경과 스크린 3차원 배경/3차원 객체의 구분 및 분리가 용이하다. 이를 토대로 상기 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 영상데이터와 상기 깊이영상으로부터 스튜디오 실제 배경을 삭제함으로써, 적어도 하나 이상의 스크린 3차원 배경과 3차원 객체를 용이하게 추출할 수 있다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 사용자가 레이어 기반 비디오 믹싱 기술을 통해 방송콘텐츠를 제작할 수 있도록 사용자 인터페이스를 제공한다.

따라서 사용자는 자신이 구비한 사용자 단말(400)을 통해 상기 레이어 기반 비디오 믹싱 플랫폼(100)에 접속하여 상기 사용자 인터페이스를 통해 증강현실, 혼합현실 또는 가상현실을 구현한 새로운 비디오(즉, 방송콘텐츠)를 제작하기 위한 전반적인 작업을 수행할 수 있다.

한편, 백그라운드 스크린은 3D 카메라(200)와 전기적으로 통신하여 실제 현실에서 3D 카메라(200)의 촬상 영역을 실시간으로 인식할 수 있다. 또한, 백그라운드 스크린에는 동작 센서가 내장되어 피사체(배우)의 위치와 형태를 실시간으로 추적할 수 있다. 이에 따라, 백그라운드 스크린은 피사체(배우)의 위치가 촬상 영역의 중앙에 있는 경우 선명도가 낮은 3차원 배경영상을 재생(피사체가 비중있고 선명하게 표현될 수 있음)할 수 있으며, 피사체(배우)의 위치가 촬상 영역의 가장자리에 있는 경우 선명도가 높은 3차원 배경영상을 재생(배경영상이 비중있고 선명하게 표현될 수 있음)할 수 있다. 또한, 백그라운드 스크린은 피사체(배우)의 위치가 촬상 영역의 중앙에 있으면서 실시간 형태의 변화율이 높은 경우(배우가 격하게 움직이는 경우)에는 콘트라스트가 연조(화면의 밝은 부분과 어두운 부분 간의 격차가 적은 경우)인 3차원 배경영상을 재생(배우의 동작을 중심으로 파악)할 수 있고 피사체(배우)의 위치가 촬상 영역의 중앙에 있으면서 실시간 형태의 변화율이 낮은 경우(배우가 정적인 상태에 있는 경우)에는 콘트라스트가 경조(화면의 밝은 부분과 어두운 부분 간의 격차가 큰 경우)인 3차원 배경영상을 재생(배우와 배경의 조화를 중심으로 파악)할 수 있다. 이와 달리, 백그라운드 스크린은 피사체(배우)의 위치가 촬상 영역의 가장자리에 있으면 실시간 형태의 변화율에 관계가 없이 높은 경우 콘트라스트가 경조인 3차원 배경영상을 재생(배경에 포커싱이 되도록)할 수 있다. 나아가 백그라운드 스크린은 피사체가 복수 개인 경우, 복수 개의 피사체의 평균적인 형태와 가장 큰 차이의 형태(이미지 특징점 대비로 판독)를 가지는 피사체를 메인 피사체로 인식하여 메인 피사체의 위치와 형태로 선명도와 콘트라스트를 제어할 수 있다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 3D 카메라(200)로부터 영상데이터와 영상데이터에 대한 깊이영상을 입력받아, 상기 영상데이터로부터 스크린 3차원 배경을 추출하고 상기 깊이영상을 이용하여 3차원 객체를 추출한다.

이때, 상기 스크린 3차원 배경과 상기 3차원 객체는 증강현실, 혼합현실 또는 가상현실로 구현되어 방송콘텐츠로 제작될 관심영역을 의미한다. 즉, 상기 스크린 3차원 배경과 상기 3차원 객체는 상기 스튜디오의 촬영대상 영역에 위치하는 액터(actor), 사물, 물건, 동물 등과 같이 스튜디오 환경에서 방송콘텐츠를 제작하는 사용자에 의해 상기 가상현실로 구현할 대상을 의미하는 것이다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 적어도 하나 이상의 가상비디오를 제공하며, 사용자는 추출한 상기 스크린 3차원 배경과 상기 3차원 객체를 사용자가 원하는 임의의 가상비디오와 믹싱함으로써, 상기 가상현실을 구현한 새로운 비디오인 방송콘텐츠를 제작할 수 있다.

한편 상기 가상비디오는 추출한 상기 스크린 3차원 배경과 상기 3차원 객체와 결합되는 영상데이터로써, 가상환경을 모델링한 영상, 카메라로 촬영한 촬영영상, 애니메이션 영상, 또는 그래픽 영상을 포함한 2차원 또는 3차원 비디오를 포함한다.

즉, 상기 가상비디오는 추출한 상기 스크린 3차원 배경과 실제 상기 3차원 객체와 결합하기 위해 미리 구비된 임의의 2차원 혹은 3차원 비디오를 의미한다.

상기 믹싱은 레이어 기반으로 수행되는 것으로, 이를 위해 상기 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 입력받은 영상데이터의 깊이값(자세하게, 영상데이터 중 스크린에 재생되는 3차원 배경영상의 깊이값)과 깊이영상의 깊이값를 이용하여 상기 스튜디오 실제 배경과 적어도 하나 이상의 스크린 3차원 배경과 3차원 객체에 대한 레이어를 구분한다.

즉, 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 영상데이터의 깊이값과 깊이영상의 깊이값에 따라 스튜디오 배경 및 적어도 하나 이상의 3차원 객체에 대한 레이어를 구성함으로써, 상기 3차원 객체에 대한 레이어를 쉽고 간편하게 구분할 수 있다.

다음으로 상기 비디오 믹싱 플랫폼(100)은 상기 가상비디오의 각 프레임을 상기 구분한 적어도 하나 이상의 스크린 3차원 배경과 3차원 객체에 대한 레이어와 동일한 깊이값을 가지는 적어도 하나 이상의 레이어를 가지도록 구성한다. 이후, 상기 스크린 3차원 배경과 상기 3차원 객체를 상기 구분한 레이어에 따라 동일한 깊이값를 가지는 상기 구성한 레이어에 믹싱함으로써, 가상현실을 구현한 방송콘텐츠를 최종적으로 생성하게 된다.

즉, 비디오 믹싱 플랫폼(100)은 3D 카메라(200)에서 촬영한 영상데이터와 깊이영상으로부터 스튜디오 실제 배경을 삭제하여 증강현실로 구현할 적어도 하나 이상의 스크린 3차원 배경과 3차원 객체를 추출하고, 상기 추출한 스크린 3차원 배경과 3차원 객체에 대한 전경, 배경 또는 이들의 조합으로 사용하기 위한 가상비디오를 레이어 기반으로 믹싱함으로써, 가상현실을 구현한 방송콘텐츠를 제작할 수 있도록 하는 것이다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 가상의 그래프, 텍스트 박스, 건물, 나무, 동물, 사물 또는 이들의 조합을 포함하는 가상 오브젝트를 사용자에게 제공할 수 있으며, 사용자는 선택에 따라 상기 스크린 3차원 배경과 상기 3차원 객체 이 외에 상기 가상 오브젝트를 상기 가상비디오와 믹싱할 수도 있다.

상기에서는 레이어 기반 비디오 믹싱 플랫폼(100)을 통해 상기 추출한 스크린 3차원 배경과 3차원 객체를 가상비디오와 믹싱하여 방송콘텐츠를 제작할 수 있도록 기재되어 있지만, 상기 추출한 스크린 3차원 배경과 3차원 객체 이외에 미리 저작된 적어도 하나 이상의 가상 오브젝트를 혼합하여 믹싱할 수 있도록 함으로써, 더욱 현실감 있는 방송콘텐츠를 제작할 수 있다.

즉, 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 추출한 스크린 3차원 배경과 3차원 객체, 상기 가상 오브젝트 또는 이들의 조합을 상기 가상비디오에 믹싱할 수 있도록 함으로써, 보다 생동감 있고 현실감 있는 방송콘텐츠를 제작할 수 있도록 한다.

또한 상기 가상 오브젝트는 사용자 또는 전문가에 의해 저작되어 레이어 기반 비디오 믹싱 플랫폼(100)에 제공될 수 있으며, 상기 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 가상 오브젝트를 가상 오브젝트 데이터베이스(520)에 저장 및 관리한다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 사용자의 조작을 토대로 상기 스크린 3차원 배경과 상기 3차원 객체, 가상 오브젝트 또는 이들의 조합과 상기 가상비디오를 믹싱할 때, 상기 스크린 3차원 배경과 3차원 객체, 가상 오브젝트 또는 이들의 조합이 믹싱될 가상비디오의 각 프레임별 특정 레이어에서의 초기 위치는 물론, 시간의 경과에 따라 변화하는 각 프레임별 특정 레이어에서의 위치를 조정하여야 하며, 위치가 조정된 상기 스크린 3차원 배경과 3차원 객체, 가상 오브젝트 또는 이들의 조합과 상기 가상비디오를 시간의 경과에 따라 각 프레임별로 렌더링처리를 수행함으로써, 최종적인 방송콘텐츠를 제작할 수 있도록 한다.

이렇게 생성되는 방송콘텐츠는 종래의 기술(즉, 크로마키 방식)과는 현저한 차이점이 있다. 예를 들어 종래의 기술은 증강현실로 구현되는 객체가 미리 제작된 가상콘텐츠의 모든 프레임의 전경이나 배경에 대한 임의의 위치에 중첩, 오버레이, 삽입 등의 방식으로 구현된다. 그러나 본 발명의 일 실시예에 따른 레이어 기반 비디오 믹싱 플랫폼(100)은 각 프레임별 레이어 위치에 따라 변경하여 상기 스크린 3차원 배경과 상기 3차원 객체, 가상 오브젝트 또는 이들의 조합을 믹싱하는 레이어 믹서 기반의 기술로 구현된다. 따라서 상기 스크린 3차원 배경과 3차원 객체 또는 가상 오브젝트가 상기 가상 비디오의 전경에 위치한 상태에서 시간의 경과에 따라 배경에 위치하는 등 자유롭게 증강현실을 구현할 수 있는 것이다. 이는 본 발명에서 제시하는 핵심적인 기술적 특징 중 하나로써, 종래의 증강현실 기술과 대비되는 차이점이다.

따라서 상기 스크린 3차원 배경과 상기 3차원 객체, 가상 오브젝트 또는 이들의 조합과 믹싱되는 가상비디오는 적어도 하나 이상의 레이어가 중첩되어 형성된 각각의 프레임을 시간의 흐름에 따라 연결하여 구성되며, 2차원, 3차원 또는 이들의 조합을 포함하는 일련의 영상 정보로써, 정적영상, 동적영상 또는 이들의 조합을 포함할 수 있다.

또한 상기 가상비디오는 상기 레이어 기반 비디오 믹싱 플랫폼(100)에서 수행하는 믹싱작업에 의해 상기 추출된 스크린 3차원 배경과 3차원 객체에 대한 전경, 배경 또는 이들의 조합으로 사용되며, 미리 제작되어 가상비디오 데이터베이스(510)에 저장 및 관리된다.

한편 상기 가상비디오는 방송콘텐츠를 제작하는 상기 사용자 또는 가상비디오 제작 전문가에 의해 제작되어 상기 레이어 기반 비디오 믹싱 플랫폼(100)으로 제공될 수 있다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 제작한 방송콘텐츠를 압축하여 송출하는 기능을 더 포함하여 구현될 수 있다. 즉, 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 제작한 방송콘텐츠를 저장 및 관리하거나, 또는 상기 방송콘텐츠의 크기를 줄이고 전송효율을 높이기 위해 상기 방송콘텐츠를 부호화하여 압축된 영상 스트림을 생성하고, 이를 네트워크를 통해 상기 레이어 기반 비디오 믹싱 플랫폼(100)과 접속된 다른 방송장비나 상기 방송콘텐츠를 시청하는 시청자 디바이스(300)로 송출하는 것이다.

한편 데이터베이스(500)는 레이어 기반 비디오 믹싱 플랫폼(100)에서 사용되는 방송콘텐츠 제작을 위한 각종 동작 프로그램을 저장관리하며, 또한 상기 3D 카메라(200)로부터 촬영된 영상데이터와 깊이영상으로부터, 상기 추출한 스크린 3차원 배경과 3차원 객체 및 이에 대한 깊이정보를 저장 관리하기 위해 구비된다.

또한 데이터베이스(500)는 상기 복수의 가상비디오를 저장 관리하기 위한 가상비디오 데이터베이스(510), 상기 복수의 가상 오브젝트를 저장 및 관리하기 위한 가상 오브젝트 데이터베이스(520) 및 상기 제작한 방송콘텐츠를 저장 및 관리하기 위한 방송콘텐츠 데이터베이스(530)를 더 포함하여 구성될 수 있다.

또한 시청자 디바이스(300)는 스마트 TV, 스마트 폰, 데스크톱 PC 등과 같이 영상 데이터를 재생하여 출력하는 유무선 통신단말을 의미하는 것으로, 네트워크를 통해 상기 레이어 기반 비디오 믹싱 플랫폼(100)에서 제작한 방송콘텐츠를 수신하여 출력하는 기능을 수행한다.

도 3에 도시한 바와 같이 본 발명의 일 실시예에 따른 레이어 기반 비디오 믹싱 플랫폼(100)은 레이어 기반으로 스크린 3차원 배경과 3차원 객체와 가상비디오를 믹싱함으로써, 증강현실, 혼합현실 또는 가상현실을 구현한 방송콘텐츠를 제작하기 위한 일련의 과정을 수행할 수 있도록 사용자 인터페이스(미도시)를 제공한다. 따라서 사용자는 자신이 구비한 사용자 단말(400)을 이용하여 네트워크를 통해 레이어 기반 비디오 믹싱 플랫폼(100)에 접속하고, 상기 레이어 기반 비디오 믹싱 플랫폼(100)에서 제공하는 사용자 인터페이스를 통해 방송콘텐츠를 제작하기 위한 일련의 과정을 수행할 수 있다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 가상현실을 구현한 방송콘텐츠 제작의 토대가 되는 복수의 가상비디오를 다양한 경로를 통해 수집하거나, 직접 생성하여 가상비디오 데이터베이스(510)에 저장 관리할 수 있다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 사용자의 조작에 의해 가상현실을 구현한 방송콘텐츠를 제작하기위해 우선, 3D 카메라(200)로 영상데이터와 깊이영상을 입력받는다.

상기 영상데이터는 스튜디오 환경에서, 가상현실로 구현할 적어도 하나 이상의 스크린 3차원 배경과 3차원 객체를 촬영한 것으로, 영상데이터와 깊이영상을 포함한다. 또한 상기 영상데이터와 깊이영상은 상기 3D 카메라(200)로부터 직접 제공받거나, 사용자 단말(200)로부터 제공받을 수 있으며, 상기 입력한 영상데이터를 데이터베이스(500)에 저장하여 관리할 수 있다.

다음으로 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 영상데이터와 상기 깊이영상으로부터 스크린 3차원 배경에 대한 깊이정보와 적어도 하나 이상의 3차원 객체에 대한 깊이정보를 추출한다.

다음으로 상기 추출한 깊이정보를 이용하여 상기 영상데이터와 상기 깊이영상으로부터 스튜디오 실제 배경을 삭제한 적어도 하나 이상의 스크린 3차원 배경과 3차원 객체를 추출한다.

이때, 상기 사용자는 상기 추출한 적어도 하나 이상의 스크린 3차원 배경과 3차원 객체로부터 방송콘텐츠로 제작할 적어도 하나 이상의 특정 3차원 객체를 선택할 수 있다.

다음으로 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 영상데이터와 상기 깊이영상으로부터 상기 스크린 3차원 배경과 상기 3차원 객체에 대한 레이어를 구분한다.

즉, 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 추출한 스크린 3차원 배경과 3차원 객체에 대한 깊이정보를 가지는 레이어를 실제 배경에 대한 레이어와 구분하는 것이다.

다음으로 상기 영상데이터로부터 스크린 3차원 배경을 추출하고 상기 깊이영상으로부터 상기 3차원 객체를 추출하고, 해당 3차원 객체에 대한 레이어를 구분한 이후, 상기 3차원 객체가 증강현실, 혼합현실 또는 가상현실로 구현될 특정 가상비디오를 선택하여 상기 3차원 객체와 상기 선택한 가상비디오를 믹싱함으로써, 최종적인 방송콘텐츠를 생성한다.

즉, 레이어 기반 비디오 믹싱 플랫폼(100)은 가상비디오 데이터베이스(510)에 저장된 복수의 가상비디오를 사용자에게 제공하고, 사용자가 상기 복수의 가상비디오 중 어느 하나를 선택하도록 함으로써, 상기 선택한 특정 가상비디오를 이용하여 방송콘텐츠를 제작할 수 있도록 한다. 이때, 상기 가상비디오는 사용자가 직접 제공한 것으로 이용될 수 있음은 당연하다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 추출한 스크린 3차원 배경과 3차원 객체와 상기 선택한 가상비디오를 레이어 기반으로 믹싱을 수행하며, 이를 위해 우선, 상기 구분한 스크린 3차원 배경과 3차원 객체에 대한 레이어가 가지는 깊이값를 이용하여, 상기 가상비디오의 각 프레임이 상기 깊이값를 가지는 적어도 하나 이상의 레이어를 포함하도록 구성한다.

즉, 상기 가상비디오의 각 프레임은 상기 스크린 3차원 배경과 상기 3차원 객체가 믹싱될 레이어를 생성하여, 상기 각 프레임이 상기 생성한 레이어를 포함하도록 구성되는 것이다.

다음으로 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 추출한 스크린 3차원 배경과 3차원 객체를 상기 구분한 레이어에 따라 동일한 깊이값를 가지는 상기 가상비디오의 각 프레임을 구성하는 해당 레이어에 믹싱함으로써, 증강현실, 혼합현실 또는 가상현실을 구현한 방송콘텐츠를 생성한다.

한편 레이어 기반 비디오 믹싱 플랫폼(100)은 가상 오브젝트 데이터베이스(520)에 저장된 복수의 가상 오브젝트를 사용자에게 제공하여, 이를 선택할 수 있도록 한다. 물론, 사용자는 상기 제공된 가상 오브젝트를 선택하지 않을 수 있다.

따라서 상기 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 스크린 3차원 배경과 3차원 객체, 상기 가상 오브젝트 또는 이들의 조합과 상기 가상비디오를 믹싱할 수 있으며, 이를 통해 보다 생동감있고 현실감 있는 방송콘텐츠를 생성할 수 있도록 한다.

즉, 상기 스크린 3차원 배경과 3차원 객체, 가상 오브젝트 또는 이들의 조합을 기간의 흐름에 따라 레이어 기반으로 상기 가상비디오와 믹싱하여 증강현실을 구현함으로써, 가상현실을 구현한 방송콘텐츠를 제작할 수 있도록 하는 것이다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 제작한 방송콘텐츠를 방송콘텐츠 데이터베이스(530)에 저장하여 관리하거나, 또는 상기 방송콘텐츠를 부호화하여 압축하고, 이를 네트워크를 통해 시청자 디바이스(300)로 송출하여 시청자들이 증강현실로 구현된 방송콘텐츠를 시청할 수 있도록 한다.

도 4에 도시한 바와 같이, 본 발명의 일 실시예에 따른 레이어 기반 비디오 믹싱 플랫폼(100)은 사용자 인터페이스를 제공하는 사용자 인터페이스 제공부(110), 3D 카메라(200)로 촬영한 영상데이터와 깊이영상을 입력받은 영상데이터 입력부(120), 상기 입력받은 영상데이터와 깊이영상을 이용하여 상기 영상데이터와 깊이영상으로부터 스크린 3차원 배경과 3차원 객체를 추출하는 3차원 객체 추출부(130), 상기 영상데이터와 상기 깊이영상으로부터 상기 스크린 3차원 배경과 상기 3차원 객체에 대한 레이어를 구분하는 레이어 정보 추출부(140), 가상 오브젝트를 선택하는 가상 오브젝트 선택부(150), 상기 추출한 스크린 3차원 배경과 3차원 객체, 상기 선택한 가상 오브젝트 또는 이들의 조합을 믹싱하기 위한 가상비디오를 선택하는 가상비디오 선택부(160), 상기 추출한 스크린 3차원 배경과 3차원 객체, 상기 선택한 가상 오브젝트 또는 이들의 조합을 상기 선택한 가상비디오와 믹싱하여 방송콘텐츠를 생성하는 레이어 믹서(170), 상기 생성한 방송콘텐츠를 저장, 송출 또는 이들의 조합을 수행하는 방송콘텐츠 처리부(180) 및 상기 레이어 기반 비디오 믹싱 플랫폼(100)을 전반적으로 제어하기 위한 제어부(190)를 포함하여 구성된다.

사용자 인터페이스 제공부(110)는 네트워크를 통해 접속하는 사용자 단말(400)에게 레이어 기반 비디오 믹싱을 통해 증강현실, 혼합현실 또는 가상현실을 구현한 방송콘텐츠를 제작하기 위한 일련의 과정을 수행할 수 있도록 사용자 인터페이스를 제공한다.

따라서 사용자는 상기 사용자 인터페이스를 통해 영상데이터(즉, 영상데이터 및 이에 대한 깊이영상)를 입력하고, 상기 영상데이터를 토대로 증강현실을 구현한 방송콘텐츠를 제작할 수 있다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 정당한 사용자가 해당 레이어 기반 비디오 믹싱 플랫폼(100)을 이용할 수 있도록 로그인과 같은 사용자 인증과정을 사용자 인터페이스를 통해 수행할 수 있다. 이때, 사용자는 이전에 제공한 사용자 정보(예: 사용자 ID 및 비밀번호)를 사용자 인터페이스를 통해 입력함으로써, 상기 레이어 기반 비디오 믹싱 플랫폼(100)을 이용할 수 있다.

또한 영상데이터 입력부(110)는 스튜디오 환경에서 3D 카메라(200)로 촬영된 영상데이터와 깊이영상을 3차원 객체 추출부(130) 및 레이어 정보 추출부(140)로 제공한다.

또한 상기 영상데이터와 깊이영상은 3D 카메라(200), 사용자 단말(400) 또는 데이터베이스(500)에 의해 제공받을 수 있다.

또한 3차원 객체 추출부(130)는 상기 영상데이터와 상기 깊이영상을 이용하여 상기 영상데이터로부터 스크린 3차원 배경과 3차원 객체를 추출하는 기능을 수행한다.

즉, 상기 3차원 객체 추출부(130)는 상기 입력받은 영상데이터와 깊이영상을 토대로 스크린 3차원 배경에 대한 깊이값과 적어도 하나 이상의 3차원 객체에 대한 깊이값을 추출하여, 상기 추출한 깊이값을 이용하여 상기 스크린 3차원 배경과 상기 3차원 객체를 추출한다.

다시 말해, 3차원 객체 추출부(130)는 상기 깊이값을 토대로 스튜디오 실제 배경에서 스크린 3차원 배경과 3차원 객체에 대한 레이어를 구분하고, 상기 스튜디오 실제 배경에 대한 레이어를 제거함으로써, 상기 영상데이터로부터 상기 스크린 3차원 배경과 3차원 객체를 추출하는 것이다.

따라서 상기 3차원 객체 추출부(130)는 영상데이터와 깊이영상으로부터 스튜디오 실제 배경이 삭제된 스크린 3차원 배경과 3차원 객체를 추출한다.

또한 레이어 정보 추출부(140)는 상기 영상데이터와 상기 깊이영상으로부터 상기 스크린 3차원 배경과 상기 3차원 객체에 대한 레이어를 구분하여, 해당 레이어에 대한 깊이값을 상기 레이어 믹서(170)에 제공한다.

또한 가상비디오 선택부(160)는 상기 추출한 스크린 3차원 배경과 3차원 객체와 믹싱하기 위한 가상비디오를 사용자로부터 선택받는다. 이때, 상기 가상비디오 선택부(160)는 가상비디오 데이터베이스(510)로부터 복수의 가상비디오를 로딩하여 상기 사용자 인터페이스를 통해 시각적으로 표시하며, 사용자는 상기 표시한 복수의 가상비디오 중 가상현실로 구현할 하나의 가상비디오를 선택할 수 있다. 상기 믹싱되는 가상비디오는 적어도 하나 이상의 레이어가 중첩, 오버레이 또는 삽입된 복수의 프레임을 시간의 흐름에 따라 결합한 2차원, 3차원 또는 이들의 조합을 포함하는 동적영상 또는 정적영상, 애니메이션 등으로 구현된 데이터를 의미한다.

또한 가상비디오는 각 프레임별 레이어에 대한 상기 스크린 3차원 배경과 상기 3차원 객체의 삽입 위치에 따라 상기 구현될 가상현실의 배경, 전경 또는 이들의 조합으로 사용되어 최종적인 방송콘텐츠를 생성할 수 있도록 한다.

또한 레이어 믹서(170)는 상기 추출한 스크린 3차원 배경과 3차원 객체를 상기 선택한 가상비디오와 레이어 기반으로 믹싱함으로써, 증강현실, 혼합현실 또는 가상현실을 포함하는 가상현실을 구현한 방송콘텐츠를 생성한다.

상기 방송콘텐츠를 생성하기 위해, 상기 레이어 믹서(170)는 우선, 상기 구분한 스크린 3차원 배경과 3차원 객체에 대한 레이어의 깊이값을 이용하여, 상기 선택한 가상비디오의 각 프레임별로 상기 추출한 스크린 3차원 배경과 3차원 객체가 믹싱될 레이어를 생성한다.

이때, 상기 가상비디오의 각 프레임별로 생성되는 레이어는 상기 구분한 스크린 3차원 배경과 3차원 객체에 대한 레이어와 동일한 깊이값을 가짐은 상술한 바와 같다.

따라서 상기 레이어 믹서(170)는 상기 3차원 객체 추출부(140)에서 추출한 스크린 3차원 배경과 3차원 객체를 상기 구분한 레이어에 따라 상기 생성한 가상비디오의 해당 레이어와 믹싱함으로써, 가상현실을 구현상 방송콘텐츠를 생성한다.

한편 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 추출한 스크린 3차원 배경과 3차원 객체와 함께 가상현실로 구현할 방송콘텐츠를제작하기 위해 적어도 하나 이상의 가상 오브젝트를 선택하도록 하는 오브젝트 선택부(150)를 더 포함하여 구성될 수 있다.

가상 오브젝트 선택부(150)는 적어도 하나 이상의 가상 오브젝트를 가상 오브젝트 데이터베이스(520)로부터 로딩하여 사용자 인터페이스를 통해 사용자에게 시각적으로 표시하며, 사용자는 상기 표시된 복수의 가상 오브젝트 중 자신이 원하는 적어도 하나 이상의 가상 오브젝트를 선택할 수 있다.

상기 가상 오브젝트는 가상의 그래프, 건물, 나무 등과 같이 상기 추출한 3차원 객체와 함께 가상현실로 구현되기 위해 사용되는 것으로, 2차원, 3차원 또는 이들의 조합, 동적영상(예: 애니메이션)으로 구현될 수 있다.

즉, 본 발명의 일 실시예에 따른 레이어 기반 비디오 믹싱 플랫폼(100)은 가상현실을 구현한 방송콘텐츠를 생성하기 위해 상기 추출한 스크린 3차원 배경과 3차원 객체 이외에, 상기 방송콘텐츠에 어울리는 다양하고 생동감 넘치는 오브젝트를 구현함으로써, 상기 방송콘텐츠를 더욱 현실감 있게 생성할 수 있도록 한다.

이때, 상기 레이어 믹서(170)는 상기 객체 추출부(140)에서 추출한 스크린 3차원 배경과 3차원 객체와 상기 가상 오브젝트 선택부(150)를 통해 선택한 가상 오브젝트를 상기 선택한 가상비디오와 믹싱하여 가상현실을 구현한 방송콘텐츠를 최종적으로 생성한다.

즉, 상기 레이어 믹서(170)는 상기 스크린 3차원 배경과 상기 3차원 객체, 가상 오브젝트 또는 이들의 조합을 상기 선택한 가상비디오의 레이어와 믹싱함으로서, 가상현실을 구현한 방송콘텐츠를 생성하는 것이다.

또한 레이어 믹서(170)는 상기 추출한 스크린 3차원 배경과 3차원 객체, 가상 오브젝트 또는 이들의 조합이 상기 가상비디오와 믹싱된 각 프레임별 특정 레이어에서의 초기 위치와 시간 경과에 따라 변화되는 위치를 조정하는 위치 조정부(미도시)와, 상기 위치 조정부에서 위치가 조정된 상기 스크린 3차원 배경과 3차원 객체, 가상 오브젝트 또는 이들의 조합과 상기 가상비디오를 시간의 경과에 따라 각 프레임별로 렌더링하는 렌더링 처리부(미도시)를 더 포함하여 구성될 수 있다.

한편 도 4에는 상기 3차원 객체 추출부(130), 레이어 정보 추출부(140), 가상 오브젝트 선택부(150), 가상비디오 선택부(160) 및 레이어 믹서(170)는 별도 구성으로 나타나 있으나, 상기 3차원 객체 추출부(130), 레이어 정보 추출부(140), 가상 오브젝트 선택부(150), 가상비디오 선택부(160)는 상기 레이어 믹서(170)에 통합되어 구현될 수 있다.

또한 방송콘텐츠 처리부(180)는 상기 생성한 방송콘텐츠를 부호화하여 압축된 영상 스트림을 생성한 후, 네트워크를 통해 방송장비, 시청자 디바이스(300) 또는 이들의 조합으로 송출하거나, 데이터베이스(500)에 저장하는 기능을 수행한다.

또한 데이터베이스(500)는 레이어 기반 비디오 믹싱 플랫폼(100)에서 사용하는 방송콘텐츠 생성을 위한 각종 동작 프로그램을 저장하고 있으며, 3D 카메라(200)로 촬영된 영상데이터, 깊이영상, 가상비디오, 가상오브젝트, 상기 생성한 방송콘텐츠를 저장 및 관리하는 기능을 수행한다. 또한 제어부(190)는 상기 레이어 기반 비디오 믹싱 플랫폼(100)의 각 구성부분 간 데이터 이동을 포함하여, 상기 각 구성부분을 전반적으로 제어하는 기능을 수행한다.

도 5에 도시한 바와 같이, 본 발명의 일 실시예에 따른 레이어 기반 비디오 믹싱 플랫폼(100)은 3D 카메라(200)로 촬영한 영상데이터와 깊이영상을 포함하는 영상데이터를 입력받아, 상기 영상데이터를 이용하여 스크린 3차원 배경을 추출하고, 상기 깊이영상을 이용하여 3차원 객체를 추출한다.

즉, 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 깊이영상으로부터 스크린 3차원 배경과 3차원 객체에 대한 깊이값을 이용하여 스튜디오 실제 배경과 3차원 객체를 분리함으로써, 상기 영상데이터로부터 실제 배경이 삭제된 스크린 3차원 배경과 3차원 객체를 추출한다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 영상데이터로부터 스크린 3차원 배경의 깊이에 해당하는 레이어를 구분하고 상기 깊이영상으로부터 3차원 객체의 깊이에 해당하는 레이어를 구분하고, 해당 레이어의 깊이값을 포함하는 레이어 정보를 추출한다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 사용자가 선택한 가상비디오의 각 프레임에 대해, 상기 추출한 레이어정보를 토대로 상기 스크린 3차원 배경과 3차원 객체를 믹싱할 적어도 하나 이상의 레이어를 구성한다.

즉, 상기 구성한 레이어는 상기 스크린 3차원 배경과 3차원 객체에 대해 구분한 레이어의 깊이값과 동일한 깊이값을 가진다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 구분한 스크린 3차원 배경과 3차원 객체의 레이어와 동일한 깊이값을 가지는 상기 구성한 가상비디오 레이어에, 상기 추출한 스크린 3차원 배경과 3차원 객체를 믹싱한다.

이때, 상기 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 가상비디오의 t1 내지 tn의 시간 흐름에 따른 각각의 프레임별 레이어를 확인하여 상기 추출한 스크린 3차원 배경과 3차원 객체를 믹싱함으로써, 가상현실이 구현된 방송콘텐츠를 생성한다.

한편 레이어 기반 비디오 믹싱 플랫폼(100)은 사용자가 선택한 가상 오브젝트를 상기 추출한 스크린 3차원 배경과 3차원 객체와 함께 상기 가상비디오와 믹싱할 수 있다.

이때, 상기 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 선택한 가상 오브젝트를 믹싱할 상기 가상비디오의 각 프레임별로 새로운 레이어를 구성하거나, 상기 스크린 3차원 배경과 3차원 객체를 믹싱한 동일한 레이어에 믹싱될 수 있다.

한편 상기 가상 오브젝트는 선택적인 것으로, 상기 가상비디오에 상기 추출한 스크린 3차원 배경과 3차원 객체만을 믹싱할 수 있음은 당연하다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 믹싱과정에 있어서, 각 프레임별로 상기 구성한 레이어에 스크린 3차원 배경과 3차원 객체, 가상 오브젝트 또는 이들의 조합을 믹싱할 때, 상기 3차원 객체, 가상 오브젝트 또는 이들의 조합에 대한 위치정보도 함께 결정한다.

이에 따라 상기 스튜디오형 비디오 믹싱 플랫폼(100)은 상기 결정한 정보를 토대로 상기 스크린 3차원 배경과 상기 3차원 객체, 가상 오브젝트 또는 이들의 조합과 상기 가상 콘텐츠를 믹싱하여 증강현실을 구현한 방송콘텐츠를 생성한다.

이와 같이 시간의 흐름에 따라 상기 가상비디오의 각 프레임별 레이어에 상기 스크린 3차원 배경과 상기 3차원 객체, 가상 오브젝트 또는 이들의 조합을 믹싱하면, 상기 가상현실로 구현한 방송콘텐츠에서, 시간 경과에 따라 상기 스크린 3차원 배경과 상기 3차원 객체, 가상 오브젝트 또는 이들의 조합에 대한 움직임 또는 이동과정이 재생된다.

또한 레이어 기반 비디오 믹싱 플랫폼(100)은 상기 추출한 스크린 3차원 배경과 3차원 객체 이외에 사용자 선택에 따라 적어도 하나 이상의 가상 오브젝트를 상기 가상비디오에 믹싱할 수 있도록 함으로써, 더욱 생동감 있고 현실감 있는 방송콘텐츠를 생성할 수 있다.

이상, 첨부된 도면을 참조로 하여 본 발명의 실시 예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (5)

1. 스크린 3차원 배경영상이 재생되는 백그라운드 스크린과, 영상데이터와 상기 영상데이터에 대한 깊이영상을 생성하는 3D 카메라를 포함하는 백그라운드 스크린 기반 스튜디오;
   상기 백그라운드 스크린 기반 스튜디오에서 상기 영상데이터와 상기 깊이영상을 입력받는 영상데이터 입력부;
   상기 영상데이터를 이용하여 스크린 3차원 배경을 추출하고, 상기 깊이영상을 이용하여 3차원 객체를 추출하는 3차원 객체 추출부;
   상기 스크린 3차원 배경과 상기 3차원 객체에 대한 레이어를 구분하는 레이어 정보 추출부; 및
   상기 스크린 3차원 배경과 상기 3차원 객체를 상기 레이어에 따라 가상비디오의 해당 레이어와 믹싱하는 레이어 믹서를 포함하며,
   상기 백그라운드 스크린은 상기 3D 카메라와 전기적으로 통신하여 상기 3D 카메라의 촬상 영역을 실시간으로 인식하고, 동작 센서가 내장되어 상기 3D 카메라의 촬상 영역의 피사체의 위치와 형태를 실시간으로 추적하고,
   상기 백그라운드 스크린은 피사체의 위치가 상기 3D 카메라의 촬상 영역의 중앙에 있는 경우 선명도가 낮은 3차원 배경영상을 재생하고, 피사체의 위치가 상기 3D 카메라의 촬상 영역의 가장자리에 있는 경우 선명도가 높은 3차원 배경영상을 재생하고,
   상기 백그라운드 스크린은 피사체의 위치가 상기 3D 카메라의 촬상 영역의 중앙에 있으면서 실시간 형태의 변화율이 높은 경우에는 콘트라스트가 연조인 3차원 배경영상을 재생하고, 피사체의 위치가 상기 3D 카메라의 촬상 영역의 중앙에 있으면서 실시간 형태의 변화율이 낮은 경우에는 콘트라스트가 경조인 3차원 배경영상을 재생하고, 피사체의 위치가 상기 3D 카메라의 촬상 영역의 가장자리에 있으면 실시간 형태의 변화율에 관계가 없이 콘트라스트가 경조인 3차원 배경영상을 재생하는 것을 특징으로 하는 백그라운드 스크린 기반 스튜디오에서의 비디오 믹싱 플랫폼.
2. 삭제
3. 삭제
4. 삭제
5. 삭제

Images