KR101908068B1 - 360° vr 컨텐츠 저작 및 재생 시스템 - Google Patents

360° vr 컨텐츠 저작 및 재생 시스템 Download PDF

Info

Publication number
KR101908068B1
KR101908068B1 KR1020180085782A KR20180085782A KR101908068B1 KR 101908068 B1 KR101908068 B1 KR 101908068B1 KR 1020180085782 A KR1020180085782 A KR 1020180085782A KR 20180085782 A KR20180085782 A KR 20180085782A KR 101908068 B1 KR101908068 B1 KR 101908068B1
Authority
KR
South Korea
Prior art keywords
image
content
spherical
metadata
authoring
Prior art date
Application number
KR1020180085782A
Other languages
English (en)
Inventor
김창동
최성기
김재원
전재철
Original Assignee
주식회사 루씨드드림
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 루씨드드림 filed Critical 주식회사 루씨드드림
Priority to KR1020180085782A priority Critical patent/KR101908068B1/ko
Application granted granted Critical
Publication of KR101908068B1 publication Critical patent/KR101908068B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/26603—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for automatically generating descriptors from content, e.g. when it is not made available by its provider, using content analysis techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Abstract

360° VR 컨텐츠 저작 및 재생 시스템을 개시한다.
본 실시예는 적은 용량으로도 컨텐츠 재생장치가 초고화질의 컨텐츠를 재생할 수 있도록 이미지, 영상 및 메타데이터를 통합한 통합 컨텐츠를 저작하는 통합 컨텐츠 저작하고 적은 용량을 갖는 통합 컨텐츠 수신으로도, 수신한 통합 컨텐츠를 분석하여 출력함으로써, 온전히 통합 컨텐츠 내 포함된 이미지와 영상을 초고화질로 재생할 수 있도록 하는 360° VR 컨텐츠 저작 및 재생 시스템을 제공한다.

Description

360° VR 컨텐츠 저작 및 재생 시스템{System for Authoring and Playing 360° VR Contents}
본 실시예는 360° VR 컨텐츠 저작 및 재생 시스템에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
기술의 발전으로 이미지 또는 영상을 포함하는 컨텐츠는 일정한 장면만을 담아내는 것을 넘어 파노라마 컨텐츠와 같이 360°의 모든 경치를 담아내거나, VR(Virtual Reality; 가상현실) 컨텐츠와 같이 파노라마 컨텐츠에 가공 과정을 거쳐 구형 또는 원통형 모양에 매핑함으로써, 가상의 공간을 만들어 체험자로 하여금 실제로 존재하지 않는 공간을 체험할 수 있도록 한다.
그러나 VR 컨텐츠를 생성하기 위해서는 360°의 모든 경치를 영상으로 촬영하여야 하기 때문에, 생성되는 컨텐츠의 용량이 상당히 커지는 단점이 존재한다. 이에 따라, 생성된 VR 컨텐츠를 VR 컨텐츠 재생장치로 전송함에 있어, 상당히 오랜 시간이 걸리거나, 전송에 있어 온전한 VR 컨텐츠가 전달되지 못할 가능성이 존재한다. 이러한 문제를 방지하기 위해, VR 컨텐츠를 저화질로 생성한다면, VR 컨텐츠 재생장치를 이용해 VR 컨텐츠를 시청하는 사용자의 몰입감이 저해되는 문제가 존재한다.
본 실시예는 적은 용량으로도 컨텐츠 재생장치가 초고화질의 컨텐츠를 재생할 수 있도록 이미지, 영상 및 메타데이터를 통합한 통합 컨텐츠를 저작하는 통합 컨텐츠 저작하고 적은 용량을 갖는 통합 컨텐츠 수신으로도, 수신한 통합 컨텐츠를 분석하여 출력함으로써, 온전히 통합 컨텐츠 내 포함된 이미지와 영상을 초고화질로 재생할 수 있도록 하는 360° VR 컨텐츠 저작 및 재생 시스템을 제공하는 데 목적이 있다.
본 실시예의 일 측면에 의하면, 영상 촬영장치로부터 특정 촬영 장소를 하나 이상의 이미지로 촬영한 배경 이미지를 수신하고, 상기 하나 이상의 배경 이미지를 스티칭(Stitching)하여 구 형상의 배경 이미지로 저작하며, 상기 영상 촬영장치로부터 상기 특정 촬영 장소에서 움직이는 객체를 촬영한 영상을 수신하고, 상기 배경 이미지 내에서 움직이는 객체를 선정하고, 상기 객체에 대응하는 좌표를 포함하는 움직이는 객체 영상을 저작하며, 상기 배경 이미지 내에 결합한 상기 객체의 좌표, 상기 객체가 특정 좌표값을 가질 때의 재생시간 값, 구 형상이나 원통형 형상의 굴곡률을 메타데이터로 생성하며, 상기 구 형상의 배경 이미지, 상기 움직이는 객체 영상 및 상기 메타데이터를 하나로 통합 패키징한 360° VR(Virtual Reality) 컨텐츠를 생성하여 전송하는 컨텐츠 저작장치; 및 수신된 상기 360° VR 컨텐츠 내 포함된 구 형상의 배경 이미지, 움직이는 객체 영상 및 메타데이터를 분리하고, 상기 구 형상의 배경 이미지 상에 상기 메타데이터에 포함된 상기 객체의 좌표에 대응하는 영역에 상기 움직이는 객체 영상이 상기 객체가 특정 좌표값을 가질 때의 재생시간 값만큼 오버레이하여 재생되도록 하며, 상기 구 형상의 배경 이미지에 상기 구 형상이나 원통형 형상의 굴곡률을 반영하며, 상기 구 형상의 배경 이미지 상에 상기 움직이는 객체 영상을 오버레이하여 출력하는 컨텐츠 재생장치를 포함하는 것을 특징으로 하는 컨텐츠 저작 및 재생 시스템을 제공한다.
본 실시예의 다른 측면에 의하면, 컨텐츠 저작장치에서 영상 촬영장치로부터 특정 촬영 장소를 하나 이상의 이미지로 촬영한 배경 이미지를 수신하고, 상기 하나 이상의 배경 이미지를 스티칭(Stitching)하여 구 형상의 배경 이미지로 저작하는 과정; 상기 컨텐츠 저작장치에서 상기 영상 촬영장치로부터 상기 특정 촬영 장소에서 움직이는 객체를 촬영한 영상을 수신하고, 상기 배경 이미지 내에서 움직이는 객체를 선정하고, 상기 객체에 대응하는 좌표를 포함하는 움직이는 객체 영상을 저작하는 과정; 상기 컨텐츠 저작장치에서 상기 배경 이미지 내에 결합한 상기 객체의 좌표, 상기 객체가 특정 좌표값을 가질 때의 재생시간 값, 구 형상이나 원통형 형상의 굴곡률을 메타데이터로 생성하는 과정; 상기 컨텐츠 저작장치에서 상기 구 형상의 배경 이미지, 상기 움직이는 객체 영상 및 상기 메타데이터를 하나로 통합 패키징한 360° VR(Virtual Reality) 컨텐츠를 생성하여 전송하는 과정; 컨텐츠 재생장치에서 상기 컨텐츠 저작장치로부터 상기 360° VR 컨텐츠를수신하는 과정; 상기 컨텐츠 재생장치에서 상기 360° VR 컨텐츠 내 포함된 구 형상의 배경 이미지, 움직이는 객체 영상 및 메타데이터를 분리하는 과정; 상기 컨텐츠 재생장치에서 상기 구 형상의 배경 이미지 상에 상기 메타데이터에 포함된 상기 객체의 좌표에 대응하는 영역에 상기 움직이는 객체 영상이 상기 객체가 특정 좌표값을 가질 때의 재생시간 값만큼 오버레이하여 재생하며, 상기 구 형상의 배경 이미지에 상기 구 형상이나 원통형 형상의 굴곡률을 반영하는 과정; 및 상기 컨텐츠 재생장치에서 상기 구 형상의 배경 이미지 상에 상기 움직이는 객체 영상을 오버레이하여 출력하는 과정을 포함하는 것을 특징으로 하는 컨텐츠 저작 및 재생 방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 정지 부분은 이미지로, 움직임이 있는 부분은 해당 부분만을 영상으로 하여 통합 컨텐츠를 저작하기 때문에, 고화질을 유지하면서도 저용량의 컨텐츠를 저작할 수 있어, 컨텐츠의 전송 및 재생과정에서 발생할 수 있는 문제를 최소화할 수 있는 효과가 있다.
본 실시예에 의하면, 통합 컨텐츠 저작장치가 이미지 및 영상의 일부분과 함께 영상의 메타데이터도 포함한 통합 컨텐츠를 저작하기 때문에, 스트리밍과 같이 지속적인 전송없이 1회의 전송으로도 통합 컨텐츠를 재생할 수 있는 효과가 있다.
도 1은 본 실시예에 따른 컨텐츠 저작 및 재생 시스템을 도시한 도면이다.
도 2는 본 실시예에 따른 영상 촬영장치가 촬영하는 방법 및 영상 촬영장치가 촬영한 이미지와 영상을 도시한 도면이다.
도 3은 본 실시예에 따른 컨텐츠 저작장치의 구성을 도시한 도면이다.
도 4는 본 실시예에 따른 컨텐츠 저작장치가 저작한 이미지 및 영상을 도시한 도면이다.
도 5는 본 실시예에 따른 컨텐츠 재생장치의 구성을 도시한 그래프이다.
도 6은 본 실시예에 따른 컨텐츠 저작장치가 컨텐츠를 저작하는 방법을 도시한 순서도이다.
도 7은 본 실시예에 따른 컨텐츠 재생장치가 컨텐츠를 재생하는 방법을 도시한 순서도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 실시예에 따른 컨텐츠 저작 및 재생 시스템을 도시한 도면이다.
도 1을 참조하면, 본 실시예에 따른 컨텐츠 저작 및 재생 시스템(100)은 영상 촬영장치(110), 컨텐츠 저작장치(120), 컨텐츠 제공서버(130) 및 컨텐츠 재생장치(140)를 포함한다.
영상 촬영장치(110)는 영상 및 하나 이상의 이미지를 촬영한다. 영상 촬영장치(110)는 360°의 모든 경치에 대해 이를 영상 및 이미지로 촬영한다. 이에 대해서는 도 2에 상세히 도시되어 있다.
도 2는 본 실시예에 따른 영상 촬영장치가 촬영하는 방법 및 영상 촬영장치가 촬영한 이미지와 영상을 도시한 도면이다.
영상 촬영장치(110)는 NPP(No Parallax Point, 114)를 회전축(118)과 일치시켜 영상 및 이미지를 촬영할 수 있다. NPP(114)는 무시차를 형상하는 영상 촬영장치(110) 내 렌즈의 X, Y, Z축의 중심점을 의미하는 것으로서, 영상 촬영장치(110)는 NPP(114)를 회전축(118)에 일치시킴으로써, 시차 없는 하나 이상의 이미지 또는 영상을 촬영할 수 있다. 영상 촬영장치(110)는 360°를 회전하며 이미지를 촬영함에 있어, 각 구간마다 이미지를 촬영하여 복수의 이미지로 촬영할 수 있고, 도 2에 도시된 바와 같이 하나의 파노라마 이미지(210)로 촬영할 수도 있다.
영상 촬영장치(110)는 360°를 회전하며 촬영함에 있어, 배경이나 움직임이 없는 사물과 같이, 시간이 지나더라도 변화가 없는 부분은 이미지로 촬영을 하고, 움직임이 있는 사물이나 사람과 같이 시간이 지남에 따라 변화하는 객체는 영상으로 촬영한다. 영상 촬영장치(110)가 촬영한 이미지(210)와 영상(215)이 도 2에 도시되어 있다. 영상 촬영장치(110)는 특정 장소에 배치되어 움직임이 없는 사물이나 벽과 같은 배경은 굳이 영상으로 촬영하여 용량을 증가시킬 필요없이 이미지(210)로 촬영한다. 반면, 움직임이 존재하는 객체(215)는 이미지로는 모든 움직임을 담아낼 수 없으며, 이미지로 담을 경우 현실감이 떨어지는 문제가 있어, 영상 촬영장치(110)는 객체(215)를 중심으로 한 영상을 촬영한다.
다시 도 1을 참조하면, 영상 촬영장치(110)는 전술한 바와 같이 촬영한, 하나 이상의 이미지와 영상을 컨텐츠 저작장치(120)로 전달한다.
컨텐츠 저작장치(120)는 영상 촬영장치(110)로부터 수신한 이미지와 영상을 이용하여 통합 컨텐츠를 저작한다. 컨텐츠 저작장치(120)는 구간마다 촬영한 복수의 이미지 또는 하나의 파노라마 이미지를 영상 촬영장치(110)로부터 수신하며, 이를 하나의 파노라마 이미지 또는 구(Sphere)형 또는 원통형 모양에 매핑한 구 형상 또는 원통형 형상을 갖는 파노라마 이미지를 저작한다. 컨텐츠 저작장치(120)는 영상을 영상 촬영장치(110)로부터 수신하며, 영상 내에서 움직임이 있는 객체를 선정하여 선정된 객체의 좌표에 고정된 영상을 저작한다. 또한, 컨텐츠 저작장치(120)는 저작된 영상의 메타데이터를 생성하여, 저작된 이미지, 영상 및 메타데이터를 포함하는 통합 컨텐츠를 저작한다. 이에 대한 구체적인 설명은 도 3 및 도 4를 참조하여 설명하기로 한다.
컨텐츠 제공서버(130)는 컨텐츠 저작장치(120)로부터 통합 컨텐츠를 수신하여, 컨텐츠 재생장치(140)로 전달한다. 컨텐츠 제공서버(130)는 무선 통신을 이용해 통합 컨텐츠를 컨텐츠 재생장치(140)로 전달함으로써, 컨텐츠 재생장치(140)가 언제 어디에서도 통합 컨텐츠를 수신하여 재생할 수 있도록 한다.
컨텐츠 재생장치(140)는 수신한 통합 컨텐츠를 분리하여, 통합 컨텐츠 내 포함된 메타데이터에 따라 영상을 이미지와 함께 재생한다. 컨텐츠 재생장치(140)는 통합 컨텐츠를 이미지, 영상 및 메타데이터로 분리하고, 이미지를 출력한다. 컨텐츠 재생장치(140)는 메타데이터를 분석하여 영상을 언제 어느 좌표에 출력할지를 결정한 후, 영상을 출력되는 이미지에 오버레이(Overlay)하여 출력한다. 이와 같이, 컨텐츠 재생장치(140)는 영상을 이미지 상에 오버레이하여 출력함으로써, 360°모두를 영상으로 촬영한 컨텐츠보다 더 적은 용량으로도 해당 컨텐츠와 비슷한 품질로 재생할 수 있다. 또한, 메타데이터를 이용하여 영상을 원하는 타이밍에 원하는 좌표로 이미지 상에 오버레이하여 출력할 수 있기 때문에, 영상과 이미지를 통합한 컨텐츠를 지속적으로 전송할 필요없이 통합 컨텐츠를 단 1회만 전송하더라도 컨텐츠 재생장치(140)가 통합 컨텐츠를 온전히 재생할 수 있다.
컨텐츠 재생장치(140)는 스마트 폰, 태블릿 PC 등 스마트 단말, 컴퓨터 등 영상이나 이미지를 출력할 수 있는 모든 기기를 포함하며, 나아가 구 형상 또는 원통형 형상을 갖는 파노라마 이미지를 출력하여 사용자에게 VR 컨텐츠를 재생할 수 있는 VR 재생기기(Player)를 포함한다.
도 3은 본 실시예에 따른 컨텐츠 저작장치의 구성을 도시한 도면이다.
도 3을 참조하면, 본 실시예에 따른 컨텐츠 저작장치(120)는 이미지 저작부(310), 영상 저작부(320), 메타데이터 생성부(330), 타이머(340) 및 통합 컨텐츠 생성부(350)를 포함한다.
이미지 저작부(310)는 영상 촬영장치(110)로부터 수신한 이미지를 하나의 파노라마 이미지 또는 구 형상이나 원통형 형상을 갖는 파노라마 이미지로 저작한다. 영상 촬영장치(110)로부터 각 구간마다 촬영된 복수의 이미지가 수신되는 경우, 이미지 저작부(310)는 시차 없이 각 이미지를 스티칭(Stitching)하여 하나의 파노라마 이미지로 저작할 수 있다. 또는, 이미지 저작부(310)는 저작한 파노라마 이미지 또는 영상 촬영장치(110)로부터 수신한 파노라마 이미지를 구형 또는 원통형 모양에 매핑하여 구 형상이나 원통형 형상을 갖는 파노라마 이미지로 저작한다.
영상 저작부(320)는 영상 촬영장치(110)로부터 수신한 영상 내 객체를 선정하여 선정된 객체의 좌표에 고정된 영상을 저작한다. 영상 촬영장치(110)로부터 수신한, 객체를 중심으로 촬영된 영상에 대하여, 영상 저작부(320)는 해당 영상 내에서 움직임이 있는 객체를 선정하고, 선정된 객체의 좌표에 고정된 영상을 저작한다. 여기서, 객체는 여러 개가 선정될 수 있으며, 영상 저작부(320)는 선정된 각각의 객체에 고정하여 객체의 움직임만을 포함한 영상을 저작한다.
이미지 저작부(310)가 저작한 이미지 및 영상 저작부(320)가 저작한 영상은 도 4에 도시되어 있다.
도 4는 본 실시예에 따른 컨텐츠 저작장치가 저작한 이미지 및 영상을 도시한 도면이다.
도 4에 도시된 바와 같이, 컨텐츠 저작장치가 저작한 이미지(410)는 복수의 이미지가 스티칭되어 파노라마 이미지로 저작될 수 있다. 또한, 도 4에 도시되지는 않았으나, 저작된 파노라마 이미지 또는 수신한 파노라마 이미지를 구(Sphere)형 또는 원통형 모양에 매핑한 구 형상 또는 원통형 형상을 갖는 파노라마 이미지로 저작할 수 있다.
컨텐츠 저작장치가 저작한 영상(420)는 움직임이 있는 객체(415)에 고정되어 해당 객체(415)의 움직임만을 포함한다.
메타데이터 생성부(330)는 영상 저작부(320)에 의해 저작된 영상 내 객체의 메타데이터를 생성한다. 메타데이터는 영상 저작에 있어 선정된 객체의 좌표 및 선정된 객체의 재생 시간 값 일부 또는 전부를 포함한다. 여기서, 선정된 객체의 재생 시간 값은 영상 촬영장치(110)로부터 수신한 영상이 재생된 후 객체가 특정 좌표값을 가질 때의 시간 값을 의미한다. 메타데이터는 선정된 객체의 좌표 및 선정된 객체의 재생 시간 값을 포함함으로써, 선정된 객체가 언제 어느 좌표로 이동하였는지를 알 수 있도록 한다. 나아가, 이미지 저작부(310)가 구 형상이나 원통형 형상을 갖는 파노라마 이미지를 저작하는 경우, 메타데이터 생성부(330)는 메타데이터에 구 형상이나 원통형 형상의 굴곡률을 포함시킬 수 있다.
타이머(340)는, 메타데이터 생성부(330)가 메타데이터, 특히, 선정된 객체의 재생 시간 값을 파악할 수 있도록, 시간 값을 메타데이터 생성부(330)로 제공한다.
통합 컨텐츠 생성부(350)는 저작된 이미지, 저작된 영상 및 메타데이터를 포함한 통합 컨텐츠를 생성한다. 통합 컨텐츠 생성부(350)는 이미지 저작부(310)에 의해 저작된 이미지, 영상 저작부(320)에 의해 저작된 영상 및 메타데이터 생성부(330)에 의해 생성된 메타데이터를 수신하여, 각각을 포함하는 통합 컨텐츠를 생성한다. 여기서, 통합 컨텐츠란 저작된 이미지, 저작된 영상 및 메타데이터를 포함하는 컨텐츠를 의미하는 것일 뿐이며, 저작된 이미지와 영상을 합성하거나 병합하는 등 별도의 처리를 거쳐 새로 생성된 컨텐츠를 의미하는 것은 아니다. 통합 컨텐츠 생성부(350)는 통합 컨텐츠를 생성하여 컨텐츠 제공서버(130)로 전달함으로써, 통합 컨텐츠가 컨텐츠 재생장치(140)로 전달되도록 한다.
도 5는 본 실시예에 따른 컨텐츠 재생장치의 구성을 도시한 그래프이다.
도 5를 참조하면, 본 실시예에 따른 컨텐츠 재생장치(140)는 통합 컨텐츠 분리부(510), 제어부(520), 영상 처리부(530), 타이머(540), 메모리부(550) 및 출력부(560)를 포함한다.
통합 컨텐츠 분리부(510)는 컨텐츠 제공서버(130)로부터 수신한 통합 컨텐츠를 분리한다. 통합 컨텐츠 분리부(510)는 수신한 통합 컨텐츠를 이미지, 영상 및 메타데이터로 분리한다.
제어부(520)는 출력부(560)가 이미지를 출력하도록 제어하며, 메타데이터를 분석하여 이미지에 영상을 오버레이(Overlay)하여 재생하도록 제어한다. 제어부(520)는 통합 컨텐츠 분리부(510)가 분리한 통합 컨텐츠 내 이미지를 출력부(560)가 출력하도록 제어한다. 통합 컨텐츠 내 이미지는 움직임이 없는 부분에 대해 촬영한 것으로서 배경으로 사용될 수 있기 때문에, 제어부(520)는 영상에 앞서 이미지가 출력되도록 제어한다.
이후, 제어부(520)는 통합 컨텐츠 내 메타데이터를 분석하여, 어느 시점에 어느 좌표에서 영상이 재생될 지를 파악한다. 메타데이터는 선정된 객체의 좌표 및 선정된 객체의 재생 시간 값 일부 또는 전부를 포함하고 있기 때문에, 메타데이터를 이용하여 객체를 포함한 영상이 어느 시점에 어느 좌표에서 재생되어야 하는지를 파악할 수 있다. 나아가, 통합 컨텐츠 내 포함된 이미지가 구 형상 또는 원통형 형상을 갖는 파노라마 이미지인 경우, 제어부(520)는 메타데이터 내 포함된 구 형상이나 원통형 형상의 굴곡률을 통합 컨텐츠 내 포함된 영상에 적용되도록 제어할 수 있다. 제어부(520)는 굴곡률을 통합 컨텐츠 내 포함된 영상에 적용되도록 제어함으로써, 영상이 이미지 내에서 매끄럽게 재생되도록 제어한다.
제어부(520)는 파악한 정보에 따라 영상을 이미지에 오버레이하여 재생하도록 출력부(560)를 제어하며, 영상에 대해 영상이 오버레이될 부분의 경계를 부드럽게 하기 위한 경계처리를 하도록 영상처리부(530)를 제어한다. 제어부(520)는 메타데이터를 분석한 결과에 따라, 출력하고 있는 이미지 상에 영상을 오버레이하여 출력하도록 출력부(560)를 제어한다. 다만, 이미지 상에 영상이 아무런 처리없이 오버레이되는 경우, 오버레이되는 영상의 경계부분이 부자연스럽게 출력될 여지가 높다. 따라서 제어부(520)는 메타데이터의 분석으로부터 파악된, 영상이 재생될 시점과 좌표를 이용하여 영상에 대해 영상이 오버레이될 부분의 경계를 부드럽게 하기 위한 경계처리를 하도록 영상처리부(530)를 제어한다.
영상처리부(530)는 제어부(520)의 제어에 따라 영상에 대해 영상이 오버레이될 부분의 경계에 대해 경계처리를 수행한다. 영상처리부(530)는 블러(Blur) 필터 등을 이용하여 영상 내 객체가 오버레이되는 부분의 경계를 부드럽게 처리한다. 영상처리부(530)에 의해 객체가 오버레이되는 부분의 경계에 경계처리가 수행됨으로써, 이미지 상에 영상이 자연스럽게 오버레이된 컨텐츠가 출력될 수 있다.
타이머(540)는, 제어부(520)가 이미지에 영상을 오버레이할 시점을 파악할 수 있도록, 시간 값을 제어부(520)로 제공한다.
메모리부(550)는 통합 컨텐츠 분리부(501)가 분리한 이미지, 영상 및 메타데이터를 저장한다.
출력부(560)는 제어부(520)의 제어에 따라 이미지를 출력하거나, 영상을 이미지 상에 오버레이하여 재생한다. 출력부(560)는 파노라마 이미지를 출력하며, 파노라마 이미지 상에 영상을 오버레이하여 재생할 수 있다. 또는, 컨텐츠 재생장치(140)가 VR 재생기기로 구현되는 경우, 출력부(560)는 구 형상 또는 원통형 형상을 갖는 파노라마 이미지를 출력하며, 파노라마 이미지의 굴곡률을 적용한 영상을 이미지 상에 오버레이하여 재생한다.
도 6은 본 실시예에 따른 컨텐츠 저작장치가 컨텐츠를 저작하는 방법을 도시한 순서도이다.
컨텐츠 저작장치(120)는 하나 이상의 이미지 및 영상을 영상 촬영장치(110)로부터 수신한다(S610). 이미지 저작부(310) 또는 영상 저작부(320)는 영상 촬영장치(110)로부터 움직임이 없는 사물이나 배경을 촬영한 이미지와 움직임이 있는 객체를 촬영한 영상을 수신한다.
컨텐츠 저작장치(120)는 수신한 이미지를 스티칭하여 하나의 이미지로 저작한다(S620). 이미지 저작부(310)는 영상 촬영장치(110)로부터 복수의 이미지를 수신하는 경우, 각 이미지를 스티칭하여 파노라마 이미지를 저작할 수 있다. 또는, 이미지 저작부(310)는 저작한 파노라마 이미지나 영상 촬영장치(110)로부터 수신한 파노라마 이미지를 스티칭하여 구 형상 또는 원통형 형상을 갖는 파노라마 이미지를 저작할 수 있다.
컨텐츠 저작장치(120)는 수신한 영상 내에서 객체를 선정하여, 선정된 객체의 좌표에 고정된 영상을 저작한다(S630). 영상 촬영장치(110)로부터 수신한, 객체를 중심으로 촬영된 영상에 대하여, 영상 저작부(320)는 해당 영상 내에서 움직임이 있는 객체를 선정하고, 선정된 객체의 좌표에 고정하여 객체의 움직임만을 포함한 영상을 저작한다.
컨텐츠 저작장치(120)는 저작된 영상 내 객체의 메타데이터를 생성한다(S640). 메타데이터 생성부(330)는 저작된 영상 내 객체의 좌표 및 선정된 객체의 재생 시간 값 일부 또는 전부를 포함하는 메타데이터를 생성한다. 나아가, 이미지 저작부(310)가 구 형상이나 원통형 형상을 갖는 파노라마 이미지를 저작하는 경우, 메타데이터 생성부(330)는 메타데이터에 구 형상이나 원통형 형상의 굴곡률을 포함시킬 수 있다.
컨텐츠 저작장치(120)는 저작한 파노라마 이미지, 영상 및 생성한 메타데이터를 포함한 통합 컨텐츠를 생성하여 컨텐츠 제공서버(130)로 전송한다(S650). 통합 컨텐츠 생성부(350)는 이미지 저작부(310)에 의해 저작된 이미지, 영상 저작부(320)에 의해 저작된 영상 및 메타데이터 생성부(330)에 의해 생성된 메타데이터를 수신하여, 각각을 포함하는 통합 컨텐츠를 생성하여 컨텐츠 제공서버(130)로 전송한다.
도 7은 본 실시예에 따른 컨텐츠 재생장치가 컨텐츠를 재생하는 방법을 도시한 순서도이다.
컨텐츠 재생장치(140)는 통합 컨텐츠를 컨텐츠 제공서버(130)로부터 수신한다(S710).
컨텐츠 재생장치(140)는 수신한 통합 컨텐츠를 저작된 이미지, 저작된 영상 및 메타데이터로 분리한다(S720). 통합 컨텐츠 분리부(510)는 컨텐츠 제공서버(130)로부터 수신한 통합 컨텐츠를 저작된 이미지, 저작된 영상 및 메타데이터로 분리한다. 메모리부(550)는 분리된 저작된 이미지, 저작된 영상 및 메타데이터를 저장한다.
컨텐츠 재생장치(140)는 저작된 이미지를 출력한다(S730). 출력부(560)는 제어부(520)의 제어에 따라 저작된 이미지를 출력한다.
컨텐츠 재생장치(140)는 메타데이터를 분석하여, 영상에 대해 영상이 이미지 상에 오버레이될 부분의 경계를 부드럽게 하기 위한 경계처리를 수행한다(S740). 메타데이터는 선정된 객체의 좌표 및 선정된 객체의 재생 시간 값 일부 또는 전부를 포함하고 있기 때문에, 메타데이터를 이용하여 객체를 포함한 영상이 어느 시점에 어느 좌표에서 재생되어야 하는지를 파악할 수 있다. 제어부(520)는 메타데이터의 분석으로부터 파악된, 영상이 재생될 시점과 좌표를 이용하여 영상에 대해 영상이 오버레이될 부분의 경계를 부드럽게 하기 위한 경계처리를 하도록 영상처리부(530)를 제어한다. 영상처리부(530)는 제어부(520)의 제어에 따라 영상에 대해 영상이 오버레이될 부분의 경계에 대해 경계처리를 수행한다.
컨텐츠 재생장치(140)는 메타 데이터를 분석하여, 객체의 좌표와 재생 시간 값에 따라 출력된 이미지 상에 오버레이하여 재생한다(S750). 제어부(520)는 메타데이터의 분석으로부터 파악된, 영상이 재생될 시점과 좌표를 이용하여, 출력하고 있는 이미지 상에 영상을 오버레이하여 출력하도록 출력부(560)를 제어한다. 출력부(560)는 영상을 이미지 상에 오버레이하여 재생한다.
도 6 및 도 7에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 각각의 도면에 기재된 과정의 순서를 변경하여 실행하거나 과정 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 6 및 도 7은 시계열적인 순서로 한정되는 것은 아니다.
한편, 도 6 및 도 7에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 컨텐츠 저작 및 재생 시스템 110: 영상 촬영장치
114: NPP 118: 회전축
120: 컨텐츠 저작장치 130: 컨텐츠 제공서버
140: 컨텐츠 재생장치 210, 410: 영상
215, 420: 영상 310: 이미지 저작부
320: 영상 저작부 330: 메타데이터 생성부
340, 540: 타이머 350: 통합 컨텐츠 생성부
415: 객체 510: 통합 컨텐츠 분리부
520: 제어부 530: 영상 처리부
550: 메모리부 560: 출력부

Claims (7)

  1. 영상 촬영장치로부터 특정 촬영 장소를 하나 이상의 이미지로 촬영한 배경 이미지를 수신하고, 상기 하나 이상의 배경 이미지를 스티칭(Stitching)하여 구 형상의 배경 이미지로 저작하며, 상기 영상 촬영장치로부터 상기 특정 촬영 장소에서 움직이는 객체를 촬영한 영상을 수신하고, 상기 배경 이미지 내에서 움직이는 객체를 선정하고, 상기 객체에 대응하는 좌표를 포함하는 움직이는 객체 영상을 저작하며, 상기 배경 이미지 내에 결합한 상기 객체의 좌표, 상기 객체가 특정 좌표값을 가질 때의 재생시간 값, 구 형상이나 원통형 형상의 굴곡률을 메타데이터로 생성하며, 상기 구 형상의 배경 이미지, 상기 움직이는 객체 영상 및 상기 메타데이터를 하나로 통합 패키징한 360° VR(Virtual Reality) 컨텐츠를 생성하여 전송하는 컨텐츠 저작장치; 및
    수신된 상기 360° VR 컨텐츠 내 포함된 구 형상의 배경 이미지, 움직이는 객체 영상 및 메타데이터를 분리하고, 상기 구 형상의 배경 이미지 상에 상기 메타데이터에 포함된 상기 객체의 좌표에 대응하는 영역에 상기 움직이는 객체 영상이 상기 객체가 특정 좌표값을 가질 때의 재생시간 값만큼 오버레이하여 재생되도록 하며, 상기 구 형상의 배경 이미지에 상기 구 형상이나 원통형 형상의 굴곡률을 반영하며, 상기 구 형상의 배경 이미지 상에 상기 움직이는 객체 영상을 오버레이하여 출력하는 컨텐츠 재생장치
    를 포함하는 것을 특징으로 하는 컨텐츠 저작 및 재생 시스템.
  2. 제 1 항에 있어서,
    상기 컨텐츠 저작장치는,
    상기 영상 촬영장치로부터 복수의 이미지를 수신하고, 수신한 복수의 이미지를 스티칭하여 파노라마 이미지로 저작하고, 상기 파노라마 이미지를 스티칭하여 상기 구 형상의 배경 이미지로 저작하는 것을 특징으로 하는 컨텐츠 저작 및 재생 시스템.
  3. 제 1 항에 있어서,
    상기 컨텐츠 저작장치는,
    상기 영상 촬영장치로부터 복수의 이미지 또는 하나의 파노라마 이미지를 수신하고, 수신한 복수의 이미지 또는 하나의 파노라마 이미지를 스티칭하여 구 형상 또는 원통형 형상을 갖는 파노라마 이미지로 저작하는 것을 특징으로 하는 컨텐츠 저작 및 재생 시스템.
  4. 제 1 항에 있어서,
    상기 컨텐츠 저작장치는,
    상기 객체의 재생 시간 값을 파악하는 타이머를 추가로 포함하는 것을 특징으로 하는 컨텐츠 저작 및 재생 시스템.
  5. 제 1 항에 있어서,
    상기 움직이는 객체 영상은 영상 촬영장치가 촬영한 영상 내에서 선정된 객체에 대응하는 좌표를 포함하며,
    상기 메타데이터는 상기 객체에 대응하는 좌표, 상기 객체의 재생 시간을 포함하는 것을 특징으로 하는 컨텐츠 저작 및 재생 시스템.
  6. 제 1 항에 있어서,
    상기 컨텐츠 재생장치는,
    상기 메타데이터에 포함된 영상 촬영장치가 촬영한 영상 내에서 선정된 객체의 상기 재생 시간을 파악하기 위한 타이머를 포함하는 것을 특징을 하는 컨텐츠 저작 및 재생 시스템.
  7. 컨텐츠 저작장치에서 영상 촬영장치로부터 특정 촬영 장소를 하나 이상의 이미지로 촬영한 배경 이미지를 수신하고, 상기 하나 이상의 배경 이미지를 스티칭(Stitching)하여 구 형상의 배경 이미지로 저작하는 과정;
    상기 컨텐츠 저작장치에서 상기 영상 촬영장치로부터 상기 특정 촬영 장소에서 움직이는 객체를 촬영한 영상을 수신하고, 상기 배경 이미지 내에서 움직이는 객체를 선정하고, 상기 객체에 대응하는 좌표를 포함하는 움직이는 객체 영상을 저작하는 과정;
    상기 컨텐츠 저작장치에서 상기 배경 이미지 내에 결합한 상기 객체의 좌표, 상기 객체가 특정 좌표값을 가질 때의 재생시간 값, 구 형상이나 원통형 형상의 굴곡률을 메타데이터로 생성하는 과정;
    상기 컨텐츠 저작장치에서 상기 구 형상의 배경 이미지, 상기 움직이는 객체 영상 및 상기 메타데이터를 하나로 통합 패키징한 360° VR(Virtual Reality) 컨텐츠를 생성하여 전송하는 과정;
    컨텐츠 재생장치에서 상기 컨텐츠 저작장치로부터 상기 360° VR 컨텐츠를수신하는 과정;
    상기 컨텐츠 재생장치에서 상기 360° VR 컨텐츠 내 포함된 구 형상의 배경 이미지, 움직이는 객체 영상 및 메타데이터를 분리하는 과정;
    상기 컨텐츠 재생장치에서 상기 구 형상의 배경 이미지 상에 상기 메타데이터에 포함된 상기 객체의 좌표에 대응하는 영역에 상기 움직이는 객체 영상이 상기 객체가 특정 좌표값을 가질 때의 재생시간 값만큼 오버레이하여 재생하며, 상기 구 형상의 배경 이미지에 상기 구 형상이나 원통형 형상의 굴곡률을 반영하는 과정; 및
    상기 컨텐츠 재생장치에서 상기 구 형상의 배경 이미지 상에 상기 움직이는 객체 영상을 오버레이하여 출력하는 과정
    을 포함하는 것을 특징으로 하는 컨텐츠 저작 및 재생 방법.
KR1020180085782A 2018-07-24 2018-07-24 360° vr 컨텐츠 저작 및 재생 시스템 KR101908068B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180085782A KR101908068B1 (ko) 2018-07-24 2018-07-24 360° vr 컨텐츠 저작 및 재생 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180085782A KR101908068B1 (ko) 2018-07-24 2018-07-24 360° vr 컨텐츠 저작 및 재생 시스템

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020170082642A Division KR101883680B1 (ko) 2017-06-29 2017-06-29 컨텐츠 저작장치 및 컨텐츠 재생장치, 이를 이용한 컨텐츠 저작방법 및 컨텐츠 재생방법

Publications (1)

Publication Number Publication Date
KR101908068B1 true KR101908068B1 (ko) 2018-10-15

Family

ID=63865790

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180085782A KR101908068B1 (ko) 2018-07-24 2018-07-24 360° vr 컨텐츠 저작 및 재생 시스템

Country Status (1)

Country Link
KR (1) KR101908068B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020130275A1 (ko) * 2018-12-19 2020-06-25 주식회사 에이투젯 3차원 vr 콘텐츠 제작 시스템
WO2024090674A1 (en) * 2022-10-29 2024-05-02 Samsung Electronics Co., Ltd. Method and apparatus for stitching frames of image comprising moving objects

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100895293B1 (ko) 2006-09-29 2009-04-29 한국전자통신연구원 영상 콘텐츠 내 디지털 객체의 정보 연동을 위한 사이버태그, 콘텐츠 재생 장치, 방법 및 시스템
KR101458645B1 (ko) 2007-07-18 2014-11-05 삼성전자주식회사 파노라믹 이미지를 조합하는 방법, 파노라믹 이미지의버추얼 3ｄ 프로젝션을 제공하는 방법 및 이를 위한 카메라

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100895293B1 (ko) 2006-09-29 2009-04-29 한국전자통신연구원 영상 콘텐츠 내 디지털 객체의 정보 연동을 위한 사이버태그, 콘텐츠 재생 장치, 방법 및 시스템
KR101458645B1 (ko) 2007-07-18 2014-11-05 삼성전자주식회사 파노라믹 이미지를 조합하는 방법, 파노라믹 이미지의버추얼 3ｄ 프로젝션을 제공하는 방법 및 이를 위한 카메라

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020130275A1 (ko) * 2018-12-19 2020-06-25 주식회사 에이투젯 3차원 vr 콘텐츠 제작 시스템
KR20200076234A (ko) * 2018-12-19 2020-06-29 주식회사 에이투젯 3차원 vr 콘텐츠 제작 시스템
KR102239877B1 (ko) * 2018-12-19 2021-04-12 주식회사 에이투젯 3차원 vr 콘텐츠 제작 시스템
WO2024090674A1 (en) * 2022-10-29 2024-05-02 Samsung Electronics Co., Ltd. Method and apparatus for stitching frames of image comprising moving objects

Similar Documents

Publication Publication Date Title
US8890977B2 (en) Systems and methods for concurrently playing multiple images from a storage medium
TWI530157B (zh) 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體
US20200389640A1 (en) Method and device for transmitting 360-degree video by using metadata related to hotspot and roi
JP2018530950A (ja) いつでもどこからでもビデオコンテンツを再生するための方法および装置
US20100153847A1 (en) User deformation of movie character images
KR20190008325A (ko) 가상 현실 미디어 콘텐트의 적응적 스트리밍을 위한 방법, 디바이스, 및 컴퓨터 프로그램
KR20100043138A (ko) 화상 처리 장치, 동화상 재생 장치, 이들에서의 처리 방법 및 프로그램
CN104365083A (zh) 图像处理装置、图像处理方法以及程序
JP6860485B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US11895425B2 (en) Methods and apparatus for metadata-based processing of media content
RU2733218C2 (ru) Способ, аппарат и поток для форматирования иммерсивного видеоизображения для традиционных и иммерсивных устройств воспроизведения
WO2018028512A1 (en) File format for indication of video content
KR102082300B1 (ko) 삼차원 영상 생성 또는 재생을 위한 장치 및 방법
JP6628343B2 (ja) 装置および関連する方法
KR101908068B1 (ko) 360° vr 컨텐츠 저작 및 재생 시스템
US20200051594A1 (en) Generating method and playing method of multimedia file, multimedia file generation apparatus and multimedia file playback apparatus
KR101843025B1 (ko) 카메라워크 기반 영상합성 시스템 및 영상합성방법
US20230353717A1 (en) Image processing system, image processing method, and storage medium
WO2019034804A2 (en) THREE-DIMENSIONAL VIDEO PROCESSING
JP2008135923A (ja) リアルタイムに相互作用する映像の制作方法、映像の制作装置、および映像の制作システム
CN113296721A (zh) 显示方法、显示装置和多屏幕联动系统
JP6571859B1 (ja) 映像配信装置、映像配信システム、映像配信方法及び映像配信プログラム
US11297378B2 (en) Image arrangement determination apparatus, display controlling apparatus, image arrangement determination method, display controlling method, and program
KR101883680B1 (ko) 컨텐츠 저작장치 및 컨텐츠 재생장치, 이를 이용한 컨텐츠 저작방법 및 컨텐츠 재생방법
JP2003323170A (ja) 画像表示システムと画像処理装置及び画像表示方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant