KR101883680B1 - Mpethod and Apparatus for Authoring and Playing Contents - Google Patents

Mpethod and Apparatus for Authoring and Playing Contents Download PDF

Info

Publication number
KR101883680B1
KR101883680B1 KR1020170082642A KR20170082642A KR101883680B1 KR 101883680 B1 KR101883680 B1 KR 101883680B1 KR 1020170082642 A KR1020170082642 A KR 1020170082642A KR 20170082642 A KR20170082642 A KR 20170082642A KR 101883680 B1 KR101883680 B1 KR 101883680B1
Authority
KR
South Korea
Prior art keywords
image
content
authoring
metadata
spherical
Prior art date
Application number
KR1020170082642A
Other languages
Korean (ko)
Inventor
김창동
최성기
김재원
전재철
Original Assignee
주식회사 루씨드드림
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 루씨드드림 filed Critical 주식회사 루씨드드림
Priority to KR1020170082642A priority Critical patent/KR101883680B1/en
Application granted granted Critical
Publication of KR101883680B1 publication Critical patent/KR101883680B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/26603—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for automatically generating descriptors from content, e.g. when it is not made available by its provider, using content analysis techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Abstract

Disclosed are a content authoring apparatus and a content reproducing apparatus, a content authoring method and a content reproducing method using the same. According to an aspect of the present invention, the present invention writes integrated contents in which images and metadata are integrated so that the content reproducing apparatus can reproduce contents even in one transmission. Also, the present invention analyzes and outputs the received integrated contents even when receiving the integrated contents once. Therefore, the present invention can reproduce images included in the integrated contents.

Description

컨텐츠 저작장치 및 컨텐츠 재생장치, 이를 이용한 컨텐츠 저작방법 및 컨텐츠 재생방법{Mpethod and Apparatus for Authoring and Playing Contents}Technical Field [0001] The present invention relates to a content authoring apparatus and a content reproducing apparatus,

본 실시예는 영상과 이미지를 포함한 컨텐츠를 저작하거나, 저작된 컨텐츠를 수신하여 재생하는 장치 및 방법에 관한 것이다.The present embodiment relates to an apparatus and method for authoring contents including images and images, and receiving and reproducing authored contents.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this section merely provide background information on the present embodiment and do not constitute the prior art.

기술의 발전으로 이미지 또는 영상을 포함하는 컨텐츠는 일정한 장면만을 담아내는 것을 넘어 파노라마 컨텐츠와 같이 360°의 모든 경치를 담아내거나, VR(Virtual Reality; 가상현실) 컨텐츠와 같이 파노라마 컨텐츠에 가공 과정을 거쳐 구형 또는 원통형 모양에 매핑함으로써, 가상의 공간을 만들어 체험자로 하여금 실제로 존재하지 않는 공간을 체험할 수 있도록 한다.With the development of technology, contents including images or images can be made to contain all scenes of 360 ° like panoramic contents or to process panoramic contents like VR (Virtual Reality) By mapping to a spherical or cylindrical shape, a virtual space is created so that the experient can experience a space that does not actually exist.

그러나 VR 컨텐츠를 생성하기 위해서는 360°의 모든 경치를 영상으로 촬영하여야 하기 때문에, 생성되는 컨텐츠의 용량이 상당히 커지는 단점이 존재한다. 이에 따라, 생성된 VR 컨텐츠를 VR 컨텐츠 재생장치로 전송함에 있어, 상당히 오랜 시간이 걸리거나, 전송에 있어 온전한 VR 컨텐츠가 전달되지 못할 가능성이 존재한다. 이러한 문제를 방지하기 위해, VR 컨텐츠를 저화질로 생성한다면, VR 컨텐츠 재생장치를 이용해 VR 컨텐츠를 시청하는 사용자의 몰입감이 저해되는 문제가 존재한다.However, in order to generate VR contents, all scenes of 360 ° must be photographed as an image, so that there is a disadvantage that the capacity of generated contents becomes considerably large. Accordingly, there is a possibility that the generated VR contents may be transmitted to the VR contents reproducing apparatus for a considerably long time, or that the complete VR contents may not be delivered in transmission. In order to prevent such a problem, there is a problem that if a VR content is generated with a low quality, a feeling of immersion by a user who views the VR content using the VR content reproduction apparatus is hindered.

본 실시예는, 적은 용량으로도 컨텐츠 재생장치가 초고화질의 컨텐츠를 재생할 수 있도록 이미지, 영상 및 메타데이터를 통합한 통합 컨텐츠를 저작하는 통합 컨텐츠 저작 장치 및 방법을 제공하는 데 일 목적이 있다.It is an object of the present invention to provide an integrated content authoring apparatus and method for authoring integrated contents in which images, images, and metadata are integrated so that a content reproduction apparatus can reproduce ultra high-quality contents even with a small capacity.

또한, 본 실시예는, 적은 용량을 갖는 통합 컨텐츠 수신으로도, 수신한 통합 컨텐츠를 분석하여 출력함으로써, 온전히 통합 컨텐츠 내 포함된 이미지와 영상을 초고화질로 재생할 수 있는 통합 컨텐츠 재생장치 및 방법을 제공하는 데 일 목적이 있다.The present embodiment also provides an integrated content playback apparatus and method capable of playing back an image and an image included in the integrated content in super high image quality by analyzing and outputting the received integrated content even when the integrated content is received with a small capacity The purpose is to serve.

본 실시예의 일 측면에 의하면, 영상 촬영장치로부터 하나 이상의 이미지 및 영상을 수신하여, 사용자 단말이 1회의 수신으로도 재생할 수 있는 통합 컨텐츠(Contents)를 저작하는 컨텐츠 저작장치에 있어서, 상기 영상 촬영장치로부터 상기 하나 이상의 이미지를 수신하고, 수신한 하나 이상의 이미지를 스티칭(Stitching)하여 하나의 이미지로 저작하는 이미지 저작부와 상기 영상 촬영장치로부터 상기 영상을 수신하고, 수신한 영상 내에서 객체를 선정하여, 선정된 객체의 좌표에 고정된 영상을 저작하는 영상 저작부와 상기 선정된 객체의 좌표 및 선정된 객체의 재생 시간 값 중 일부 또는 전부를 포함하는 메타데이터를 생성하는 메타데이터 생성부와 상기 선정된 객체의 재생 시간 값을 파악하기 위한 타이머 및 상기 이미지 저작부가 저작한 이미지, 상기 영상 저작부가 저작한 영상 및 상기 메타데이터 생성부가 생성한 메타데이터를 포함하는 통합 컨텐츠를 생성하여 외부로 전송하는 통합 컨텐츠 생성부를 포함하는 것을 특징으로 하는 컨텐츠 저작장치를 제공한다.According to an aspect of the present invention, there is provided a content authoring apparatus for authoring one or more images and images from a video image-capturing apparatus and authoring integrated contents that can be reproduced even by a single reception of a user terminal, An image authoring unit for receiving the one or more images from the image capturing device and for stitching the received one or more images and authoring the one or more images into one image; A metadata generating unit for generating metadata including a video authoring unit for authoring an image fixed to the coordinates of the selected object, coordinates of the selected object and a reproduction time value of the selected object, A timer for grasping the playback time value of the object, and an image authored by the image authoring unit, Image writing part writing the image and produce a unified content including metadata by adding the generated metadata generated by the content author provides an apparatus comprising: a generator integrated content to transmit to the outside.

본 실시예의 다른 측면에 의하면, 영상 촬영장치로부터 하나 이상의 이미지 및 영상을 수신하여, 사용자 단말이 1회의 수신으로도 재생할 수 있는 통합 컨텐츠(Contents)를 저작하는 컨텐츠 저작방법에 있어서, 상기 영상 촬영장치로부터 상기 하나 이상의 이미지 또는 영상을 수신하는 수신과정과 수신한 하나 이상의 이미지를 스티칭(Stitching)하여 하나의 이미지로 저작하는 이미지 저작과정과 수신한 영상 내에서 객체를 선정하여, 선정된 객체의 좌표에 고정된 영상을 저작하는 영상 저작과정과 상기 선정된 객체의 좌표 및 선정된 객체의 재생 시간 값 중 일부 또는 전부를 포함하는 메타데이터를 생성하는 메타데이터 생성과정 및 상기 이미지 저작과정에서 저작된 이미지, 상기 영상 저작과정에서 저작된 영상 및 상기 메타데이터 생성과정에서 생성된 메타데이터를 포함하는 통합 컨텐츠를 생성하여 외부로 전송하는 통합 컨텐츠 생성과정을 포함하는 것을 특징으로 하는 컨텐츠 저작방법을 제공한다.According to another aspect of the present invention, there is provided a content authoring method for authoring one or more images and images from a video image capturing apparatus and authoring integrated contents that can be reproduced by a user terminal even by receiving one time, An image creating process of stitching the received one or more images and authoring the one or more images into one image, selecting an object in the received image, A meta data generation step of generating a meta data including at least one of a coordinate of the selected object and a reproduction time value of the selected object, The image authoring process in the video authoring process and the metadata generated in the metadata generation process And generating an integrated content including meta data and transmitting the generated integrated content to an external device.

본 실시예의 다른 일 측면에 의하면, 컨텐츠 저작장치로부터 통합 컨텐츠를 1회 수신하여, 통합 컨텐츠를 구현하는 컨텐츠 재생장치에 있어서, 상기 통합 컨텐츠를 수신하여, 상기 통합 컨텐츠 내 포함된 이미지, 영상 및 메타 데이터를 분리하는 통합 컨텐츠 분리부와 상기 이미지를 출력하도록 제어하며, 상기 메타데이터를 분석하여 상기 이미지에 상기 영상이 오버레이(Overlay)되어 재생하도록 제어하는 제어부와 상기 메타데이터를 분석하여, 상기 이미지에 상기 영상이 오버레이되는 부분의 경계를 부드럽게 하기 위한 경계처리를 수행하는 영상 처리부와 상기 제어부의 제어에 따라 상기 이미지를 출력하거나, 상기 이미지에 상기 영상을 오버레이하여 재생하는 출력부 및 상기 통합 컨텐츠 분리부에 의해 분리된 상기 이미지, 상기 영상 및 상기 메타 데이터를 저장하는 메모리부를 포함하는 것을 특징으로 하는 컨텐츠 재생장치를 제공한다.According to another aspect of the present invention, there is provided a content reproduction apparatus for receiving unified content once from a content authoring apparatus and implementing unified content, the apparatus comprising: a receiving unit configured to receive the unified content, A control unit for controlling the output of the image and outputting the image, and controlling the image to be overlapped and reproduced in the image by analyzing the metadata to analyze the metadata, An output unit for outputting the image in accordance with a control of the control unit or for overlaying and reproducing the image on the image, and an output unit for outputting the image by overlaying the image on the image, The image and the image separated by the image It provides a content reproducing apparatus characterized in that it comprises a memory for storing data.

또한, 본 실시예의 다른 측면에 의하면, 컨텐츠 저작장치로부터 통합 컨텐츠를 1회 수신하여, 통합 컨텐츠를 구현하는 컨텐츠 재생방법에 있어서, 상기 통합 컨텐츠를 수신하여, 상기 통합 컨텐츠 내 포함된 이미지, 영상 및 메타 데이터를 분리하는 과정과 상기 이미지를 출력하는 과정과 상기 메타데이터를 분석하여, 상기 이미지에 상기 영상이 오버레이(Overlay)되는 부분의 경계를 부드럽게 하기 위한 경계처리를 수행하는 과정 및 상기 메타데이터를 분석하여, 상기 이미지에 상기 영상이 오버레이되어 재생하는 과정을 포함하는 것을 특징으로 하는 컨텐츠 재생방법을 제공한다.According to another aspect of the present invention, there is provided a content reproduction method for receiving unified content once from a content authoring apparatus to implement unified content, the method comprising: receiving the unified content; A method for processing an image, the method comprising: separating metadata; outputting the image; analyzing the metadata to perform a boundary process for softening a boundary of an overlaid portion of the image; Analyzing the image, and overlaying the image on the image, and reproducing the content.

이상에서 설명한 바와 같이 본 실시예의 일 측면에 따르면, 정지 부분은 이미지로, 움직임이 있는 부분은 해당 부분만을 영상으로 하여 통합 컨텐츠를 저작하기 때문에, 고화질을 유지하면서도 저용량의 컨텐츠를 저작할 수 있어, 컨텐츠의 전송 및 재생과정에서 발생할 수 있는 문제를 최소화할 수 있는 장점이 있다.As described above, according to the embodiment of the present invention, since the still portion is an image and the moving portion is an image, only the corresponding portion is used as an image, so that the low-capacity contents can be authored while maintaining high image quality, There is an advantage that problems that may occur during transmission and reproduction of contents can be minimized.

또한, 본 실시예의 다른 일 측면에 따르면, 통합 컨텐츠 저작장치가 이미지 및 영상의 일부분과 함께 영상의 메타데이터도 포함한 통합 컨텐츠를 저작하기 때문에, 스트리밍과 같이 지속적인 전송없이 1회의 전송으로도 통합 컨텐츠를 재생할 수 있는 장점이 있다.According to another aspect of the present invention, since the integrated content authoring apparatus authorizes the integrated contents including the image metadata together with a part of the image and the image, There is an advantage that it can reproduce.

도 1은 본 발명의 일 실시예에 따른 컨텐츠 저작 및 재생 시스템을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 촬영장치가 촬영하는 방법 및 영상 촬영장치가 촬영한 이미지와 영상을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 컨텐츠 저작장치의 구성을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 컨텐츠 저작장치가 저작한 이미지 및 영상을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 컨텐츠 재생장치의 구성을 도시한 그래프이다.
도 6은 본 발명의 일 실시예에 따른 컨텐츠 저작장치가 컨텐츠를 저작하는 방법을 도시한 순서도이다.
도 7은 본 발명의 일 실시예에 따른 컨텐츠 재생장치가 컨텐츠를 재생하는 방법을 도시한 순서도이다.1 is a diagram illustrating a content authoring and playback system according to an embodiment of the present invention.
2 is a view showing a method of photographing by a photographing apparatus according to an embodiment of the present invention and an image and an image taken by a photographing apparatus.
FIG. 3 is a diagram illustrating a configuration of a content authoring apparatus according to an embodiment of the present invention.
4 is a view showing an image and an image authored by a content authoring apparatus according to an embodiment of the present invention.
5 is a graph showing a configuration of a content reproduction apparatus according to an embodiment of the present invention.
6 is a flowchart illustrating a method of authoring content by a content authoring apparatus according to an embodiment of the present invention.
FIG. 7 is a flowchart illustrating a method of reproducing content according to an embodiment of the present invention.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to exemplary drawings. It should be noted that, in adding reference numerals to the constituent elements of the drawings, the same constituent elements are denoted by the same reference symbols as possible even if they are shown in different drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.In describing the components of the present invention, terms such as first, second, A, B, (a), and (b) may be used. These terms are intended to distinguish the constituent elements from other constituent elements, and the terms do not limit the nature, order or order of the constituent elements. Throughout the specification, when an element is referred to as being "comprising" or "comprising", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise . In addition, '... Quot ;, " module ", and " module " refer to a unit that processes at least one function or operation, and may be implemented by hardware or software or a combination of hardware and software.

도 1은 본 발명의 일 실시예에 따른 컨텐츠 저작 및 재생 시스템을 도시한 도면이다.1 is a diagram illustrating a content authoring and playback system according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 컨텐츠 저작 및 재생 시스템(100)은 영상 촬영장치(110), 컨텐츠 저작장치(120), 컨텐츠 제공서버(130) 및 컨텐츠 재생장치(140)를 포함한다.1, a content authoring and reproducing system 100 according to an exemplary embodiment of the present invention includes a video photographing apparatus 110, a content authoring apparatus 120, a content providing server 130, and a content reproducing apparatus 140. [ .

영상 촬영장치(110)는 영상 및 하나 이상의 이미지를 촬영한다. 영상 촬영장치(110)는 360°의 모든 경치에 대해 이를 영상 및 이미지로 촬영한다. 이에 대해서는 도 2에 상세히 도시되어 있다. The image capturing apparatus 110 captures an image and one or more images. The image capturing apparatus 110 captures images and images for all 360 ° scenes. This is illustrated in detail in FIG.

도 2는 본 발명의 일 실시예에 따른 영상 촬영장치가 촬영하는 방법 및 영상 촬영장치가 촬영한 이미지와 영상을 도시한 도면이다.2 is a view showing a method of photographing by a photographing apparatus according to an embodiment of the present invention and an image and an image taken by a photographing apparatus.

영상 촬영장치(110)는 NPP(No Parallax Point, 114)를 회전축(118)과 일치시켜 영상 및 이미지를 촬영할 수 있다. NPP(114)는 무시차를 형상하는 영상 촬영장치(110) 내 렌즈의 X, Y, Z축의 중심점을 의미하는 것으로서, 영상 촬영장치(110)는 NPP(114)를 회전축(118)에 일치시킴으로써, 시차 없는 하나 이상의 이미지 또는 영상을 촬영할 수 있다. 영상 촬영장치(110)는 360°를 회전하며 이미지를 촬영함에 있어, 각 구간마다 이미지를 촬영하여 복수의 이미지로 촬영할 수 있고, 도 2에 도시된 바와 같이 하나의 파노라마 이미지(210)로 촬영할 수도 있다.The image capturing apparatus 110 can photograph an image and an image by aligning the NPP (No Parallax Point) 114 with the rotation axis 118. The NPP 114 indicates the center of the X, Y, and Z axes of the lens in the image capturing apparatus 110 that forms the neglected car. The image capturing apparatus 110 matches the NPP 114 with the rotation axis 118 , One or more images or images with no time difference can be photographed. The image capturing apparatus 110 photographs an image by rotating the image by 360 °. The image capturing apparatus 110 may capture an image for each section and may take a plurality of images. Alternatively, as shown in FIG. 2, have.

영상 촬영장치(110)는 360°를 회전하며 촬영함에 있어, 배경이나 움직임이 없는 사물과 같이, 시간이 지나더라도 변화가 없는 부분은 이미지로 촬영을 하고, 움직임이 있는 사물이나 사람과 같이 시간이 지남에 따라 변화하는 객체는 영상으로 촬영한다. 영상 촬영장치(110)가 촬영한 이미지(210)와 영상(215)이 도 2에 도시되어 있다. 영상 촬영장치(110)는 특정 장소에 배치되어 움직임이 없는 사물이나 벽과 같은 배경은 굳이 영상으로 촬영하여 용량을 증가시킬 필요없이 이미지(210)로 촬영한다. 반면, 움직임이 존재하는 객체(215)는 이미지로는 모든 움직임을 담아낼 수 없으며, 이미지로 담을 경우 현실감이 떨어지는 문제가 있어, 영상 촬영장치(110)는 객체(215)를 중심으로 한 영상을 촬영한다. The image photographing apparatus 110 photographs a portion of the image that does not change even when time passes, such as an object that does not have a background or motion, Objects that change over time are photographed with images. An image 210 and an image 215 captured by the image capturing apparatus 110 are shown in FIG. The image capturing apparatus 110 photographs an image 210 without needing to increase the capacity by capturing an object such as a moving object or a wall in a specific place. On the other hand, since the motion object 215 can not capture all the motions of an image, the motion picture is not realistic when the motion object 215 is captured as an image. Therefore, the image capturing apparatus 110 captures an image I shoot.

다시 도 1을 참조하면, 영상 촬영장치(110)는 전술한 바와 같이 촬영한, 하나 이상의 이미지와 영상을 컨텐츠 저작장치(120)로 전달한다.Referring again to FIG. 1, the image capturing apparatus 110 transmits one or more images and images captured as described above to the content authoring apparatus 120.

컨텐츠 저작장치(120)는 영상 촬영장치(110)로부터 수신한 이미지와 영상을 이용하여 통합 컨텐츠를 저작한다. 컨텐츠 저작장치(120)는 구간마다 촬영한 복수의 이미지 또는 하나의 파노라마 이미지를 영상 촬영장치(110)로부터 수신하며, 이를 하나의 파노라마 이미지 또는 구(Sphere)형 또는 원통형 모양에 매핑한 구 형상 또는 원통형 형상을 갖는 파노라마 이미지를 저작한다. 컨텐츠 저작장치(120)는 영상을 영상 촬영장치(110)로부터 수신하며, 영상 내에서 움직임이 있는 객체를 선정하여 선정된 객체의 좌표에 고정된 영상을 저작한다. 또한, 컨텐츠 저작장치(120)는 저작된 영상의 메타데이터를 생성하여, 저작된 이미지, 영상 및 메타데이터를 포함하는 통합 컨텐츠를 저작한다. 이에 대한 구체적인 설명은 도 3 및 도 4를 참조하여 설명하기로 한다.The content authoring apparatus 120 authorizes the integrated contents using the images and images received from the image capturing apparatus 110. The content authoring apparatus 120 receives a plurality of images or one panorama image photographed in each section from the image capturing apparatus 110 and displays it in a spherical shape or a sphere shape or a cylindrical shape mapped to a panorama image or a spherical shape Author a panoramic image with a cylindrical shape. The content authoring apparatus 120 receives an image from the image capturing apparatus 110, selects an object having motion within the image, and writes the image fixed to the coordinates of the selected object. In addition, the content authoring apparatus 120 generates metadata of the authored image, and author the integrated contents including the authored image, image, and metadata. A detailed description thereof will be made with reference to FIG. 3 and FIG.

컨텐츠 제공서버(130)는 컨텐츠 저작장치(120)로부터 통합 컨텐츠를 수신하여, 컨텐츠 재생장치(140)로 전달한다. 컨텐츠 제공서버(130)는 무선 통신을 이용해 통합 컨텐츠를 컨텐츠 재생장치(140)로 전달함으로써, 컨텐츠 재생장치(140)가 언제 어디에서도 통합 컨텐츠를 수신하여 재생할 수 있도록 한다.The contents providing server 130 receives the integrated contents from the contents authoring apparatus 120 and transmits the integrated contents to the contents reproducing apparatus 140. The contents providing server 130 transmits the integrated contents to the contents reproducing apparatus 140 by using wireless communication so that the contents reproducing apparatus 140 can receive and reproduce the integrated contents anytime and anywhere.

컨텐츠 재생장치(140)는 수신한 통합 컨텐츠를 분리하여, 통합 컨텐츠 내 포함된 메타데이터에 따라 영상을 이미지와 함께 재생한다. 컨텐츠 재생장치(140)는 통합 컨텐츠를 이미지, 영상 및 메타데이터로 분리하고, 이미지를 출력한다. 컨텐츠 재생장치(140)는 메타데이터를 분석하여 영상을 언제 어느 좌표에 출력할지를 결정한 후, 영상을 출력되는 이미지에 오버레이(Overlay)하여 출력한다. 이와 같이, 컨텐츠 재생장치(140)는 영상을 이미지 상에 오버레이하여 출력함으로써, 360°모두를 영상으로 촬영한 컨텐츠보다 더 적은 용량으로도 해당 컨텐츠와 비슷한 품질로 재생할 수 있다. 또한, 메타데이터를 이용하여 영상을 원하는 타이밍에 원하는 좌표로 이미지 상에 오버레이하여 출력할 수 있기 때문에, 영상과 이미지를 통합한 컨텐츠를 지속적으로 전송할 필요없이 통합 컨텐츠를 단 1회만 전송하더라도 컨텐츠 재생장치(140)가 통합 컨텐츠를 온전히 재생할 수 있다.The content reproduction apparatus 140 separates the received integrated content and reproduces the image together with the image according to the metadata included in the integrated content. The content reproduction apparatus 140 separates the integrated contents into images, images, and metadata, and outputs an image. The content reproduction apparatus 140 analyzes the metadata and determines at what coordinates to output the image at, and then overlays and outputs the image to the output image. In this manner, the content reproduction apparatus 140 can reproduce the image with a quality similar to that of the corresponding content even with a smaller capacity than that of the 360 ° all-image-captured content by outputting the image over the image. In addition, since the image can be overlaid on an image at a desired timing at a desired timing using the metadata, even if the integrated content is transmitted only once without continuously transmitting the content in which the image and the image are integrated, (140) can fully reproduce the integrated contents.

컨텐츠 재생장치(140)는 스마트 폰, 태블릿 PC 등 스마트 단말, 컴퓨터 등 영상이나 이미지를 출력할 수 있는 모든 기기를 포함하며, 나아가 구 형상 또는 원통형 형상을 갖는 파노라마 이미지를 출력하여 사용자에게 VR 컨텐츠를 재생할 수 있는 VR 재생기기(Player)를 포함한다.The content reproduction apparatus 140 includes all devices capable of outputting images or images such as a smart terminal such as a smart phone and a tablet PC, a computer, and the like, and further outputs a panoramic image having a spherical shape or a cylindrical shape, And a VR player (player) that can reproduce the program.

도 3은 본 발명의 일 실시예에 따른 컨텐츠 저작장치의 구성을 도시한 도면이다.FIG. 3 is a diagram illustrating a configuration of a content authoring apparatus according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일 실시예에 따른 컨텐츠 저작장치(120)는 이미지 저작부(310), 영상 저작부(320), 메타데이터 생성부(330), 타이머(340) 및 통합 컨텐츠 생성부(350)를 포함한다.3, a content authoring apparatus 120 according to an exemplary embodiment of the present invention includes an image authoring unit 310, an image authoring unit 320, a metadata generating unit 330, a timer 340, And a generating unit 350.

이미지 저작부(310)는 영상 촬영장치(110)로부터 수신한 이미지를 하나의 파노라마 이미지 또는 구 형상이나 원통형 형상을 갖는 파노라마 이미지로 저작한다. 영상 촬영장치(110)로부터 각 구간마다 촬영된 복수의 이미지가 수신되는 경우, 이미지 저작부(310)는 시차 없이 각 이미지를 스티칭(Stitching)하여 하나의 파노라마 이미지로 저작할 수 있다. 또는, 이미지 저작부(310)는 저작한 파노라마 이미지 또는 영상 촬영장치(110)로부터 수신한 파노라마 이미지를 구형 또는 원통형 모양에 매핑하여 구 형상이나 원통형 형상을 갖는 파노라마 이미지로 저작한다. The image authoring unit 310 writes the image received from the image photographing apparatus 110 into one panorama image, or a panorama image having a spherical shape or a cylindrical shape. When a plurality of images photographed for each section are received from the image capturing apparatus 110, the image authoring unit 310 may stitch each image without any time lag to author one panorama image. Alternatively, the image authoring unit 310 maps the panoramic image generated by the author or the panoramic image received from the image photographing apparatus 110 into a spherical or cylindrical shape, and writes the panoramic image into a spherical or cylindrical panoramic image.

영상 저작부(320)는 영상 촬영장치(110)로부터 수신한 영상 내 객체를 선정하여 선정된 객체의 좌표에 고정된 영상을 저작한다. 영상 촬영장치(110)로부터 수신한, 객체를 중심으로 촬영된 영상에 대하여, 영상 저작부(320)는 해당 영상 내에서 움직임이 있는 객체를 선정하고, 선정된 객체의 좌표에 고정된 영상을 저작한다. 여기서, 객체는 여러 개가 선정될 수 있으며, 영상 저작부(320)는 선정된 각각의 객체에 고정하여 객체의 움직임만을 포함한 영상을 저작한다. The image authoring unit 320 selects an object in the image received from the image capturing apparatus 110 and writes an image fixed to the coordinates of the selected object. The image authoring unit 320 selects an object having motion within the image and displays the image fixed at the coordinates of the selected object on the image photographed around the object received from the image capturing apparatus 110. Then, do. Here, a plurality of objects can be selected, and the image authoring unit 320 fixes the objects to each selected object to author an image including only the motion of the object.

이미지 저작부(310)가 저작한 이미지 및 영상 저작부(320)가 저작한 영상은 도 4에 도시되어 있다. An image authored by the image authoring unit 310 and an image authored by the image authoring unit 320 are shown in FIG.

도 4는 본 발명의 일 실시예에 따른 컨텐츠 저작장치가 저작한 이미지 및 영상을 도시한 도면이다.4 is a view showing an image and an image authored by a content authoring apparatus according to an embodiment of the present invention.

도 4에 도시된 바와 같이, 컨텐츠 저작장치가 저작한 이미지(410)는 복수의 이미지가 스티칭되어 파노라마 이미지로 저작될 수 있다. 또한, 도 4에 도시되지는 않았으나, 저작된 파노라마 이미지 또는 수신한 파노라마 이미지를 구(Sphere)형 또는 원통형 모양에 매핑한 구 형상 또는 원통형 형상을 갖는 파노라마 이미지로 저작할 수 있다. As shown in FIG. 4, the image authored by the content authoring apparatus 410 may be stitched to be a panorama image. Also, although not shown in FIG. 4, the authored panorama image or the received panorama image can be mapped into a spherical or cylindrical panorama image having a spherical or cylindrical shape mapped to a spherical or cylindrical shape.

컨텐츠 저작장치가 저작한 영상(420)는 움직임이 있는 객체(415)에 고정되어 해당 객체(415)의 움직임만을 포함한다.The image 420 authored by the content authoring device is fixed to the moving object 415 and includes only the motion of the corresponding object 415.

메타데이터 생성부(330)는 영상 저작부(320)에 의해 저작된 영상 내 객체의 메타데이터를 생성한다. 메타데이터는 영상 저작에 있어 선정된 객체의 좌표 및 선정된 객체의 재생 시간 값 일부 또는 전부를 포함한다. 여기서, 선정된 객체의 재생 시간 값은 영상 촬영장치(110)로부터 수신한 영상이 재생된 후 객체가 특정 좌표값을 가질 때의 시간 값을 의미한다. 메타데이터는 선정된 객체의 좌표 및 선정된 객체의 재생 시간 값을 포함함으로써, 선정된 객체가 언제 어느 좌표로 이동하였는지를 알 수 있도록 한다. 나아가, 이미지 저작부(310)가 구 형상이나 원통형 형상을 갖는 파노라마 이미지를 저작하는 경우, 메타데이터 생성부(330)는 메타데이터에 구 형상이나 원통형 형상의 굴곡률을 포함시킬 수 있다.The metadata generating unit 330 generates metadata of an object in an image authored by the image authoring unit 320. The metadata includes some or all of the coordinates of the selected object in the video production and the reproduction time value of the selected object. Here, the reproduction time value of the selected object means a time value when the object has a specific coordinate value after the image received from the image photographing apparatus 110 is reproduced. The metadata includes the coordinates of the selected object and the playback time value of the selected object so that the user can know when the selected object has moved to which coordinates. Further, when the image authoring unit 310 authorizes a panorama image having a spherical shape or a cylindrical shape, the metadata generation unit 330 may include a sphere or a cylindrical shape of a bending rate in the metadata.

타이머(340)는, 메타데이터 생성부(330)가 메타데이터, 특히, 선정된 객체의 재생 시간 값을 파악할 수 있도록, 시간 값을 메타데이터 생성부(330)로 제공한다.The timer 340 provides the time value to the metadata generating unit 330 so that the metadata generating unit 330 can grasp the metadata, in particular, the playback time value of the selected object.

통합 컨텐츠 생성부(350)는 저작된 이미지, 저작된 영상 및 메타데이터를 포함한 통합 컨텐츠를 생성한다. 통합 컨텐츠 생성부(350)는 이미지 저작부(310)에 의해 저작된 이미지, 영상 저작부(320)에 의해 저작된 영상 및 메타데이터 생성부(330)에 의해 생성된 메타데이터를 수신하여, 각각을 포함하는 통합 컨텐츠를 생성한다. 여기서, 통합 컨텐츠란 저작된 이미지, 저작된 영상 및 메타데이터를 포함하는 컨텐츠를 의미하는 것일 뿐이며, 저작된 이미지와 영상을 합성하거나 병합하는 등 별도의 처리를 거쳐 새로 생성된 컨텐츠를 의미하는 것은 아니다. 통합 컨텐츠 생성부(350)는 통합 컨텐츠를 생성하여 컨텐츠 제공서버(130)로 전달함으로써, 통합 컨텐츠가 컨텐츠 재생장치(140)로 전달되도록 한다.The integrated contents generation unit 350 generates integrated contents including the authored image, the authored image, and the metadata. The integrated content generating unit 350 receives the image authored by the image creating unit 310, the image generated by the image creating unit 320, and the metadata generated by the metadata generating unit 330, As shown in FIG. Here, the integrated content is content that includes a copyrighted image, a copyrighted image, and metadata, and does not mean content newly generated through separate processing such as combining or merging an authored image and an image . The integrated contents generation unit 350 generates the integrated contents and transmits the integrated contents to the contents providing server 130 so that the integrated contents are transmitted to the contents reproduction apparatus 140.

도 5는 본 발명의 일 실시예에 따른 컨텐츠 재생장치의 구성을 도시한 그래프이다.5 is a graph showing a configuration of a content reproduction apparatus according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 일 실시예에 따른 컨텐츠 재생장치(140)는 통합 컨텐츠 분리부(510), 제어부(520), 영상 처리부(530), 타이머(540), 메모리부(550) 및 출력부(560)를 포함한다.5, the content reproduction apparatus 140 includes an integrated content separation unit 510, a control unit 520, an image processing unit 530, a timer 540, a memory unit 550, And an output unit 560.

통합 컨텐츠 분리부(510)는 컨텐츠 제공서버(130)로부터 수신한 통합 컨텐츠를 분리한다. 통합 컨텐츠 분리부(510)는 수신한 통합 컨텐츠를 이미지, 영상 및 메타데이터로 분리한다.The integrated content separating unit 510 separates the integrated contents received from the content providing server 130. The integrated contents separating unit 510 separates the received integrated contents into images, images, and metadata.

제어부(520)는 출력부(560)가 이미지를 출력하도록 제어하며, 메타데이터를 분석하여 이미지에 영상을 오버레이(Overlay)하여 재생하도록 제어한다. 제어부(520)는 통합 컨텐츠 분리부(510)가 분리한 통합 컨텐츠 내 이미지를 출력부(560)가 출력하도록 제어한다. 통합 컨텐츠 내 이미지는 움직임이 없는 부분에 대해 촬영한 것으로서 배경으로 사용될 수 있기 때문에, 제어부(520)는 영상에 앞서 이미지가 출력되도록 제어한다.The control unit 520 controls the output unit 560 to output an image, and analyzes the metadata to overlay and reproduce the image on the image. The control unit 520 controls the output unit 560 to output the image in the integrated content separated by the integrated content separation unit 510. [ Since the image in the integrated content is photographed with respect to a portion having no motion, the control unit 520 controls the image to be output prior to the image.

이후, 제어부(520)는 통합 컨텐츠 내 메타데이터를 분석하여, 어느 시점에 어느 좌표에서 영상이 재생될 지를 파악한다. 메타데이터는 선정된 객체의 좌표 및 선정된 객체의 재생 시간 값 일부 또는 전부를 포함하고 있기 때문에, 메타데이터를 이용하여 객체를 포함한 영상이 어느 시점에 어느 좌표에서 재생되어야 하는지를 파악할 수 있다. 나아가, 통합 컨텐츠 내 포함된 이미지가 구 형상 또는 원통형 형상을 갖는 파노라마 이미지인 경우, 제어부(520)는 메타데이터 내 포함된 구 형상이나 원통형 형상의 굴곡률을 통합 컨텐츠 내 포함된 영상에 적용되도록 제어할 수 있다. 제어부(520)는 굴곡률을 통합 컨텐츠 내 포함된 영상에 적용되도록 제어함으로써, 영상이 이미지 내에서 매끄럽게 재생되도록 제어한다.After that, the control unit 520 analyzes the meta data in the integrated content to determine at which point the video is reproduced at which point. Since the metadata includes some or all of the coordinates of the selected object and the playback time of the selected object, metadata can be used to determine at what point in time the video including the object should be reproduced. In addition, when the image included in the integrated content is a panorama image having a spherical shape or a cylindrical shape, the control unit 520 controls the bending rate of the spherical shape or the cylindrical shape included in the metadata to be applied to the image included in the integrated content can do. The control unit 520 controls the bending rate to be applied to the images included in the integrated contents, so that the images are smoothly reproduced in the images.

제어부(520)는 파악한 정보에 따라 영상을 이미지에 오버레이하여 재생하도록 출력부(560)를 제어하며, 영상에 대해 영상이 오버레이될 부분의 경계를 부드럽게 하기 위한 경계처리를 하도록 영상처리부(530)를 제어한다. 제어부(520)는 메타데이터를 분석한 결과에 따라, 출력하고 있는 이미지 상에 영상을 오버레이하여 출력하도록 출력부(560)를 제어한다. 다만, 이미지 상에 영상이 아무런 처리없이 오버레이되는 경우, 오버레이되는 영상의 경계부분이 부자연스럽게 출력될 여지가 높다. 따라서 제어부(520)는 메타데이터의 분석으로부터 파악된, 영상이 재생될 시점과 좌표를 이용하여 영상에 대해 영상이 오버레이될 부분의 경계를 부드럽게 하기 위한 경계처리를 하도록 영상처리부(530)를 제어한다. The control unit 520 controls the output unit 560 to overlay and reproduce the image on the image according to the detected information and controls the image processing unit 530 to perform a boundary process for smoothing the boundary of the portion overlaid on the image . The control unit 520 controls the output unit 560 to overlay the image on the output image according to a result of the analysis of the metadata. However, when the image is overlaid on the image without any processing, there is a high possibility that the boundary portion of the overlaid image will be output unnaturally. Accordingly, the control unit 520 controls the image processing unit 530 to perform a boundary process for softening the boundary of the portion overlaid on the image with respect to the image, using the coordinates of the time point at which the image is reproduced, which is grasped from the analysis of the metadata .

영상처리부(530)는 제어부(520)의 제어에 따라 영상에 대해 영상이 오버레이될 부분의 경계에 대해 경계처리를 수행한다. 영상처리부(530)는 블러(Blur) 필터 등을 이용하여 영상 내 객체가 오버레이되는 부분의 경계를 부드럽게 처리한다. 영상처리부(530)에 의해 객체가 오버레이되는 부분의 경계에 경계처리가 수행됨으로써, 이미지 상에 영상이 자연스럽게 오버레이된 컨텐츠가 출력될 수 있다.The image processor 530 performs a boundary process on the boundary of the portion where the image is to be overlaid on the image under the control of the controller 520. [ The image processing unit 530 softens the boundary of the portion overlaid on the object by using a blur filter or the like. The boundary processing is performed at the boundary of the portion where the object is overlaid by the image processing unit 530, so that the content in which the image is naturally overlaid on the image can be output.

타이머(540)는, 제어부(520)가 이미지에 영상을 오버레이할 시점을 파악할 수 있도록, 시간 값을 제어부(520)로 제공한다.The timer 540 provides a time value to the control unit 520 so that the control unit 520 can grasp when to overlay the image on the image.

메모리부(550)는 통합 컨텐츠 분리부(501)가 분리한 이미지, 영상 및 메타데이터를 저장한다. The memory unit 550 stores images, images, and metadata separated by the integrated content separation unit 501.

출력부(560)는 제어부(520)의 제어에 따라 이미지를 출력하거나, 영상을 이미지 상에 오버레이하여 재생한다. 출력부(560)는 파노라마 이미지를 출력하며, 파노라마 이미지 상에 영상을 오버레이하여 재생할 수 있다. 또는, 컨텐츠 재생장치(140)가 VR 재생기기로 구현되는 경우, 출력부(560)는 구 형상 또는 원통형 형상을 갖는 파노라마 이미지를 출력하며, 파노라마 이미지의 굴곡률을 적용한 영상을 이미지 상에 오버레이하여 재생한다.The output unit 560 outputs an image according to the control of the control unit 520, or reproduces the image by overlaying the image on the image. The output unit 560 outputs a panoramic image, and can overlay and reproduce the image on the panoramic image. Alternatively, when the content reproduction apparatus 140 is implemented as a VR reproduction apparatus, the output unit 560 outputs a panoramic image having a spherical or cylindrical shape, and overlayes an image to which the bending rate of the panoramic image is applied on the image Playback.

도 6은 본 발명의 일 실시예에 따른 컨텐츠 저작장치가 컨텐츠를 저작하는 방법을 도시한 순서도이다.6 is a flowchart illustrating a method of authoring content by a content authoring apparatus according to an embodiment of the present invention.

컨텐츠 저작장치(120)는 하나 이상의 이미지 및 영상을 영상 촬영장치(110)로부터 수신한다(S610). 이미지 저작부(310) 또는 영상 저작부(320)는 영상 촬영장치(110)로부터 움직임이 없는 사물이나 배경을 촬영한 이미지와 움직임이 있는 객체를 촬영한 영상을 수신한다.The content authoring apparatus 120 receives one or more images and images from the image capturing apparatus 110 (S610). The image authoring unit 310 or the image authoring unit 320 receives an image of a moving object or a background image and an image of a moving object from the image capturing apparatus 110.

컨텐츠 저작장치(120)는 수신한 이미지를 스티칭하여 하나의 이미지로 저작한다(S620). 이미지 저작부(310)는 영상 촬영장치(110)로부터 복수의 이미지를 수신하는 경우, 각 이미지를 스티칭하여 파노라마 이미지를 저작할 수 있다. 또는, 이미지 저작부(310)는 저작한 파노라마 이미지나 영상 촬영장치(110)로부터 수신한 파노라마 이미지를 스티칭하여 구 형상 또는 원통형 형상을 갖는 파노라마 이미지를 저작할 수 있다.The content authoring apparatus 120 stitches the received image and writes it as one image (S620). When a plurality of images are received from the image capturing apparatus 110, the image authoring unit 310 may stitch the respective images to author the panorama image. Alternatively, the image authoring unit 310 may author a panorama image having a spherical or cylindrical shape by stitching the panoramic image that has been authored or the panoramic image received from the image capturing apparatus 110.

컨텐츠 저작장치(120)는 수신한 영상 내에서 객체를 선정하여, 선정된 객체의 좌표에 고정된 영상을 저작한다(S630). 영상 촬영장치(110)로부터 수신한, 객체를 중심으로 촬영된 영상에 대하여, 영상 저작부(320)는 해당 영상 내에서 움직임이 있는 객체를 선정하고, 선정된 객체의 좌표에 고정하여 객체의 움직임만을 포함한 영상을 저작한다. The content authoring apparatus 120 selects an object in the received image and writes the fixed image to the coordinates of the selected object (S630). The image authoring unit 320 selects an object having motion in the image and displays the motion of the object on the coordinates of the selected object, Author the video including only.

컨텐츠 저작장치(120)는 저작된 영상 내 객체의 메타데이터를 생성한다(S640). 메타데이터 생성부(330)는 저작된 영상 내 객체의 좌표 및 선정된 객체의 재생 시간 값 일부 또는 전부를 포함하는 메타데이터를 생성한다. 나아가, 이미지 저작부(310)가 구 형상이나 원통형 형상을 갖는 파노라마 이미지를 저작하는 경우, 메타데이터 생성부(330)는 메타데이터에 구 형상이나 원통형 형상의 굴곡률을 포함시킬 수 있다.The content authoring apparatus 120 generates metadata of the object in the authored image (S640). The metadata generating unit 330 generates metadata including a part or all of the coordinates of the object in the authored image and the reproduction time value of the selected object. Further, when the image authoring unit 310 authorizes a panorama image having a spherical shape or a cylindrical shape, the metadata generation unit 330 may include a sphere or a cylindrical shape of a bending rate in the metadata.

컨텐츠 저작장치(120)는 저작한 파노라마 이미지, 영상 및 생성한 메타데이터를 포함한 통합 컨텐츠를 생성하여 컨텐츠 제공서버(130)로 전송한다(S650). 통합 컨텐츠 생성부(350)는 이미지 저작부(310)에 의해 저작된 이미지, 영상 저작부(320)에 의해 저작된 영상 및 메타데이터 생성부(330)에 의해 생성된 메타데이터를 수신하여, 각각을 포함하는 통합 컨텐츠를 생성하여 컨텐츠 제공서버(130)로 전송한다.The content authoring apparatus 120 generates an integrated content including the authored panorama image, image, and generated metadata, and transmits the combined content to the content providing server 130 (S650). The integrated content generating unit 350 receives the image authored by the image creating unit 310, the image generated by the image creating unit 320, and the metadata generated by the metadata generating unit 330, And transmits the integrated content to the content providing server 130. [

도 7은 본 발명의 일 실시예에 따른 컨텐츠 재생장치가 컨텐츠를 재생하는 방법을 도시한 순서도이다.FIG. 7 is a flowchart illustrating a method of reproducing content according to an embodiment of the present invention.

컨텐츠 재생장치(140)는 통합 컨텐츠를 컨텐츠 제공서버(130)로부터 수신한다(S710).The content reproduction apparatus 140 receives the integrated content from the content providing server 130 (S710).

컨텐츠 재생장치(140)는 수신한 통합 컨텐츠를 저작된 이미지, 저작된 영상 및 메타데이터로 분리한다(S720). 통합 컨텐츠 분리부(510)는 컨텐츠 제공서버(130)로부터 수신한 통합 컨텐츠를 저작된 이미지, 저작된 영상 및 메타데이터로 분리한다. 메모리부(550)는 분리된 저작된 이미지, 저작된 영상 및 메타데이터를 저장한다.The content reproduction apparatus 140 separates the received integrated contents into the authored image, the authored image, and the metadata (S720). The integrated contents separating unit 510 separates the integrated contents received from the contents providing server 130 into the authored image, the authored image, and the metadata. The memory unit 550 stores the separated authored image, the authored image, and the metadata.

컨텐츠 재생장치(140)는 저작된 이미지를 출력한다(S730). 출력부(560)는 제어부(520)의 제어에 따라 저작된 이미지를 출력한다.The content reproduction apparatus 140 outputs the authored image (S730). The output unit 560 outputs the authored image under the control of the control unit 520.

컨텐츠 재생장치(140)는 메타데이터를 분석하여, 영상에 대해 영상이 이미지 상에 오버레이될 부분의 경계를 부드럽게 하기 위한 경계처리를 수행한다(S740). 메타데이터는 선정된 객체의 좌표 및 선정된 객체의 재생 시간 값 일부 또는 전부를 포함하고 있기 때문에, 메타데이터를 이용하여 객체를 포함한 영상이 어느 시점에 어느 좌표에서 재생되어야 하는지를 파악할 수 있다. 제어부(520)는 메타데이터의 분석으로부터 파악된, 영상이 재생될 시점과 좌표를 이용하여 영상에 대해 영상이 오버레이될 부분의 경계를 부드럽게 하기 위한 경계처리를 하도록 영상처리부(530)를 제어한다. 영상처리부(530)는 제어부(520)의 제어에 따라 영상에 대해 영상이 오버레이될 부분의 경계에 대해 경계처리를 수행한다. The content reproduction apparatus 140 analyzes the metadata and performs a boundary process for softening the boundary of a portion of the image where the image is overlaid on the image (S740). Since the metadata includes some or all of the coordinates of the selected object and the playback time of the selected object, metadata can be used to determine at what point in time the video including the object should be reproduced. The control unit 520 controls the image processing unit 530 to perform boundary processing for smoothing the boundary of the portion overlaid on the image with respect to the image using the coordinates of the time point at which the image is reproduced, which is grasped from the analysis of the metadata. The image processor 530 performs a boundary process on the boundary of the portion where the image is to be overlaid on the image under the control of the controller 520. [

컨텐츠 재생장치(140)는 메타 데이터를 분석하여, 객체의 좌표와 재생 시간 값에 따라 출력된 이미지 상에 오버레이하여 재생한다(S750). 제어부(520)는 메타데이터의 분석으로부터 파악된, 영상이 재생될 시점과 좌표를 이용하여, 출력하고 있는 이미지 상에 영상을 오버레이하여 출력하도록 출력부(560)를 제어한다. 출력부(560)는 영상을 이미지 상에 오버레이하여 재생한다. The content reproduction apparatus 140 analyzes the meta data, and plays the overlay on the output image according to the coordinates of the object and the reproduction time value (S750). The control unit 520 controls the output unit 560 to overlay the image on the output image, using the coordinates and the time at which the image is reproduced, obtained from the analysis of the metadata. The output unit 560 reproduces the image overlaid on the image.

도 6 및 도 7에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 발명의 일 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 발명의 일 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 각각의 도면에 기재된 과정의 순서를 변경하여 실행하거나 과정 중 하나 이상의 과정을 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 6 및 도 7은 시계열적인 순서로 한정되는 것은 아니다.In FIGS. 6 and 7, it is described that each process is sequentially executed, but this is merely illustrative of the technical idea of an embodiment of the present invention. In other words, those skilled in the art will appreciate that various changes and modifications may be made without departing from the essential characteristics of one embodiment of the present invention, And FIG. 7 are not limited to the time-series order because they can be variously modified and modified by being executed in parallel.

한편, 도 6 및 도 7에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.6 and 7 can be implemented as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored. That is, a computer-readable recording medium includes a magnetic storage medium (e.g., ROM, floppy disk, hard disk, etc.), an optical reading medium (e.g., CD ROM, And the like). The computer-readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present embodiment, and various modifications and changes may be made to those skilled in the art without departing from the essential characteristics of the embodiments. Therefore, the present embodiments are to be construed as illustrative rather than restrictive, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of the present embodiment should be construed according to the following claims, and all technical ideas within the scope of equivalents thereof should be construed as being included in the scope of the present invention.

100: 컨텐츠 저작 및 재생 시스템 110: 영상 촬영장치
114: NPP 118: 회전축
120: 컨텐츠 저작장치 130: 컨텐츠 제공서버
140: 컨텐츠 재생장치 210, 410: 영상
215, 420: 영상 310: 이미지 저작부
320: 영상 저작부 330: 메타데이터 생성부
340, 540: 타이머 350: 통합 컨텐츠 생성부
415: 객체 510: 통합 컨텐츠 분리부
520: 제어부 530: 영상 처리부
550: 메모리부 560: 출력부100: content authoring and reproduction system 110:
114: NPP 118: rotating shaft
120: Content authoring device 130: Content providing server
140: content reproduction apparatus 210, 410:
215, 420: image 310: image authoring unit
320: image authoring unit 330: metadata generating unit
340, 540: Timer 350: Integrated content generation unit
415: object 510: integrated content separation unit
520: control unit 530:
550: memory unit 560: output unit

Claims (13)

영상 촬영장치로부터 특정 촬영 장소를 하나 이상의 이미지로 촬영한 배경 이미지를 수신하고, 상기 하나 이상의 배경 이미지를 스티칭(Stitching)하여 구 형상의 배경 이미지로 저작하며, 상기 영상 촬영장치로부터 상기 특정 촬영 장소에서 움직이는 객체를 촬영한 영상을 수신하고, 상기 배경 이미지 내에서 움직이는 객체를 선정하고, 상기 객체에 대응하는 좌표를 포함하는 움직이는 객체 영상을 저작하며, 상기 배경 이미지 내에 결합한 상기 객체의 좌표, 상기 객체가 특정 좌표값을 가질 때의 재생시간 값, 구 형상이나 원통형 형상의 굴곡률을 메타데이터로 생성하며, 상기 구 형상의 배경 이미지, 상기 움직이는 객체 영상 및 상기 메타데이터를 하나로 통합 패키징한 360° VR(Virtual Reality) 컨텐츠를 생성하여 1회 전송하는 컨텐츠 저작장치; 및
상기 컨텐츠 저작장치로부터 상기 360° VR 컨텐츠를 1회 수신하여, 상기 360° VR 컨텐츠 내 포함된 구 형상의 배경 이미지, 움직이는 객체 영상 및 메타데이터를 분리하고, 상기 구 형상의 배경 이미지 상에 상기 메타데이터에 포함된 상기 객체의 좌표에 대응하는 영역에 상기 움직이는 객체 영상이 상기 객체가 특정 좌표값을 가질 때의 재생시간 값만큼 오버레이하여 재생되도록 하며, 상기 구 형상의 배경 이미지에 상기 구 형상이나 원통형 형상의 굴곡률을 반영하며, 상기 구 형상의 배경 이미지 상에 상기 움직이는 객체 영상을 오버레이할 때, 오버레이 부분의 경계에 블러(Blur) 필터를 적용하여 출력하는 컨텐츠 재생장치
를 포함하는 것을 특징으로 하는 컨텐츠 저작 및 재생 시스템.A background image obtained by photographing a specific photographing place from one or more images from a video photographing device and stitching the at least one background image into a spherical background image; Receiving an image of a moving object, selecting an object to be moved within the background image, authoring a moving object image including coordinates corresponding to the object, coordinates of the object combined in the background image, A playback time value when a specific coordinate value is obtained, a bending rate of a spherical shape or a cylindrical shape is generated as meta data, and the spherical background image, the moving object image, and the metadata are integrally packaged into a 360 ° VR Virtual Reality) content and transmits the content one time; And
And a controller for receiving the 360 ° VR content once from the content authoring device, separating a background image, a moving object image, and metadata included in the 360 ° VR content, Wherein the moving object image is reproduced in an area corresponding to the coordinates of the object included in the data by overlaying the moving object image by a reproduction time value when the object has a specific coordinate value, And a blur filter is applied to the boundary of the overlay portion to overlay the moving object image on the spherical background image to reflect the bending rate of the shape,
The content authoring and playback system comprising: 제1항에 있어서,
상기 컨텐츠 저작장치는,
상기 영상 촬영장치로부터 복수의 이미지를 수신하고, 수신한 복수의 이미지를 스티칭하여 파노라마 이미지로 저작하고, 상기 파노라마 이미지를 스티칭하여 상기 구 형상의 배경 이미지로 저작하는 것을 특징으로 하는 컨텐츠 저작 및 재생 시스템.The method according to claim 1,
The content authoring apparatus includes:
Wherein the image processing apparatus receives a plurality of images from the image capturing apparatus, stitches the plurality of received images to author a panorama image, and stitches the panorama image to author the background image as the spherical image. . 제1항에 있어서,
상기 컨텐츠 저작장치는,
상기 영상 촬영장치로부터 복수의 이미지 또는 하나의 파노라마 이미지를 수신하고, 수신한 복수의 이미지 또는 하나의 파노라마 이미지를 스티칭하여 구 형상 또는 원통형 형상을 갖는 파노라마 이미지로 저작하는 것을 특징으로 하는 컨텐츠 저작 및 재생 시스템.The method according to claim 1,
The content authoring apparatus includes:
Characterized in that a plurality of images or one panorama image is received from the image photographing apparatus and the received plurality of images or one panorama image is stitched to author a panorama image having a spherical or cylindrical shape. system. 제1항에 있어서,
상기 컨텐츠 저작장치는,
상기 객체의 재생 시간 값을 파악하는 타이머를 추가로 포함하는 것을 특징으로 하는 컨텐츠 저작 및 재생 시스템.The method according to claim 1,
The content authoring apparatus includes:
Wherein the content authoring and playback system further comprises a timer for determining a playback time value of the object. 삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 움직이는 객체 영상은 영상 촬영장치가 촬영한 영상 내에서 선정된 객체에 대응하는 좌표를 포함하며,
상기 메타데이터는 상기 객체에 대응하는 좌표, 상기 객체의 재생 시간을 포함하는 것을 특징으로 하는 컨텐츠 저작 및 재생 시스템.The method according to claim 1,
Wherein the moving object image includes coordinates corresponding to a selected object in an image taken by the image photographing apparatus,
Wherein the metadata includes coordinates corresponding to the object, and a playback time of the object. 삭제delete 제1항에 있어서,
상기 컨텐츠 재생장치는,
상기 메타데이터에 포함된 영상 촬영장치가 촬영한 영상 내에서 선정된 객체의 상기 재생 시간을 파악하기 위한 타이머를 포함하는 것을 특징을 하는 컨텐츠 저작 및 재생 시스템.The method according to claim 1,
The content reproduction apparatus includes:
And a timer for recognizing the playback time of the selected object in the video shot by the video photographing device included in the metadata. 삭제delete 삭제delete 컨텐츠 저작장치에서 영상 촬영장치로부터 특정 촬영 장소를 하나 이상의 이미지로 촬영한 배경 이미지를 수신하고, 상기 하나 이상의 배경 이미지를 스티칭(Stitching)하여 구 형상의 배경 이미지로 저작하는 과정;
상기 컨텐츠 저작장치에서 상기 영상 촬영장치로부터 상기 특정 촬영 장소에서 움직이는 객체를 촬영한 영상을 수신하고, 상기 배경 이미지 내에서 움직이는 객체를 선정하고, 상기 객체에 대응하는 좌표를 포함하는 움직이는 객체 영상을 저작하는 과정;
상기 컨텐츠 저작장치에서 상기 배경 이미지 내에 결합한 상기 객체의 좌표, 상기 객체가 특정 좌표값을 가질 때의 재생시간 값, 구 형상이나 원통형 형상의 굴곡률을 메타데이터로 생성하는 과정;
상기 컨텐츠 저작장치에서 상기 구 형상의 배경 이미지, 상기 움직이는 객체 영상 및 상기 메타데이터를 하나로 통합 패키징한 360° VR(Virtual Reality) 컨텐츠를 생성하여 1회 전송하는 과정;
컨텐츠 재생장치에서 상기 컨텐츠 저작장치로부터 상기 360° VR 컨텐츠를 1회 수신하는 과정;
상기 컨텐츠 재생장치에서 상기 360° VR 컨텐츠 내 포함된 구 형상의 배경 이미지, 움직이는 객체 영상 및 메타데이터를 분리하는 과정;
상기 컨텐츠 재생장치에서 상기 구 형상의 배경 이미지 상에 상기 메타데이터에 포함된 상기 객체의 좌표에 대응하는 영역에 상기 움직이는 객체 영상이 상기 객체가 특정 좌표값을 가질 때의 재생시간 값만큼 오버레이하여 재생하며, 상기 구 형상의 배경 이미지에 상기 구 형상이나 원통형 형상의 굴곡률을 반영하는 과정; 및
상기 컨텐츠 재생장치에서 상기 구 형상의 배경 이미지 상에 상기 움직이는 객체 영상을 오버레이할 때, 오버레이 부분의 경계에 블러(Blur) 필터를 적용하여 출력하는 과정
을 포함하는 것을 특징으로 하는 컨텐츠 저작 및 재생 방법.
A step of receiving a background image in which a specific photographing place is photographed in the at least one image from the image capturing device in the content authoring device, and stitching the at least one background image to create a spherical background image;
Wherein the content authoring apparatus receives an image of an object moving at the specific shooting location from the image capturing apparatus, selects an object moving within the background image, and writes a moving object image including coordinates corresponding to the object Process;
Generating, as metadata, coordinates of the object combined in the background image, a reproduction time value when the object has a specific coordinate value, and a bending rate of a spherical shape or a cylindrical shape in the content authoring device;
Generating 360 ° VR (Virtual Reality) content in which the spherical background image, the moving object image, and the metadata are integrally packaged in the content authoring device, and transmitting the 360 ° VR content once;
Receiving the 360 ° VR content once from the content authoring apparatus in the content reproduction apparatus;
Separating a spherical background image, a moving object image, and metadata included in the 360 ° VR content in the content reproduction apparatus;
The content playback apparatus may overlay the spherical background image by an amount corresponding to a playback time value when the object has a specific coordinate value in an area corresponding to the coordinates of the object included in the meta data, Reflecting a bending rate of the spherical or cylindrical shape on the spherical background image; And
A process of applying a blur filter to the boundary of the overlay portion and outputting the blur filter when the moving object image is overlaid on the spherical background image in the content reproducing device
And reproducing the content.
KR1020170082642A 2017-06-29 2017-06-29 Mpethod and Apparatus for Authoring and Playing Contents KR101883680B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170082642A KR101883680B1 (en) 2017-06-29 2017-06-29 Mpethod and Apparatus for Authoring and Playing Contents

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170082642A KR101883680B1 (en) 2017-06-29 2017-06-29 Mpethod and Apparatus for Authoring and Playing Contents

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180085782A Division KR101908068B1 (en) 2018-07-24 2018-07-24 System for Authoring and Playing 360° VR Contents

Publications (1)

Publication Number Publication Date
KR101883680B1 true KR101883680B1 (en) 2018-07-31

Family

ID=63078241

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170082642A KR101883680B1 (en) 2017-06-29 2017-06-29 Mpethod and Apparatus for Authoring and Playing Contents

Country Status (1)

Country Link
KR (1) KR101883680B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0537913A (en) * 1991-08-01 1993-02-12 Sony Corp Image data transmitting method, recording medium and image reproducing device
KR100895293B1 (en) * 2006-09-29 2009-04-29 한국전자통신연구원 CyberTAG, contents displayer, method and system for the data services based on digital objects within the image
KR101458645B1 (en) * 2007-07-18 2014-11-05 삼성전자주식회사 Method of assembling a panoramic image, method of providing a virtual 3d projection of a panoramic image and camera therefor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0537913A (en) * 1991-08-01 1993-02-12 Sony Corp Image data transmitting method, recording medium and image reproducing device
KR100895293B1 (en) * 2006-09-29 2009-04-29 한국전자통신연구원 CyberTAG, contents displayer, method and system for the data services based on digital objects within the image
KR101458645B1 (en) * 2007-07-18 2014-11-05 삼성전자주식회사 Method of assembling a panoramic image, method of providing a virtual 3d projection of a panoramic image and camera therefor

Similar Documents

Publication Publication Date Title
US9001229B2 (en) Multiple sensor input data synthesis
US8890977B2 (en) Systems and methods for concurrently playing multiple images from a storage medium
EP2619761B1 (en) Enriching digital photographs
JP2018530950A (en) Method and apparatus for playing video content from anywhere at any time
TWI530157B (en) Method and system for displaying multi-view images and non-transitory computer readable storage medium thereof
US20200329266A1 (en) Information processing apparatus, method for processing information, and storage medium
US11587317B2 (en) Video processing method and terminal device
US20100153847A1 (en) User deformation of movie character images
TW200922324A (en) Image processing device, dynamic image reproduction device, and processing method and program in them
CN104365083A (en) Image processing device, image processing method, and program
KR20100043138A (en) Image processing device, dynamic image reproduction device, and processing method and program in them
JP6860485B2 (en) Information processing equipment, information processing methods, and programs
US11895425B2 (en) Methods and apparatus for metadata-based processing of media content
KR102082300B1 (en) Apparatus and method for generating or reproducing three-dimensional image
US11211097B2 (en) Generating method and playing method of multimedia file, multimedia file generation apparatus and multimedia file playback apparatus
JP6628343B2 (en) Apparatus and related methods
WO2018028512A1 (en) File format for indication of video content
KR101908068B1 (en) System for Authoring and Playing 360° VR Contents
KR101843025B1 (en) System and Method for Video Editing Based on Camera Movement
KR101883680B1 (en) Mpethod and Apparatus for Authoring and Playing Contents
CN113296721A (en) Display method, display device and multi-screen linkage system
JP7190594B1 (en) IMAGING DEVICE AND CONTROL METHOD THEREOF, IMAGE PROCESSING DEVICE AND IMAGE PROCESSING SYSTEM
CN111669569A (en) Video generation method and device, medium and terminal
JP2008172485A (en) Stream data generating device and reproducing device
WO2021014716A1 (en) Image processing device, image processing method, and program

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
A107 Divisional application of patent
GRNT Written decision to grant