KR20210084248A - Method and apparatus for providing a platform for transmitting vr contents - Google Patents

Method and apparatus for providing a platform for transmitting vr contents Download PDF

Info

Publication number
KR20210084248A
KR20210084248A KR1020200167660A KR20200167660A KR20210084248A KR 20210084248 A KR20210084248 A KR 20210084248A KR 1020200167660 A KR1020200167660 A KR 1020200167660A KR 20200167660 A KR20200167660 A KR 20200167660A KR 20210084248 A KR20210084248 A KR 20210084248A
Authority
KR
South Korea
Prior art keywords
content
video
data
relay platform
streaming
Prior art date
Application number
KR1020200167660A
Other languages
Korean (ko)
Inventor
유태연
Original Assignee
(주)유티플러스 인터랙티브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR20190176892 priority Critical
Priority to KR1020190176892 priority
Application filed by (주)유티플러스 인터랙티브 filed Critical (주)유티플러스 인터랙티브
Publication of KR20210084248A publication Critical patent/KR20210084248A/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781Games
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643Communication protocols
    • H04N21/6437Real-time Transport Protocol [RTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video

Abstract

A VR content relay platform providing method is provided. According to one embodiment of the present invention, the VR content relay platform providing method includes the steps of: obtaining 3D content; obtaining a plurality of VR images by capturing the 3D content; generating VR video data by extracting audio data included in the 3D content and mapping the audio data with the plurality of VR images; converting the VR video data into a video streaming format to obtain VR video streaming data; and transmitting the VR video streaming data to a streaming transmission server.

Description

VR 컨텐츠 중계 플랫폼 제공 방법 및 그 장치{ METHOD AND APPARATUS FOR PROVIDING A PLATFORM FOR TRANSMITTING VR CONTENTS }VR content relay platform providing method and device { METHOD AND APPARATUS FOR PROVIDING A PLATFORM FOR TRANSMITTING VR CONTENTS }

본 발명은 VR 컨텐츠 중계 플랫폼 제공 방법 및 그 장치에 관한 것이다.The present invention relates to a method and apparatus for providing a VR content relay platform.

국내 e-스포츠 선수들은 글로벌 경쟁력을 갖추고 있으나 콘텐츠는 국내 콘텐츠보다 해외 콘텐츠가 더 주류 콘텐츠인 상황이다. 따라서 e-스포츠에 새로운 패러다임을 제시할 필요성이 있다. Domestic e-sports players have global competitiveness, but foreign content is more mainstream than domestic content. Therefore, there is a need to present a new paradigm for e-sports.

보통 농구나 축구 등을 관람할 경우 카메라 시야에서 벗어난 장면은 볼 수 없다는 한계가 존재한다. 주로 게임의 영역에서 활용돼 온 VR이 영화, 드라마 감상이나 스포츠 중계 시청 등에도 활용 되면서 기존 미디어 형태를 변화시킬 것으로 예상된다. 인게임 스트리밍(In-Game Streaming) 기술은 3D 가상공간에 객체형태로 설치하면 해당 위치에서 실시간으로 360VR 영상을 획득하여 VR 스트리밍 서버로 영상을 전송하는 기술로, 하드웨어의 사양과 최적화에 따라 성능에 큰 차이를 보일 수 있다. 기존에 서비스되고 있지만 3D VR 임장 관전 모드를 지원하지 않는 3D게임들 중, Unity 3D와 Unreal Engine을 사용하고 있는 게임들에도 손 쉽게 적용할 수 있도록 Packaging된 Plug-In 형태의 서비스가 필요하다.Usually, when watching basketball or soccer, there is a limit that you cannot see scenes that are out of the camera's field of view. VR, which has been mainly used in the field of games, is expected to change the form of existing media as it is also used for watching movies, dramas, and sports broadcasts. In-game streaming technology, when installed in the form of an object in a 3D virtual space, acquires 360 VR video in real time from the location and transmits the video to the VR streaming server. difference can be seen. Among 3D games that are currently being serviced but do not support 3D VR field spectator mode, a packaged plug-in service is required so that it can be easily applied to games using Unity 3D and Unreal Engine.

또한, 영화나 드라마 영상을 VR로 변환해 보기 위해서는 초고속 및 대용량 데이터가 필수적이다. VR은 정지 화면 기준 가로 약 3만개, 세로 약 2만4천개로 구성된 총 7억2천만개의 픽셀 정보를 필요로 하며, 여기에 좌우 회전까지 고려하면 약 25억개에 달하는 픽셀 정보를 감당해야한다. 따라서 일반적으로 VR영상은 기존 영상에 비해 약 4배 많은 데이터를 필요로 하며, 전송 속도도 800Mbps 이상이 필요하다. 각종 스포츠 경기, 드라마 감상 및 게임 구동을 VR로 실감나게 경험하기 위해서는 고화질 영상뿐만 아니라 높은 FPS기반의 영상 제공이 필요하다. VR영상을 60FPS로 구현하기 위해서는 End-to-End 영상 프레임간 16.67ms 이내 전송이 필요하다.In addition, high-speed and large-capacity data are essential to convert movie or drama images into VR. VR requires a total of 720 million pixels of information consisting of about 30,000 horizontally and 24,000 vertically based on a still screen, and if you take the left and right rotation into consideration, it has to handle about 2.5 billion pixel information. Therefore, VR video generally requires about four times more data than conventional video, and a transmission speed of 800Mbps or higher is required. In order to experience various sports events, drama viewing, and game operation in VR realistically, it is necessary to provide high-definition video as well as high-FPS video. In order to implement VR video at 60FPS, it is necessary to transmit within 16.67ms between end-to-end video frames.

전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.The above-mentioned background art is technical information possessed by the inventor for derivation of the present invention or acquired in the process of derivation of the present invention, and cannot necessarily be said to be a known technique disclosed to the general public prior to filing of the present invention.

본 발명의 실시예들은 저지연 광대역 5G 통신을 기반으로 인게임 스트리밍 기술과 360 VR 텔레프레즌스 기술을 통하여, 3D VR 입장 관전 모드에서 VR HMD를 통하여 실제 게임 플레이를 경험할 수 있게 하는 VR 컨텐츠 중계 플랫폼 제공 방법 및 그 장치를 제공한다.Embodiments of the present invention are based on low-latency broadband 5G communication, through in-game streaming technology and 360 VR telepresence technology, a method of providing a VR content relay platform that allows you to experience real game play through VR HMD in 3D VR admission spectator mode, and provide that device.

본 발명의 일 실시예에 따른 VR 컨텐츠 중계 플랫폼 제공 방법은 3D 컨텐츠를 획득하는 단계, 상기 3D 컨텐츠를 캡쳐하여 복수의 VR 이미지를 획득하는 단계, 상기 3D 컨텐츠에 포함된 오디오 데이터를 추출하여 상기 복수의 VR 이미지와 매핑하여 VR 비디오 데이터를 생성하는 단계, 상기 VR 비디오 데이터를 비디오 스트리밍 형식으로 변환하여 VR 비디오 스트리밍 데이터를 획득하는 단계 및 상기 VR 비디오 스트리밍 데이터를 스트리밍 송출 서버로 전송하는 단계를 포함할 수 있다.A method for providing a VR content relay platform according to an embodiment of the present invention includes: acquiring 3D content; acquiring a plurality of VR images by capturing the 3D content; and extracting audio data included in the 3D content to obtain the plurality of VR images. Generating VR video data by mapping with a VR image of a video streaming format, converting the VR video data into a video streaming format to obtain VR video streaming data, and transmitting the VR video streaming data to a streaming transmission server can

일 실시예에서 상기 VR 비디오 스트리밍 데이터를 스트리밍 송출 서버로 전송하는 단계는, 사용자 단말로 상기 VR 비디오 스트리밍 데이터를 송신하는 단계를 더 포함할 수 있다.In an embodiment, transmitting the VR video streaming data to the streaming transmission server may further include transmitting the VR video streaming data to a user terminal.

일 실시예에서 상기 스트리밍 송출 서버는, 상기 VR 비디오 스트리밍 데이터에 대한 오디오 스트림을 수신하고, 상기 오디오 스트림과 상기 VR 비디오 스트리밍 데이터를 결합하여 사용자 단말로 송신할 수 있다.In an embodiment, the streaming transmission server may receive an audio stream for the VR video streaming data, combine the audio stream and the VR video streaming data, and transmit it to the user terminal.

일 실시예에서 상기 복수의 VR 이미지를 획득하는 단계는, 상기 3D 컨텐츠를 실시간으로 캡쳐하여 상기 복수의 VR 이미지를 획득하는 단계를 포함할 수 있다.In an embodiment, the acquiring of the plurality of VR images may include acquiring the plurality of VR images by capturing the 3D content in real time.

일 실시예에서 상기 복수의 VR 이미지를 획득하는 단계는, 상기 3D 컨텐츠를 360 모노 및 스테레오 형식으로 캡쳐하여 상기 복수의 VR 이미지를 획득하는 단계를 포함할 수 있다.In an embodiment, the acquiring of the plurality of VR images may include acquiring the plurality of VR images by capturing the 3D content in 360 mono and stereo formats.

일 실시예에서 상기 VR 비디오 데이터를 생성하는 단계는, 상기 3D 컨텐츠에 포함된 오디오 데이터 및 마이크 모듈로부터 수신된 입력 데이터를 기초로 상기 복수의 VR 이미지를 인코딩하여 상기 VR 비디오 데이터를 생성하는 단계를 포함할 수 있다.In an embodiment, the generating of the VR video data may include generating the VR video data by encoding the plurality of VR images based on audio data included in the 3D content and input data received from a microphone module. may include

일 실시예에서 상기 VR 비디오 스트리밍 데이터를 획득하는 단계는, 상기 VR 비디오 데이터를 RTMP (Real-Time Messaging Protocol)을 사용하여 미디어 서버로 송신하고, 상기 미디어 서버에서 변환한 VR 비디오 스트리밍 데이터를 수신하는 단계를 포함할 수 있다.In an embodiment, the obtaining of the VR video streaming data includes transmitting the VR video data to a media server using RTMP (Real-Time Messaging Protocol), and receiving VR video streaming data converted by the media server. may include steps.

일 실시예에서 상기 미디어 서버는, 상기 VR 비디오 데이터를 HLS (HTTP Live Streaming) 형식 및 MPEG-DASH 형식 중 적어도 하나의 비디오 스트리밍 형식으로 변환할 수 있다.In an embodiment, the media server may convert the VR video data into at least one of an HTTP Live Streaming (HLS) format and an MPEG-DASH format.

본 발명의 다른 실시예에 따른 VR 컨텐츠 중계 플랫폼 제공 시스템은 스트리밍 송출 서버 및 VR 컨텐츠 중계 플랫폼 제공 서버를 포함하고, 상기 VR 컨텐츠 중계 플랫폼 제공 서버는, 프로세서를 포함하고, 상기 프로세서는, 3D 컨텐츠를 획득하고, 상기 3D 컨텐츠를 캡쳐하여 복수의 VR 이미지를 획득하고, 상기 3D 컨텐츠에 포함된 오디오 데이터를 추출하여 상기 복수의 VR 이미지와 매핑하여 VR 비디오 데이터를 생성하고, 상기 VR 비디오 데이터를 비디오 스트리밍 형식으로 변환하여 VR 비디오 스트리밍 데이터를 획득하고, 상기 VR 비디오 스트리밍 데이터를 상기 스트리밍 송출 서버로 전송할 수 있다.A VR content relay platform providing system according to another embodiment of the present invention includes a streaming transmission server and a VR content relay platform providing server, wherein the VR content relay platform providing server includes a processor, wherein the processor provides 3D content acquiring, capturing the 3D content to obtain a plurality of VR images, extracting audio data included in the 3D content and mapping it with the plurality of VR images to generate VR video data, and video streaming the VR video data It is possible to obtain VR video streaming data by converting to a format and transmit the VR video streaming data to the streaming transmission server.

일 실시예에서 VR 컨텐츠 중계 플랫폼 제공 시스템은 사용자 단말을 더 포함하고, 상기 스트리밍 송출 서버는 상기 사용자 단말로 상기 VR 비디오 스트리밍 데이터를 송신할 수 있다.In an embodiment, the VR content relay platform providing system may further include a user terminal, and the streaming transmission server may transmit the VR video streaming data to the user terminal.

일 실시예에서 상기 스트리밍 송출 서버는, 상기 VR 비디오 스트리밍 데이터에 대한 오디오 스트림을 수신하고, 상기 오디오 스트림과 상기 VR 비디오 스트리밍 데이터를 결합하여 사용자 단말로 송신할 수 있다.In an embodiment, the streaming transmission server may receive an audio stream for the VR video streaming data, combine the audio stream and the VR video streaming data, and transmit it to the user terminal.

일 실시예에서 상기 프로세서는, 상기 3D 컨텐츠를 실시간으로 캡쳐하여 상기 복수의 VR 이미지를 획득할 수 있다.In an embodiment, the processor may acquire the plurality of VR images by capturing the 3D content in real time.

일 실시예에서 상기 프로세서는, 상기 3D 컨텐츠를 360 모노 및 스테레오 형식으로 캡쳐하여 상기 복수의 VR 이미지를 획득할 수 있다.In an embodiment, the processor may acquire the plurality of VR images by capturing the 3D content in 360 mono and stereo formats.

일 실시예에서 상기 프로세서는, 상기 3D 컨텐츠에 포함된 오디오 데이터 및 마이크 모듈로부터 수신된 입력 데이터를 기초로 상기 복수의 VR 이미지를 인코딩하여 상기 VR 비디오 데이터를 생성할 수 있다.In an embodiment, the processor may generate the VR video data by encoding the plurality of VR images based on audio data included in the 3D content and input data received from a microphone module.

일 실시예에서 VR 컨텐츠 중계 플랫폼 제공 시스템은 미디어 서버를 더 포함하고, 상기 프로세서는, 상기 VR 비디오 데이터를 RTMP (Real-Time Messaging Protocol)을 사용하여 상기 미디어 서버로 송신하고, 상기 미디어 서버에서 변환한 VR 비디오 스트리밍 데이터를 수신할 수 있다.In an embodiment, the system for providing a VR content relay platform further includes a media server, wherein the processor transmits the VR video data to the media server using Real-Time Messaging Protocol (RTMP), and is converted in the media server. One VR video streaming data can be received.

일 실시예에서 상기 미디어 서버는, 상기 VR 비디오 데이터를 HLS (HTTP Live Streaming) 형식 및 MPEG-DASH 형식 중 적어도 하나의 비디오 스트리밍 형식으로 변환할 수 있다.In an embodiment, the media server may convert the VR video data into at least one of an HTTP Live Streaming (HLS) format and an MPEG-DASH format.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features and advantages other than those described above will become apparent from the following drawings, claims, and detailed description of the invention.

도 1은 본 발명의 일 실시예에 따른 VR 컨텐츠 중계 플랫폼 제공 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 VR 컨텐츠 중계 플랫폼 제공 시스템에 포함된 하드웨어의 구성 및 동작을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 VR 컨텐츠 중계 플랫폼 제공 방법의 순서도이다.
도 4 및 도 5는 VR 컨텐츠 중계 플랫폼 제공 방법의 실시예를 설명하기 위한 도면이다.
1 is a diagram for explaining a system for providing a VR content relay platform according to an embodiment of the present invention.
2 is a diagram for explaining the configuration and operation of hardware included in the system for providing a VR content relay platform according to an embodiment of the present invention.
3 is a flowchart of a method for providing a VR content relay platform according to an embodiment of the present invention.
4 and 5 are diagrams for explaining an embodiment of a method for providing a VR content relay platform.

본 실시예들에서 사용되는 용어는 본 실시예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 실시예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시예들 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in the present embodiments have been selected as currently widely used general terms as possible while considering the functions in the present embodiments, which may vary depending on the intention or precedent of a person skilled in the art, the emergence of new technology, etc. have. In addition, in a specific case, there is a term arbitrarily selected by the applicant, and in this case, the meaning will be described in detail in the relevant part. Therefore, the terms used in the present embodiments should be defined based on the meaning of the term and the contents throughout the present embodiments, rather than the simple name of the term.

본 실시예들은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 일부 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 실시예들을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 실시예들의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 명세서에서 사용한 용어들은 단지 실시예들의 설명을 위해 사용된 것으로, 본 실시예들을 한정하려는 의도가 아니다.Since the present embodiments may have various changes and may have various forms, some embodiments will be illustrated in the drawings and described in detail. However, this is not intended to limit the present embodiments to a specific disclosed form, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present embodiments. The terms used herein are used only for description of the embodiments, and are not intended to limit the present embodiments.

본 실시예들에 사용되는 용어들은 다르게 정의되지 않는 한, 본 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 실시예들에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.Unless otherwise defined, terms used in the present embodiments have the same meanings as commonly understood by those of ordinary skill in the art to which the present embodiments belong. Terms such as those defined in commonly used dictionaries should be interpreted as having meanings consistent with the meanings in the context of the related art, and unless explicitly defined in the present embodiments, they have an ideal or excessively formal meaning. should not be interpreted.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0023] Reference is made to the accompanying drawings, which show by way of illustration specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different but need not be mutually exclusive. For example, certain shapes, structures, and characteristics described herein may be implemented with changes from one embodiment to another without departing from the spirit and scope of the present invention. In addition, it should be understood that the location or arrangement of individual components within each embodiment may be changed without departing from the spirit and scope of the present invention. Accordingly, the following detailed description is not to be taken in a limiting sense, and the scope of the present invention should be taken as encompassing the scope of the claims and all equivalents thereto. In the drawings, like reference numerals refer to the same or similar elements throughout the various aspects.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, various embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to enable those of ordinary skill in the art to easily practice the present invention.

도 1은 본 발명의 일 실시예에 따른 VR 컨텐츠 중계 플랫폼 제공 시스템을 설명하기 위한 도면이다.1 is a diagram for explaining a system for providing a VR content relay platform according to an embodiment of the present invention.

종래에는 3D게임이나 e스포츠 경기를 즐기려면 작은 모바일 클라이언트에서 플레이 하거나 TV/모니터 등의 대화면 매체를 통하여 중계 방송을 감상하는 2차원적 콘텐츠 소비와 직접 경기장을 찾아 프로게이머들이 플레이하는 경기를 감상하는 수동적인 콘텐츠 소비가 이루어 졌다. 본 발명의 몇몇 실시예에 따른 VR 컨텐츠 중계 플랫폼은 저지연 광대역 5G 통신을 기반으로 인게임 스트리밍(In-Game Streaming) 기술과 360 VR 텔레프레즌스(360 VR Telepresence) 기술을 통하여, 3D VR 입장 관전 모드에서 VR HMD를 통하여 실제 게임 플레이가 진행 되는 가상공간을 돌아다니며 감상할 수 있게 한다.Conventionally, in order to enjoy 3D games or e-sports games, two-dimensional content consumption by playing on a small mobile client or watching broadcasts through large-screen media such as TV/monitor, and direct viewing of games played by professional gamers by visiting the stadium. Passive content consumption was done. VR content relay platform according to some embodiments of the present invention is based on low-latency broadband 5G communication, and through In-Game Streaming technology and 360 VR Telepresence technology, VR in 3D VR admission spectating mode Through the HMD, you can walk around and enjoy the virtual space where the actual game play is taking place.

또한, 본 발명의 일 실시예에 따른 VR 컨텐츠 중계 플랫폼은 가상의 VR 공간에서 동시에 여러개의 게임화면을 공중에 띄워놓고 현실 공간에서는 물리적으로 단절된 타사용자와 가상공간에서 함께 관전할 수 있게 할 수 있고, e스포츠 경기장에 설치된 360VR 카메라 또는 가상의 VR e스포츠 스타디움에서 실시간으로 스트리밍되는 영상을 통하여 입체적인 콘텐츠 소비가 가능하게 할 수 있다.In addition, the VR content relay platform according to an embodiment of the present invention allows multiple game screens to float in the air at the same time in a virtual VR space and to watch together in a virtual space with other users who are physically disconnected from the real space. , it is possible to enable three-dimensional content consumption through a 360VR camera installed in an e-sports stadium or a video streamed in real-time from a virtual VR e-sports stadium.

본 발명의 실시예들은 e-스포츠에 5G 스트리밍을 통한 박진감 넘치는 VR 관전 모드를 제공하여 기존 e-스포츠와는 다른 새로운 패러다임을 제시하여 5G 스트리밍을 지원하는 국내외 협력사 콘텐츠의 확산 및 인지도 재고를 통한 선호도를 높일 수 있다.Embodiments of the present invention provide e-sports with a thrilling VR spectating mode through 5G streaming, suggesting a new paradigm different from existing e-sports, and preference through expansion of domestic and foreign partner contents that support 5G streaming and reconsidering awareness can increase

본 발명의 몇몇 실시예에 따른 3D VR 다중 관전 중계 기술은 실시간 스트리밍 게임서버 기술로 인게임 스트리밍 객체로부터 저지연 광대역 5G 통신망을 통하여 실시간 360 VR 영상을 전송 받아 VR 관전용 클라이언트로 재전송할 수 있다.3D VR multi-viewing relay technology according to some embodiments of the present invention is a real-time streaming game server technology, which can receive real-time 360 VR images from an in-game streaming object through a low-latency broadband 5G communication network and retransmit them to a VR spectator client.

본 발명의 실시예들은 3D 게임의 경우 카메라의 위치에서 생성되는 360VR 영상을 전송하고, 2D 게임의 경우 360VR 영상이 아닌 일반적인 2D 영상 형태로 전송되어 가상의 VR 공간에서 다수의 스크린을 공간에 배치하여 동시에 스트리밍을 제공할 수 있다.In the case of a 3D game, a 360VR image generated from the position of the camera is transmitted, and in the case of a 2D game, a general 2D image is transmitted instead of a 360VR image. Streaming can be provided at the same time.

본 발명의 실시예들은 5G 통신망을 이용하여 전송 속도도 800Mbps 이상으로 초당 60개에서 120개까지 프레임을 처리할 수 있고, 이를 통해 화면 이동시 발생 잔상을 최소화 하고, 고화질 영상뿐만 아니라 실감나는 경험을 위한 높은 FPS 기반의 영상을 제공할 수 있다.Embodiments of the present invention can process 60 to 120 frames per second at a transmission speed of 800 Mbps or more using a 5G communication network, thereby minimizing the afterimage generated when moving the screen, and providing high-definition video as well as a realistic experience. It can provide high FPS-based video.

도 1의 네트워크 환경은 VR 컨텐츠 중계 플랫폼 서버(100), 스트리밍 송출 서버(110), 미디어 서버(120), 사용자 단말(130) 및 네트워크를 포함하는 예를 나타내고 있다. 이러한 도 1은 발명의 설명을 위한 일례로 사용자 단말의 수나 서버의 수가 도 1과 같이 한정되는 것은 아니다. The network environment of FIG. 1 shows an example including a VR content relay platform server 100 , a streaming transmission server 110 , a media server 120 , a user terminal 130 , and a network. 1 is an example for the description of the invention, and the number of user terminals or the number of servers is not limited as in FIG. 1 .

VR 컨텐츠 중계 플랫폼 서버(100)는 콘텐츠 크리에이터 또는 인플루언서를 위한 오픈 스튜디오와 e스포츠 경기 부스에 구비될 수 있다. 즉 일 실시예에 따른 VR 컨텐츠 중계 플랫폼은 5G 기반 3D게임 콘텐츠를 위한 VR e-Sports 플랫폼 활성화를 위하여 컨테이너 플랫폼을 기반으로 3D게임 콘텐츠에서 생성되는 360VR 영상과 독자적인 콘텐츠 생산이 가능한 오픈 스튜디오 서비스 제공하기 위해 이용될 수 있다.The VR content relay platform server 100 may be provided in an open studio for content creators or influencers and an e-sports competition booth. That is, the VR content relay platform according to an embodiment provides an open studio service capable of producing 360VR images and independent content generated from 3D game contents based on a container platform to activate the VR e-Sports platform for 5G-based 3D game contents. can be used for

일 실시예에서 VR 컨텐츠 중계 플랫폼에서 생산되는 영상 콘텐츠와 콘텐츠 크리에이터/인플루언서의 아이디어가 융합된 2차 콘텐츠 제작을 활성화하고, 체험형 부스를 찾은 방문객들에게 또다른 볼거리를 제공함으로써 윈-윈 서비스 체계를 구축할 수 있다.In one embodiment, it is a win-win by activating secondary content production in which video content produced by the VR content relay platform and the ideas of content creators/influencers are fused, and by providing another attraction to visitors who visit the experiential booth. You can build a service system.

VR 컨텐츠 중계 플랫폼에서는 상시적으로 e스포츠 중계 행사를 개최하고, 주제별로 3D게임, AR/VR 스포에듀테인먼트 콘텐츠의 플레이 영상, 대항전, 공략 등 e스포츠의 핵심 콘텐츠를 생산하며, 유명 프로게이머나 크리에이터와 협업을 통하여 지속적인 콘텐츠 제작을 유도할 수 있다.The VR content relay platform holds e-sports relay events at all times and produces core contents for e-sports such as 3D games, AR/VR spo edutainment content play videos, competitions, and strategy by subject, and famous professional gamers and creators. It can induce continuous content production through collaboration with

VR 컨텐츠 중계 플랫폼 서버(100)는 3D 컨텐츠를 획득하고, 상기 3D 컨텐츠를 캡쳐하여 복수의 VR 이미지를 획득할 수 있다. 그리고 VR 컨텐츠 중계 플랫폼 서버(100)는 3D 컨텐츠에 포함된 오디오 데이터를 추출하여 상기 복수의 VR 이미지와 매핑하여 VR 비디오 데이터를 생성할 수 있다.The VR content relay platform server 100 may acquire 3D content and capture the 3D content to acquire a plurality of VR images. The VR content relay platform server 100 may extract audio data included in the 3D content and map it to the plurality of VR images to generate VR video data.

스트리밍 송출 서버(110)는 VR 비디오 스트리밍 데이터에 대한 오디오 스트림을 수신하고, 상기 오디오 스트림과 상기 VR 비디오 스트리밍 데이터를 결합하여 사용자 단말(130)로 송신할 수 있다.The streaming transmission server 110 may receive an audio stream for VR video streaming data, combine the audio stream and the VR video streaming data, and transmit it to the user terminal 130 .

즉 본 발명의 몇몇 실시예에 따른 미디어 서버(120) 및 또는 스트리밍 송출 서버(110)는 서비스 중인 3D게임의 e스포츠 경기를 360 VR 및 중계 방송을 사용자 단말(130)로 송신하고, 사용자들이 원하는 지역 및 이벤트 현장으로 쉽게 이동 및 단기간내 설치 및 중계하기 위해, e스포츠 실제 경기장과 같은 구조와 형태의 부스를 컨테이너를 사용하여 제작한다. 제작된 컨테이너들은 선수들의 모습이나 인 게임 경기 영상을 사용자 단말(130)에서 실시간 3D 영상으로 시청할 수 있게 한다.That is, the media server 120 and/or the streaming transmission server 110 according to some embodiments of the present invention transmits 360 VR and relay broadcasting of the 3D game e-sports game being serviced to the user terminal 130, and In order to easily move to regions and event sites, and to install and broadcast within a short period of time, a booth with the same structure and shape as an e-sports real stadium is produced using containers. The manufactured containers allow players to view images of players or in-game games as real-time 3D images on the user terminal 130 .

사용자 단말(130)은 컴퓨터 장치로 구현되는 고정형 단말이거나 이동형 단말일 수 있다. 사용자 단말(130)의 예를 들면, 스마트폰(smart phone), 휴대폰, 네비게이션, 컴퓨터, 노트북, 디지털방송용 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 태블릿 PC 등이 있다. 일례로 사용자 단말(130)은 무선 또는 유선 통신 방식을 이용하여 네트워크를 통해 다른 사용자 단말들 및/또는 스트리밍 송출 서버(110)와 통신할 수도 있다.The user terminal 130 may be a fixed terminal implemented as a computer device or a mobile terminal. Examples of the user terminal 130 include a smart phone, a mobile phone, a navigation system, a computer, a laptop computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), a tablet PC, and the like. For example, the user terminal 130 may communicate with other user terminals and/or the streaming transmission server 110 through a network using a wireless or wired communication method.

통신 방식은 제한되지 않으며, 네트워크가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.The communication method is not limited, and not only a communication method using a communication network (eg, a mobile communication network, a wired Internet, a wireless Internet, a broadcasting network) that the network may include, but also short-range wireless communication between devices may be included. For example, the network is a personal area network (PAN), a local area network (LAN), a campus area network (CAN), a metropolitan area network (MAN), a wide area network (WAN), a broadband network (BBN), the Internet, etc. may include any one or more of the networks of Further, the network may include, but is not limited to, any one or more of a network topology including, but not limited to, a bus network, a star network, a ring network, a mesh network, a star-bus network, a tree or a hierarchical network, and the like. .

도 2는 본 발명의 일 실시예에 따른 VR 컨텐츠 중계 플랫폼 제공 시스템에 포함된 하드웨어의 구성 및 동작을 설명하기 위한 도면이다.2 is a diagram for explaining the configuration and operation of hardware included in the system for providing a VR content relay platform according to an embodiment of the present invention.

도 2에서는 본 발명의 일 실시예에 따른 VR 컨텐츠 중계 플랫폼 서버(100), 스트리밍 송출 서버(110) 및 미디어 서버(120)의 내부 구성에 대하여 상세히 설명한다. In FIG. 2 , the internal configuration of the VR content relay platform server 100 , the streaming transmission server 110 , and the media server 120 according to an embodiment of the present invention will be described in detail.

일 실시예에서 VR 컨텐츠 중계 플랫폼 서버(100), 스트리밍 송출 서버(110) 및 미디어 서버(120)는 메모리(101, 111, 121), 프로세서(102, 112, 122), 통신 모듈(103, 113, 123) 및 입출력 인터페이스(104, 114, 124)을 포함할 수 있다. In an embodiment, the VR content relay platform server 100, the streaming transmission server 110 and the media server 120 are the memories 101, 111, 121, the processors 102, 112, 122, and the communication modules 103, 113. , 123) and input/output interfaces 104, 114, and 124.

메모리(101, 111, 121)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(101, 111, 121)에는 VR 컨텐츠 중계 플랫폼 서버(100), 스트리밍 송출 서버(110) 및 미디어 서버(120)를 제어하기 위한 프로그램 코드 및 설정, 3D 컨텐츠, VR 이미지 또는 VR 비디오 데이터가 일시적 또는 영구적으로 저장될 수 있다.The memories 101 , 111 , and 121 are computer-readable recording media, and may include random access memory (RAM), read only memory (ROM), and permanent mass storage devices such as disk drives. have. In addition, the memories 101 , 111 , and 121 include program codes and settings for controlling the VR content relay platform server 100 , the streaming transmission server 110 and the media server 120 , 3D content, VR image or VR video data. may be temporarily or permanently stored.

프로세서(102, 112, 122)는 기본적인 산술, 로직 및 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(101, 111, 121) 또는 통신 모듈(103, 113, 123)에 의해 프로세서(102, 112, 122)로 제공될 수 있다. 예를 들어 프로세서(102, 112, 122)는 메모리(101, 111, 121)와 같은 기록 장치에 저장된 프로그램 코드에 따라 수신되는 명령을 실행하도록 구성될 수 있다. 일 실시예에서 상기 VR 컨텐츠 중계 플랫폼 제공 서버(100)의 프로세서(102)는 3D 컨텐츠를 획득하고, 상기 3D 컨텐츠를 캡쳐하여 복수의 VR 이미지를 획득하고, 상기 3D 컨텐츠에 포함된 오디오 데이터를 추출하여 상기 복수의 VR 이미지와 매핑하여 VR 비디오 데이터를 생성하고, 상기 VR 비디오 데이터를 비디오 스트리밍 형식으로 변환하여 VR 비디오 스트리밍 데이터를 획득하고, 상기 VR 비디오 스트리밍 데이터를 상기 스트리밍 송출 서버로 전송할 수 있다.The processors 102 , 112 , and 122 may be configured to process instructions of a computer program by performing basic arithmetic, logic, and input/output operations. Instructions may be provided to the processor 102 , 112 , 122 by the memory 101 , 111 , 121 or the communication module 103 , 113 , 123 . For example, the processors 102 , 112 , 122 may be configured to execute received instructions according to program codes stored in a recording device such as the memories 101 , 111 , 121 . In an embodiment, the processor 102 of the VR content relay platform providing server 100 acquires 3D content, captures the 3D content to acquire a plurality of VR images, and extracts audio data included in the 3D content to generate VR video data by mapping the plurality of VR images, convert the VR video data into a video streaming format to obtain VR video streaming data, and transmit the VR video streaming data to the streaming transmission server.

통신 모듈(103, 113, 123)은 네트워크를 통해 통신하기 위한 기능을 제공할 수 있다. 일례로, VR 컨텐츠 중계 플랫폼 서버(100)의 프로세서(102)가 메모리(101)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 모듈(103)의 제어에 따라 네트워크를 통해 미디어 서버(120)로 전달될 수 있다. 역으로, 미디어 서버(120)의 프로세서(122)의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 네트워크를 거쳐 통신 모듈(123)을 통해 VR 컨텐츠 중계 플랫폼 서버(100)로 수신될 수 있다. 예를 들어 통신 모듈(103, 113, 123)을 통해 수신된 제어 신호나 명령 등은 프로세서(102, 112, 122)나 메모리(101, 111, 121)로 전달될 수 있고, 컨텐츠나 파일 등은 VR 컨텐츠 중계 플랫폼 서버(100), 스트리밍 송출 서버(110) 및 미디어 서버(120)가 더 포함할 수 있는 저장 매체로 저장될 수 있다.The communication modules 103 , 113 , and 123 may provide a function for communicating through a network. For example, a request generated by the processor 102 of the VR content relay platform server 100 according to a program code stored in a recording device such as the memory 101 is controlled by the communication module 103 through the network through the media server ( 120) can be transferred. Conversely, a control signal, command, content, file, etc. provided under the control of the processor 122 of the media server 120 may be received by the VR content relay platform server 100 through the communication module 123 through the network. can For example, a control signal or command received through the communication module 103, 113, 123 may be transmitted to the processor 102, 112, 122 or the memory 101, 111, 121, and contents or files The VR content relay platform server 100 , the streaming transmission server 110 , and the media server 120 may be stored as a storage medium that may further include.

또한, 통신 모듈(103, 113, 123)은 네트워크를 통해 통신할 수 있다. 통신 방식은 제한되지 않지만, 네트워크는 근거리 무선통신망일 수 있다. 예를 들어, 네트워크는 블루투스(Bluetooth), BLE(Bluetooth Low Energy), Wifi 통신망일 수 있다. In addition, the communication modules 103 , 113 , and 123 may communicate through a network. Although the communication method is not limited, the network may be a local area wireless network. For example, the network may be a Bluetooth (Bluetooth), BLE (Bluetooth Low Energy), or Wifi communication network.

입출력 인터페이스(104, 114, 124)는 입출력 장치와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 어플리케이션의 통신 세션을 표시하기 위한 디스플레이와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(104, 114, 124)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 보다 구체적인 예로, 사용자 단말의 프로세서는 메모리(211)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 스트리밍 송출 서버(110)나 미디어 서버(120)가 제공하는 데이터를 이용하여 구성되는 서비스 화면이나 컨텐츠가 입출력 인터페이스를 통해 디스플레이에 표시될 수 있다.The input/output interfaces 104 , 114 , and 124 may be means for interfacing with an input/output device. For example, the input device may include a device such as a keyboard or mouse, and the output device may include a device such as a display for displaying a communication session of an application. As another example, the input/output interfaces 104 , 114 , and 124 may be means for an interface with a device in which functions for input and output are integrated into one, such as a touch screen. As a more specific example, when the processor of the user terminal processes the command of the computer program loaded in the memory 211 , the service screen or content configured using the data provided by the streaming transmission server 110 or the media server 120 is displayed. It can be displayed on the display through the input/output interface.

또한, 다른 실시예들에서 VR 컨텐츠 중계 플랫폼 서버(100), 스트리밍 송출 서버(110) 및 미디어 서버(120)는 도 2의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, VR 컨텐츠 중계 플랫폼 서버(100), 스트리밍 송출 서버(110) 및 미디어 서버(120)는 내부 구성요소들에 전력을 공급하는 배터리 및 충전 장치를 포함할 수 있고, 상술한 입출력 장치 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.In addition, in other embodiments, the VR content relay platform server 100 , the streaming transmission server 110 , and the media server 120 may include more components than those of FIG. 2 . However, there is no need to clearly show most of the prior art components. For example, the VR content relay platform server 100, the streaming transmission server 110, and the media server 120 may include a battery and a charging device for supplying power to internal components, and among the above-described input/output devices, It may be implemented to include at least a portion or may further include other components such as a transceiver, a global positioning system (GPS) module, various sensors, and a database.

도 3은 본 발명의 일 실시예에 따른 VR 컨텐츠 중계 플랫폼 제공 방법의 순서도이다.3 is a flowchart of a method for providing a VR content relay platform according to an embodiment of the present invention.

단계 S110에서 VR 컨텐츠 중계 플랫폼 제공 서버는 3D 컨텐츠를 획득할 수 있다. 본 발명의 일 실시예에 따른 VR 컨텐츠 중계 플랫폼은 VR 360 관전 모드를 지원하지 않는 3D 컨텐츠에 VR 360 관전 모드를 패키지 및 플러그인 형태로 제공할 수 있다.In step S110, the VR content relay platform providing server may acquire 3D content. The VR content relay platform according to an embodiment of the present invention may provide the VR 360 spectating mode in the form of a package and a plug-in to 3D content that does not support the VR 360 spectating mode.

단계 S120에서 VR 컨텐츠 중계 플랫폼 제공 서버는 상기 3D 컨텐츠를 캡쳐하여 복수의 VR 이미지를 획득할 수 있다. VR 컨텐츠 중계 플랫폼 제공 서버는 3D 컨텐츠를 실시간으로 캡쳐하여 상기 복수의 VR 이미지를 획득할 수 있다. 예를 들어 VR 컨텐츠 중계 플랫폼 제공 서버는 상술한 제공된 패키지 및 플러그인을 통해 3D 컨텐츠를 실시간으로 VR 360 모드로 캡쳐 할 수 있다. 또한, 일 실시예에서 VR 컨텐츠 중계 플랫폼 제공 서버는 3D 컨텐츠를 360 모노 및 스테레오 형식으로 캡쳐하여 상기 복수의 VR 이미지를 획득할 수도 있다.In step S120, the VR content relay platform providing server may acquire a plurality of VR images by capturing the 3D content. The VR content relay platform providing server may acquire the plurality of VR images by capturing 3D content in real time. For example, the VR content relay platform providing server may capture 3D content in real time in VR 360 mode through the provided package and plug-in described above. Also, in an embodiment, the VR content relay platform providing server may acquire the plurality of VR images by capturing 3D content in 360 mono and stereo formats.

단계 S130에서 VR 컨텐츠 중계 플랫폼 제공 서버는 상기 3D 컨텐츠에 포함된 오디오 데이터를 추출하여 상기 복수의 VR 이미지와 매핑하여 VR 비디오 데이터를 생성할 수 있다. 보다 구체적으로 VR 컨텐츠 중계 플랫폼 제공 서버는 3D 컨텐츠에 포함된 오디오 데이터 및 마이크 모듈로부터 수신된 입력 데이터를 기초로 상기 복수의 VR 이미지를 인코딩하여 상기 VR 비디오 데이터를 생성할 수 있다.In step S130, the VR content relay platform providing server may extract audio data included in the 3D content and map it to the plurality of VR images to generate VR video data. More specifically, the VR content relay platform providing server may generate the VR video data by encoding the plurality of VR images based on audio data included in the 3D content and input data received from the microphone module.

예를 들어 VR 컨텐츠 중계 플랫폼 제공 서버는 실시간으로 캡쳐 된 VR 이미지들을 3D 컨텐츠내 사운드 및 마이크 입력과 함께 인코딩하여 비디오 형식으로 생성할 수 있다. 상술한 비디오 형식은 예를 들어 MP4 포맷일 수 있다.For example, the VR content relay platform providing server can encode VR images captured in real time together with sound and microphone input in 3D content to create a video format. The above-described video format may be, for example, an MP4 format.

단계 S140에서 VR 컨텐츠 중계 플랫폼 제공 서버는 상기 VR 비디오 데이터를 비디오 스트리밍 형식으로 변환하여 VR 비디오 스트리밍 데이터를 획득할 수 있다. In step S140, the VR content relay platform providing server converts the VR video data into a video streaming format to obtain VR video streaming data.

일 실시예에서 VR 컨텐츠 중계 플랫폼 제공 서버는 상기 VR 비디오 데이터를 RTMP (Real-Time Messaging Protocol)을 사용하여 미디어 서버로 송신하고, 상기 미디어 서버에서 변환한 VR 비디오 스트리밍 데이터를 수신할 수 있다. 본 실시예에서 미디어 서버는 VR 비디오 데이터를 HLS (HTTP Live Streaming) 형식 및 MPEG-DASH 형식 중 적어도 하나의 비디오 스트리밍 형식으로 변환할 수 있다.In an embodiment, the VR content relay platform providing server may transmit the VR video data to a media server using Real-Time Messaging Protocol (RTMP) and receive VR video streaming data converted by the media server. In the present embodiment, the media server may convert VR video data into at least one video streaming format of an HLS (HTTP Live Streaming) format and an MPEG-DASH format.

예를 들어 VR 컨텐츠 중계 플랫폼 제공 서버는 MP4형식으로 생성된 VR 360 비디오를 RTMP 프로토콜을 통해 미디어 서버로 전송할 수 있다. 그리고 미디어 서버로 전송된 MP4 형식의 VR 360 비디오는 미디어 서버에서 HLS (HTTP Live Streaming) 형식과 MPEG-DASH 형식을 가진 비디오 스트리밍 형식으로 변환될 수 있다.For example, the VR content relay platform providing server can transmit VR 360 video created in MP4 format to the media server through the RTMP protocol. In addition, the VR 360 video in MP4 format transmitted to the media server can be converted into a video streaming format with HLS (HTTP Live Streaming) format and MPEG-DASH format in the media server.

단계 S150에서 VR 컨텐츠 중계 플랫폼 제공 서버는 상기 VR 비디오 스트리밍 데이터를 스트리밍 송출 서버로 전송할 수 있다. 일 실시예에서 VR 컨텐츠 중계 플랫폼 제공 서버는 사용자 단말로 상기 VR 비디오 스트리밍 데이터를 송신할 수 있다. 일 실시예에서 스트리밍 송출 서버는, 상기 VR 비디오 스트리밍 데이터에 대한 오디오 스트림을 수신하고, 상기 오디오 스트림과 상기 VR 비디오 스트리밍 데이터를 결합하여 사용자 단말로 송신할 수 있다. 예를 들어 VR 컨텐츠 중계 플랫폼 제공 서버는 변환된 비디오 스트리밍을 5G 네트워크를 통해 사용자의 모바일 VR HMD와 Youtube등의 스트리밍 송출 서버로 전송할 수 있다. In step S150, the VR content relay platform providing server may transmit the VR video streaming data to the streaming transmission server. In an embodiment, the VR content relay platform providing server may transmit the VR video streaming data to the user terminal. In an embodiment, the streaming transmission server may receive an audio stream for the VR video streaming data, combine the audio stream and the VR video streaming data, and transmit the combined VR video streaming data to a user terminal. For example, the VR content relay platform providing server can transmit the converted video streaming to the user's mobile VR HMD and streaming transmission server such as Youtube through the 5G network.

이하 도 4 및 도 5를 참조하여 VR 컨텐츠 중계 플랫폼 제공 방법의 실시예를 설명한다.Hereinafter, an embodiment of a method for providing a VR content relay platform will be described with reference to FIGS. 4 and 5 .

본 발명의 일 실시예에 따른 VR 컨텐츠 중계 플랫폼 제공 방법은 컨테이너를 사용하여 이동 가능한 VR 360 e스포츠 경기장을 구축하여 e스포츠 관람을 원하는 e스포츠 경기장이 없는 지역의 관객들에게 제공할 수 있다. 본 실시예에서 컨테이너는 VR 컨텐츠 중계 플랫폼 서버를 구비할 수 있다.The method of providing a VR content relay platform according to an embodiment of the present invention can use containers to build a movable VR 360 e-sports stadium and provide it to audiences in areas without an e-sports stadium who want to watch e-sports. In this embodiment, the container may include a VR content relay platform server.

컨테이너 e스포츠 경기장은 선수들을 위한 각 팀당 1대의 컨테이너를 사용하여 팀 개수에 따라 추가하거나 제거 할 수 있도록 한다. 선수들을 위한 컨테이너에 구비된 VR 컨텐츠 중계 플랫폼 서버(100)에는 선수가 게임 플레이에 사용할 수 있는 하드웨어 시스템을 구성 후 제공할 수 있다.Container esports venues will use one container per team for players, allowing them to be added or removed depending on the number of teams. The VR content relay platform server 100 provided in the container for players may configure and provide a hardware system that players can use for game play.

e스포츠 경기를 중계하기 위한 사회자 및 해설자를 위한 컨테이너 부스를 별도로 제작하여, 선수들의 컨테이너 부스와 같이 배치하여 관객들이 사회자 및 해설자들과 함께 경기를 관람할 수 있도록 한다. 사회자 및 해설자를 위한 컨테이너 부스에 구비된 VR 컨텐츠 중계 플랫폼 서버(100)는 3D 게임 옵저버 모드를 360 VR 비디오 스트림으로 생성하여 미디어 서버로 보내는 옵저버 시스템을 같이 구축할 수 있다.Container booths for moderators and commentators for relaying e-sports events are separately produced and placed together with the players’ container booths so that the audience can watch the game together with the moderators and commentators. The VR content relay platform server 100 provided in the container booth for moderators and commentators can construct an observer system that generates a 3D game observer mode as a 360 VR video stream and sends it to the media server.

VR 컨텐츠 중계 플랫폼 제공 서버(100)는 3D 게임를 캡쳐하여 복수의 VR 이미지를 획득할 수 있다. VR 컨텐츠 중계 플랫폼 제공 서버는 3D 컨텐츠를 실시간으로 캡쳐하여 복수의 VR 이미지를 획득할 수 있다. 예를 들어 VR 컨텐츠 중계 플랫폼 제공 서버는 상술한 제공된 패키지 및 플러그인을 통해 3D 게임을 실시간으로 VR 360 모드로 캡쳐할 수 있다. 또한, 일 실시예에서 VR 컨텐츠 중계 플랫폼 제공 서버는 3D 컨텐츠를 360 모노 및 스테레오 형식으로 캡쳐하여 복수의 VR 이미지를 획득할 수도 있다.The VR content relay platform providing server 100 may acquire a plurality of VR images by capturing a 3D game. The VR content relay platform providing server may acquire a plurality of VR images by capturing 3D content in real time. For example, the VR content relay platform providing server may capture a 3D game in real time in VR 360 mode through the provided package and plug-in described above. In addition, in an embodiment, the VR content relay platform providing server may acquire a plurality of VR images by capturing 3D content in 360 mono and stereo formats.

컨테이너에 구비된 VR 컨텐츠 중계 플랫폼 서버(100)에서 외부로 송출되는 실시간 비디오 스트림은 2D 방송 중계를 스트리밍 송출 서버(110)로 송출하기 위한 방송용 비디오 스트림과 3D 컨텐츠 콘텐츠를 포함하는 VR 360 비디오 스트림을 클라우드 혹은 IDC에 있는 미디어 서버(120)로 송출하는 VR 360 비디오 스트림이 있다. The real-time video stream transmitted from the VR content relay platform server 100 provided in the container to the outside is a broadcast video stream for transmitting 2D broadcast relay to the streaming transmission server 110 and a VR 360 video stream including 3D content content. There is a VR 360 video stream that is sent to the media server 120 in the cloud or IDC.

일 실시예에서 VR 컨텐츠 중계 플랫폼 서버(100)는 VR 360 관전 모드를 지원하지 않는 3D 컨텐츠에 VR 360 관전 모드를 지원하기 위해서, 3D 컨텐츠 컨텐츠를 실시간으로 캡처하기 위해서, 3D 컨텐츠내 카메라에 큐브맵 시퀀스를 생성하는 쉐이더와 객체를 추가하고, 추가된 객체는 3D 컨텐츠가 실행시, 실시간으로 큐브맵 시퀀스를 4K 이상의 VR 360 이미지 형태로 변환하여 물리적인 텍스처 메모리 영역에 저장할 수 있다.In one embodiment, the VR content relay platform server 100 supports the VR 360 spectating mode for 3D content that does not support the VR 360 spectating mode, to capture the 3D content content in real time, and a cubemap to the camera in the 3D content. A shader and an object that create a sequence are added, and the added object can be stored in the physical texture memory area by converting the cubemap sequence into a VR 360 image form of 4K or higher in real time when 3D content is executed.

본 실시예에서 VR 컨텐츠 중계 플랫폼 서버(100)의 4K 이상의 해상도를 가진 저장된 텍스처 메모리 영역은 초당 30FPS이상의 플레이 장면을 보장하기 위해서 하드웨어/소프트웨어 인코딩를 통해 H. 264/H. 265 압축 코덱 방식으로 실시간 변환 후 파일 형태로 저장될 수 있다.In this embodiment, the stored texture memory area with a resolution of 4K or higher of the VR content relay platform server 100 is H.264/H. 265 compression codec method, it can be saved in the form of a file after conversion in real time.

VR 컨텐츠 중계 플랫폼 제공 서버(100)는 3D 게임에 포함된 오디오 데이터를 추출하여 복수의 VR 이미지와 매핑하여 VR 비디오 데이터를 생성할 수 있다. 보다 구체적으로 VR 컨텐츠 중계 플랫폼 제공 서버는 3D 컨텐츠에 포함된 오디오 데이터 및 마이크 모듈로부터 수신된 입력 데이터를 기초로 복수의 VR 이미지를 인코딩하여 VR 비디오 데이터를 생성할 수 있다.The VR content relay platform providing server 100 may extract audio data included in the 3D game and map it to a plurality of VR images to generate VR video data. More specifically, the VR content relay platform providing server may generate VR video data by encoding a plurality of VR images based on audio data included in the 3D content and input data received from the microphone module.

또한, VR 컨텐츠 중계 플랫폼 서버(100)에는 3D 컨텐츠내 콘텐츠를 이루는 중요한 요소인 게임 사운드와, e스포츠 경기의 중요한 요소중에 하나인 사회자와 해설자의 코멘트도 실시간 인코딩 과정을 거쳐 WAV 파일 형태로 저장된다. 저장된 VR 360 비디오 파일과, 저장된 게임 사운드 및 사회자와 해설자의 코멘트가 저장된 WAV파일은 MP4 형식의 비디오 / 오디오 파일 형태로 병합 후 저장될 수 있다.In addition, in the VR content relay platform server 100, the game sound, which is an important element constituting the content in the 3D content, and the comments of the moderator and commentator, which are one of the important elements of the e-sports game, are also stored in the form of a WAV file through a real-time encoding process. . The saved VR 360 video file, the saved game sound, and the WAV file in which the comments of the moderator and narrator are saved can be saved after merging in the form of an MP4 video/audio file.

VR 컨텐츠 중계 플랫폼 제공 서버(100)는 상기 VR 비디오 데이터를 비디오 스트리밍 형식으로 변환하여 VR 비디오 스트리밍 데이터를 획득할 수 있다. 도 4에 도시된 바를 참조하면, 최종적으로 생성된 MP4 형식의 비디오/오디오 파일은, RTMP (Real-Time Messaging Protocol)을 사용하여 RTMP 프로토콜을 지원하는 미디어 서버(120)로 전송된다. The VR content relay platform providing server 100 may obtain VR video streaming data by converting the VR video data into a video streaming format. Referring to FIG. 4 , the finally generated video/audio file in MP4 format is transmitted to the media server 120 supporting the RTMP protocol using RTMP (Real-Time Messaging Protocol).

미디어 서버는(120) VR 비디오 데이터를 HLS (HTTP Live Streaming) 형식 및 MPEG-DASH 형식 중 적어도 하나의 비디오 스트리밍 형식으로 변환할 수 있다. 미디어 서버(120)로 전송된 MP4 파일 스트림은 낮은 지연시간 및 원활한 라이브 시청 보장을 위해 미디어 서버내 웹서버 어플리케이션에서 HLS (HTTP Live Streaming) 및 MPEG-DASH 형식의 실시간 라이브 비디오 스트림 형태로 변환되어, 미디어의 SSD 저장장치에 저장 후 클라우드 기반의 CDN(Content Delivery Network)에 배포된다. 이를 통해 미디어 서버(120)의 SSD에 저장되어 있거나, 클라우드에 배포된 VR 360 라이브 스트림 파일은 클라우드 5G기반의 모바일 기기에서 VR HMD를 통해 관객들이 시청하기 원하는 라이브 경기를 선택하여 시청할 수 있다. VR 컨텐츠 중계 플랫폼 제공 서버(100)는 상기 VR 비디오 스트리밍 데이터를 스트리밍 송출 서버(110)로 전송할 수 있다. 또한, 도 5에 도시된 바를 참조하면, 미디어 서버(120)도 SSD에 비디오 스트림을 저장하고 클라우드 CDN에 배포함과 동시에, 스트리밍 송출 서버(110)에 비디오 스트림을 배포한다. The media server 120 may convert the VR video data into at least one video streaming format of an HTTP Live Streaming (HLS) format and an MPEG-DASH format. The MP4 file stream transmitted to the media server 120 is converted into a real-time live video stream of HLS (HTTP Live Streaming) and MPEG-DASH format in the web server application in the media server to ensure low latency and smooth live viewing, After being stored in the SSD storage device of the media, it is distributed to a cloud-based CDN (Content Delivery Network). Through this, the VR 360 live stream file stored in the SSD of the media server 120 or distributed in the cloud can be viewed by selecting the live game that the audience wants to watch through the VR HMD on the cloud 5G-based mobile device. The VR content relay platform providing server 100 may transmit the VR video streaming data to the streaming transmission server 110 . In addition, referring to FIG. 5 , the media server 120 also stores the video stream in the SSD and distributes the video stream to the cloud CDN, and at the same time distributes the video stream to the streaming transmission server 110 .

한편, 본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.On the other hand, those of ordinary skill in the art related to the present embodiment will understand that it can be implemented in a modified form within a range that does not deviate from the essential characteristics of the above description. Therefore, the disclosed methods are to be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The device described above may be implemented as a hardware component, a software component, and/or a combination of the hardware component and the software component. For example, devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA). , a programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions, may be implemented using one or more general purpose or special purpose computers. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For convenience of understanding, although one processing device is sometimes described as being used, one of ordinary skill in the art will recognize that the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that can include For example, the processing device may include a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as parallel processors.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may comprise a computer program, code, instructions, or a combination of one or more thereof, which configures a processing device to operate as desired or is independently or collectively processed You can command the device. The software and/or data may be any kind of machine, component, physical device, virtual equipment, computer storage medium or device, to be interpreted by or to provide instructions or data to the processing device. , or may be permanently or temporarily embody in a transmitted signal wave. The software may be distributed over networked computer systems, and stored or executed in a distributed manner. Software and data may be stored in one or more computer-readable recording media.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited embodiments and drawings, various modifications and variations are possible from the above description by those skilled in the art. For example, the described techniques are performed in a different order than the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (17)

3D 컨텐츠를 획득하는 단계;
상기 3D 컨텐츠를 캡쳐하여 복수의 VR 이미지를 획득하는 단계;
상기 3D 컨텐츠에 포함된 오디오 데이터를 추출하여 상기 복수의 VR 이미지와 매핑하여 VR 비디오 데이터를 생성하는 단계;
상기 VR 비디오 데이터를 비디오 스트리밍 형식으로 변환하여 VR 비디오 스트리밍 데이터를 획득하는 단계; 및
상기 VR 비디오 스트리밍 데이터를 스트리밍 송출 서버로 전송하는 단계;를 포함하는,
VR 컨텐츠 중계 플랫폼 제공 방법.
obtaining 3D content;
acquiring a plurality of VR images by capturing the 3D content;
extracting audio data included in the 3D content and mapping it with the plurality of VR images to generate VR video data;
converting the VR video data into a video streaming format to obtain VR video streaming data; and
Transmitting the VR video streaming data to a streaming transmission server; Containing,
How to provide a VR content relay platform.
제1 항에 있어서,
상기 VR 비디오 스트리밍 데이터를 스트리밍 송출 서버로 전송하는 단계는,
사용자 단말로 상기 VR 비디오 스트리밍 데이터를 송신하는 단계를 더 포함하는,
VR 컨텐츠 중계 플랫폼 제공 방법.
According to claim 1,
The step of transmitting the VR video streaming data to the streaming transmission server,
Further comprising the step of transmitting the VR video streaming data to a user terminal,
How to provide a VR content relay platform.
제2 항에 있어서,
상기 스트리밍 송출 서버는,
상기 VR 비디오 스트리밍 데이터에 대한 오디오 스트림을 수신하고, 상기 오디오 스트림과 상기 VR 비디오 스트리밍 데이터를 결합하여 사용자 단말로 송신하는,
VR 컨텐츠 중계 플랫폼 제공 방법.
3. The method of claim 2,
The streaming transmission server,
receiving an audio stream for the VR video streaming data, combining the audio stream and the VR video streaming data and transmitting it to a user terminal,
How to provide a VR content relay platform.
제1 항에 있어서,
상기 복수의 VR 이미지를 획득하는 단계는,
상기 3D 컨텐츠를 실시간으로 캡쳐하여 상기 복수의 VR 이미지를 획득하는 단계를 포함하는,
VR 컨텐츠 중계 플랫폼 제공 방법.
According to claim 1,
The step of acquiring the plurality of VR images includes:
Comprising the step of capturing the 3D content in real time to obtain the plurality of VR images,
How to provide a VR content relay platform.
제4 항에 있어서,
상기 복수의 VR 이미지를 획득하는 단계는,
상기 3D 컨텐츠를 360 모노 및 스테레오 형식으로 캡쳐하여 상기 복수의 VR 이미지를 획득하는 단계를 포함하는,
VR 컨텐츠 중계 플랫폼 제공 방법.
5. The method of claim 4,
The step of acquiring the plurality of VR images includes:
capturing the 3D content in 360 mono and stereo formats to obtain the plurality of VR images,
How to provide a VR content relay platform.
제1 항에 있어서,
상기 VR 비디오 데이터를 생성하는 단계는,
상기 3D 컨텐츠에 포함된 오디오 데이터 및 마이크 모듈로부터 수신된 입력 데이터를 기초로 상기 복수의 VR 이미지를 인코딩하여 상기 VR 비디오 데이터를 생성하는 단계를 포함하는,
VR 컨텐츠 중계 플랫폼 제공 방법.
According to claim 1,
The generating of the VR video data includes:
Encoding the plurality of VR images based on audio data included in the 3D content and input data received from a microphone module to generate the VR video data,
How to provide a VR content relay platform.
제1 항에 있어서,
상기 VR 비디오 스트리밍 데이터를 획득하는 단계는,
상기 VR 비디오 데이터를 RTMP (Real-Time Messaging Protocol)을 사용하여 미디어 서버로 송신하고, 상기 미디어 서버에서 변환한 VR 비디오 스트리밍 데이터를 수신하는 단계를 포함하는,
VR 컨텐츠 중계 플랫폼 제공 방법.
According to claim 1,
Acquiring the VR video streaming data comprises:
Transmitting the VR video data to a media server using Real-Time Messaging Protocol (RTMP), and receiving VR video streaming data converted by the media server,
How to provide a VR content relay platform.
제7 항에 있어서,
상기 미디어 서버는,
상기 VR 비디오 데이터를 HLS (HTTP Live Streaming) 형식 및 MPEG-DASH 형식 중 적어도 하나의 비디오 스트리밍 형식으로 변환하는,
VR 컨텐츠 중계 플랫폼 제공 방법.
8. The method of claim 7,
The media server,
Converting the VR video data into at least one video streaming format of HLS (HTTP Live Streaming) format and MPEG-DASH format,
How to provide a VR content relay platform.
스트리밍 송출 서버; 및
VR 컨텐츠 중계 플랫폼 제공 서버; 를 포함하고,
상기 VR 컨텐츠 중계 플랫폼 제공 서버는,
프로세서; 를 포함하고,
상기 프로세서는,
3D 컨텐츠를 획득하고, 상기 3D 컨텐츠를 캡쳐하여 복수의 VR 이미지를 획득하고, 상기 3D 컨텐츠에 포함된 오디오 데이터를 추출하여 상기 복수의 VR 이미지와 매핑하여 VR 비디오 데이터를 생성하고, 상기 VR 비디오 데이터를 비디오 스트리밍 형식으로 변환하여 VR 비디오 스트리밍 데이터를 획득하고, 상기 VR 비디오 스트리밍 데이터를 상기 스트리밍 송출 서버로 전송하는,
VR 컨텐츠 중계 플랫폼 제공 시스템.
streaming transmission server; and
VR content relay platform providing server; including,
The VR content relay platform providing server,
processor; including,
The processor is
Obtaining 3D content, capturing the 3D content to obtain a plurality of VR images, extracting audio data included in the 3D content and mapping it with the plurality of VR images to generate VR video data, and generating VR video data converting to a video streaming format to obtain VR video streaming data, and transmitting the VR video streaming data to the streaming transmission server,
VR content relay platform providing system.
제9 항에 있어서,
사용자 단말;을 더 포함하고,
상기 스트리밍 송출 서버;는
상기 사용자 단말로 상기 VR 비디오 스트리밍 데이터를 송신하는,
VR 컨텐츠 중계 플랫폼 제공 시스템.
10. The method of claim 9,
User terminal; further comprising,
The streaming transmission server;
transmitting the VR video streaming data to the user terminal,
VR content relay platform providing system.
제10 항에 있어서,
상기 스트리밍 송출 서버는,
상기 VR 비디오 스트리밍 데이터에 대한 오디오 스트림을 수신하고, 상기 오디오 스트림과 상기 VR 비디오 스트리밍 데이터를 결합하여 사용자 단말로 송신하는,
VR 컨텐츠 중계 플랫폼 제공 시스템.
11. The method of claim 10,
The streaming transmission server,
receiving an audio stream for the VR video streaming data, combining the audio stream and the VR video streaming data and transmitting it to a user terminal,
VR content relay platform providing system.
제9 항에 있어서,
상기 프로세서는,
상기 3D 컨텐츠를 실시간으로 캡쳐하여 상기 복수의 VR 이미지를 획득하는,
VR 컨텐츠 중계 플랫폼 제공 시스템.
10. The method of claim 9,
The processor is
capturing the 3D content in real time to obtain the plurality of VR images,
VR content relay platform providing system.
제12 항에 있어서,
상기 프로세서는,
상기 3D 컨텐츠를 360 모노 및 스테레오 형식으로 캡쳐하여 상기 복수의 VR 이미지를 획득하는,
VR 컨텐츠 중계 플랫폼 제공 시스템.
13. The method of claim 12,
The processor is
Capturing the 3D content in 360 mono and stereo format to obtain the plurality of VR images,
VR content relay platform providing system.
제9 항에 있어서,
상기 프로세서는,
상기 3D 컨텐츠에 포함된 오디오 데이터 및 마이크 모듈로부터 수신된 입력 데이터를 기초로 상기 복수의 VR 이미지를 인코딩하여 상기 VR 비디오 데이터를 생성하는,
VR 컨텐츠 중계 플랫폼 제공 시스템.
10. The method of claim 9,
The processor is
Encoding the plurality of VR images based on audio data included in the 3D content and input data received from a microphone module to generate the VR video data,
VR content relay platform providing system.
제9 항에 있어서,
미디어 서버;를 더 포함하고,
상기 프로세서는,
상기 VR 비디오 데이터를 RTMP (Real-Time Messaging Protocol)을 사용하여 상기 미디어 서버로 송신하고, 상기 미디어 서버에서 변환한 VR 비디오 스트리밍 데이터를 수신하는,
VR 컨텐츠 중계 플랫폼 제공 시스템.
10. The method of claim 9,
Media server; further comprising,
The processor is
Transmitting the VR video data to the media server using RTMP (Real-Time Messaging Protocol), and receiving VR video streaming data converted by the media server,
VR content relay platform providing system.
제15 항에 있어서,
상기 미디어 서버는,
상기 VR 비디오 데이터를 HLS (HTTP Live Streaming) 형식 및 MPEG-DASH 형식 중 적어도 하나의 비디오 스트리밍 형식으로 변환하는,
VR 컨텐츠 중계 플랫폼 제공 시스템.
16. The method of claim 15,
The media server,
Converting the VR video data into at least one video streaming format of HLS (HTTP Live Streaming) format and MPEG-DASH format,
VR content relay platform providing system.
컴퓨터를 이용하여 제1항 내지 제8항 중 어느 한 항의 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램.A computer program stored in a recording medium for executing the method of any one of claims 1 to 8 using a computer.
KR1020200167660A 2019-12-27 2020-12-03 Method and apparatus for providing a platform for transmitting vr contents KR20210084248A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR20190176892 2019-12-27
KR1020190176892 2019-12-27

Publications (1)

Publication Number Publication Date
KR20210084248A true KR20210084248A (en) 2021-07-07

Family

ID=76862402

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200167660A KR20210084248A (en) 2019-12-27 2020-12-03 Method and apparatus for providing a platform for transmitting vr contents

Country Status (1)

Country Link
KR (1) KR20210084248A (en)

Similar Documents

Publication Publication Date Title
JP6436320B2 (en) Live selective adaptive bandwidth
CN105430455B (en) information presentation method and system
US9751015B2 (en) Augmented reality videogame broadcast programming
US20200236278A1 (en) Panoramic virtual reality framework providing a dynamic user experience
CN105610868B (en) A kind of method of information exchange, equipment and system
JP2020036334A (en) Control of personal space content presented by head mount display
JP2020151494A (en) Cloud game streaming using asset integration on client side
EP2884751A1 (en) A multimedia platform for generating and streaming content based on data provided by capturing devices corresponding to multiple viewpoints including subjective viewpoints
US10542300B2 (en) Methods and systems for customizing virtual reality data
US10403022B1 (en) Rendering of a virtual environment
Neri et al. SkyMedia-UAV-based capturing of HD/3D content with WSN augmentation for immersive media experiences
CN108093300B (en) Animation capture management system
US10638029B2 (en) Shared experiences in panoramic video
KR101915065B1 (en) Live streaming system for virtual reality contents and operating method thereof
US20210304418A1 (en) Digital representation of multi-sensor data stream
Oyman et al. Virtual reality industry Forum's view on state of the immersive media industry
US20200413157A1 (en) Enhanced Immersive Digital Media
US10699749B2 (en) Methods and systems for customizing virtual reality data
KR20210084248A (en) Method and apparatus for providing a platform for transmitting vr contents
Kawamura et al. 3D free-viewpoint augmented reality on a second display synchronized with a broadcast program
KR20170085781A (en) System for providing and booking virtual reality video based on wire and wireless communication network
JP6533022B1 (en) Terminal, server and program
Hartmann et al. Enhanced Videogame Livestreaming by Reconstructing an Interactive 3D Game View for Spectators
Cha A Study on the Technology and the Case of Virtual Reality Image Contents Creation
Oyman et al. VRIF Guidelines on Live VR Services

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application