KR101922968B1 - Vr 콘텐츠에 대한 라이브 스트리밍 방법 및 시스템 - Google Patents

Vr 콘텐츠에 대한 라이브 스트리밍 방법 및 시스템 Download PDF

Info

Publication number
KR101922968B1
KR101922968B1 KR1020170088590A KR20170088590A KR101922968B1 KR 101922968 B1 KR101922968 B1 KR 101922968B1 KR 1020170088590 A KR1020170088590 A KR 1020170088590A KR 20170088590 A KR20170088590 A KR 20170088590A KR 101922968 B1 KR101922968 B1 KR 101922968B1
Authority
KR
South Korea
Prior art keywords
panorama image
image
broadcast
content
degree
Prior art date
Application number
KR1020170088590A
Other languages
English (en)
Inventor
양승준
Original Assignee
주식회사 볼트홀
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 볼트홀 filed Critical 주식회사 볼트홀
Priority to KR1020170088590A priority Critical patent/KR101922968B1/ko
Priority to PCT/KR2017/015062 priority patent/WO2019013415A1/ko
Application granted granted Critical
Publication of KR101922968B1 publication Critical patent/KR101922968B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Abstract

방송용 VR 콘텐츠에 대한 라이브 스트리밍 서비스를 제공하는 라이브 스트리밍 시스템이 제공된다. 본 발명의 일 실시예에 따른 VR 콘텐츠에 대한 라이브 스트리밍 시스템은, 제1 방송용 VR(virtual reality) 게임 콘텐츠를 실행하고, 스트리머의 입력에 따라 상기 제1 방송용 VR 게임 콘텐츠에 대한 스트리밍 방송을 진행하는 스트리머 단말, 상기 제1 방송용 VR 게임 콘텐츠와 동일한 제2 방송용 VR 게임 콘텐츠를 실행하고, 상기 스트리머 단말로부터 상기 제1 방송용 VR 게임 콘텐츠에 대한 게임 진행 정보가 실시간으로 수신됨에 응답하여, 상기 제2 방송용 VR 게임 콘텐츠를 상기 제1 방송용 VR 게임 콘텐츠와 동기화하며, 상기 동기화된 제2 방송용 VR 게임 콘텐츠를 기초로 360도 파노라마 영상을 렌더링하는 렌더링 서버 및 상기 렌더링된 360도 파노라마 영상이 시청자 단말로 스트리밍되도록 하는 방송 관리 서버를 포함할 수 있다.

Description

VR 콘텐츠에 대한 라이브 스트리밍 방법 및 시스템{Live streaming method for virtual reality contents and system thereof}
본 발명은 VR 콘텐츠에 대한 라이브 스트리밍 방법 및 그 방법을 수행하는 시스템에 관한 것이다. 보다 자세하게는, 방송용 VR 콘텐츠에 대하여 끊김 없는 라이브 스트리밍 서비스를 제공하기 위해, 상기 방송용 VR 콘텐츠에 대한 360도 파노라마 영상을 효율적으로 스트리밍하는 방법 및 상기 라이브 스트리밍 서비스를 제공하는 시스템에 관한 것이다.
최근 전 세계로부터 많은 관심을 받고 있는 분야는 바로 가상 현실(virtual reality, 이하 "VR"로 약칭함) 분야이다. 일각에서는 2020년 VR 콘텐츠 시장이 하드웨어 시장의 수배에 이를 것이라고 보고 있다.
VR은 컴퓨터 등을 사용한 인공적인 기술로 만들어낸 실제와 유사하지만 실제가 아닌 어떤 특정한 환경이나 상황 혹은 그 기술 자체를 의미한다. 이때, 만들어진 가상의 환경이나 상황 등은 사용자의 오감을 자극하며 실제와 유사한 공간적, 시간적 체험을 하게 함으로써 현실과 상상의 경계를 자유롭게 드나들게 한다. 또한, 사용자는 가상 현실에 단순히 몰입할 뿐만 아니라 실재하는 디바이스를 이용해 조작이나 명령을 가하는 등 가상 현실 속에 구현된 것들과 상호작용이 가능하다. VR은 사용자와 상호작용이 가능하고 사용자의 경험을 창출한다는 점에서 일방적으로 구현된 시뮬레이션과는 구분된다.
한편, 아프리카 TV, 트위치, 유튜브 등의 인터넷 방송 플랫폼이 구축됨에 따라, 다양한 콘텐츠를 주제로 개인 인터넷 방송을 하는 스트리머(streamer)들이 나날이 증가하고 있다. 최근에는, 광고 스폰서(회사의 배너 광고 등)나 유튜브 스트리밍 수익 등과 같이 스트리머의 수익 경로가 다양해짐에 따라, 개인적인 취미로만 방송을 하는 것이 아니라 전업으로 개인 인터넷 방송을 하는 스트리머들 또한 증가하는 추세이다.
그러나, VR 콘텐츠가 전 세계적으로 큰 화두임에도 불구하고, VR 콘텐츠의 현실감과 몰입감이 기 구축된 인터넷 방송 플랫폼을 통해 시청자에게 전달되기 어렵기 때문에, VR 콘텐츠를 대상으로 하는 개인 인터넷 방송은 거의 없는 실정이다.
예컨대, HMD(head mounted device) 등의 VR 기기를 착용한 스트리머가 기 구축된 인터넷 방송 플랫폼을 통해 VR 게임 콘텐츠에 대한 인터넷 방송을 진행한다고 가정하면, 스트리머 단말에 설치된 방송 클라이언트는 스트리머 단말의 게임 화면을 캡처하여 그대로 시청자 단말로 스트리밍하게 된다. 또한, 시청자 단말에 설치된 시청 클라이언트는 캡처된 화면 영상을 시청자 단말에 그대로 디스플레이하기 때문에, HMD를 착용한 시청자라 하더라도, 본래 VR 게임 콘텐츠의 현실감과 몰입감을 체험할 수 없다.
아울러, VR 기기를 착용한 시청자가 고개를 좌우로 돌려 시점을 변경하더라도, 시청자 단말에 디스플레이되는 게임 영상의 시점이 변경되지 않기 때문에 이 또한 VR 콘텐츠의 현실감 및 몰입감을 떨어뜨리는 요인이 된다.
따라서, 스트리밍 방송을 시청하는 시청자들이 VR 콘텐츠를 스트리머와 함께 체험할 수 있도록 고안된 라이브 스트리밍 시스템이 요구된다.
한국공개특허 제 10-2017-0037338호(2017.04.04 공개)
본 발명이 해결하고자 하는 기술적 과제는, VR 콘텐츠에 대한 라이브 스트리밍 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 시청자에게 끊김 없는 라이브 스트리밍 서비스를 제공하기 위해, 효율적으로 360도 파노라마 영상을 스트리밍하는 방법 및 그 방법을 수행하는 시스템을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른 VR 콘텐츠에 대한 라이브 스트리밍 시스템은, 제1 방송용 VR(virtual reality) 게임 콘텐츠를 실행하고, 스트리머의 입력에 따라 상기 제1 방송용 VR 게임 콘텐츠에 대한 스트리밍 방송을 진행하는 스트리머 단말, 상기 제1 방송용 VR 게임 콘텐츠와 동일한 제2 방송용 VR 게임 콘텐츠를 실행하고, 상기 스트리머 단말로부터 상기 제1 방송용 VR 게임 콘텐츠에 대한 게임 진행 정보가 실시간으로 수신됨에 응답하여, 상기 제2 방송용 VR 게임 콘텐츠를 상기 제1 방송용 VR 게임 콘텐츠와 동기화하며, 상기 동기화된 제2 방송용 VR 게임 콘텐츠를 기초로 360도 파노라마 영상을 렌더링하는 렌더링 서버 및 상기 렌더링된 360도 파노라마 영상이 시청자 단말로 스트리밍되도록 하는 방송 관리 서버를 포함할 수 있다.
일 실시예에서, 상기 방송 관리 서버는, 기 구축된 인터넷 방송 플랫폼을 이용하여, 상기 360도 파노라마 영상이 상기 시청자 단말로 스트리밍되도록 할 수 있다.
일 실시예에서, 상기 렌더링 서버는, 상기 제2 방송용 VR 게임 콘텐츠 상에 구축된 가상 공간에서, 가상 객체에 인접하여 위치한 가상 카메라에 의해 촬영된 영상을 이용하여, 상기 360도 파노라마 영상을 렌더링하되, 상기 가상 객체는, 상기 스트리머의 입력에 따라 제어되는 가상 객체이고, 상기 가상 카메라는, 상기 가상 공간에서 상기 가상 객체와 함께 이동될 수 있다.
일 실시예에서, 상기 렌더링 서버는, 상기 시청자 단말로부터 시청자의 시점 정보 및 시야각 정보가 수신됨에 응답하여, 상기 렌더링된 360도 파노라마 영상 중에서 상기 시점 정보 및 상기 시야각 정보에 대응되는 부분 파노라마 영상을 상기 방송 관리 서버로 전송할 수 있다.
일 실시예에서, 상기 렌더링된 360도 파노라마 영상은 제1 360도 파노라마 영상이고, 상기 스트리머 단말은, 상기 제1 방송용 VR 게임 콘텐츠에 대한 캡처 화면을 기초로 렌더링된 제2 360도 파노라마 영상을 생성하되, 상기 제1 360도 파노라마 영상 및 상기 제2 360도 파노라마 영상 중 어느 하나의 파노라마 영상이 상기 시청자 단말로 스트리밍될 수 있다.
상술한 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 VR 콘텐츠에 대한 라이브 스트리밍 방법은, 라이브 스트리밍 시스템에 의해 수행되는 방송용 VR 게임 콘텐츠에 대한 라이브 스트리밍 방법에 있어서, 스트리머 단말에서 실행되는 제1 방송용 VR 게임 콘텐츠에 대한 게임 진행 정보를 실시간으로 수신하는 단계, 상기 게임 진행 정보가 실시간으로 수신됨에 응답하여, 상기 게임 진행 정보를 이용하여 제2 방송용 VR 게임 콘텐츠를 상기 제1 방송용 VR 게임 콘텐츠와 동기화하는 단계, 상기 동기화된 제2 방송용 VR 게임 콘텐츠를 기초로 360도 파노라마 영상을 렌더링하는 단계 및 상기 렌더링된 360도 파노라마 영상을 시청자 단말로 스트리밍하는 단계를 포함할 수 있다.
상술한 본 발명에 따르면, 스트리머 단말에서 실행 중인 제1 방송용 VR 콘텐츠와 렌더링 서버에서 실행 중인 제2 방송용 VR 콘텐츠 사이에 동기화가 수행되고, 렌더링 서버에서 상기 제2 방송용 VR 콘텐츠를 기초로 360도 파노라마 영상이 렌더링되며, 상기 렌더링된 360도 파노라마 영상이 시청자 단말로 스트리밍될 수 있다. 이에 따라, 스트리밍 방송을 시청하는 시청자와 스트리머 사이에 방송용 VR 콘텐츠의 체험이 공유될 수 있다. 또한, 스트리머 단말에서는 360도 파노라마 영상에 대한 렌더링이 수행되지 않으므로, 라이브 스트리밍에 대한 성능 요구사항이 완화되며, 이에 따라 스트리머의 방송 참여를 유도하는 효과가 있을 수 있다.
또한, VR 게임 콘텐츠에 대한 스트리밍 방송을 진행하는 경우, 스트리머에 의해 제어되는 가상 객체 인근에 배치된 가상 카메라를 이용하여 360도 파노라마 영상이 렌더링된다. 이에 따라, 스트리밍 방송에 대한 시청자의 몰입감이 극대화될 수 있다.
또한, 360도 파노라마 영상이 제공됨에 따라, 시청자의 시점이 스트리머의 시점에 완전히 종속되지도 않으므로, VR 콘텐츠에 대한 시청자의 현실감 및 몰입감이 극대화될 수 있다.
또한, 기 구축된 인터넷 방송 플랫폼을 이용하여 VR 콘텐츠에 대한 스트리밍 방송 서비스가 제공될 수 있는 바, 시스템 구축 비용이 크게 절감될 수 있다.
또한, VR 콘텐츠라는 새로운 주제로 스트리밍 방송이 진행될 수 있는 바, 개인 인터넷 방송이 보다 활성화되는 효과가 있다.
또한, 360도 파노라마 영상 전체가 스트리밍되는 것이 아니라 시청자의 시야 영역에 대응되는 부분 파노라마 영상이 스트리밍될 수 있다. 이에 따라, 네트워크의 대역폭이 절약되고, 끊김 없는 라이브 스트리밍 서비스가 제공될 수 있다.
또한, 부분 파노라마 영상 중 시청자의 가시영역 외부의 영상은 저화질로 인코딩되어 스트리밍될 수 있다. 이에 따라, 네트워크의 대역폭이 더욱 절약되고, 끊김 없는 라이브 스트리밍 서비스가 제공될 수 있다.
또한, 스트리머에 의해 게임이 진행 중이지 않은 경우에는 스트리머 단말에서 렌더링된 별도의 360도 파노라마 영상이 스트리밍될 수 있다. 이에 따라, 시청자의 몰입감이 계속 유지될 수 있고, 끊김 없는 라이브 스트리밍 서비스가 제공될 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 제1 실시예에 따른 VR 콘텐츠에 대한 라이브 스트리밍 시스템의 구성도이다.
도 2는 본 발명의 제2 실시예에 따른 VR 콘텐츠에 대한 라이브 스트리밍 시스템을 설명하기 위한 도면이다.
도 3a 및 도 3b는 본 발명의 몇몇 실시예에서 참조될 수 있는 제1 360도 파노라마 영상 렌더링 방법을 설명하기 위한 도면이다.
도 4a 내지 도 4c는 본 발명의 몇몇 실시예에서 참조될 수 있는 제2 360도 파노라마 영상 렌더링 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 실시예에 따른 VR 콘텐츠에 대한 라이브 스트리밍 방법의 흐름도이다.
도 6 내지 도 10은 본 발명의 몇몇 실시예에 따라 네트워크 상태를 고려한 360도 파노라마 영상의 라이브 스트리밍 방법을 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
본 명세서에 대한 설명에 앞서, 본 명세서에서 사용되는 몇몇 용어들에 대하여 명확하게 하기로 한다.
본 명세서에서, 인터넷 방송 플랫폼이란, 인터넷을 이용한 스트리밍 방송 서비스를 제공하는 플랫폼을 의미한다. 예를 들어, 상기 인터넷 방송 플랫폼은 아프리카 TV, 유튜브, 트위치, 카카오 TV 등이 될 수 있으나, 이에 국한 되는 것은 아니다.
본 명세서에서, 스트리머(streamer)란, 상기 인터넷 방송 플랫폼을 통해 인터넷 방송을 진행하는 사람을 의미한다. 상기 스트리머는 아프리카 TV에서는 BJ(broadcasting jockey), 카카오 TV에서는 PD(play director), 트위치 TV에서는 스트리머, 유튜브에서는 크리에이터(creator)로 명명되고, 이외에도 브로드캐스터(broadcaster) 등 다양한 용어로 명명될 수 있으나, 본 명세서에서는 편의상 스트리머로 통칭하기로 한다.
본 명세서에서, VR(virtual reality)이란, 컴퓨터 등을 사용한 인공적인 기술로 만들어낸 실제와 유사하지만 실제가 아닌 어떤 특정한 환경이나 상황 혹은 그 기술 자체를 의미한다. VR은 인공현실(artificial reality), 사이버 공간(cyberspace), 가상 세계(virtual worlds), 가상 환경(virtual environment), 합성 환경(synthetic environment), 인공 환경(artificial environment) 등 당해 기술 분야에서 다양한 용어와 혼용되어 사용될 수 있으나 동일한 대상을 지칭할 수 있음에 유의한다.
이하, 본 발명의 몇몇 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명한다.
도 1은 본 발명의 제1 실시예에 따른 VR 콘텐츠에 대한 라이브 스트리밍 시스템의 구성도이다.
도 1을 참조하면, 본 발명의 제1 실시예에 따른 라이브 스트리밍 시스템은 스트리머 단말(100), 렌더링 서버(300), 방송 관리 서버(500), 적어도 하나의 인터넷 방송 플랫폼(700) 및 적어도 하나의 시청자 단말(900)을 포함하도록 구성될 수 있다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 구성 요소가 추가되거나 삭제될 수 있음은 물론이다. 또한, 도 1에 도시된 라이브 스트리밍 시스템의 각각의 구성 요소들은 기능적으로 구분되는 기능 요소들을 나타낸 것으로서, 적어도 하나의 구성 요소가 실제 물리적 환경에서는 서로 통합되는 형태로 구현될 수도 있음에 유의한다. 예를 들어, 렌더링 서버(300)와 방송 관리 서버(500)가 단일한 서버 장치로 통합되어 구현될 수도 있다. 이하, 상기 라이브 스트리밍 시스템의 구성 요소에 대하여 설명하도록 한다.
상기 라이브 스트리밍 시스템에서, 스트리머 단말(100)은 라이브 스트리밍 방송을 진행하기 위해 스트리머(1)가 이용하는 컴퓨팅 장치이다. 여기서, 상기 컴퓨팅 장치는 노트북, 데스크톱(desktop), 랩탑(laptop), 스마트폰(Smart Phone) 등이 될 수 있으나, 이에 국한되는 것은 아니며 컴퓨팅 기능 및 통신 기능이 구비된 모든 종류의 장치를 포함할 수 있다.
스트리머 단말(100)은 스트리머의 입력에 따라 방송용 VR 콘텐츠를 실행하고, 상기 방송용 VR 콘텐츠에 대한 라이브 방송을 진행할 수 있다. 이하에서는, 별도의 언급이 없는 한 상기 방송용 VR 콘텐츠는 VR 게임 콘텐츠인 것으로 가정하여 설명하도록 한다. 단, 이는 이해의 편의를 제공하기 위한 것일 뿐, 본 발명의 범위가 이에 국한되는 것은 아니다.
본 발명의 실시예에 따르면, 스트리머 단말(100)은 기 설치된 게임 클라이언트 모듈을 통해 방송용 VR 게임 콘텐츠를 실행하고, 게임 진행 정보를 렌더링 서버(300)로 전송함으로써 라이브 스트리밍 방송을 진행할 수 있다. 여기서, 상기 게임 클라이언트 모듈은 VR 게임 콘텐츠에 방송 기능이 추가로 구현된 소프트웨어 모듈인 것으로 이해될 수 있다. 구체적으로, 상기 게임 클라이언트 모듈은 인터넷 방송 플랫폼에 대한 선택 인터페이스, 라이브 방송 시작 및 종료 인터페이스, VR 게임 콘텐츠에 대한 게임 진행 정보를 렌더링 서버(300)로 전송하는 기능 등이 추가로 구비된 모듈일 수 있다.
본 발명의 실시예에 따르면, 스트리머(1)는 HMD 등의 VR 기기를 착용하고, 방송용 VR 게임 콘텐츠를 플레이할 수 있으며, 라이브 방송이 시작되면 스트리머(1)에 의해 플레이되는 방송용 VR 게임 콘텐츠의 게임 영상이 시청자 단말(900)로 스트리밍될 수 있다.
상기 라이브 스트리밍 시스템에서, 렌더링 서버(300)는 방송용 VR 게임 콘텐츠를 기초로 360도 파노라마 영상(3)을 렌더링한다. 렌더링 서버(300)가 360도 파노라마 영상(3)을 렌더링하는 방법은 도 3a 및 도 3b를 참조하여 후술하도록 한다.
본 발명의 실시예에 따르면, 렌더링 서버(300)는 스트리머 단말(100)에서 실행되는 방송용 VR 게임 콘텐츠(이하, "제1 방송용 VR 게임 콘텐츠"로 약칭함)와 동일한 방송용 VR 게임 콘텐츠(이하, "제2 방송용 VR 게임 콘텐츠"로 약칭함)를 실행시키고, 스트리머 단말(300)로부터 실시간으로 수신되는 게임 진행 정보를 이용하여 상기 제2 방송용 VR 게임 콘텐츠를 상기 제1 방송용 VR 게임 콘텐츠와 동기화시킬 수 있다. 또한, 렌더링 서버(300)는 상기 제2 방송용 VR 게임 콘텐츠를 기초로 360도 파노라마 영상(3)을 렌더링한다. 여기서, 상기 게임 진행 정보는 두 VR 게임 콘텐츠의 동기화에 요구되는 모든 정보를 포함하는 것으로, 예를 들어, 스트리머(1)에 의해 제어되는 가상 객체, 상기 가상 객체의 상태, 위치 등이 될 수 있고, 이는 VR 게임 콘텐츠의 종류에 따라 얼마든지 달라질 수 있다.
상기 라이브 스트리밍 시스템에서, 방송 관리 서버(500)는 렌더링 서버(300)에 의해 제공되는 360도 파노라마 영상(3)을 인터넷 방송 플랫폼(700)으로 전송하여 시청자 단말(900)로 스트리밍되도록 한다.
본 발명의 실시예에 따르면, 방송 관리 서버(500)는 기 구축된 인터넷 방송 플랫폼(700)과 연동되는 적어도 하나의 방송 클라이언트 모듈을 포함할 수 있다. 여기서, 상기 방송 클라이언트 모듈은 인터넷 방송 플랫폼의 스트리밍 서버로 스트리밍 대상 영상을 송출하는 모듈로, 예를 들어 상기 인터넷 방송 플랫폼이 제공하는 소프트웨어 모듈인 것으로 이해될 수 있다. 보다 구체적인 예를 들어, 상기 인터넷 방송 플랫폼이 아프리카 TV인 경우, 상기 방송 클라이언트 모듈은 아프리카 TV를 통해 라이브 방송을 진행하는 BJ의 단말에 설치된 소프트웨어 모듈을 의미하는 것일 수 있다.
상기 라이브 스트리밍 시스템에서, 인터넷 방송 플랫폼(700)은 인터넷을 통해 라이브 스트리밍 서비스를 제공하는 플랫폼을 의미한다.
본 발명의 실시예에 따르면, 인터넷 방송 플랫폼(700)은 아프리카 TV, 트위치, 유튜브 등과 같이 기 구축된 인터넷 방송 플랫폼이 될 수 있다. 즉, 본 실시예에 따르면, 방송용 VR 게임 콘텐츠를 실시간으로 스트리밍하기 위해 별도의 스트리밍 서버가 구축되는 것이 아니라 다수의 시청자가 이용하는 레거시(legacy) 시스템이 활용될 수 있다. 이에 따라, 시스템 구축 비용이 크게 절감될 수 있다.
상기 라이브 스트리밍 시스템에서, 시청자 단말(900)은 라이브 방송을 시청하기 위해 시청자가 이용하는 단말을 의미한다. 시청자 단말(900)은 예를 들어 기 구축된 인터넷 방송 플랫폼(700)과 연동되는 시청 클라이언트 모듈이 탑재된 컴퓨팅 장치를 의미할 수 있고, 상기 컴퓨팅 장치는 노트북, 데스크톱(desktop), 랩탑(laptop), 스마트폰(Smart Phone), HMD 등으로 다양할 수 있다. 상기 시청 클라이언트 모듈은 예를 들어 인터넷 방송 플랫폼이 제공하는 라이브 방송 서비스를 이용하기 위해 설치되는 소프트웨어 모듈을 의미하는 것일 수 있다.
본 발명의 몇몇 실시예에 따른 라이브 방송 시스템에서, 각 구성 요소들은 네트워크를 통해 통신할 수 있다. 여기서, 상기 네트워크는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN), 이동 통신망(mobile radio communication network), Wibro(Wireless Broadband Internet) 등과 같은 모든 종류의 유/무선 네트워크로 구현될 수 있다.
지금까지 도 1을 참조하여, 본 발명의 제1 실시예에 따른 VR 콘텐츠에 대한 라이브 스트리밍 시스템에 대하여 설명하였다. 다음으로, 도 2를 참조하여 본 발명의 제2 실시예에 따른 VR 콘텐츠에 대한 라이브 스트리밍 시스템에 대하여 설명하도록 한다.
도 2는 본 발명의 제2 실시예에 따른 라이브 스트리밍 시스템을 설명하기 위한 도면이다.
도 2를 참조하면, 본 발명의 제2 실시예에 따른 라이브 스트리밍 시스템은 제1 360도 파노라마 영상(5) 및 제2 360도 파노라마 영상(7)을 이용하여 라이브 스트리밍 서비스를 제공할 수 있다.
또한, 상기 제2 실시예에서, 제1 360도 파노라마 영상(5)은 렌더링 서버(300) 에 의해 렌더링되고, 제2 360도 파노라마 영상(7)은 스트리머 단말(100)에 의해 렌더링될 수 있다.
본 발명의 실시예에 따르면, 제2 360도 파노라마 영상(7)은 스트리머(1)에 의해 제1 방송용 VR 게임 콘텐츠가 진행 중이지 않은 경우, 시청자 단말(900)로 스트리밍되는 파노라마 영상일 수 있다. 즉, 스트리머(1)가 상기 제1 방송용 VR 게임 콘텐츠를 플레이하고 있는 경우에는 제1 360도 파노라마 영상(5)이 스트리밍되고, 이외의 경우에는 제2 360도 파노라마 영상(7)이 스트리밍될 수 있다.
여기서, 상기 제1 방송용 VR 게임 콘텐츠가 진행 중이지 않은 경우는 예를 들어 특정 콘텐츠를 로딩하는 경우 등을 들 수 있다. 상기 로딩하는 경우에는 렌더링 서버(300)가 360도 파노라마 영상을 렌더링할 수 없기 때문에, 시청자는 스트리밍 방송이 끊긴다고 느낄 수 있으며 이는 방송용 VR 콘텐츠에 대한 몰입감을 저해하는 요인이 될 수 있다. 따라서, 이와 같은 경우, 제2 360도 파노라마 영상(7)을 스트리밍함으로써, 시청자의 몰입감이 계속 유지되도록 할 수 있다.
이하에서는, 각각의 360도 파노라마 영상을 렌더링하는 방법에 대하여 도 3a 내지 도 4b를 참조하여 설명하도록 한다.
도 3a 및 도 3b는 제1 360도 파노라마 영상(5)을 렌더링하는 방법을 설명하기 위한 도면이다. 구체적으로, 도 3a는 제2 방송용 VR 게임 콘텐츠 상에 구축되는 예시적인 가상 공간을 도시한다. 도 3a에는 도시된 가상 공간 상에 제1 가상 객체(11)와 제2 가상 객체(13)가 존재하고, 제2 가상 객체(13)가 스트리머(1)에 의해 플레이되는 가상 객체인 경우가 예로써 도시되었다.
도 3a를 참조하면, 렌더링 서버(300)는 상기 제2 방송용 VR 게임 콘텐츠 상에 구축된 가상 공간에 배치된 가상 카메라를 이용하여 제1 360도 파노라마 영상(5)을 렌더링한다.
본 발명의 실시예에 따르면, 렌더링 서버(300)는 상기 가상 공간 상에서 제2 가상 객체(13)에 인접하여 배치된 가상 카메라(15)에 의해 촬영된 게임 영상을 이용하여 360도 파노라마 영상을 렌더링할 수 있다. 예를 들어, 도 3b에 도시된 바와 같이, 가상 카메라(15)는 제2 가상 객체(13) 주변을 360도 회전하며 게임 영상(17)을 촬영하고, 렌더링 서버(300)는 게임 영상(17)을 이용하여 제1 360도 파노라마 영상(5)을 렌더링할 수 있다. 단, 렌더링 서버(300)가 제1 360도 파노라마 영상(5)을 렌더링하는 방법이 이에 국한되는 것은 아니며, 어떠한 방법이 이용되더라도 무방하다.
상술한 실시예에서, 스트리머(1)의 입력에 따라 제2 가상 객체(13)가 이동되면, 가상 카메라(15)도 제2 가상 객체(13)와 함께 이동될 수 있다. 이에 따라, 라이브 스트리밍 방송을 시청하는 시청자들은 직접 방송용 VR 게임 콘텐츠를 플레이하는 것처럼 방송용 VR 게임 콘텐츠를 감상할 수 있게 되므로, 라이브 스트리밍 방송에 대한 몰입감이 극대화될 수 있다.
또한, 상술한 실시예에 따르면, 360도 파노라마 영상이 제공되기 때문에, 시청자의 시야 영역이 스트리머(1)의 시야 영역에 완전히 종속되지 않을 수 있다. 보다 자세히 말하면, 시청자의 시선 방향이 제1 시점에서 제2 시점으로 변경되면, 스트리머(1)의 시점과 관계 없이 상기 360도 파노라마 영상 중에서 상기 제2 시점에 대응되는 영상이 시청자 단말(900)에 디스플레이될 수 있다. 따라서, 시청자의 시야가 스트리머(1)의 시야에 완전히 종속되지 않게 되며, 이에 따라 방송용 VR 콘텐츠를 시청하는 시청자는 VR 게임 콘텐츠를 설치하지 않고도 스트리머(1)와 동일한 현실감 및 몰입감을 체험할 수 있게 된다.
도 4a 내지 도 4c는 제2 360도 파노라마 영상(7)을 렌더링하는 방법을 설명하기 위한 도면이다. 도 4a는 스트리머 단말(1)의 화면 상에 디스플레이되는 제1 방송용 VR 게임 콘텐츠를 캡처하여 생성된 제1 영상(21a)을 도시한다. 도 4a에는 제1 영상(21a)의 사이즈가 "1920x1080"인 경우가 예로써 도시되었다.
다음으로, 도 4b를 참조하면, 스트리머 단말(100)은 제2 360도 파노라마 영상(7)을 렌더링하기 위해, 제1 영상(21a)의 사이즈를 기 설정된 사이즈로 변환하여 제2 영상(21b)을 생성한다. 도 4b에서 상기 기 설정된 사이즈는 "640x360"인 것으로 예시되었으나, 이는 얼마든지 달라질 수 있다.
다음으로, 스트리머 단말(100)은 제2 영상(21b)을 렌더링될 360도 영상 영역(20)의 중앙에 배치하고, 상기 360도 영상에서 제2 영상(21b)을 제외한 영역(23)을 기 설정된 색(e.g. 검정색)으로 처리하여 360도 파노라마 영상(20)을 렌더링한다. 렌더링된 360도 파노라마 영상(20)은 예를 들어 도 4c에 도시된 바와 같을 수 있다. 360도 파노라마 영상(20)이 스트리밍되면, 시청자(30)가 정면을 바라볼 때, 제2 영상(21b)이 보이게 되고, 시점을 변경하면 기 설정된 색으로 칠해진 공간만이 보이게 되는 것으로 이해될 수 있다.
지금까지 도 2 내지 도 4b를 참조하여, 본 발명의 제2 실시예에 따른 라이브 스트리밍 시스템에 대하여 설명하였다. 다음으로, 도 5를 참조하여 본 발명의 다른 실시예에 따른 VR 콘텐츠에 대한 라이브 스트리밍 방법에 대하여 상세하게 설명한다.
이하, 본 발명의 실시예에 따른 라이브 스트리밍 방법의 각 단계는, 단일 컴퓨팅 장치 및/또는 복수의 컴퓨팅 장치로 구성된 시스템에 의해 수행될 수 있다. 예를 들어, 상기 시스템은 본 발명의 몇몇 실시예에 따른 라이브 스트리밍 시스템일 수 있다. 다만, 설명의 편의를 위해, 상기 라이브 스트리밍 방법에 포함되는 각 단계의 동작 주체는 그 기재가 생략될 수도 있다. 또한, 라이브 스트리밍 방법의 각 단계는 프로세서에 의해 실행되는 컴퓨터 프로그램의 오퍼레이션으로 구현될 수 있다.
도 5는 본 발명의 실시예에 따른 VR 콘텐츠에 대한 라이브 스트리밍 방법의 흐름도다. 단, 이는 본 발명의 목적을 달성하기 위한 바람직한 실시예일 뿐이며, 필요에 따라 일부 단계가 추가되거나 삭제될 수 있음은 물론이다
도 5를 참조하면, 스트리머 단말(100)에서 실행되는 제1 방송용 VR 게임 콘텐츠에 대한 게임 진행 정보가 실시간으로 수신된다(S100). 예를 들어, 렌더링 서버(300)가 상기 제1 방송용 VR 게임 콘텐츠에 대한 게임 진행 정보를 실시간으로 수신할 수 있다.
다음으로, 상기 게임 진행 정보가 실시간으로 수신됨에 응답하여, 상기 게임 진행 정보를 이용하여 제2 방송용 VR 게임 콘텐츠와 제1 방송용 VR 게임 콘텐츠가 동기화된다(S200). 예를 들어, 상기 게임 진행 정보를 이용하여, 렌더링 서버(300)에서 실행되는 상기 제2 방송용 VR 게임 콘텐츠가 상기 제1 방송용 VR 게임 콘텐츠와 동기화될 수 있다.
다음으로, 동기화된 제2 방송용 VR 게임 콘텐츠를 기초로 360도 파노라마 영상이 렌더링된다(S300). 예를 들어, 렌더링 서버(300)가 상기 동기화된 제2 방송용 VR 게임 콘텐츠를 기초로 360도 파노라마 영상을 렌더링할 수 있다. 상기 360도 파노라마 영상을 렌더링하는 방법은 전술한 바 이에 대한 설명은 생략하도록 한다.
참고로, 별도의 렌더링 서버(300)에서 360도 파노라마 영상을 렌더링하는 이유는 VR 콘텐츠를 실행하는 것 자체가 이미 스트리머 단말(100)에 큰 부담이 될 수 있기 때문이다. 구체적으로, 스트리머 단말(100)에 가중되는 부하를 최소화하여 원활한 라이브 스트리밍 서비스가 이루어지도록 하고, 스트리머 단말(100)의 성능 요구사항을 완화시켜, 스트리머의 방송 참여를 유도하기 위한 것으로 이해될 수 있다.
다음으로, 상기 렌더링된 360도 파노라마 영상이 시청자 단말(900)로 스트리밍된다(S400). 예를 들어, 방송 관리 서버(500)가 기 구축된 인터넷 방송 플랫폼을 이용하여 상기 렌더링된 360도 파노라마 영상을 시청자 단말(900)로 스트리밍할 수 있다.
지금까지 도 5를 참조하여, 본 발명의 실시예에 따른 라이브 스트리밍 방법에 대하여 설명하였다. 상술한 바에 따르면, 스트리머 단말에서 실행 중인 제1 방송용 VR 콘텐츠와 렌더링 서버에서 실행 중인 제2 방송용 VR 콘텐츠 사이에 동기화가 수행되고, 렌더링 서버에서 상기 제2 방송용 VR 콘텐츠를 기초로 360도 파노라마 영상이 렌더링되며, 상기 렌더링된 360도 파노라마 영상이 시청자 단말로 스트리밍될 수 있다. 이에 따라, 스트리밍 방송을 시청하는 시청자와 스트리머 사이에 방송용 VR 콘텐츠의 체험이 공유될 수 있다.
이하에서는, 도 6 내지 도 10을 참조하여, 끊김 없는 라이브 스트리밍 서비스를 제공하기 위한 본 발명의 몇몇 실시예에 따른 라이브 스트리밍 방법에 대하여 설명하도록 한다.
VR 콘텐츠는 옴니 뷰(Omni View)를 지원하기 위해 360도 파노라마 영상을 모두 제공하기 때문에, 일반 영상 콘텐츠에 비해 용량이 매우 크고, 상당히 많은 네트워크 대역폭을 요구한다. 따라서, 네트워크 상태가 불안정한 경우 시청자 단말(900)에서 빈번하게 끊김 문제가 발생될 수 있고, 이는 시청자의 관심과 흥미를 떨어뜨리는 중요한 요인이 될 수 있다. 이하에서 후술될 몇몇 실시예들은 이와 같은 문제를 해결하기 위한 것으로 이해될 수 있다.
먼저, 도 6 및 도 7은 본 발명의 제1 실시예에 따른 라이브 스트리밍 방법을 설명하기 위한 도면이다.
도 6은 HMD를 착용하고 방송용 VR 콘텐츠에 대한 360도 파노라마 영상을 시청하는 시청자를 도시한다. 도 6을 참조하면, 상기 360도 파노라마 영상의 전체 영역이 시청자 단말(900)의 화면에 디스플레이되는 것이 아니라, 시청자의 시야각(field of view, 41)에 대응되는 부분 파노라마 영상(40)만이 디스플레이되는 것을 알 수 있다.
따라서, 상기 제1 실시예에 따르면, 360도 파노라마 영상 전체가 시청자 단말(900)로 스트리밍되는 것이 아니라, 시청자의 시야각에 대응되는 부분 파노라마 영상만이 각 시청자 단말(900)로 스트리밍될 수 있다. 예를 들어, 렌더링 서버(300)가 시청자 단말(900)로부터 시청자의 현재 시점 정보(e.g. 시선 방향) 및 시야각 정보를 수신하면, 상기 현재 시점 정보 및 상기 시야각 정보를 이용하여 부분 파노라마 영상을 추출하고, 상기 추출된 부분 파노라마 영상이 시청자 단말(900)로 스트리밍되도록 할 수 있다. 또는, 상기와 같은 기능을 방송 관리 서버(500) 또는 별도의 서버가 수행할 수도 있으며, 이는 실시예에 따라 얼마든지 달라질 수 있다.
도 7은 상기 제1 실시예에 따라 시청자의 현재 시점 정보 및 시야각 정보를 토대로 부분 파노라마 영상(51 내지 55)이 각 시청자 단말로 스트리밍되는 예시를 도시하고 있다. 도 7에서는 시청자의 시야각에 정확하게 대응되는 부분 파노라마 영상이 추출되고 스트리밍되는 것으로 도시되어 있으나, 시청자의 시점 변경을 고려하여 시청자의 시야각보다 더 넓은 영역의 부분 파노라마 영상이 스트리밍될 수도 있다. 이에 대한 자세한 사항은 도 10을 참조하여 후술하도록 한다.
지금까지, 도 6 및 도 7을 참조하여, 본 발명의 제1 실시예에 따른 라이브 스트리밍 방법에 대하여 설명하였다. 다음으로, 도 8 및 도 9를 참조하여, 본 발명의 제2 실시예에 따른 라이브 스트리밍 방법에 대하여 설명하도록 한다.
상기 제2 실시예에 따르면, 서로 다른 화질로 인코딩된 부분 파노라마 영상이 시청자 단말(900)로 인코딩될 수 있다.
예를 들어, 도 8을 참조하면, 부분 파노라마 영상(60)의 전체 영역 중에서 시청자의 정면 시점에 대응되는 제1 영역(64)의 영상은 제1 화질로 인코딩되고, 제1 영역(64)이 아닌 제2 영역(61, 65)의 영상은 제2 화질로 인코딩될 수 있다. 이때, 상기 제1 화질은 상기 제2 화질보다 고화질일 수 있다.
또한, 본 발명의 실시예에 따르면, 인터넷 방송 플랫폼(700)과 시청자 단말(900) 간의 네트워크의 상태에 따라 상기 제1 화질 및 상기 제2 화질은 가변적일 수 있다. 예를 들어, 상기 네트워크의 가용 대역폭이 기 설정된 임계 값 이상인 경우에 상기 제1 화질 및 상기 제2 화질 중 적어도 하나의 화질은 더 고화질로 인코딩될 수 있다. 이와 반대로, 상기 가용 대역폭이 기 설정된 임계 값 미만인 경우, 상기 제1 화질 및 상기 제2 화질 중 적어도 하나의 화질은 더 저화질로 인코딩될 수 있다.
또한, 본 발명의 실시예에 따르면, 인터넷 방송 플랫폼(700)과 시청자 단말(900) 간의 네트워크의 상태에 따라 고화질로 인코딩되는 제1 영역(63)과 저화질로 인코딩되는 제2 영역(61, 65)이 차지하는 비율은 가변적일 수 있다. 예를 들어, 상기 네트워크의 가용 대역폭이 기 설정된 임계 값 이상인 경우, 부분 파노라마 영상(60)에서 제1 영역(63)이 차지하는 비율은 증가되고, 제2 영역(61, 65)이 차지하는 비율은 감소될 수 있다. 즉, 가용 대역폭이 증가될수록 제1 영역(63)의 크기가 증가되고, 상대적으로 제2 영역(61, 65)의 크기는 감소될 수 있다.
도 9는 도 8에 도시된 시청자가 좌측으로 고개를 돌림에 따라 시청자의 현재 시점이 좌측으로 변경된 경우를 도시하고 있다.
도 9를 참조하면, 시청자의 현재 시점의 좌측으로 변경됨에 따라, 360도 파노라마 영상 중에서 변경된 시점에 대응되는 부분 파노라마 영상(70)이 스트리밍될 수 있다. 또한, 이전 영상에서 제2 화질로 인코딩된 영역(73a)은 제1 화질로 인코딩이 변경되고, 제1 화질로 인코딩된 영역(75)은 더 이상 시청자의 정면 시점에 대응되지 않는 바 제2 화질로 인코딩이 변경될 수 있다.
지금까지, 도 8 및 도 9를 참조하여, 본 발명의 제2 실시예에 따른 라이브 스트리밍 방법에 대하여 설명하였다. 다음으로, 도 10을 참조하여, 본 발명의 제3 실시예에 따른 라이브 스트리밍 방법에 대하여 설명하도록 한다.
상기 제3 실시예에 따르면, 시청자의 시야각에 대응되는 제1 부분 파노라마 영상과 시야각의 외부인 비가시영역에 위치하고 상기 제1 부분 파노라마 영상과 인접한 곳에 위치한 제2 부분 파노라마 영상이 함께 스트리밍될 수 있다. 이는, 시청자의 시점 변경 시 끊김 없는 스트리밍이 이루질 수 있도록 미리 예측되는 부분 파노라마 영상을 전송하는 것으로 이해될 수 있다.
도 10을 참조하여 부연 설명하면, 상기 제3 실시예에 따른 부분 파노라마 영상(80)은 시야각에 대응되는 제1 부분 파노라마 영상(83 내지 87)과 비가시영역에 위치한 제2 부분 파노라마 영상(81, 89)을 포함할 수 있다. 도 10에는 제2 부분 파노라마 영상(81, 89)이 제1 부분 파노라마 영상(83 내지 87)의 좌측 및 우측에 인접한 것으로 예시되었으나, 제2 부분 파노라마 영상은 제1 부분 파노라마 영상의 위쪽 및/또는 아래쪽에 위치한 영상일 수도 있음은 물론이다.
또한, 본 발명의 실시예에 따르면, 제2 부분 파노라마 영상은 제1 부분 파노라마 영상보다 같거나 낮은 화질로 인코딩된 영상일 수 있다. 예를 들어, 도 10에 도시된 바와 같이, 제1 부분 파노라마 영상의 제1 영역(85)이 제1 화질로 인코딩되고, 제2 영역(83, 87)이 상기 제1 화질보다 낮은 제2 화질로 인코딩된 경우, 제2 부분 파노라마 영상(81, 89)은 상기 제2 화질 또는 상기 제2 화질보다 낮은 제3 화질로 인코딩된 영상일 수 있다.
또한, 본 발명의 실시예에 따르면, 인터넷 방송 플랫폼(700)과 시청자 단말(900) 간의 네트워크의 상태에 따라 제2 부분 파노라마 영상의 크기 및 화질은 가변적일 수 있다. 예를 들어, 상기 네트워크의 가용 대역폭이 기 설정된 임계 값 이상인 경우, 제2 부분 파노라마 영상(81, 89)의 크기는 더 커질 수 있다. 또는, 상기 네트워크의 가용 대역폭이 기 설정된 임계 값 이상인 경우, 제2 부분 파노라마 영상(81, 89)은 더 고화질로 인코딩될 수 있다.
지금까지, 도 6 내지 도 10을 참조하여, 끊김 없는 라이브 스트리밍 서비스를 제공하기 위한 본 발명의 몇몇 실시예에 따른 라이브 스트리밍 방법에 대하여 설명하였다. 상술한 방법에 따르면, 네트워크의 대역폭이 절약되고, 끊김 없는 라이브 스트리밍 서비스가 제공될 수 있다는 장점이 있다.
지금까지 도 1 내지 도 10을 참조하여 설명된 본 발명의 개념은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.

Claims (18)

  1. 제1 방송용 VR(virtual reality) 게임 콘텐츠를 실행하고, 스트리머의 입력에 따라 상기 제1 방송용 VR 게임 콘텐츠에 대한 스트리밍 방송을 진행하는 스트리머 단말;
    상기 제1 방송용 VR 게임 콘텐츠와 동일한 제2 방송용 VR 게임 콘텐츠를 실행하고, 상기 스트리머 단말로부터 상기 제1 방송용 VR 게임 콘텐츠에 대한 게임 진행 정보가 실시간으로 수신됨에 응답하여, 상기 제2 방송용 VR 게임 콘텐츠를 상기 제1 방송용 VR 게임 콘텐츠와 동기화하며, 상기 동기화된 제2 방송용 VR 게임 콘텐츠를 기초로 360도 파노라마 영상을 렌더링하는 렌더링 서버; 및
    상기 렌더링된 360도 파노라마 영상이 시청자 단말로 스트리밍되도록 하는 방송 관리 서버를 포함하되,
    상기 렌더링 서버는, 상기 제2 방송용 VR 게임 콘텐츠 상에 구축된 가상 공간에서 가상 객체에 인접하여 위치한 가상 카메라에 의해 촬영된 영상을 이용하여 상기 360도 파노라마 영상을 렌더링하고, 상기 시청자 단말로부터 시청자의 시점 정보 및 시야각 정보가 수신됨에 응답하여 상기 렌더링된 360도 파노라마 영상 중에서 상기 시점 정보 및 상기 시야각 정보에 대응되는 부분 파노라마 영상을 상기 방송 관리 서버로 전송하며,
    상기 가상 객체는, 상기 스트리머의 입력에 따라 제어되는 가상 객체이고,
    상기 가상 카메라는, 상기 가상 공간에서 상기 가상 객체와 함께 이동되는 것을 특징으로 하는,
    VR 콘텐츠에 대한 라이브 스트리밍 시스템.
  2. 제1 항에 있어서,
    상기 방송 관리 서버는,
    기 구축된 인터넷 방송 플랫폼을 이용하여, 상기 360도 파노라마 영상이 상기 시청자 단말로 스트리밍되도록 하는 것을 특징으로 하는,
    VR 콘텐츠에 대한 라이브 스트리밍 시스템.
  3. 삭제
  4. 삭제
  5. 제1 항에 있어서,
    상기 렌더링 서버는,
    상기 시청자 단말로부터 상기 시청자의 변경된 시점 정보가 수신됨에 응답하여, 상기 렌더링된 360도 파노라마 영상 중에서 상기 변경된 시점 정보에 대응되는 부분 파노라마 영상을 상기 방송 관리 서버로 전송하는 것을 특징으로 하는,
    VR 콘텐츠에 대한 라이브 스트리밍 시스템.
  6. 제1 항에 있어서,
    상기 렌더링 서버는,
    상기 부분 파노라마 영상 중 상기 시청자의 정면 시점에 대응되는 제1 영역을 제1 화질로 인코딩하고, 상기 제1 영역이 아닌 제2 영역을 제2 화질로 인코딩하되,
    상기 제1 화질은 상기 제2 화질보다 고화질인 것을 특징으로 하는,
    VR 콘텐츠에 대한 라이브 스트리밍 시스템.
  7. 제1 항에 있어서,
    상기 부분 파노라마 영상은 제1 부분 파노라마 영상이고,
    상기 렌더링 서버는,
    상기 렌더링된 360도 파노라마 영상에서 상기 제1 부분 파노라마 영상에 인접하고 비가시영역에 위치한 기 설정된 크기의 제2 부분 파노라마 영상을 더 전송하는 것을 특징으로 하는,
    VR 콘텐츠에 대한 라이브 스트리밍 시스템.
  8. 제7 항에 있어서,
    상기 제1 부분 파노라마 영상은 제1 화질로 인코딩된 영상이고, 상기 제2 부분 파노라마 영상은 제2 화질로 인코딩된 영상이되,
    상기 제1 화질은 상기 제2 화질보다 고화질인 것을 특징으로 하는,
    VR 콘텐츠에 대한 라이브 스트리밍 시스템.
  9. 제1 항에 있어서,
    상기 렌더링된 360도 파노라마 영상은 제1 360도 파노라마 영상이고,
    상기 스트리머 단말은,
    상기 제1 방송용 VR 게임 콘텐츠에 대한 캡처 화면을 기초로 렌더링된 제2 360도 파노라마 영상을 생성하되,
    상기 제1 360도 파노라마 영상 및 상기 제2 360도 파노라마 영상 중 어느 하나의 파노라마 영상이 상기 시청자 단말로 스트리밍되는 것을 특징으로 하는,
    VR 콘텐츠에 대한 라이브 스트리밍 시스템.
  10. 제9 항에 있어서,
    상기 제2 360도 파노라마 영상은,
    상기 제1 방송용 VR 게임 콘텐츠가 상기 스트리머의 입력에 따라 진행 중이지 않은 경우, 상기 시청자 단말로 스트리밍되는 것을 특징으로 하는,
    VR 콘텐츠에 대한 라이브 스트리밍 시스템.
  11. 제9 항에 있어서,
    상기 스트리머 단말은,
    상기 캡처 화면의 사이즈를 기 설정된 사이즈로 변환하고, 상기 변환된 캡처 화면을 360도 영상 영역의 중앙에 대응되는 제1 영역에 배치하며, 상기 360도 영상 영역에서 상기 제1 영역이 아닌 제2 영역을 기 설정된 색으로 처리하여 상기 제2 360도 파노라마 영상을 생성하는 것을 특징으로 하는,
    VR 콘텐츠에 대한 라이브 스트리밍 시스템.
  12. 라이브 스트리밍 시스템에 의해 수행되는 방송용 VR 게임 콘텐츠에 대한 라이브 스트리밍 방법에 있어서,
    스트리머 단말에서 실행되는 제1 방송용 VR 게임 콘텐츠에 대한 게임 진행 정보를 실시간으로 수신하는 단계;
    상기 게임 진행 정보가 실시간으로 수신됨에 응답하여, 상기 게임 진행 정보를 이용하여 제2 방송용 VR 게임 콘텐츠를 상기 제1 방송용 VR 게임 콘텐츠와 동기화하는 단계;
    상기 동기화된 제2 방송용 VR 게임 콘텐츠를 기초로 360도 파노라마 영상을 렌더링하는 단계; 및
    상기 렌더링된 360도 파노라마 영상을 시청자 단말로 스트리밍하는 단계를 포함하되,
    상기 360도 파노라마 영상을 렌더링하는 단계는, 상기 제2 방송용 VR 게임 콘텐츠 상에 구축된 가상 공간에서 가상 객체에 인접하여 위치한 가상 카메라에 의해 촬영된 영상을 이용하여 상기 360도 파노라마 영상을 렌더링하는 단계를 포함하고,
    상기 가상 객체는, 스트리머의 입력에 따라 제어되는 가상 객체이고,
    상기 가상 카메라는, 상기 가상 공간에서 상기 가상 객체와 함께 이동되며,
    상기 스트리밍하는 단계는,
    상기 시청자 단말로부터 시청자의 시점 정보 및 시야각 정보를 수신하는 단계;
    상기 시점 정보 및 시야각 정보가 수신됨에 응답하여, 상기 렌더링된 360도 파노라마 영상 중에서 상기 시점 정보 및 상기 시야각 정보에 대응되는 부분 파노라마 영상을 추출하는 단계; 및
    상기 추출된 부분 파노라마 영상을 상기 시청자 단말로 스트리밍하는 단계를 포함하는 것을 특징으로 하는,
    VR 콘텐츠에 대한 라이브 스트리밍 방법.
  13. 제12 항에 있어서,
    상기 스트리밍하는 단계는,
    기 구축된 인터넷 방송 플랫폼을 이용하여, 상기 360도 파노라마 영상을 상기 시청자 단말로 스트리밍하는 단계를 포함하는 것을 특징으로 하는,
    VR 콘텐츠에 대한 라이브 스트리밍 방법.
  14. 삭제
  15. 삭제
  16. 제12 항에 있어서,
    상기 렌더링된 360도 파노라마 영상은 제1 360도 파노라마 영상이고,
    상기 제1 방송용 VR 게임 콘텐츠에 대한 캡처 화면을 기초로 제2 360도 파노라마 영상을 더 렌더링하는 단계를 더 포함하되,
    상기 스트리밍하는 단계는,
    상기 제1 360도 파노라마 영상 및 상기 제2 360도 파노라마 영상 중 어느 하나의 파노라마 영상을 상기 시청자 단말로 스트리밍하는 단계를 포함하는 것을 특징으로 하는,
    VR 콘텐츠에 대한 라이브 스트리밍 방법.
  17. 제16 항에 있어서,
    상기 제2 360도 파노라마 영상은,
    상기 제1 방송용 VR 게임 콘텐츠가 스트리머의 입력에 따라 진행 중이지 않은 경우, 상기 시청자 단말로 스트리밍되는 것을 특징으로 하는,
    VR 콘텐츠에 대한 라이브 스트리밍 방법.
  18. 제16 항에 있어서,
    상기 제2 360도 파노라마 영상을 더 렌더링하는 단계는,
    상기 캡처 화면의 사이즈를 기 설정된 사이즈로 변환하는 단계;
    상기 변환된 캡처 화면을 360도 영상 영역에서 중앙에 대응되는 제1 영역에 배치하는 단계; 및
    상기 360도 영상 영역에서 상기 제1 영역이 아닌 제2 영역을 기 설정된 색으로 처리하는 단계를 포함하는 것을 특징으로 하는,
    VR 콘텐츠에 대한 라이브 스트리밍 방법.
KR1020170088590A 2017-07-12 2017-07-12 Vr 콘텐츠에 대한 라이브 스트리밍 방법 및 시스템 KR101922968B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170088590A KR101922968B1 (ko) 2017-07-12 2017-07-12 Vr 콘텐츠에 대한 라이브 스트리밍 방법 및 시스템
PCT/KR2017/015062 WO2019013415A1 (ko) 2017-07-12 2017-12-20 Vr 콘텐츠에 대한 라이브 스트리밍 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170088590A KR101922968B1 (ko) 2017-07-12 2017-07-12 Vr 콘텐츠에 대한 라이브 스트리밍 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR101922968B1 true KR101922968B1 (ko) 2018-11-28

Family

ID=64561362

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170088590A KR101922968B1 (ko) 2017-07-12 2017-07-12 Vr 콘텐츠에 대한 라이브 스트리밍 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101922968B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873313A (zh) * 2021-09-22 2021-12-31 乐相科技有限公司 一种虚拟现实画面分享方法及装置
CN116843819A (zh) * 2023-07-10 2023-10-03 上海随幻智能科技有限公司 一种基于虚幻引擎的绿幕无限延展方法
KR102653243B1 (ko) * 2023-05-08 2024-04-02 주식회사 오썸피아 메타 라이브 서비스 제공 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005056295A (ja) * 2003-08-07 2005-03-03 Iwane Kenkyusho:Kk ３６０度画像変換処理装置
JP2012230717A (ja) * 2010-11-05 2012-11-22 Kunio Goto 画像生成方法、画像生成プログラム及び画像投影装置
JP2017021824A (ja) * 2016-09-01 2017-01-26 株式会社コロプラ ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム
JP2017056193A (ja) * 2015-09-15 2017-03-23 株式会社スクウェア・エニックス・ホールディングス ブロードキャスタを有するリモートレンダリングサーバ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005056295A (ja) * 2003-08-07 2005-03-03 Iwane Kenkyusho:Kk ３６０度画像変換処理装置
JP2012230717A (ja) * 2010-11-05 2012-11-22 Kunio Goto 画像生成方法、画像生成プログラム及び画像投影装置
JP2017056193A (ja) * 2015-09-15 2017-03-23 株式会社スクウェア・エニックス・ホールディングス ブロードキャスタを有するリモートレンダリングサーバ
JP2017021824A (ja) * 2016-09-01 2017-01-26 株式会社コロプラ ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873313A (zh) * 2021-09-22 2021-12-31 乐相科技有限公司 一种虚拟现实画面分享方法及装置
CN113873313B (zh) * 2021-09-22 2024-03-29 乐相科技有限公司 一种虚拟现实画面分享方法及装置
KR102653243B1 (ko) * 2023-05-08 2024-04-02 주식회사 오썸피아 메타 라이브 서비스 제공 시스템 및 방법
CN116843819A (zh) * 2023-07-10 2023-10-03 上海随幻智能科技有限公司 一种基于虚幻引擎的绿幕无限延展方法
CN116843819B (zh) * 2023-07-10 2024-02-02 上海随幻智能科技有限公司 一种基于虚幻引擎的绿幕无限延展方法

Similar Documents

Publication Publication Date Title
US11623141B2 (en) Cloud game streaming with client side asset integration
US11303881B2 (en) Method and client for playing back panoramic video
JP6436320B2 (ja) ライブ選択的適応帯域幅
US10499118B2 (en) Virtual and augmented reality system and headset display
EP3180911B1 (en) Immersive video
US20180316939A1 (en) Systems and methods for video processing, combination and display of heterogeneous sources
US20180316948A1 (en) Video processing systems, methods and a user profile for describing the combination and display of heterogeneous sources
CN105430455B (zh) 信息呈现方法及系统
EP3110516B1 (en) Methods and systems for social sharing head mounted display (hmd) content with a second screen
US20180316947A1 (en) Video processing systems and methods for the combination, blending and display of heterogeneous sources
US20180316942A1 (en) Systems and methods and interfaces for video processing, combination and display of heterogeneous sources
US11882188B2 (en) Methods and systems for maintaining smooth frame rate during transmission of streaming video content
JP2019521388A (ja) コンテンツを提供及び表示するための装置及び方法
US11284137B2 (en) Video processing systems and methods for display, selection and navigation of a combination of heterogeneous sources
US20180316944A1 (en) Systems and methods for video processing, combination and display of heterogeneous sources
US20180316943A1 (en) Fpga systems and methods for video processing, combination and display of heterogeneous sources
US20180316946A1 (en) Video processing systems and methods for display, selection and navigation of a combination of heterogeneous sources
KR101922968B1 (ko) Vr 콘텐츠에 대한 라이브 스트리밍 방법 및 시스템
WO2018071781A2 (en) Systems and methods for video processing and display
US20180316940A1 (en) Systems and methods for video processing and display with synchronization and blending of heterogeneous sources
US20180316941A1 (en) Systems and methods for video processing and display of a combination of heterogeneous sources and advertising content
WO2017112520A9 (en) Video display system
KR101922970B1 (ko) Vr 콘텐츠에 대한 라이브 스트리밍 방법 및 시스템
KR101915065B1 (ko) Vr 콘텐츠에 대한 라이브 스트리밍 시스템 및 그 시스템의 동작 방법
KR102542070B1 (ko) Iptv 망 기반 가상현실 콘텐츠 제공 시스템 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant