KR102361314B1 - 360도 가상현실 방송 서비스 제공 방법 및 장치 - Google Patents

360도 가상현실 방송 서비스 제공 방법 및 장치 Download PDF

Info

Publication number
KR102361314B1
KR102361314B1 KR1020170091491A KR20170091491A KR102361314B1 KR 102361314 B1 KR102361314 B1 KR 102361314B1 KR 1020170091491 A KR1020170091491 A KR 1020170091491A KR 20170091491 A KR20170091491 A KR 20170091491A KR 102361314 B1 KR102361314 B1 KR 102361314B1
Authority
KR
South Korea
Prior art keywords
video stream
voi
degree
stream
transmitting
Prior art date
Application number
KR1020170091491A
Other languages
English (en)
Other versions
KR20180009725A (ko
Inventor
방건
윤국진
박영수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to PCT/KR2017/007784 priority Critical patent/WO2018016879A1/ko
Priority to US16/309,595 priority patent/US10931980B2/en
Publication of KR20180009725A publication Critical patent/KR20180009725A/ko
Application granted granted Critical
Publication of KR102361314B1 publication Critical patent/KR102361314B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/76—Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet
    • H04H60/81—Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet characterised by the transmission system itself
    • H04H60/82—Arrangements characterised by transmission systems other than for broadcast, e.g. the Internet characterised by the transmission system itself the transmission system being the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

360도 가상현실 방송 서비스 제공 장치는 입체 VR(Virtual Reality) 카메라를 통하여 획득된 영상을 이용하여 제1 해상도의 360도 전체 영상 스트림을 전송하고, 수신 장치로부터 사용자의 선택 모드 및 이동 정보를 수신하면, 상기 선택 모드 및 상기 이동 정보에 따라서 상기 제1 해상도와 다른 제2 해상도의 VoI(View of Interest) 영역의 영상 스트림을 전송한다.

Description

360도 가상현실 방송 서비스 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING 360 DEGREE VIRTUAL REALITY BROADCASTING SERVICES}
본 발명은 360도 가상현실 방송 서비스 제공 방법 및 장치에 관한 것으로, 특히 기존 UHD(Ultra High Definition) 방송서비스를 유지하면서, 방송망과 인터넷망을 효율적으로 이용하여 시간적 확장, 공간적 확장 및 3D 확장성을 갖는 360도 가상현실 방송 서비스 제공 방법 및 장치에 관한 것이다.
디지털 방송의 출현으로 방송국에서 일방적으로 송출한 신호를 시청하던 기존 방송 방식은 사용자가 원하는 시간에 원하는 콘텐츠만을 선택적으로 시청할 수 있는 형태로 변화하였다. 또한 인터넷 망과의 연동으로 사용자는 방송을 시청하면서 대화형 데이터를 주고받을 수 있는 양방향 방송 서비스를 이용할 수 있게 되었으며, 최근에는 광대역 전송 기술의 발전으로 대역폭 한계를 극복하면서 시청자에게 4K 이상의 고화질 실감미디어를 제공할 수 있는 실감형 방송 서비스가 실현되고 있다.
최근 디지털 방송, 인터넷 등 고해상도 영상 서비스가 보편화 됨에 따라 UHD 영상이 차세대 방송 서비스로 제공될 예정이며, 더불어 소비자들에게 몰입감 및 사실감을 극대화 할 수 있는 새로운 서비스에 대한 개발이 진행되고 있다. 유럽방송 표준인 DVB(Digital Video Broadcasting)에서는 2016년 1월부터 VR(Virtual Reality) 방송 서비스 제공을 위한 요구사항과 관련 서비스 시나리오 논의가 진행 중에 있으며, MPEG(Moving Picture Experts Group)에서는 전방위 360도 VR 영상 부호화 기술에 대한 표준화가 진행 중에 있다. 또한 국내에서도 보다 넓은 화각을 제공하기 위한 파노라마 방송 및 전방위 360도 방송에 대한 논의가 진행 중에 있다.
그러나 아직까지는 하이브리드 망을 통하여 시청자들에게 UHD 방송서비스뿐만 아니라 전방위 360도 VR 방송서비스를 제공하기 위한 구체적으로 방법이 제시되어 있지 않다.
본 발명이 해결하려는 과제는 기존 UHD 방송서비스를 유지하면서, 서비스 제공자가 하이브리드 망을 통하여 공간적, 시간적 및 3D 확장을 갖는 전방위 360도 VR 방송서비스를 효율적으로 제공할 수 있는 360도 VR 방송 서비스 제공 방법 및 그 장치를 제공하는 것이다.
본 발명의 한 실시 예에 따르면, 송신 장치에서 하이브리드 망을 통하여 360도 가상현실(Virtual Reality, VR) 방송 서비스를 제공하는 방법이 제공된다. 360도 가상현실 방송 서비스 제공 방법은 입체 VR 카메라를 통하여 획득된 영상을 이용하여 제1 해상도의 360도 전체 영상 스트림을 전송하는 단계, 수신 장치로부터 사용자의 선택 모드 및 이동 정보를 수신하는 단계, 그리고 상기 선택 모드 및 상기 이동 정보에 따라서 상기 제1 해상도와 다른 제2 해상도의 VoI(View of Interest) 영역의 영상 스트림을 전송하는 단계를 포함한다.
상기 VoI 영역의 영상 스트림을 전송하는 단계는 상기 VoI 영역의 좌우로 각각 상기 VoI 영역과 연속한 일부 영역의 영상 스트림을 상기 VoI 영역의 영상 스트림과 함께 전송하는 단계를 포함할 수 있다.
상기 일부 영역은 독립적으로 부호화가 가능한 영역이며, 상기 VoI 영역보다 작게 구성될 수 있다.
상기 일부 영역의 영상 스트림을 상기 VoI 영역의 영상 스트림과 함께 전송하는 단계는 상기 VoI 영역의 영상 스트림을 기본 계층을 통해 전송하는 단계, 그리고 상기 일부 영역의 영상 스트림을 향상 계층을 통해 전송하는 단계를 포함할 수 있다.
상기 360도 전체 영상 스트림은 방송망을 통해 전송되고, 상기 VoI 영역의 영상 스트림은 인터넷망을 통해 전송될 수 있다.
상기 360도 전체 영상 스트림을 전송하는 단계는 상기 360도 전체 영상 스트림을 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림으로 나누어 전송하는 단계를 포함할 수 있다.
상기 VoI 영역의 영상 스트림을 전송하는 단계는 상기 VoI 영역의 영상 스트림을 홀수 프레임의 VoI 영상 스트림과 짝수 프레임의 VoI 영상 스트림으로 나누어 전송하는 단계를 포함하며, 상기 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림 중 하나는 방송망을 통해 전송되고, 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림 중 다른 하나와 상기 홀수 프레임의 VoI 영상 스트림과 짝수 프레임의 VoI 영상 스트림은 인터넷망을 통해 전송될 수 있다.
상기 360도 전체 영상 스트림을 전송하는 단계는 상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림을 전송하는 단계를 포함하고, 상기 VoI 영역의 영상 스트림을 전송하는 단계는 상기 VoI 영역의 영상에 대한 좌영상 스트림과 우영상 스트림을 전송하는 단계를 포함하며, 상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림 중 하나는 방송망을 통해 전송되고, 상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림 중 다른 하나와 상기 VoI 영역의 영상에 대한 좌영상 스트림과 우영상 스트림은 인터넷망을 통해 전송될 수 있다.
본 발명의 다른 한 실시 예에 따르면, 하이브리드 망을 통하여 360도 가상현실(Virtual Reality, VR) 방송 서비스를 제공하는 장치가 제공된다. 360도 가상현실 방송 서비스 제공 장치는 입체 VR(Virtual Reality) 카메라를 통하여 획득된 영상을 토대로 360도 VR 방송 서비스를 위한 복수의 소스 입력을 획득하는 전방위 입체 VR 획득 장치, 그리고 사용자 선택 정보에 따라서 상기 복수의 소스 입력 중 적어도 하나의 소스 입력을 선택하여 상기 하이브리드 망을 통하여 전송하여, 공간적 확장, 시간적 확장 및 3D 확장 중 적어도 하나를 이용한 360도 가상현실 방송 서비스를 제공하는 방송 서버를 포함한다.
상기 방송 서버는 상기 공간적 확장을 위해 소스 입력으로 제1 해상도의 360도 전체 영상과 상기 제1 해상도보다 높은 제2 해상도의 VoI(View of Interest) 영역의 영상을 선택하며, 상기 VoI 영역의 영상은 수신 장치로부터 수신되는 사용자의 이동 정보에 따라서 상기 VoI 영역의 영상을 추출할 수 있다.
상기 방송 서버는 상기 VoI 영역의 좌우로 각각 상기 VoI 영역과 연속한 일부 영역의 영상을 상기 VoI 영역의 영상과 함께 전송하며, 상기 일부 영역은 독립적으로 부호화가 가능한 영역일 수 있다.
상기 방송 서버는 상기 VoI 영역의 영상을 기본 계층을 통해 전송하고 상기 일부 영역의 영상을 향상 계층을 통해 전송할 수 있다.
상기 방송 서버는 상기 360도 전체 영상을 홀수 프레임의 영상과 짝수 프레임의 영상으로 나누고, 상기 시간적 확장을 위해 홀수 프레임의 360도 전체 영상과 짝수 프레임의 360도 전체 영상을 선택할 수 있다.
상기 방송 서버는 상기 VoI 영역의 영상을 홀수 프레임의 VoI 영상과 짝수 프레임의 VoI 영상으로 나누고, 상기 시간적 확장을 위해 소스 입력으로 상기 홀수 프레임의 360도 전체 영상과 상기 짝수 프레임의 360도 전체 영상, 상기 홀수 프레임의 VoI 영상 및 상기 짝수 프레임의 VoI 영상을 선택하며, 상기 홀수 프레임의 360도 전체 영상과 짝수 프레임의 360도 전체 영상 중 하나는 방송망을 통해 전송하고, 상기 홀수 프레임의 360도 전체 영상과 짝수 프레임의 360도 전체 영상 중 다른 하나와 상기 홀수 프레임의 VoI 영상과 짝수 프레임의 VoI 영상은 인터넷망을 통해 전송할 수 있다.
상기 방송 서버는 상기 3D 확장을 위해 상기 소스 입력으로 상기 360도 전체 영상에 대한 좌영상과 우영상을 선택할 수 있다.
상기 방송 서버는 상기 3D 확장을 위해 상기 소스 입력으로 상기 360도 전체 영상에 대한 좌영상과 우영상 및 상기 VoI 영역의 영상에 대한 좌영상과 우영상을 선택하며, 상기 360도 전체 영상에 대한 좌영상과 우영상 중 하나는 방송망을 통해 전송하고, 상기 360도 전체 영상에 대한 좌영상과 우영림 중 다른 하나와 상기 VoI 영역의 영상에 대한 좌영상과 우영상은 인터넷망을 통해 전송할 수 있다.
본 발명의 또 다른 실시 예에 따르면, 수신 장치에서 360도 가상현실 방송 서비스를 제공하는 방법이 제공된다. 360도 가상현실 방송 서비스 제공 방법은 하이브리드망을 통해 제1 해상도의 360도 전체 영상 스트림을 수신하는 단계, 사용자의 선택 모드 및 이동 정보를 송신 장치로 전송하는 단계, 상기 송신 장치로부터 상기 선택 모드 및 상기 이동 정보에 따른 상기 제1 해상도보다 높은 제2 해상도의 VoI(View of Interest) 영역의 영상을 상기 하이브리드망을 통해 수신하는 단계, 그리고 상기 제1 해상도의 360도 전체 영상 스트림과 상기 제2 해상도의 VoI 영역의 영상 스트림을 복호화하여 상기 제2 해상도의 360도 가상현실 방송 서비스를 제공하는 단계를 포함한다.
상기 360도 전체 영상 스트림을 수신하는 단계는 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림을 수신하는 단계를 포함하고, 상기 VoI 영역의 영상 스트림을 수신하는 단계는 상기 VoI 영역의 영상 스트림을 홀수 프레임의 VoI 영상 스트림과 짝수 프레임의 VoI 영상 스트림을 수신하는 단계를 포함하며, 상기 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림 중 하나는 방송망을 통해 수신되고, 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림 중 다른 하나와 상기 홀수 프레임의 VoI 영상 스트림과 짝수 프레임의 VoI 영상 스트림은 인터넷망을 통해 수신될 수 있다.
360도 가상현실 방송 서비스 제공 방법은 상기 홀수 프레임의 360도 전체 영상 스트림과 상기 짝수 프레임의 360도 전체 영상 스트림 및 상기 홀수 프레임의 VoI 영상 스트림과 상기 짝수 프레임의 VoI 영상 스트림을 선택적으로 수신하여 상기 수신 장치의 성능에 맞는 프레임 레이트의 360도 가상현실 방송 서비스를 제공하는 단계를 더 포함할 수 있다.
상기 360도 전체 영상을 수신하는 단계는 상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림을 수신하는 단계를 포함하고, 상기 VoI 영역의 영상 스트림을 수신하는 단계는 상기 VoI 영역의 영상 스트림에 대한 좌영상 스트림과 우영상 스트림을 수신하는 단계를 포함하며, 상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림 중 하나는 방송망을 통해 수신되고, 상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림 중 다른 하나와 상기 VoI 영역의 영상에 대한 좌영상 스트림과 우영상 스트림은 인터넷망을 통해 수신될 수 있다.
상기 360도 가상현실 방송 서비스 제공 방법은 상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림 및 상기 VoI 영역의 영상 스트림에 대한 좌영상 스트림과 우영상 스트림을 선택적으로 수신하여 360도 입체 가상현실 방송 서비스를 제공하는 단계를 더 포함할 수 있다.
본 발명의 실시 예에 의하면, 기존 디지털 방송 플랫폼 또는 ATSC 3.0 방송 플랫폼을 기반으로 시청자에게 UHD 방송서비스을 제공하면서 FHD 360도(전방위) VR 방송 서비스, 4K 전방위 VR 방송 서비스, FHD 전방위 입체 VR 방송 서비스 및 4K 전방위 입체 VR 방송서비스를 제공하기 위한 송신 장치의 소스 입력을 효율적으로 제공하는 방법을 제시함으로써 다양한 실감 방송 서비스를 위한 송수신 시스템 개발에 적용될 수 있다.
도 1은 본 발명의 실시 예에 따른 공간적 확장을 이용한 360도 VR 방송 서비스의 개념을 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 VoI 영역의 영상 전송 방법의 일 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 시간적 확장을 이용한 360도 VR 방송 서비스의 개념을 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 3D 확장을 이용한 360도 VR 방송 서비스의 개념을 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 360도 VR 방송 서비스를 제공하는 방송 시스템의 개념도이다.
도 6은 도 5에 도시된 방송 시스템의 방송 서비스 제공 예를 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따른 전방위 입체 VR 인코더의 구조를 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 전방위 입체 VR 인코더의 처리 동작을 나타낸 도면이다.
도 9는 본 발명의 실시 예에 따른 입체 VR 방송 서버의 구조를 나타낸 도면이다.
도 10은 본 발명의 실시 예에 따른 전방위 입체 VR 수신 장치의 구조를 나타낸 도면이다.
도 11은 본 발명의 실시 예에 따른 방송 시스템에서의 방송 서비스 제공 방법의 일 예를 설명하는 흐름도이다.
도 12는 본 발명의 실시 예에 따른 방송 시스템에서 VoI 영역의 고해상도 영상을 전송하는 방법을 설명하는 흐름도이다.
도 13은 본 발명의 실시 예에 따른 전방위 입체 VR 수신기에서의 360도 방송 서비스 제공 방법의 일 예를 설명하는 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이제 본 발명의 실시 예에 따른 360도 가상현실(virtual reality, VR) 방송 서비스 제공 방법 및 장치에 대하여 도면을 참고로 하여 상세하게 설명한다.
본 발명의 실시 예에 따른 하이브리드 망을 이용한 360도 VR 방송 서비스 제공 방식에서는 공간적 확장, 시간적 확장, 3D 확장이 고려될 수 있다.
공간적 확장은 방송 서비스를 수신하는 단말이 갖고 있는 해상도에 맞춰 최적의 해상도를 위한 소스 입력을 단말에 제공하는 것이다. 예를 들면, 2K 360도 영상을 전송하면서 화면에 보이는 영역만 4K 해상도로 높여 선택적으로 영역별 360도 영상을 전송할 수 있게 하여 화면에 보이는 영역에 대한 360도 영상의 해상도를 높일 수 있다.
시간적 확장은 단말이 갖고 있는 성능에 맞춰 프레임 레이트를 조절할 수 있도록 전송단의 소스 입력을 짝수 프레임/필드(even frame/field)와 홀수 프레임/필드(odd frame/field)로 나누어 구성하는 것이다. 예를 들면, 60fps(frame per second)를 갖는 짝수 프레임과 60fps를 갖는 홀수 프레임을 전송함으로써, 단말에서는 선택적으로 60fps와 120fps로 360도 VR 영상을 재생할 수 있다.
3D 확장은 단말이 갖고 있는 3D 성능에 맞춰 전송되는 소스 입력을 선택적으로 이용하여 단말에서 2D/3D 전환을 통해 360도 3D 영상을 재생하는 것이다.
시간적, 공간적, 3D 확장의 기능을 위해 영상 부호화 방식은 기존의 H.264/AVC(Advanced Video Coding), H.265/HEVC(High Efficiency Video Coding), MV-HEVC, SHVC(Scalable HEVC), SVC 중 어느 것을 사용해도 되며, 선택된 부호화 방식은 단지 전송단에서 전송된 소스 입력에 대해서만 영향을 미치게 된다.
이러한 개념은 기존 방송망에서 사용하는 2D 소스 입력에 대해 기존 단말에서의 호환성을 유지할 수 있게 해줌과 동시에 새로운 360도 VR 영상 서비스를 손쉽게 개시할 수 있다는 이점이 있다.
좀 더 자세하게는 도 1, 도 3 및 도 4와 같이 공간적 확장, 시간적 확장 및 3D 확장을 통해서 각각의 방송 서비스가 구성될 수 있다.
도 1은 본 발명의 실시 예에 따른 공간적 확장을 이용한 360도 VR 방송 서비스의 개념을 나타낸 도면이다.
도 1을 참고하면, FHD(Full High Definition) 360도 60P 영상(video)이 방송망 또는 IP망을 통해서 전송된다. 60P는 60fps를 나타낸다. FHD 360도 60P 영상은 단말이 최소 FHD 복호화 능력과 낮은 해상도를 갖춘 단말에 대해서만 적용될 수 있다. 이때 최대 4K 이상의 해상도와 복호화 능력을 갖춘 단말이 있다면, 전송단의 소스 입력으로서 FHD 360도 60P 영상과 4K/VoI(View of Interest) 60P 영상을 사용하면, 단말에서 FHD 360도 60P 영상과 4K/VoI 60P 영상을 수신하여 이를 복호화함으로써, 시점당 4K 해상도의 360도 60P 영상을 재생할 수 있게 된다. 4K/VoI 60P 영상은 IP 망을 통해 전송된다.
여기서, VoI란 360도 60P 영상 중 화면상에 보이는 부분, 즉 사용자가 HMD(Head Mounted Display)와 같은 기기를 사용했을 경우, 머리의 회전을 통해 보이는 영역을 의미하게 된다. 따라서 해상도가 높은 360도 전체 영상을 전송하여 단말에서 전체를 다 복호화 할 필요 없이, VoI 영역에 대해서만 해상도가 높은 영상을 전송하고, 단말에서 VoI 영역의 영상에 대해서만 복호화함으로써 단말의 복잡도를 크게 줄일 수 있는 효과가 있다. 이때 기본 계층(base layer)으로 FHD 360도 60P 영상을 전송하고, 향상 계층(enhancement layer)으로 4K/VoI 60P 영상을 전송할 수 있다. 이렇게 하면, 향상 계층으로 4K 360도 60P 영상을 모두 전송하지 않아도 되므로, 영상의 데이터량을 줄일 수 있다. 또한 향상 계층에 대해 SHVC를 사용할 수 있어 기본 계층으로 FHD 360도 60P 영상을 전송하고, 향상 계층으로 잔차 영상만 전송함으로써 영상의 데이터량을 줄일 수 있다.
또한 사용자의 상호 작용에 따라 VoI 영역의 영상만을 전송할 경우, 전송에서 발생하는 지연이 있을 수 있으며, 본 발명의 실시 예에서는 전송 시 VoI 영역보다 좌우로 더 큰 영역의 영상을 전송함으로써, 그 지연을 최소화 할 수 있다.
도 2는 본 발명의 실시 예에 따른 VoI 영역의 영상 전송 방법의 일 예를 나타낸 도면이다.
도 2를 참고하면, 360도 VR 방송 서비스를 제공하는 장치는 공간적 확장 서비스를 위해 360도(전방위) VR 전체 영상을 기본 계층으로 전송하고, 사용자 상호작용에 따라 선택된 VoI 영역의 VR 영상을 향상 계층(enhance layer)으로 전송할 수 있다. 예를 들면, HD 또는 4K 영상으로 360도 VR 전체 영상이 기본 계층으로 전송되고, 12K 360도 VR 영상 중에서 사용자 상호작용에 따라 선택된 VoI 영역의 4K 360도 VR 영상이 향상 계층으로 전송된다. 이때 전송 지연을 고려하여 VoI 영역의 좌우로 추가적인 영역의 영상(예를 들면, 1K 영상)이 향상 계층으로 전송될 수 있다. 이를 위해, 12K 360도 VR 영상은 부분적인 영역의 영상만으로도 복호화가 될 수 있도록 VoI 영역보다 더 작게 영역의 영상으로 구성되는데, 이 영역을 독립 부호화 영역이라 부른다. 이러한 독립 부호화 영역이 모여 VoI 영역이 구성되며, 전송 지연을 고려하여 VoI 영역의 좌우로 여분의 독립 부호화 영역의 영상을 추가적으로 전송하게 된다. VoI 영역의 좌우로 여분의 독립 부호화 영역이 추가된 영역을 방향성 영역이 포함된 VoI 영역이라 한다.
그러면, 단말에서는 사용자가 보는 시점의 영역 즉, VoI 재현 영역의 영상이 재생된다.
도 3은 본 발명의 실시 예에 따른 시간적 확장을 이용한 360도 VR 방송 서비스의 개념을 나타낸 도면이다.
도 3을 참고하면, 기존 방송망 또는 IP 망을 통해 FHD 360도 60P 서비스를 제공하고 있다면, 시간적 확장을 통해서 두 가지 서비스를 제공할 수 있다.
첫째, 본 발명의 실시 예에 따른 장치는 공간 해상도 증대 없이 60P에서 120P로 시간적 해상도만을 증대시킬 수 있다. 120P를 복호화 할 수 있는 단말에서는 FHD 360 60P 짝수 프레임/필드(even frame/field)[FHD 360도 60P(L1)]와 더불어 FHD 360 60P 홀수 프레임/필드[FHD 360도 60P(L2)] 영상을 수신하여 FHD 360 120P 영상을 재생할 수 있다.
둘째, 본 발명의 실시 예에 따른 장치는 공간 해상도 증가와 함께 시간적 확장도 함께 하는 서비스를 제공할 수 있다. 이때는 기본 계층으로 FHD 360도 60P(L1) 영상과 FHD 360도 60P(L2) 영상을 전송하고, 공간적 확장을 위한 4K/VoI 60P(L1) 영상과 4K/VoI 60P(L2) 영상을 향상 계층으로 전송함으로써, 단말에서는 FHD 360도 60P(L1) 영상과 FHD 360도 60P(L2) 영상 및 4K/VoI 60P(L1) 홀수 프레임 영상과 더불어 4K/VoI 60P(L2) 짝수 프레임 영상을 수신하여 시간적 및 공간적 확장이 된 4K/VoI 360도 120P 영상을 제공할 수 있다.
도 4는 본 발명의 실시 예에 따른 3D 확장을 이용한 360도 VR 방송 서비스의 개념을 나타낸 도면이다.
도 4를 참고하면, 기존 FHD 360도 60P(L1) 영상이 방송망 또는 IP망을 통해서 전송되면, 기존의 단말에서 FHD 360도 VR 영상 재생이 가능하다. 이와 더불어, 두 가지 종류의 3D 확장 서비스가 가능하다.
첫째, 본 발명의 실시 예에 따른 360도 VR 방송 서비스를 제공하는 장치는 FHD 360도 좌영상[FHD 360 60P(L1)]과 FHD 360도 우영상[FHD 360 60P(R)]을 전송함으로써, 단말에서는 3D FHD 360도 60P 영상 재생이 가능하다. 즉 FHD 360도 좌영상[FHD 360 60P(L1)]이 방송망 또는 IP 망을 통해 전송되고, FHD 360도 우영상[FHD 360 60P(R)]이 IP 망을 통해 전송되어, 단말에서는 3D FHD 360도 60P 영상 서비스를 제공할 수 있다.
둘째, 본 발명의 실시 예에 따른 360도 VR 방송 서비스를 제공하는 장치는 기본 계층으로 FHD 360도 좌영상[FHD 360 60P(L1)]과 FHD 360도 우영상[FHD 360 60P(R)]을 전송하고, 공간적 확장을 위한 좌우 시점 영상[4K/VoI 60P(L1), 4K/VoI 60P(R)]을 향상 계층으로 전송함으로써, 단말에서는 3D 4K/VoI 360도 60P 영상 서비스가 가능하게 된다. 공간적 확장을 위한 좌우 시점 영상[4K/VoI 60P(L1), 4K/VoI 60P(R)]은 IP망을 통해서 전송된다.
최근 방송 시스템은 지상파/케이블/IPTV 등 다양한 디지털방송서비스 플랫폼을 그대로 포함할 수 있는 기술로 발전하고 있다. 최신 방송 표준인 북미의 ATSC(Advanced Television Systems Committee) 3.0은 기존 방송망과 인터넷 망을 함께 고려한 하이브리드 망을 기반으로 방송규격이 정의되어 있다. 보다 구체적으로는 하나의 서비스를 위해 PLP(Physical Layer Pipe)의 방송 채널과 IP 채널이 다양하게 조합된 하이브리드망(방송망과 인터넷망)을 통해서 제공될 수 있게 되었다.
따라서 본 발명의 실시 예에 따른 공간적 확장, 시간적 확장, 3D 확장을 이용한 360도 VR 방송 서비스가 방송망과 IP 망을 함께 사용하는 하이브리드 망을 통해 이루어진다면, 도 5와 같이 구현될 수 있다.
도 5는 본 발명의 실시 예에 따른 360도 VR 방송 서비스를 제공하는 방송 시스템의 개념도로서, 하이브리드망 기반의 방송 플랫폼을 통하여 본 발명의 실시 예에 따른 360도 VR 방송 서비스를 기존의 2D UHD 방송 서비스와 연동하여 제공하는 방송 시스템을 나타낸다. 도 6은 도 5에 도시된 방송 시스템의 방송 서비스 제공 예를 나타낸 도이다.
도 5를 참고하면, 360도 VR 방송 서비스를 제공하는 장치에 해당하는 방송 시스템(1)은 전방위 입체 VR 획득 장치(10), HEVC(High Efficiency Video Codec) 인코더(20), 전방위 입체 VR 인코더(30), 입체 VR 방송 서버(40)을 포함하며, 방송 시스템(1)으로부터 제공되는 방송 서비스를 입체 VR 수신 장치(2)가 수신한다. 입체 VR 수신 장치(2)는 예를 들면, 단말이나 TV 등이 될 수 있다.
본 발명의 실시 예에서는 하이브리드망 기반의 방송 플랫폼을 통하여 다양한 방송 서비스를 제공하며, 예를 들어, 앞에서 설명한 소스 입력들을 토대로 UHD 방송 서비스, FHD 360도 VR 방송 서비스, 4K 360도 VR 방송 서비스 및 360도 전방위 입체 VR 방송 서비스 등을 제공할 수 있다.
방송 플랫폼은 지상파/케이블/IPTV(Internet Protocol TV) 등 다양한 디지털 방송 서비스 플랫폼일 수 있으며, 최근 표준으로 제정된 ATSC 3.0 기반의 서비스 플랫폼까지 포함할 수 있다. 하이브리드 망은 다양한 채널 또는 PLP(Physical Layer Pipe)의 방송 채널과 IP 채널이 결합되어 구성된다.
전방위 입체 VR 획득 장치(10)는 소정 해상도(예를 들어, 4K 해상도)를 지원하는 입체 VR 카메라를 통하여 획득된 영상을 토대로 영상 데이터를 출력한다. 전방위 입체 VR 획득 장치(10)는 예를 들어, UHD 영상 데이터, 360도 VR 좌영상 데이터 및 360도 VR 우영상 데이터를 출력할 수 있다. 하나의 카메라에서 촬영된 영상이 그대로 UHD 영상 데이터로 사용되거나, 360도 VR에서 일부 영역의 영상이 UHD 영상 데이터에 적용 될 수 있다.
HEVC 인코더(20)는 UHD 영상 데이터를 부호화한다. UHD 영상 데이터는 ATSC3.0 방송 플랫폼에 그대로 적용됨으로써 역 호환성을 제공할 수 있다. HEVC 인코더(20) 대신에 다른 방식의 부호화를 사용하는 인코더가 사용될 수 있다.
전방위 입체 VR 인코더(30)는 360도 VR 좌영상 데이터와 360도 VR 우영상 데이터를 부호화한다.
도 7은 본 발명의 실시 예에 따른 전방위 입체 VR 인코더의 구조를 나타낸 도면이며, 도 8은 본 발명의 실시 예에 따른 전방위 입체 VR 인코더의 처리 동작을 나타낸 도면이다.
도 7에서와 같이, 본 발명의 실시 예에 따른 전방위 입체 VR 인코더(30)는 제1 기본 계층 부호 처리부(31), 제1 향상 계층 부호 처리부(32), 제2 기본 계층 부호 처리부(33), 및 제2 향상 계층 부호 처리부(34)를 포함한다.
이러한 구조로 이루어지는 전방위 입체 VR 인코더(30)는 HEVC 기반으로 360도 VR 좌영상 데이터와 360도 VR 우영상 데이터를 부호화하여, 기본 계층의 스트림과 향상 계층의 스트림을 출력한다. 기본 계층의 스트림은 FHD 전방위(360도) 영상 스트림으로 구성되며, 향상 계층의 스트림은 사용자 선택 또는 VoI 영역에 대하여 고해상도(예를 들어, 4K 이상의 고해상도) 화질을 제공하기 위한 향상 스트림을 포함한다.
도 8에서와 같이, 전방위 입체 VR 인코더(30)의 제1 기본 계층 부호 처리부(31)는 입력되는 360도 VR 좌영상 데이터를 HEVC로 부호화하여 좌영상의 기본 계층의 스트림을 형성하며, 제1 향상 계층 부호 처리부(32)는 VoI별로 제1 기본 계층 부호 처리부(31)로부터 출력되는 기본 계층의 정보를 참조하여 향상 스트림을 부호화하여 좌영상의 향상 계층의 스트림을 형성한다. 이때 사용자가 선택한 VoI 기반의 향상 스트림은 VoI별로 최소 4K 해상도를 가진다. 이에 따라, FHD 전방위 좌영상 스트림과 VoI별 좌영상 향상계층 스트림(1~N)이 출력된다.
또한 전방위 입체 VR 서비스를 제공하기 위하여, 제2 기본 계층 부호 처리부(33)는 360도 VR 좌영상 데이터를 참조하여, 입력되는 360도 VR 우영상 데이터를 부호화하여 우영상의 기본 계층의 스트림을 형성한다. 그리고 제2 향상 계층 부호 처리부(34)는 제2 기본 계층 부호 처리부(33)로부터 출력되는 기본 계층의 정보뿐만 아니라 제1 향상 계층 부호 처리부(32)로부터 제공되는 좌영상의 향상 계층의 정보를 참조하여 향상 스트림을 부호화하여 우영상의 향상 계층의 스트림을 형성한다. 이에 따라, FHD 전방위 우영상 스트림과 VoI별 우영상 향상계층 스트림(1~N)이 출력된다.
이와 같이 동작하는 전방위 입체 VR 인코더(30)는 기존 FHD 360도 VR 기기와의 역 호환성을 제공한다.
한편, 입체 VR 방송 서버(40)는 HEVC인코더(20) 및 전방위 입체 VR 인코더(30)로부터 제공되는 스트림을 토대로 방송 서비스를 제공한다. 입체 VR 방송 서버(40)는 HEVC 인코더(20) 및 전방위 입체 VR 인코더(30)로부터 제공되는 스트림 중에서 입체 VR 수신 장치(2)로 제공할 방송 서비스에 맞게 전송할 소스 영상 및 채널을 선택하여 전송한다. 예를 들면, 입체 VR 방송 서버(40)는 기존의 2D UHD 방송과 더불어 HEVC 인코더(20) 및 전방위 입체 VR 인코더(30)로부터 제공되는 소스 영상 스트림을 전송하면, 도 1, 도 3 및 도 4에서 설명한 바와 같이 공간적 확장, 시간적 확장 및 3D 확장된 방송 서비스를 제공할 수 있다.
입체 VR 수신 장치(2)에서는 입체 VR 수신 장치(2)의 능력에 맞게 입체 VR 방송 서버(40)에서 전송한 소스 영상 스트림을 이용하여 다양한 방송 서비스를 재생할 수 있게 된다.
도 9는 본 발명의 실시 예에 따른 입체 VR 방송 서버의 구조를 나타낸 도이다.
도 9를 참고하면, 본 발명의 실시 예에 따른 입체 VR 방송 서버(40)는 제1 전송 처리부(41), 제2 전송 처리부(42) 및 전송 서버(43)를 포함한다.
본 발명의 실시 예에 따른 입체 VR 방송 서버(40)는 방송 플랫폼(예를 들어, ATSC3.0 방송 플랫폼)을 토대로 전방위 입체 VR 방송 서비스를 제공한다.
이를 위하여, 제1 전송 처리부(41)는 HEVC 인코더(20)로부터 출력되는 부호화된 UHD 영상 데이터 즉, UHD 스트림(4K UHD 스트림)과 전방위 입체 VR 인코더(30)로부터 출력되는 FHD 360도 좌영상 스트림을 각각 다중화하여 방송 서비스를 제공하는 채널로 전송한다. 구체적으로, 제1 전송 처리부(41)는 UHD 스트림을 기존 ROUTE(Real-time Object Delivery over Unidirectional Transport) 또는 MMTP(MPEG Media Transport Protocol)로 다중화 하여 전송 스트림을 생성하고 이를 방송망 예를 들어, UHD TV 방송 서비스를 제공하기 위한 채널 또는 PLP(physical layer pipes)를 통하여 전송한다. 또한 제1 전송 처리부(41)는 FHD 360도 좌영상 스트림을 UHD 스트림과 마찬가지로, ROUTE 또는 MMT로 다중화하여 전송 스트림을 생성하며 이를 UHD TV 방송 서비스를 제공하기 위한 채널 또는 모바일 PLP로 전송한다. 이와 같이, 방송망을 통하여 FHD 360도 영상 스트림을 추가적으로 전송함으로써, 시청자는 UHD 방송 서비스뿐만 아니라 다양한 스마트 모바일 기기에서 VR 서비스를 제공받을 수 있게 된다. 또한, PLP로 전송되는 다중화된 전송 스트림은 IP 망으로 전송되는 360도 우영상 스트림 및 VoI별 좌/우영상 향상계층 스트림에 대한 정보를 기술하는 MPD(Media Presentation Description) 경로 정보를 포함한다.
제2 전송 처리부(42)는 전방위 입체 VR 인코더(30)로부터 제공되는 FHD 360도 우영상 스트림, VoI별 좌영상 향상계층 스트림 및 VoI별 우영상 향상계층 스트림을 IP 망을 통하여 전송하기 위한 스트림으로 처리한다. 구체적으로, 제2 전송 처리부(42)는 FHD 360도 우영상 스트림을 소정 파일 포맷[예를 들어, ISOBMFF(ISO based Media File Format)] 또는 전송 스트림(Transport Stream, TS)으로 처리하여 전송 서버(43)로 제공한다.
전송 서버(43)는 제2 전송 처리부(42)로부터 제공되는 스트림을 IP 망을 통하여 전송한다. 시청자가 FHD 360도 입체 VR 방송 서비스를 제공받길 원하는 경우, 전송 서버(43)는 IP 망을 통하여 FHD 360도 우영상 파일을 MPEG-DASH(Dynamic Adaptive Streaming over HTTP)에 따라 다수의 세그먼트(segment)들로 분할하여 전송한다. 이러한 전송 서버(43)는 DASH 서버라고도 명명될 수 있다.
한편, VoI별 좌/우영상 향상계층 스트림은 시청자가 선택 또는 VoI에 대하여 고해상도의 화질을 제공하기 위한 정보를 포함한 것이며, 제2 전송 처리부(42)는 VoI 개수에 따라 VoI별 좌/우영상 향상계층 스트림을 소정 포맷 파일(예를 들면, ISOBMFF) 또는 TS 파일로 변환하여 전송 서버(43)에 저장한다.
전송 서버(43)는 전방위 입체 VR 방송 서비스를 원할 경우, IP 망을 통하여 FHD 전방위 VR 우영상 스트림과 VoI별 좌/우영상 향상계층 스트림을 모두 전송한다.
따라서, 시청자는 방송망을 통하여 전송된 FHD 360도 영상을 토대로 FHD 화질의 전방위 VR 방송 서비스를 제공받으면서, 시청자가 선택 또는 주시하고 있는 VoI 영역의 화면에 대해서는 IP 망을 통하여 VoI별 좌/우영상 향상계층 스트림을 제공받음에 따라 4K 고화질의 360도 VR 방송 서비스를 제공받게 된다.
또한 VoI에 대하여 시청자가 4K 고화질의 360도 입체 VR 방송 서비스를 원할 경우 시청자 요청에 따라 전송 서버(43)는 IP 망을 통하여 FHD 360도 VR 우영상 스트림, VoI별 좌/우영상 향상계층 스트림을 모두 전송하게 된다. 이와 같이, 방송망을 통하여 UHD 및 FHD 360도 영상을 제공함과 동시에 시청자 요청에 따라 해당 스트림을 IP 망을 통해 전송함으로써 시청자에게 몰입감 및 사실감을 극대화 할 수 있는 실감 미디어를 제공하게 된다. 또한 전송 서버(43)는 ATSC 3.0과 같은 방송플랫폼을 그대로 유지하면서 기존의 다양한 단말과의 역 호환성을 제공할 수 있으며, FHD 또는 4K 360도 VR 방송 서비스, FHD 또는 4K 360도 입체 VR 방송 서비스를 제공할 수 있다.
다음에는 수신 장치의 구조에 대하여 설명한다.
도 10은 본 발명의 실시 예에 따른 전방위 입체 VR 수신 장치의 구조를 나타낸 도면이다.
도 10을 참고하면, 본 발명의 실시 예에 따른 전방위 입체 VR 수신 장치(2)는 역다중화기(21), 제1 및 제2 HEVC 디코더(22, 23), 클라이언트 처리부(24) 및 재생기(25)를 포함한다.
역다중화기(21)는 UHD TV 방송 서비스를 제공하기 위한 채널 또는 PLP를 통하여 수신되는 스트림을 역다중화한다. 구체적으로, 방송 시스템(1)으로부터 전송되는 UHD 스트림 및 FHD 360도 좌영상 스트림을 역다중화(예를 들어, ROUTE 또는 MMT기반 역다중화)한다.
제1 HEVC 디코더(22)는 역다중화기(21)로부터 출력되는 스트림을 디코딩하여 UHD 영상을 출력한다. 제2 제1 HEVC 디코더(23)는 역다중화기(21)로부터 출력되는 스트림을 디코딩하여 FHD 360도 VR 좌영상을 출력한다.
클라이언트 처리부(24)는 IP 망을 통하여 수신되는 스트림 및 전송 파일을 처리하여, FHD 360도 우영상 및 VoI별 좌/우영상 향상계층 영상을 출력한다.
이를 위하여, 클라이언트 처리부(24)는 도 10에서와 같이, MPD 관리부(manager)(241), 세그먼트 관리부(242), MPD 분석기(analyzer)(243), 세그먼트 파일 파싱부(parser)(244), 및 전방위 입체 VR 디코더(245)를 포함한다.
MPD 관리부(241)는 방송망으로 전송된 MPD URI로부터 획득된 경로 정보를 토대로 초기 세그먼트(Initial segment) 파일 요청 및 주기적으로 MPD를 갱신 및 /관리하는 기능을 수행한다. 경로 정보는 역다중화기(21)로부터 제공받는다. 또한 MPD 관리부(241)는 세그먼트 관리부(242)로부터 전달받은 정보를 토대로 사용자 인터랙션에 따른 FHD 360도 우영상) 스트림 또는 VoI별 좌/우영상 향상계층 스트림에 해당하는 세그먼트 파일을 요청하는 기능을 수행한다.
세그먼트 관리부(242)는 현재 IP 망 조건에서 수신 가능한 세그먼트 파일 정보를 MPD 관리부(241)에 제공하며, 네트워크 상황에 따라 안정적인 서비스를 제공하기 위한 세그먼트 파일들을 스위칭하기 위한 정보를 제공한다. 또한 세그먼트 관리부(242)는 사용자 인터랙션에 따른(예를 들어, 사용자 선택 모드에 따른) FHD 360도 우영상 스트림 또는 VoI별 좌/우영상 향상계층 스트림에 해당하는 세그먼트 파일 정보를 MPD 관리부(241)에 제공한다.
MPD 분석기(243)는 방송 시스템(1)으로부터 예를 들어, MPEG-DASH 표준에 따라 전송되는 MPD 파일을 수신하고, 수신된 MPD 파일의 유효성을 확인하고, MPD에 기술된 각 미디어의 요소(Element)와 속성(Attribute) 정보를 획득하고 분석한다.
세그먼트 파일 파싱부(244)는 IP 망을 통해 전송된 전송 파일들 즉, 세그먼트 단위로 전송되는 세그먼트 파일들을 분석하고 해당 부호화 스트림을 전방위 입체 VR 디코더(245)로 전달한다.
전방위 입체 VR 디코더(245)는 세그먼트 파일 파싱부(244)로부터 전달되는 스트림 즉, FHD 360도 우영상 스트림 또는 VoI별 좌/우영상 향상계층 스트림을 복호화하여, FHD 360도 우영상 및 VoI별 좌/우영상 향상계층 영상을 출력한다.
한편, 재생기(25)는 제1 및 제2 HEVC 디코더(22, 23)로부터 각각 제공되는 UHD 영상 및 FHD 전방위 VR 좌영상, 그리고 클라이언트 처리부(24)로부터 제공되는 FHD 360도 우영상 및 VoI별 좌/우영상 향상계층 영상을 토대로, 4K UHD 영상뿐만 아니라 FHD/4K 360도 VR 영상 또는 FHD/4K 360도 입체 VR 영상을 재생한다. 이때 다양한 VR 기기 및 모바일 디바이스가 전방위 입체 VR 수신 장치(2)와 연결될 경우, 해당 수신 장치(2)는 일종의 서버역할을 수행하며 다양한 VR 및 모바일 기기는 일종의 디스플레이 역할을 하게 된다.
이러한 구조로 이루어지는 전방위 입체 VR 수신 장치(2)는 방송망을 통하여 UHD 영상 스트림 및 FHD 360도 VR 좌영상 스트림을 수신하며, 사용자 선택 모드에 따라 IP 망을 통하여 수신되는 스트림이 달라질 수 있다. 사용자 선택 모드는 4K 전방위 VR 모드, FHD 전방위 입체 VR 모드, 및 4K 전방위 입체 VR 모드를 포함하며, 각 사용자 선택 모드별로 수신되는 스트림은 다음과 같다.
-4K 전방위 VR 모드
전방위 입체 VR 수신 장치(2)는 방송 시스템(1)의 입체 VR 방송 서버(40)에 VoI별 좌영상 향상계층 스트림(세그먼트 파일)을 요청 및 수신한다.
- FHD 전방위 입체 VR 모드
전방위 입체 VR 수신 장치(2)는 방송 시스템(1)의 입체 VR 방송 서버(40)에 FHD 360도 VR 스트림(우영상 세그먼트 파일)을 요청 및 수신한다.
- 4K 전방위 입체 VR 모드
전방위 입체 VR 수신 장치(2)는 방송 시스템(1)의 입체 VR 방송 서버(40)에 FHD 360도 VR 스트림(우영상 세그먼트 파일) 및 VoI별 4K 좌/우영상 향상계층 스트림(세그먼트 파일)을 요청 및 수신한다.
도 11은 본 발명의 실시 예에 따른 방송 시스템에서의 방송 서비스 제공 방법의 일 예를 설명하는 흐름도이다.
도 11을 참고하면, 방송 시스템(1)은 입체 VR 카메라를 통하여 획득된 영상을 토대로 UHD 영상 데이터, 360도 VR 좌영상 데이터, 및 360도 VR 우영상 데이터를 생성한다(S100).
UHD 영상 데이터를 부호화하여 UHD 스트림을 생성하고(S110), 360도 VR 좌영상 데이터를 부호화하여 FHD 360도 좌영상 스트림(좌영상 기본계층 스트림이라고도 명명함)과 VoI별 좌영상 향상계층 스트림(1~N)을 생성한다(S120). 그리고 360도 VR 우영상 데이터를 부호화하여 FHD 360도 우영상 스트림(우영상 기본계층 스트림이라고도 명명함)과 VoI별 우영상 향상계층 스트림(1~N)을 생성한다(S130).
이후, 방송 시스템(1)은 UHD 스트림을 다중화하여 전송 스트림을 생성하며, FHD 360도 영상(예를 들면, 좌영상) 스트림을 다중화하여 전송 스트림을 생성한다. 그리고 생성된 전송 스트림을 방송망을 통하여 전송한다(S140, S150).
한편, 방송 시스템(1)은 FHD 360도 우영상 스트림을 소정 파일 포맷으로 처리하고 다수의 세그먼트들로 분할하여 전송 스트림을 생성한다. 그리고 시청자 선택 또는 VoI 영역에 대하여 고해상도의 화질을 제공하기 위한 정보를 포함한 VoI별 좌/우영상 향상계층 스트림을 소정 파일 포맷으로 처리하고 다수의 세그먼트들로 분할하여 전송 스트림을 생성한다. 그리고, 시청자 선택에 따라 FHD 360도 우영상 스트림과 VoI별 좌/우영상 향상계층 스트림을 선택적으로 전송한다(S160).
예를 들어, 방송 시스템(1)은 사용자 선택 모드가 4K 전방위 입체 VR 모드인 경우, 즉, 4K 고화질의 전방위 입체 VR 방송서비스를 원할 경우, IP 망을 통하여 FHD 360도 VR 우영상 스트림과 VoI별 좌/우영상 향상계층 스트림을 모두 전송한다. 또한, 사용자 선택 모드가 FHD 전방위 입체 VR 모드인 경우, IP 망을 통하여 FHD 360도 VR 우영상 스트림을 전송한다. 또한, 사용자 선택 모드가 4K 전방위 VR 모드인 경우, IP 망을 통하여 VoI별 좌영상 향상계층 스트림을 전송한다.
이와 같이 함으로써, 본 발명의 실시 예에서는 공간적, 시간적 및 3D 확장 서비스를 제공할 수 있으며, 전방위 입체 VR 수신기(2)에서는 방송 시스템(1)에서 전송한 소스 영상을 이용하여 다양한 방송 서비스를 재생할 수 있게 된다.
도 12는 본 발명의 실시 예에 따른 방송 시스템에서 VoI 영역의 고해상도 영상을 전송하는 방법을 설명하는 흐름도이다.
도 12를 참고하면, 방송 시스템(1)의 전방위 입체 VR 방송 서버(40)는 저해상도의 360도 전체 영상 스트림을 전송한다(S1210).
다음, 전방위 입체 VR 방송 서버(40)는 수신 장치(520)로부터 사용자의 머리 움직임 등과 같은 이동 정보와 사용자 선택 모드를 수신하면(S1220), 사용자 선택 모드와 이동 정보를 이용하여 해상도가 높은 VoI 영역의 영상 스트림을 추출한 후(S1230), VoI 영역의 영상 스트림을 IP 망을 통해 전송할 수 있다(S1240).
전방위 입체 VR 방송 서버(40)는 도 2에서 설명한 바와 같이 VoI 영역보다 좌우로 더 큰 영역의 영상 스트림을 전송할 수 있으며, VoI 영역의 영상 스트림을 처리하여 기본 계층으로 전송하고, VoI 영역의 좌우로 추가되는 독립 부호화 영역의 영상 스트림을 처리하여 향상 계층으로 전송할 수 있다.
이렇게 하면, 단말에서는 최초에 기본 계층의 저해상도의 360 영상을 수신 받아 재생하고, 단말의 이동 정보에 따라서 향상 계층을 통해 VoI 영역의 해상도가 높은 영상을 수신함으로써, VoI 영역의 영상을 높은 해상도로 재생하게 된다. 이때 사용자가 고개를 돌려 다른 영역에 있는 영상을 보면 기본 계층의 영상을 보게 되고, 다시 이동 정보를 토대로 해당 영역의 높은 해상도의 영상이 수신되어, 단말에서는 바로 VoI 영역의 영상을 높은 해상도로 재생할 수 있다.
도 13은 본 발명의 실시 예에 따른 전방위 입체 VR 수신기에서의 360도 방송 서비스 제공 방법의 일 예를 설명하는 흐름도이다.
도 13을 참고하면, 전방위 입체 VR 수신기(2)는 저해상도의 360도 전체 영상 스트림을 수신한다(S1310).
전방위 입체 VR 수신기(2)는 사용자 선택 모드의 정보를 전방위 입체 VR 방송 서버(40)로 전송한다(S1320). 또한 전방위 입체 VR 수신기(2)는 사용자의 이동 정보를 감지하고, 사용자의 이동 정보를 전방위 입체 VR 방송 서버(40)로 전송한다(S1330).
전방위 입체 VR 수신기(2)는 전방위 입체 VR 방송 서버(40)로부터 사용자 선택 모드의 정보와 이동 정보에 따른 고해상도의 VoI 영역의 영상 스트림을 수신하면(S1340), 전방위 입체 VR 수신기(2)의 복호화 능력에 따라서 저해상도의 360도 전체 영상 스트림과 고해상도의 VoI 영역의 영상 스트림을 복호화함으로써, 공간적으로 확장된 360도 방송 서비스를 제공할 수 있다(S1350).
또한 전방위 입체 VR 방송 서버(40)에서 사용자 선택 모드의 정보에 따라 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림 및 홀수 프레임의 VoI 영상 스트림과 짝수 프레임의 VoI 영상 스트림을 전송한 경우, 전방위 입체 VR 수신기(2)의 성능에 따라 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림 및 홀수 프레임의 VoI 영상 스트림과 짝수 프레임의 VoI 영상 스트림을 선택하여 시간적으로 확장된 360도 방송 서비스를 제공할 수 있다.
또한 전방위 입체 VR 방송 서버(40)에서 사용자 선택 모드의 정보에 따라 360도 전체 영상에 대한 좌영상 스트림과 우영상 스트림 및 VoI 영역의 영상에 대한 좌영상 스트림과 우영상 스트림을 전송한 경우, 전방위 입체 VR 수신기(2)의 3D 성능에 따라 360도 전체 영상에 대한 좌영상 스트림과 우영상 스트림 및 VoI 영역의 영상에 대한 좌영상 스트림과 우영상 스트림을 선택함으로써, 360도 입체 방송 서비스를 제공할 수 있다.
이때 송신 장치(510)에서 입력 소스로서 360도 VR 영상을 사용하면, 360도 VR 방송 서비스의 제공이 가능하다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.

Claims (20)

  1. 송신 장치에서 하이브리드 망을 통하여 360도 가상현실(Virtual Reality, VR) 방송 서비스를 제공하는 방법으로서,
    입체 VR 카메라를 통하여 획득된 영상을 이용하여 제1 해상도의 360도 전체 영상 스트림을 전송하는 단계,
    수신 장치로부터 사용자의 선택 모드 및 이동 정보를 수신하는 단계,
    상기 선택 모드 및 상기 이동 정보에 따라서 상기 제1 해상도와 다른 제2 해상도의 VoI(View of Interest) 영역의 영상 스트림을 전송하는 단계,
    를 포함하며,
    상기 360도 전체 영상 스트림을 전송하는 단계는 상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림을 전송하는 단계를 포함하고,
    상기 VoI 영역의 영상 스트림을 전송하는 단계는 상기 VoI 영역의 영상 스트림에 대한 좌영상 스트림과 우영상 스트림을 전송하는 단계를 포함하며,
    상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림 중 하나는 방송망을 통해 전송되고, 상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림 중 다른 하나와 상기 VoI 영역의 영상 스트림에 대한 좌영상 스트림과 우영상 스트림은 인터넷망을 통해 전송되는 360도 가상현실 방송 서비스 제공 방법.
  2. 제1항에서,
    상기 VoI 영역의 영상 스트림을 전송하는 단계는 상기 VoI 영역의 좌우로 각각 상기 VoI 영역과 연속한 일부 영역의 영상 스트림을 상기 VoI 영역의 영상 스트림과 함께 전송하는 단계를 포함하는 360도 가상현실 방송 서비스 제공 방법.
  3. 제2항에서,
    상기 일부 영역은 독립적으로 부호화가 가능한 영역이며, 상기 VoI 영역보다 작게 구성되는 360도 가상현실 방송 서비스 제공 방법.
  4. 제2항에서,
    상기 일부 영역의 영상 스트림을 상기 VoI 영역의 영상 스트림과 함께 전송하는 단계는
    상기 VoI 영역의 영상 스트림을 기본 계층을 통해 전송하는 단계, 그리고
    상기 일부 영역의 영상 스트림을 향상 계층을 통해 전송하는 단계를 포함하는 360도 가상현실 방송 서비스 제공 방법.
  5. 제1항에서,
    상기 360도 전체 영상 스트림은 방송망을 통해 전송되고, 상기 VoI 영역의 영상 스트림은 인터넷망을 통해 전송되는 360도 가상현실 방송 서비스 제공 방법.
  6. 송신 장치에서 하이브리드 망을 통하여 360도 가상현실(Virtual Reality, VR) 방송 서비스를 제공하는 방법으로서,
    입체 VR 카메라를 통하여 획득된 영상을 이용하여 제1 해상도의 360도 전체 영상 스트림을 전송하는 단계,
    수신 장치로부터 사용자의 선택 모드 및 이동 정보를 수신하는 단계, 그리고
    상기 선택 모드 및 상기 이동 정보에 따라서 상기 제1 해상도와 다른 제2 해상도의 VoI(View of Interest) 영역의 영상 스트림을 전송하는 단계
    를 포함하며,
    상기 360도 전체 영상 스트림을 전송하는 단계는 상기 360도 전체 영상 스트림을 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림으로 나누어 전송하는 단계를 포함하고,
    상기 VoI 영역의 영상 스트림을 전송하는 단계는 상기 VoI 영역의 영상 스트림을 홀수 프레임의 VoI 영상 스트림과 짝수 프레임의 VoI 영상 스트림으로 나누어 전송하는 단계를 포함하며,
    상기 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림 중 하나는 방송망을 통해 전송되고, 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림 중 다른 하나와 상기 홀수 프레임의 VoI 영상 스트림과 짝수 프레임의 VoI 영상 스트림은 인터넷망을 통해 전송되는 360도 가상현실 방송 서비스 제공 방법.
  7. 삭제
  8. 삭제
  9. 하이브리드 망을 통하여 360도 가상현실(Virtual Reality, VR) 방송 서비스를 제공하는 장치로서,
    입체 VR 카메라를 통하여 획득된 영상을 토대로 360도 VR 방송 서비스를 위한 복수의 소스 입력을 획득하는 전방위 입체 VR 획득 장치, 그리고
    사용자 선택 정보에 따라서 상기 복수의 소스 입력 중 적어도 하나의 소스 입력을 선택하여 상기 하이브리드 망을 통하여 전송하여, 공간적 확장, 시간적 확장 및 3D 확장 중 적어도 하나를 이용한 360도 가상현실 방송 서비스를 제공하는 방송 서버
    를 포함하며,
    상기 방송 서버는 상기 3D 확장을 위해 360도 전체 영상 스트림에 대한 좌영상과 우영상 중 하나를 선택하여 방송망을 통해 전송하고, 상기 360도 전체 영상 스트림에 대한 좌영상과 우영상 중 다른 하나와 VoI(View of Interest) 영역의 영상 스트림에 대한 좌영상과 우영상을 선택하여 인터넷망을 통해 전송하는 360도 가상현실 방송 서비스 제공 장치.
  10. 제9항에서,
    상기 방송 서버는 상기 공간적 확장을 위해 소스 입력으로 제1 해상도의 360도 전체 영상과 상기 제1 해상도보다 높은 제2 해상도의 VoI 영역의 영상 스트림을 선택하며, 상기 VoI 영역의 영상 스트림은 수신 장치로부터 수신되는 사용자의 이동 정보에 따라서 상기 VoI 영역의 영상 스트림을 추출하는 360도 가상현실 방송 서비스 제공 장치.
  11. 제10항에서,
    상기 방송 서버는 상기 VoI 영역의 좌우로 각각 상기 VoI 영역과 연속한 일부 영역의 영상 스트림을 상기 VoI 영역의 영상 스트림과 함께 전송하며,
    상기 일부 영역은 독립적으로 부호화가 가능한 영역인 360도 가상현실 방송 서비스 제공 장치.
  12. 제10항에서,
    상기 방송 서버는 상기 VoI 영역의 영상 스트림을 기본 계층을 통해 전송하고 상기 일부 영역의 영상 스트림을 향상 계층을 통해 전송하는 360도 가상현실 방송 서비스 제공 장치.
  13. 하이브리드 망을 통하여 360도 가상현실(Virtual Reality, VR) 방송 서비스를 제공하는 장치로서,
    입체 VR 카메라를 통하여 획득된 영상을 토대로 360도 VR 방송 서비스를 위한 복수의 소스 입력을 획득하는 전방위 입체 VR 획득 장치, 그리고
    사용자 선택 정보에 따라서 상기 복수의 소스 입력 중 적어도 하나의 소스 입력을 선택하여 상기 하이브리드 망을 통하여 전송하여, 공간적 확장, 시간적 확장 및 3D 확장 중 적어도 하나를 이용한 360도 가상현실 방송 서비스를 제공하는 방송 서버
    를 포함하며,
    상기 방송 서버는 360도 전체 영상 스트림을 홀수 프레임의 영상 스트림과 짝수 프레임의 영상 스트림으로 나누고, VoI(View of Interest) 영역의 영상 스트림을 홀수 프레임의 VoI 영상 스트림과 짝수 프레임의 VoI 영상 스트림으로 나누며, 상기 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림 중 하나는 방송망을 통해 전송하고, 상기 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림 중 다른 하나와 상기 홀수 프레임의 VoI 영상 스트림과 짝수 프레임의 VoI 영상 스트림은 인터넷망을 통해 전송하는 360도 가상현실 방송 서비스 제공 장치.
  14. 삭제
  15. 삭제
  16. 수신 장치에서 360도 가상현실 방송 서비스를 제공하는 방법으로서,
    하이브리드망을 통해 제1 해상도의 360도 전체 영상 스트림을 수신하는 단계,
    사용자의 선택 모드 및 이동 정보를 송신 장치로 전송하는 단계,
    상기 송신 장치로부터 상기 선택 모드 및 상기 이동 정보에 따른 상기 제1 해상도보다 높은 제2 해상도의 VoI(View of Interest) 영역의 영상 스트림을 상기 하이브리드망을 통해 수신하는 단계, 그리고
    상기 제1 해상도의 360도 전체 영상 스트림과 상기 제2 해상도의 VoI 영역의 영상 스트림을 복호화하여 상기 제2 해상도의 360도 가상현실 방송 서비스를 제공하는 단계
    를 포함하고,
    상기 360도 전체 영상 스트림을 수신하는 단계는 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림을 수신하는 단계를 포함하고,
    상기 VoI 영역의 영상 스트림을 수신하는 단계는 상기 VoI 영역의 영상 스트림을 홀수 프레임의 VoI 영상 스트림과 짝수 프레임의 VoI 영상 스트림을 수신하는 단계를 포함하며,
    상기 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림 중 하나는 방송망을 통해 수신되고, 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림 중 다른 하나와 상기 홀수 프레임의 VoI 영상 스트림과 짝수 프레임의 VoI 영상 스트림은 인터넷망을 통해 수신되는 360도 가상현실 방송 서비스 제공 방법.
  17. 삭제
  18. 제16항에서,
    상기 홀수 프레임의 360도 전체 영상 스트림과 상기 짝수 프레임의 360도 전체 영상 스트림 및 상기 홀수 프레임의 VoI 영상 스트림과 상기 짝수 프레임의 VoI 영상 스트림을 선택적으로 수신하여 상기 수신 장치의 성능에 맞는 프레임 레이트의 360도 가상현실 방송 서비스를 제공하는 단계
    를 더 포함하는 360도 가상현실 방송 서비스 제공 방법.
  19. 수신 장치에서 360도 가상현실 방송 서비스를 제공하는 방법으로서,
    하이브리드망을 통해 제1 해상도의 360도 전체 영상 스트림을 수신하는 단계,
    사용자의 선택 모드 및 이동 정보를 송신 장치로 전송하는 단계,
    상기 송신 장치로부터 상기 선택 모드 및 상기 이동 정보에 따른 상기 제1 해상도보다 높은 제2 해상도의 VoI(View of Interest) 영역의 영상 스트림을 상기 하이브리드망을 통해 수신하는 단계, 그리고
    상기 제1 해상도의 360도 전체 영상 스트림과 상기 제2 해상도의 VoI 영역의 영상 스트림을 복호화하여 상기 제2 해상도의 360도 가상현실 방송 서비스를 제공하는 단계
    를 포함하며,
    상기 360도 전체 영상을 수신하는 단계는 상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림을 수신하는 단계를 포함하고,
    상기 VoI 영역의 영상 스트림을 수신하는 단계는 상기 VoI 영역의 영상 스트림에 대한 좌영상 스트림과 우영상 스트림을 수신하는 단계를 포함하며,
    상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림 중 하나는 방송망을 통해 수신되고, 상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림 중 다른 하나와 상기 VoI 영역의 영상에 대한 좌영상 스트림과 우영상 스트림은 인터넷망을 통해 수신되는 360도 가상현실 방송 서비스 제공 방법.
  20. 제19항에서,
    상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림 및 상기 VoI 영역의 영상 스트림에 대한 좌영상 스트림과 우영상 스트림을 선택적으로 수신하여 360도 입체 가상현실 방송 서비스를 제공하는 단계
    를 더 포함하는 360도 가상현실 방송 서비스 제공 방법.
KR1020170091491A 2016-07-19 2017-07-19 360도 가상현실 방송 서비스 제공 방법 및 장치 KR102361314B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2017/007784 WO2018016879A1 (ko) 2016-07-19 2017-07-19 360도 가상현실 방송 서비스 제공 방법 및 장치
US16/309,595 US10931980B2 (en) 2016-07-19 2017-07-19 Method and apparatus for providing 360 degree virtual reality broadcasting service

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160091584 2016-07-19
KR1020160091584 2016-07-19

Publications (2)

Publication Number Publication Date
KR20180009725A KR20180009725A (ko) 2018-01-29
KR102361314B1 true KR102361314B1 (ko) 2022-02-10

Family

ID=61028374

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170091491A KR102361314B1 (ko) 2016-07-19 2017-07-19 360도 가상현실 방송 서비스 제공 방법 및 장치

Country Status (2)

Country Link
US (1) US10931980B2 (ko)
KR (1) KR102361314B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113366842B (zh) * 2018-07-18 2024-10-11 皮克索洛特公司 基于内容层的视频压缩的系统和方法
KR102261739B1 (ko) * 2019-06-19 2021-06-08 주식회사 엘지유플러스 증강 현실 미디어 콘텐츠의 적응적 스트리밍 시스템 및 적응적 스트리밍 방법
US11483534B2 (en) * 2019-08-29 2022-10-25 Electronics And Telecommunications Research Institute Method for processing immersive video and method for producing immersive video
CN114827638B (zh) * 2021-01-21 2024-07-16 中国移动通信有限公司研究院 一种vr视频云直播方法、装置及设备
US11695488B2 (en) * 2021-07-31 2023-07-04 Sony Interactive Entertainment Inc. ATSC over-the-air (OTA) broadcast of public volumetric augmented reality (AR)
US11818414B2 (en) * 2021-08-06 2023-11-14 Sony Group Corporation Telepresence through OTA VR broadcast streams

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160150212A1 (en) * 2014-11-26 2016-05-26 Sony Corporation Live selective adaptive bandwidth

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879857B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
KR20080098328A (ko) 2007-05-04 2008-11-07 한국전자통신연구원 디지털 멀티미디어 방송 전송 시스템에서 고품질멀티미디어 서비스를 제공하는 장치 및 방법
US9232257B2 (en) 2010-09-22 2016-01-05 Thomson Licensing Method for navigation in a panoramic scene
KR101910192B1 (ko) 2010-11-12 2018-10-22 한국전자통신연구원 3ｄｔｖ 서비스에서의 영상 압축 규격 결정 방법 및 장치
KR101282955B1 (ko) 2011-08-31 2013-07-17 한국과학기술연구원 실시간 고해상도 파노라마 영상 스트리밍 시스템 및 방법
WO2013077698A1 (ko) 2011-11-25 2013-05-30 (주)휴맥스 Mmt 미디어와 dash 미디어와의 연동 방법
US20150089564A1 (en) * 2012-04-23 2015-03-26 Lg Electronics Inc. Signal processing device and method for 3d service
US20140002598A1 (en) * 2012-06-29 2014-01-02 Electronics And Telecommunications Research Institute Transport system and client system for hybrid 3d content service
KR20140002471A (ko) 2012-06-29 2014-01-08 한국전자통신연구원 하이브리드 3d 콘텐츠 서비스용 전송 시스템 및 클라이언트 시스템
KR20140112956A (ko) 2013-03-15 2014-09-24 한국전자통신연구원 이동 방송망과 무선 통신망을 이용한 3d 영상 제공 방법 및 장치
EP3008896B1 (en) * 2013-07-15 2021-03-31 Sony Corporation Extensions of motion-constrained tile sets sei message for interactivity
KR101528863B1 (ko) 2013-09-10 2015-06-16 (주)포스트미디어 파노라마 영상의 스트리밍 서비스 제공 시스템에서 타일링 영상 동기화 방법
KR20150047225A (ko) 2013-10-24 2015-05-04 엘지전자 주식회사 파노라마 비디오 서비스를 위한 방송 신호를 처리하는 방법 및 장치
WO2015197815A1 (en) * 2014-06-27 2015-12-30 Koninklijke Kpn N.V. Determining a region of interest on the basis of a hevc-tiled video stream
KR101844032B1 (ko) 2014-12-26 2018-05-14 주식회사 케이티 파노라믹 비디오 영상의 관심 영역의 영상 전송 방법, 장치 및 디바이스
US10623634B2 (en) * 2017-04-17 2020-04-14 Intel Corporation Systems and methods for 360 video capture and display based on eye tracking including gaze based warnings and eye accommodation matching
US10419738B1 (en) * 2018-06-14 2019-09-17 Telefonaktiebolaget Lm Ericsson (Publ) System and method for providing 360° immersive video based on gaze vector information
US10999583B2 (en) * 2018-09-14 2021-05-04 Apple Inc. Scalability of multi-directional video streaming

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160150212A1 (en) * 2014-11-26 2016-05-26 Sony Corporation Live selective adaptive bandwidth

Also Published As

Publication number Publication date
US10931980B2 (en) 2021-02-23
KR20180009725A (ko) 2018-01-29
US20200275134A1 (en) 2020-08-27

Similar Documents

Publication Publication Date Title
KR102361314B1 (ko) 360도 가상현실 방송 서비스 제공 방법 및 장치
EP3556100B1 (en) Preferred rendering of signalled regions-of-interest or viewports in virtual reality video
US8665968B2 (en) Method and system for 3D video coding using SVC spatial scalability
US9014276B2 (en) Method and system for 3D video coding using SVC temporal and spatial scalabilities
US20110043614A1 (en) Content transmission method and display device
US20140002598A1 (en) Transport system and client system for hybrid 3d content service
US8571027B2 (en) System and method for multi-rate video delivery using multicast stream
US20060152628A1 (en) Multimedia signal matching system and method for performing picture-in-picture function
EP2365693B1 (en) Method and video receiving system for adaptively decoding embedded video bitstream
WO2011126586A1 (en) Video content distribution
KR20170005366A (ko) 고 해상도 영상에서의 영상 추출 장치 및 방법
US8483271B2 (en) Method and system for 3D video pre-processing and post-processing
KR101861929B1 (ko) 관심 영역을 고려한 가상 현실 서비스 제공
US20230319371A1 (en) Distribution of Multiple Signals of Video Content Independently over a Network
US9204123B2 (en) Video content generation
JP2011511554A (ja) ビデオデータをストリーミングするための方法
KR20170130883A (ko) 하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치
KR20160098974A (ko) 3dtv 방송 송수신 장치
KR20140002471A (ko) 하이브리드 3d 콘텐츠 서비스용 전송 시스템 및 클라이언트 시스템
Kurutepe et al. A standards-based, flexible, end-to-end multi-view video streaming architecture
WO2018016879A1 (ko) 360도 가상현실 방송 서비스 제공 방법 및 장치
CA2824708C (en) Video content generation
KR101012760B1 (ko) 다시점 비디오의 송수신 시스템 및 방법
Joshi et al. Evolution and future generation of TV
KR20150037200A (ko) 비디오 스트림 송/수신 장치 및 비디오 스트림 송/수신 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant