WO2018016879A1 - 360도 가상현실 방송 서비스 제공 방법 및 장치 - Google Patents

360도 가상현실 방송 서비스 제공 방법 및 장치 Download PDF

Info

Publication number
WO2018016879A1
WO2018016879A1 PCT/KR2017/007784 KR2017007784W WO2018016879A1 WO 2018016879 A1 WO2018016879 A1 WO 2018016879A1 KR 2017007784 W KR2017007784 W KR 2017007784W WO 2018016879 A1 WO2018016879 A1 WO 2018016879A1
Authority
WO
WIPO (PCT)
Prior art keywords
video stream
degree
voi
image
region
Prior art date
Application number
PCT/KR2017/007784
Other languages
English (en)
French (fr)
Inventor
방건
윤국진
박영수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US16/309,595 priority Critical patent/US10931980B2/en
Priority claimed from KR1020170091491A external-priority patent/KR102361314B1/ko
Publication of WO2018016879A1 publication Critical patent/WO2018016879A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number

Definitions

  • the present invention relates to a method and apparatus for providing a 360-degree virtual reality broadcasting service, and in particular, while maintaining an existing ultra high definition (UHD) broadcasting service, using the broadcasting network and the internet network efficiently, temporal expansion, spatial expansion, and 3D scalability It relates to a method and apparatus for providing a 360 degree virtual reality broadcast service.
  • UHD ultra high definition
  • the conventional broadcasting method which used to watch signals transmitted from broadcasting stations unilaterally, has changed to a form in which a user can selectively watch only desired contents at a desired time.
  • users can use the interactive broadcast service that allows users to exchange interactive data while watching broadcasts.
  • broadband transmission technology overcomes bandwidth limitations and provides viewers with 4K or higher quality realistic media.
  • a realistic broadcast service capable of providing a has been realized.
  • DVB Digital Video Broadcasting
  • MPEG Motion Picture Experts Group
  • the problem to be solved by the present invention is to provide a 360-degree VR broadcast service that can efficiently provide a 360-degree VR broadcast service having a spatial, temporal and 3D extension through a hybrid network while maintaining the existing UHD broadcasting service And a device thereof.
  • a method for providing a 360 degree virtual reality (VR) broadcasting service through a hybrid network in a transmitting device comprises the steps of transmitting a 360-degree full video stream of the first resolution using the image obtained through the stereoscopic VR camera, receiving a user's selection mode and movement information from the receiving device, and And transmitting a video stream of a VoI (View of Interest) region having a second resolution different from the first resolution according to the selection mode and the movement information.
  • a VoI View of Interest
  • the transmitting of the video stream of the VoI region may include transmitting the video stream of the partial region continuous with the VoI region along with the video stream of the VoI region to the left and right of the VoI region, respectively.
  • the partial region may be independently encoded and may be smaller than the VoI region.
  • the transmitting of the video stream of the partial region together with the video stream of the VoI region may include transmitting the video stream of the VoI region through a base layer, and transmitting the video stream of the partial region through an enhancement layer. It may include.
  • the 360-degree video stream may be transmitted through a broadcasting network, and the video stream of the VoI region may be transmitted through an internet network.
  • the transmitting of the 360 degree video stream may include transmitting the 360 degree video stream by dividing the 360 degree video stream into an odd frame 360 degree video stream and an even frame 360 degree video stream.
  • the transmitting of the video stream of the VoI region may include transmitting the video stream of the VoI region into an odd frame VoI video stream and an even frame VoI video stream, and transmitting the 360 degree entire video stream of the odd frame.
  • One of the 360-degree full video streams of the even frames is transmitted through a broadcasting network, and the other of the 360-degree full video streams of the odd frames and the 360-degree full video streams of the even frames and the VoI video streams of the odd frames and the even frame VoI
  • the video stream may be transmitted through an internet network.
  • the transmitting of the 360 degree video stream includes transmitting the left video stream and the right video stream for the 360 degree video stream, and the transmitting of the video stream of the VoI area includes the video of the VoI area. And transmitting the left video stream and the right video stream for each of one of the left video stream and the right video stream for the full 360-degree video stream.
  • the other one of the video stream and the right video stream and the left video stream and the right video stream for the video of the VoI region may be transmitted through an internet network.
  • an apparatus for providing a 360 degree virtual reality (VR) broadcasting service through a hybrid network is provided.
  • the 360-degree virtual reality broadcasting service providing apparatus is a 360-degree stereoscopic VR acquisition apparatus for obtaining a plurality of source input for the 360-degree VR broadcasting service based on the image acquired through the stereoscopic VR (Virtual Reality) camera, and according to the user selection information
  • a broadcast server that selects at least one source input from a plurality of source inputs and transmits the same through the hybrid network to provide a 360 degree virtual reality broadcast service using at least one of spatial extension, temporal extension, and 3D extension.
  • the broadcast server selects a 360 degree full image of a first resolution and a video of a VoI (View of Interest) region having a second resolution higher than the first resolution as a source input for the spatial expansion, and the image of the VoI region is An image of the VoI region may be extracted according to the movement information of the user received from the receiving device.
  • a VoI View of Interest
  • the broadcast server may transmit an image of a partial region continuous with the VoI region along with the image of the VoI region to the left and right of the VoI region, respectively, and the partial region may be an independently encoded region.
  • the broadcast server may transmit an image of the VoI region through a base layer and transmit an image of the partial region through an enhancement layer.
  • the broadcast server may divide the entire 360 degree image into an odd frame image and an even frame image, and may select the 360 degree full image of the odd frame and the 360 degree full image of the even frame for temporal expansion.
  • the broadcast server divides the image of the VoI region into a VoI image of an odd frame and an VoI image of an even frame, and as a source input for temporal expansion, a 360 degree full image of the odd frame and a 360 degree full image of the even frame,
  • the VoI image of the odd frame and the VoI image of the even frame are selected, one of the 360 degree full image of the odd frame and the 360 degree full image of the even frame is transmitted through a broadcasting network, and the 360 degree full image of the odd frame is transmitted.
  • the other one of the 360 degree full image of the even frame and the VoI image of the odd frame and the VoI image of the even frame may be transmitted through the Internet network.
  • the broadcast server selects a left image and a right image of the 360-degree full image as the source input for the 3D extension, or the left and right images of the 360-degree full image and the VoI region of the 360-degree full image as the source input. Selecting a left image and a right image for an image, one of the left image and the right image for the entire 360 degree image is transmitted through a broadcasting network, and the other one of the left image and the right image for the entire 360 degree image and the Left and right images of the VoI region can be transmitted through the Internet.
  • a method for providing a 360 degree virtual reality broadcasting service in a receiving device comprises the steps of receiving a 360-degree full video stream of the first resolution via a hybrid network, transmitting the user's selection mode and movement information to the transmitting device, the selection mode and Receiving, through the hybrid network, an image of a VoI (View of Interest) region having a second resolution higher than the first resolution according to the movement information, and a 360-degree full image stream of the first resolution and the second resolution. And decoding the video stream of the VoI region of the first to provide a 360 degree virtual reality broadcasting service of the second resolution.
  • VoI View of Interest
  • Receiving the 360-degree full video stream includes receiving a 360-degree full video stream of an odd frame and a 360-degree full video stream of an even frame, and receiving a video stream of the VoI area comprises the VoI area Receiving a video stream of an odd frame VoI video stream and an even frame VoI video stream, wherein one of the 360 degree full video stream of the odd frame and the 360 degree full video stream of the even frame is received through a broadcasting network
  • the other one of the 360 degree full video stream of odd frames and the 360 degree full video stream of even frames and the VoI video stream of the odd frames and the even frame VoI video stream may be received through the Internet.
  • the 360-degree virtual reality broadcast service providing method selectively receives the 360-degree full video stream of the odd frame, the 360-degree full video stream of the even frame, the VoI video stream of the odd frame and the VoI video stream of the even frame selectively
  • the method may further include providing a 360-degree virtual reality broadcasting service having a frame rate suitable for the performance of the receiving device.
  • Receiving the 360-degree full video comprises receiving a left video stream and a right video stream for the 360-degree full video stream, and receiving the video stream of the VoI region video stream of the VoI region And receiving a left video stream and a right video stream for each of the 360 degree video stream and one of the left video stream and the right video stream for the 360 degree video stream.
  • the other one of the video stream and the right video stream and the left video stream and the right video stream for the video of the VoI region may be received through an internet network.
  • the 360-degree virtual reality broadcast service providing method is the 360-degree stereoscopic virtual image by selectively receiving the left image stream and the right image stream for the entire 360-degree video stream and the left and right video stream for the video stream of the VoI region
  • the method may further include providing a real broadcast service.
  • FIG. 1 is a diagram illustrating the concept of a 360-degree VR broadcast service using spatial extension according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of an image transmission method of a VoI region according to an exemplary embodiment of the present invention.
  • FIG. 3 is a diagram illustrating the concept of a 360-degree VR broadcast service using temporal extension according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating the concept of a 360-degree VR broadcast service using 3D extension according to an embodiment of the present invention.
  • FIG. 5 is a conceptual diagram of a broadcast system providing a 360-degree VR broadcast service according to an embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an example of providing a broadcast service of the broadcast system illustrated in FIG. 5.
  • FIG. 7 is a view showing the structure of a 360-degree stereoscopic VR encoder according to an embodiment of the present invention.
  • FIG. 8 is a diagram illustrating a processing operation of an omnidirectional stereoscopic VR encoder according to an embodiment of the present invention.
  • FIG. 9 is a diagram showing the structure of a stereoscopic VR broadcast server according to an embodiment of the present invention.
  • FIG. 10 is a view showing the structure of the omnidirectional stereoscopic VR receiver according to an embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating an example of a broadcast service providing method in a broadcast system according to an embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating a method of transmitting a high resolution image of a VoI region in a broadcasting system according to an exemplary embodiment of the present invention.
  • FIG. 13 is a flowchart illustrating an example of a method of providing a 360 degree broadcasting service in an omnidirectional stereoscopic VR receiver according to an embodiment of the present invention.
  • Spatial expansion is to provide the terminal with a source input for the optimal resolution in accordance with the resolution of the terminal receiving the broadcast service. For example, while transmitting a 2K 360-degree image, only the area visible on the screen can be increased to 4K resolution to selectively transmit a 360-degree image for each area, thereby increasing the resolution of the 360-degree image for the visible area.
  • the temporal extension is configured by dividing the source input of the transmitter into even frames / fields and odd frames / fields so that the frame rate can be adjusted according to the performance of the UE. For example, by transmitting an even frame having 60 fps and an odd frame having 60 fps, the terminal can selectively play a 360-degree VR image at 60 fps and 120 fps.
  • 3D extension is to play a 360-degree 3D video through 2D / 3D conversion in the terminal by selectively using the source input transmitted according to the 3D performance of the terminal.
  • the video encoding method is conventional H.264 / AVC (Advanced Video Coding), H.265 / HEVC (High Efficiency Video Coding), MV-HEVC, SHVC (Scalable HEVC), SVC Either of these may be used, and the selected coding scheme only affects the source input transmitted from the transmitting end.
  • AVC Advanced Video Coding
  • H.265 / HEVC High Efficiency Video Coding
  • MV-HEVC High Efficiency Video Coding
  • SHVC Scalable HEVC
  • SVC Either of these may be used, and the selected coding scheme only affects the source input transmitted from the transmitting end.
  • This concept allows the 2D source input used in the existing broadcasting network to maintain compatibility with the existing terminal, and has the advantage of easily starting a new 360-degree VR video service.
  • each broadcast service may be configured through spatial extension, temporal extension, and 3D extension.
  • FIG. 1 is a diagram illustrating the concept of a 360-degree VR broadcast service using spatial extension according to an embodiment of the present invention.
  • a Full High Definition (FHD) 360 degree 60P video is transmitted through a broadcasting network or an IP network.
  • 60P represents 60fps.
  • the FHD 360-degree 60P video may be applied only to a terminal having a minimum FHD decoding capability and a low resolution. In this case, if there is a terminal having a resolution of 4K or higher and decoding capability, the FHD 360 degree 60P image and the 4K / VoI (View of Interest) 60P image are used as the source input of the transmitting end.
  • the VoI 60P video and decoding it it is possible to reproduce a 360-degree 60P video with 4K resolution per view. 4K / VoI 60P video is transmitted over the IP network.
  • the VoI means a portion of the 360-degree 60P image that is visible on the screen, that is, an area seen through the rotation of the head when the user uses a device such as a head mounted display (HMD).
  • HMD head mounted display
  • the complexity of the terminal can be greatly reduced by transmitting the high resolution image only for the VoI region and decoding only the image in the VoI region without transmitting the entire 360 degree high resolution image and decoding the entire image in the terminal. It has an effect.
  • a FHD 360 degree 60P image may be transmitted to a base layer, and a 4K / VoI 60P image may be transmitted to an enhancement layer. This eliminates the need to transmit all of the 4K 360 degree 60P video to the enhancement layer, thereby reducing the amount of data in the video.
  • SHVC can be used for the enhancement layer
  • the data amount of the image can be reduced by transmitting an FHD 360-degree 60P image to the base layer and transmitting only the residual image to the enhancement layer.
  • the delay is increased by transmitting an image of a larger area to the left and right than the VoI area during transmission. It can be minimized.
  • FIG. 2 is a diagram illustrating an example of an image transmission method of a VoI region according to an exemplary embodiment of the present invention.
  • a device providing a 360-degree VR broadcast service transmits a 360-degree (full-directional) VR entire image to a base layer for spatial extension service, and enhances a VR image of a selected VoI region according to user interaction. (enhance layer) can be transmitted.
  • the entire 360-degree VR image is transmitted to the base layer as an HD or 4K image
  • the 4K 360-degree VR image of the VoI region selected according to user interaction among the 12K 360-degree VR images is transmitted to the enhancement layer.
  • an image eg, a 1K image
  • an additional region may be transmitted to the enhancement layer to the left and right of the VoI region in consideration of the transmission delay.
  • a 12K 360-degree VR image is composed of a smaller region than the VoI region so that only a partial region can be decoded.
  • This region is called an independent encoding region.
  • These independent coding regions are gathered to form a VoI region, and the extra independent coding region is additionally transmitted to the left and right of the VoI region in consideration of the transmission delay.
  • a region in which an extra independent coding region is added to the left and right of the VoI region is called a VoI region including a directional region.
  • the terminal reproduces the image of the region of the viewpoint viewed by the user, that is, the VoI reproduction region.
  • FIG. 3 is a diagram illustrating the concept of a 360-degree VR broadcast service using temporal extension according to an embodiment of the present invention.
  • a FHD 360 degree 60P service is provided through an existing broadcasting network or an IP network, two services may be provided through temporal expansion.
  • the device can increase only the temporal resolution from 60P to 120P without increasing the spatial resolution.
  • the FHD 360 60P even frame / field [FHD 360 degree 60P (L1)] and the FHD 360 60P odd frame / field [FHD 360 degree 60P (L2)] Can receive and play back FHD 360 120P video.
  • an apparatus can provide a service that increases temporal resolution and also temporal expansion.
  • FHD 360 degree 60P (L1) image and FHD 360 degree 60P (L2) image are transmitted to the base layer, and 4K / VoI 60P (L1) image and 4K / VoI 60P (L2) image for spatial expansion are used as an enhancement layer.
  • the terminal receives 4K / VoI 60P (L2) even frame image together with FHD 360 degree 60P (L1) image, FHD 360 degree 60P (L2) image and 4K / VoI 60P (L1) odd frame image. It can provide spatially expanded 4K / VoI 360-degree 120P images.
  • FIG. 4 is a diagram illustrating the concept of a 360-degree VR broadcast service using 3D extension according to an embodiment of the present invention.
  • the existing terminal may play the FHD 360 degree VR image.
  • two types of 3D extension services are possible.
  • an apparatus for providing a 360-degree VR broadcast service transmits an FHD 360 degree left image [FHD 360 60P (L1)] and an FHD 360 degree right image [FHD 360 60P (R)].
  • the terminal can play 3D FHD 360 degree 60P video. That is, the FHD 360 degree left image [FHD 360 60P (L1)] is transmitted through a broadcasting network or an IP network, and the FHD 360 degree right image [FHD 360 60P (R)] is transmitted through an IP network, and the 3D FHD 360 is transmitted from the terminal.
  • 60P video service may be provided.
  • an apparatus for providing a 360-degree VR broadcast service includes a FHD 360-degree left image [FHD 360 60P (L1)] and an FHD 360-degree right image [FHD 360 60P (R)] as a base layer.
  • 3D 4K / VoI 360-degree 60P video service is possible in the terminal by transmitting the left and right view images [4K / VoI 60P (L1), 4K / VoI 60P (R)] for spatial expansion to the enhancement layer.
  • Left and right view images (4K / VoI 60P (L1), 4K / VoI 60P (R)) for spatial expansion are transmitted through the IP network.
  • the broadcasting system is developing into a technology that can include various digital broadcasting service platforms such as terrestrial / cable / IPTV.
  • various digital broadcasting service platforms such as terrestrial / cable / IPTV.
  • ATSC Advanced Television Systems Committee
  • PGP physical layer pipe
  • a 360-degree VR broadcast service using spatial extension, temporal extension, and 3D extension according to an embodiment of the present invention is performed through a hybrid network using a broadcast network and an IP network, it may be implemented as shown in FIG. 5.
  • FIG. 5 is a conceptual diagram of a broadcasting system for providing a 360 degree VR broadcasting service according to an exemplary embodiment of the present invention.
  • the existing 2D UHD broadcasting is performed through a hybrid network based broadcasting platform according to an exemplary embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an example of providing a broadcast service of the broadcast system illustrated in FIG. 5.
  • a broadcasting system 1 corresponding to an apparatus for providing a 360 degree VR broadcasting service includes an omnidirectional stereoscopic VR acquisition apparatus 10, a high efficiency video codec (HEVC) encoder 20, and an omnidirectional stereoscopic VR encoder ( 30, the stereoscopic VR broadcast server 40, and the stereoscopic VR receiver 2 receives a broadcast service provided from the broadcast system 1.
  • the stereoscopic VR receiver 2 may be, for example, a terminal or a TV.
  • various broadcasting services are provided through a hybrid network-based broadcasting platform.
  • UHD broadcasting service FHD 360 degree VR broadcasting service, 4K 360 degree VR broadcasting service, and 360 based on the source input described above.
  • the broadcasting platform may be various digital broadcasting service platforms such as terrestrial / cable / IPTV (Internet Protocol TV), and may include an ATSC 3.0 based service platform that is recently set as a standard.
  • Hybrid network is composed of a combination of various channels or broadcast channel of the physical layer pipe (PLP) and IP channel.
  • the omnidirectional stereoscopic VR acquisition apparatus 10 outputs image data based on an image acquired through a stereoscopic VR camera that supports a predetermined resolution (eg, 4K resolution).
  • the omnidirectional stereoscopic VR acquisition apparatus 10 may output, for example, UHD image data, 360 degree VR left image data, and 360 degree VR right image data.
  • An image captured by one camera may be used as UHD image data as it is, or an image of a partial region may be applied to UHD image data in 360 degree VR.
  • the HEVC encoder 20 encodes UHD image data.
  • UHD video data can be applied to the ATSC 3.0 broadcasting platform as it is to provide backward compatibility.
  • an encoder using other schemes of encoding may be used.
  • the omnidirectional stereo VR encoder 30 encodes 360 degree VR left image data and 360 degree VR right image data.
  • FIG 7 is a view showing the structure of the omnidirectional stereo VR encoder according to an embodiment of the present invention
  • Figure 8 is a view showing the processing operation of the omnidirectional stereo VR encoder according to an embodiment of the present invention.
  • the omnidirectional stereoscopic VR encoder 30 includes a first base layer code processor 31, a first enhancement layer code processor 32, and a second base layer code processor 33. , And a second enhancement layer code processor 34.
  • the omnidirectional stereo VR encoder 30 having such a structure encodes 360 degree VR left image data and 360 degree VR right image data on the basis of HEVC, and outputs a stream of a base layer and a stream of an enhancement layer.
  • the stream of the base layer is composed of an FHD omni-directional (360 degree) video stream
  • the stream of the enhancement layer includes an enhancement stream for providing a high resolution (eg, 4K or higher resolution) image quality for a user selection or VoI region.
  • the first base layer code processor 31 of the omnidirectional stereo VR encoder 30 encodes the input 360 degree VR left image data with HEVC to form a stream of the base layer of the left image.
  • the enhancement layer code processor 32 encodes an enhancement stream with reference to information of the base layer output from the first base layer code processor 31 for each VoI to form a stream of an enhancement layer of a left image.
  • the VoI-based enhancement stream selected by the user has a minimum 4K resolution for each VoI. Accordingly, the FHD omnidirectional left video stream and the left video enhancement layer streams 1 to N for each VoI are output.
  • the second base layer code processing unit 33 forms a stream of the base layer of the right image by encoding 360 degree VR right image data input by referring to the 360 degree VR left image data.
  • the second enhancement layer code processor 34 refers not only to the information of the base layer output from the second base layer code processor 33 but also to the information of the enhancement layer of the left image provided from the first enhancement layer code processor 32.
  • the enhancement stream is encoded to form a stream of an enhancement layer of the right video. Accordingly, the FHD omnidirectional right video stream and the right video enhancement layer streams 1 to N for each VoI are output.
  • the omnidirectional stereoscopic VR encoder 30 operating in this manner provides backward compatibility with existing FHD 360 degree VR devices.
  • the stereoscopic VR broadcast server 40 provides a broadcast service based on a stream provided from the HEVC encoder 20 and the omnidirectional stereoscopic VR encoder 30.
  • the stereoscopic VR broadcast server 40 selects and transmits a source image and a channel to be transmitted according to a broadcast service to be provided to the stereoscopic VR receiver 2 from the streams provided by the HEVC encoder 20 and the omnidirectional stereoscopic VR encoder 30. .
  • the stereoscopic VR broadcast server 40 transmits a source video stream provided from the HEVC encoder 20 and the omnidirectional stereoscopic VR encoder 30 together with the existing 2D UHD broadcast, FIGS. 1, 3, and 4.
  • a spatial extension, a temporal extension, and a 3D extended broadcast service can be provided.
  • various broadcast services can be reproduced using a source video stream transmitted from the stereoscopic VR broadcast server 40 according to the capability of the stereoscopic VR receiver 2.
  • FIG. 9 is a diagram showing the structure of a stereoscopic VR broadcast server according to an embodiment of the present invention.
  • the stereoscopic VR broadcast server 40 includes a first transmission processor 41, a second transmission processor 42, and a transmission server 43.
  • the stereoscopic VR broadcast server 40 provides an omnidirectional stereoscopic VR broadcast service based on a broadcast platform (for example, an ATSC3.0 broadcast platform).
  • a broadcast platform for example, an ATSC3.0 broadcast platform.
  • the first transmission processor 41 encodes the UHD video data output from the HEVC encoder 20, that is, the UHD stream (4K UHD stream) and the FHD 360-degree left video stream output from the omnidirectional stereo VR encoder 30. Multiplex each to transmit a channel providing a broadcast service.
  • the first transmission processor 41 multiplexes the UHD stream with a conventional Real-time Object Delivery over Unidirectional Transport (ROUTE) or MPEG Media Transport Protocol (MMTP) to generate a transport stream, which is a broadcast network, for example, a UHD TV. It transmits through a channel or PLP (physical layer pipes) for providing a broadcast service.
  • ROUTE Real-time Object Delivery over Unidirectional Transport
  • MMTP MPEG Media Transport Protocol
  • the first transmission processor 41 generates a transport stream by multiplexing the FHD 360-degree left video stream with a ROUTE or MMT like the UHD stream and transmits it to a channel or a mobile PLP for providing a UHD TV broadcast service.
  • a transport stream by additionally transmitting the FHD 360-degree video stream through the broadcast network, viewers can be provided with VR services in various smart mobile devices as well as UHD broadcast services.
  • the multiplexed transport stream transmitted to the PLP includes MPD (Media Presentation Description) path information describing information about a 360 degree right video stream and a left / right video enhancement layer stream for each VoI transmitted over an IP network.
  • MPD Media Presentation Description
  • the second transmission processor 42 is a stream for transmitting an FHD 360 degree right video stream, a left video enhancement layer stream for each VoI, and a right video enhancement layer stream for each VoI through an IP network, provided from the omnidirectional stereo VR encoder 30. Process. Specifically, the second transmission processor 42 processes the FHD 360-degree right video stream into a predetermined file format (eg, ISO based media file format (ISOBMFF)) or a transport stream (TS) to transmit a transport server ( 43).
  • a predetermined file format eg, ISO based media file format (ISOBMFF)
  • TS transport stream
  • the transmission server 43 transmits the stream provided from the second transmission processor 42 through the IP network.
  • the transmission server 43 transmits the FHD 360 degree right image file through the IP network according to MPEG-DASH (Dynamic Adaptive Streaming over HTTP). Split into two and send.
  • MPEG-DASH Dynamic Adaptive Streaming over HTTP
  • the left / right video enhancement layer stream for each VoI includes information for providing a high resolution image quality for a viewer or VoI, and the second transmission processor 42 improves left / right video for each VoI according to the number of VoIs.
  • the hierarchical stream is converted into a predetermined format file (e.g., ISOBMFF) or TS file and stored in the transmission server 43.
  • the transmission server 43 transmits both the FHD omnidirectional VR right video stream and the left / right video enhancement layer stream for each VoI through the IP network when the omnidirectional stereo VR broadcast service is desired.
  • the viewer while the viewer is provided with a 360-degree VR broadcasting service of FHD quality based on the FHD 360-degree image transmitted through the broadcasting network, the viewer improves the left / right image by VoI through the IP network for the VoI area screen selected or watched by the viewer.
  • a 360-degree VR broadcasting service of FHD quality based on the FHD 360-degree image transmitted through the broadcasting network
  • the viewer improves the left / right image by VoI through the IP network for the VoI area screen selected or watched by the viewer.
  • 4K high-definition 360 degree VR broadcasting service is provided.
  • the transmission server 43 performs an FHD 360-degree VR right video stream and a left / right video enhancement layer stream for each VoI through the IP network. All will be sent.
  • the transmission server 43 may provide backward compatibility with various terminals while maintaining a broadcasting platform such as ATSC 3.0, and may provide FHD or 4K 360 degree VR broadcasting service, FHD or 4K 360 degree stereo VR broadcasting service. Can provide.
  • FIG. 10 is a view showing the structure of the omnidirectional stereoscopic VR receiver according to an embodiment of the present invention.
  • the omnidirectional stereoscopic VR receiver 2 includes a demultiplexer 21, first and second HEVC decoders 22 and 23, a client processor 24, and a player 25. ).
  • the demultiplexer 21 demultiplexes a stream received through a channel or a PLP for providing a UHD TV broadcasting service.
  • the UHD stream and the FHD 360-degree left video stream transmitted from the broadcasting system 1 are demultiplexed (for example, ROUTE or MMT-based demultiplexing).
  • the first HEVC decoder 22 decodes the stream output from the demultiplexer 21 and outputs a UHD image.
  • the second first HEVC decoder 23 decodes the stream output from the demultiplexer 21 and outputs an FHD 360 degree VR left image.
  • the client processor 24 processes streams and transmission files received through the IP network, and outputs an FHD 360 degree right image and a left / right image enhancement layer image for each VoI.
  • the client processing unit 24 as shown in FIG. 10, the MPD manager 241, the segment manager 242, the MPD analyzer 243, the segment file parser 244, And an omnidirectional stereo VR decoder 245.
  • the MPD manager 241 performs an initial segment file request and periodically updates / manages the MPD based on path information obtained from the MPD URI transmitted to the broadcasting network. Route information is provided from the demultiplexer 21. Also, the MPD manager 241 performs a function of requesting a segment file corresponding to an FHD 360 degree right video) stream or a left / right video enhancement layer stream for each VoI based on the information received from the segment manager 242. do.
  • the segment manager 242 provides segment file information that can be received under the current IP network condition to the MPD manager 241, and provides information for switching segment files for providing a stable service according to network conditions.
  • the segment manager 242 transmits segment file information corresponding to a FHD 360 degree right video stream or a left / right video enhancement layer stream for each VoI according to a user interaction (eg, according to a user selection mode). To provide.
  • the MPD analyzer 243 receives the MPD file transmitted from the broadcasting system 1 according to, for example, the MPEG-DASH standard, checks the validity of the received MPD file, and checks the elements of each media described in the MPD. ) And attribute information.
  • the segment file parsing unit 244 analyzes the transmission files transmitted through the IP network, that is, the segment files transmitted in units of segments, and transmits the corresponding encoding stream to the omnidirectional stereo VR decoder 245.
  • the omnidirectional stereo VR decoder 245 decodes the stream transmitted from the segment file parsing unit 244, that is, the FHD 360-degree right video stream or the left / right video enhancement layer stream for each VoI, and the FHD 360-degree right video and the left for each VoI are decoded. / Right image Enhancement layer image output.
  • the player 25 includes a UHD image and an FHD omnidirectional VR left image provided from the first and second HEVC decoders 22 and 23, respectively, and an FHD 360 degree right image provided by the client processor 24 and a left by VoI.
  • the hierarchical image of the right image not only 4K UHD image but also FHD / 4K 360 degree VR image or FHD / 4K 360 degree stereoscopic VR image is played.
  • the receiver 2 when various VR devices and mobile devices are connected to the omnidirectional stereoscopic VR receiver 2, the receiver 2 performs a kind of server role, and various VR and mobile devices serve as a kind of display.
  • the omnidirectional stereoscopic VR receiver 2 having such a structure receives the UHD video stream and the FHD 360-degree VR left video stream through the broadcasting network, and the stream received through the IP network may vary according to a user selection mode.
  • the user selection mode includes a 4K omnidirectional VR mode, an FHD omnidirectional stereoscopic VR mode, and a 4K omnidirectional stereoscopic VR mode. Streams received for each user selection mode are as follows.
  • the omnidirectional stereoscopic VR receiver 2 requests and receives a left video enhancement layer stream (segment file) for each VoI from the stereoscopic VR broadcast server 40 of the broadcasting system 1.
  • the omnidirectional stereoscopic VR receiver 2 requests and receives an FHD 360 degree VR stream (right image segment file) from the stereoscopic VR broadcast server 40 of the broadcasting system 1.
  • the omnidirectional stereoscopic VR receiver 2 transmits an FHD 360 degree VR stream (right image segment file) and a 4K left / right image enhancement layer stream (segment file) for each VoI to the stereoscopic VR broadcast server 40 of the broadcasting system 1. Request and receive.
  • FIG. 11 is a flowchart illustrating an example of a broadcast service providing method in a broadcast system according to an embodiment of the present invention.
  • the broadcasting system 1 generates UHD image data, 360 degree VR left image data, and 360 degree VR right image data based on an image acquired through a stereoscopic VR camera (S100).
  • a UHD stream is generated by encoding UHD image data (S110), and a 360 degree VR left image data is encoded to encode an FHD 360 degree left image stream (also called a left image base layer stream) and a left image enhancement layer stream for each VoI (1).
  • ⁇ N is generated (S120).
  • the 360-degree VR right image data is encoded to generate an FHD 360-degree right image stream (also called a right image base layer stream) and a right image enhancement layer stream 1 to N for each VoI (S130).
  • the broadcast system 1 generates a transport stream by multiplexing the UHD stream, and generates a transport stream by multiplexing an FHD 360 degree video (eg, left video) stream.
  • the generated transport stream is transmitted through a broadcasting network (S140 and S150).
  • the broadcasting system 1 processes the FHD 360 degree right image stream into a predetermined file format and divides it into a plurality of segments to generate a transport stream.
  • the left / right video enhancement layer stream for each VoI including information for providing a high resolution image quality for the viewer selection or the VoI region is processed into a predetermined file format and divided into a plurality of segments to generate a transport stream.
  • the FHD 360 degree video stream and the left / right video enhancement layer stream for each VoI are selectively transmitted (S160).
  • the broadcasting system 1 performs an FHD 360 degree VR right image stream and a VoI per IP over an IP network. Both left and right video enhancement layer streams are transmitted.
  • the user selection mode is the FHD omnidirectional stereo VR mode
  • the FHD 360-degree VR right image stream is transmitted through the IP network.
  • the user selection mode is 4K omnidirectional VR mode
  • the left video enhancement layer stream for each VoI is transmitted through the IP network.
  • the omnidirectional stereoscopic VR receiver 2 can reproduce various broadcast services using source images transmitted from the broadcasting system 1. Will be.
  • FIG. 12 is a flowchart illustrating a method of transmitting a high resolution image of a VoI region in a broadcasting system according to an exemplary embodiment of the present invention.
  • the omnidirectional stereoscopic VR broadcast server 40 of the broadcasting system 1 transmits a low-degree 360-degree full video stream (S1210).
  • the omnidirectional stereoscopic VR broadcast server 40 receives movement information such as a user's head movement and a user selection mode from the reception device 520 (S1220), the VoI region having a high resolution using the user selection mode and the movement information is received. After extracting the video stream (S1230), the video stream of the VoI region may be transmitted through the IP network (S1240).
  • the omnidirectional stereo VR broadcasting server 40 may transmit a video stream of a larger area to the left and right than the VoI area, process the video stream of the VoI area to transmit to the base layer, and to the left and right of the VoI area.
  • a video stream of an added independent encoding region may be processed and transmitted to the enhancement layer.
  • the terminal first receives and reproduces a low-resolution 360 image of the base layer, and receives a high-resolution VoI region image through the enhancement layer according to the movement information of the terminal, thereby reproducing the image of the VoI region at a high resolution. Done.
  • the terminal when the user turns his head to see the video in the other area, the user sees the video of the base layer, and based on the movement information, the high resolution video of the corresponding area is received, and the terminal can immediately play the video in the VoI area at the high resolution. have.
  • FIG. 13 is a flowchart illustrating an example of a method of providing a 360 degree broadcasting service in an omnidirectional stereoscopic VR receiver according to an embodiment of the present invention.
  • the omnidirectional stereoscopic VR receiver 2 receives a 360 degree full video stream of low resolution (S1310).
  • the omnidirectional stereoscopic VR receiver 2 transmits the information of the user selection mode to the omnidirectional stereoscopic VR broadcast server 40 (S1320). In addition, the omnidirectional stereoscopic VR receiver 2 senses the user's movement information and transmits the user's movement information to the omnidirectional stereoscopic VR broadcast server 40 (S1330).
  • the omnidirectional stereo VR receiver 2 When the omnidirectional stereo VR receiver 2 receives from the omnidirectional stereo VR broadcast server 40 an image stream of a high resolution VoI region according to user selection mode information and movement information (S1340), decoding of the omnidirectional stereo VR receiver 2 is performed.
  • the 360-degree broadcast service can be spatially extended by decoding the low-resolution 360-degree full video stream and the high-resolution VoI region video stream (S1350).
  • the omnidirectional stereo VR broadcasting server 40 transmits 360-degree full video streams of odd frames, 360-degree full video streams of even frames, odd-frame VoI video streams, and even-frame VoI video streams according to user selection mode information.
  • the 360-degree full video stream of odd frames, the 360-degree full video stream of even frames, the odd-frame VoI video stream, and the even-frame VoI video stream are selected in accordance with the performance of the omnidirectional stereoscopic VR receiver 2.
  • An extended 360 degree broadcasting service can be provided.
  • a 360 degree stereoscopic broadcast service can be provided by selecting a left image stream, a right image stream for a 360 degree entire image, and a left image stream and a right image stream for a video of a VoI region. Can be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

360도 가상현실 방송 서비스 제공 장치는 입체 VR(Virtual Reality) 카메라를 통하여 획득된 영상을 이용하여 제1 해상도의 360도 전체 영상 스트림을 전송하고, 수신 장치로부터 사용자의 선택 모드 및 이동 정보를 수신하면, 상기 선택 모드 및 상기 이동 정보에 따라서 상기 제1 해상도와 다른 제2 해상도의 VoI(View of Interest) 영역의 영상 스트림을 전송한다.

Description

360도 가상현실 방송 서비스 제공 방법 및 장치
본 발명은 360도 가상현실 방송 서비스 제공 방법 및 장치에 관한 것으로, 특히 기존 UHD(Ultra High Definition) 방송서비스를 유지하면서, 방송망과 인터넷망을 효율적으로 이용하여 시간적 확장, 공간적 확장 및 3D 확장성을 갖는 360도 가상현실 방송 서비스 제공 방법 및 장치에 관한 것이다.
디지털 방송의 출현으로 방송국에서 일방적으로 송출한 신호를 시청하던 기존 방송 방식은 사용자가 원하는 시간에 원하는 콘텐츠만을 선택적으로 시청할 수 있는 형태로 변화하였다. 또한 인터넷 망과의 연동으로 사용자는 방송을 시청하면서 대화형 데이터를 주고받을 수 있는 양방향 방송 서비스를 이용할 수 있게 되었으며, 최근에는 광대역 전송 기술의 발전으로 대역폭 한계를 극복하면서 시청자에게 4K 이상의 고화질 실감미디어를 제공할 수 있는 실감형 방송 서비스가 실현되고 있다.
최근 디지털 방송, 인터넷 등 고해상도 영상 서비스가 보편화 됨에 따라 UHD 영상이 차세대 방송 서비스로 제공될 예정이며, 더불어 소비자들에게 몰입감 및 사실감을 극대화할 수 있는 새로운 서비스에 대한 개발이 진행되고 있다. 유럽방송 표준인 DVB(Digital Video Broadcasting)에서는 2016년 1월부터 VR(Virtual Reality) 방송 서비스 제공을 위한 요구사항과 관련 서비스 시나리오 논의가 진행 중에 있으며, MPEG(Moving Picture Experts Group)에서는 전방위 360도 VR 영상 부호화 기술에 대한 표준화가 진행 중에 있다. 또한 국내에서도 보다 넓은 화각을 제공하기 위한 파노라마 방송 및 전방위 360도 방송에 대한 논의가 진행 중에 있다.
그러나 아직까지는 하이브리드 망을 통하여 시청자들에게 UHD 방송서비스뿐만 아니라 전방위 360도 VR 방송서비스를 제공하기 위한 구체적으로 방법이 제시되어 있지 않다.
본 발명이 해결하려는 과제는 기존 UHD 방송서비스를 유지하면서, 서비스 제공자가 하이브리드 망을 통하여 공간적, 시간적 및 3D 확장을 갖는 전방위 360도 VR 방송서비스를 효율적으로 제공할 수 있는 360도 VR 방송 서비스 제공 방법 및 그 장치를 제공하는 것이다.
본 발명의 한 실시 예에 따르면, 송신 장치에서 하이브리드 망을 통하여 360도 가상현실(Virtual Reality, VR) 방송 서비스를 제공하는 방법이 제공된다. 360도 가상현실 방송 서비스 제공 방법은 입체 VR 카메라를 통하여 획득된 영상을 이용하여 제1 해상도의 360도 전체 영상 스트림을 전송하는 단계, 수신 장치로부터 사용자의 선택 모드 및 이동 정보를 수신하는 단계, 그리고 상기 선택 모드 및 상기 이동 정보에 따라서 상기 제1 해상도와 다른 제2 해상도의 VoI(View of Interest) 영역의 영상 스트림을 전송하는 단계를 포함한다.
상기 VoI 영역의 영상 스트림을 전송하는 단계는 상기 VoI 영역의 좌우로 각각 상기 VoI 영역과 연속한 일부 영역의 영상 스트림을 상기 VoI 영역의 영상 스트림과 함께 전송하는 단계를 포함할 수 있다.
상기 일부 영역은 독립적으로 부호화가 가능한 영역이며, 상기 VoI 영역보다 작게 구성될 수 있다.
상기 일부 영역의 영상 스트림을 상기 VoI 영역의 영상 스트림과 함께 전송하는 단계는 상기 VoI 영역의 영상 스트림을 기본 계층을 통해 전송하는 단계, 그리고 상기 일부 영역의 영상 스트림을 향상 계층을 통해 전송하는 단계를 포함할 수 있다.
상기 360도 전체 영상 스트림은 방송망을 통해 전송되고, 상기 VoI 영역의 영상 스트림은 인터넷망을 통해 전송될 수 있다.
상기 360도 전체 영상 스트림을 전송하는 단계는 상기 360도 전체 영상 스트림을 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림으로 나누어 전송하는 단계를 포함할 수 있다.
상기 VoI 영역의 영상 스트림을 전송하는 단계는 상기 VoI 영역의 영상 스트림을 홀수 프레임의 VoI 영상 스트림과 짝수 프레임의 VoI 영상 스트림으로 나누어 전송하는 단계를 포함하며, 상기 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림 중 하나는 방송망을 통해 전송되고, 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림 중 다른 하나와 상기 홀수 프레임의 VoI 영상 스트림과 짝수 프레임의 VoI 영상 스트림은 인터넷망을 통해 전송될 수 있다.
상기 360도 전체 영상 스트림을 전송하는 단계는 상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림을 전송하는 단계를 포함하고, 상기 VoI 영역의 영상 스트림을 전송하는 단계는 상기 VoI 영역의 영상에 대한 좌영상 스트림과 우영상 스트림을 전송하는 단계를 포함하며, 상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림 중 하나는 방송망을 통해 전송되고, 상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림 중 다른 하나와 상기 VoI 영역의 영상에 대한 좌영상 스트림과 우영상 스트림은 인터넷망을 통해 전송될 수 있다.
본 발명의 다른 한 실시 예에 따르면, 하이브리드 망을 통하여 360도 가상현실(Virtual Reality, VR) 방송 서비스를 제공하는 장치가 제공된다. 360도 가상현실 방송 서비스 제공 장치는 입체 VR(Virtual Reality) 카메라를 통하여 획득된 영상을 토대로 360도 VR 방송 서비스를 위한 복수의 소스 입력을 획득하는 전방위 입체 VR 획득 장치, 그리고 사용자 선택 정보에 따라서 상기 복수의 소스 입력 중 적어도 하나의 소스 입력을 선택하여 상기 하이브리드 망을 통하여 전송하여, 공간적 확장, 시간적 확장 및 3D 확장 중 적어도 하나를 이용한 360도 가상현실 방송 서비스를 제공하는 방송 서버를 포함한다.
상기 방송 서버는 상기 공간적 확장을 위해 소스 입력으로 제1 해상도의 360도 전체 영상과 상기 제1 해상도보다 높은 제2 해상도의 VoI(View of Interest) 영역의 영상을 선택하며, 상기 VoI 영역의 영상은 수신 장치로부터 수신되는 사용자의 이동 정보에 따라서 상기 VoI 영역의 영상을 추출할 수 있다.
상기 방송 서버는 상기 VoI 영역의 좌우로 각각 상기 VoI 영역과 연속한 일부 영역의 영상을 상기 VoI 영역의 영상과 함께 전송하며, 상기 일부 영역은 독립적으로 부호화가 가능한 영역일 수 있다.
상기 방송 서버는 상기 VoI 영역의 영상을 기본 계층을 통해 전송하고 상기 일부 영역의 영상을 향상 계층을 통해 전송할 수 있다.
상기 방송 서버는 상기 360도 전체 영상을 홀수 프레임의 영상과 짝수 프레임의 영상으로 나누고, 상기 시간적 확장을 위해 홀수 프레임의 360도 전체 영상과 짝수 프레임의 360도 전체 영상을 선택할 수 있다.
상기 방송 서버는 상기 VoI 영역의 영상을 홀수 프레임의 VoI 영상과 짝수 프레임의 VoI 영상으로 나누고, 상기 시간적 확장을 위해 소스 입력으로 상기 홀수 프레임의 360도 전체 영상과 상기 짝수 프레임의 360도 전체 영상, 상기 홀수 프레임의 VoI 영상 및 상기 짝수 프레임의 VoI 영상을 선택하며, 상기 홀수 프레임의 360도 전체 영상과 짝수 프레임의 360도 전체 영상 중 하나는 방송망을 통해 전송하고, 상기 홀수 프레임의 360도 전체 영상과 짝수 프레임의 360도 전체 영상 중 다른 하나와 상기 홀수 프레임의 VoI 영상과 짝수 프레임의 VoI 영상은 인터넷망을 통해 전송할 수 있다.
상기 방송 서버는 상기 3D 확장을 위해 상기 소스 입력으로 상기 360도 전체 영상에 대한 좌영상과 우영상을 선택하거나, 상기 소스 입력으로 상기 360도 전체 영상에 대한 좌영상과 우영상 및 상기 VoI 영역의 영상에 대한 좌영상과 우영상을 선택하며, 상기 360도 전체 영상에 대한 좌영상과 우영상 중 하나는 방송망을 통해 전송하고, 상기 360도 전체 영상에 대한 좌영상과 우영상 중 다른 하나와 상기 VoI 영역의 영상에 대한 좌영상과 우영상은 인터넷망을 통해 전송할 수 있다.
본 발명의 또 다른 실시 예에 따르면, 수신 장치에서 360도 가상현실 방송 서비스를 제공하는 방법이 제공된다. 360도 가상현실 방송 서비스 제공 방법은 하이브리드망을 통해 제1 해상도의 360도 전체 영상 스트림을 수신하는 단계, 사용자의 선택 모드 및 이동 정보를 송신 장치로 전송하는 단계, 상기 송신 장치로부터 상기 선택 모드 및 상기 이동 정보에 따른 상기 제1 해상도보다 높은 제2 해상도의 VoI(View of Interest) 영역의 영상을 상기 하이브리드망을 통해 수신하는 단계, 그리고 상기 제1 해상도의 360도 전체 영상 스트림과 상기 제2 해상도의 VoI 영역의 영상 스트림을 복호화하여 상기 제2 해상도의 360도 가상현실 방송 서비스를 제공하는 단계를 포함한다.
상기 360도 전체 영상 스트림을 수신하는 단계는 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림을 수신하는 단계를 포함하고, 상기 VoI 영역의 영상 스트림을 수신하는 단계는 상기 VoI 영역의 영상 스트림을 홀수 프레임의 VoI 영상 스트림과 짝수 프레임의 VoI 영상 스트림을 수신하는 단계를 포함하며, 상기 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림 중 하나는 방송망을 통해 수신되고, 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림 중 다른 하나와 상기 홀수 프레임의 VoI 영상 스트림과 짝수 프레임의 VoI 영상 스트림은 인터넷망을 통해 수신될 수 있다.
360도 가상현실 방송 서비스 제공 방법은 상기 홀수 프레임의 360도 전체 영상 스트림과 상기 짝수 프레임의 360도 전체 영상 스트림 및 상기 홀수 프레임의 VoI 영상 스트림과 상기 짝수 프레임의 VoI 영상 스트림을 선택적으로 수신하여 상기 수신 장치의 성능에 맞는 프레임 레이트의 360도 가상현실 방송 서비스를 제공하는 단계를 더 포함할 수 있다.
상기 360도 전체 영상을 수신하는 단계는 상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림을 수신하는 단계를 포함하고, 상기 VoI 영역의 영상 스트림을 수신하는 단계는 상기 VoI 영역의 영상 스트림에 대한 좌영상 스트림과 우영상 스트림을 수신하는 단계를 포함하며, 상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림 중 하나는 방송망을 통해 수신되고, 상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림 중 다른 하나와 상기 VoI 영역의 영상에 대한 좌영상 스트림과 우영상 스트림은 인터넷망을 통해 수신될 수 있다.
상기 360도 가상현실 방송 서비스 제공 방법은 상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림 및 상기 VoI 영역의 영상 스트림에 대한 좌영상 스트림과 우영상 스트림을 선택적으로 수신하여 360도 입체 가상현실 방송 서비스를 제공하는 단계를 더 포함할 수 있다.
본 발명의 실시 예에 의하면, 기존 디지털 방송 플랫폼 또는 ATSC 3.0 방송 플랫폼을 기반으로 시청자에게 UHD 방송서비스을 제공하면서 FHD 360도(전방위) VR 방송 서비스, 4K 전방위 VR 방송 서비스, FHD 전방위 입체 VR 방송 서비스 및 4K 전방위 입체 VR 방송서비스를 제공하기 위한 송신 장치의 소스 입력을 효율적으로 제공하는 방법을 제시함으로써 다양한 실감 방송 서비스를 위한 송수신 시스템 개발에 적용될 수 있다.
도 1은 본 발명의 실시 예에 따른 공간적 확장을 이용한 360도 VR 방송 서비스의 개념을 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 VoI 영역의 영상 전송 방법의 일 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 시간적 확장을 이용한 360도 VR 방송 서비스의 개념을 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 3D 확장을 이용한 360도 VR 방송 서비스의 개념을 나타낸 도면이다.
도 5는 본 발명의 실시 예에 따른 360도 VR 방송 서비스를 제공하는 방송 시스템의 개념도이다.
도 6은 도 5에 도시된 방송 시스템의 방송 서비스 제공 예를 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따른 전방위 입체 VR 인코더의 구조를 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 전방위 입체 VR 인코더의 처리 동작을 나타낸 도면이다.
도 9는 본 발명의 실시 예에 따른 입체 VR 방송 서버의 구조를 나타낸 도면이다.
도 10은 본 발명의 실시 예에 따른 전방위 입체 VR 수신 장치의 구조를 나타낸 도면이다.
도 11은 본 발명의 실시 예에 따른 방송 시스템에서의 방송 서비스 제공 방법의 일 예를 설명하는 흐름도이다.
도 12는 본 발명의 실시 예에 따른 방송 시스템에서 VoI 영역의 고해상도 영상을 전송하는 방법을 설명하는 흐름도이다.
도 13은 본 발명의 실시 예에 따른 전방위 입체 VR 수신기에서의 360도 방송 서비스 제공 방법의 일 예를 설명하는 흐름도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이제 본 발명의 실시 예에 따른 360도 가상현실(virtual reality, VR) 방송 서비스 제공 방법 및 장치에 대하여 도면을 참고로 하여 상세하게 설명한다.
본 발명의 실시 예에 따른 하이브리드 망을 이용한 360도 VR 방송 서비스 제공 방식에서는 공간적 확장, 시간적 확장, 3D 확장이 고려될 수 있다.
공간적 확장은 방송 서비스를 수신하는 단말이 갖고 있는 해상도에 맞춰 최적의 해상도를 위한 소스 입력을 단말에 제공하는 것이다. 예를 들면, 2K 360도 영상을 전송하면서 화면에 보이는 영역만 4K 해상도로 높여 선택적으로 영역별 360도 영상을 전송할 수 있게 하여 화면에 보이는 영역에 대한 360도 영상의 해상도를 높일 수 있다.
시간적 확장은 단말이 갖고 있는 성능에 맞춰 프레임 레이트를 조절할 수 있도록 전송단의 소스 입력을 짝수 프레임/필드(even frame/field)와 홀수 프레임/필드(odd frame/field)로 나누어 구성하는 것이다. 예를 들면, 60fps(frame per second)를 갖는 짝수 프레임과 60fps를 갖는 홀수 프레임을 전송함으로써, 단말에서는 선택적으로 60fps와 120fps로 360도 VR 영상을 재생할 수 있다.
3D 확장은 단말이 갖고 있는 3D 성능에 맞춰 전송되는 소스 입력을 선택적으로 이용하여 단말에서 2D/3D 전환을 통해 360도 3D 영상을 재생하는 것이다.
시간적, 공간적, 3D 확장의 기능을 위해 영상 부호화 방식은 기존의 H.264/AVC(Advanced Video Coding), H.265/HEVC(High Efficiency Video Coding), MV-HEVC, SHVC(Scalable HEVC), SVC 중 어느 것을 사용해도 되며, 선택된 부호화 방식은 단지 전송단에서 전송된 소스 입력에 대해서만 영향을 미치게 된다.
이러한 개념은 기존 방송망에서 사용하는 2D 소스 입력에 대해 기존 단말에서의 호환성을 유지할 수 있게 해줌과 동시에 새로운 360도 VR 영상 서비스를 손쉽게 개시할 수 있다는 이점이 있다.
좀 더 자세하게는 도 1, 도 3 및 도 4와 같이 공간적 확장, 시간적 확장 및 3D 확장을 통해서 각각의 방송 서비스가 구성될 수 있다.
도 1은 본 발명의 실시 예에 따른 공간적 확장을 이용한 360도 VR 방송 서비스의 개념을 나타낸 도면이다.
도 1을 참고하면, FHD(Full High Definition) 360도 60P 영상(video)이 방송망 또는 IP망을 통해서 전송된다. 60P는 60fps를 나타낸다. FHD 360도 60P 영상은 단말이 최소 FHD 복호화 능력과 낮은 해상도를 갖춘 단말에 대해서만 적용될 수 있다. 이때 최대 4K 이상의 해상도와 복호화 능력을 갖춘 단말이 있다면, 전송단의 소스 입력으로서 FHD 360도 60P 영상과 4K/VoI(View of Interest) 60P 영상을 사용하면, 단말에서 FHD 360도 60P 영상과 4K/VoI 60P 영상을 수신하여 이를 복호화함으로써, 시점당 4K 해상도의 360도 60P 영상을 재생할 수 있게 된다. 4K/VoI 60P 영상은 IP 망을 통해 전송된다.
여기서, VoI란 360도 60P 영상 중 화면상에 보이는 부분, 즉 사용자가 HMD(Head Mounted Display)와 같은 기기를 사용했을 경우, 머리의 회전을 통해 보이는 영역을 의미하게 된다. 따라서 해상도가 높은 360도 전체 영상을 전송하여 단말에서 전체를 다 복호화 할 필요 없이, VoI 영역에 대해서만 해상도가 높은 영상을 전송하고, 단말에서 VoI 영역의 영상에 대해서만 복호화함으로써 단말의 복잡도를 크게 줄일 수 있는 효과가 있다. 이때 기본 계층(base layer)으로 FHD 360도 60P 영상을 전송하고, 향상 계층(enhancement layer)으로 4K/VoI 60P 영상을 전송할 수 있다. 이렇게 하면, 향상 계층으로 4K 360도 60P 영상을 모두 전송하지 않아도 되므로, 영상의 데이터량을 줄일 수 있다. 또한 향상 계층에 대해 SHVC를 사용할 수 있어 기본 계층으로 FHD 360도 60P 영상을 전송하고, 향상 계층으로 잔차 영상만 전송함으로써 영상의 데이터량을 줄일 수 있다.
또한 사용자의 상호 작용에 따라 VoI 영역의 영상만을 전송할 경우, 전송에서 발생하는 지연이 있을 수 있으며, 본 발명의 실시 예에서는 전송 시 VoI 영역보다 좌우로 더 큰 영역의 영상을 전송함으로써, 그 지연을 최소화 할 수 있다.
도 2는 본 발명의 실시 예에 따른 VoI 영역의 영상 전송 방법의 일 예를 나타낸 도면이다.
도 2를 참고하면, 360도 VR 방송 서비스를 제공하는 장치는 공간적 확장 서비스를 위해 360도(전방위) VR 전체 영상을 기본 계층으로 전송하고, 사용자 상호작용에 따라 선택된 VoI 영역의 VR 영상을 향상 계층(enhance layer)으로 전송할 수 있다. 예를 들면, HD 또는 4K 영상으로 360도 VR 전체 영상이 기본 계층으로 전송되고, 12K 360도 VR 영상 중에서 사용자 상호작용에 따라 선택된 VoI 영역의 4K 360도 VR 영상이 향상 계층으로 전송된다. 이때 전송 지연을 고려하여 VoI 영역의 좌우로 추가적인 영역의 영상(예를 들면, 1K 영상)이 향상 계층으로 전송될 수 있다. 이를 위해, 12K 360도 VR 영상은 부분적인 영역의 영상만으로도 복호화가 될 수 있도록 VoI 영역보다 더 작게 영역의 영상으로 구성되는데, 이 영역을 독립 부호화 영역이라 부른다. 이러한 독립 부호화 영역이 모여 VoI 영역이 구성되며, 전송 지연을 고려하여 VoI 영역의 좌우로 여분의 독립 부호화 영역의 영상을 추가적으로 전송하게 된다. VoI 영역의 좌우로 여분의 독립 부호화 영역이 추가된 영역을 방향성 영역이 포함된 VoI 영역이라 한다.
그러면, 단말에서는 사용자가 보는 시점의 영역 즉, VoI 재현 영역의 영상이 재생된다.
도 3은 본 발명의 실시 예에 따른 시간적 확장을 이용한 360도 VR 방송 서비스의 개념을 나타낸 도면이다.
도 3을 참고하면, 기존 방송망 또는 IP 망을 통해 FHD 360도 60P 서비스를 제공하고 있다면, 시간적 확장을 통해서 두 가지 서비스를 제공할 수 있다.
첫째, 본 발명의 실시 예에 따른 장치는 공간 해상도 증대 없이 60P에서 120P로 시간적 해상도만을 증대시킬 수 있다. 120P를 복호화 할 수 있는 단말에서는 FHD 360 60P 짝수 프레임/필드(even frame/field)[FHD 360도 60P(L1)]와 더불어 FHD 360 60P 홀수 프레임/필드[FHD 360도 60P(L2)] 영상을 수신하여 FHD 360 120P 영상을 재생할 수 있다.
둘째, 본 발명의 실시 예에 따른 장치는 공간 해상도 증가와 함께 시간적 확장도 함께 하는 서비스를 제공할 수 있다. 이때는 기본 계층으로 FHD 360도 60P(L1) 영상과 FHD 360도 60P(L2) 영상을 전송하고, 공간적 확장을 위한 4K/VoI 60P(L1) 영상과 4K/VoI 60P(L2) 영상을 향상 계층으로 전송함으로써, 단말에서는 FHD 360도 60P(L1) 영상과 FHD 360도 60P(L2) 영상 및 4K/VoI 60P(L1) 홀수 프레임 영상과 더불어 4K/VoI 60P(L2) 짝수 프레임 영상을 수신하여 시간적 및 공간적 확장이 된 4K/VoI 360도 120P 영상을 제공할 수 있다.
도 4는 본 발명의 실시 예에 따른 3D 확장을 이용한 360도 VR 방송 서비스의 개념을 나타낸 도면이다.
도 4를 참고하면, 기존 FHD 360도 60P(L1) 영상이 방송망 또는 IP망을 통해서 전송되면, 기존의 단말에서 FHD 360도 VR 영상 재생이 가능하다. 이와 더불어, 두 가지 종류의 3D 확장 서비스가 가능하다.
첫째, 본 발명의 실시 예에 따른 360도 VR 방송 서비스를 제공하는 장치는 FHD 360도 좌영상[FHD 360 60P(L1)]과 FHD 360도 우영상[FHD 360 60P(R)]을 전송함으로써, 단말에서는 3D FHD 360도 60P 영상 재생이 가능하다. 즉 FHD 360도 좌영상[FHD 360 60P(L1)]이 방송망 또는 IP 망을 통해 전송되고, FHD 360도 우영상[FHD 360 60P(R)]이 IP 망을 통해 전송되어, 단말에서는 3D FHD 360도 60P 영상 서비스를 제공할 수 있다.
둘째, 본 발명의 실시 예에 따른 360도 VR 방송 서비스를 제공하는 장치는 기본 계층으로 FHD 360도 좌영상[FHD 360 60P(L1)]과 FHD 360도 우영상[FHD 360 60P(R)]을 전송하고, 공간적 확장을 위한 좌우 시점 영상[4K/VoI 60P(L1), 4K/VoI 60P(R)]을 향상 계층으로 전송함으로써, 단말에서는 3D 4K/VoI 360도 60P 영상 서비스가 가능하게 된다. 공간적 확장을 위한 좌우 시점 영상[4K/VoI 60P(L1), 4K/VoI 60P(R)]은 IP망을 통해서 전송된다.
최근 방송 시스템은 지상파/케이블/IPTV 등 다양한 디지털방송서비스 플랫폼을 그대로 포함할 수 있는 기술로 발전하고 있다. 최신 방송 표준인 북미의 ATSC(Advanced Television Systems Committee) 3.0은 기존 방송망과 인터넷 망을 함께 고려한 하이브리드 망을 기반으로 방송규격이 정의되어 있다. 보다 구체적으로는 하나의 서비스를 위해 PLP(Physical Layer Pipe)의 방송 채널과 IP 채널이 다양하게 조합된 하이브리드망(방송망과 인터넷망)을 통해서 제공될 수 있게 되었다.
따라서 본 발명의 실시 예에 따른 공간적 확장, 시간적 확장, 3D 확장을 이용한 360도 VR 방송 서비스가 방송망과 IP 망을 함께 사용하는 하이브리드 망을 통해 이루어진다면, 도 5와 같이 구현될 수 있다.
도 5는 본 발명의 실시 예에 따른 360도 VR 방송 서비스를 제공하는 방송 시스템의 개념도로서, 하이브리드망 기반의 방송 플랫폼을 통하여 본 발명의 실시 예에 따른 360도 VR 방송 서비스를 기존의 2D UHD 방송 서비스와 연동하여 제공하는 방송 시스템을 나타낸다. 도 6은 도 5에 도시된 방송 시스템의 방송 서비스 제공 예를 나타낸 도이다.
도 5를 참고하면, 360도 VR 방송 서비스를 제공하는 장치에 해당하는 방송 시스템(1)은 전방위 입체 VR 획득 장치(10), HEVC(High Efficiency Video Codec) 인코더(20), 전방위 입체 VR 인코더(30), 입체 VR 방송 서버(40)을 포함하며, 방송 시스템(1)으로부터 제공되는 방송 서비스를 입체 VR 수신 장치(2)가 수신한다. 입체 VR 수신 장치(2)는 예를 들면, 단말이나 TV 등이 될 수 있다.
본 발명의 실시 예에서는 하이브리드망 기반의 방송 플랫폼을 통하여 다양한 방송 서비스를 제공하며, 예를 들어, 앞에서 설명한 소스 입력들을 토대로 UHD 방송 서비스, FHD 360도 VR 방송 서비스, 4K 360도 VR 방송 서비스 및 360도 전방위 입체 VR 방송 서비스 등을 제공할 수 있다.
방송 플랫폼은 지상파/케이블/IPTV(Internet Protocol TV) 등 다양한 디지털 방송 서비스 플랫폼일 수 있으며, 최근 표준으로 제정된 ATSC 3.0 기반의 서비스 플랫폼까지 포함할 수 있다. 하이브리드 망은 다양한 채널 또는 PLP(Physical Layer Pipe)의 방송 채널과 IP 채널이 결합되어 구성된다.
전방위 입체 VR 획득 장치(10)는 소정 해상도(예를 들어, 4K 해상도)를 지원하는 입체 VR 카메라를 통하여 획득된 영상을 토대로 영상 데이터를 출력한다. 전방위 입체 VR 획득 장치(10)는 예를 들어, UHD 영상 데이터, 360도 VR 좌영상 데이터 및 360도 VR 우영상 데이터를 출력할 수 있다. 하나의 카메라에서 촬영된 영상이 그대로 UHD 영상 데이터로 사용되거나, 360도 VR에서 일부 영역의 영상이 UHD 영상 데이터에 적용 될 수 있다.
HEVC 인코더(20)는 UHD 영상 데이터를 부호화한다. UHD 영상 데이터는 ATSC3.0 방송 플랫폼에 그대로 적용됨으로써 역 호환성을 제공할 수 있다. HEVC 인코더(20) 대신에 다른 방식의 부호화를 사용하는 인코더가 사용될 수 있다.
전방위 입체 VR 인코더(30)는 360도 VR 좌영상 데이터와 360도 VR 우영상 데이터를 부호화한다.
도 7은 본 발명의 실시 예에 따른 전방위 입체 VR 인코더의 구조를 나타낸 도면이며, 도 8은 본 발명의 실시 예에 따른 전방위 입체 VR 인코더의 처리 동작을 나타낸 도면이다.
도 7에서와 같이, 본 발명의 실시 예에 따른 전방위 입체 VR 인코더(30)는 제1 기본 계층 부호 처리부(31), 제1 향상 계층 부호 처리부(32), 제2 기본 계층 부호 처리부(33), 및 제2 향상 계층 부호 처리부(34)를 포함한다.
이러한 구조로 이루어지는 전방위 입체 VR 인코더(30)는 HEVC 기반으로 360도 VR 좌영상 데이터와 360도 VR 우영상 데이터를 부호화하여, 기본 계층의 스트림과 향상 계층의 스트림을 출력한다. 기본 계층의 스트림은 FHD 전방위(360도) 영상 스트림으로 구성되며, 향상 계층의 스트림은 사용자 선택 또는 VoI 영역에 대하여 고해상도(예를 들어, 4K 이상의 고해상도) 화질을 제공하기 위한 향상 스트림을 포함한다.
도 8에서와 같이, 전방위 입체 VR 인코더(30)의 제1 기본 계층 부호 처리부(31)는 입력되는 360도 VR 좌영상 데이터를 HEVC로 부호화하여 좌영상의 기본 계층의 스트림을 형성하며, 제1 향상 계층 부호 처리부(32)는 VoI별로 제1 기본 계층 부호 처리부(31)로부터 출력되는 기본 계층의 정보를 참조하여 향상 스트림을 부호화하여 좌영상의 향상 계층의 스트림을 형성한다. 이때 사용자가 선택한 VoI 기반의 향상 스트림은 VoI별로 최소 4K 해상도를 가진다. 이에 따라, FHD 전방위 좌영상 스트림과 VoI별 좌영상 향상계층 스트림(1~N)이 출력된다.
또한 전방위 입체 VR 서비스를 제공하기 위하여, 제2 기본 계층 부호 처리부(33)는 360도 VR 좌영상 데이터를 참조하여, 입력되는 360도 VR 우영상 데이터를 부호화하여 우영상의 기본 계층의 스트림을 형성한다. 그리고 제2 향상 계층 부호 처리부(34)는 제2 기본 계층 부호 처리부(33)로부터 출력되는 기본 계층의 정보뿐만 아니라 제1 향상 계층 부호 처리부(32)로부터 제공되는 좌영상의 향상 계층의 정보를 참조하여 향상 스트림을 부호화하여 우영상의 향상 계층의 스트림을 형성한다. 이에 따라, FHD 전방위 우영상 스트림과 VoI별 우영상 향상계층 스트림(1~N)이 출력된다.
이와 같이 동작하는 전방위 입체 VR 인코더(30)는 기존 FHD 360도 VR 기기와의 역 호환성을 제공한다.
한편, 입체 VR 방송 서버(40)는 HEVC인코더(20) 및 전방위 입체 VR 인코더(30)로부터 제공되는 스트림을 토대로 방송 서비스를 제공한다. 입체 VR 방송 서버(40)는 HEVC 인코더(20) 및 전방위 입체 VR 인코더(30)로부터 제공되는 스트림 중에서 입체 VR 수신 장치(2)로 제공할 방송 서비스에 맞게 전송할 소스 영상 및 채널을 선택하여 전송한다. 예를 들면, 입체 VR 방송 서버(40)는 기존의 2D UHD 방송과 더불어 HEVC 인코더(20) 및 전방위 입체 VR 인코더(30)로부터 제공되는 소스 영상 스트림을 전송하면, 도 1, 도 3 및 도 4에서 설명한 바와 같이 공간적 확장, 시간적 확장 및 3D 확장된 방송 서비스를 제공할 수 있다.
입체 VR 수신 장치(2)에서는 입체 VR 수신 장치(2)의 능력에 맞게 입체 VR 방송 서버(40)에서 전송한 소스 영상 스트림을 이용하여 다양한 방송 서비스를 재생할 수 있게 된다.
도 9는 본 발명의 실시 예에 따른 입체 VR 방송 서버의 구조를 나타낸 도이다.
도 9를 참고하면, 본 발명의 실시 예에 따른 입체 VR 방송 서버(40)는 제1 전송 처리부(41), 제2 전송 처리부(42) 및 전송 서버(43)를 포함한다.
본 발명의 실시 예에 따른 입체 VR 방송 서버(40)는 방송 플랫폼(예를 들어, ATSC3.0 방송 플랫폼)을 토대로 전방위 입체 VR 방송 서비스를 제공한다.
이를 위하여, 제1 전송 처리부(41)는 HEVC 인코더(20)로부터 출력되는 부호화된 UHD 영상 데이터 즉, UHD 스트림(4K UHD 스트림)과 전방위 입체 VR 인코더(30)로부터 출력되는 FHD 360도 좌영상 스트림을 각각 다중화하여 방송 서비스를 제공하는 채널로 전송한다. 구체적으로, 제1 전송 처리부(41)는 UHD 스트림을 기존 ROUTE(Real-time Object Delivery over Unidirectional Transport) 또는 MMTP(MPEG Media Transport Protocol)로 다중화 하여 전송 스트림을 생성하고 이를 방송망 예를 들어, UHD TV 방송 서비스를 제공하기 위한 채널 또는 PLP(physical layer pipes)를 통하여 전송한다. 또한 제1 전송 처리부(41)는 FHD 360도 좌영상 스트림을 UHD 스트림과 마찬가지로, ROUTE 또는 MMT로 다중화하여 전송 스트림을 생성하며 이를 UHD TV 방송 서비스를 제공하기 위한 채널 또는 모바일 PLP로 전송한다. 이와 같이, 방송망을 통하여 FHD 360도 영상 스트림을 추가적으로 전송함으로써, 시청자는 UHD 방송 서비스뿐만 아니라 다양한 스마트 모바일 기기에서 VR 서비스를 제공받을 수 있게 된다. 또한, PLP로 전송되는 다중화된 전송 스트림은 IP 망으로 전송되는 360도 우영상 스트림 및 VoI별 좌/우영상 향상계층 스트림에 대한 정보를 기술하는 MPD(Media Presentation Description) 경로 정보를 포함한다.
제2 전송 처리부(42)는 전방위 입체 VR 인코더(30)로부터 제공되는 FHD 360도 우영상 스트림, VoI별 좌영상 향상계층 스트림 및 VoI별 우영상 향상계층 스트림을 IP 망을 통하여 전송하기 위한 스트림으로 처리한다. 구체적으로, 제2 전송 처리부(42)는 FHD 360도 우영상 스트림을 소정 파일 포맷[예를 들어, ISOBMFF(ISO based Media File Format)] 또는 전송 스트림(Transport Stream, TS)으로 처리하여 전송 서버(43)로 제공한다.
전송 서버(43)는 제2 전송 처리부(42)로부터 제공되는 스트림을 IP 망을 통하여 전송한다. 시청자가 FHD 360도 입체 VR 방송 서비스를 제공받길 원하는 경우, 전송 서버(43)는 IP 망을 통하여 FHD 360도 우영상 파일을 MPEG-DASH(Dynamic Adaptive Streaming over HTTP)에 따라 다수의 세그먼트(segment)들로 분할하여 전송한다. 이러한 전송 서버(43)는 DASH 서버라고도 명명될 수 있다.
한편, VoI별 좌/우영상 향상계층 스트림은 시청자가 선택 또는 VoI에 대하여 고해상도의 화질을 제공하기 위한 정보를 포함한 것이며, 제2 전송 처리부(42)는 VoI 개수에 따라 VoI별 좌/우영상 향상계층 스트림을 소정 포맷 파일(예를 들면, ISOBMFF) 또는 TS 파일로 변환하여 전송 서버(43)에 저장한다.
전송 서버(43)는 전방위 입체 VR 방송 서비스를 원할 경우, IP 망을 통하여 FHD 전방위 VR 우영상 스트림과 VoI별 좌/우영상 향상계층 스트림을 모두 전송한다.
따라서, 시청자는 방송망을 통하여 전송된 FHD 360도 영상을 토대로 FHD 화질의 전방위 VR 방송 서비스를 제공받으면서, 시청자가 선택 또는 주시하고 있는 VoI 영역의 화면에 대해서는 IP 망을 통하여 VoI별 좌/우영상 향상계층 스트림을 제공받음에 따라 4K 고화질의 360도 VR 방송 서비스를 제공받게 된다.
또한 VoI에 대하여 시청자가 4K 고화질의 360도 입체 VR 방송 서비스를 원할 경우 시청자 요청에 따라 전송 서버(43)는 IP 망을 통하여 FHD 360도 VR 우영상 스트림, VoI별 좌/우영상 향상계층 스트림을 모두 전송하게 된다. 이와 같이, 방송망을 통하여 UHD 및 FHD 360도 영상을 제공함과 동시에 시청자 요청에 따라 해당 스트림을 IP 망을 통해 전송함으로써 시청자에게 몰입감 및 사실감을 극대화 할 수 있는 실감 미디어를 제공하게 된다. 또한 전송 서버(43)는 ATSC 3.0과 같은 방송플랫폼을 그대로 유지하면서 기존의 다양한 단말과의 역 호환성을 제공할 수 있으며, FHD 또는 4K 360도 VR 방송 서비스, FHD 또는 4K 360도 입체 VR 방송 서비스를 제공할 수 있다.
다음에는 수신 장치의 구조에 대하여 설명한다.
도 10은 본 발명의 실시 예에 따른 전방위 입체 VR 수신 장치의 구조를 나타낸 도면이다.
도 10을 참고하면, 본 발명의 실시 예에 따른 전방위 입체 VR 수신 장치(2)는 역다중화기(21), 제1 및 제2 HEVC 디코더(22, 23), 클라이언트 처리부(24) 및 재생기(25)를 포함한다.
역다중화기(21)는 UHD TV 방송 서비스를 제공하기 위한 채널 또는 PLP를 통하여 수신되는 스트림을 역다중화한다. 구체적으로, 방송 시스템(1)으로부터 전송되는 UHD 스트림 및 FHD 360도 좌영상 스트림을 역다중화(예를 들어, ROUTE 또는 MMT기반 역다중화)한다.
제1 HEVC 디코더(22)는 역다중화기(21)로부터 출력되는 스트림을 디코딩하여 UHD 영상을 출력한다. 제2 제1 HEVC 디코더(23)는 역다중화기(21)로부터 출력되는 스트림을 디코딩하여 FHD 360도 VR 좌영상을 출력한다.
클라이언트 처리부(24)는 IP 망을 통하여 수신되는 스트림 및 전송 파일을 처리하여, FHD 360도 우영상 및 VoI별 좌/우영상 향상계층 영상을 출력한다.
이를 위하여, 클라이언트 처리부(24)는 도 10에서와 같이, MPD 관리부(manager)(241), 세그먼트 관리부(242), MPD 분석기(analyzer)(243), 세그먼트 파일 파싱부(parser)(244), 및 전방위 입체 VR 디코더(245)를 포함한다.
MPD 관리부(241)는 방송망으로 전송된 MPD URI로부터 획득된 경로 정보를 토대로 초기 세그먼트(Initial segment) 파일 요청 및 주기적으로 MPD를 갱신 및 /관리하는 기능을 수행한다. 경로 정보는 역다중화기(21)로부터 제공받는다. 또한 MPD 관리부(241)는 세그먼트 관리부(242)로부터 전달받은 정보를 토대로 사용자 인터랙션에 따른 FHD 360도 우영상) 스트림 또는 VoI별 좌/우영상 향상계층 스트림에 해당하는 세그먼트 파일을 요청하는 기능을 수행한다.
세그먼트 관리부(242)는 현재 IP 망 조건에서 수신 가능한 세그먼트 파일 정보를 MPD 관리부(241)에 제공하며, 네트워크 상황에 따라 안정적인 서비스를 제공하기 위한 세그먼트 파일들을 스위칭하기 위한 정보를 제공한다. 또한 세그먼트 관리부(242)는 사용자 인터랙션에 따른(예를 들어, 사용자 선택 모드에 따른) FHD 360도 우영상 스트림 또는 VoI별 좌/우영상 향상계층 스트림에 해당하는 세그먼트 파일 정보를 MPD 관리부(241)에 제공한다.
MPD 분석기(243)는 방송 시스템(1)으로부터 예를 들어, MPEG-DASH 표준에 따라 전송되는 MPD 파일을 수신하고, 수신된 MPD 파일의 유효성을 확인하고, MPD에 기술된 각 미디어의 요소(Element)와 속성(Attribute) 정보를 획득하고 분석한다.
세그먼트 파일 파싱부(244)는 IP 망을 통해 전송된 전송 파일들 즉, 세그먼트 단위로 전송되는 세그먼트 파일들을 분석하고 해당 부호화 스트림을 전방위 입체 VR 디코더(245)로 전달한다.
전방위 입체 VR 디코더(245)는 세그먼트 파일 파싱부(244)로부터 전달되는 스트림 즉, FHD 360도 우영상 스트림 또는 VoI별 좌/우영상 향상계층 스트림을 복호화하여, FHD 360도 우영상 및 VoI별 좌/우영상 향상계층 영상을 출력한다.
한편, 재생기(25)는 제1 및 제2 HEVC 디코더(22, 23)로부터 각각 제공되는 UHD 영상 및 FHD 전방위 VR 좌영상, 그리고 클라이언트 처리부(24)로부터 제공되는 FHD 360도 우영상 및 VoI별 좌/우영상 향상계층 영상을 토대로, 4K UHD 영상뿐만 아니라 FHD/4K 360도 VR 영상 또는 FHD/4K 360도 입체 VR 영상을 재생한다. 이때 다양한 VR 기기 및 모바일 디바이스가 전방위 입체 VR 수신 장치(2)와 연결될 경우, 해당 수신 장치(2)는 일종의 서버역할을 수행하며 다양한 VR 및 모바일 기기는 일종의 디스플레이 역할을 하게 된다.
이러한 구조로 이루어지는 전방위 입체 VR 수신 장치(2)는 방송망을 통하여 UHD 영상 스트림 및 FHD 360도 VR 좌영상 스트림을 수신하며, 사용자 선택 모드에 따라 IP 망을 통하여 수신되는 스트림이 달라질 수 있다. 사용자 선택 모드는 4K 전방위 VR 모드, FHD 전방위 입체 VR 모드, 및 4K 전방위 입체 VR 모드를 포함하며, 각 사용자 선택 모드별로 수신되는 스트림은 다음과 같다.
-4K 전방위 VR 모드
전방위 입체 VR 수신 장치(2)는 방송 시스템(1)의 입체 VR 방송 서버(40)에 VoI별 좌영상 향상계층 스트림(세그먼트 파일)을 요청 및 수신한다.
- FHD 전방위 입체 VR 모드
전방위 입체 VR 수신 장치(2)는 방송 시스템(1)의 입체 VR 방송 서버(40)에 FHD 360도 VR 스트림(우영상 세그먼트 파일)을 요청 및 수신한다.
- 4K 전방위 입체 VR 모드
전방위 입체 VR 수신 장치(2)는 방송 시스템(1)의 입체 VR 방송 서버(40)에 FHD 360도 VR 스트림(우영상 세그먼트 파일) 및 VoI별 4K 좌/우영상 향상계층 스트림(세그먼트 파일)을 요청 및 수신한다.
도 11은 본 발명의 실시 예에 따른 방송 시스템에서의 방송 서비스 제공 방법의 일 예를 설명하는 흐름도이다.
도 11을 참고하면, 방송 시스템(1)은 입체 VR 카메라를 통하여 획득된 영상을 토대로 UHD 영상 데이터, 360도 VR 좌영상 데이터, 및 360도 VR 우영상 데이터를 생성한다(S100).
UHD 영상 데이터를 부호화하여 UHD 스트림을 생성하고(S110), 360도 VR 좌영상 데이터를 부호화하여 FHD 360도 좌영상 스트림(좌영상 기본계층 스트림이라고도 명명함)과 VoI별 좌영상 향상계층 스트림(1~N)을 생성한다(S120). 그리고 360도 VR 우영상 데이터를 부호화하여 FHD 360도 우영상 스트림(우영상 기본계층 스트림이라고도 명명함)과 VoI별 우영상 향상계층 스트림(1~N)을 생성한다(S130).
이후, 방송 시스템(1)은 UHD 스트림을 다중화하여 전송 스트림을 생성하며, FHD 360도 영상(예를 들면, 좌영상) 스트림을 다중화하여 전송 스트림을 생성한다. 그리고 생성된 전송 스트림을 방송망을 통하여 전송한다(S140, S150).
한편, 방송 시스템(1)은 FHD 360도 우영상 스트림을 소정 파일 포맷으로 처리하고 다수의 세그먼트들로 분할하여 전송 스트림을 생성한다. 그리고 시청자 선택 또는 VoI 영역에 대하여 고해상도의 화질을 제공하기 위한 정보를 포함한 VoI별 좌/우영상 향상계층 스트림을 소정 파일 포맷으로 처리하고 다수의 세그먼트들로 분할하여 전송 스트림을 생성한다. 그리고, 시청자 선택에 따라 FHD 360도 우영상 스트림과 VoI별 좌/우영상 향상계층 스트림을 선택적으로 전송한다(S160).
예를 들어, 방송 시스템(1)은 사용자 선택 모드가 4K 전방위 입체 VR 모드인 경우, 즉, 4K 고화질의 전방위 입체 VR 방송서비스를 원할 경우, IP 망을 통하여 FHD 360도 VR 우영상 스트림과 VoI별 좌/우영상 향상계층 스트림을 모두 전송한다. 또한, 사용자 선택 모드가 FHD 전방위 입체 VR 모드인 경우, IP 망을 통하여 FHD 360도 VR 우영상 스트림을 전송한다. 또한, 사용자 선택 모드가 4K 전방위 VR 모드인 경우, IP 망을 통하여 VoI별 좌영상 향상계층 스트림을 전송한다.
이와 같이 함으로써, 본 발명의 실시 예에서는 공간적, 시간적 및 3D 확장 서비스를 제공할 수 있으며, 전방위 입체 VR 수신기(2)에서는 방송 시스템(1)에서 전송한 소스 영상을 이용하여 다양한 방송 서비스를 재생할 수 있게 된다.
도 12는 본 발명의 실시 예에 따른 방송 시스템에서 VoI 영역의 고해상도 영상을 전송하는 방법을 설명하는 흐름도이다.
도 12를 참고하면, 방송 시스템(1)의 전방위 입체 VR 방송 서버(40)는 저해상도의 360도 전체 영상 스트림을 전송한다(S1210).
다음, 전방위 입체 VR 방송 서버(40)는 수신 장치(520)로부터 사용자의 머리 움직임 등과 같은 이동 정보와 사용자 선택 모드를 수신하면(S1220), 사용자 선택 모드와 이동 정보를 이용하여 해상도가 높은 VoI 영역의 영상 스트림을 추출한 후(S1230), VoI 영역의 영상 스트림을 IP 망을 통해 전송할 수 있다(S1240).
전방위 입체 VR 방송 서버(40)는 도 2에서 설명한 바와 같이 VoI 영역보다 좌우로 더 큰 영역의 영상 스트림을 전송할 수 있으며, VoI 영역의 영상 스트림을 처리하여 기본 계층으로 전송하고, VoI 영역의 좌우로 추가되는 독립 부호화 영역의 영상 스트림을 처리하여 향상 계층으로 전송할 수 있다.
이렇게 하면, 단말에서는 최초에 기본 계층의 저해상도의 360 영상을 수신 받아 재생하고, 단말의 이동 정보에 따라서 향상 계층을 통해 VoI 영역의 해상도가 높은 영상을 수신함으로써, VoI 영역의 영상을 높은 해상도로 재생하게 된다. 이때 사용자가 고개를 돌려 다른 영역에 있는 영상을 보면 기본 계층의 영상을 보게 되고, 다시 이동 정보를 토대로 해당 영역의 높은 해상도의 영상이 수신되어, 단말에서는 바로 VoI 영역의 영상을 높은 해상도로 재생할 수 있다.
도 13은 본 발명의 실시 예에 따른 전방위 입체 VR 수신기에서의 360도 방송 서비스 제공 방법의 일 예를 설명하는 흐름도이다.
도 13을 참고하면, 전방위 입체 VR 수신기(2)는 저해상도의 360도 전체 영상 스트림을 수신한다(S1310).
전방위 입체 VR 수신기(2)는 사용자 선택 모드의 정보를 전방위 입체 VR 방송 서버(40)로 전송한다(S1320). 또한 전방위 입체 VR 수신기(2)는 사용자의 이동 정보를 감지하고, 사용자의 이동 정보를 전방위 입체 VR 방송 서버(40)로 전송한다(S1330).
전방위 입체 VR 수신기(2)는 전방위 입체 VR 방송 서버(40)로부터 사용자 선택 모드의 정보와 이동 정보에 따른 고해상도의 VoI 영역의 영상 스트림을 수신하면(S1340), 전방위 입체 VR 수신기(2)의 복호화 능력에 따라서 저해상도의 360도 전체 영상 스트림과 고해상도의 VoI 영역의 영상 스트림을 복호화함으로써, 공간적으로 확장된 360도 방송 서비스를 제공할 수 있다(S1350).
또한 전방위 입체 VR 방송 서버(40)에서 사용자 선택 모드의 정보에 따라 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림 및 홀수 프레임의 VoI 영상 스트림과 짝수 프레임의 VoI 영상 스트림을 전송한 경우, 전방위 입체 VR 수신기(2)의 성능에 따라 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림 및 홀수 프레임의 VoI 영상 스트림과 짝수 프레임의 VoI 영상 스트림을 선택하여 시간적으로 확장된 360도 방송 서비스를 제공할 수 있다.
또한 전방위 입체 VR 방송 서버(40)에서 사용자 선택 모드의 정보에 따라 360도 전체 영상에 대한 좌영상 스트림과 우영상 스트림 및 VoI 영역의 영상에 대한 좌영상 스트림과 우영상 스트림을 전송한 경우, 전방위 입체 VR 수신기(2)의 3D 성능에 따라 360도 전체 영상에 대한 좌영상 스트림과 우영상 스트림 및 VoI 영역의 영상에 대한 좌영상 스트림과 우영상 스트림을 선택함으로써, 360도 입체 방송 서비스를 제공할 수 있다.
이때 송신 장치(510)에서 입력 소스로서 360도 VR 영상을 사용하면, 360도 VR 방송 서비스의 제공이 가능하다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.

Claims (20)

  1. 송신 장치에서 하이브리드 망을 통하여 360도 가상현실(Virtual Reality, VR) 방송 서비스를 제공하는 방법으로서,
    입체 VR 카메라를 통하여 획득된 영상을 이용하여 제1 해상도의 360도 전체 영상 스트림을 전송하는 단계,
    수신 장치로부터 사용자의 선택 모드 및 이동 정보를 수신하는 단계, 그리고
    상기 선택 모드 및 상기 이동 정보에 따라서 상기 제1 해상도와 다른 제2 해상도의 VoI(View of Interest) 영역의 영상 스트림을 전송하는 단계
    를 포함하는 360도 가상현실 방송 서비스 제공 방법.
  2. 제1항에서,
    상기 VoI 영역의 영상 스트림을 전송하는 단계는 상기 VoI 영역의 좌우로 각각 상기 VoI 영역과 연속한 일부 영역의 영상 스트림을 상기 VoI 영역의 영상 스트림과 함께 전송하는 단계를 포함하는 360도 가상현실 방송 서비스 제공 방법.
  3. 제2항에서,
    상기 일부 영역은 독립적으로 부호화가 가능한 영역이며, 상기 VoI 영역보다 작게 구성되는 360도 가상현실 방송 서비스 제공 방법.
  4. 제2항에서,
    상기 일부 영역의 영상 스트림을 상기 VoI 영역의 영상 스트림과 함께 전송하는 단계는
    상기 VoI 영역의 영상 스트림을 기본 계층을 통해 전송하는 단계, 그리고
    상기 일부 영역의 영상 스트림을 향상 계층을 통해 전송하는 단계를 포함하는 360도 가상현실 방송 서비스 제공 방법.
  5. 제1항에서,
    상기 360도 전체 영상 스트림은 방송망을 통해 전송되고, 상기 VoI 영역의 영상 스트림은 인터넷망을 통해 전송되는 360도 가상현실 방송 서비스 제공 방법.
  6. 제1항에서,
    상기 360도 전체 영상 스트림을 전송하는 단계는 상기 360도 전체 영상 스트림을 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림으로 나누어 전송하는 단계를 포함하는 360도 가상현실 방송 서비스 제공 방법.
  7. 제6항에서
    상기 VoI 영역의 영상 스트림을 전송하는 단계는 상기 VoI 영역의 영상 스트림을 홀수 프레임의 VoI 영상 스트림과 짝수 프레임의 VoI 영상 스트림으로 나누어 전송하는 단계를 포함하며,
    상기 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림 중 하나는 방송망을 통해 전송되고, 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림 중 다른 하나와 상기 홀수 프레임의 VoI 영상 스트림과 짝수 프레임의 VoI 영상 스트림은 인터넷망을 통해 전송되는 360도 가상현실 방송 서비스 제공 방법.
  8. 제1항에서,
    상기 360도 전체 영상 스트림을 전송하는 단계는 상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림을 전송하는 단계를 포함하고,
    상기 VoI 영역의 영상 스트림을 전송하는 단계는 상기 VoI 영역의 영상에 대한 좌영상 스트림과 우영상 스트림을 전송하는 단계를 포함하며,
    상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림 중 하나는 방송망을 통해 전송되고, 상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림 중 다른 하나와 상기 VoI 영역의 영상에 대한 좌영상 스트림과 우영상 스트림은 인터넷망을 통해 전송되는 360도 가상현실 방송 서비스 제공 방법.
  9. 하이브리드 망을 통하여 360도 가상현실(Virtual Reality, VR) 방송 서비스를 제공하는 장치로서,
    입체 VR(Virtual Reality) 카메라를 통하여 획득된 영상을 토대로 360도 VR 방송 서비스를 위한 복수의 소스 입력을 획득하는 전방위 입체 VR 획득 장치, 그리고
    사용자 선택 정보에 따라서 상기 복수의 소스 입력 중 적어도 하나의 소스 입력을 선택하여 상기 하이브리드 망을 통하여 전송하여, 공간적 확장, 시간적 확장 및 3D 확장 중 적어도 하나를 이용한 360도 가상현실 방송 서비스를 제공하는 방송 서버
    를 포함하는 360도 가상현실 방송 서비스 제공 장치.
  10. 제9항에서,
    상기 방송 서버는 상기 공간적 확장을 위해 소스 입력으로 제1 해상도의 360도 전체 영상과 상기 제1 해상도보다 높은 제2 해상도의 VoI(View of Interest) 영역의 영상을 선택하며, 상기 VoI 영역의 영상은 수신 장치로부터 수신되는 사용자의 이동 정보에 따라서 상기 VoI 영역의 영상을 추출하는 360도 가상현실 방송 서비스 제공 장치.
  11. 제10항에서,
    상기 방송 서버는 상기 VoI 영역의 좌우로 각각 상기 VoI 영역과 연속한 일부 영역의 영상을 상기 VoI 영역의 영상과 함께 전송하며,
    상기 일부 영역은 독립적으로 부호화가 가능한 영역인 360도 가상현실 방송 서비스 제공 장치.
  12. 제10항에서,
    상기 방송 서버는 상기 VoI 영역의 영상을 기본 계층을 통해 전송하고 상기 일부 영역의 영상을 향상 계층을 통해 전송하는 360도 가상현실 방송 서비스 제공 장치.
  13. 제9항에서,
    상기 방송 서버는 상기 360도 전체 영상을 홀수 프레임의 영상과 짝수 프레임의 영상으로 나누고, 상기 시간적 확장을 위해 홀수 프레임의 360도 전체 영상과 짝수 프레임의 360도 전체 영상을 선택하는 360도 가상현실 방송 서비스 제공 장치.
  14. 제13항에서,
    상기 방송 서버는 상기 VoI 영역의 영상을 홀수 프레임의 VoI 영상과 짝수 프레임의 VoI 영상으로 나누고, 상기 시간적 확장을 위해 소스 입력으로 상기 홀수 프레임의 360도 전체 영상과 상기 짝수 프레임의 360도 전체 영상, 상기 홀수 프레임의 VoI 영상 및 상기 짝수 프레임의 VoI 영상을 선택하며, 상기 홀수 프레임의 360도 전체 영상과 짝수 프레임의 360도 전체 영상 중 하나는 방송망을 통해 전송하고, 상기 홀수 프레임의 360도 전체 영상과 짝수 프레임의 360도 전체 영상 중 다른 하나와 상기 홀수 프레임의 VoI 영상과 짝수 프레임의 VoI 영상은 인터넷망을 통해 전송하는 360도 가상현실 방송 서비스 제공 장치.
  15. 제9항에서,
    상기 방송 서버는 상기 3D 확장을 위해 상기 소스 입력으로 상기 360도 전체 영상에 대한 좌영상과 우영상을 선택하거나, 상기 소스 입력으로 상기 360도 전체 영상에 대한 좌영상과 우영상 및 상기 VoI 영역의 영상에 대한 좌영상과 우영상을 선택하며, 상기 360도 전체 영상에 대한 좌영상과 우영상 중 하나는 방송망을 통해 전송하고, 상기 360도 전체 영상에 대한 좌영상과 우영상 중 다른 하나와 상기 VoI 영역의 영상에 대한 좌영상과 우영상은 인터넷망을 통해 전송하는 360도 가상현실 방송 서비스 제공 장치.
  16. 수신 장치에서 360도 가상현실 방송 서비스를 제공하는 방법으로서,
    하이브리드망을 통해 제1 해상도의 360도 전체 영상 스트림을 수신하는 단계,
    사용자의 선택 모드 및 이동 정보를 송신 장치로 전송하는 단계,
    상기 송신 장치로부터 상기 선택 모드 및 상기 이동 정보에 따른 상기 제1 해상도보다 높은 제2 해상도의 VoI(View of Interest) 영역의 영상을 상기 하이브리드망을 통해 수신하는 단계, 그리고
    상기 제1 해상도의 360도 전체 영상 스트림과 상기 제2 해상도의 VoI 영역의 영상 스트림을 복호화하여 상기 제2 해상도의 360도 가상현실 방송 서비스를 제공하는 단계
    를 포함하는 360도 가상현실 방송 서비스 제공 방법.
  17. 제16항에서,
    상기 360도 전체 영상 스트림을 수신하는 단계는 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림을 수신하는 단계를 포함하고,
    상기 VoI 영역의 영상 스트림을 수신하는 단계는 상기 VoI 영역의 영상 스트림을 홀수 프레임의 VoI 영상 스트림과 짝수 프레임의 VoI 영상 스트림을 수신하는 단계를 포함하며,
    상기 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림 중 하나는 방송망을 통해 수신되고, 홀수 프레임의 360도 전체 영상 스트림과 짝수 프레임의 360도 전체 영상 스트림 중 다른 하나와 상기 홀수 프레임의 VoI 영상 스트림과 짝수 프레임의 VoI 영상 스트림은 인터넷망을 통해 수신되는 360도 가상현실 방송 서비스 제공 방법.
  18. 제17항에서,
    상기 홀수 프레임의 360도 전체 영상 스트림과 상기 짝수 프레임의 360도 전체 영상 스트림 및 상기 홀수 프레임의 VoI 영상 스트림과 상기 짝수 프레임의 VoI 영상 스트림을 선택적으로 수신하여 상기 수신 장치의 성능에 맞는 프레임 레이트의 360도 가상현실 방송 서비스를 제공하는 단계
    를 더 포함하는 360도 가상현실 방송 서비스 제공 방법.
  19. 제16항에서,
    상기 360도 전체 영상을 수신하는 단계는 상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림을 수신하는 단계를 포함하고,
    상기 VoI 영역의 영상 스트림을 수신하는 단계는 상기 VoI 영역의 영상 스트림에 대한 좌영상 스트림과 우영상 스트림을 수신하는 단계를 포함하며,
    상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림 중 하나는 방송망을 통해 수신되고, 상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림 중 다른 하나와 상기 VoI 영역의 영상에 대한 좌영상 스트림과 우영상 스트림은 인터넷망을 통해 수신되는 360도 가상현실 방송 서비스 제공 방법.
  20. 제19항에서,
    상기 360도 전체 영상 스트림에 대한 좌영상 스트림과 우영상 스트림 및 상기 VoI 영역의 영상 스트림에 대한 좌영상 스트림과 우영상 스트림을 선택적으로 수신하여 360도 입체 가상현실 방송 서비스를 제공하는 단계
    를 더 포함하는 360도 가상현실 방송 서비스 제공 방법.
PCT/KR2017/007784 2016-07-19 2017-07-19 360도 가상현실 방송 서비스 제공 방법 및 장치 WO2018016879A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/309,595 US10931980B2 (en) 2016-07-19 2017-07-19 Method and apparatus for providing 360 degree virtual reality broadcasting service

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2016-0091584 2016-07-19
KR20160091584 2016-07-19
KR10-2017-0091491 2017-07-19
KR1020170091491A KR102361314B1 (ko) 2016-07-19 2017-07-19 360도 가상현실 방송 서비스 제공 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2018016879A1 true WO2018016879A1 (ko) 2018-01-25

Family

ID=60992264

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/007784 WO2018016879A1 (ko) 2016-07-19 2017-07-19 360도 가상현실 방송 서비스 제공 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2018016879A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11184461B2 (en) 2018-10-23 2021-11-23 At&T Intellectual Property I, L.P. VR video transmission with layered video by re-using existing network infrastructures

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070081586A1 (en) * 2005-09-27 2007-04-12 Raveendran Vijayalakshmi R Scalability techniques based on content information
KR20080098328A (ko) * 2007-05-04 2008-11-07 한국전자통신연구원 디지털 멀티미디어 방송 전송 시스템에서 고품질멀티미디어 서비스를 제공하는 장치 및 방법
KR20130058648A (ko) * 2011-11-25 2013-06-04 (주)휴맥스 Mmt 미디어와 dash 미디어와의 연동 방법
KR20140002471A (ko) * 2012-06-29 2014-01-08 한국전자통신연구원 하이브리드 3d 콘텐츠 서비스용 전송 시스템 및 클라이언트 시스템
US20160150212A1 (en) * 2014-11-26 2016-05-26 Sony Corporation Live selective adaptive bandwidth

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070081586A1 (en) * 2005-09-27 2007-04-12 Raveendran Vijayalakshmi R Scalability techniques based on content information
KR20080098328A (ko) * 2007-05-04 2008-11-07 한국전자통신연구원 디지털 멀티미디어 방송 전송 시스템에서 고품질멀티미디어 서비스를 제공하는 장치 및 방법
KR20130058648A (ko) * 2011-11-25 2013-06-04 (주)휴맥스 Mmt 미디어와 dash 미디어와의 연동 방법
KR20140002471A (ko) * 2012-06-29 2014-01-08 한국전자통신연구원 하이브리드 3d 콘텐츠 서비스용 전송 시스템 및 클라이언트 시스템
US20160150212A1 (en) * 2014-11-26 2016-05-26 Sony Corporation Live selective adaptive bandwidth

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11184461B2 (en) 2018-10-23 2021-11-23 At&T Intellectual Property I, L.P. VR video transmission with layered video by re-using existing network infrastructures

Similar Documents

Publication Publication Date Title
KR102361314B1 (ko) 360도 가상현실 방송 서비스 제공 방법 및 장치
US7646432B2 (en) Multimedia signal matching system and method for performing picture-in-picture function
WO2011108903A2 (ko) 복수 전송 계층 연동형 3ｄｔｖ 방송 서비스 제공을 위한 송신 및 수신 방법, 송신 및 수신 장치
US7650626B2 (en) Service system of thumbnail image and transmitting/receiving method thereof
WO2012064123A2 (ko) 3dtv 서비스에서의 영상 압축 규격 결정 방법 및 장치
WO2012128563A2 (ko) 이종망 기반 연동형 방송콘텐츠 송수신 장치 및 방법
WO2016129981A1 (ko) 미디어 데이터를 송수신하는 방법 및 장치
JP6261741B2 (ja) デジタル放送システムにおける高画質ｕｈｄ放送コンテンツの送受信方法及び装置
US20150195587A1 (en) Transmission device, transmission method, reception device, and reception method
US8571027B2 (en) System and method for multi-rate video delivery using multicast stream
KR100606785B1 (ko) 네트워크를 통한 원격 멀티미디어 서비스 제공시스템에서의 동영상 및 이미지 데이터의 동기화 방법
WO2013154397A1 (en) Transmitting system and receiving apparatus for providing hybrid service, and service providing method thereof
US20140002598A1 (en) Transport system and client system for hybrid 3d content service
WO2012121572A2 (ko) 프로그램 연동형 스테레오스코픽 방송 서비스를 제공하기 위한 송신 장치 및 방법, 및 수신 장치 및 방법
WO2018174367A1 (ko) 방송 신호 송수신 방법 및 장치
WO2011028024A2 (en) Cable broadcast receiver and 3d video data processing method thereof
WO2012121571A2 (ko) 비실시간 스테레오스코픽 방송 서비스 송신 및 수신 장치, 그리고 송신 및 수신 방법
WO2012036464A2 (ko) 방송 수신기 및 3d 비디오 데이터 처리 방법
WO2012015288A2 (en) Method and apparatus for transmitting and receiving extended broadcast service in digital broadcasting
JP2007281868A (ja) 送信装置及び受信装置
WO2018016879A1 (ko) 360도 가상현실 방송 서비스 제공 방법 및 장치
KR20170130883A (ko) 하이브리드 망 기반의 가상 현실 방송 서비스 방법 및 장치
KR20150057149A (ko) 재전송망에 기초한 3ｄ 방송 서비스 제공 시스템 및 방법
WO2013055032A1 (ko) 융합형 ３ｄｔｖ에서 컨텐츠 스트림에 접근하는 컨텐츠 제공 장치 및 방법, 그리고 컨텐츠 재생 장치 및 방법
WO2010027142A2 (ko) 다시점 비디오의 송수신 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17831352

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17831352

Country of ref document: EP

Kind code of ref document: A1