WO2020071709A1 - 비디오 컨텐츠를 전송하는 방법 및 장치 및 비디오 컨텐츠를 수신하는 방법 및 장치 - Google Patents

비디오 컨텐츠를 전송하는 방법 및 장치 및 비디오 컨텐츠를 수신하는 방법 및 장치

Info

Publication number
WO2020071709A1
WO2020071709A1 PCT/KR2019/012747 KR2019012747W WO2020071709A1 WO 2020071709 A1 WO2020071709 A1 WO 2020071709A1 KR 2019012747 W KR2019012747 W KR 2019012747W WO 2020071709 A1 WO2020071709 A1 WO 2020071709A1
Authority
WO
WIPO (PCT)
Prior art keywords
asset
picture
sub
information
content
Prior art date
Application number
PCT/KR2019/012747
Other languages
English (en)
French (fr)
Inventor
입에릭
배재현
양현구
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN201980065246.8A priority Critical patent/CN112805998A/zh
Priority to KR1020217001491A priority patent/KR102656614B1/ko
Priority to US17/277,996 priority patent/US11503382B2/en
Priority to EP19868706.3A priority patent/EP3846465A4/en
Publication of WO2020071709A1 publication Critical patent/WO2020071709A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Definitions

  • the present disclosure relates to a method and apparatus for transmitting and receiving video content including 3 dimensional (3D) data.
  • Virtual reality refers to an interface between a user and a device that makes a certain environment or situation into a computer and makes the person who uses it as if they are interacting with the real environment and situation.
  • Virtual reality technology allows users to feel reality through manipulated sensory stimulation, and can be utilized in many industries such as games, education, medical science, and journalism.
  • region-wise packing may be performed to increase the overall compression efficiency or to process the resolution of a region corresponding to a specific viewport higher than other regions.
  • the server generates a plurality of sub-picture tracks (or a plurality of assets) from a packed picture generated through region-wise packing to reduce the transmission amount of data related to the 3D image, and the plurality of Only data related to at least one track selected from the tracks may be transmitted.
  • information on the minimum set of sub-pictures required for rendering must be provided to the terminal.
  • a method of transmitting video content through a plurality of assets includes: identifying whether content transmitted through the asset is a sub-picture; When the content transmitted through the asset is a sub-picture, generating sub-picture asset information including information on other sub-pictures constituting the composition picture together with the sub-picture; And transmitting the subpicture asset information and the content.
  • a server for transmitting video content through a plurality of assets includes: a communication interface; And at least one processor connected to the communication interface, wherein the at least one processor identifies whether the content transmitted through the asset is a sub-picture, and when the content transmitted through the asset is a sub-picture, the The communication interface may be controlled to generate subpicture asset information including information on other subpictures constituting the composition picture together with the subpicture, and to transmit the subpicture asset information and the content.
  • a method for receiving video content through a plurality of assets comprising: receiving an asset descriptor; Determining whether content received through the asset is a sub-picture based on the asset descriptor; If the content received through the asset is a sub-picture, identifying sub-picture asset information including information on other sub-pictures constituting the composition picture together with the sub-picture; And receiving and rendering the content based on the subpicture asset information.
  • an apparatus for receiving video content includes: a communication interface for receiving video content through a plurality of assets; And at least one processor connected to the communication interface, wherein the at least one processor determines whether the content received through the asset is a subpicture based on the asset descriptor received through the communication interface.
  • the sub-picture asset information including information on other sub-pictures constituting the composition picture together with the sub-picture is identified, and based on the sub-picture asset information, the content You can receive and render.
  • FIG. 1 illustrates a general data processing process of a transmission device for transmitting data related to a 3D image according to an embodiment of the present disclosure.
  • FIG. 2 is a diagram for explaining a method of projecting a 3D image into a 2D image and packing the projected 2D image according to an embodiment of the present disclosure.
  • FIG. 3 shows a general data processing process of a receiving device for receiving data related to a 3D image according to an embodiment of the present disclosure.
  • 4 and 5 are diagrams illustrating a process in which a transmission apparatus divides and transmits an omnidirectional image into a plurality of subpicture tracks according to an embodiment of the present disclosure.
  • FIG. 6 illustrates a signal flow diagram of a system for communicating data related to a 3D image according to one embodiment of the present disclosure.
  • FIG. 7 is a flowchart of a method for a transmitting device to transmit video content according to an embodiment of the present disclosure.
  • FIG. 8 is a flowchart of a method for a transmission device to generate information related to video content according to an embodiment of the present disclosure.
  • FIG. 9 is a flowchart of a method for a receiving device to receive and process video content according to an embodiment of the present disclosure.
  • FIG. 10 is a flowchart of a method for a receiving device to receive and process video content according to an embodiment of the present disclosure.
  • FIG 11 illustrates syntax of an asset descriptor transmitted with content according to an embodiment of the present disclosure.
  • FIG. 12 illustrates a table listing virtual reality application message types used to transmit virtual reality content according to an embodiment of the present disclosure.
  • FIG 13 illustrates syntax of sub-picture asset information transmitted with content according to an embodiment of the present disclosure.
  • FIG. 14 is a block diagram of a transmission device according to an embodiment of the present disclosure.
  • 15 is a block diagram of a receiving device according to an embodiment of the present disclosure.
  • a method of transmitting video content through a plurality of assets includes: identifying whether content transmitted through the asset is a sub-picture; When the content transmitted through the asset is a sub-picture, generating sub-picture asset information including information on other sub-pictures constituting the composition picture together with the sub-picture; And transmitting the subpicture asset information and the content.
  • Some embodiments of the present disclosure may be represented by functional block configurations and various processing steps. Some or all of these functional blocks may be implemented with various numbers of hardware and / or software configurations that perform particular functions.
  • the functional blocks of the present disclosure can be implemented by one or more microprocessors, or by circuit configurations for a given function.
  • functional blocks of the present disclosure may be implemented in various programming or scripting languages.
  • the functional blocks can be implemented with algorithms running on one or more processors.
  • the present disclosure may employ conventional techniques for electronic environment setting, signal processing, and / or data processing.
  • connecting lines or connecting members between the components shown in the drawings are merely illustrative of functional connections and / or physical or circuit connections. In an actual device, connections between components may be represented by various functional connections, physical connections, or circuit connections that are replaceable or added.
  • image may include all still images, moving pictures, video frames, and / or video streams, and may include both 2D frames and 3D frames.
  • the "image” may include a 3D frame represented by a point cloud or a 360-degree omnidirectional media frame.
  • image used throughout this specification not only refers to the term “image” itself, but also various forms of video image information that may be known in the relevant fields such as “picture”, “frame”, “field” or “slice”. It is used as a generic term to describe them.
  • image may mean one of a plurality of pictures or a plurality of frames constituting the video content, or may mean an entire video content including a plurality of pictures or a plurality of frames.
  • the transmission device may be a server for providing data or services related to 3D images.
  • the 3D image may refer to both dynamic and static images.
  • the data related to the 3D image may include immersive media data including 360-degree omnidirectional virtual reality content or 6-degree-of-freedom-related content.
  • the transmission device may acquire a 3D image.
  • the transmission device may generate 3D images by stitching images acquired from multiple cameras photographed in various directions.
  • the transmission device may receive data related to a 3D image that has already been generated from the outside.
  • the 3D image may be rendered in the form of a sphere, cube, cylinder, or octahedron.
  • the present disclosure is not limited to the shape of the illustrated 3D image, and various types of 3D images may be generated or received.
  • the transmission device may generate a 2D image by projecting a 3D image in space on a 2D plane.
  • the transmission apparatus may perform projection to project an omnidirectional image on a 3D space onto a rectangular picture of a predetermined format.
  • any one of various projection methods available in the art may be used, such as equirectangular projection (ERP), octahedron projection (OHP), cylinder projection, cube projection, and the related art.
  • ERP equirectangular projection
  • OHP octahedron projection
  • cylinder projection cylinder projection
  • cube projection cube projection
  • the transmission device may pack the projected 2D image.
  • Packing may mean generating a new 2D image (ie, a packed 2D image) by changing the position, size, and direction of at least some of the plurality of regions constituting the projected 2D image.
  • For packing for example, resizing, transforming, rotating and / or re-sampling of regions (e.g. upsampling, downsampling, differentials based on location within regions) Sampling) and the like.
  • the transmission apparatus may perform region-wise packing on the projected 2D image.
  • the transmission device may deform the position, size, and direction of regions constituting the projected image.
  • the transmission apparatus increases the overall compression efficiency or processes the resolution of a region corresponding to a specific viewport higher than that of other regions, thereby processing the structure of a picture so that it can be used for a user's viewpoint-based processing. Can be created.
  • FIG. 2 is a diagram for explaining a method of projecting a 3D image into a 2D image and packing the projected 2D image according to an embodiment of the present disclosure.
  • the 3D image 210 may have a spherical shape.
  • the transmission apparatus may generate the projected 2D image 220 by projecting the 3D image 210 by the ERP method.
  • the transmission device may divide the projected 2D image 220 into a plurality of regions 221, 222, 223, 224. 2 illustrates an example in which the projected 2D image 220 is divided into four regions, the present disclosure is not limited to the example illustrated in FIG. 2.
  • the projected 2D image 220 may be divided into various numbers and various shapes.
  • the method in which the transmission device divides the projected 2D image 220 may be variously changed according to embodiments.
  • the transmission device may generate a packed 2D image 230 from the projected 2D image 220.
  • the transmission device may generate a packed 2D image 230 by deforming and / or rearranging a plurality of regions 221, 222, 223, 224 of the projected 2D image 220.
  • Each of the plurality of regions 231, 232, 233, and 234 of the packed 2D image 230 may sequentially correspond to a plurality of regions 221, 222, 223, 224 of the projected 2D image 220. have.
  • the present disclosure is not limited to the example shown in FIG. 2 and various modifications and rearrangements may be performed according to embodiments.
  • the transmission device may encode a packed picture.
  • various video codec methods such as High Effeciency Video Coding (HEVC) and Advanced Video Coding (AVC) may be used.
  • HEVC High Effeciency Video Coding
  • AVC Advanced Video Coding
  • the transmission apparatus may divide the packed picture into a plurality of regions.
  • the transmission device may individually encode a plurality of regions of the packed 2D image.
  • the transmission device may perform encoding on only one or more areas to be transmitted among a plurality of areas of the packed picture.
  • encoding may be performed on a group image of two or more regions among a plurality of regions of a packed picture.
  • encoding may be performed on the entire packed picture.
  • the transmission device may encapsulate the encoded data.
  • the transmission device may process the encoded data to conform to a predetermined transmission protocol through processing such as dividing the encoded data and adding a header to the divided data.
  • the transmission device can transmit encapsulated data.
  • the transmitting device may transmit the data (eg, metadata) necessary to reproduce additional data and / or data associated with the data together with the data, or separately from the data.
  • the transmission device may transmit the bitstream generated through encapsulation according to the MMT (MPEG Media Transport) method.
  • the transmitting device may generate a plurality of tracks corresponding to a 3D image, and transmit data on some or all of the plurality of tracks to the receiving device.
  • the plurality of tracks may have data for different areas, or different quality levels.
  • FIG. 3 shows a general data processing process of a receiving device for receiving data related to a 3D image according to an embodiment of the present disclosure.
  • the reception device may be an AR device capable of providing augmented reality content to a user, or a VR device capable of providing virtual reality content.
  • the receiving apparatus may refer to all kinds of devices capable of receiving and reproducing 3D image data.
  • the reception device may receive data regarding a 3D image transmitted from the transmission device.
  • the reception device may perform decapsulation on the received data. Through decapsulation in step 310, encoded data generated through the encoding in step 140 in FIG. 1 may be obtained.
  • the reception device may decode the unencapsulated data.
  • the packed 2D image may be reconstructed through decoding at step 320.
  • the receiving device may display a 3D image by performing image rendering on the decoded data. Specifically, in step 330, the receiving device may perform unpacking on the decoded data (ie, the packed 2D image). Through the unpacking of step 330, the 2D image generated through the projection of step 120 in FIG. 1 may be restored.
  • the decoded data ie, the packed 2D image
  • the receiving apparatus may perform inverse transformation of transformation and / or relocation of a plurality of regions of the projected 2D image performed in the packing of step 130 in FIG. 1.
  • the receiving device may know about the packing method of data performed in the transmitting device.
  • the packing method may be known in advance between the transmitting device and the receiving device.
  • the transmitting device may transmit information regarding the packing method to a receiving device through a separate message such as metadata.
  • information regarding a packing method may be included and transmitted to a receiving device.
  • the reception device may project the unpacked 2D image as a 3D image.
  • the reception apparatus may use the reverse projection of the projection used in step 120 of FIG. 1 to project a 2D image into a 3D image, but is not limited thereto.
  • the receiving device may generate a 3D image by projecting the unpacked 2D image into a 3D image.
  • the reception device may display at least a part of the 3D image generated in operation 340 through the display device.
  • the reception device may extract and render only data corresponding to the current field of view (FOV) among 3D images.
  • FOV current field of view
  • 4 and 5 are diagrams illustrating a process in which a transmission apparatus divides and transmits an omnidirectional image into a plurality of subpicture tracks according to an embodiment of the present disclosure.
  • the transmission device may generate a plurality of tracks corresponding to a 3D image, and transmit data on some or all of the plurality of tracks to a receiving device.
  • the plurality of tracks may have data for different areas from each other.
  • the transmission apparatus divides the 360-degree projection picture 401 projected by the ERP method of FIG. 4 into sub-pictures 402 for a plurality of regions, and tracks a plurality of sub-pictures Subpictures 402 for a plurality of regions may be transmitted through them. Sub-picture tracks may correspond to multiple assets in MMT technology.
  • Asset means a logical group of media processing units (MPUs) for carrying encoded media data.
  • One asset may include at least one MPU that shares the same asset ID.
  • the reception device may receive at least a portion of the omnidirectional image through at least some assets of the plurality of assets 402.
  • the receiving device performs rendering and displaying for a single sub-picture alone, a hole may occur in a 3D image provided to the user. Therefore, it is necessary for a receiving device that receives 3D data to receive a message indicating a minimum set of assets 403 necessary for representing a 3D image.
  • the transmitting apparatus may transmit information on the minimum asset set for expression to the receiving apparatus. Accordingly, in the transmission apparatus according to an embodiment of the present disclosure, when a plurality of sub-pictures constitute one composition picture, the reception apparatus independently transmits a single sub-picture by transmitting information on the minimum asset set to the reception apparatus. It can prevent rendering. Therefore, the transmission apparatus according to an embodiment may define a minimum asset set for expression before transmitting content.
  • the minimum set for expression may be an entire composition picture or a fixed set for guard buffering.
  • the transmitting apparatus may perform dynamic viewport based guard fetching by dynamically updating subpicture asset information according to viewport feedback of the receiving apparatus.
  • the transmission apparatus when the omnidirectional image 510 is transmitted through 12 assets, the transmission apparatus according to an embodiment, based on the viewport 501, sets the minimum set for expression as 4 assets You can decide.
  • the transmitting device may transmit information indicating that data corresponding to four assets should be rendered together to the receiving device together with content.
  • the transmission apparatus when the omnidirectional image 530 is transmitted through four assets, the transmission apparatus according to an embodiment sets a minimum set for expression based on the viewport 502 2 Can be determined by the assets of the dog.
  • the transmitting device may transmit information indicating that data corresponding to two assets should be rendered to the receiving device together with the content.
  • the transmission apparatus may transmit subpicture composition information related to a composition picture constituted by subpictures included in a minimum set for expression, together with content, to a reception apparatus.
  • the sub picture composition information may include information on at least one of coverage of at least one sub picture, asset IDs of assets corresponding to the sub pictures, and the number of sub pictures constituting the composition picture.
  • the receiving device may receive and render sub-pictures included in the minimum set of assets for expression, based on the information received from the transmitting device.
  • the reception device may render the entire composition picture composed of the subpicture set based on the information received from the transmission device.
  • the sum of the coverage information of the assets may be provided by the subpicture asset information message.
  • FIG. 6 illustrates a signal flow diagram of a system for communicating data related to a 3D image according to one embodiment of the present disclosure.
  • the transmitting device may transmit an MPT (MPEG media transport) package table (MMT) and a sub picture asset information message to the receiving device.
  • MPT MPEG media transport
  • the MPT message may carry all or a subset of the MMT package table.
  • the MPT may include VR asset descriptors.
  • the MMT technology specified according to ISO / IEC 23008-1 defines an application-specific signaling message that allows the delivery of application-specific information.
  • OMAF Omnidirectional media format
  • Asset descriptors can exist in any asset that carries content in OMAF format.
  • a VR Information Asset Descriptor may be used in MMT signaling. For example, in order to stream VR content having a format according to the OMAF standard, a VR specific asset descriptor, a stereo video asset descriptor, and a VR application specific signaling message (VR application- specific signaling message) and the like.
  • VR information asset descriptors are used to create VR content, what type of projection was used, how the VR content was region-wise packed, and what areas a sub-picture or composition picture covers on a sphere, etc. Can be described.
  • the VR information asset descriptor may include information for notifying a receiving entity and a VR application of a plurality of assets including subpictures required to generate a composition picture. That is, the VR information asset descriptor may be used to indicate to the receiving device that the content currently transmitted by the transmitting device is included in a plurality of sub-picture assets.
  • the VR information asset descriptor may include a subpicture flag.
  • the sub picture flag may indicate whether content in the asset is a sub picture.
  • the transmitting apparatus may inform the receiving apparatus that the content transmitted through the asset is a sub picture by transmitting the sub flag 1 through the VR information asset descriptor.
  • the sub-picture flag when the sub-picture flag is 1, it may indicate that the content in the asset corresponding to the VR information asset descriptor is a sub-picture and should not be rendered independently from other sub-pictures constituting the composition picture.
  • the transmission device may transmit sub-picture asset information including information on other sub-pictures constituting the composition picture together with the sub-picture.
  • the sub-picture asset information may be used to indicate to the receiving device that content currently transmitted by the transmitting device is included in a plurality of sub-picture assets.
  • the sub-picture asset information may include information about coverage of the entire composition picture, information about assets including sub-pictures constituting the entire composition picture, and at least one of coverage information of each sub-picture.
  • the subpicture flag in order for the receiving device to identify the content in the asset as a subpicture, the subpicture flag may be set to 1 in the VR information asset descriptor.
  • the reception device may refer to a related message including information on related assets for constructing and rendering the composition picture.
  • the related message may include, for example, a VR subpicture asset information message.
  • the reception device may request the target asset based on the subpicture asset information received from the transmission device.
  • the transmission device may transmit a target asset in response to a request.
  • the transmission device may transmit a plurality of sub-pictures through a plurality of assets including a target asset.
  • the receiving device may request the transmitting device to transmit the content through the assets determined based on the subpicture asset information, and receive the content from the transmitting device in response to the request.
  • the reception apparatus may render subpictures constituting the composition picture determined based on the subpicture asset information without rendering each subpicture alone.
  • the transmission device may receive feedback information from the reception device.
  • the feedback information may include information regarding at least one of a viewport, a bandwidth, a buffer, and a delay.
  • the viewport information may be information specifying a viewport that is an area for display by the reception device.
  • the transmission apparatus may transmit the updated subpicture asset information to the reception apparatus based on the feedback information.
  • the transmission device may determine assets including subpictures constituting the composition picture, based on viewport information received as feedback information.
  • the transmitting device may transmit information regarding the determined assets to the receiving device.
  • the reception device may request the target asset based on the updated subpicture asset information received from the transmission device.
  • the transmission device may transmit a target asset in response to a request.
  • the transmission apparatus may transmit a plurality of sub-pictures through a plurality of assets including a target asset, based on the updated sub-picture asset information.
  • the transmission apparatus may transmit compressed data according to OMAF technology defined in ISO / IEC.
  • the transmission device may identify whether the content transmitted through the asset is a subpicture.
  • Assets may refer to logical groups of MPUs for carrying encoded media data.
  • step S720 the transmission apparatus according to an embodiment of the present disclosure, when the content transmitted through the asset is a sub-picture, the sub-picture asset information including information about other sub-pictures constituting the composition picture together with the sub-picture. Can be created.
  • the sub-picture may mean a picture representing a spatial subset of original content.
  • the receiving device that receives the content can render the content only by referring to information on other sub-pictures constituting the composition picture together with the corresponding sub-picture.
  • the receiving device may independently render the content transmitted through the asset.
  • the sub picture asset information may include information about at least one of coverage information covered by the picture, an identifier of the asset, and the number of sub picture video assets described by the sub picture asset information.
  • the coverage information may include coverage information covered by a sub picture transmitted through the asset and coverage information covered by a composition picture.
  • the transmission apparatus may transmit subpicture asset information and content.
  • the transmission apparatus may transmit an asset descriptor including information indicating whether content transmitted through the asset is a subpicture prior to transmitting the subpicture asset information.
  • the transmission device may transmit a VR asset descriptor including a sub_picture flag indicating whether content transmitted through the asset is a subpicture.
  • the sub_picture flag may be set to 1.
  • the sub_picture flag may be set to 0.
  • the reception device may request a target asset based on subpicture asset information received from the transmission device.
  • the transmission device may transmit a target asset in response to a request.
  • the transmission device may transmit a plurality of sub-pictures through a plurality of assets including a target asset.
  • the transmission device may transmit the entire composition picture through the target asset.
  • the transmission device may receive feedback information from the reception device.
  • the feedback information may include at least one of viewport information, bandwidth information, buffer information, and delay information.
  • the transmitting device may update the subpicture asset information based on the feedback information and transmit the updated subpicture asset information to the receiving device.
  • the transmission apparatus may acquire a stitched picture.
  • the transmission apparatus according to an embodiment may acquire a stitched picture generated by stitching images acquired from multiple cameras photographed in various directions.
  • the transmission apparatus may determine whether a plurality of sub-pictures are required to represent the stitched picture.
  • the transmission device may update the asset descriptor. For example, the transmission device may update the sub-picture flag included in the asset descriptor to 1.
  • the transmitting apparatus may inform the receiving apparatus that the content transmitted through the asset is a sub-picture by transmitting the sub-picture flag 1 through the asset descriptor.
  • the transmission apparatus may generate a subpicture asset information message when the stitched picture is composed of a plurality of subpictures.
  • the transmission apparatus may generate subpicture asset information including information on other subpictures constituting the composition picture so that subpictures constituting the composition picture may be rendered together.
  • the sub-picture asset information message may include information on the coverage of the entire composition picture, information on assets including sub-pictures constituting the entire composition picture (for example, the number and / or number of assets constituting the composition picture). It may include information about at least one of the identifier of the corresponding assets, etc.), sub-picture coverage information.
  • the transmission device may update the sub-picture flag included in the asset descriptor to 0.
  • the transmitting apparatus may inform the receiving apparatus that the content transmitted through the asset is the entire composition picture by transmitting the sub-picture flag 0 through the asset descriptor.
  • the transmission apparatus may receive compressed data according to OMAF technology defined in ISO / IEC.
  • the reception device may receive an asset descriptor.
  • Assets may refer to logical groups of MPUs for carrying encoded media data.
  • the receiving device may receive content through at least one asset, and receive information about content received through each asset through an asset descriptor.
  • the asset descriptor may include information indicating whether content received through the asset is a sub-picture.
  • the reception device may determine whether the content received through the asset is a subpicture based on the asset descriptor.
  • the receiving device may receive a VR asset descriptor including a sub_picture flag indicating whether the content transmitted through the asset is a subpicture.
  • the reception device may determine that the content transmitted through the asset is a subpicture.
  • the reception device may determine that the content transmitted through the asset is the entire composition picture.
  • the receiving device may identify sub-picture asset information including information on other sub-pictures constituting the composition picture together with the sub-picture. have.
  • the sub-picture asset information may include at least one of coverage information covered by a picture, an identifier of the asset, and the number of sub-picture video assets described by the sub-picture asset information.
  • the coverage information may include coverage information covered by the sub-picture received through the asset and coverage information covered by the composition picture.
  • the reception device may receive and render the content based on the subpicture asset information.
  • the reception device may receive and render content corresponding to a composition picture composed of a sub-picture and another sub-picture.
  • the reception device may render the content received through the asset alone.
  • the reception device may transmit feedback information to the transmission device.
  • the receiving device may receive the updated subpicture asset information in response to the feedback information.
  • the feedback information may include at least one of viewport information, bandwidth information, buffer information, and delay information.
  • the reception device may determine whether the received content is composed of a plurality of assets.
  • the receiving device may determine whether the content received through the asset is a subpicture (that is, whether the content is received through multiple assets) based on the asset descriptor received from the transmitting device.
  • the reception device may determine that the received content is composed of a plurality of assets. On the other hand, if the sub_picture flag is 0, the reception device may determine that the content is received through one asset.
  • the reception apparatus may decode and buffer the subpicture when it is determined that the received content is composed of a plurality of assets.
  • the reception apparatus may acquire subpictures corresponding to the minimum asset set for rendering, based on the subpicture asset information.
  • the sub-picture asset information message may include information on the coverage of the entire composition picture, information on assets including sub-pictures constituting the entire composition picture (for example, the number and / or number of assets constituting the composition picture). It may include information about at least one of the identifier of the corresponding assets, etc.), sub-picture coverage information.
  • the reception device may decode the received content when it is determined that the received content is composed of one asset.
  • the reception device may render a picture corresponding to the minimum asset set.
  • the receiving device may render sub-pictures constituting the entire composition picture together.
  • the receiving device may render a picture received through the asset alone.
  • the sub-picture flag when the sub-picture is larger than the viewport, the sub-picture flag may be 0 or 1.
  • the number of assets constituting the minimum set of assets specified in the message may vary depending on the message. For example, the minimum set of assets may vary 180 'or 360'.
  • the number of assets constituting the minimum asset set specified in the message may be updated by the server according to bandwidth, content, and the like. Accordingly, if all assets in the specified subpicture set (ie, all assets listed in the message) are not received, playback of the client (or playback device) may be restricted. Since coverage information is specified for each asset, by listing a set of assets, coverage information of the entire subpicture set can be known.
  • the sub-picture flag is always 1.
  • the subpicture asset information message can provide a guide for decoding and rendering.
  • the receiving device may receive and decode and render assets of 300 to 120 degrees. If the subpicture is smaller than the viewport, the minimum asset set is no longer a subpicture, and the subpicture asset information message can provide necessary coverage information of the assets.
  • FIG 11 illustrates syntax of an asset descriptor transmitted with content according to an embodiment of the present disclosure.
  • the asset descriptor may include a sub_picture flag.
  • the sub_picture flag may indicate whether content transmitted through the asset is a subpicture. If the content transmitted through the asset is a sub-picture, and should not be rendered independently of other sub-pictures constituting the composition picture, the sub_picture flag may be set to 1. When the content transmitted through the asset is the entire composition picture, the sub_picture flag may be set to 0.
  • FIG. 12 illustrates a table listing virtual reality application message types used to transmit virtual reality content according to an embodiment of the present disclosure.
  • a new asset descriptor for OMAF VR format content may be defined as a VR information asset descriptor.
  • the VR information asset descriptor may exist in all assets carrying OMAF format content.
  • VRViewDependentSupportQuery The client uses this command to discover if the server supports view-dependent streaming.
  • VRViewDependentSupportResponse The server replies with an indication of its support capability for view-dependent streaming.
  • VRViewportChangeFeedback The receiving entity sends an indication of the current viewport to the sending entity.
  • VRViewDependentAssetsInformation When determining a set of OMAF assets that match the requested viewport, the sending entity sends this message to inform the client about the new OMAF asset that will be streamed to the receiving entity. (Upon determining the set of OMAF Assets that match the requested viewport, the sending entity sends this message to inform the client about the new OMAF Assets that will be streamed to the receiving entity.)
  • the VRViewportChangeFeedback and VRViewDependentAssetsInformation messages are used together to support server-based view-dependent streaming of OMAF assets.
  • the VRROIGuide application message type is defined to support the rendering of the renderer to follow the marked region of interest or to follow the OMAF's recommended viewport time metadata track. (To support guided rendering, where the renderer follows an indicated Region of Interest, or to follow the recommended viewport timed metadata track of OMAF, the VRROIGuide application message type is defined.)
  • FIG 13 illustrates syntax of sub-picture asset information transmitted with content according to an embodiment of the present disclosure.
  • the transmitting apparatus may inform the receiving apparatus that the content transmitted through the asset is a sub picture by transmitting the sub flag 1 through the VR information asset descriptor shown in FIG. 11.
  • the transmission device may transmit sub-picture asset information including information on other sub-pictures constituting the composition picture together with the sub-picture.
  • the sub-picture asset information may be used to indicate to the receiving device that content currently transmitted by the transmitting device is included in a plurality of sub-picture assets.
  • the sub-picture asset information may include information about coverage of the entire composition picture, information about assets including sub-pictures constituting the entire composition picture, and at least one of coverage information of each sub-picture.
  • message_id represents the identifier of the VRSubPictureAsset Information message.
  • application_identifier is an urn that uniquely identifies the application that will consume the content of this message, indicating the application identifier.
  • app_message_type defines a message type for each application provided in FIG. 12.
  • number_of_assets specifies the number of subpicture video assets described by this descriptor.
  • asset_id_length specifies the length of the sub-picture video asset identifier in bytes.
  • asset_id_byte contains bytes of the subpicture video asset identifier.
  • ContentCoverageInfoStruct () may indicate a sphere region covered by the composition picture when outside the number_of_assets loop in the syntax of FIG. 13.
  • ContentCoverageInfoStruct () may indicate a sphere region covered by a subpicture asset when inside the number_of_assets loop in the syntax of FIG. 13.
  • Each configuration of the transmission device 1400 described below may perform each step of the above-described method with reference to FIGS. 7 and 8. Redundant explanation is omitted.
  • FIG. 14 is a block diagram of a transmission device 1400 according to an embodiment.
  • the transmission device 1400 may include a communication interface 1410, at least one processor 1420 connected to the communication interface 1410, and a memory 1430. have. However, not all of the illustrated components are essential components.
  • the transmission device 1400 may be implemented by more components than the illustrated components, and the transmission device 1400 may be implemented by fewer components.
  • a transmission device according to an embodiment of the present disclosure may be a server for providing data or services related to 3D images.
  • the transmission device 1400 may include a processor 1420 that transmits video content including a series of 3D images by executing one or more instructions stored in the memory 1430.
  • the processor 1420 may identify whether the content transmitted to the receiving device through the asset is a subpicture. For example, when the content transmitted to the receiving device through the asset is a sub-picture, the processor 1420 may update the sub-picture flag included in the asset descriptor to 1. The processor 1420 may update the sub-picture flag included in the asset descriptor to 0 when the content transmitted to the receiving device through the asset is not a sub-picture.
  • the processor 1420 may generate sub-picture asset information including information on other sub-pictures constituting the composition picture together with the sub-picture.
  • the processor 1420 may generate and transmit subpicture asset information so that subpictures constituting the composition picture may be rendered together.
  • the processor 1420 may control the communication interface 1410 to transmit subpicture asset information and content.
  • the transmission device 1400 may receive feedback information from the reception device.
  • the feedback information may include at least one of viewport information, bandwidth information, buffer information, and delay information.
  • the transmitting device 1400 may update the sub picture asset information based on the feedback information and transmit the updated sub picture asset information to the receiving device.
  • the receiving device may request a target asset based on the updated subpicture asset information received from the transmitting device 1400.
  • the transmission device 1400 may transmit a target asset in response to a request.
  • each configuration of the receiving apparatus 1500 described below may perform each step of the above-described method with reference to FIGS. 9 and 10. Redundant explanation is omitted.
  • 15 is a block diagram of a receiving device 1500 according to an embodiment.
  • the receiving device 1500 may include a communication interface 1510, at least one processor 1520 connected to the communication interface 1510, and a memory 1530. have. However, not all of the illustrated components are essential components.
  • the receiving apparatus 1500 may be implemented by more components than the illustrated components, and the receiving apparatus 1500 may be implemented by fewer components.
  • the reception apparatus according to an embodiment of the present disclosure may include all kinds of devices capable of receiving and reproducing data related to a 3D image.
  • the receiving apparatus 1500 may include a processor 1520 that transmits video content including a series of 3D images by executing one or more instructions stored in the memory 1530.
  • the processor 1520 may determine whether the content received through the asset is a subpicture based on the asset descriptor received through the communication interface 1510.
  • the receiving device may receive a VR asset descriptor including a sub_picture flag indicating whether the content transmitted through the asset is a subpicture.
  • the reception device may determine that the content transmitted through the asset is a subpicture.
  • the reception device may determine that the content transmitted through the asset is the entire composition picture.
  • the processor 1520 may identify sub-picture asset information including information on other sub-pictures constituting the composition picture together with the sub-picture.
  • the processor 1520 may receive and render content based on the subpicture asset information.
  • the reception apparatus 1500 may receive and render content corresponding to a composition picture including a sub-picture and another sub-picture.
  • the reception apparatus 1500 may render content received through the asset alone when the content received through the asset is the entire composition picture.
  • the reception device 1500 may transmit feedback information to the transmission device 1400.
  • the receiving device 1500 may receive the updated subpicture asset information from the transmitting device 1400 in response to the feedback information.
  • the feedback information may include at least one of viewport information, bandwidth information, buffer information, and delay information.
  • the reception device 1500 may request a target asset based on the updated subpicture asset information received from the transmission device 1400.
  • the transmission device 1400 may transmit a target asset in response to a request.
  • the above-described embodiment can be implemented in a program that can be executed in a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable medium.
  • the structure of the data used in the above-described embodiment can be recorded on a computer-readable medium through various means.
  • the above-described embodiments may be implemented in the form of a recording medium including instructions executable by a computer, such as program modules executed by a computer.
  • methods implemented in a software module or algorithm may be stored in a computer readable recording medium as computer readable and executable codes or program instructions.
  • Computer-readable media can be any recording media that can be accessed by a computer, and can include volatile and non-volatile media, removable and non-removable media.
  • Computer-readable media include, but are not limited to, magnetic storage media, such as ROMs, floppy disks, hard disks, and the like) and optical storage media such as CD-ROMs, DVDs, and the like. Does not.
  • computer-readable media may include computer storage media and communication media.
  • a plurality of computer readable recording media may be distributed over network coupled computer systems, and data stored in the distributed recording media, for example, program instructions and codes, may be executed by at least one computer. have.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 개시는 3차원 데이터를 포함하는 비디오 컨텐츠를 전송하고 수신하기 위한 방법 및 장치에 관한 것이다. 본 개시의 일 실시 예에 따르면, 비디오 컨텐츠를 복수의 에셋들을 통해 전송하는 방법은, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인지 여부를 식별하는 단계; 상기 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인 경우, 상기 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 생성하는 단계; 및 상기 서브 픽쳐 에셋 정보 및 상기 컨텐츠를 전송하는 단계를 포함할 수 있다.

Description

비디오 컨텐츠를 전송하는 방법 및 장치 및 비디오 컨텐츠를 수신하는 방법 및 장치
본 개시는 3차원(3 Dimensional, 3D) 데이터를 포함하는 비디오 컨텐츠를 전송하고 수신하기 위한 방법 및 장치에 관한 것이다.
가상 현실(Virtual Reality)이란 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서, 그것을 사용하는 사람이 마치 실제 환경 및 상황과 상호 작용을 하고 있는 것처럼 만들어 주는 사용자와 디바이스 사이의 인터페이스를 나타낸다. 가상 현실 기술은 조작된 감각 자극을 통해 사용자가 현실감을 느끼도록 하는 것으로 게임, 교육, 의료, 저널리즘 등 많은 산업 영역에서 활용될 수 있다.
최근 들어, 가상 현실에 대한 사람들의 관심이 높아지면서, 가상 현실을 구현하기 위한 기술에 대한 개발이 활발하게 이루어지고 있다. 특히, 가상 현실을 구현하기 위해 필요한 가상 공간을 구성하는 영상들을 처리하는 기술에 대한 연구가 활발하게 이루어지고 있는 실정이다. 예를 들어, 가상 현실 영상 관련 기술의 발달로, 사용자는 평면 영상이 아닌 360도 영상을 시청할 수 있게 되었다.
3D 이미지 인코딩 과정에 있어서, 전체적인 압축 효율을 높이거나 특정 뷰포트(viewport)에 해당하는 영역의 해상도를 다른 영역에 비해 높게 처리하기 위하여, 리전 와이즈 패킹(region-wise packing)이 수행될 수 있다. 서버는, 3D 이미지와 관련된 데이터의 전송량을 감소시키기 위해, 리전 와이즈 패킹을 거쳐 생성된 패킹된 픽쳐(packed picture)로부터 복수의 서브 픽쳐 트랙들(또는, 복수의 에셋들)을 생성하고, 복수의 트랙들 중 선택된 적어도 하나의 트랙에 관한 데이터만을 전송할 수 있다. 이 때, 사용자에게 제공되는 3D 이미지에 홀(hole)이 발생하지 않도록 하기 위해서는, 렌더링을 위해 요구되는 최소한의 서브 픽쳐 세트에 관한 정보가 단말에게 제공되어야 한다.
본 개시의 일 실시 예에 따르면, 비디오 컨텐츠를 복수의 에셋들을 통해 전송하는 방법은, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인지 여부를 식별하는 단계; 상기 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인 경우, 상기 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 생성하는 단계; 및 상기 서브 픽쳐 에셋 정보 및 상기 컨텐츠를 전송하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따르면, 비디오 컨텐츠를 복수의 에셋들을 통해 전송하기 위한 서버는, 통신 인터페이스; 및 상기 통신 인터페이스에 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인지 여부를 식별하고, 상기 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인 경우, 상기 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 생성하고, 상기 서브 픽쳐 에셋 정보 및 상기 컨텐츠를 전송하도록 상기 통신 인터페이스를 제어할 수 있다.
본 개시의 일 실시 예에 따르면, 비디오 컨텐츠를 복수의 에셋들을 통해 수신하는 방법에 있어서, 에셋 기술자를 수신하는 단계; 상기 에셋 기술자에 기초하여, 에셋을 통해 수신되는 컨텐츠가 서브 픽쳐인지 여부를 판단하는 단계; 상기 에셋을 통해 수신되는 컨텐츠가 서브 픽쳐인 경우, 상기 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 식별하는 단계; 및 상기 서브 픽쳐 에셋 정보에 기초하여, 상기 컨텐츠를 수신하고 렌더링 하는 단계를 포함 할 수 있다.
본 개시의 일 실시 예에 따르면, 비디오 컨텐츠를 수신하는 장치는, 비디오 컨텐츠를 복수의 에셋들을 통해 수신하는, 통신 인터페이스; 및 상기 통신 인터페이스에 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 통신 인터페이스를 통해 수신된 에셋 기술자에 기초하여, 에셋을 통해 수신되는 컨텐츠가 서브 픽쳐인지 여부를 판단하고, 상기 에셋을 통해 수신되는 컨텐츠가 서브 픽쳐인 경우, 상기 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 식별하고, 상기 서브 픽쳐 에셋 정보에 기초하여, 상기 컨텐츠를 수신하고 렌더링 할 수 있다.
도 1은 본 개시의 일 실시 예에 따라 3D 이미지에 관한 데이터를 전송하기 위한 전송 장치의 일반적인 데이터 처리 과정을 나타낸다.
도 2는 본 개시의 일 실시 예에 따라 3D 이미지를 2D 이미지로 프로젝션 하고, 프로젝션 된 2D 이미지를 패킹하는 방법을 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시 예에 따른 3D 이미지에 관한 데이터를 수신하기 위한 수신 장치의 일반적인 데이터 처리 과정을 나타낸다.
도 4 및 도 5는 본 개시의 일 실시 예에 따라 전송 장치가 전방향 이미지를 복수의 서브 픽쳐 트랙들로 분할하여 전달하는 과정을 설명하는 도면이다.
도 6은 본 개시의 일 실시 예에 따라 3D 이미지에 관한 데이터를 통신하는 시스템의 신호 흐름도를 도시한다.
도 7은 본 개시의 일 실시 예에 따라 전송 장치가 비디오 컨텐츠를 전송하는 방법의 흐름도를 도시한다.
도 8은 본 개시의 일 실시 예에 따라 전송 장치가 비디오 컨텐츠와 관련된 정보를 생성하는 방법의 흐름도를 도시한다.
도 9는 본 개시의 일 실시 예에 따라 수신 장치가 비디오 컨텐츠를 수신하고 처리하는 방법의 흐름도를 도시한다.
도 10은 본 개시의 일 실시 예에 따라 수신 장치가 비디오 컨텐츠를 수신하고 처리하는 방법의 흐름도를 도시한다.
도 11은 본 개시의 일 실시 예에 따라 컨텐츠와 함께 전송되는 에셋 기술자(Asset Descriptor)의 신택스를 도시한다.
도 12는 본 개시의 일 실시 예에 따라 가상 현실 컨텐츠를 전송하기 위해 이용되는 가상 현실 어플리케이션 메세지 타입들이 나열된 표를 도시한다.
도 13은 본 개시의 일 실시 예에 따라 컨텐츠와 함께 전송되는 서브 픽쳐 에셋 정보(Sub-picture Asset Information)의 신택스를 도시한다.
도 14는 본 개시의 일 실시 예에 따른 전송 장치의 블록도를 도시한다.
도 15는 본 개시의 일 실시 예에 따른 수신 장치의 블록도를 도시한다.
본 개시의 일 실시 예에 따르면, 비디오 컨텐츠를 복수의 에셋들을 통해 전송하는 방법은, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인지 여부를 식별하는 단계; 상기 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인 경우, 상기 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 생성하는 단계; 및 상기 서브 픽쳐 에셋 정보 및 상기 컨텐츠를 전송하는 단계를 포함할 수 있다.
아래에서는 첨부한 도면을 참조하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 개시의 실시 예를 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 또한, 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시의 일부 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
본 명세서에서 “이미지”이란, 정지 이미지, 동영상, 비디오 프레임, 및/또는 비디오 스트림을 모두 포함할 수 있으며, 2D 프레임 및 3D 프레임을 모두 포함할 수 있다. 예를 들어, "이미지"는 포인트 클라우드로 표현되는 3D 프레임 또는 360도 전방향 미디어(Omnidirectional Media) 프레임을 포함할 수 있다.
본 명세서 전반에 걸쳐 사용되는 "이미지"라는 용어는 "이미지"라는 용어 자체뿐만 아니라, "픽쳐", "프레임", "필드" 또는 "슬라이스"등 관련 분야에서 알려질 수 있는 비디오 이미지 정보의 다양한 형태들을 설명하기 위한 포괄적인 용어로서 사용된다. 예를 들어, "이미지"는 비디오 컨텐츠를 구성하는 복수의 픽쳐들 또는 복수의 프레임들 중 하나를 의미할 수도 있고, 복수의 픽쳐들 또는 복수의 프레임들을 포함하는 비디오 컨텐츠 전체를 의미할 수도 있다.
이하 첨부된 도면을 참고하여 본 개시를 상세히 설명하기로 한다.
도 1은 본 개시의 일 실시 예에 따라 3D 이미지에 관한 데이터를 전송하기 위한 전송 장치의 일반적인 데이터 처리 과정을 나타낸다. 예를 들어, 일 실시 예에 따른 전송 장치는, 3D 이미지와 관련된 데이터 또는 서비스를 제공하기 위한 서버일 수 있다. 3D 이미지는, 동적 이미지 및 정적 이미지 모두를 지칭할 수 있다. 또한, 3D 이미지에 관한 데이터는, 360도 전방향 가상 현실 컨텐츠 또는 6 자유도 관련 컨텐츠를 포함하는 몰입형 미디어 데이터를 포함할 수 있다.
도 1의 단계 110에서 전송 장치는, 3D 이미지를 획득할 수 있다. 일 예로서, 전송 장치는, 여러 방향에서 촬영된 다수의 카메라들로부터 획득된 이미지들을 이어붙여(stitching) 3D 이미지를 생성할 수 있다. 다른 예로서, 전송 장치는, 이미 생성된 3D 이미지에 관한 데이터를 외부로부터 수신할 수도 있다. 예를 들어, 3D 이미지는 구(sphere), 육면체(cube), 원통, 또는 8면체(octahedron) 중 어느 하나의 형태로 렌더링 될 수 있다. 다만, 본 개시는 예시된 3D 이미지의 형태에 제한되지 않으며, 다양한 형태의 3D 이미지가 생성 또는 수신될 수 있다.
단계 120에서, 전송 장치는 공간 상의 3D 이미지를 2D 평면 상에 프로젝션 함으로써, 2D 이미지를 생성할 수 있다. 일 실시 예에 따른 전송 장치는, 3D 공간 상의 전 방향 이미지를 정해진 포맷의 사각형 픽쳐에 투영하는 프로젝션을 수행할 수 있다.
3D 이미지를 2D 이미지로 프로젝션하기 위해, ERP(equirectangular projection), OHP(octahedron projection), 실린더 프로젝션, 큐브 프로젝션 및 해당 기술 분야에서 이용 가능한 다양한 프로젝션 방법들 중 어느 하나가 이용될 수 있다.
단계 130에서, 전송 장치는, 프로젝션된 2D 이미지를 패킹(packing)할 수 있다. 패킹은, 프로젝션된 2D 이미지를 구성하는 복수의 영역들 중 적어도 일부의 위치, 크기 및 방향을 변형하여, 새로운 2D 이미지(즉, 패킹된 2D 이미지)를 생성하는 것을 의미할 수 있다. 예를 들어, 패킹을 위하여, 영역의 리사이징(resize), 형태 변환(transforming), 회전 및/또는 재-샘플링(re-sampling)(예를 들어, 업샘플링, 다운샘플링, 영역 내의 위치에 따른 차등 샘플링)등이 수행될 수 있다.
본 개시의 일 실시 예에 따른 전송 장치는, 프로젝션된 2D 이미지에 대해서 리전 와이즈(region-wise) 패킹을 수행할 수 있다. 전송 장치는, 리전 와이즈 패킹 과정에서, 프로젝션된 이미지를 구성하는 영역들의 위치, 크기 및 방향을 변형시킬 수 있다. 또한, 전송 장치는, 전체적인 압축 효율을 높이거나, 특정 뷰포트(viewport)에 해당하는 영역의 해상도를 다른 영역에 비해 높게 처리함으로써 사용자 시점 기반 프로세싱에 사용될 수 있도록 픽쳐의 구성을 가공함으로써 패킹된 픽쳐를 생성할 수 있다.
도 2는 본 개시의 일 실시 예에 따라 3D 이미지를 2D 이미지로 프로젝션 하고, 프로젝션 된 2D 이미지를 패킹하는 방법을 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 예를 들어, 3D 이미지(210)는 구 형상을 가질 수 있다. 일 실시 예에 따른 전송 장치는, 3D 이미지(210)를 ERP 방식에 의해 프로젝션하여, 프로젝션된 2D 이미지(220)를 생성될 수 있다. 전송 장치는, 프로젝션된 2D 이미지(220)를 복수의 영역들(221, 222, 223, 224)로 분할할 수 있다. 도 2에서는 프로젝션된 2D 이미지(220)를 네 영역으로 분할하는 경우를 예로 도시하였으나, 본 개시는 도 2에 도시된 예에 제한되지 않는다. 프로젝션된 2D 이미지(220)는, 다양한 개수 및 다양한 형태로 분할될 수 있다. 전송 장치가 프로젝션된 2D 이미지(220)를 분할하는 방법은 실시 예들에 따라 다양하게 변경될 수 있다.
일 실시 예에 따른 전송 장치는, 프로젝션된 2D 이미지(220)로부터 패킹된 2D 이미지(230)를 생성할 수 있다. 전송 장치는, 프로젝션된 2D 이미지(220)의 복수의 영역들(221, 222, 223, 224)을 변형 및 또는 재배치함으로써 패킹된 2D 이미지(230)를 생성할 수 있다. 패킹된 2D 이미지(230)의 복수의 영역들(231, 232, 233, 234) 각각은 프로젝션된 2D 이미지(220)의 복수의 영역들(221, 222, 223, 224)에 순차적으로 대응될 수 있다. 본 개시는 도 2에 도시된 예에 제한되지 않으며 실시 예들에 따라 다양한 변형 및 재배치가 수행될 수 있다.
도 1로 돌아와서 설명하면, 단계 140에서 전송 장치는, 패킹된 픽쳐를 인코딩할 수 있다. 인코딩을 위해서는, 예를 들어, HEVC(High Effeciency Video Coding), AVC(Advanced Video Coding) 등의 다양한 비디오 코덱 방식이 이용될 수 있다.
일 실시 예에 따른 전송 장치는, 패킹된 픽쳐를 복수의 영역들로 분할할 수 있다. 전송 장치는, 패킹된 2D 이미지의 복수의 영역들에 대하여 개별적으로 인코딩을 수행할 수 있다. 전송 장치는 패킹된 픽쳐의 복수의 영역들 중 전송될 하나 이상의 영역에 대하여만 인코딩을 수행할 수도 있다. 일 예로서, 패킹된 픽쳐의 복수의 영역들 중 둘 이상의 영역들에 대한 그룹 이미지에 대하여 인코딩이 수행될 수 있다. 다른 예로서, 패킹된 픽쳐 전체에 대하여 인코딩이 수행될 수 있다.
단계 150에서 전송 장치는, 인코딩된 데이터를 캡슐화 할 수 있다. 전송 장치는, 인코딩된 데이터를 분할하고, 분할된 데이터에 헤더를 부가하는 등의 프로세싱을 통해 정해진 전송 프로토콜에 따르도록 인코딩된 데이터를 가공할 수 있다. 전송 장치는, 캡슐화된 데이터를 전송할 수 있다. 전송 장치는, 캡슐화된 데이터와 함께, 또는 데이터와 개별적으로 데이터와 관련된 추가적인 데이터 및/또는 데이터를 재생하기 위해 필요한 데이터(예를 들어, 메타데이터)를 전송할 수 있다.
전송 장치는, MMT(MPEG Media Transport) 방식에 따라 캡슐화를 통해 생성된 비트스트림을 전송할 수 있다. 일 실시 예에 따른 전송 장치는, 3D 이미지에 대응하는 복수의 트랙들을 생성하고, 복수의 트랙들 중 일부 또는 전부에 대한 데이터를 수신 장치에게 전송할 수 있다. 복수의 트랙들은 서로 상이한 영역들에 대한 데이터를 갖거나, 또는 서로 상이한 품질 등급(quality level)들을 가질 수 있다.
도 3은 본 개시의 일 실시 예에 따른 3D 이미지에 관한 데이터를 수신하기 위한 수신 장치의 일반적인 데이터 처리 과정을 나타낸다.
본 개시의 일 실시 예에 따른 수신 장치는, 사용자에게 증강 현실 컨텐츠를 제공할 수 있는 AR 디바이스이거나, 가상 현실 컨텐츠를 제공할 수 있는 VR 디바이스일 수 있다. 또한, 수신 장치는 이외에도 3D 이미지에 관한 데이터를 수신하여 이를 재생할 수 있는 모든 종류의 디바이스를 지칭할 수 있다.
일 실시 예에 따른 수신 장치는, 전송 장치에서 전송된 3D 이미지에 관한 데이터를 수신할 수 있다. 도 3의 단계 310에서 수신 장치는, 수신된 데이터에 대하여 캡슐화 해제(decapsulation)를 수행할 수 있다. 단계 310의 캡슐화 해제를 통하여, 도 1에서의 단계 140의 인코딩을 통해 생성된 인코딩된 데이터가 획득될 수 있다.
단계 320에서 수신 장치는, 캡슐화 해제된 데이터에 대하여 디코딩을 수행할 수 있다. 단계 320의 디코딩을 통해 패킹된 2D 이미지가 복원될 수 있다.
수신 장치는, 디코딩된 데이터에 대해서 이미지 렌더링을 수행함으로써 3D 이미지를 디스플레이 할 수 있다. 구체적으로, 단계 330에서 수신 장치는, 디코딩된 데이터(즉, 패킹된 2D 이미지)에 대하여 패킹 해제(unpacking)를 수행할 수 있다. 단계 330의 패킹 해제를 통하여, 도 1에서의 단계 120의 프로젝션을 통해 생성된 2D 이미지가 복원될 수 있다.
수신 장치는, 패킹 해제를 수행하기 위하여, 도 1에서의 단계 130의 패킹에서 수행된 프로젝션 된 2D 이미지의 복수의 영역에 대한 변형 및/또는 재배치의 역변환을 수행할 수 있다. 이를 위해, 수신 장치는, 전송 장치에서 수행된 데이터의 패킹 방식에 대해서 알고 있을 수 있다. 예를 들어, 패킹 방식은, 전송 장치와 수신 장치 간에 미리 알고 있을 수 있다. 일 예로서, 전송 장치는, 패킹 방식에 관한 정보를 메타데이터와 같은 별도의 메시지를 통해 수신 장치에게 전달할 수 있다. 다른 예로서, 캡슐화를 통해 생성된 전송 데이터의 헤더 내부에, 패킹 방식에 관한 정보가 포함되어 수신 장치에게 전달될 수 있다.
단계 340에서 수신 장치는, 패킹 해제된 2D 이미지를 3D 이미지로 프로젝션할 수 있다. 일 실시 예에 따른 수신 장치는, 2D 이미지를 3D 이미지로 프로젝션 하기 위해 도 1의 단계 120에서 이용된 프로젝션의 역 프로젝션을 사용할 수 있으나, 반드시 이에 한정되는 것은 아니다. 수신 장치는, 패킹 해제된 2D 이미지를 3D 이미지로 프로젝션하여 3D 이미지를 생성할 수 있다.
단계 350에서 수신 장치는, 단계 340에서 생성된 3D 이미지의 적어도 일부를 디스플레이 장치를 통해 디스플레이할 수 있다. 예를 들어, 수신 장치는 3D 이미지 중, 현재의 FOV(field of view)에 대응하는 데이터만을 추출하여 렌더링할 수 있다.
도 4 및 도 5는 본 개시의 일 실시 예에 따라 전송 장치가 전방향 이미지를 복수의 서브 픽쳐 트랙들로 분할하여 전달하는 과정을 설명하는 도면이다.
앞서 도 1을 참조하여 설명한 바와 같이, 일 실시 예에 따른 전송 장치는 3D 이미지에 대응하는 복수의 트랙들을 생성하고, 복수의 트랙들 중 일부 또는 전부에 대한 데이터를 수신 장치에게 전송할 수 있다. 복수의 트랙들은 서로 상이한 영역들에 대한 데이터를 가질 수 있다.
예를 들어, 일 실시 예에 따른 전송 장치는, 도 4의 ERP 방식으로 프로젝션된 360도 프로젝션 픽쳐(401)를 복수의 영역들에 대한 서브 픽쳐들(402)로 분할하고, 복수의 서브 픽쳐 트랙들을 통해 복수의 영역들에 대한 서브 픽쳐들(402)을 전송할 수 있다. 서브 픽쳐 트랙들은, MMT 기술에서 복수의 에셋들(multiple assets)에 대응할 수 있다.
에셋은, 인코딩된 미디어 데이터를 운반하기 위한 미디어 처리 단위(Media Processing Unit, MPU)들의 논리적 그룹을 의미한다. 하나의 에셋에는, 동일한 에셋 ID를 공유하는 적어도 하나의 MPU가 포함될 수 있다.
도 4에 도시된 바와 같이, 일 실시 예에 따른 수신 장치는, 복수의 에셋들(402)의 적어도 일부 에셋을 통해 전방향 이미지의 적어도 일부를 수신할 수 있다. 이 때, 수신 장치가 단일의 서브 픽쳐에 대해 단독으로 렌더링을 수행하고 디스플레이 하는 경우 사용자에게 제공되는 3D 이미지에 홀(hole)이 발생할 수 있다. 따라서, 3D 데이터를 수신하는 수신 장치는, 3D 이미지를 표현(presentation) 하기 위하여 필요한 최소 에셋 세트(403)를 나타내는 메시지를 수신하는 것이 필요하다.
본 개시의 일 실시 예에 따른 전송 장치는, 표현을 위한 최소 에셋 세트에 대한 정보를 수신 장치에게 전송할 수 있다. 따라서, 본 개시의 일 실시 예에 따른 전송 장치는, 복수의 서브 픽쳐들이 하나의 컴포지션 픽쳐를 구성하는 경우, 최소 에셋 세트에 대한 정보를 수신 장치에게 전송함으로써, 수신 장치가 단일 서브 픽쳐를 독립적으로 렌더링하는 것을 방지할 수 있다. 그러므로 일 실시 예에 따른 전송 장치는, 컨텐츠를 전송하기에 앞서, 표현을 위한 최소 에셋 세트를 정의할 수 있다. 표현을 위한 최소 세트는, 전체 컨포지션 픽쳐가 될 수도 있고, 가드 버퍼링(guard buffering)을 위해 고정된 세트일 수 있다.
일 실시 예에 따른 전송 장치는, 수신 장치의 뷰포트 피드백에 따라 서브 픽쳐 에셋 정보를 동적(dynamic) 업데이트함으로써 동적 뷰포트 기반 가드 펫칭(dynamic viewport based guard fetching)을 수행할 수 있다.
도 5에 도시된 바와 같이, 전방향 이미지(510)를 12 개의 에셋들을 통해 전송하는 경우, 일 실시 예에 따른 전송 장치는, 뷰포트(501)에 기초하여, 표현을 위한 최소 세트를 4 개의 에셋들로 결정할 수 있다. 전송 장치는, 4 개의 에셋들에 대응하는 데이터를 함께 렌더링 하여야 한다는 정보를 컨텐츠와 함께 수신 장치에게 전송할 수 있다.
또한, 도 5에 도시된 바와 같이, 전방향 이미지(530)를 4 개의 에셋들을 통해 전송하는 경우, 일 실시 예에 따른 전송 장치는, 뷰포트(502)에 기초하여, 표현을 위한 최소 세트를 2 개의 에셋들로 결정할 수 있다. 전송 장치는, 수신 장치에게 2 개의 에셋들에 대응하는 데이터를 함께 렌더링 하여야 한다는 정보를 컨텐츠와 함께 전송할 수 있다.
일 실시 예에 따른 전송 장치는, 표현을 위한 최소 세트에 포함되는 서브 픽쳐들이 구성하는 컴포지션 픽쳐와 관련된 서브 픽쳐 구성(composition) 정보를 컨텐츠와 함께 수신 장치에게 전송할 수 있다. 서브 픽쳐 구성(composition) 정보는, 적어도 하나의 서브 픽쳐의 커버리지, 서브 픽쳐들에 대응되는 에셋들의 에셋 ID, 및 컴포지션 픽쳐를 구성하는 서브 픽쳐들의 개수 중 적어도 하나에 대한 정보를 포함할 수 있다. 수신 장치는, 전송 장치로부터 수신된 정보에 기초하여, 표현을 위한 최소 에셋 세트에 포함되는 서브 픽쳐들을 수신하고 함께 렌더링할 수 있다. 또는, 수신 장치는, 전송 장치로부터 수신된 정보에 기초하여, 서브 픽쳐 세트에 의해 구성되는 전체 컴포지션 픽쳐를 렌더링할 수 있다. 서브 픽쳐 에셋 정보 메시지에 의해 에셋들의 커버리지 정보의 합이 제공될 수 있다.
도 6은 본 개시의 일 실시 예에 따라 3D 이미지에 관한 데이터를 통신하는 시스템의 신호 흐름도를 도시한다.
단계 S610에서 본 개시의 일 실시 예에 따른 전송 장치는, 수신 장치에게 MPT(MMT(MPEG media transport) package table) 및 서브 픽쳐 에셋 정보 메시지를 전송할 수 있다. MPT 메세지는, MMT 패키지 테이블의 전체 또는 서브셋을 운반할 수 있다. MPT는 VR 에셋 기술자를 포함할 수 있다.
ISO/IEC 23008-1에 따라 특정되는 MMT 기술은, 애플리케이션-특정 정보(application-specific information)의 전달을 허용하는 애플리케이션-특정 시그널링 메시지(application-specific signaling message)를 정의한다. ISO/IEC 23090-2에 따라 특정되는 OMAF(Omnidirectional media format, 전방향 미디어 포맷) 컨텐츠는 MMT를 통해 전송될 수 있다. 에셋 기술자는, OMAF 형식의 컨텐츠를 운반하는 모든 에셋에 존재할 수 있다. 특히, 복수의 에셋 서브 픽쳐들을 전송하기 위하여, MMT 시그널링에 있어서 VR 정보 에셋 기술자(VR Information Asset Descriptor)가 이용될 수 있다. 예를 들어, OMAF 표준에 따른 형식을 갖는 VR 컨텐츠를 스트리밍 하기 위해서, VR 특정 에셋 기술자(VR specific Asset descriptor), 스테레오 비디오 에셋 기술자(stereo video Asset descriptor), 및 VR 애플리케이션 특정 시그널링 메시지(VR application-specific signalling message) 등이 정의될 수 있다.
VR 정보 에셋 기술자는, VR 컨텐츠를 생성하기 위해 어떠한 프로젝션 타입이 이용되었는지, VR 컨텐츠가 어떻게 리전-와이즈 패킹이 되었는 지, 및 서브 픽쳐 또는 컴포지션 픽쳐가 구(sphere) 상에 어떠한 영역을 커버하는지 등에 대해서 기술할 수 있다.
또한 본 개시의 일 실시 예에 따른 VR 정보 에셋 기술자는, 컴포지션 픽쳐를 생성하기 위해 필요한 서브 픽쳐들을 포함하는 복수의 에셋들에 대해서, 수신 엔티티 및 VR 애플리케이션에게 알리기 위한 정보를 포함할 수 있다. 즉, VR 정보 에셋 기술자는, 전송 장치에 의해 현재 전송되는 컨텐트가 복수의 서브 픽쳐 에셋들에 포함됨을 수신 장치에게 나타내기 위해 이용될 수 있다.
본 개시의 일 실시 예에 따른 VR 정보 에셋 기술자는, 서브 픽쳐 플래그를 포함 할 수 있다. 서브 픽쳐 플래그는, 해당 에셋 내의 컨텐츠가 서브 픽쳐인지 여부를 나타낼 수 있다.
본 개시의 일 실시 예에 따른 전송 장치는, VR 정보 에셋 기술자를 통해 서브 플래그 1을 전송함으로써, 해당 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐임을 수신 장치에게 알릴 수 있다.
예를 들어, 서브 픽쳐 플래그가 1인 경우, VR 정보 에셋 기술자에 대응하는 에셋 내의 컨텐츠가 서브 픽쳐임을 나타내고, 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐들로부터 독립적으로 렌더링 되지 않아야 함을 나타낼 수 있다.
또한, 전송 장치는, 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보(Sub-Picture Asset Information)를 전송할 수 있다. 서브 픽쳐 에셋 정보는, 전송 장치에 의해 현재 전송되는 컨텐트가 복수의 서브 픽쳐 에셋들에 포함됨을 수신 장치에게 나타내기 위해 이용될 수 있다. 서브 픽쳐 에셋 정보는, 전체 컴포지션 픽쳐의 커버리지 정보, 전체 컴포지션 픽쳐를 구성하는 서브 픽쳐들을 포함하는 에셋들에 관한 정보, 및 각 서브 픽쳐의 커버리지 정보 중 적어도 하나에 대한 정보를 포함할 수 있다.
본 개시의 일 실시 예에 따르면, 수신 장치가 에셋 내의 컨텐츠를 서브 픽쳐로서 식별하기 위하여, VR 정보 에셋 기술자 내에 서브 픽쳐 플래그가 1로 설정될 수 있다. 이 경우, 수신 장치는, 서브 픽쳐 플래그를 식별한 뒤, 컴포지션 픽쳐를 구성하고 렌더링하기 위한 관련 에셋들에 대한 정보를 포함하는 관련 메시지를 참고할 수 있다. 관련 메시지는 예를 들어, VR 서브 픽쳐 에셋 정보 메시지를 포함할 수 있다.
단계 S620에서 본 개시의 일 실시 예에 따른 수신 장치는, 전송 장치로부터 수신된 서브 픽쳐 에셋 정보에 기초하여, 타겟 에셋을 요청할 수 있다. 본 개시의 일 실시 예에 따른 전송 장치는, 요청에 응답하여 타겟 에셋을 전송할 수 있다. 전송 장치는, 타겟 에셋을 포함하는 복수의 에셋들을 통해 복수의 서브 픽쳐들을 전송할 수 있다. 예를 들어, 수신 장치는, 서브 픽쳐 에셋 정보에 기초하여 결정된 에셋들을 통해 컨텐츠를 전송할 것을 전송 장치에게 요청하고, 요청에 응답하여 전송 장치로부터 컨텐츠를 수신할 수 있다.
본 개시의 일 실시 예에 따른 수신 장치는, 각각의 서브 픽쳐를 단독으로 렌더링 하지 않고, 서브 픽쳐 에셋 정보에 기초하여 결정된 컴포지션 픽쳐를 구성하는 서브 픽쳐들을 함께 렌더링할 수 있다.
단계 S630에서 본 개시의 일 실시 예에 따른 전송 장치는, 수신 장치로부터 피드백 정보를 수신할 수 있다. 피드백 정보는, 뷰포트, 대역폭, 버퍼, 및 딜레이 중 적어도 하나에 관한 정보를 포함할 수 있다. 뷰포트 정보는, 수신 장치에서 디스플레이 하기 위한 영역인 뷰포트를 특정하는 정보일 수 있다.
단계 S640에서 본 개시의 일 실시 예에 따른 전송 장치는, 피드백 정보에 기초하여 업데이트된 서브 픽쳐 에셋 정보를 수신 장치에게 전송할 수 있다. 예를 들어, 전송 장치는, 피드백 정보로서 수신된 뷰포트 정보에 기초하여, 컴포지션 픽쳐를 구성하는 서브 픽쳐들을 포함하는 에셋들을 결정할 수 있다. 전송 장치는 결정된 에셋들에 관한 정보를 수신 장치에게 전송할 수 있다.
단계 S650에서 본 개시의 일 실시 예에 따른 수신 장치는, 전송 장치로부터 수신된 업데이트된 서브 픽쳐 에셋 정보에 기초하여, 타겟 에셋을 요청할 수 있다. 본 개시의 일 실시 예에 따른 전송 장치는, 요청에 응답하여 타겟 에셋을 전송할 수 있다. 전송 장치는, 업데이트된 서브 픽쳐 에셋 정보에 기초하여, 타겟 에셋을 포함하는 복수의 에셋들을 통해 복수의 서브 픽쳐들을 전송할 수 있다.
이하에서는 도 7 내지 도 10을 참조하여, 본 개시의 일 실시 예에 따른 전송 장치 및 수신 장치 각각의 동작을 보다 구체적으로 살펴보도록 한다.
도 7은 본 개시의 일 실시 예에 따라 전송 장치가 비디오 컨텐츠를 전송하는 방법의 흐름도를 도시한다. 본 개시의 일 실시 예에 따른 전송 장치는, ISO/IEC에서 규정하는 OMAF 기술에 따라 압축된 데이터를 전송할 수 있다.
단계 S710에서 본 개시의 일 실시 예에 따른 전송 장치는, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인지 여부를 식별할 수 있다. 에셋은, 인코딩된 미디어 데이터를 운반하기 위한 MPU들의 논리적 그룹을 의미할 수 있다.
단계 S720에서 본 개시의 일 실시 예에 따른 전송 장치는, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인 경우, 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 생성할 수 있다.
서브 픽쳐란, 원본 컨텐츠의 공간적 서브셋(spatial subset)을 나타내는 픽쳐를 의미할 수 있다. 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인 경우, 컨텐츠를 수신하는 수신 장치는, 해당 서브 픽쳐와 함게 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐들에 대한 정보를 참조하여야만 컨텐츠를 렌더링 할 수 있다. 반면에, 에셋을 통해 전송되는 컨텐츠가 전체 컴포지션 픽쳐인 경우, 수신 장치는 해당 에셋을 통해 전송되는 컨텐츠를 독립적으로 렌더링할 수 있다.
서브 픽쳐 에셋 정보는, 픽쳐에 의해 커버되는 커버리지 정보, 에셋의 식별자, 및 서브 픽쳐 에셋 정보에 의해 기술되는 서브 픽쳐 비디오 에셋들의 개수 중 적어도 하나에 대한 정보를 포함할 수 있다. 커버리지 정보는, 에셋을 통해 전송되는 서브 픽쳐에 의해 커버되는 커버리지 정보 및 컴포지션 픽쳐에 의해 커버되는 커버리지 정보를 포함할 수 있다.
단계 S730에서 본 개시의 일 실시 예에 따른 전송 장치는, 서브 픽쳐 에셋 정보 및 컨텐츠를 전송할 수 있다.
본 개시의 일 실시 예에 따른 전송 장치는, 서브 픽쳐 에셋 정보를 전송하기에 앞서서, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인지 여부를 나타내는 정보를 포함하는 에셋 기술자를 전송할 수 있다.
예를 들어, 전송 장치는, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인지 여부를 나타내는 sub_picture flag를 포함하는 VR asset descriptor를 전송할 수 있다. 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인 경우, sub_picture flag는 1로 설정될 수 있다. 에셋을 통해 전송되는 컨텐츠가 전체 컴포지션 픽쳐인 경우, sub_picture flag는 0으로 설정될 수 있다.
일 실시 예에 따른 수신 장치는, 전송 장치로부터 수신된 서브 픽쳐 에셋 정보에 기초하여, 타겟 에셋을 요청할 수 있다. 본 개시의 일 실시 예에 따른 전송 장치는, 요청에 응답하여 타겟 에셋을 전송할 수 있다. 예를 들어, 전송 장치는, 타겟 에셋을 포함하는 복수의 에셋들을 통해 복수의 서브 픽쳐들을 전송할 수 있다. 또는, 전송 장치는, 타겟 에셋을 통해 전체 컴포지션 픽쳐를 전송할 수 있다.
한편, 일 실시 예에 따른 전송 장치는, 수신 장치로부터 피드백 정보를 수신할 수 있다. 예를 들어, 피드백 정보는, 뷰포트 정보, 대역폭 정보, 버퍼 정보, 딜레이 정보 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따른 전송 장치는, 피드백 정보에 기초하여 서브 픽쳐 에셋 정보를 업데이트 하고, 업데이트된 서브 픽쳐 에셋 정보를 수신 장치에게 전송할 수 있다.
이하에서는 도 8을 참조하여, 일 실시 예에 따른 전송 장치가 비디오 컨텐츠와 관련된 정보를 생성하는 방법을 구체적으로 설명한다.
단계 S810에서 일 실시 예에 따른 전송 장치는, 스티치된 픽쳐(stitched picture)를 획득할 수 있다. 일 실시 예에 따른 전송 장치는, 여러 방향에서 촬영된 다수의 카메라들로부터 획득된 이미지들을 스티칭(stitching) 하여 생성된, 스티치된 픽쳐를 획득할 수 있다.
단계 S820에서 일 실시 예에 따른 전송 장치는, 스티치된 픽쳐를 표현하기 위하여 다수 개의 서브 픽쳐가 필요한 지 여부를 판단할 수 있다.
스티치된 픽쳐가 다수개의 서브 픽쳐들로 구성되는 경우, 단계 S820에서 일 실시 예에 따른 전송 장치는 에셋 기술자(Asset Descriptor)를 업데이트할 수 있다. 예를 들어, 전송 장치는, 에셋 기술자에 포함되는 sub-picture flag를 1로 업데이트할 수 있다. 일 실시 예에 따른 전송 장치는, 에셋 기술자를 통해 sub-picture flag 1을 전송함으로써, 해당 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐임을 수신 장치에게 알릴 수 있다.
단계 S850에서 일 실시 예에 따른 전송 장치는, 스티치된 픽쳐가 다수개의 서브 픽쳐들로 구성되는 경우, 서브 픽쳐 에셋 정보 메시지를 생성할 수 있다.
일 실시 예에 따른 전송 장치는, 컴포지션 픽쳐를 구성하는 서브 픽쳐들이 함께 렌더링될 수 있도록, 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 생성할 수 있다. 예를 들어, 서브 픽쳐 에셋 정보 메시지는, 전체 컴포지션 픽쳐의 커버리지 정보, 전체 컴포지션 픽쳐를 구성하는 서브 픽쳐들을 포함하는 에셋들에 관한 정보(예를 들어, 컴포지션 픽쳐를 구성하는 에셋들의 개수 및/또는 해당 에셋들의 식별자 등), 서브 픽쳐의 커버리지 정보 중 적어도 하나에 대한 정보를 포함할 수 있다.
스티치된 픽쳐 전체가 단일한 픽쳐로 전송되는 경우, 단계 S840에서 일 실시 예에 따른 전송 장치는 에셋 기술자에 포함되는 sub-picture flag를 0으로 업데이트할 수 있다. 일 실시 예에 따른 전송 장치는, 에셋 기술자를 통해 sub-picture flag 0을 전송함으로써, 해당 에셋을 통해 전송되는 컨텐츠가 전체 컴포지션 픽쳐임을 수신 장치에게 알릴 수 있다.
도 9는 본 개시의 일 실시 예에 따라 수신 장치가 비디오 컨텐츠를 수신하고 처리하는 방법의 흐름도를 도시한다. 본 개시의 일 실시 예에 따른 전송 장치는, ISO/IEC에서 규정하는 OMAF 기술에 따라 압축된 데이터를 수신할 수 있다.
단계 S910에서 일 실시 예에 따라 수신 장치는, 에셋 기술자를 수신할 수 있다. 에셋은, 인코딩된 미디어 데이터를 운반하기 위한 MPU들의 논리적 그룹을 의미할 수 있다.
수신 장치는, 적어도 하나의 에셋을 통해 컨텐츠를 수신하고, 각 에셋을 통해 수신되는 컨텐츠에 대한 정보를 에셋 기술자를 통해 전달받을 수 있다. 본 개시의 일 실시 예에 따른 에셋 기술자는, 에셋을 통해 수신되는 컨텐츠가 서브 픽쳐인지 여부를 나타내는 정보를 포함할 수 있다.
단계 S920에서 일 실시 예에 따라 수신 장치는, 에셋 기술자에 기초하여, 에셋을 통해 수신되는 컨텐츠가 서브 픽쳐인지 여부를 판단할 수 있다.
예를 들어, 수신 장치는, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인지 여부를 나타내는 sub_picture flag를 포함하는 VR asset descriptor를 수신할 수 있다. 일 실시 예에 따라 수신 장치는, sub_picture flag가 1이면, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인 것으로 판단할 수 있다. 반면에, 수신 장치는, sub_picture flag가 0이면, 에셋을 통해 전송되는 컨텐츠가 전체 컴포지션 픽쳐인 것으로 판단할 수 있다.
단계 S930에서 일 실시 예에 따라 수신 장치는, 에셋을 통해 수신되는 컨텐츠가 서브 픽쳐인 경우, 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 식별할 수 있다.
서브 픽쳐 에셋 정보는, 픽쳐에 의해 커버되는 커버리지 정보, 에셋의 식별자, 및 서브 픽쳐 에셋 정보에 의해 기술되는 서브 픽쳐 비디오 에셋들의 개수 중 적어도 하나를 포함할 수 있다. 커버리지 정보는, 에셋을 통해 수신되는 서브 픽쳐에 의해 커버되는 커버리지 정보 및 컴포지션 픽쳐에 의해 커버되는 커버리지 정보를 포함할 수 있다.
단계 S940에서 일 실시 예에 따라 수신 장치는, 서브 픽쳐 에셋 정보에 기초하여, 컨텐츠를 수신하고 렌더링 할 수 있다.
예를 들어, 일 실시 예에 따라 수신 장치는, 서브 픽쳐 및 다른 서브 픽쳐에 의해 구성되는 컴포지션 픽쳐에 대응하는 컨텐츠를 수신하고 렌더링할 수 있다. 반면에, 일 실시 예에 따라 수신 장치는, 에셋을 통해 수신되는 컨텐츠가 전체 컴포지션 픽쳐인 경우, 에셋을 통해 수신되는 컨텐츠를 단독으로 렌더링할 수 있다.
한편, 본 개시의 일 실시 예에 따른 수신 장치는, 전송 장치에게 피드백 정보를 전송할 수 있다. 수신 장치는, 피드백 정보에 응답하여, 업데이트된 서브 픽쳐 에셋 정보를 수신할 수 있다. 예를 들어, 피드백 정보는, 뷰포트 정보, 대역폭 정보, 버퍼 정보, 딜레이 정보 중 적어도 하나를 포함할 수 있다.
이하에서는 도 10을 참조하여, 일 실시 예에 따라 수신 장치가 비디오 컨텐츠를 수신하고 처리하는 방법을 구체적으로 설명한다.
단계 S1010에서 일 실시 예에 따른 수신 장치는, 수신되는 컨텐츠가 다수개의 에셋들로 구성되는지 여부를 판단할 수 있다. 수신 장치는, 전송 장치로부터 수신되는 에셋 기술자에 기초하여, 에셋을 통해 수신되는 컨텐츠가 서브 픽쳐인지 여부(즉, 컨텐츠가 다수개의 에셋을 통해 수신되는 지 여부)를 판단할 수 있다.
예를 들어, 수신 장치는, sub_picture flag가 1이면, 수신되는 컨텐츠가 다수개의 에셋들로 구성되는 것으로 판단할 수 있다. 반면에, 수신 장치는, sub_picture flag가 0이면, 컨텐츠가 하나의 에셋을 통해 수신되는 것으로 판단할 수 있다.
단계 S1020에서 일 실시 예에 따른 수신 장치는, 수신되는 컨텐츠가 다수개의 에셋들로 구성되는 것으로 판단 되는 경우, 서브 픽쳐를 디코딩하고 버퍼링할 수 있다.
단계 S1040에서 일 실시 예에 따른 수신 장치는, 서브 픽쳐 에셋 정보에 기초하여, 렌더링을 위한 최소 에셋 세트에 대응하는 서브 픽쳐들을 획득할 수 있다. 예를 들어, 서브 픽쳐 에셋 정보 메시지는, 전체 컴포지션 픽쳐의 커버리지 정보, 전체 컴포지션 픽쳐를 구성하는 서브 픽쳐들을 포함하는 에셋들에 관한 정보(예를 들어, 컴포지션 픽쳐를 구성하는 에셋들의 개수 및/또는 해당 에셋들의 식별자 등), 서브 픽쳐의 커버리지 정보 중 적어도 하나에 대한 정보를 포함할 수 있다.
단계 S1030에서 일 실시 예에 따른 수신 장치는, 수신되는 컨텐츠가 하나의 에셋으로 구성되는 것으로 판단 되는 경우, 해당 컨텐츠를 디코딩할 수 있다.
단계 S1050에서 일 실시 예에 따른 수신 장치는, 최소 에셋 세트에 대응하는 픽쳐를 렌더링할 수 있다.
예를 들어, 수신되는 컨텐츠가 다수개의 에셋들로 구성되는 것으로 판단 되는 경우, 수신 장치는, 전체 컴포지션 픽쳐를 구성하는 서브 픽쳐들을 함께 렌더링할 수 있다. 반면에, 수신되는 컨텐츠가 하나의 에셋으로 구성되는 것으로 판단 되는 경우, 수신 장치는, 해당 에셋을 통해 수신되는 픽쳐를 단독으로 렌더링할 수 있다.
일 실시 예에 따르면, 서브 픽쳐가 뷰포트보다 클 때, 서브 픽쳐 플래그는 0 또는 1일 수 있다. 메시지 내에 특정되는 최소 에셋 세트를 구성하는 에셋들의 개수는 메세지에 따라 달라질 수 있다. 예를 들어, 최소 에셋 세트는 180' 또는 360'로 달라질 수 있다.
메시지 내에 특정되는 최소 에셋 세트를 구성하는 에셋들의 개수는, 대역폭, 컨텐츠 등에 따라 서버에 의해 업데이트 될 수 있다. 따라서, 특정된 서브 픽쳐 세트 내의 모든 에셋들(즉, 메시지 내에 나열된 모든 에셋들)이 수신되지 않으면, 클라이언트(또는 재생 장치)의 재생이 제한될 수 있다. 에셋마다 커버리지 정보가 특정되므로, 에셋들의 세트를 나열함으로써, 전체 서브 픽쳐 세트의 커버리지 정보를 알 수 있다.
반면에 일 실시 예에 따르면, 서브 픽쳐가 뷰포트보다 작을 때, 서브 픽쳐 플래그는 항상 1이다.
서브 픽쳐 플래그가 1일 때는, 서브 픽쳐 에셋 정보 메시지가 디코딩 및 렌더링을 위한 가이드를 제공할 수 있다. 수신 장치의 사용자가 0~180도에 해당하는 3D 영상을 보다가 왼쪽으로 움직이는 경우, 수신 장치는, 300~120도의 에셋들을 수신하여 디코딩 및 렌더링을 수행할 수 있다. 서브 픽쳐가 뷰포트보다 작은 경우, 최소 에셋 세트는 더 이상 서브 픽쳐가 아니며, 서브 픽쳐 에셋 정보 메시지는 에셋들의 필요한 커버리지 정보를 제공할 수 있다.
도 11은 본 개시의 일 실시 예에 따라 컨텐츠와 함께 전송되는 에셋 기술자(Asset Descriptor)의 신택스를 도시한다.
도 11에 도시된 바와 같이, 일 실시 예에 따른 에셋 기술자는 sub_picture flag를 포함할 수 있다. sub_picture flag는, 에셋을 통해 전송되는 컨텐트가 서브 픽쳐인지 여부를 나타낼 수 있다. 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐이고, 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐들과 독립적으로 렌더링되어서는 안되는 경우, sub_picture flag는 1로 설정될 수 있다. 에셋을 통해 전송되는 컨텐츠가 전체 컴포지션 픽쳐인 경우, sub_picture flag는 0으로 설정될 수 있다.
도 12는 본 개시의 일 실시 예에 따라 가상 현실 컨텐츠를 전송하기 위해 이용되는 가상 현실 어플리케이션 메세지 타입들이 나열된 표를 도시한다.
OMAF VR 형식 컨텐츠에 대한 새로운 에셋 기술자는, VR 정보 에셋 기술자(VR Information Asset descriptor)라는 이름으로 정의될 수 있다. VR 정보 에셋 기술자는, OMAF 형식의 컨텐츠를 운반하는 모든 에셋에 존재할 수 있다.
특정 VR 시그널링 메시지(specified VR signaling message)에 있어서, 다음과 같은 애플리케이션 메시지 유형 세트가 정의될 수 있다.
VRViewDependentSupportQuery : 클라이언트는 이 명령을 사용하여 서버가 뷰 종속 스트리밍을 지원하는지 확인한다.(The client uses this command to discover if the server supports view-dependent streaming.)
VRViewDependentSupportResponse : 서버는 뷰 종속 스트리밍에 대한 지원 기능을 표시하여 응답한다.(The server replies with an indication of its support capability for view-dependent streaming.)
VRViewportChangeFeedback : 수신 엔티티는 현재 뷰포트의 표시를 송신 엔티티로 보낸다.(The receiving entity sends an indication of the current viewport to the sending entity.)
VRViewDependentAssetsInformation : 요청 된 뷰포트와 일치하는 OMAF 에셋 세트를 결정하면 발신 엔티티는 이 메시지를 전송하여 수신 엔티티로 스트리밍 될 새로운 OMAF 에셋에 대해 클라이언트에게 알려준다.(Upon determining the set of OMAF Assets that match the requested viewport, the sending entity sends this message to inform the client about the new OMAF Assets that will be streamed to the receiving entity.)
VRViewportChangeFeedback 및 VRViewDependentAssetsInformation 메시지는 OMAF 에셋의 서버-기반 뷰-종속 스트리밍을 지원하기 위해 함께 사용된다. 렌더러가 표시된 관심 영역을 따르거나 OMAF의 권장 뷰포트 시간 메타 데이터 트랙을 따르는 안내 렌더링을 지원하기 위해 VRROIGuide 애플리케이션 메시지 유형이 정의된다.(To support guided rendering, where the renderer follows an indicated Region of Interest, or to follow the recommended viewport timed metadata track of OMAF, the VRROIGuide application message type is defined.)
도 13은 본 개시의 일 실시 예에 따라 컨텐츠와 함께 전송되는 서브 픽쳐 에셋 정보(Sub-picture Asset Information)의 신택스를 도시한다.
본 개시의 일 실시 예에 따른 전송 장치는, 도 11에 도시된 VR 정보 에셋 기술자를 통해 서브 플래그 1을 전송함으로써, 해당 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐임을 수신 장치에게 알릴 수 있다. 전송 장치는, 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 전송할 수 있다.
서브 픽쳐 에셋 정보는, 전송 장치에 의해 현재 전송되는 컨텐트가 복수의 서브 픽쳐 에셋들에 포함됨을 수신 장치에게 나타내기 위해 이용될 수 있다. 서브 픽쳐 에셋 정보는, 전체 컴포지션 픽쳐의 커버리지 정보, 전체 컴포지션 픽쳐를 구성하는 서브 픽쳐들을 포함하는 에셋들에 관한 정보, 및 각 서브 픽쳐의 커버리지 정보 중 적어도 하나에 대한 정보를 포함할 수 있다.
도 13에서 message_id는 VRSubPictureAsset Information 메시지의 식별자를 나타낸다.
version은 VRSubPictureAsset Information 메시지의 버전을 나타낸다.
length는 VRSubPictureAsset Information 메시지의 길이를 바이트 단위로 나타내며, 다음 필드의 시작부터 VRViewDependentSupportQuery 메시지의 마지막 바이트까지 계산된다. 이 필드의 값은 0과 같지 않아야 한다.
application_identifier는 이 메시지의 내용을 소비할 응용 프로그램을 고유하게 식별하는 urn으로서 응용 프로그램 식별자를 나타낸다.
app_message_type은 도 12에서 제공된 응용 프로그램 별 메시지 유형을 정의한다.
number_of_assets는 이 기술자에 의해 기술되는 서브 픽쳐 비디오 에셋들의 개수를 특정한다.
asset_id_length는 서브 픽쳐 비디오 에셋 식별자의 길이를 바이트 단위로 특정한다.
asset_id_byte는 서브 픽쳐 비디오 에셋 식별자의 바이트를 포함한다.
ContentCoverageInfoStruct()는, 도 13의 신택스에서 number_of_assets 루프 바깥쪽에 있는 경우, 컴포지션 픽쳐에 의해 커버되는 구(sphere) 영역을 나타낼 수 있다. 또는, ContentCoverageInfoStruct()는, 도 13의 신택스에서 number_of_assets 루프 안쪽에 있는 경우, 서브 픽쳐 에셋에 의해 커버되는 구(sphere) 영역을 나타낼 수 있다.
이하에서는, 일 실시 예에 따른 전송 장치(1400)의 구성을 설명한다. 이하에서 서술하는 전송 장치(1400)의 각 구성은, 도 7 및 도 8을 참조하여 상술한 방법의 각 단계를 수행할 수 있다. 중복되는 설명은 생략한다.
도 14는 일 실시예에 따른 전송 장치(1400)의 블록도이다.
도 14에 도시된 바와 같이, 일 실시예에 따른 전송 장치(1400)는, 통신 인터페이스(1410), 통신 인터페이스(1410)와 연결된 적어도 하나의 프로세서(1420), 및 메모리(1430)를 포함할 수 있다. 그러나 도시된 구성 요소 모두가 필수 구성 요소인 것은 아니다. 도시된 구성 요소보다 많은 구성 요소에 의해 전송 장치(1400)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 전송 장치(1400)는 구현될 수 있다. 예를 들어, 본 개시의 일 실 시예에 따른 전송 장치는, 3D 이미지와 관련된 데이터 또는 서비스를 제공하기 위한 서버일 수 있다.
본 개시의 일 실시 예에 따른 전송 장치(1400)는, 메모리(1430)에 저장된 하나 이상의 명령어들을 실행함으로써 일련의 3D 이미지들을 포함하는 비디오 컨텐츠를 전송하는 프로세서(1420)를 포함할 수 있다.
일 실시 예에 따른 프로세서(1420)는, 에셋을 통해 수신 장치에게 전송되는 컨텐츠가 서브 픽쳐인지 여부를 식별할 수 있다. 예를 들어, 프로세서(1420)는, 에셋을 통해 수신 장치에게 전송되는 컨텐츠가 서브 픽쳐인 경우, 에셋 기술자에 포함되는 sub-picture flag를 1로 업데이트할 수 있다. 프로세서(1420)는, 에셋을 통해 수신 장치에게 전송되는 컨텐츠가 서브 픽쳐가 아닌 경우, 에셋 기술자에 포함되는 sub-picture flag를 0으로 업데이트할 수 있다.
프로세서(1420)는, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인 경우, 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 생성할 수 있다. 일 실시 예에 따른 프로세서(1420)는, 컴포지션 픽쳐를 구성하는 서브 픽쳐들이 함께 렌더링될 수 있도록, 서브 픽쳐 에셋 정보를 생성하고 전송할 수 있다.
프로세서(1420)는, 서브 픽쳐 에셋 정보 및 컨텐츠를 전송하도록 통신 인터페이스(1410)를 제어할 수 있다.
한편, 일 실시 예에 따른 전송 장치(1400)는, 수신 장치로부터 피드백 정보를 수신할 수 있다. 예를 들어, 피드백 정보는, 뷰포트 정보, 대역폭 정보, 버퍼 정보, 딜레이 정보 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따른 전송 장치(1400)는, 피드백 정보에 기초하여 서브 픽쳐 에셋 정보를 업데이트 하고, 업데이트된 서브 픽쳐 에셋 정보를 수신 장치에게 전송할 수 있다.
일 실시 예에 따른 수신 장치는, 전송 장치(1400)로부터 수신된 업데이트된 서브 픽쳐 에셋 정보에 기초하여, 타겟 에셋을 요청할 수 있다. 본 개시의 일 실시 예에 따른 전송 장치(1400)는, 요청에 응답하여 타겟 에셋을 전송할 수 있다.
이하에서는, 일 실시 예에 따른 수신 장치(1500)의 구성을 설명한다. 이하에서 서술하는 수신 장치(1500)의 각 구성은, 도 9 및 도 10을 참조하여 상술한 방법의 각 단계를 수행할 수 있다. 중복되는 설명은 생략한다.
도 15는 일 실시예에 따른 수신 장치(1500)의 블록도이다.
도 15에 도시된 바와 같이, 일 실시예에 따른 수신 장치(1500)는, 통신 인터페이스(1510), 통신 인터페이스(1510)와 연결된 적어도 하나의 프로세서(1520), 및 메모리(1530)를 포함할 수 있다. 그러나 도시된 구성 요소 모두가 필수 구성 요소인 것은 아니다. 도시된 구성 요소보다 많은 구성 요소에 의해 수신 장치(1500)가 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 수신 장치(1500)는 구현될 수 있다. 본 개시의 일 실 시예에 따른 수신 장치는, 3D 이미지에 관한 데이터를 수신하여 이를 재생할 수 있는 모든 종류의 디바이스를 포함할 수 있다.
본 개시의 일 실시 예에 따른 수신 장치(1500)는, 메모리(1530)에 저장된 하나 이상의 명령어들을 실행함으로써 일련의 3D 이미지들을 포함하는 비디오 컨텐츠를 전송하는 프로세서(1520)를 포함할 수 있다.
일 실시 예에 따른 프로세서(1520)는, 통신 인터페이스(1510)를 통해 수신된 에셋 기술자에 기초하여, 에셋을 통해 수신되는 컨텐츠가 서브 픽쳐인지 여부를 판단할 수 있다.
예를 들어, 수신 장치는, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인지 여부를 나타내는 sub_picture flag를 포함하는 VR asset descriptor를 수신할 수 있다. 일 실시 예에 따라 수신 장치는, sub_picture flag가 1이면, 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인 것으로 판단할 수 있다. 반면에, 수신 장치는, sub_picture flag가 0이면, 에셋을 통해 전송되는 컨텐츠가 전체 컴포지션 픽쳐인 것으로 판단할 수 있다.
프로세서(1520)는, 에셋을 통해 수신되는 컨텐츠가 서브 픽쳐인 경우, 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 식별할 수 있다. 프로세서(1520)는, 서브 픽쳐 에셋 정보에 기초하여, 컨텐츠를 수신하고 렌더링할 수 있다.
예를 들어, 일 실시 예에 따라 수신 장치(1500)는, 서브 픽쳐 및 다른 서브 픽쳐를 포함하는 컴포지션 픽쳐에 대응하는 컨텐츠를 수신하고 렌더링할 수 있다. 반면에, 일 실시 예에 따라 수신 장치(1500)는, 에셋을 통해 수신되는 컨텐츠가 전체 컴포지션 픽쳐인 경우, 에셋을 통해 수신되는 컨텐츠를 단독으로 렌더링할 수 있다.
한편, 본 개시의 일 실시 예에 따른 수신 장치(1500)는, 전송 장치(1400)에게 피드백 정보를 전송할 수 있다. 수신 장치(1500)는, 피드백 정보에 응답하여, 업데이트된 서브 픽쳐 에셋 정보를 전송 장치(1400)로부터 수신할 수 있다. 예를 들어, 피드백 정보는, 뷰포트 정보, 대역폭 정보, 버퍼 정보, 딜레이 정보 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따른 수신 장치(1500)는, 전송 장치(1400)로부터 수신된 업데이트된 서브 픽쳐 에셋 정보에 기초하여, 타겟 에셋을 요청할 수 있다. 본 개시의 일 실시 예에 따른 전송 장치(1400)는, 요청에 응답하여 타겟 에셋을 전송할 수 있다.
한편, 상술한 실시예는, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터에 의해 판독 가능한 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 실시예에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 또한, 상술한 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로 구현될 수 있다. 예를 들어, 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 컴퓨터가 읽고 실행할 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 기록 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 마그네틱 저장매체, 예를 들면, 롬, 플로피 디스크, 하드 디스크 등을 포함하고,) 광학적 판독 매체, 예를 들면, 시디롬, DVD 등과 같은 저장 매체를 포함할 수 있으나, 이에 제한되지 않는다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함할 수 있다.
또한, 컴퓨터가 읽을 수 있는 복수의 기록 매체가 네트워크로 연결된 컴퓨터 시스템들에 분산되어 있을 수 있으며, 분산된 기록 매체들에 저장된 데이터, 예를 들면 프로그램 명령어 및 코드가 적어도 하나의 컴퓨터에 의해 실행될 수 있다.
본 개시에서 설명된 특정 실행들은 일 실시예 일 뿐이며, 어떠한 방법으로도 본 개시의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 및 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다.

Claims (20)

  1. 비디오 컨텐츠를 복수의 에셋들을 통해 전송하는 방법에 있어서,
    에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인지 여부를 식별하는 단계;
    상기 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인 경우, 상기 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 생성하는 단계; 및
    상기 서브 픽쳐 에셋 정보 및 상기 컨텐츠를 전송하는 단계를 포함하는, 방법.
  2. 제1 항에 있어서,
    상기 에셋은, 인코딩된 미디어 데이터를 운반하기 위한 미디어 처리 단위(Media Processing Unit, MPU)들의 논리적 그룹인, 방법.
  3. 제1 항에 있어서,
    상기 비디오 컨텐츠는, ISO/IEC에서 규정하는 OMAF(Omnidirectional Media Format) 기술에 따라 압축된 데이터인, 방법.
  4. 제1 항에 있어서,
    상기 에셋을 통해 전송되는 상기 컨텐츠가 서브 픽쳐인 경우, 상기 컨텐츠를 수신하는 수신 장치는 상기 서브 픽쳐와 함게 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐들에 대한 정보를 참조하여야만 상기 컨텐츠를 렌더링 할 수 있고,
    상기 에셋을 통해 전송되는 상기 컨텐츠가 전체 컴포지션 픽쳐인 경우, 상기 수신 장치는 상기 컨텐츠를 독립적으로 렌더링할 수 있는, 방법.
  5. 제1 항에 있어서,
    상기 에셋을 통해 전송되는 상기 컨텐츠가 서브 픽쳐인지 여부를 나타내는 정보를 포함하는 에셋 기술자를 전송하는 단계를 더 포함하는, 방법.
  6. 제1 항에 있어서,
    상기 에셋을 통해 전송되는 상기 컨텐츠가 서브 픽쳐인지 여부를 나타내는 sub_picture flag를 포함하는 VR asset descriptor를 전송하는 단계를 더 포함하고,
    상기 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인 경우 상기 sub_picture flag는 1로 설정되고, 상기 에셋을 통해 전송되는 컨텐츠가 전체 컴포지션 픽쳐인 경우 sub_picture flag는 0으로 설정되는, 방법.
  7. 제1 항에 있어서,
    상기 서브 픽쳐 에셋 정보는,
    픽쳐에 의해 커버되는 커버리지 정보, 상기 에셋의 식별자, 및 상기 서브 픽쳐 에셋 정보에 의해 기술되는 서브 픽쳐 비디오 에셋들의 개수 중 적어도 하나를 포함하는, 방법.
  8. 제7 항에 있어서,
    상기 커버리지 정보는, 상기 에셋을 통해 전송되는 서브 픽쳐에 의해 커버되는 커버리지 정보 및 상기 컴포지션 픽쳐에 의해 커버되는 커버리지 정보를 포함하는, 방법.
  9. 제1 항에 있어서,
    피드백 정보를 수신하는 단계;
    상기 피드백 정보에 기초하여 상기 서브 픽쳐 에셋 정보를 업데이트 하는 단계; 및
    상기 업데이트된 서브 픽쳐 에셋 정보를 전송하는 단계를 더 포함하고,
    상기 피드백 정보는, 뷰포트 정보, 대역폭 정보, 버퍼 정보, 딜레이 정보 중 적어도 하나를 포함하는, 방법.
  10. 비디오 컨텐츠를 복수의 에셋들을 통해 전송하기 위한 서버에 있어서,
    통신 인터페이스; 및
    상기 통신 인터페이스에 연결된 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인지 여부를 식별하고, 상기 에셋을 통해 전송되는 컨텐츠가 서브 픽쳐인 경우, 상기 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 생성하고, 상기 서브 픽쳐 에셋 정보 및 상기 컨텐츠를 전송하도록 상기 통신 인터페이스를 제어하는, 서버.
  11. 비디오 컨텐츠를 복수의 에셋들을 통해 수신하는 방법에 있어서,
    에셋 기술자를 수신하는 단계;
    상기 에셋 기술자에 기초하여, 에셋을 통해 수신되는 컨텐츠가 서브 픽쳐인지 여부를 판단하는 단계;
    상기 에셋을 통해 수신되는 컨텐츠가 서브 픽쳐인 경우, 상기 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 식별하는 단계; 및
    상기 서브 픽쳐 에셋 정보에 기초하여, 상기 컨텐츠를 수신하고 렌더링 하는 단계를 포함하는, 방법.
  12. 제11 항에 있어서,
    상기 에셋은, 인코딩된 미디어 데이터를 운반하기 위한 미디어 처리 단위(Media Processing Unit, MPU)들의 논리적 그룹인, 방법.
  13. 제11 항에 있어서,
    상기 비디오 컨텐츠는, ISO/IEC에서 규정하는 OMAF(Omnidirectional Media Format) 기술에 따라 압축된 데이터인, 방법.
  14. 제11 항에 있어서,
    상기 에셋 기술자는,
    상기 에셋을 통해 수신되는 상기 컨텐츠가 서브 픽쳐인지 여부를 나타내는 정보를 포함하는, 방법.
  15. 제11 항에 있어서,
    상기 에셋 기술자를 수신하는 단계는,
    상기 에셋을 통해 전송되는 상기 컨텐츠가 서브 픽쳐인지 여부를 나타내는 sub_picture flag를 포함하는 VR asset descriptor를 수신하는 단계를 포함하고,
    상기 에셋을 통해 수신되는 상기 컨텐츠가 서브 픽쳐인지 여부를 판단하는 단계는,
    상기 sub_picture flag가 1이면, 상기 에셋을 통해 전송되는 상기 컨텐츠가 서브 픽쳐인 것으로 판단하는 단계; 및
    상기 sub_picture flag가 0이면, 상기 에셋을 통해 전송되는 상기 컨텐츠가 전체 컴포지션 픽쳐인 것으로 판단하는 단계를 포함하는, 방법.
  16. 제11 항에 있어서,
    상기 컨텐츠를 수신하고 렌더링 하는 단계는,
    상기 서브 픽쳐 및 상기 다른 서브 픽쳐를 포함하는 상기 컴포지션 픽쳐에 대응하는 컨텐츠를 수신하고 렌더링하는 단계를 포함하고,
    상기 에셋을 통해 수신되는 상기 컨텐츠가 전체 컴포지션 픽쳐인 경우, 상기 에셋을 통해 수신되는 컨텐츠를 단독으로 렌더링하는 단계를 더 포함하는, 방법.
  17. 제11 항에 있어서,
    상기 서브 픽쳐 에셋 정보는,
    픽쳐에 의해 커버되는 커버리지 정보, 상기 에셋의 식별자, 및 상기 서브 픽쳐 에셋 정보에 의해 기술되는 서브 픽쳐 비디오 에셋들의 개수 중 적어도 하나를 포함하는, 방법.
  18. 제17 항에 있어서,
    상기 커버리지 정보는, 상기 에셋을 통해 수신되는 서브 픽쳐에 의해 커버되는 커버리지 정보 및 상기 컴포지션 픽쳐에 의해 커버되는 커버리지 정보를 포함하는, 방법.
  19. 제11 항에 있어서,
    피드백 정보를 전송하는 단계; 및
    상기 피드백 정보에 응답하여, 업데이트된 서브 픽쳐 에셋 정보를 수신하는 단계를 더 포함하고,
    상기 피드백 정보는, 뷰포트 정보, 대역폭 정보, 버퍼 정보, 딜레이 정보 중 적어도 하나를 포함하는, 방법.
  20. 비디오 컨텐츠를 복수의 에셋들을 통해 수신하는, 통신 인터페이스; 및
    상기 통신 인터페이스에 연결된 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 통신 인터페이스를 통해 수신된 에셋 기술자에 기초하여, 에셋을 통해 수신되는 컨텐츠가 서브 픽쳐인지 여부를 판단하고, 상기 에셋을 통해 수신되는 컨텐츠가 서브 픽쳐인 경우, 상기 서브 픽쳐와 함께 컴포지션 픽쳐를 구성하는 다른 서브 픽쳐에 대한 정보를 포함하는 서브 픽쳐 에셋 정보를 식별하고, 상기 서브 픽쳐 에셋 정보에 기초하여, 상기 컨텐츠를 수신하고 렌더링하는, 장치.
PCT/KR2019/012747 2018-10-01 2019-09-30 비디오 컨텐츠를 전송하는 방법 및 장치 및 비디오 컨텐츠를 수신하는 방법 및 장치 WO2020071709A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201980065246.8A CN112805998A (zh) 2018-10-01 2019-09-30 传输视频内容的方法和设备以及接收视频内容的方法和设备
KR1020217001491A KR102656614B1 (ko) 2018-10-01 2019-09-30 비디오 컨텐츠를 전송하는 방법 및 장치 및 비디오 컨텐츠를 수신하는 방법 및 장치
US17/277,996 US11503382B2 (en) 2018-10-01 2019-09-30 Method and device for transmitting video content and method and device for receiving video content
EP19868706.3A EP3846465A4 (en) 2018-10-01 2019-09-30 METHOD AND DEVICE FOR TRANSFERRING VIDEO CONTENT AND METHOD AND DEVICE FOR RECORDING VIDEO CONTENT

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862739509P 2018-10-01 2018-10-01
US62/739,509 2018-10-01

Publications (1)

Publication Number Publication Date
WO2020071709A1 true WO2020071709A1 (ko) 2020-04-09

Family

ID=70055687

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/012747 WO2020071709A1 (ko) 2018-10-01 2019-09-30 비디오 컨텐츠를 전송하는 방법 및 장치 및 비디오 컨텐츠를 수신하는 방법 및 장치

Country Status (5)

Country Link
US (1) US11503382B2 (ko)
EP (1) EP3846465A4 (ko)
KR (1) KR102656614B1 (ko)
CN (1) CN112805998A (ko)
WO (1) WO2020071709A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021107663A1 (ko) * 2019-11-27 2021-06-03 엘지전자 주식회사 영상 디코딩 방법 및 그 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130058647A (ko) * 2011-11-25 2013-06-04 (주)휴맥스 Ｍｍｔ 패키지화 컨텐츠의하이브리드 전송 방법 및 컨텐츠 수신 방법
US20180020248A1 (en) * 2016-07-14 2018-01-18 Mediatek Inc. Method and apparatus for streaming video content
JP2018148574A (ja) * 2011-10-13 2018-09-20 サムスン エレクトロニクス カンパニー リミテッド マルチメディアコンテンツ受信装置
WO2018169139A1 (ko) * 2017-03-17 2018-09-20 엘지전자 주식회사 360도 비디오의 영역 정보 전달 방법 및 장치
US20180277164A1 (en) * 2017-03-23 2018-09-27 Qualcomm Incorporated Signalling of video content including sub-picture bitstreams for video coding

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9635394B2 (en) * 2013-01-24 2017-04-25 Electronics And Telecommunications Research Institute Method and device for flexible MMT asset transmission and reception
EP3419301B1 (en) 2016-02-17 2021-08-18 Samsung Electronics Co., Ltd. Method for transmitting and receiving metadata of omnidirectional image
CN116193115A (zh) * 2016-03-30 2023-05-30 韩国电子通信研究院 使用画面划分信息对视频进行编码和解码的方法和设备
US10652284B2 (en) 2016-10-12 2020-05-12 Samsung Electronics Co., Ltd. Method and apparatus for session control support for field of view virtual reality streaming
US10595069B2 (en) * 2016-12-05 2020-03-17 Adobe Inc. Prioritizing tile-based virtual reality video streaming using adaptive rate allocation
US10999605B2 (en) * 2017-01-10 2021-05-04 Qualcomm Incorporated Signaling of important video information in file formats
KR102133848B1 (ko) 2017-03-20 2020-07-14 엘지전자 주식회사 360 비디오를 전송하는 방법, 360 비디오를 수신하는 방법, 360 비디오 전송 장치, 360 비디오 수신 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018148574A (ja) * 2011-10-13 2018-09-20 サムスン エレクトロニクス カンパニー リミテッド マルチメディアコンテンツ受信装置
KR20130058647A (ko) * 2011-11-25 2013-06-04 (주)휴맥스 Ｍｍｔ 패키지화 컨텐츠의하이브리드 전송 방법 및 컨텐츠 수신 방법
US20180020248A1 (en) * 2016-07-14 2018-01-18 Mediatek Inc. Method and apparatus for streaming video content
WO2018169139A1 (ko) * 2017-03-17 2018-09-20 엘지전자 주식회사 360도 비디오의 영역 정보 전달 방법 및 장치
US20180277164A1 (en) * 2017-03-23 2018-09-27 Qualcomm Incorporated Signalling of video content including sub-picture bitstreams for video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3846465A4 *

Also Published As

Publication number Publication date
EP3846465A1 (en) 2021-07-07
KR102656614B1 (ko) 2024-04-12
EP3846465A4 (en) 2021-08-11
US11503382B2 (en) 2022-11-15
US20210360332A1 (en) 2021-11-18
KR20210053875A (ko) 2021-05-12
CN112805998A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
US11902350B2 (en) Video processing method and apparatus
WO2018169367A1 (en) Method and apparatus for packaging and streaming of virtual reality media content
US11765407B2 (en) Method, device, and computer program for transmitting media content
KR102320455B1 (ko) 미디어 콘텐트를 전송하는 방법, 디바이스, 및 컴퓨터 프로그램
WO2020013567A1 (ko) 컨텐츠의 처리 방법 및 장치
WO2014054847A1 (en) Content processing apparatus for processing high resolution content and content processing method thereof
EP3804342A1 (en) Method, device, and computer program for transmitting media content
WO2020076058A1 (ko) 3차원 비디오 컨텐츠를 포함하는 미디어 파일을 생성하는 방법 및 장치 및 3차원 비디오 컨텐츠를 재생하는 방법 및 장치
WO2011129602A2 (ko) 3차원 영상 데이터를 부호화하는 방법 및 장치와 복호화 방법 및 장치
WO2018028512A1 (en) File format for indication of video content
WO2020189983A1 (en) Method and apparatus for accessing and transferring point cloud content in 360-degree video environment
WO2023051138A1 (zh) 沉浸媒体的数据处理方法、装置、设备、存储介质及程序产品
WO2020071709A1 (ko) 비디오 컨텐츠를 전송하는 방법 및 장치 및 비디오 컨텐츠를 수신하는 방법 및 장치
JP2022524871A (ja) メディアコンテンツにおけるレイトバインディングのための方法および装置
JP2002502169A (ja) 会話形通信におけるクライアント−サーバインタラクションの方法及びシステム
US20230025664A1 (en) Data processing method and apparatus for immersive media, and computer-readable storage medium
Podborski et al. 360-degree video streaming with MPEG-DASH
WO2023219278A1 (ko) Mpeg 몰입형 비디오를 위한 카메라 파라미터 그룹핑 및 업데이트를 위한 방법
WO2017150847A2 (ko) 광 시야각 영상 처리 시스템, 광 시야각 영상의 전송 및 재생 방법, 및 이를 위한 컴퓨터 프로그램
WO2019013592A1 (en) METHOD AND APPARATUS FOR TRANSMITTING DATA IN A NETWORK SYSTEM
US20230396808A1 (en) Method and apparatus for decoding point cloud media, and method and apparatus for encoding point cloud media
KR102661694B1 (ko) 미디어 파일 캡슐화 방법, 미디어 파일 캡슐화 해제 방법 및 관련 디바이스
WO2023128491A1 (ko) 다채널 영상을 전송하기 위한 시스템의 동작 방법 및 이를 수행하는 시스템
WO2022019552A1 (en) Method and apparatus for random access of 3d(ar) media
WO2018182161A1 (ko) 3차원 이미지에 관한 데이터를 전송하기 위한 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19868706

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019868706

Country of ref document: EP

Effective date: 20210401