WO2018110839A1 - 3차원 이미지에 관한 데이터를 전송하기 위한 방법 - Google Patents

3차원 이미지에 관한 데이터를 전송하기 위한 방법 Download PDF

Info

Publication number
WO2018110839A1
WO2018110839A1 PCT/KR2017/012899 KR2017012899W WO2018110839A1 WO 2018110839 A1 WO2018110839 A1 WO 2018110839A1 KR 2017012899 W KR2017012899 W KR 2017012899W WO 2018110839 A1 WO2018110839 A1 WO 2018110839A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
regions
viewport
index
packed
Prior art date
Application number
PCT/KR2017/012899
Other languages
English (en)
French (fr)
Inventor
입에릭
최병두
송재연
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to CN201780077783.5A priority Critical patent/CN110073657B/zh
Priority to US16/470,446 priority patent/US10827160B2/en
Priority to EP17880224.5A priority patent/EP3557866A4/en
Publication of WO2018110839A1 publication Critical patent/WO2018110839A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size

Definitions

  • the present invention relates to a method and apparatus for transmitting data relating to a three-dimensional (3D) image, and more particularly to a method and apparatus for selectively transmitting data for a specific portion of a region of a 3D image. will be.
  • the 3D image for display on a device capable of providing VR or AR Technologies related to processing and transmission are also improving.
  • the size of the data about the 3D image can be very large.
  • transmitting data about the 3D image may add a load to the transmission system due to the size of the data.
  • the size of data related to the 3D image may be a big limitation in providing the 3D image in real time.
  • an object of the present invention is to provide a method and apparatus for efficiently transmitting or receiving data regarding 3D images.
  • Another object of the present invention is to provide a method and apparatus for easily identifying at least one region to be selectively transmitted on a 2D image based on projection from a 3D image.
  • Method for displaying a 3D (3D) image by a device for solving the problem, the process of transmitting information about the viewport of the device to a server, from the server, packed Receiving data for at least one second area corresponding to the viewport among a plurality of areas of a 2D image, and displaying a 3D image based on the received data, wherein the packed 2D image Is generated by modifying or rearranging at least some of the plurality of regions of the 2D image projected from the 3D image, wherein the at least one second region corresponds to at least one of the plurality of regions of the 3D image corresponding to the viewport.
  • An index of each one first region, an index and each of the plurality of regions of the 3D image The identification is based on the information regarding the relationship between the plurality of regions each of the index of the 2D image.
  • a device for displaying a 3D image includes a communication interface and a processor connected with the communication interface, and the processor transmits information about a viewport of the device to a server. And receive, from the server, data for at least one second area corresponding to the viewport of the plurality of areas of a packed 2D image, and display a 3D image based on the received data,
  • the packed 2D image is generated by modifying or rearranging at least some of the plurality of regions of the 2D image projected from the 3D image, wherein the at least one second region is the plurality of regions of the 3D image.
  • An index of each of the at least one first region corresponding to the viewport, and the 3D image Is identified based on information relating to an index of each of a plurality of regions of and an index of each of the plurality of regions of the packed 2D image.
  • a method for transmitting data about a 3D image by a server includes: receiving information about a viewport of the device from a device, a plurality of regions of a packed 2D image Identifying at least one second area corresponding to the viewport, and transmitting data for the at least one second area to the device, wherein the packed 2D image is projected from a 3D image Generated by modifying or rearranging at least some of the plurality of regions of the 2D image, wherein the at least one second region is each of at least one first region corresponding to the viewport of the plurality of regions of the 3D image An index of each of the plurality of regions of the packed 2D image and an index of each of the plurality of regions of the 3D image The index is identified based on the information about the relationship.
  • a server for transmitting data relating to a 3D image includes a communication interface and a processor connected to the communication interface, the processor from the device to a viewport of the device. Receive information regarding, identify at least one second region corresponding to the viewport of a plurality of regions of a packed 2D image, and transmit data for the at least one second region to the device,
  • the packed 2D image is generated by modifying or rearranging at least some of the plurality of regions of the 2D image projected from the 3D image, wherein the at least one second region is the viewport of the plurality of regions of the 3D image.
  • An index of each of the at least one first region corresponding to a plurality of the 3D images It is identified based on the information about the regions between the respective index and the packing of a plurality of regions each index of the 2D image.
  • FIG. 1 shows a system of a transmitter for transmitting data relating to a 3D image according to an embodiment of the present invention.
  • FIG. 2 illustrates projecting a 3D image into two images and packing the projected 2D image according to an embodiment of the present invention.
  • FIG 3 shows a system of a receiver for receiving data relating to a 3D image according to an embodiment of the present invention.
  • FIG. 4 illustrates a viewport on a 3D image divided into a plurality of regions according to an embodiment of the present invention.
  • FIG. 5 illustrates a 2D image projected from the 3D image of FIG. 4 by an requirectangular projection (ERP) method.
  • ERP requirectangular projection
  • FIG. 6 shows a 2D image packed from the ERP 2D image of FIG. 5.
  • FIG. 7 shows an octahedron projection (OHP) 2D image from the 3D image of FIG. 4.
  • FIG. 8 shows a packed 2D image from the OHP projected 2D image of FIG. 7.
  • FIG 9 illustrates groups of a plurality of regions of a 3D image according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating the operation of a receiver according to an embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating operations of a device and a server according to another embodiment of the present invention.
  • FIG. 12 is a flowchart illustrating the operation of a device and a server according to another embodiment of the present invention.
  • FIG. 13 is a flowchart illustrating operations of a device and a server according to another embodiment of the present invention.
  • FIG. 14 illustrates a method of representing the coordinates of a particular point on a spherical 3D image.
  • 15 is a block diagram of a receiver according to an embodiment of the present invention.
  • FIG. 1 shows a system of a transmitter for transmitting data relating to a 3D image according to an embodiment of the present invention.
  • the transmitter may be a server for providing data or services related to 3D images.
  • the 3D image may refer to both a dynamic image and a static image.
  • the transmitter may generate or receive a 3D image (110).
  • the transmitter can stitch 3D images from multiple cameras taken from various directions.
  • the transmitter may receive data about the 3D image that has already been made from the outside.
  • the 3D image may be rendered in the form of a sphere, cube, cylinder, or octahedron, but the shape of the 3D image described is merely exemplary, and is used in the art.
  • Various forms of 3D images may be generated or received.
  • the transmitter may project the 3D image into the 2D image (120).
  • any one of required projection methods (ERP), octahedron projection (OHP), cylinder projection, cube projection, and various projection methods available in the art may be used.
  • the transmitter may pack the projected 2D image (130). Packing may mean modifying and / or rearranging at least some of the plurality of regions constituting the projected 2D image to generate a new 2D image (ie, a packed 2D image).
  • the deformation of the region may be resizing, transforming, rotating and / or re-sampling (e.g., upsampling, downsampling, differential sampling based on location within the region). And the like.
  • FIG. 2 illustrates projecting a 3D image into two images and packing the projected 2D image according to an embodiment of the present invention.
  • the example 3D image 210 in FIG. 2 may have a spherical shape.
  • the projected 2D image 220 can be generated by projecting the 3D image 210 by an exemplary ERP scheme.
  • the projected 2D image 220 may be divided into a plurality of regions 221, 222, 223, and 224.
  • the method of dividing the projected 2D image 220 may be variously changed according to embodiments.
  • a packed 2D image 230 may be generated from the projected 2D image 220.
  • the packed 2D image 230 may be generated by modifying and / or rearranging the plurality of regions 221, 222, 223, 224 of the projected 2D image 220.
  • Each of the plurality of regions 231, 232, 233, and 234 of the packed 2D image 230 may sequentially correspond to the plurality of regions 221, 222, 223, and 224 of the projected 2D image 220.
  • Deformation and relocation of the plurality of regions 231, 232, 233, 234 of the packed 2D image 230 shown in FIG. 2 are merely exemplary, and various modifications and relocations may be performed according to embodiments. Can be.
  • the transmitter can encode a packed 2D image (240).
  • the packed 2D image may be divided into a plurality of regions. Encoding may be performed separately for the plurality of regions of the packed 2D image. In some embodiments, encoding may be performed only on one or more areas to be transmitted among the plurality of areas of the packed 2D image. In some embodiments, encoding may be performed on the group image for two or more of the plurality of regions of the packed 2D image. In some embodiments, encoding may be performed on the entire packed 2D image. Encoding may be performed using an encoding scheme for a known 2D image.
  • the transmitter can encapsulate the encoded data (150). Encapsulation may mean processing the encoded data to conform to a given transport protocol through processing such as splitting the encoded data, adding a header to the partitions, and the like.
  • the transmitter can send encapsulated data.
  • FIG. 3 shows a system of a receiver for receiving data relating to a 3D image according to an embodiment of the present invention.
  • the receiver can be a VR device or an AR device.
  • the receiver may refer to any kind of device capable of receiving and reproducing data related to 3D images.
  • the receiver may receive data regarding the 3D image transmitted from the transmitter.
  • the receiver may perform decapsulation on the received data (310). Through decapsulation 310, encoded data generated via encoding 140 in FIG. 1 may be obtained.
  • the receiver may perform decoding on the unencapsulated 310 data (320).
  • the packed 2D image may be reconstructed through decoding 320.
  • the receiver may perform unpacking on the decoded data (ie, packed 2D image) (330). Unpacking may restore the 2D image generated through the projection 120 in FIG. 1. Performing unpacking may be performed by inverse transformation of the deformation and / or relocation for a plurality of regions of the projected 2D image performed in packing 130 in FIG. 1. To this end, the receiver needs to know about the method of packing 130.
  • the method of packing 130 may be predetermined between the receiver and the transmitter.
  • the transmitter may deliver information about the method of the packing 130 to the receiver through a separate message such as metadata.
  • the transmission data generated through encapsulation 150 may include information about the method of packing 130, for example within a header.
  • the receiver may project the unpacked 2D image into a 3D image (340).
  • the receiver may use the inverse projection of the projection used to project 120 the 2D image into the 2D image in FIG. 1 to project the 3D image, but is not necessarily limited thereto.
  • the receiver may project the unpacked 2D image into a 3D image to generate a 3D image.
  • the receiver may display at least a portion of the 3D image through the display device (350). For example, the receiver may extract and render only data corresponding to a current field of view (FOV) among 3D images.
  • FOV current field of view
  • only data for a portion of the 3D image of the data regarding the 3D image may be transmitted in order to reduce the burden on the transmission of data regarding the 3D image.
  • the transmitter may divide the packed 2D image into a plurality of regions, and transmit only one or more regions including data about a viewport of the receiver among the plurality of regions of the packed 2D image.
  • the plurality of regions of the packed 2D image separated for transmission may be set independently of the plurality of regions of the projected 2D image separated for packing.
  • identifying the area corresponding to the viewport on the 3D image among the plurality of areas of the packed 2D image separated for transmission may increase the computational burden on the processor of the receiver, so that the 3D image corresponding to the viewport is simply What is needed is a method of identifying areas of the image.
  • a method of identifying an area on a 3D image corresponding to a viewport according to an embodiment of the present invention will be described with reference to FIGS. 4 to 6.
  • the example 3D image 400 may be rendered in the form of a sphere.
  • the 3D image 400 may be divided into a plurality of regions.
  • the plurality of regions of the 3D image 400 may be divided so that each has a constant latitude angle range and a constant longitude angle range, but is not limited thereto.
  • the plurality of regions of the 3D image 400 are set to have a longitude angle range of 45 ° and a latitude angle range of 30 °, respectively.
  • An index may be set for each of the plurality of regions of the 3D image 400.
  • the index of each of the plurality of regions may be displayed in the form of [x, y] according to the row (x) and column (y) of the corresponding region in the matrix formed by the regions, but is not necessarily limited thereto.
  • the viewport 420 may be located in the first to sixth regions 411, 412, 413, 414, 415, and 416 of the plurality of regions of the 3D image 400.
  • the indexes of the first to sixth regions of the 3D image 400 are in order of [0, 1], [1, 1], [2, 1], [0, 2], [1, 2], [2, 2].
  • FIG. 5 shows a 2D image projected in an requirectangular projection (ERP) manner from the 3D image of FIG. 4.
  • the projected 2D image 500 may be divided into a plurality of regions corresponding to the plurality of regions of the 3D image 400.
  • the 2D image projected by the ERP method corresponding to the plurality of regions of the 3D image 400 (
  • the plurality of regions of 500 may be rectangles of the same size.
  • Regions 511, 512, 513, 514, 515, and 516 of the plurality of regions including the region 517 corresponding to the viewport on the projected 2D image 500 may include the first region to the first region of the 3D image 400.
  • the sixth regions 411, 412, 413, 414, 415, and 416 may correspond to the sixth regions.
  • FIG. 6 shows a 2D image packed from the ERP 2D image of FIG. 5.
  • the packed 2D image 600 may be generated via any packing scheme from the projected 2D image 500.
  • the areas of the projected 2D image 500 that are separated for packing need not be the same as the plurality of areas of the projected 2D image 500 shown in FIG. 5.
  • the packed 2D image 600 may be divided into a plurality of regions for transmission, and FIG. 6 illustrates that the packed 2D image 600 is divided into eight regions.
  • Each of the regions of the packed 2D image 600 may be assigned an index, and in the example of FIG. 6, an index of 1 to 8 is assigned to the regions.
  • the regions 611, 612, 613, 614, 615, 616 in the packed 2D image 600 are indexes 2, 7, 8 of the divided regions for transmission. Having regions 631, 632, and 633.
  • Areas 620a, 620b in packed 2D image 600 corresponding to viewport 420 may also be included in areas 631, 632, 633 with indexes 2, 7, 8 of the areas segmented for transmission. Can be.
  • the transmitter transmits data for regions 631, 632, 633 with indexes 2, 7, 8 of the plurality of regions of the packed 2D image 600, so that the receiver displays the viewport 420. Can transmit the necessary data.
  • the transmitter or receiver may be aware of the relationship between the plurality of regions of the 3D image 400 and the plurality of regions of the packed 2D image 600. In this way, the transmitter or receiver can identify, from the respective indices of the plurality of regions of the 3D image 400, regions of the plurality of regions of the packed 2D image 600 corresponding thereto without complicated computations. For example, a look-up table (LUT) as shown in Table 1 may be used to identify the area of the packed 2D image 600 that corresponds to the area of the 3D image 400.
  • LUT look-up table
  • Index of the region of the packed 2D image 600 The index of the region of the 3D image One [4,0] [5,0] [6,0] [7,0], [4,1] [5,1] [6,1] [7,1] 2 [0,0] [1,0] [2,0] [3,0], [0,1] [1,1] [2,1] [3,1] 3 [4,4] [5,4] [6,4] [7,4], [4,5] [5,5] [6,5] [7,5] 4 [0,4] [1,4] [2,4] [3,4], [0,5] [1,5] [2,5] [3,5] 5 [4,2] [5,2] [4,3] [5,3] 6 [6,2] [7,2] [6,3] [7,3] 7 [0,2] [1,2] [0,3] [1,3] 8 [2,2] [3,2] [2,3] [3,3] [3,3]
  • 3D image 400 having indices of [0, 1], [1, 1], [2, 1], [0, 2], [1, 2], [2, 2] Regions 631, 632, 633 on the packed 2D image 600 with indices of 2, 7, 8 corresponding to the regions 411, 412, 413, 414, 415, 416 of the image are easily identified. Can be.
  • the identification of the region on the packed 2D image corresponding to the region on the 3D image using the index is similarly applied not only when the 3D image is projected by the ERP method into the 2D image but also by the other method. Can be.
  • OHP octahedron projection
  • FIG. 7 shows an octahedron projection (OHP) 2D image from the 3D image of FIG. 4.
  • Areas 711, 712, 713, 714, 715, 716 in OHP projected 2D image 700 include areas 411, 412, 413, 414, 415 that include viewport 420 of 3D image 400. , 416).
  • Areas 720a and 720b corresponding to the viewport 420 in the OHP projected 2D image 700 may be included in areas 711, 712, 713, 714, 715, 716 in the OHP projected 2D image 700. have.
  • FIG. 8 shows a packed 2D image from the OHP projected 2D image of FIG. 7.
  • the packed 2D image 800 may be generated via packing in any manner from the projected 2D image 700 of FIG. 7.
  • the packed 2D image 800 may be divided into a plurality of regions for transmission, and may be divided into four regions having an index of 1 to 4, for example. Regions 711, 712, 713 of the projected 2D image 700 of FIG. 7 within an area 831 with an index of 2 and an area 832 with an index of 3 of the areas of the packed 2D image 800. , 714, 715, 716 may be included.
  • An area corresponding to the viewport 420 may be disposed in an area 831 having an index of 2 and an area 832 having an index of 3 among the areas of the packed 2D image 800.
  • the transmitter transmits data for an area 831 with an index of 2 and an area 832 with an index of 3 of the areas of the packed 2D image 800 to transmit data about the viewport 420.
  • the transmitter or receiver may be aware of the relationship between the plurality of regions of the 3D image 400 and the regions of the packed 2D image 800, through which 3D From the index of the area of the image 400, the area of the corresponding packed 2D image 800 can be identified.
  • a LUT similar to Table 1 may be used to easily identify a relationship between a plurality of regions of the 3D image 400 and regions of the packed 2D image 800.
  • the receiver needs to know how the plurality of regions of the 3D image are divided.
  • the transmitter may notify in advance about a method of dividing a plurality of regions of the 3D image.
  • information about a method of segmenting a plurality of regions of the 3D image may be transmitted as metadata.
  • the transmitter may transmit a method of dividing a plurality of regions of the 3D image through the example syntax of Table 2 as follows.
  • spherical_tile_groups -a parameter defining the number of groups that group sphere tiles (i.e., multiple regions of a 3D image) containing video data in which the surface of a sphere (i.e., a sphere-shaped 3D image) is divided.
  • spherical_tile_group_id-A parameter that defines the identifier (ID) of the group that groups the sphere tiles containing the video data into which the sphere's surface is split.
  • hor_active_range_start / end-A parameter indicating the horizontal range of a group of sphere tiles given by start and end angles in the direction defined by ⁇ (ie, longitude).
  • vert_active_range_start / end-A parameter indicating the vertical range range of a group of sphere tiles given by start and end angles in the direction defined by ⁇ (ie latitude).
  • spherical_tiles_enabled_flag-flag indicating whether the view direction is further split into an arrangement of sphere tiles
  • num_spherical_tile_columns-parameter specifying the number of spherical tile columns in the group of spherical tiles
  • num_spherical_tile_rows-parameter specifying the number of old tile rows in a group of old tiles
  • uniform_spacing_flag-if 1 indicates that the old tile row boundaries and the old tile column boundaries are distributed evenly across the picture; if 0, the flag indicates that the old tile boundaries are defined by column_width_angle and row_height_angle
  • column_width_angle [i]-A parameter specifying the width of the i-th sphere tile row in the group of sphere tiles in the direction defined by ⁇ (ie longitude), in degrees.
  • row_height_angle [i]-A parameter specifying the width of the i-th sphere tile column in the group of sphere tiles in the direction defined by ⁇ (ie latitude), in units of degrees.
  • the syntax in Table 2 is an example when the 3D image is in the shape of a sphere.
  • the syntax of Table 2 illustrates the notification of grouping of areas of the 3D image.
  • FIG. 9 illustrates groups of a plurality of regions of a 3D image according to an embodiment of the present invention.
  • a plurality of regions on the 3D image 900 may be divided into four groups 910, 920, 930, and 940.
  • An area corresponding to each of the groups 910, 920, 930, and 940 of the 3D image 900 may be set to have a longitude angle range of 180 degrees and a latitude angle range of 90 degrees.
  • Each of the groups 910, 920, 930, and 940 of the 3D image 900 may include 12 regions.
  • a method of dividing a plurality of regions of a 3D image may be represented as a collection of information for each of the plurality of regions without grouping the plurality of regions.
  • a receiver may transmit information about a viewport to a server (1010).
  • the information about the viewport may include information directly indicating the layout of the viewport on the 3D image, information including an index of each of the at least one area including the viewport among the plurality of areas of the 3D image, or a plurality of areas of the packed 2D image. It may be information including an index of each of at least one region of the packed 2D image corresponding to at least one region including the viewport among the plurality of regions of the 3D image.
  • the receiver may receive data corresponding to at least one region corresponding to the viewport among the plurality of regions of the packed 2D image from the server (1020).
  • the receiver may display a 3D image based on the received data (1030).
  • the receiver may display only an area of the 3D image corresponding to the viewport.
  • the device 1110 and the server 1120 may correspond to the above-mentioned receiver and transmitter, respectively.
  • the device 1110 may know information about the relationship between the indices of the plurality of regions of the 3D image and the indices of the plurality of regions of the packed 2D image.
  • the server 1120 may transmit region division information to the device 1110 (1130).
  • the region splitting information may include information about a method of splitting a plurality of regions of the 3D image and indexes for the plurality of regions.
  • the region partitioning information may be transmitted in the form of syntax in Table 2.
  • the server 1120 may transmit, to the device 1110, a LUT including information about a relationship between the indices of the plurality of regions of the 3D image and the indices of the plurality of regions of the packed 2D image (1140).
  • the information about the relationship between the indices of the plurality of regions of the 3D image and the indices of the plurality of regions of the packed 2D image may be transmitted in a form other than the LUT.
  • device 1110 may receive a LUT from a server or other device other than server 1120.
  • Information about the LUT may be conveyed as metadata.
  • Information about the LUT may be represented by the example syntax shown in Table 3.
  • HEVC high efficiency video coding
  • hevc_tile_column_index-a parameter indicating the index of a row in a particular HEVC tile
  • hevc_tile_row_index-A parameter indicating the index of a column of a particular HEVC tile
  • num_spehrical_tiles a parameter specifying the number of spherical tiles contributing to video data in an HEVC tile (ie, a parameter specifying the number of spherical tiles associated with a particular HEVC tile)
  • spherical_tile_column_index-a parameter that indicates the index of a row of a specific tile tile associated with the HEVC tile
  • spherical_tile_row_index-a parameter indicating the index of the column of a particular old tile to associate with the HEVC tile
  • the device 1110 may identify at least one first area corresponding to the viewport among the plurality of areas of the 3D image (1140).
  • regions 411, 412, 413, 414, 415, 416 may be identified as at least one first region.
  • the device 1110 may identify an index of each of the at least one second region corresponding to the first region of the at least one of the plurality of regions of the packed 2D image based on the LUT (1145). In the example of FIG. 6, as indices of each of the at least one second region, 2, 7, 8 may be identified.
  • the device 1110 may transmit information about a viewport including an index of each of the at least one second area to the server 1120.
  • the server 1120 may identify at least one second area based on the index of each of the at least one second area. Accordingly, the server 1120 may transmit data for at least one second area to the device 1110.
  • the device 1110 may display at least a portion (ie, viewport) of the 3D image based on the data for the at least one second area received.
  • the device 1210 may know how the plurality of regions of the 3D image are divided and information about the indices for the plurality of regions.
  • the server 1220 may transmit the area partitioning information 1230 to the device 1210.
  • the region splitting information may include information about a method of splitting a plurality of regions of the 3D image and indexes for the plurality of regions.
  • the region partitioning information may be transmitted in the form of syntax in Table 2.
  • the device 1210 may identify at least one first area corresponding to the viewport among the plurality of areas of the 3D image (1235).
  • the device 1210 may transmit information about a viewport including an index of each of the at least one first area to the server 1220.
  • the index of each of the at least one first region may be identified based on the region partitioning information.
  • the server 1220 may identify at least one second area corresponding to the first area of at least one of the plurality of areas of the packed 2D image from the index of each of the at least one first area based on the LUT. (1245).
  • the LUT is a form of information indicating a relationship between the indices of the plurality of regions of the 3D image and the indices of the packed 2D image, and in some embodiments, such information may not have the form of the LUT.
  • the server 1220 may transmit data for the at least one identified second area to the device 1210 (1250).
  • the device 1210 may display a 3D image based on the received data (1255).
  • the device 13 is a flowchart illustrating operations of a device and a server according to another embodiment of the present invention.
  • the device 1310 may not obtain region division information and information on the LUT.
  • the device 1310 may transmit information about the placement of the viewport on the 3D image to the server 1320.
  • Information regarding the placement of the viewport can directly indicate the location and area where the viewport is placed on the 3D image. For example, if the 3D image has the shape of a sphere, information about the placement of the viewport may be represented using the coordinates on the surface of the sphere. Referring to FIG. 14, which illustrates a method of representing the coordinates of a particular point on a spherical 3D image, the location of the point P on the surface of the sphere in the three-dimensional coordinate system is determined by the radius (r), latitude ( ⁇ ), and longitude ( ⁇ ).
  • the device 1310 Since the radius r of the spherical 3D image is already known between the server 1320 and the device 1310, the device 1310 is a particular point in the image of the 3D image via values of latitude ⁇ and longitude ⁇ . Can inform the server.
  • the device 1310 may use various methods to represent the layout of the viewport. In some embodiments, device 1310 can represent the layout of the viewport through the coordinates of the corners of the viewport. In some embodiments, device 1310 can represent the layout of the viewport using the coordinates of the corners of the viewport and the coordinates of points on the border of the viewport between the corners of the viewport.
  • device 1310 may have a value representing the viewport's rotation based on the viewport's center and the viewport's center, and each range of viewport from the center of the sphere (e.g., rotation of the viewport). Can be used to express the layout of the viewport using values representing vertical angle ranges and horizontal angle ranges based on the values representing.
  • the above-described methods for expressing the layout of the viewport are merely exemplary, and the device 1310 may express the layout of the viewport on the 3D image using various methods.
  • the server 1320 may identify at least one first area corresponding to the viewport among the plurality of areas of the 3D image based on the information about the arrangement of the viewport (1330).
  • the server may use the region partitioning information described above with respect to FIGS. 11 and 12 to identify at least one first region.
  • the server 1320 may identify at least one second region corresponding to the at least one first region based on the LUT (1335). That is, the server 1320 may identify the at least one second region by obtaining an identifier of each of the at least one second region corresponding to the identifier of each of the at least one first region from the LUT.
  • the server 1320 may transmit data for the at least one identified second area to the device 1310 (1340).
  • the device 1310 may display a 3D image based on the received data (1345).
  • the receiver 1500 may include a memory, a communication interface 1520, and a processor 1530. Receiver 1500 may be configured to perform the operations of the receiver (ie, device) described through the embodiments above.
  • the processor 1530 may be communicatively and electrically connected to the memory 1510 and the communication interface 1520. Receiver 1500 may transmit and receive data via communication interface 1520. Information for the operation of the receiver 1500 may be stored in the memory 1510. Instructions or codes for controlling the processor 1530 may be stored in the memory 1510. In addition, temporary or persistent data necessary for the operation of the processor 1530 may be stored in the memory 1510.
  • the processor 1530 may be one processor and, according to some embodiments, may mean a set of a plurality of processors divided according to functions.
  • the processor 1530 may be configured to control the operation of the receiver 1500.
  • the operations of the receiver 1500 described above may be substantially processed and executed by the processor 3530.
  • transmitting and receiving data is via the communication interface 1520, and storing data and instructions is performed by the memory 1510, the operations of the communication interface 1520 and the memory 1510 are processor 1530. And transmitting and receiving data and storing instructions may also be considered to be performed by the processor 1530.
  • the receiver 1530 may further include a display device for displaying a 3D image.
  • the transmitter may also include a memory, a communication interface, and a processor similar to the receiver 1530.
  • the description of the memory, the communication interface, and the processor of the transmitter is similar to the description of the corresponding elements of the receiver 1530.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

디바이스에 의해 3D(3 dimensional) 이미지를 디스플레이하기 위한 방법이 제공된다. 상기 방법은, 상기 디바이스의 뷰포트에 관한 정보를 서버로 전송하는 과정, 상기 서버로부터, 패킹된 2D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 2 영역에 대한 데이터를 수신하는 과정, 및 상기 수신된 데이터에 기초하여 3D 이미지를 디스플레이하는 과정을 포함하고, 상기 패킹된 2D 이미지는 상기 3D 이미지로부터 프로젝션된 2D 이미지의 복수의 영역들 중 적어도 일부를 변형 또는 재배치하는 것에 의해 생성되고, 상기 적어도 하나의 제 2 영역은 상기 3D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 1 영역 각각의 인덱스와, 상기 3D 이미지의 복수의 영역들 각각의 인덱스와 상기 패킹된 2D 이미지의 복수의 영역들 각각의 인덱스의 관계에 관한 정보에 기초하여 식별된다.

Description

3차원 이미지에 관한 데이터를 전송하기 위한 방법
본 발명은 3-차원(3-dimensional, 3D) 이미지에 관한 데이터를 전송하기 위한 방법 및 장치에 관한 것으로서, 특히 3D 이미지의 특정한 일부의 영역에 대한 데이터를 선택적으로 전송하기 위한 방법 및 장치에 관한 것이다.
가상 현실(virtual reality: VR) 또는 증강 현실(augmented reality: AR)과 관련된 기술의 발달에 따라, VR 또는 AR을 제공할 수 있는 디바이스에서 디스플레이하기 위한 3D 이미지(또는 전방향(omnidirectional) 이미지)의 프로세싱 및 전송과 관련된 기술들 또한 향상되고 있다.
VR 디바이스 착용자에게 모든 방향들의 이미지를 제공하기 위해, 모든 방향들의 이미지에 관한 데이터를 포함하는 3D 이미지에 관한 데이터의 크기는 매우 클 수 있다. 따라서, 3D 이미지에 관한 데이터를 전송하는 것은 데이터의 크기로 인하여 전송 시스템에 대한 부하(load)를 가중시킬 수 있다. 특히, 3D 이미지에 관한 데이터의 크기는 실시간으로 3D 이미지를 제공하고자 하는 데 있어 큰 제약이 될 수 있다.
3D 이미지와 관련된 데이터의 전송량을 감소시키기 위해, 3D 이미지의 전부가 아니라 VR 디바이스에서 현재 디스플레이되고있는 영역 또는 디스플레이할 영역(즉, 뷰포트(viewport)에 관련된 3D 이미지의 일부 영역에 대한 데이터만을 전송하는 것이 고려될 수 있다. 그러나, 3D 이미지에 관한 데이터의 전송은 3D 이미지로부터 프로젝션된(projected) 2D 이미지에 기반하여 이루어지므로, 3D 이미지 상에서 식별되는 뷰포트에 대응하는 영역을 전송을 위한 2D 이미지 상에서 식별하고, 전송하기 위한 2D 이미지의 영역을 식별하는 것은 VR 시스템에 추가적인 부담을 제공할 수 있다.
이에 본 발명이 해결하고자 하는 과제는, 효율적으로 3D 이미지에 관한 데이터를 전송 또는 수신하기 위한 방법 및 장치를 제공하고자 하는 것이다.
본 발명이 해결하고자 하는 다른 과제는, 3D 이미지로부터의 프로젝션에 기반한 2D 이미지 상에서 선택적으로 전송될 적어도 하나의 영역을 용이하게 식별하기 위한 방법 및 장치를 제공하고자 하는 것이다.
본 발명의 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 디바이스에 의해 3D(3 dimensional) 이미지를 디스플레이하기 위한 방법은, 상기 디바이스의 뷰포트에 관한 정보를 서버로 전송하는 과정, 상기 서버로부터, 패킹된 2D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 2 영역에 대한 데이터를 수신하는 과정, 및 상기 수신된 데이터에 기초하여 3D 이미지를 디스플레이하는 과정을 포함하고, 상기 패킹된 2D 이미지는 상기 3D 이미지로부터 프로젝션된 2D 이미지의 복수의 영역들 중 적어도 일부를 변형 또는 재배치하는 것에 의해 생성되고, 상기 적어도 하나의 제 2 영역은 상기 3D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 1 영역 각각의 인덱스와, 상기 3D 이미지의 복수의 영역들 각각의 인덱스와 상기 패킹된 2D 이미지의 복수의 영역들 각각의 인덱스의 관계에 관한 정보에 기초하여 식별된다.
본 발명의 다른 실시예에 따른 3D(3 dimensional) 이미지를 디스플레이하기 위한 디바이스는, 통신 인터페이스, 및 상기 통신 인터페이스와 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 디바이스의 뷰포트에 관한 정보를 서버로 전송하고, 상기 서버로부터, 패킹된 2D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 2 영역에 대한 데이터를 수신하고, 그리고 상기 수신된 데이터에 기초하여 3D 이미지를 디스플레이하도록 구성되고, 상기 패킹된 2D 이미지는 상기 3D 이미지로부터 프로젝션된 2D 이미지의 복수의 영역들 중 적어도 일부를 변형 또는 재배치하는 것에 의해 생성되고, 상기 적어도 하나의 제 2 영역은 상기 3D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 1 영역 각각의 인덱스와, 상기 3D 이미지의 복수의 영역들 각각의 인덱스와 상기 패킹된 2D 이미지의 복수의 영역들 각각의 인덱스의 관계에 관한 정보에 기초하여 식별된다.
본 발명의 또 다른 실시예에 따른 서버에 의해 3D(3 dimensional) 이미지에 관한 데이터를 전송하기 위한 방법은, 디바이스로부터 상기 디바이스의 뷰포트에 관한 정보를 수신하는 과정, 패킹된 2D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 2 영역을 식별하는 과정, 및 상기 적어도 하나의 제 2 영역에 대한 데이터를 상기 디바이스로 전송하는 과정을 포함하고, 상기 패킹된 2D 이미지는 3D 이미지로부터 프로젝션된 2D 이미지의 복수의 영역들 중 적어도 일부를 변형 또는 재배치하는 것에 의해 생성되고, 상기 적어도 하나의 제 2 영역은 상기 3D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 1 영역 각각의 인덱스와, 상기 3D 이미지의 복수의 영역들 각각의 인덱스와 상기 패킹된 2D 이미지의 복수의 영역들 각각의 인덱스의 관계에 관한 정보에 기초하여 식별된다.
본 발명의 또 다른 실시예에 따른 3D(3 dimensional) 이미지에 관한 데이터를 전송하기 위한 서버는, 통신 인터페이스, 및 상기 통신 인터페이스에 연결된 프로세서를 포함하고, 상기 프로세서는, 디바이스로부터 상기 디바이스의 뷰포트에 관한 정보를 수신하고, 패킹된 2D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 2 영역을 식별하고 그리고 상기 적어도 하나의 제 2 영역에 대한 데이터를 상기 디바이스로 전송하도록 구성되고, 상기 패킹된 2D 이미지는 3D 이미지로부터 프로젝션된 2D 이미지의 복수의 영역들 중 적어도 일부를 변형 또는 재배치하는 것에 의해 생성되고, 상기 적어도 하나의 제 2 영역은 상기 3D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 1 영역 각각의 인덱스와, 상기 3D 이미지의 복수의 영역들 각각의 인덱스와 상기 패킹된 2D 이미지의 복수의 영역들 각각의 인덱스의 관계에 관한 정보에 기초하여 식별된다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.
즉, 3D 이미지에 관한 데이터를 효율적으로 전송할 수 있다.
또한, 3D 이미지로부터의 프로젝션에 기반한 2D 이미지 상에서 선택적으로 전송될 적어도 하나의 영역을 용이하게 식별할 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 3D 이미지에 관한 데이터를 전송하기 위한 송신기의 시스템을 나타낸다.
도 2는 본 발명의 일 실시예에 따른 3D 이미지를 2이미지로 프로젝션하고, 프로젝션된 2D 이미지를 패킹하는 것을 나타낸다.
도 3은 본 발명의 일 실시예에 따른 3D 이미지에 관한 데이터를 수신하기 위한 수신기의 시스템을 나타낸다.
도 4는 본 발명의 일 실시예에 따른 복수의 영역들로 분할되는 3D 이미지 상의 뷰포트를 나타낸다.
도 5는 도 4의 3D 이미지로부터 ERP(equirectangular projection) 방식으로 프로젝션된 2D 이미지를 나타낸다.
도 6은 도 5의 ERP 2D 이미지로부터 패킹된(packed) 2D 이미지를 나타낸다.
도 7은 도 4의 3D 이미지로부터의 OHP(octahedron projection) 2D 이미지를 나타낸다.
도 8은 도 7의 OHP 프로젝션된 2D 이미지로부터 패킹된 2D 이미지를 나타낸다.
도 9는 본 발명의 일 실시예에 따른 3D 이미지의 복수의 영역들의 그룹들을 나타낸다.
도 10은 본 발명의 일 실시예에 따른 수신기의 동작을 나타낸 흐름도이다.
도 11은 본 발명의 다른 실시예에 따른 디바이스와 서버의 동작을 나타낸 흐름도이다.
도 12는 본 발명의 또 다른 실시예에 따른 디바이스와 서버의 동작을 나타낸 흐름도이다.
도 13은 본 발명의 또 다른 실시예에 따른 디바이스와 서버의 동작을 나타낸 흐름도이다.
도 14는 구 형상의 3D 이미지 상의 특정 지점의 좌표를 나타내는 방법을 예시한다.
도 15는 본 발명의 일 실시예에 따른 수신기의 블록도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
비록 제 1, 제 2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제 1 구성요소는 본 발명의 기술적 사상 내에서 제 2 구성요소일 수도 있음은 물론이다.
도 1은 본 발명의 일 실시예에 따른 3D 이미지에 관한 데이터를 전송하기 위한 송신기의 시스템을 나타낸다.
도 1은 본 발명의 일 실시예에 따른 송신기의 시스템을 도시한다. 송신기는 3D 이미지와 관련된 데이터 또는 서비스를 제공하기 위한 서버일 수 있다. 여기서 3D 이미지는 동적 이미지 및 정적 이미지 모두를 지칭할 수 있다. 송신기는 3D 이미지를 생성하거나 또는 수신할 수 있다 (110). 송신기는 여러 방향에서 촬영된 다수의 카메라들로부터의 이미지들을 이어붙여(stitching) 3D 이미지를 생성할 수 있다. 송신기는 이미 만들어진 3D 이미지에 관한 데이터를 외부로부터 수신할 수도 있다. 3D 이미지는 구(sphere), 육면체(cube), 원통, 또는 8면체(octahedron) 중 어느 하나의 형태로 렌더링될 수 있으나, 서술된 3D 이미지의 형태는 예시적인 것이 불과하며, 해당 기술분야에서 이용가능한 다양한 형태의 3D 이미지가 생성 또는 수신될 수 있다.
송신기는 3D 이미지를 2D 이미지로 프로젝션 할 수 있다 (120). 3D 이미지를 2D 이미지로 프로젝션하기 위해, ERP(equirectangular projection), OHP(octahedron projection), 실린더 프로젝션, 큐브 프로젝션 및 해당 기술분야에서 이용가능한 다양한 프로젝션 방법들 중 어느 하나가 이용될 수 있다.
송신기는 프로젝션된 2D 이미지를 패킹(packing)할 수 있다(130). 패킹은 프로젝션된 2D 이미지를 구성하는 복수의 영역들 중 적어도 일부를, 변형 및/또는 재배치하여, 새로운 2D 이미지(즉, 패킹된 2D 이미지)를 생성하는 것을 의미할 수 있다. 여기서, 영역의 변형은 영역의 리사이징(resize), 형태 변환(transforming), 회전 및/또는 재-샘플링(re-sampling)(예를 들어, 업샘플링, 다운샘플링, 영역 내의 위치에 따른 차등 샘플링)등을 의미할 수 있다.
이하 도 2를 참고하여, 프로젝션(120) 및 패킹(130)에 대하여 보다 상세히 설명하도록 한다. 도 2는 본 발명의 일 실시예에 따른 3D 이미지를 2이미지로 프로젝션하고, 프로젝션된 2D 이미지를 패킹하는 것을 나타낸다. 도 2 에서 예시적인 3D 이미지(210)는 구 형상을 가질 수 있다. 3D 이미지(210)를 예시적인 ERP 방식에 의해 프로젝션하여, 프로젝션된 2D 이미지(220)가 생성될 수 있다. 프로젝션된 2D 이미지(220)는 복수의 영역들(221, 222, 223, 224)로 분할될 수 있다. 프로젝션된 2D 이미지(220)를 분할하는 방법은 실시예들에 따라 다양하게 변경될 수 있다.
프로젝션된 2D 이미지(220)로부터 패킹된 2D 이미지(230)가 생성될 수 있다. 프로젝션된 2D 이미지(220)의 복수의 영역들(221, 222, 223, 224)을 변형 및 또는 재배치하는 것에 의해 패킹된 2D 이미지(230)가 생성될 수 있다. 패킹된 2D 이미지(230)의 복수의 영역들(231, 232, 233, 234) 각각은 프로젝션된 2D 이미지(220)의 복수의 영역들(221, 222, 223, 224)에 순차적으로 대응될 수 있다. 도 2에 도시된 패킹된 2D 이미지(230)의 복수의 영역들(231, 232, 233, 234)에 대한 변형 및 재배치는 예시적인 것에 불과하며, 실시예들에 따라 다양한 변형 및 재배치가 수행될 수 있다.
다시 도 1을 참고하면, 송신기는 패킹된 2D 이미지를 인코딩할 수 있다 (240). 패킹된 2D 이미지는 복수의 영역들로 분할될 수 있다. 패킹된 2D 이미지의 복수의 영역들에 대하여 개별적으로 인코딩이 수행될 수 있다. 몇몇 실시예들에서, 패킹된 2D 이미지의 복수의 영역들 중 전송될 하나 이상의 영역에 대하여만 인코딩이 수행될 수도 있다. 몇몇 실시예들에서, 패킹된 2D 이미지의 복수의 영역들 중 둘 이상의 영역들에 대한 그룹 이미지에 대하여 인코딩이 수행될 수 있다. 몇몇 실시예들에서, 패킹된 2D 이미지 전체에 대하여 인코딩이 수행될 수 있다. 인코딩은 기존에 알려진 2D 이미지에 대한 인코딩 방식을 이용하여 수행될 수 있다.
송신기는 인코딩된 데이터를 캡슐화(encapsulation)할 수 있다 (150). 캡슐화는 인코딩된 데이터를 분할하고, 분할물들에 헤더를 부가하는 등의 프로세싱을 통해 정해진 전송 프로토콜에 따르도록 인코딩된 데이터를 가공하는 것을 의미할 수 있다. 송신기는 캡슐화된 데이터를 전송할 수 있다.
이하, 도 3을 참고하여 수신기에 대하여 설명하도록 한다. 도 3은 본 발명의 일 실시예에 따른 3D 이미지에 관한 데이터를 수신하기 위한 수신기의 시스템을 나타낸다. 수신기는 VR 디바이스 또는 AR 디바이스일 수 있다. 수신기는 이외에도 3D 이미지에 관한 데이터를 수신하여 이를 재생할 수 있는 모든 종류의 디바이스를 지칭할 수 있다.
수신기는 송신기로부터 전송된 3D 이미지에 관한 데이터를 수신할 수 있다. 수신기는 수신된 데이터에 대하여 캡슐화 해제(decapsulation)를 수행할 수 있다 (310). 캡슐화 해제(310)를 통하여, 도 1에서의 인코딩(140)을 통해 생성된 인코딩된 데이터가 획득될 수 있다.
수신기는 캡슐화 해제(310)된 데이터에 대하여 디코딩을 수행할 수 있다 (320). 디코딩(320)을 통해 패킹된 2D 이미지가 복원될 수 있다.
수신기는 디코딩된 데이터(즉, 패킹된 2D 이미지)에 대하여 패킹해제(unpacking)를 수행할 수 있다 (330). 패킹해제를 통해 도 1에서의 프로젝션(120)을 통해 생성된 2D 이미지가 복원될 수 있다. 패킹해제를 수행하는 것은 도 1에서의 패킹(130)에서 수행된 프로젝션된 2D 이미지의 복수의 영역에 대한 변형 및/또는 재배치의 역변환이 수행될 수 있다. 이를 위해 패킹(130)의 방법에 대하여 수신기는 알고 있을 필요가 있다. 패킹(130)의 방법은 수신기와 송신기 사이에 미리 정해져 있을 수 있다. 몇몇 실시예들에 의하면 송신기는 패킹(130)의 방법에 관한 정보를 메타데이터와 같은 별도의 메시지를 통해 수신기에 전달할 수 있다. 몇몇 실시예들에 의하면, 캡슐화(150)를 통해 생성된 전송 데이터는, 예를 들어 헤더 내부에, 패킹(130)의 방법에 관한 정보를 포함할 수도 있다.
수신기는 패킹해제된 2D 이미지를 3D 이미지로 프로젝션할 수 있다 (340). 수신기는 2D 이미지를 3D 이미지로 프로젝션하기 위해 도 1에서 2D 이미지로 프로젝션(120)하기 위해 사용된 프로젝션의 역의 프로젝션을 사용할 수 있으나, 반드시 이에 한정되는 것은 아니다. 수신기는 패킹해제된 2D 이미지를 3D 이미지로 프로젝션하여 3D 이미지를 생성할 수 있다.
수신기는 3D 이미지의 적어도 일부를 디스플레이 장치를 통해 디스플레이할 수 있다(350). 예를 들어, 수신기는 3D 이미지 중, 현재의 FOV(field of view)에 대응하는 데이터만을 추출하여 렌더링할 수 있다.
몇몇 실시예들에서, 3D 이미지에 관한 데이터의 전송에 대한 부담를 감소시키기 위하여 3D 이미지에 관한 데이터 중 3D 이미지의 일부에 대한 데이터만이 전송될 수 있다. 예를 들어, 송신기는 패킹된 2D 이미지를 복수의 영역들로 구분하고, 패킹된 2D 이미지의 복수의 영역들 중 수신기의 뷰포트(viewport)에 대한 데이터를 포함하는 하나 이상의 영역만을 전송할 수 있다. 여기서, 전송을 위해 구분되는 패킹된 2D 이미지의 복수의 영역들은, 패킹을 위해 구분되는 프로젝션된 2D 이미지의 복수의 영역들과는 무관하게 설정될 수 있다. 이러한 경우, 전송을 위해 구분되는 패킹된 2D 이미지의 복수의 영역들 중 3D 이미지 상의 뷰포트에 대응되는 영역을 식별하는 것은 수신기의 프로세서에 연산의 부담을 증가시킬 수 있으므로, 간편하게 뷰포트에 대응하는 3D 이미지 상의 영역을 식별하는 방법이 요구된다. 이하, 도 4 내지 도 6을 참고하여, 본 발명의 일 실시예에 따른 뷰포트에 대응하는 3D 이미지 상의 영역을 식별하는 방법에 대하여 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 복수의 영역들로 분할되는 3D 이미지 상의 뷰포트를 나타낸다. 예시적인 3D 이미지(400)는 구의 형태로 렌더링될 수 있다. 3D 이미지(400)는 복수의 영역들로 분할될 수 있다. 3D 이미지(400)의 복수의 영역들은 각각이 일정한 위도 각 범위와 일정한 경도 각 범위를 갖도록 분할될 수 있으나, 반드시 이에 한정되는 것은 아니다. 도 4의 예시에서 3D 이미지(400)의 복수의 영역들은 각각 45°의 경도 각 범위와, 30°의 위도 각 범위를 갖도록 설정되었다. 3D 이미지(400)의 복수의 영역들 각각에 대하여 인덱스가 설정될 수 있다. 복수의 영역들 각각에 대한 인덱스는 영역들에 의해 형성되는 매트릭스 내의 해당 영역의 행(x)과 열(y)에 따라 [x, y]와 같은 형태로 표시될 수 있으나 반드시 이에 한정되는 것은 아니다. 뷰포트(420)는 3D 이미지(400)의 복수의 영역들 중 제 1 영역 내지 제 6 영역(411, 412, 413, 414, 415, 416) 내에 위치할 수 있다. 3D 이미지(400)의 제 1 내지 제 6 영역의 인덱스는 순서대로 [0, 1], [1, 1], [2, 1], [0, 2], [1, 2], [2, 2]일 수 있다.
도 5는 도 4의 3D 이미지로부터의 ERP(equirectangular projection) 방식으로 프로젝션된 2D 이미지를 나타낸다. 프로젝션된 2D 이미지(500)는 3D 이미지(400)의 복수의 영역들에 대응되는 복수의 영역들로 구분될 수 있다. 도 4에서 설명한 바와 같이 3D 이미지(400)의 복수의 영역들이 동일한 위도 각 범위와 동일한 경도 각 범위를 갖는 경우, 3D 이미지(400)의 복수의 영역들에 대응하는 ERP 방식으로 프로젝션된 2D 이미지(500)의 복수의 영역들은 동일한 크기의 직사각형들일 수 있다. 프로젝션된 2D 이미지(500) 상의 뷰포트에 대응되는 영역(517)을 포함하는 복수의 영역들 중의 영역들(511, 512, 513, 514, 515, 516)은 3D 이미지(400)의 제 1 영역 내지 제 6 영역(411, 412, 413, 414, 415, 416)에 대응될 수 있다.
도 6은 도 5의 ERP 2D 이미지로부터 패킹된(packed) 2D 이미지를 나타낸다. 패킹된 2D 이미지(600)는 프로젝션된 2D 이미지(500)로부터 임의의 패킹 방식을 통해 생성될 수 있다. 패킹을 위해 구분되는 프로젝션된 2D 이미지(500)의 영역들이 도 5에 도시된 프로젝션된 2D 이미지(500)의 복수의 영역들과 동일할 필요는 없다. 패킹된 2D 이미지(600)는 전송을 위해 복수의 영역들로 분할될 수 있으며, 도 6에서는 패킹된 2D 이미지(600)가 8개의 영역들로 분할된 것이 예시되어 있다. 패킹된 2D 이미지(600)의 영역들 각각에는 인덱스가 할당될 수 있으며, 도 6의 예시에서는 영역들에 대하여 1 내지 8의 인덱스가 할당된다. 3D 이미지(400)의 뷰포트(420)를 포함하는 영역들(411, 412, 413, 414, 415, 416)에 대응하는 (즉, 프로젝션된 2D 이미지(500)의 영역들(511, 512, 513, 514, 515, 516)에 대응하는) 패킹된 2D 이미지(600)내의 영역들(611, 612, 613, 614, 615, 616)은 전송을 위해 분할된 영역들 중 인덱스 2, 7, 8을 갖는 영역들 (631, 632, 633) 내에 포함될 수 있다. 뷰포트(420)에 대응하는 패킹된 2D 이미지(600) 내의 영역들(620a, 620b) 또한 전송을 위해 분할된 영역들 중 인덱스 2, 7, 8을 갖는 영역들(631, 632, 633) 내에 포함될 수 있다. 따라서, 송신기는 패킹된 2D 이미지(600)의 복수의 영역들 중 인덱스 2, 7, 8을 갖는 영역들(631, 632, 633)에 대한 데이터를 전송함으로써, 수신기가 뷰포트(420)를 디스플레이하기 위해 필요한 데이터를 전송할 수 있다. 송신기 또는 수신기는 3D 이미지(400)의 복수의 영역들과 패킹된 2D 이미지(600)의 복수의 영역들 간의 관계에 대하여 알고 있을 수 있다. 이를 통해, 송신기 또는 수신기는 3D 이미지(400)의 복수의 영역의 각각 인덱스로부터 이에 대응하는 패킹된 2D 이미지(600)의 복수의 영역들 중의 영역을 복잡한 연산 없이 식별할 수 있다. 예를 들어, 표 1과 같은 룩-업 테이블(LUT)가 3D 이미지(400)의 영역에 대응되는 패킹된 2D 이미지(600)의 영역을 식별하기 위해 사용될 수 있다.
패킹된 2D 이미지(600)의 영역의 인덱스 3D 이미지의 영역의 인덱스
1 [4,0] [5,0] [6,0] [7,0], [4,1] [5,1] [6,1] [7,1]
2 [0,0] [1,0] [2,0] [3,0], [0,1] [1,1] [2,1] [3,1]
3 [4,4] [5,4] [6,4] [7,4], [4,5] [5,5] [6,5] [7,5]
4 [0,4] [1,4] [2,4] [3,4], [0,5] [1,5] [2,5] [3,5]
5 [4,2] [5,2] [4,3] [5,3]
6 [6,2] [7,2] [6,3] [7,3]
7 [0,2] [1,2] [0,3] [1,3]
8 [2,2] [3,2] [2,3] [3,3]
위와 같은 LUT를 통해, [0, 1], [1, 1], [2, 1], [0, 2], [1, 2], [2, 2]의 인덱스들을 갖는 3D 이미지(400) 상의 영역들(411, 412, 413, 414, 415, 416)에 대응되는 2, 7, 8의 인덱스들을 갖는 패킹된 2D 이미지(600) 상의 영역들(631, 632, 633)이 용이하게 식별될 수 있다.
이와 같이 인덱스를 이용하여 3D 이미지 상의 영역에 대응되는 패킹된 2D 이미지 상의 영역을 식별하는 것은 ERP 방식에 의해 3D 이미지가 2D 이미지로 프로젝션된 경우 뿐만 아니라, 다른 방식에 의해 프로젝션된 경우에도 유사하게 적용될 수 있다. 이하 도 7 및 도 8을 참고하여, OHP(octahedron projection) 방식을 이용하여 3D 이미지를 2D 이미지로 프로젝션한 경우의 실시예에 대하여 설명한다.
도 7은 도 4의 3D 이미지로부터의 OHP(octahedron projection) 2D 이미지를 나타낸다. OHP 프로젝션된 2D 이미지(700) 내의 영역들(711, 712, 713, 714, 715, 716)은 3D 이미지(400)의 뷰포트(420)를 포함하는 영역들(411, 412, 413, 414, 415, 416)에 대응될 수 있다. OHP 프로젝션된 2D 이미지(700) 내에 뷰포트(420)에 대응되는 영역(720a, 720b)은 OHP 프로젝션된 2D 이미지(700) 내의 영역들(711, 712, 713, 714, 715, 716)에 포함될 수 있다.
도 8은 도 7의 OHP 프로젝션된 2D 이미지로부터 패킹된 2D 이미지를 나타낸다. 패킹된 2D 이미지(800)는 도 7의 프로젝션된 2D 이미지(700)로부터 임의의 방식의 패킹을 통해 생성될 수 있다. 패킹된 2D 이미지(800)는 전송을 위해 복수의 영역들로 분할될 수 있으며, 예를 들어, 1 내지 4의 인덱스를 갖는 4개의 영역들로 분할될 수 있다. 패킹된 2D 이미지(800)의 영역들 중 2의 인덱스를 갖는 영역(831) 및 3의 인덱스를 갖는 영역(832) 내에 도 7의 프로젝션된 2D 이미지(700)의 영역들(711, 712, 713, 714, 715, 716)이 포함될 수 있다. 뷰포트(420)에 대응되는 영역은 패킹된 2D 이미지(800)의 영역들 중 2의 인덱스를 갖는 영역(831) 및 3의 인덱스를 갖는 영역(832) 내에 배치될 수 있다. 따라서, 송신기가 뷰포트(420)에 관한 데이터를 전송하기 위해 패킹된 2D 이미지(800)의 영역들 중 2의 인덱스를 갖는 영역(831) 및 3의 인덱스를 갖는 영역(832)에 대한 데이터를 전송할 수 있다. 앞서, 도 5 및 도 6에서와 유사하게, 송신기 또는 수신기는 3D 이미지(400)의 복수의 영역들과 패킹된 2D 이미지(800)의 영역들 간의 관계에 대하여 알고 있을 수 있으며, 이를 통해, 3D 이미지(400)의 영역의 인덱스로부터, 대응하는 패킹된 2D 이미지(800)의 영역을 식별할 수 있다. 표 1과 유사한 LUT가 3D 이미지(400)의 복수의 영역들과 패킹된 2D 이미지(800)의 영역들 간의 관계를 용이하게 식별하기 위해 이용될 수 있다.
몇몇 실시예들에서, 수신기는 3D 이미지의 복수의 영역들이 분할되는 방식에 대하여 알고 있을 필요가 있다. 송신기는 3D 이미지의 복수의 영역들의 분할 방법에 대하여 사전에 통지할 수 있다. 몇몇 실시예들에서, 3D 이미지의 복수의 영역들의 분할 방법에 대한 정보는 메타데이터로서 전송될 수 있다. 송신기는 다음과 같은 표 2의 예시적인 신택스(syntax)를 통하여 3D 이미지의 복수의 영역들을 분할하는 방법을 전송할 수 있다.
Figure PCTKR2017012899-appb-I000001
표 2의 신택스에 대한 시맨틱스(semantics)는 다음과 같다.
spherical_tile_groups - 구(즉, 구 형상의 3D 이미지)의 표면이 분할되는 비디오 데이터를 포함하는 구 타일(tile)들(즉, 3D 이미지의 복수의 영역들)을 그룹화하는 그룹들의 수를 정의하는 파라미터
spherical_tile_group_id - 구의 표면이 분할되는 비디오 데이터를 포함하는 구 타일들을 그룹화하는 그룹의 식별자(ID)를 정의하는 파라미터
hor_active_range_start/end - θ(즉, 경도)에 의해 정의되는 방향에서, 시작(start) 및 종료(end) 각들에 의해 주어지는 구 타일들의 그룹의 수평 범위를 나타내는 파라미터
vert_active_range_start/end - φ(즉, 위도)에 의해 정의되는 방향에서, 시작(start) 및 종료(end) 각들에 의해 주어지는 구 타일들의 그룹의 수직 범위 범위를 나타내는 파라미터
spherical_tiles_enabled_flag - 시선 방향(view direction)이 구 타일들의 배열(arrangement)로 추가적으로 분할되는지 여부를 나타내는 플래그
num_spherical_tile_columns - 구 타일들의 그룹 내의 구 타일 열(column)들의 수를 특정하는 파라미터
num_spherical_tile_rows - 구 타일들의 그룹 내의 구 타일 행(row)들의 수를 특정하는 파라미터
uniform_spacing_flag - 1인 경우, 구 타일 행 경계들 및 구 타일 열 경계들이 화상(picture)에 걸쳐 균일하게 분포됨을 나타내고, 0인 경우, 구 타일 경계들이 column_width_angle 및 row_height_angle에 의해 정의됨을 나타내는 플래그
column_width_angle[i] - 구 타일들의 그룹에서 i-번째 구 타일 행의 폭(width)을, 도(degree)의 단위로서, θ(즉, 경도)에 의해 정의되는 방향에서 특정하는 파라미터
row_height_angle[i] - 구 타일들의 그룹에서 i-번째 구 타일 열의 높이(width)를, 도(degree)의 단위로서, φ(즉, 위도)에 의해 정의되는 방향에서 특정하는 파라미터
표 2의 신택스는 3D 이미지가 구의 형상인 경우의 예시이다. 또한, 표 2의 신택스는 3D 이미지의 영역들을 그룹화하여 통지되는 것을 예시한다. 도 9를 참고하여, 3D 이미지의 영역들을 그룹화하는 것에 대하여 설명하도록 한다. 도 9는 본 발명의 일 실시예에 따른 3D 이미지의 복수의 영역들의 그룹들을 나타낸다. 도 9를 참고하면, 3D 이미지(900) 상의 복수의 영역들은 4개의 그룹들(910, 920, 930, 940)로 구분될 수 있다. 3D 이미지(900)의 그룹(910, 920, 930, 940)들 각각에 대응하는 영역은 180도의 경도 각 범위와, 90도의 위도 각 범위를 갖도록 설정될 수 있다. 도 4의 3D 이미지(400)와 같은 방식으로 3D 이미지(400)가 복수의 영역들로 분할되는 경우, . 3D 이미지(900)의 그룹(910, 920, 930, 940)들 각각에는 12개의 영역들이 포함될 수 있다.
몇몇 실시예들에서, 3D 이미지의 복수의 영역들을 분할하는 방법은 복수의 영역들을 그룹화하지 않고, 복수의 영역들 각각에 대한 정보들의 집합으로서 표현될 수도 있다.
도 10은 본 발명의 일 실시예에 따른 수신기의 동작을 나타낸 흐름도이다. 도 10을 참고하면, 수신기는 뷰포트에 관한 정보를 서버로 전송할 수 있다 (1010). 뷰포트에 관한 정보는 3D 이미지 상의 뷰포트의 배치를 직접적으로 나타내는 정보, 3D 이미지의 복수의 영역들 중 뷰포트를 포함하는 적어도 하나의 영역 각각의 인덱스를 포함하는 정보, 또는 패킹된 2D 이미지의 복수의 영역들 중 3D 이미지의 복수의 영역들 중 뷰포트를 포함하는 적어도 하나의 영역에 대응하는 패킹된 2D 이미지의 적어도 하나의 영역 각각의 인덱스를 포함하는 정보일 수 있다.
수신기는 서버로부터 패킹된 2D 이미지의 복수의 영역들 중 뷰포트에 대응하는 적어도 하나의 영역에 대응하는 데이터를 수신할 수 있다 (1020).
수신기는 수신된 데이터에 기초하여 3D 이미지를 디스플레이 할 수 있다 (1030). 수신기는 3D 이미지 중 뷰포트에 대응하는 영역만을 디스플레이 할 수 있다.
이하 도 11 내지 13을 참고하여, 다양한 실시예들에 따른 수신기와 송신기의 동작에 대하여 설명하도록 한다.
도 11은 본 발명의 다른 실시예에 따른 디바이스와 서버의 동작을 나타낸 흐름도이다. 디바이스(1110) 및 서버(1120)는 앞서 언급된 수신기 및 송신기에 각각 대응될 수 있다. 도 11의 실시예에서, 디바이스(1110)는 3D 이미지의 복수의 영역들의 인덱스들과 패킹된 2D 이미지의 복수의 영역들의 인덱스들의 관계에 대한 정보를 알고 있을 수 있다.
서버(1120)는 디바이스(1110)로 영역 분할 정보를 전송할 수 있다 (1130). 영역 분할 정보는 3D 이미지의 복수의 영역들이 분할되는 방법 및 복수의 영역들에 대한 인덱스들에 대한 정보를 포함할 수 있다. 영역 분할 정보는 표 2에서의 신택스와 같은 형태로 전송될 수 있다.
서버(1120)는 디바이스(1110)로 3D 이미지의 복수의 영역들의 인덱스들과 패킹된 2D 이미지의 복수의 영역들의 인덱스들의 관계에 대한 정보를 포함하는 LUT를 전송할 수 있다 (1140). 몇몇 실시예들에 의하면, 3D 이미지의 복수의 영역들의 인덱스들과 패킹된 2D 이미지의 복수의 영역들의 인덱스들의 관계에 대한 정보는 LUT 이외의 형태로 전송될 수도 있다. 몇몇 실시예들에 의하면, 디바이스(1110)는 서버(1120) 이외의 다른 서버 또는 다른 디바이스로부터 LUT를 수신할 수도 있다. LUT에 대한 정보는 메타데이터로서 전달될 수 있다. LUT에 대한 정보는 표 3에 나타난 예시적인 신택스로 표현될 수 있다.
Figure PCTKR2017012899-appb-I000002
표 3의 신택스의 파라미터들에 대한 시맨틱스는 다음과 같다.
num_hevc_tiles - 화상이 인코딩되는 HEVC(high efficiency video coding) 타일들(즉, 프로젝션된 2D 이미지의 복수의 영역들)의 수를 나타내는 파라미터
hevc_tile_column_index - 특정한 HEVC 타일의 행의 인덱스를 나타내는 파라미터
hevc_tile_row_index - 특정한 HEVC 타일의 열의 인댁스를 나타내는 파라미터
num_spehrical_tiles - HEVC 타일 내의 비디오 데이터에 기여하는 구(spherical) 타일들의 수를 특정하는 파라미터 (즉, 특정한 HEVC 타일과 연관되는 구 타일들의 수를 특정하는 파라미터)
spherical_tile_column_index - HEVC 타일과 연관되는 특정한 구 타일의 행의 인덱스를 나타내는 파라미터
spherical_tile_row_index - HEVC 타일과 연관되는 특정한 구 타일의 열의 인덱스를 나타내는 파라미터
디바이스(1110)는 3D 이미지의 복수의 영역들 중 뷰포트에 대응하는 적어도 하나의 제 1 영역을 식별할 수 있다 (1140). 도 4의 예시의 경우, 적어도 하나의 제 1 영역으로서 영역들(411, 412, 413, 414, 415, 416)이 식별될 수 있다.
디바이스(1110)는 LUT에 기초하여 패킹된 2D 이미지의 복수의 영역들 중 적어도 하나의 제 1 영역에 대응하는 적어도 하나의 제 2 영역 각각의 인덱스를 식별할 수 있다 (1145). 도 6의 예시의 경우, 적어도 하나의 제 2 영역 각각의 인덱스로서, 2, 7, 8이 식별될 수 있다.
디바이스(1110)는 적어도 하나의 제 2 영역 각각의 인덱스를 포함하는 뷰포트에 관한 정보를 서버(1120)로 전송할 수 있다.
서버(1120)는 적어도 하나의 제 2 영역 각각의 인덱스에 기초하여 적어도 하나의 제 2 영역을 식별할 수 있다. 그에 따라 서버(1120) 적어도 하나의 제 2 영역에 대한 데이터를 디바이스(1110)로 전송할 수 있다.
디바이스(1110)는 수신된 적어도 하나의 제 2 영역에 대한 데이터에 기초하여, 3D 이미지의 적어도 일부(즉, 뷰포트)를 디스플레이할 수 있다.
도 12는 본 발명의 또 다른 실시예에 따른 디바이스와 서버의 동작을 나타낸 흐름도이다. 도 12의 실시예에서 디바이스(1210)는 3D 이미지의 복수의 영역들이 분할되는 방법 및 복수의 영역들에 대한 인덱스들에 대한 정보를 알고 있을 수 있다.
서버(1220)는 디바이스(1210)로 영역 분할 정보(1230)를 전송할 수 있다. 영역 분할 정보는 3D 이미지의 복수의 영역들이 분할되는 방법 및 복수의 영역들에 대한 인덱스들에 대한 정보를 포함할 수 있다. 영역 분할 정보는 표 2에서의 신택스와 같은 형태로 전송될 수 있다.
디바이스(1210)는 3D 이미지의 복수의 영역들 중 뷰포트에 대응하는 적어도 하나의 제 1 영역을 식별할 수 있다 (1235).
디바이스(1210)는 적어도 하나의 제 1 영역 각각의 인덱스를 포함하는 뷰포트에 관한 정보를 서버(1220)로 전송할 수 있다. 적어도 하나의 제 1 영역 각각의 인덱스는 영역 분할 정보에 기초하여 식별될 수 있다.
서버(1220)는 LUT에 기초하여 적어도 하나의 제 1 영역 각각의 인덱스로부터, 패킹된 2D 이미지의 복수의 영역들 중 적어도 하나의 제 1 영역에 대응하는 적어도 하나의 제 2 영역을 식별할 수 있다 (1245). 여기서, LUT는 3D 이미지의 복수의 영역들의 인덱스들와 패킹된 2D 이미지의 인덱스들과의 관계를 나타내는 정보의 일 형태이며, 몇몇 실시예들에서 이러한 정보가 LUT의 형태를 갖지 않을 수도 있다.
서버(1220)는 식별된 적어도 하나의 제 2 영역에 대한 데이터를 디바이스(1210)로 전송할 수 있다(1250).
디바이스(1210)는 수신된 데이터에 기초하여 3D 이미지를 디스플레이할 수 있다(1255).
도 13은 본 발명의 또 다른 실시예에 따른 디바이스와 서버의 동작을 나타낸 흐름도이다. 도 13의 실시예에서, 디바이스(1310)는 영역 분할 정보 및 LUT에 대한 정보를 획득하지 못할 수 있다.
디바이스(1310)는 3D 이미지 상의 뷰포트의 배치에 관한 정보를 서버(1320)로 전송할 수 있다. 뷰포트의 배치에 관한 정보는 3D 이미지 상에서 뷰포트가 배치되는 위치 및 영역을 직접적으로 나타낼 수 있다. 예를 들어, 3D 이미지가 구의 형태를 갖는 경우, 구의 표면상의 좌표를 이용하여 뷰포트의 배치에 관한 정보가 표현될 수 있다. 구 형상의 3D 이미지 상의 특정 지점의 좌표를 나타내는 방법을 예시하는 도 14를 참고하면, 3차원 좌표계에서 구 표면 상의 점(P)의 위치는 구의 반지름(r), 위도(θ), 및 경도(φ)의 값들로 표현될 수 있다. 구 형태의 3D 이미지의 반지름(r)은 서버(1320)와 디바이스(1310) 사이에 이미 알려져 있으므로, 디바이스(1310)는 위도(θ) 및 경도(φ)의 값들을 통하여 3D 이미지의 상의 특정한 지점을 서버에게 통지할 수 있다. 디바이스(1310)는 뷰포트의 배치를 표현하기 위해 다양한 방법들을 사용할 수 있다. 몇몇 실시예들에서, 디바이스(1310)는 뷰포트의 모서리들의 좌표들을 통해 뷰포트의 배치를 표현할 수 있다. 몇몇 실시예들에서, 디바이스(1310)는 뷰포트의 모서리들의 좌표들과 뷰포트의 모서리들 사이의 뷰포트의 경계 상의 지점들의 좌표들을 이용하여 뷰포트의 배치를 표현할 수 있다. 몇몇 실시예들에서, 디바이스(1310)는 뷰포트의 중심의 좌표와 뷰포트의 중심을 기반으로 한 뷰표트의 회전을 나타내는 값과, 구의 중심으로부터의 뷰포트의 각 범위들(예를 들어, 뷰포트의 회전을 나타내는 값에 기초한 수직 각 범위 및 수평 각 범위)을 나타내는 값들을 이용하여 뷰포트의 배치를 표현할 수 있다. 상술한 뷰포트의 배치를 표현하는 방법들은 예시적인 것에 불과하며, 디바이스(1310)는 다양한 방법들을 이용하여 3D 이미지 상의 뷰포트의 배치를 표현할 수 있다.
다시 도 13을 참고하면, 서버(1320)는 뷰포트의 배치에 관한 정보에 기초하여, 3D 이미지의 복수의 영역들 중 뷰포트에 대응하는 적어도 하나의 제 1 영역을 식별할 수 있다 (1330). 서버는 적어도 하나의 제 1 영역을 식별하기 위해 앞서 도 11 및 도 12와 관련하여 설명된 영역 분할 정보를 이용할 수 있다.
서버(1320)는 LUT에 기초하여 적어도 하나의 제 1 영역에 대응하는 적어도 하나의 제 2 영역을 식별할 수 있다 (1335). 즉, 서버(1320)는 적어도 하나의 제 1 영역 각각의 식별자에 대응하는 적어도 하나의 제 2 영역 각각의 식별자를 LUT로부터 획득하는 것에 의해, 적어도 하나의 제 2 영역을 식별할 수 있다.
서버(1320)는 식별된 적어도 하나의 제 2 영역에 대한 데이터를 디바이스(1310)로 전송할 수 있다 (1340).
디바이스(1310)는 수신된 데이터에 기초하여 3D 이미지를 디스플레이할 수 있다(1345).
이하 도 15를 참고하여, 수신기의 구조에 대하여 설명하도록 한다. 도 15는 본 발명의 일 실시예에 따른 수신기의 블록도이다. 수신기(1500)는 메모리, 통신 인터페이스(1520) 및 프로세서(1530)를 포함할 수 있다. 수신기(1500)는 앞서 실시예들을 통해 설명된 수신기(즉, 디바이스)의 동작들을 수행하도록 구성될 수 있다. 프로세서(1530)는 메모리(1510) 및 통신 인터페이스(1520)에 통신 가능하게, 그리고 전기적으로 연결될 수 있다. 통신 인터페이스(1520)를 통해 수신기(1500)는 데이터를 송신하고 그리고 수신할 수 있다. 메모리(1510)에는 수신기(1500)의 동작을 위한 정보들이 저장될 수 있다. 프로세서(1530)를 제어하기 위한 명령들 또는 코드들이 메모리(1510)에 저장될 수 있다. 추가적으로, 프로세서(1530)의 연산을 위해 필요한 일시적 또는 지속적 데이터들이 메모리(1510)에 저장될 수 있다. 프로세서(1530)는 하나의 프로세서일 수 있으며, 몇몇 실시예들에 따르면, 기능들에 따라 구분된 복수의 프로세서들의 집합을 의미할 수도 있다. 프로세서(1530)는 수신기(1500)의 동작을 제어하도록 구성될 수 있다. 앞서 설명된 수신기(1500)의 동작들은 실질적으로 프로세서(3530)에 의해 처리되고 실행될 수 있다. 비록 데이터를 송신하고 수신하는 것이 통신 인테페이스(1520)를 통해 이루어지고, 데이터 및 명령들을 저장하는 것이 메모리(1510)에 의해 수행되더라도, 통신 인터페이스(1520) 및 메모리(1510)의 동작들은 프로세서(1530)에 의해 제어될 수 있으므로, 데이터를 송신 및 수신하는 것 및 명령들을 저장하는 것 또한 프로세서(1530)에 의해 수행되는 것으로 간주될 수 있다. 도시되지는 않았으나, 수신기(1530)는 3D 이미지를 디스플레이하기 위한 디스플레이 장치를 더 포함할 수 있다.
송신기 또한, 수신기(1530)과 유사하게 메모리, 통신 인터페이스 및 프로세서를 포함할 수 있다 송신기의 메모리, 통신 인터페이스 및 프로세서에 대한 설명은 수신기(1530)의 대응하는 엘리먼트들에 대한 설명과 유사하다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

Claims (14)

  1. 디바이스에 의해 3D(3 dimensional) 이미지를 디스플레이하기 위한 방법으로서,
    상기 디바이스의 뷰포트에 관한 정보를 서버로 전송하는 과정;
    상기 서버로부터, 패킹된 2D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 2 영역에 대한 데이터를 수신하는 과정; 및
    상기 수신된 데이터에 기초하여 3D 이미지를 디스플레이하는 과정을 포함하고,
    상기 패킹된 2D 이미지는 상기 3D 이미지로부터 프로젝션된 2D 이미지의 복수의 영역들 중 적어도 일부를 변형 또는 재배치하는 것에 의해 생성되고,
    상기 적어도 하나의 제 2 영역은 상기 3D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 1 영역 각각의 인덱스와, 상기 3D 이미지의 복수의 영역들 각각의 인덱스와 상기 패킹된 2D 이미지의 복수의 영역들 각각의 인덱스의 관계에 관한 정보에 기초하여 식별되는,
    디바이스에 의해 3D 이미지를 디스플레이하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 3D 이미지의 복수의 영역들 각각의 인덱스와 상기 패킹된 2D 이미지의 복수의 영역들 각각의 인덱스의 관계에 관한 정보는 룩-업 테이블(LUT)의 형식을 갖는,
    디바이스에 의해 3D 이미지를 디스플레이하기 위한 방법.
  3. 제 2 항에 있어서,
    상기 서버로부터 상기 LUT를 수신하는 과정;
    상기 3D 이미지의 복수의 영역들 중 상기 적어도 하나의 제 1영역을 식별하는 과정; 및
    상기 LUT에 기초하여 상기 적어도 하나의 제 1 영역 각각의 인덱스에 대응하는 상기 적어도 하나의 제 2 영역 각각의 인덱스를 식별하는 과정를 더 포함하고,
    상기 뷰포트에 관한 정보는 상기 적어도 하나의 제 2 영역 각각의 인덱스를 포함하는,
    디바이스에 의해 3D 이미지를 디스플레이하기 위한 방법.
  4. 제 1 항에 있어서,
    상기 3D 이미지의 복수의 영역들 중 상기 적어도 하나의 제 1 영역을 식별하는 과정을 더 포함하고,
    상기 뷰포트에 관한 정보는 상기 적어도 하나의 제 1 영역 각각의 인덱스를 포함하는,
    디바이스에 의해 3D 이미지를 디스플레이하기 위한 방법.
  5. 제 1 항에 있어서,
    상기 뷰포트에 관한 정보는 상기 3D 이미지 상의 상기 뷰포트의 배치에 관한 정보를 포함하는,
    디바이스에 의해 3D 이미지를 디스플레이하기 위한 방법.
  6. 3D(3 dimensional) 이미지를 디스플레이하기 위한 디바이스로서,
    통신 인터페이스; 및
    상기 통신 인터페이스와 연결된 프로세서를 포함하고,
    상기 프로세서는:
    상기 디바이스의 뷰포트에 관한 정보를 서버로 전송하고;
    상기 서버로부터, 패킹된 2D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 2 영역에 대한 데이터를 수신하고; 그리고
    상기 수신된 데이터에 기초하여 3D 이미지를 디스플레이하도록 구성되고,
    상기 패킹된 2D 이미지는 상기 3D 이미지로부터 프로젝션된 2D 이미지의 복수의 영역들 중 적어도 일부를 변형 또는 재배치하는 것에 의해 생성되고,
    상기 적어도 하나의 제 2 영역은 상기 3D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 1 영역 각각의 인덱스와, 상기 3D 이미지의 복수의 영역들 각각의 인덱스와 상기 패킹된 2D 이미지의 복수의 영역들 각각의 인덱스의 관계에 관한 정보에 기초하여 식별되는,
    3D 이미지를 디스플레이하기 위한 디바이스.
  7. 제 6 항에 있어서,
    상기 프로세서는 제 2 항 내지 제 4 항 중 어느 한 항의 방법을 수행하도록 추가적으로 구성되는,
    3D 이미지를 디스플레이하기 위한 디바이스.
  8. 서버에 의해 3D(3 dimensional) 이미지에 관한 데이터를 전송하기 위한 방법으로서,
    디바이스로부터 상기 디바이스의 뷰포트에 관한 정보를 수신하는 과정;
    패킹된 2D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 2 영역을 식별하는 과정; 및
    상기 적어도 하나의 제 2 영역에 대한 데이터를 상기 디바이스로 전송하는 과정을 포함하고,
    상기 패킹된 2D 이미지는 3D 이미지로부터 프로젝션된 2D 이미지의 복수의 영역들 중 적어도 일부를 변형 또는 재배치하는 것에 의해 생성되고,
    상기 적어도 하나의 제 2 영역은 상기 3D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 1 영역 각각의 인덱스와, 상기 3D 이미지의 복수의 영역들 각각의 인덱스와 상기 패킹된 2D 이미지의 복수의 영역들 각각의 인덱스의 관계에 관한 정보에 기초하여 식별되는,
    서버에 의해 3D 이미지에 관한 데이터를 전송하기 위한 방법.
  9. 제 8 항에 있어서,
    상기 3D 이미지의 복수의 영역들 각각의 인덱스와 상기 패킹된 2D 이미지의 복수의 영역들 각각의 인덱스의 관계에 관한 정보는 룩-업 테이블(LUT)의 형식을 갖는,
    서버에 의해 3D 이미지에 관한 데이터를 전송하기 위한 방법.
  10. 제 9 항에 있어서,
    상기 디바이스로 상기 LUT를 전송하는 과정을 더 포함하고,
    상기 뷰포트에 관한 정보는 상기 적어도 하나의 제 2 영역 각각의 인덱스를 포함하는,
    서버에 의해 3D 이미지에 관한 데이터를 전송하기 위한 방법.
  11. 제 8 항에 있어서,
    상기 뷰포트에 관한 정보는 상기 적어도 하나의 제 1 영역 각각의 인덱스를 포함하는,
    서버에 의해 3D 이미지에 관한 데이터를 전송하기 위한 방법.
  12. 제 8 항에 있어서,
    상기 뷰포트에 관한 정보는 상기 3D 이미지 상의 상기 뷰포트의 배치에 관한 정보를 포함하는,
    서버에 의해 3D 이미지에 관한 데이터를 전송하기 위한 방법.
  13. 3D(3 dimensional) 이미지에 관한 데이터를 전송하기 위한 서버로서,
    통신 인터페이스; 및
    상기 통신 인터페이스에 연결된 프로세서를 포함하고,
    상기 프로세서는:
    디바이스로부터 상기 디바이스의 뷰포트에 관한 정보를 수신하고;
    패킹된 2D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 2 영역을 식별하고; 그리고
    상기 적어도 하나의 제 2 영역에 대한 데이터를 상기 디바이스로 전송하도록 구성되고,
    상기 패킹된 2D 이미지는 3D 이미지로부터 프로젝션된 2D 이미지의 복수의 영역들 중 적어도 일부를 변형 또는 재배치하는 것에 의해 생성되고,
    상기 적어도 하나의 제 2 영역은 상기 3D 이미지의 복수의 영역들 중 상기 뷰포트에 대응하는 적어도 하나의 제 1 영역 각각의 인덱스와, 상기 3D 이미지의 복수의 영역들 각각의 인덱스와 상기 패킹된 2D 이미지의 복수의 영역들 각각의 인덱스의 관계에 관한 정보에 기초하여 식별되는,
    3D 이미지에 관한 데이터를 전송하기 위한 서버.
  14. 제 13 항에 있어서,
    상기 프로세서는 제 9 항 내지 제 12 항의 방법을 수행하도록 추가적으로 구성되는
    3D 이미지에 관한 데이터를 전송하기 위한 서버.
PCT/KR2017/012899 2016-12-16 2017-11-14 3차원 이미지에 관한 데이터를 전송하기 위한 방법 WO2018110839A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201780077783.5A CN110073657B (zh) 2016-12-16 2017-11-14 用于传输与三维图像相关的数据的方法
US16/470,446 US10827160B2 (en) 2016-12-16 2017-11-14 Method for transmitting data relating to three-dimensional image
EP17880224.5A EP3557866A4 (en) 2016-12-16 2017-11-14 METHOD FOR TRANSMITTING DATA RELATED TO A THREE-DIMENSIONAL IMAGE

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662435348P 2016-12-16 2016-12-16
US62/435,348 2016-12-16
KR1020170151519A KR102397574B1 (ko) 2016-12-16 2017-11-14 3차원 이미지에 관한 데이터를 전송하기 위한 방법
KR10-2017-0151519 2017-11-14

Publications (1)

Publication Number Publication Date
WO2018110839A1 true WO2018110839A1 (ko) 2018-06-21

Family

ID=62558935

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2017/012899 WO2018110839A1 (ko) 2016-12-16 2017-11-14 3차원 이미지에 관한 데이터를 전송하기 위한 방법

Country Status (3)

Country Link
KR (1) KR102397574B1 (ko)
CN (1) CN110073657B (ko)
WO (1) WO2018110839A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020034509A1 (en) * 2018-12-14 2020-02-20 Zte Corporation Immersive video bitstream processing
WO2024066755A1 (zh) * 2022-09-29 2024-04-04 歌尔股份有限公司 图像显示方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980035726U (ko) * 1996-12-13 1998-09-15 김영귀 로우 대쉬 패널의 파이프 관통부 실링구조
KR20120016896A (ko) * 2010-08-17 2012-02-27 더블유에프지연구소 주식회사 기울기 센서를 이용한 3차원 이미지 조망기능을 갖는 디스플레이장치 및 디스플레이 시스템
KR20120093693A (ko) * 2011-02-15 2012-08-23 엘지디스플레이 주식회사 입체영상표시장치 및 그 구동방법
KR20150102433A (ko) * 2014-02-28 2015-09-07 동의대학교 산학협력단 시야 범위를 선택하는 어라운드뷰 모니터링 시스템 및 방법
KR20160125708A (ko) * 2015-04-22 2016-11-01 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9710881B2 (en) * 2014-04-05 2017-07-18 Sony Interactive Entertainment America Llc Varying effective resolution by screen location by altering rasterization parameters
KR101844032B1 (ko) * 2014-12-26 2018-05-14 주식회사 케이티 파노라믹 비디오 영상의 관심 영역의 영상 전송 방법, 장치 및 디바이스

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980035726U (ko) * 1996-12-13 1998-09-15 김영귀 로우 대쉬 패널의 파이프 관통부 실링구조
KR20120016896A (ko) * 2010-08-17 2012-02-27 더블유에프지연구소 주식회사 기울기 센서를 이용한 3차원 이미지 조망기능을 갖는 디스플레이장치 및 디스플레이 시스템
KR20120093693A (ko) * 2011-02-15 2012-08-23 엘지디스플레이 주식회사 입체영상표시장치 및 그 구동방법
KR20150102433A (ko) * 2014-02-28 2015-09-07 동의대학교 산학협력단 시야 범위를 선택하는 어라운드뷰 모니터링 시스템 및 방법
KR20160125708A (ko) * 2015-04-22 2016-11-01 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020034509A1 (en) * 2018-12-14 2020-02-20 Zte Corporation Immersive video bitstream processing
US11948268B2 (en) 2018-12-14 2024-04-02 Zte Corporation Immersive video bitstream processing
WO2024066755A1 (zh) * 2022-09-29 2024-04-04 歌尔股份有限公司 图像显示方法、装置及电子设备

Also Published As

Publication number Publication date
KR20180070460A (ko) 2018-06-26
CN110073657A (zh) 2019-07-30
KR102397574B1 (ko) 2022-05-13
CN110073657B (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
US10424083B2 (en) Point cloud compression using hybrid transforms
WO2019194522A1 (ko) 중복 포인트 처리 방법 및 장치
WO2017138801A1 (ko) 360도 영상 처리 방법 및 장치
WO2019190278A1 (en) Method and apparatus for compressing point clouds
WO2018131813A1 (en) Method and apparatus for generating metadata for 3d images
WO2020145649A1 (en) Apparatus and method for patch splitting in video/image-based point cloud compression system
WO2019143174A1 (ko) 3차원 이미지에 대한 데이터를 처리하기 위한 방법 및 장치
EP3570540A1 (en) Method and apparatus for transmitting stereoscopic video content
EP3606084A1 (en) Method for transmitting data about three-dimensional image
WO2018110839A1 (ko) 3차원 이미지에 관한 데이터를 전송하기 위한 방법
TW201805896A (zh) 標示關注區域之方法與裝置
WO2022161107A1 (zh) 三维视频的处理方法、设备及存储介质
WO2019199083A1 (en) Method and apparatus for compressing and decompressing point clouds
WO2018171750A1 (en) Method and apparatus for track composition
WO2020071808A1 (en) Improving prediction for matched patch index coding
WO2018048223A1 (ko) 3차원 이미지를 프로세싱하기 위한 방법 및 장치
EP3590090A1 (en) Method and apparatus for processing omni-directional image
EP4270322A1 (en) Image processing method and apparatus, and electronic device
WO2022045815A1 (en) Method and apparatus for performing anchor based rendering for augmented reality media objects
US10827160B2 (en) Method for transmitting data relating to three-dimensional image
WO2024041238A1 (zh) 一种点云媒体的数据处理方法及相关设备
KR102331041B1 (ko) 3차원 이미지에 관한 데이터를 전송하기 위한 방법
WO2018230971A1 (en) Method and apparatus for processing omni-directional image
EP3622710A1 (en) Producing 360 degree image content on rectangular projection in electronic device using padding information
WO2011159085A2 (en) Method and apparatus for ray tracing in a 3-dimensional image system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17880224

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017880224

Country of ref document: EP

Effective date: 20190716