WO2020137876A1 - 生成装置、３次元データ送信装置、及び３次元データ再生装置 - Google Patents

生成装置、３次元データ送信装置、及び３次元データ再生装置 Download PDF

Info

Publication number
WO2020137876A1
WO2020137876A1 PCT/JP2019/050083 JP2019050083W WO2020137876A1 WO 2020137876 A1 WO2020137876 A1 WO 2020137876A1 JP 2019050083 W JP2019050083 W JP 2019050083W WO 2020137876 A1 WO2020137876 A1 WO 2020137876A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
type image
data
dimensional data
dimensional
Prior art date
Application number
PCT/JP2019/050083
Other languages
English (en)
French (fr)
Inventor
徳毛　靖昭
山本　智幸
恭平 池田
敦稔 〆野
高橋　真毅
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2020137876A1 publication Critical patent/WO2020137876A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network

Definitions

  • One aspect of the present invention relates to a generation device that generates meta information, a three-dimensional data transmission device, and a three-dimensional data reproduction device.
  • the present application claims priority based on Japanese Patent Application No. 2018-243372 filed in Japan on Dec. 26, 2018, the contents of which are incorporated herein by reference.
  • DASH Dynamic Adaptive Streaming over HTTP
  • MPEG Motion Picture Experts Group
  • MPD Media Presentation Description
  • One aspect of the present invention has been made in view of the above problems, and generates meta information for reducing the amount of communication and processing related to communication while suppressing deterioration of image quality during three-dimensional data reproduction. It is an object of the present invention to realize a generating device that
  • a generation device is a generation device that generates meta information about three-dimensional data, and includes one or a plurality of first-type elements that configure the three-dimensional data.
  • Image data which is one or a plurality of first-type image data including images corresponding to a plurality of viewpoint directions, and a plurality of second-type image data forming the three-dimensional data
  • a plurality of second type image data including images corresponding to a plurality of viewpoint directions is provided with a meta information generation unit that generates meta information indicating a reference destination, and the plurality of second type image data are An image having a resolution higher than that of the image included in the first-type image data is included in at least one of the viewpoint directions.
  • a generation device that generates meta information for reducing the amount of communication and processing related to communication while suppressing deterioration of image quality during reproduction of three-dimensional data.
  • FIG. 3 is a functional block diagram of the three-dimensional data transmission device according to the first embodiment.
  • FIG. 3 is a functional block diagram of the three-dimensional data reproducing device according to the first embodiment. It is a figure which shows each viewpoint direction with respect to a three-dimensional model, and a figure which shows the outline of MPD. It is a figure which shows the outline
  • generates and which contains the depth image corresponding to each viewpoint direction. It is a figure which shows the example of description of MPD. 6 is a flowchart showing a flow of processing according to the first embodiment.
  • a three-dimensional data reproducing device which will be described later, refers to MPD (Media Presentation Description) which is a kind of meta information, acquires segment data indicating three-dimensional data by a single stream, and reproduces the segment data.
  • MPD Media Presentation Description
  • the three-dimensional data is data that indicates a three-dimensional three-dimensional model represented by a point cloud or a mesh.
  • the segment data is a transmission unit of HTTP transmission in which three-dimensional data is time-divided (for example, data based on ISOBMFF (ISO Base Media File Format)).
  • the MPD will be described below as an example of the meta information indicating the reference destination of the three-dimensional data, but the present invention is not limited to this, and may be, for example, XML (eXtensible Markup Language) conforming to the MPD.
  • XML eXtensible Markup Language
  • the following steps (1) to (4) are executed as main steps in each device according to the present embodiment.
  • the three-dimensional data transmission device refers to the acquired three-dimensional model to generate segment data indicating three-dimensional data and MPD indicating a reference destination of the segment data.
  • the three-dimensional data reproducing device acquires the MPD and the viewpoint position and the viewpoint direction at the time of reproducing the three-dimensional data. In this specification, the viewpoint position and the viewpoint direction may be simply referred to as the viewpoint direction.
  • the three-dimensional data reproducing device refers to the MPD and acquires the segment data corresponding to the viewpoint direction by a single stream. (4) The three-dimensional data reproducing device reproduces the three-dimensional data with reference to the segment data.
  • the present invention is not limited to this and may be a still image. Further, in the present embodiment, the three-dimensional model will be described as a mesh model.
  • FIG. 1 is a functional block diagram of a three-dimensional data transmission device 100 according to this embodiment.
  • the three-dimensional data transmission device 100 includes a control unit 110, a storage unit 120, and a communication unit 130.
  • the control unit 110 is a control device that controls the entire three-dimensional data transmission device 100, and also functions as the viewpoint reception unit 111, the depth image generation unit 112, the meta information generation unit 113, and the encoding unit 114.
  • the viewpoint receiving unit 111 acquires or sets a virtual viewpoint that is each viewpoint position and viewpoint direction with respect to the three-dimensional model.
  • the depth image generation unit 112 generates a depth image targeting the input three-dimensional model.
  • the depth image is an image in which a depth value is assigned to each pixel. Further, the depth value here is assigned a value based on the viewpoint position input from the viewpoint receiving unit 111.
  • the meta information generation unit 113 generates an MPD indicating the reference destination of segment data indicating three-dimensional data from the viewpoint position input from the viewpoint reception unit 111 and the depth image generated by the depth image generation unit 112. Details of the MPD will be described later.
  • the encoding unit 114 encodes the depth image input from the depth image generation unit 112.
  • the control unit 110 also functions as a communication control unit that controls the communication processing performed by the communication unit 130.
  • the storage unit 120 is a storage device that stores various data, and also functions as the meta information storage unit 121 and the segment data storage unit 122.
  • the meta information storage unit 121 stores information indicating MPD.
  • the segment data storage unit 122 also stores segment data.
  • the communication unit 130 is an interface that performs communication processing with an external device such as the three-dimensional data reproduction device 200, and serves as a meta information transmission unit (first transmission unit) 131 and a segment data transmission unit (second transmission unit) 132. Also works.
  • the meta information transmission unit 131 transmits information indicating the MPD.
  • the segment data transmission unit 132 transmits segment data.
  • FIG. 2 is a functional block diagram of the three-dimensional data reproducing device 200 according to this embodiment.
  • the three-dimensional data reproducing apparatus 200 includes a control unit 210, a communication unit 230, a display unit 240, and a storage unit (memory) (not shown) that temporarily stores information indicating the MPD and the like.
  • the control unit 210 is a control device that controls the entire three-dimensional data reproduction device 200, and also functions as a viewpoint reception unit (second acquisition unit) 211, a selection unit 212, and a reproduction unit 213.
  • the viewpoint accepting unit 211 acquires the viewpoint direction when reproducing three-dimensional data.
  • the selection unit 212 selects the segment data corresponding to the viewpoint direction acquired by the viewpoint reception unit 211 among the segment data whose reference destination is described in the MPD acquired by the meta information acquisition unit 231 described later.
  • the reproduction unit 213 is a member that reproduces three-dimensional data by referring to the input segment data, and also functions as the decoding unit 214, the three-dimensional model generation unit 215, and the viewpoint image synthesis unit 216.
  • the decryption unit 214 decrypts the input segment data.
  • the 3D model generation unit 215 refers to the decoded segment data and generates a 3D model.
  • the viewpoint image synthesizing unit 216 synthesizes an image showing a three-dimensional model viewed from the viewpoint position with reference to the viewpoint position in reproducing the three-dimensional data.
  • the control unit 210 also functions as a communication control unit that controls the communication process by the communication unit 230 and a display control unit that controls the display process by the display unit 240.
  • the communication unit 230 is an interface that performs communication processing with an external device such as the three-dimensional data transmission device 100, and serves as a meta information acquisition unit (first acquisition unit) 231 and a segment data acquisition unit (third acquisition unit) 232. Also works.
  • the meta information acquisition unit 231 acquires information indicating MPD.
  • the segment data acquisition unit 232 acquires the segment data selected by the selection unit 212.
  • the display unit 240 is a display panel that can display a moving image.
  • FIG. 3A is a diagram showing each viewpoint direction with respect to the three-dimensional model in the three-dimensional space.
  • FIG. 3B is a diagram showing an outline of MPD.
  • four viewpoint directions shown in v1 to v4 of FIG. 3A will be described as the viewpoint directions with respect to the three-dimensional model or the three-dimensional space, but the number of viewpoint directions is, for example, 2 or 3. It may be present or may be 5 or more.
  • the MPD AdaptationSets (a) to (e) shown in FIG. 3B each include a reference destination of the segment data of the depth image showing the three-dimensional model viewed from the viewpoint directions v1 to v4.
  • the MPD has a tree structure including an MPD element, a Period element, an AdaptationSet element, a Representation element, a SegmentList element, and a SegmentURL element in order from the upper hierarchy element, and in FIG. The element of is omitted. Further, the SegmentURL element corresponds to the reference destination of the segment data described above.
  • AdaptationSet(a) indicates a reference destination of segment data obtained by encoding the entire three-dimensional model with a uniform resolution. Further, AdaptationSet (b) to (e) indicate the reference destinations of the segment data whose resolution is higher than that of (a) for any viewpoint direction and lower than that of (a) for other viewpoint directions. There is.
  • FIG. 4 is a diagram showing an outline of three-dimensional data when a three-dimensional model that is a mesh model is viewed from above.
  • FIG. 5 is a diagram showing image data generated by the depth image generation unit 112, including image data corresponding to each viewpoint direction. The image data itself is also a depth image.
  • the image data shown in FIG. 5A corresponds to an example of the first type image data.
  • the image data shown in FIG. 5B and not shown in FIGS. 5C to 5E corresponds to the second type image data.
  • FIG. 6 is a diagram showing an example of MPD description.
  • (a) to (e) in FIGS. 4 to 6 correspond to AdaptationSet (a) to (e) in FIG. 3B.
  • (a) corresponds to an example of the first-type image data in which the XGA images having uniform video quality in each viewpoint direction are packed.
  • the FHD image having a higher resolution than the XGA image in any viewpoint direction and the VGA image having a lower resolution than the XGA image in the viewpoint directions other than the viewpoint direction are packed. This corresponds to an example of two types of image data.
  • the AdaptationSet (a) has the same video quality in each viewpoint direction, that is, the resolution of the packed image is uniform, and the ViewPointQuality tag is not added.
  • the image quality is not uniform in each viewpoint direction, and the ViewPointQuality tag is added.
  • (x1, y1, z1) in the relevant viewpoint indicates the viewpoint position.
  • (p1,q1,r1) indicates the viewpoint direction with respect to the three-dimensional model from the viewpoint position.
  • other AdaptationSets and viewpoints are similarly described.
  • each of one or a plurality of Representations included in each AdaptationSet is segment data corresponding to images of different bit rates, and refers to segment data indicating image data in which images of respective resolutions are similarly packed.
  • the destination is included.
  • the attribute bandwidth included in the Representation tag indicates the network bandwidth required to receive/reproduce the segment data corresponding to the Representation.
  • the higher the bit rate of the corresponding segment data the larger the value of bandwidth.
  • the generation device that generates meta information about three-dimensional data is realized by the generation device including the meta information generation unit 113 that generates meta information or by the meta information generation unit 113 itself. That is, the generation device that generates meta information about three-dimensional data according to the present embodiment is one or a plurality of first-type image data forming the three-dimensional data, and each image corresponding to a plurality of viewpoint directions.
  • a plurality of second type image data including one or a plurality of first type image data and three or more second type image data forming three-dimensional data, and including a plurality of images corresponding to one or a plurality of viewpoint directions.
  • the image data of the second type includes a meta information generation unit 113 that generates meta information indicating a reference destination with respect to the image data.
  • the configuration may include an image higher than the image included in the image data. According to the above configuration, it is possible to realize a generation device that generates meta information for reducing the amount of communication and processing related to communication while suppressing deterioration of image quality during reproduction of three-dimensional data.
  • the generation device that generates meta information may generate, as meta information, an MPD that includes a ViewPointQuality tag that identifies the resolution of each image corresponding to each viewpoint direction. Accordingly, it is possible to realize a generation device that generates an MPD whose resolution can be identified by the ViewPointQuality tag.
  • FIG. 7 is a flowchart showing the flow of processing according to this embodiment.
  • steps S101 to S103 are processes in the three-dimensional data transmitting device 100
  • steps S104 to S114 are processes in the three-dimensional data reproducing device 200.
  • step S101 the depth image generation unit 112 refers to the input three-dimensional model and the virtual viewpoint input from the viewpoint reception unit 111 and generates a depth image based on the virtual viewpoint.
  • step S102 the meta information generation unit 113 generates an MPD by referring to the depth image generated by the depth image generation unit 112 and the virtual viewpoint.
  • the control unit 110 also stores the generated MPD in the meta information storage unit 121.
  • step S103 the encoding unit 114 encodes the depth image generated by the depth image generating unit 112.
  • the control unit 110 also stores the encoded depth image in the segment data storage unit 122 as segment data.
  • the control unit 110 also matches the reference destination of the segment data indicated by the generated MPD and the storage destination stored in the segment data storage unit 122 via the URL.
  • step S104 The processing after step S104 is processing in the three-dimensional data reproducing device 200.
  • the meta information acquisition unit 231 acquires the MPD from the three-dimensional data transmission device 100.
  • step S105 the selection unit 212 extracts the AdaptationSet to which the ViewPointQuality tag is added for the MPD acquired by the meta information acquisition unit 231. Further, the AdaptationSet corresponds to the AdaptationSet of (b) to (e) in the example of FIG.
  • step S107 the selection unit 212 determines whether or not the difference is less than Th which is a predetermined threshold value.
  • Th a predetermined threshold value.
  • the process of step S108 is subsequently performed, and when the difference is greater than or equal to TH, the process of step S109 is subsequently performed. Executed.
  • step S108 the selection unit 212 determines the AdaptationSet extracted in step S106 as a reference source of the segment data acquired by the segment data acquisition unit 232.
  • the segment data corresponds to the second type image data.
  • step S109 the selection unit 212 determines the AdaptationSet to which the ViewPointQuality tag is not added as the reference source of the segment data acquired by the segment data acquisition unit 232.
  • the segment data corresponds to the first type image data.
  • the AdaptationSet corresponds to the AdaptationSet of (a) in the example of FIG.
  • the three-dimensional data reproducing device 200 can acquire suitable image data according to the viewpoint direction.
  • the selection unit 212 selects Representation corresponding to the bit rate when reproducing three-dimensional data from the AdaptationSet determined in step S108 or step S109. Moreover, when selecting Representation, the selection unit 212 may refer to the value of the attribute bandwidth included in each Representation tag and select a suitable bit rate.
  • the segment data acquisition unit 232 acquires the segment data transmitted by the segment data transmission unit 132 from the reference destination indicated by the Representation.
  • the bit rate for reproducing the three-dimensional data may be determined according to the line speed between the three-dimensional data transmitting apparatus 100 and the three-dimensional data reproducing apparatus 200, or the user may select the three-dimensional data reproducing apparatus 200. It may be specified by operating.
  • step S111 the decryption unit 214 decrypts the segment data acquired by the segment data acquisition unit 232.
  • step S112 the three-dimensional model generation unit 215 refers to the decrypted segment data and generates a three-dimensional model.
  • step S113 the viewpoint image synthesizing unit 216 synthesizes an image showing the three-dimensional model viewed from the viewpoint position input from the viewpoint receiving unit 211.
  • step S114 the reproduction unit 213 causes the display unit 240 to display the image.
  • the three-dimensional data transmission device 100 is the three-dimensional data transmission device 100 that transmits three-dimensional data, and includes the meta information generation device (meta information generation unit) 113 and the meta information generation.
  • a first transmission unit (meta information transmission unit) 131 that transmits the meta information generated by the device to an external device, and the first type image data and the second type image in response to a request from the external device.
  • the second transmission unit (segment data transmission unit) 132 that transmits at least one of the data to the external device is configured. According to the above configuration, it is possible to realize the three-dimensional data transmission device 100 capable of transmitting the meta information and at least one of the first type image data and the second type image data to the external device.
  • the three-dimensional data reproducing apparatus 200 is the three-dimensional data reproducing apparatus 200 that reproduces three-dimensional data, and includes one or a plurality of first-type data constituting three-dimensional data.
  • the image data is one or more first type image data including each image corresponding to a plurality of viewpoint directions, and one or more second type image data forming three-dimensional data.
  • a first acquisition unit (meta information acquisition unit) 231 that acquires meta information indicating a reference destination of a plurality of second type image data including each image corresponding to the viewpoint direction of
  • the second acquisition unit (viewpoint reception unit) 211 that acquires the viewpoint direction of the object indicated by the three-dimensional data, and the reference destination corresponding to the viewpoint direction, which is the reference destination indicated by the meta information
  • a third acquisition unit (segment data acquisition unit) 232 that acquires at least one of the first-type image data and the second-type image data required for reproduction, and the first-type acquired by the third acquisition unit Image data and at least one of the second type image data
  • a reproducing unit 213 that reproduces the three-dimensional data, and the plurality of second type image data are at least one of In this viewpoint direction, the resolution is higher than that of the image included in the first-type image data.
  • FIG. 8 is a diagram showing an outline of three-dimensional data when a three-dimensional model that is a point cloud is viewed from above. Further, FIG. 8 corresponds to FIG. 4 in the first embodiment.
  • the depth image generation unit 112 reduces the depth image indicating a point group that is 1 ⁇ 2 subsampled, that is, the number of points to 1 ⁇ 2 from the original 3D model for each viewpoint direction.
  • First-type image data including a thinned depth image, a depth image showing a point group obtained by sampling the number of points in a predetermined viewpoint direction from the original three-dimensional model, and a viewpoint other than the viewpoint direction.
  • Second-type image data including a depth image showing a point group that is 1 ⁇ 4 subsampled in the direction, that is, a depth image in which the number of points is decimated to 1 ⁇ 4 from the original three-dimensional model is generated.
  • the first type image data corresponds to FIG. 8A
  • the second type image data corresponds to FIGS. 8B to 8E.
  • the meta information generation unit 113 can generate the MPD similar to that of the first embodiment and use it for the subsequent processing.
  • FIGS. 1, 2 and 9 to 13 A second embodiment of the present invention will be described with reference to FIGS. 1, 2 and 9 to 13.
  • members having the same functions as the members described in the above embodiment will be designated by the same reference numerals, and the description thereof will not be repeated.
  • the present embodiment an example of a process in which the three-dimensional data reproducing device acquires segment data indicating three-dimensional data by a plurality of different streams with reference to the MPD and reproduces the segment data will be described.
  • the number of streams will be described as being two, but the number of streams is not limited to this, and the processing described in the present embodiment may be realized by using three or more streams.
  • the following steps (1) to (4) are executed as main steps in each device according to the present embodiment.
  • the three-dimensional data transmission device refers to the acquired three-dimensional model to generate segment data indicating three-dimensional data and MPD indicating a reference destination of the segment data.
  • the three-dimensional data reproduction device acquires the viewpoint direction during MPD and three-dimensional data reproduction.
  • the three-dimensional data reproducing device refers to the MPD and acquires segment data showing an outline of the entire three-dimensional model and segment data corresponding to the viewpoint direction by two streams.
  • the three-dimensional data reproducing device reproduces the three-dimensional data by referring to each segment data.
  • the configuration of the three-dimensional data transmitting apparatus 100 shown in FIG. 1 is used.
  • the segment data transmission unit 132 has a function of transmitting two pieces of segment data in parallel by two streams to an external device.
  • FIG. 9A is a diagram showing each viewpoint direction with respect to the three-dimensional model in the three-dimensional space.
  • FIG. 9(A) is the same as FIG. 3(A), and in the present embodiment also, four viewpoint directions shown by v1 to v4 will be described as an example.
  • FIG. 9(B) shows an outline of MPD, which is different from the configuration of FIG. 3(B).
  • AdaptationSet(a) shows segment data obtained by encoding the entire three-dimensional model with a uniform resolution, as in the configuration of FIG. 3(B).
  • the AdaptationSets (b) to (e) include the reference destination of the segment data indicating the second type image data including the depth image having the higher resolution than that of (a) for any of the viewpoint directions.
  • the second-type image data does not include depth images in other viewpoint directions, as shown in FIGS. 10(b) to 10(e) and FIG. 11(b).
  • FIG. 10 is a diagram showing an outline of three-dimensional data when a three-dimensional model that is a mesh model is viewed from above.
  • FIG. 11 is a diagram illustrating image data generated by the depth image generation unit 112, including image data corresponding to each viewpoint direction.
  • FIG. 12 is a diagram showing a description example of MPD.
  • (a) to (e) in FIGS. 10 to 12 correspond to AdaptationSet (a) to (e) in FIG. 9B.
  • (a) corresponds to an example of the first type image data in which VGA images having uniform video quality in each viewpoint direction are packed.
  • (b) to (e) correspond to an example of the second type image data including the FHD image having a higher resolution than the VGA image and the XGA image in any viewpoint direction.
  • FIG. 13 is a flowchart showing the flow of processing according to this embodiment.
  • step S101 to step S106 the same processing as that of the first embodiment is performed.
  • the MPD that is generated by the meta information generation unit 113 in step S102 and is the processing target is the MPD illustrated in FIG. 12.
  • the process of step S207 is subsequently executed.
  • the selection unit 212 may refer to the value of the attribute bandwidth included in each Representation tag and select a suitable bit rate.
  • the segment data acquisition unit 232 acquires the segment data transmitted by the segment data transmission unit 132 from the reference destination indicated by the Representation. The segment data corresponds to the first type image data.
  • the segment data acquisition unit 232 acquires the segment data transmitted by the segment data transmission unit 132 from the reference destination indicated by the Representation.
  • the segment data corresponds to the second type image data.
  • the processing of the segment data acquisition unit 232 in steps S207 and S208 may be performed in parallel. That is, the segment data transmission unit 132 uses one of the two streams to transmit the segment data corresponding to the first-type image data in step S207, while using the other stream in step S208.
  • the segment data acquisition unit 232 may acquire the respective image data in parallel by transmitting the segment data corresponding to the second type image data in.
  • step S111 is subsequently executed.
  • steps S111 to S114 the same processing as that of the first embodiment is executed.
  • step S112 when the three-dimensional model generation unit 215 generates a three-dimensional model corresponding to each frame of the video, only the segment data corresponding to the second type image data is referred to, and the first type It does not mean that the segment data corresponding to the image data is not referenced.
  • FIG. 14 is a diagram showing an outline of three-dimensional data when a three-dimensional model that is a point cloud is viewed from above. Further, FIG. 14 corresponds to FIG. 10 in the second embodiment.
  • the depth image generation unit 112 reduces the depth image indicating a point group that is 1 ⁇ 4 subsampled, that is, the number of points to 1 ⁇ 4 from the original 3D model, for each viewpoint direction.
  • First-type image data including the thinned-out depth image, and a point group obtained by 3/4 sub-sampling in a predetermined viewpoint direction, the original three-dimensional model and the depth image included in the first-type image data.
  • the second type image data including the depth image indicating the point group that is the difference from the point group indicated by is generated.
  • the first type image data corresponds to FIG. 14A
  • the second type image data corresponds to FIGS. 14B to 14E.
  • the meta information generation unit 113 can generate the same MPD as that of the second embodiment and use it for the subsequent processing.
  • the segment data transmission unit 132 reproduces the three-dimensional data of the segment data corresponding to the first type image data and the second type image data by the plurality of layers in the single stream. It may be configured to transmit to the device 200. Further, the plurality of layers may be, for example, two layers including a base layer and an enhancement layer.
  • the segment data acquisition unit 232 uses the single stream to concurrently execute the segment data corresponding to the first type image data and the segment data corresponding to the second type image data in parallel. You can get it.
  • the configuration of the present modification can be applied to the first modification of the second embodiment.
  • the control block of the three-dimensional data transmission device 100 (in particular, the viewpoint reception unit 111, the depth image generation unit 112, the meta information generation unit 113, and the encoding unit 114), and the control block of the three-dimensional data reproduction device 200 (in particular, the viewpoint reception unit 211).
  • the selection unit 212 and the reproduction unit 213 may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or may be realized by software.
  • the three-dimensional data transmitting apparatus 100 and the three-dimensional data reproducing apparatus 200 are equipped with a computer that executes the instructions of a program that is software that realizes each function.
  • This computer includes, for example, at least one processor (control device) and at least one computer-readable recording medium that stores the program. Then, in the computer, the processor reads the program from the recording medium and executes the program to achieve the object of the present invention.
  • the processor for example, a CPU (Central Processing Unit) can be used.
  • the recording medium a "non-transitory tangible medium" such as a ROM (Read Only Memory), a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • a RAM Random Access Memory
  • the program may be supplied to the computer via any transmission medium (communication network, broadcast wave, etc.) capable of transmitting the program.
  • any transmission medium communication network, broadcast wave, etc.
  • one aspect of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the program is embodied by electronic transmission.
  • a generation device is a generation device that generates meta information about three-dimensional data, and is one or a plurality of first-type image data forming the three-dimensional data, and a plurality of viewpoints.
  • One or more first type image data including each image corresponding to a direction, and a plurality of second type image data forming the three-dimensional data, each image corresponding to one or more viewpoint directions
  • a plurality of second-type image data including a meta-information generating unit that generates meta-information indicating a reference destination, and the plurality of second-type image data has a resolution in at least one of the viewpoint directions.
  • the meta information generation unit generates, as the meta information, an MPD including a ViewPointQuality tag that identifies the resolution of each image corresponding to each viewpoint direction. May be. According to the above configuration, it is possible to realize a generation device that generates an MPD whose resolution can be identified by the ViewPointQuality tag.
  • a three-dimensional data transmitting apparatus is a three-dimensional data transmitting apparatus for transmitting three-dimensional data, wherein the generating apparatus according to Aspect 1 or 2 above and the meta information are transmitted to an external apparatus. 1 transmission unit, and a second transmission unit that transmits at least one of the first type image data and the second type image data to the external device in response to a request from the external device, May be provided. According to the above configuration, it is possible to realize a three-dimensional data transmission device capable of transmitting meta information and at least one of the first type image data and the second type image data to an external device.
  • the second transmitting unit may output the first type image data and the second type image data in different streams. It may be configured to transmit by. According to the above configuration, it is possible to realize a three-dimensional data transmission device capable of transmitting the first type image data and the second type image data by separate streams.
  • the second transmission unit may combine the first type image data and the second type image data in a single stream. It may be configured to transmit using a plurality of layers. According to the above configuration, it is possible to realize a three-dimensional data transmission device capable of transmitting the first type image data and the second type image data by a single stream.
  • a three-dimensional data reproducing apparatus is a three-dimensional data reproducing apparatus for reproducing three-dimensional data, and is one or a plurality of first-type image data constituting the three-dimensional data, One or a plurality of first type image data including each image corresponding to a plurality of viewpoint directions, and a plurality of second type image data forming the three-dimensional data, which correspond to one or a plurality of viewpoint directions.
  • a first acquisition unit that acquires meta information indicating a reference destination of a plurality of second type image data including each image to be reproduced, and a viewpoint direction with respect to the object indicated by the three-dimensional data when the three-dimensional data is reproduced.
  • a third acquisition unit that acquires at least one of the three-dimensional image data, and at least one of the first-type image data and the second-type image data acquired by the third acquisition unit.
  • a reproduction unit that reproduces data, wherein the plurality of second-type image data have an image resolution higher than that of the image included in the first-type image data in at least one of the viewpoint directions. It is a configuration including. According to the above configuration, it is possible to realize a three-dimensional data reproducing device capable of reproducing image data by acquiring image data with reference to the above-mentioned meta information.
  • the first acquisition unit includes, as the meta information, an MPD including a ViewPointQuality tag that identifies a resolution of each image corresponding to each viewpoint direction.
  • the third acquisition unit may acquire image data in which the AdaptationSet determined by referring to the ViewPointQuality tag indicates a reference destination. According to the above configuration, it is possible to realize the three-dimensional data reproducing device that acquires the image data determined by referring to the ViewPointQuality tag.
  • the third acquisition unit may have a vector indicated by the viewpoint direction acquired by the second acquisition unit, and the image of the second type. If the difference between the vector included in the data and the vector indicated by the viewpoint direction corresponding to the image having a higher resolution than the image included in the image data of the first type is less than the threshold value, at least the image data of the second type is acquired. When it is equal to or more than the threshold value, the first type image data may be acquired without acquiring the second type image data. According to the above configuration, it is possible to realize a three-dimensional data reproducing device capable of acquiring suitable image data according to the viewpoint direction and reproducing three-dimensional data.
  • the third acquisition unit outputs the first type image data and the second type image data.
  • the configuration may be such that a plurality of different streams are used for acquisition. According to the above configuration, it is possible to realize a three-dimensional data reproducing device capable of acquiring the first type image data and the second type image data by separate streams.
  • the third acquisition unit outputs the first type image data and the second type image data.
  • the configuration may be such that it is acquired by a plurality of layers in a single stream. According to the above configuration, it is possible to realize a three-dimensional data reproducing device capable of acquiring the first type image data and the second type image data by a single stream.
  • the generation device, the three-dimensional data transmission device, and the three-dimensional data reproduction device according to each aspect of the present invention may be realized by a computer.
  • the computer is used as each unit (software element) included in each device.
  • a control program of each of the above-described devices that causes each of the above-described devices to be realized by a computer by operating the computer, and a computer-readable recording medium that records the program are also included in the scope of the present invention.

Abstract

画像品位の低下を抑制し、通信量および通信に係る処理を軽減させる。生成装置であって、複数の視点方向に対応する各画像を含む第１種の画像データと、１又は複数の視点方向に対応する各画像を含む第２種の画像データとの参照先を示すメタ情報を生成するメタ情報生成部を備え、第２種の画像データは、何れかの視点方向について、解像度が第１種の画像データに含まれる画像よりも高い画像を含む。

Description

生成装置、３次元データ送信装置、及び３次元データ再生装置
　本発明の一態様は、メタ情報を生成する生成装置、３次元データ送信装置、及び３次元データ再生装置に関する。
　本願は、２０１８年１２月２６日に日本で出願された特願２０１８－２４３３７２号に基づき優先権を主張し、その内容をここに援用する。
　近年、映像を配信するための様々な技術が開発されている。映像を配信するための技術としては、MPEG（Moving Picture Experts Group）にて現在標準化作業が進められているDASH（Dynamic Adaptive Streaming over HTTP）が挙げられる（非特許文献１）。DASHでは、MPD（Media Presentation Description）データ等のメタデータのフォーマットが規定されている。
ISO/IEC 23009-1 Second edition 2014-05-15
　しかしながら、上述のような従来技術においては、３次元データを再生する場合に、再生時の視点方向からでは見えない部分についても不必要に高精細な画像を取得しており、通信量および通信に係る処理が増大するという問題がある。
　本発明の一態様は、上記の課題に鑑みてなされたものであり、３次元データ再生時における画像品位の低下を抑制しつつ、通信量および通信に係る処理を軽減させるためのメタ情報を生成する生成装置を実現することを目的とする。
　上記の課題を解決するために、本発明の一態様に係る生成装置は、３次元データに関するメタ情報を生成する生成装置であって、前記３次元データを構成する１又は複数の第１種の画像データであって、複数の視点方向に対応する各画像を含む１又は複数の第１種の画像データと、前記３次元データを構成する複数の第２種の画像データであって、１又は複数の視点方向に対応する各画像を含む複数の第２種の画像データとの参照先を示すメタ情報を生成するメタ情報生成部を備えており、前記複数の第２種の画像データは、少なくとも何れかの視点方向について、解像度が前記第１種の画像データに含まれる画像よりも高い画像を含む。
　本発明の一態様によれば、３次元データ再生時における画像品位の低下を抑制しつつ、通信量および通信に係る処理を軽減させるためのメタ情報を生成する生成装置を実現できる。
実施形態１に係る３次元データ送信装置の機能ブロック図である。 実施形態１に係る３次元データ再生装置の機能ブロック図である。 ３次元モデルに対する各視点方向を示す図およびＭＰＤの概要を示す図である。 メッシュモデルである３次元モデルを上方向から見た場合における３次元データの概要を示す図である。 デプス画像生成部が生成する画像データであって、各視点方向に対応するデプス画像を含む画像データを示す図である。 ＭＰＤの記述例を示す図である。 実施形態１に係る処理の流れを示すフローチャートである。 ポイントクラウドである３次元モデルを上方向から見た場合における３次元データの概要を示す図である。 ３次元モデルに対する各視点方向を示す図およびＭＰＤの概要を示す図である。 メッシュモデルである３次元モデルを上方向から見た場合における３次元データの概要を示す図である。 デプス画像生成部が生成する画像データであって、各視点方向に対応するデプス画像を含む画像データを示す図である。 ＭＰＤの記述例を示す図である。 実施形態２に係る処理の流れを示すフローチャートである。 ポイントクラウドである３次元モデルを上方向から見た場合における３次元データの概要を示す図である。
　以下、本発明の実施形態について、詳細に説明する。ただし、本実施形態に記載されている構成は、特に特定的な記載がない限り、この発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例に過ぎない。
　〔実施形態１〕
　本発明の第１の実施形態について図１～図７を参照して説明する。本実施形態においては、後述する３次元データ再生装置が、メタ情報の一種であるＭＰＤ（Media Presentation Description）を参照して単一のストリームによって３次元データを示すセグメントデータを取得し、再生する工程の一例について説明する。ここで、３次元データとは、点群やメッシュによって表現される立体的な３次元モデルを示すデータである。また、セグメントデータとは、３次元データを時分割したHTTP伝送の伝送単位（例えば、ISOBMFF（ISO Base Media File Format）をベースにしたデータ）である。
　以下、３次元データの参照先を示すメタ情報としてＭＰＤを例に挙げて説明するが、これに限定されず、例えば、ＭＰＤに準ずるＸＭＬ（eXtensible Markup Language）等であってもよい。
　本実施形態に係る各装置における主な工程として、以下の（１）～（４）が実行される。
（１）３次元データ送信装置が、取得した３次元モデルを参照して３次元データを示すセグメントデータと、当該セグメントデータの参照先を示すＭＰＤとを生成する。
（２）３次元データ再生装置が、ＭＰＤと３次元データ再生時における視点位置および視点方向とを取得する。なお、本明細書においては、視点位置および視点方向を、単に視点方向と呼称することもある。
（３）３次元データ再生装置が、ＭＰＤを参照して当該視点方向に応じたセグメントデータを単一のストリームによって取得する。
（４）３次元データ再生装置が、当該セグメントデータを参照して３次元データを再生する。
　以下、３次元データ再生装置においては、３次元モデルを対象とした映像、即ち動画が再生されるものとして説明するが、これに限定されず単に静止画であってもよい。また、本実施形態において、３次元モデルは、メッシュモデルであるものとして説明する。
　〔１．３次元データ送信装置１００の構成〕
　図１は、本実施形態に係る３次元データ送信装置１００の機能ブロック図である。図１に示す通り、３次元データ送信装置１００は、制御部１１０、記憶部１２０、及び通信部１３０を備えている。
　制御部１１０は、３次元データ送信装置１００全体を統括する制御装置であって、視点受付部１１１、デプス画像生成部１１２、メタ情報生成部１１３、および符号化部１１４としても機能する。
　視点受付部１１１は、３次元モデルに対する各視点位置及び視点方向となる仮想視点を取得または設定する。デプス画像生成部１１２は、入力された３次元モデルを対象とするデプス画像を生成する。ここで、デプス画像とは、各画素にデプス値が割り当てられた画像である。また、ここでのデプス値は、視点受付部１１１から入力された視点位置を基準とした値が割り当てられる。
　メタ情報生成部１１３は、視点受付部１１１から入力された視点位置と、デプス画像生成部１１２が生成したデプス画像とから、３次元データを示すセグメントデータの参照先を示すＭＰＤを生成する。当該ＭＰＤの詳細については後述する。符号化部１１４は、デプス画像生成部１１２から入力されたデプス画像を符号化する。また、制御部１１０は、通信部１３０による通信処理に関する制御を行う通信制御部としても機能する。
　記憶部１２０は、各種データを格納する記憶装置であって、メタ情報記憶部１２１およびセグメントデータ記憶部１２２としても機能する。メタ情報記憶部１２１は、ＭＰＤを示す情報を格納する。また、セグメントデータ記憶部１２２は、セグメントデータを格納する。
　通信部１３０は、３次元データ再生装置２００等の外部装置との通信処理を行うインターフェースであって、メタ情報送信部（第１送信部）１３１およびセグメントデータ送信部（第２送信部）１３２としても機能する。メタ情報送信部１３１は、ＭＰＤを示す情報を送信する。また、セグメントデータ送信部１３２は、セグメントデータを送信する。
　〔２．３次元データ再生装置２００の構成〕
　図２は、本実施形態に係る３次元データ再生装置２００の機能ブロック図である。図２に示す通り、３次元データ再生装置２００は、制御部２１０、通信部２３０、表示部２４０、及びＭＰＤを示す情報等を少なくとも一時的に格納する、図示しない記憶部（メモリ）を備える。
　制御部２１０は、３次元データ再生装置２００全体を統括する制御装置であって、視点受付部（第２取得部）２１１、選択部２１２、及び再生部２１３としても機能する。
　視点受付部２１１は、３次元データを再生する場合における視点方向を取得する。選択部２１２は、後述するメタ情報取得部２３１が取得したＭＰＤに参照先が記述されたセグメントデータについて、視点受付部２１１が取得した視点方向に対応するセグメントデータを選択する。
　再生部２１３は、入力されたセグメントデータを参照して３次元データを再生する部材であって、復号部２１４、３次元モデル生成部２１５および視点画像合成部２１６としても機能する。
　復号部２１４は、入力されたセグメントデータを復号する。３次元モデル生成部２１５は、復号されたセグメントデータを参照して３次元モデルを生成する。視点画像合成部２１６は、３次元データを再生する場合における視点位置を参照して当該視点位置から見た３次元モデルを示す画像を合成する。
　また、制御部２１０は、通信部２３０による通信処理に関する制御を行う通信制御部、及び表示部２４０による表示処理に関する制御を行う表示制御部としても機能する。
　通信部２３０は、３次元データ送信装置１００等の外部装置との通信処理を行うインターフェースであって、メタ情報取得部（第１取得部）２３１およびセグメントデータ取得部（第３取得部）２３２としても機能する。メタ情報取得部２３１は、ＭＰＤを示す情報を取得する。セグメントデータ取得部２３２は、選択部２１２が選択したセグメントデータを取得する。また、表示部２４０は、動画像を表示可能な表示パネルである。
　〔３．ＭＰＤについて〕
　本実施形態における３次元データの概要、及びメタ情報生成部１１３が生成するＭＰＤの一例について説明する。図３（Ａ）は、３次元空間上における３次元モデルに対する各視点方向を示す図である。また、図３（Ｂ）は、ＭＰＤの概要を示す図である。以下、３次元モデルまたは３次元空間に対する視点方向として、図３（Ａ）のｖ１～ｖ４に示す４つの視点方向を例に挙げて説明するが、当該視点方向の数は、例えば２又は３であってもよいし、５以上であってもよい。
　図３（Ｂ）に示すＭＰＤのAdaptationSet（ａ）～（ｅ）は、何れも視点方向ｖ１～ｖ４から見た３次元モデルを示すデプス画像のセグメントデータの参照先を内包している。なお、ＭＰＤは、上位の階層要素から順に、MPD要素、Period要素、AdaptationSet要素、Representation要素、SegmentList要素、及び、SegmentURL要素を含む木構造となっており、後述する図６等においては、一部の要素が省略されている。また、SegmentURL要素が、上述したセグメントデータの参照先に相当する。
　図３（Ｂ）において、AdaptationSet（ａ）は、３次元モデル全体を一様な解像度でエンコードしたセグメントデータの参照先を示している。また、AdaptationSet（ｂ）～（ｅ）は、何れかの視点方向について、（ａ）よりも解像度が高く、他の視点方向については（ａ）よりも解像度が低いセグメントデータの参照先を示している。
　図４は、メッシュモデルである３次元モデルを上方向から見た場合における３次元データの概要を示す図である。また、図５は、デプス画像生成部１１２が生成する画像データであって、各視点方向に対応するデプス画像を含む画像データを示す図である。また、前記画像データ自体もデプス画像である。ここで、図５（ａ）に示す画像データは、第１種の画像データの一例に相当する。また、図５（ｂ）および図示しない図５（ｃ）～（ｅ）に示す画像データは、第２種の画像データに相当する。
　また、図６は、ＭＰＤの記述例を示す図である。ここで、図４～図６における（ａ）～（ｅ）は、図３（Ｂ）におけるAdaptationSet（ａ）～（ｅ）に対応する。また、図４～図６に示す例において、（ａ）は、各視点方向について一様な映像品質であるＸＧＡ画像がパッキングされた第１種の画像データの一例に対応する。また、（ｂ）～（ｅ）は何れかの視点方向についてＸＧＡ画像よりも解像度が高いＦＨＤ画像と、当該視点方向以外の視点方向についてＸＧＡ画像よりも解像度が低いＶＧＡ画像とがパッキングされた第２種の画像データの一例に対応する。
　図６に例示するＭＰＤにおいて、AdaptationSet（ａ）は、上述したように各視点方向について映像品質、即ちパッキングされた画像の解像度が一様であり、ViewPointQualityタグが付加されていない。一方で、AdaptationSet（ｂ）～（ｅ）は、各視点方向について映像品質が一様でなく、ViewPointQualityタグが付加されている。また、例えば（ｂ）に含まれるViewPointQualityタグにおいては、quality=”high”の値を有するviewpointが、視点方向ｖ１に対応する。また、例えば、当該viewpointにおける、(x1,y1,z1)は、視点位置を示している。また、(p1,q1,r1)は、当該視点位置からの、３次元モデルに対する視点方向を示している。また、他のAdaptationSetおよびviewpointについても同様に説明される。
　また、各AdaptationSetが内包する１又は複数のRepresentationのそれぞれには、互いに異なるビットレートの映像に対応するセグメントデータであって、各解像度の画像が同様にパッキングされた画像データを示すセグメントデータの参照先が含まれている。
　ここで、Representationタグに含まれる属性bandwidthは、当該Representationに対応するセグメントデータを受信・再生するために必要なネットワーク帯域を示している。また、同一のAdaptationSetに含まれる各Representationにおいては、対応するセグメントデータのビットレートが高い程、bandwidthの値は大きい値となる。
　また、３次元データに関するメタ情報を生成する生成装置は、当該生成装置が、メタ情報を生成するメタ情報生成部１１３を備えるか、メタ情報生成部１１３自体であることによって実現される。即ち、本実施形態に係る、３次元データに関するメタ情報を生成する生成装置は、３次元データを構成する１又は複数の第１種の画像データであって、複数の視点方向に対応する各画像を含む１又は複数の第１種の画像データと、３次元データを構成する複数の第２種の画像データであって、１又は複数の視点方向に対応する各画像を含む複数の第２種の画像データとの参照先を示すメタ情報を生成するメタ情報生成部１１３を備えており、前記複数の第２種の画像データは、少なくとも何れかの視点方向について、解像度が前記第１種の画像データに含まれる画像よりも高い画像を含む構成であってもよい。上記の構成によれば、３次元データ再生時における画像品位の低下を抑制しつつ、通信量および通信に係る処理を軽減させるためのメタ情報を生成する生成装置を実現できる。
　また、メタ情報を生成する生成装置は、図６に例示するように、メタ情報として、各視点方向に対応する各画像の解像度を識別するViewPointQualityタグを含むＭＰＤを生成してもよい。これにより、ViewPointQualityタグによって解像度を識別可能なＭＰＤを生成する生成装置を実現できる。
　〔４．３次元データ再生に係る処理の流れ〕
　本実施形態に係る３次元データ送信装置１００および３次元データ再生装置２００による３次元データの生成および再生に係る処理の流れについて図７を参照して説明する。図７は、本実施形態に係る処理の流れを示すフローチャートである。
　また、以下の各ステップにおいて、ステップＳ１０１～Ｓ１０３は、３次元データ送信装置１００における処理であり、ステップＳ１０４～Ｓ１１４は、３次元データ再生装置２００における処理である。
　ステップＳ１０１において、デプス画像生成部１１２は、入力された３次元モデルと、視点受付部１１１から入力された仮想視点と参照して、仮想視点を基準としたデプス画像を生成する。
　ステップＳ１０２において、メタ情報生成部１１３は、デプス画像生成部１１２が生成したデプス画像と当該仮想視点とを参照してＭＰＤを生成する。また、制御部１１０は、生成したＭＰＤをメタ情報記憶部１２１に格納する。
　ステップＳ１０３において、符号化部１１４は、デプス画像生成部１１２が生成したデプス画像を符号化する。また、制御部１１０は、符号化したデプス画像を、セグメントデータとして、セグメントデータ記憶部１２２に格納する。また、制御部１１０は、生成したＭＰＤが示すセグメントデータの参照先と、セグメントデータ記憶部１２２に格納する格納先とをＵＲＬを介して整合させる。
　ステップＳ１０４以降の処理は、３次元データ再生装置２００における処理である。ステップＳ１０４において、メタ情報取得部２３１は、３次元データ送信装置１００からＭＰＤを取得する。
　ステップＳ１０５において、選択部２１２は、メタ情報取得部２３１が取得したＭＰＤについて、ViewPointQualityタグが付加されたAdaptationSetを抽出する。また、当該AdaptationSetは、図６の例における（ｂ）～（ｅ）のAdaptationSetに相当する。
　ステップＳ１０６において、選択部２１２は、抽出されたAdaptationSetのViewPointQualityタグについて、quality=“high”の値を有するviewpointが示す視線ベクトルと、視点受付部２１１が取得した視点方向が示す視点ベクトルとの差分の最も小さいAdaptationSetを抽出する。
　ステップＳ１０７において、選択部２１２は、当該差分が所定の閾値であるＴｈ未満であるか否かを判定する。選択部２１２が、当該差分がＴｈ未満であると判定した場合には、続いてステップＳ１０８の処理が実行され、当該差分がＴＨ以上であると判定した場合には、続いてステップＳ１０９の処理が実行される。
　ステップＳ１０８において、選択部２１２は、ステップＳ１０６で抽出したAdaptationSetを、セグメントデータ取得部２３２が取得するセグメントデータの参照元として決定する。また、当該セグメントデータは、第２種の画像データに対応する。
　ステップＳ１０９において、選択部２１２は、ViewPointQualityタグが付加されていないAdaptationSetを、セグメントデータ取得部２３２が取得するセグメントデータの参照元として決定する。また、当該セグメントデータは、第１種の画像データに対応する。また、上述したように、当該AdaptationSetは、図６の例における（ａ）のAdaptationSetに相当する。ステップＳ１０６からステップＳ１０９において上述した工程によれば、３次元データ再生装置２００は、視点方向に応じた好適な画像データを取得できる。
　ステップＳ１１０において、選択部２１２は、ステップＳ１０８またはステップＳ１０９において決定したAdaptationSetから、３次元データを再生する場合におけるビットレートに対応するRepresentationを選択する。また、選択部２１２は、Representationを選択する場合に、各Representationタグに含まれる属性bandwidthの値を参照して好適なビットレートを選択してもよい。また、セグメントデータ取得部２３２は、当該Representationが示す参照先から、セグメントデータ送信部１３２によって送信されたセグメントデータを取得する。なお、３次元データを再生する場合におけるビットレートは、３次元データ送信装置１００、３次元データ再生装置２００間における回線速度に応じて決定されてもよいし、ユーザが３次元データ再生装置２００を操作することによって指定可能であってもよい。
　ステップＳ１１１において、復号部２１４は、セグメントデータ取得部２３２が取得したセグメントデータを復号する。
　ステップＳ１１２において、３次元モデル生成部２１５は、復号されたセグメントデータを参照して３次元モデルを生成する。
　ステップＳ１１３において、視点画像合成部２１６は、視点受付部２１１から入力された視点位置から見た３次元モデルを示す画像を合成する。
　ステップＳ１１４において、再生部２１３は、当該画像を表示部２４０に表示させる。
　上述したように、本実施形態に係る３次元データ送信装置１００は、３次元データを送信する３次元データ送信装置１００であって、メタ情報生成装置（メタ情報生成部）１１３と、メタ情報生成装置が生成したメタ情報を外部装置に送信する第１送信部（メタ情報送信部）１３１と、前記外部装置からの要求に応答して、前記第１種の画像データおよび前記第２種の画像データの少なくとも何れかを、前記外部装置に送信する第２送信部（セグメントデータ送信部）１３２と、を備えている構成である。上記の構成によれば、メタ情報、並びに第１種の画像データおよび第２種の画像データの少なくとも何れかを外部装置に送信可能な３次元データ送信装置１００を実現できる。
　また、上述したように、本実施形態に係る３次元データ再生装置２００は、３次元データを再生する３次元データ再生装置２００であって、３次元データを構成する１又は複数の第１種の画像データであって、複数の視点方向に対応する各画像を含む１又は複数の第１種の画像データと、３次元データを構成する複数の第２種の画像データであって、１又は複数の視点方向に対応する各画像を含む複数の第２種の画像データとの参照先を示すメタ情報を取得する第１取得部（メタ情報取得部）２３１と、３次元データを再生する場合における、３次元データが示すオブジェクトに対する視点方向を取得する第２取得部（視点受付部）２１１と、当該視点方向に対応する参照先であって、前記メタ情報が示す参照先から、３次元データの再生に要する、前記第１種の画像データおよび前記第２種の画像データの少なくとも何れかを取得する第３取得部（セグメントデータ取得部）２３２と、前記第３取得部が取得した第１種の画像データおよび前記第２種の画像データの少なくとも何れかを参照して、前記３次元データを再生する再生部２１３と、を備えており、前記複数の第２種の画像データは、少なくとも何れかの視点方向について、解像度が前記第１種の画像データに含まれる画像よりも高い画像を含む構成である。上記の構成によれば、上述したメタ情報を参照して画像データを取得し、３次元データを再生可能な３次元データ再生装置２００を実現できる。
　〔実施形態１の変形例〕
　本変形例においては、３次元モデルがメッシュモデルではなく、ポイントクラウド（点群）である場合について図８を参照して説明する。なお、説明の便宜上、上記実施形態にて説明した事項についての重複する説明を繰り返さない。
　図８は、ポイントクラウドである３次元モデルを上方向から見た場合における３次元データの概要を示す図である。また、図８は、実施形態１における図４に対応する。
　３次元モデルがポイントクラウドである場合、デプス画像生成部１１２は、各視点方向について、１／２サブサンプルした点群を示すデプス画像、即ち点の数を元の３次元モデルから１／２に間引いたデプス画像を含む第１種の画像データ、及び、所定の視点方向について点の数を元の３次元モデルから間引かずにサンプリングした点群を示すデプス画像と、当該視点方向以外の視点方向について、１／４サブサンプルした点群を示すデプス画像、即ち点の数を元の３次元モデルから１／４に間引いたデプス画像とを含む第２種の画像データを生成する。ここで、第１種の画像データは、図８（ａ）に対応し、第２種の画像データは、図８（ｂ）～（ｅ）に対応する。本変形例の構成においてもメタ情報生成部１１３は、実施形態１と同様のＭＰＤを生成し、以降の処理に使用することができる。
　〔実施形態２〕
　本発明の第２の実施形態について、図１、２、及び図９～図１３を参照して説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。本実施形態においては、３次元データ再生装置が、ＭＰＤを参照して互いに異なる複数のストリームによって３次元データを示すセグメントデータを取得し、再生する工程の一例について説明する。以下、当該ストリームの数は２つであるものとして説明するが、これに限定されず、３以上のストリームが使用されることによって、本実施形態で説明する処理が実現されてもよい。
　本実施形態に係る各装置における主な工程として、以下の（１）～（４）が実行される。
（１）３次元データ送信装置が、取得した３次元モデルを参照して３次元データを示すセグメントデータと、当該セグメントデータの参照先を示すＭＰＤとを生成する。
（２）３次元データ再生装置が、ＭＰＤと３次元データ再生時における視点方向を取得する。
（３）３次元データ再生装置が、ＭＰＤを参照して、３次元モデル全体の概要を示すセグメントデータと当該視点方向に応じたセグメントデータとを２つのストリームによって取得する。
（４）３次元データ再生装置が、各セグメントデータを参照して３次元データを再生する。
　〔１．３次元データ送信装置１００の構成〕
　本実施形態においても図１に示す３次元データ送信装置１００の構成を用いる。ただし、セグメントデータ送信部１３２は、２つのセグメントデータを２つのストリームによって並行して外部の装置に送信する機能を有する。
　〔２．３次元データ再生装置２００の構成〕
　本実施形態においても図２に示す３次元データ再生装置２００の構成を用いる。ただし、セグメントデータ取得部２３２は、セグメントデータを２つのストリームによって並行して外部の装置から取得する機能を有する。
　〔３．ＭＰＤについて〕
　本実施形態における３次元データの概要、及びメタ情報生成部１１３が生成するＭＰＤの一例について説明する。図９（Ａ）は、３次元空間上における３次元モデルに対する各視点方向を示す図である。図９（Ａ）は、図３（Ａ）と同一であり、本実施形態においてもｖ１～ｖ４に示す４つの視点方向を例に挙げて説明する。
　図９（Ｂ）は、ＭＰＤの概要を示しており、図３（Ｂ）の構成とは互いに異なる。図９（Ｂ）において、AdaptationSet（ａ）は、図３（Ｂ）の構成と同様に、３次元モデル全体を一様な解像度でエンコードしたセグメントデータを示している。一方で、AdaptationSet（ｂ）～（ｅ）は、何れかの視点方向について（ａ）よりも解像度が高いデプス画像を含む第２種の画像データを示すセグメントデータの参照先を内包しているが、各第２種の画像データは、図１０（ｂ）～（ｅ）および図１１（ｂ）に示すように、他の視点方向についてのデプス画像を含んでいない。
　ここで、図１０は、メッシュモデルである３次元モデルを上方向から見た場合における３次元データの概要を示す図である。また、図１１は、デプス画像生成部１１２が生成する画像データであって、各視点方向に対応するデプス画像を含む画像データを示す図である。
　また、図１２は、ＭＰＤの記述例を示す図である。ここで、図１０～図１２における（ａ）～（ｅ）は、図９（Ｂ）におけるAdaptationSet（ａ）～（ｅ）に対応する。
　また、図１０～図１２に示す例において、（ａ）は、各視点方向について一様な映像品質であるＶＧＡ画像がパッキングされた第１種の画像データの一例に対応する。また、（ｂ）～（ｅ）は何れかの視点方向についてＶＧＡ画像およびＸＧＡ画像よりも解像度が高いＦＨＤ画像を含む第２種の画像データの一例に対応する。
　図１２に例示するＭＰＤにおいては。各AdaptationSetがgroupの属性を有し、０または１の値を有している。これは、３次元データ再生装置２００が３次元データを再生する場合に、group=0の値を有するAdaptationSetに由来するセグメントデータと、group=1の値を有するAdaptationSetに由来するセグメントデータとが、少なくとも１つずつ必要なことが規定されていることを示している。
　〔４．３次元データ再生に係る処理の流れ〕
　本実施形態に係る３次元データ送信装置１００および３次元データ再生装置２００による３次元データの生成および再生に係る処理の流れについて図１３を参照して説明する。図１３は、本実施形態に係る処理の流れを示すフローチャートである。
　ステップＳ１０１からステップＳ１０６までは、実施形態１と同様の処理が行われる。ただし、ステップＳ１０２でメタ情報生成部１１３が生成し、処理対象となるＭＰＤは、図１２に例示したＭＰＤである。ステップＳ１０６の処理が実行されたのち、続いてステップＳ２０７の処理が実行される。
　ステップＳ２０７において、選択部２１２は、ステップＳ１０４で取得部が取得したＭＰＤについて、group=0の値を有するAdaptationSetから、３次元データを再生する場合におけるビットレートに対応するRepresentationを選択する。ここで、group=0の値を有するAdaptationSetとは、図１２の例における（ａ）のAdaptationSetに相当する。また、選択部２１２は、本ステップＳ２０７および後述するステップＳ２０８においてRepresentationを選択する場合に、各Representationタグに含まれる属性bandwidthの値を参照して好適なビットレートを選択してもよい。また、セグメントデータ取得部２３２は、当該Representationが示す参照先から、セグメントデータ送信部１３２によって送信されたセグメントデータを取得する。また、当該セグメントデータは、第１種の画像データに対応する。
　ステップＳ２０８において、選択部２１２は、ステップＳ１０５で選択した、group=1の値を有するAdaptationSetから、３次元データを再生する場合におけるビットレートに対応するRepresentationを選択する。ここで、group=1の値を有するAdaptationSetとは、図１２の例における（ｂ）～（ｅ）のAdaptationSetに相当する。また、セグメントデータ取得部２３２は、当該Representationが示す参照先から、セグメントデータ送信部１３２によって送信されたセグメントデータを取得する。また、当該セグメントデータは、第２種の画像データに対応する。
　また、ステップＳ２０７とステップＳ２０８とにおけるセグメントデータ取得部２３２の処理は並行してなされてもよい。即ち、セグメントデータ送信部１３２は、２つのストリームのうち一方のストリームを使用してステップＳ２０７における第１種の画像データに対応するセグメントデータを送信しつつ、もう一方のストリームを使用してステップＳ２０８における第２種の画像データに対応するセグメントデータを送信し、セグメントデータ取得部２３２が各画像データを並行して取得してもよい。
　ステップＳ２０７の処理およびステップＳ２０８の処理が実行されたのち、続いてステップＳ１１１の処理が実行される。
　ステップＳ１１１からステップＳ１１４においては、実施形態１と同様の処理が実行させる。なお、ステップＳ１１２において、３次元モデル生成部２１５が映像の各フレームに対応する３次元モデルを生成する場合には、第２種の画像データに対応するセグメントデータのみを参照し、第１種の画像データに対応するセグメントデータを参照しない、ということは行われない。
　〔実施形態２の変形例１〕
　本変形例においては、３次元モデルがメッシュモデルではなく、ポイントクラウド（点群）である場合について図１４を参照して説明する。なお、説明の便宜上、上記実施形態にて説明した事項についての重複する説明を繰り返さない。
　図１４は、ポイントクラウドである３次元モデルを上方向から見た場合における３次元データの概要を示す図である。また、図１４は、実施形態２における図１０に対応する。
　３次元モデルがポイントクラウドである場合、デプス画像生成部１１２は、各視点方向について、１／４サブサンプルした点群を示すデプス画像、即ち点の数を元の３次元モデルから１／４に間引いたデプス画像を含む第１種の画像データ、及び、所定の視点方向について３／４サブサンプルした点群であって、元の３次元モデルと、第１種の画像データに含まれるデプス画像が示す点群との差分となる点群を示すデプス画像を含む第２種の画像データを生成する。ここで、第１種の画像データは、図１４（ａ）に対応し、第２種の画像データは、図１４（ｂ）～（ｅ）に対応する。
　本変形例の構成においてもメタ情報生成部１１３は、実施形態２と同様のＭＰＤを生成し、以降の処理に使用することができる。
　〔実施形態２の変形例２〕
　実施形態２の第２の変形例について説明する。なお、説明の便宜上、上記実施形態にて説明した事項についての重複する説明を繰り返さない。
　ステップＳ２０７およびステップＳ２０８において、セグメントデータ送信部１３２は、単一のストリームにおける複数のレイヤーによって、第１種の画像データに対応するセグメントデータと、第２種の画像データとを、３次元データ再生装置２００に送信する構成でもよい。また、複数のレイヤーとは、例えばベースレイヤーとエンハンスメントレイヤーとの２つのレイヤーであってもよい。
　本変形例の構成によれば、セグメントデータ取得部２３２は、単一のストリームによって、第１種の画像データに対応するセグメントデータと第２種の画像データに対応するセグメントデータとを並行して取得できる。なお、本変形例の構成は、実施形態２の変形例１に対しても適用可能である。
　〔ソフトウェアによる実現例〕
　３次元データ送信装置１００の制御ブロック（特に視点受付部１１１、デプス画像生成部１１２、メタ情報生成部１１３および符号化部１１４）、並びに３次元データ再生装置２００の制御ブロック（特に視点受付部２１１、選択部２１２、再生部２１３）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、３次元データ送信装置１００および３次元データ再生装置２００は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　〔まとめ〕
　本発明の態様１に係る生成装置は、３次元データに関するメタ情報を生成する生成装置であって、前記３次元データを構成する１又は複数の第１種の画像データであって、複数の視点方向に対応する各画像を含む１又は複数の第１種の画像データと、前記３次元データを構成する複数の第２種の画像データであって、１又は複数の視点方向に対応する各画像を含む複数の第２種の画像データとの参照先を示すメタ情報を生成するメタ情報生成部を備えており、前記複数の第２種の画像データは、少なくとも何れかの視点方向について、解像度が前記第１種の画像データに含まれる画像よりも高い画像を含む構成である。上記の構成によれば、３次元データ再生時における画像品位の低下を抑制しつつ、通信量および通信に係る処理を軽減させるためのメタ情報を生成する生成装置を実現できる。
　本発明の態様２に係る生成装置は、上記の態様１において、前記メタ情報生成部は、前記メタ情報として、各視点方向に対応する各画像の解像度を識別するViewPointQualityタグを含むＭＰＤを生成してもよい。上記の構成によれば、ViewPointQualityタグによって解像度を識別可能なＭＰＤを生成する生成装置を実現できる。
　本発明の態様３に係る３次元データ送信装置は、３次元データを送信する３次元データ送信装置であって、上記の態様１又は２における生成装置と、前記メタ情報を外部装置に送信する第１送信部と、前記外部装置からの要求に応答して、前記第１種の画像データ、及び前記第２種の画像データの少なくとも何れかを、前記外部装置に送信する第２送信部と、を備える構成としてもよい。上記の構成によれば、メタ情報、並びに第１種の画像データおよび第２種の画像データの少なくとも何れかを外部装置に送信可能な３次元データ送信装置を実現できる。
　本発明の態様４に係る３次元データ送信装置は、上記の態様３において、前記第２送信部は、前記第１種の画像データと前記第２種の画像データとを、互いに異なる複数のストリームによって送信する構成としてもよい。上記の構成によれば、第１種の画像データと第２種の画像データとを別々のストリームによって送信可能な３次元データ送信装置を実現できる。
　本発明の態様５に係る３次元データ送信装置は、上記の態様３において、前記第２送信部は、前記第１種の画像データと前記第２種の画像データとを、単一のストリームにおける複数のレイヤーによって送信する構成としてもよい。上記の構成によれば、第１種の画像データと第２種の画像データとを単一のストリームによって送信可能な３次元データ送信装置を実現できる。
　本発明の態様６に係る３次元データ再生装置は、３次元データを再生する３次元データ再生装置であって、前記３次元データを構成する１又は複数の第１種の画像データであって、複数の視点方向に対応する各画像を含む１又は複数の第１種の画像データと、前記３次元データを構成する複数の第２種の画像データであって、１又は複数の視点方向に対応する各画像を含む複数の第２種の画像データとの参照先を示すメタ情報を取得する第１取得部と、前記３次元データを再生する場合における、前記３次元データが示すオブジェクトに対する視点方向を取得する第２取得部と、当該視点方向に対応する参照先であって、前記メタ情報が示す参照先から、３次元データの再生に要する、前記第１種の画像データおよび前記第２種の画像データの少なくとも何れかを取得する第３取得部と、前記第３取得部が取得した第１種の画像データおよび前記第２種の画像データの少なくとも何れかを参照して、前記３次元データを再生する再生部と、を備えており、前記複数の第２種の画像データは、少なくとも何れかの視点方向について、解像度が前記第１種の画像データに含まれる画像よりも高い画像を含む構成である。上記の構成によれば、上述したメタ情報を参照して画像データを取得し、３次元データを再生可能な３次元データ再生装置を実現できる。
　本発明の態様７に係る３次元データ再生装置は、上記の態様６において、前記第１取得部は、前記メタ情報として、各視点方向に対応する各画像の解像度を識別するViewPointQualityタグを含むＭＰＤを取得し、前記第３取得部は、前記ViewPointQualityタグを参照して決定されたAdaptationSetが参照先を示す画像データを取得してもよい。上記の構成によれば、ViewPointQualityタグを参照して決定された画像データを取得する３次元データ再生装置を実現できる。
　本発明の態様８に係る３次元データ再生装置は、上記の態様６又は７において、前記第３取得部は、前記第２取得部が取得した視点方向が示すベクトルと、前記第２種の画像データに含まれる、解像度が第１種の画像データに含まれる画像よりも高い画像に対応する視点方向が示すベクトルとの差分が閾値未満である場合、少なくとも前記第２種の画像データを取得し、当該閾値以上である場合、前記第２種の画像データを取得せず、前記第１種の画像データを取得する構成としてもよい。上記の構成によれば、視点方向に応じた好適な画像データを取得して３次元データを再生可能な３次元データ再生装置を実現できる。
　本発明の態様９に係る３次元データ再生装置は、上記の態様６から８までの何れかにおいて、前記第３取得部は、前記第１種の画像データと前記第２種の画像データとを、互いに異なる複数のストリームによって取得する構成としてもよい。上記の構成によれば、第１種の画像データと第２種の画像データとを別々のストリームによって取得可能な３次元データ再生装置を実現できる。
　本発明の態様１０に係る３次元データ再生装置は、上記の態様６から８までの何れかにおいて、前記第３取得部は、前記第１種の画像データと前記第２種の画像データとを、単一のストリームにおける複数のレイヤーによって取得する構成としてもよい。上記の構成によれば、第１種の画像データと第２種の画像データとを単一のストリームによって取得可能な３次元データ再生装置を実現できる。
　本発明の各態様に係る生成装置、３次元データ送信装置、および３次元データ再生装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各装置が備える各部（ソフトウェア要素）として動作させることにより上記各装置をコンピュータにて実現させる上記各装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

 

Claims (10)

  1. 　３次元データに関するメタ情報を生成する生成装置であって、
    　　前記３次元データを構成する１又は複数の第１種の画像データであって、複数の視点方向に対応する各画像を含む１又は複数の第１種の画像データと、
    　　前記３次元データを構成する複数の第２種の画像データであって、１又は複数の視点方向に対応する各画像を含む複数の第２種の画像データと
    の参照先を示すメタ情報を生成するメタ情報生成部を備えており、
    　前記複数の第２種の画像データは、少なくとも何れかの視点方向について、解像度が前記第１種の画像データに含まれる画像よりも高い画像を含む
    ことを特徴とする生成装置。
  2. 　前記メタ情報生成部は、
    　　前記メタ情報として、各視点方向に対応する各画像の解像度を識別するViewPointQualityタグを含むＭＰＤを生成する
    ことを特徴とする請求項１に記載の生成装置。
  3. 　３次元データを送信する３次元データ送信装置であって、
    　請求項１又は２に記載の生成装置と、
    　前記メタ情報を外部装置に送信する第１送信部と、
    　前記外部装置からの要求に応答して、前記第１種の画像データおよび前記第２種の画像データの少なくとも何れかを、前記外部装置に送信する第２送信部と、
    を備えることを特徴とする３次元データ送信装置。
  4. 　前記第２送信部は、前記第１種の画像データと前記第２種の画像データとを、互いに異なる複数のストリームによって送信する
    ことを特徴とする請求項３に記載の３次元データ送信装置。
  5. 　前記第２送信部は、前記第１種の画像データと前記第２種の画像データとを、単一のストリームにおける複数のレイヤーによって送信する
    ことを特徴とする請求項３に記載の３次元データ送信装置。
  6. 　３次元データを再生する３次元データ再生装置であって、
    　　前記３次元データを構成する１又は複数の第１種の画像データであって、複数の視点方向に対応する各画像を含む１又は複数の第１種の画像データと、
    　　前記３次元データを構成する複数の第２種の画像データであって、１又は複数の視点方向に対応する各画像を含む複数の第２種の画像データと
    の参照先を示すメタ情報を取得する第１取得部と、
    　前記３次元データを再生する場合における、前記３次元データが示すオブジェクトに対する視点方向を取得する第２取得部と、
    　当該視点方向に対応する参照先であって、前記メタ情報が示す参照先から、３次元データの再生に要する、前記第１種の画像データおよび前記第２種の画像データの少なくとも何れかを取得する第３取得部と、
    　前記第３取得部が取得した第１種の画像データおよび前記第２種の画像データの少なくとも何れかを参照して、前記３次元データを再生する再生部と、
    を備えており、
    　前記複数の第２種の画像データは、少なくとも何れかの視点方向について、解像度が前記第１種の画像データに含まれる画像よりも高い画像を含む
    ことを特徴とする３次元データ再生装置。
  7. 　前記第１取得部は、
    　　前記メタ情報として、各視点方向に対応する各画像の解像度を識別するViewPointQualityタグを含むＭＰＤを取得し、
    　前記第３取得部は、
    　　前記ViewPointQualityタグを参照して決定されたAdaptationSetが参照先を示す画像データを取得する
    ことを特徴とする請求項６に記載の３次元データ再生装置。
  8. 　前記第３取得部は、
    　　前記第２取得部が取得した視点方向が示すベクトルと、前記第２種の画像データに含まれる、解像度が第１種の画像データに含まれる画像よりも高い画像に対応する視点方向が示すベクトルとの差分が閾値未満である場合、少なくとも前記第２種の画像データを取得し、当該閾値以上である場合、前記第２種の画像データを取得せず、前記第１種の画像データを取得する
    ことを特徴とする請求項６又は７に記載の３次元データ再生装置。
  9. 　前記第３取得部は、前記第１種の画像データと前記第２種の画像データとを、互いに異なる複数のストリームによって取得する
    ことを特徴とする請求項６から８までの何れか１項に記載の３次元データ再生装置。
  10. 　前記第３取得部は、前記第１種の画像データと前記第２種の画像データとを、単一のストリームにおける複数のレイヤーによって取得する
    ことを特徴とする請求項６から８までの何れ１項に記載の３次元データ再生装置。
PCT/JP2019/050083 2018-12-26 2019-12-20 生成装置、３次元データ送信装置、及び３次元データ再生装置 WO2020137876A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-243372 2018-12-26
JP2018243372A JP2022049708A (ja) 2018-12-26 2018-12-26 生成装置、３次元データ送信装置、及び３次元データ再生装置

Publications (1)

Publication Number Publication Date
WO2020137876A1 true WO2020137876A1 (ja) 2020-07-02

Family

ID=71128670

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/050083 WO2020137876A1 (ja) 2018-12-26 2019-12-20 生成装置、３次元データ送信装置、及び３次元データ再生装置

Country Status (2)

Country Link
JP (1) JP2022049708A (ja)
WO (1) WO2020137876A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022149189A1 (ja) * 2021-01-05 2022-07-14 日本電信電話株式会社 配信制御装置、配信制御システム、配信制御方法、及びプログラム
WO2022230186A1 (ja) * 2021-04-30 2022-11-03 日本電信電話株式会社 配信制御システム、配信制御装置、配信制御方法、及びプログラム

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018147089A1 (ja) * 2017-02-10 2018-08-16 ソニー株式会社 情報処理装置および方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018147089A1 (ja) * 2017-02-10 2018-08-16 ソニー株式会社 情報処理装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SODAGAR, IRAJ: "White paper on MPEG-DASH's New Features", JTC 1/SC 29/WG1 N16708, ISO/IEC JTC 1/SC 29/WG11, January 2017 (2017-01-01) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022149189A1 (ja) * 2021-01-05 2022-07-14 日本電信電話株式会社 配信制御装置、配信制御システム、配信制御方法、及びプログラム
WO2022230186A1 (ja) * 2021-04-30 2022-11-03 日本電信電話株式会社 配信制御システム、配信制御装置、配信制御方法、及びプログラム

Also Published As

Publication number Publication date
JP2022049708A (ja) 2022-03-30

Similar Documents

Publication Publication Date Title
US11537562B2 (en) Auxiliary manifest file to provide timed metadata
JP6979035B2 (ja) 仮想現実メディアコンテンツのストリーミングを向上させる方法、デバイス及びコンピュータプログラム
RU2711591C1 (ru) Способ, устройство и компьютерная программа для адаптивной потоковой передачи мультимедийного контента виртуальной реальности
US11509878B2 (en) Methods and apparatus for using track derivations for network based media processing
WO2019202207A1 (en) Processing video patches for three-dimensional content
US11095936B2 (en) Streaming media transmission method and client applied to virtual reality technology
WO2014111423A1 (en) Method of displaying a region of interest in a video stream
US11252397B2 (en) File generation apparatus and file generation method as well as reproduction apparatus and reproduction method
CN109644296A (zh) 一种视频流传输方法、相关设备及系统
US11348307B2 (en) Method and device for processing content
WO2017022363A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US10945000B2 (en) File generation apparatus and file generation method as well as reproduction apparatus and reproduction method
CN114450966A (zh) 用于异构沉浸式媒体的表示和流式传输的数据模型
WO2020137876A1 (ja) 生成装置、３次元データ送信装置、及び３次元データ再生装置
CN116233493A (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
CN114521332A (zh) 信息处理装置、再现处理装置和信息处理方法
JP5941000B2 (ja) 映像配信装置及び映像配信方法
KR101944601B1 (ko) 기간들에 걸쳐 오브젝트들을 식별하기 위한 방법 및 이에 대응하는 디바이스
WO2019187437A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JPWO2019031306A1 (ja) 生成装置、再生装置、生成方法、再生方法、制御プログラム、記録媒体
US20180109585A1 (en) Information processing apparatus and information processing method
WO2019187434A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2021100524A1 (ja) データ処理装置およびその制御方法、プログラム
US20230156257A1 (en) Information processing apparatus, information processing method, and storage medium
US20230043591A1 (en) Information processing apparatus and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19904539

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19904539

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP