WO2022054744A1 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
WO2022054744A1
WO2022054744A1 PCT/JP2021/032594 JP2021032594W WO2022054744A1 WO 2022054744 A1 WO2022054744 A1 WO 2022054744A1 JP 2021032594 W JP2021032594 W JP 2021032594W WO 2022054744 A1 WO2022054744 A1 WO 2022054744A1
Authority
WO
WIPO (PCT)
Prior art keywords
slice
information
geometry
track
depth
Prior art date
Application number
PCT/JP2021/032594
Other languages
English (en)
French (fr)
Inventor
遼平 高橋
光浩 平林
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2022547574A priority Critical patent/JPWO2022054744A1/ja
Priority to US18/040,820 priority patent/US20230291918A1/en
Priority to CN202180053432.7A priority patent/CN116157838A/zh
Publication of WO2022054744A1 publication Critical patent/WO2022054744A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present disclosure relates to information processing devices and methods, and more particularly to information processing devices and methods capable of suppressing an increase in the load of reproduction processing.
  • HEVC High Efficiency Video Coding
  • ISOBMFF International Organization for Standardization Base Media
  • MPEG-4 Motion Picture Experts Group-4
  • the coded data can be hierarchically structured according to the resolution, for example, to support scalable decoding. Then, a file format has also been proposed in which the coded data is divided into tracks for each layer and the coded data of a desired layer can be selectively transmitted (see, for example, Non-Patent Document 2).
  • G-PCC Geometry-based Point Cloud Compression
  • Non-Patent Document 5 did not correspond to the slice structure as described in Non-Patent Document 4. Therefore, in order to decode a part of the slice of the G-PCC content, the entire G-PCC content must be transmitted and parsed (analyzed), which may increase the load of the reproduction process.
  • This disclosure has been made in view of such a situation, and is intended to enable the increase in the load of the reproduction process to be suppressed.
  • the information processing device of one aspect of the present technology includes depth information indicating the quality hierarchy level of each slice in the G-PCC (Geometry-based Point Cloud Compression) content including the first slice and the second slice, and the G- A scalable decoding information generation unit that generates scalable decoding information regarding the scalable decoding of the G-PCC content based on the dependency between the first slice and the second slice in the PCC content, and the G-PCC.
  • the information processing method of one aspect of the present technology includes depth information indicating the quality hierarchy level of each slice in G-PCC (Geometry-based Point Cloud Compression) content including the first slice and the second slice, and the G- A content file that generates scalable decoding information regarding the scalable decoding of the G-PCC content based on the dependency between the first slice and the second slice in the PCC content and stores the G-PCC content.
  • G-PCC Geometry-based Point Cloud Compression
  • the information processing device of another aspect of the present technology is scalable decoding stored in the metadata area of the content file that stores the G-PCC (Geometry-based Point Cloud Compression) content including the first slice and the second slice. It is provided with an extraction unit that extracts an arbitrary slice of the G-PCC content from the content file based on the information, and a decoding unit that decodes the slice of the G-PCC content extracted by the extraction unit.
  • the scalable decoding information is information related to the scalable decoding of the G-PCC content, and is depth information indicating the quality hierarchy level of the slice in the G-PCC content, and the first slice and the first slice in the G-PCC content. It is an information processing device that is information generated based on the dependency between two slices.
  • Another aspect of the information processing method of the present technology is scalable decoding stored in the metadata area of the content file that stores the G-PCC (Geometry-based Point Cloud Compression) content including the first slice and the second slice.
  • G-PCC Geometry-based Point Cloud Compression
  • an arbitrary slice of the G-PCC content is extracted from the content file, the slice of the extracted G-PCC content is decoded, and the scalable decoding information is the G-PCC content.
  • Information about scalable decoding based on depth information indicating the quality hierarchy level of the slice in the G-PCC content and the dependency between the first slice and the second slice in the G-PCC content. It is an information processing method that is generated information.
  • the depth information indicating the quality hierarchy level of each slice in the G-PCC (Geometry-based Point Cloud Compression) content including the first slice and the second slice is used.
  • G-PCC Geometry-based Point Cloud Compression
  • scalable decoding information regarding the scalable decoding of the G-PCC content is generated, and the content that stores the G-PCC content.
  • a file is generated and its scalable decryption information is stored in the metadata area of the content file.
  • the information processing apparatus and method of another aspect of the present technology is stored in the metadata area of the content file that stores the G-PCC (Geometry-based Point Cloud Compression) content including the first slice and the second slice.
  • G-PCC Geometry-based Point Cloud Compression
  • any slice of the G-PCC content is extracted from the content file, and the slice of the extracted G-PCC content is decoded.
  • Non-Patent Document 1 (above) Non-Patent Document 2: (above) Non-Patent Document 3: (above) Non-Patent Document 4: (above) Non-Patent Document 5: (above) Non-Patent Document 6: https://www.matroska.org/index.html
  • HEVC High Efficiency Video Coding
  • MPEG-4 Motion Picture Experts Group-4
  • ISOBMFF International Organization for Standardization Base Media File Format
  • the coded data can be hierarchically structured according to the resolution, for example, to support scalable decoding.
  • a file format (L-HEVC file) in which coded data can be stored separately in tracks for each layer and only the coded data in a desired layer can be selectively transmitted. format) was also proposed.
  • the bitstream of the moving image has a hierarchical structure, and one or more layers (layers (s)) of the bitstream are made into individual tracks of ISOBMFF. Can be stored.
  • the information of the layer included in each sample is stored in the sample group (Layer Information sample group).
  • the hierarchical structure does not change frequently because inter prediction is applied. Therefore, it is preferable to store the hierarchical information in a sample group. This sample group can also be used as information for track selection.
  • 3D data expressing a three-dimensional object also referred to as a 3D object
  • a 3D object that is a three-dimensional structure is expressed as a set of a large number of points.
  • the point cloud is composed of position information (also referred to as geometry) and attribute information (also referred to as attribute) of each point.
  • Attributes can contain any information.
  • the attributes may include color information, reflectance information, normal information, etc. of each point.
  • the point cloud has a relatively simple data structure and can express the three-dimensional shape of a 3D object with sufficient accuracy by using a sufficiently large number of points.
  • Non-Patent Document 3 discloses a coding technique called Geometry-based Point Cloud Compression (G-PCC), which encodes this point cloud separately into geometry and attributes.
  • G-PCC is in the process of being standardized in MPEG-I Part 9 (ISO / IEC 23090-9).
  • Tree structure coding as shown in FIG. 2 is applied to the geometry coding.
  • the geometry is first tree-structured.
  • the three-dimensional space is recursively divided, and the geometry is quantized in the divided regions of each stage to form a tree structure of the geometry as shown in FIG.
  • a tree structure layered in depths also referred to as LODs
  • LODs also referred to as LODs
  • the geometry of each layer is encoded according to this tree structure. For example, the difference between the geometry of each layer and the geometry of the next higher layer to which the geometry belongs is calculated, and the difference is encoded.
  • each layer may be encoded independently, the coding efficiency can be improved by encoding the difference in this way.
  • the depth and the coded data of the layer higher than the depth may be decoded.
  • a geometry having a resolution of depth 2 can be obtained.
  • decoding of Depth 3 to Depth 6 is unnecessary.
  • a decoding method capable of restoring (generating) information in a desired hierarchy only by decoding a part of the coded data in this way is referred to as scalable decoding. That is, by tree-structuring and encoding as described above, the geometry can be scalablely decoded by resolution.
  • a bifurcated tree is shown as an example of a tree structure of this geometry, but any tree structure can be applied.
  • it may be an octree or a kd tree.
  • the coded data (bitstream) generated by encoding the geometry as described above is also referred to as a geometry bitstream.
  • bitstream that combines a geometry bitstream and an attribute bitstream into one is also called a G-PCC bitstream or G-PCC content.
  • Non-Patent Document 4 it was proposed to form a slice structure in a bitstream in this G-PCC.
  • a slice is a unit that divides geometry and attribute data.
  • a slice of geometry is also referred to as a geometry slice.
  • the attribute slice is also referred to as an attribute slice.
  • Slices are separated by the depth of the geometric tree structure. That is, a slice is composed of data of a single depth or a plurality of consecutive depths. For example, in FIG. 2, the data area separated by the thick line frame indicates the slice. The numbers circled in the figure indicate the identification information of each slice. For example, the data of depth 0 to depth 3 form slice # 1.
  • the slices can also be separated by positions (regions) in the three-dimensional space. For example, in FIG. 2, the depth 4 and depth 5 data are divided into regions A to D, forming four slices of slice # 2, slice # 3, slice # 4, and slice # 5. Similarly, the depth 6 data is divided into regions A to D to form four slices, slice # 6, slice # 7, slice # 8, and slice # 9.
  • Geometry and attribute data is encoded for each slice. That is, the geometry bitstream and the attribute bitstream can be decoded for each slice.
  • the geometry encodes the difference from the upper layer, so the slice must be an independent slice that can be decoded independently and a dependent slice that requires another slice for decoding. There are two types of slice).
  • the geometry of slice # 1 may be decoded.
  • the geometry of slice # 2 for example, the geometry of region A of depth 4
  • decoding of slice # 3 is also required for decoding of slice # 3 to slice # 5.
  • Decoding of slice # 7 requires decoding of slice # 1 and slice # 3.
  • Decoding of slice # 8 requires decoding of slice # 1 and slice # 4.
  • Decoding of slice # 9 requires decoding of slice # 1 and slice # 5.
  • slice # 1 is an independent slice
  • slices # 2 to # 9 are dependent slices.
  • FIG. 3 is a diagram illustrating a main configuration example of a bit stream having such a slice structure.
  • the bitstream 30, shown in gray in FIG. 3 is a point cloud bitstream in which the geometry is tree-structured and sliced and encoded as in FIG. In FIG. 3, a part thereof is illustrated.
  • the bitstream 30 includes a sequence parameter set (SPS (Sequence Parameter Set)), a geometry parameter set (GPS (Geometry Parameter Set)), an attribute parameter set (APS (Attribute Parameter Set)), and tiles.
  • SPS Sequence Parameter Set
  • GPS Global System Parameter Set
  • APS Attribute Parameter Set
  • tiles Has an inventory (tile inventory).
  • a sequence parameter set is a parameter set for the entire sequence.
  • a geometry parameter set is a set of parameters related to geometry. The geometry parameter set may be different for each geometry slice.
  • An attribute parameter set is a parameter set for an attribute. The attribute parameter set may be different for each attribute slice.
  • the tile inventory stores the position information of the tile. The number of tiles and their position information are variable for each frame.
  • a point cloud bitstream is placed for each sample.
  • the sample is a point cloud at a certain time, which corresponds to a frame of a moving image.
  • the bitstream is arranged slice by slice.
  • the geometry bitstream and the attribute bitstream are arranged in that order.
  • each square indicates a data unit.
  • the data unit of "geom_slice # 1" is a data unit that stores the geometry bitstream of slice # 1.
  • the data unit of "attr slice (s)” following this data unit is a data unit that stores the attribute bit stream of slice # 1.
  • Geometry and attribute data units that make up the same slice are assigned the same slice identification information (slice_id) to each other.
  • the attributes can be divided into slices for each parameter, and a plurality of attribute slices can be stored in one data unit. That is, these data units are data units corresponding to slice # 1 which is an independent slice, and store the data of depth 0 to depth 3 of the tree structure of FIG.
  • a data unit that stores a bitstream of geometry is also referred to as a geometry data unit.
  • a data unit that stores a bitstream of attributes is also referred to as an attribute data unit.
  • the data unit of "geom_slice # 2" is a geometry data unit that stores the geometry bitstream of slice # 2.
  • the data unit of "attr slice (s)" following this geometry data unit is an attribute data unit that stores the attribute bitstream of slice # 2. That is, these data units are data units corresponding to slice # 2, which is a dependent slice, and store the data in the area A of the depth 4 and the depth 5 of the tree structure of FIG. Slice # 2 is subordinate to slice # 1 as shown by arrow 32.
  • the data unit of "geom_slice # 6" is a geometry data unit that stores the geometry bitstream of slice # 6.
  • the data unit of "attr slice (s)" following this geometry data unit is an attribute data unit that stores the attribute bitstream of slice # 6. That is, these data units are data units corresponding to slice # 6, which is a dependent slice, and store the data in the region A of the depth 6 of the tree structure of FIG. Slice # 6 is directly dependent on slice # 2, as indicated by arrow 33. In other words, slice # 6 is indirectly dependent on slice # 1.
  • the data unit of "geom_slice # 3" is a geometry data unit that stores the geometry bitstream of slice # 3.
  • the data unit of "attr slice (s)" following this geometry data unit is a data unit that stores the attribute bitstream of slice # 3. That is, these data units are data units corresponding to slice # 3, which is a dependent slice, and store the data in the area B of the depth 4 and the depth 5 of the tree structure of FIG. Slice # 3 is subordinate to slice # 1 as shown by arrow 34.
  • the data unit of "geom_slice # 7" is a geometry data unit that stores the geometry bitstream of slice # 7.
  • the data unit of "attr slice (s)" following this geometry data unit is a data unit that stores the attribute bitstream of slice # 7. That is, these data units are data units corresponding to slice # 7, which is a dependent slice, and store the data in the region B of the depth 6 of the tree structure of FIG.
  • Slice # 7 is directly dependent on slice # 3, as shown by arrow 35. In other words, slice # 7 is indirectly dependent on slice # 1.
  • data units (geometry data unit and attribute data unit) corresponding to each of slice # 4, slice # 8, slice # 5, and slice # 9 are similarly arranged thereafter.
  • the slice and the tile are linked by the tile identification information (tile_id) stored in the geometry data unit.
  • the decoder parses the bitstream to understand which depth of data corresponds to which part of the bitstream. I had to do it.
  • the bitstream forms the slice structure as described above, the decoder can easily select the data to be decoded in slice units.
  • the decoder may decode the bitstream stored in the data unit corresponding to slice # 1 of FIG. Further, when obtaining the data of the slice # 2, the decoder may decode the bit stream stored in the data unit corresponding to the slice # 1 and the bit stream stored in the data unit corresponding to the slice # 2.
  • the decoder corresponds to the bit stream stored in the data unit corresponding to slice # 1, the bit stream stored in the data unit corresponding to slice # 2, and the slice # 6. The bit stream stored in the data unit may be decoded.
  • the decoder may decode the bitstream stored in the data unit corresponding to slice # 1 and the bitstream stored in the data unit corresponding to slice # 3. .
  • the decoder corresponds to the bit stream stored in the data unit corresponding to slice # 1, the bit stream stored in the data unit corresponding to slice # 3, and the slice # 7.
  • the bit stream stored in the data unit may be decoded.
  • the decoder may decode the bit stream stored in the data unit corresponding to slice # 1 and the bit stream stored in the data unit corresponding to slice # 4.
  • the decoder corresponds to the bit stream stored in the data unit corresponding to slice # 1, the bit stream stored in the data unit corresponding to slice # 4, and the slice # 8.
  • the bit stream stored in the data unit may be decoded.
  • the decoder may decode the bit stream stored in the data unit corresponding to slice # 1 and the bit stream stored in the data unit corresponding to slice # 5.
  • the decoder corresponds to the bit stream stored in the data unit corresponding to slice # 1, the bit stream stored in the data unit corresponding to slice # 5, and the slice # 9.
  • the bit stream stored in the data unit may be decoded.
  • the decoder can perform scalable decoding more easily.
  • an independent slice of geometry is also referred to as an independent geometry slice.
  • Dependent slices of geometry are also referred to as dependent geometry slices.
  • Independent slices of attributes are also referred to as independent attribute slices.
  • Dependent slices of an attribute are also called dependent attribute slices.
  • Non-Patent Document 5 discloses a method of storing G-PCC content in ISOBMFF for the purpose of improving the efficiency of reproduction processing of G-PCC content (G-PCC bitstream) from local storage and network distribution. This method is being standardized in MPEG-I Part 18 (ISO / IEC 23090-18).
  • FIG. 4 is a diagram showing an example of the file structure in that case.
  • a content file in which G-PCC contents are stored in ISOBMFF is also referred to as a content file.
  • the sequence parameter set is stored in GPCCDecoderConfigurationRecord in the metadata area of the content file.
  • the GPCCDecoderConfigurationRecord may further include a geometry parameter set, an attribute parameter set, and a tile inventory, depending on the sample entry type.
  • the sample of the media data box (Media) includes a geometry slice (geometry slice) and an attribute slice (attribute slice) corresponding to a 1-point cloud frame (point cloud frame).
  • geometry slice geometry slice
  • attribute slice attribute slice
  • tile inventories depending on the sample entry type.
  • Non-Patent Document 5 did not disclose that G-PCC content having such a slice structure is stored in ISOBMFF. Therefore, even when decoding a part of the slice of the G-PCC content, the entire G-PCC content must be transmitted, which may increase the amount of data to be transmitted. Further, even if the bitstream is divided by using tracks, the information necessary for scalable decoding such as which depth of data is contained in which track exists only in the bitstream, so that the decoder determines the bitstream. I needed to parse. Furthermore, since G-PCC is applied with intra coding, it is generally possible that the depth hierarchy changes for each sample (frame). Therefore, the decoder had to parse the entire bitstream to get the information needed for scalable decoding. In this way, the load of the reproduction process may increase.
  • the scalable decoding information of the G-PCC content having a slice structure stored in the metadata area of the content file is transmitted ().
  • Method 1 the scalable decoding information is information relating to the scalable decoding of the G-PCC content having a slice structure (used for the scalable decoding information). Further, this scalable decoding information is set based on the depth of each slice of the G-PCC content having a slice structure and the dependency between the slices.
  • depth information indicating the quality hierarchy level of the geometry contained in each slice in the G-PCC content including the first slice and the second slice, and the first slice in the G-PCC content.
  • a scalable decoding information generator that generates scalable decoding information regarding the scalable decoding of the G-PCC content and a content file that stores the G-PCC content are generated. It is provided with a content file generation unit that stores the scalable decryption information in the metadata area of the content file.
  • the depth information indicating the quality hierarchy level of the geometry contained in each slice in the G-PCC content including the first slice and the second slice, and the first slice in the G-PCC content.
  • the second slices Based on the dependencies between the second slices, it generates scalable decryption information about the scalable decryption of the G-PCC content, generates a content file to store the G-PCC content, and puts the scalable decryption information into it. Store it in the metadata area of the content file.
  • the information processing apparatus from the content file, based on the scalable decoding information stored in the metadata area of the content file containing the G-PCC content including the first slice and the second slice. It is provided with an extraction unit that extracts an arbitrary slice of G-PCC content and a decoding unit that decodes a slice of G-PCC content extracted by the extraction unit.
  • the scalable decoding information is information related to scalable decoding of the G-PCC content, and the depth information indicating the quality hierarchy level of the geometry included in the slice in the G-PCC content and the first slice in the G-PCC content. Information generated based on the dependencies between the second slices.
  • the G- Extract any slice of PCC content and decode the extracted slice of G-PCC content.
  • the scalable decoding information is information related to scalable decoding of the G-PCC content, and the depth information indicating the quality hierarchy level of the geometry included in the slice in the G-PCC content and the first slice in the G-PCC content. Information generated based on the dependencies between the second slices.
  • the decoder extracts and decodes the slices necessary to reproduce the point cloud of the desired depth and area based on the scalable decoding information in the metadata area of the content file, and presents the information. Can be generated. This makes it possible to reduce unnecessary processing of the decoder (transmission of unnecessary information, parsing of bitstream, etc.). Therefore, it is possible to suppress an increase in the load of the reproduction process.
  • G-PCC content there is encoding of large-scale point cloud data such as point cloud map data and virtual assets in movie production (digital data of a real movie set).
  • large-scale point cloud the amount of data is very large as a whole, and it is not realistic to reproduce all of them from the viewpoint of processing load and processing delay. Therefore, it is desired to perform scalable decoding in which only a part of the data is reproduced by limiting the reproduction area or reducing the resolution.
  • the scalable decoding information is stored in the metadata area of the content file, and by supporting the above-mentioned scalable decoding, only the necessary information is transmitted. Or, it will be possible to more easily decode only the necessary information.
  • the larger the data the more the increase in the load of the reproduction process can be suppressed, and the larger effect can be obtained.
  • a structure that stores geometry and attributes in one track also called a single track encapsulation structure
  • a structure that stores geometry and attributes in different tracks also called multi-track encapsulation structure. Also called).
  • multi-track encapsulation structure a structure that stores geometry and attributes in different tracks.
  • the present technology can be applied to the case of multi-track as well as the case of single track. Even in the case of a single track, the number of tracks may be multiple (there may be a plurality of tracks including geometry and attributes).
  • SPS, GPS, APS, and tile inventory are assumed to be stored in the GPCCDecoderConfigurationRecord, and the sample contains only geometry slices and attribute slices.
  • the sample contains only geometry slices and attribute slices.
  • some or all of the SPS, GPS, APS, and tile inventory may be stored in the sample.
  • the scalable decoding information may include slice composition information for each sample (method 1-1).
  • the slice composition information is information regarding the composition of slices in the sample. That is, the decoder can obtain the configuration information of each sample slice from the metadata area of the content file. Therefore, the decoder can grasp the composition of each sample slice without parsing the bitstream (ie, more easily).
  • this slice configuration information is the codec specific parameters of the subsample information box (SubSampleInformationBox) in the metadata area of the content file. ) May be stored (method 1-1-1).
  • the content file generation unit of the encoder may set a subsample for each slice and store the slice configuration information in the codec spiritual parameters of the subsample information box in the metadata area of the content file.
  • the extractor of the decoder is based on the slice configuration information stored in the codec spiritual parameters of the subsample information box of the metadata area of the content file of the subsample set for each slice, from the content file. , Any slice of G-PCC content may be extracted.
  • the increase in file size is suppressed by setting a subsample for each slice and storing the slice configuration information in the codec spiritual parameters of the subsample information box in the metadata area of the content file. Can be done. Further, since the decoder only needs to confirm the codec spiritual parameters of the desired subsample information box, the slice configuration information can be confirmed more easily. That is, it is possible to suppress an increase in the load of the reproduction process.
  • slice dependency information is information indicating a dependency between slices or slice groups.
  • the slice dependency information indicates the dependency between the first slice and the second slice contained in the G-PCC content.
  • a slice group is a plurality of slices corresponding to the same depth.
  • bitstream 100 shown in FIG. 7 shows a part of the same G-PCC content as the bitstream 30 in FIG.
  • the bitstream 101 shown in gray shows a partial configuration in the sample of the bitstream 100.
  • Each data unit of the bitstream 101 has a dependency between slices similar to that in FIG. 3, as shown by arrows 111 to 114.
  • the geometry data unit of "geom_slice # 2" followed by the attribute data unit of "attr slice (s)” is the data unit corresponding to slice # 2, and as shown by arrow 111, of slice # 1. It depends on the data unit (the geometry data unit of "geom_slice # 1" followed by the attribute data unit of "attr slice (s)"). That is, slice # 2 is subordinate to slice # 1.
  • the geometry data unit of "geom_slice # 6" and the attribute data unit of "attr slice (s)" following it are the data units corresponding to slice # 6, and as shown by arrow 112, the attribute data unit of slice # 2 It is directly dependent on the data unit (the geometry data unit of "geom_slice # 2" followed by the attribute data unit of "attr slice (s)"). That is, slice # 6 is directly dependent on slice # 2. In other words, slice # 6 is indirectly dependent on slice # 1.
  • the geometry data unit of "geom_slice # 3" and the attribute data unit of "attr slice (s)" following it are data units corresponding to slice # 3, and as shown by arrow 113, the attribute data unit of slice # 1 It depends on the data unit (the geometry data unit of "geom_slice # 1" followed by the attribute data unit of "attr slice (s)"). That is, slice # 3 is subordinate to slice # 1.
  • the geometry data unit of "geom_slice # 7" and the attribute data unit of "attr slice (s)" following it are the data units corresponding to slice # 7, and as shown by arrow 114, the attribute data unit of slice # 3 It is directly dependent on the data unit (the geometry data unit of "geom_slice # 3" followed by the attribute data unit of "attr slice (s)"). That is, slice # 7 is directly dependent on slice # 3. In other words, slice # 7 is indirectly dependent on slice # 1.
  • the information indicated by the arrows (for example, arrows 111 to 114) between the slices surrounded by the dotted frame 121 is the slice dependency information.
  • This slice dependency information is stored in the metadata area of the content file. By doing so, the decoder can obtain this slice dependency information from the metadata area of the content file. Therefore, the decoder can grasp the slice dependency information without parsing the bitstream (ie, more easily).
  • this slice dependency information may be stored in the codec spiritual parameters of the subsample information box in the metadata area of the content file.
  • the content file generation unit of the encoder may set a subsample for each slice and store the slice dependency information in the codec spiritual parameters of the subsample information box in the metadata area of the content file.
  • the extractor of the decoder is based on the slice dependency information stored in the codec spiritual parameters of the subsample information box of the metadata area of the content file of the subsample set for each slice. Any slice of G-PCC content may be extracted from.
  • a subsample is set for each slice, and the slice dependency information is stored in the codec spiritual parameters of the subsample information box in the metadata area of the content file to suppress the increase in file size. be able to.
  • the slice dependency can be confirmed more easily. That is, it is possible to suppress an increase in the load of the reproduction process.
  • this slice dependency information may include the reference source geometry slice identification information and the reference destination geometry slice identification information (method 1-). 1-2-2).
  • the reference source geometry slice identification information is the identification information of the geometry slice to which the information corresponds. That is, the reference source geometry slice identification information is the identification information of the geometry slice that is the reference source (the start point of the arrow in the dotted line frame 121 in FIG. 7) in the above-mentioned dependency relationship between the slices or slice groups.
  • the referenced geometry slice identification information is the identification information of another geometry slice referred to by the corresponding geometry slice.
  • the reference-destination geometry slice identification information is the identification information of the geometry slice that becomes the reference destination (the end point of the arrow in the dotted line frame 121 in FIG. 7) in the above-mentioned dependency relationship between the slices or the slice group.
  • the decoder can obtain the reference source geometry slice identification information and the reference destination geometry slice identification information from the metadata area of the content file. Therefore, the decoder can grasp the reference source geometry slice identification information and the reference destination geometry slice identification information without parsing the bitstream (that is, more easily).
  • the slice corresponding to this slice dependency information (that is, the slice corresponding to the reference source geometry slice identification information) is an independent geometry slice.
  • the reference source geometry slice identification information and the reference destination geometry slice identification information may be the same (method 1-1-2-2-1). That is, the independent geometry slice can be decoded without the need for another slice, so the reference destination may be set to the independent geometry slice itself. Further, for the independent geometry slice, the storage of the referenced geometry slice identification information may be omitted.
  • the reference source geometry slice identification information and the reference destination geometry slice identification information are codec speeds of the subsample information box in the metadata area of the content file. It may be stored in Siffic Parameters (Method 1-1-2-2-1).
  • the content file generator of the encoder sets a subsample for each slice, and sets the reference source geometry slice identification information and the reference destination geometry slice identification information in the codec spiritual parameters of the subsample information box of the metadata area. May be stored.
  • the extractor of the decoder uses the reference source geometry slice identification information and the reference destination geometry slice identification information stored in the codec spiritual parameters of the subsample information box of the metadata area of the subsample set for each slice. Based on that, any slice of G-PCC content may be extracted from the content file.
  • Figure 8 shows an example of the syntax of the subsample information box.
  • flags are set as shown in the line underlined 131.
  • codec spiritual parameters are provided.
  • the codec spiritual parameters store subsample information determined for each codec codec.
  • Figure 9 shows an example of the codec spiritual parameters syntax.
  • the reference source geometry slice identification information (geom_slice_id) and the reference destination geometry slice identification information (ref_geom_slice_id) are stored in this codec spiritual parameters.
  • the slice identification information (slice_id) of the geometry slice corresponding to this information is set in geom_slice_id.
  • the ref_geom_slice_id is set to the slice identification information (slice_id) of other geometry slices referenced by that geometry slice.
  • the reference relationship from the attribute slice to the geometry slice may be specified.
  • the slice dependency information may include the attribute geometry slice identification information (method 1-1-2-3).
  • the attribute geometry slice identification information is the identification information of the geometry slice referenced by the attribute slice.
  • the content file generation unit of the encoder may set a subsample for each slice and store the attribute geometry slice identification information in the codec spiritual parameters of the subsample information box of the metadata area.
  • the extractor of the decoder uses the attribute geometry slice identification information stored in the codec spiritual parameters of the subsample information box of the metadata area of the subsample set for each slice from the content file. Any slice of G-PCC content may be extracted.
  • FIG. 10 shows an example of the codec Spicic Parameters syntax in this case.
  • This codec-spicy parameters stores the attribute geometry slice identification information (ref_attr_geom_slice_id), as shown in the underlined line.
  • This ref_attr_geom_slice_id is set to the slice identification information (slice_id) of the geometry slice referenced by the attribute slice to which the information corresponds.
  • a subsample is set for each slice, and the attribute geometry slice identification information is stored in the codec spiritual parameters of the subsample information box in the metadata area of the content file to suppress the increase in file size. be able to.
  • the decoder since the decoder only needs to confirm the codec-spicy parameters of the desired subsample information box, it is possible to more easily confirm the geometry slice referenced from the attribute. That is, it is possible to suppress an increase in the load of the reproduction process.
  • Non-scalable encoding may be applied to the attributes.
  • Non-scalable coding is a coding method that does not support scalable decoding. For example, if a non-scalable encoding is applied to an attribute, the attribute slice is set to be able to be decoded independently of the other attribute slices (ie, without reference to the other attribute slices). Therefore, data (depth) overlaps between attribute data units.
  • FIG. 11 shows an example of a bitstream configuration when non-scalable coding is applied to the attributes in this way.
  • the gray bitstream 141 shown in FIG. 11 shows a part of the configuration of the G-PCC content (G-PCC bitstream).
  • the attribute data unit 151 stores the attribute slice corresponding to the geometry of depth 0 to depth 3.
  • the attribute data unit 152 stores the attribute slices corresponding to the geometries of depth 0 to depth 5.
  • the attribute data unit 153 stores the attribute slices corresponding to the geometries of depth 0 to depth 6.
  • the attribute data unit 153 by decoding the attribute data unit 153, the attribute corresponding to the geometry of the depth 0 to the depth 6 can be obtained.
  • the attribute data unit 153 may be decoded (there is no need to decode other attribute data units).
  • the attribute data unit 152 by decoding the attribute data unit 152, the attributes corresponding to the geometries of depth 0 to depth 5 can be obtained. In other words, in order to obtain the attribute corresponding to the geometry of depth 4 or depth 5, the attribute data unit 152 may be decoded (no need to decode other attribute data units).
  • the attribute data unit 151 may be decoded (no need to decode other attribute data units) in order to obtain the attribute corresponding to any of the 0 to 3 depth geometry.
  • the attribute geometry slice identification information includes a slice of the geometry slice that corresponds to the bottom layer (maximum depth) of the depth that corresponds to that attribute slice (attribute data unit). Identification information is set.
  • the reference relationship between geometry slices is indicated by ref_geom_slice_id.
  • the attribute geometry slice identification information when the non-scalable coding is applied to the attribute is also referred to as the non-scalable coding attribute geometry slice identification information.
  • the slice dependency information is non-scalable coding which is the identification information of the geometry slice referred to by the attribute slice to which the non-scalable coding is applied. Attribute geometry slice identification information may be included (Method 1-1-2-4).
  • this non-scalable coded attribute geometry slice identification information is the geometry slice or the group of geometry slices referred to by the attribute slice corresponding to the information.
  • the geometry slice containing the maximum depth information or the identification information of the geometry slice group may be included (method 1-1-2-4-1).
  • the geometry slice group is a plurality of geometry slices corresponding to the same depth.
  • the non-scalable coded attribute geometry slice identification information is stored in the codec spiritual parameters of the subsample information box in the metadata area of the content file. It may be done (method 1-1-2-4-2).
  • the content file generator of the encoder sets a subsample for each slice and stores the non-scalable coded attribute geometry slice identification information in the codec spiritual parameters of the subsample information box in the metadata area of the content file. You may.
  • the extractor of the decoder is based on the non-scalable coded attribute geometry slice identification information stored in the codec spiritual parameters of the subsample information box of the metadata area of the content file of the subsample set for each slice. Then, any slice of G-PCC content may be extracted from the content file.
  • the file size The increase can be suppressed.
  • the decoder only needs to check the codec-sensitive parameters of the desired subsample information box, making it easier to reference geometry slices from the attribute, even if non-scalable coding is applied to the attribute. Can be confirmed. That is, it is possible to suppress an increase in the load of the reproduction process.
  • the slice dependency information may include a non-scalable coding flag (method 1-1-2-4-3).
  • the non-scalable coding flag is flag information indicating whether or not non-scalable coding has been applied to the attribute slice. By storing such information, the decoder can easily determine whether or not non-scalable coding has been applied.
  • the non-scalable coding flag may be stored in the codec spiritual parameters of the subsample information box in the metadata area of the content file.
  • the content file generation unit of the encoder may set a subsample for each slice and store the non-scalable coding flag in the codec-spicy parameters of the subsample information box in the metadata area of the content file.
  • the extractor of the decoder is based on the non-scalable coding flag stored in the codec spiritual parameters of the subsample information box of the metadata area of the content file of the subsample set for each slice. Any slice of G-PCC content may be extracted from the file.
  • FIG. 12 shows an example of the codec Spicic Parameters syntax in this case.
  • the codec-spicy parameters store the non-scalable coding flag (non_scalable_flag) and the non-scalable coding attribute geometry slice identification information (ref_attr_geom_slice_id).
  • the non_scalable_flag value is set to 0 (false). If the attribute slice is non-scalable encoded, the value of non_scalable_flag is set to 1 (true).
  • ref_attr_geom_slice_id is set as non-scalable coded attribute geometry slice identification information. That is, in this case, the ref_attr_geom_slice_id is set with the identification information (slice_id) of the geometry slice or the geometry slice group including the maximum depth among the geometry slices or the geometry slice group referred to by the attribute slice corresponding to the information.
  • ref_attr_geom_slice_id is set as attribute geometry slice identification information. That is, in this case, ref_attr_geom_slice_id is set to the slice identification information (slice_id) of the geometry slice referenced by the attribute slice corresponding to that information.
  • the payload type (PayloadType) of the slice dependency information of the independent geometry slice and the payload of the slice dependency information of the dependent geometry slice may be different from each other.
  • FIG. 13 is a diagram showing an example of the codec Spicic Parameters syntax in that case.
  • the payload type of the slice dependency information of the independent geometry slice is set to "2" and the payload type of the slice dependency information of the dependent geometry slice is set to "9" as shown in the dotted frame 162. Set.
  • the slice composition information may include the geometry slice depth information (method 1-1-3).
  • geometry slice depth information is information about the depth information of the geometry contained in the geometry slice or geometry slice group corresponding to the information.
  • the slice configuration information may include both slice dependency information (method 1-1-2) and geometry slice depth information.
  • the geometry data unit of "geom_slice # 1" corresponds to slice # 1.
  • Slice # 1 contains geometry from depth 0 to depth 3.
  • the geometry data unit of "geom_slice # 2" corresponds to slice # 2.
  • Slice # 2 contains the geometry of Depth 4 and Depth 5.
  • the geometry data unit of "geom_slice # 6" corresponds to slice # 6.
  • Slice # 6 contains the geometry of depth 6.
  • the geometry data unit of "geom_slice # 3" corresponds to slice # 3.
  • Slice # 3 contains the geometry of Depth 4 and Depth 5.
  • the geometry data unit of "geom_slice # 7" corresponds to slice # 7.
  • Slice # 7 contains the geometry of depth 6.
  • the depth information of each slice shown in the dotted line frame 122 is the geometry slice depth information.
  • This geometry slice depth information is stored in the metadata area of the content file. By doing so, the decoder can obtain this geometry slice depth information from the metadata area of the content file. Therefore, the decoder can grasp the geometry slice depth information without parsing the bitstream (ie, more easily).
  • geometry slice can contain geometry of multiple depths.
  • the geometry slice depth information may include the minimum depth information (method 1-1-3-1).
  • the minimum depth information indicates information indicating the minimum value of the depth information in the geometry slice or the group of geometry slices corresponding to the information.
  • the decoder can obtain this minimum depth information from the metadata area of the content file. Therefore, the decoder can grasp the minimum depth contained in the geometry slice without parsing the bitstream (ie, more easily).
  • the geometry slice depth information may include the maximum depth information (method 1-1-3-2).
  • the maximum depth information indicates information indicating the maximum value of the depth information in the geometry slice or the group of geometry slices corresponding to the information. By doing so, the decoder can obtain this maximum depth information from the metadata area of the content file. Therefore, the decoder can grasp the maximum depth contained in the geometry slice without parsing the bitstream (ie, more easily).
  • the geometry slice depth information may include both the minimum depth information and the maximum depth information.
  • the decoder can grasp the range of depth contained in the geometry slice without parsing the bitstream (ie, more easily).
  • this geometry slice depth information may be stored in the codec spiritual parameters of the subsample information box in the metadata area of the content file (as shown).
  • Method 1-1-3-3 For example, even if the content file generator of the encoder sets a subsample for each slice or slice group and stores the geometry slice depth information in the codec spiritual parameters of the subsample information box in the metadata area of the content file. good.
  • the extractor of the decoder is based on the geometry slice depth information stored in the codec spiritual parameters of the subsample information box of the metadata area of the content file of the subsample set for each slice or slice group. Any slice of G-PCC content may be extracted from the content file.
  • FIG. 14 shows an example of the codec Spicic Parameters syntax in this case.
  • the minimum depth information (min_depth) and the maximum depth information (max_depth) are set as shown in the dotted line frame 171.
  • the file size can be increased. It can be suppressed.
  • the decoder since the decoder only needs to confirm the codec spiritual parameters of the desired subsample information box, the depth included in the geometry slice can be confirmed more easily. That is, it is possible to suppress an increase in the load of the reproduction process.
  • a plurality of geometry slices having the same depth range are continuous, they are regarded as one subsample as a geometry slice group as described above. Then, the geometry slice depth information is generated for each subsample. That is, the geometry slice depth information of each slice of the geometry slice group is combined into one geometry slice depth information. Therefore, it is possible to suppress an increase in the sub-sample entry (sub-sample entry) as compared with the case where the geometry slice depth information is generated for each slice of the geometry slice group. Therefore, it is possible to suppress an increase in bit cost (that is, the amount of data in the bitstream).
  • the minimum depth information (min_depth) and the maximum depth information (max_depth) are set to the same value.
  • the flags of the subsample information box of the codec Spicy Parameters that stores this geometry slice depth information and the slice dependency information are stored.
  • the flags in the subsample information box of Codec Geometric Parameters may be set to different values (Method 1-1-3-3-1).
  • the slice configuration information may further include slice dependency information indicating the dependency between the first slice and the second slice, in addition to the geometry slice depth information.
  • the content file generation unit of the encoder may set the flags of the subsample information box that stores the geometry slice depth information to a value different from the flags of the subsample information box that stores the slice dependency information. Further, the flags of the subsample information box in which the geometry slice depth information is stored and the flags of the subsample information box in which the slice dependency information is stored may be set to different values.
  • the flags of the subsample information box where the slice dependency information is stored is set to "0", whereas the flags of the subsample information box where the geometry slice depth information is stored. Is set to "2".
  • these values are examples, and the values of flags are not limited to this example (arbitrary).
  • the geometry slice depth information and the slice dependency information can be stored in different subsample information boxes having flags of different values, and these can be used together.
  • the scalable decoding information may include track configuration information (method 1-2).
  • the track configuration information is information regarding the configuration of a track that stores G-PCC content in slice units in a content file. That is, the decoder can obtain the configuration information of the tracks included in the content file from the metadata area of the content file. Therefore, the decoder can grasp the composition of the track of the content file without parsing the bitstream (that is, more easily).
  • the scalable decoding information may include both slice configuration information (method 1-1) and track configuration information for each sample.
  • Track depth information As shown in the seventh row from the top of the table shown in FIG. 6, the track configuration information may include track depth information (method 1-2-1). As used herein, track depth information is information about the depth information of the geometry of all slices contained in the track corresponding to that information.
  • ISOBMFF content file
  • each data unit (slice) of the bitstream 101 is stored in each track as shown by the dotted line arrow shown in FIG. That is, the geometry and attributes of slice # 1 are stored on track 1.
  • the geometry and attributes of slice # 2 are stored on track 2.
  • the geometry and attributes of slice # 3 are stored on track 2.
  • the geometry and attributes of slice # 6 are stored on track 3.
  • the geometry and attributes of slice # 7 are stored on track 7.
  • the track depth information indicates which depth data is stored in each track.
  • Track depth information is set for each track. That is, the track depth information indicates which depth of data is stored in the track corresponding to the information.
  • a track can store data of multiple depths.
  • data of a plurality of samples can be stored in the track.
  • the slice composition of each sample does not have to be the same as each other. That is, the depth contained in each track can change from sample to sample.
  • the track depth information may include the track minimum depth information indicating the minimum value of the depth information in the track corresponding to the information (method 1-. 2-1-1). That is, the track minimum depth information indicates the minimum value of the depth information among all the samples included in the track corresponding to the information.
  • the track depth information may include the track maximum depth information indicating the maximum value of the depth information in the track corresponding to the information (method). 1-2-1-2). That is, the track maximum depth information indicates the maximum value of the depth information among all the samples included in the track corresponding to the information.
  • the track depth information may include both the track minimum depth information (method 1-2-1-1) and the track maximum depth information.
  • the track depth information may include a match flag (method 1-2-1-3).
  • this match flag is a track in which the sample minimum depth information, which is the minimum value of the depth information in each sample included in the track corresponding to the information, matches the track minimum depth information and corresponds to the information.
  • the track depth information may include all of the matching flag, the track minimum depth information (method 1-2-1-1), and the track maximum depth information (method 1-2-1-2).
  • the track depth information is stored in the depth information box (DepthInfoBox) of the sample entry (SampleEntry) corresponding to each track in the metadata area.
  • the content file generator of the encoder may store the track depth information in the depth information box of the sample entry in the metadata area.
  • the extraction unit of the decoder may extract an arbitrary slice of G-PCC content from the content file based on the track depth information stored in the depth information box of the sample entry in the metadata area.
  • FIG. 16 is a diagram showing an example of the syntax of the depth information box (DepthInfoBox). As shown in FIG. 16, in the depth information box, the track minimum depth information (track_min_depth), the track maximum depth information (track_max_depth), and the match flag (fixed_depth) are set.
  • Track_min_depth the track minimum depth information
  • track_max_depth the track maximum depth information
  • fixed_depth the match flag
  • the sample minimum depth information and sample maximum depth information of all the samples in the track are values within the range of the track minimum depth information (track_min_depth) to the track maximum depth information (track_max_depth). Indicates to take. That is, in this case, the minimum and / or maximum depth of each sample may vary from sample to sample.
  • the match flag is "1" (true)
  • the sample minimum depth information of each sample in the track matches the track minimum depth information (track_min_depth)
  • the sample maximum depth information of each sample in the track is the track maximum depth. Indicates that it matches the information (track_min_depth). That is, in this case, the minimum value and the maximum value of the depth of each sample have a common value for all the samples.
  • the value of the match flag (fixed_depth) is set to "1"
  • the track minimum depth information (track_min_depth) and the track maximum depth information (track_max_depth) are set.
  • track_min_depth track_max_depth
  • the decoder can determine which depth data is stored in each track based on the information. It can be grasped more easily (without parsing the bitstream). That is, it is possible to suppress an increase in the load of the reproduction process.
  • the desired LoD can be reliably obtained by processing this track and the referenced track. That is, these track depth information can be useful information during the track selection process of the client.
  • non-scalable coded attribute flag may be added to clearly indicate whether or not the track contains an attribute slice to which non-scalable coding is applied.
  • this non-scalable coded attribute flag (non_scalable_attribute_flag) is "1" (true)
  • this non-scalable coded attribute flag (non_scalable_attribute_flag) is "0" (false)
  • this non-scalable coded attribute flag (non_scalable_attribute_flag) is "0" (false)
  • the track configuration information may include track dependency information (method 1-2-2).
  • the track dependency information is information indicating a dependency between tracks (for example, a dependency between a first track and a second track).
  • the track configuration information may include both track depth information (method 1-2-1) and track dependency information.
  • each track (track 1 to track 3) has a dependency relationship between tracks as shown by arrows 184 to 185.
  • track 2 is subordinate to track 1 as shown by arrow 184. That is, in order to decode the bitstream of track 2 and restore the geometry or attributes of depth 4 or depth 5, it is also necessary to decode the bitstream of track 1 corresponding to depths 0 to 3.
  • track 3 is directly subordinate to track 2, as shown by arrow 185. That is, track 3 is indirectly subordinate to track 1, as shown by arrow 186.
  • the track dependency information indicates such a dependency between tracks.
  • this track dependency information indicates other tracks including the slices necessary for decoding the dependent slice contained in the track corresponding to the information.
  • Information may be included (Method 1-2-2-1).
  • the dependent information is information indicating the dependent destination, that is, the track on the end point side of the above-mentioned arrow, as the track dependency information on the start point side of the above-mentioned arrows (arrows 184 to 186).
  • this dependent information includes all other tracks including the slice required for decoding the dependent slice included in the track corresponding to the information. It may be shown (method 1-2-2-1-1).
  • the dependent information of the track 3 may include both the information corresponding to the arrow 185 and the information corresponding to the arrow 186.
  • this dependent information may indicate another track containing the slice referred to from the information (method 1-2-2). 2-1-2). That is, the dependent information may indicate only the slice to which the slice corresponding to the information is directly dependent.
  • the dependent information of the track 3 may include only the information corresponding to the arrow 185.
  • the track dependency information may be stored as a track reference in the metadata area.
  • dependent information as shown in FIG. 15 may be stored as a track reference.
  • the track reference may be used to link only the track including the slice directly referred to when decoding the dependent slice included in the track.
  • sampleEntry4CC The sample entry 4CC (SampleEntry4CC) of a track that includes an independent slice and can be decoded by the track alone may be specified as'gpc1'. Further, the sample entry 4CC (SampleEntry 4CC) of a track that does not include an independent slice and cannot be decoded by the track alone may be specified as ‘lgp1’.
  • the track dependency information includes other dependent slices that require an independent slice included in the track corresponding to the information at the time of decoding.
  • Independent information indicating the track may be included (method 1-2-2-2).
  • the independent slice of track 1 is referred to when decoding the dependent slice of track 2.
  • the independent slice of track 1 is referenced when decoding the dependent slice of track 3.
  • the independent slice stored in track 1 is used to decode the dependent slice of track 2. Also, as indicated by arrow 192, the independent slices stored in track 1 are used to decode the dependent slices of track 3.
  • Independent information is information indicating such a dependency relationship. In other words, independent information is reverse lookup information of dependent information.
  • track 3 is indirectly subordinate to track 1. Therefore, the dependency indicated by arrow 192 may or may not be included in the independent information. That is, as shown in the 17th column from the top of the table shown in FIG. 6, the independent information may indicate other tracks including other slices that refer to the independent slice at the time of decoding. Further, the track dependency information may include both dependent information and independent information.
  • the track dependency information may be stored as a track reference in the metadata area.
  • independent information as shown in FIG. 17 may be stored as a track reference.
  • Matryoshka media container In the above, an example of applying ISOBMFF as a file format has been described, but the file that stores the G-PCC bitstream is arbitrary and may be other than ISOBMFF. For example, G-PCC content may be stored in a Matroska Media Container. A main configuration example of the matryoshka media container is shown in FIG.
  • the tile management information may be stored as a newly defined element under the track entry element.
  • the tile management information (tile identification information) is stored in the timed metadata (timed metadata)
  • the timed metadata is different from the track entry (track entry) in which the G-PCC content is stored. It may be stored in the track entry (Track entry).
  • FIG. 19 is a block diagram showing an example of a configuration of a file generation device, which is an aspect of an information processing device to which the present technology is applied.
  • the file generation device 300 shown in FIG. 19 applies G-PCC to encode point cloud data, and stores the G-PCC content (G-PCC bit stream) generated by the encoding in a content file (ISOBMFF). It is a device to do.
  • the file generation device 300 is ⁇ 2. Transmission of scalable decryption information by content file> The above-mentioned technology is applied in the chapter. That is, the file generation device 300 generates scalable decoding information based on the depth of the slice in the G-PCC content and the dependency between the slices, generates a content file for storing the G-PCC content, and generates the scalable decoding. Store the information in the metadata area of the generated content file.
  • FIG. 19 shows the main things such as the processing unit and the data flow, and not all of them are shown in FIG. That is, in the file generation device 300, there may be a processing unit that is not shown as a block in FIG. 19, or there may be a processing or data flow that is not shown as an arrow or the like in FIG.
  • the file generation device 300 has an extraction unit 311, a coding unit 312, a bitstream generation unit 313, a scalable decoding information generation unit 314, and a file generation unit 315.
  • the coding unit 312 includes a geometry coding unit 321, an attribute coding unit 322, and a metadata generation unit 323.
  • the extraction unit 311 extracts geometry data and attribute data from the point cloud data input to the file generation device 300, respectively.
  • the extraction unit 311 supplies the data of the extracted geometry to the geometry coding unit 321 of the coding unit 312. Further, the extraction unit 311 supplies the extracted attribute data to the attribute coding unit 322 of the coding unit 312.
  • the coding unit 312 encodes the data in the point cloud.
  • the geometry coding unit 321 encodes the geometry data supplied from the extraction unit 311 and generates a geometry bit stream.
  • the geometry coding unit 321 supplies the generated geometry bitstream to the metadata generation unit 323. Further, the geometry coding unit 321 also supplies the generated geometry bitstream to the attribute coding unit 322.
  • the attribute coding unit 322 encodes the attribute data supplied from the extraction unit 311 and generates an attribute bit stream.
  • the attribute coding unit 322 supplies the generated attribute bit stream to the metadata generation unit 323.
  • the metadata generation unit 323 refers to the supplied geometry bitstream and attribute bitstream, and generates metadata.
  • the metadata generation unit 323 supplies the generated metadata to the bitstream generation unit 313 together with the geometry bitstream and the attribute bitstream.
  • the bitstream generation unit 313 multiplexes the supplied geometry bitstream, attribute bitstream, and metadata to generate G-PCC content (G-PCC bitstream).
  • the bitstream generation unit 313 supplies the generated G-PCC content to the scalable decoding information generation unit 314.
  • the scalable decoding information generation unit 314 acquires the G-PCC content including the first slice and the second slice supplied from the bitstream generation unit 313.
  • the scalable decoding information generation unit 314 has ⁇ 2. Transmission of scalable decryption information by content file> Applying the above technology in the chapter, the depth information indicating the quality hierarchy level of the geometry contained in each slice in the G-PCC content and the first depth information in the G-PCC content. Generates scalable decoding information about the scalable decoding of the G-PCC content based on the dependency between the slice and the second slice.
  • the scalable decoding information generation unit 314 supplies the generated scalable decoding information to the file generation unit 315 together with the G-PCC content.
  • the file generation unit 315 is ⁇ 2. Transmission of scalable decryption information by content file> Applying the above-mentioned technology, a content file for storing G-PCC content supplied from the scalable decoding information generation unit 314 is generated, and the scalable decoding information is generated as the generated content. Store in the metadata area of the file. The file generation unit 315 outputs the content file generated as described above to the outside of the file generation device 300.
  • the scalable decoding information generation unit 314 may generate scalable decoding information including slice configuration information for each sample.
  • the file generation unit 315 may set a subsample for each slice and store the slice configuration information in the codec spiritual parameters of the subsample information box in the metadata area of the content file.
  • the scalable decoding information generation unit 314 may generate slice configuration information including slice dependency information.
  • the file generation unit 315 may set a subsample for each slice and store the slice dependency information in the codec spiritual parameters of the subsample information box in the metadata area of the content file.
  • the scalable decoding information generation unit 314 may generate slice dependency information including reference source geometry slice identification information and reference destination geometry slice identification information. Then, when the slice corresponding to this slice dependency information (that is, the slice corresponding to the reference source geometry slice identification information) is an independent geometry slice, the above-mentioned reference source geometry slice identification information and the reference destination geometry slice identification information are the same. It may be set to.
  • the file generation unit 315 sets a subsample for each slice and stores the reference source geometry slice identification information and the reference destination geometry slice identification information in the codec spiritual parameters of the subsample information box of the metadata area. good.
  • the scalable decoding information generation unit 314 may generate slice dependency information including attribute geometry slice identification information.
  • the file generation unit 315 may set a subsample for each slice and store the attribute geometry slice identification information in the codec spiritual parameters of the subsample information box of the metadata area.
  • the scalable decoding information generation unit 314 may generate slice dependency information including non-scalable coded attribute geometry slice identification information which is identification information of the geometry slice referred to by the attribute slice to which the non-scalable coding is applied.
  • the scalable decoding information generation unit 314 is a non-scalable encoding containing the identification information of the geometry slice or the geometry slice group containing the geometry having the largest depth information among the geometry slices or the geometry slice group referred to by the attribute slice corresponding to the information. Attribute geometry slice identification information may be generated.
  • the file generation unit 315 may set a subsample for each slice and store the non-scalable coded attribute geometry slice identification information in the codec spiritual parameters of the subsample information box in the metadata area of the content file.
  • the scalable decoding information generation unit 314 may generate slice dependency information including a non-scalable coding flag. Further, the file generation unit 315 may set a subsample for each slice and store the non-scalable coding flag in the codec spiritual parameters of the subsample information box of the metadata area of the content file.
  • the file generation unit 315 sets the payload type of the slice dependency information of the independent geometry slice (PayloadType) and the payload type of the slice dependency information of the dependent geometry slice to different values. May be good.
  • the scalable decoding information generation unit 314 may generate slice configuration information including geometry slice depth information. At that time, the scalable decoding information generation unit 314 may generate geometry slice depth information including the minimum depth information. Further, the scalable decoding information generation unit 314 may generate geometry slice depth information including the maximum depth information. Then, the file generation unit 315 may set a subsample for each slice or slice group, and store this geometry slice depth information in the codec spiritual parameters of the subsample information box in the metadata area of the content file. ..
  • the scalable decoding information generation unit 314 may generate slice configuration information including slice dependency information indicating the dependency between the first slice and the second slice in addition to the geometry slice depth information. Then, the file generation unit 315 may set the flags of the subsample information box that stores the geometry slice depth information to a value different from the flags of the subsample information box that stores the slice dependency information.
  • the scalable decoding information generation unit 314 may generate scalable decoding information including track configuration information.
  • the scalable decoding information generation unit 314 may generate track configuration information including track depth information.
  • the scalable decoding information generation unit 314 may generate track depth information including the track minimum depth information indicating the minimum value of the depth information in the track corresponding to the information. Further, the scalable decoding information generation unit 314 may generate track depth information including the track maximum depth information indicating the maximum value of the depth information in the track corresponding to the information. Further, the scalable decoding information generation unit 314 may generate track depth information including a match flag. Then, the file generation unit 315 may store such track depth information in the depth information box of the sample entry in the metadata area.
  • the scalable decoding information generation unit 314 may generate track configuration information including track dependency information. Further, the scalable decoding information generation unit 314 may generate track dependency information including dependent information indicating other tracks including slices necessary for decoding the dependent slice included in the track corresponding to the information. Further, the scalable decoding information generation unit 314 may generate dependent information indicating all other tracks including the slice necessary for decoding the dependent slice included in the track corresponding to the information. Further, the scalable decoding information generation unit 314 may generate dependent information indicating other tracks including slices referred to from the information.
  • the scalable decoding information generation unit 314 may generate track dependency information including independent information indicating other tracks including dependent slices that require an independent slice included in the track corresponding to the information at the time of decoding.
  • the scalable decoding information generation unit 314 may generate independent information indicating other tracks including other slices that refer to the independent slice at the time of decoding. Further, the scalable decoding information generation unit 314 may generate independent information in which the track dependency information includes both dependent information and independent information.
  • the file generation unit 315 may store the track dependency information in the metadata area as a track reference.
  • the extraction unit 311 of the file generation device 300 extracts the geometry and the attribute from the point cloud in step S301, respectively.
  • step S302 the coding unit 312 encodes the geometry and the attribute extracted in step S301 to generate a geometry bit stream and an attribute bit stream.
  • the coding unit 312 further generates the metadata thereof.
  • step S303 the bitstream generation unit 313 multiplexes the geometry bitstream, attribute bitstream, and metadata generated in step S302 to generate a G-PCC bitstream (G-PCC content).
  • step S304 the scalable decoding information generation unit 314 has ⁇ 2. Transmission of scalable decryption information by content file> Applying the above technology in the chapter, based on the slice depth in the G-PCC content generated in step S303 and the dependency between the slices in the G-PCC content. Then, the scalable decoding information regarding the scalable decoding of the G-PCC content is generated.
  • step S305 the file generation unit 315 generates other information and generates a content file (for example, ISOBMFF) for storing the G-PCC content generated in step S303. Then, the file generation unit 315 has ⁇ 2. Transmission of scalable decoding information by content file> The above-mentioned technique is applied in the chapter, and the scalable decoding information generated in step S304 is stored in the metadata area of the generated content file.
  • a content file for example, ISOBMFF
  • the file generation unit 315 outputs the generated content file (content file in which the scalable decoding information is stored) to the outside of the file generation device 300.
  • the file generation unit 315 transmits the content file to another device (for example, a playback device or the like) via a network or the like.
  • the file generation unit 315 supplies the content file to an external storage medium of the file generation device 300 and stores the content file. In this case, the content file is supplied to the playback device or the like via the storage medium.
  • step S306 When the process of step S306 is completed, the file generation process is completed.
  • the file generation device 300 has ⁇ 2. Transmission of scalable decryption information by content file> The technology described in the chapter is applied, and the scalable decryption information is stored in the metadata area of the content file. By doing so, it is possible to reduce the processing (decoding and the like) of unnecessary information, and it is possible to suppress an increase in the load of the reproduction processing.
  • FIG. 21 is a block diagram showing an example of a configuration of a reproduction device, which is an aspect of an information processing device to which the present technology is applied.
  • the playback device 400 shown in FIG. 21 is a device that decodes a G-PCC file, constructs a point cloud, renders it, and generates presentation information.
  • the reproduction device 400 is ⁇ 2.
  • Transmission of scalable decoding information by content file> Applying this technology described above in the chapter, the slices required for playback of the desired depth in the point cloud are extracted from the content file generated by the file generator 300. Decrypt and play.
  • FIG. 21 shows the main things such as the processing unit and the data flow, and not all of them are shown in FIG. 21. That is, in the reproduction device 400, there may be a processing unit that is not shown as a block in FIG. 21, or there may be a processing or data flow that is not shown as an arrow or the like in FIG. 21.
  • the reproduction device 400 has a control unit 401, a file acquisition unit 411, a reproduction processing unit 412, and a presentation processing unit 413.
  • the reproduction processing unit 412 includes a file processing unit 421, a decoding unit 422, and a presentation information generation unit 423.
  • the control unit 401 controls each processing unit in the reproduction device 400.
  • the file acquisition unit 411 acquires a content file for storing the point cloud to be reproduced and supplies the content file to the reproduction processing unit 412 (file processing unit 421).
  • the reproduction processing unit 412 performs processing related to reproduction of the point cloud stored in the supplied content file.
  • the file processing unit 421 of the reproduction processing unit 412 acquires the content file supplied from the file acquisition unit 411 and extracts the bit stream from the content file. At that time, the file processing unit 421 is described in ⁇ 2. Transmission of scalable decoding information by content file> The above-mentioned technique is applied in the chapter, and only the bitstream of slices necessary for reproducing the desired depth is extracted. The file processing unit 421 supplies the extracted bit stream to the decoding unit 422.
  • the decoding unit 422 decodes the bitstream supplied from the file processing unit 421 and generates geometry and attribute data.
  • the decoding unit 422 supplies the generated geometry and attribute data to the presentation information generation unit 423.
  • the presentation information generation unit 423 constructs a point cloud using the supplied geometry and attribute data, and generates presentation information which is information for presenting (for example, displaying) the point cloud.
  • the presentation information generation unit 423 renders using the point cloud, and generates a display image of the point cloud as the presentation information as viewed from a predetermined viewpoint.
  • the presentation information generation unit 423 supplies the presentation information thus generated to the presentation processing unit 413.
  • the presentation processing unit 413 performs a process of presenting the supplied presentation information.
  • the presentation processing unit 413 supplies the presentation information to a display device or the like outside the reproduction device 400 and causes the presentation information to be presented.
  • FIG. 22 is a block diagram showing a main configuration example of the reproduction processing unit 412.
  • the file processing unit 421 has a bitstream extraction unit 431.
  • the decoding unit 422 has a geometry decoding unit 441 and an attribute decoding unit 442.
  • the presentation information generation unit 423 has a point cloud construction unit 451 and a presentation processing unit 452.
  • the bitstream extraction unit 431 extracts a bitstream from the content file supplied from the file acquisition unit 411. At that time, the bitstream extraction unit 431 has ⁇ 2. Transmission of scalable decoding information by content file> The above-mentioned technique is applied in the chapter, and only the bitstream of slices necessary for reproducing the desired depth is extracted. That is, the bitstream extraction unit 431 extracts an arbitrary slice of the G-PCC content from the content file based on the scalable decoding information stored in the metadata area of the content file that stores the G-PCC content.
  • this scalable decoding information is information related to scalable decoding of G-PCC content, and is depth information indicating the quality hierarchy level of the geometry included in the slice in the G-PCC content and between slices in the G-PCC content (for example,). , Between the first slice and the second slice).
  • this scalable decoding information may include slice configuration information for each sample.
  • the bitstream extraction unit 431 grasps the composition of slices in each sample based on the slice configuration information for each sample, and extracts an arbitrary slice of G-PCC content from the content file based on the configuration. May be good. From the content file, the bit stream extraction unit 431 is based on the slice configuration information stored in the codec spiritual parameters of the subsample information box of the metadata area of the content file of the subsample set for each slice. Any slice of G-PCC content may be extracted.
  • This slice configuration information may include slice dependency information.
  • the bitstream extraction unit 431 grasps the dependency between slices or slices based on the slice dependency information, and extracts any slice of G-PCC content from the content file based on the dependency. You may.
  • the bit stream extraction unit 431 is based on the slice dependency information stored in the codec spiritual parameters of the subsample information box of the metadata area of the content file of the subsample set for each slice, from the content file. , Any slice of G-PCC content may be extracted.
  • This slice dependency information may include the reference source geometry slice identification information and the reference destination geometry slice identification information.
  • the bitstream extraction unit 431 grasps the dependency between slices or slice groups based on the reference source geometry slice identification information and the reference destination geometry slice identification information, and G-from the content file based on the dependency. Other geometry slices needed to decode the desired geometry slice of PCC content may be extracted.
  • the slice corresponding to this slice dependency information that is, the slice corresponding to the reference source geometry slice identification information
  • the above-mentioned reference source geometry slice identification information and the reference destination geometry slice identification information are the same. You may do so.
  • the bit stream extraction unit 431 is based on the reference source geometry slice identification information and the reference destination geometry slice identification information stored in the codec spiritual parameters of the subsample information box of the metadata area of the subsample set for each slice. Then, any slice of G-PCC content may be extracted from the content file.
  • the slice dependency information may include the attribute geometry slice identification information.
  • the bitstream extraction unit 431 identifies the correspondence between the attribute slice and the geometry slice based on the attribute geometry slice identification information, and any slice of G-PCC content from the content file based on the identified correspondence. You may extract (attribute slices and geometry slices). Based on the attribute geometry slice identification information stored in the codec spiritual parameters of the subsample information box of the metadata area of the subsample set for each slice, the bitstream extraction unit 431 G from the content file. -You may extract any slices of PCC content.
  • the slice dependency information may include non-scalable coded attribute geometry slice identification information which is the identification information of the geometry slice referenced by the attribute slice to which the non-scalable coding is applied.
  • the bitstream extraction unit 431 identifies the correspondence between the attribute slice to which the non-scalable coding is applied and the geometry slice based on the non-scalable coded attribute geometry slice identification information, and the content is based on the correspondence.
  • Arbitrary slices of G-PCC content (attribute slices and geometry slices with non-scalable encoding) may be extracted from the file.
  • This non-scalable coded attribute geometry slice identification information may include the identification information of the geometry slice or the geometry slice group including the maximum depth among the geometry slices or the geometry slice group referred to by the attribute slice corresponding to the information. ..
  • the bit stream extractor 431 is based on the non-scalable coded attribute geometry slice identification information stored in the codec spiritual parameters of the subsample information box of the subsample of the subsample set for each slice. , You may extract any slice of G-PCC content from the content file.
  • the slice dependency information may include a non-scalable coding flag.
  • the bitstream extraction unit 431 identifies whether or not non-scalable coding has been applied based on the non-scalable coding flag, and identifies the correspondence between the attribute slice and the geometry slice based on the discrimination result.
  • Arbitrary slices of G-PCC content (attribute slices and geometry slices) may be extracted from the content file based on the correspondence.
  • the bit stream extraction unit 431 is based on the non-scalable coding flag stored in the codec spiritual parameters of the subsample information box of the subsample information box of the subsample set for each slice, and the content file. Any slice of G-PCC content may be extracted from.
  • the payload type of the slice dependency information of the independent geometry slice (PayloadType) and the payload type of the slice dependency information of the dependent geometry slice may have different values.
  • the bitstream extraction unit 431 identifies whether it is slice dependency information of an independent geometry slice or slice dependency information of a dependent geometry slice based on this payload type, and slices based on the discrimination result. Dependency information may be analyzed.
  • the slice configuration information may include geometry slice depth information.
  • the bitstream extraction unit 431 grasps the depth of the geometry contained in the geometry slice or the geometry slice group based on the geometry slice depth information, and based on the depth information, any of the G-PCC contents from the content file. Slices may be extracted.
  • the geometry slice depth information may include the minimum depth information.
  • the geometry slice depth information may include the maximum depth information.
  • the bit stream extraction unit 431 based on the geometry slice depth information stored in the codec spiritual parameters of the subsample information box of the metadata area of the content file of the subsample set for each slice or slice group. Any slice of G-PCC content may be extracted from the content file.
  • the slice configuration information may further include slice dependency information indicating the dependency between slices in addition to the geometry slice depth information. Then, the flags of the subsample information box in which the geometry slice depth information is stored and the flags of the subsample information box in which the slice dependency information is stored may be set to different values. For example, the bitstream extraction unit 431 identifies whether it is a subsample information box in which geometry slice depth information is stored or a subsample information box in which slice dependency information is stored, based on the flags. May be good.
  • the scalable decoding information may include track configuration information.
  • the bitstream extraction unit 431 may grasp the configuration of the track based on the track configuration information and extract an arbitrary slice of G-PCC content from the content file based on the track configuration.
  • the track configuration information may include track depth information.
  • the bitstream extraction unit 431 grasps the depth information of the geometry of all slices contained in the track based on the track depth information, identifies the track in which the desired slice is stored based on the depth information, and identifies the track in which the desired slice is stored.
  • the desired slice may be extracted from the track.
  • the track depth information may include track minimum depth information indicating the minimum value of the depth information in the track corresponding to the information.
  • the track depth information may include track maximum depth information indicating the maximum value of the depth information in the track corresponding to the information.
  • the track depth information may include a match flag.
  • the bitstream extraction unit 431 grasps the depth information of the geometry contained in the track based on this information, identifies the track in which the desired slice is stored based on the depth information, and obtains the desired slice from the track. Slices may be extracted.
  • the bitstream extraction unit 431 may extract an arbitrary slice of G-PCC content from the content file based on the track depth information stored in the depth information box of the sample entry in the metadata area.
  • the track configuration information may include track dependency information.
  • the bitstream extraction unit 431 may grasp the dependency of the track based on the track dependency information and extract an arbitrary slice of the G-PCC content from the content file based on the dependency.
  • This track dependency information may include dependent information indicating other tracks containing the slices required to decode the dependent slices contained in the track corresponding to that information.
  • the bitstream extraction unit 431 may identify another track including the slice necessary for decoding the dependent slice contained in the track corresponding to the information based on the dependent information.
  • This dependent information may indicate all other tracks containing the slices needed to decode the dependent slices contained in the track corresponding to that information.
  • the dependent information may also indicate other tracks containing slices referenced from that information.
  • the track dependency information may include independent information indicating other tracks including dependent slices that require an independent slice contained in the track corresponding to the information at the time of decoding.
  • the bitstream extraction unit 431 may identify another track including a dependent slice that requires an independent slice included in the track corresponding to the information at the time of decoding based on the independent information.
  • This independent information may indicate other tracks containing other slices that reference the independent slice during decoding.
  • the track dependency information may be stored as a track reference in the metadata area.
  • the bitstream extraction unit 431 supplies the extracted geometry bitstream to the geometry decoding unit 441. Further, the bitstream extraction unit 431 supplies the extracted attribute bitstream to the attribute decoding unit 442.
  • the geometry decoding unit 441 decodes the supplied geometry bitstream and generates geometry data.
  • the geometry decoding unit 441 supplies the generated geometry data to the point cloud construction unit 451.
  • the attribute decoding unit 442 decodes the supplied attribute bit stream and generates attribute data.
  • the attribute decoding unit 442 supplies the generated attribute data to the point cloud construction unit 451.
  • the point cloud construction unit 451 constructs a point cloud using the supplied geometry and attribute data. That is, the point cloud construction unit 451 can construct a point cloud of a desired depth. The point cloud construction unit 451 supplies the constructed point cloud data to the presentation processing unit 452.
  • the presentation processing unit 452 generates presentation information using the supplied point cloud data.
  • the presentation processing unit 452 supplies the generated presentation information to the presentation processing unit 413.
  • the playback device 400 can more easily obtain desired tiles based on the tile management information (tile identification information) stored in the G-PCC file without having to parse the entire bitstream. Only can be extracted, decrypted, constructed and presented. Therefore, it is possible to suppress an increase in the load of the reproduction process.
  • the file acquisition unit 411 of the reproduction apparatus 400 acquires the content file to be reproduced in step S401.
  • step S402 the bitstream extraction unit 431 extracts an arbitrary slice from the content file acquired in step S401. At that time, the bitstream extraction unit 431 has ⁇ 2.
  • the above-mentioned technique is applied in Transmission of scalable decoding information by content file>, and slices are extracted based on the scalable decoding information stored in the metadata area of the content file.
  • step S403 the geometry decoding unit 441 of the decoding unit 422 decodes the geometry bitstream of the slice extracted in step S402 and generates the geometry of a desired depth. Further, the attribute decoding unit 442 decodes the attribute bit stream of the slice extracted in step S402 to generate an attribute corresponding to the geometry of a desired depth.
  • step S404 the point cloud construction unit 451 constructs a point cloud using the geometry and attributes generated in step S403. That is, the point cloud construction unit 451 can construct a point cloud of a desired depth.
  • step S405 the presentation processing unit 452 generates presentation information by rendering using the point cloud constructed in step S404.
  • step S406 the presentation processing unit 413 supplies the presentation information to the outside of the reproduction device 400 and causes the presentation information to be presented.
  • step S406 When the process of step S406 is completed, the reproduction process is completed.
  • the reproduction device 400 has ⁇ 2. Transmission of scalable decryption information by content file> The technique described in the chapter is applied, and a desired slice is extracted from the content file and decoded based on the scalable decoding information stored in the metadata area of the content file. By doing so, it is possible to reduce the processing (decoding and the like) of unnecessary information, and it is possible to suppress an increase in the load of the reproduction processing.
  • This technology can also be applied to, for example, MPEG-DASH (Moving Picture Experts Group phase-Dynamic Adaptive Streaming over HTTP).
  • MPEG-DASH Motion Picture Experts Group phase-Dynamic Adaptive Streaming over HTTP
  • MPD Media Presentation Description
  • the adaptation set configuration information which is the information regarding the configuration of the adaptation set that describes the information regarding the track of the content file, may be stored in the MPD.
  • the adaptation set configuration information based on the depth of each slice of the G-PCC content having a slice structure and the dependency between the slices stored in the control file. (Method 2).
  • depth information indicating the quality hierarchy level of the geometry contained in each slice in the G-PCC content including the first slice and the second slice, and the first slice in the G-PCC content.
  • the adaptation set configuration information generator that generates the adaptation set configuration information and the control file that controls the playback of the content file that stores the G-PCC content are generated and adapted. It is provided with a control file generator that stores set configuration information in the control file. Then, the content file stores the G-PCC content in the track in slice units. Further, the adaptation set configuration information is information regarding the configuration of the adaptation set that describes the information regarding the track of the content file.
  • the depth information indicating the quality hierarchy level of the geometry contained in each slice in the G-PCC content including the first slice and the second slice, and the first slice in the G-PCC content.
  • it Based on the dependencies between the second slices, it generates adaptation set configuration information, generates a control file that controls the playback of the content file that stores the G-PCC content, and controls the adaptation set configuration information. Try to store it in a file. Then, the content file stores the G-PCC content in the track in slice units.
  • the adaptation set configuration information is information regarding the configuration of the adaptation set that describes the information regarding the track of the content file.
  • a control file that controls playback of a content file that stores G-PCC content including a first slice and a second slice in a track in slice units is analyzed and stored in the control file.
  • the analysis unit that identifies the adaptation set required to obtain an arbitrary slice of G-PCC content, and the track corresponding to the adaptation set specified by the analysis unit of the content file. It is provided with an acquisition unit to be acquired and a decoding unit for decoding a slice of G-PCC content stored in the track acquired by the acquisition unit.
  • the adaptation set configuration information is information about the configuration of the adaptation set that describes the information about the track of the content file, and the depth information and the G-PCC content indicating the quality hierarchy level of the geometry contained in the slice in the G-PCC content.
  • the information is generated based on the dependency between the first slice and the second slice in.
  • the control file that controls the playback of the content file that stores the G-PCC content in the track in slice units is analyzed, and the G- is based on the adaptation set configuration information stored in the control file. Identify the adaptation set needed to get any slice of PCC content, get the track corresponding to the identified adaptation set in that content file, and store the G-PCC content in that retrieved track. Try to decrypt the slice.
  • the adaptation set configuration information is information about the configuration of the adaptation set that describes the information about the track of the content file, and is the depth information indicating the quality hierarchy level of the geometry contained in the slice in the G-PCC content and the G-PCC content. Information generated based on the dependencies between the first slice and the second slice.
  • the decoder selects the track containing the slices needed to play the point cloud of the desired depth or region, based on the adaptation set configuration information stored in the control file. You can get that track. Therefore, it is possible to suppress the transmission of unnecessary data. As a result, it is possible to suppress an increase in the load on the transmission line and communication processing. Further, since the decoder can suppress an increase in the amount of data to be processed, it is possible to suppress an increase in the load of the reproduction process. As a result, it is possible to suppress an increase in delay related to data transmission and reproduction processing.
  • the adaptation set configuration information may include the adaptation set depth information (method 2-1).
  • the adaptation set depth information is information about the geometry depth information of all slices contained in the track corresponding to the adaptation set corresponding to the information. This adaptation set depth information is described in ⁇ 2-2-1. This is the same information as the track depth information explained in Track Depth Information>. That is, the adaptation set depth information is the track depth information applied to the control file (MPD).
  • MPD control file
  • the decoder can easily figure out which adaptation slice corresponds to which adaptation set (ie, track) (without parsing the bitstream). .. Therefore, the decoder can more easily select the track to acquire (without parsing the bitstream).
  • the adaptation set depth information may include the adaptation set minimum depth information (method 2-1-1).
  • the adaptation set minimum depth information is information indicating the minimum value of the depth information in the track corresponding to the adaptation set corresponding to the information.
  • FIG. 25 is a diagram showing an example of parameters to be added to the MPD as adaptation set depth information.
  • @MinDepth shown in FIG. 25 is the minimum depth information of the adaptation set, and is ⁇ 2-2-1. This is the same information as track_min_depth (track minimum depth information) of the track depth information explained in Track Depth Information>. In other words, @minDepth applies track_min_depth to the control file (MPD).
  • MPD control file
  • the adaptation set depth information may include the adaptation set maximum depth information (method 2-1-2).
  • the adaptation set maximum depth information is information indicating the maximum value of the depth information in the track corresponding to the adaptation set corresponding to the information.
  • @MaxDepth shown in FIG. 25 is the adaptation set maximum depth information, and is ⁇ 2-2-1. This is the same information as track_max_depth (track maximum depth information) of the track depth information explained in Track Depth Information>. That is, @maxDepth applies track_max_depth to the control file (MPD).
  • MPD control file
  • the adaptation set depth information may include a match flag (method 2-1-3).
  • the match flag the sample minimum depth information of each sample contained in the track corresponding to the adaptation set corresponding to the information matches the adaptation set minimum depth information, and the sample maximum depth information of each sample contained in the track is set.
  • Flag information indicating whether or not the adaptation set maximum depth information is matched (flag information indicating whether or not the minimum depth and the maximum depth are common to all samples).
  • the sample minimum depth information indicates the minimum value of the depth information in the sample.
  • the sample maximum depth information indicates the maximum value of the depth information in the sample.
  • @FixedDepth shown in FIG. 25 is a match flag of the adaptation set.
  • @fixedDepth is "0" (false)
  • the sample minimum depth information and sample maximum depth information of all the samples in the track corresponding to the adaptation set are the adaptation set minimum depth information (@minDepth) to the adaptation set maximum depth information.
  • @minDepth the adaptation set minimum depth information
  • the sample minimum depth information of each sample in the track matches the track minimum depth information (track_min_depth), and the sample maximum depth of each sample in the track. Indicates that the information matches the track maximum depth information (track_min_depth). That is, in this case, the minimum value and the maximum value of the depth of each sample have a common value for all the samples.
  • these parameters (@fixedDepth, @minDepth, @maxDepth) of the adaptation set depth information may be set in the above-mentioned Supplemental Property or Essential Property.
  • the decoder can determine which depth data is stored in each track based on this information. It can be grasped more easily (without parsing the bitstream). Therefore, the decoder can more easily select the track to acquire (without parsing the bitstream).
  • the adaptation set configuration information may include the representation dependency information (method 2-2).
  • the representation dependency information is information indicating the dependency between representations (for example, the dependency between the first representation and the second representation).
  • MPD tracks are managed by the representation of the adaptation set.
  • this representation dependency information is ⁇ 2-2-2. This is the same information as the track dependency information explained in Track Dependency Information>. That is, the representation dependency information is the track dependency information applied to the control file (MPD).
  • the decoder can grasp the dependency between tracks more easily (without parsing the bitstream) based on this representation dependency information stored in the MPD. Therefore, the decoder can more easily select the track to acquire (without parsing the bitstream).
  • the decoder bases the dependent information on other representations (ie, tracks) needed to decode the representation (ie, track) being processed. , Can be checked more easily without parsing the bitstream. Therefore, it is possible to suppress an increase in the load of the reproduction process.
  • this dependent information may indicate all other representations necessary for decoding the representation corresponding to that information.
  • this dependent information may indicate another representation referenced from the representation corresponding to that information (method 2). -2-1-2). That is, this dependent information may indicate a representation that the referencing representation directly references.
  • this independent information may indicate all other representations that require a representation corresponding to that information upon decoding. (Method 2-2-1).
  • the representation dependency information is a control file (MPD) as two parameters of the representation association identification information (Representation @ associationId) and the association type (associationType). ) May be stored (method 2-2-3). That is, the association of the dependent information and the independent information may be performed using two parameters of the representation association identification information (Representation @ associationId) and the association type (associationType).
  • MPD representation association identification information
  • associationType associationType
  • associationType “depd”
  • associationType “indd”
  • control file may store flag information (@nonScalableAttributeFlag) that clearly indicates whether the adaptation set contains attribute slices to which non-scalable encoding is applied.
  • the adaptation set depth information and the representation dependency information are stored in the MPD, and the decoder parses the representation (that is, the track) including the desired slice and the bitstream based on the information. It can be confirmed more easily without doing. Therefore, it is possible to suppress an increase in the load of the reproduction process.
  • FIG. 27 is a block diagram showing an example of the configuration of a file generation device, which is an aspect of an information processing device to which the present technology is applied. Similar to the file generation device 300, the file generation device 600 shown in FIG. 27 applies G-PCC to encode the point cloud data, and the G-PCC content (G-PCC bit stream) generated by the encoding is used. It is a device that stores in a content file (ISOBMFF). However, the file generation device 600 further generates an MPD corresponding to the content file.
  • G-PCC G-PCC bit stream
  • the file generator 600 is ⁇ 2. Transmission of scalable decryption information by content file> and ⁇ 4. Transmission of scalable decoding information by control file>
  • the above-mentioned technique can be applied in the chapter. That is, the file generation device 600 generates scalable decoding information based on the depth of the slice in the G-PCC content and the dependency between the slices, generates a content file for storing the G-PCC content, and generates the generated content file.
  • the generated scalable decoding information at least slice configuration information for each sample can be stored in the metadata area of. Further, the file generation device 600 can store the adaptation set configuration information in the MPD among the generated scalable decoding information.
  • FIG. 27 shows the main things such as the processing unit and the data flow, and not all of them are shown in FIG. 27. That is, in the file generation device 600, there may be a processing unit that is not shown as a block in FIG. 27, or there may be a processing or data flow that is not shown as an arrow or the like in FIG. 27.
  • the file generation device 600 has basically the same configuration as the file generation device 300 (FIG. 19). However, the file generation device 600 has a content file generation unit 615 and an MPD generation unit 616 instead of the file generation unit 315.
  • the scalable decoding information generation unit 314 also has ⁇ 2. Transmission of scalable decoding information by content file> The above-mentioned technology is applied to generate scalable decoding information (at least slice configuration information for each sample). That is, the scalable decoding information generation unit 314 has depth information indicating the quality hierarchy level of the geometry contained in each slice in the G-PCC content including the first slice and the second slice, and the first depth information in the G-PCC content. Generate scalable decoding information (at least slice configuration information for each sample) based on the dependency between the slice and the second slice. Further, in this case, the scalable decoding information generation unit 314 has ⁇ 4.
  • adaptation set configuration information is generated as scalable decoding information instead of track configuration information. That is, the scalable decoding information generation unit 314, as the adaptation set configuration information generation unit, provides depth information indicating the quality hierarchy level of the geometry contained in each slice in the G-PCC content including the first slice and the second slice. Adaptation set configuration information is generated based on the dependency between the first slice and the second slice in the G-PCC content.
  • the scalable decoding information generation unit 314 supplies the generated scalable decoding information together with the G-PCC content to the content file generation unit 615. Further, the scalable decoding information generation unit 314 supplies the generated scalable decoding information to the MPD generation unit 616 together with the G-PCC content.
  • the content file generation unit 615 is ⁇ 2. Transmission of scalable decoding information by content file> Applying the above-mentioned technology, a content file is generated in which the supplied G-PCC content is stored in a track in slice units, and the scalable decoding information (at least slice configuration for each sample) is generated. Information) is stored in the metadata area of the generated content file. The content file generation unit 615 outputs the content file generated as described above to the outside of the file generation device 300.
  • the MPD generation unit 616 generates an MPD as a control file generation unit, and stores information about the supplied G-PCC content in the MPD. Further, the MPD generation unit 616 is described in ⁇ 4. Transmission of scalable decoding information by control file> The above-mentioned technology is applied in the chapter, and the supplied scalable decoding information (adaptation set configuration information) is stored in the MPD.
  • the MPD generation unit 616 outputs the MPD generated as described above to the outside of the file generation device 300 (for example, a content file distribution server or the like).
  • the adaptation set configuration information may include the adaptation set depth information. That is, the scalable decoding information generation unit 314 may generate the adaptation set configuration information including the adaptation set depth information, and the MPD generation unit 616 may store the adaptation set configuration information in the adaptation set of the MPD. Further, the adaptation set depth information may include the adaptation set minimum depth information. Further, the adaptation set depth information may include the adaptation set maximum depth information. In addition, the adaptation set depth information may include a match flag. That is, the scalable decoding information generation unit 314 may generate the adaptation set depth information including these information, and the MPD generation unit 616 may store the adaptation set depth information in the adaptation set of the MPD. For example, the MPD generation unit 616 may newly define a supplemental property or an essential property and store the adaptation set depth information therein.
  • the adaptation set configuration information may include the representation dependency information. That is, the scalable decoding information generation unit 314 may generate the adaptation set configuration information including the representation dependency information, and the MPD generation unit 616 may store the adaptation set configuration information in the adaptation set of the MPD.
  • the representation dependency information may include dependent information indicating other representations necessary for decoding the representation corresponding to the information. In addition, this dependent information may indicate all other representations needed to decode the representation corresponding to that information. Also, this dependent information may indicate another representation referenced by the representation corresponding to that information. That is, the scalable decoding information generation unit 314 may generate the representation dependency information including such dependent information, and the MPD generation unit 616 may store the representation dependency information in the adaptation set of the MPD.
  • the representation dependency information may include independent information indicating other representations that require a representation corresponding to the information at the time of decryption. Then, this independent information may indicate all other representations that require a representation corresponding to that information at the time of decryption. That is, the scalable decoding information generation unit 314 may generate the representation dependency information including such independent information, and the MPD generation unit 616 may store the representation dependency information in the adaptation set of the MPD.
  • the representation dependency information may be stored in the control file (MPD) as two parameters, the representation association identification information (Representation @ associationId) and the association type (associationType).
  • each process of steps S601 to S603 is executed in the same manner as each process of steps S301 to S303 in the flowchart of the file generation process of FIG.
  • step S604 the scalable decoding information generation unit 314 has ⁇ 2. Transmission of scalable decoding information by content file> The technology described in the chapter is applied to generate slice configuration information for each sample as scalable decoding information. Further, the scalable decoding information generation unit 314 is described in ⁇ 4. Transmission of scalable decoding information by control file> The technology described in the chapter is applied to generate adaptation set configuration information as scalable decoding information.
  • step S605 the content file generation unit 615 ⁇ 2. Transmission of scalable decryption information by content file> The technology described in the chapter is applied. That is, the content file generation unit 615 generates a content file and stores the G-PCC content in the track of the content file in slice units. Then, the content file generation unit 615 stores slice configuration information for each sample in the metadata area of the content file.
  • the content file generation unit 615 outputs the generated content file (content file in which scalable decoding information is stored) to the outside of the file generation device 600.
  • the content file generation unit 615 transmits the content file to another device (for example, a playback device or the like) via a network or the like.
  • the content file generation unit 615 supplies the content file to a storage medium external to the file generation device 600 and stores the content file. In this case, the content file is supplied to the playback device or the like via the storage medium.
  • step S607 the MPD generation unit 616 is ⁇ 4. Transmission of scalable decoding information by control file> The technology described in the chapter is applied. That is, the MPD generation unit 616 generates an MPD corresponding to the content file generated in step S605, and stores the adaptation set configuration information generated in step S604 in the MPD.
  • step S608 the MPD generation unit 616 outputs the MPD to the outside of the file generation device 600.
  • the MPD is provided to a content file distribution server or the like.
  • step S608 When the process of step S608 is completed, the file generation process is completed.
  • the file generation device 600 has ⁇ 2. Transmission of scalable decryption information by content file> and ⁇ 4. Transmission of scalable decryption information by control file> This technology explained in the chapter is applied, and the scalable decryption information is stored in the metadata area of the content file or MPD. By doing so, it is possible to reduce the transmission and processing (decoding, etc.) of unnecessary information, and it is possible to suppress an increase in the load of data transmission and reproduction processing.
  • FIG. 29 is a block diagram showing an example of a configuration of a reproduction device, which is an aspect of an information processing device to which the present technology is applied. Similar to the playback device 400, the playback device 700 shown in FIG. 29 is a device that decodes a content file, constructs a point cloud, renders the content file, and generates presentation information. At that time, the reproduction device 700 is ⁇ 2. Transmission of scalable decryption information by content file> and ⁇ 4. Transmission of scalable decoding information by control file> The above-mentioned technique can be applied in the chapter.
  • FIG. 29 shows the main things such as the processing unit and the data flow, and not all of them are shown in FIG. 29. That is, in the reproduction device 700, there may be a processing unit that is not shown as a block in FIG. 29, or there may be a processing or data flow that is not shown as an arrow or the like in FIG. 29.
  • the reproduction device 700 basically has the same configuration as the reproduction device 400 (FIG. 21). However, the reproduction device 700 has a file acquisition unit 711 and an MPD analysis unit 712 instead of the file acquisition unit 411.
  • the file acquisition unit 711 acquires the MPD corresponding to the desired content file (content file to be reproduced) and supplies it to the MPD analysis unit 712. Further, the file acquisition unit 711 requests and acquires the track requested by the MPD analysis unit 712 among the tracks of the content file from the supply source of the content file to be reproduced. The file acquisition unit 711 supplies the acquired track (bitstream stored in the track) to the reproduction processing unit 412 (file processing unit 421).
  • the MPD analysis unit 712 When the MPD analysis unit 712 acquires the MPD from the file acquisition unit 711, the MPD analysis unit 712 analyzes the MPD and selects a desired track. At that time, the MPD analysis unit 712 is described in ⁇ 4. Transmission of scalable decoding information by control file> The above-mentioned technique can be applied in the chapter. That is, the MPD analysis unit 712 identifies the adaptation set (that is, the track) necessary for obtaining an arbitrary slice of the G-PCC content based on the adaptation set configuration information stored in the adaptation set of the MPD. The MPD analysis unit 712 requests the file acquisition unit 711 to acquire the track corresponding to the specified adaptation set.
  • the adaptation set configuration information may include the adaptation set depth information.
  • the MPD analysis unit 712 grasps the depth information of the geometry of all the slices included in the track based on the adaptation set depth information stored in the adaptation set of the MPD, and obtains an arbitrary slice based on the depth information.
  • the required adaptation set ie, track
  • the adaptation set depth information may include the adaptation set minimum depth information.
  • the adaptation set depth information may include the adaptation set maximum depth information.
  • the adaptation set depth information may include a match flag.
  • the MPD analysis unit 712 needs to grasp the depth information of the geometry of all the slices included in the track based on these information stored in the adaptation set of the MPD, and obtain an arbitrary slice based on the depth information.
  • Adaptation sets ie, tracks
  • the adaptation set configuration information may include the representation dependency information.
  • the MPD analysis unit 712 grasps the dependency between representations (that is, tracks) based on this representation dependency information stored in the adaptation set of MPD, and obtains an arbitrary slice based on the dependency. You may identify the representation (ie, track) required for this.
  • the representation dependency information may include dependent information indicating other representations required to decrypt the corresponding representation.
  • this dependent information may indicate all other representations needed to decode the representation corresponding to that information.
  • this dependent information may indicate another representation referenced by the representation corresponding to that information. For example, even if the MPD analysis unit 712 identifies other representations (that is, other tracks) necessary for decoding the representation corresponding to that information based on this dependent information stored in the MPD's adaptation set. good.
  • the representation dependency information may include independent information indicating other representations that require a representation corresponding to the information at the time of decryption. Then, this independent information may indicate all other representations that require a representation corresponding to that information at the time of decryption.
  • the MPD analysis unit 712 identifies other representations (ie, other tracks) that require a corresponding representation during decoding, based on this dependent information stored in the MPD's adaptation set. You may.
  • the representation dependency information may be stored in the control file (MPD) as two parameters, the representation association identification information (Representation @ associationId) and the association type (associationType). That is, the MPD analysis unit 712 refers to these parameters stored in the adaptation set of the MPD, grasps the dependency between representations (that is, tracks) based on these parameters, and arbitrarily based on the dependency. You may identify the representation (ie, track) needed to obtain a slice of.
  • MPD control file
  • associationType associationType
  • the decoding unit 422 is ⁇ 4. Transmission of scalable decoding information by control file> The above-mentioned technology is applied in the chapter to decode slices of G-PCC content stored in the track supplied from the file acquisition unit 711.
  • the file acquisition unit 711 of the reproduction apparatus 700 acquires the MPD corresponding to the content file to be reproduced in step S701.
  • step S702 the MPD analysis unit 712 identifies the adaptation set required to obtain the G-PCC content of the desired depth based on the adaptation set configuration information stored in the MPD.
  • step S703 the file acquisition unit 711 acquires the coded data stored in the track corresponding to the adaptation set specified in step S702 of the content file to be reproduced.
  • step S704 the file processing unit 421 obtains sliced coded data necessary for obtaining G-PCC content of a desired depth from the acquired coded data based on the slice configuration information for each sample. Get from.
  • Each process of steps S705 to S708 is executed in the same manner as each process of steps S403 to S406 of the reproduction process of FIG. When the process of step S708 is completed, the reproduction process is completed.
  • the reproduction device 700 has ⁇ 2. Transmission of scalable decryption information by content file> and ⁇ 4. Transmission of scalable decoding information by control file> Applying this technology described in the chapter, based on the adaptation set configuration information stored in the MPD and the slice configuration information for each sample stored in the metadata area of the content file. Get the desired track of the content file and decrypt it. By doing so, it is possible to reduce the processing of unnecessary information (data transmission, decoding, etc.), and it is possible to suppress an increase in the load of the reproduction processing.
  • the series of processes described above can be executed by hardware or software.
  • the programs constituting the software are installed in the computer.
  • the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 31 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the CPU Central Processing Unit
  • ROM ReadOnly Memory
  • RAM RandomAccessMemory
  • the input / output interface 910 is also connected to the bus 904.
  • An input unit 911, an output unit 912, a storage unit 913, a communication unit 914, and a drive 915 are connected to the input / output interface 910.
  • the input unit 911 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 912 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 913 is composed of, for example, a hard disk, a RAM disk, a non-volatile memory, or the like.
  • the communication unit 914 is composed of, for example, a network interface.
  • the drive 915 drives a removable medium 921 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 901 loads the program stored in the storage unit 913 into the RAM 903 via the input / output interface 910 and the bus 904 and executes the above-mentioned series. Is processed.
  • the RAM 903 also appropriately stores data and the like necessary for the CPU 901 to execute various processes.
  • the program executed by the computer can be recorded and applied to the removable media 921 as a package media or the like, for example.
  • the program can be installed in the storage unit 913 via the input / output interface 910 by mounting the removable media 921 in the drive 915.
  • the program can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • the program can be received by the communication unit 914 and installed in the storage unit 913.
  • this program can also be installed in advance in ROM 902 or storage unit 913.
  • ISOBMFF has been described as an example of a file format for storing G-PCC contents
  • any file format can be applied as long as scalable decoding information can be stored. Further, as long as it does not conflict with the present technology, some of the above-mentioned processes and specifications may be omitted or combined with the above-mentioned technology.
  • this technology can be applied to any configuration.
  • this technique can be applied to various electronic devices.
  • this technology includes a processor as a system LSI (Large Scale Integration), a module using a plurality of processors, a unit using a plurality of modules, or a set in which other functions are added to the unit. It can also be implemented as a partial configuration of the device.
  • LSI Large Scale Integration
  • this technology can be applied to a network system composed of a plurality of devices.
  • the present technology may be implemented as cloud computing that is shared and jointly processed by a plurality of devices via a network.
  • this technology is implemented in a cloud service that provides services related to images (moving images) to any terminal such as computers, AV (AudioVisual) devices, portable information processing terminals, and IoT (Internet of Things) devices. You may try to do it.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • Systems, devices, processing units, etc. to which this technology is applied can be used in any field such as transportation, medical care, crime prevention, agriculture, livestock industry, mining, beauty, factories, home appliances, weather, nature monitoring, etc. .. The use is also arbitrary.
  • this technology can be applied to systems and devices used for providing ornamental contents and the like.
  • the present technology can be applied to systems and devices used for traffic such as traffic condition supervision and automatic driving control.
  • the present technology can be applied to systems and devices used for security purposes.
  • the present technology can be applied to a system or device used for automatic control of a machine or the like.
  • the present technology can be applied to systems and devices used for agriculture and livestock industry.
  • the present technology can also be applied to systems and devices for monitoring natural conditions such as volcanoes, forests and oceans, and wildlife. Further, for example, the present technology can be applied to systems and devices used for sports.
  • the "flag” is information for identifying a plurality of states, and is not only information used for identifying two states of true (1) or false (0), but also three or more states. It also contains information that can identify the state. Therefore, the value that this "flag” can take may be, for example, 2 values of 1/0 or 3 or more values. That is, the number of bits constituting this "flag” is arbitrary, and may be 1 bit or a plurality of bits.
  • the identification information (including the flag) is assumed to include not only the identification information in the bit stream but also the difference information of the identification information with respect to a certain reference information in the bit stream. In, the "flag” and “identification information” include not only the information but also the difference information with respect to the reference information.
  • various information (metadata, etc.) regarding the coded data may be transmitted or recorded in any form as long as it is associated with the coded data.
  • the term "associate" means, for example, to make the other data available (linkable) when processing one data. That is, the data associated with each other may be combined as one data or may be individual data.
  • the second data associated with the first data may be transmitted on a transmission path different from that of the first data.
  • the second data associated with the first data may be recorded on a recording medium (or another recording area of the same recording medium) different from the first data.
  • this "association" may be a part of the data, not the entire data.
  • the 3D data and the metadata corresponding to the 3D data may be associated with each other in any unit such as a plurality of samples, one sample, or a part of the sample.
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a configuration other than the above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • the above-mentioned program may be executed in any device.
  • the device may have necessary functions (functional blocks, etc.) so that necessary information can be obtained.
  • each step of one flowchart may be executed by one device, or may be shared and executed by a plurality of devices.
  • one device may execute the plurality of processes, or the plurality of devices may share and execute the plurality of processes.
  • a plurality of processes included in one step can be executed as processes of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • the program executed by the computer may have the following characteristics. For example, the processing of the steps of writing a program may be performed in chronological order in the order described herein. Further, the processes of the steps for writing the program may be executed in parallel. Further, the processing of the step for writing the program may be executed individually at a required timing such as when it is called. That is, as long as there is no contradiction, the processes of each step may be executed in an order different from the above-mentioned order. Further, the processing of the step for describing this program may be executed in parallel with the processing of other programs. Further, the processing of the step for writing this program may be executed in combination with the processing of another program.
  • a plurality of technologies related to this technology can be independently implemented independently as long as there is no contradiction.
  • any plurality of the present technologies can be used in combination.
  • some or all of the techniques described in any of the embodiments may be combined with some or all of the techniques described in other embodiments.
  • a part or all of any of the above-mentioned techniques may be carried out in combination with other techniques not described above.
  • the present technology can also have the following configurations.
  • a scalable decoding information generator that generates scalable decoding information regarding the scalable decoding of the G-PCC content based on the dependency between the first slice and the second slice.
  • An information processing device including a content file generation unit that generates a content file for storing the G-PCC content and stores the scalable decoding information in the metadata area of the content file.
  • the scalable decoding information includes slice configuration information relating to the slice configuration for each sample.
  • the content file generation unit sets a subsample for each slice, and stores the slice configuration information in the codec spiritual parameters of the subsample information box of the metadata area.
  • Information processing device sets a subsample for each slice, and stores the slice dependency information in the codec spiritual parameters of the subsample information box of the metadata area.
  • Information processing equipment (6)
  • the slice dependency information includes the reference source geometry slice identification information and the reference destination geometry slice identification information.
  • the reference source geometry slice identification information is identification information of a geometry slice that is a reference source in the dependency relationship between the first slice and the second slice.
  • the information processing apparatus according to (6) or (7), which stores identification information.
  • the information processing apparatus according to any one of (4) to (8), wherein the slice dependency information includes attribute geometry slice identification information which is identification information of the geometry slice referred to by the attribute slice.
  • the content file generation unit sets a subsample for each slice, and stores the attribute geometry slice identification information in the codec spiritual parameters of the subsample information box of the metadata area (9).
  • the slice dependency information includes any of (4) to (8), which is non-scalable coded attribute geometry slice identification information which is identification information of the geometry slice referred to by the attribute slice to which the non-scalable coding is applied. Information processing device described in Crab.
  • the non-scalable coded attribute geometry slice identification information includes the identification information of the geometry slice including the geometry having the maximum depth information among the geometry slices referred to by the attribute slice (11).
  • Information processing equipment (13)
  • the content file generation unit sets a subsample for each slice, and stores the non-scalable coded attribute geometry slice identification information in the codec spiritual parameters of the subsample information box of the metadata area.
  • the information processing apparatus according to (11) or (12).
  • (14) The information according to any one of (11) to (13), wherein the non-scalable coded attribute geometry slice identification information includes a non-scalable coded flag indicating whether non-scalable coding has been applied to the attribute slice. Processing equipment.
  • the content file generation unit sets a subsample for each slice, and stores the non-scalable coding flag in the codec spiritual parameters of the subsample information box of the metadata area (14).
  • the payload type of the slice dependency information of the independently decodable independent geometry slice is different from the payload type of the slice dependency information of the dependent geometry slice that refers to the other geometry slice at the time of decoding (10).
  • the slice configuration information includes geometry slice depth information related to the depth information of the geometry included in the geometry slice.
  • the geometry slice depth information includes the minimum depth information indicating the minimum value of the depth information in the geometry slice.
  • the information processing apparatus according to (17) or (18), wherein the geometry slice depth information includes maximum depth information indicating the maximum value of the depth information in the geometry slice.
  • the content file generation unit sets a subsample for each slice, and stores the geometry slice depth information in the codec spiritual parameters of the subsample information box of the metadata area (17) to ( The information processing apparatus according to any one of 19).
  • the slice composition information further includes slice dependency information indicating the dependency between the first slice and the second slice.
  • the content file generation unit sets the flags of the subsample information box that stores the geometry slice depth information to a value different from the flags of the subsample information box that stores the slice dependency information (20).
  • the scalable decoding information includes track configuration information relating to the configuration of a track that stores the G-PCC content in slice units in the content file. ..
  • the track configuration information includes track depth information relating to the depth information of the geometry of the geometry of all the slices included in the track corresponding to the track configuration information.
  • the track depth information includes track minimum depth information indicating the minimum value of the depth information in the track.
  • the track depth information includes track maximum depth information indicating the maximum value of the depth information in the track.
  • the minimum value of the depth information in each sample included in the track matches the minimum value of the depth information in the track, and the depth in each sample included in the track.
  • the track configuration information includes track dependency information indicating a dependency between the first track and the second track.
  • the information processing apparatus includes dependent information indicating another track including the slice necessary for decoding the dependent slice contained in the track.
  • the dependent information indicates all the other tracks including the slice required for decoding the dependent slice.
  • the information processing apparatus indicates the other track including the slice referenced from the dependent slice.
  • the track dependency information includes independent information indicating other tracks including other slices that require an independent slice included in the track at the time of decoding, according to any one of (28) to (31). Information processing equipment.
  • the information processing apparatus indicates the other track including the other slice that refers to the independent slice at the time of decoding.
  • the content file generation unit stores the track dependency information as a track reference in the metadata area.
  • Depth information indicating the quality hierarchy level of the geometry contained in each slice in the G-PCC (Geometry-based Point Cloud Compression) content including the first slice and the second slice, and the said in the G-PCC content.
  • the scalable decoding information regarding the scalable decoding of the G-PCC content is generated.
  • the scalable decoding information is information related to the scalable decoding of the G-PCC content, and the depth information indicating the quality hierarchy level of the geometry contained in the slice in the G-PCC content and the first-first in the G-PCC content.
  • An information processing device that is information generated based on a dependency between a slice and the second slice.
  • the information processing apparatus includes slice configuration information relating to the configuration of the slice for each sample.
  • the extraction unit is from the content file based on the slice configuration information stored in the codec spiritual parameters of the subsample information box of the metadata area of the subsample set for each slice.
  • the information processing apparatus according to (52), wherein any slice of the G-PCC content is extracted.
  • the information processing apparatus according to (52) or (53), wherein the slice configuration information includes slice dependency information indicating the dependency between the first slice and the second slice.
  • the extraction unit is the content file based on the slice dependency information stored in the codec spiritual parameters of the subsample information box of the metadata area of the subsample set for each slice.
  • the information processing apparatus wherein any slice of the G-PCC content is extracted from the G-PCC content.
  • the slice dependency information includes the reference source geometry slice identification information and the reference destination geometry slice identification information.
  • the reference source geometry slice identification information is identification information of a geometry slice that is a reference source in the dependency relationship between the first slice and the second slice.
  • the information processing according to (54) or (55), wherein the referenced geometry slice identification information is identification information of a geometry slice to be referenced in the dependency between the first slice and the second slice.
  • the reference source geometry slice identification information and the reference destination geometry slice identification information are the same (56). ).
  • the information processing device When the geometry slice corresponding to the reference source geometry slice identification information is an independent geometry slice that can be independently decoded, the reference source geometry slice identification information and the reference destination geometry slice identification information are the same (56). ).
  • the information processing device When the geometry slice corresponding to the reference source geometry slice identification information is an independent geometry slice that can be independently decoded, the reference source geometry slice identification information and the reference
  • the extraction unit receives the reference source geometry slice identification information and the reference destination geometry stored in the codec-spirit parameters of the subsample information box of the metadata area of the subsample set for each slice.
  • the information processing apparatus according to (56) or (57), which extracts any said slice of the G-PCC content from the content file based on the slice identification information.
  • the information processing apparatus according to any one of (54) to (58), wherein the slice dependency information includes attribute geometry slice identification information which is identification information of the geometry slice referred to by the attribute slice.
  • the extraction unit is based on the attribute geometry slice identification information stored in the codec spiritual parameters of the subsample information box of the metadata area of the subsample set for each slice.
  • the slice dependency information includes non-scalable coded attribute geometry slice identification information which is identification information of the geometry slice referred to by the attribute slice to which the non-scalable coding is applied. Information processing device described in Crab.
  • the non-scalable coded attribute geometry slice identification information includes the identification information of the geometry slice including the geometry having the maximum depth information among the geometry slices referred to by the attribute slice (61). Information processing equipment.
  • the extraction unit uses the non-scalable coded attribute geometry slice identification information stored in the codec spiritual parameters of the subsample information box of the metadata area of the subsample set for each slice.
  • the information processing apparatus which extracts any said slice of the G-PCC content from the content file based on the above.
  • Processing equipment. (65)
  • the extraction unit is based on the non-scalable coding flag stored in the codec spiritual parameters of the subsample information box of the metadata area of the subsample set for each slice.
  • the information processing apparatus according to (64), wherein any slice of the G-PCC content is extracted from the content file.
  • the payload type of the slice dependency information of an independently decodable independent geometry slice is different from the payload type of the slice dependency information of a dependent geometry slice that references the other geometry slice during decoding (60). ) To (65). (67) The information processing apparatus according to any one of (52) to (66), wherein the slice configuration information includes geometry slice depth information relating to the depth information of the geometry included in the geometry slice. (68) The information processing apparatus according to (67), wherein the geometry slice depth information includes the minimum depth information indicating the minimum value of the depth information in the geometry slice. (69) The information processing apparatus according to (67) or (68), wherein the geometry slice depth information includes maximum depth information indicating the maximum value of the depth information in the geometry slice.
  • the extraction unit is based on the geometry slice depth information stored in the codec spiritual parameters of the subsample information box of the metadata area of the subsample set for each slice.
  • the information processing apparatus according to any one of (67) to (69), wherein any slice of the G-PCC content is extracted from a file.
  • the slice composition information further includes slice dependency information indicating the dependency between the first slice and the second slice.
  • the information according to (70), wherein the flags of the subsample information box that stores the geometry slice depth information and the flags of the subsample information box that stores the slice dependency information are set to different values. Processing equipment.
  • the scalable decoding information includes track configuration information relating to the configuration of a track that stores the G-PCC content in slice units in the content file. .. (73)
  • the track configuration information includes track depth information relating to the depth information of the geometry of the geometry of all the slices included in the track corresponding to the track configuration information.
  • the track depth information includes track minimum depth information indicating a minimum value of the depth information in the track.
  • the track depth information includes track maximum depth information indicating the maximum value of the depth information in the track.
  • the minimum value of the depth information in each sample included in the track matches the minimum value of the depth information in the track, and the depth in each sample included in the track.
  • the information processing apparatus according to any one of (73) to (75), which includes a match flag indicating whether the maximum value of information matches the maximum value of the depth information in the track.
  • the extraction unit extracts any slice of the G-PCC content from the content file based on the track depth information stored in the depth information box of the sample entry in the metadata area.
  • the information processing apparatus according to any one of (72) to (77) wherein the track configuration information includes track dependency information indicating a dependency between the first track and the second track.
  • the information processing apparatus includes dependent information indicating another track including the slice necessary for decoding the dependent slice contained in the track.
  • the dependent information indicates all the other tracks including the slice required for decoding the dependent slice.
  • the information processing apparatus indicates the other track including the slice referenced from the dependent slice.
  • the track dependency information includes independent information indicating other tracks including other slices that require an independent slice included in the track at the time of decoding, according to any one of (78) to (81). Information processing equipment.
  • the information processing apparatus indicates the other track including the other slice that refers to the independent slice at the time of decoding.
  • the extraction unit extracts any slice of the G-PCC content from the content file based on the track dependency information stored as a track reference in the metadata area (78) to.
  • the information processing apparatus according to any one of (83).
  • (85) From the content file based on the scalable decoding information stored in the metadata area of the content file that stores the G-PCC (Geometry-based Point Cloud Compression) content including the first slice and the second slice.
  • G-PCC Geometry-based Point Cloud Compression
  • the scalable decoding information is information related to the scalable decoding of the G-PCC content, and the depth information indicating the quality hierarchy level of the geometry contained in the slice in the G-PCC content and the first-first in the G-PCC content.
  • An information processing method that is information generated based on a dependency between a slice and the second slice.
  • the adaptation set configuration information is information processing device that is information about the configuration of an adaptation set that describes information about the track of the content file.
  • the adaptation set configuration information includes adaptation set depth information relating to the depth information of the geometry of the geometry of all the slices included in the track corresponding to the adaptation set.
  • the adaptation set depth information includes the adaptation set minimum depth information indicating the minimum value of the depth information in the track.
  • the adaptation set depth information includes adaptation set maximum depth information indicating the maximum value of the depth information in the track.
  • the sample minimum depth information of each sample included in the track matches the adaptation set minimum depth information
  • the sample maximum depth information of each sample included in the track is the adaptation set maximum.
  • the sample minimum depth information indicates the minimum value of the depth information in the sample.
  • the sample maximum depth information indicates the maximum value of the depth information in the sample.
  • the adaptation set minimum depth information indicates the minimum value of the depth information in the track.
  • the information processing apparatus according to any one of (102) to (104), wherein the adaptation set maximum depth information indicates the maximum value of the depth information in the track.
  • the information processing apparatus according to any one of (102) to (104), wherein the adaptation set maximum depth information indicates the maximum value of the depth information in the track.
  • the adaptation set configuration information includes representation dependency information indicating a dependency between a first representation and a second representation.
  • the representation dependency information includes dependent information indicating other representations necessary for decoding the representation corresponding to the representation dependency information.
  • the information processing apparatus wherein the dependent information indicates all the other representations necessary for decoding the representation corresponding to the dependent information.
  • the representation dependency information includes any of (106) to (109) including independent information indicating other representations for which a representation corresponding to the representation dependency information is required at the time of decoding. The information processing device described. (111) The information processing apparatus according to (110), wherein the independent information indicates all the other representations for which the representation corresponding to the independent information is required at the time of decoding.
  • the information processing apparatus according to any one of (106) to (111), wherein the control file generation unit stores the representation dependency information in the control file as a representation association ID and an association type.
  • Depth information indicating the quality hierarchy level of the geometry contained in each slice in the G-PCC (Geometry-based Point Cloud Compression) content including the first slice and the second slice, and the said in the G-PCC content.
  • Adaptation set configuration information is generated based on the dependency between the first slice and the second slice.
  • a control file for controlling the reproduction of the content file for storing the G-PCC content is generated, and the adaptation set configuration information is stored in the control file.
  • the content file stores the G-PCC content in a track in slice units.
  • the adaptation set configuration information is information processing method that is information regarding the configuration of an adaptation set that describes information about the track of the content file.
  • the control file that controls the reproduction of the content file that stores the G-PCC (Geometry-based Point Cloud Compression) content including the first slice and the second slice in the track in slice units is analyzed, and the control file is described.
  • An analysis unit that identifies the adaptation set required to obtain an arbitrary slice of the G-PCC content based on the adaptation set configuration information stored in.
  • An acquisition unit that acquires the track corresponding to the adaptation set specified by the analysis unit of the content file, and an acquisition unit.
  • a decoding unit for decoding the slice of the G-PCC content stored in the track acquired by the acquisition unit is provided.
  • the adaptation set configuration information is information about the configuration of the adaptation set that describes the information about the track of the content file, and is depth information indicating the quality hierarchy level of the geometry contained in the slice in the G-PCC content and the said.
  • An information processing device that is information generated based on the dependency between the first slice and the second slice in the G-PCC content.
  • the adaptation set configuration information includes adaptation set depth information relating to the depth information of the geometry of the geometry of all the slices included in the track corresponding to the adaptation set.
  • the adaptation set depth information includes the adaptation set minimum depth information indicating the minimum value of the depth information in the track.
  • the adaptation set depth information includes adaptation set maximum depth information indicating the maximum value of the depth information in the track.
  • the sample minimum depth information of each sample included in the track matches the adaptation set minimum depth information
  • the sample maximum depth information of each sample included in the track is the adaptation set maximum. Includes a match flag to indicate if it matches the depth information
  • the sample minimum depth information indicates the minimum value of the depth information in the sample.
  • the sample maximum depth information indicates the maximum value of the depth information in the sample.
  • the adaptation set minimum depth information indicates the minimum value of the depth information in the track.
  • the information processing apparatus according to any one of (152) to (154), wherein the adaptation set maximum depth information indicates the maximum value of the depth information in the track.
  • the adaptation set configuration information includes representation dependency information indicating a dependency between a first representation and a second representation.
  • the representation dependency information includes dependent information indicating other representations necessary for decoding the representation corresponding to the representation dependency information.
  • the dependent information indicates all the other representations necessary for decoding the representation corresponding to the dependent information.
  • the dependent information indicates the other representation referred to from the representation corresponding to the dependent information.
  • the representation dependency information includes any of (156) to (159) including independent information indicating other representations for which a representation corresponding to the representation dependency information is required at the time of decoding.
  • the information processing device described. (161) The information processing apparatus according to (160), wherein the independent information indicates all the other representations for which the representation corresponding to the independent information is required at the time of decoding.
  • the analysis unit identifies the adaptation set based on the representation association ID and the representation dependency information stored as the association type in the control file (156) to (161).
  • the information processing device described. (163) The control file that controls the reproduction of the content file that stores the G-PCC (Geometry-based Point Cloud Compression) content including the first slice and the second slice in the track in slice units is analyzed, and the control file is described.
  • G-PCC Geometry-based Point Cloud Compression
  • the adaptation set configuration information is information about the configuration of the adaptation set that describes the information about the track of the content file, and is depth information indicating the quality hierarchy level of the geometry contained in the slice in the G-PCC content and the said.
  • An information processing method that is information generated based on the dependency between the first slice and the second slice in the G-PCC content.
  • 300 file generation device 311 extraction unit, 312 coding unit, 313 bitstream generation unit, 314 scalable decoding information generation unit, 315 file generation unit, 321 geometry coding unit, 322 attribute coding unit, 323 metadata generation unit, 400 playback device, 401 control unit, 411 file acquisition unit, 412 playback processing unit, 413 presentation processing unit, 421 file processing unit, 422 decoding unit, 423 presentation information generation unit, 431 bitstream extraction unit, 441 geometry decoding unit, 442 Attribute decoding unit, 451 point cloud construction unit, 452 presentation processing unit, 600 file generation device, 615 content file generation unit, 616 MPD generation unit, 700 playback device, 711 file acquisition unit, 712 MPD analysis unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本開示は、再生処理の負荷の増大を抑制することができるようにする情報処理装置および方法に関する。 G-PCCコンテンツにおけるスライスのデプスとスライス間の依存関係とに基づいてスケーラブル復号情報を生成し、G-PCCコンテンツを格納するコンテンツファイルのメタデータ領域に格納する。また、そのコンテンツファイルのメタデータ領域に格納されたスケーラブル復号情報に基づいて、そのコンテンツファイルから、そのG-PCCコンテンツの任意のスライスを抽出し、復号する。本開示は、例えば、情報処理装置、または情報処理方法等に適用することができる。

Description

情報処理装置および方法
 本開示は、情報処理装置および方法に関し、特に、再生処理の負荷の増大を抑制することができるようにした情報処理装置および方法に関する。
 従来、動画像の符号化技術として例えばHEVC(High Efficiency Video Coding)等、様々な方法が提案された。そのように符号化された動画像を伝送する際の技術として、動画圧縮の国際標準技術「MPEG-4(Moving Picture Experts Group - 4)」のファイルコンテナ仕様であるISOBMFF(International Organization for Standardization Base Media File Format)があった(例えば非特許文献1参照)。
 また、例えばHEVC等の符号化技術においては、符号化データを例えば解像度等によって階層構造化し、スケーラブルな復号に対応することができた。そして、その階層単位で符号化データをトラックに分けて格納し、所望の階層の符号化データのみを選択的に伝送し得るファイルフォーマットも提案された(例えば非特許文献2参照)。
 ところで、3次元形状のオブジェクトをポイントの集合として表現するポイントクラウド(Point cloud)の符号化方法として、ポイントクラウドのデータをポイントの位置情報を示すジオメトリ(geometry)とポイントの属性情報を示すアトリビュート(attribute)に分けて符号化するG-PCC(Geometry-based Point Cloud Compression)という符号化技術がMPEG-I Part 9 (ISO/IEC 23090-9)で規格化作業中である(例えば、非特許文献3参照)。このG-PCCにおいて、独立に復号可能なスライス構造を形成することが提案された(非特許文献4参照)。
 また、このG-PCCを適用してポイントクラウドを符号化することにより得られるG-PCCコンテンツを伝送する際の技術として、上述のISOBMFFに格納することが提案された(例えば非特許文献5参照)。
"Information technology - Coding of audio-visual objects - Part 12:ISO base media file format", ISO/IEC 14496-12, 2015-02-20 "Information technology - Coding of audio-visual objects - Part 15: Carriage of network abstraction layer (NAL) unit structured video in the ISO base media file format", ISO/IEC FDIS 14496-15:2014(E), 2014-01-13 "G-PCC Future Enhancements", ISO/IEC JTC 1/SC 29/WG 11 N19328, 2020-6-26 David Flynn, Khaled Mammou, "G-PCC: A hierarchical geometry slice structure", ISO/IEC JCTC1/SC29/WG11 MPEG/m54677, April 2020, Online Sejin Oh, Ryohei Takahashi, Youngkwon Lim, "Text of ISO/IEC CD 23090-18 Carriage of Geometry-based Point Cloud Compression Data", ISO/IEC JTC 1/SC 29/WG 11 N19442, 2020-07-30
 しかしながら、非特許文献5に記載の方法は、非特許文献4に記載のようなスライス構造に対応していなかった。そのため、G-PCCコンテンツの一部のスライスを復号するためには、G-PCCコンテンツ全体を伝送し、パース(解析)しなければならず、再生処理の負荷が増大するおそれがあった。
 本開示は、このような状況に鑑みてなされたものであり、再生処理の負荷の増大を抑制することができるようにするものである。
 本技術の一側面の情報処理装置は、第1のスライスと第2のスライスを含むG-PCC(Geometry-based Point Cloud Compression)コンテンツにおける各スライスの品質階層レベルを示すデプス情報と、前記G-PCCコンテンツにおける前記第1のスライスと前記第2のスライスの間の依存関係とに基づいて、前記G-PCCコンテンツのスケーラブル復号に関するスケーラブル復号情報を生成するスケーラブル復号情報生成部と、前記G-PCCコンテンツを格納するコンテンツファイルを生成し、前記スケーラブル復号情報を前記コンテンツファイルのメタデータ領域に格納するコンテンツファイル生成部とを備える情報処理装置である。
 本技術の一側面の情報処理方法は、第1のスライスと第2のスライスを含むG-PCC(Geometry-based Point Cloud Compression)コンテンツにおける各スライスの品質階層レベルを示すデプス情報と、前記G-PCCコンテンツにおける前記第1のスライスと前記第2のスライスの間の依存関係とに基づいて、前記G-PCCコンテンツのスケーラブル復号に関するスケーラブル復号情報を生成し、前記G-PCCコンテンツを格納するコンテンツファイルを生成し、前記スケーラブル復号情報を前記コンテンツファイルのメタデータ領域に格納する情報処理方法である。
 本技術の他の側面の情報処理装置は、第1のスライスと第2のスライスを含むG-PCC(Geometry-based Point Cloud Compression)コンテンツを格納するコンテンツファイルのメタデータ領域に格納されたスケーラブル復号情報に基づいて、前記コンテンツファイルから、前記G-PCCコンテンツの任意のスライスを抽出する抽出部と、前記抽出部により抽出された前記G-PCCコンテンツの前記スライスを復号する復号部とを備え、前記スケーラブル復号情報は、前記G-PCCコンテンツのスケーラブル復号に関する情報であり、前記G-PCCコンテンツにおける前記スライスの品質階層レベルを示すデプス情報と前記G-PCCコンテンツにおける前記第1のスライスと前記第2のスライスの間の依存関係とに基づいて生成された情報である情報処理装置である。
 本技術の他の側面の情報処理方法は、第1のスライスと第2のスライスを含むG-PCC(Geometry-based Point Cloud Compression)コンテンツを格納するコンテンツファイルのメタデータ領域に格納されたスケーラブル復号情報に基づいて、前記コンテンツファイルから、前記G-PCCコンテンツの任意のスライスを抽出し、抽出された前記G-PCCコンテンツの前記スライスを復号し、前記スケーラブル復号情報は、前記G-PCCコンテンツのスケーラブル復号に関する情報であり、前記G-PCCコンテンツにおける前記スライスの品質階層レベルを示すデプス情報と前記G-PCCコンテンツにおける前記第1のスライスと前記第2のスライスの間の依存関係とに基づいて生成された情報である情報処理方法である。
 本技術の一側面の情報処理装置および方法においては、第1のスライスと第2のスライスを含むG-PCC(Geometry-based Point Cloud Compression)コンテンツにおける各スライスの品質階層レベルを示すデプス情報と、そのG-PCCコンテンツにおける第1のスライスと第2のスライスの間の依存関係とに基づいて、そのG-PCCコンテンツのスケーラブル復号に関するスケーラブル復号情報が生成され、そのG-PCCコンテンツを格納するコンテンツファイルが生成され、そのスケーラブル復号情報がコンテンツファイルのメタデータ領域に格納される。
 本技術の他の側面の情報処理装置および方法においては、第1のスライスと第2のスライスを含むG-PCC(Geometry-based Point Cloud Compression)コンテンツを格納するコンテンツファイルのメタデータ領域に格納されたスケーラブル復号情報に基づいて、そのコンテンツファイルから、そのG-PCCコンテンツの任意のスライスが抽出され、その抽出されたG-PCCコンテンツのスライスが復号される。
L-HEVC ファイルフォーマットについて説明する図である。 ジオメトリのスライス構造について説明する図である。 ビットストリームの構造について説明する図である。 コンテンツファイルの構造について説明する図である。 G-PCCコンテンツの伝送方法について説明する図である。 G-PCCコンテンツの伝送方法について説明する図である。 スライス構成情報について説明する図である。 サブサンプルインフォメーションボックスの例を示す図である。 スライス依存関係情報について図である。 アトリビュートジオメトリスライス識別情報について説明する図である。 非スケーラブル符号化が適用されたアトリビュートスライスについて説明する図である。 非スケーラブル符号化アトリビュートジオメトリスライス識別情報について説明する図である。 スライス依存関係情報について説明する図である。 ジオメトリスライスデプス情報について説明する図である。 トラック構成情報について説明する図である。 トラックデプス情報について説明する図である。 トラック依存関係情報について説明する図である。 マトリョーシカメディアコンテナの構成例を示す図である。 ファイル生成装置の主な構成例を示すブロック図である。 ファイル生成処理の流れの例を示すフローチャートである。 復号装置の主な構成例を示すブロック図である。 再生処理部の主な構成例を示すブロック図である。 再生処理の流れの例を示すフローチャートである。 G-PCCコンテンツの制御ファイルについて説明する図である。 アダプテーションセット構成情報について説明する図である。 MPDの記述例を示す図である。 ファイル生成装置の主な構成例を示すブロック図である。 ファイル生成処理の流れの例を示すフローチャートである。 復号装置の主な構成例を示すブロック図である。 再生処理の流れの例を示すフローチャートである。 コンピュータの主な構成例を示すブロック図である。
 以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
 1.スライス構造を有するG-PCCコンテンツの伝送
 2.コンテンツファイルによるスケーラブル復号情報の伝送
 3.第1の実施の形態(ファイル生成装置、再生装置)
 4.制御ファイルによるスケーラブル復号情報の伝送
 5.第2の実施の形態(ファイル生成装置、再生装置)
 6.付記
 <1.スライス構造を有するG-PCCコンテンツの伝送>
  <技術内容・技術用語をサポートする文献等>
 本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献等に記載されている内容や以下の非特許文献において参照されている他の文献の内容等も含まれる。
 非特許文献1:(上述)
 非特許文献2:(上述)
 非特許文献3:(上述)
 非特許文献4:(上述)
 非特許文献5:(上述)
 非特許文献6:https://www.matroska.org/index.html
 つまり、上述の非特許文献に記載されている内容や、上述の非特許文献において参照されている他の文献の内容等も、サポート要件を判断する際の根拠となる。
  <HEVC>
 従来、動画像の符号化技術として例えばHEVC(High Efficiency Video Coding)等、様々な方法が提案された。そのように符号化された動画像を伝送する際の技術として、例えば非特許文献1に記載のような、動画圧縮の国際標準技術「MPEG-4(Moving Picture Experts Group - 4)」のファイルコンテナ仕様であるISOBMFF(International Organization for Standardization Base Media File Format)があった。
 また、例えばHEVC等の符号化技術においては、符号化データを例えば解像度等によって階層構造化し、スケーラブルな復号に対応することができた。そして、例えば非特許文献2に記載のように、その階層単位で符号化データをトラックに分けて格納し、所望の階層の符号化データのみを選択的に伝送し得るファイルフォーマット(L-HEVC file format)も提案された。
 L-HEVCファイルフォーマット(L-HEVC file format)では、動画像のビットストリームが階層構造を有しており、その単数または複数の階層(layer(s))をISOBMFFの個別のトラック(track)に格納することができる。図1に示されるように、ISOBMFFにおいては、各サンプル(sample)に含まれる階層(layer)の情報がサンプルグループ(Layer Information sample group)に格納される。ビットストリームが階層構造を有するように符号化するL-HEVCでは、インター(inter)予測が適用されるため階層構造が頻繁に変化しない。そのため、階層の情報は、サンプルグループ(sample group)に格納するのが好ましい。このサンプルグループは、トラックの選択のための情報としても利用され得る。
  <ポイントクラウド>
 ところで、3次元形状のオブジェクト(3Dオブジェクトとも称する)を表現する3Dデータとして、3Dオブジェクトをポイントの集合として表現するポイントクラウド(Point cloud)があった。
 例えばポイントクラウドの場合、立体構造物である3Dオブジェクトを多数のポイントの集合として表現する。ポイントクラウドは、各ポイントの位置情報(ジオメトリ(geometry)とも称する)と属性情報(アトリビュート(attribute)とも称する)とにより構成される。アトリビュートは任意の情報を含むことができる。例えば、各ポイントの色情報、反射率情報、法線情報等がアトリビュートに含まれるようにしてもよい。このようにポイントクラウドは、データ構造が比較的単純であるとともに、十分に多くの点を用いることにより3Dオブジェクトの3次元形状を十分な精度で表現することができる。
  <G-PCCの概要>
 非特許文献3では、このポイントクラウドについて、ジオメトリとアトリビュートに分けて符号化する、Geometry-based Point Cloud Compression(G-PCC)という符号化技術が開示された。G-PCCは、MPEG-I Part 9 (ISO/IEC 23090-9) で規格化作業中である。
 ジオメトリの符号化には、図2に示されるような木構造符号化が適用される。木構造符号化では、まず、ジオメトリが木構造化される。3次元空間が再帰的に分割され、各段階の分割領域でジオメトリが量子化されることにより、図2に示されるようなジオメトリの木構造が形成される。図2の場合、図中縦方向に示されるデプス(LODとも称する)0乃至デプス6に階層化された木構造が形成されている。
 分割回数が増大する程、分割領域の数が増大し、各分割領域がより小さくなるので、より多数かつより高精度なジオメトリのポイントで3Dオブジェクトを表現することになる。つまり、デプスが深くなる(より下位層程)程、ポイントクラウドの解像度がより高解像となる。そして、この木構造に従って各階層のジオメトリが符号化される。例えば、各階層のジオメトリと自身が属する1つ上位の階層のジオメトリとの差分を算出し、その差分を符号化する。各階層を独立に符号化してもよいが、このように差分を符号化することにより符号化効率を向上させることができる。
 上位層との差分が符号化されるので、所望のデプスのジオメトリを得るためには、そのデプスとそのデプスよりも上位層の符号化データを復号すればよい。例えば、図2の場合、デプス0乃至デプス2の符号化データを復号することにより、デプス2の解像度のジオメトリが得られる。換言するに、デプス3乃至デプス6の復号は不要である。このように一部の符号化データを復号するのみで所望の階層の情報を復元(生成)することができる復号方法をスケーラブル復号と称する。つまり、上述のように木構造化して符号化することにより、ジオメトリは、解像度によるスケーラブル復号が可能になる。
 例えば、スケーラブル復号に対応していない場合、全ての符号化データを復号して最下層の解像度(つまり最高解像度)のジオメトリを復元してから、それよりも低解像度の所望の解像度を生成する必要がある。これに対して、符号化データがスケーラブル復号に対応していれば、上述のように必要な一部の符号化データのみを復号することにより、所望の解像度を復元することができる。すなわち、再生処理の負荷の増大を抑制することができる。
 なお、図2では、このジオメトリの木構造の例として2分木が示されているが、任意の木構造を適用し得る。例えば、8分木(octree)やkdツリーであってもよい。
 以上のようにジオメトリが符号化されて生成される符号化データ(ビットストリーム)をジオメトリビットストリームとも称する。
 また、アトリビュートの圧縮には、Predicting Weight Lifting,Region Adaptive Hierarchical Transform (RAHT)、またはFix Weight Lifting等の手法が適用される。アトリビュートが符号化されて生成される符号化データ(ビットストリーム)をアトリビュートビットストリームとも称する。
 また、ジオメトリビットストリームとアトリビュートビットストリームを1本にまとめたビットストリームをG-PCCビットストリームまたはG-PCCコンテンツとも称する。
  <スライス>
 非特許文献4では、このG-PCCにおいて、ビットストリームにスライス構造を形成することが提案された。スライスはジオメトリやアトリビュートのデータを分割する単位である。本明細書において、ジオメトリのスライスをジオメトリスライスとも称する。また、アトリビュートのスライスをアトリビュートスライスとも称する。
 スライスは、ジオメトリの木構造のデプスを単位として区切られる。つまり、スライスは、単数のデプスまたは連続する複数のデプスのデータにより構成される。例えば図2において太線枠で区切られたデータ領域がスライスを示す。図中丸で囲まれた数字が各スライスの識別情報を示している。例えば、デプス0乃至デプス3のデータがスライス#1を形成する。また、スライスは、3次元空間における位置(領域)によって区切ることもできる。例えば、図2において、デプス4およびデプス5のデータは、領域A乃至領域Dに区切られ、スライス#2、スライス#3、スライス#4、スライス#5の4つのスライスを形成する。同様に、デプス6のデータは、領域A乃至領域Dに区切られ、スライス#6、スライス#7、スライス#8、スライス#9の4つのスライスを形成する。
 ジオメトリやアトリビュートのデータは、このスライス毎に符号化される。つまりジオメトリビットストリームやアトリビュートビットストリームは、このスライス毎に復号し得る。ただし、上述したようにジオメトリは上位層との差分を符号化するので、スライスには、独立に復号可能な独立スライス(independent slice)と、復号の際に他のスライスが必要な従属スライス(dependent slice)の2種類が存在する。
 例えば、図2の木構造の場合、復号してスライス#1のジオメトリ(例えば、デプス3のジオメトリ)を得るためには、スライス#1のジオメトリを復号すればよい。これに対して、復号してスライス#2のジオメトリ(例えば、デプス4の領域Aのジオメトリ)を得るためには、スライス#1のジオメトリとスライス#2のジオメトリを復号する必要がある。同様に、スライス#3乃至スライス#5の復号にもスライス#1の復号が必要である。また、スライス#6の復号には、スライス#1およびスライス#2の復号が必要である。スライス#7の復号には、スライス#1およびスライス#3の復号が必要である。スライス#8の復号には、スライス#1およびスライス#4の復号が必要である。スライス#9の復号には、スライス#1およびスライス#5の復号が必要である。
 つまり、スライス#1は独立スライスであり、スライス#2乃至スライス#9は従属スライスである。
 図3は、このようなスライス構造を有するビットストリームの主な構成例について説明する図である。図3においてグレー地で示されるビットストリーム30は、ジオメトリが図2のように木構造化およびスライス化されて符号化されるポイントクラウドのビットストリームである。図3においては、その一部を図示している。
 図3に示されるように、ビットストリーム30は、シーケンスパラメータセット(SPS(Sequence Parameter Set))、ジオメトリパラメータセット(GPS(Geometry Parameter Set))、アトリビュートパラメータセット(APS(Attribute Parameter Set))、タイルインベントリ(tile inventory)を有する。シーケンスパラメータセットは、シーケンス全体に関するパラメータセットである。ジオメトリパラメータセットは、ジオメトリに関するパラメータセットである。ジオメトリパラメータセットは、ジオメトリスライス単位で異なっていてもよい。アトリビュートパラメータセットは、アトリビュートに関するパラメータセットである。アトリビュートパラメータセットは、アトリビュートスライス単位で異なっていてもよい。タイルインベントリは、タイルの位置情報を格納する。タイル数やその位置情報は、フレーム毎に可変である。
 点線矢印31に示されるように、これらのデータに続いて、ポイントクラウドのビットストリームがサンプル毎に配置される。サンプルは、ある時刻のポイントクラウドであり、動画像のフレームに相当する。各サンプル内においてビットストリームは、スライス毎に配置される。各スライス内においては、ジオメトリビットストリーム、アトリビュートビットストリームの順に配置される。
 図3において各四角はデータユニットを示す。「geom_slice#1」のデータユニットは、スライス#1のジオメトリビットストリームを格納するデータユニットである。そしてこのデータユニットに続く「attr slice(s)」のデータユニットは、スライス#1のアトリビュートビットストリームを格納するデータユニットである。同一スライスを構成するジオメトリとアトリビュートのデータユニットには、互いに同一のスライス識別情報(slice_id)が割り当てられる。なお、アトリビュートはパラメータ毎にスライスを分けることもでき、1つのデータユニットに複数のアトリビュートスライスを格納することもできる。つまり、これらのデータユニットは、独立スライスであるスライス#1に対応するデータユニットであり、図2の木構造のデプス0乃至デプス3のデータを格納する。
 本明細書においては、ジオメトリのビットストリームを格納するデータユニットをジオメトリデータユニットとも称する。また、アトリビュートのビットストリームを格納するデータユニットをアトリビュートデータユニットとも称する。
 「geom_slice#2」のデータユニットは、スライス#2のジオメトリビットストリームを格納するジオメトリデータユニットである。このジオメトリデータユニットに続く「attr slice(s)」のデータユニットは、スライス#2のアトリビュートビットストリームを格納するアトリビュートデータユニットである。つまり、これらのデータユニットは、従属スライスであるスライス#2に対応するデータユニットであり、図2の木構造のデプス4およびデプス5の領域Aのデータを格納する。スライス#2は、矢印32に示されるように、スライス#1に従属する。
 「geom_slice#6」のデータユニットは、スライス#6のジオメトリビットストリームを格納するジオメトリデータユニットである。このジオメトリデータユニットに続く「attr slice(s)」のデータユニットは、スライス#6のアトリビュートビットストリームを格納するアトリビュートデータユニットである。つまり、これらのデータユニットは、従属スライスであるスライス#6に対応するデータユニットであり、図2の木構造のデプス6の領域Aのデータを格納する。スライス#6は、矢印33に示されるように、スライス#2に直接的に従属する。換言するに、スライス#6は、間接的にスライス#1にも従属する。
 「geom_slice#3」のデータユニットは、スライス#3のジオメトリビットストリームを格納するジオメトリデータユニットである。このジオメトリデータユニットに続く「attr slice(s)」のデータユニットは、スライス#3のアトリビュートビットストリームを格納するデータユニットである。つまり、これらのデータユニットは、従属スライスであるスライス#3に対応するデータユニットであり、図2の木構造のデプス4およびデプス5の領域Bのデータを格納する。スライス#3は、矢印34に示されるように、スライス#1に従属する。
 「geom_slice#7」のデータユニットは、スライス#7のジオメトリビットストリームを格納するジオメトリデータユニットである。このジオメトリデータユニットに続く「attr slice(s)」のデータユニットは、スライス#7のアトリビュートビットストリームを格納するデータユニットである。つまり、これらのデータユニットは、従属スライスであるスライス#7に対応するデータユニットであり、図2の木構造のデプス6の領域Bのデータを格納する。スライス#7は、矢印35に示されるように、スライス#3に直接的に従属する。換言するに、スライス#7は、間接的にスライス#1にも従属する。
 図示は省略しているが、この後も同様に、スライス#4、スライス#8、スライス#5、スライス#9のそれぞれに対応するデータユニット(ジオメトリデータユニットおよびアトリビュートデータユニット)が配置される。なお、スライスとタイルの紐づけは、ジオメトリデータユニットに格納されるタイル識別情報(tile_id)によって行われる。
 ビットストリームにおいてこのようなスライス構造が形成されていない場合、スケーラブル復号を行うために、デコーダは、ビットストリームをパース(解析)してどのデプスのデータがビットストリームのどの部分に対応するかを把握する必要があった。これに対して、ビットストリームが上述のようなスライス構造を形成することにより、デコーダは、復号するデータをスライス単位で容易に選択することができる。
 例えば図2の木構造についてスライス#1のデータを得る場合、デコーダは、図3のスライス#1に対応するデータユニットに格納されるビットストリームを復号すればよい。また、スライス#2のデータを得る場合、デコーダは、スライス#1に対応するデータユニットに格納されるビットストリームと、スライス#2に対応するデータユニットに格納されるビットストリームを復号すればよい。スライス#6のデータを得る場合、デコーダは、スライス#1に対応するデータユニットに格納されるビットストリームと、スライス#2に対応するデータユニットに格納されるビットストリームと、スライス#6に対応するデータユニットに格納されるビットストリームを復号すればよい。
 同様に、スライス#3のデータを得る場合、デコーダは、スライス#1に対応するデータユニットに格納されるビットストリームと、スライス#3に対応するデータユニットに格納されるビットストリームを復号すればよい。スライス#7のデータを得る場合、デコーダは、スライス#1に対応するデータユニットに格納されるビットストリームと、スライス#3に対応するデータユニットに格納されるビットストリームと、スライス#7に対応するデータユニットに格納されるビットストリームを復号すればよい。
 スライス#4のデータを得る場合、デコーダは、スライス#1に対応するデータユニットに格納されるビットストリームと、スライス#4に対応するデータユニットに格納されるビットストリームを復号すればよい。スライス#8のデータを得る場合、デコーダは、スライス#1に対応するデータユニットに格納されるビットストリームと、スライス#4に対応するデータユニットに格納されるビットストリームと、スライス#8に対応するデータユニットに格納されるビットストリームを復号すればよい。
 スライス#5のデータを得る場合、デコーダは、スライス#1に対応するデータユニットに格納されるビットストリームと、スライス#5に対応するデータユニットに格納されるビットストリームを復号すればよい。スライス#9のデータを得る場合、デコーダは、スライス#1に対応するデータユニットに格納されるビットストリームと、スライス#5に対応するデータユニットに格納されるビットストリームと、スライス#9に対応するデータユニットに格納されるビットストリームを復号すればよい。
 したがって、デコーダは、より容易に、スケーラブル復号を行うことができる。
 なお、本明細書において、ジオメトリの独立スライスを独立ジオメトリスライスとも称する。ジオメトリの従属スライスを従属ジオメトリスライスとも称する。また、アトリビュートの独立スライスを独立アトリビュートスライスとも称する。アトリビュートの従属スライスを従属アトリビュートスライスとも称する。
  <G-PCCコンテンツのISOBMFFへの格納>
 非特許文献5には、G-PCCコンテンツ(G-PCCビットストリーム)のローカルストレージからの再生処理やネットワーク配信の効率化を目的とし、G-PCCコンテンツをISOBMFFに格納する方法が開示された。この方法は、MPEG-I Part 18(ISO/IEC 23090-18)で規格化作業中である。
 図4は、その場合のファイル構造の例を示す図である。本明細書において、G-PCCコンテンツをISOBMFFに格納したものをコンテンツファイルとも称する。
 コンテンツファイルのメタデータ領域にあるGPCCDecoderConfigurationRecordにシーケンスパラメータセットが格納される。GPCCDecoderConfigurationRecordは、さらに、サンプルエントリタイプ(sample entry type)に応じてジオメトリパラメータセット、アトリビュートパラメータセット、タイルインベントリを含み得る。
 メディアデータボックス(Media)のサンプル(sample)は、1ポイントクラウドフレーム(point cloud frame)に相当するジオメトリスライス(geometry slice)とアトリビュートスライス(attribute slice)を含む。さらに、サンプルエントリタイプに応じてジオメトリパラメータセット、アトリビュートパラメータセット、タイルインベントリを含み得る。
  <スライス構造を有するG-PCCコンテンツのISOBMFFへの格納>
 例えば、非特許文献2に記載のL-HEVCファイルフォーマットのように、ビットストリームをスライス単位でトラックに分けて格納することができれば、G-PCCコンテンツの配信時において、再生対象のデプスに相当する一部のみを伝送し、復号するといった、所謂プログレッシブダウンロード・デコードが可能になる。これにより、データ伝送量や復号するデータ量の増大を抑制することができる。例えば、大規模なポイントクラウドの配信等において、表示遅延の増大を抑制することができる。
 しかしながら、非特許文献5には、このようなスライス構造を有するG-PCCコンテンツをISOBMFFに格納することは開示されていなかった。そのため、G-PCCコンテンツの一部のスライスを復号する場合も、G-PCCコンテンツ全体を伝送し無ければならず、伝送するデータ量が増大するおそれがあった。また、仮にトラックを用いてビットストリームを分けるとしても、どのデプスのデータがどのトラックに含まれるか等のスケーラブル復号に必要な情報は、ビットストリーム内にのみ存在するため、デコーダは、ビットストリームをパースする必要があった。さらに、G-PCCはイントラ(intra)符号化が適用されるため、サンプル(フレーム)毎にデプスの階層構造が変わるケースが一般的に起こり得る。そのため、デコーダは、スケーラブル復号に必要な情報を得るために、ビットストリーム全体をパースする必要があった。このように、再生処理の負荷が増大するおそれがあった。
 <2.コンテンツファイルによるスケーラブル復号情報の伝送>
 そこで、図5に示される表の一番上の段に示されるように、コンテンツファイルのメタデータ領域に格納された、スライス構造を有するG-PCCコンテンツのスケーラブル復号情報を伝送するようにする(方法1)。なお、本明細書において、スケーラブル復号情報は、スライス構造を有するG-PCCコンテンツのスケーラブル復号に関する(スケーラブル復号情報に利用される)情報である。また、このスケーラブル復号情報は、スライス構造を有するG-PCCコンテンツの各スライスのデプスとスライス間の依存関係とに基づいて設定される。
 例えば、情報処理装置において、第1のスライスと第2のスライスを含むG-PCCコンテンツにおける各スライスに含まれるジオメトリの品質階層レベルを示すデプス情報と、そのG-PCCコンテンツにおける第1のスライスと第2のスライスの間の依存関係とに基づいて、そのG-PCCコンテンツのスケーラブル復号に関するスケーラブル復号情報を生成するスケーラブル復号情報生成部と、そのG-PCCコンテンツを格納するコンテンツファイルを生成し、そのスケーラブル復号情報をそのコンテンツファイルのメタデータ領域に格納するコンテンツファイル生成部とを備えるようにする。
 例えば、情報処理方法において、第1のスライスと第2のスライスを含むG-PCCコンテンツにおける各スライスに含まれるジオメトリの品質階層レベルを示すデプス情報と、そのG-PCCコンテンツにおける第1のスライスと第2のスライスの間の依存関係とに基づいて、そのG-PCCコンテンツのスケーラブル復号に関するスケーラブル復号情報を生成し、そのG-PCCコンテンツを格納するコンテンツファイルを生成し、そのスケーラブル復号情報をそのコンテンツファイルのメタデータ領域に格納するようにする。
 また、例えば、情報処理装置において、第1のスライスと第2のスライスを含むG-PCCコンテンツを格納するコンテンツファイルのメタデータ領域に格納されたスケーラブル復号情報に基づいて、そのコンテンツファイルから、そのG-PCCコンテンツの任意のスライスを抽出する抽出部と、その抽出部により抽出されたG-PCCコンテンツのスライスを復号する復号部とを備えるようにする。なお、スケーラブル復号情報は、G-PCCコンテンツのスケーラブル復号に関する情報であり、そのG-PCCコンテンツにおけるスライスに含まれるジオメトリの品質階層レベルを示すデプス情報とそのG-PCCコンテンツにおける第1のスライスと第2のスライスの間の依存関係とに基づいて生成された情報である。
 例えば、情報処理方法において、第1のスライスと第2のスライスを含むG-PCCコンテンツを格納するコンテンツファイルのメタデータ領域に格納されたスケーラブル復号情報に基づいて、そのコンテンツファイルから、そのG-PCCコンテンツの任意のスライスを抽出し、その抽出されたG-PCCコンテンツのスライスを復号するようにする。なお、スケーラブル復号情報は、G-PCCコンテンツのスケーラブル復号に関する情報であり、そのG-PCCコンテンツにおけるスライスに含まれるジオメトリの品質階層レベルを示すデプス情報とそのG-PCCコンテンツにおける第1のスライスと第2のスライスの間の依存関係とに基づいて生成された情報である。
 このようにすることにより、デコーダは、コンテンツファイルのメタデータ領域にあるスケーラブル復号情報に基づいて、所望のデプスや領域のポイントクラウドを再生するのに必要なスライスを抽出して復号し、提示情報を生成することができる。これにより、デコーダの不要な処理(不要な情報の伝送やビットストリームのパース等)を低減させることができる。したがって、再生処理の負荷の増大を抑制することができる。
 G-PCCコンテンツのユースケースとして、ポイントクラウドの地図データや映画製作におけるバーチャルアセット(実物の映画セットをデジタルデータ化したもの)など、大規模なポイントクラウドデータの符号化がある。このような大規模なポイントクラウドは、全体としてはデータ量が非常に大きく、全てを再生することは処理負荷や処理遅延等の観点において現実的ではない。そのため、再生する領域を限定したり、解像度を低減させたりして、一部のデータのみを再生するスケーラブル復号が望まれる。
 G-PCCファイルをコンテンツファイルに格納して伝送する場合において、そのコンテンツファイルのメタデータ領域にスケーラブル復号情報を格納し、上述のようなスケーラブル復号に対応させることにより、必要な情報のみを伝送させたり、より容易に必要な情報のみを復号させたりすることができるようになる。上述のように、より大規模なデータ程、再生処理の負荷の増大をより抑制することができ、より大きな効果を得ることができる。
 コンテンツファイルでは、ジオメトリとアトリビュートを1つのトラックに格納する構造(シングルトラック(single track encapsulation structure)とも称する)と、ジオメトリとアトリビュートを互いに異なるトラックに格納する構造(マルチトラック(multi-track encapsulation structure)とも称する)とがある。以下においては、シングルトラックの例を用いて説明するが、本技術は、マルチトラックの場合も、シングルトラックの場合と同様に適用し得る。なお、シングルトラックの場合であっても、トラック数は複数であってもよい(ジオメトリおよびアトリビュートを含むトラックが複数存在してもよい)。
 また、以下においては、図3や図4を参照して説明したように、SPS、GPS、APS、およびタイルインベントリがGPCCDecoderConfigurationRecordに格納されるものとし、サンプルにはジオメトリスライスおよびアトリビュートスライスのみが格納されるものとして説明する。ただし、SPS、GPS、APS、およびタイルインベントリの一部および全部がサンプルに格納されるようにしてもよい。
  <2-1.サンプル毎のスライス構成情報>
 図5に示される表の上から2段目に示されるように、スケーラブル復号情報が、サンプル毎のスライス構成情報を含むようにしてもよい(方法1-1)。スライス構成情報は、サンプル内におけるスライスの構成に関する情報である。つまり、デコーダは、各サンプルのスライスの構成情報をコンテンツファイルのメタデータ領域から得ることができる。したがって、デコーダは、各サンプルのスライスの構成を、ビットストリームをパースせずに(すなわちより容易に)把握することができる。
 例えば、図5に示される表の上から3段目に示されるように、このスライス構成情報が、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックス(SubSampleInformationBox)のコーデックスピシフィックパラメーターズ(codec specific parameters)に格納されてもよい(方法1-1-1)。例えば、エンコーダのコンテンツファイル生成部が、スライス毎にサブサンプルを設定し、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、スライス構成情報を格納してもよい。また、デコーダの抽出部が、スライス毎に設定されたサブサンプルの、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納されたスライス構成情報に基づいて、そのコンテンツファイルから、G-PCCコンテンツの任意のスライスを抽出してもよい。
 G-PCCはイントラ符号化が適用されるため、サンプル(フレーム)毎にデプス(depth)の階層構造が変わるケースが一般的に起こり得る。そのため、スライス構成情報を、L-HEVCファイルフォーマットのようにサンプルグループ(sample group)に格納すると、サンプル毎に異なる情報を持つサンプルグループに紐づける必要があるため、グルーピング(grouping)情報の分、不要にファイルサイズが増大するおそれがあった。また、所望のサンプルのスライスの構成を把握するために、デコーダは、全てのサンプルグループを確認する必要があるため、再生処理の負荷が増大するおそれがあった。
 上述のように、スライス毎にサブサンプルを設定し、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、スライス構成情報を格納することにより、ファイルサイズの増大を抑制することができる。また、デコーダは、所望のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズを確認すればよいので、より容易にスライス構成情報を確認することができる。すなわち、再生処理の負荷の増大を抑制することができる。
   <2-1-1.スライス依存関係情報>
 例えば、図5に示される表の上から4段目に示されるように、このスライス構成情報が、スライス依存関係情報を含むようにしてもよい(方法1-1-2)。本明細書において、スライス依存関係情報は、スライスまたはスライス群の間の依存関係を示す情報である。例えば、スライス依存関係情報は、G-PCCコンテンツに含まれる第1のスライスと第2のスライスとの間の依存関係を示す。また、本明細書において、スライス群とは、互いに同一のデプスに対応する複数のスライスのことである。
 例えば、図7に示されるビットストリーム100は、図3のビットストリーム30と同様のG-PCCコンテンツの一部を示している。グレー地で示されるビットストリーム101は、ビットストリーム100のサンプル内の一部の構成を示している。このビットストリーム101の各データユニットは、矢印111乃至矢印114に示されるように、図3の場合と同様のスライス間の依存関係を有する。
 例えば、「geom_slice#2」のジオメトリデータユニットとそれに続く「attr slice(s)」のアトリビュートデータユニットは、スライス#2に対応するデータユニットであり、矢印111に示されるように、スライス#1のデータユニット(「geom_slice#1」のジオメトリデータユニットとそれに続く「attr slice(s)」のアトリビュートデータユニット)に従属する。つまり、スライス#2は、スライス#1に従属する。
 また、「geom_slice#6」のジオメトリデータユニットとそれに続く「attr slice(s)」のアトリビュートデータユニットは、スライス#6に対応するデータユニットであり、矢印112に示されるように、スライス#2のデータユニット(「geom_slice#2」のジオメトリデータユニットとそれに続く「attr slice(s)」のアトリビュートデータユニット)に直接従属する。つまり、スライス#6は、スライス#2に直接従属する。換言するに、スライス#6は、間接的にスライス#1にも従属する。
 また、「geom_slice#3」のジオメトリデータユニットとそれに続く「attr slice(s)」のアトリビュートデータユニットは、スライス#3に対応するデータユニットであり、矢印113に示されるように、スライス#1のデータユニット(「geom_slice#1」のジオメトリデータユニットとそれに続く「attr slice(s)」のアトリビュートデータユニット)に従属する。つまり、スライス#3は、スライス#1に従属する。
 また、「geom_slice#7」のジオメトリデータユニットとそれに続く「attr slice(s)」のアトリビュートデータユニットは、スライス#7に対応するデータユニットであり、矢印114に示されるように、スライス#3のデータユニット(「geom_slice#3」のジオメトリデータユニットとそれに続く「attr slice(s)」のアトリビュートデータユニット)に直接従属する。つまり、スライス#7は、スライス#3に直接従属する。換言するに、スライス#7は、間接的にスライス#1にも従属する。
 つまり、点線枠121で囲まれるスライス間の矢印(例えば矢印111乃至矢印114)により示される情報がスライス依存関係情報である。このスライス依存関係情報がコンテンツファイルのメタデータ領域に格納される。このようにすることにより、デコーダは、このスライス依存関係情報をコンテンツファイルのメタデータ領域から得ることができる。したがって、デコーダは、スライス依存関係情報を、ビットストリームをパースせずに(すなわちより容易に)把握することができる。
 例えば、図5に示される表の上から5段目に示されるように、このスライス依存関係情報が、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納されてもよい(方法1-1-2-1)。例えば、エンコーダのコンテンツファイル生成部が、スライス毎にサブサンプルを設定し、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、スライス依存関係情報を格納してもよい。また、デコーダの抽出部が、スライス毎に設定されたサブサンプルの、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納されたスライス依存関係情報に基づいて、そのコンテンツファイルから、G-PCCコンテンツの任意のスライスを抽出してもよい。
 G-PCCはイントラ符号化が適用されるため、サンプル(フレーム)毎にデプス(depth)の階層構造が変わるケースが一般的に起こり得る。そのため、スライス依存関係情報を、L-HEVCファイルフォーマットのようにサンプルグループに格納すると、サンプル毎に異なる情報を持つサンプルグループに紐づける必要があるため、グルーピング情報の分、不要にファイルサイズが増大するおそれがあった。また、所望のサンプルのスライスの構成を把握するために、デコーダは、全てのサンプルグループを確認する必要があるため、再生処理の負荷が増大するおそれがあった。
 上述のように、スライス毎にサブサンプルを設定し、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、スライス依存関係情報を格納することにより、ファイルサイズの増大を抑制することができる。また、デコーダは、所望のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズを確認すればよいので、より容易にスライス依存関係を確認することができる。すなわち、再生処理の負荷の増大を抑制することができる。
 例えば、図5に示される表の上から6段目に示されるように、このスライス依存関係情報が、参照元ジオメトリスライス識別情報と、参照先ジオメトリスライス識別情報を含むようにしてもよい(方法1-1-2-2)。本明細書において、参照元ジオメトリスライス識別情報は、その情報が対応するジオメトリスライスの識別情報である。つまり、参照元ジオメトリスライス識別情報は、上述のスライスまたはスライス群の間の依存関係において参照元(図7の点線枠121内の矢印の始点)となるジオメトリスライスの識別情報である。また、本明細書において、参照先ジオメトリスライス識別情報は、その情報が対応するジオメトリスライスが参照する他のジオメトリスライスの識別情報である。つまり、参照先ジオメトリスライス識別情報は、上述のスライスまたはスライス群の間の依存関係において参照先(図7の点線枠121内の矢印の終点)となるジオメトリスライスの識別情報である。
 このようにすることにより、デコーダは、この参照元ジオメトリスライス識別情報および参照先ジオメトリスライス識別情報をコンテンツファイルのメタデータ領域から得ることができる。したがって、デコーダは、参照元ジオメトリスライス識別情報および参照先ジオメトリスライス識別情報を、ビットストリームをパースせずに(すなわちより容易に)把握することができる。
 例えば、図5に示される表の上から7段目に示されるように、このスライス依存関係情報に対応するスライス(つまり参照元ジオメトリスライス識別情報に対応するスライス)が独立ジオメトリスライスである場合、上述の参照元ジオメトリスライス識別情報と参照先ジオメトリスライス識別情報とが同一となるようにしてもよい(方法1-1-2-2-1)。つまり、独立ジオメトリスライスは、他のスライスを必要とせずに復号可能であるので、参照先がその独立ジオメトリスライス自身に設定されるようにしてもよい。また、独立ジオメトリスライスについては、参照先ジオメトリスライス識別情報の格納が省略されるようにしてもよい。
 例えば、図5に示される表の上から8段目に示されるように、この参照元ジオメトリスライス識別情報と参照先ジオメトリスライス識別情報が、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納されてもよい(方法1-1-2-2-1)。例えば、エンコーダのコンテンツファイル生成部が、スライス毎にサブサンプルを設定し、そのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、参照元ジオメトリスライス識別情報および参照先ジオメトリスライス識別情報を格納してもよい。また、デコーダの抽出部が、スライス毎に設定されたサブサンプルの、メタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納された参照元ジオメトリスライス識別情報および参照先ジオメトリスライス識別情報に基づいて、そのコンテンツファイルから、G-PCCコンテンツの任意のスライスを抽出してもよい。
 サブサンプルインフォメーションボックスのシンタックスの例を図8に示す。このサブサンプルインフォメーションボックスにおいては、下線131が付された行に示されるように、flagsが設定される。また、下線132が付された行に示されるように、コーデックスピシフィックパラメーターズが設けられる。コーデックスピシフィックパラメーターズには、符号化コーデック毎に決まるサブサンプルの情報が格納される。
 コーデックスピシフィックパラメーターズのシンタックスの例を図9に示す。このコーデックスピシフィックパラメーターズには、点線枠133に示されるように、参照元ジオメトリスライス識別情報(geom_slice_id)と参照先ジオメトリスライス識別情報(ref_geom_slice_id)が格納される。geom_slice_idには、この情報に対応するジオメトリスライスのスライス識別情報(slice_id)が設定される。ref_geom_slice_idには、そのジオメトリスライスが参照する他のジオメトリスライスのスライス識別情報(slice_id)が設定される。
 このように、スライス毎にサブサンプルを設定し、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、参照元ジオメトリスライス識別情報および参照先ジオメトリスライス識別情報を格納することにより、ファイルサイズの増大を抑制することができる。また、デコーダは、所望のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズを確認すればよいので、より容易にジオメトリスライスの参照関係(参照元および参照先のジオメトリスライス)を確認することができる。すなわち、再生処理の負荷の増大を抑制することができる。
 なお、図7の例の場合、ジオメトリデータユニットとその直後に続くアトリビュートデータユニットが1つのスライスを構成するため、アトリビュートスライスからジオメトリスライスへの参照関係は自明である。したがって、図9の例においては、アトリビュートスライスからジオメトリスライスへの参照関係は省略されている。
    <アトリビュートジオメトリスライス識別情報>
 なお、アトリビュートスライスからジオメトリスライスへの参照関係を明示してもよい。例えば、図5に示される表の上から9段目に示されるように、スライス依存関係情報が、アトリビュートジオメトリスライス識別情報を含むようにしてもよい(方法1-1-2-3)。アトリビュートジオメトリスライス識別情報は、アトリビュートスライスが参照するジオメトリスライスの識別情報である。このようにアトリビュートスライスからジオメトリスライスへの参照関係を明示することにより、ジオメトリデータユニットとアトリビュートデータユニットの位置関係の制約をなくすことができる。
 例えば、図5に示される表の上から10段目に示されるように、このアトリビュートジオメトリスライス識別情報が、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納されてもよい(方法1-1-2-3-1)。例えば、エンコーダのコンテンツファイル生成部が、スライス毎にサブサンプルを設定し、そのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、アトリビュートジオメトリスライス識別情報を格納してもよい。また、デコーダの抽出部が、スライス毎に設定されたサブサンプルの、メタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納されたアトリビュートジオメトリスライス識別情報に基づいて、そのコンテンツファイルから、G-PCCコンテンツの任意のスライスを抽出してもよい。
 この場合のコーデックスピシフィックパラメーターズのシンタックスの例を図10に示す。このコーデックスピシフィックパラメーターズには、下線134が付された行に示されるように、アトリビュートジオメトリスライス識別情報(ref_attr_geom_slice_id)が格納される。このref_attr_geom_slice_idには、その情報が対応するアトリビュートスライスが参照するジオメトリスライスのスライス識別情報(slice_id)が設定される。
 このように、スライス毎にサブサンプルを設定し、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、アトリビュートジオメトリスライス識別情報を格納することにより、ファイルサイズの増大を抑制することができる。また、デコーダは、所望のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズを確認すればよいので、より容易にアトリビュートから参照されるジオメトリスライスを確認することができる。すなわち、再生処理の負荷の増大を抑制することができる。
    <非スケーラブル符号化>
 アトリビュートには、非スケーラブル符号化が適用されてもよい。非スケーラブル符号化とは、スケーラブル復号に対応していない符号化方式である。例えば、アトリビュートに非スケーラブル符号化が適用された場合、アトリビュートスライスは、他のアトリビュートスライスとは独立に(すなわち、他のアトリビュートスライスを参照せずに)復号することができるように設定される。したがって、アトリビュートデータユニット間でデータ(デプス)が重複する。
 このようにアトリビュートに非スケーラブル符号化が適用された場合のビットストリームの構成例を図11に示す。図11に示されるグレー地のビットストリーム141は、G-PCCコンテンツ(G-PCCビットストリーム)の構成の一部を示している。このビットストリーム141の場合、アトリビュートデータユニット151は、デプス0乃至デプス3のジオメトリに対応するアトリビュートスライスを格納する。アトリビュートデータユニット152は、デプス0乃至デプス5のジオメトリに対応するアトリビュートスライスを格納する。アトリビュートデータユニット153は、デプス0乃至デプス6のジオメトリに対応するアトリビュートスライスを格納する。
 したがって、例えば、アトリビュートデータユニット153を復号することにより、デプス0乃至デプス6のジオメトリに対応するアトリビュートを得ることができる。換言するに、デプス6のジオメトリに対応するアトリビュートを得るためには、アトリビュートデータユニット153を復号すればよい(他のアトリビュートデータユニットの復号が不要である)。
 同様に、アトリビュートデータユニット152を復号することにより、デプス0乃至デプス5のジオメトリに対応するアトリビュートを得ることができる。換言するに、デプス4またはデプス5のジオメトリに対応するアトリビュートを得るためには、アトリビュートデータユニット152を復号すればよい(他のアトリビュートデータユニットの復号が不要である)。
 同様に、アトリビュートデータユニット151を復号することにより、デプス0乃至デプス3のジオメトリに対応するアトリビュートを得ることができる。換言するに、デプス0乃至デプス3のいずれかのジオメトリに対応するアトリビュートを得るためには、アトリビュートデータユニット151を復号すればよい(他のアトリビュートデータユニットの復号が不要である)。
 このような場合、例えば、アトリビュートデータユニット152やアトリビュートデータユニット153のように、単数のアトリビュートデータユニットに対して複数のジオメトリデータユニットが参照対象の候補となり得る。したがって、アトリビュートに非スケーラブル符号化が適用される場合、アトリビュートジオメトリスライス識別情報には、そのアトリビュートスライス(アトリビュートデータユニット)に対応するデプスの内の最下層(最大デプス)に対応するジオメトリスライスのスライス識別情報が設定される。ジオメトリスライス同士の参照関係(より上位のジオメトリスライスとの参照関係)は、ref_geom_slice_idで示される。
 本明細書において、このようにアトリビュートに非スケーラブル符号化が適用される場合のアトリビュートジオメトリスライス識別情報を非スケーラブル符号化アトリビュートジオメトリスライス識別情報とも称する。
 つまり、図5に示される表の上から11段目に示されるように、スライス依存関係情報が、非スケーラブル符号化が適用されたアトリビュートスライスが参照するジオメトリスライスの識別情報である非スケーラブル符号化アトリビュートジオメトリスライス識別情報を含むようにしてもよい(方法1-1-2-4)。
 例えば、図5に示される表の上から12段目に示されるように、この非スケーラブル符号化アトリビュートジオメトリスライス識別情報が、その情報に対応するアトリビュートスライスが参照する前記ジオメトリスライスまたはジオメトリスライス群の内、デプス情報が最大のジオメトリを含むジオメトリスライスまたはジオメトリスライス群の識別情報を含むようにしてもよい(方法1-1-2-4―1)。なお、本明細書において、ジオメトリスライス群とは、互いに同一のデプスに対応する複数のジオメトリスライスのことである。
 このようにすることにより、アトリビュートに非スケーラブル符号化が適用された場合であっても、ジオメトリデータユニットとアトリビュートデータユニットの位置関係の制約をなくすことができる。
 例えば、図5に示される表の上から13段目に示されるように、非スケーラブル符号化アトリビュートジオメトリスライス識別情報が、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納されてもよい(方法1-1-2-4-2)。例えば、エンコーダのコンテンツファイル生成部が、スライス毎にサブサンプルを設定し、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、非スケーラブル符号化アトリビュートジオメトリスライス識別情報を格納してもよい。また、デコーダの抽出部が、スライス毎に設定されたサブサンプルの、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納された非スケーラブル符号化アトリビュートジオメトリスライス識別情報に基づいて、そのコンテンツファイルから、G-PCCコンテンツの任意のスライスを抽出してもよい。
 このように、スライス毎にサブサンプルを設定し、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、非スケーラブル符号化アトリビュートジオメトリスライス識別情報を格納することにより、ファイルサイズの増大を抑制することができる。また、デコーダは、所望のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズを確認すればよいので、アトリビュートに非スケーラブル符号化が適用された場合であっても、より容易にアトリビュートから参照されるジオメトリスライスを確認することができる。すなわち、再生処理の負荷の増大を抑制することができる。
 また、図5に示される表の上から14段目に示されるように、スライス依存関係情報が、非スケーラブル符号化フラグを含むようにしてもよい(方法1-1-2-4-3)。非スケーラブル符号化フラグは、アトリビュートスライスに非スケーラブル符号化が適用されたか否かを示すフラグ情報である。このような情報を格納することにより、デコーダは、非スケーラブル符号化が適用されたか否かを容易に把握することができる。
 また、図5に示される表の上から15段目に示されるように、非スケーラブル符号化フラグが、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納されてもよい(方法1-1-2-4-3-1)。例えば、エンコーダのコンテンツファイル生成部が、スライス毎にサブサンプルを設定し、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、非スケーラブル符号化フラグを格納してもよい。また、デコーダの抽出部が、スライス毎に設定されたサブサンプルの、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納された非スケーラブル符号化フラグに基づいて、そのコンテンツファイルから、G-PCCコンテンツの任意のスライスを抽出してもよい。
 この場合のコーデックスピシフィックパラメーターズのシンタックスの例を図12に示す。このコーデックスピシフィックパラメーターズには、点線枠161内に示されるように、非スケーラブル符号化フラグ(non_scalable_flag)と、非スケーラブル符号化アトリビュートジオメトリスライス識別情報(ref_attr_geom_slice_id)が格納される。
 アトリビュートスライスがスケーラブル符号化されている場合、non_scalable_flagの値は0(偽)に設定される。アトリビュートスライスが非スケーラブル符号化されている場合、non_scalable_flagの値は1(真)に設定される。
 non_scalable_flagの値が1(真)である場合、ref_attr_geom_slice_idは、非スケーラブル符号化アトリビュートジオメトリスライス識別情報として設定される。つまり、この場合、ref_attr_geom_slice_idには、その情報に対応するアトリビュートスライスが参照する前記ジオメトリスライスまたはジオメトリスライス群の内、最大デプスを含むジオメトリスライスまたはジオメトリスライス群の識別情報(slice_id)が設定される。
 non_scalable_flagの値が0(偽)である場合、ref_attr_geom_slice_idは、アトリビュートジオメトリスライス識別情報として設定される。つまり、この場合、ref_attr_geom_slice_idには、その情報が対応するアトリビュートスライスが参照するジオメトリスライスのスライス識別情報(slice_id)が設定される。
    <ペイロードタイプの変更>
 なお、コーデックスピシフィックパラメーターズにおいて、図5に示される表の最下段に示されるように、独立ジオメトリスライスのスライス依存関係情報のペイロードタイプ(PayloadType)と、従属ジオメトリスライスのスライス依存関係情報のペイロードタイプとを、互いに異なる値にしてもよい。
 図13は、その場合のコーデックスピシフィックパラメーターズのシンタックスの例を示す図である。この例の場合、点線枠162内に示されるように、独立ジオメトリスライスのスライス依存関係情報のペイロードタイプは「2」に設定され、従属ジオメトリスライスのスライス依存関係情報のペイロードタイプは「9」に設定される。このようにすることにより、デコーダは、ジオメトリスライスの種別をこのペイロードタイプに基づいてより容易に識別することができる。
 なお、図13の例では、ペイロードタイプの値として「2」と「9」を例に説明したが、この値は一例である。独立ジオメトリスライスと従属ジオメトリスライスのそれぞれのペイロードタイプの値は、互いに異なる値であればよく、この例に限定されない。
   <2-1-2.ジオメトリスライスデプス情報>
 図6に示される表の最上段に示されるように、スライス構成情報が、ジオメトリスライスデプス情報を含むようにしてもよい(方法1-1-3)。本明細書において、ジオメトリスライスデプス情報は、その情報に対応するジオメトリスライスまたはジオメトリスライス群に含まれるジオメトリのデプス情報に関する情報である。スライス構成情報が、スライス依存関係情報(方法1-1-2)とジオメトリスライスデプス情報の両方を含むようにしてもよい。
 例えば、図7において、「geom_slice#1」のジオメトリデータユニットは、スライス#1に対応する。スライス#1は、デプス0乃至デプス3のジオメトリを含む。また、「geom_slice#2」のジオメトリデータユニットは、スライス#2に対応する。スライス#2は、デプス4およびデプス5のジオメトリを含む。「geom_slice#6」のジオメトリデータユニットは、スライス#6に対応する。スライス#6は、デプス6のジオメトリを含む。「geom_slice#3」のジオメトリデータユニットは、スライス#3に対応する。スライス#3は、デプス4およびデプス5のジオメトリを含む。「geom_slice#7」のジオメトリデータユニットは、スライス#7に対応する。スライス#7は、デプス6のジオメトリを含む。
 つまり、点線枠122内に示される各スライスのデプス情報がジオメトリスライスデプス情報である。このジオメトリスライスデプス情報がコンテンツファイルのメタデータ領域に格納される。このようにすることにより、デコーダは、このジオメトリスライスデプス情報をコンテンツファイルのメタデータ領域から得ることができる。したがって、デコーダは、ジオメトリスライスデプス情報を、ビットストリームをパースせずに(すなわちより容易に)把握することができる。
 なお、ジオメトリスライスは、複数のデプスのジオメトリを含み得る。
 そこで、図6に示される表の上から2番目の段に示されるように、ジオメトリスライスデプス情報が、最小デプス情報を含むようにしてもよい(方法1-1-3-1)。本明細書において、最小デプス情報は、その情報に対応するジオメトリスライスまたはジオメトリスライス群におけるデプス情報の最小値を示す情報を示す。このようにすることにより、デコーダは、この最小デプス情報をコンテンツファイルのメタデータ領域から得ることができる。したがって、デコーダは、ジオメトリスライスに含まれるデプスの最小値を、ビットストリームをパースせずに(すなわちより容易に)把握することができる。
 また、図6に示される表の上から3番目の段に示されるように、ジオメトリスライスデプス情報が、最大デプス情報を含むようにしてもよい(方法1-1-3-2)。本明細書において、最大デプス情報は、その情報に対応するジオメトリスライスまたはジオメトリスライス群におけるデプス情報の最大値を示す情報を示す。このようにすることにより、デコーダは、この最大デプス情報をコンテンツファイルのメタデータ領域から得ることができる。したがって、デコーダは、ジオメトリスライスに含まれるデプスの最大値を、ビットストリームをパースせずに(すなわちより容易に)把握することができる。
 もちろん、ジオメトリスライスデプス情報が最小デプス情報と最大デプス情報の両方を含むようにしてもよい。その場合、デコーダは、ジオメトリスライスに含まれるデプスの範囲を、ビットストリームをパースせずに(すなわちより容易に)把握することができる。
 図6に示される表の上から4番目の段に示されるように、このジオメトリスライスデプス情報が、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納されてもよい(方法1-1-3-3)。例えば、エンコーダのコンテンツファイル生成部が、スライスまたはスライス群毎にサブサンプルを設定し、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、ジオメトリスライスデプス情報を格納してもよい。また、デコーダの抽出部が、スライスまたはスライス群毎に設定されたサブサンプルの、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納されたジオメトリスライスデプス情報に基づいて、そのコンテンツファイルから、G-PCCコンテンツの任意のスライスを抽出してもよい。
 この場合のコーデックスピシフィックパラメーターズのシンタックスの例を図14に示す。図14に示されるコーデックスピシフィックパラメーターズには、点線枠171内に示されるように、最小デプス情報(min_depth)と最大デプス情報(max_depth)とが設定される。
 このように、スライスまたはスライス群毎にサブサンプルを設定し、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、ジオメトリスライスデプス情報を格納することにより、ファイルサイズの増大を抑制することができる。また、デコーダは、所望のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズを確認すればよいので、より容易にジオメトリスライスに含まれるデプスを確認することができる。すなわち、再生処理の負荷の増大を抑制することができる。
 なお、デプスの範囲が互いに同一の複数のジオメトリスライスが連続する場合、それらは、上述したようにジオメトリスライス群として1つのサブサンプルとされる。そして、ジオメトリスライスデプス情報は、そのサブサンプル毎に生成される。つまり、ジオメトリスライス群の各スライスのジオメトリスライスデプス情報が、1つのジオメトリスライスデプス情報にまとめられる。したがって、ジオメトリスライス群の各スライスに対してジオメトリスライスデプス情報を生成する場合に比べて、サブサンプルエントリ(sub-sample entry)の増大を抑制することができる。したがって、ビットコスト(つまりビットストリームのデータ量)の増大を抑制することができる。
 なお、ジオメトリスライスまたはジオメトリスライス群が1つのデプスのみを含む場合、最小デプス情報(min_depth)および最大デプス情報(max_depth)は、互いに同一の値に設定される。
 また、図6に示される表の上から5番目の段に示されるように、このジオメトリスライスデプス情報を格納するコーデックスピシフィックパラメーターズのサブサンプルインフォメーションボックスのflagsと、スライス依存関係情報を格納するコーデックスピシフィックパラメーターズのサブサンプルインフォメーションボックスのflagsとが、互いに異なる値に設定されるようにしてもよい(方法1-1-3―3-1)。
 つまり、スライス構成情報が、ジオメトリスライスデプス情報の他に、第1のスライスと第2のスライスの間の依存関係を示すスライス依存関係情報をさらに含むようにしてもよい。そして、エンコーダのコンテンツファイル生成部が、ジオメトリスライスデプス情報を格納するサブサンプルインフォメーションボックスのflagsを、スライス依存関係情報が格納されるサブサンプルインフォメーションボックスのflagsと異なる値に設定してもよい。また、ジオメトリスライスデプス情報が格納されるサブサンプルインフォメーションボックスのflagsと、スライス依存関係情報が格納されるサブサンプルインフォメーションボックスのflagsとが互いに異なる値に設定されているようにしてもよい。
 例えば、図14に示されるように、スライス依存関係情報が格納されるサブサンプルインフォメーションボックスのflagsが「0」に設定されるのに対し、ジオメトリスライスデプス情報が格納されるサブサンプルインフォメーションボックスのflagsは「2」に設定される。もちろんこれらの値は一例であり、flagsの値はこの例に限定されない(任意である)。
 このようにすることにより、ジオメトリスライスデプス情報とスライス依存関係情報を、互いに異なる値のflagsを有する互いに異なるサブサンプルインフォメーションボックスに格納することができ、これらを併用することができる。
  <2-2.トラック構成情報>
 図6に示される表の上から6段目に示されるように、スケーラブル復号情報が、トラック構成情報を含むようにしてもよい(方法1-2)。本明細書において、トラック構成情報は、コンテンツファイルにおける、G-PCCコンテンツをスライス単位で格納するトラックの構成に関する情報である。つまり、デコーダは、コンテンツファイルに含まれるトラックの構成情報をコンテンツファイルのメタデータ領域から得ることができる。したがって、デコーダは、そのコンテンツファイルのトラックの構成を、ビットストリームをパースせずに(すなわちより容易に)把握することができる。なお、スケーラブル復号情報が、サンプル毎のスライス構成情報(方法1-1)とトラック構成情報の両方を含むようにしてもよい。
   <2-2-1.トラックデプス情報>
 図6に示される表の上から7段目に示されるように、そのトラック構成情報が、トラックデプス情報を含むようにしてもよい(方法1-2-1)。本明細書において、トラックデプス情報は、その情報に対応するトラックに含まれる全スライスのジオメトリのデプス情報に関する情報である。
 図15は、ビットストリームの格納の様子の例を示す図である。コンテンツファイル(ISOBMFF)が矩形181で示されるトラック1(track 1)、矩形182で示されるトラック2(track 2)、および矩形183で示されるトラック3(track 3)を有するとする。そして、トラック1には、デプス0乃至デプス3(depth=0~3)のジオメトリビットストリームおよびアトリビュートビットストリームが格納されるとする。トラック2には、デプス4およびデプス5(depth=4~5)のジオメトリビットストリームおよびアトリビュートビットストリームが格納されるとする。トラック3には、デプス6(depth=6)のジオメトリビットストリームおよびアトリビュートビットストリームが格納されるとする。
 この場合、ビットストリーム101の各データユニット(スライス)は、図15に示される点線矢印のように各トラックに格納されるとする。つまり、スライス#1のジオメトリおよびアトリビュートは、トラック1に格納される。スライス#2のジオメトリおよびアトリビュートは、トラック2に格納される。スライス#3のジオメトリおよびアトリビュートは、トラック2に格納される。スライス#6のジオメトリおよびアトリビュートは、トラック3に格納される。スライス#7のジオメトリおよびアトリビュートは、トラック7に格納される。
 このように、各トラックにどのデプスのデータを格納したかをトラックデプス情報で示す。トラックデプス情報はトラック毎に設定される。つまり、トラックデプス情報は、その情報に対応するトラックにどのデプスのデータが格納されているかを示す。上述のように、トラックには複数のデプスのデータを格納し得る。また、トラックには複数サンプルのデータを格納し得る。そして、各サンプルのスライス構成は互いに同一でなくてもよい。つまり、各トラックに含まれるデプスは、サンプル毎に変化し得る。
 図6に示される表の上から8段目に示されるように、トラックデプス情報が、その情報に対応するトラックにおけるデプス情報の最小値を示すトラック最小デプス情報を含むようにしてもよい(方法1-2-1-1)。つまり、トラック最小デプス情報は、その情報に対応するトラックに含まれる全サンプルの中でのデプス情報の最小値を示す。
 また、図6に示される表の上から9段目に示されるように、トラックデプス情報が、その情報に対応するトラックにおけるデプス情報の最大値を示すトラック最大デプス情報を含むようにしてもよい(方法1-2-1-2)。つまり、トラック最大デプス情報は、その情報に対応するトラックに含まれる全サンプルの中でのデプス情報の最大値を示す。なお、トラックデプス情報が、トラック最小デプス情報(方法1-2-1-1)とトラック最大デプス情報の両方を含むようにしてもよい。
 また、図6に示される表の上から10段目に示されるように、トラックデプス情報が、一致フラグを含むようにしてもよい(方法1-2-1-3)。本明細書において、この一致フラグは、その情報に対応するトラックに含まれる各サンプルにおけるデプス情報の最小値であるサンプル最小デプス情報がトラック最小デプス情報に一致し、かつ、その情報に対応するトラックに含まれる各サンプルにおけるデプス情報の最大値であるサンプル最大デプス情報がトラック最大デプス情報に一致するか否かを示すフラグ情報である。つまり、一致フラグは、デプス情報の最小値と最大値がトラック内の全サンプルで共通であるか否かを示すフラグ情報である。なお、トラックデプス情報が、この一致フラグ、トラック最小デプス情報(方法1-2-1-1)、並びにトラック最大デプス情報(方法1-2-1-2)の全てを含むようにしてもよい。
 また、図6に示される表の上から11段目に示されるように、トラックデプス情報が、メタデータ領域の各トラックに対応するサンプルエントリ(SampleEntry)のデプスインフォメーションボックス(DepthInfoBox)に格納されるようにしてもよい(方法1-2-1-4)。例えば、エンコーダのコンテンツファイル生成部が、メタデータ領域のサンプルエントリのデプスインフォメーションボックスに、トラックデプス情報を格納してもよい。また、デコーダの抽出部が、メタデータ領域のサンプルエントリのデプスインフォメーションボックスに格納されたトラックデプス情報に基づいて、コンテンツファイルから、G-PCCコンテンツの任意のスライスを抽出してもよい。
 図16は、デプスインフォメーションボックス(DepthInfoBox)のシンタックスの例を示す図である。図16に示されるように、デプスインフォメーションボックスにおいては、トラック最小デプス情報(track_min_depth)、トラック最大デプス情報(track_max_depth)、および一致フラグ(fixed_depth)が設定される。
 一致フラグが「0」(偽)の場合、トラック内の全サンプルのサンプル最小デプス情報およびサンプル最大デプス情報は、トラック最小デプス情報(track_min_depth)乃至トラック最大デプス情報(track_max_depth)の範囲内の値をとることを示す。つまり、この場合、各サンプルのデプスの最小値若しくは最大値またはその両方が、サンプル毎に変化し得る。
 一致フラグが「1」(真)の場合、トラック内の各サンプルのサンプル最小デプス情報がトラック最小デプス情報(track_min_depth)に一致し、かつ、トラック内の各サンプルのサンプル最大デプス情報がトラック最大デプス情報(track_min_depth)に一致することを示す。つまり、この場合、各サンプルのデプスの最小値および最大値が、それぞれ、全サンプルで共通の値をとる。
 なお、例えばトラック3のように、トラックが1つのデプスのデータのみを含む場合、一致フラグ(fixed_depth)の値が「1」に設定され、トラック最小デプス情報(track_min_depth)とトラック最大デプス情報(track_max_depth)とが互いに同一の値をとる(track_min_depth=track_max_depth)。
 以上のように、トラックデプス情報を各トラックに対応するサンプルエントリのデプスインフォメーションボックスに格納することにより、デコーダは、その情報に基づいて、各トラックにどのデプスのデータが格納されているのかを、より容易に(ビットストリームをパースせずに)把握することができる。すなわち、再生処理の負荷の増大を抑制することができる。
 例えば、fixed_depth=1、かつ、track_min_depth乃至track_max_depthの範囲内に所望のLoDがある場合、このトラックと参照するトラックを処理すれば所望のLoDを確実に得ることができる。つまり、これらのトラックデプス情報は、クライアントのトラック選択処理時に有用な情報となり得る。
 なお、デプスの代わりに、このトラックおよび参照するトラック(あれば)を処理することで得られる最大および最小のLoD値をシグナルしてもよい。
 また、トラックに非スケーラブル符号化が適用されたアトリビュートスライス(attribute slice)が含まれるか否かを明示する非スケーラブル符号化アトリビュートフラグ(non_scalable_attribute_flag)を追加してもよい。この非スケーラブル符号化アトリビュートフラグ(non_scalable_attribute_flag)が「1」(真)の場合、そのトラックに非スケーラブル符号化が適用されたアトリビュートスライスが含まれることを示す。また、この非スケーラブル符号化アトリビュートフラグ(non_scalable_attribute_flag)が「0」(偽)の場合、そのトラックに非スケーラブル符号化が適用されたアトリビュートスライスが含まれないことを示す。
   <2-2-2.トラック依存関係情報>
 図6に示される表の上から12段目に示されるように、そのトラック構成情報が、トラック依存関係情報を含むようにしてもよい(方法1-2-2)。本明細書において、トラック依存関係情報は、トラックの間の依存関係(例えば、第1のトラックと第2のトラックの間の依存関係)を示す情報である。なお、トラック構成情報が、トラックデプス情報(方法1-2-1)とトラック依存関係情報の両方を含むようにしてもよい。
 例えば、図15において、各トラック(トラック1乃至トラック3)は、矢印184乃至矢印185に示されるように、トラック間の依存関係を有する。
 例えば、トラック2は、矢印184に示されるように、トラック1に従属する。つまり、トラック2のビットストリームを復号し、デプス4またはデプス5のジオメトリやアトリビュートを復元するためには、デプス0乃至デプス3に対応するトラック1のビットストリームも復号する必要がある。
 同様に、トラック3は、矢印185に示されるように、トラック2に直接的に従属する。すなわち、トラック3は、矢印186に示されるように、トラック1に間接的に従属する。トラック依存関係情報は、このようなトラック間の依存関係を示す。
 図6に示される表の上から13段目に示されるように、このトラック依存関係情報が、その情報に対応するトラックに含まれる従属スライスの復号に必要なスライスを含む他のトラックを示す従属情報を含むようにしてもよい(方法1-2-2-1)。従属情報は、上述の矢印(矢印184乃至矢印186)の始点側のトラック依存関係情報として、従属先、すなわち、上述の矢印の終点側のトラックを示す情報である。このような従属情報をコンテンツファイルのメタデータ領域に格納することにより、デコーダは、その従属情報に基づいて、処理対象のトラックの復号に必要な他のトラックを、ビットストリームをパースすることなく、より容易に確認することができる。したがって、再生処理の負荷の増大を抑制することができる。
 なお、図6に示される表の上から14段目に示されるように、この従属情報が、その情報に対応するトラックに含まれる従属スライスの復号に必要なスライスを含む全ての他のトラックを示すようにしてもよい(方法1-2-2-1-1)。例えば、図15の場合、トラック3の従属情報が、矢印185に相当する情報と、矢印186に相当する情報の両方を含むようにしてもよい。
 また、図6に示される表の上から15段目に示されるように、この従属情報が、その情報から参照されるスライスを含む他のトラックを示すようにしてもよい(方法1-2-2-1-2)。つまり、従属情報がその情報に対応するスライスが直接的に従属するスライスのみを示すようにしてもよい。例えば、図15の場合、トラック3の従属情報が、矢印185に相当する情報のみを含むようにしてもよい。
 図6に示される表の最下段に示されるように、トラック依存関係情報は、メタデータ領域にトラックリファレンス(track reference)として格納されるようにしてもよい。
 例えば、図15に示されるような従属情報をトラックリファレンスとして格納してもよい。その場合のトラックリファレンスのリファレンスタイプは、例えばdepdとしてもよい(reference_type=‘depd’)。
 また、そのトラックに含まれる従属スライスの復号の際に直接参照するスライスを含むトラックのみにトラックリファレンスを用いて紐づけてもよい。
 独立スライスを含み、トラック単独で復号可能なトラックのサンプルエントリ4CC(Sample Entry 4CC)は’gpc1’として明示してもよい。また、独立スライスを含まずトラック単独で復号できないトラックのサンプルエントリ 4CC(SampleEntry 4CC)は’lgp1’として明示してもよい。
 また、図6に示される表の上から16段目に示されるように、トラック依存関係情報が、復号の際にその情報に対応するトラックに含まれる独立スライスが必要な従属スライスを含む他のトラックを示す独立情報を含むようにしてもよい(方法1-2-2-2)。
 例えば、図15において、矢印184により示されるように、トラック2の従属スライスの復号の際に、トラック1の独立スライスが参照される。同様に、矢印186により示されるように、トラック3の従属スライスの復号の際に、トラック1の独立スライスが参照される。
 換言するに、図17において、矢印191により示されるように、トラック1に格納される独立スライスは、トラック2の従属スライスの復号に利用される。また、矢印192により示されるように、トラック1に格納される独立スライスは、トラック3の従属スライスの復号に利用される。独立情報は、このような従属関係を示す情報である。換言するに、独立情報は従属情報の逆引きの情報である。
 なお、トラック3は、間接的にトラック1に従属する。したがって、矢印192により示される従属関係を独立情報に含めてもよいし、含めなくてもよい。つまり、図6に示される表の上から17段目に示されるように、独立情報が、復号の際に独立スライスを参照する他のスライスを含む他のトラックを示すようにしてもよい。また、トラック依存関係情報が従属情報と独立情報の両方を含むようにしてもよい。
 上述したようにトラック依存関係情報はメタデータ領域にトラックリファレンス(track reference)として格納されるようにしてもよい。例えば、図17に示されるような独立情報をトラックリファレンスとして格納してもよい。その場合のトラックリファレンスのリファレンスタイプは、例えばinddとしてもよい(reference_type=‘indd’)。このトラックリファレンスのリストを利用し、各トラックに格納されたスライスからG-PCCビットストリームを再構成する際の、スライス配置の順番をメタデータ領域に格納することができる。
  <2-3.マトリョーシカメディアコンテナの場合>
 以上においてはファイルフォーマットとしてISOBMFFを適用する例について説明したが、G-PCCビットストリームを格納するファイルは任意であり、ISOBMFF以外であってもよい。例えば、G-PCCコンテンツが、マトリョーシカメディアコンテナ(Matroska Media Container)に格納されるようにしてもよい。マトリョーシカメディアコンテナの主な構成例を図18に示す。
 この場合、例えば、タイル管理情報(タイル識別情報)は、トラックエントリエレメント(Track Entry element)下の新たに定義したエレメント(element)として格納されてもよい。また、タイル管理情報(タイル識別情報)がタイムドメタデータ(timed metadata)に格納される場合、そのタイムドメタデータが、G-PCCコンテンツが格納されるトラックエントリ(Track entryと)は別のトラックエントリ(Track entry)に格納されるようにしてもよい。
 <3.第1の実施の形態>
  <3-1.ファイル生成装置>
 符号化側装置について説明する。以上に説明した本技術(の各方法)は、任意の装置において適用することができる。図19は、本技術を適用した情報処理装置の一態様であるファイル生成装置の構成の一例を示すブロック図である。図19に示されるファイル生成装置300は、G-PCCを適用してポイントクラウドデータを符号化し、その符号化により生成したG-PCCコンテンツ(G-PCCビットストリーム)をコンテンツファイル(ISOBMFF)に格納する装置である。
 その際、ファイル生成装置300は、<2.コンテンツファイルによるスケーラブル復号情報の伝送>の章で上述した本技術を適用する。つまり、ファイル生成装置300は、G-PCCコンテンツにおけるスライスのデプスとスライス間の依存関係とに基づいてスケーラブル復号情報を生成し、G-PCCコンテンツを格納するコンテンツファイルを生成し、生成したスケーラブル復号情報を、生成したコンテンツファイルのメタデータ領域に格納する。
 なお、図19においては、処理部やデータの流れ等の主なものを示しており、図19に示されるものが全てとは限らない。つまり、ファイル生成装置300において、図19においてブロックとして示されていない処理部が存在したり、図19において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
 図19に示されるようにファイル生成装置300は、抽出部311、符号化部312、ビットストリーム生成部313、スケーラブル復号情報生成部314、およびファイル生成部315を有する。また、符号化部312は、ジオメトリ符号化部321、アトリビュート符号化部322、およびメタデータ生成部323を有する。
 抽出部311は、ファイル生成装置300に入力されるポイントクラウドのデータからジオメトリのデータとアトリビュートのデータをそれぞれ抽出する。抽出部311は、抽出したジオメトリのデータを符号化部312のジオメトリ符号化部321に供給する。また、抽出部311は、抽出したアトリビュートのデータを符号化部312のアトリビュート符号化部322に供給する。
 符号化部312は、ポイントクラウドのデータを符号化する。ジオメトリ符号化部321は、抽出部311から供給されるジオメトリのデータを符号化し、ジオメトリビットストリームを生成する。ジオメトリ符号化部321は、生成したジオメトリビットストリームをメタデータ生成部323に供給する。また、ジオメトリ符号化部321は、生成したジオメトリビットストリームをアトリビュート符号化部322にも供給する。
 アトリビュート符号化部322は、抽出部311から供給されるアトリビュートのデータを符号化し、アトリビュートビットストリームを生成する。アトリビュート符号化部322は、生成したアトリビュートビットストリームをメタデータ生成部323に供給する。
 メタデータ生成部323は、供給されたジオメトリビットストリームおよびアトリビュートビットストリームを参照し、メタデータを生成する。メタデータ生成部323は、ジオメトリビットストリームおよびアトリビュートビットストリームとともに、生成したメタデータをビットストリーム生成部313に供給する。
 ビットストリーム生成部313は、供給されたジオメトリビットストリーム、アトリビュートビットストリーム、およびメタデータを多重化し、G-PCCコンテンツ(G-PCCビットストリーム)を生成する。ビットストリーム生成部313は、生成したG-PCCコンテンツをスケーラブル復号情報生成部314に供給する。
 スケーラブル復号情報生成部314は、ビットストリーム生成部313から供給された、第1のスライスと第2のスライスを含むG-PCCコンテンツを取得する。スケーラブル復号情報生成部314は、<2.コンテンツファイルによるスケーラブル復号情報の伝送>の章において上述した本技術を適用し、そのG-PCCコンテンツにおける各スライスに含まれるジオメトリの品質階層レベルを示すデプス情報と、そのG-PCCコンテンツにおける第1のスライスと第2のスライスの間の依存関係とに基づいて、そのG-PCCコンテンツのスケーラブル復号に関するスケーラブル復号情報を生成する。スケーラブル復号情報生成部314は、G-PCCコンテンツとともに、生成したスケーラブル復号情報をファイル生成部315に供給する。
 ファイル生成部315は、<2.コンテンツファイルによるスケーラブル復号情報の伝送>において上述した本技術を適用し、スケーラブル復号情報生成部314から供給されたG-PCCコンテンツを格納するコンテンツファイルを生成し、そのスケーラブル復号情報を、生成したコンテンツファイルのメタデータ領域に格納する。ファイル生成部315は、以上のように生成したコンテンツファイルをファイル生成装置300の外部に出力する。
 なお、スケーラブル復号情報生成部314が、サンプル毎のスライス構成情報を含むスケーラブル復号情報を生成してもよい。ファイル生成部315が、スライス毎にサブサンプルを設定し、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、そのスライス構成情報を格納してもよい。
 スケーラブル復号情報生成部314が、スライス依存関係情報を含むスライス構成情報を生成してもよい。ファイル生成部315が、スライス毎にサブサンプルを設定し、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、そのスライス依存関係情報を格納してもよい。
 スケーラブル復号情報生成部314が、参照元ジオメトリスライス識別情報と、参照先ジオメトリスライス識別情報を含むスライス依存関係情報を生成してもよい。そして、このスライス依存関係情報に対応するスライス(つまり参照元ジオメトリスライス識別情報に対応するスライス)が独立ジオメトリスライスである場合、上述の参照元ジオメトリスライス識別情報と参照先ジオメトリスライス識別情報とが同一となるようにしてもよい。
 ファイル生成部315が、スライス毎にサブサンプルを設定し、そのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、参照元ジオメトリスライス識別情報および参照先ジオメトリスライス識別情報を格納してもよい。
 スケーラブル復号情報生成部314が、アトリビュートジオメトリスライス識別情報を含むスライス依存関係情報を生成してもよい。ファイル生成部315が、スライス毎にサブサンプルを設定し、そのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、そのアトリビュートジオメトリスライス識別情報を格納してもよい。
 スケーラブル復号情報生成部314が、非スケーラブル符号化が適用されたアトリビュートスライスが参照するジオメトリスライスの識別情報である非スケーラブル符号化アトリビュートジオメトリスライス識別情報を含むスライス依存関係情報を生成してもよい。
 スケーラブル復号情報生成部314が、その情報に対応するアトリビュートスライスが参照するジオメトリスライスまたはジオメトリスライス群の内、デプス情報が最大のジオメトリを含むジオメトリスライスまたはジオメトリスライス群の識別情報を含む非スケーラブル符号化アトリビュートジオメトリスライス識別情報を生成してもよい。ファイル生成部315が、スライス毎にサブサンプルを設定し、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、非スケーラブル符号化アトリビュートジオメトリスライス識別情報を格納してもよい。
 また、スケーラブル復号情報生成部314が、非スケーラブル符号化フラグを含むスライス依存関係情報を生成してもよい。また、ファイル生成部315が、スライス毎にサブサンプルを設定し、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、非スケーラブル符号化フラグを格納してもよい。
 なお、ファイル生成部315が、コーデックスピシフィックパラメーターズにおいて、独立ジオメトリスライスのスライス依存関係情報のペイロードタイプ(PayloadType)と、従属ジオメトリスライスのスライス依存関係情報のペイロードタイプとを、互いに異なる値にしてもよい。
 スケーラブル復号情報生成部314が、ジオメトリスライスデプス情報を含むスライス構成情報を生成してもよい。その際、スケーラブル復号情報生成部314が、最小デプス情報を含むジオメトリスライスデプス情報を生成してもよい。また、スケーラブル復号情報生成部314が、最大デプス情報を含むジオメトリスライスデプス情報を生成してもよい。そして、ファイル生成部315が、スライスまたはスライス群毎にサブサンプルを設定し、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、このジオメトリスライスデプス情報を格納してもよい。
 スケーラブル復号情報生成部314が、ジオメトリスライスデプス情報の他に、第1のスライスと第2のスライスの間の依存関係を示すスライス依存関係情報をさらに含むスライス構成情報を生成してもよい。そして、ファイル生成部315が、ジオメトリスライスデプス情報を格納するサブサンプルインフォメーションボックスのflagsを、スライス依存関係情報が格納されるサブサンプルインフォメーションボックスのflagsと異なる値に設定してもよい。
 スケーラブル復号情報生成部314が、トラック構成情報を含むスケーラブル復号情報を生成してもよい。スケーラブル復号情報生成部314が、トラックデプス情報を含むトラック構成情報を生成してもよい。
 スケーラブル復号情報生成部314が、その情報に対応するトラックにおけるデプス情報の最小値を示すトラック最小デプス情報を含むトラックデプス情報を生成してもよい。また、スケーラブル復号情報生成部314が、その情報に対応するトラックにおけるデプス情報の最大値を示すトラック最大デプス情報を含むトラックデプス情報を生成してもよい。さらに、スケーラブル復号情報生成部314が、一致フラグを含むトラックデプス情報を生成してもよい。そして、ファイル生成部315が、メタデータ領域のサンプルエントリのデプスインフォメーションボックスに、そのようなトラックデプス情報を格納してもよい。
 スケーラブル復号情報生成部314が、トラック依存関係情報を含むトラック構成情報を生成してもよい。また、スケーラブル復号情報生成部314が、その情報に対応するトラックに含まれる従属スライスの復号に必要なスライスを含む他のトラックを示す従属情報を含むトラック依存関係情報を生成してもよい。また、スケーラブル復号情報生成部314が、その情報に対応するトラックに含まれる従属スライスの復号に必要なスライスを含む全ての他のトラックを示す従属情報を生成してもよい。また、スケーラブル復号情報生成部314が、その情報から参照されるスライスを含む他のトラックを示す従属情報を生成してもよい。
 スケーラブル復号情報生成部314が、復号の際にその情報に対応するトラックに含まれる独立スライスが必要な従属スライスを含む他のトラックを示す独立情報を含むトラック依存関係情報を生成してもよい。スケーラブル復号情報生成部314が、復号の際に独立スライスを参照する他のスライスを含む他のトラックを示す独立情報を生成してもよい。また、スケーラブル復号情報生成部314が、トラック依存関係情報が従属情報と独立情報の両方を含む独立情報を生成してもよい。
 そして、ファイル生成部315が、トラック依存関係情報を、メタデータ領域にトラックリファレンス(track reference)として格納してもよい。
 このようにすることにより、<2.コンテンツファイルによるスケーラブル復号情報の伝送>の章において上述したように、再生処理の負荷の増大を抑制することができる。
   <ファイル生成処理の流れ>
 このファイル生成装置300により実行されるファイル生成処理の流れの例を、図20のフローチャートを参照して説明する。
 ファイル生成処理が開始されると、ファイル生成装置300の抽出部311は、ステップS301において、ポイントクラウドからジオメトリとアトリビュートをそれぞれ抽出する。
 ステップS302において、符号化部312は、ステップS301において抽出されたジオメトリとアトリビュートを符号化し、ジオメトリビットストリームおよびアトリビュートビットストリームを生成する。符号化部312は、さらに、そのメタデータを生成する。
 ステップS303において、ビットストリーム生成部313は、ステップS302において生成されたジオメトリビットストリーム、アトリビュートビットストリーム、およびメタデータを多重化し、G-PCCビットストリーム(G-PCCコンテンツ)を生成する。
 ステップS304において、スケーラブル復号情報生成部314は、<2.コンテンツファイルによるスケーラブル復号情報の伝送>の章において上述した本技術を適用し、ステップS303において生成されたG-PCCコンテンツにおけるスライスのデプスと、そのG-PCCコンテンツにおけるスライス間の依存関係とに基づいて、そのG-PCCコンテンツのスケーラブル復号に関するスケーラブル復号情報を生成する。
 ステップS305において、ファイル生成部315は、その他の情報を生成し、ステップS303において生成されたG-PCCコンテンツを格納するコンテンツファイル(例えばISOBMFF)を生成する。そして、ファイル生成部315は、<2.コンテンツファイルによるスケーラブル復号情報の伝送>の章において上述した本技術を適用し、その生成したコンテンツファイルのメタデータ領域に、ステップS304において生成されたスケーラブル復号情報を格納する。
 ステップS306において、ファイル生成部315は、その生成したコンテンツファイル(スケーラブル復号情報が格納されたコンテンツファイル)をファイル生成装置300の外部に出力する。例えば、ファイル生成部315は、そのコンテンツファイルを、ネットワーク等を介して他の装置(例えば、再生装置等)宛てに送信する。また、例えば、ファイル生成部315は、そのコンテンツファイルを、ファイル生成装置300の外部の記憶媒体に供給し、記憶させる。この場合、コンテンツファイルは、その記憶媒体を介して再生装置等に供給される。
 ステップS306の処理が終了するとファイル生成処理が終了する。
 以上のように、ファイル生成装置300は、ファイル生成処理において、<2.コンテンツファイルによるスケーラブル復号情報の伝送>の章において説明した本技術を適用し、スケーラブル復号情報をコンテンツファイルのメタデータ領域に格納する。このようにすることにより、不要な情報の処理(復号等)を低減させることができ、再生処理の負荷の増大を抑制することができる。
  <3-2.再生装置>
 図21は、本技術を適用した情報処理装置の一態様である再生装置の構成の一例を示すブロック図である。図21に示される再生装置400は、G-PCCファイルを復号し、ポイントクラウドを構築し、レンダリングして提示情報を生成する装置である。その際、再生装置400は、<2.コンテンツファイルによるスケーラブル復号情報の伝送>の章において上述した本技術を適用し、ファイル生成装置300により生成されたコンテンツファイルから、ポイントクラウドの中の所望のデプスの再生に必要なスライスを抽出し、復号し、再生する。
 なお、図21においては、処理部やデータの流れ等の主なものを示しており、図21に示されるものが全てとは限らない。つまり、再生装置400において、図21においてブロックとして示されていない処理部が存在したり、図21において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
 図21に示されるように再生装置400は、制御部401、ファイル取得部411、再生処理部412、および提示処理部413を有する。再生処理部412は、ファイル処理部421、復号部422、および提示情報生成部423を有する。
 制御部401は、再生装置400内の各処理部を制御する。ファイル取得部411は、再生するポイントクラウドを格納するコンテンツファイルを取得し、再生処理部412(のファイル処理部421)に供給する。再生処理部412は、供給されたコンテンツファイルに格納されるポイントクラウドの再生に関する処理を行う。
 再生処理部412のファイル処理部421は、ファイル取得部411から供給されるコンテンツファイルを取得し、そのコンテンツファイルからビットストリームを抽出する。その際、ファイル処理部421は、<2.コンテンツファイルによるスケーラブル復号情報の伝送>の章において上述した本技術を適用し、所望のデプスの再生に必要なスライスのビットストリームのみを抽出する。ファイル処理部421は、抽出したビットストリームを復号部422に供給する。
 復号部422は、ファイル処理部421から供給されたビットストリームを復号し、ジオメトリやアトリビュートのデータを生成する。復号部422は、生成したジオメトリやアトリビュートのデータを提示情報生成部423に供給する。提示情報生成部423は、供給されたジオメトリやアトリビュートのデータを用いてポイントクラウドを構築し、そのポイントクラウドを提示する(例えば表示する)ための情報である提示情報を生成する。例えば、提示情報生成部423は、ポイントクラウドを用いてレンダリングを行い、提示情報として、そのポイントクラウドを所定の視点から見た表示画像を生成する。提示情報生成部423は、このように生成した提示情報を提示処理部413に供給する。
 提示処理部413は、供給された提示情報を提示する処理を行う。例えば、提示処理部413は、その提示情報を再生装置400の外部の表示デバイス等に供給し、提示させる。
   <再生処理部>
 図22は、再生処理部412の主な構成例を示すブロック図である。図22に示されるように、ファイル処理部421は、ビットストリーム抽出部431を有する。復号部422は、ジオメトリ復号部441およびアトリビュート復号部442を有する。提示情報生成部423は、ポイントクラウド構築部451および提示処理部452を有する。
 ビットストリーム抽出部431は、ファイル取得部411から供給されたコンテンツファイルからビットストリームを抽出する。その際、ビットストリーム抽出部431は、<2.コンテンツファイルによるスケーラブル復号情報の伝送>の章において上述した本技術を適用し、所望のデプスの再生に必要なスライスのビットストリームのみを抽出する。つまり、ビットストリーム抽出部431は、G-PCCコンテンツを格納するコンテンツファイルのメタデータ領域に格納されたスケーラブル復号情報に基づいて、そのコンテンツファイルから、G-PCCコンテンツの任意のスライスを抽出する。なお、このスケーラブル復号情報は、G-PCCコンテンツのスケーラブル復号に関する情報であり、そのG-PCCコンテンツにおけるスライスに含まれるジオメトリの品質階層レベルを示すデプス情報とそのG-PCCコンテンツにおけるスライス間(例えば、第1のスライスと第2のスライスの間)の依存関係とに基づいて生成された情報である。
 なお、このスケーラブル復号情報が、サンプル毎のスライス構成情報を含むようにしてもよい。例えば、ビットストリーム抽出部431が、そのサンプル毎のスライス構成情報に基づいて各サンプル内におけるスライスの構成を把握し、その構成に基づいてコンテンツファイルからG-PCCコンテンツの任意のスライスを抽出してもよい。ビットストリーム抽出部431が、スライス毎に設定されたサブサンプルの、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納されたスライス構成情報に基づいて、そのコンテンツファイルから、G-PCCコンテンツの任意のスライスを抽出してもよい。
 このスライス構成情報が、スライス依存関係情報を含むようにしてもよい。例えば、ビットストリーム抽出部431が、そのスライス依存関係情報に基づいてスライスまたはスライス群の間の依存関係を把握し、その依存関係に基づいてコンテンツファイルからG-PCCコンテンツの任意のスライスを抽出してもよい。ビットストリーム抽出部431が、スライス毎に設定されたサブサンプルの、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納されたスライス依存関係情報に基づいて、そのコンテンツファイルから、G-PCCコンテンツの任意のスライスを抽出してもよい。
 このスライス依存関係情報が、参照元ジオメトリスライス識別情報と、参照先ジオメトリスライス識別情報を含むようにしてもよい。例えば、ビットストリーム抽出部431が、その参照元ジオメトリスライス識別情報および参照先ジオメトリスライス識別情報に基づいてスライスまたはスライス群の間の依存関係を把握し、その依存関係に基づいてコンテンツファイルからG-PCCコンテンツの所望のジオメトリスライスの復号に必要な他のジオメトリスライスを抽出してもよい。このスライス依存関係情報に対応するスライス(つまり参照元ジオメトリスライス識別情報に対応するスライス)が独立ジオメトリスライスである場合、上述の参照元ジオメトリスライス識別情報と参照先ジオメトリスライス識別情報とが同一となるようにしてもよい。ビットストリーム抽出部431が、スライス毎に設定されたサブサンプルの、メタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納された参照元ジオメトリスライス識別情報および参照先ジオメトリスライス識別情報に基づいて、そのコンテンツファイルから、G-PCCコンテンツの任意のスライスを抽出してもよい。
 スライス依存関係情報が、アトリビュートジオメトリスライス識別情報を含むようにしてもよい。例えば、ビットストリーム抽出部431が、そのアトリビュートジオメトリスライス識別情報に基づいてアトリビュートスライスとジオメトリスライスとの対応関係を特定し、その特定した対応関係に基づいてコンテンツファイルからG-PCCコンテンツの任意のスライス(アトリビュートスライスおよびジオメトリスライス)を抽出してもよい。ビットストリーム抽出部431が、スライス毎に設定されたサブサンプルの、メタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納されたアトリビュートジオメトリスライス識別情報に基づいて、そのコンテンツファイルから、G-PCCコンテンツの任意のスライスを抽出してもよい。
 スライス依存関係情報が、非スケーラブル符号化が適用されたアトリビュートスライスが参照するジオメトリスライスの識別情報である非スケーラブル符号化アトリビュートジオメトリスライス識別情報を含むようにしてもよい。例えば、ビットストリーム抽出部431が、その非スケーラブル符号化アトリビュートジオメトリスライス識別情報に基づいて非スケーラブル符号化が適用されたアトリビュートスライスとジオメトリスライスとの対応関係を特定し、その対応関係に基づいてコンテンツファイルからG-PCCコンテンツの任意のスライス(非スケーラブル符号化が適用されたアトリビュートスライスおよびジオメトリスライス)を抽出してもよい。この非スケーラブル符号化アトリビュートジオメトリスライス識別情報が、その情報に対応するアトリビュートスライスが参照する前記ジオメトリスライスまたはジオメトリスライス群の内、最大デプスを含むジオメトリスライスまたはジオメトリスライス群の識別情報を含むようにしてもよい。ビットストリーム抽出部431が、スライス毎に設定されたサブサンプルの、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納された非スケーラブル符号化アトリビュートジオメトリスライス識別情報に基づいて、そのコンテンツファイルから、G-PCCコンテンツの任意のスライスを抽出してもよい。
 スライス依存関係情報が、非スケーラブル符号化フラグを含むようにしてもよい。例えば、ビットストリーム抽出部431が、非スケーラブル符号化フラグに基づいて非スケーラブル符号化が適用されたか否かを識別し、その識別結果に基づいてアトリビュートスライスとジオメトリスライスとの対応関係を特定し、その対応関係に基づいてコンテンツファイルからG-PCCコンテンツの任意のスライス(アトリビュートスライスおよびジオメトリスライス)を抽出してもよい。ビットストリーム抽出部431が、スライス毎に設定されたサブサンプルの、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納された非スケーラブル符号化フラグに基づいて、そのコンテンツファイルから、G-PCCコンテンツの任意のスライスを抽出してもよい。
 なお、コーデックスピシフィックパラメーターズにおいて、独立ジオメトリスライスのスライス依存関係情報のペイロードタイプ(PayloadType)と、従属ジオメトリスライスのスライス依存関係情報のペイロードタイプとが、互いに異なる値であってもよい。例えば、ビットストリーム抽出部431が、このペイロードタイプに基づいて、独立ジオメトリスライスのスライス依存関係情報であるか、従属ジオメトリスライスのスライス依存関係情報であるかを識別し、その識別結果に基づいてスライス依存関係情報を解析してもよい。
 スライス構成情報が、ジオメトリスライスデプス情報を含むようにしてもよい。例えば、ビットストリーム抽出部431が、そのジオメトリスライスデプス情報に基づいてジオメトリスライスまたはジオメトリスライス群に含まれるジオメトリのデプスを把握し、そのデプスの情報に基づいてコンテンツファイルからG-PCCコンテンツの任意のスライスを抽出してもよい。ジオメトリスライスデプス情報が、最小デプス情報を含むようにしてもよい。ジオメトリスライスデプス情報が、最大デプス情報を含むようにしてもよい。ビットストリーム抽出部431が、スライスまたはスライス群毎に設定されたサブサンプルの、コンテンツファイルのメタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納されたジオメトリスライスデプス情報に基づいて、そのコンテンツファイルから、G-PCCコンテンツの任意のスライスを抽出してもよい。
 スライス構成情報が、ジオメトリスライスデプス情報の他に、スライス間の依存関係を示すスライス依存関係情報をさらに含むようにしてもよい。そして、ジオメトリスライスデプス情報が格納されるサブサンプルインフォメーションボックスのflagsと、スライス依存関係情報が格納されるサブサンプルインフォメーションボックスのflagsとが互いに異なる値に設定されているようにしてもよい。例えば、ビットストリーム抽出部431が、そのflagsに基づいて、ジオメトリスライスデプス情報が格納されるサブサンプルインフォメーションボックスであるか、スライス依存関係情報が格納されるサブサンプルインフォメーションボックスであるかを識別してもよい。
 スケーラブル復号情報が、トラック構成情報を含むようにしてもよい。例えば、ビットストリーム抽出部431が、そのトラック構成情報に基づいてトラックの構成を把握し、そのトラックの構成に基づいてコンテンツファイルからG-PCCコンテンツの任意のスライスを抽出してもよい。そのトラック構成情報が、トラックデプス情報を含むようにしてもよい。例えば、ビットストリーム抽出部431が、そのトラックデプス情報に基づいてトラックに含まれる全スライスのジオメトリのデプス情報を把握し、そのデプス情報に基づいて所望のスライスが格納されるトラックを特定し、そのトラックから所望のスライスを抽出してもよい。トラックデプス情報が、その情報に対応するトラックにおけるデプス情報の最小値を示すトラック最小デプス情報を含むようにしてもよい。トラックデプス情報が、その情報に対応するトラックにおけるデプス情報の最大値を示すトラック最大デプス情報を含むようにしてもよい。トラックデプス情報が、一致フラグを含むようにしてもよい。例えば、ビットストリーム抽出部431が、これらの情報に基づいてトラックに含まれるジオメトリのデプス情報を把握し、そのデプス情報に基づいて所望のスライスが格納されるトラックを特定し、そのトラックから所望のスライスを抽出してもよい。ビットストリーム抽出部431が、メタデータ領域のサンプルエントリのデプスインフォメーションボックスに格納されたトラックデプス情報に基づいて、コンテンツファイルから、G-PCCコンテンツの任意のスライスを抽出してもよい。
 トラック構成情報が、トラック依存関係情報を含むようにしてもよい。例えば、ビットストリーム抽出部431が、そのトラック依存関係情報に基づいてトラックの依存関係を把握し、その依存関係に基づいてコンテンツファイルからG-PCCコンテンツの任意のスライスを抽出してもよい。このトラック依存関係情報が、その情報に対応するトラックに含まれる従属スライスの復号に必要なスライスを含む他のトラックを示す従属情報を含むようにしてもよい。例えば、ビットストリーム抽出部431が、その従属情報に基づいて、その情報に対応するトラックに含まれる従属スライスの復号に必要なスライスを含む他のトラックを特定してもよい。この従属情報が、その情報に対応するトラックに含まれる従属スライスの復号に必要なスライスを含む全ての他のトラックを示すようにしてもよい。また、この従属情報が、その情報から参照されるスライスを含む他のトラックを示すようにしてもよい。また、トラック依存関係情報が、復号の際にその情報に対応するトラックに含まれる独立スライスが必要な従属スライスを含む他のトラックを示す独立情報を含むようにしてもよい。例えば、ビットストリーム抽出部431が、その独立情報に基づいて、復号の際にその情報に対応するトラックに含まれる独立スライスが必要な従属スライスを含む他のトラックを特定してもよい。この独立情報が、復号の際に独立スライスを参照する他のスライスを含む他のトラックを示すようにしてもよい。また、トラック依存関係情報は、メタデータ領域にトラックリファレンス(track reference)として格納されるようにしてもよい。
 ビットストリーム抽出部431は、抽出したジオメトリビットストリームをジオメトリ復号部441に供給する。また、ビットストリーム抽出部431は、抽出したアトリビュートビットストリームをアトリビュート復号部442に供給する。
 ジオメトリ復号部441は、供給されたジオメトリビットストリームを復号し、ジオメトリのデータを生成する。ジオメトリ復号部441は、生成したジオメトリのデータを、ポイントクラウド構築部451に供給する。アトリビュート復号部442は、供給されたアトリビュートビットストリームを復号し、アトリビュートのデータを生成する。アトリビュート復号部442は、生成したアトリビュートのデータを、ポイントクラウド構築部451に供給する。
 ポイントクラウド構築部451は、供給されたジオメトリとアトリビュートのデータを用いてポイントクラウドを構築する。すなわち、ポイントクラウド構築部451は、所望のデプスのポイントクラウドを構築することができる。ポイントクラウド構築部451は、構築したポイントクラウドのデータを提示処理部452に供給する。
 提示処理部452は、供給されたポイントクラウドのデータを用いて提示情報を生成する。提示処理部452は、生成した提示情報を、提示処理部413に供給する。
 このような構成とすることにより、再生装置400は、G-PCCファイルに格納されたタイル管理情報(タイル識別情報)に基づいて、ビットストリーム全体をパースする必要なく、より容易に、所望のタイルのみを抽出し、復号し、構築し、提示することができる。したがって、再生処理の負荷の増大を抑制することができる。
   <再生処理の流れ>
 この再生装置400により実行される再生処理の流れの例を、図23のフローチャートを参照して説明する。
 再生処理が開始されると、再生装置400のファイル取得部411は、ステップS401において、再生するコンテンツファイルを取得する。
 ステップS402において、ビットストリーム抽出部431は、ステップS401において取得されたコンテンツファイルから任意のスライスを抽出する。その際、ビットストリーム抽出部431は、<2.コンテンツファイルによるスケーラブル復号情報の伝送>において上述した本技術を適用し、そのコンテンツファイルのメタデータ領域に格納されるスケーラブル復号情報に基づいてスライスを抽出する。
 ステップS403において、復号部422のジオメトリ復号部441は、ステップS402において抽出されたスライスのジオメトリビットストリームを復号し、所望のデプスのジオメトリを生成する。また、アトリビュート復号部442は、ステップS402において抽出されたスライスのアトリビュートビットストリームを復号し、所望のデプスのジオメトリに対応するアトリビュートを生成する。
 ステップS404において、ポイントクラウド構築部451は、ステップS403において生成されたジオメトリやアトリビュートを用いて、ポイントクラウドを構築する。つまり、ポイントクラウド構築部451は、所望のデプスのポイントクラウドを構築することができる。
 ステップS405において、提示処理部452は、ステップS404において構築したポイントクラウドを用いてレンダリングする等して、提示情報を生成する。ステップS406において、提示処理部413は、その提示情報を再生装置400の外部に供給し、提示させる。
 ステップS406の処理が終了すると再生処理が終了する。
 以上のように、再生装置400は、再生処理において、<2.コンテンツファイルによるスケーラブル復号情報の伝送>の章において説明した本技術を適用し、コンテンツファイルのメタデータ領域に格納されたスケーラブル復号情報に基づいてそのコンテンツファイルから所望のスライスを抽出し、復号する。このようにすることにより、不要な情報の処理(復号等)を低減させることができ、再生処理の負荷の増大を抑制することができる。
 <4.制御ファイルによるスケーラブル復号情報の伝送>
 本技術は、例えば、MPEG-DASH(Moving Picture Experts Group phase - Dynamic Adaptive Streaming over HTTP)に適用することもできる。例えば、MPEG-DASHにおいて、ビットストリームの配信に関する制御情報を格納する制御ファイルであるMPD(Media Presentation Description)を拡張し、スケーラブル復号情報を格納してもよい。例えば、そのスケーラブル復号情報として、コンテンツファイルのトラックに関する情報を記述するアダプテーションセットの構成に関する情報であるアダプテーションセット構成情報をMPDに格納してもよい。
 つまり、図24に示される表の最上段に記載のように、制御ファイルに格納された、スライス構造を有するG-PCCコンテンツの各スライスのデプスとスライス間の依存関係とに基づくアダプテーションセット構成情報を伝送する(方法2)。
 例えば、情報処理装置において、第1のスライスと第2のスライスを含むG-PCCコンテンツにおける各スライスに含まれるジオメトリの品質階層レベルを示すデプス情報と、そのG-PCCコンテンツにおける第1のスライスと第2のスライスの間の依存関係とに基づいて、アダプテーションセット構成情報を生成するアダプテーションセット構成情報生成部と、G-PCCコンテンツを格納するコンテンツファイルの再生を制御する制御ファイルを生成し、アダプテーションセット構成情報をその制御ファイルに格納する制御ファイル生成部とを備えるようにする。そして、コンテンツファイルは、G-PCCコンテンツをスライス単位でトラックに格納するようにする。また、アダプテーションセット構成情報は、そのコンテンツファイルのトラックに関する情報を記述するアダプテーションセットの構成に関する情報である。
 例えば、情報処理方法において、第1のスライスと第2のスライスを含むG-PCCコンテンツにおける各スライスに含まれるジオメトリの品質階層レベルを示すデプス情報と、そのG-PCCコンテンツにおける第1のスライスと第2のスライスの間の依存関係とに基づいて、アダプテーションセット構成情報を生成し、そのG-PCCコンテンツを格納するコンテンツファイルの再生を制御する制御ファイルを生成し、アダプテーションセット構成情報をその制御ファイルに格納するようにする。そして、コンテンツファイルは、G-PCCコンテンツをスライス単位でトラックに格納するようにする。また、アダプテーションセット構成情報は、コンテンツファイルのトラックに関する情報を記述するアダプテーションセットの構成に関する情報である。
 例えば、情報処理装置において、第1のスライスと第2のスライスを含むG-PCCコンテンツをスライス単位でトラックに格納するコンテンツファイルの再生を制御する制御ファイルを解析し、その制御ファイルに格納されたアダプテーションセット構成情報に基づいて、G-PCCコンテンツの任意のスライスを得るために必要なアダプテーションセットを特定する解析部と、そのコンテンツファイルの、その解析部により特定されたアダプテーションセットに対応するトラックを取得する取得部と、その取得部により取得されたトラックに格納されるG-PCCコンテンツのスライスを復号する復号部とを備えるようにする。そして、アダプテーションセット構成情報は、そのコンテンツファイルのトラックに関する情報を記述するアダプテーションセットの構成に関する情報であり、G-PCCコンテンツにおけるスライスに含まれるジオメトリの品質階層レベルを示すデプス情報とG-PCCコンテンツにおける第1のスライスと第2のスライスの間の依存関係とに基づいて生成された情報であるようにする。
 例えば、情報処理方法において、G-PCCコンテンツをスライス単位でトラックに格納するコンテンツファイルの再生を制御する制御ファイルを解析し、その制御ファイルに格納されたアダプテーションセット構成情報に基づいて、そのG-PCCコンテンツの任意のスライスを得るために必要なアダプテーションセットを特定し、そのコンテンツファイルの、特定されたアダプテーションセットに対応するトラックを取得し、その取得されたトラックに格納されるG-PCCコンテンツのスライスを復号するようにする。そして、アダプテーションセット構成情報は、コンテンツファイルのトラックに関する情報を記述するアダプテーションセットの構成に関する情報であり、G-PCCコンテンツにおけるスライスに含まれるジオメトリの品質階層レベルを示すデプス情報とG-PCCコンテンツにおける第1のスライスと第2のスライスの間の依存関係とに基づいて生成された情報である。
 このようにすることにより、デコーダは、制御ファイルに格納されているアダプテーションセット構成情報に基づいて、所望のデプスや領域のポイントクラウドを再生するのに必要なスライスが格納されたトラックを選択し、そのトラックを取得することができる。したがって、不要なデータの伝送を抑制することができる。これにより伝送路や通信処理の負荷の増大を抑制することができる。また、デコーダは、処理するデータ量の増大を抑制することができるので、再生処理の負荷の増大を抑制することができる。これにより、データ伝送や再生処理に関する遅延の増大を抑制することができる。
 <2.コンテンツファイルによるスケーラブル復号情報の伝送>の章において上述したように、特に大規模なポイントクラウドの場合、本技術を適用することにより、データ伝送や再生処理の負荷の増大をより抑制することができ、より大きな効果を得ることができる。
  <4-1.アダプテーションセットデプス情報>
 図24に示される表の上から2番目の段に示されるように、アダプテーションセット構成情報が、アダプテーションセットデプス情報を含むようにしてもよい(方法2-1)。アダプテーションセットデプス情報は、その情報に対応するアダプテーションセットに対応するトラック含まれる全スライスのジオメトリのデプス情報に関する情報である。このアダプテーションセットデプス情報は、<2-2-1.トラックデプス情報>において説明したトラックデプス情報と同様の情報である。つまり、アダプテーションセットデプス情報は、トラックデプス情報を、制御ファイル(MPD)に適用したものである。
 デコーダは、MPDに格納されるこのアダプテーションセットデプス情報に基づいて、どのデプスのスライスがどのアダプテーションセット(すなわちトラック)に対応するかを容易に(ビットストリームをパースせずに)把握することができる。したがって、デコーダは、取得するトラックの選択をより容易に(ビットストリームをパースせずに)行うことができる。
 なお、MPDの場合、新規にサプリメンタルプロパティ(Supplemental Property)またはエッセンシャルプロパティ(Essential Property)が定義され、schemeIdUri = “urn:mpeg:mpegI:gpcc:2020:depth”が設定され、そこにアダプテーションセットデプス情報が格納されるようにしてもよい。
 図24に示される表の上から3番目の段に示されるように、アダプテーションセットデプス情報が、アダプテーションセット最小デプス情報を含むようにしてもよい(方法2-1-1)。アダプテーションセット最小デプス情報は、その情報に対応するアダプテーションセットに対応するトラックにおけるデプス情報の最小値を示す情報である。
 図25は、アダプテーションセットデプス情報としてMPDに追加するパラメータの例を示す図である。図25に示される@minDepthは、アダプテーションセット最小デプス情報であり、<2-2-1.トラックデプス情報>において説明したトラックデプス情報のtrack_min_depth(トラック最小デプス情報)と同様の情報である。つまり、@minDepthは、track_min_depthを制御ファイル(MPD)に適用したものである。
 図24に示される表の上から4番目の段に示されるように、アダプテーションセットデプス情報が、アダプテーションセット最大デプス情報を含むようにしてもよい(方法2-1-2)。アダプテーションセット最大デプス情報は、その情報に対応するアダプテーションセットに対応するトラックにおけるデプス情報の最大値を示す情報である。
 図25に示される@maxDepthは、アダプテーションセット最大デプス情報であり、<2-2-1.トラックデプス情報>において説明したトラックデプス情報のtrack_max_depth(トラック最大デプス情報)と同様の情報である。つまり、@maxDepthは、track_max_depthを制御ファイル(MPD)に適用したものである。
 図24に示される表の上から5番目の段に示されるように、アダプテーションセットデプス情報が、一致フラグを含むようにしてもよい(方法2-1-3)。一致フラグは、その情報に対応するアダプテーションセットに対応するトラックに含まれる各サンプルのサンプル最小デプス情報がアダプテーションセット最小デプス情報に一致し、かつ、そのトラックに含まれる各サンプルのサンプル最大デプス情報がアダプテーションセット最大デプス情報に一致するか否かを示すフラグ情報(最小デプス、最大デプスが全サンプルで共通か否かを示すフラグ情報)である。なお、サンプル最小デプス情報は、サンプルにおけるデプス情報の最小値を示す。サンプル最大デプス情報は、サンプルにおけるデプス情報の最大値を示す。
 図25に示される@fixedDepthは、そのアダプテーションセットの一致フラグである。@fixedDepthが「0」(偽)の場合、そのアダプテーションセットに対応するトラック内の全サンプルのサンプル最小デプス情報およびサンプル最大デプス情報は、アダプテーションセット最小デプス情報(@minDepth)乃至アダプテーションセット最大デプス情報(@maxDepth)の範囲内の値をとることを示す。つまり、この場合、各サンプルのデプスの最小値若しくは最大値またはその両方が、サンプル毎に変化し得る。
 これに対して、@fixedDepthが「1」(真)の場合、トラック内の各サンプルのサンプル最小デプス情報がトラック最小デプス情報(track_min_depth)に一致し、かつ、トラック内の各サンプルのサンプル最大デプス情報がトラック最大デプス情報(track_min_depth)に一致することを示す。つまり、この場合、各サンプルのデプスの最小値および最大値が、それぞれ、全サンプルで共通の値をとる。
 例えば、トラックが1つのデプスのデータのみを含む場合、一致フラグ(@fixedDepth)の値が「1」に設定され、アダプテーションセット最小デプス情報(@minDepth)とアダプテーションセット最大デプス情報(@maxDepth)とが互いに同一の値をとる(@minDepth = @maxDepth)。
 MPDの場合、アダプテーションセットデプス情報のこれらのパラメータ(@fixedDepth, @minDepth, @maxDepth)が、上述のサプリメンタルプロパティ(Supplemental Property)またはエッセンシャルプロパティ(Essential Property)において設定されてもよい。
 以上のように、アダプテーションセットデプス情報としてこれらの情報を制御ファイル(MPD)に格納することにより、デコーダは、これらの情報に基づいて、各トラックにどのデプスのデータが格納されているのかを、より容易に(ビットストリームをパースせずに)把握することができる。したがって、デコーダは、取得するトラックを、より容易に(ビットストリームをパースせずに)選択することができる。
  <4-2.リプレゼンテーション依存関係情報>
 図24に示される表の上から6番目の段に示されるように、アダプテーションセット構成情報が、リプレゼンテーション依存関係情報を含むようにしてもよい(方法2-2)。リプレゼンテーション依存関係情報は、リプレゼンテーション間の依存関係(例えば、第1のリプレゼンテーションと第2のリプレゼンテーションの間の依存関係)を示す情報である。MPDにおいて、トラックは、アダプテーションセットのリプレゼンテーション(Representation)により管理される。そして、このリプレゼンテーション依存関係情報は、<2-2-2.トラック依存関係情報>において説明したトラック依存関係情報と同様の情報である。つまり、リプレゼンテーション依存関係情報は、トラック依存関係情報を、制御ファイル(MPD)に適用したものである。
 デコーダは、MPDに格納されるこのリプレゼンテーション依存関係情報に基づいて、トラック間の依存関係をより容易に(ビットストリームをパースせずに)把握することができる。したがって、デコーダは、取得するトラックの選択をより容易に(ビットストリームをパースせずに)行うことができる。
 図24に示される表の上から7番目の段に示されるように、リプレゼンテーション依存関係情報が、その情報に対応するリプレゼンテーションの復号に必要な他のリプレゼンテーションを示す従属情報を含むようにしてもよい(方法2-2-1)。
 従属情報は、独立スライス(depth=0)を含まないリプレゼンテーションから、そのリプレゼンテーションの復号に必要なスライスを含む全てのリプレゼンテーションへ紐づける情報である。
 このような従属情報を制御ファイル(MPD)に格納することにより、デコーダは、その従属情報に基づいて、処理対象のリプレゼンテーション(すなわちトラック)の復号に必要な他のリプレゼンテーション(すなわちトラック)を、ビットストリームをパースすることなく、より容易に確認することができる。したがって、再生処理の負荷の増大を抑制することができる。
 なお、図24に示される表の上から8段目に示されるように、この従属情報が、その情報に対応するリプレゼンテーションの復号に必要な全ての他のリプレゼンテーションを示すようにしてもよい(方法2-2-1-1)。
 また、図24に示される表の上から9段目に示されるように、この従属情報が、その情報に対応するリプレゼンテーションから参照される他のリプレゼンテーションを示すようにしてもよい(方法2-2-1-2)。つまり、この従属情報により、参照元のリプレゼンテーションが直接参照するリプレゼンテーションが示されるようにしてもよい。
 また、図24に示される表の上から10段目に示されるように、リプレゼンテーション依存関係情報が、復号の際にその情報に対応するリプレゼンテーションが必要な他のリプレゼンテーションを示す独立情報を含むようにしてもよい(方法2-2-2)。つまり、独立情報は、独立スライス(depth=0)を含むリプレゼンテーションから、そのスライスを参照してデコードされる従属スライスを含むリプレゼンテーションへ紐づける情報である。換言するに、独立情報は従属情報の逆引きの情報である。
 図24に示される表の上から11段目に示されるように、この独立情報が、復号の際にその情報に対応するリプレゼンテーションが必要な全ての他のリプレゼンテーションを示すようにしてもよい(方法2-2-2-1)。
 また、図24に示される表の最下段に示されるように、リプレゼンテーション依存関係情報は、リプレゼンテーションアソシエーション識別情報(Representation@associationId)と、アソシエーションタイプ(associationType)の2つのパラメータとして制御ファイル(MPD)に格納されるようにしてもよい(方法2-2-3)。つまり、従属情報や独立情報の紐づけは、リプレゼンテーションアソシエーション識別情報(Representation@associationId)と、アソシエーションタイプ(associationType)の2つのパラメータを用いて行われるようにしてもよい。
 従属情報の場合、アソシエーションタイプは、「depd」に設定される(associationType=“depd”)ようにしてもよい。また、独立情報の場合、アソシエーションタイプは、「indd」に設定される(associationType=“indd”)ようにしてもよい。
 なお、アダプテーションセットに非スケーラブル符号化が適用されたアトリビュートスライスが含まれるか否かを明示するフラグ情報(@nonScalableAttributeFlag)を制御ファイル(MPD)に格納してもよい。
  <4-3.記述例>
 MPDの記述例を図26に示す。図26に示されるMPD520において、下線521が付された行において、識別情報が「1」のアダプテーションセット(AdaptationSet id=“1”)について、エッセンシャルプロパティ(Essential Property)が定義され、schemeIdUri = “urn:mpeg:mpegI:gpcc:2020:depth”が設定されている。そして、@fixedDepth、@minDepth、@maxDepth等のアダプテーションセットデプス情報が設定される。
 また、図26に示されるMPD520において、下線522が付された行において、識別情報が「2」のアダプテーションセット(AdaptationSet id=“2”)について、エッセンシャルプロパティ(Essential Property)が定義され、schemeIdUri = “urn:mpeg:mpegI:gpcc:2020:depth”が設定されている。そして、@fixedDepth、@minDepth、@maxDepth等のアダプテーションセットデプス情報が設定される。さらに、その次の行において、リプレゼンテーションアソシエーション識別情報(Representation@associationId)と、アソシエーションタイプ(associationType)等のリプレゼンテーション依存関係情報が設定される。このリプレゼンテーション依存関係情報は、従属情報であるので、アソシエーションタイプ(associationType)は、「depd」に設定されている。
 また、図26に示されるMPD520において、下線523が付された行において、識別情報が「3」のアダプテーションセット(AdaptationSet id=“3”)について、エッセンシャルプロパティ(Essential Property)が定義され、schemeIdUri = “urn:mpeg:mpegI:gpcc:2020:depth”が設定されている。そして、@fixedDepth、@minDepth、@maxDepth等のアダプテーションセットデプス情報が設定される。さらに、その次の行において、リプレゼンテーションアソシエーション識別情報(Representation@associationId)と、アソシエーションタイプ(associationType)等のリプレゼンテーション依存関係情報が設定される。このリプレゼンテーション依存関係情報は、従属情報であるので、アソシエーションタイプ(associationType)は、「depd」に設定されている。
 以上のように、アダプテーションセットデプス情報やリプレゼンテーション依存関係情報がMPDに格納されるので、デコーダは、それらの情報に基づいて、所望のスライスを含むリプレゼンテーション(すなわちトラック)を、ビットストリームをパースすることなく、より容易に確認することができる。したがって、再生処理の負荷の増大を抑制することができる。
 なお、本章(<4.制御ファイルによるスケーラブル復号情報の伝送>)において説明した本技術、すなわち、スケーラブル復号情報(アダプテーションセット構成情報)をMPDに格納することと、<2.コンテンツファイルによるスケーラブル復号情報の伝送>の章において説明した本技術、すなわち、スケーラブル復号情報(少なくともサンプル毎のスライス構成情報)をコンテンツファイルのメタデータ領域に格納することは、いずれか一方を適用してもよいし、両方を適用してもよい。
 <5.第2の実施の形態>
  <5-1.ファイル生成装置>
 以上に説明した本技術(の各方法)は、任意の装置において適用することができる。図27は、本技術を適用した情報処理装置の一態様であるファイル生成装置の構成の一例を示すブロック図である。図27に示されるファイル生成装置600は、ファイル生成装置300と同様、G-PCCを適用してポイントクラウドデータを符号化し、その符号化により生成したG-PCCコンテンツ(G-PCCビットストリーム)をコンテンツファイル(ISOBMFF)に格納する装置である。ただし、ファイル生成装置600は、さらに、そのコンテンツファイルに対応するMPDを生成する。
 その際、ファイル生成装置600は、<2.コンテンツファイルによるスケーラブル復号情報の伝送>や<4.制御ファイルによるスケーラブル復号情報の伝送>の章で上述した本技術を適用し得る。つまり、ファイル生成装置600は、G-PCCコンテンツにおけるスライスのデプスとスライス間の依存関係とに基づいてスケーラブル復号情報を生成し、G-PCCコンテンツを格納するコンテンツファイルを生成し、生成したコンテンツファイルのメタデータ領域に、生成したスケーラブル復号情報の内、少なくともサンプル毎のスライス構成情報を格納することができる。また、ファイル生成装置600は、生成したスケーラブル復号情報の内、アダプテーションセット構成情報を、MPDに格納することができる。
 なお、図27においては、処理部やデータの流れ等の主なものを示しており、図27に示されるものが全てとは限らない。つまり、ファイル生成装置600において、図27においてブロックとして示されていない処理部が存在したり、図27において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
 図27に示されるようにファイル生成装置600は、ファイル生成装置300(図19)と基本的に同様の構成を有する。ただし、ファイル生成装置600は、ファイル生成部315の代わりに、コンテンツファイル生成部615およびMPD生成部616を有する。
 スケーラブル復号情報生成部314は、この場合も、<2.コンテンツファイルによるスケーラブル復号情報の伝送>において上述した本技術を適用し、スケーラブル復号情報(少なくともサンプル毎のスライス構成情報)を生成する。つまり、スケーラブル復号情報生成部314は、第1のスライスと第2のスライスを含むG-PCCコンテンツにおける各スライスに含まれるジオメトリの品質階層レベルを示すデプス情報と、そのG-PCCコンテンツにおける第1のスライスと第2のスライスの間の依存関係とに基づいてスケーラブル復号情報(少なくともサンプル毎のスライス構成情報)を生成する。また、この場合、スケーラブル復号情報生成部314は、<4.制御ファイルによるスケーラブル復号情報の伝送>の章で上述した本技術を適用し、スケーラブル復号情報として、トラック構成情報の代わりに、アダプテーションセット構成情報を生成する。つまり、スケーラブル復号情報生成部314は、アダプテーションセット構成情報生成部として、第1のスライスと第2のスライスを含むG-PCCコンテンツにおける各スライスに含まれるジオメトリの品質階層レベルを示すデプス情報と、そのG-PCCコンテンツにおける第1のスライスと第2のスライスの間の依存関係とに基づいて、アダプテーションセット構成情報を生成する。
 スケーラブル復号情報生成部314は、G-PCCコンテンツとともに、生成したスケーラブル復号情報をコンテンツファイル生成部615に供給する。また、スケーラブル復号情報生成部314は、G-PCCコンテンツとともに、生成したスケーラブル復号情報をMPD生成部616にも供給する。
 コンテンツファイル生成部615は、<2.コンテンツファイルによるスケーラブル復号情報の伝送>において上述した本技術を適用し、供給されたG-PCCコンテンツをスライス単位でトラックに格納するコンテンツファイルを生成し、そのスケーラブル復号情報(少なくともサンプル毎のスライス構成情報)を、生成したコンテンツファイルのメタデータ領域に格納する。コンテンツファイル生成部615は、以上のように生成したコンテンツファイルをファイル生成装置300の外部に出力する。
 MPD生成部616は、制御ファイル生成部として、MPDを生成し、供給されたG-PCCコンテンツに関する情報をMPDに格納する。また、MPD生成部616は、<4.制御ファイルによるスケーラブル復号情報の伝送>の章で上述した本技術を適用し、そのMPDに、供給されたスケーラブル復号情報(アダプテーションセット構成情報)を格納する。MPD生成部616は、以上のように生成したMPDをファイル生成装置300の外部(例えば、コンテンツファイルの配信サーバ等)に出力する。
 このアダプテーションセット構成情報が、アダプテーションセットデプス情報を含むようにしてもよい。つまり、スケーラブル復号情報生成部314が、アダプテーションセットデプス情報を含むアダプテーションセット構成情報を生成し、MPD生成部616が、そのアダプテーションセット構成情報をMPDのアダプテーションセットに格納してもよい。また、そのアダプテーションセットデプス情報が、アダプテーションセット最小デプス情報を含むようにしてもよい。また、アダプテーションセットデプス情報が、アダプテーションセット最大デプス情報を含むようにしてもよい。さらに、アダプテーションセットデプス情報が、一致フラグを含むようにしてもよい。つまり、スケーラブル復号情報生成部314が、これらの情報を含むアダプテーションセットデプス情報を生成し、MPD生成部616が、そのアダプテーションセットデプス情報をMPDのアダプテーションセットに格納してもよい。例えば、MPD生成部616が、新規にサプリメンタルプロパティまたはエッセンシャルプロパティを定義し、そこにアダプテーションセットデプス情報を格納してもよい。
 また、アダプテーションセット構成情報が、リプレゼンテーション依存関係情報を含むようにしてもよい。つまり、スケーラブル復号情報生成部314が、リプレゼンテーション依存関係情報を含むアダプテーションセット構成情報を生成し、MPD生成部616が、そのアダプテーションセット構成情報をMPDのアダプテーションセットに格納してもよい。また、そのリプレゼンテーション依存関係情報が、その情報に対応するリプレゼンテーションの復号に必要な他のリプレゼンテーションを示す従属情報を含むようにしてもよい。さらに、この従属情報が、その情報に対応するリプレゼンテーションの復号に必要な全ての他のリプレゼンテーションを示すようにしてもよい。また、この従属情報が、その情報に対応するリプレゼンテーションから参照される他のリプレゼンテーションを示すようにしてもよい。つまり、スケーラブル復号情報生成部314が、このような従属情報を含むリプレゼンテーション依存関係情報を生成し、MPD生成部616が、そのリプレゼンテーション依存関係情報をMPDのアダプテーションセットに格納してもよい。
 また、リプレゼンテーション依存関係情報が、復号の際にその情報に対応するリプレゼンテーションが必要な他のリプレゼンテーションを示す独立情報を含むようにしてもよい。そして、この独立情報が、復号の際にその情報に対応するリプレゼンテーションが必要な全ての他のリプレゼンテーションを示すようにしてもよい。つまり、スケーラブル復号情報生成部314が、このような独立情報を含むリプレゼンテーション依存関係情報を生成し、MPD生成部616が、そのリプレゼンテーション依存関係情報をMPDのアダプテーションセットに格納してもよい。
 リプレゼンテーション依存関係情報は、リプレゼンテーションアソシエーション識別情報(Representation@associationId)と、アソシエーションタイプ(associationType)の2つのパラメータとして制御ファイル(MPD)に格納されるようにしてもよい。
 このようにすることにより、<2.コンテンツファイルによるスケーラブル復号情報の伝送>や<4.制御ファイルによるスケーラブル復号情報の伝送>の章において上述したように、再生処理の負荷の増大を抑制することができる。
   <ファイル生成処理の流れ>
 このファイル生成装置600により実行されるファイル生成処理の流れの例を、図28のフローチャートを参照して説明する。
 ファイル生成処理が開始されると、ステップS601乃至ステップS603の各処理は、図20のファイル生成処理のフローチャートにおけるステップS301乃至ステップS303の各処理と同様に実行される。
 ステップS604において、スケーラブル復号情報生成部314は、<2.コンテンツファイルによるスケーラブル復号情報の伝送>の章において説明した本技術を適用して、スケーラブル復号情報として、サンプル毎のスライス構成情報を生成する。また、スケーラブル復号情報生成部314は、<4.制御ファイルによるスケーラブル復号情報の伝送>の章において説明した本技術を適用して、スケーラブル復号情報として、アダプテーションセット構成情報を生成する。
 ステップS605において、コンテンツファイル生成部615は、<2.コンテンツファイルによるスケーラブル復号情報の伝送>の章において説明した本技術を適用する。つまり、コンテンツファイル生成部615は、コンテンツファイルを生成し、G-PCCコンテンツをコンテンツファイルのトラックにスライス単位で格納する。そして、コンテンツファイル生成部615は、そのコンテンツファイルのメタデータ領域に、サンプル毎のスライス構成情報を格納する。
 ステップS606において、コンテンツファイル生成部615は、その生成したコンテンツファイル(スケーラブル復号情報が格納されたコンテンツファイル)をファイル生成装置600の外部に出力する。例えば、コンテンツファイル生成部615は、そのコンテンツファイルを、ネットワーク等を介して他の装置(例えば、再生装置等)宛てに送信する。また、例えば、コンテンツファイル生成部615は、そのコンテンツファイルを、ファイル生成装置600の外部の記憶媒体に供給し、記憶させる。この場合、コンテンツファイルは、その記憶媒体を介して再生装置等に供給される。
 ステップS607において、MPD生成部616は、<4.制御ファイルによるスケーラブル復号情報の伝送>の章において説明した本技術を適用する。つまり、MPD生成部616は、ステップS605において生成されたコンテンツファイルに対応するMPDを生成し、ステップS604において生成されたアダプテーションセット構成情報をそのMPDに格納する。
 ステップS608において、MPD生成部616は、そのMPDをファイル生成装置600の外部に出力する。例えば、そのMPDは、コンテンツファイルの配信サーバ等に提供される。
 ステップS608の処理が終了すると、ファイル生成処理が終了する。
 以上のように、ファイル生成装置600は、ファイル生成処理において、<2.コンテンツファイルによるスケーラブル復号情報の伝送>や<4.制御ファイルによるスケーラブル復号情報の伝送>の章において説明した本技術を適用し、スケーラブル復号情報をコンテンツファイルのメタデータ領域やMPDに格納する。このようにすることにより、不要な情報の伝送や処理(復号等)を低減させることができ、データ伝送や再生処理の負荷の増大を抑制することができる。
  <5-2.再生装置>
 図29は、本技術を適用した情報処理装置の一態様である再生装置の構成の一例を示すブロック図である。図29に示される再生装置700は、再生装置400と同様、コンテンツファイルを復号し、ポイントクラウドを構築し、レンダリングして提示情報を生成する装置である。その際、再生装置700は、<2.コンテンツファイルによるスケーラブル復号情報の伝送>や<4.制御ファイルによるスケーラブル復号情報の伝送>の章において上述した本技術を適用し得る。
 なお、図29においては、処理部やデータの流れ等の主なものを示しており、図29に示されるものが全てとは限らない。つまり、再生装置700において、図29においてブロックとして示されていない処理部が存在したり、図29において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
 図29に示されるように再生装置700は、基本的に再生装置400(図21)と同様の構成を有する。ただし、再生装置700は、ファイル取得部411の代わりに、ファイル取得部711およびMPD解析部712を有する。
 ファイル取得部711は、所望のコンテンツファイル(再生対象のコンテンツファイル)に対応するMPDを取得し、MPD解析部712に供給する。また、ファイル取得部711は、再生対象のコンテンツファイルの供給元に対して、そのコンテンツファイルのトラックの内、MPD解析部712から要求されたトラックを要求し、取得する。ファイル取得部711は、取得したトラック(そのトラックに格納されるビットストリーム)を再生処理部412(ファイル処理部421)に供給する。
 MPD解析部712は、ファイル取得部711からMPDを取得すると、そのMPDを解析し、所望のトラックを選択する。その際、MPD解析部712は、<4.制御ファイルによるスケーラブル復号情報の伝送>の章において上述した本技術を適用し得る。つまり、MPD解析部712は、そのMPDのアダプテーションセットに格納されたアダプテーションセット構成情報に基づいて、G-PCCコンテンツの任意のスライスを得るために必要なアダプテーションセット(すなわちトラック)を特定する。MPD解析部712は、ファイル取得部711に対して、その特定したアダプテーションセットに対応するトラックの取得を要求する。
 このアダプテーションセット構成情報が、アダプテーションセットデプス情報を含むようにしてもよい。例えば、MPD解析部712が、MPDのアダプテーションセットに格納されたアダプテーションセットデプス情報に基づいてトラック含まれる全スライスのジオメトリのデプス情報を把握し、そのデプス情報に基づいて任意のスライスを得るために必要なアダプテーションセット(すなわちトラック)を特定してもよい。また、そのアダプテーションセットデプス情報が、アダプテーションセット最小デプス情報を含むようにしてもよい。また、アダプテーションセットデプス情報が、アダプテーションセット最大デプス情報を含むようにしてもよい。さらに、アダプテーションセットデプス情報が、一致フラグを含むようにしてもよい。例えば、MPD解析部712が、MPDのアダプテーションセットに格納されたこれらの情報に基づいてトラック含まれる全スライスのジオメトリのデプス情報を把握し、そのデプス情報に基づいて任意のスライスを得るために必要なアダプテーションセット(すなわちトラック)を特定してもよい。
 また、アダプテーションセット構成情報が、リプレゼンテーション依存関係情報を含むようにしてもよい。例えば、MPD解析部712が、MPDのアダプテーションセットに格納されたこのリプレゼンテーション依存関係情報に基づいてリプレゼンテーション(すなわちトラック)間の依存関係を把握し、その依存関係に基づいて任意のスライスを得るために必要なリプレゼンテーション(すなわちトラック)を特定してもよい。そのリプレゼンテーション依存関係情報が、その情報に対応するリプレゼンテーションの復号に必要な他のリプレゼンテーションを示す従属情報を含むようにしてもよい。さらに、この従属情報が、その情報に対応するリプレゼンテーションの復号に必要な全ての他のリプレゼンテーションを示すようにしてもよい。また、この従属情報が、その情報に対応するリプレゼンテーションから参照される他のリプレゼンテーションを示すようにしてもよい。例えば、MPD解析部712が、MPDのアダプテーションセットに格納されたこの従属情報に基づいて、その情報に対応するリプレゼンテーションの復号に必要な他のリプレゼンテーション(すなわち他のトラック)を特定してもよい。
 また、リプレゼンテーション依存関係情報が、復号の際にその情報に対応するリプレゼンテーションが必要な他のリプレゼンテーションを示す独立情報を含むようにしてもよい。そして、この独立情報が、復号の際にその情報に対応するリプレゼンテーションが必要な全ての他のリプレゼンテーションを示すようにしてもよい。例えば、MPD解析部712が、MPDのアダプテーションセットに格納されたこの従属情報に基づいて、復号の際にその情報に対応するリプレゼンテーションが必要な他のリプレゼンテーション(すなわち他のトラック)を特定してもよい。
 リプレゼンテーション依存関係情報は、リプレゼンテーションアソシエーション識別情報(Representation@associationId)と、アソシエーションタイプ(associationType)の2つのパラメータとして制御ファイル(MPD)に格納されるようにしてもよい。つまり、MPD解析部712が、MPDのアダプテーションセットに格納されたこれらのパラメータを参照し、これらのパラメータに基づいてリプレゼンテーション(すなわちトラック)間の依存関係を把握し、その依存関係に基づいて任意のスライスを得るために必要なリプレゼンテーション(すなわちトラック)を特定してもよい。
 このようにすることにより、<2.コンテンツファイルによるスケーラブル復号情報の伝送>や<4.制御ファイルによるスケーラブル復号情報の伝送>の章において上述したように、再生処理の負荷の増大を抑制することができる。
 復号部422は、<4.制御ファイルによるスケーラブル復号情報の伝送>の章において上述した本技術を適用し、ファイル取得部711から供給されたトラックに格納されるG-PCCコンテンツのスライスを復号する。
   <再生処理の流れ>
 この再生装置700により実行される再生処理の流れの例を、図30のフローチャートを参照して説明する。
 再生処理が開始されると、再生装置700のファイル取得部711は、ステップS701において、再生するコンテンツファイルに対応するMPDを取得する。
 ステップS702において、MPD解析部712は、MPDに格納されたアダプテーションセット構成情報に基づいて、所望のデプスのG-PCCコンテンツを得るために必要なアダプテーションセットを特定する。
 ステップS703において、ファイル取得部711は、再生するコンテンツファイルの、ステップS702において特定されたアダプテーションセットに対応するトラックに格納された符号化データを取得する。
 ステップS704において、ファイル処理部421は、サンプル毎のスライス構成情報に基づいて、取得した符号化データから、所望のデプスのG-PCCコンテンツを得るために必要なスライスの符号化データをそのコンテンツファイルから取得する。
 ステップS705乃至ステップS708の各処理は、図23の再生処理のステップS403乃至ステップS406の各処理と同様に実行される。ステップS708の処理が終了すると再生処理が終了する。
 以上のように、再生装置700は、再生処理において、<2.コンテンツファイルによるスケーラブル復号情報の伝送>や<4.制御ファイルによるスケーラブル復号情報の伝送>の章において説明した本技術を適用し、MPDに格納されたアダプテーションセット構成情報や、コンテンツファイルのメタデータ領域に格納されたサンプル毎のスライス構成情報に基づいてコンテンツファイルの所望のトラックを取得し、復号する。このようにすることにより、不要な情報の処理(データ伝送や復号等)を低減させることができ、再生処理の負荷の増大を抑制することができる。
 <6.付記>
  <コンピュータ>
 上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
 図31は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
 図31に示されるコンピュータ900において、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903は、バス904を介して相互に接続されている。
 バス904にはまた、入出力インタフェース910も接続されている。入出力インタフェース910には、入力部911、出力部912、記憶部913、通信部914、およびドライブ915が接続されている。
 入力部911は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部912は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部913は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部914は、例えば、ネットワークインタフェースよりなる。ドライブ915は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア921を駆動する。
 以上のように構成されるコンピュータでは、CPU901が、例えば、記憶部913に記憶されているプログラムを、入出力インタフェース910およびバス904を介して、RAM903にロードして実行することにより、上述した一連の処理が行われる。RAM903にはまた、CPU901が各種の処理を実行する上において必要なデータなども適宜記憶される。
 コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア921に記録して適用することができる。その場合、プログラムは、リムーバブルメディア921をドライブ915に装着することにより、入出力インタフェース910を介して、記憶部913にインストールすることができる。
 また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部914で受信し、記憶部913にインストールすることができる。
 その他、このプログラムは、ROM902や記憶部913に、あらかじめインストールしておくこともできる。
  <本技術の適用可能な対象>
 以上においては、スライス構造を有するG-PCCコンテンツをISOBMFFに格納する場合を例に説明したが、本技術を適用可能なケースは、この例に限定されない。本技術は、上述した本技術と矛盾しない限り、任意の技術に適用可能である。例えば、符号化対象としてポイントクラウドデータを例に説明したが、任意の規格の3Dデータを符号化対象とすることができる。また、符号化・復号方法の例としてG-PCCを例に説明したが、スライス構造を有する符号化データを生成し得る方法(スケーラブル復号に対応した方法)であれば、任意の符号化・復号方法を適用し得る。さらに、G-PCCコンテンツを格納するファイルフォーマットとしてISOBMFFを例に説明したが、スケーラブル復号情報を格納可能であれば、任意のファイルフォーマットを適用し得る。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略したり、上述していない技術と組み合わせたりしてもよい。
 また、本技術は、任意の構成に適用することができる。例えば、本技術は、様々な電子機器に応用され得る。
 また、例えば、本技術は、システムLSI(Large Scale Integration)等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、または、ユニットにさらにその他の機能を付加したセット等、装置の一部の構成として実施することもできる。
 また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV(Audio Visual)機器、携帯型情報処理端末、IoT(Internet of Things)デバイス等の任意の端末に対して、画像(動画像)に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
 なお、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
  <本技術を適用可能な分野・用途>
 本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
 例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
  <その他>
 なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の2状態を識別する際に用いる情報だけでなく、3以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の2値であってもよいし、3値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報(フラグも含む)は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
 また、符号化データ(ビットストリーム)に関する各種情報(メタデータ等)は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る(リンクさせ得る)ようにすることを意味する。つまり、互いに関連付けられたデータは、1つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、第1のデータに関連付けられた第2のデータは、第1のデータとは別の伝送路上で伝送されるようにしてもよい。また、例えば、第1のデータに関連付けられた第2のデータは、第1のデータとは別の記録媒体(または同一の記録媒体の別の記録エリア)に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、3Dデータとその3Dデータに対応するメタデータとが、複数サンプル、1サンプル、またはサンプル内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
 なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、複数の物を1つにまとめることを意味し、上述の「関連付ける」の1つの方法を意味する。
 また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
 例えば、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。
 また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能(機能ブロック等)を有し、必要な情報を得ることができるようにすればよい。
 また、例えば、1つのフローチャートの各ステップを、1つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、1つのステップに複数の処理が含まれる場合、その複数の処理を、1つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、1つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を1つのステップとしてまとめて実行することもできる。
 また、コンピュータが実行するプログラムは、以下のような特徴を有していてもよい。例えば、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしてもよい。また、プログラムを記述するステップの処理が並列に実行されるようにしてもよい。さらに、プログラムを記述するステップの処理が、呼び出されとき等の必要なタイミングで個別に実行されるようにしてもよい。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。また、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と組み合わせて実行されるようにしてもよい。
 また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
 なお、本技術は以下のような構成も取ることができる。
 (1) 第1のスライスと第2のスライスを含むG-PCC(Geometry-based Point Cloud Compression)コンテンツにおける各スライスに含まれるジオメトリの品質階層レベルを示すデプス情報と、前記G-PCCコンテンツにおける前記第1のスライスと前記第2のスライスの間の依存関係とに基づいて、前記G-PCCコンテンツのスケーラブル復号に関するスケーラブル復号情報を生成するスケーラブル復号情報生成部と、
 前記G-PCCコンテンツを格納するコンテンツファイルを生成し、前記スケーラブル復号情報を前記コンテンツファイルのメタデータ領域に格納するコンテンツファイル生成部と
 を備える情報処理装置。
 (2) 前記スケーラブル復号情報は、サンプル毎の、前記スライスの構成に関するスライス構成情報を含む
 (1)に記載の情報処理装置。
 (3) 前記コンテンツファイル生成部は、前記スライス毎にサブサンプルを設定し、前記メタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、前記スライス構成情報を格納する
 (2)に記載の情報処理装置。
 (4) 前記スライス構成情報は、前記第1のスライスと前記第2のスライスの間の前記依存関係を示すスライス依存関係情報を含む
 (2)または(3)に記載の情報処理装置。
 (5) 前記コンテンツファイル生成部は、前記スライス毎にサブサンプルを設定し、前記メタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、前記スライス依存関係情報を格納する
 (4)に記載の情報処理装置。
 (6) 前記スライス依存関係情報は、参照元ジオメトリスライス識別情報と参照先ジオメトリスライス識別情報とを含み、
 前記参照元ジオメトリスライス識別情報は、前記第1のスライスと前記第2のスライスの間の前記依存関係において参照元となるジオメトリスライスの識別情報であり、
 前記参照先ジオメトリスライス識別情報は、前記第1のスライスと前記第2のスライスの間の前記依存関係において参照先となるジオメトリスライスの識別情報である
 (4)または(5)に記載の情報処理装置。
 (7) 前記参照元ジオメトリスライス識別情報に対応する前記ジオメトリスライスが独立に復号可能な独立ジオメトリスライスの場合、前記参照元ジオメトリスライス識別情報と前記参照先ジオメトリスライス識別情報とが同一である
 (6)に記載の情報処理装置。
 (8) 前記コンテンツファイル生成部は、前記スライス毎にサブサンプルを設定し、前記メタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、前記参照元ジオメトリスライス識別情報および前記参照先ジオメトリスライス識別情報を格納する
 (6)または(7)に記載の情報処理装置。
 (9) 前記スライス依存関係情報は、アトリビュートスライスが参照するジオメトリスライスの識別情報であるアトリビュートジオメトリスライス識別情報を含む
 (4)乃至(8)のいずれかに記載の情報処理装置。
 (10) 前記コンテンツファイル生成部は、前記スライス毎にサブサンプルを設定し、前記メタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、前記アトリビュートジオメトリスライス識別情報を格納する
 (9)に記載の情報処理装置。
 (11) 前記スライス依存関係情報は、非スケーラブル符号化が適用されたアトリビュートスライスが参照するジオメトリスライスの識別情報である非スケーラブル符号化アトリビュートジオメトリスライス識別情報を含む
 (4)乃至(8)のいずれかに記載の情報処理装置。
 (12) 前記非スケーラブル符号化アトリビュートジオメトリスライス識別情報は、前記アトリビュートスライスが参照する前記ジオメトリスライスの内、前記デプス情報が最大の前記ジオメトリを含む前記ジオメトリスライスの識別情報を含む
 (11)に記載の情報処理装置。
 (13) 前記コンテンツファイル生成部は、前記スライス毎にサブサンプルを設定し、前記メタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、前記非スケーラブル符号化アトリビュートジオメトリスライス識別情報を格納する
 (11)または(12)に記載の情報処理装置。
 (14) 前記非スケーラブル符号化アトリビュートジオメトリスライス識別情報は、前記アトリビュートスライスに非スケーラブル符号化が適用されたかを示す非スケーラブル符号化フラグを含む
 (11)乃至(13)のいずれかに記載の情報処理装置。
 (15) 前記コンテンツファイル生成部は、前記スライス毎にサブサンプルを設定し、前記メタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、前記非スケーラブル符号化フラグを格納する
 (14)に記載の情報処理装置。
 (16) 独立に復号可能な独立ジオメトリスライスの前記スライス依存関係情報のペイロードタイプは、復号の際に他の前記ジオメトリスライスを参照する従属ジオメトリスライスの前記スライス依存関係情報のペイロードタイプと異なる
 (10)乃至(15)のいずれかに記載の情報処理装置。
 (17) 前記スライス構成情報は、ジオメトリスライスに含まれる前記ジオメトリの前記デプス情報に関するジオメトリスライスデプス情報を含む
 (2)乃至(16)のいずれかに記載の情報処理装置。
 (18) 前記ジオメトリスライスデプス情報は、前記ジオメトリスライスにおける前記デプス情報の最小値を示す最小デプス情報を含む
 (17)に記載の情報処理装置。
 (19) 前記ジオメトリスライスデプス情報は、前記ジオメトリスライスにおける前記デプス情報の最大値を示す最大デプス情報を含む
 (17)または(18)に記載の情報処理装置。
 (20) 前記コンテンツファイル生成部は、前記スライス毎にサブサンプルを設定し、前記メタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、前記ジオメトリスライスデプス情報を格納する
 (17)乃至(19)のいずれかに記載の情報処理装置。
 (21) 前記スライス構成情報は、前記第1のスライスと前記第2のスライスの間の前記依存関係を示すスライス依存関係情報をさらに含み、
 前記コンテンツファイル生成部は、前記ジオメトリスライスデプス情報を格納する前記サブサンプルインフォメーションボックスのflagsを、前記スライス依存関係情報が格納される前記サブサンプルインフォメーションボックスのflagsと異なる値に設定する
 (20)に記載の情報処理装置。
 (22) 前記スケーラブル復号情報は、前記コンテンツファイルにおける、前記G-PCCコンテンツをスライス単位で格納するトラックの構成に関するトラック構成情報を含む
 (1)乃至(21)のいずれかに記載の情報処理装置。
 (23) 前記トラック構成情報は、前記トラック構成情報に対応する前記トラックに含まれる全ての前記スライスの前記ジオメトリの前記デプス情報に関するトラックデプス情報を含む
 (22)に記載の情報処理装置。
 (24) 前記トラックデプス情報は、前記トラックにおける前記デプス情報の最小値を示すトラック最小デプス情報を含む
 (23)に記載の情報処理装置。
 (25) 前記トラックデプス情報は、前記トラックにおける前記デプス情報の最大値を示すトラック最大デプス情報を含む
 (23)または(24)に記載の情報処理装置。
 (26) 前記トラックデプス情報は、前記トラックに含まれる各サンプルにおける前記デプス情報の最小値が、前記トラックにおける前記デプス情報の最小値と一致し、かつ、前記トラックに含まれる各サンプルにおける前記デプス情報の最大値が、前記トラックにおける前記デプス情報の最大値と一致するかを示す一致フラグを含む
 (23)乃至(25)のいずれかに記載の情報処理装置。
 (27) 前記コンテンツファイル生成部は、前記メタデータ領域のサンプルエントリのデプスインフォメーションボックスに、前記トラックデプス情報を格納する
 (23)乃至(26)のいずれかに記載の情報処理装置。
 (28) 前記トラック構成情報は、第1のトラックと第2のトラックの間の依存関係を示すトラック依存関係情報を含む
 (22)乃至(27)のいずれかに記載の情報処理装置。
 (29) 前記トラック依存関係情報は、前記トラックに含まれる従属スライスの復号に必要な前記スライスを含む他のトラックを示す従属情報を含む
 (28)に記載の情報処理装置。
 (30) 前記従属情報は、前記従属スライスの復号に必要な前記スライスを含む全ての前記他のトラックを示す
 (29)に記載の情報処理装置。
 (31) 前記従属情報は、前記従属スライスから参照される前記スライスを含む前記他のトラックを示す
 (29)に記載の情報処理装置。
 (32) 前記トラック依存関係情報は、復号の際に前記トラックに含まれる独立スライスが必要な他のスライスを含む他のトラックを示す独立情報を含む
 (28)乃至(31)のいずれかに記載の情報処理装置。
 (33) 前記独立情報は、復号の際に前記独立スライスを参照する前記他のスライスを含む前記他のトラックを示す
 (32)に記載の情報処理装置。
 (34) 前記コンテンツファイル生成部は、前記トラック依存関係情報を、前記メタデータ領域にトラックリファレンスとして格納する
 (28)乃至(33)のいずれかに記載の情報処理装置。
 (35) 第1のスライスと第2のスライスを含むG-PCC(Geometry-based Point Cloud Compression)コンテンツにおける各スライスに含まれるジオメトリの品質階層レベルを示すデプス情報と、前記G-PCCコンテンツにおける前記第1のスライスと前記第2のスライスの間の依存関係とに基づいて、前記G-PCCコンテンツのスケーラブル復号に関するスケーラブル復号情報を生成し、
 前記G-PCCコンテンツを格納するコンテンツファイルを生成し、前記スケーラブル復号情報を前記コンテンツファイルのメタデータ領域に格納する
 情報処理方法。
 (51) 第1のスライスと第2のスライスを含むG-PCC(Geometry-based Point Cloud Compression)コンテンツを格納するコンテンツファイルのメタデータ領域に格納されたスケーラブル復号情報に基づいて、前記コンテンツファイルから、前記G-PCCコンテンツの任意のスライスを抽出する抽出部と、
 前記抽出部により抽出された前記G-PCCコンテンツの前記スライスを復号する復号部と
 を備え、
 前記スケーラブル復号情報は、前記G-PCCコンテンツのスケーラブル復号に関する情報であり、前記G-PCCコンテンツにおける前記スライスに含まれるジオメトリの品質階層レベルを示すデプス情報と前記G-PCCコンテンツにおける前記第1のスライスと前記第2のスライスの間の依存関係とに基づいて生成された情報である
 情報処理装置。
 (52) 前記スケーラブル復号情報は、サンプル毎の、前記スライスの構成に関するスライス構成情報を含む
 (51)に記載の情報処理装置。
 (53) 前記抽出部は、前記スライス毎に設定されたサブサンプルの、前記メタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納された前記スライス構成情報に基づいて、前記コンテンツファイルから、前記G-PCCコンテンツの任意の前記スライスを抽出する
 (52)に記載の情報処理装置。
 (54) 前記スライス構成情報は、前記第1のスライスと前記第2のスライスの間の前記依存関係を示すスライス依存関係情報を含む
 (52)または(53)に記載の情報処理装置。
 (55) 前記抽出部は、前記スライス毎に設定されたサブサンプルの、前記メタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納された前記スライス依存関係情報に基づいて、前記コンテンツファイルから、前記G-PCCコンテンツの任意の前記スライスを抽出する
 (54)に記載の情報処理装置。
 (56) 前記スライス依存関係情報は、参照元ジオメトリスライス識別情報と参照先ジオメトリスライス識別情報とを含み、
 前記参照元ジオメトリスライス識別情報は、前記第1のスライスと前記第2のスライスの間の前記依存関係において参照元となるジオメトリスライスの識別情報であり、
 前記参照先ジオメトリスライス識別情報は、前記第1のスライスと前記第2のスライスの間の前記依存関係において参照先となるジオメトリスライスの識別情報である
 (54)または(55)に記載の情報処理装置。
 (57) 前記参照元ジオメトリスライス識別情報に対応する前記ジオメトリスライスが独立に復号可能な独立ジオメトリスライスの場合、前記参照元ジオメトリスライス識別情報と前記参照先ジオメトリスライス識別情報とが同一である
 (56)に記載の情報処理装置。
 (58) 前記抽出部は、前記スライス毎に設定されたサブサンプルの、前記メタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納された前記参照元ジオメトリスライス識別情報および前記参照先ジオメトリスライス識別情報に基づいて、前記コンテンツファイルから、前記G-PCCコンテンツの任意の前記スライスを抽出する
 (56)または(57)に記載の情報処理装置。
 (59) 前記スライス依存関係情報は、アトリビュートスライスが参照するジオメトリスライスの識別情報であるアトリビュートジオメトリスライス識別情報を含む
 (54)乃至(58)のいずれかに記載の情報処理装置。
 (60) 前記抽出部は、前記スライス毎に設定されたサブサンプルの、前記メタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納された、前記アトリビュートジオメトリスライス識別情報に基づいて、前記コンテンツファイルから、前記G-PCCコンテンツの任意の前記スライスを抽出する
 (59)に記載の情報処理装置。
 (61) 前記スライス依存関係情報は、非スケーラブル符号化が適用されたアトリビュートスライスが参照するジオメトリスライスの識別情報である非スケーラブル符号化アトリビュートジオメトリスライス識別情報を含む
 (54)乃至(58)のいずれかに記載の情報処理装置。
 (62) 前記非スケーラブル符号化アトリビュートジオメトリスライス識別情報は、前記アトリビュートスライスが参照する前記ジオメトリスライスの内、前記デプス情報が最大の前記ジオメトリを含む前記ジオメトリスライスの識別情報を含む
 (61)に記載の情報処理装置。
 (63) 前記抽出部は、前記スライス毎に設定されたサブサンプルの、前記メタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納された、前記非スケーラブル符号化アトリビュートジオメトリスライス識別情報に基づいて、前記コンテンツファイルから、前記G-PCCコンテンツの任意の前記スライスを抽出する
 (61)または(62)に記載の情報処理装置。
 (64) 前記非スケーラブル符号化アトリビュートジオメトリスライス識別情報は、前記アトリビュートスライスに非スケーラブル符号化が適用されたかを示す非スケーラブル符号化フラグを含む
 (61)乃至(63)のいずれかに記載の情報処理装置。
 (65) 前記抽出部は、前記スライス毎に設定されたサブサンプルの、前記メタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納された、前記非スケーラブル符号化フラグに基づいて、前記コンテンツファイルから、前記G-PCCコンテンツの任意の前記スライスを抽出する
 (64)に記載の情報処理装置。
 (66) 独立に復号可能な独立ジオメトリスライスの前記スライス依存関係情報のペイロードタイプは、復号の際に他の前記ジオメトリスライスを参照する従属ジオメトリスライスの前記スライス依存関係情報のペイロードタイプと異なる
 (60)乃至(65)のいずれかに記載の情報処理装置。
 (67) 前記スライス構成情報は、ジオメトリスライスに含まれる前記ジオメトリの前記デプス情報に関するジオメトリスライスデプス情報を含む
 (52)乃至(66)のいずれかに記載の情報処理装置。
 (68) 前記ジオメトリスライスデプス情報は、前記ジオメトリスライスにおける前記デプス情報の最小値を示す最小デプス情報を含む
 (67)に記載の情報処理装置。
 (69) 前記ジオメトリスライスデプス情報は、前記ジオメトリスライスにおける前記デプス情報の最大値を示す最大デプス情報を含む
 (67)または(68)に記載の情報処理装置。
 (70) 前記抽出部は、前記スライス毎に設定されたサブサンプルの、前記メタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに格納された、前記ジオメトリスライスデプス情報に基づいて、前記コンテンツファイルから、前記G-PCCコンテンツの任意の前記スライスを抽出する
 (67)乃至(69)のいずれかに記載の情報処理装置。
 (71) 前記スライス構成情報は、前記第1のスライスと前記第2のスライスの間の前記依存関係を示すスライス依存関係情報をさらに含み、
 前記ジオメトリスライスデプス情報を格納する前記サブサンプルインフォメーションボックスのflagsと、前記スライス依存関係情報が格納される前記サブサンプルインフォメーションボックスのflagsとが互いに異なる値に設定されている
 (70)に記載の情報処理装置。
 (72) 前記スケーラブル復号情報は、前記コンテンツファイルにおける、前記G-PCCコンテンツをスライス単位で格納するトラックの構成に関するトラック構成情報を含む
 (51)乃至(71)のいずれかに記載の情報処理装置。
 (73) 前記トラック構成情報は、前記トラック構成情報に対応する前記トラックに含まれる全ての前記スライスの前記ジオメトリの前記デプス情報に関するトラックデプス情報を含む
 (72)に記載の情報処理装置。
 (74) 前記トラックデプス情報は、前記トラックにおける前記デプス情報の最小値を示すトラック最小デプス情報を含む
 (73)に記載の情報処理装置。
 (75) 前記トラックデプス情報は、前記トラックにおける前記デプス情報の最大値を示すトラック最大デプス情報を含む
 (73)または(74)に記載の情報処理装置。
 (76) 前記トラックデプス情報は、前記トラックに含まれる各サンプルにおける前記デプス情報の最小値が、前記トラックにおける前記デプス情報の最小値と一致し、かつ、前記トラックに含まれる各サンプルにおける前記デプス情報の最大値が、前記トラックにおける前記デプス情報の最大値と一致するかを示す一致フラグを含む
 (73)乃至(75)のいずれかに記載の情報処理装置。
 (77) 前記抽出部は、前記メタデータ領域のサンプルエントリのデプスインフォメーションボックスに格納された、前記トラックデプス情報に基づいて、前記コンテンツファイルから、前記G-PCCコンテンツの任意の前記スライスを抽出する
 (73)乃至(76)のいずれかに記載の情報処理装置。
 (78) 前記トラック構成情報は、第1のトラックと第2のトラックの間の依存関係を示すトラック依存関係情報を含む
 (72)乃至(77)のいずれかに記載の情報処理装置。
 (79) 前記トラック依存関係情報は、前記トラックに含まれる従属スライスの復号に必要な前記スライスを含む他のトラックを示す従属情報を含む
 (78)に記載の情報処理装置。
 (80) 前記従属情報は、前記従属スライスの復号に必要な前記スライスを含む全ての前記他のトラックを示す
 (79)に記載の情報処理装置。
 (81) 前記従属情報は、前記従属スライスから参照される前記スライスを含む前記他のトラックを示す
 (79)に記載の情報処理装置。
 (82) 前記トラック依存関係情報は、復号の際に前記トラックに含まれる独立スライスが必要な他のスライスを含む他のトラックを示す独立情報を含む
 (78)乃至(81)のいずれかに記載の情報処理装置。
 (83) 前記独立情報は、復号の際に前記独立スライスを参照する前記他のスライスを含む前記他のトラックを示す
 (82)に記載の情報処理装置。
 (84) 前記抽出部は、前記メタデータ領域にトラックリファレンスとして格納された前記トラック依存関係情報に基づいて、前記コンテンツファイルから、前記G-PCCコンテンツの任意の前記スライスを抽出する
 (78)乃至(83)のいずれかに記載の情報処理装置。
 (85) 第1のスライスと第2のスライスを含むG-PCC(Geometry-based Point Cloud Compression)コンテンツを格納するコンテンツファイルのメタデータ領域に格納されたスケーラブル復号情報に基づいて、前記コンテンツファイルから、前記G-PCCコンテンツの任意のスライスを抽出し、
 抽出された前記G-PCCコンテンツの前記スライスを復号し、
 前記スケーラブル復号情報は、前記G-PCCコンテンツのスケーラブル復号に関する情報であり、前記G-PCCコンテンツにおける前記スライスに含まれるジオメトリの品質階層レベルを示すデプス情報と前記G-PCCコンテンツにおける前記第1のスライスと前記第2のスライスの間の依存関係とに基づいて生成された情報である
 情報処理方法。
 (101) 第1のスライスと第2のスライスを含むG-PCC(Geometry-based Point Cloud Compression)コンテンツにおける各スライスに含まれるジオメトリの品質階層レベルを示すデプス情報と、前記G-PCCコンテンツにおける前記第1のスライスと前記第2のスライスの間の依存関係とに基づいて、アダプテーションセット構成情報を生成するアダプテーションセット構成情報生成部と、
 前記G-PCCコンテンツを格納するコンテンツファイルの再生を制御する制御ファイルを生成し、前記アダプテーションセット構成情報を前記制御ファイルに格納する制御ファイル生成部と
 を備え、
 前記コンテンツファイルは、前記G-PCCコンテンツをスライス単位でトラックに格納し、
 前記アダプテーションセット構成情報は、前記コンテンツファイルの前記トラックに関する情報を記述するアダプテーションセットの構成に関する情報である
 情報処理装置。
 (102) 前記アダプテーションセット構成情報は、前記アダプテーションセットに対応する前記トラックに含まれる全ての前記スライスの前記ジオメトリの前記デプス情報に関するアダプテーションセットデプス情報を含む
 (101)に記載の情報処理装置。
 (103) 前記アダプテーションセットデプス情報は、前記トラックにおける前記デプス情報の最小値を示すアダプテーションセット最小デプス情報を含む
 (102)に記載の情報処理装置。
 (104) 前記アダプテーションセットデプス情報は、前記トラックにおける前記デプス情報の最大値を示すアダプテーションセット最大デプス情報を含む
 (102)または(103)に記載の情報処理装置。
 (105) 前記アダプテーションセットデプス情報は、前記トラックに含まれる各サンプルのサンプル最小デプス情報がアダプテーションセット最小デプス情報に一致し、かつ、前記トラックに含まれる各サンプルのサンプル最大デプス情報がアダプテーションセット最大デプス情報に一致するかを示す一致フラグを含み、
 前記サンプル最小デプス情報は、前記サンプルにおける前記デプス情報の最小値を示し、
 前記サンプル最大デプス情報は、前記サンプルにおける前記デプス情報の最大値を示し、
 前記アダプテーションセット最小デプス情報は、前記トラックにおける前記デプス情報の最小値を示し、
 前記アダプテーションセット最大デプス情報は、前記トラックにおける前記デプス情報の最大値を示す
 (102)乃至(104)のいずれかに記載の情報処理装置。
 (106) 前記アダプテーションセット構成情報は、第1のリプレゼンテーションと第2のリプレゼンテーションの間の依存関係を示すリプレゼンテーション依存関係情報を含む
 (101)に記載の情報処理装置。
 (107) 前記リプレゼンテーション依存関係情報は、前記リプレゼンテーション依存関係情報に対応するリプレゼンテーションの復号に必要な他のリプレゼンテーションを示す従属情報を含む
 (106)に記載の情報処理装置。
 (108) 前記従属情報は、前記従属情報に対応する前記リプレゼンテーションの復号に必要な全ての前記他のリプレゼンテーションを示す
 (107)に記載の情報処理装置。
 (109) 前記従属情報は、前記従属情報に対応する前記リプレゼンテーションから参照される前記他のリプレゼンテーションを示す
 (107)に記載の情報処理装置。
 (110) 前記リプレゼンテーション依存関係情報は、復号の際に前記リプレゼンテーション依存関係情報に対応するリプレゼンテーションが必要な他のリプレゼンテーションを示す独立情報を含む
 (106)乃至(109)のいずれかに記載の情報処理装置。
 (111) 前記独立情報は、復号の際に前記独立情報に対応する前記リプレゼンテーションが必要な全ての前記他のリプレゼンテーションを示す
 (110)に記載の情報処理装置。
 (112) 前記制御ファイル生成部は、前記リプレゼンテーション依存関係情報を、リプレゼンテーションアソシエーションIDおよびアソシエーションタイプとして、前記制御ファイルに格納する
 (106)乃至(111)のいずれかに記載の情報処理装置。
 (113) 第1のスライスと第2のスライスを含むG-PCC(Geometry-based Point Cloud Compression)コンテンツにおける各スライスに含まれるジオメトリの品質階層レベルを示すデプス情報と、前記G-PCCコンテンツにおける前記第1のスライスと前記第2のスライスの間の依存関係とに基づいて、アダプテーションセット構成情報を生成し、
 前記G-PCCコンテンツを格納するコンテンツファイルの再生を制御する制御ファイルを生成し、前記アダプテーションセット構成情報を前記制御ファイルに格納し、
 前記コンテンツファイルは、前記G-PCCコンテンツをスライス単位でトラックに格納し、
 前記アダプテーションセット構成情報は、前記コンテンツファイルの前記トラックに関する情報を記述するアダプテーションセットの構成に関する情報である
 情報処理方法。
 (151) 第1のスライスと第2のスライスを含むG-PCC(Geometry-based Point Cloud Compression)コンテンツをスライス単位でトラックに格納するコンテンツファイルの再生を制御する制御ファイルを解析し、前記制御ファイルに格納されたアダプテーションセット構成情報に基づいて、前記G-PCCコンテンツの任意のスライスを得るために必要なアダプテーションセットを特定する解析部と、
 前記コンテンツファイルの、前記解析部により特定された前記アダプテーションセットに対応する前記トラックを取得する取得部と、
 前記取得部により取得された前記トラックに格納される前記G-PCCコンテンツの前記スライスを復号する復号部と
 を備え、
 前記アダプテーションセット構成情報は、前記コンテンツファイルの前記トラックに関する情報を記述する前記アダプテーションセットの構成に関する情報であり、前記G-PCCコンテンツにおける前記スライスに含まれるジオメトリの品質階層レベルを示すデプス情報と前記G-PCCコンテンツにおける前記第1のスライスと前記第2のスライスの間の依存関係とに基づいて生成された情報である
 情報処理装置。
 (152) 前記アダプテーションセット構成情報は、前記アダプテーションセットに対応する前記トラックに含まれる全ての前記スライスの前記ジオメトリの前記デプス情報に関するアダプテーションセットデプス情報を含む
 (151)に記載の情報処理装置。
 (153) 前記アダプテーションセットデプス情報は、前記トラックにおける前記デプス情報の最小値を示すアダプテーションセット最小デプス情報を含む
 (152)に記載の情報処理装置。
 (154) 前記アダプテーションセットデプス情報は、前記トラックにおける前記デプス情報の最大値を示すアダプテーションセット最大デプス情報を含む
 (152)または(153)に記載の情報処理装置。
 (155) 前記アダプテーションセットデプス情報は、前記トラックに含まれる各サンプルのサンプル最小デプス情報がアダプテーションセット最小デプス情報に一致し、かつ、前記トラックに含まれる各サンプルのサンプル最大デプス情報がアダプテーションセット最大デプス情報に一致するかを示す一致フラグを含み、
 前記サンプル最小デプス情報は、前記サンプルにおける前記デプス情報の最小値を示し、
 前記サンプル最大デプス情報は、前記サンプルにおける前記デプス情報の最大値を示し、
 前記アダプテーションセット最小デプス情報は、前記トラックにおける前記デプス情報の最小値を示し、
 前記アダプテーションセット最大デプス情報は、前記トラックにおける前記デプス情報の最大値を示す
 (152)乃至(154)のいずれかに記載の情報処理装置。
 (156) 前記アダプテーションセット構成情報は、第1のリプレゼンテーションと第2のリプレゼンテーションの間の依存関係を示すリプレゼンテーション依存関係情報を含む
 (151)乃至(155)のいずれかに記載の情報処理装置。
 (157) 前記リプレゼンテーション依存関係情報は、前記リプレゼンテーション依存関係情報に対応するリプレゼンテーションの復号に必要な他のリプレゼンテーションを示す従属情報を含む
 (156)に記載の情報処理装置。
 (158) 前記従属情報は、前記従属情報に対応する前記リプレゼンテーションの復号に必要な全ての前記他のリプレゼンテーションを示す
 (157)に記載の情報処理装置。
 (159) 前記従属情報は、前記従属情報に対応する前記リプレゼンテーションから参照される前記他のリプレゼンテーションを示す
 (157)に記載の情報処理装置。
 (160) 前記リプレゼンテーション依存関係情報は、復号の際に前記リプレゼンテーション依存関係情報に対応するリプレゼンテーションが必要な他のリプレゼンテーションを示す独立情報を含む
 (156)乃至(159)のいずれかに記載の情報処理装置。
 (161) 前記独立情報は、復号の際に前記独立情報に対応する前記リプレゼンテーションが必要な全ての前記他のリプレゼンテーションを示す
 (160)に記載の情報処理装置。
 (162) 前記解析部は、前記制御ファイルにリプレゼンテーションアソシエーションIDおよびアソシエーションタイプとして格納された前記リプレゼンテーション依存関係情報に基づいて、前記アダプテーションセットを特定する
 (156)乃至(161)のいずれかに記載の情報処理装置。
 (163) 第1のスライスと第2のスライスを含むG-PCC(Geometry-based Point Cloud Compression)コンテンツをスライス単位でトラックに格納するコンテンツファイルの再生を制御する制御ファイルを解析し、前記制御ファイルに格納されたアダプテーションセット構成情報に基づいて、前記G-PCCコンテンツの任意のスライスを得るために必要なアダプテーションセットを特定し、
 前記コンテンツファイルの、特定された前記アダプテーションセットに対応する前記トラックを取得し、
 取得された前記トラックに格納される前記G-PCCコンテンツの前記スライスを復号し、
 前記アダプテーションセット構成情報は、前記コンテンツファイルの前記トラックに関する情報を記述する前記アダプテーションセットの構成に関する情報であり、前記G-PCCコンテンツにおける前記スライスに含まれるジオメトリの品質階層レベルを示すデプス情報と前記G-PCCコンテンツにおける前記第1のスライスと前記第2のスライスの間の依存関係とに基づいて生成された情報である
 情報処理方法。
 300 ファイル生成装置, 311 抽出部, 312 符号化部, 313 ビットストリーム生成部, 314 スケーラブル復号情報生成部, 315 ファイル生成部, 321 ジオメトリ符号化部, 322 アトリビュート符号化部, 323 メタデータ生成部, 400 再生装置, 401 制御部,411 ファイル取得部, 412 再生処理部, 413 提示処理部, 421 ファイル処理部, 422 復号部, 423 提示情報生成部, 431 ビットストリーム抽出部, 441 ジオメトリ復号部, 442 アトリビュート復号部, 451 ポイントクラウド構築部, 452 提示処理部, 600 ファイル生成装置, 615 コンテンツファイル生成部, 616 MPD生成部, 700 再生装置, 711 ファイル取得部, 712 MPD解析部

Claims (20)

  1.  第1のスライスと第2のスライスを含むG-PCC(Geometry-based Point Cloud Compression)コンテンツにおける各スライスの品質階層レベルを示すデプス情報と、前記G-PCCコンテンツにおける前記第1のスライスと前記第2のスライスの間の依存関係とに基づいて、前記G-PCCコンテンツのスケーラブル復号に関するスケーラブル復号情報を生成するスケーラブル復号情報生成部と、
     前記G-PCCコンテンツを格納するコンテンツファイルを生成し、前記スケーラブル復号情報を前記コンテンツファイルのメタデータ領域に格納するコンテンツファイル生成部と
     を備える情報処理装置。
  2.  前記スケーラブル復号情報は、サンプル毎の、前記スライスの構成に関するスライス構成情報を含む
     請求項1に記載の情報処理装置。
  3.  前記コンテンツファイル生成部は、前記スライス毎にサブサンプルを設定し、前記メタデータ領域のサブサンプルインフォメーションボックスのコーデックスピシフィックパラメーターズに、前記スライス構成情報を格納する
     請求項2に記載の情報処理装置。
  4.  前記スライス構成情報は、前記第1のスライスと前記第2のスライスの間の前記依存関係を示すスライス依存関係情報を含む
     請求項2に記載の情報処理装置。
  5.  前記スライス依存関係情報は、参照元ジオメトリスライス識別情報と参照先ジオメトリスライス識別情報とを含み、
     前記参照元ジオメトリスライス識別情報は、前記第1のスライスと前記第2のスライスの間の前記依存関係において参照元となるジオメトリスライスの識別情報であり、
     前記参照先ジオメトリスライス識別情報は、前記第1のスライスと前記第2のスライスの間の前記依存関係において参照先となるジオメトリスライスの識別情報である
     請求項4に記載の情報処理装置。
  6.  前記スライス構成情報は、ジオメトリスライスに含まれる前記ジオメトリの前記デプス情報に関するジオメトリスライスデプス情報を含む
     請求項2に記載の情報処理装置。
  7.  前記ジオメトリスライスデプス情報は、前記ジオメトリスライスにおける前記デプス情報の最小値を示す最小デプス情報、および、前記ジオメトリスライスにおける前記デプス情報の最大値を示す最大デプス情報を含む
     請求項6に記載の情報処理装置。
  8.  前記スケーラブル復号情報は、前記コンテンツファイルにおける、前記G-PCCコンテンツをスライス単位で格納するトラックの構成に関するトラック構成情報を含む
     請求項1に記載の情報処理装置。
  9.  前記トラック構成情報は、前記トラック構成情報に対応する前記トラックに含まれる全ての前記スライスの前記ジオメトリの前記デプス情報に関するトラックデプス情報を含む
     請求項8に記載の情報処理装置。
  10.  前記トラックデプス情報は、前記トラックにおける前記デプス情報の最小値を示すトラック最小デプス情報、並びに、前記トラックにおける前記デプス情報の最大値を示すトラック最大デプス情報を含む
     請求項9に記載の情報処理装置。
  11.  前記コンテンツファイル生成部は、前記メタデータ領域のサンプルエントリのデプスインフォメーションボックスに、前記トラックデプス情報を格納する
     請求項9に記載の情報処理装置。
  12.  前記トラック構成情報は、第1のトラックと第2のトラックの間の依存関係を示すトラック依存関係情報を含む
     請求項8に記載の情報処理装置。
  13.  前記トラック依存関係情報は、前記トラックに含まれる従属スライスの復号に必要な前記スライスを含む他のトラックを示す従属情報を含む
     請求項12に記載の情報処理装置。
  14.  前記トラック依存関係情報は、復号の際に前記トラックに含まれる独立スライスが必要な他のスライスを含む他のトラックを示す独立情報を含む
     請求項12に記載の情報処理装置。
  15.  前記コンテンツファイル生成部は、前記トラック依存関係情報を、前記メタデータ領域にトラックリファレンスとして格納する
     請求項12に記載の情報処理装置。
  16.  第1のスライスと第2のスライスを含むG-PCC(Geometry-based Point Cloud Compression)コンテンツにおける各スライスの品質階層レベルを示すデプス情報と、前記G-PCCコンテンツにおける前記第1のスライスと前記第2のスライスの間の依存関係とに基づいて、前記G-PCCコンテンツのスケーラブル復号に関するスケーラブル復号情報を生成し、
     前記G-PCCコンテンツを格納するコンテンツファイルを生成し、前記スケーラブル復号情報を前記コンテンツファイルのメタデータ領域に格納する
     情報処理方法。
  17.  第1のスライスと第2のスライスを含むG-PCC(Geometry-based Point Cloud Compression)コンテンツを格納するコンテンツファイルのメタデータ領域に格納されたスケーラブル復号情報に基づいて、前記コンテンツファイルから、前記G-PCCコンテンツの任意のスライスを抽出する抽出部と、
     前記抽出部により抽出された前記G-PCCコンテンツの前記スライスを復号する復号部と
     を備え、
     前記スケーラブル復号情報は、前記G-PCCコンテンツのスケーラブル復号に関する情報であり、前記G-PCCコンテンツにおける前記スライスの品質階層レベルを示すデプス情報と前記G-PCCコンテンツにおける前記第1のスライスと前記第2のスライスの間の依存関係とに基づいて生成された情報である
     情報処理装置。
  18.  前記スケーラブル復号情報は、サンプル毎の、前記スライスの構成に関するスライス構成情報を含む
     請求項17に記載の情報処理装置。
  19.  前記スケーラブル復号情報は、前記コンテンツファイルにおける、前記G-PCCコンテンツをスライス単位で格納するトラックの構成に関するトラック構成情報を含む
     請求項17に記載の情報処理装置。
  20.  第1のスライスと第2のスライスを含むG-PCC(Geometry-based Point Cloud Compression)コンテンツを格納するコンテンツファイルのメタデータ領域に格納されたスケーラブル復号情報に基づいて、前記コンテンツファイルから、前記G-PCCコンテンツの任意のスライスを抽出し、
     抽出された前記G-PCCコンテンツの前記スライスを復号し、
     前記スケーラブル復号情報は、前記G-PCCコンテンツのスケーラブル復号に関する情報であり、前記G-PCCコンテンツにおける前記スライスの品質階層レベルを示すデプス情報と前記G-PCCコンテンツにおける前記第1のスライスと前記第2のスライスの間の依存関係とに基づいて生成された情報である
     情報処理方法。
PCT/JP2021/032594 2020-09-08 2021-09-06 情報処理装置および方法 WO2022054744A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022547574A JPWO2022054744A1 (ja) 2020-09-08 2021-09-06
US18/040,820 US20230291918A1 (en) 2020-09-08 2021-09-06 Information processing device and method
CN202180053432.7A CN116157838A (zh) 2020-09-08 2021-09-06 信息处理装置和方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063075361P 2020-09-08 2020-09-08
US63/075,361 2020-09-08

Publications (1)

Publication Number Publication Date
WO2022054744A1 true WO2022054744A1 (ja) 2022-03-17

Family

ID=80847060

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/032594 WO2022054744A1 (ja) 2020-09-08 2021-09-06 情報処理装置および方法

Country Status (4)

Country Link
US (1) US20230291918A1 (ja)
JP (1) JPWO2022054744A1 (ja)
CN (1) CN116157838A (ja)
WO (1) WO2022054744A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115379189A (zh) * 2022-08-19 2022-11-22 腾讯科技(深圳)有限公司 一种点云媒体的数据处理方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020008106A1 (en) * 2018-07-02 2020-01-09 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
WO2020241723A1 (ja) * 2019-05-28 2020-12-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US20210029187A1 (en) * 2019-07-03 2021-01-28 Lg Electronics Inc. Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus and point cloud data reception method
WO2021049333A1 (ja) * 2019-09-11 2021-03-18 ソニー株式会社 情報処理装置、情報処理方法、再生処理装置及び再生処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11558643B2 (en) * 2020-04-08 2023-01-17 Qualcomm Incorporated Secondary component attribute coding for geometry-based point cloud compression (G-PCC)
CN115039132B (zh) * 2020-06-24 2024-09-13 中兴通讯股份有限公司 三维内容处理方法和设备
WO2022035256A1 (ko) * 2020-08-12 2022-02-17 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020008106A1 (en) * 2018-07-02 2020-01-09 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
WO2020241723A1 (ja) * 2019-05-28 2020-12-03 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US20210029187A1 (en) * 2019-07-03 2021-01-28 Lg Electronics Inc. Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus and point cloud data reception method
WO2021049333A1 (ja) * 2019-09-11 2021-03-18 ソニー株式会社 情報処理装置、情報処理方法、再生処理装置及び再生処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115379189A (zh) * 2022-08-19 2022-11-22 腾讯科技(深圳)有限公司 一种点云媒体的数据处理方法及相关设备
CN115379189B (zh) * 2022-08-19 2023-12-12 腾讯科技(深圳)有限公司 一种点云媒体的数据处理方法及相关设备

Also Published As

Publication number Publication date
CN116157838A (zh) 2023-05-23
JPWO2022054744A1 (ja) 2022-03-17
US20230291918A1 (en) 2023-09-14

Similar Documents

Publication Publication Date Title
US11532103B2 (en) Information processing apparatus and information processing method
WO2021049333A1 (ja) 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
US11516453B2 (en) Information processing apparatus, information processing method, and program for point cloud sample processing
JP7331852B2 (ja) 画像処理装置および方法
GB2509953A (en) Displaying a Region of Interest in a Video Stream by Providing Links Between Encapsulated Video Streams
WO2021117859A1 (ja) 画像処理装置および方法
CN113302944B (zh) 信息处理装置和信息处理方法
WO2021251173A1 (ja) 情報処理装置および方法
US11825135B2 (en) Information processing apparatus, information processing method, reproduction processing apparatus, and reproduction processing method
CN112789865A (zh) 信息处理装置和信息处理方法
US20240046562A1 (en) Information processing device and method
WO2022059495A1 (ja) 情報処理装置および方法
CN114026875A (zh) 信息处理装置、信息处理方法、再现处理装置和再现处理方法
WO2022054744A1 (ja) 情報処理装置および方法
WO2023176419A1 (ja) 情報処理装置および方法
WO2021002142A1 (ja) 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
WO2021251141A1 (ja) 情報処理装置および方法
US20240292026A1 (en) Information processing apparatus and method thereof
WO2022138221A1 (ja) 情報処理装置および方法
WO2024143466A1 (ja) 情報処理装置および方法
WO2022075078A1 (ja) 画像処理装置および方法
WO2022075079A1 (ja) 情報処理装置および方法
EP4325871A1 (en) Information processing device and method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21866703

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022547574

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21866703

Country of ref document: EP

Kind code of ref document: A1