WO2021251141A1 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
WO2021251141A1
WO2021251141A1 PCT/JP2021/019969 JP2021019969W WO2021251141A1 WO 2021251141 A1 WO2021251141 A1 WO 2021251141A1 JP 2021019969 W JP2021019969 W JP 2021019969W WO 2021251141 A1 WO2021251141 A1 WO 2021251141A1
Authority
WO
WIPO (PCT)
Prior art keywords
tile
information
file
subsample
data unit
Prior art date
Application number
PCT/JP2021/019969
Other languages
English (en)
French (fr)
Inventor
遼平 高橋
光浩 平林
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to MX2022015293A priority Critical patent/MX2022015293A/es
Priority to JP2022530117A priority patent/JPWO2021251141A1/ja
Priority to US18/000,520 priority patent/US20230222693A1/en
Priority to KR1020227039220A priority patent/KR20230021646A/ko
Priority to EP21822483.0A priority patent/EP4164213A4/en
Priority to CN202180039811.0A priority patent/CN115868156A/zh
Priority to BR112022024646A priority patent/BR112022024646A2/pt
Publication of WO2021251141A1 publication Critical patent/WO2021251141A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G06F16/116—Details of conversion of file system types or formats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present disclosure relates to an information processing device and a method, and more particularly to an information processing device and a method capable of suppressing an increase in a load of reproduction processing.
  • G-PCC Geometry-based Point Cloud Compression
  • ISOBMFF International Organization for Standardization Base Media File Format
  • the method of storing the G-PCC bit stream in ISOBMFF is MPEG-I Part 18 (ISO /) for the purpose of playing back the G-PCC encoded bit stream from the local storage and improving the efficiency of network distribution.
  • ISO / MPEG-I Part 18
  • Standardization work is underway in IEC 23090-18) (see, for example, Non-Patent Document 3).
  • the G-PCC bitstream can be equipped with a partial access structure that can independently decode and reproduce the bitstream of some points.
  • a data unit that can be independently decrypted and played back (independently accessible) is called a tile.
  • a profile has been proposed that decodes only the part of the point cloud in the field of view or the part closer to the viewpoint position to a higher resolution (see, for example, Non-Patent Document 4).
  • a profile has been proposed that decodes only the part of the point cloud in the field of view or the part closer to the viewpoint position to a higher resolution (see, for example, Non-Patent Document 4).
  • Non-Patent Document 3 in the case of a G-PCC bitstream having such a partial access structure, it is stored in a different track for each partially playable partial point cloud. In other words, the granularity of partial access depends on the number of tracks.
  • the larger the point cloud the more diverse partial access may be required. That is, in the case of the method described in Non-Patent Document 3, more tracks are required. As the number of tracks increased, the file size could increase. Further, as the number of tracks increases, the complexity of managing the tracks increases, so that the load of the reproduction process may increase.
  • Non-Patent Document 3 the information indicating the relationship between the tile and the data unit is stored only in the header of each data unit in the G-PCC bitstream. Therefore, it is necessary to parse the G-PCC bitstream in order to specify the data unit to be extracted. That is, it is necessary to parse unnecessary G-PCC bitstreams, which may increase the load of the reproduction process.
  • This disclosure has been made in view of such a situation, and is intended to enable the increase in the load of the reproduction process to be suppressed.
  • the information processing device of one aspect of the present technology uses the tile identification information indicating the tile of the point cloud corresponding to the data unit of the bit stream of the point cloud that expresses the object of the three-dimensional shape as a set of points as a sample.
  • a tile management information generation unit that generates tile management information that is information for managing the tile corresponding to a subsample consisting of a single data unit or a plurality of consecutive data units of the bit stream stored in a file, and the bit. It is an information processing apparatus including a file generation unit for generating the file for storing the stream and the tile management information.
  • the information processing method of one aspect of the present technology is a sample using the tile identification information indicating the tile of the point cloud corresponding to the data unit of the bit stream of the point cloud that expresses the object of the three-dimensional shape as a set of points.
  • Generates tile management information that is information for managing the tile corresponding to a subsample consisting of a single data unit or a plurality of consecutive data units of the bit stream stored in a file, and generates the bit stream and the tile management information. This is an information processing method for generating the file for storing the data.
  • the information processing device of the other aspect of the present technology is composed of a single data unit of the bit stream or a plurality of continuous data units stored in a file together with the bit stream of the point cloud that represents an object having a three-dimensional shape as a set of points.
  • the tile management information that is information for managing the tile corresponding to the subsample stored in the file using the tile identification information indicating the tile of the point cloud corresponding to the subsample to be performed.
  • An information processing apparatus including an extraction unit that extracts a desired portion of a bit stream necessary for reproduction of the tile from the file.
  • the information processing method of the other aspect of the present technology is composed of a single data unit of the bit stream or a plurality of continuous data units stored in a file together with the bit stream of the point cloud that expresses a three-dimensional object as a set of points.
  • the tile management information that is information for managing the tile corresponding to the subsample stored in the file using the tile identification information indicating the tile of the point cloud corresponding to the subsample to be performed.
  • This is an information processing method for extracting a desired portion of a bit stream necessary for reproducing the desired tile from the file.
  • tile identification information indicating the tile of the point cloud corresponding to the data unit of the bit stream of the point cloud that expresses the object of the three-dimensional shape as a set of points is used.
  • Tile management information is generated, which is information for managing tiles corresponding to a subsample consisting of a single or consecutive data units of a bit stream stored in a file as a sample, and the bit stream and the tile management information.
  • a file is generated to store the information.
  • a bit of the point based on the tile management information, which is information for managing the tile corresponding to the subsample stored in the file using the tile identification information indicating the tile of the point cloud corresponding to the subsample composed of the unit.
  • the part of the stream needed to play the desired tile is extracted from the file.
  • G-PCC It is a figure explaining the outline of G-PCC. It is a figure explaining partial access. It is a figure which shows the structural example of a G-PCC bit stream. It is a figure which shows the example of the syntax of the tile inventory. It is a figure which shows the example of a file structure. It is a figure which shows the example of a file structure. It is a figure explaining the scalable decoding. It is a figure explaining the signaling of the tile identification information. It is a figure which shows the example of the file structure in the case of a single track. It is a figure explaining an example of signaling of tile identification information. It is a figure explaining the example of the SubSampleInformationBox. It is a figure which shows the example of codec_specific_parameters.
  • Non-Patent Document 1 (above)
  • Non-Patent Document 2 (above)
  • Non-Patent Document 3 (above)
  • Non-Patent Document 4 (above)
  • Non-Patent Document 5 https://www.matroska.org/index.html
  • ⁇ Point cloud> Conventionally, there has been 3D data such as a point cloud that represents a three-dimensional structure based on point position information and attribute information.
  • a three-dimensional structure (object with a three-dimensional shape) is expressed as a set of a large number of points.
  • the point cloud is composed of position information (also referred to as geometry) and attribute information (also referred to as attribute) of each point.
  • Attributes can contain any information.
  • the attributes may include color information, reflectance information, normal information, etc. of each point.
  • the point cloud has a relatively simple data structure and can express an arbitrary three-dimensional structure with sufficient accuracy by using a sufficiently large number of points.
  • Non-Patent Document 1 discloses a coding technique called Geometry-based Point Cloud Compression (G-PCC), which encodes this point cloud separately into geometry and attributes.
  • G-PCC is in the process of being standardized in MPEG-I Part 9 (ISO / IEC 23090-9).
  • the octree coding as shown in FIG. 1 is applied to the compression of the geometry.
  • octree coding is performed by octree as shown on the right of FIG. 1 to indicate the presence or absence of points in each block in rectangular Voxel-represented data as shown on the left of FIG. It is a method of expression. In this method, as shown in FIG. 1, the block in which the point exists is expressed as 1, and the block in which the point does not exist is expressed as 0.
  • the coded data (bitstream) generated by encoding the geometry as described above is also referred to as a geometry bitstream.
  • bitstream generated by encoding the attributes
  • G-PCC bitstream a bitstream that combines a geometry bitstream and an attribute bitstream into one
  • the G-PCC bitstream can be equipped with a partial access structure that can independently decode and reproduce the bitstream of some points.
  • a partial access structure that can independently decode and reproduce the bitstream of some points.
  • the point cloud of this partial access structure there are tiles and slices as data units that can be independently decrypted and played back (independently accessible).
  • the bounding box 21 is set so as to include the object 20 having a three-dimensional shape.
  • the tile 22 is a rectangular parallelepiped area within the bounding box 21.
  • the slice 24 is a set of points in the tile 23. Points may overlap between slices (ie, one point may belong to multiple slices).
  • the point cloud at a certain time is called a point cloud frame.
  • This frame is a data unit corresponding to a frame in a two-dimensional moving image.
  • ⁇ G-PCC bitstream with partial access structure An example of the main structure of a G-PCC bitstream in which such a partially accessible point cloud is encoded (an example of the Type-length-value bytestream format defined in Annex B of Non-Patent Document 1) is shown. Shown in 3. That is, the G-PCC bitstream shown in FIG. 3 has a partial access structure, and a part thereof can be extracted and decoded independently of others.
  • each square shows one Type-length-value encapsulation structure (tlv_encapsulation ()).
  • the G-PCC bit stream has a sequence parameter set (SPS (Sequence Parameter Set)), a geometry parameter set (GPS (Geometry Parameter Set)), and an attribute parameter set (APS (s) (Attribute Parameter). It has a set)), a tile inventory, a geometry data unit, and an attribute data unit.
  • the sequence parameter set is a parameter set that has parameters related to the entire sequence.
  • a geometry parameter set is a parameter set that has parameters related to geometry.
  • An attribute parameter set is a parameter set that has parameters related to attributes. There may be multiple geometry parameter sets and attribute parameter sets. The geometry parameter set and the attribute parameter set may be different on a slice-by-slice basis (can be set on a slice-by-slice basis).
  • the tile inventory manages information about tiles.
  • the tile inventory stores identification information, position information, size information, and the like of each tile.
  • FIG. 4 shows an example of the syntax of the tile inventory.
  • the tile inventory stores tile identification information (tile_id), tile position and size information (tile_bounding_box_offset_xyz, tile_bounding_box_size_xyz), and the like for each tile.
  • Tile inventory is variable on a frame-by-frame basis (can be set on a frame-by-frame basis).
  • a data unit is a data unit that can be extracted independently of others.
  • a geometry data unit is a geometry data unit.
  • the attribute data unit is the attribute data unit.
  • the attribute data unit is generated for each attribute included in the attribute.
  • the slice is composed of one geometry data unit and 0 or more attribute data units.
  • a slice is composed of a single or contiguous data unit in a G-PCC bitstream.
  • Each data unit stores slice identification information (slice_id) indicating the slice to which the data unit belongs. That is, the same slice identification information is stored in the data units belonging to the same slice. In this way, the geometry data unit and the attribute data unit belonging to the same slice are associated with each other by using the slice identification information.
  • a tile is composed of a single or multiple consecutive slices in a G-PCC bitstream.
  • Each geometry data unit stores tile identification information (tile_id) indicating the tile to which the slice to which the geometry data unit belongs belongs. That is, the geometry data units belonging to the same tiles store the same tile identification information. That is, slices belonging to the same tile are associated with each other by using the tile identification information.
  • this tile identification information is managed in the tile inventory as described above, and information such as the position and size of the tile corresponding to each tile identification information in the three-dimensional space is linked.
  • information such as the position and size of the tile corresponding to each tile identification information in the three-dimensional space is linked.
  • Non-Patent Document 2 discloses ISOBMFF (International Organization for Standardization Base Media File Format), which is a file container specification of MPEG-4 (Moving Picture Experts Group-4), an international standard technology for video compression.
  • ISOBMFF International Organization for Standardization Base Media File Format
  • Non-Patent Document 3 discloses a method of storing a G-PCC bitstream in ISOBMFF for the purpose of improving the efficiency of reproduction processing and network distribution of the G-PCC-encoded bitstream from the local storage. .. This method is being standardized in MPEG-I Part 18 (ISO / IEC 23090-18).
  • FIG. 5 is a diagram showing an example of the file structure in that case.
  • a G-PCC bitstream stored in ISOBMFF is called a G-PCC file.
  • the sequence parameter set is stored in the GPCC Decoder Configuration Record of the G-PCC file.
  • the GPCCDecoderConfigurationRecord may further include a geometry parameter set, an attribute parameter set, and a tile inventory, depending on the sample entry type.
  • the sample of the media data box includes geometry slice and attribute slice corresponding to 1 point cloud frame.
  • it may include geometry parameter sets, attribute parameter sets, tile inventories, depending on the sample entry type.
  • the G-PCC file has a structure for accessing and decoding the partial point cloud based on the three-dimensional spatial information.
  • the G-PCC file stores each partial point cloud in different tracks.
  • a partial point cloud consists of one or more tiles.
  • the point cloud frame 61 is composed of the partial point cloud 61A, the partial point cloud 61B, and the partial point cloud 61C.
  • the partial point cloud 61A, the partial point cloud 61B, and the partial point cloud 61C are stored in different tracks (G-PCC tracks) of the G-PCC files, respectively. With such a structure, it is possible to select the tile to be played by selecting the track to be played.
  • Non-Patent Document 4 discloses a profile that supports a scalable decryption function of a point cloud. This profile enables decoding and rendering according to the viewpoint position, for example, during local reproduction of a large-scale point cloud still image. For example, in FIG. 7, the area outside the field of view 73 (the white background area in the figure) when the line-of-sight direction 72 is viewed from the viewpoint 71 is not decoded, and only the partial point cloud in the field of view 73 is decoded and reproduced.
  • the partial point cloud in the area near the viewpoint 71 is decoded and played at high LoD (at high resolution), and the partial point in the area far from the viewpoint 71 (light gray area in the figure).
  • the cloud enables decoding and rendering processing according to the viewpoint position, such as decoding and playing with low LoD (at low resolution). As a result, the reproduction of unnecessary information is reduced, so that an increase in the load of the reproduction process can be suppressed.
  • Non-Patent Document 3 in the case of a G-PCC bitstream having such a partial access structure, it is stored in a different track for each partially playable partial point cloud. In other words, the granularity of partial access depends on the number of tracks.
  • the larger the point cloud the more diverse partial access may be required. That is, in the case of the method described in Non-Patent Document 3, more tracks are required. As the number of tracks increased, the file size could increase. Further, as the number of tracks increases, the complexity of managing the tracks increases, so that the load of the reproduction process may increase.
  • Non-Patent Document 3 the information indicating the relationship between the tile and the data unit is stored only in the header of each data unit in the G-PCC bitstream. Therefore, it is necessary to parse the G-PCC bitstream in order to specify the data unit to be extracted. That is, it is necessary to parse unnecessary G-PCC bitstreams, which may increase the load of the reproduction process.
  • the tile identification information is stored in the G-PCC file.
  • a subsample is formed in a sample in a G-PCC file, and tile identification information is stored in the G-PCC file as tile management information for managing tiles corresponding to each subsample.
  • an information processing device it is stored in a file as a sample using tile identification information indicating a point cloud tile corresponding to a point cloud bit stream data unit that expresses a three-dimensional object as a set of points.
  • tile management information generator that generates tile management information, which is information for managing tiles corresponding to subsamples consisting of a single or consecutive data units of a bit stream, and the bit stream and tile management information. It is provided with a file generator that generates a file.
  • the tile identification information indicating the tile of the point cloud corresponding to the data unit of the bit stream of the point cloud that expresses the object of the three-dimensional shape as a set of points is stored in a file as a sample.
  • Generate tile management information that is information for managing tiles corresponding to a subsample consisting of a single or contiguous data unit of a bit stream, and generate a file that stores the bit stream and tile management information. do.
  • the desired tile of the bitstream based on the tile management information, which is the information for managing the tile corresponding to the subsample stored in the file using the tile identification information indicating the tile of the point cloud corresponding to. It is provided with an extraction unit that extracts the part necessary for reproduction of the file from the file.
  • an information processing method corresponds to a subsample composed of a single or consecutive data units of a point cloud that is stored in a file together with a point cloud bit stream that expresses a three-dimensional object as a set of points.
  • Playback of the desired tile of the bitstream based on the tile management information which is information for managing the tiles corresponding to the subsamples stored in the file using the tile identification information that indicates the tiles in the point cloud. Try to extract the necessary part from the file.
  • G-PCC bitstream As a use case of G-PCC bitstream, there is encoding of large-scale point cloud data such as point cloud map data and virtual assets in movie production (digital data of a real movie set).
  • Such a large-scale point cloud is mainly expected to be played locally. Since the client generally has a limitation on the cache size, instead of decoding the entire G-PCC bitstream, only the required area is decoded and rendered each time.
  • the processing of decoding and rendering only the partial point cloud in the visible area according to the viewpoint position, or the partial point cloud in the near area Is expected to be decoded and rendered at high LoD (at high resolution), and the partial point cloud in a distant area is expected to be decoded and rendered at low LoD (at low resolution).
  • a large-scale point cloud is mainly assumed to be played locally (playing a part of the whole, not playing the whole). Therefore, as described above, based on the tile identification information managed by the tile management information, the information necessary for reproducing the desired tile can be extracted and decoded to generate the presentation information. It is possible to suppress an increase in the load on the client.
  • FIG. 9 is a diagram showing a main configuration example of a G-PCC file in the case of a single track. As shown in FIG. 9, in the case of a single track, both the geometry data unit and the attribute data unit may be stored in the sample.
  • a sample for storing G-PCC data is also referred to as a G-PCC sample (G-PCC sample).
  • the tile management information may include a list of tile identification information corresponding to the subsamples generated for each track in the file and stored in that track.
  • the G-PCC file is an ISOBMFF file
  • the tile management information may be stored in the box that stores the information about the subsample in the moov box of the G-PCC file.
  • FIG. 10 there is a SubSampleInformationBox ('subs') specified by ISO / IEC 23090-18 in the moov box of the G-PCC file.
  • tile management information (list of tile identification information) may be stored in this SubSampleInformationBox (method 1-1).
  • the SubSampleInformationBox may be stored in the moof box of the G-PCC file.
  • the file generator that generates the ISOBMFF parses the G-PCC bitstream, extracts tile identification information, etc., and extracts the extracted tiles. Store identification information etc. as tile management information in SubSampleInformatoinBox.
  • the file generator acquires tile identification information or the like from the encoder and stores the acquired tile identification information or the like as tile management information in the SubSampleInformationBox. By doing so, the tile management information (list of tile identification information) can be stored in the SubSampleInformationBox.
  • FIG. 11 shows an example of the syntax of this SubSampleInformationBox.
  • codec specific parameters that can store arbitrary parameters are prepared.
  • This codec specific parameters may be extended to store tile management information (list of tile identification information).
  • tile management information list of tile identification information
  • the affinity with the conventional standard can be improved. This makes it possible to realize a file that can be processed even by a general-purpose encoder or decoder.
  • the G-PCC data in the G-PCC sample may be subsampled for each tile (method 1-1-1).
  • the G-PCC data stored in the sample is subsampled for each tile. That is, a single or contiguous data unit of a bitstream composed of data units of geometry and / or data units of attributes that belong to the same tile of the bitstream stored in the sample is a subsample. It may be set.
  • the tile management information may include information for associating such a subsample with the tile identification information corresponding to the data unit of the geometry contained in the subsample.
  • slices contain one geometry data unit, and tiles are made up of one or more slices, so for a single track, one or more subsamples made up of this data unit. It can also be said that it is composed of a single or continuous data unit including the geometry data unit of.
  • a single or continuous parameter set and tile inventory are also set as subsamples.
  • tile management information in the above-mentioned tile management information, as shown in FIG. 10, information (data_units_for_tile) indicating whether or not the subsample is a tile is stored for each subsample. If data_units_for_tile is false (eg 0), it indicates that the subsample is a subsample consisting of a single or contiguous set of parameters and a tile inventory. Further, when data_units_for_tile is true (for example, 1), it indicates that the subsample is a subsample composed of a single or consecutive data units constituting the same tile.
  • tile identification information (tile_id) is further stored.
  • the tile_id indicates the tile corresponding to the subsample (that is, the tile to which the data unit constituting the subsample belongs).
  • the association between the geometry data unit and the attribute data unit is omitted in the tile management information (in the same subsample). Both are linked by being included).
  • FIG. 12 is a diagram showing an example of the syntax of codec specific parameters.
  • codec specific parameters subsample data_units_for_tile and tile_id are stored as tile management information. That is, in the tile management information, information (data_units_for_tile) indicating whether or not the subsample is a tile is stored for each subsample, and if data_units_for_tile is true, further tile identification information (tile_id) is stored. ..
  • the codec specific parameters may be extended by using flags.
  • the contents of codec specific parameters can be switched depending on the value of flags. Therefore, tile management information (data_units_for_tile, tile_id, etc.) can be stored while keeping the existing parameters. This makes it possible to improve the affinity with the conventional standard. This makes it possible to realize a file that can be processed even by a general-purpose encoder or decoder.
  • the subsample may be set for each slice. That is, as shown in the fifth row from the top of the table shown in FIG. 8, the G-PCC data in the G-PCC sample may be subsampled for each slice (method 1-1-2). ..
  • the G-PCC data stored in the sample is subsampled for each slice. That is, a single or contiguous data unit of a bitstream composed of data units of geometry and / or data units of attributes that belong to the same slice of the bitstream stored in the sample is a subsample. It may be set.
  • the tile identification information indicates the tile to which the slice corresponding to the subsample belongs.
  • the tile management information may include information for associating such a subsample with the tile identification information corresponding to the data unit of the geometry contained in the subsample.
  • a slice contains one geometry data unit, so in the case of a single track, a subsample composed of this data unit may be a single piece of data or a plurality of consecutive pieces of data containing one geometry data unit. It can be said that it is composed of units.
  • a single or continuous parameter set and tile inventory are also set as subsamples.
  • tile management information in the above tile management information, as shown in FIG. 13, information (data_units_for_slice) indicating whether or not the subsample is a slice is stored for each subsample. If data_units_for_slice is false (eg 0), it indicates that the subsample is a subsample consisting of multiple parameter sets and tile inventory, either singular or contiguous. When data_units_for_slice is true (for example, 1), it indicates that the subsample is a subsample composed of a single or consecutive data units constituting the same slice.
  • tile identification information (tile_id) is further stored.
  • the tile_id indicates the tile to which the slice corresponding to the subsample belongs (that is, the tile to which the data unit constituting the subsample belongs).
  • the association between the geometry data unit and the attribute data unit is omitted in the tile management information (in the same subsample). Both are linked by being included).
  • FIG. 14 is a diagram showing an example of the syntax of codec specific parameters in this case.
  • codec specific parameters subsample data_units_for_slice and tile_id are stored as tile management information. That is, in the tile management information, information (data_units_for_slice) indicating whether or not the subsample is a slice is stored for each subsample, and if data_units_for_slice is true, further tile identification information (tile_id) is stored. ..
  • the codec specific parameters may be extended by using flags as in the example shown in FIG. By doing so, the affinity with the conventional standard can be improved. This makes it possible to realize a file that can be processed even by a general-purpose encoder or decoder.
  • Subsample for each data unit The subsample may be set for each data unit. That is, as shown in the sixth row from the top of the table shown in FIG. 8, the G-PCC data in the G-PCC sample may be subsampled for each data unit (method 1-1-3). ). In the example of FIG. 15, the G-PCC data stored in the sample is subsampled for each data unit. That is, a single data unit of bitstream geometry or attributes stored in the sample may be set as a subsample. In this case, the tile identification information indicates the tile to which the subsample (data unit) belongs.
  • the tile management information corresponds to the subsample consisting of the data unit of the geometry, the information corresponding to the tile identification information and the slice identification information corresponding to the data unit of the geometry, and the subsample consisting of the data unit of the attribute.
  • Information associated with the slice identification information corresponding to the data unit of the attribute may be included.
  • the slice identification information is information indicating a slice of a point cloud corresponding to a bitstream data unit.
  • each parameter set and tile inventory are also set as subsamples.
  • the payload type (payload type), tile identification information (tile id), and slice identification information (slice identification information) (payload type), tile identification information (tile id), and slice identification information ( sliceid) is stored.
  • the payload type (payload type) and slice identification information (slice id) are stored for the subsample of the attribute data unit.
  • the payload type is stored for the other subsamples.
  • the payload type indicates the type of data that constitutes the subsample (for example, whether it is a geometry data unit, an attribute data unit, or something else).
  • the tile_id indicates the tile corresponding to the subsample (that is, the tile to which the data unit constituting the subsample belongs).
  • the slice id indicates the slice corresponding to the subsample (that is, the slice to which the data unit constituting the subsample belongs). In this case, the geometry data unit and the attribute data unit are associated with each other by the slice identification information.
  • FIG. 16 is a diagram showing an example of the syntax of codec specific parameters in this case.
  • the payload type, tile_id, and geom_slice_id are stored as the tile management information for the subsample of the geometry data unit.
  • geom_slice_id is slice identification information indicating the slices formed by the geometry data unit.
  • payload type and attr_slice_id are stored for the subsample of the attribute data unit.
  • attr_slice_id is slice identification information indicating the slices formed by the attribute data unit.
  • the payment type is stored for other subsamples.
  • the codec specific parameters may be extended by using flags as in the example shown in FIG. By doing so, the affinity with the conventional standard can be improved. This makes it possible to realize a file that can be processed even by a general-purpose encoder or decoder.
  • SubSampleInformationBox is expanded to store tile management information (tile identification information), but instead of this SubSampleInformationBox, SubSampleItemProperty is expanded to store tile management information (tile identification information). You may.
  • the extension method is the same as in the case of the SubSampleInformationBox described above. By storing tile management information in SubSampleItemProperty, the same effect can be obtained for still images.
  • the tile identification information may be stored in the timed metadata (method 1-2).
  • the timed metadata track is associated with the G-PCC track by track reference ('gsli'). This method can be applied to each of the above-mentioned methods. That is, the information stored in each method may be stored in the timed metadata.
  • the geometry data unit and the attribute data unit are stored in different tracks, and each track is a tile that manages the tile identification information corresponding to the subsample in that track. Management information may be stored.
  • each track is the same as for a single track. Therefore, in the case of multi-track, the same effect as in the case of single track can be obtained. In addition, each method described in the case of a single track can be applied to this multi-track.
  • data_units_for_tile is stored as tile management information for each subsample in the geometry track (geometry track) and the attribute track (attribute track). For the subsamples that make up the tile, the tile_id is also stored.
  • data_units_for_slice is stored as tile management information for each subsample in the geometry track (geometry track) and the attribute track (attribute track). For the subsamples that make up the slice, the tile_id is also stored.
  • the payload type in the geometry track, is stored as tile management information for each subsample in the track.
  • tile_id and sliceid are also stored.
  • the payload type is stored as tile management information for each subsample in the track.
  • a slice id is also stored.
  • data_units_for_tile and data_units_for_slice are true (for example, 1) when the subsample is a geometry data unit in the case of a geometry track and sub in the case of an attribute track.
  • samples are attribute data units that make up the same slice.
  • the tile identification information may be stored in the timed metadata as in the case of the single track.
  • the same effect as in the case of single track can be obtained.
  • Matryoshka media container ⁇ 2-3.
  • Matryoshka media container> an example of applying ISOBMFF as a file format has been described, but the file that stores the G-PCC bitstream is arbitrary and may be other than ISOBMFF.
  • the G-PCC bitstream may be stored in a Matroska Media Container, as shown at the bottom of the table shown in FIG. 8 (Method 3).
  • FIG. 21 shows a main configuration example of the matryoshka media container.
  • the tile management information may be stored as a newly defined element under the Track Entry element.
  • the tile management information (tile identification information) is stored in the timed metadata
  • the timed metadata may be stored in a Track entry different from the Track entry in which the G-PCC bitstream is stored. ..
  • FIG. 22 is a block diagram showing an example of the configuration of a file generation device, which is an aspect of an information processing device to which the present technology is applied.
  • the file generation device 300 shown in FIG. 22 is a device that encodes point cloud data by applying G-PCC and stores the G-PCC bitstream generated by the coding in ISOBMFF.
  • the file generation device 300 applies the above-mentioned technology and stores the G-PCC bitstream in ISOBMFF so as to enable partial access. That is, the file generation device 300 stores the tile identification information of each subsample as tile management information in the G-PCC file.
  • FIG. 22 shows the main things such as the processing unit and the data flow, and not all of them are shown in FIG. 22. That is, in the file generation device 300, there may be a processing unit that is not shown as a block in FIG. 22, or there may be a processing or data flow that is not shown as an arrow or the like in FIG. 22.
  • the file generation device 300 has an extraction unit 311, a coding unit 312, a bit stream generation unit 313, a tile management information generation unit 314, and a file generation unit 315.
  • the coding unit 312 includes a geometry coding unit 321, an attribute coding unit 322, and a metadata generation unit 323.
  • the extraction unit 311 extracts geometry data and attribute data from the point cloud data input to the file generation device 300, respectively.
  • the extraction unit 311 supplies the data of the extracted geometry to the geometry coding unit 321 of the coding unit 312. Further, the extraction unit 311 supplies the extracted attribute data to the attribute coding unit 322 of the coding unit 312.
  • the coding unit 312 encodes the data in the point cloud.
  • the geometry coding unit 321 encodes the geometry data supplied from the extraction unit 311 and generates a geometry bit stream.
  • the geometry coding unit 321 supplies the generated geometry bitstream to the metadata generation unit 323. Further, the geometry coding unit 321 also supplies the generated geometry bitstream to the attribute coding unit 322.
  • the attribute coding unit 322 encodes the attribute data supplied from the extraction unit 311 and generates an attribute bit stream.
  • the attribute coding unit 322 supplies the generated attribute bit stream to the metadata generation unit 323.
  • the metadata generation unit 323 refers to the supplied geometry bitstream and attribute bitstream, and generates metadata.
  • the metadata generation unit 323 supplies the generated metadata to the bitstream generation unit 313 together with the geometry bitstream and the attribute bitstream.
  • the bitstream generation unit 313 multiplexes the supplied geometry bitstream, attribute bitstream, and metadata to generate a G-PCC bitstream.
  • the bitstream generation unit 313 supplies the generated G-PCC bitstream to the tile management information generation unit 314.
  • the tile management information generation unit 314 is ⁇ 2. Applying the above-mentioned technology in Signaling tile identification information>, the tile identification information indicating the tile of the point cloud corresponding to the supplied G-PCC bit stream data unit is used and stored in a file as a sample. Generates tile management information, which is information for managing tiles corresponding to a subsample consisting of a single bit stream or a plurality of consecutive data units. The tile management information generation unit 314 supplies the tile management information to the file generation unit 315 together with the G-PCC bit stream.
  • the file generation unit 315 is ⁇ 2.
  • the above-mentioned technology is applied in Signaling of tile identification information> to generate a G-PCC file that stores the supplied G-PCC bitstream and tile management information (tile identification information).
  • the file generation unit 315 outputs the G-PCC file generated as described above to the outside of the file generation device 300.
  • the tile management information generation unit 314 when subsampled for each tile, the tile management information generation unit 314 generates tile management information (list of tile identification information) according to the syntax as shown in FIG.
  • the file generation unit 315 stores the tile management information in the codec specific parameters of the SubSampleInformationBox.
  • the tile management information generation unit 314 when subsampled for each slice, the tile management information generation unit 314 generates tile management information (list of tile identification information) according to the syntax as shown in FIG.
  • the file generation unit 315 stores the tile management information in the codec specific parameters of the SubSampleInformationBox.
  • the tile management information generation unit 314 when subsampled for each data unit, the tile management information generation unit 314 generates tile management information (list of tile identification information) according to the syntax as shown in FIG.
  • the file generation unit 315 stores the tile management information in the codec specific parameters of the SubSampleInformationBox.
  • the file generation unit 315 can store tile management information in SubSampleItemProperty or can store it in timed metadata. Also, ⁇ 2. As described above in Signaling tile identification information>, even in the case of multitrack, the tile management information generation unit 314 can generate tile management information, and the file generation unit 315 stores the tile management information in a file. can do.
  • the extraction unit 311 of the file generation device 300 extracts the geometry and the attribute from the point cloud in step S301, respectively.
  • step S302 the coding unit 312 encodes the geometry and the attribute extracted in step S301 to generate a geometry bit stream and an attribute bit stream.
  • the coding unit 312 further generates the metadata thereof.
  • step S303 the bitstream generation unit 313 multiplexes the geometry bitstream, attribute bitstream, and metadata generated in step S302 to generate a G-PCC bitstream.
  • step S304 the tile management information generation unit 314 has ⁇ 2.
  • the above-mentioned technique is applied in Signaling of tile identification information> to generate tile management information for managing tile identification information included in the G-PCC bit stream generated in step S303.
  • step S305 the file generation unit 315 generates other information, applies the above-mentioned technology, and generates a G-PCC file for storing the G-PCC bitstream and tile management information.
  • step S305 When the process of step S305 is completed, the file generation process is completed.
  • the file generation device 300 has ⁇ 2. This technology explained in Signaling tile identification information> is applied, and the tile identification information is stored in the G-PCC file. By doing so, it is possible to reduce the processing (decoding and the like) of unnecessary information, and it is possible to suppress an increase in the load of the reproduction processing.
  • FIG. 24 is a block diagram showing an example of a configuration of a reproduction device, which is an aspect of an information processing device to which the present technology is applied.
  • the playback device 400 shown in FIG. 24 is a device that decodes a G-PCC file, constructs a point cloud, renders it, and generates presentation information.
  • the reproduction device 400 applies the above-mentioned technology, extracts the information necessary for reproducing the desired tile in the point cloud from the G-PCC file, decodes the extracted information, and reproduces it. Can be done. That is, the reproduction device 400 can decode and reproduce only a part of the point cloud.
  • FIG. 24 shows the main things such as the processing unit and the data flow, and not all of them are shown in FIG. 24. That is, in the reproduction device 400, there may be a processing unit that is not shown as a block in FIG. 24, or there may be a processing or data flow that is not shown as an arrow or the like in FIG. 24.
  • the reproduction device 400 has a control unit 401, a file acquisition unit 411, a reproduction processing unit 412, and a presentation processing unit 413.
  • the reproduction processing unit 412 includes a file processing unit 421, a decoding unit 422, and a presentation information generation unit 423.
  • the control unit 401 controls each processing unit in the reproduction device 400.
  • the file acquisition unit 411 acquires a G-PCC file for storing the point cloud to be reproduced and supplies it to the reproduction processing unit 412 (file processing unit 421).
  • the reproduction processing unit 412 performs processing related to reproduction of the point cloud stored in the supplied G-PCC file.
  • the file processing unit 421 of the playback processing unit 412 acquires the G-PCC file supplied from the file acquisition unit 411 and extracts the bit stream from the G-PCC file. At that time, the file processing unit 421 is described in ⁇ 2.
  • the above-mentioned technique is applied in Signaling of tile identification information>, and only the bitstream necessary for reproducing the desired tile is extracted.
  • the file processing unit 421 supplies the extracted bit stream to the decoding unit 422.
  • the decoding unit 422 decodes the supplied bitstream and generates geometry and attribute data.
  • the decoding unit 422 supplies the generated geometry and attribute data to the presentation information generation unit 423.
  • the presentation information generation unit 423 constructs a point cloud using the supplied geometry and attribute data, and generates presentation information which is information for presenting (for example, displaying) the point cloud. For example, the presentation information generation unit 423 renders using the point cloud, and generates a display image of the point cloud as the presentation information as viewed from a predetermined viewpoint. The presentation information generation unit 423 supplies the presentation information thus generated to the presentation processing unit 413.
  • the presentation processing unit 413 performs a process of presenting the supplied presentation information.
  • the presentation processing unit 413 supplies the presentation information to a display device or the like outside the reproduction device 400 and causes the presentation information to be presented.
  • FIG. 25 is a block diagram showing a main configuration example of the reproduction processing unit 412.
  • the file processing unit 421 has a bitstream extraction unit 431.
  • the decoding unit 422 has a geometry decoding unit 441 and an attribute decoding unit 442.
  • the presentation information generation unit 423 has a point cloud construction unit 451 and a presentation processing unit 452.
  • the bitstream extraction unit 431 has ⁇ 2. Applying the above-mentioned technology in Signaling tile identification information>, refer to the tile management information included in the supplied G-PCC file, and based on the tile management information (the tile identification information contained in), the G -Extract the bitstream needed to play the desired tile (that is, the geometry bitstream and attribute bitstream corresponding to that tile) from the PCC file.
  • the bitstream extraction unit 431 specifies the tile identification information corresponding to the desired tile based on the information such as the tile inventory. Then, the bitstream extraction unit 431 refers to the tile management information stored in the codec specific parameters and the like of the SubSampleInformationBox, and identifies the subsample corresponding to the tile identification information corresponding to the desired tile. Then, the bitstream extraction unit 431 extracts the specified subsample bitstream.
  • the bitstream extraction unit 431 shows the tile management information stored in the codec specific parameters and the like of the SubSampleInformationBox in FIG. Analyze the tile management information based on such a syntax.
  • the bitstream extraction unit 431 shows the tile management information stored in the codec specific parameters and the like of the SubSampleInformationBox in FIG. Analyze the tile management information based on such a syntax.
  • the bitstream extraction unit 431 displays the tile management information stored in the codec specific parameters of the SubSampleInformationBox in FIG. Analyze the tile management information based on the syntax as shown.
  • the bitstream extraction unit 431 refers to the SubSampleItemProperty.
  • the bitstream extraction unit 431 refers to the timed metadata.
  • the G-PCC file may be multitrack.
  • the bitstream extraction unit 431 supplies the extracted geometry bitstream to the geometry decoding unit 441. Further, the bitstream extraction unit 431 supplies the extracted attribute bitstream to the attribute decoding unit 442.
  • the geometry decoding unit 441 decodes the supplied geometry bitstream and generates geometry data.
  • the geometry decoding unit 441 supplies the generated geometry data to the point cloud construction unit 451.
  • the attribute decoding unit 442 decodes the supplied attribute bit stream and generates attribute data.
  • the attribute decoding unit 442 supplies the generated attribute data to the point cloud construction unit 451.
  • the point cloud construction unit 451 constructs a point cloud using the supplied geometry and attribute data. That is, the point cloud construction unit 451 can construct a desired tile of the point cloud.
  • the point cloud construction unit 451 supplies the constructed point cloud data to the presentation processing unit 452.
  • the presentation processing unit 452 generates presentation information using the supplied point cloud data.
  • the presentation processing unit 452 supplies the generated presentation information to the presentation processing unit 413.
  • the playback device 400 can more easily obtain desired tiles based on the tile management information (tile identification information) stored in the G-PCC file without having to parse the entire bitstream. Only can be extracted, decrypted, constructed and presented. Therefore, it is possible to suppress an increase in the load of the reproduction process.
  • the file acquisition unit 411 of the reproduction device 400 acquires the G-PCC file to be reproduced in step S401.
  • step S402 the bitstream extraction unit 431 is required to decode and display the desired tile based on the tile management information (tile identification information) stored in the G-PCC file acquired in step S401. Extract parameter sets and data units. That is, the bitstream extraction unit 431 has ⁇ 2.
  • the above-mentioned technique is applied in Signaling of tile identification information>, and a geometry bitstream or an attribute bitstream corresponding to a desired tile is extracted from the G-PCC file.
  • the bitstream extraction unit 431 identifies and extracts the sequence parameter set, geometry parameter set, attribute parameter set, and tile inventory based on the payload type stored in the SubSampleInformationBox of the G-PCC file.
  • the bitstream extraction unit 431 determines the decoding method for each tile based on the position information of the tiles shown in the extracted tile inventory.
  • the bitstream extraction unit 431 is a subsample that constitutes a tile to be decoded (that is, a geometry data unit or an attribute that constitutes the tile) based on the tile management information (tile identification information) stored in the SubSampleInformationBox of the G-PCC file. Data unit) is identified and extracted.
  • step S403 the geometry decoding unit 441 of the decoding unit 422 decodes the geometry bitstream extracted in step S402 and generates geometry data. Further, the attribute decoding unit 442 decodes the attribute bit stream extracted in step S402 and generates attribute data.
  • step S404 the point cloud construction unit 451 constructs a point cloud using the geometry and attribute data generated in step S403. That is, the point cloud construction unit 451 can construct a desired tile (a part of the point cloud).
  • step S405 the presentation processing unit 452 generates presentation information by rendering using the point cloud constructed in step S404.
  • the presentation processing unit 413 supplies the presentation information to the outside of the reproduction device 400 and causes the presentation information to be presented.
  • step S405 When the process of step S405 is completed, the reproduction process is completed.
  • the reproduction device 400 has ⁇ 2.
  • the technique described in Signaling tile identification information> is applied, and the information corresponding to the desired tile is extracted and reproduced using the tile identification information stored in the G-PCC file. By doing so, it is possible to reduce the processing (decoding and the like) of unnecessary information, and it is possible to suppress an increase in the load of the reproduction processing.
  • Addendum> ⁇ Computer> The series of processes described above can be executed by hardware or software.
  • the programs constituting the software are installed in the computer.
  • the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
  • FIG. 27 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
  • the CPU Central Processing Unit
  • ROM ReadOnly Memory
  • RAM RandomAccessMemory
  • the input / output interface 910 is also connected to the bus 904.
  • An input unit 911, an output unit 912, a storage unit 913, a communication unit 914, and a drive 915 are connected to the input / output interface 910.
  • the input unit 911 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 912 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 913 is composed of, for example, a hard disk, a RAM disk, a non-volatile memory, or the like.
  • the communication unit 914 is composed of, for example, a network interface.
  • the drive 915 drives a removable medium 921 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 901 loads the program stored in the storage unit 913 into the RAM 903 via the input / output interface 910 and the bus 904 and executes the above-mentioned series. Is processed.
  • the RAM 903 also appropriately stores data and the like necessary for the CPU 901 to execute various processes.
  • the program executed by the computer can be recorded and applied to the removable media 921 as a package media or the like, for example.
  • the program can be installed in the storage unit 913 via the input / output interface 910 by mounting the removable media 921 in the drive 915.
  • This program can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting. In that case, the program can be received by the communication unit 914 and installed in the storage unit 913.
  • this program can also be installed in advance in ROM 902 or storage unit 913.
  • this technology can be applied to any configuration.
  • the present technology can be applied to various electronic devices.
  • the present technology includes a processor as a system LSI (Large Scale Integration) (for example, a video processor), a module using a plurality of processors (for example, a video module), and a unit using a plurality of modules (for example, a video unit).
  • a processor as a system LSI (Large Scale Integration) (for example, a video processor), a module using a plurality of processors (for example, a video module), and a unit using a plurality of modules (for example, a video unit).
  • a processor as a system LSI (Large Scale Integration) (for example, a video processor), a module using a plurality of processors (for example, a video module), and a unit using a plurality of modules (for example, a video unit).
  • a processor as a system LSI (Large Scale Integration) (for example, a video processor), a module using a plurality of processors (for example,
  • this technology can be applied to a network system composed of a plurality of devices.
  • the present technology may be implemented as cloud computing that is shared and jointly processed by a plurality of devices via a network.
  • this technology is implemented in a cloud service that provides services related to images (moving images) to any terminal such as computers, AV (AudioVisual) devices, portable information processing terminals, and IoT (Internet of Things) devices. You may try to do it.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and a device in which a plurality of modules are housed in one housing are both systems. ..
  • Systems, devices, processing units, etc. to which this technology is applied can be used in any field such as transportation, medical care, crime prevention, agriculture, livestock industry, mining, beauty, factories, home appliances, weather, nature monitoring, etc. .. The use is also arbitrary.
  • this technology can be applied to systems and devices used for providing ornamental contents and the like.
  • the present technology can be applied to systems and devices used for traffic such as traffic condition supervision and automatic driving control.
  • the present technology can be applied to systems and devices used for security purposes.
  • the present technology can be applied to a system or device used for automatic control of a machine or the like.
  • the present technology can be applied to systems and devices used for agriculture and livestock industry.
  • the present technology can also be applied to systems and devices for monitoring natural conditions such as volcanoes, forests and oceans, and wildlife. Further, for example, the present technology can be applied to systems and devices used for sports.
  • the "flag” is information for identifying a plurality of states, and is not only information used for identifying two states of true (1) or false (0), but also three or more states. It also contains information that can identify the state. Therefore, the value that this "flag” can take may be, for example, 2 values of 1/0 or 3 or more values. That is, the number of bits constituting this "flag” is arbitrary, and may be 1 bit or a plurality of bits.
  • the identification information (including the flag) is assumed to include not only the identification information in the bit stream but also the difference information of the identification information with respect to a certain reference information in the bit stream. In, the "flag” and “identification information” include not only the information but also the difference information with respect to the reference information.
  • various information (metadata, etc.) regarding the coded data may be transmitted or recorded in any form as long as it is associated with the coded data.
  • the term "associate" means, for example, to make the other data available (linkable) when processing one data. That is, the data associated with each other may be combined as one data or may be individual data.
  • the information associated with the coded data (image) may be transmitted on a transmission path different from the coded data (image).
  • the information associated with the coded data (image) may be recorded on a recording medium (or another recording area of the same recording medium) different from the coded data (image). good.
  • this "association" may be a part of the data, not the entire data.
  • the image and the information corresponding to the image may be associated with each other in any unit such as a plurality of frames, one frame, or a part within the frame.
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • the above-mentioned program may be executed in any device.
  • the device may have necessary functions (functional blocks, etc.) so that necessary information can be obtained.
  • each step of one flowchart may be executed by one device, or may be shared and executed by a plurality of devices.
  • one device may execute the plurality of processes, or the plurality of devices may share and execute the plurality of processes.
  • a plurality of processes included in one step can be executed as processes of a plurality of steps.
  • the processes described as a plurality of steps can be collectively executed as one step.
  • the processing of the steps for writing the program may be executed in chronological order in the order described in the present specification, and may be executed in parallel or in a row. It may be executed individually at the required timing such as when it is broken. That is, as long as there is no contradiction, the processes of each step may be executed in an order different from the above-mentioned order. Further, the processing of the step for describing this program may be executed in parallel with the processing of another program, or may be executed in combination with the processing of another program.
  • a plurality of technologies related to this technology can be independently implemented independently as long as there is no contradiction.
  • any plurality of the present technologies can be used in combination.
  • some or all of the techniques described in any of the embodiments may be combined with some or all of the techniques described in other embodiments.
  • a part or all of any of the above-mentioned techniques may be carried out in combination with other techniques not described above.
  • the present technology can also have the following configurations.
  • (1) The bit stream stored in a file as a sample using the tile identification information indicating the tile of the point cloud corresponding to the data unit of the bit stream of the point cloud expressing an object having a three-dimensional shape as a set of points.
  • a tile management information generation unit that generates tile management information that is information for managing the tile corresponding to a subsample consisting of a single unit or a plurality of consecutive data units of the above.
  • An information processing device including a file generation unit that generates the file that stores the bitstream and the tile management information.
  • (2) The information processing apparatus according to (1), wherein the tile management information is generated for each track of the file and includes a list of the tile identification information corresponding to the subsample stored in the track.
  • the file is an ISOBMFF (International Organization for Standardization Base Media File Format) file.
  • the subsample is composed of the data unit of the geometry belonging to the same tile of the bitstream, the data unit of the attribute, or both.
  • the information processing apparatus according to (3), wherein the tile management information includes information for associating the tile identification information corresponding to the data unit of the geometry contained in the subsample with respect to the subsample.
  • the subsample is composed of the data unit of geometry and / or the data unit of attributes belonging to the same slice of the bitstream.
  • the information processing apparatus wherein the tile management information includes information for associating the tile identification information corresponding to the data unit of the geometry contained in the subsample with respect to the subsample.
  • the subsample is composed of the singular data unit of the geometry or attribute of the bitstream.
  • the tile management information is Corresponds to the tile identification information corresponding to the data unit of the geometry and the data unit of the bitstream corresponding to the data unit of the geometry for the subsample consisting of the data unit of the geometry.
  • Information that associates the slice identification information indicating the slice of the point cloud with the information The information processing apparatus according to (3), which includes information for associating the slice identification information corresponding to the data unit of the attribute with respect to the subsample composed of the data unit of the attribute.
  • the information processing apparatus according to any one of (3) to (6), wherein the tile management information is stored in the timed metadata of the file.
  • the file generation unit stores the data unit of the geometry and the data unit of the attribute in different tracks of the file.
  • the information processing device according to any one of (1) to (7), wherein the tile management information generation unit generates the tile management information in each of the tracks.
  • the information processing apparatus according to any one of (1) to (8), wherein the file generation unit generates the file for storing the bit stream generated by the coding unit.
  • a point that represents a three-dimensional object as a set of points The point corresponding to a subsample composed of a single data unit of the bit stream or a plurality of continuous data units stored in a file together with a bit stream of the cloud.
  • the desired tile of the bit stream An information processing device equipped with an extraction unit that extracts the part required for reproduction from the file.
  • the tile management information includes a list of the tile identification information corresponding to the subsample generated for each track of the file and stored in the track.
  • the information processing apparatus wherein the extraction unit identifies the subsample corresponding to the desired tile based on the list, and extracts the specified subsample.
  • the file is an ISOBMFF (International Organization for Standardization Base Media File Format) file.
  • the extraction unit identifies the subsample corresponding to the desired tile based on the list of the tile management information stored in the moov box or the moof box of the file, and extracts the specified subsample.
  • the information processing apparatus according to (12).
  • the subsample is composed of the data unit of geometry and / or the data unit of attributes belonging to the same tile of the bitstream.
  • the tile management information includes information for associating the tile identification information corresponding to the data unit of the geometry contained in the subsample with respect to the subsample.
  • the subsample is composed of the data unit of geometry and / or the data unit of attributes belonging to the same slice of the bitstream.
  • the tile management information includes information for associating the tile identification information corresponding to the data unit of the geometry contained in the subsample with respect to the subsample.
  • the subsample is composed of the singular data unit of the geometry or attributes of the bitstream.
  • the tile management information is Corresponds to the tile identification information corresponding to the data unit of the geometry and the data unit of the bitstream corresponding to the data unit of the geometry for the subsample consisting of the data unit of the geometry.
  • Information that associates the slice identification information indicating the slice of the point cloud with the information The information processing apparatus according to (13), which includes information for associating the slice identification information corresponding to the data unit of the attribute with respect to the subsample composed of the data unit of the attribute.
  • the information processing apparatus according to (13) to (16) wherein the tile management information is stored in the timed metadata of the file.
  • the data unit of the geometry and the data unit of the attribute are stored in different tracks.
  • the extraction unit extracts the portion of the bitstream necessary for reproducing the desired tile from the file in each of the tracks based on the tile management information (11) to (17).
  • the information processing device described in any of them.
  • the information processing apparatus according to any one of (11) to (18), further comprising a decoding unit for decoding the portion of the bitstream extracted by the extraction unit, which is necessary for reproducing the desired tile. ..
  • (20) A point that represents a three-dimensional object as a set of points The point corresponding to a subsample composed of a single data unit of the bit stream or a plurality of continuous data units stored in a file together with a bit stream of the cloud.
  • the desired tile of the bit stream An information processing method that extracts the part required for playback from the file.
  • 300 file generation device 311 extraction unit, 312 coding unit, 313 bitstream generation unit, 314 tile management information generation unit, 315 file generation unit, 321 geometry coding unit, 322 attribute coding unit, 323 metadata generation unit, 400 playback device, 401 control unit, 411 file acquisition unit, 412 playback processing unit, 413 presentation processing unit, 421 file processing unit, 422 decoding unit, 423 presentation information generation unit, 431 bitstream extraction unit, 441 geometry decoding unit, 442 Attribute decoding unit, 451 point cloud construction unit, 452 presentation processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Studio Circuits (AREA)

Abstract

本開示は、再生処理の負荷の増大を抑制することができるようにする情報処理装置および方法に関する。 ３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのビットストリームのデータユニットに対応するポイントクラウドのタイルを示すタイル識別情報を用いて、サンプルとしてファイルに格納されるビットストリームの単数または連続する複数のデータユニットからなるサブサンプルに対応するタイルを管理するための情報であるタイル管理情報を生成し、そのビットストリームおよびタイル管理情報を格納するファイルを生成する。本開示は、例えば、情報処理装置、または情報処理方法等に適用することができる。

Description

情報処理装置および方法
　本開示は、情報処理装置および方法に関し、特に、再生処理の負荷の増大を抑制することができるようにした情報処理装置および方法に関する。
　従来、３次元空間上に位置情報と属性情報(色や反射等)を同時に持った点の集合であるポイントクラウド（point cloud）について、３次元形状を示すジオメトリ（geometry）と属性情報を示すアトリビュート（attribute）に分けて符号化する、Geometry-based Point Cloud Compression (G-PCC)という符号化技術がMPEG-I Part 9 (ISO/IEC 23090-9) で規格化作業中である（例えば、非特許文献１参照）。
　また、動画圧縮の国際標準技術MPEG-4（Moving Picture Experts Group - 4）のファイルコンテナ仕様であるISOBMFF（International Organization for Standardization Base Media File Format）がある（例えば、非特許文献２参照）。
　さらに、このG-PCCで符号化されたビットストリームのローカルストレージからの再生処理やネットワーク配信の効率化を目的とし、G-PCCビットストリームをISOBMFFに格納する方法がMPEG-I Part 18 (ISO/IEC 23090-18) で規格化作業中である（例えば、非特許文献３参照）。
　G-PCCビットストリームは、一部のポイントのビットストリームを他と独立に復号し、再生することができるパーシャルアクセス（partial access）構造を備えることができる。このパーシャルアクセス構造のポイントクラウドにおける、独立に復号および再生が可能な（独立にアクセス可能な）データ単位をタイル（tile）と称する。
　例えば、ポイントクラウドの、視界内の部分のみを復号したり、視点位置により近い部分をより高解像度に復号したりするプロファイルが提案された（例えば非特許文献４参照）。このような方法を適用することにより、不要な情報の処理の増大を抑制することができるので、再生処理の負荷の増大を抑制することができる。特に、地図データのような大規模なポイントクラウドにおいて、このような方法は有用である。
"Information technology - MPEG-I (Coded Representation of Immersive Media) - Part 9: Geometry-based Point Cloud Compression", SO/IEC 23090-9:2020(E) "Information technology - Coding of audio-visual objects - Part 12:ISO base media file format", ISO/IEC 14496-12, 2015-02-20 Sejin Oh, Ryohei Takahashi, Youngkwon Lim, "WD of ISO/IEC 23090-18 Carriage of Geometry-based Point Cloud Compression Data", ISO/IEC JTC 1/SC 29/WG 11 N19286, 2020-06-05 Satoru Kuma, Ohji Nakagami, "[G-PCC] (New proposal) On scalability profile", ISO/IEC JTC1/SC29/WG11 MPEG2020/ m53292, April 2020
　しかしながら、非特許文献３に記載の方法では、このようなパーシャルアクセス構造を備えるG-PCCビットストリームの場合、独立に再生可能なパーシャルポイントクラウド毎に互いに異なるトラック（track）に格納される。換言するに、パーシャルアクセスの粒度が、トラックの数に依存する。
　一般的に、ポイントクラウドが大規模になる程、より多様なパーシャルアクセスが要求され得る。つまり、非特許文献３に記載の方法の場合、より多くのトラックが必要になる。トラック数が増大するとファイルサイズが増大するおそれがあった。また、トラック数が増大するとトラックの管理の煩雑さが増大するため、再生処理の負荷が増大するおそれもあった。
　そこで、１つのトラックに複数のパーシャルポイントクラウドを格納することが考えられる。しかしながら、パーシャルアクセスを実現するためには、G-PCCビットストリームを構成するジオメトリデータユニット（geometry data unit）とアトリビュートデータユニット（attribute data unit）の中から、再生に必要なデータユニットを抽出する必要がある。そのためには、タイルとデータユニットとの関係を把握し、その関係に基づいて、再生するタイルに対応するデータユニットを特定する必要がある。
　しかしながら、非特許文献３に記載の方法の場合、そのタイルとデータユニットとの関係を示す情報が、G-PCCビットストリーム中の各データユニットのヘッダにのみ格納されている。そのため、抽出するデータユニットを特定するためには、G-PCCビットストリームをパースする必要がある。つまり、不要なG-PCCビットストリームもパースする必要があり、再生処理の負荷が増大するおそれがあった。
　本開示は、このような状況に鑑みてなされたものであり、再生処理の負荷の増大を抑制することができるようにするものである。
　本技術の一側面の情報処理装置は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのビットストリームのデータユニットに対応する前記ポイントクラウドのタイルを示すタイル識別情報を用いて、サンプルとしてファイルに格納される前記ビットストリームの単数または連続する複数の前記データユニットからなるサブサンプルに対応する前記タイルを管理するための情報であるタイル管理情報を生成するタイル管理情報生成部と、前記ビットストリームおよび前記タイル管理情報を格納する前記ファイルを生成するファイル生成部とを備える情報処理装置である。
　本技術の一側面の情報処理方法は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのビットストリームのデータユニットに対応する前記ポイントクラウドのタイルを示すタイル識別情報を用いて、サンプルとしてファイルに格納される前記ビットストリームの単数または連続する複数の前記データユニットからなるサブサンプルに対応する前記タイルを管理するための情報であるタイル管理情報を生成し、前記ビットストリームおよび前記タイル管理情報を格納する前記ファイルを生成する情報処理方法である。
　本技術の他の側面の情報処理装置は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのビットストリームとともにファイルに格納される、前記ビットストリームの単数または連続する複数のデータユニットにより構成されるサブサンプルに対応する前記ポイントクラウドのタイルを示すタイル識別情報を用いて前記ファイルに格納される前記サブサンプルに対応する前記タイルを管理するための情報であるタイル管理情報に基づいて、前記ビットストリームの、所望の前記タイルの再生に必要な部分を、前記ファイルから抽出する抽出部を備える情報処理装置である。
　本技術の他の側面の情報処理方法は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのビットストリームとともにファイルに格納される、前記ビットストリームの単数または連続する複数のデータユニットにより構成されるサブサンプルに対応する前記ポイントクラウドのタイルを示すタイル識別情報を用いて前記ファイルに格納される前記サブサンプルに対応する前記タイルを管理するための情報であるタイル管理情報に基づいて、前記ビットストリームの、所望の前記タイルの再生に必要な部分を、前記ファイルから抽出する情報処理方法である。
　本技術の一側面の情報処理装置および方法においては、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのビットストリームのデータユニットに対応するそのポイントクラウドのタイルを示すタイル識別情報が用いられて、サンプルとしてファイルに格納されるビットストリームの単数または連続する複数のデータユニットからなるサブサンプルに対応するタイルを管理するための情報であるタイル管理情報が生成され、そのビットストリームおよびタイル管理情報を格納するファイルが生成される。
　本技術の他の側面の情報処理装置および方法においては、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのビットストリームとともにファイルに格納される、そのビットストリームの単数または連続する複数のデータユニットにより構成されるサブサンプルに対応するポイントクラウドのタイルを示すタイル識別情報を用いてファイルに格納されるサブサンプルに対応するタイルを管理するための情報であるタイル管理情報に基づいて、そのビットストリームの、所望のタイルの再生に必要な部分が、そのファイルから抽出される。
G-PCCの概要を説明する図である。 パーシャルアクセスについて説明する図である。 G-PCCビットストリームの構造例を示す図である。 タイルインベントリのシンタックスの例を示す図である。 ファイル構造の例を示す図である。 ファイル構造の例を示す図である。 スケーラブルデコーディングについて説明する図である。 タイル識別情報のシグナリングについて説明する図である。 シングルトラックの場合のファイル構造の例を示す図である。 タイル識別情報のシグナリングの例について説明する図である。 SubSampleInformationBoxの例について説明する図である。 codec_specific_parametersの例を示す図である。 タイル識別情報のシグナリングの例について説明する図である。 codec_specific_parametersの例を示す図である。 タイル識別情報のシグナリングの例について説明する図である。 codec_specific_parametersの例を示す図である。 timed metadataを利用したタイル識別情報のシグナリングの例について説明する図である。 マルチトラックの場合のファイル構造の例を示す図である。 タイル識別情報のシグナリングの例について説明する図である。 timed metadataを利用したタイル識別情報のシグナリングの例について説明する図である。 マトリョーシカメディアコンテナの構成例を示す図である。 ファイル生成装置の主な構成例を示すブロック図である。 ファイル生成処理の流れの例を示すフローチャートである。 復号装置の主な構成例を示すブロック図である。 再生処理部の主な構成例を示すブロック図である。 再生処理の流れの例を示すフローチャートである。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．G-PCCビットストリームのパーシャルアクセス
　２．タイル識別情報のシグナリング
　３．第１の実施の形態（ファイル生成装置）
　４．第２の実施の形態（再生装置）
　５．付記
　＜１．G-PCCビットストリームのパーシャルアクセス＞
　　＜技術内容・技術用語をサポートする文献等＞
　本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献等に記載されている内容や以下の非特許文献において参照されている他の文献の内容等も含まれる。
　非特許文献１：（上述）
　非特許文献２：（上述）
　非特許文献３：（上述）
　非特許文献４：（上述）
　非特許文献５：https://www.matroska.org/index.html
　つまり、上述の非特許文献に記載されている内容や、上述の非特許文献において参照されている他の文献の内容等も、サポート要件を判断する際の根拠となる。
　　＜ポイントクラウド＞
　従来、点の位置情報や属性情報等により３次元構造を表すポイントクラウド（Point cloud）等の3Dデータが存在した。
　例えばポイントクラウドの場合、立体構造物（３次元形状のオブジェクト）を多数の点の集合として表現する。ポイントクラウドは、各点の位置情報（ジオメトリ（geometry）とも称する）と属性情報（アトリビュート（attribute）とも称する）とにより構成される。アトリビュートは任意の情報を含むことができる。例えば、各ポイントの色情報、反射率情報、法線情報等がアトリビュートに含まれるようにしてもよい。このようにポイントクラウドは、データ構造が比較的単純であるとともに、十分に多くの点を用いることにより任意の立体構造物を十分な精度で表現することができる。
　　＜G-PCCの概要＞
　非特許文献１には、このポイントクラウドについて、ジオメトリとアトリビュートに分けて符号化する、Geometry-based Point Cloud Compression（G-PCC）という符号化技術が開示された。G-PCCは、MPEG-I Part 9 (ISO/IEC 23090-9) で規格化作業中である。
　ジオメトリの圧縮には、図１に示されるようなオクツリー（octree）符号化が適用される。例えば、オクツリー符号化は、図１の左に示されるような矩形のボクセル（Voxel）表現されたデータにおいて、各ブロック内のポイントの有無を、図１の右に示されるような八分木によって表現する手法である。この手法では、図１に示されるように、ポイントが存在するブロックは1、存在しないブロックは0として表現される。
　以上のようにジオメトリが符号化されて生成される符号化データ（ビットストリーム）をジオメトリビットストリームとも称する。
　また、アトリビュートの圧縮には、Predicting Weight Lifting，Region Adaptive Hierarchical Transform (RAHT)、またはFix Weight Lifting等の手法が適用される。アトリビュートが符号化されて生成される符号化データ（ビットストリーム）をアトリビュートビットストリームとも称する。また、ジオメトリビットストリームとアトリビュートビットストリームを１本にまとめたビットストリームをG-PCCビットストリームとも称する。
　　＜タイル＞
　G-PCCビットストリームは、一部のポイントのビットストリームを他と独立に復号し、再生することができるパーシャルアクセス（partial access）構造を備えることができる。このパーシャルアクセス構造のポイントクラウドにおける、独立に復号および再生が可能な（独立にアクセス可能な）データ単位としてタイル（tile）やスライス（slice）がある。
　図２のＡに示されるように、３次元形状のオブジェクト２０を内包するようにバウンディングボックス（bounding box）２１が設定される。タイル２２は、そのバウンディングボックス２１内の直方体形状の領域である。図２のＢに示されるように、スライス２４は、タイル２３内のポイントの集合である。スライス間でポイントが重複してもよい（つまり１つのポイントが複数のスライスに属してもよい）。タイルは、単数または複数のスライスにより構成される（1 tile = Y slice(s)）。
　ある時刻のポイントクラウドをポイントクラウドフレームと称する。このフレームは、２次元動画像におけるフレームに相当するデータ単位である。ポイントクラウドフレームは、単数または複数のタイルにより構成される（1 point cloud frame = X tile(s)）。
　　＜パーシャルアクセス構造のG-PCCビットストリーム＞
　このようなパーシャルアクセスが可能なポイントクラウドを符号化したG-PCCビットストリームの主な構造の例（非特許文献１のAnnex Bで定義されているType-length-value bytestream formatの例）を図３に示す。つまり、図３に示されるG-PCCビットストリームは、パーシャルアクセス構造を備え、その一部を抽出して他と独立に復号し得る。
　図３において、各四角は１つのType-length-value encapsulation structure（tlv_encapsulation()）を示す。図３に示されるように、G-PCCビットストリームは、シーケンスパラメータセット（SPS（Sequence Parameter Set））、ジオメトリパラメータセット（GPS（Geometry Parameter Set））、アトリビュートパラメータセット（APS(s)（Attribute Parameter Set））、タイルインベントリ（tile inventory）、ジオメトリデータユニット（geometry data unit）、およびアトリビュートデータユニット（attribute data unit）を有する。
　シーケンスパラメータセットは、シーケンス全体に関するパラメータを有するパラメータセットである。ジオメトリパラメータセットは、ジオメトリに関するパラメータを有するパラメータセットである。アトリビュートパラメータセットは、アトリビュートに関するパラメータを有するパラメータセットである。ジオメトリパラメータセットとアトリビュートパラメータセットは複数であってもよい。ジオメトリパラメータセットとアトリビュートパラメータセットはスライス単位で異なっていてもよい（スライス単位で設定することができる）。
　タイルインベントリは、タイルに関する情報を管理する。例えば、タイルインベントリには、各タイルの識別情報、位置情報、サイズ情報等が格納される。図４にそのタイルインベントリのシンタックスの例を示す。図４に示されるように、タイルインベントリには、各タイルについて、タイルの識別情報（tile_id）や、タイルの位置やサイズに関する情報（tile_bounding_box_offset_xyz, tile_bounding_box_size_xyz）等が格納される。タイルインベントリは、フレーム単位で可変である（フレーム単位で設定することができる）。
　データユニットは、他と独立に抽出可能なデータ単位である。ジオメトリデータユニットは、ジオメトリのデータユニットである。アトリビュートデータユニットはアトリビュートのデータユニットである。アトリビュートデータユニットは、アトリビュートに含まれる属性毎に生成される。
　スライスは、１つのジオメトリデータユニットと、０以上のアトリビュートデータユニットにより構成される。スライスは、G-PCCビットストリームにおいて単数または連続する複数のデータユニットにより構成される。各データユニットには、そのデータユニットが属するスライスを示すスライス識別情報（slice_id）が格納されている。つまり、互いに同一のスライスに属するデータユニットには、互いに同一のスライス識別情報が格納されている。このように、スライス識別情報を用いて、互いに同一のスライスに属するジオメトリデータユニットやアトリビュートデータユニットが紐づけられている。
　タイルは、G-PCCビットストリームにおいて単数または連続する複数のスライスにより構成される。各ジオメトリデータユニットには、そのジオメトリデータユニットが属するスライスが属するタイルを示すタイル識別情報（tile_id）が格納されている。つまり、互いに同一のタイルに属するジオメトリデータユニットには、互いに同一のタイル識別情報が格納されている。つまり、タイル識別情報を用いて、互いに同一のタイルに属するスライスが紐づけられている。
　また、このタイル識別情報は、上述のようにタイルインベントリにおいて管理されており、各タイル識別情報に対応するタイルの３次元空間上の位置やサイズ等の情報が紐づけられている。換言するに、３次元空間上の所望のポイントを再生したい場合、このタイル識別情報（さらにはスライス識別情報も）に基づいて、必要なデータユニットを特定し、抽出することができる。したがって、パーシャルアクセスを実現することができ、不要な情報を復号する必要がないので、再生処理の負荷の増大を抑制することができる。
　　＜ISOBMFF＞
　非特許文献２には、動画圧縮の国際標準技術MPEG-4（Moving Picture Experts Group - 4）のファイルコンテナ仕様であるISOBMFF（International Organization for Standardization Base Media File Format）が開示された。
　　＜G-PCCビットストリームのISOBMFFへの格納＞
　非特許文献３には、このG-PCCで符号化されたビットストリームのローカルストレージからの再生処理やネットワーク配信の効率化を目的とし、G-PCCビットストリームをISOBMFFに格納する方法が開示された。この方法は、MPEG-I Part 18 (ISO/IEC 23090-18) で規格化作業中である。
　図５は、その場合のファイル構造の例を示す図である。G-PCCビットストリームをISOBMFFに格納したものをG-PCCファイルと称する。
　G-PCCファイルのGPCCDecoderConfigurationRecordにシーケンスパラメータセットが格納される。GPCCDecoderConfigurationRecordは、さらに、サンプルエントリタイプ（sample entry type）に応じてジオメトリパラメータセット、アトリビュートパラメータセット、タイルインベントリを含み得る。
　メディアデータボックス（Media）のサンプル（sample）は、1 point cloud frame相当するgeometry sliceとattribute sliceを含む。さらに、サンプルエントリタイプに応じてジオメトリパラメータセット、アトリビュートパラメータセット、タイルインベントリを含み得る。
　＜G-PCCファイルのpartial access構造＞
　G-PCCファイルは、３次元空間情報に基づき、partial point cloudにアクセスしてデコードするための構造を備える。G-PCCファイルは、各パーシャルポイントクラウドを互いに異なるトラック（track）に格納する。パーシャルポイントクラウドは、単数または複数のタイルで構成される。例えば、図６に示されるように、ポイントクラウドフレーム６１が、パーシャルポイントクラウド６１Ａ、パーシャルポイントクラウド６１Ｂ、およびパーシャルポイントクラウド６１Ｃにより構成されるとする。その場合、パーシャルポイントクラウド６１Ａ、パーシャルポイントクラウド６１Ｂ、およびパーシャルポイントクラウド６１Ｃは、それぞれ、G-PCCファイルの互いに異なるトラック（G-PCC track）に格納される。このような構造により、再生するトラックを選択することにより、再生するタイルを選択することができる。
　　＜パーシャルアクセスの活用＞
　非特許文献４には、ポイントクラウドをスケーラブルな復号機能をサポートするプロファイルが開示された。このプロファイルにより、例えば、大規模なポイントクラウド静止画のローカル再生時における、視点位置に応じたデコード・レンダリングが可能になる。例えば、図７において、視点７１から視線方向７２を見た場合の視界７３の外の領域（図中白地の領域）は復号せず、視界７３内のパーシャルポイントクラウドのみを復号し、再生する。また、視点７１に近い領域（図中濃いグレーの領域）のパーシャルポイントクラウドは高LoDで（高解像度で）復号して再生し、視点７１から遠い領域（図中薄いグレーの領域）のパーシャルポイントクラウドは低LoDで（低解像度で）復号して再生する、いった視点位置に応じたデコード・レンダリング処理が可能になる。これにより、不要な情報の再生が低減されるので、再生処理の負荷の増大を抑制することができる。
　　＜トラック内におけるパーシャルアクセス＞
　以上のように、特に大規模なポイントクラウドのローカル再生時において、視点位置に応じたpartial point cloudのデコード・レンダリング処理が有用である。
　しかしながら、非特許文献３に記載の方法では、このようなパーシャルアクセス構造を備えるG-PCCビットストリームの場合、独立に再生可能なパーシャルポイントクラウド毎に互いに異なるトラック（track）に格納される。換言するに、パーシャルアクセスの粒度が、トラックの数に依存する。
　一般的に、ポイントクラウドが大規模になる程、より多様なパーシャルアクセスが要求され得る。つまり、非特許文献３に記載の方法の場合、より多くのトラックが必要になる。トラック数が増大するとファイルサイズが増大するおそれがあった。また、トラック数が増大するとトラックの管理の煩雑さが増大するため、再生処理の負荷が増大するおそれもあった。
　そこで、１つのトラックに複数のパーシャルポイントクラウドを格納することが考えられる。しかしながら、パーシャルアクセスを実現するためには、G-PCCビットストリームを構成するジオメトリデータユニット（geometry data unit）とアトリビュートデータユニット（attribute data unit）の中から、再生に必要なデータユニットを抽出する必要がある。そのためには、タイルとデータユニットとの関係を把握し、その関係に基づいて、再生するタイルに対応するデータユニットを特定する必要がある。
　しかしながら、非特許文献３に記載の方法の場合、そのタイルとデータユニットとの関係を示す情報が、G-PCCビットストリーム中の各データユニットのヘッダにのみ格納されている。そのため、抽出するデータユニットを特定するためには、G-PCCビットストリームをパースする必要がある。つまり、不要なG-PCCビットストリームもパースする必要があり、再生処理の負荷が増大するおそれがあった。
　＜２．タイル識別情報のシグナリング＞
　そこで、図８に示される表の一番上の段に示されるように、G-PCCファイルにタイル識別情報を格納するようにする。例えば、G-PCCファイルにおいてサンプル内にサブサンプルを形成し、各サブサンプルに対応するタイルを管理するためのタイル管理情報としてタイル識別情報をG-PCCファイルに格納する。
　例えば、情報処理装置において、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのビットストリームのデータユニットに対応するポイントクラウドのタイルを示すタイル識別情報を用いて、サンプルとしてファイルに格納されるビットストリームの単数または連続する複数のデータユニットからなるサブサンプルに対応するタイルを管理するための情報であるタイル管理情報を生成するタイル管理情報生成部と、そのビットストリームおよびタイル管理情報を格納するファイルを生成するファイル生成部とを備えるようにする。
　例えば、情報処理方法において、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのビットストリームのデータユニットに対応するポイントクラウドのタイルを示すタイル識別情報を用いて、サンプルとしてファイルに格納されるビットストリームの単数または連続する複数のデータユニットからなるサブサンプルに対応するタイルを管理するための情報であるタイル管理情報を生成し、そのビットストリームおよびタイル管理情報を格納するファイルを生成するようにする。
　また、例えば、情報処理装置において、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのビットストリームとともにファイル格納される、そのビットストリームの単数または連続する複数のデータユニットにより構成されるサブサンプルに対応するポイントクラウドのタイルを示すタイル識別情報を用いてそのファイルに格納されるサブサンプルに対応するタイルを管理するための情報であるタイル管理情報に基づいて、そのビットストリームの、所望のタイルの再生に必要な部分を、そのファイルから抽出する抽出部を備えるようにする。
　例えば、情報処理方法において、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのビットストリームとともにファイル格納される、そのビットストリームの単数または連続する複数のデータユニットにより構成されるサブサンプルに対応するポイントクラウドのタイルを示すタイル識別情報を用いてそのファイルに格納されるサブサンプルに対応するタイルを管理するための情報であるタイル管理情報に基づいて、そのビットストリームの、所望のタイルの再生に必要な部分を、そのファイルから抽出するようにする。
　このようにすることにより、タイル管理情報が管理するタイル識別情報に基づいて、所望のタイルの再生に必要な情報を抽出して復号し、提示情報を生成することができる。これにより、不要な情報の処理（パース等）を低減させることができる。したがって、再生処理の負荷の増大を抑制することができる。
　G-PCCビットストリームのユースケースとして、ポイントクラウドの地図データや映画製作におけるバーチャルアセット（実物の映画セットをデジタルデータ化したもの）など、大規模なポイントクラウドデータの符号化がある。
　このような大規模なポイントクラウドは、主にローカル再生が想定されている。クライアントは一般的にキャッシュサイズに制約があるため、G-PCCビットストリームを全てデコードするのでなく、必要な領域のみ都度デコードし、レンダリングすることになる。
　このようなデコードとレンダリングの処理の繰り返しにおいて、処理負荷を低減するためには、視点位置に応じて見えている領域のパーシャルポイントクラウドのみをデコードしてレンダリングする処理や、近い領域のパーシャルポイントクラウドは高LoDで（高解像度で）デコードしてレンダリングし、遠い領域のパーシャルポイントクラウドは低LoDで（低解像度で）デコードしてレンダリングする処理等が期待されている。
　視点位置に応じて見えている領域のパーシャルポイントクラウドのみをデコードしてレンダリングするためには、G-PCCビットストリームの一部分のみへのアクセスが必要である。
　大規模なポイントクラウドは主にローカル再生（全体を再生するのではなく、全体の一部を再生すること）が想定されている。したがって、上述のように、タイル管理情報が管理するタイル識別情報に基づいて、所望のタイルの再生に必要な情報を抽出して復号し、提示情報を生成することができるようにすることにより、クライアントの負荷の増大を抑制することができる。
　　＜２－１．シングルトラックの場合＞
　G-PCCファイルでは、ジオメトリとアトリビュートを１つのトラックに格納する構造（シングルトラック（single track encapsulation structure）とも称する）と、ジオメトリとアトリビュートを互いに異なるトラックに格納する構造（マルチトラック（multi-track encapsulation structure）とも称する）とがある。ここでは、図８の表の上から２段目に示されるように、シングルトラックの場合のタイル識別情報の格納について説明する（方法１）。
　図９は、シングルトラックの場合のG-PCCファイルの主な構成例を示す図である。図９に示されるように、シングルトラックの場合、サンプル（sample）内には、ジオメトリデータユニットとアトリビュートデータユニットの両方が格納され得る。なお、G-PCCのデータを格納するサンプルをG-PCCサンプル（G-PCC sample）とも称する。
　　＜２－１－１．SubSampleInformationBoxによるシグナリング＞
　タイル管理情報は、ファイルのトラック毎に生成され、そのトラックに格納されるサブサンプルに対応するタイル識別情報の一覧を含むようにしてもよい。
　また、G-PCCファイルは、ISOBMFFのファイルであり、タイル管理情報は、そのG-PCCファイルのmoovボックス内のサブサンプルに関する情報を格納するボックスに格納されるようにしてもよい。例えば、図１０に示されるように、G-PCCファイルのmoovボックス内には、ISO/IEC 23090-18で規定されたSubSampleInformationBox (‘subs’)がある。図８の表の上から３段目に示されるように、このSubSampleInformationBoxにおいて、タイル管理情報（タイル識別情報の一覧）を格納してもよい（方法１－１）。なお、SubSampleInformationBoxは、G-PCCファイルのmoofボックス内に格納されてもよい。
　例えば、既にエンコード済みのG-PCCビットストリームをISOBMFFに格納する場合、そのISOBMFFを生成するファイル生成装置が、そのG-PCCビットストリームをパースしてタイル識別情報等を抽出し、その抽出したタイル識別情報等をタイル管理情報としてSubSampleInformatoinBoxに格納する。また、エンコードとファイル化とが一連のプロセスで行われる場合、ファイル生成装置がエンコーダからタイル識別情報等を取得し、その取得したタイル識別情報等をタイル管理情報としてSubSampleInformationBoxに格納する。このようにすることにより、SubSampleInformationBoxにおいて、タイル管理情報（タイル識別情報の一覧）を格納することができる。
　再生する際は、このSubSampleInformationBox内のタイル管理情報を参照することにより、容易に、所望のタイルに対応するサブサンプル（つまりジオメトリデータユニットやアトリビュートデータユニット）を特定することができる。したがって、不要なパース処理等を増大させずに、所望のタイルのデータのみを復号し、再生することができる。したがって、再生処理の負荷の増大を抑制することができる。
　このSubSampleInformationBoxのシンタックスの例を図１１に示す。図１１に示されるように、SubSampleInformationBoxにおいて、任意のパラメータを格納可能なcodec specific parametersが用意されている。このcodec specific parametersを拡張してタイル管理情報（タイル識別情報の一覧）を格納してもよい。このように既存のボックスを利用してタイル管理情報（タイル識別情報の一覧）を格納することにより、従来の規格との親和性を向上させることができる。これにより、汎用のエンコーダやデコーダにおいても処理可能なファイルを実現することができる。
　　＜２－１－１－１．タイル毎のサブサンプル＞
　図８に示される表の上から４段目に示されるように、G-PCCサンプル内のG-PCCデータは、タイル毎にサブサンプル化されてもよい（方法１－１－１）。図１０の例では、サンプルに格納されるG-PCCデータが、タイル毎にサブサンプル化されている。つまり、サンプルに格納される、ビットストリームの互いに同一のタイルに属するジオメトリのデータユニット若しくはアトリビュートのデータユニットまたはその両方により構成される、ビットストリームの単数または連続する複数のデータユニットが、サブサンプルとして設定されてもよい。そして、タイル管理情報が、そのようなサブサンプルに対して、サブサンプルに含まれるジオメトリのデータユニットに対応するタイル識別情報を対応付ける情報を含むようにしてもよい。
　上述のように、スライスには、１つのジオメトリデータユニットが含まれ、タイルは単数または複数のスライスにより構成されるので、シングルトラックの場合、このデータユニットで構成されるサブサンプルは、１つ以上のジオメトリデータユニットを含む、単数または連続する複数のデータユニットにより構成されるとも言える。
　なお、図１０に示されるように、単数または連続する複数のパラメータセットとタイルインベントリもサブサンプルとして設定される。
　このような構成の場合、上述のタイル管理情報において、図１０に示されるように、各サブサンプルについて、そのサブサンプルがタイルであるか否かを示す情報（data_units_for_tile）が格納される。data_units_for_tileが偽（例えば０）の場合、そのサブサンプルが単数または連続する複数のパラメータセットとタイルインベントリにより構成されるサブサンプルであることを示す。また、data_units_for_tileが真（例えば１）の場合、そのサブサンプルが互いに同一のタイルを構成する単数または連続する複数のデータユニットにより構成されるサブサンプルであることを示す。そして、data_units_for_tileが真のサブサンプルについては、さらに、タイル識別情報（tile_id）が格納される。tile_idは、そのサブサンプルに対応するタイル（つまり、そのサブサンプルを構成するデータユニットが属するタイル）を示す。図１０の例の場合、タイルを構成するデータユニットがサブサンプルとしてまとめられているので、タイル管理情報において、ジオメトリデータユニットとアトリビュートデータユニットとの紐づけは省略される（互いに同一のサブサンプルに含まれていることにより両者が紐づけされている）。
　図１２は、codec specific parametersのシンタックスの例を示す図である。図１２に示されるように、codec specific parametersにおいて、タイル管理情報として、サブサンプルのdata_units_for_tileとtile_idが格納される。つまり、タイル管理情報において、各サブサンプルについて、そのサブサンプルがタイルであるか否かを示す情報（data_units_for_tile）が格納され、data_units_for_tileが真の場合は、さらにタイル識別情報（tile_id）が格納される。
　このような構成にすることにより、タイル単位で復号するか否かを容易に制御することができる。また、ジオメトリデータとアトリビュートデータの紐づけが容易に実現できる。
　なお、図１２に示される例のように、flagsを利用してcodec specific parametersを拡張してもよい。その場合、flagsの値によって、codec specific parametersの内容を切り替えることができる。したがって、既存のパラメータを残したまま、タイル管理情報（data_units_for_tileやtile_id等）を格納することができる。これにより、従来の規格との親和性を向上させることができる。これにより、汎用のエンコーダやデコーダにおいても処理可能なファイルを実現することができる。
　　＜２－１－１－２．スライス毎のサブサンプル＞
　なお、サブサンプルは、スライス毎に設定してもよい。つまり、図８に示される表の上から５段目に示されるように、G-PCCサンプル内のG-PCCデータは、スライス毎にサブサンプル化されてもよい（方法１－１－２）。図１３の例では、サンプルに格納されるG-PCCデータが、スライス毎にサブサンプル化されている。つまり、サンプルに格納される、ビットストリームの互いに同一のスライスに属するジオメトリのデータユニット若しくはアトリビュートのデータユニットまたはその両方により構成される、ビットストリームの単数または連続する複数のデータユニットが、サブサンプルとして設定されてもよい。この場合、タイル識別情報は、そのサブサンプルに対応するスライスが属するタイルを示す。そして、タイル管理情報が、そのようなサブサンプルに対して、サブサンプルに含まれるジオメトリのデータユニットに対応するタイル識別情報を対応付ける情報を含むようにしてもよい。
　上述のように、スライスには、１つのジオメトリデータユニットが含まれるので、シングルトラックの場合、このデータユニットで構成されるサブサンプルは、１つのジオメトリデータユニットを含む、単数または連続する複数のデータユニットにより構成されるとも言える。
　なお、図１３に示されるように、単数または連続する複数のパラメータセットとタイルインベントリもサブサンプルとして設定される。
　このような構成の場合、上述のタイル管理情報において、図１３に示されるように、各サブサンプルについて、そのサブサンプルがスライスであるか否かを示す情報（data_units_for_slice）が格納される。data_units_for_sliceが偽（例えば０）の場合、そのサブサンプルが単数または連続する複数のパラメータセットとタイルインベントリにより構成されるサブサンプルであることを示す。また、data_units_for_sliceが真（例えば１）の場合、そのサブサンプルが互いに同一のスライスを構成する単数または連続する複数のデータユニットにより構成されるサブサンプルであることを示す。そして、data_units_for_sliceが真のサブサンプルについては、さらに、タイル識別情報（tile_id）が格納される。tile_idは、そのサブサンプルに対応するスライスが属するタイル（つまり、そのサブサンプルを構成するデータユニットが属するタイル）を示す。図１３の例の場合、スライスを構成するデータユニットがサブサンプルとしてまとめられているので、タイル管理情報において、ジオメトリデータユニットとアトリビュートデータユニットとの紐づけは省略される（互いに同一のサブサンプルに含まれていることにより両者が紐づけされている）。
　図１４は、この場合のcodec specific parametersのシンタックスの例を示す図である。図１４に示されるように、codec specific parametersにおいて、タイル管理情報として、サブサンプルのdata_units_for_sliceとtile_idが格納される。つまり、タイル管理情報において、各サブサンプルについて、そのサブサンプルがスライスであるか否かを示す情報（data_units_for_slice）が格納され、data_units_for_sliceが真の場合は、さらにタイル識別情報（tile_id）が格納される。
　このような構成にすることにより、スライス単位で復号するか否かを容易に制御することができる。また、ジオメトリデータとアトリビュートデータの紐づけが容易に実現できる。
　なお、この場合も、図１４に示される例のように、flagsを利用してcodec specific parametersを拡張してもよい。このようにすることにより、従来の規格との親和性を向上させることができる。これにより、汎用のエンコーダやデコーダにおいても処理可能なファイルを実現することができる。
　　＜２－１－１－３．データユニット毎のサブサンプル＞
　なお、サブサンプルは、データユニット毎に設定してもよい。つまり、図８に示される表の上から６段目に示されるように、G-PCCサンプル内のG-PCCデータは、データユニット毎にサブサンプル化されてもよい（方法１－１－３）。図１５の例では、サンプルに格納されるG-PCCデータが、データユニット毎にサブサンプル化されている。つまり、サンプルに格納される、ビットストリームのジオメトリまたはアトリビュートの単数のデータユニットが、サブサンプルとして設定されてもよい。この場合、タイル識別情報は、そのサブサンプル（データユニット）が属するタイルを示す。そして、タイル管理情報が、ジオメトリのデータユニットからなるサブサンプルに対して、そのジオメトリのデータユニットに対応するタイル識別情報およびスライス識別情報を対応付ける情報と、アトリビュートのデータユニットからなるサブサンプルに対して、そのアトリビュートのデータユニットに対応するスライス識別情報を対応付ける情報とを含むようにしても良い。なお、スライス識別情報は、ビットストリームのデータユニットに対応するポイントクラウドのスライスを示す情報である。
　なお、図１５に示されるように、各パラメータセットやタイルインベントリもそれぞれサブサンプルとして設定される。
　このような構成の場合、上述のタイル管理情報において、図１５に示されるように、ジオメトリデータユニットのサブサンプルについて、ペイロードタイプ（payload type）、タイル識別情報（tile id）、およびスライス識別情報（slice id）が格納される。また、アトリビュートデータユニットのサブサンプルについて、ペイロードタイプ（payload type）とスライス識別情報（slice id）が格納される。さらに、その他のサブサンプルについて、ペイロードタイプ（payload type）が格納される。
　ペイロードタイプは、サブサンプルを構成するデータのタイプ（例えば、ジオメトリデータユニットであるか、アトリビュートデータユニットであるか、その他であるか等）を示す。tile_idは、そのサブサンプルに対応するタイル（つまり、そのサブサンプルを構成するデータユニットが属するタイル）を示す。slice idは、そのサブサンプルに対応するスライス（つまり、そのサブサンプルを構成するデータユニットが属するスライス）を示す。この場合、スライス識別情報により、ジオメトリデータユニットとアトリビュートデータユニットとが紐づけされる。
　図１６は、この場合のcodec specific parametersのシンタックスの例を示す図である。図１６に示されるように、codec specific parametersにおいて、タイル管理情報として、ジオメトリデータユニットのサブサンプルについて、payload type、tile_id、geom_slice_idが格納される。geom_slice_idは、そのジオメトリデータユニットが構成するスライスを示すスライス識別情報である。また、アトリビュートデータユニットのサブサンプルについて、payload type、attr_slice_idが格納される。attr_slice_idは、そのアトリビュートデータユニットが構成するスライスを示すスライス識別情報である。さらに、その他のサブサンプルについて、payload typeが格納される。
　このような構成にすることにより、スライス単位で復号するか否かを容易に制御することができる。
　なお、この場合も、図１６に示される例のように、flagsを利用してcodec specific parametersを拡張してもよい。このようにすることにより、従来の規格との親和性を向上させることができる。これにより、汎用のエンコーダやデコーダにおいても処理可能なファイルを実現することができる。
　　＜２－１－２．SubSampleItemPropertyによるシグナリング＞
　なお、以上においては、SubSampleInformationBoxを拡張してタイル管理情報（タイル識別情報）を格納するように説明したが、このSubSampleInformationBoxの代わりに、SubSampleItemPropertyを拡張してタイル管理情報（タイル識別情報）を格納してもよい。拡張の方法は、上述したSubSampleInformationBoxの場合と同様である。SubSampleItemPropertyにおいてタイル管理情報を格納することにより、静止画に対しても同様の効果を得ることができる。
　　＜２－１－３．timed metadataによるシグナリング＞
　図８に示される表の上から７段目に示されるように、タイル識別情報をtimed metadataに格納してもよい（方法１－２）。図１７に示されるように、timed metadata trackは、track reference (‘gsli’)でG-PCCトラックに紐づけられる。この方法は、上述した各方法について、適用することができる。つまり、各方法において格納される情報を、timed metadataに格納してもよい。
　　＜２－２．マルチトラックの場合＞
　本技術は、G-PCCファイルがマルチトラック（multi-track encapsulation structure）の場合も適用できる。図８の表の上から８段目に示されるように、マルチトラックの場合のタイル識別情報の格納について説明する（方法２）。マルチトラックの場合、G-PCCファイル構造は図１８のようになる。つまり、ジオメトリデータユニットとアトリビュートデータユニットが互いに異なるトラックに格納される。そこで、図１９に示されるように、それぞれのトラックにおいてタイル管理情報を格納すればよい。
　つまり、G-PCCファイルにおいて、ジオメトリのデータユニットとアトリビュートのデータユニットとが、互いに異なるトラックに格納されており、それぞれのトラックに、そのトラック内のサブサンプルに対応するタイル識別情報を管理するタイル管理情報が格納されてもよい。
　各トラックにおける格納方法は、シングルトラックの場合と同様である。したがって、マルチトラックの場合も、シングルトラックの場合と同様の効果を得ることができる。なお、シングルトラックの場合について説明した各方法を、このマルチトラックに適用することができる。
　例えば、方法１－１－１の場合、ジオメトリトラック（geometry track）とアトリビュートトラック（attribute track）とのそれぞれにおいて、タイル管理情報として、そのトラック内の各サブサンプルについて、data_units_for_tileが格納される。タイルを構成するサブサンプルについては、さらに、tile_idが格納される。
　また、方法１－１－２の場合、ジオメトリトラック（geometry track）とアトリビュートトラック（attribute track）とのそれぞれにおいて、タイル管理情報として、そのトラック内の各サブサンプルについて、data_units_for_sliceが格納される。スライスを構成するサブサンプルについては、さらに、tile_idが格納される。
　さらに、方法１－１－３の場合、ジオメトリトラック（geometry track）において、タイル管理情報として、そのトラック内の各サブサンプルについて、payload typeが格納される。ジオメトリデータユニットのサブサンプルについては、さらに、tile_idとslice idが格納される。アトリビュートトラック（attribute track）において、タイル管理情報として、そのトラック内の各サブサンプルについて、payload typeが格納される。アトリビュートデータユニットのサブサンプルについては、さらに、slice idが格納される。
　なお、マルチトラックにおいてdata_units_for_tileやdata_units_for_sliceが真（例えば１）となるのは、ジオメトリトラック（geometry track）の場合、サブサンプルがジオメトリデータユニットであるときであり、アトリビュートトラック（attribute track）の場合、サブサンプルが互いに同一のスライスを構成するアトリビュートデータユニットであるときである。
　なお、図２０に示されるように、このマルチトラックの場合も、シングルトラックの場合と同様に、タイル識別情報がtimed metadataに格納されてもよい。マルチトラックの場合も、シングルトラックの場合と同様の効果を得ることができる。
　　＜２－３．マトリョーシカメディアコンテナの場合＞
　以上においてはファイルフォーマットとしてISOBMFFを適用する例について説明したが、G-PCCビットストリームを格納するファイルは任意であり、ISOBMFF以外であってもよい。例えば、図８に示される表の最下段に示されるように、G-PCCビットストリームが、マトリョーシカメディアコンテナ（Matroska Media Container）に格納されるようにしてもよい（方法３）。マトリョーシカメディアコンテナの主な構成例を図２１に示す。
　この場合、例えば、タイル管理情報（タイル識別情報）は、Track Entry element下の新たに定義したelementとして格納されてもよい。また、タイル管理情報（タイル識別情報）がtimed metadataに格納される場合、そのtimed metadataが、G-PCCビットストリームが格納されるTrack entryとは別のTrack entryに格納されるようにしてもよい。
　＜３．第１の実施の形態＞
　　＜ファイル生成装置＞
　符号化側装置について説明する。以上に説明した本技術（の各方法）は、任意の装置において適用することができる。図２２は、本技術を適用した情報処理装置の一態様であるファイル生成装置の構成の一例を示すブロック図である。図２２に示されるファイル生成装置３００は、G-PCCを適用してポイントクラウドデータを符号化し、その符号化により生成したG-PCCビットストリームをISOBMFFに格納する装置である。
　ファイル生成装置３００は、上述した本技術を適用し、パーシャルアクセスを可能とするようにG-PCCビットストリームをISOBMFFに格納する。つまり、ファイル生成装置３００は、各サブサンプルのタイル識別情報をタイル管理情報としてG-PCCファイルに格納する。
　なお、図２２においては、処理部やデータの流れ等の主なものを示しており、図２２に示されるものが全てとは限らない。つまり、ファイル生成装置３００において、図２２においてブロックとして示されていない処理部が存在したり、図２２において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図２２に示されるようにファイル生成装置３００は、抽出部３１１、符号化部３１２、ビットストリーム生成部３１３、タイル管理情報生成部３１４、およびファイル生成部３１５を有する。また、符号化部３１２は、ジオメトリ符号化部３２１、アトリビュート符号化部３２２、およびメタデータ生成部３２３を有する。
　抽出部３１１は、ファイル生成装置３００に入力されるポイントクラウドのデータからジオメトリのデータとアトリビュートのデータをそれぞれ抽出する。抽出部３１１は、抽出したジオメトリのデータを符号化部３１２のジオメトリ符号化部３２１に供給する。また、抽出部３１１は、抽出したアトリビュートのデータを符号化部３１２のアトリビュート符号化部３２２に供給する。
　符号化部３１２は、ポイントクラウドのデータを符号化する。ジオメトリ符号化部３２１は、抽出部３１１から供給されるジオメトリのデータを符号化し、ジオメトリビットストリームを生成する。ジオメトリ符号化部３２１は、生成したジオメトリビットストリームをメタデータ生成部３２３に供給する。また、ジオメトリ符号化部３２１は、生成したジオメトリビットストリームをアトリビュート符号化部３２２にも供給する。
　アトリビュート符号化部３２２は、抽出部３１１から供給されるアトリビュートのデータを符号化し、アトリビュートビットストリームを生成する。アトリビュート符号化部３２２は、生成したアトリビュートビットストリームをメタデータ生成部３２３に供給する。
　メタデータ生成部３２３は、供給されたジオメトリビットストリームおよびアトリビュートビットストリームを参照し、メタデータを生成する。メタデータ生成部３２３は、ジオメトリビットストリームおよびアトリビュートビットストリームとともに、生成したメタデータをビットストリーム生成部３１３に供給する。
　ビットストリーム生成部３１３は、供給されたジオメトリビットストリーム、アトリビュートビットストリーム、およびメタデータを多重化し、G-PCCビットストリームを生成する。ビットストリーム生成部３１３は、生成したG-PCCビットストリームをタイル管理情報生成部３１４に供給する。
　タイル管理情報生成部３１４は、＜２．タイル識別情報のシグナリング＞において上述した本技術を適用し、供給されたG-PCCビットストリームのデータユニットに対応するポイントクラウドのタイルを示すタイル識別情報を用いて、サンプルとしてファイルに格納されるそのビットストリームの単数または連続する複数のデータユニットからなるサブサンプルに対応するタイルを管理するための情報であるタイル管理情報を生成する。タイル管理情報生成部３１４は、G-PCCビットストリームとともに、タイル管理情報をファイル生成部３１５に供給する。
　ファイル生成部３１５は、＜２．タイル識別情報のシグナリング＞において上述した本技術を適用し、供給されたG-PCCビットストリームとタイル管理情報（タイル識別情報）を格納するG-PCCファイルを生成する。ファイル生成部３１５は、以上のように生成したG-PCCファイルをファイル生成装置３００の外部に出力する。
　例えば、タイル毎にサブサンプル化される場合、タイル管理情報生成部３１４は、図１２に示されるようなシンタックスに従ってタイル管理情報（タイル識別情報の一覧）を生成する。ファイル生成部３１５は、そのタイル管理情報をSubSampleInformationBoxのcodec specific parametersに格納する。
　また、スライス毎にサブサンプル化される場合、タイル管理情報生成部３１４は、図１４に示されるようなシンタックスに従ってタイル管理情報（タイル識別情報の一覧）を生成する。ファイル生成部３１５は、そのタイル管理情報をSubSampleInformationBoxのcodec specific parametersに格納する。
　また、データユニット毎にサブサンプル化される場合、タイル管理情報生成部３１４は、図１６に示されるようなシンタックスに従ってタイル管理情報（タイル識別情報の一覧）を生成する。ファイル生成部３１５は、そのタイル管理情報をSubSampleInformationBoxのcodec specific parametersに格納する。
　なお、ファイル生成部３１５は、タイル管理情報をSubSampleItemPropertyに格納することもできるし、timed metadataに格納することもできる。また、＜２．タイル識別情報のシグナリング＞において上述したように、マルチトラックの場合も、タイル管理情報生成部３１４は、タイル管理情報を生成することができ、ファイル生成部３１５は、そのタイル管理情報をファイルに格納することができる。
　このようにすることにより、＜２．タイル識別情報のシグナリング＞において上述したように、再生処理の負荷の増大を抑制することができる。
　　＜ファイル生成処理の流れ＞
　このファイル生成装置３００により実行されるファイル生成処理の流れの例を、図２３のフローチャートを参照して説明する。
　ファイル生成処理が開始されると、ファイル生成装置３００の抽出部３１１は、ステップＳ３０１において、ポイントクラウドからジオメトリとアトリビュートをそれぞれ抽出する。
　ステップＳ３０２において、符号化部３１２は、ステップＳ３０１において抽出されたジオメトリとアトリビュートを符号化し、ジオメトリビットストリームおよびアトリビュートビットストリームを生成する。符号化部３１２は、さらに、そのメタデータを生成する。
　ステップＳ３０３において、ビットストリーム生成部３１３は、ステップＳ３０２において生成されたジオメトリビットストリーム、アトリビュートビットストリーム、およびメタデータを多重化し、G-PCCビットストリームを生成する。
　ステップＳ３０４において、タイル管理情報生成部３１４は、＜２．タイル識別情報のシグナリング＞において上述した本技術を適用し、ステップＳ３０３において生成されたG-PCCビットストリームに含まれるタイル識別情報を管理するタイル管理情報を生成する。
　ステップＳ３０５において、ファイル生成部３１５は、その他の情報を生成し、上述した本技術を適用し、G-PCCビットストリームおよびタイル管理情報を格納するG-PCCファイルを生成する。
　ステップＳ３０５の処理が終了するとファイル生成処理が終了する。
　以上のように、ファイル生成装置３００は、ファイル生成処理において、＜２．タイル識別情報のシグナリング＞において説明した本技術を適用し、タイル識別情報をG-PCCファイルに格納する。このようにすることにより、不要な情報の処理（復号等）を低減させることができ、再生処理の負荷の増大を抑制することができる。
　＜４．第２の実施の形態＞
　　＜再生装置＞
　図２４は、本技術を適用した情報処理装置の一態様である再生装置の構成の一例を示すブロック図である。図２４に示される再生装置４００は、G-PCCファイルを復号し、ポイントクラウドを構築し、レンダリングして提示情報を生成する装置である。その際、再生装置４００は、上述した本技術を適用し、ポイントクラウドの中の所望のタイルの再生に必要な情報をG-PCCファイルから抽出し、その抽出した情報を復号して再生することができる。つまり、再生装置４００は、ポイントクラウドの一部のみを復号し、再生することができる。
　なお、図２４においては、処理部やデータの流れ等の主なものを示しており、図２４に示されるものが全てとは限らない。つまり、再生装置４００において、図２４においてブロックとして示されていない処理部が存在したり、図２４において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図２４に示されるように再生装置４００は、制御部４０１、ファイル取得部４１１、再生処理部４１２、および提示処理部４１３を有する。再生処理部４１２は、ファイル処理部４２１、復号部４２２、および提示情報生成部４２３を有する。
　制御部４０１は、再生装置４００内の各処理部を制御する。ファイル取得部４１１は、再生するポイントクラウドを格納するG-PCCファイルを取得し、再生処理部４１２（のファイル処理部４２１）に供給する。再生処理部４１２は、供給されたG-PCCファイルに格納されるポイントクラウドの再生に関する処理を行う。
　再生処理部４１２のファイル処理部４２１は、ファイル取得部４１１から供給されるG-PCCファイルを取得し、そのG-PCCファイルからビットストリームを抽出する。その際、ファイル処理部４２１は、＜２．タイル識別情報のシグナリング＞において上述した本技術を適用し、所望のタイルの再生に必要なビットストリームのみを抽出する。ファイル処理部４２１は、抽出したビットストリームを復号部４２２に供給する。復号部４２２は、供給されたビットストリームを復号し、ジオメトリやアトリビュートのデータを生成する。復号部４２２は、生成したジオメトリやアトリビュートのデータを提示情報生成部４２３に供給する。提示情報生成部４２３は、供給されたジオメトリやアトリビュートのデータを用いてポイントクラウドを構築し、そのポイントクラウドを提示する（例えば表示する）ための情報である提示情報を生成する。例えば、提示情報生成部４２３は、ポイントクラウドを用いてレンダリングを行い、提示情報として、そのポイントクラウドを所定の視点から見た表示画像を生成する。提示情報生成部４２３は、このように生成した提示情報を提示処理部４１３に供給する。
　提示処理部４１３は、供給された提示情報を提示する処理を行う。例えば、提示処理部４１３は、その提示情報を再生装置４００の外部の表示デバイス等に供給し、提示させる。
　図２５は、再生処理部４１２の主な構成例を示すブロック図である。図２５に示されるように、ファイル処理部４２１は、ビットストリーム抽出部４３１を有する。復号部４２２は、ジオメトリ復号部４４１およびアトリビュート復号部４４２を有する。提示情報生成部４２３は、ポイントクラウド構築部４５１および提示処理部４５２を有する。
　ビットストリーム抽出部４３１は、＜２．タイル識別情報のシグナリング＞において上述した本技術を適用し、供給されたG-PCCファイルに含まれるタイル管理情報を参照し、そのタイル管理情報（に含まれるタイル識別情報）に基づいて、そのG-PCCファイルから所望のタイルを再生するのに必要なビットストリーム（つまり、そのタイルに対応するジオメトリビットストリームおよびアトリビュートビットストリーム）を抽出する。
　例えば、ビットストリーム抽出部４３１は、タイルインベントリ等の情報に基づいて、所望のタイルに対応するタイル識別情報を特定する。そして、ビットストリーム抽出部４３１は、SubSampleInformationBoxのcodec specific parameters等に格納されるタイル管理情報を参照して、所望のタイルに対応するタイル識別情報に対応するサブサンプルを特定する。そして、ビットストリーム抽出部４３１は、その特定したサブサンプルビットストリームを抽出する。
　例えば、G-PCCサンプル内のG-PCCデータがタイル毎にサブサンプル化されている場合、ビットストリーム抽出部４３１は、SubSampleInformationBoxのcodec specific parameters等に格納されるタイル管理情報を、図１２に示されるようなシンタックスに基づいてそのタイル管理情報を解析する。
　また、G-PCCサンプル内のG-PCCデータがスライス毎にサブサンプル化されている場合、ビットストリーム抽出部４３１は、SubSampleInformationBoxのcodec specific parameters等に格納されるタイル管理情報を、図１４に示されるようなシンタックスに基づいてそのタイル管理情報を解析する。
　さらに、G-PCCサンプル内のG-PCCデータがデータユニット毎にサブサンプル化されている場合、ビットストリーム抽出部４３１は、SubSampleInformationBoxのcodec specific parameters等に格納されるタイル管理情報を、図１６に示されるようなシンタックスに基づいてそのタイル管理情報を解析する。
　なお、タイル管理情報がSubSampleItemPropertyに格納されている場合、ビットストリーム抽出部４３１は、そのSubSampleItemPropertyを参照する。また、タイル管理情報がtimed metadataに格納されている場合、ビットストリーム抽出部４３１は、そのtimed metadataを参照する。また、G-PCCファイルはマルチトラックであっても良い。
　ビットストリーム抽出部４３１は、抽出したジオメトリビットストリームをジオメトリ復号部４４１に供給する。また、ビットストリーム抽出部４３１は、抽出したアトリビュートビットストリームをアトリビュート復号部４４２に供給する。
　ジオメトリ復号部４４１は、供給されたジオメトリビットストリームを復号し、ジオメトリのデータを生成する。ジオメトリ復号部４４１は、生成したジオメトリのデータを、ポイントクラウド構築部４５１に供給する。アトリビュート復号部４４２は、供給されたアトリビュートビットストリームを復号し、アトリビュートのデータを生成する。アトリビュート復号部４４２は、生成したアトリビュートのデータを、ポイントクラウド構築部４５１に供給する。
　ポイントクラウド構築部４５１は、供給されたジオメトリとアトリビュートのデータを用いてポイントクラウドを構築する。すなわち、ポイントクラウド構築部４５１は、ポイントクラウドの所望のタイルを構築することができる。ポイントクラウド構築部４５１は、構築したポイントクラウドのデータを提示処理部４５２に供給する。
　提示処理部４５２は、供給されたポイントクラウドのデータを用いて提示情報を生成する。提示処理部４５２は、生成した提示情報を、提示処理部４１３に供給する。
　このような構成とすることにより、再生装置４００は、G-PCCファイルに格納されたタイル管理情報（タイル識別情報）に基づいて、ビットストリーム全体をパースする必要なく、より容易に、所望のタイルのみを抽出し、復号し、構築し、提示することができる。したがって、再生処理の負荷の増大を抑制することができる。
　　＜再生処理の流れ＞
　この再生装置４００により実行される再生処理の流れの例を、図２６のフローチャートを参照して説明する。
　再生処理が開始されると、再生装置４００のファイル取得部４１１は、ステップＳ４０１において、再生するG-PCCファイルを取得する。
　ステップＳ４０２において、ビットストリーム抽出部４３１は、ステップＳ４０１において取得されたG-PCCファイルに格納されるタイル管理情報（のタイル識別情報）に基づき、所望のタイルを復号し、表示するために必要なパラメータセットやデータユニットを抽出する。つまりビットストリーム抽出部４３１は、＜２．タイル識別情報のシグナリング＞において上述した本技術を適用し、そのG-PCCファイルから、所望のタイルに対応するジオメトリビットストリームやアトリビュートビットストリームを抽出する。
　例えば、ビットストリーム抽出部４３１は、G-PCCファイルのSubSampleInformationBoxに格納されたペイロードタイプに基づいて、シーケンスパラメータセット、ジオメトリパラメータセット、アトリビュートパラメータセット、およびタイルインベントリを識別し抽出する。ビットストリーム抽出部４３１は、抽出したタイルインベントリにおいて示されるタイルの位置情報に基づき、タイル毎のデコード方法を決定する。ビットストリーム抽出部４３１は、G-PCCファイルのSubSampleInformationBoxに格納されたタイル管理情報（タイル識別情報）に基づいて、デコードするタイルを構成するサブサンプル（つまり、そのタイルを構成するジオメトリデータユニットやアトリビュートデータユニット）を識別し、抽出する。
　ステップＳ４０３において、復号部４２２のジオメトリ復号部４４１は、ステップＳ４０２において抽出されたジオメトリビットストリームを復号し、ジオメトリのデータを生成する。また、アトリビュート復号部４４２は、ステップＳ４０２において抽出されたアトリビュートビットストリームを復号し、アトリビュートのデータを生成する。
　ステップＳ４０４において、ポイントクラウド構築部４５１は、ステップＳ４０３において生成されたジオメトリやアトリビュートのデータを用いて、ポイントクラウドを構築する。つまり、ポイントクラウド構築部４５１は、所望のタイル（ポイントクラウドの一部分）を構築することができる。
　ステップＳ４０５において、提示処理部４５２は、ステップＳ４０４において構築したポイントクラウドを用いてレンダリングする等して、提示情報を生成する。提示処理部４１３は、その提示情報を再生装置４００の外部に供給し、提示させる。
　ステップＳ４０５の処理が終了すると再生処理が終了する。
　以上のように、再生装置４００は、再生処理において、＜２．タイル識別情報のシグナリング＞において説明した本技術を適用し、G-PCCファイルに格納されたタイル識別情報を用いて所望のタイルに対応する情報を抽出し、再生する。このようにすることにより、不要な情報の処理（復号等）を低減させることができ、再生処理の負荷の増大を抑制することができる。
　＜５．付記＞
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図２７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図２７に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
　その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
　　＜本技術の適用可能な対象＞
　以上においては、ポイントクラウドデータの符号化・復号に本技術を適用する場合について説明したが、本技術は、これらの例に限らず、任意の規格の３Ｄデータの符号化・復号に対して適用することができる。つまり、上述した本技術と矛盾しない限り、符号化・復号方式等の各種処理、並びに、３Ｄデータやメタデータ等の各種データの仕様は任意である。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略してもよい。
　また、本技術は、任意の構成に適用することができる。例えば、本技術は、様々な電子機器に応用され得る。
　また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
　また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　　＜本技術を適用可能な分野・用途＞
　本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
　例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
　　＜その他＞
　なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
　また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
　なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのビットストリームのデータユニットに対応する前記ポイントクラウドのタイルを示すタイル識別情報を用いて、サンプルとしてファイルに格納される前記ビットストリームの単数または連続する複数の前記データユニットからなるサブサンプルに対応する前記タイルを管理するための情報であるタイル管理情報を生成するタイル管理情報生成部と、
　前記ビットストリームおよび前記タイル管理情報を格納する前記ファイルを生成するファイル生成部と
　を備える情報処理装置。
　（２）　前記タイル管理情報は、前記ファイルのトラック毎に生成され、前記トラックに格納される前記サブサンプルに対応する前記タイル識別情報の一覧を含む
　（１）に記載の情報処理装置。
　（３）　前記ファイルはISOBMFF（International Organization for Standardization Base Media File Format）のファイルであり、
　前記タイル管理情報は、前記ファイルのmoovボックスまたはmoofボックス内の前記サブサンプルに関する情報を格納するボックスに格納される
　（２）に記載の情報処理装置。
　（４）　前記サブサンプルは、前記ビットストリームの互いに同一の前記タイルに属するジオメトリの前記データユニット若しくはアトリビュートの前記データユニットまたは両方により構成され、
　前記タイル管理情報は、前記サブサンプルに対して、前記サブサンプルに含まれる前記ジオメトリの前記データユニットに対応する前記タイル識別情報を対応付ける情報を含む
　（３）に記載の情報処理装置。
　（５）　前記サブサンプルは、前記ビットストリームの互いに同一のスライスに属するジオメトリの前記データユニット若しくはアトリビュートの前記データユニットまたは両方により構成され、
　前記タイル管理情報は、前記サブサンプルに対して、前記サブサンプルに含まれる前記ジオメトリの前記データユニットに対応する前記タイル識別情報を対応付ける情報を含む
　（３）に記載の情報処理装置。
　（６）　前記サブサンプルは、前記ビットストリームのジオメトリまたはアトリビュートの単数の前記データユニットにより構成され、
　前記タイル管理情報は、
　　前記ジオメトリの前記データユニットからなる前記サブサンプルに対して、前記ジオメトリの前記データユニットに対応する前記タイル識別情報と、前記ジオメトリの前記データユニットに対応する、前記ビットストリームの前記データユニットに対応する前記ポイントクラウドのスライスを示すスライス識別情報とを対応付ける情報と、
　　前記アトリビュートの前記データユニットからなる前記サブサンプルに対して、前記アトリビュートの前記データユニットに対応する前記スライス識別情報を対応付ける情報と
　を含む
　（３）に記載の情報処理装置。
　（７）　前記タイル管理情報は、前記ファイルのtimed metadataに格納される
　（３）乃至（６）のいずれかに記載の情報処理装置。
　（８）　前記ファイル生成部は、ジオメトリの前記データユニットとアトリビュートの前記データユニットとを、前記ファイルの互いに異なるトラックに格納し、
　前記タイル管理情報生成部は、それぞれの前記トラックにおいて、前記タイル管理情報を生成する
　（１）乃至（７）のいずれかに記載の情報処理装置。
　（９）　前記ポイントクラウドのデータを符号化し、前記ビットストリームを生成する符号化部をさらに備え、
　前記ファイル生成部は、前記符号化部により生成された前記ビットストリームを格納する前記ファイルを生成する
　（１）乃至（８）のいずれかに記載の情報処理装置。
　（１０）　３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのビットストリームのデータユニットに対応する前記ポイントクラウドのタイルを示すタイル識別情報を用いて、サンプルとしてファイルに格納される前記ビットストリームの単数または連続する複数の前記データユニットからなるサブサンプルに対応する前記タイルを管理するための情報であるタイル管理情報を生成し、
　前記ビットストリームおよび前記タイル管理情報を格納する前記ファイルを生成する
　情報処理方法。
　（１１）　３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのビットストリームとともにファイルに格納される、前記ビットストリームの単数または連続する複数のデータユニットにより構成されるサブサンプルに対応する前記ポイントクラウドのタイルを示すタイル識別情報を用いて前記ファイルに格納される前記サブサンプルに対応する前記タイルを管理するための情報であるタイル管理情報に基づいて、前記ビットストリームの、所望の前記タイルの再生に必要な部分を、前記ファイルから抽出する抽出部
　を備える情報処理装置。
　（１２）　前記タイル管理情報は、前記ファイルのトラック毎に生成され、前記トラックに格納される前記サブサンプルに対応する前記タイル識別情報の一覧を含み、
　前記抽出部は、前記一覧に基づいて所望の前記タイルに対応する前記サブサンプルを特定し、特定した前記サブサンプルを抽出する
　（１１）に記載の情報処理装置。
　（１３）　前記ファイルはISOBMFF（International Organization for Standardization Base Media File Format）のファイルであり、
　前記抽出部は、前記ファイルのmoovボックスまたはmoofボックス内に格納されている前記タイル管理情報の前記一覧に基づいて所望の前記タイルに対応する前記サブサンプルを特定し、特定した前記サブサンプルを抽出する
　（１２）に記載の情報処理装置。
　（１４）　前記サブサンプルは、前記ビットストリームの互いに同一の前記タイルに属するジオメトリの前記データユニット若しくはアトリビュートの前記データユニットまたは両方により構成され、
　前記タイル管理情報は、前記サブサンプルに対して、前記サブサンプルに含まれる前記ジオメトリの前記データユニットに対応する前記タイル識別情報を対応付ける情報を含む
　（１３）に記載の情報処理装置。
　（１５）　前記サブサンプルは、前記ビットストリームの互いに同一のスライスに属するジオメトリの前記データユニット若しくはアトリビュートの前記データユニットまたは両方により構成され、
　前記タイル管理情報は、前記サブサンプルに対して、前記サブサンプルに含まれる前記ジオメトリの前記データユニットに対応する前記タイル識別情報を対応付ける情報を含む
　（１３）に記載の情報処理装置。
　（１６）　前記サブサンプルは、前記ビットストリームのジオメトリまたはアトリビュートの単数の前記データユニットにより構成され、
　前記タイル管理情報は、
　　前記ジオメトリの前記データユニットからなる前記サブサンプルに対して、前記ジオメトリの前記データユニットに対応する前記タイル識別情報と、前記ジオメトリの前記データユニットに対応する、前記ビットストリームの前記データユニットに対応する前記ポイントクラウドのスライスを示すスライス識別情報とを対応付ける情報と、
　　前記アトリビュートの前記データユニットからなる前記サブサンプルに対して、前記アトリビュートの前記データユニットに対応する前記スライス識別情報を対応付ける情報と
　を含む
　（１３）に記載の情報処理装置。
　（１７）　前記タイル管理情報は、前記ファイルのtimed metadataに格納される
　（１３）乃至（１６）に記載の情報処理装置。
　（１８）　前記ファイルは、ジオメトリの前記データユニットとアトリビュートの前記データユニットとが、互いに異なるトラックに格納されており、
　前記抽出部は、それぞれの前記トラックにおいて、前記タイル管理情報に基づいて、前記ビットストリームの、所望の前記タイルの再生に必要な前記部分を、前記ファイルから抽出する
　（１１）乃至（１７）のいずれかに記載の情報処理装置。
　（１９）　前記抽出部により抽出された前記ビットストリームの、所望の前記タイルの再生に必要な前記部分を復号する復号部をさらに備える
　（１１）乃至（１８）のいずれかに記載の情報処理装置。
　（２０）　３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのビットストリームとともにファイルに格納される、前記ビットストリームの単数または連続する複数のデータユニットにより構成されるサブサンプルに対応する前記ポイントクラウドのタイルを示すタイル識別情報を用いて前記ファイルに格納される前記サブサンプルに対応する前記タイルを管理するための情報であるタイル管理情報に基づいて、前記ビットストリームの、所望の前記タイルの再生に必要な部分を、前記ファイルから抽出する
　情報処理方法。
　３００　ファイル生成装置，　３１１　抽出部，　３１２　符号化部，　３１３　ビットストリーム生成部，　３１４　タイル管理情報生成部，　３１５　ファイル生成部，　３２１　ジオメトリ符号化部，　３２２　アトリビュート符号化部，　３２３　メタデータ生成部，　４００　再生装置，　４０１　制御部，４１１　ファイル取得部，　４１２　再生処理部，　４１３　提示処理部，　４２１　ファイル処理部，　４２２　復号部，　４２３　提示情報生成部，　４３１　ビットストリーム抽出部，　４４１　ジオメトリ復号部，　４４２　アトリビュート復号部，　４５１　ポイントクラウド構築部，　４５２　提示処理部

Claims (20)

  1. 　３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのビットストリームのデータユニットに対応する前記ポイントクラウドのタイルを示すタイル識別情報を用いて、サンプルとしてファイルに格納される前記ビットストリームの単数または連続する複数の前記データユニットからなるサブサンプルに対応する前記タイルを管理するための情報であるタイル管理情報を生成するタイル管理情報生成部と、
    　前記ビットストリームおよび前記タイル管理情報を格納する前記ファイルを生成するファイル生成部と
    　を備える情報処理装置。
  2. 　前記タイル管理情報は、前記ファイルのトラック毎に生成され、前記トラックに格納される前記サブサンプルに対応する前記タイル識別情報の一覧を含む
    　請求項１に記載の情報処理装置。
  3. 　前記ファイルはISOBMFF（International Organization for Standardization Base Media File Format）のファイルであり、
    　前記タイル管理情報は、前記ファイルのmoovボックスまたはmoofボックス内の前記サブサンプルに関する情報を格納するボックスに格納される
    　請求項２に記載の情報処理装置。
  4. 　前記サブサンプルは、前記ビットストリームの互いに同一の前記タイルに属するジオメトリの前記データユニット若しくはアトリビュートの前記データユニットまたは両方により構成され、
    　前記タイル管理情報は、前記サブサンプルに対して、前記サブサンプルに含まれる前記ジオメトリの前記データユニットに対応する前記タイル識別情報を対応付ける情報を含む
    　請求項３に記載の情報処理装置。
  5. 　前記サブサンプルは、前記ビットストリームの互いに同一のスライスに属するジオメトリの前記データユニット若しくはアトリビュートの前記データユニットまたは両方により構成され、
    　前記タイル管理情報は、前記サブサンプルに対して、前記サブサンプルに含まれる前記ジオメトリの前記データユニットに対応する前記タイル識別情報を対応付ける情報を含む
    　請求項３に記載の情報処理装置。
  6. 　前記サブサンプルは、前記ビットストリームのジオメトリまたはアトリビュートの単数の前記データユニットにより構成され、
    　前記タイル管理情報は、
    　　前記ジオメトリの前記データユニットからなる前記サブサンプルに対して、前記ジオメトリの前記データユニットに対応する前記タイル識別情報と、前記ジオメトリの前記データユニットに対応する、前記ビットストリームの前記データユニットに対応する前記ポイントクラウドのスライスを示すスライス識別情報とを対応付ける情報と、
    　　前記アトリビュートの前記データユニットからなる前記サブサンプルに対して、前記アトリビュートの前記データユニットに対応する前記スライス識別情報を対応付ける情報と
    　を含む
    　請求項３に記載の情報処理装置。
  7. 　前記タイル管理情報は、前記ファイルのtimed metadataに格納される
    　請求項３に記載の情報処理装置。
  8. 　前記ファイル生成部は、ジオメトリの前記データユニットとアトリビュートの前記データユニットとを、前記ファイルの互いに異なるトラックに格納し、
    　前記タイル管理情報生成部は、それぞれの前記トラックにおいて、前記タイル管理情報を生成する
    　請求項１に記載の情報処理装置。
  9. 　前記ポイントクラウドのデータを符号化し、前記ビットストリームを生成する符号化部をさらに備え、
    　前記ファイル生成部は、前記符号化部により生成された前記ビットストリームを格納する前記ファイルを生成する
    　請求項１に記載の情報処理装置。
  10. 　３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのビットストリームのデータユニットに対応する前記ポイントクラウドのタイルを示すタイル識別情報を用いて、サンプルとしてファイルに格納される前記ビットストリームの単数または連続する複数の前記データユニットからなるサブサンプルに対応する前記タイルを管理するための情報であるタイル管理情報を生成し、
    　前記ビットストリームおよび前記タイル管理情報を格納する前記ファイルを生成する
    　情報処理方法。
  11. 　３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのビットストリームとともにファイルに格納される、前記ビットストリームの単数または連続する複数のデータユニットにより構成されるサブサンプルに対応する前記ポイントクラウドのタイルを示すタイル識別情報を用いて前記ファイルに格納される前記サブサンプルに対応する前記タイルを管理するための情報であるタイル管理情報に基づいて、前記ビットストリームの、所望の前記タイルの再生に必要な部分を、前記ファイルから抽出する抽出部
    　を備える情報処理装置。
  12. 　前記タイル管理情報は、前記ファイルのトラック毎に生成され、前記トラックに格納される前記サブサンプルに対応する前記タイル識別情報の一覧を含み、
    　前記抽出部は、前記一覧に基づいて所望の前記タイルに対応する前記サブサンプルを特定し、特定した前記サブサンプルを抽出する
    　請求項１１に記載の情報処理装置。
  13. 　前記ファイルはISOBMFF（International Organization for Standardization Base Media File Format）のファイルであり、
    　前記抽出部は、前記ファイルのmoovボックスまたはmoofボックス内に格納されている前記タイル管理情報の前記一覧に基づいて所望の前記タイルに対応する前記サブサンプルを特定し、特定した前記サブサンプルを抽出する
    　請求項１２に記載の情報処理装置。
  14. 　前記サブサンプルは、前記ビットストリームの互いに同一の前記タイルに属するジオメトリの前記データユニット若しくはアトリビュートの前記データユニットまたは両方により構成され、
    　前記タイル管理情報は、前記サブサンプルに対して、前記サブサンプルに含まれる前記ジオメトリの前記データユニットに対応する前記タイル識別情報を対応付ける情報を含む
    　請求項１３に記載の情報処理装置。
  15. 　前記サブサンプルは、前記ビットストリームの互いに同一のスライスに属するジオメトリの前記データユニット若しくはアトリビュートの前記データユニットまたは両方により構成され、
    　前記タイル管理情報は、前記サブサンプルに対して、前記サブサンプルに含まれる前記ジオメトリの前記データユニットに対応する前記タイル識別情報を対応付ける情報を含む
    　請求項１３に記載の情報処理装置。
  16. 　前記サブサンプルは、前記ビットストリームのジオメトリまたはアトリビュートの単数の前記データユニットにより構成され、
    　前記タイル管理情報は、
    　　前記ジオメトリの前記データユニットからなる前記サブサンプルに対して、前記ジオメトリの前記データユニットに対応する前記タイル識別情報と、前記ジオメトリの前記データユニットに対応する、前記ビットストリームの前記データユニットに対応する前記ポイントクラウドのスライスを示すスライス識別情報とを対応付ける情報と、
    　　前記アトリビュートの前記データユニットからなる前記サブサンプルに対して、前記アトリビュートの前記データユニットに対応する前記スライス識別情報を対応付ける情報と
    　を含む
    　請求項１３に記載の情報処理装置。
  17. 　前記タイル管理情報は、前記ファイルのtimed metadataに格納される
    　請求項１３に記載の情報処理装置。
  18. 　前記ファイルは、ジオメトリの前記データユニットとアトリビュートの前記データユニットとが、互いに異なるトラックに格納されており、
    　前記抽出部は、それぞれの前記トラックにおいて、前記タイル管理情報に基づいて、前記ビットストリームの、所望の前記タイルの再生に必要な前記部分を、前記ファイルから抽出する
    　請求項１１に記載の情報処理装置。
  19. 　前記抽出部により抽出された前記ビットストリームの、所望の前記タイルの再生に必要な前記部分を復号する復号部をさらに備える
    　請求項１１に記載の情報処理装置。
  20. 　３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのビットストリームとともにファイルに格納される、前記ビットストリームの単数または連続する複数のデータユニットにより構成されるサブサンプルに対応する前記ポイントクラウドのタイルを示すタイル識別情報を用いて前記ファイルに格納される前記サブサンプルに対応する前記タイルを管理するための情報であるタイル管理情報に基づいて、前記ビットストリームの、所望の前記タイルの再生に必要な部分を、前記ファイルから抽出する
    　情報処理方法。
PCT/JP2021/019969 2020-06-09 2021-05-26 情報処理装置および方法 WO2021251141A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
MX2022015293A MX2022015293A (es) 2020-06-09 2021-05-26 Dispositivo y metodo de procesamiento de informacion.
JP2022530117A JPWO2021251141A1 (ja) 2020-06-09 2021-05-26
US18/000,520 US20230222693A1 (en) 2020-06-09 2021-05-26 Information processing apparatus and method
KR1020227039220A KR20230021646A (ko) 2020-06-09 2021-05-26 정보 처리 장치 및 방법
EP21822483.0A EP4164213A4 (en) 2020-06-09 2021-05-26 DEVICE AND METHOD FOR PROCESSING INFORMATION
CN202180039811.0A CN115868156A (zh) 2020-06-09 2021-05-26 信息处理装置和方法
BR112022024646A BR112022024646A2 (pt) 2020-06-09 2021-05-26 Aparelho e método de processamento de informações

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063036656P 2020-06-09 2020-06-09
US63/036,656 2020-06-09

Publications (1)

Publication Number Publication Date
WO2021251141A1 true WO2021251141A1 (ja) 2021-12-16

Family

ID=78846004

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/019969 WO2021251141A1 (ja) 2020-06-09 2021-05-26 情報処理装置および方法

Country Status (8)

Country Link
US (1) US20230222693A1 (ja)
EP (1) EP4164213A4 (ja)
JP (1) JPWO2021251141A1 (ja)
KR (1) KR20230021646A (ja)
CN (1) CN115868156A (ja)
BR (1) BR112022024646A2 (ja)
MX (1) MX2022015293A (ja)
WO (1) WO2021251141A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016540410A (ja) * 2013-10-22 2016-12-22 キヤノン株式会社 スケーラブルな分割タイムドメディアデータをカプセル化するための方法、デバイス、およびコンピュータプログラム
US20190318488A1 (en) * 2018-04-12 2019-10-17 Samsung Electronics Co., Ltd. 3d point cloud compression systems for delivery and access of a subset of a compressed 3d point cloud
WO2020013249A1 (ja) * 2018-07-13 2020-01-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2020075781A1 (ja) * 2018-10-09 2020-04-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2021049333A1 (ja) * 2019-09-11 2021-03-18 ソニー株式会社 情報処理装置、情報処理方法、再生処理装置及び再生処理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020071111A1 (ja) * 2018-10-02 2020-04-09 ソニー株式会社 情報処理装置および情報処理方法、並びにプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016540410A (ja) * 2013-10-22 2016-12-22 キヤノン株式会社 スケーラブルな分割タイムドメディアデータをカプセル化するための方法、デバイス、およびコンピュータプログラム
US20190318488A1 (en) * 2018-04-12 2019-10-17 Samsung Electronics Co., Ltd. 3d point cloud compression systems for delivery and access of a subset of a compressed 3d point cloud
WO2020013249A1 (ja) * 2018-07-13 2020-01-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2020075781A1 (ja) * 2018-10-09 2020-04-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2021049333A1 (ja) * 2019-09-11 2021-03-18 ソニー株式会社 情報処理装置、情報処理方法、再生処理装置及び再生処理方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
"Information technology - Coding of audio-visual objects - Part 12: ISO base media file format", ISO/IEC 14496-12, 20 February 2015 (2015-02-20)
"Information technology - MPEG-I (Coded Representation of Immersive Media) - Part 9: Geometry-based Point Cloud Compression", SO/IEC 23090- 9:2020(E
SATORU KUMAOHJI NAKAGAMI: "G-PCC] (New proposal) On scalability profile", ISO/IEC JTC1/SC29/WG11 MPEG2020/ M53292, April 2020 (2020-04-01)
See also references of EP4164213A4
SEJIN OHRYOHEI TAKAHASHIYOUNGKWON LIM: "WD of ISO/IEC 23090-18 Carriage of Geometry-based Point Cloud Compression Data", ISO/IEC JTC 1/SC 29/WG 11 N19286, 5 June 2020 (2020-06-05)

Also Published As

Publication number Publication date
MX2022015293A (es) 2023-01-04
EP4164213A4 (en) 2023-10-04
US20230222693A1 (en) 2023-07-13
JPWO2021251141A1 (ja) 2021-12-16
CN115868156A (zh) 2023-03-28
KR20230021646A (ko) 2023-02-14
EP4164213A1 (en) 2023-04-12
BR112022024646A2 (pt) 2022-12-27

Similar Documents

Publication Publication Date Title
US11532103B2 (en) Information processing apparatus and information processing method
WO2021049333A1 (ja) 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
WO2021117859A1 (ja) 画像処理装置および方法
GB2509953A (en) Displaying a Region of Interest in a Video Stream by Providing Links Between Encapsulated Video Streams
WO2021251173A1 (ja) 情報処理装置および方法
US20240107049A1 (en) Information processing device and information processing method
WO2021251185A1 (ja) 情報処理装置および方法
JP2024003189A (ja) 情報処理装置および方法
WO2022059495A1 (ja) 情報処理装置および方法
WO2023176419A1 (ja) 情報処理装置および方法
WO2022054744A1 (ja) 情報処理装置および方法
WO2021251141A1 (ja) 情報処理装置および方法
US20240046562A1 (en) Information processing device and method
EP3972260A1 (en) Information processing device, information processing method, reproduction processing device, and reproduction processing method
WO2023277062A1 (ja) 情報処理装置および方法
WO2019138928A1 (ja) 情報処理装置および方法
WO2022138221A1 (ja) 情報処理装置および方法
EP4325870A1 (en) Information processing device and method
WO2022075078A1 (ja) 画像処理装置および方法
EP4325871A1 (en) Information processing device and method
US20220076485A1 (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21822483

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022530117

Country of ref document: JP

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112022024646

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112022024646

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20221201

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021822483

Country of ref document: EP

Effective date: 20230109