WO2021140928A1 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
WO2021140928A1
WO2021140928A1 PCT/JP2020/048356 JP2020048356W WO2021140928A1 WO 2021140928 A1 WO2021140928 A1 WO 2021140928A1 JP 2020048356 W JP2020048356 W JP 2020048356W WO 2021140928 A1 WO2021140928 A1 WO 2021140928A1
Authority
WO
WIPO (PCT)
Prior art keywords
point
points
unit
information
reference point
Prior art date
Application number
PCT/JP2020/048356
Other languages
English (en)
French (fr)
Inventor
智 隈
央二 中神
幸司 矢野
加藤　毅
弘幸 安田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2021140928A1 publication Critical patent/WO2021140928A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Definitions

  • the present disclosure relates to an information processing device and a method, and more particularly to an information processing device and a method capable of suppressing a decrease in coding efficiency.
  • Non-Patent Document 1 a method for encoding 3D data representing a three-dimensional structure such as a point cloud has been considered (see, for example, Non-Patent Document 1).
  • the point cloud data is composed of geometry data (also referred to as position information) and attribute data (also referred to as attribute information) of each point. Therefore, the point cloud is coded for each of its geometry data and attribute data.
  • Various methods have been proposed as methods for encoding attribute data. For example, it has been proposed to use a technique called Lifting (see, for example, Non-Patent Document 2).
  • a method has been proposed in which attribute data can be decoded in a scalable manner (see, for example, Non-Patent Document 3).
  • the predicted value of the attribute data of the predicted point is derived using the attribute data of the reference point, and the difference value between the predicted value and the attribute data is encoded.
  • a certain range of targets sorted by Morton Order is sought, and reference points in the vicinity of a specified number are set as reference destinations.
  • a point with few other points located in the periphery (also referred to as a sparse point) is different from a point having many other points located in the periphery (also referred to as a dense point).
  • the correlation of the attribute data of is low. Therefore, when the predicted value is derived by referring to the attribute data of sparse points, the prediction accuracy may be reduced and the coding efficiency may be reduced as compared with the case of referring to the attribute data of dense points.
  • This disclosure has been made in view of such a situation, and makes it possible to suppress a decrease in coding efficiency.
  • the information processing device of one aspect of the present technology derives the difference value between the attribute information and the predicted value of the attribute information for the attribute information for each point of the point cloud that expresses a three-dimensional object as a set of points.
  • the layering unit is provided with a layering unit for layering the attribute information by recursively repeating the classification of the prediction point to be performed and the reference point used for deriving the predicted value with respect to the reference point.
  • the information processing method of one aspect of the present technology derives a difference value between the attribute information and the predicted value of the attribute information for the attribute information for each point of the point cloud that expresses a three-dimensional object as a set of points.
  • the predicted value is derived when the attribute information is layered. This is an information processing method for setting the reference point used in the above based on the density of points around the reference point.
  • the information processing device of the other aspect of the present technology obtains a difference value between the attribute information and the predicted value of the attribute information for the attribute information for each point of the point cloud that expresses a three-dimensional object as a set of points.
  • the layering unit is provided to layer the attribute information by recursively repeating the classification of the predicted point to be derived and the reference point used for deriving the predicted value with respect to the reference point.
  • the unit is an information processing device that sets the reference point used for deriving the predicted value based on the color of the reference point.
  • the information processing method of another aspect of the present technology is to obtain a difference value between the attribute information and the predicted value of the attribute information for the attribute information for each point of the point cloud that expresses a three-dimensional object as a set of points.
  • the predicted value is derived when the attribute information is layered. This is an information processing method for setting the reference point used for the above based on the color of the reference point.
  • the difference value between the attribute information and the predicted value of the attribute information is calculated. It is used to derive the predicted value when layering the attribute information by recursively repeating the classification of the predicted point to be derived and the reference point used to derive the predicted value with respect to the reference point.
  • Reference points are set based on the density of points around the reference point.
  • the difference value between the attribute information and the predicted value of the attribute information for the attribute information for each point of the point cloud that expresses a three-dimensional object as a set of points.
  • the prediction value is derived when the attribute information is layered.
  • the reference point to be used is set based on the color of the reference point.
  • Non-Patent Document 1 (above)
  • Non-Patent Document 2 (above)
  • Non-Patent Document 3 (above)
  • ⁇ Point cloud> Conventionally, a point cloud that represents a three-dimensional structure based on point position information and attribute information, and a mesh that is composed of vertices, edges, and faces and defines a three-dimensional shape using polygonal representation. There was 3D data such as.
  • Point cloud data (also referred to as point cloud data) is composed of position information (also referred to as geometry data) and attribute information (also referred to as attribute data) at each point.
  • Attribute data can contain arbitrary information. For example, the color information, reflectance information, normal information, etc. of each point may be included in the attribute data.
  • the point cloud data has a relatively simple data structure, and by using a sufficiently large number of points, an arbitrary three-dimensional structure can be expressed with sufficient accuracy.
  • a voxel is a three-dimensional area for quantizing geometry data (position information).
  • the three-dimensional area containing the point cloud (also referred to as the Bounding box) is divided into small three-dimensional areas called voxels, and each voxel indicates whether or not points are included. By doing so, the position of each point is quantized in voxel units. Therefore, by converting the point cloud data into such voxel data (also referred to as voxel data), the increase in the amount of information is suppressed (typically, the amount of information is reduced). Can be done.
  • Octree is a tree-structured version of voxel data.
  • the value of each bit of the lowest node of this Octree indicates the presence or absence of a point for each voxel. For example, a value "1" indicates a voxel containing points, and a value "0" indicates a voxel containing no points.
  • one node corresponds to eight voxels. That is, each node of the Octtree is composed of 8 bits of data, and the 8 bits indicate the presence or absence of points of 8 voxels.
  • the upper node of Octtree indicates the presence or absence of a point in the area where eight voxels corresponding to the lower node belonging to the node are combined into one. That is, the upper node is generated by collecting the voxel information of the lower node. If a node with a value of "0", that is, all eight corresponding voxels do not contain points, that node is deleted.
  • Octree can indicate the presence or absence of voxel points at each resolution.
  • the position information can be decoded from the highest resolution (highest layer) to a desired layer (resolution), and the point cloud data of that resolution can be restored. That is, it is possible to easily decode information at an arbitrary resolution without decoding unnecessary layer (resolution) information. In other words, voxel (resolution) scalability can be achieved.
  • the voxel in the area where the point does not exist can be reduced in resolution, so that further increase in the amount of information can be suppressed (typically, the amount of information). Can be reduced).
  • attribute data attribute data
  • RAHT Restriction Adaptive Hierarchical Transform
  • Lifting a transformation called Lifting as described in Non-Patent Document 2
  • the attribute data of each point is encoded as a difference value from the predicted value derived using the attribute data of other points.
  • each point is hierarchized, and the difference value is derived according to the hierarchical structure.
  • each point is classified into a predicted point and a reference point, and the predicted value of the attribute data of the predicted point is derived using the attribute data of the reference point, and the attribute data of the predicted point and the attribute data of the predicted point.
  • the difference value from the predicted value is derived.
  • points 3 and 4 are equal in distance from point 0 and farther than points 1 and 2. In such a case, assuming that the number of references to point 0 is 3, only one of point 3 and point 4 can be set as a reference destination.
  • point 3 is set as a reference destination. That is, the points 1 to 3 shown by the diagonal lines in FIG. 3 are set as reference points to be referred to for deriving the predicted value of the attribute data of the point 0.
  • a point with few other points located in the periphery (also referred to as a sparse point) is different from a point having many other points located in the periphery (also referred to as a dense point).
  • the correlation of the attribute data of is low. Therefore, when the predicted value is derived by referring to the attribute data of sparse points, the prediction accuracy may be reduced and the coding efficiency may be reduced as compared with the case of referring to the attribute data of dense points.
  • ⁇ Setting of reference relationship based on sparseness> Therefore, regarding the attribute information for each point of the point cloud that expresses a three-dimensional object as a set of points, it is used to derive the predicted value and the predicted point for deriving the difference value between the attribute information and the predicted value of the attribute information.
  • the reference point is as shown in the method 1 at the top of the table of FIG.
  • the reference relationship may be set based on the density (or number) of points around the.
  • a reference point (dense reference point) having many points located in the vicinity may be selected as a reference point (reference destination) used for deriving the predicted value.
  • a reference point (sparse reference point) having few points located in the periphery may be selected as a reference point (reference destination) used for deriving the predicted value.
  • the method of judging whether the points are sparse or dense is arbitrary. For example, the judgment may be made based on the number of points within a predetermined range. That is, for example, if the number of points within a predetermined range is large, it may be determined as a dense reference point, and if it is small, it may be determined as a sparse reference point.
  • This "predetermined range" is arbitrary. For example, it may be in the range of a predetermined radius r centered on the reference point, or may be a region (voxel area) composed of a predetermined number of voxels centered on the voxel in which the reference point is located.
  • the method of determining whether the number of points is large or small is arbitrary.
  • the distance between the other point selected at the Nth (predetermined integer) th point and the reference point You may judge. For example, if the distance from the Nth selected other point to the reference point is short, it may be determined as a dense reference point, and if it is far, it may be determined as a sparse reference point.
  • the method of determining the perspective of this distance is arbitrary. For example, if the distance is greater than or equal to a predetermined threshold value (or longer than the threshold value), it may be determined to be far, and if it is shorter than the predetermined threshold value (or less than or equal to the threshold value), it may be determined to be close.
  • the reference point can be selected in consideration of the influence of the prediction accuracy due to the density (or number) of the surrounding points. Therefore, the reduction in prediction accuracy can be suppressed, and the reduction in coding efficiency can be suppressed.
  • the reference point used to derive the predicted value may be set based on both the distance from the predicted point from which the predicted value is derived and the density (or number) of the surrounding points. Good.
  • the prediction accuracy of a predicted value is proportional to the distance between the reference point and the predicted point used for the prediction. Therefore, by considering not only the density of points but also the distance between points in this way, it is possible to select a reference point with higher prediction accuracy, and it is possible to suppress a decrease in coding efficiency.
  • sparse points may be excluded from the reference destination candidates. That is, the reference points with few points located in the periphery may be excluded, and the reference points used for deriving the predicted value may be selected from the other reference points. That is, a reference point that is not sparse (or has a sufficiently large number) of peripheral points and is located in the vicinity of the prediction point from which the prediction value is derived is used as a reference point for deriving the prediction value. It may be set. For example, from among other reference points, a predetermined number of reference points may be selected as reference points used for deriving the predicted value in order from the predicted point from which the predicted value is derived.
  • a threshold value may be used to determine whether or not the points are sparse, as in the method 1-1-1 shown in the third row from the top of the table in FIG. That is, for example, a reference point in which the number of peripheral points is equal to or less than a predetermined threshold value (or less than the threshold value) may be determined as a “sparse point”.
  • a reference point in which the number of peripheral points is greater than (or greater than or equal to) a predetermined threshold value may be used as a reference destination candidate.
  • a predetermined number of reference points may be selected from among reference points whose number of peripheral points is greater than (or greater than or equal to) a predetermined threshold value in order of proximity to the predicted point from which the predicted value is derived.
  • the area to be the "periphery" of this reference point (that is, the predetermined range described above) is arbitrary as described above.
  • the number of points around each point is as shown in A in FIG. become.
  • the number in each point indicated by a circle in A in FIG. 5 indicates the number of points in the vicinity.
  • reference points having a number of points around this area of less than 2 are excluded from the reference destination candidates. Therefore, the point 3 is excluded from the candidates, and the points 2, the points 2, and the points 4 shown by the diagonal lines are selected.
  • the predicted value can be derived using denser points, the reduction in prediction accuracy can be suppressed, and the reduction in coding efficiency can be suppressed.
  • the threshold value determination the "sparse point" can be easily determined, and the increase in load due to this determination process can be suppressed.
  • peripheral the range for determining sparseness as described above
  • this threshold value may be known in advance on both the coding side and the decoding side, such as by being defined in a standard or the like, or the threshold value used at the time of coding is from the coding side. It is transmitted to the decoding side, and the decoding side may perform decoding using the transmitted threshold value (that is, information indicating the threshold value may be signaled).
  • the transmission method of this threshold is arbitrary.
  • the information indicating the threshold may be included in the bit stream including the coded data of the point cloud, or may be transmitted as data different from the bit stream of the coded data of the point cloud.
  • a plurality of reference points are located equidistant from the prediction point from which the prediction value is derived, as in method 1-2 shown in the fourth row from the top of the table in FIG. 4, refer to a denser point. You may choose as the destination. That is, among the plurality of reference points having the same distance from the predicted points, the one with the larger number of peripheral points may be set as the reference point used for deriving the predicted value.
  • a denser point may be selected as a reference destination as in method 1-2. For example, as shown in FIG. 6, if the inside of a 3 ⁇ 3 square centered on the point to be processed is the “periphery” of the point to be processed, the number of points 3 including itself is three (3/9). Point 4 will be 5 (5/9) including himself. Therefore, the denser point 4 is selected.
  • a sparser point may be selected as the reference destination. That is, among the plurality of reference points having the same distance from the predicted points, the one with the smaller number of peripheral points may be set as the reference point used for deriving the predicted value.
  • Method 1-3 shown in the fifth row from the top of the table in FIG. 4 a single or a plurality of reference points selected as reference destinations (reference points used for deriving the predicted value) are selected. , You may try to exclude sparse points.
  • a predetermined number of reference points may be selected in order from the predicted points from which the predicted values are derived, and sparse points may be excluded from the reference points.
  • points 1 to 3 are selected as reference destinations (left in the figure), and then sparse points 3 are excluded from the reference destinations (right in the figure).
  • a threshold value may be used to determine whether or not the points are sparse, as in Method 1-3-1 shown in the sixth row from the top of the table in FIG. That is, for example, a reference point in which the number of peripheral points is equal to or less than a predetermined threshold value (or less than the threshold value) may be determined as a “sparse point”.
  • reference points with a high density of peripheral points may be excluded from the reference points used for deriving the predicted value.
  • the predicted value can be derived using the reference point of the same color as or closer to the predicted point, so that the reduction of the prediction accuracy can be suppressed and the reduction of the coding efficiency can be suppressed. can do.
  • the information regarding the candidates set as described above may be transmitted from the coding side to the decoding side.
  • the information about this candidate may be encoded and included in a bitstream containing the coded data of the point cloud.
  • the information indicating whether or not to refer to each of all the set candidates as the information regarding the candidates is provided. It may be transmitted from the coding side to the decoding side.
  • bit length of this information may be smaller than the number of candidates as in the method 2-1-2 shown in the eleventh column from the top of the table in FIG. That is, as information on the candidates, information indicating whether or not to refer to each of the set candidates may be transmitted from the coding side to the decoding side.
  • information on this candidate information indicating whether to refer to each of a predetermined number of candidates from the farthest distance from the prediction point for deriving the predicted value among the set candidates is from the issuer side to the decoding side. It may be transmitted to.
  • this control information indicates whether or not to refer to each of the two candidates from the far side with one bit. For example, a value "0" indicates that the candidate to which the bit is assigned is "not referenced", and a value "1" indicates that the candidate to which the bit is assigned is "referenced”. That is, this control information is 2-bit information (for example, "10"). That is, the bit length of this control information is a length corresponding to the number of candidates and the number of references, and is shorter than the number of candidates.
  • information on the candidates may be transmitted from the coding side to the decoding side.
  • information indicating which of the last two candidates in the candidate group is selected as the reference destination is transmitted. You may do so. That is, as the information about the candidates, the information indicating which of the two candidates is referred to from the farthest distance from the prediction point from which the prediction value is derived is transmitted from the coding side to the decoding side. May be good.
  • this control information is 1-bit information (for example, "1"). That is, the bit length of this control information is 1 bit.
  • each of the above methods can be applied in any combination. Further, each of the above-mentioned methods can be applied to the coding / decoding of attribute data corresponding to scalable decoding, or can be applied to the coding / decoding of attribute data not corresponding to scalable decoding. ..
  • FIG. 10 is a block diagram showing an example of a configuration of a coding device, which is an aspect of an information processing device to which the present technology is applied.
  • the coding device 100 shown in FIG. 10 is a device that encodes a point cloud (3D data).
  • the coding device 100 has ⁇ 1.
  • the point cloud is encoded by applying the above-mentioned technology in Control of reference relationship>.
  • FIG. 10 shows the main things such as the processing unit and the data flow, and not all of them are shown in FIG. That is, in the coding apparatus 100, there may be a processing unit that is not shown as a block in FIG. 10, or there may be a processing or data flow that is not shown as an arrow or the like in FIG.
  • the position information coding unit 101 encodes the geometry data (position information) of the point cloud (3D data) input to the coding device 100.
  • This coding method is arbitrary as long as it supports scalable decoding.
  • the position information coding unit 101 stratifies the geometry data to generate an Octree, and encodes the Octree. Further, for example, processing such as filtering or quantization for noise suppression (denoise) may be performed.
  • the position information coding unit 101 supplies the coded data of the generated geometry data to the position information decoding unit 102 and the bit stream generation unit 105.
  • the position information decoding unit 102 acquires the coded data of the geometry data supplied from the position information coding unit 101, and decodes the coded data.
  • This decoding method is arbitrary as long as it corresponds to the coding by the position information coding unit 101. For example, processing such as filtering for denoise and dequantization may be performed.
  • the position information decoding unit 102 supplies the generated geometry data (decoding result) to the point cloud generation unit 103.
  • the point cloud generation unit 103 acquires the point cloud attribute data (attribute information) input to the coding device 100 and the geometry data (decoding result) supplied from the position information decoding unit 102.
  • the point cloud generation unit 103 performs a process (recolor process) of matching the attribute data with the geometry data (decoding result).
  • the point cloud generation unit 103 supplies the attribute data corresponding to the geometry data (decoding result) to the attribute information coding unit 104.
  • the attribute information coding unit 104 acquires the geometry data (decoding result) and the attribute data supplied from the point cloud generation unit 103.
  • the attribute information coding unit 104 encodes the attribute data using the geometry data (decoding result) and generates the coded data of the attribute data.
  • the attribute information coding unit 104 has ⁇ 1.
  • the above-mentioned technique is applied in Control of reference relationship> to encode the attribute data.
  • the attribute information coding unit 104 supplies the coded data of the generated attribute data to the bitstream generation unit 105.
  • the bitstream generation unit 105 acquires the coded data of the geometry data supplied from the position information coding unit 101. Further, the bitstream generation unit 105 acquires the coded data of the attribute data supplied from the attribute information coding unit 104. The bitstream generation unit 105 generates a bitstream including these coded data. The bitstream generation unit 105 outputs the generated bitstream to the outside of the coding device 100.
  • the coding device 100 can select the reference point in consideration of the influence of the prediction accuracy due to the density (or number) of the surrounding points. Therefore, the reduction in prediction accuracy can be suppressed, and the reduction in coding efficiency can be suppressed.
  • each processing unit may be configured by a logic circuit that realizes the above-mentioned processing.
  • each processing unit has, for example, a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like, and the above-mentioned processing is realized by executing a program using them. You may do so.
  • each processing unit may have both configurations, and a part of the above-mentioned processing may be realized by a logic circuit, and the other may be realized by executing a program.
  • the configurations of the respective processing units may be independent of each other. For example, some processing units realize a part of the above-mentioned processing by a logic circuit, and some other processing units execute a program.
  • the above-mentioned processing may be realized by the other processing unit by both the logic circuit and the execution of the program.
  • the attribute information coding unit 104 includes a layering processing unit 111, a quantization unit 112, and a coding unit 113.
  • the layering processing unit 111 performs processing related to layering of attribute data. For example, the layering processing unit 111 acquires attribute data and geometry data (decoding result) supplied from the point cloud generation unit 103. The layering processing unit 111 uses the geometry data to layer the attribute data. At that time, the layering processing unit 111 is set to ⁇ 1. Layering is performed by applying the above-mentioned technology in Control of reference relationship>. That is, the layering processing unit 111 sets reference points (sets prediction points) in each layer, and for each prediction point in each layer, ⁇ 1. In Control of reference relationship>, the above-mentioned method 1-1 is applied to set the reference relationship.
  • the layering processing unit 111 derives the predicted value of the attribute data of each prediction point based on the reference relationship, and derives the difference value between the attribute data and the predicted value.
  • the layered processing unit 111 supplies the layered attribute data (difference value) to the quantization unit 112.
  • the layering processing unit 111 also generates control information related to layering.
  • the layering processing unit 111 may also supply the generated control information to the quantization unit 112 together with the attribute data (difference value).
  • the coding unit 113 acquires the quantized attribute data (difference value) and control information supplied from the quantizing unit 112.
  • the coding unit 113 encodes the quantized attribute data (difference value) and generates coded data of the attribute data.
  • This coding method is arbitrary. Further, the coding unit 113 includes control information in the generated coded data. In other words, the coded data of the attribute data including the control information is generated.
  • the coding unit 113 supplies the generated coded data to the bitstream generation unit 105.
  • the attribute information coding unit 104 can exclude sparse points from the reference destination candidates. As a result, the reduction in prediction accuracy can be suppressed, and the reduction in coding efficiency can be suppressed.
  • each processing unit may be configured by a logic circuit that realizes the above-mentioned processing.
  • each processing unit may have, for example, a CPU, ROM, RAM, etc., and execute a program using them to realize the above-mentioned processing.
  • each processing unit may have both configurations, and a part of the above-mentioned processing may be realized by a logic circuit, and the other may be realized by executing a program.
  • the configurations of the respective processing units may be independent of each other. For example, some processing units realize a part of the above-mentioned processing by a logic circuit, and some other processing units execute a program.
  • the above-mentioned processing may be realized by the other processing unit by both the logic circuit and the execution of the program.
  • FIG. 12 is a block diagram showing a main configuration example of the layered processing unit 111 (FIG. 11). It should be noted that FIG. 12 shows the main things such as the processing unit and the data flow, and not all of them are shown in FIG. That is, in the layered processing unit 111, there may be a processing unit that is not shown as a block in FIG. 12, or there may be a processing or data flow that is not shown as an arrow or the like in FIG.
  • the reference point setting unit 121 performs processing related to the setting of the reference point. For example, the reference point setting unit 121 classifies the point group to be processed into a reference point for which the attribute data is referred and a prediction point for deriving the prediction value of the attribute data based on the geometry data of each point. That is, the reference point setting unit 121 sets the reference point and the prediction point. The reference point setting unit 121 recursively repeats this process with respect to the reference point. That is, the reference point setting unit 121 sets the reference point and the prediction point of the layer to be processed with the reference point set in the previous layer as the processing target. The reference point setting unit 121 supplies information indicating the set reference points and prediction points of each layer to the reference relationship setting unit 122.
  • the reference relationship setting unit 122 performs processing related to the setting of the reference relationship of each layer based on the information supplied from the reference point setting unit 121. For example, the reference relationship setting unit 122 sets a reference point (that is, a reference destination) to be referred to for deriving the predicted value for each predicted point in each layer. Then, the reference relationship setting unit 122 derives the predicted value of the attribute data of each prediction point based on the reference relationship. That is, the reference relationship setting unit 122 derives the predicted value of the attribute data of the predicted point using the attribute data of the reference point set as the reference destination. Further, the reference relationship setting unit 122 derives the difference value between the derived predicted value and the attribute data of the predicted point. The reference relationship setting unit 122 supplies the derived difference value (layered attribute data) to the inversion unit 123 for each layer.
  • a reference point that is, a reference destination
  • the reversing unit 123 performs processing related to reversing the hierarchy. For example, the inversion unit 123 acquires the layered attribute data supplied from the reference relationship setting unit 122. In this attribute data, the information of each layer is layered in the order of generation.
  • the inversion unit 123 inverts the hierarchy of the attribute data. For example, the inversion unit 123 sets the layer number (the highest layer is 0, the value is incremented by 1 each time the upper layer is lowered by 1 and the lowest layer is the maximum value) for each layer of attribute data in the reverse order of its generation. (Number to identify the layer) is attached so that the order of generation is from the lowest layer to the highest layer.
  • the inversion unit 123 supplies the attribute data in which the hierarchy is inverted to the weight value derivation unit 124.
  • the weight value derivation unit 124 performs processing related to weighting. For example, the weight value derivation unit 124 acquires the attribute data supplied from the inversion unit 123. The weight value derivation unit 124 derives the weight value of the acquired attribute data. The method of deriving this weight value is arbitrary. The weight value derivation unit 124 supplies the attribute data (difference value) and the derived weight value to the quantization unit 112 (FIG. 11). Further, the weight value derivation unit 124 may supply the derived weight value as control information to the quantization unit 112 and transmit it to the decoding side.
  • the reference relationship setting unit 122 has ⁇ 1.
  • the present technology described above can be applied in Control of reference relationship>. That is, the reference relationship setting unit 122 can apply the above-mentioned "method 1" and set this reference relationship based on the density of points around the reference point. Further, for example, the reference relationship setting unit 122 can further set a reference point used for deriving the predicted value based on the distance from the predicted point for deriving the predicted value. Further, for example, the reference relationship setting unit 122 applies the above-mentioned "method 1-1" to derive a predicted value of a reference point located in the vicinity of the predicted point and the density of surrounding points is not sparse. It can be set as a reference point used to do so. By doing so, it is possible to suppress a decrease in prediction accuracy and a decrease in coding efficiency.
  • this layering procedure is optional.
  • the processing of the reference point setting unit 121 and the processing of the reference relationship setting unit 122 may be executed in parallel.
  • the reference point setting unit 121 may set the reference point and the prediction point
  • the reference relationship setting unit 122 may set the reference relationship for each layer.
  • each processing unit may be configured by a logic circuit that realizes the above-mentioned processing.
  • each processing unit may have, for example, a CPU, ROM, RAM, etc., and execute a program using them to realize the above-mentioned processing.
  • each processing unit may have both configurations, and a part of the above-mentioned processing may be realized by a logic circuit, and the other may be realized by executing a program.
  • the configurations of the respective processing units may be independent of each other. For example, some processing units realize a part of the above-mentioned processing by a logic circuit, and some other processing units execute a program.
  • the above-mentioned processing may be realized by the other processing unit by both the logic circuit and the execution of the program.
  • the coding device 100 encodes the data in the point cloud by executing the coding process. An example of the flow of this coding process will be described with reference to the flowchart of FIG.
  • the position information coding unit 101 of the coding device 100 encodes the input point cloud geometry data (position information) in step S101 and generates the geometry data coded data. To do.
  • step S102 the position information decoding unit 102 decodes the coded data of the geometry data generated in step S101 and generates the position information.
  • step S104 the attribute information coding unit 104 encodes the attribute data recolored in step S103 by executing the attribute information coding process, and generates the coded data of the attribute data.
  • the attribute information coding unit 104 has ⁇ 1.
  • Reference Relationship Control> the above-mentioned technology is applied to perform processing.
  • the attribute information coding unit 104 sets a reference point used for deriving a predicted value in the hierarchy of attribute data based on the density of points around the reference point. The details of the attribute information coding process will be described later.
  • step S105 the bitstream generation unit 105 generates and outputs a bitstream including the coded data of the geometry data generated in step S101 and the coded data of the attribute data generated in step S104.
  • step S105 When the process of step S105 is completed, the coding process is completed.
  • the coding device 100 can suppress the reduction of the prediction accuracy and the reduction of the coding efficiency.
  • the layering processing unit 111 of the attribute information coding unit 104 stratifies the attribute data by executing the layering process in step S111. That is, the reference points and prediction points of each layer are set, and the reference relationships are set. At that time, the layering processing unit 111 is set to ⁇ 1. Layering is performed by applying the above-mentioned technology in Control of reference relationship>. For example, the attribute information coding unit 104 sets a reference point used for deriving a predicted value in the hierarchy of attribute data based on the density of points around the reference point. The details of the layering process will be described later.
  • step S112 the layering processing unit 111 derives the predicted value of the attribute data for each predicted point in each layer of the layered attribute data in step S111, and the attribute data of the predicted point and the predicted value thereof. Derive the difference value.
  • step S113 the quantization unit 112 quantizes each difference value derived in step S112.
  • step S114 the coding unit 113 encodes the difference value quantized in step S112 and generates the coded data of the attribute data.
  • step S114 When the process of step S114 is completed, the attribute information coding process is completed, and the process returns to FIG.
  • the layering processing unit 111 applies the above-mentioned "method 1" and refers to the reference point used for deriving the predicted value in the layering of the attribute data. It can be set based on the density of points around the point. For example, the layering processing unit 111 applies the above-mentioned "method 1-1" to a reference point whose peripheral point density is not sparse and which is located in the vicinity of the prediction point from which the prediction value is derived. It can be set as a reference point used to derive the predicted value. Therefore, the layering processing unit 111 can layer the attribute data so as to suppress the reduction in the prediction accuracy, and thereby the reduction in the coding efficiency can be suppressed.
  • method 1 refers to the reference point used for deriving the predicted value in the layering of the attribute data. It can be set based on the density of points around the point. For example, the layering processing unit 111 applies the above-mentioned "method 1-1" to a reference point whose peripheral point density is not sparse
  • the reference point setting unit 121 of the layering processing unit 111 sets the value of the variable LoDIndex indicating the layer to be processed to the initial value (for example, "0") in step S121.
  • step S122 the reference point setting unit 121 sets the reference point (that is, also sets the prediction point) in the layer to be processed.
  • step S123 the reference relationship setting unit 122 executes the reference relationship setting process and sets the reference relationship (which reference point is referred to in deriving the predicted value of each predicted point) of the layer to be processed.
  • the details of the reference relationship setting process will be described later.
  • step S124 the reference point setting unit 121 increments the LoDIndex and sets the processing target to the next layer.
  • step S125 the reference point setting unit 121 determines whether or not all the points have been processed. When it is determined that there are unprocessed points, that is, when it is determined that the layering has not been completed, the process returns to step S122, and the subsequent processes are repeated. When each process of steps S122 to S125 is executed for each layer in this way and it is determined in step S125 that all the points have been processed, the process proceeds to step S126.
  • step S126 the inversion unit 123 inverts the hierarchy of the attribute data generated as described above, and assigns a hierarchy number to each hierarchy in the reverse direction of the generation order.
  • step S127 the weight value derivation unit 124 derives the weight value for the attribute data of each layer.
  • step S127 When the process of step S127 is completed, the process returns to FIG.
  • the reference relationship setting unit 122 applies the above-mentioned "method 1" and refers to the reference point used for deriving the predicted value in the hierarchy of the attribute data. It can be set based on the density of points around the point. For example, the reference relationship setting unit 122 applies the above-mentioned "method 1-1" to set a reference point whose density of peripheral points is not sparse and which is located in the vicinity of the prediction point from which the prediction value is derived. It can be set as a reference point used to derive the predicted value. Therefore, the reference relationship setting unit 122 can layer the attribute data so as to suppress the reduction in the prediction accuracy, and thereby the reduction in the coding efficiency can be suppressed.
  • the reference relationship setting unit 122 derives the density of points around each reference point in step S141.
  • the reference relationship setting unit 122 selects a node to be processed (also referred to as a processing target current node) in the processing target hierarchy. That is, the prediction point to be processed is selected in the processing target hierarchy.
  • step S143 the reference relationship setting unit 122 selects an unprocessed reference point as a processing target.
  • step S144 the reference relationship setting unit 122 determines whether or not the reference point of the processing target selected in step S143 satisfies the density criterion. For example, if the density of points located in the periphery is denser than a predetermined threshold value and it is determined that the density criterion is satisfied, the process proceeds to step S145.
  • step S145 the reference relationship setting unit 122 derives the prediction point to be processed and the distance between the reference points.
  • step S146 the reference relationship setting unit 122 determines whether or not there is a vacancy in the list of reference points to be selected as the reference destination (that is, the number of reference points currently selected is less than the number of references). If it is determined that there is no space in the list, the process proceeds to step S147.
  • step S147 the reference relationship setting unit 122 determines whether or not the reference point to be processed is closer to the prediction point from which the prediction value is derived than the other reference points included in the list. If it is determined that the reference point to be processed is closer to the predicted point, the process proceeds to step S148.
  • the reference relationship setting unit 122 updates the list and registers the reference points to be processed in the list. That is, the reference relationship setting unit 122 sets the reference point to be processed as a reference destination (reference point used for deriving the predicted value). For example, when there is space in the list, the reference relationship setting unit 122 adds the reference point to be processed to the list. Further, for example, when there is no space in the list, the reference relationship setting unit 122 deletes the reference point farthest from the predicted point among the reference points included in the list from the list, and instead, deletes the reference point to be processed. sign up.
  • step S149 the process proceeds to step S149. If it is determined in step S144 that the density of points located in the vicinity is sparser than a predetermined threshold value and the reference points to be processed do not meet the density standard, the list is not updated and the process is performed. The process proceeds to step S149. If it is determined in step S147 that the reference point to be processed is farther from the predicted point than the reference point included in the list, the list is not updated and the process proceeds to step S149.
  • step S149 the reference relationship setting unit 122 determines whether or not all the reference points in the layer to be processed have been processed. If it is determined that there is an unprocessed reference point, the process returns to step S143, and the subsequent processes are repeated. If it is determined that all the reference points have been processed, the process proceeds to step S150.
  • step S150 the reference relationship setting unit 122 determines whether or not all the current nodes (prediction points of the layer to be processed) have been processed. If it is determined that there is an unprocessed current node, the process returns to step S142, and the subsequent processes are repeated. If it is determined that all the current nodes have been processed, the reference relationship setting process ends, and the process returns to FIG.
  • the reference relationship setting unit 122 applies the above-mentioned "method 1" and refers to the reference point used for deriving the predicted value in the hierarchy of the attribute data. It can be set based on the density of points around the point. For example, the reference relationship setting unit 122 applies the above-mentioned "method 1-1" to set a reference point whose density of peripheral points is not sparse and which is located in the vicinity of the prediction point from which the prediction value is derived. It can be set as a reference point used to derive the predicted value. Therefore, the reference relationship setting unit 122 can layer the attribute data so as to suppress the reduction in the prediction accuracy, and thereby the reduction in the coding efficiency can be suppressed.
  • FIG. 17 is a block diagram showing an example of a configuration of a decoding device, which is an aspect of an information processing device to which the present technology is applied.
  • the decoding device 200 shown in FIG. 17 is a device that decodes the coded data of the point cloud (3D data).
  • the decoding device 200 has ⁇ 1.
  • the above-mentioned technology is applied in Control of reference relationship> to decode the coded data of the point cloud.
  • FIG. 17 shows the main things such as the processing unit and the data flow, and not all of them are shown in FIG. That is, in the decoding device 200, there may be a processing unit that is not shown as a block in FIG. 17, or there may be a processing or data flow that is not shown as an arrow or the like in FIG.
  • the decoding device 200 includes a coded data extraction unit 201, a position information decoding unit 202, an attribute information decoding unit 203, and a point cloud generation unit 204.
  • the coded data extraction unit 201 acquires and holds a bit stream input to the decoding device 200.
  • the coded data extraction unit 201 extracts the coded data of the geometry data (position information) and the attribute data (attribute information) from the bit stream held therein.
  • the coded data extraction unit 201 supplies the coded data of the extracted geometry data to the position information decoding unit 202.
  • the coded data extraction unit 201 supplies the coded data of the extracted attribute data to the attribute information decoding unit 203.
  • the position information decoding unit 202 acquires the coded data of the geometry data supplied from the coded data extraction unit 201.
  • the position information decoding unit 202 decodes the coded data of the geometry data and generates the geometry data (decoding result).
  • This decoding method is arbitrary as long as it is the same method as in the case of the position information decoding unit 102 of the coding device 100.
  • the position information decoding unit 202 supplies the generated geometry data (decoding result) to the attribute information decoding unit 203 and the point cloud generation unit 204.
  • the attribute information decoding unit 203 acquires the coded data of the attribute data supplied from the coded data extraction unit 201.
  • the attribute information decoding unit 203 acquires the geometry data (decoding result) supplied from the position information decoding unit 202.
  • the attribute information decoding unit 203 uses the position information (decoding result) to ⁇ 1.
  • the coded data of the attribute data is decoded by the method to which the present technology is applied, and the attribute data (decoding result) is generated.
  • the attribute information decoding unit 203 supplies the generated attribute data (decoding result) to the point cloud generation unit 204.
  • the point cloud generation unit 204 acquires the geometry data (decoding result) supplied from the position information decoding unit 202.
  • the point cloud generation unit 204 acquires the attribute data (decoding result) supplied from the attribute information decoding unit 203.
  • the point cloud generation unit 204 generates a point cloud (decoding result) using the geometry data (decoding result) and attribute data (decoding result).
  • the point cloud generation unit 204 outputs the generated point cloud (decoding result) data to the outside of the decoding device 200.
  • the decoding device 200 can select the reference point in the reverse layering in consideration of the influence of the prediction accuracy due to the density (or number) of the surrounding points. For example, the decoding device 200 can correctly decode the coded data of the attribute data encoded by the coding device 100 described above. Therefore, the reduction in prediction accuracy can be suppressed, and the reduction in coding efficiency can be suppressed.
  • each processing unit may be configured by a logic circuit that realizes the above-mentioned processing.
  • each processing unit may have, for example, a CPU, ROM, RAM, etc., and execute a program using them to realize the above-mentioned processing.
  • each processing unit may have both configurations, and a part of the above-mentioned processing may be realized by a logic circuit, and the other may be realized by executing a program.
  • the configurations of the respective processing units may be independent of each other. For example, some processing units realize a part of the above-mentioned processing by a logic circuit, and some other processing units execute a program.
  • the above-mentioned processing may be realized by the other processing unit by both the logic circuit and the execution of the program.
  • FIG. 18 is a block diagram showing a main configuration example of the attribute information decoding unit 203 (FIG. 17). Note that FIG. 18 shows the main things such as the processing unit and the data flow, and not all of them are shown in FIG. That is, in the attribute information decoding unit 203, there may be a processing unit that is not shown as a block in FIG. 18, or there may be a processing or data flow that is not shown as an arrow or the like in FIG.
  • the attribute information decoding unit 203 has a decoding unit 211, an inverse quantization unit 212, and an inverse layer processing unit 213.
  • the decoding unit 211 performs processing related to decoding of the coded data of the attribute data. For example, the decoding unit 211 acquires the encoded data of the attribute data supplied to the attribute information decoding unit 203.
  • the decoding unit 211 decodes the encoded data of the attribute data and generates the attribute data (decoding result).
  • This decoding method is arbitrary as long as it corresponds to the coding method by the coding unit 113 (FIG. 11) of the coding device 100.
  • the generated attribute data (decoding result) corresponds to the attribute data before encoding, is a difference value between the attribute data and the predicted value, and is quantized.
  • the decoding unit 211 supplies the generated attribute data (decoding result) to the inverse quantization unit 212.
  • the decoding unit 211 also supplies the control information to the inverse quantization unit 212.
  • the dequantization unit 212 performs processing related to dequantization of attribute data. For example, the inverse quantization unit 212 acquires attribute data (decoding result) and control information supplied from the decoding unit 211.
  • the dequantization unit 212 dequantizes the attribute data (decoding result). At that time, when the control information regarding the weight value is supplied from the decoding unit 211, the inverse quantization unit 212 also acquires the control information and based on the control information (the weight value derived based on the control information). (Using) to dequantize the attribute data (decoding result).
  • the dequantization unit 212 supplies the control information regarding the layering of the attribute data from the decoding unit 211, the inverse quantization unit 212 also acquires the control information.
  • the dequantization unit 212 supplies the dequantized attribute data (decoding result) to the dequantization processing unit 213. Further, when the control information regarding the layering of the attribute data is acquired from the decoding unit 211, the dequantization unit 212 also supplies the control information to the delayering processing unit 213.
  • the dequantization processing unit 213 acquires the dequantized attribute data (decoding result) supplied from the dequantization unit 212. As described above, this attribute data is a difference value. Further, the reverse layer processing unit 213 acquires the geometry data (decoding result) supplied from the position information decoding unit 202. The reverse layering processing unit 213 uses the geometry data to reverse the layering of the acquired attribute data (difference value) by the layering processing unit 111 (FIG. 11) of the coding apparatus 100. Hierarchize.
  • the reverse layering processing unit 213 layered the attribute data based on the geometry data supplied from the position information decoding unit 202 by the same method as the coding device 100 (layering processing unit 111). That is, the reverse layer processing unit 213 sets the reference points and prediction points of each layer based on the decoded geometry data, and sets the reference relationship (reference destination for each prediction point).
  • the reverse layering processing unit 213 reversely layers the acquired attribute data (difference value) by using the hierarchical structure and the reference relationship of each layer. That is, the reverse layering processing unit 213 derives the predicted value of the predicted point from the reference point according to the reference relationship, and restores the attribute data of each predicted point by adding the predicted value to the difference value.
  • the reverse layering processing unit 213 performs this processing layer by layer from the upper layer to the lower layer. That is, the reverse layering processing unit 213 uses the prediction point for which the attribute data is restored in the layer higher than the processing target layer as a reference point, and restores the attribute data of the prediction point of the processing target layer as described above. ..
  • the reverse layering processing unit 213 when layering the attribute data based on the decoded geometry data, ⁇ 1.
  • the above-mentioned method 1-1 is applied to set the reference relationship.
  • the reverse layer processing unit 213 supplies the reverse layered attribute data as a decoding result to the point cloud generation unit 204 (FIG. 17).
  • the reverse layering processing unit 213 can exclude sparse points from the reference destination candidates, so that the attribute data is layered so as to suppress the reduction of the prediction accuracy. It can be performed. That is, the attribute information decoding unit 203 can correctly decode the coded data encoded by the same method. For example, the attribute information decoding unit 203 can correctly decode the coded data of the attribute data encoded by the attribute information coding unit 104 described above. Therefore, the reduction in coding efficiency can be suppressed.
  • each processing unit may be configured by a logic circuit that realizes the above-mentioned processing.
  • each processing unit may have, for example, a CPU, ROM, RAM, etc., and execute a program using them to realize the above-mentioned processing.
  • each processing unit may have both configurations, and a part of the above-mentioned processing may be realized by a logic circuit, and the other may be realized by executing a program.
  • the configurations of the respective processing units may be independent of each other. For example, some processing units realize a part of the above-mentioned processing by a logic circuit, and some other processing units execute a program.
  • the above-mentioned processing may be realized by the other processing unit by both the logic circuit and the execution of the program.
  • the decoding device 200 decodes the coded data of the point cloud by executing the decoding process.
  • An example of the flow of the decoding process will be described with reference to the flowchart of FIG.
  • the coded data extraction unit 201 of the decoding device 200 acquires and holds a bit stream in step S201, and the coded data of the geometry data and the coded data of the attribute data from the bit stream. Is extracted.
  • step S202 the position information decoding unit 202 decodes the coded data of the extracted geometry data and generates the geometry data (decoding result).
  • step S203 the attribute information decoding unit 203 executes the attribute information decoding process, decodes the coded data of the attribute data extracted in step S201, and generates the attribute data (decoding result). At that time, the attribute information decoding unit 203 has ⁇ 1.
  • the attribute information decoding unit 203 sets a reference point used for deriving a predicted value in the layering of attribute data based on the density of points around the reference point. The details of the attribute information decoding process will be described later.
  • step S204 the point cloud generation unit 204 generates a point cloud (decoding result) using the geometry data (decoding result) generated in step S202 and the attribute data (decoding result) generated in step S203. ,Output.
  • step S204 When the process of step S204 is completed, the decryption process is completed.
  • the decoding device 200 can correctly decode the coded data of the attribute data encoded by the same method.
  • the decoding device 200 can correctly decode the coded data of the attribute data encoded by the coding device 100 described above. Therefore, the reduction in prediction accuracy can be suppressed, and the reduction in coding efficiency can be suppressed.
  • the decoding unit 211 of the attribute information decoding unit 203 decodes the coded data of the attribute data and generates the attribute data (decoding result) in step S211.
  • This attribute data (decoding result) is quantized as described above.
  • step S212 the dequantization unit 212 dequantizes the attribute data (decoding result) generated in step S211 by executing the dequantization process.
  • step S213 the reverse layering processing unit 213 reverse-layers the dequantized attribute data (difference value) in step S212 by executing the reverse layering process, and derives the attribute data of each point.
  • the reverse layer processing unit 213 is described in ⁇ 1.
  • Inverse relationship control> reverse layering is performed by applying the above-mentioned technology.
  • the reverse layering processing unit 213 sets the reference points used for deriving the predicted value in the layering of the attribute data based on the density of the points around the reference points. The details of the reverse layering process will be described later.
  • step S213 When the process of step S213 is completed, the attribute information decoding process is completed, and the process returns to FIG.
  • the attribute information decoding unit 203 applies the above-mentioned "method 1" and refers to the reference point used for deriving the predicted value in the layering of the attribute data. It can be set based on the density of points around the point.
  • the reverse layer processing unit 213 applies the above-mentioned "method 1-1" to set a reference point located in the vicinity of the prediction point from which the prediction value is derived and the density of the surrounding points is not sparse. It can be set as a reference point used to derive the predicted value. Therefore, the reverse layering processing unit 213 can layer the attribute data so as to suppress the decrease in the prediction accuracy.
  • the attribute information decoding unit 203 can correctly decode the coded data encoded by the same method.
  • the attribute information decoding unit 203 can correctly decode the coded data of the attribute data encoded by the attribute information coding unit 104 described above. Therefore, the reduction in coding efficiency can be suppressed.
  • the reverse layering processing unit 213 When the reverse layering process is started, the reverse layering processing unit 213 performs layering processing of the attribute data (decoding result) using the geometry data (decoding result) in step S221, and is set on the coding side. In addition, the reference points and prediction points of each layer are restored, and the reference relationships of each layer are also restored. That is, the reverse layering processing unit 213 performs the same processing as the layering process performed by the layering processing unit 111, sets the reference points and prediction points of each layer, and further sets the reference relationship of each layer.
  • the reverse layering processing unit 213 applies the above-mentioned "method 1" to the layering processing unit 111, and sets the reference points used for deriving the predicted value as the density of points around the reference points. Set based on. Further, for example, the reverse layer processing unit 213 applies the above-mentioned "method 1-1", the density of the surrounding points is not sparse, and the reference point located in the vicinity of the prediction point from which the prediction value is derived. Can also be set as a reference point used to derive the predicted value.
  • step S222 the reverse layering processing unit 213 reversely layers the attribute data (decoding result) using this hierarchical structure and the reference relationship, and restores the attribute data at each point. That is, the reverse layering processing unit 213 derives the predicted value of the attribute data of the predicted point from the attribute data of the reference point based on the reference relationship, and adds the predicted value to the difference value of the attribute data (decoding result). Restore attribute data.
  • step S222 When the process of step S222 is completed, the reverse layering process is completed, and the process returns to FIG.
  • the reverse layering processing unit 213 can realize the same layering as in the case of coding. That is, the attribute information decoding unit 203 can correctly decode the coded data encoded by the same method. For example, the attribute information decoding unit 203 can correctly decode the coded data of the attribute data encoded by the attribute information coding unit 104 described above. Therefore, the reduction in coding efficiency can be suppressed.
  • Second Embodiment> ⁇ Method 1-2>
  • the coding device 100 and the decoding device 200 described in the first embodiment are not limited to the "method 1-1", and ⁇ 1. Any of the above techniques can be applied in Reference Relationship Control>.
  • the above-mentioned "method 1-2" can be applied. That is, in the layering of attribute data, the coding device 100 and the decoding device 200 refer to a reference point having a large number (or a small number) of peripheral points among a plurality of reference points having the same distance from the prediction point. It may be set as (a reference point used to derive a predicted value).
  • the configuration of the coding device 100 in this case is the same as that described in the first embodiment. Further, the coding process, the attribute information coding process, and the layering process are also performed in the same manner as in the case described in the first embodiment.
  • each process of steps S301 to S303 is executed in the same manner as each process of steps S141 to S143 (FIG. 16). Then, when the process of step S303 is completed, the process proceeds to step S304.
  • step S304 Each process of steps S304 to S306 is executed in the same manner as each process of steps S145 to S147 (FIG. 16). However, if it is determined in step S304 that the list is empty, the process proceeds to step S309. If it is determined in step S306 that the reference point to be processed is closer to the predicted point, the process proceeds to step S309. Further, in step S306, if it is determined that the reference point to be processed is not closer to the predicted point than the reference point included in the list, the process proceeds to step S307.
  • step S307 the reference relationship setting unit 122 determines whether or not the distance between the reference point to be processed and the prediction point is equal to the distance between the other reference points included in the list and the prediction point. .. If it is determined that these distances are equal to each other, the process proceeds to step S308.
  • step S308 the reference relationship setting unit 122 determines whether or not the density of points around the reference point to be processed is denser than the density of points around other reference points included in the list. To do. If it is determined that the reference points to be processed are denser, the process proceeds to step S309.
  • step S309 is executed in the same manner as the process of step S148 (FIG. 16).
  • the process of step S309 is completed, the process proceeds to step S310.
  • step S310 and step S311 are executed in the same manner as each process of step S149 and step S150. That is, if it is determined in step S310 that there is an unprocessed reference point, the process returns to step S303, and the subsequent processes are repeated. If it is determined that all the reference points have been processed, the process proceeds to step S311. If it is determined in step S311 that an unprocessed current node exists, the process returns to step S302, and the subsequent processes are repeated. If it is determined that all the current nodes have been processed, the reference relationship setting process ends, and the process returns to FIG.
  • the reference relationship setting unit 122 applies the above-mentioned "method 1" and refers to the reference point used for deriving the predicted value in the hierarchy of the attribute data. It can be set based on the density of points around the point. For example, the reference relationship setting unit 122 applies the above-mentioned "method 1-2" to select a reference point having a large number (or a small number) of peripheral points among a plurality of reference points having the same distance from the prediction point. It can be set as a reference point used to derive the predicted value. Therefore, the reference relationship setting unit 122 can layer the attribute data so as to suppress the reduction in the prediction accuracy, and thereby the reduction in the coding efficiency can be suppressed.
  • method 1 refers to the reference point used for deriving the predicted value in the hierarchy of the attribute data. It can be set based on the density of points around the point. For example, the reference relationship setting unit 122 applies the above-mentioned "method 1-2" to select a reference point having a large number (or
  • ⁇ Decoding side> The configuration of the decoding device 200 in this case is the same as that described in the first embodiment. Further, each process executed by the decoding device 200 is basically performed in the same manner as described in the first embodiment. However, when setting the reference relationship in the process of step S221 of FIG. 21, the reverse layering processing unit 213 may execute the reference relationship setting process of the flow as shown in the flowchart of FIG. 22.
  • Method 1-3 can be applied to the coding device 100 and the decoding device 200 described in the first embodiment. That is, in the layering of attribute data, the coding device 100 and the decoding device 200 determine a reference destination (a reference point used to derive the predicted value) based on the distance from the predicted point from which the predicted value is derived. Set the number of references in the above, and exclude the reference points with a sparse density of surrounding points from the reference points (reference points used to derive the predicted value) from the reference points for the predetermined number of references. May be good.
  • the coding device 100 and the decoding device 200 may exclude reference points whose number of peripheral points is equal to or less than a predetermined threshold value from the reference destination.
  • the configuration of the coding device 100 in this case is the same as that described in the first embodiment. Further, the coding process, the attribute information coding process, and the layering process are also performed in the same manner as in the case described in the first embodiment.
  • each process of step S331 and step S332 is executed in the same manner as each process of step S142 and step S143 (FIG. 16). Then, when the process of step S332 is completed, the process proceeds to step S333.
  • step S333 is executed in the same manner as the process of step S145 (FIG. 16). Then, when the process of step S333 is completed, the process proceeds to step S334.
  • step S334 to S336 is executed in the same manner as each process of steps S146 to S148 (FIG. 16).
  • step S336 proceeds to step S337. If it is determined in step S335 that the reference point to be processed is not closer to the predicted point than the reference point included in the list, the process proceeds to step S337.
  • step S337 is executed in the same manner as the process of step S149. That is, when it is determined in step S337 that there is an unprocessed reference point, the process returns to step S332, and the subsequent processes are repeated. If it is determined in step S337 that all the reference points have been processed, the process proceeds to step S338.
  • step S338 is executed in the same manner as in step S141 (FIG. 16).
  • step S338 proceeds to step S339.
  • step S339 the reference relationship setting unit 122 updates the list based on the lower limit of the number of references and the threshold value of the density. That is, the reference relationship setting unit 122 excludes sparse reference points from the reference destination within a range in which the number of references does not fall below the lower limit.
  • step S340 is executed in the same manner as in step S150 (FIG. 16). That is, if it is determined in step S340 that there is an unprocessed current node, the process returns to step S331, and the subsequent processes are repeated. If it is determined that all the current nodes have been processed, the reference relationship setting process ends, and the process returns to FIG.
  • the reference relationship setting unit 122 applies the above-mentioned "method 1" and refers to the reference point used for deriving the predicted value in the hierarchy of the attribute data. It can be set based on the density of points around the point.
  • the reference relationship setting unit 122 applies the above-mentioned "method 1-3" and refers to a reference point used for deriving the predicted value based on the distance from the predicted point from which the predicted value is derived. A few minutes can be set, and among the reference points for the predetermined number of references, reference points with a sparse density of surrounding points can be excluded from the reference points used for deriving the predicted value. Therefore, the reference relationship setting unit 122 can layer the attribute data so as to suppress the reduction in the prediction accuracy, and thereby the reduction in the coding efficiency can be suppressed.
  • ⁇ Decoding side> The configuration of the decoding device 200 in this case is the same as that described in the first embodiment. Further, each process executed by the decoding device 200 is basically performed in the same manner as described in the first embodiment. However, when setting the reference relationship in the process of step S221 of FIG. 21, the reverse layering processing unit 213 may execute the reference relationship setting process of the flow as shown in the flowchart of FIG. 23.
  • Method 2 can be applied to the coding device 100 and the decoding device 200 described in the first embodiment. That is, the coding device 100 and the decoding device 200 may set the reference point used for deriving the predicted value in the layering of the attribute data based on the color of the reference point.
  • the coding device 100 and the decoding device 200 set a candidate of a reference point used for deriving the predicted value based on the distance from the predicted point from which the predicted value is derived, and among the candidates.
  • the reference point used to derive the predicted value from may be set based on the color of the reference point.
  • the coding device 100 and the decoding device 200 may exclude candidates having a large color difference from the prediction point from which the predicted value is derived.
  • the coding device 100 and the decoding device 200 may transmit (for example, code) information about the set candidate as in "Method 2-1".
  • the coding device 100 and the decoding device 200 transmit information indicating whether or not each of the set candidates is referred to as the information regarding the candidates. It may be (for example, encoded).
  • the coding device 100 and the decoding device 200 transmit information indicating whether or not each of the set candidates is referred to as the information regarding the candidates. (For example, to encode).
  • the encoding device 100 and the decoding device 200 transmit (for example, encode) information indicating whether to refer to each of a predetermined number of candidates from a distance from a prediction point from which a predicted value is derived. You may.
  • the coding device 100 and the decoding device 200 provide information indicating which of the two set candidates is referred to as the information regarding the candidate. It may be transmitted (for example, encoded). For example, the coding device 100 and the decoding device 200 transmit (for example, encode) information indicating which of the two candidates is referred to from the farthest distance from the prediction point from which the predicted value is derived. It may be.
  • the configuration of the coding device 100 in this case is the same as that described in the first embodiment. Further, the coding process, the attribute information coding process, and the layering process are also performed in the same manner as in the case described in the first embodiment.
  • each process of steps S361 to S367 is executed in the same manner as each process of steps S331 to S337 (FIG. 23).
  • a list of reference destinations reference points used for deriving the predicted value
  • the process of step S367 is completed, the process proceeds to step S368.
  • step S368 the reference relationship setting unit 122 sets the reference based on the recolored attribute data. That is, the reference relationship setting unit 122 sets whether or not to refer to the reference destination candidate based on the color of the reference point.
  • the reference relationship setting unit 122 generates a bit pattern indicating the reference relationship set in step S368. For example, the reference relationship setting unit 122 generates a bit pattern indicating whether to refer to each of all the candidates. Further, for example, the reference relationship setting unit 122 generates a bit pattern indicating whether to refer to each of some candidates. For example, the reference relationship setting unit 122 generates a bit pattern indicating whether to refer to each of a predetermined number of candidates from the farthest distance from the prediction point from which the prediction value is derived. Further, for example, the reference relationship setting unit 122 generates a bit pattern indicating which of the two set candidates is to be referred to. For example, the reference relationship setting unit 122 generates a bit pattern indicating which of the two candidates is referred to from the farthest distance from the prediction point from which the prediction value is derived.
  • step S369 the reference relationship setting unit 122 encodes the generated bit pattern and transmits it.
  • step S370 the process proceeds to step S370.
  • step S370 is executed in the same manner as in step S340 (FIG. 23). That is, if it is determined in step S370 that an unprocessed current node exists, the process returns to step S361, and the subsequent processes are repeated. If it is determined that all the current nodes have been processed, the reference relationship setting process ends, and the process returns to FIG.
  • the reference relationship setting unit 122 applies the above-mentioned "method 2" and refers to the reference point used for deriving the predicted value in the hierarchy of the attribute data. It can be set based on the color of the points. Therefore, the reference relationship setting unit 122 can layer the attribute data so as to suppress the reduction in the prediction accuracy, and thereby the reduction in the coding efficiency can be suppressed.
  • ⁇ Decoding side> The configuration of the decoding device 200 in this case is the same as that described in the first embodiment. Further, the decoding process and the attribute information decoding process executed by the decoding device 200 are also basically performed in the same manner as in the case described in the first embodiment.
  • the reverse layering process unit 213 When the reverse layering process is started, the reverse layering process unit 213 performs the layering process of the attribute data (decoding result) using the geometry data (decoding result) and the list of reference destination candidates in step S391. , Restores the reference points and prediction points of each layer set on the coding side, and further restores the reference relationship of each layer. That is, the reverse layering processing unit 213 performs the same processing as the layering process (FIG. 24) performed by the layering processing unit 111, sets the reference point and the prediction point of each layer, and further, the reference relationship of each layer. To set.
  • the reverse layering processing unit 213 applies the above-mentioned "method 2" and sets a reference point used for deriving a predicted value based on the color of the reference point, similarly to the layering processing unit 111. To do.
  • step S392 is executed in the same manner as in step S222 (FIG. 21).
  • step S222 the reverse layering process is completed, and the process returns to FIG.
  • the reverse layering processing unit 213 can realize the same layering as in the case of coding. That is, the attribute information decoding unit 203 can correctly decode the coded data encoded by the same method. For example, the attribute information decoding unit 203 can correctly decode the coded data of the attribute data encoded by the attribute information coding unit 104 described above. Therefore, the reduction in coding efficiency can be suppressed.
  • Lifting has been described as an example as a method for layering / reversing attribute information, but this technique can be applied to any technique for layering attribute information. That is, the method of layering / reversing the attribute information may be other than Lifting. Further, the method of layering / reversing the attribute information may be a scalable method as described in Non-Patent Document 3 or a non-scalable method.
  • control information related to the present technology described in each of the above embodiments may be transmitted from the coding side to the decoding side.
  • control information for example, enabled_flag
  • enabled_flag controls whether or not the application of the present technology described above is permitted (or prohibited)
  • a control for designating a range for example, an upper limit or a lower limit of a block size, or both, a slice, a picture, a sequence, a component, a view, a layer, etc.
  • Information may be transmitted.
  • the positional relationship such as “neighborhood” and “periphery” may include not only a spatial positional relationship but also a temporal positional relationship.
  • the series of processes described above can be executed by hardware or software.
  • the programs constituting the software are installed on the computer.
  • the computer includes a computer embedded in dedicated hardware, a general-purpose personal computer capable of executing various functions by installing various programs, and the like.
  • the CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 901 loads the program stored in the storage unit 913 into the RAM 903 via the input / output interface 910 and the bus 904 and executes the above-described series. Is processed.
  • the RAM 903 also appropriately stores data and the like necessary for the CPU 901 to execute various processes.
  • the program executed by the computer can be recorded and applied to the removable media 921 as a package media or the like, for example.
  • the program can be installed in the storage unit 913 via the input / output interface 910 by mounting the removable media 921 in the drive 915.
  • This program can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting. In that case, the program can be received by the communication unit 914 and installed in the storage unit 913.
  • this technology can be applied to a network system composed of a plurality of devices.
  • the present technology may be implemented as cloud computing that is shared and jointly processed by a plurality of devices via a network.
  • this technology is implemented in a cloud service that provides services related to images (moving images) to arbitrary terminals such as computers, AV (AudioVisual) devices, portable information processing terminals, and IoT (Internet of Things) devices. You may try to do it.
  • Systems, devices, processing units, etc. to which this technology is applied can be used in any field such as transportation, medical care, crime prevention, agriculture, livestock industry, mining, beauty, factories, home appliances, weather, nature monitoring, etc. .. Moreover, the use is arbitrary.
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be collectively configured as one device (or processing unit).
  • a configuration other than the above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of one device (or processing unit) may be included in the configuration of another device (or other processing unit). ..
  • a plurality of technologies related to this technology can be independently implemented independently as long as there is no contradiction.
  • any plurality of the present technologies can be used in combination.
  • some or all of the techniques described in any of the embodiments may be combined with some or all of the techniques described in other embodiments. It is also possible to carry out a part or all of any of the above-mentioned techniques in combination with other techniques not described above.
  • the stratified unit sets the reference point, which is not sparse in density of peripheral points and is located in the vicinity of the predicted point, as the reference point used to derive the predicted value (3).
  • the information processing device according to 2).
  • (4) The information processing apparatus wherein the layered unit uses the reference points whose number of peripheral points is equal to or less than a predetermined threshold value as the reference points having a sparse density of peripheral points.
  • the layering unit uses the reference point having a large number of peripheral points among the plurality of reference points having the same distance from the prediction point as the reference point used for deriving the prediction value.
  • the information processing device according to any one of (2) to (4) to be set.
  • the layering unit uses the reference point, which has a small number of peripheral points, as the reference point for deriving the predicted value among the plurality of reference points having the same distance from the predicted point.
  • the information processing device according to any one of (2) to (5) to be set.
  • the layering unit sets the reference points used for deriving the predicted value by a predetermined number of references based on the distance from the predicted point from which the predicted value is derived, and sets the predetermined reference.
  • Information processing device. (8) The information processing apparatus according to (7), wherein the layering unit excludes the reference points whose number of peripheral points is equal to or less than a predetermined threshold value from the reference points used for deriving the predicted value. (9) The information processing apparatus according to (7) or (8), wherein the layering unit excludes the reference points based on the density of peripheral points within a range in which the number of references is equal to or greater than a predetermined lower limit.
  • the coding unit encodes, as the information, information indicating whether to refer to each of a predetermined number of the candidates from a distance from the prediction point from which the prediction value is derived (16).
  • the information processing device described in. (18) The coding unit encodes information indicating which of the two candidates set by the layering unit is referred to as the information (14) to (17).
  • the information processing device described in. (19) The coding unit encodes, as the information, information indicating which of the two candidates is referred to from the farther distance from the prediction point from which the prediction value is derived (18). ).
  • 100 coding device 101 position information coding unit, 102 position information decoding unit, 103 point cloud generation unit, 104 attribute information coding unit, 105 bit stream generation unit, 111 layering processing unit, 112 quantization unit, 113 code Quantization unit, 121 reference point setting unit, 122 reference relationship setting unit, 123 inversion unit, 124 weight value derivation unit, 200 decoding device, 201 coding data extraction unit, 202 position information decoding unit, 203 attribute information decoding unit, 204 points Cloud generation unit, 211 decoding unit, 212 dequantization unit, 213 delayering processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本開示は、符号化効率の低減を抑制することができるようにする情報処理装置および方法に関する。 ３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのポイント毎の属性情報について、属性情報とその属性情報の予測値との差分値を導出する予測ポイントと、その予測値の導出に用いられる参照ポイントとの分類を参照ポイントに対して再帰的に繰り返すことにより、属性情報の階層化を行う際に、その予測値を導出するのに用いる参照ポイントを、参照ポイント周辺のポイントの密度または参照ポイントの色に基づいて設定する。本開示は、例えば、情報処理装置、画像処理装置、符号化装置、復号装置、電子機器、情報処理方法、またはプログラム等に適用することができる。

Description

情報処理装置および方法
　本開示は、情報処理装置および方法に関し、特に、符号化効率の低減を抑制することができるようにした情報処理装置および方法に関する。
　従来、例えばポイントクラウド（Point cloud）のような３次元構造を表す３Ｄデータの符号化方法が考えられた（例えば非特許文献１参照）。ポイントクラウドのデータは、各ポイントのジオメトリデータ（位置情報とも称する）およびアトリビュートデータ（属性情報とも称する）により構成される。したがってポイントクラウドの符号化は、そのジオメトリデータとアトリビュートデータとのそれぞれについて行われる。アトリビュートデータの符号化方法として様々な方法が提案されている。例えば、Liftingという技術を用いて行うことが提案された（例えば非特許文献２参照）。また、アトリビュートデータをスケーラブルに復号することができるようにする方法も提案された（例えば、非特許文献３参照）。
　このようなLifting Schemeにおいては、参照ポイントのアトリビュートデータを用いて予測ポイントのアトリビュートデータの予測値が導出され、その予測値とアトリビュートデータとの差分値が符号化される。その際、各予測ポイントについて、Morton Order でソートされた対象のある範囲がシークされ、規定の数の近傍の参照ポイントが参照先とされる。
R. Mekuria, Student Member IEEE, K. Blom, P. Cesar., Member, IEEE, "Design, Implementation and Evaluation of a Point Cloud Codec for Tele-Immersive Video",tcsvt_paper_submitted_february.pdf Khaled Mammou, Alexis Tourapis, Jungsun Kim, Fabrice Robinet, Valery Valentin, Yeping Su, "Lifting Scheme for Lossy Attribute Encoding in TMC1", ISO/IEC JTC1/SC29/WG11 MPEG2018/m42640, April 2018, San Diego, US Ohji Nakagami, Satoru Kuma, "[G-PCC] Spatial scalability support for G-PCC", ISO/IEC JTC1/SC29/WG11 MPEG2019/m47352, March 2019, Geneva, CH
　しかしながら、一般的に、周辺に位置する他のポイントが少ないポイント（疎なポイントとも称する）は、周辺に位置する他のポイントが多いポイント（密なポイントとも称する）に比べて、他のポイントとのアトリビュートデータの相関性が低い。したがって、疎なポイントのアトリビュートデータを参照して予測値を導出すると、密なポイントのアトリビュートデータを参照する場合に比べて予測精度が低減し、符号化効率が低減するおそれがあった。
　本開示は、このような状況に鑑みてなされたものであり、符号化効率の低減を抑制することができるようにするものである。
　本技術の一側面の情報処理装置は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの前記ポイント毎の属性情報について、前記属性情報と前記属性情報の予測値との差分値を導出する予測ポイントと、前記予測値の導出に用いられる参照ポイントとの分類を前記参照ポイントに対して再帰的に繰り返すことにより、前記属性情報の階層化を行う階層化部を備え、前記階層化部は、前記予測値を導出するのに用いる前記参照ポイントを、前記参照ポイント周辺のポイントの密度に基づいて設定する情報処理装置である。
　本技術の一側面の情報処理方法は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの前記ポイント毎の属性情報について、前記属性情報と前記属性情報の予測値との差分値を導出する予測ポイントと、前記予測値の導出に用いられる参照ポイントとの分類を前記参照ポイントに対して再帰的に繰り返すことにより、前記属性情報の階層化を行う際に、前記予測値を導出するのに用いる前記参照ポイントを、前記参照ポイント周辺のポイントの密度に基づいて設定する情報処理方法である。
　本技術の他の側面の情報処理装置は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの前記ポイント毎の属性情報について、前記属性情報と前記属性情報の予測値との差分値を導出する予測ポイントと、前記予測値の導出に用いられる参照ポイントとの分類を前記参照ポイントに対して再帰的に繰り返すことにより、前記属性情報の階層化を行う階層化部を備え、前記階層化部は、前記予測値を導出するのに用いる前記参照ポイントを、前記参照ポイントの色に基づいて設定する情報処理装置である。
　本技術の他の側面の情報処理方法は、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの前記ポイント毎の属性情報について、前記属性情報と前記属性情報の予測値との差分値を導出する予測ポイントと、前記予測値の導出に用いられる参照ポイントとの分類を前記参照ポイントに対して再帰的に繰り返すことにより、前記属性情報の階層化を行う際に、前記予測値を導出するのに用いる前記参照ポイントを、前記参照ポイントの色に基づいて設定する情報処理方法である。
　本技術の一側面の情報処理装置および方法においては、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのポイント毎の属性情報について、属性情報とその属性情報の予測値との差分値を導出する予測ポイントと、その予測値の導出に用いられる参照ポイントとの分類を参照ポイントに対して再帰的に繰り返すことにより、属性情報の階層化を行う際に、予測値を導出するのに用いる参照ポイントが、その参照ポイント周辺のポイントの密度に基づいて設定される。
　本技術の他の側面の情報処理装置および方法においては、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのポイント毎の属性情報について、属性情報とその属性情報の予測値との差分値を導出する予測ポイントと、その予測値の導出に用いられる参照ポイントとの分類を参照ポイントに対して再帰的に繰り返すことにより、属性情報の階層化を行う際に、予測値を導出するのに用いる参照ポイントが、その参照ポイントの色に基づいて設定される。
Liftingの様子の例を説明する図である。 参照関係設定方法の例を説明する図である。 参照関係設定方法の例を説明する図である。 モートン順に参照関係を設定する方法の例を説明する図である。 方法１－１を用いた参照関係設定方法の例を説明する図である。 方法１－２を用いた参照関係設定方法の例を説明する図である。 方法１－３を用いた参照関係設定方法の例を説明する図である。 方法２－１－１を用いた参照関係設定方法の例を説明する図である。 方法２－１－２または方法２－１－３を用いた参照関係設定方法の例を説明する図である。 符号化装置の主な構成例を示すブロック図である。 属性情報符号化部の主な構成例を示すブロック図である。 階層化処理部の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 属性情報符号化処理の流れの例を説明するフローチャートである。 階層化処理の流れの例を説明するフローチャートである。 参照関係設定処理の流れの例を説明するフローチャートである。 復号装置の主な構成例を示すブロック図である。 属性情報復号部の主な構成例を示すブロック図である。 復号処理の流れの例を説明するフローチャートである。 属性情報復号処理の流れの例を説明するフローチャートである。 逆階層化処理の流れの例を説明するフローチャートである。 参照関係設定処理の流れの例を説明するフローチャートである。 参照関係設定処理の流れの例を説明するフローチャートである。 参照関係設定処理の流れの例を説明するフローチャートである。 逆階層化処理の流れの例を説明するフローチャートである。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．参照関係の制御
　２．第１の実施の形態（方法１－１）
　３．第２の実施の形態（方法１－２）
　４．第３の実施の形態（方法１－３）
　５．第４の実施の形態（方法２）
　６．付記
　＜１．参照関係の制御＞
　　＜技術内容・技術用語をサポートする文献等＞
　本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献に記載されている内容も含まれる。
　非特許文献１：（上述）
　非特許文献２：（上述）
　非特許文献３：（上述）
　つまり、上述の非特許文献に記載されている内容や、上述の非特許文献において参照されている他の文献の内容等も、サポート要件を判断する際の根拠となる。
　　＜ポイントクラウド＞
　従来、ポイントの位置情報や属性情報等により３次元構造を表すポイントクラウド（Point cloud）や、頂点、エッジ、面で構成され、多角形表現を使用して３次元形状を定義するメッシュ（Mesh）等の３Ｄデータが存在した。
　例えばポイントクラウドの場合、立体構造物（３次元形状のオブジェクト）を多数の点の集合として表現する。ポイントクラウドのデータ（ポイントクラウドデータとも称する）は、各点の位置情報（ジオメトリデータとも称する）と属性情報（アトリビュートデータとも称する）とにより構成される。アトリビュートデータは任意の情報を含むことができる。例えば、各ポイントの色情報、反射率情報、法線情報等がアトリビュートデータに含まれるようにしてもよい。このようにポイントクラウドデータは、データ構造が比較的単純であるとともに、十分に多くの点を用いることにより任意の立体構造物を十分な精度で表現することができる。
　　＜ボクセルを用いた位置情報の量子化＞
　このようなポイントクラウドデータはそのデータ量が比較的大きいので、符号化等によるデータ量を圧縮するために、ボクセル（Voxel）を用いた符号化方法が考えられた。ボクセルは、ジオメトリデータ（位置情報）を量子化するための３次元領域である。
　つまり、ポイントクラウドを内包する３次元領域（バウンディングボックス（Bounding box）とも称する）をボクセルと称する小さな３次元領域に分割し、そのボクセル毎に、ポイントを内包するか否かを示すようにする。このようにすることにより、各ポイントの位置はボクセル単位に量子化される。したがって、ポイントクラウド（Point cloud）データをこのようなボクセルのデータ（ボクセル（Voxel）データとも称する）に変換することにより、情報量の増大を抑制する（典型的には情報量を削減する）ことができる。
　　＜Octree＞
　さらに、ジオメトリデータについて、このようなボクセル（Voxel）データを用いてOctreeを構築することが考えられた。Octreeは、ボクセルデータを木構造化したものである。このOctreeの最下位のノードの各ビットの値が、各ボクセルのポイントの有無を示す。例えば、値「１」がポイントを内包するボクセルを示し、値「０」がポイントを内包しないボクセルを示す。Octreeでは、１ノードが８つのボクセルに対応する。つまり、Octreeの各ノードは、８ビットのデータにより構成され、その８ビットが８つのボクセルのポイントの有無を示す。
　そして、Octreeの上位のノードは、そのノードに属する下位ノードに対応する８つのボクセルを１つにまとめた領域のポイントの有無を示す。つまり、下位ノードのボクセルの情報をまとめることにより上位ノードが生成される。なお、値が「０」のノード、すなわち、対応する８つのボクセルが全てポイントを内包しない場合、そのノードは削除される。
　このようにすることにより、値が「０」でないノードからなる木構造（Octree）が構築される。つまり、Octreeは、各解像度のボクセルのポイントの有無を示すことができる。Octree化して符号化することにより、位置情報は、最高解像度（最上位層）から所望の階層（解像度）まで復号することにより、その解像度のポイントクラウドデータを復元することができる。つまり、不要な階層（解像度）の情報を復号せずに、容易に任意の解像度で復号することができる。換言するに、ボクセル（解像度）のスケーラビリティを実現することができる。
　また、上述のように値が「０」のノードを省略することにより、ポイントが存在しない領域のボクセルを低解像度化することができるので、さらなる情報量の増大の抑制（典型的には情報量の削減）を行うことができる。
　　＜Lifting＞
　これに対してアトリビュートデータ（属性情報）を符号化する際は、符号化による劣化を含めジオメトリデータ（位置情報）を既知であるものとして、ポイント間の位置関係を利用して符号化が行われる。このようなアトリビュートデータの符号化方法として、RAHT（Region Adaptive Hierarchical Transform）や、非特許文献２に記載のようなLiftingと称する変換を用いる方法が考えられた。これらの技術を適用することにより、ジオメトリデータのOctreeのように、アトリビュートデータを階層化することもできる。
　例えば非特許文献２に記載のLiftingの場合、各ポイントのアトリビュートデータは、他のポイントのアトリビュートデータを用いて導出される予測値との差分値として符号化される。その際、各ポイントが階層化され、差分値はその階層構造にしたがって導出される。
　つまり、ポイント毎のアトリビュートデータについて、各ポイントが予測ポイントと参照ポイントとに分類され、その参照ポイントのアトリビュートデータを用いて予測ポイントのアトリビュートデータの予測値が導出され、その予測ポイントのアトリビュートデータと予測値との差分値が導出される。このような処理を、参照ポイントに対して再帰的に繰り返すことにより、各ポイントのアトリビュートデータが階層化される。
　非特許文献２に記載のLiftingの場合、ジオメトリデータを用いてポイント間の距離に基づいてこの階層化が行われる。つまり、参照ポイントから所定の距離の範囲内に位置するポイントが、その参照ポイントを参照して予測値が導出される予測ポイントとして設定される。例えば、図１においてポイントP5を参照ポイントとして選択するとする。その場合、予測ポイントは、そのポイントP5を中心とする半径Rの円形領域内において探索される。この場合、ポイントP9が、その領域内に位置するので、ポイントP5を参照して予測値が導出される予測ポイント（ポイントP５を参照ポイントとする予測ポイント）として設定される。
　このような処理により、例えば、白丸で示されるポイントP7乃至ポイントP9の各差分値と、斜線模様で示されるポイントP1、ポイントP3、およびポイントP6の各差分値と、グレーの丸で示されるポイントP0、ポイントP2、ポイントP4、およびポイントP5の各差分値とが、互いに異なる階層の差分値として導出される。
　このようなLifting Schemeにおいては、各予測ポイントについて、モートン順（Morton Order）でソートされた対象のある範囲がシークされ、規定の数の近傍の参照ポイントが参照先とされる。
　例えば、図２のＡに示されるように、丸で示されるポイント群が階層化されるとする。その際、ポイント０の近傍の参照ポイントが、図２のＢに示されるように、ポイント１乃至ポイント４であるとする。ここでポイント３およびポイント４は、ポイント０からの距離が互いに等しく、かつ、ポイント１およびポイント２よりも遠い。このような場合、ポイント０の参照数が３であるとすると、ポイント３およびポイント４の内のいずれか一方のみが参照先として設定し得る。
　例えば、モートン順が図３に示されるようにポイント３、ポイント２、ポイント１、ポイント０、・・・の順であるとすると、ポイント３は、モートン順においてポイント４よりも先に出現する。そのためポイント３が参照先として設定される。つまり、図３において斜線模様で示されるポイント１乃至ポイント３が、ポイント０のアトリビュートデータの予測値を導出するために参照される参照ポイントとして設定される。
　しかしながら、一般的に、周辺に位置する他のポイントが少ないポイント（疎なポイントとも称する）は、周辺に位置する他のポイントが多いポイント（密なポイントとも称する）に比べて、他のポイントとのアトリビュートデータの相関性が低い。したがって、疎なポイントのアトリビュートデータを参照して予測値を導出すると、密なポイントのアトリビュートデータを参照する場合に比べて予測精度が低減し、符号化効率が低減するおそれがあった。
　　＜疎密に基づく参照関係の設定＞
　そこで、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのポイント毎の属性情報について、属性情報とその属性情報の予測値との差分値を導出する予測ポイントと、予測値の導出に用いられる参照ポイントとの分類を参照ポイントに対して再帰的に繰り返すことにより、属性情報の階層化を行う際に、図４の表の一番上の段に示される方法１のように、参照ポイントの周辺のポイントの密度（または数）に基づいて参照関係を設定するようにしてもよい。
　例えば、周辺に位置するポイントが多い参照ポイント（密な参照ポイント）を、予測値の導出に用いられる参照ポイント（参照先）として選択するようにしてもよい。また、例えば、周辺に位置するポイントが少ない参照ポイント（疎な参照ポイント）を、予測値の導出に用いられる参照ポイント（参照先）として選択するようにしてもよい。
　ポイントが疎であるか密であるかの判断方法は任意である。例えば、所定の範囲内のポイントの数に基づいて判断してもよい。つまり、例えば、所定の範囲内のポイント数が多ければ密な参照ポイントと判断し、少なければ疎な参照ポイントと判断してもよい。なお、この「所定の範囲」は任意である。例えば、参照ポイントを中心とする所定の半径ｒの範囲であってもよいし、参照ポイントが位置するボクセルを中心とする所定の個数のボクセルからなる領域（ボクセルエリア）であってもよい。なお、このポイント数が多いか少ないかの判断方法は任意である。
　また、隣接するポイントの数に基づいて疎であるか密であるかを判断してもよい。例えば、所定のグリッド単位において隣接するポイントが多ければ密な参照ポイントと判断し、少なければ疎な参照ポイントと判断してもよい。また、例えば、参照ポイントが位置するボクセルに隣接する他のボクセルに位置するポイントが多ければ密な参照ポイントと判断し、少なければ疎な参照ポイントと判断してもよい。なお、このポイント数が多いか少ないかの判断方法は任意である。
　また、参照ポイントに近い方から順に他のポイントを選択した際にＮ（所定の整数）番目に選択される他のポイントとその参照ポイントとの距離に基づいて疎であるか密であるかを判断してもよい。例えば、Ｎ番目に選択される他のポイントから参照ポイントまでの距離が近ければ密な参照ポイントと判断し、遠ければ疎な参照ポイントと判断してもよい。なお、この距離の遠近の判断方法は任意である。例えば、その距離が、所定の閾値以上である（または閾値より長い）場合遠いと判断し、所定の閾値より短い（または閾値以下である）場合近いと判断してもよい。
　このようにすることにより、周辺のポイントの密度（または数）による予測精度の影響を考慮して参照ポイントを選択することができる。したがって、予測精度の低減を抑制することができ、符号化効率の低減を抑制することができる。
　もちろん、例えば、予測値を導出するのに用いる参照ポイントを、その予測値を導出する予測ポイントからの距離と、周辺のポイントの密度（または数）との両方に基づいて設定するようにしてもよい。一般的に予測値の予測精度は、その予測に用いる参照ポイントと予測ポイントとの距離に比例する。したがって、このようにポイントの疎密だけでなく、ポイント間の距離も考慮することにより、より予測精度の高い参照ポイントを選択することができ、符号化効率の低減を抑制することができる。
　また、例えば、図４の表の上から２番目の段に示される方法１－１のように、疎なポイントを参照先の候補から除外するようにしてもよい。つまり、周辺に位置するポイントが少ない参照ポイントを除外し、その他の参照ポイントの中から予測値を導出するのに用いる参照ポイントを選択するようにしてもよい。すなわち、周辺のポイントの密度が疎でなく（または数が十分に多く）、かつ、予測値を導出する予測ポイントの近傍に位置する参照ポイントを、その予測値を導出するのに用いる参照ポイントとして設定してもよい。例えば、その他の参照ポイントの中から、予測値を導出する予測ポイントから近い順に所定数の参照ポイントを、予測値を導出するのに用いる参照ポイントとして選択するようにしてもよい。
　その際、図４の表の上から３番目の段に示される方法１－１－１のように、疎なポイントであるか否かの判定に閾値を用いるようにしてもよい。つまり、例えば周辺のポイントの数が所定の閾値以下の（または閾値より少ない）参照ポイントを「疎なポイント」と判定するようにしてもよい。換言するに、周辺のポイントの数が所定の閾値より多い（または閾値以上の）参照ポイントを参照先の候補としてもよい。例えば、周辺のポイントの数が所定の閾値より多い（または閾値以上の）参照ポイントの中から、予測値を導出する予測ポイントから近い順に所定数の参照ポイントを選択するようにしてもよい。
　この参照ポイントの「周辺」とする領域（すなわち、上述の所定の範囲）は、上述のように任意である。例えば、図２のＢの場合、処理対象のポイントを中心とする３×３の四角内を処理対象のポイントの「周辺」とすると、各ポイントの周辺のポイント数は、図５のＡのようになる。図５のＡにおいて丸で示される各ポイント内の数字が、周辺のポイント数を示している。そして、図５のＢにおいては、この周辺のポイント数が２未満の参照ポイントが参照先の候補から除外されている。そのため、ポイント３が候補から除外され、斜線模様で示されるポイント２、ポイント２、およびポイント４が選択されている。
　このようにすることにより、より密なポイントを用いて予測値を導出することができ、予測精度の低減を抑制することができ、符号化効率の低減を抑制することができる。また、閾値判定を適用することにより、容易に「疎なポイント」を判定することができ、この判定処理による負荷の増大を抑制することができる。さらに、疎密を判定するための範囲を上述のように限定する（「周辺」とする）ことにより、より容易に「疎なポイント」を判定することができ、この判定処理による負荷の増大を抑制することができる。
　なお、この閾値は、予め、規格等で規定される等して、符号化側および復号側の両方で既知であるようにしてもよいし、符号化の際に用いた閾値が符号化側から復号側に伝送され、復号側はその伝送された閾値を用いて復号を行うようにしてもよい（つまり、閾値を示す情報をシグナリングするようにしてもよい）。この閾値の伝送方法は任意である。例えば、閾値を示す情報が、ポイントクラウドの符号化データを含むビットストリームに含められてもよいし、ポイントクラウドの符号化データのビットストリームとは別のデータとして伝送されるようにしてもよい。
　また、図４の表の上から４番目の段に示される方法１－２のように、複数の参照ポイントが予測値を導出する予測ポイントから等距離に位置する場合、より密なポイントを参照先として選択するようにしてもよい。つまり、予測ポイントからの距離が等しい複数の参照ポイントの内、周辺のポイントの数が多い方を、予測値を導出するのに用いる参照ポイントとして設定してもよい。
　例えば、図２のＢの場合、ポイント３とポイント４は、ポイント０から互いに等距離に位置する。したがって、参照数を３とし、ポイント０に近い方から順に参照ポイントを選択すると、ポイント３とポイント４のいずれか一方を選択することになる。その際、方法１－２のように、より密なポイントを参照先として選択するようにしてもよい。例えば図６のように、処理対象のポイントを中心とする３×３の四角内を処理対象のポイントの「周辺」とすると、ポイント３は、自身も含めて３つ（3/9）となり、ポイント４は、自身も含めて５つ（5/9）となる。したがって、より密なポイント４が選択される。
　このようにすることにより、より密なポイントを用いて予測値を導出することができ、予測精度の低減を抑制することができ、符号化効率の低減を抑制することができる。
　なお、複数の参照ポイントが予測値を導出する予測ポイントから等距離に位置する場合、より疎なポイントを参照先として選択するようにしてもよい。つまり、予測ポイントからの距離が等しい複数の参照ポイントの内、周辺のポイントの数が少ない方を、予測値を導出するのに用いる参照ポイントとして設定してもよい。
　また、図４の表の上から５番目の段に示される方法１－３のように、参照先（予測値を導出するのに用いる参照ポイント）として選択した単数または複数の参照ポイントの中から、疎なポイントを除外するようにしてもよい。
　例えば、図７のように、予測値を導出する予測ポイントから近い順に所定数の参照ポイントを選択し、その中から疎なポイントを除外するようにしてもよい。図７の例の場合、ポイント１乃至ポイント３が参照先として選択され（図中左）、その後、疎なポイント３が参照先から除外されている（図中右）。
　つまり、予測値を導出する予測ポイントからの距離に基づいて、予測値を導出するのに用いる参照ポイントを所定の参照数分設定し、その所定の参照数分の参照ポイントの内、周辺のポイントの密度が疎な参照ポイントを、予測値を導出するのに用いる参照ポイントから除外してもよい。このようにすることにより、より密なポイントを用いて予測値を導出することができ、予測精度の低減を抑制することができ、符号化効率の低減を抑制することができる。
　その際、図４の表の上から６番目の段に示される方法１－３－１のように、疎なポイントであるか否かの判定に閾値を用いるようにしてもよい。つまり、例えば周辺のポイントの数が所定の閾値以下の（または閾値より少ない）参照ポイントを「疎なポイント」と判定するようにしてもよい。
　このようにすることにより、容易に「疎なポイント」を判定することができ、この判定処理による負荷の増大を抑制することができる。
　なお、この閾値は、予め、規格等で規定される等して、符号化側および復号側の両方で既知であるようにしてもよいし、符号化の際に用いた閾値が符号化側から復号側に伝送され、復号側はその伝送された閾値を用いて復号を行うようにしてもよい（つまり、閾値を示す情報をシグナリングするようにしてもよい）。この閾値の伝送方法は任意である。例えば、閾値を示す情報が、ポイントクラウドの符号化データを含むビットストリームに含められてもよいし、ポイントクラウドの符号化データのビットストリームとは別のデータとして伝送されるようにしてもよい。
　なお、設定した所定の参照数分の参照ポイントの内、周辺のポイントの密度が密な参照ポイントを、予測値を導出するのに用いる参照ポイントから除外してもよい。
　また、図４の表の上から７番目の段に示される方法１－３－２のように、周辺のポイントの密度に基づく除外が、選択される参照ポイントの数（参照数）が所定の下限以上となる範囲で行われるようにしてもよい。このようにすることにより、所定の参照数を確保することができ、参照数の低減による予測精度の低減を抑制することができる。
　なお、この参照数の下限は、予め、規格等で規定される等して、符号化側および復号側の両方で既知であるようにしてもよいし、符号化の際に用いた下限が符号化側から復号側に伝送され、復号側はその伝送された下限を用いて復号を行うようにしてもよい（つまり、下限を示す情報をシグナリングするようにしてもよい）。この下限の伝送方法は任意である。例えば、下限を示す情報が、ポイントクラウドの符号化データを含むビットストリームに含められてもよいし、ポイントクラウドの符号化データのビットストリームとは別のデータとして伝送されるようにしてもよい。
　　＜色に基づく参照関係の設定＞
　また、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドのポイント毎の属性情報について、属性情報とその属性情報の予測値との差分値を導出する予測ポイントと、予測値の導出に用いられる参照ポイントとの分類を参照ポイントに対して再帰的に繰り返すことにより、属性情報の階層化を行う際に、図４の表の上から８番目の段に示される方法２のように、参照ポイントの色に基づいて参照関係を設定するようにしてもよい。
　このようにすることにより、参照ポイントの色による予測精度の影響を考慮して参照ポイントを選択することができる。したがって、予測精度の低減を抑制することができ、符号化効率の低減を抑制することができる。
　もちろん、例えば、予測値を導出するのに用いる参照ポイントを、その予測値を導出する予測ポイントからの距離と、参照ポイントの色との両方に基づいて設定するようにしてもよい。例えば、予測値を導出するのに用いる参照ポイントの候補を、その予測値を導出する予測ポイントからの距離に基づいて設定し、その候補の中から予測値を導出するのに用いる参照ポイントを、参照ポイントの色に基づいて設定してもよい。このように複数のパラメータに基づいて参照ポイントを選択することにより、より予測精度の高い参照ポイントを選択することができ、符号化効率の低減を抑制することができる。
　色に基づく参照ポイントの選択において、例えば、予測ポイントと同色またはより近似した色の参照ポイントを選択するようにしてもよい。換言するに、例えば上述のように予測ポイントからの距離に基づいて設定された候補の中から、予測値を導出する予測ポイントとの色の差が大きい候補を除外してもよい。
　このようにすることにより、予測ポイントと同色またはより近似した色の参照ポイントを用いて予測値を導出することができるので、予測精度の低減を抑制することができ、符号化効率の低減を抑制することができる。
　なお、色に基づく参照ポイントの選択において、例えば、予測ポイントと同色またはより近似した色の参照ポイントを候補から除外してもよい。また、参照ポイントの色以外のアトリビュートデータに基づいて参照ポイントを選択するようにしてもよい。
　また、図４の表の上から９番目の段に示される方法２－１のように、以上のように設定された候補に関する情報を符号化側から復号側に伝送するようにしてもよい。例えば、この候補に関する情報を符号化し、ポイントクラウドの符号化データを含むビットストリームに含めてもよい。
　例えば、図４の表の上から１０番目の段に示される方法２－１－１のように、候補に関する情報として、設定された全ての候補のそれぞれについて参照するか否かを示す情報が、符号化側から復号側に伝送されるようにしてもよい。
　図２のＢの各ポイントの色の例を、図８のＡにおいて色や模様で示している。この例の場合、ポイント０、ポイント１、ポイント２、およびポイント４は、互いに同色であり、ポイント３はそれらと異なる色である。この場合において、予測値を導出するポイント０から近い順に４つを候補として選択すると、図８のＢに示されるように、ポイント１乃至ポイント４が候補に選ばれる。
　この候補群に対して、例えば図８のＢのように、予測値導出の際に各候補を参照するか否かを示す制御情報を伝送してもよい。図８のＢの例の場合、この制御情報は、各候補について、参照するか否かを１ビットで示す。例えば、値「０」は、そのビットが割り当てられた候補を「参照しない」ことを示し、値「１」は、そのビットが割り当てられた候補を「参照する」ことを示す。図８のＢの例の場合、候補数が４であるので、この制御情報は４ビットの情報（例えば"1101"）となる。つまり、この制御情報のビット長は、候補数に応じた長さとなる。
　このようにすることにより、各候補を参照するか否かをより明確に示すことができ、復号側において、より容易にこの制御情報を利用し、復号を行うことができるようになる。
　また、図４の表の上から１１番目の段に示される方法２－１－２のように、この情報のビット長を候補数より少なくしてもよい。つまり、候補に関する情報として、設定された一部の候補のそれぞれについて参照するか否かを示す情報が、符号化側から復号側に伝送されるようにしてもよい。
　例えば、この候補に関する情報として、設定された候補の内、予測値を導出する予測ポイントからの距離が遠い方から所定数の候補のそれぞれについて参照するかを示す情報が、号化側から復号側に伝送されるようにしてもよい。
　例えば図９のＡの場合、４つの候補の中から３つの候補が参照先として選択される（つまり、参照数が３）。したがって、この制御情報は、遠い方から２つの候補のそれぞれについて、参照するか否かを１ビットで示す。例えば、値「０」は、そのビットが割り当てられた候補を「参照しない」ことを示し、値「１」は、そのビットが割り当てられた候補を「参照する」ことを示す。つまり、この制御情報は２ビットの情報（例えば"10"）となる。つまり、この制御情報のビット長は、候補数と参照数に応じた長さとなり、候補数より短くなる。
　したがって、この制御情報の伝送による符号化効率の低減を抑制することができる。
　また、候補に関する情報として、設定された２つの候補の内のいずれを参照するかを示す情報が、符号化側から復号側に伝送されるようにしてもよい。
　例えば、図４の表の上から１２番目の段に示される方法２－１－３のように、候補群の最後の２つの候補のいずれを参照先として選択するかを示す情報が伝送されるようにしてもよい。つまり、候補に関する情報として、予測値を導出する予測ポイントからの距離が遠い方から２つの候補の内、いずれを参照するかを示す情報が、符号化側から復号側に伝送されるようにしてもよい。
　例えば図９のＢの場合、遠い方から２つの候補のうちのいずれを参照するかが１ビットで示されている。例えば、値「０」は、３番目を参照する（最後の１つ前の候補を参照する）ことを示し、値「１」は、４番目を参照する（最後の候補を参照する）ことを示す。つまり、この制御情報は１ビットの情報（例えば"1"）となる。つまり、この制御情報のビット長は１ビットになる。
　したがって、この制御情報の伝送による符号化効率の低減を抑制することができる。
　なお、上述した各方法は任意に組み合わせて適用することができる。また、上述した各方法は、スケーラブルな復号に対応したアトリビュートデータの符号化・復号に適用することもできるし、スケーラブルな復号に対応していないアトリビュートデータの符号化・復号に適用することもできる。
　＜２．第１の実施の形態＞
　　＜方法１－１＞
　次に、＜１．参照関係の制御＞において上述した本技術を適用する装置について説明する。最初に、上述した「方法１－１」を適用する場合について説明する。
　　＜２－１．符号化装置＞
　図１０は、本技術を適用した情報処理装置の一態様である符号化装置の構成の一例を示すブロック図である。図１０に示される符号化装置１００は、ポイントクラウド（３Ｄデータ）を符号化する装置である。符号化装置１００は、＜１．参照関係の制御＞において上述した本技術を適用してポイントクラウドを符号化する。
　なお、図１０においては、処理部やデータの流れ等の主なものを示しており、図１０に示されるものが全てとは限らない。つまり、符号化装置１００において、図１０においてブロックとして示されていない処理部が存在したり、図１０において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図１０に示されるように符号化装置１００は、位置情報符号化部１０１、位置情報復号部１０２、ポイントクラウド生成部１０３、属性情報符号化部１０４、およびビットストリーム生成部１０５を有する。
　位置情報符号化部１０１は、符号化装置１００に入力されたポイントクラウド（３Ｄデータ）のジオメトリデータ（位置情報）を符号化する。この符号化方法は、スケーラブルな復号に対応した方法であれば任意である。例えば位置情報符号化部１０１は、ジオメトリデータを階層化してOctreeを生成し、そのOctreeを符号化する。また、例えば、ノイズ抑制（デノイズ）のためのフィルタリングや量子化等の処理が行われるようにしてもよい。位置情報符号化部１０１は、生成したジオメトリデータの符号化データを位置情報復号部１０２およびビットストリーム生成部１０５に供給する。
　位置情報復号部１０２は、位置情報符号化部１０１から供給されるジオメトリデータの符号化データを取得し、その符号化データを復号する。この復号方法は、位置情報符号化部１０１による符号化に対応する方法であれば任意である。例えば、デノイズのためのフィルタリングや逆量子化等の処理が行われるようにしてもよい。位置情報復号部１０２は、生成したジオメトリデータ（復号結果）をポイントクラウド生成部１０３に供給する。
　ポイントクラウド生成部１０３は、符号化装置１００に入力されるポイントクラウドのアトリビュートデータ（属性情報）と、位置情報復号部１０２から供給されるジオメトリデータ（復号結果）を取得する。ポイントクラウド生成部１０３は、アトリビュートデータをジオメトリデータ（復号結果）に合わせる処理（リカラー処理）を行う。ポイントクラウド生成部１０３は、ジオメトリデータ（復号結果）に対応させたアトリビュートデータを属性情報符号化部１０４に供給する。
　属性情報符号化部１０４は、ポイントクラウド生成部１０３から供給されるジオメトリデータ（復号結果）およびアトリビュートデータを取得する。属性情報符号化部１０４は、そのジオメトリデータ（復号結果）を用いて、アトリビュートデータを符号化し、アトリビュートデータの符号化データを生成する。
　その際、属性情報符号化部１０４は、＜１．参照関係の制御＞において上述した本技術を適用し、アトリビュートデータを符号化する。属性情報符号化部１０４は、生成したアトリビュートデータの符号化データをビットストリーム生成部１０５に供給する。
　ビットストリーム生成部１０５は、位置情報符号化部１０１から供給されるジオメトリデータの符号化データを取得する。また、ビットストリーム生成部１０５は、属性情報符号化部１０４から供給されるアトリビュートデータの符号化データを取得する。ビットストリーム生成部１０５は、これらの符号化データを含むビットストリームを生成する。ビットストリーム生成部１０５は、生成したビットストリームを符号化装置１００の外部に出力する。
　このような構成とすることにより、符号化装置１００は、周辺のポイントの密度（または数）による予測精度の影響を考慮して参照ポイントを選択することができる。したがって、予測精度の低減を抑制することができ、符号化効率の低減を抑制することができる。
　なお、符号化装置１００のこれらの処理部（位置情報符号化部１０１乃至ビットストリーム生成部１０５）は、それぞれ、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
　　＜属性情報符号化部＞
　図１１は、属性情報符号化部１０４（図１０）の主な構成例を示すブロック図である。なお、図１１においては、処理部やデータの流れ等の主なものを示しており、図１１に示されるものが全てとは限らない。つまり、属性情報符号化部１０４において、図１１においてブロックとして示されていない処理部が存在したり、図１１において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図１１に示されるよう属性情報符号化部１０４は、階層化処理部１１１、量子化部１１２、および符号化部１１３を有する。
　階層化処理部１１１は、アトリビュートデータの階層化に関する処理を行う。例えば、階層化処理部１１１は、ポイントクラウド生成部１０３から供給されるアトリビュートデータやジオメトリデータ（復号結果）を取得する。階層化処理部１１１は、そのジオメトリデータを用いてアトリビュートデータを階層化する。その際、階層化処理部１１１は、＜１．参照関係の制御＞において上述した本技術を適用して階層化を行う。つまり、階層化処理部１１１は、各階層において参照ポイントを設定し（予測ポイントを設定し）、各階層において各予測ポイントについて、＜１．参照関係の制御＞において上述した方法１－１を適用して参照関係を設定する。そして、階層化処理部１１１は、その参照関係に基づいて各予測ポイントのアトリビュートデータの予測値を導出し、アトリビュートデータとその予測値との差分値を導出する。階層化処理部１１１は、階層化したアトリビュートデータ（差分値）を量子化部１１２に供給する。
　その際、階層化処理部１１１は、階層化に関する制御情報も生成する。階層化処理部１１１は、生成した制御情報も、アトリビュートデータ（差分値）とともに量子化部１１２に供給し得る。
　量子化部１１２は、階層化処理部１１１から供給されるアトリビュートデータ（差分値）や制御情報を取得する。量子化部１１２は、そのアトリビュートデータ（差分値）を量子化する。この量子化の方法は任意である。量子化部１１２は、その量子化されたアトリビュートデータ（差分値）や制御情報を、符号化部１１３に供給する。
　符号化部１１３は、量子化部１１２から供給される、量子化されたアトリビュートデータ（差分値）や制御情報を取得する。符号化部１１３は、その量子化されたアトリビュートデータ（差分値）を符号化し、アトリビュートデータの符号化データを生成する。この符号化方法は任意である。また、符号化部１１３は、生成した符号化データに、制御情報を含める。換言するに、制御情報を含むアトリビュートデータの符号化データを生成する。符号化部１１３は、生成した符号化データをビットストリーム生成部１０５に供給する。
　以上のように階層化を行うことにより、属性情報符号化部１０４は、疎なポイントを参照先の候補から除外することができる。これにより、予測精度の低減を抑制することができ、符号化効率の低減を抑制することができる。
　なお、これらの処理部（階層化処理部１１１乃至符号化部１１３）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
　　＜階層化処理部＞
　図１２は、階層化処理部１１１（図１１）の主な構成例を示すブロック図である。なお、図１２においては、処理部やデータの流れ等の主なものを示しており、図１２に示されるものが全てとは限らない。つまり、階層化処理部１１１において、図１２においてブロックとして示されていない処理部が存在したり、図１２において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図１２に示されるように階層化処理部１１１は、参照ポイント設定部１２１、参照関係設定部１２２、反転部１２３、および重み値導出部１２４を有する。
　参照ポイント設定部１２１は、参照ポイントの設定に関する処理を行う。例えば、参照ポイント設定部１２１は、各ポイントのジオメトリデータに基づいて、処理対象のポイント群を、アトリビュートデータを参照される参照ポイントと、アトリビュートデータの予測値を導出する予測ポイントとに分類する。つまり、参照ポイント設定部１２１は、参照ポイントと予測ポイントとを設定する。参照ポイント設定部１２１は、この処理を参照ポイントに対して再帰的に繰り返す。つまり、参照ポイント設定部１２１は、１つ前の階層において設定された参照ポイントを処理対象として、処理対象の階層の参照ポイントと予測ポイントとを設定する。参照ポイント設定部１２１は、設定した各階層の参照ポイントおよび予測ポイントを示す情報を参照関係設定部１２２に供給する。
　参照関係設定部１２２は、その参照ポイント設定部１２１から供給される情報に基づいて、各階層の参照関係の設定に関する処理を行う。例えば、参照関係設定部１２２は、各階層の各予測ポイントについて、その予測値を導出するのに参照される参照ポイント（すなわち参照先）を設定する。そして、参照関係設定部１２２は、その参照関係に基づいて各予測ポイントのアトリビュートデータの予測値を導出する。つまり、参照関係設定部１２２は、参照先に設定された参照ポイントのアトリビュートデータを用いて予測ポイントのアトリビュートデータの予測値を導出する。さらに、参照関係設定部１２２は、その導出した予測値とその予測ポイントのアトリビュートデータとの差分値を導出する。参照関係設定部１２２は、導出した差分値（階層化されたアトリビュートデータ）を階層毎に反転部１２３に供給する。
　反転部１２３は、階層の反転に関する処理を行う。例えば、反転部１２３は、参照関係設定部１２２から供給される階層化されたアトリビュートデータを取得する。このアトリビュートデータは、各階層の情報が、その生成順に階層化されている。
　反転部１２３は、そのアトリビュートデータの階層を反転させる。例えば、反転部１２３は、アトリビュートデータの各階層に対して、その生成順と逆順に階層番号（最上位層が０、１階層下がる毎に値が１ずつインクリメントされ、最下位層が最大値となる階層を識別するための番号）を付し、生成順が最下位層から最上位層に向かう順となるようにする。
　反転部１２３は、階層を反転させたアトリビュートデータを重み値導出部１２４に供給する。
　重み値導出部１２４は、重み付けに関する処理を行う。例えば、重み値導出部１２４は、反転部１２３から供給されるアトリビュートデータを取得する。重み値導出部１２４は、取得したアトリビュートデータの重み値を導出する。この重み値の導出方法は任意である。重み値導出部１２４は、アトリビュートデータ（差分値）と導出した重み値とを量子化部１１２（図１１）に供給する。また、重み値導出部１２４は、導出した重み値を制御情報として量子化部１１２に供給し、復号側に伝送させるようにしてもよい。
　以上のような階層化処理部１１１において、参照関係設定部１２２は、＜１．参照関係の制御＞において上述した本技術を適用することができる。つまり、参照関係設定部１２２は、上述の「方法１」を適用し、参照ポイントの周辺のポイントの密度に基づいて、この参照関係を設定することができる。また、例えば、参照関係設定部１２２は、さらに、予測値を導出する予測ポイントからの距離に基づいて、予測値を導出するのに用いる参照ポイントを設定することができる。さらに、例えば、参照関係設定部１２２は、上述の「方法１－１」を適用し、周辺のポイントの密度が疎でなく、かつ、予測ポイントの近傍に位置する参照ポイントを、予測値を導出するのに用いる参照ポイントとして設定することができる。このようにすることにより、予測精度の低減を抑制し、符号化効率の低減を抑制することができる。
　なお、＜１．参照関係の制御＞において上述したように、参照関係設定部１２２が、例えば、「方法１－１－１」を適用し、疎なポイントであるか否かの判定に閾値を用いるようにしてもよい。
　なお、この階層化の手順は任意である。例えば、参照ポイント設定部１２１の処理と参照関係設定部１２２の処理を並行して実行してもよい。例えば、１階層毎に、参照ポイント設定部１２１が参照ポイントおよび予測ポイントを設定し、参照関係設定部１２２が参照関係を設定するようにしてもよい。
　なお、これらの処理部（参照ポイント設定部１２１乃至重み値導出部１２４）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
　　＜符号化処理の流れ＞
　次に、この符号化装置１００により実行される処理について説明する。符号化装置１００は、符号化処理を実行することによりポイントクラウドのデータを符号化する。この符号化処理の流れの例を、図１３のフローチャートを参照して説明する。
　符号化処理が開始されると、符号化装置１００の位置情報符号化部１０１は、ステップＳ１０１において、入力されたポイントクラウドのジオメトリデータ（位置情報）を符号化し、ジオメトリデータの符号化データを生成する。
　ステップＳ１０２において、位置情報復号部１０２は、ステップＳ１０１において生成されたジオメトリデータの符号化データを復号し、位置情報を生成する。
　ステップＳ１０３において、ポイントクラウド生成部１０３は、入力されたポイントクラウドのアトリビュートデータ（属性情報）と、ステップＳ１０２において生成されたジオメトリデータ（復号結果）とを用いて、リカラー処理を行い、アトリビュートデータをジオメトリデータに対応させる。
　ステップＳ１０４において、属性情報符号化部１０４は、属性情報符号化処理を実行することにより、ステップＳ１０３においてリカラー処理されたアトリビュートデータを符号化し、アトリビュートデータの符号化データを生成する。その際、属性情報符号化部１０４は、＜１．参照関係の制御＞において上述した本技術を適用して処理を行う。例えば、属性情報符号化部１０４は、アトリビュートデータの階層化において、予測値を導出するのに用いる参照ポイントを、その参照ポイントの周辺のポイントの密度に基づいて設定する。属性情報符号化処理の詳細については後述する。
　ステップＳ１０５において、ビットストリーム生成部１０５は、ステップＳ１０１において生成されたジオメトリデータの符号化データと、ステップＳ１０４において生成されたアトリビュートデータの符号化データとを含むビットストリームを生成し、出力する。
　ステップＳ１０５の処理が終了すると符号化処理が終了する。
　このように各ステップの処理を行うことにより、符号化装置１００は、予測精度の低減を抑制することができ、符号化効率の低減を抑制することができる。
　　＜属性情報符号化処理の流れ＞
　次に、図１３のステップＳ１０４において実行される属性情報符号化処理の流れの例を、図１４のフローチャートを参照して説明する。
　属性情報符号化処理が開始されると、属性情報符号化部１０４の階層化処理部１１１は、ステップＳ１１１において、階層化処理を実行することによりアトリビュートデータを階層化する。つまり、各階層の参照ポイントと予測ポイントが設定され、さらに、その参照関係が設定される。その際、階層化処理部１１１は、＜１．参照関係の制御＞において上述した本技術を適用して階層化を行う。例えば、属性情報符号化部１０４は、アトリビュートデータの階層化において、予測値を導出するのに用いる参照ポイントを、その参照ポイントの周辺のポイントの密度に基づいて設定する。階層化処理の詳細については後述する。
　ステップＳ１１２において、階層化処理部１１１は、ステップＳ１１１において階層化されたアトリビュートデータの各階層において、各予測ポイントについてアトリビュートデータの予測値を導出し、その予測ポイントのアトリビュートデータとその予測値との差分値を導出する。
　ステップＳ１１３において、量子化部１１２は、ステップＳ１１２において導出された各差分値を量子化する。
　ステップＳ１１４において、符号化部１１３は、ステップＳ１１２において量子化された差分値を符号化し、アトリビュートデータの符号化データを生成する。
　ステップＳ１１４の処理が終了すると属性情報符号化処理が終了し、処理は図１３に戻る。
　このように各ステップの処理を行うことにより、階層化処理部１１１は、上述した「方法１」を適用し、アトリビュートデータの階層化において、予測値を導出するのに用いる参照ポイントを、その参照ポイントの周辺のポイントの密度に基づいて設定することができる。例えば、階層化処理部１１１は、上述した「方法１－１」を適用し、周辺のポイントの密度が疎でなく、かつ、予測値を導出する予測ポイントの近傍に位置する参照ポイントを、その予測値を導出するのに用いる参照ポイントとして設定することができる。したがって、階層化処理部１１１は、予測精度の低減を抑制するようにアトリビュートデータの階層化を行うことができ、これにより符号化効率の低減を抑制することができる。
　　＜階層化処理の流れ＞
　次に、図１５のフローチャートを参照して、図１４のステップＳ１１１において実行される階層化処理の流れの例を説明する。
　階層化処理が開始されると、階層化処理部１１１の参照ポイント設定部１２１は、ステップＳ１２１において、処理対象の階層を示す変数LoD Indexの値を初期値（例えば「０」）に設定する。
　ステップＳ１２２において、参照ポイント設定部１２１は、処理対象の階層において参照ポイントを設定する（つまり、予測ポイントも設定する）。
　ステップＳ１２３において、参照関係設定部１２２は、参照関係設定処理を実行し、処理対象の階層の参照関係（各予測ポイントの予測値の導出にどの参照ポイントが参照されるか）を設定する。参照関係設定処理の詳細については後述する。
　ステップＳ１２４において、参照ポイント設定部１２１は、LoD Indexをインクリメントし、処理対象を次の階層に設定する。
　ステップＳ１２５において、参照ポイント設定部１２１は、全ポイントを処理したか否かを判定する。未処理のポイントが存在すると判定された場合、すなわち、階層化が終了していないと判定された場合、処理はステップＳ１２２に戻り、それ以降の処理を繰り返す。このようにステップＳ１２２乃至ステップＳ１２５の各処理が各階層について実行され、ステップＳ１２５において、全てのポイントが処理されたと判定された場合、処理はステップＳ１２６に進む。
　ステップＳ１２６において、反転部１２３は、以上のように生成されたアトリビュートデータの階層を反転し、各階層に、生成順と逆向きに階層番号を付す。
　ステップＳ１２７において、重み値導出部１２４は、各階層のアトリビュートデータについて重み値を導出する。
　ステップＳ１２７の処理が終了すると処理は図１４に戻る。
　このように各ステップの処理を行うことにより、参照関係設定部１２２は、上述した「方法１」を適用し、アトリビュートデータの階層化において、予測値を導出するのに用いる参照ポイントを、その参照ポイントの周辺のポイントの密度に基づいて設定することができる。例えば、参照関係設定部１２２は、上述した「方法１－１」を適用し、周辺のポイントの密度が疎でなく、かつ、予測値を導出する予測ポイントの近傍に位置する参照ポイントを、その予測値を導出するのに用いる参照ポイントとして設定することができる。したがって、参照関係設定部１２２は、予測精度の低減を抑制するようにアトリビュートデータの階層化を行うことができ、これにより符号化効率の低減を抑制することができる。
　　＜参照関係設定処理の流れ＞
　次に、図１５のステップＳ１２３において実行される参照関係設定処理の流れの例を、図１６のフローチャートを参照して説明する。
　参照関係設定処理が開始されると、参照関係設定部１２２は、ステップＳ１４１において、各参照ポイントの周辺のポイントの密度を導出する。ステップＳ１４２において、参照関係設定部１２２は、処理対象の階層において、処理対象とするノード（処理対象カレントノードとも称する）を選択する。つまり、処理対象の階層において、処理対象とする予測ポイントが選択される。
　ステップＳ１４３において、参照関係設定部１２２は、未処理の参照ポイントを処理対象として選択する。
　ステップＳ１４４において、参照関係設定部１２２は、ステップＳ１４３において選択した処理対象の参照ポイントが密度の基準を満たすか否かを判定する。例えば、周辺に位置するポイントの密度が所定の閾値よりも密であり、密度の基準を満たすと判定された場合、処理はステップＳ１４５に進む。
　ステップＳ１４５において、参照関係設定部１２２は、処理対象の予測ポイントおよび参照ポイント間の距離を導出する。
　ステップＳ１４６において、参照関係設定部１２２は、参照先として選択する参照ポイントのリストに空きがある（つまり、現在選択されている参照ポイントの数が参照数より少ない）か否かを判定する。リストに空きが無いと判定された場合、処理はステップＳ１４７に進む。
　ステップＳ１４７において、参照関係設定部１２２は、処理対象の参照ポイントが、リストに含まれる他の参照ポイントよりも予測値を導出する予測ポイントに近いか否かを判定する。処理対象の参照ポイントの方が予測ポイントに近いと判定された場合、処理はステップＳ１４８に進む。
　ステップＳ１４８において、参照関係設定部１２２は、そのリストを更新し、処理対象の参照ポイントをそのリストに登録する。つまり、参照関係設定部１２２は、処理対象の参照ポイントを、参照先（予測値を導出するのに用いる参照ポイント）として設定する。例えば、リストに空きがある場合、参照関係設定部１２２は、処理対象の参照ポイントをリストに追加する。また、例えば、リストに空きがない場合、参照関係設定部１２２は、リストに含まれる参照ポイントの内、予測ポイントから最も遠い参照ポイントをリストから削除し、その代わりに、処理対象の参照ポイントを登録する。
　リストが更新されると処理はステップＳ１４９に進む。なお、ステップＳ１４４において、周辺に位置するポイントの密度が所定の閾値よりも疎であり、処理対象の参照ポイントが密度の基準を満たさないと判定された場合、リストは更新されずに、処理はステップＳ１４９に進む。また、ステップＳ１４７において、リストに含まれる参照ポイントよりも、処理対象の参照ポイントの方が予測ポイントから遠いと判定された場合、リストは更新されずに、処理はステップＳ１４９に進む。
　ステップＳ１４９において、参照関係設定部１２２は、処理対象の階層の全ての参照ポイントを処理したか否かを判定する。未処理の参照ポイントが存在すると判定された場合、処理はステップＳ１４３に戻り、それ以降の処理が繰り返される。また、全ての参照ポイントが処理されたと判定された場合、処理はステップＳ１５０に進む。
　ステップＳ１５０において、参照関係設定部１２２は、全てのカレントノード（処理対象の階層の予測ポイント）を処理したか否かを判定する。未処理のカレントノードが存在すると判定された場合、処理はステップＳ１４２に戻り、それ以降の処理が繰り返される。また、全てのカレントノードが処理されたと判定された場合、参照関係設定処理が終了し、処理は図１５に戻る。
　このように各ステップの処理を行うことにより、参照関係設定部１２２は、上述した「方法１」を適用し、アトリビュートデータの階層化において、予測値を導出するのに用いる参照ポイントを、その参照ポイントの周辺のポイントの密度に基づいて設定することができる。例えば、参照関係設定部１２２は、上述した「方法１－１」を適用し、周辺のポイントの密度が疎でなく、かつ、予測値を導出する予測ポイントの近傍に位置する参照ポイントを、その予測値を導出するのに用いる参照ポイントとして設定することができる。したがって、参照関係設定部１２２は、予測精度の低減を抑制するようにアトリビュートデータの階層化を行うことができ、これにより符号化効率の低減を抑制することができる。
　　＜２－２．復号装置＞
　次に、＜１．参照関係の制御＞において上述した本技術を適用する装置の他の例について説明する。図１７は、本技術を適用した情報処理装置の一態様である復号装置の構成の一例を示すブロック図である。図１７に示される復号装置２００は、ポイントクラウド（３Ｄデータ）の符号化データを復号する装置である。復号装置２００は、＜１．参照関係の制御＞において上述した本技術を適用してポイントクラウドの符号化データを復号する。
　なお、図１７においては、処理部やデータの流れ等の主なものを示しており、図１７に示されるものが全てとは限らない。つまり、復号装置２００において、図１７においてブロックとして示されていない処理部が存在したり、図１７において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図１７に示されるように復号装置２００は、符号化データ抽出部２０１、位置情報復号部２０２、属性情報復号部２０３、およびポイントクラウド生成部２０４を有する。
　符号化データ抽出部２０１は、復号装置２００に入力されるビットストリームを取得し、保持する。符号化データ抽出部２０１は、ジオメトリデータ（位置情報）およびアトリビュートデータ（属性情報）の符号化データを、その保持しているビットストリームから抽出する。符号化データ抽出部２０１は、抽出したジオメトリデータの符号化データを位置情報復号部２０２に供給する。符号化データ抽出部２０１は、抽出したアトリビュートデータの符号化データを属性情報復号部２０３に供給する。
　位置情報復号部２０２は、符号化データ抽出部２０１から供給されるジオメトリデータの符号化データを取得する。位置情報復号部２０２は、そのジオメトリデータの符号化データを復号し、ジオメトリデータ（復号結果）を生成する。この復号方法は、符号化装置１００の位置情報復号部１０２の場合と同様の方法であれば任意である。位置情報復号部２０２は、生成したジオメトリデータ（復号結果）を、属性情報復号部２０３およびポイントクラウド生成部２０４に供給する。
　属性情報復号部２０３は、符号化データ抽出部２０１から供給されるアトリビュートデータの符号化データを取得する。属性情報復号部２０３は、位置情報復号部２０２から供給されるジオメトリデータ（復号結果）を取得する。属性情報復号部２０３は、その位置情報（復号結果）を用いて、＜１．参照関係の制御＞において上述した本技術を適用した方法によりアトリビュートデータの符号化データを復号し、アトリビュートデータ（復号結果）を生成する。属性情報復号部２０３は、生成したアトリビュートデータ（復号結果）をポイントクラウド生成部２０４に供給する。
　ポイントクラウド生成部２０４は、位置情報復号部２０２から供給されるジオメトリデータ（復号結果）を取得する。ポイントクラウド生成部２０４は、属性情報復号部２０３から供給されるアトリビュートデータ（復号結果）を取得する。ポイントクラウド生成部２０４は、そのジオメトリデータ（復号結果）およびアトリビュートデータ（復号結果）を用いて、ポイントクラウド（復号結果）を生成する。ポイントクラウド生成部２０４は、生成したポイントクラウド（復号結果）のデータを復号装置２００の外部に出力する。
　このような構成とすることにより、復号装置２００は、逆階層化において、周辺のポイントの密度（または数）による予測精度の影響を考慮して参照ポイントを選択することができる。例えば、復号装置２００は、上述した符号化装置１００により符号化されたアトリビュートデータの符号化データを正しく復号することができる。したがって、予測精度の低減を抑制することができ、符号化効率の低減を抑制することができる。
　なお、これらの処理部（符号化データ抽出部２０１乃至ポイントクラウド生成部２０４）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
　　＜属性情報復号部＞
　図１８は、属性情報復号部２０３（図１７）の主な構成例を示すブロック図である。なお、図１８においては、処理部やデータの流れ等の主なものを示しており、図１８に示されるものが全てとは限らない。つまり、属性情報復号部２０３において、図１８においてブロックとして示されていない処理部が存在したり、図１８において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
　図１８に示されるよう属性情報復号部２０３は、復号部２１１、逆量子化部２１２、および逆階層化処理部２１３を有する。
　復号部２１１は、アトリビュートデータの符号化データの復号に関する処理を行う。例えば、復号部２１１は、属性情報復号部２０３に供給されるアトリビュートデータの符号化データを取得する。
　復号部２１１は、そのアトリビュートデータの符号化データを復号し、アトリビュートデータ（復号結果）を生成する。この復号方法は、符号化装置１００の符号化部１１３（図１１）による符号化方法に対応する方法であれば任意である。また、生成したアトリビュートデータ（復号結果）は、符号化前のアトリビュートデータに対応し、アトリビュートデータとその予測値との差分値であり、量子化されている。復号部２１１は、生成したアトリビュートデータ（復号結果）を逆量子化部２１２に供給する。
　なお、アトリビュートデータの符号化データに重み値に関する制御情報やアトリビュートデータの階層化に関する制御情報が含まれている場合、復号部２１１は、その制御情報も逆量子化部２１２に供給する。
　逆量子化部２１２は、アトリビュートデータの逆量子化に関する処理を行う。例えば、逆量子化部２１２は、復号部２１１から供給されるアトリビュートデータ（復号結果）や制御情報を取得する。
　逆量子化部２１２は、そのアトリビュートデータ（復号結果）を逆量子化する。その際、復号部２１１から重み値に関する制御情報が供給される場合、逆量子化部２１２は、その制御情報も取得し、その制御情報に基づいて（その制御情報に基づいて導出される重み値を用いて）アトリビュートデータ（復号結果）の逆量子化を行う。
　また、逆量子化部２１２は、復号部２１１からアトリビュートデータの階層化に関する制御情報が供給される場合、その制御情報も取得する。
　逆量子化部２１２は、逆量子化したアトリビュートデータ（復号結果）を逆階層化処理部２１３に供給する。また、復号部２１１からアトリビュートデータの階層化に関する制御情報を取得した場合、逆量子化部２１２は、その制御情報も逆階層化処理部２１３に供給する。
　逆階層化処理部２１３は、逆量子化部２１２から供給される、逆量子化されたアトリビュートデータ（復号結果）を取得する。上述したようにこのアトリビュートデータは差分値である。また、逆階層化処理部２１３は、位置情報復号部２０２から供給されるジオメトリデータ（復号結果）を取得する。逆階層化処理部２１３は、そのジオメトリデータを用いて、取得したアトリビュートデータ（差分値）に対して、符号化装置１００の階層化処理部１１１（図１１）による階層化の逆処理である逆階層化を行う。
　ここで逆階層化について説明する。例えば、逆階層化処理部２１３は、位置情報復号部２０２から供給されるジオメトリデータに基づいて、符号化装置１００（階層化処理部１１１）と同様の手法によりアトリビュートデータの階層化を行う。つまり、逆階層化処理部２１３は、復号されたジオメトリデータに基づいて、各階層の参照ポイントおよび予測ポイントを設定し、参照関係（各予測ポイントに対する参照先）を設定する。
　そして、逆階層化処理部２１３は、その階層構造と各階層の参照関係を用いて、取得したアトリビュートデータ（差分値）の逆階層化を行う。つまり、逆階層化処理部２１３は、参照関係に従って参照ポイントから予測ポイントの予測値を導出し、その予測値を差分値に加算することにより各予測ポイントのアトリビュートデータを復元する。逆階層化処理部２１３は、この処理を上位層から下位層に向かって階層毎に行う。つまり、逆階層化処理部２１３は、処理対象の階層よりも上位の階層においてアトリビュートデータを復元した予測ポイントを参照ポイントとして用い、処理対象の階層の予測ポイントのアトリビュートデータを上述のように復元する。
　このような手順で行われる逆階層化において、逆階層化処理部２１３は、復号されたジオメトリデータに基づいてアトリビュートデータを階層化する際に、＜１．参照関係の制御＞において上述した方法１－１を適用して参照関係を設定する。
　逆階層化処理部２１３は、逆階層化したアトリビュートデータを復号結果としてポイントクラウド生成部２０４（図１７）に供給する。
　以上のように逆階層化を行うことにより、逆階層化処理部２１３は、疎なポイントを参照先の候補から除外することができるので、予測精度の低減を抑制するようにアトリビュートデータの階層化を行うことができる。つまり、属性情報復号部２０３は、同様の方法で符号化された符号化データを正しく復号することができる。例えば、属性情報復号部２０３は、上述した属性情報符号化部１０４により符号化されたアトリビュートデータの符号化データを正しく復号することができる。したがって、符号化効率の低減を抑制することができる。
　なお、これらの処理部（復号部２１１乃至逆階層化処理部２１３）は、任意の構成を有する。例えば、各処理部が、上述の処理を実現する論理回路により構成されるようにしてもよい。また、各処理部が、例えばCPU、ROM、RAM等を有し、それらを用いてプログラムを実行することにより、上述の処理を実現するようにしてもよい。もちろん、各処理部が、その両方の構成を有し、上述の処理の一部を論理回路により実現し、他を、プログラムを実行することにより実現するようにしてもよい。各処理部の構成は互いに独立していてもよく、例えば、一部の処理部が上述の処理の一部を論理回路により実現し、他の一部の処理部がプログラムを実行することにより上述の処理を実現し、さらに他の処理部が論理回路とプログラムの実行の両方により上述の処理を実現するようにしてもよい。
　　＜復号処理の流れ＞
　次に、この復号装置２００により実行される処理について説明する。復号装置２００は、復号処理を実行することによりポイントクラウドの符号化データを復号する。この復号処理の流れの例を、図１９のフローチャートを参照して説明する。
　復号処理が開始されると、復号装置２００の符号化データ抽出部２０１は、ステップＳ２０１において、ビットストリームを取得して保持し、そのビットストリームからジオメトリデータの符号化データとアトリビュートデータの符号化データを抽出する。
　ステップＳ２０２において、位置情報復号部２０２は、抽出されたジオメトリデータの符号化データを復号し、ジオメトリデータ（復号結果）を生成する。
　ステップＳ２０３において、属性情報復号部２０３は、属性情報復号処理を実行し、ステップＳ２０１において抽出されたアトリビュートデータの符号化データを復号し、アトリビュートデータ（復号結果）を生成する。その際、属性情報復号部２０３は、＜１．参照関係の制御＞において上述した本技術を適用して処理を行う。例えば、属性情報復号部２０３は、アトリビュートデータの階層化において、予測値を導出するのに用いる参照ポイントを、その参照ポイントの周辺のポイントの密度に基づいて設定する。属性情報復号処理の詳細については後述する。
　ステップＳ２０４において、ポイントクラウド生成部２０４は、ステップＳ２０２において生成されたジオメトリデータ（復号結果）と、ステップＳ２０３において生成されたアトリビュートデータ（復号結果）とを用いてポイントクラウド（復号結果）を生成し、出力する。
　ステップＳ２０４の処理が終了すると、復号処理が終了する。
　このように各ステップの処理を行うことにより、復号装置２００は、同様の手法により符号化されたアトリビュートデータの符号化データを正しく復号することができる。例えば、復号装置２００は、上述した符号化装置１００により符号化されたアトリビュートデータの符号化データを正しく復号することができる。したがって、予測精度の低減を抑制することができ、符号化効率の低減を抑制することができる。
　　＜属性情報復号処理の流れ＞
　次に、図１９のステップＳ２０３において実行される属性情報復号処理の流れの例を、図２０のフローチャートを参照して説明する。
　属性情報復号処理が開始されると、属性情報復号部２０３の復号部２１１は、ステップＳ２１１において、アトリビュートデータの符号化データを復号し、アトリビュートデータ（復号結果）を生成する。このアトリビュートデータ（復号結果）は上述のように量子化されている。
　ステップＳ２１２において、逆量子化部２１２は、逆量子化処理を実行することにより、ステップＳ２１１において生成されたアトリビュートデータ（復号結果）を逆量子化する。
　ステップＳ２１３において、逆階層化処理部２１３は、逆階層化処理を実行することにより、ステップＳ２１２において逆量子化されたアトリビュートデータ（差分値）を逆階層化し、各ポイントのアトリビュートデータを導出する。その際、逆階層化処理部２１３は、＜１．参照関係の制御＞において上述した本技術を適用して逆階層化を行う。例えば、逆階層化処理部２１３は、アトリビュートデータの階層化において、予測値を導出するのに用いる参照ポイントを、その参照ポイントの周辺のポイントの密度に基づいて設定する。逆階層化処理の詳細については後述する。
　ステップＳ２１３の処理が終了すると属性情報復号処理が終了し、処理は図１９に戻る。
　このように各ステップの処理を行うことにより、属性情報復号部２０３は、上述した「方法１」を適用し、アトリビュートデータの階層化において、予測値を導出するのに用いる参照ポイントを、その参照ポイントの周辺のポイントの密度に基づいて設定することができる。例えば、逆階層化処理部２１３は、上述した「方法１－１」を適用し、周辺のポイントの密度が疎でなく、かつ、予測値を導出する予測ポイントの近傍に位置する参照ポイントを、その予測値を導出するのに用いる参照ポイントとして設定することができる。したがって、逆階層化処理部２１３は、予測精度の低減を抑制するようにアトリビュートデータの階層化を行うことができる。つまり、属性情報復号部２０３は、同様の方法で符号化された符号化データを正しく復号することができる。例えば、属性情報復号部２０３は、上述した属性情報符号化部１０４により符号化されたアトリビュートデータの符号化データを正しく復号することができる。したがって、符号化効率の低減を抑制することができる。
　　＜逆階層化処理の流れ＞
　次に、図２０のステップＳ２１３において実行される逆階層化処理の流れの例を、図２１のフローチャートを参照して説明する。
　逆階層化処理が開始されると、逆階層化処理部２１３は、ステップＳ２２１において、ジオメトリデータ（復号結果）を用いてアトリビュートデータ（復号結果）の階層化処理を行い、符号化側において設定された、各階層の参照ポイントおよび予測ポイントを復元し、さらに、各階層の参照関係を復元する。つまり、逆階層化処理部２１３は、階層化処理部１１１が行う階層化処理と同様の処理を行い、各階層の参照ポイントおよび予測ポイントを設定し、さらに、各階層の参照関係を設定する。
　例えば、逆階層化処理部２１３は、階層化処理部１１１と同様に、上述した「方法１」を適用し、予測値を導出するのに用いる参照ポイントを、その参照ポイントの周辺のポイントの密度に基づいて設定する。また、例えば、逆階層化処理部２１３は、上述した「方法１－１」を適用し、周辺のポイントの密度が疎でなく、かつ、予測値を導出する予測ポイントの近傍に位置する参照ポイントを、その予測値を導出するのに用いる参照ポイントとして設定することもできる。
　ステップＳ２２２において、逆階層化処理部２１３は、この階層構造および参照関係を用いてアトリビュートデータ（復号結果）の逆階層化を行い、各ポイントのアトリビュートデータを復元する。つまり、逆階層化処理部２１３は、参照関係に基づいて参照ポイントのアトリビュートデータから予測ポイントのアトリビュートデータの予測値を導出し、その予測値をアトリビュートデータ（復号結果）の差分値に加算してアトリビュートデータを復元する。
　ステップＳ２２２の処理が終了すると逆階層化処理が終了し、処理は図２０に戻る。
　このように各ステップの処理を行うことにより、逆階層化処理部２１３は、符号化の際と同様の階層化を実現することができる。つまり、属性情報復号部２０３は、同様の方法で符号化された符号化データを正しく復号することができる。例えば、属性情報復号部２０３は、上述した属性情報符号化部１０４により符号化されたアトリビュートデータの符号化データを正しく復号することができる。したがって、符号化効率の低減を抑制することができる。
　＜３．第２の実施の形態＞
　　＜方法１－２＞
　なお、第１の実施の形態において説明した符号化装置１００および復号装置２００には、「方法１－１」に限らず、＜１．参照関係の制御＞において上述したいずれの本技術も適用することができる。例えば、上述した「方法１－２」を適用することができる。つまり、符号化装置１００および復号装置２００が、アトリビュートデータの階層化において、予測ポイントからの距離が等しい複数の参照ポイントの内、周辺のポイントの数が多い（または少ない）参照ポイントを、参照先（予測値を導出するのに用いる参照ポイント）として設定してもよい。
　この場合の符号化装置１００の構成は、第１の実施の形態において説明した場合と同様である。また、符号化処理、属性情報符号化処理、および階層化処理も第１の実施の形態において説明した場合と同様に行われる。
　　＜参照関係設定処理の流れ＞
　この場合の、参照関係設定処理の流れの例を、図２２のフローチャートを参照して説明する。このフローチャートは、図１６のフローチャートに対応するものであり、同様の処理についての説明は適宜省略する。
　参照関係設定処理が開始されると、ステップＳ３０１乃至ステップＳ３０３の各処理が、ステップＳ１４１乃至ステップＳ１４３（図１６）の各処理と同様に実行される。そして、ステップＳ３０３の処理が終了すると処理はステップＳ３０４に進む。
　ステップＳ３０４乃至ステップＳ３０６の各処理は、ステップＳ１４５乃至ステップＳ１４７（図１６）の各処理と同様に実行される。ただし、ステップＳ３０４においてリストが空いていると判定された場合、処理はステップＳ３０９に進む。また、ステップＳ３０６において、処理対象の参照ポイントの方が予測ポイントに近いと判定された場合、処理はステップＳ３０９に進む。さらに、ステップＳ３０６において、リストに含まれる参照ポイントよりも、処理対象の参照ポイントの方が予測ポイントから近くないと判定された場合、処理はステップＳ３０７に進む。
　ステップＳ３０７において、参照関係設定部１２２は、処理対象の参照ポイントと予測ポイントとの間の距離が、リストに含まれる他の参照ポイントと予測ポイントとの間の距離と等しいか否かを判定する。これらの距離が互いに等しいと判定された場合、処理はステップＳ３０８に進む。
　ステップＳ３０８において、参照関係設定部１２２は、処理対象の参照ポイントの周辺のポイントの密度が、リストに含まれる他の参照ポイントの周辺のポイントの密度に比べてより密であるか否かを判定する。処理対象の参照ポイントの方がより密であると判定された場合、処理はステップＳ３０９に進む。
　ステップＳ３０９の処理は、ステップＳ１４８（図１６）の処理と同様に実行される。ステップＳ３０９の処理が終了すると処理はステップＳ３１０に進む。
　また、ステップＳ３０７において、リストに含まれる参照ポイントよりも、処理対象の参照ポイントの方が予測ポイントから遠いと判定された場合、リストは更新されずに、処理はステップＳ３１０に進む。また、ステップＳ３０８において、リストに含まれる他の参照ポイントの方がより密であると判定された場合、リストは更新されずに、処理はステップＳ３１０に進む。
　ステップＳ３１０およびステップＳ３１１の各処理は、ステップＳ１４９およびステップＳ１５０の各処理と同様に実行される。つまり、ステップＳ３１０において、未処理の参照ポイントが存在すると判定された場合、処理はステップＳ３０３に戻り、それ以降の処理が繰り返される。また、全ての参照ポイントが処理されたと判定された場合、処理はステップＳ３１１に進む。また、ステップＳ３１１において、未処理のカレントノードが存在すると判定された場合、処理はステップＳ３０２に戻り、それ以降の処理が繰り返される。また、全てのカレントノードが処理されたと判定された場合、参照関係設定処理が終了し、処理は図１５に戻る。
　このように各ステップの処理を行うことにより、参照関係設定部１２２は、上述した「方法１」を適用し、アトリビュートデータの階層化において、予測値を導出するのに用いる参照ポイントを、その参照ポイントの周辺のポイントの密度に基づいて設定することができる。例えば、参照関係設定部１２２は、上述した「方法１－２」を適用し、予測ポイントからの距離が等しい複数の参照ポイントの内、周辺のポイントの数が多い（または少ない）参照ポイントを、予測値を導出するのに用いる参照ポイントとして設定することができる。したがって、参照関係設定部１２２は、予測精度の低減を抑制するようにアトリビュートデータの階層化を行うことができ、これにより符号化効率の低減を抑制することができる。
　　＜復号側＞
　なお、この場合の復号装置２００の構成は、第１の実施の形態において説明した場合と同様である。また、復号装置２００により実行される各処理も、基本的に第１の実施の形態において説明した場合と同様に行われる。ただし、図２１のステップＳ２２１の処理において参照関係を設定する際は、逆階層化処理部２１３が、図２２のフローチャートのような流れの参照関係設定処理を実行すればよい。
　＜４．第３の実施の形態＞
　　＜方法１－３＞
　同様に、第１の実施の形態において説明した符号化装置１００および復号装置２００には、例えば、上述した「方法１－３」を適用することもできる。つまり、符号化装置１００および復号装置２００が、アトリビュートデータの階層化において、予測値を導出する予測ポイントからの距離に基づいて、参照先（その予測値を導出するのに用いる参照ポイント）を所定の参照数分設定し、その所定の参照数分の参照ポイントの内、周辺のポイントの密度が疎な参照ポイントを、参照先（その予測値を導出するのに用いる参照ポイント）から除外してもよい。
　その際、例えば、符号化装置１００および復号装置２００が、周辺のポイントの数が所定の閾値以下の参照ポイントを、参照先から除外してもよい。
　また、例えば、符号化装置１００および復号装置２００が、参照数が所定の下限以上となる範囲で、このような周辺のポイントの密度に基づく参照ポイントの除外を行ってもよい。
　この場合の符号化装置１００の構成は、第１の実施の形態において説明した場合と同様である。また、符号化処理、属性情報符号化処理、および階層化処理も第１の実施の形態において説明した場合と同様に行われる。
　　＜参照関係設定処理の流れ＞
　この場合の、参照関係設定処理の流れの例を、図２３のフローチャートを参照して説明する。このフローチャートは、図１６のフローチャートに対応するものであり、同様の処理についての説明は適宜省略する。
　参照関係設定処理が開始されると、ステップＳ３３１およびステップＳ３３２の各処理が、ステップＳ１４２およびステップＳ１４３（図１６）の各処理と同様に実行される。そして、ステップＳ３３２の処理が終了すると処理はステップＳ３３３に進む。
　ステップＳ３３３の処理は、ステップＳ１４５（図１６）の処理と同様に実行される。そして、ステップＳ３３３の処理が終了すると処理はステップＳ３３４に進む。
　ステップＳ３３４乃至ステップＳ３３６の各処理は、ステップＳ１４６乃至ステップＳ１４８（図１６）の各処理と同様に実行される。ステップＳ３３６の処理が終了すると処理はステップＳ３３７に進む。また、ステップＳ３３５において、リストに含まれる参照ポイントよりも、処理対象の参照ポイントの方が予測ポイントから近くないと判定された場合、処理はステップＳ３３７に進む。
　ステップＳ３３７の処理は、ステップＳ１４９の処理と同様に実行される。つまり、ステップＳ３３７において、未処理の参照ポイントが存在すると判定された場合、処理はステップＳ３３２に戻り、それ以降の処理を繰り返す。また、ステップＳ３３７において全ての参照ポイントが処理されたと判定された場合、処理はステップＳ３３８に進む。
　ステップＳ３３８の処理は、ステップＳ１４１（図１６）と同様に実行される。ステップＳ３３８の処理が終了すると、処理はステップＳ３３９に進む。
　ステップＳ３３９において、参照関係設定部１２２は、参照数の下限や密度の閾値に基づいてリストを更新する。つまり、参照関係設定部１２２は、参照数が下限を下回らない範囲で、疎な参照ポイントを参照先から除外する。ステップＳ３３９の処理が終了すると、処理はステップＳ３４０に進む。
　ステップＳ３４０の処理は、ステップＳ１５０（図１６）と同様に実行される。つまり、ステップＳ３４０において、未処理のカレントノードが存在すると判定された場合、処理はステップＳ３３１に戻り、それ以降の処理が繰り返される。また、全てのカレントノードが処理されたと判定された場合、参照関係設定処理が終了し、処理は図１５に戻る。
　このように各ステップの処理を行うことにより、参照関係設定部１２２は、上述した「方法１」を適用し、アトリビュートデータの階層化において、予測値を導出するのに用いる参照ポイントを、その参照ポイントの周辺のポイントの密度に基づいて設定することができる。例えば、参照関係設定部１２２は、上述した「方法１－３」を適用し、予測値を導出する予測ポイントからの距離に基づいて、その予測値を導出するのに用いる参照ポイントを所定の参照数分設定し、その所定の参照数分の参照ポイントの内、周辺のポイントの密度が疎な参照ポイントを、その予測値を導出するのに用いる参照ポイントから除外することができる。したがって、参照関係設定部１２２は、予測精度の低減を抑制するようにアトリビュートデータの階層化を行うことができ、これにより符号化効率の低減を抑制することができる。
　　＜復号側＞
　なお、この場合の復号装置２００の構成は、第１の実施の形態において説明した場合と同様である。また、復号装置２００により実行される各処理も、基本的に第１の実施の形態において説明した場合と同様に行われる。ただし、図２１のステップＳ２２１の処理において参照関係を設定する際は、逆階層化処理部２１３が、図２３のフローチャートのような流れの参照関係設定処理を実行すればよい。
　＜５．第４の実施の形態＞
　　＜方法２＞
　同様に、第１の実施の形態において説明した符号化装置１００および復号装置２００には、例えば、上述した「方法２」を適用することもできる。つまり、符号化装置１００および復号装置２００が、アトリビュートデータの階層化において、予測値を導出するのに用いる参照ポイントを、参照ポイントの色に基づいて設定するようにしてもよい。
　その際、例えば、符号化装置１００および復号装置２００が、予測値を導出するのに用いる参照ポイントの候補を、その予測値を導出する予測ポイントからの距離に基づいて設定し、その候補の中から予測値を導出するのに用いる参照ポイントを、参照ポイントの色に基づいて設定するようにしてもよい。
　また、例えば、符号化装置１００および復号装置２００が、予測値を導出する予測ポイントとの色の差が大きい候補を除外するようにしてもよい。
　また、例えば、符号化装置１００および復号装置２００が、「方法２－１」のように、設定された候補に関する情報を伝送する（例えば符号化する）ようにしてもよい。
　また、例えば、符号化装置１００および復号装置２００が、「方法２－１－１」のように、その候補に関する情報として、設定された全ての候補のそれぞれについて参照するかを示す情報を伝送する（例えば符号化する）ようにしてもよい。
　また、例えば、符号化装置１００および復号装置２００が、「方法２－１－２」のように、その候補に関する情報として、設定された一部の候補のそれぞれについて参照するかを示す情報を伝送する（例えば符号化する）ようにしてもよい。例えば、符号化装置１００および復号装置２００が、予測値を導出する予測ポイントからの距離が遠い方から所定数の候補のそれぞれについて参照するかを示す情報を伝送する（例えば符号化する）ようにしてもよい。
　また、例えば、符号化装置１００および復号装置２００が、「方法２－１－３」のように、その候補に関する情報として、設定された２つの候補の内、いずれを参照するかを示す情報を伝送する（例えば符号化する）ようにしてもよい。例えば、符号化装置１００および復号装置２００が、予測値を導出する予測ポイントからの距離が遠い方から２つの候補の内、いずれを参照するかを示す情報を伝送する（例えば符号化する）ようにしてもよい。
　この場合の符号化装置１００の構成は、第１の実施の形態において説明した場合と同様である。また、符号化処理、属性情報符号化処理、および階層化処理も第１の実施の形態において説明した場合と同様に行われる。
　　＜参照関係設定処理の流れ＞
　この場合の、参照関係設定処理の流れの例を、図２４のフローチャートを参照して説明する。このフローチャートは、図２３のフローチャートに対応するものであり、同様の処理についての説明は適宜省略する。
　参照関係設定処理が開始されると、ステップＳ３６１乃至ステップＳ３６７の各処理が、ステップＳ３３１乃至ステップＳ３３７（図２３）の各処理と同様に実行される。これらの処理により、参照先（予測値の導出に用いられる参照ポイント）の候補のリストが生成される。そして、ステップＳ３６７の処理が終了すると処理はステップＳ３６８に進む。
　ステップＳ３６８において、参照関係設定部１２２は、リカラーされたアトリビュートデータに基づいて参照設定を行う。つまり、参照関係設定部１２２は、参照ポイントの色に基づいて、参照先の候補を参照するか否かを設定する。
　ステップＳ３６９において、参照関係設定部１２２は、ステップＳ３６８において設定された参照関係を示すビットパターンを生成する。例えば、参照関係設定部１２２は、全ての候補のそれぞれについて参照するかを示すビットパターンを生成する。また、例えば、参照関係設定部１２２は、一部の候補のそれぞれについて参照するかを示すビットパターンを生成する。例えば、参照関係設定部１２２は、予測値を導出する予測ポイントからの距離が遠い方から所定数の候補のそれぞれについて参照するかを示すビットパターンを生成する。また、例えば、参照関係設定部１２２は、設定された２つの候補の内、いずれを参照するかを示すビットパターンを生成する。例えば、参照関係設定部１２２は、予測値を導出する予測ポイントからの距離が遠い方から２つの候補の内、いずれを参照するかを示すビットパターンを生成する。
　さらに、参照関係設定部１２２は、生成したビットパターンを符号化し、伝送させる。ステップS３６９の処理が終了すると、処理はステップＳ３７０に進む。
　ステップＳ３７０の処理は、ステップＳ３４０（図２３）と同様に実行される。つまり、ステップＳ３７０において、未処理のカレントノードが存在すると判定された場合、処理はステップＳ３６１に戻り、それ以降の処理が繰り返される。また、全てのカレントノードが処理されたと判定された場合、参照関係設定処理が終了し、処理は図１５に戻る。
　このように各ステップの処理を行うことにより、参照関係設定部１２２は、上述した「方法２」を適用し、アトリビュートデータの階層化において、予測値を導出するのに用いる参照ポイントを、その参照ポイントの色に基づいて設定することができる。したがって、参照関係設定部１２２は、予測精度の低減を抑制するようにアトリビュートデータの階層化を行うことができ、これにより符号化効率の低減を抑制することができる。
　　＜復号側＞
　なお、この場合の復号装置２００の構成は、第１の実施の形態において説明した場合と同様である。また、復号装置２００により実行される復号処理や属性情報復号処理も、基本的に第１の実施の形態において説明した場合と同様に行われる。
　　＜逆階層化処理の流れ＞
　この場合の、逆階層化処理の流れの例を、図２５のフローチャートを参照して説明する。このフローチャートは、図２１のフローチャートに対応するものであり、同様の処理についての説明は適宜省略する。
　逆階層化処理が開始されると、逆階層化処理部２１３は、ステップＳ３９１において、ジオメトリデータ（復号結果）と参照先の候補のリストを用いてアトリビュートデータ（復号結果）の階層化処理を行い、符号化側において設定された、各階層の参照ポイントおよび予測ポイントを復元し、さらに、各階層の参照関係を復元する。つまり、逆階層化処理部２１３は、階層化処理部１１１が行う階層化処理（図２４）と同様の処理を行い、各階層の参照ポイントおよび予測ポイントを設定し、さらに、各階層の参照関係を設定する。
　例えば、逆階層化処理部２１３は、階層化処理部１１１と同様に、上述した「方法２」を適用し、予測値を導出するのに用いる参照ポイントを、その参照ポイントの色に基づいて設定する。
　ステップＳ３９２の処理は、ステップＳ２２２（図２１）と同様に実行される。ステップＳ２２２の処理が終了すると逆階層化処理が終了し、処理は図２０に戻る。
　このように各ステップの処理を行うことにより、逆階層化処理部２１３は、符号化の際と同様の階層化を実現することができる。つまり、属性情報復号部２０３は、同様の方法で符号化された符号化データを正しく復号することができる。例えば、属性情報復号部２０３は、上述した属性情報符号化部１０４により符号化されたアトリビュートデータの符号化データを正しく復号することができる。したがって、符号化効率の低減を抑制することができる。
　＜６．付記＞
　　＜階層化・逆階層化方法＞
　以上においては、属性情報の階層化・逆階層化方法としてLiftingを例に説明したが、本技術は、属性情報を階層化する任意の技術に適用することができる。つまり、属性情報の階層化・逆階層化の方法は、Lifting以外であってもよい。また、属性情報の階層化・逆階層化の方法は、非特許文献３に記載のようなスケーラブルな方法であってもよいし、非スケーラブルな方法であってもよい。
　　＜制御情報＞
　以上の各実施の形態において説明した本技術に関する制御情報を符号化側から復号側に伝送するようにしてもよい。例えば、上述した本技術を適用することを許可（または禁止）するか否かを制御する制御情報（例えばenabled_flag）を伝送するようにしてもよい。
また、例えば、上述した本技術を適用することを許可（または禁止）する範囲（例えばブロックサイズの上限若しくは下限、またはその両方、スライス、ピクチャ、シーケンス、コンポーネント、ビュー、レイヤ等）を指定する制御情報を伝送するようにしてもよい。
　　＜周辺・近傍＞
　なお、本明細書において、「近傍」や「周辺」等の位置関係は、空間的な位置関係だけでなく、時間的な位置関係も含みうる。
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図２６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図２６に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
　その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
　　＜本技術の適用対象＞
　以上においては、ポイントクラウドデータの符号化・復号に本技術を適用する場合について説明したが、本技術は、これらの例に限らず、任意の規格の３Ｄデータの符号化・復号に対して適用することができる。つまり、上述した本技術と矛盾しない限り、符号化・復号方式等の各種処理、並びに、３Ｄデータやメタデータ等の各種データの仕様は任意である。また、本技術と矛盾しない限り、上述した一部の処理や仕様を省略してもよい。
　また、以上においては、本技術の適用例として符号化装置１００および復号装置２００について説明したが、本技術は、任意の構成に適用することができる。
　例えば、本技術は、衛星放送、ケーブルＴＶなどの有線放送、インターネット上での配信、およびセルラー通信による端末への配信などにおける送信機や受信機（例えばテレビジョン受像機や携帯電話機）、または、光ディスク、磁気ディスクおよびフラッシュメモリなどの媒体に画像を記録したり、これら記憶媒体から画像を再生したりする装置（例えばハードディスクレコーダやカメラ）などの、様々な電子機器に適用され得る。
　また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
　また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　　＜本技術を適用可能な分野・用途＞
　本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
　　＜その他＞
　なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
　また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
　なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの前記ポイント毎の属性情報について、前記属性情報と前記属性情報の予測値との差分値を導出する予測ポイントと、前記予測値の導出に用いられる参照ポイントとの分類を前記参照ポイントに対して再帰的に繰り返すことにより、前記属性情報の階層化を行う階層化部を備え、
　前記階層化部は、前記予測値を導出するのに用いる前記参照ポイントを、前記参照ポイント周辺のポイントの密度に基づいて設定する
　情報処理装置。
　（２）　前記階層化部は、前記予測値を導出するのに用いる前記参照ポイントを、さらに、前記予測値を導出する前記予測ポイントからの距離に基づいて設定する
　（１）に記載の情報処理装置。
　（３）　前記階層化部は、周辺のポイントの密度が疎でなく、かつ、前記予測ポイントの近傍に位置する前記参照ポイントを、前記予測値を導出するのに用いる前記参照ポイントとして設定する
　（２）に記載の情報処理装置。
　（４）　前記階層化部は、周辺のポイントの数が所定の閾値以下の前記参照ポイントを、周辺のポイントの密度が疎な前記参照ポイントとする
　（３）に記載の情報処理装置。
　（５）　前記階層化部は、前記予測ポイントからの距離が等しい複数の前記参照ポイントの内、周辺のポイントの数が多い前記参照ポイントを、前記予測値を導出するのに用いる前記参照ポイントとして設定する
　（２）乃至（４）のいずれかに記載の情報処理装置。
　（６）　前記階層化部は、前記予測ポイントからの距離が等しい複数の前記参照ポイントの内、周辺のポイントの数が少ない前記参照ポイントを、前記予測値を導出するのに用いる前記参照ポイントとして設定する
　（２）乃至（５）のいずれかに記載の情報処理装置。
　（７）　前記階層化部は、前記予測値を導出する前記予測ポイントからの距離に基づいて、前記予測値を導出するのに用いる前記参照ポイントを所定の参照数分設定し、前記所定の参照数分の前記参照ポイントの内、周辺のポイントの密度が疎な前記参照ポイントを、前記予測値を導出するのに用いる前記参照ポイントから除外する
　（２）乃至（６）のいずれかに記載の情報処理装置。
　（８）　前記階層化部は、周辺のポイントの数が所定の閾値以下の前記参照ポイントを、前記予測値を導出するのに用いる前記参照ポイントから除外する
　（７）に記載の情報処理装置。
　（９）　前記階層化部は、前記参照数が所定の下限以上となる範囲で、周辺のポイントの密度に基づく前記参照ポイントの除外を行う
　（７）または（８）に記載の情報処理装置。
　（１０）　３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの前記ポイント毎の属性情報について、前記属性情報と前記属性情報の予測値との差分値を導出する予測ポイントと、前記予測値の導出に用いられる参照ポイントとの分類を前記参照ポイントに対して再帰的に繰り返すことにより、前記属性情報の階層化を行う際に、前記予測値を導出するのに用いる前記参照ポイントを、前記参照ポイント周辺のポイントの密度に基づいて設定する
　情報処理方法。
　（１１）　３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの前記ポイント毎の属性情報について、前記属性情報と前記属性情報の予測値との差分値を導出する予測ポイントと、前記予測値の導出に用いられる参照ポイントとの分類を前記参照ポイントに対して再帰的に繰り返すことにより、前記属性情報の階層化を行う階層化部を備え、
　前記階層化部は、前記予測値を導出するのに用いる前記参照ポイントを、前記参照ポイントの色に基づいて設定する
　情報処理装置。
　（１２）　前記階層化部は、前記予測値を導出するのに用いる前記参照ポイントの候補を、前記予測値を導出する前記予測ポイントからの距離に基づいて設定し、前記候補の中から前記予測値を導出するのに用いる前記参照ポイントを、前記参照ポイントの色に基づいて設定する
　（１１）に記載の情報処理装置。
　（１３）　前記階層化部は、前記予測値を導出する前記予測ポイントとの色の差が大きい候補を除外する
　（１２）に記載の情報処理装置。
　（１４）　前記階層化部により設定された前記候補に関する情報を符号化する符号化部をさらに備える
　（１３）に記載の情報処理装置。
　（１５）　前記符号化部は、前記情報として、前記階層化部により設定された全ての前記候補のそれぞれについて参照するかを示す情報を符号化する
　（１４）に記載の情報処理装置。
　（１６）　前記符号化部は、前記情報として、前記階層化部により設定された一部の前記候補のそれぞれについて参照するかを示す情報を符号化する
　（１４）または（１５）に記載の情報処理装置。
　（１７）　前記符号化部は、前記情報として、前記予測値を導出する前記予測ポイントからの距離が遠い方から所定数の前記候補のそれぞれについて参照するかを示す情報を符号化する
　（１６）に記載の情報処理装置。
　（１８）　前記符号化部は、前記情報として、前記階層化部により設定された２つの前記候補の内、いずれを参照するかを示す情報を符号化する
　（１４）乃至（１７）のいずれかに記載の情報処理装置。
　（１９）　前記符号化部は、前記情報として、前記予測値を導出する前記予測ポイントからの距離が遠い方から２つの前記候補の内、いずれを参照するかを示す情報を符号化する
　（１８）に記載の情報処理装置。
　（２０）　３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの前記ポイント毎の属性情報について、前記属性情報と前記属性情報の予測値との差分値を導出する予測ポイントと、前記予測値の導出に用いられる参照ポイントとの分類を前記参照ポイントに対して再帰的に繰り返すことにより、前記属性情報の階層化を行う際に、前記予測値を導出するのに用いる前記参照ポイントを、前記参照ポイントの色に基づいて設定する
　情報処理方法。
　１００　符号化装置，　１０１　位置情報符号化部，　１０２　位置情報復号部，　１０３　ポイントクラウド生成部，　１０４　属性情報符号化部，　１０５　ビットストリーム生成部，　１１１　階層化処理部，　１１２　量子化部，　１１３　符号化部，　１２１　参照ポイント設定部，　１２２　参照関係設定部，　１２３　反転部，　１２４　重み値導出部，　２００　復号装置，　２０１　符号化データ抽出部，　２０２　位置情報復号部，　２０３　属性情報復号部，　２０４　ポイントクラウド生成部，　２１１　復号部，　２１２　逆量子化部，　２１３　逆階層化処理部

Claims (20)

  1. 　３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの前記ポイント毎の属性情報について、前記属性情報と前記属性情報の予測値との差分値を導出する予測ポイントと、前記予測値の導出に用いられる参照ポイントとの分類を前記参照ポイントに対して再帰的に繰り返すことにより、前記属性情報の階層化を行う階層化部を備え、
    　前記階層化部は、前記予測値を導出するのに用いる前記参照ポイントを、前記参照ポイント周辺のポイントの密度に基づいて設定する
    　情報処理装置。
  2. 　前記階層化部は、前記予測値を導出するのに用いる前記参照ポイントを、さらに、前記予測値を導出する前記予測ポイントからの距離に基づいて設定する
    　請求項１に記載の情報処理装置。
  3. 　前記階層化部は、周辺のポイントの密度が疎でなく、かつ、前記予測ポイントの近傍に位置する前記参照ポイントを、前記予測値を導出するのに用いる前記参照ポイントとして設定する
    　請求項２に記載の情報処理装置。
  4. 　前記階層化部は、周辺のポイントの数が所定の閾値以下の前記参照ポイントを、周辺のポイントの密度が疎な前記参照ポイントとする
    　請求項３に記載の情報処理装置。
  5. 　前記階層化部は、前記予測ポイントからの距離が等しい複数の前記参照ポイントの内、周辺のポイントの数が多い前記参照ポイントを、前記予測値を導出するのに用いる前記参照ポイントとして設定する
    　請求項２に記載の情報処理装置。
  6. 　前記階層化部は、前記予測ポイントからの距離が等しい複数の前記参照ポイントの内、周辺のポイントの数が少ない前記参照ポイントを、前記予測値を導出するのに用いる前記参照ポイントとして設定する
    　請求項２に記載の情報処理装置。
  7. 　前記階層化部は、前記予測値を導出する前記予測ポイントからの距離に基づいて、前記予測値を導出するのに用いる前記参照ポイントを所定の参照数分設定し、前記所定の参照数分の前記参照ポイントの内、周辺のポイントの密度が疎な前記参照ポイントを、前記予測値を導出するのに用いる前記参照ポイントから除外する
    　請求項２に記載の情報処理装置。
  8. 　前記階層化部は、周辺のポイントの数が所定の閾値以下の前記参照ポイントを、前記予測値を導出するのに用いる前記参照ポイントから除外する
    　請求項７に記載の情報処理装置。
  9. 　前記階層化部は、前記参照数が所定の下限以上となる範囲で、周辺のポイントの密度に基づく前記参照ポイントの除外を行う
    　請求項７に記載の情報処理装置。
  10. 　３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの前記ポイント毎の属性情報について、前記属性情報と前記属性情報の予測値との差分値を導出する予測ポイントと、前記予測値の導出に用いられる参照ポイントとの分類を前記参照ポイントに対して再帰的に繰り返すことにより、前記属性情報の階層化を行う際に、前記予測値を導出するのに用いる前記参照ポイントを、前記参照ポイント周辺のポイントの密度に基づいて設定する
    　情報処理方法。
  11. 　３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの前記ポイント毎の属性情報について、前記属性情報と前記属性情報の予測値との差分値を導出する予測ポイントと、前記予測値の導出に用いられる参照ポイントとの分類を前記参照ポイントに対して再帰的に繰り返すことにより、前記属性情報の階層化を行う階層化部を備え、
    　前記階層化部は、前記予測値を導出するのに用いる前記参照ポイントを、前記参照ポイントの色に基づいて設定する
    　情報処理装置。
  12. 　前記階層化部は、前記予測値を導出するのに用いる前記参照ポイントの候補を、前記予測値を導出する前記予測ポイントからの距離に基づいて設定し、前記候補の中から前記予測値を導出するのに用いる前記参照ポイントを、前記参照ポイントの色に基づいて設定する
    　請求項１１に記載の情報処理装置。
  13. 　前記階層化部は、前記予測値を導出する前記予測ポイントとの色の差が大きい候補を除外する
    　請求項１２に記載の情報処理装置。
  14. 　前記階層化部により設定された前記候補に関する情報を符号化する符号化部をさらに備える
    　請求項１３に記載の情報処理装置。
  15. 　前記符号化部は、前記情報として、前記階層化部により設定された全ての前記候補のそれぞれについて参照するかを示す情報を符号化する
    　請求項１４に記載の情報処理装置。
  16. 　前記符号化部は、前記情報として、前記階層化部により設定された一部の前記候補のそれぞれについて参照するかを示す情報を符号化する
    　請求項１４に記載の情報処理装置。
  17. 　前記符号化部は、前記情報として、前記予測値を導出する前記予測ポイントからの距離が遠い方から所定数の前記候補のそれぞれについて参照するかを示す情報を符号化する
    　請求項１６に記載の情報処理装置。
  18. 　前記符号化部は、前記情報として、前記階層化部により設定された２つの前記候補の内、いずれを参照するかを示す情報を符号化する
    　請求項１４に記載の情報処理装置。
  19. 　前記符号化部は、前記情報として、前記予測値を導出する前記予測ポイントからの距離が遠い方から２つの前記候補の内、いずれを参照するかを示す情報を符号化する
    　請求項１８に記載の情報処理装置。
  20. 　３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドの前記ポイント毎の属性情報について、前記属性情報と前記属性情報の予測値との差分値を導出する予測ポイントと、前記予測値の導出に用いられる参照ポイントとの分類を前記参照ポイントに対して再帰的に繰り返すことにより、前記属性情報の階層化を行う際に、前記予測値を導出するのに用いる前記参照ポイントを、前記参照ポイントの色に基づいて設定する
    　情報処理方法。
PCT/JP2020/048356 2020-01-06 2020-12-24 情報処理装置および方法 WO2021140928A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-000354 2020-01-06
JP2020000354 2020-01-06

Publications (1)

Publication Number Publication Date
WO2021140928A1 true WO2021140928A1 (ja) 2021-07-15

Family

ID=76788591

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/048356 WO2021140928A1 (ja) 2020-01-06 2020-12-24 情報処理装置および方法

Country Status (1)

Country Link
WO (1) WO2021140928A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019216434A1 (ja) * 2018-05-11 2019-11-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2019240286A1 (ja) * 2018-06-15 2019-12-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019216434A1 (ja) * 2018-05-11 2019-11-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2019240286A1 (ja) * 2018-06-15 2019-12-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Similar Documents

Publication Publication Date Title
US10964068B2 (en) Methods and devices for predictive point cloud attribute coding
WO2019198523A1 (ja) 画像処理装置および方法
JP7480775B2 (ja) 情報処理装置および方法
US11991348B2 (en) Information processing device and method
WO2021140930A1 (ja) 情報処理装置および方法
WO2021010200A1 (ja) 情報処理装置および方法
WO2020145143A1 (ja) 情報処理装置および方法
JPWO2020071115A1 (ja) 画像処理装置および方法
WO2022145214A1 (ja) 情報処理装置および方法
WO2021140928A1 (ja) 情報処理装置および方法
WO2021010134A1 (ja) 情報処理装置および方法
WO2021002214A1 (ja) 情報処理装置および方法
WO2019198520A1 (ja) 情報処理装置および方法
WO2021261237A1 (ja) 情報処理装置および方法
WO2022153835A1 (ja) 情報処理装置および方法
WO2022004377A1 (ja) 情報処理装置および方法
WO2020262020A1 (ja) 情報処理装置および方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20912262

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20912262

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP