WO2024014205A1 - 復号方法、符号化方法、復号装置及び符号化装置 - Google Patents

復号方法、符号化方法、復号装置及び符号化装置 Download PDF

Info

Publication number
WO2024014205A1
WO2024014205A1 PCT/JP2023/021711 JP2023021711W WO2024014205A1 WO 2024014205 A1 WO2024014205 A1 WO 2024014205A1 JP 2023021711 W JP2023021711 W JP 2023021711W WO 2024014205 A1 WO2024014205 A1 WO 2024014205A1
Authority
WO
WIPO (PCT)
Prior art keywords
attribute information
component
attribute
information
dimensional
Prior art date
Application number
PCT/JP2023/021711
Other languages
English (en)
French (fr)
Inventor
真人 大川
賀敬 井口
敏康 杉尾
孝啓 西
ファビオ ダーラリベラ
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Publication of WO2024014205A1 publication Critical patent/WO2024014205A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Definitions

  • the present disclosure relates to a decoding method, an encoding method, a decoding device, and an encoding device.
  • Three-dimensional data is acquired by various methods, such as a distance sensor such as a range finder, a stereo camera, or a combination of multiple monocular cameras.
  • Point cloud represents the shape of a three-dimensional structure using a group of points in three-dimensional space.
  • a point cloud stores the positions and colors of point clouds.
  • Point clouds are expected to become the mainstream method for expressing three-dimensional data, but point clouds require a very large amount of data. Therefore, when storing or transmitting three-dimensional data, it is essential to compress the amount of data through encoding, just as with two-dimensional moving images (an example is MPEG-4 AVC or HEVC standardized by MPEG). Become.
  • point cloud compression is partially supported by a public library (Point Cloud Library) that performs point cloud-related processing.
  • Point Cloud Library a public library that performs point cloud-related processing.
  • Patent Document 1 there is a known technology that uses three-dimensional map data to search for and display facilities located around a vehicle.
  • An object of the present disclosure is to provide a decoding method, an encoding method, a decoding device, or an encoding device that can reduce the amount of encoded data.
  • a decoding method includes receiving a bitstream in which a plurality of three-dimensional points each having first attribute information and second attribute information are encoded, and referring to the second attribute information to Predicting first attribute information.
  • An encoding method is an encoding method that generates a bitstream by encoding a plurality of three-dimensional points each having first attribute information and second attribute information, The first attribute information is predicted with reference to the attribute information, and the first attribute information is encoded using the result of the prediction.
  • the present disclosure can provide a decoding method, an encoding method, a decoding device, or an encoding device that can reduce the amount of encoded data.
  • FIG. 1 is a diagram illustrating a configuration example of point cloud data according to the first embodiment.
  • FIG. 2 is a block diagram showing the configuration of the three-dimensional data encoding device according to the first embodiment.
  • FIG. 3 is a flowchart of attribute information encoding processing according to the first embodiment.
  • FIG. 4 is a block diagram showing the configuration of a three-dimensional data decoding device according to the first embodiment.
  • FIG. 5 is a flowchart of attribute information decoding processing according to the first embodiment.
  • FIG. 6 is a block diagram showing the configuration of the attribute information encoding unit according to the first embodiment.
  • FIG. 7 is a block diagram showing the configuration of the attribute information decoding section according to the first embodiment.
  • FIG. 8 is a diagram showing reference relationships in the first example of prediction processing according to the first embodiment.
  • FIG. 9 is a diagram showing reference relationships in a second example of prediction processing according to the first embodiment.
  • FIG. 10 is a diagram for explaining prediction processing using the prediction mode according to the first embodiment.
  • FIG. 11 is a diagram showing the structure of TLV data according to the first embodiment.
  • FIG. 12 is a diagram showing the structure of a bitstream according to the first embodiment.
  • FIG. 13 is a diagram illustrating a syntax example of a TLV unit (TLV_unit) according to the first embodiment.
  • FIG. 14 is a diagram illustrating a syntax example of attribute_parameter according to the first embodiment.
  • FIG. 15 is a diagram illustrating a syntax example of a dependent attribute data unit header according to the first embodiment.
  • FIG. 16 is a diagram illustrating a syntax example of a dependent attribute data unit according to the first embodiment.
  • FIG. 17 is a diagram illustrating a syntax example of a dependent attribute data unit according to the first embodiment.
  • FIG. 18 is a flowchart of attribute information encoding processing according to the first embodiment.
  • FIG. 19 is a flowchart of attribute information decoding processing according to the first embodiment.
  • FIG. 20 is a diagram illustrating a syntax example of frame_attr_param_SEI according to the first embodiment.
  • FIG. 21 is a diagram illustrating a syntax example of angle_partial_access_SEI according to the first embodiment.
  • FIG. 22 is a flowchart of decoding processing when performing partial decoding according to the first embodiment.
  • FIG. 22 is a flowchart of decoding processing when performing partial decoding according to the first embodiment.
  • FIG. 23 is a block diagram showing the configuration of a three-dimensional data encoding device according to the second embodiment.
  • FIG. 24 is a diagram illustrating an example of integration of subcomponents according to the second embodiment.
  • FIG. 25 is a block diagram showing the configuration of a three-dimensional data decoding device according to the second embodiment.
  • FIG. 26 is a diagram illustrating an example of reference relationships in inter-subcomponent prediction according to the second embodiment.
  • FIG. 27 is a diagram illustrating an example of reference relationships in inter-subcomponent prediction according to the second embodiment.
  • FIG. 28 is a diagram illustrating an example of reference relationships in inter-subcomponent prediction according to the second embodiment.
  • FIG. 29 is a flowchart of attribute information encoding processing according to the second embodiment.
  • FIG. 30 is a flowchart of attribute information decoding processing according to the second embodiment.
  • FIG. 31 is a flowchart of the decoding process.
  • FIG. 32 is a flowchart of the encoding process.
  • a three-dimensional data decoding method receives a bitstream in which a plurality of three-dimensional points each having first attribute information and second attribute information are encoded, and refers to the second attribute information. and predicting the first attribute information. There may be a correlation between attribute information. Therefore, by predicting the first attribute information with reference to the second attribute information, there is a possibility that the data amount of the first attribute information can be reduced. Thereby, the amount of data handled by the decoding device can be reduced.
  • a three-dimensional data decoding method receives a bitstream, decodes the bitstream, and includes a plurality of three-dimensional points each having first attribute information and second attribute information. It includes encoded attribute information and meta information indicating that the first attribute information is predicted with reference to the second attribute information. There may be a correlation between attribute information. Therefore, by predicting the first attribute information with reference to the second attribute information, there is a possibility that the data amount of the first attribute information can be reduced.
  • the decoding device can appropriately decode the bitstream whose data amount has been reduced in this way using the meta information. Furthermore, the amount of data handled by the decoding device can be reduced.
  • the predicted first attribute information and the referenced second attribute information may have the same three-dimensional point.
  • the predicted first attribute information and the referenced second attribute information may have the same three-dimensional point.
  • the predicted first attribute information and the referenced second attribute information may have different three-dimensional points.
  • the first attribute information and the second attribute information may be stored in a first component and a second component, respectively.
  • the first quantization step for the first attribute information may be larger than the second quantization step for the second attribute information.
  • a small quantization step for the second attribute information that is referenced from other attribute information, it is possible to suppress the deterioration of the second attribute information and improve the prediction accuracy of the first attribute information that refers to the second attribute information. You can improve.
  • the amount of data can be reduced by using a large quantization step for the first attribute information. Thereby, encoding efficiency can be improved while suppressing deterioration of information as a whole.
  • the first attribute information and the second attribute information are generated by decoding the first encoded attribute information and the second encoded attribute information, respectively, and the second attribute information may be losslessly compressed. good.
  • lossless compression for the second attribute information that is referenced by other attribute information, it is possible to suppress the deterioration of the second attribute information and improve the accuracy of prediction of the first attribute information that refers to the second attribute information. . Thereby, encoding efficiency can be improved while suppressing deterioration of information as a whole.
  • each of the first component and the second component includes a first dimension element and a second dimension element
  • the first dimension element of the first component includes the first dimension element of the second component.
  • the second dimension element of the first component may be predicted with reference to the second dimension element of the second component.
  • the first component includes a first dimension element and a second dimension element
  • the first dimension element is predicted with reference to the second component
  • the second dimension element is predicted by referring to the first dimension element. It may be predicted with reference to.
  • the bitstream may not include information regarding a first prediction mode applied to the first component, but may include information regarding a second prediction mode applied to the second component. This allows the information regarding the first component to be reduced, thereby reducing the amount of data.
  • the bitstream includes a first residual value of the first attribute information
  • the first residual value is a third residual value of the first attribute information and a second residual value of the second attribute information.
  • the third residual value is a difference between a first value of the first attribute information and a first predicted value of the first attribute information
  • the second residual value is a difference between a first value of the first attribute information and a first predicted value of the first attribute information.
  • the bitstream includes a first residual value of the first attribute information
  • the first residual value is a combination of a first value of the first attribute information and a second value of the second attribute information. It may be the difference between Thereby, the data amount is reduced by encoding the difference between the value of the first attribute information and the value of the second attribute information.
  • the bitstream includes a first residual value of the first attribute information
  • the first residual value includes a first value of the first attribute information and a second predicted value of the second attribute information. It may be the difference between Thereby, the data amount is reduced by encoding the difference between the value of the first attribute information and the predicted value of the second attribute information. Furthermore, since there is no need to calculate the predicted value of the first attribute information, the amount of processing can be reduced.
  • the bitstream may include flag information indicating whether the second attribute information can be referenced in predicting the first attribute information.
  • the decoding device can refer to the flag information and determine whether the second attribute information can be referenced to predict the first attribute information, and therefore can appropriately decode the bitstream.
  • the bitstream may include coefficient information for calculating a first predicted value of the first attribute information.
  • coefficient information By using coefficient information, the amount of residual data can be reduced.
  • the bitstream may include a first data unit in which attribute information that is predicted with reference to other attribute information is stored, and a second data unit in which attribute information that is not predicted with reference to other attribute information is stored.
  • a data unit may also be included.
  • the first attribute information includes an RGB value
  • the second attribute information includes a reflectance value
  • at least one of the RGB values is predicted with reference to the reflectance value. Good too. This makes it possible to reduce the amount of data by using the correlation between color and reflectance, which generally have a correlation.
  • the encoding method according to the present embodiment is an encoding method that generates a bitstream by encoding a plurality of three-dimensional points each having first attribute information and second attribute information, and wherein the second attribute information is
  • the first attribute information is predicted by referring to the information, and the first attribute information is encoded using a result of the prediction. There may be a correlation between attribute information. Therefore, by predicting the first attribute information with reference to the second attribute information, the data amount of the first attribute information can be reduced.
  • a decoding device includes a processor and a memory, and the processor uses the memory to generate a plurality of three-dimensional points each having first attribute information and second attribute information.
  • the encoded bitstream is received, and the first attribute information is predicted by referring to the second attribute information.
  • an encoding device is an encoding device that generates a bitstream by encoding a plurality of three-dimensional points each having first attribute information and second attribute information, and a and a memory, the processor uses the memory to predict the first attribute information with reference to the second attribute information, and encodes the first attribute information using the result of the prediction.
  • a three-dimensional data encoding device and a three-dimensional data decoding device will be described below.
  • a three-dimensional data encoding device generates a bitstream by encoding three-dimensional data.
  • the three-dimensional data decoding device generates three-dimensional data by decoding the bitstream.
  • the three-dimensional data is, for example, three-dimensional point group data (also referred to as point group data).
  • a point cloud is a collection of three-dimensional points and indicates the three-dimensional shape of an object.
  • the point cloud data includes position information and attribute information of a plurality of three-dimensional points.
  • the position information indicates the three-dimensional position of each three-dimensional point.
  • the position information may also be referred to as geometry information.
  • position information is expressed in a rectangular coordinate system or a polar coordinate system.
  • the attribute information indicates, for example, color information, reflectance, transmittance, infrared information, normal vector, or time information.
  • One three-dimensional point may have a single attribute information, or may have multiple types of attribute information.
  • attribute information differs depending on the type of attribute. For example, color information has three elements (three dimensions) such as RGB or YCbCr. Reflectance has one element (one dimension). Furthermore, depending on the type of attribute, attribute information may have different restrictions, such as the range of possible values, bit depth, or whether or not it can take negative values.
  • attribute information are not limited to different information types such as color information and reflectance, but also information contents that have different formats such as RGB and YCbCr, and color information when viewed from different viewpoints. Including those with different values. Furthermore, hereinafter, different types of attribute information may be simply referred to as different attribute information or the like.
  • the three-dimensional data is not limited to point cloud data, but may be other three-dimensional data such as mesh data.
  • Mesh data also referred to as three-dimensional mesh data
  • CG Computer Graphics
  • the mesh data includes point cloud information (eg, vertex information). Therefore, the same method as that for point cloud data can be applied to this point cloud information.
  • the three-dimensional data encoding device when encoding multiple types of different attribute information, refers to another attribute information when encoding one attribute information. This allows the amount of code to be reduced.
  • the three-dimensional data encoding device sets the first attribute information as reference attribute information and sets the second attribute information as dependent attribute information.
  • the three-dimensional data encoding device first encodes the first attribute information, and then performs prediction by referring to the encoding result of the first attribute information in encoding the second attribute information.
  • the encoding result of the first attribute information is, for example, a value obtained by reconstructing the first attribute information, and specifically, it is obtained by decoding the encoded first attribute information. This is the value given.
  • the three-dimensional data encoding device also generates metadata indicating that the first attribute information is reference attribute information and the second attribute information is dependent attribute information, and stores the metadata in the bitstream. do.
  • the three-dimensional data decoding device obtains metadata from the bitstream. Further, the three-dimensional data decoding device first decodes the first attribute information, and then performs prediction by referring to the decoding result of the first attribute information in decoding the second attribute information.
  • the generation and transmission of metadata may be omitted, and the three-dimensional data encoding device and three-dimensional data decoding device may fixedly treat the first attribute information as reference attribute information.
  • FIG. 1 is a diagram showing an example of the structure of such point cloud data.
  • each point has position information, first color information, and second color information.
  • the first color information and the second color information are attribute information, for example, color information corresponding to different viewpoints.
  • the three-dimensional data encoding device transmits an identifier indicating that the first attribute information is reference attribute information and the second attribute information is dependent attribute information. This makes it possible for the three-dimensional data decoding device to acquire the identifier from the bitstream, determine the dependency relationship based on the identifier, and perform decoding.
  • FIG. 2 is a block diagram showing the configuration of three-dimensional data encoding device 100 according to this embodiment.
  • the three-dimensional data encoding device 100 generates encoded attribute information and dependency relationship information by encoding a plurality of pieces of attribute information (first and second attribute information).
  • This three-dimensional data encoding device 100 includes an attribute information encoding section 101. Note that in FIG. 2, only the processing unit related to encoding of attribute information is shown.
  • the three-dimensional data encoding device 100 may include other processing units such as a position information encoding unit that encodes position information.
  • FIG. 3 is a flowchart of attribute information encoding processing performed by the three-dimensional data encoding device 100.
  • the attribute information encoding unit 101 encodes first attribute information (S101).
  • the attribute information encoding unit 101 encodes each piece of attribute information as one attribute component.
  • the attribute information encoding unit 101 encodes the first attribute information as a first component and encodes the second attribute information as a second component.
  • the attribute information encoding unit 101 encodes the second attribute information with reference to the first attribute information (S102). Specifically, the attribute information encoding unit 101 calculates a predicted value by performing prediction with reference to the encoded information of the first attribute information. The attribute information encoding unit 101 encodes the second attribute information using the predicted value. For example, the attribute information encoding unit 101 calculates a prediction residual (residual value) that is the difference between the second attribute information and the predicted value. Further, the attribute information encoding unit 101 generates encoded attribute information by performing arithmetic encoding (entropy encoding) on the prediction residual. Note that arithmetic encoding may not be performed.
  • the encoded information of the first attribute information is, for example, a value obtained by reconstructing the first attribute information, and specifically, it is obtained by decoding the encoded first attribute information. It is a value. Further, the encoded information of the first attribute information may be information used for encoding the first attribute information.
  • the first attribute information that is referenced from other attribute information is referred to as reference attribute information
  • the attribute component that includes the reference attribute information is referred to as a reference component.
  • second attribute information that refers to other attribute information is referred to as dependent attribute information
  • an attribute component that includes dependent attribute information is referred to as a dependent component.
  • the attribute information encoding unit 101 stores dependency relationship information indicating that the second attribute information is dependent on the first attribute information in the bitstream (encoded data) (S103).
  • the dependency relationship information is meta information indicating that the second attribute information is predicted with reference to the first attribute information.
  • FIG. 4 is a block diagram showing the configuration of a three-dimensional data decoding device 200 according to this embodiment.
  • the three-dimensional data decoding device 200 generates a plurality of pieces of attribute information (first and second attribute information) by decoding encoded attribute information and dependency relationship information included in the bitstream.
  • This three-dimensional data decoding device 200 includes an attribute information decoding section 201. Note that in FIG. 4, only the processing unit related to decoding of attribute information is shown.
  • the three-dimensional data decoding device 200 may include other processing units such as a position information decoding unit that decodes position information.
  • FIG. 5 is a flowchart of attribute information decoding processing performed by the three-dimensional data decoding device 200.
  • the attribute information decoding unit 201 decodes a plurality of pieces of attribute information. Specifically, the attribute information decoding unit 201 acquires dependency relationship information indicating that the second attribute information is dependent on the first attribute information from the bitstream (S111). Next, the attribute information decoding unit 201 decodes the first attribute information and the second attribute information based on the dependency relationship information.
  • the attribute information decoding unit 201 decodes the first attribute information (S112).
  • the attribute information decoding unit 201 decodes the second attribute information by referring to the decoding information of the first attribute information (S113).
  • the attribute information decoding unit 201 calculates a predicted value by making a prediction with reference to the decoding information of the first attribute information.
  • the attribute information decoding unit 201 decodes the second attribute information using the predicted value.
  • the attribute information decoding unit 201 acquires the prediction residual (difference) between the second attribute information and the predicted value from the bitstream. Note that when the second attribute information has been arithmetic encoded, the attribute information decoding unit 201 acquires a prediction residual by entropy decoding the encoded attribute information.
  • the attribute information decoding unit 201 restores the second attribute information by adding the acquired prediction residual and the predicted value.
  • the decoding information of the first attribute information is, for example, a value obtained by decoding (reconstructing) the first attribute information.
  • the decoding information of the first attribute information may be information used for decoding the first attribute information.
  • the attribute information encoding unit 101 is an encoding unit (LoD-based attribute encoder) that performs encoding using LoD.
  • FIG. 6 is a block diagram showing the configuration of the attribute information encoding section 101.
  • the attribute information encoding unit 101 includes a LoD generation unit 111, an adjacent search unit 112, a prediction unit 113, a residual calculation unit 114, a quantization unit 115, an inverse quantization unit 116, and a reconstruction unit 117. , a memory 118, and an arithmetic encoder 119.
  • the LoD generation unit 111 generates an LoD layer using position (geometry) information of a plurality of three-dimensional points.
  • the adjacent search unit 112 searches for three-dimensional points (adjacent points) in the vicinity of the target point to be processed, using the LoD generation result and distance information between three-dimensional points.
  • the prediction unit 113 generates a predicted value of the attribute information of the target point. Specifically, the prediction unit 113 generates a predicted value of the reference attribute information of the target point by referring to attribute information of an adjacent point different from the target point. Furthermore, a predicted value of the dependent attribute information of the target point is generated using the encoded information of the reference attribute information of the target point.
  • the residual calculation unit 114 generates a prediction residual (residual value) that is the difference between the attribute information and the predicted value. Specifically, the residual calculation unit 114 generates the difference between the reference attribute information and the predicted value of the reference attribute information as the predicted residual of the reference attribute information. The residual calculation unit 114 generates a difference between the dependent attribute information and the predicted value of the dependent attribute information as a predicted residual of the dependent attribute information.
  • the quantization unit 115 quantizes the prediction residual.
  • the dequantization unit 116 dequantizes the prediction residual after quantization.
  • the reconstruction unit 117 generates a decoded value in which the attribute information of the target point is decoded by adding the predicted value and the predicted residual after dequantization.
  • the memory 118 stores encoded information that is attribute information (decoded values) of a plurality of encoded and decoded three-dimensional points.
  • the decoded values stored in the memory 118 are used by the prediction unit 113 to predict subsequent three-dimensional points. Further, the decoded value of the reference attribute information of the target point is used by the prediction unit 113 to predict the dependent attribute information of the target point.
  • the arithmetic encoding unit 119 arithmetic encodes the prediction residual after quantization. Note that the arithmetic encoding unit 119 may binarize the prediction residual after quantization, and may perform arithmetic encoding on the prediction residual after the binarization.
  • encoding parameters or quantization values are used when encoding a dependent component (dependent attribute information) and when encoding a reference component (reference attribute information).
  • a reference component may be highly important because it is referenced by other components.
  • reference components may be losslessly compressed and dependent components may be lossy compressed.
  • irreversible compression is encoding processing that includes quantization processing
  • reversible compression is encoding processing that does not include quantization processing.
  • the quantization step used for the reference component may be smaller than the quantization step used for the dependent component.
  • the three-dimensional data encoding device 100 classifies the original attribute information into a reference component and a dependent component, selects encoding parameters suitable for each of the reference component and the dependent component, and performs encoding. This can be expected to improve coding efficiency.
  • the attribute information decoding section 201 is a decoding unit (LoD-based attribute decoder) that performs decoding using LoD.
  • FIG. 7 is a block diagram showing the configuration of the attribute information decoding section 201.
  • the attribute information decoding section 201 includes a LoD generation section 211 , an adjacent search section 212 , a prediction section 213 , an arithmetic decoding section 214 , an inverse quantization section 215 , a reconstruction section 216 , and a memory 217 .
  • the LoD generation unit 211 generates LoD using the decoded position information of the plurality of three-dimensional points.
  • the adjacent search unit 212 uses the LoD generation result and distance information between three-dimensional points to search for three-dimensional points (adjacent points) near the target point to be processed.
  • the prediction unit 213 generates a predicted value of the attribute information of the target point. Specifically, the prediction unit 213 generates a predicted value of the reference attribute information of the target point by referring to attribute information of an adjacent point different from the target point. Furthermore, a predicted value of the dependent attribute information of the target point is generated using the encoded information of the reference attribute information of the target point.
  • the arithmetic decoding unit 214 generates a prediction residual (quantized prediction residual) by arithmetic decoding the encoded attribute information included in the bitstream.
  • the dequantization unit 215 dequantizes the arithmetic decoded prediction residual (quantized prediction residual).
  • the reconstruction unit 216 generates a decoded value by adding the predicted value and the predicted residual after dequantization.
  • the memory 217 stores decoded values of a plurality of decoded three-dimensional points.
  • the decoded values stored in the memory 217 are used by the prediction unit 213 to predict subsequent three-dimensional points. Further, the decoded value of the reference attribute information of the target point is used by the prediction unit 213 to predict the dependent attribute information of the target point.
  • FIG. 8 is a diagram showing reference relationships in the first example of prediction processing.
  • the point of interest has component A and component B, where component A is the reference component and component B is the dependent component.
  • Both component A and component B are color information, and each includes three dimensional elements (also called subcomponents): green (G), blue (B), and red (R).
  • inter-component prediction is used for all dimensional elements included in the dependent attribute information.
  • inter-component prediction in order to reduce the amount of code, the prediction residual between the attribute value (attribute information value) of the dependent component of the target point and the predicted value based on the attribute value of the reference component of the target point is calculated. , the prediction residual is encoded.
  • arrows indicate reference destination dimension elements that refer to encoded information in encoding attribute components.
  • the dimensional element at the start point of the arrow references the dimensional element at the end point.
  • each of the plurality of dimensional elements included in the dependent component refers to the same dimensional element included in the reference component. That is, the G element of the dependent component refers to the G element of the reference component, the B element of the dependent component refers to the B element of the reference component, and the R element of the dependent component refers to the R element of the reference component.
  • the predicted value of point N is calculated using the prediction coefficients (coeff ia (R ) , coeff ia (G), coeff ia ( B)), , BAN ⁇ coeffia (R)). That is, the predicted value of point N of component B is the value obtained by multiplying the attribute value of component A by the prediction coefficient. Furthermore, the prediction coefficients are derived using a predetermined method.
  • a predicted value and a residual are derived using a plurality of candidate values for prediction coefficients, and the candidate value with the smallest amount of code is selected as the prediction coefficient.
  • information indicating prediction coefficients is stored in a bitstream and transmitted to the three-dimensional data decoding device.
  • the prediction residual (resi( RBN ), resi( GBN ), resi( BBN )) of component B which is the difference between the attribute value of component A and the predicted value, is expressed by the following formula.
  • the attribute values (R BN , G BN , B BN ) of point N of component B are the decoded prediction residuals (resi(R BN ), resi(G BN ), resi(B BN ) ), prediction coefficients (coeff ia (R), coeff ia (G), coeff ia (B)), and attribute values of component A (R AN , G AN , B AN ), it is expressed by the following formula. Ru.
  • G BN resi (G BN ) + G AN ⁇ coeffia (G)
  • B BN resi(B BN )+B AN ⁇ coeffia (B)
  • R BN resi(R BN )+R AN ⁇ coeffia (R)
  • two or more pieces of attribute information may refer to one reference attribute information.
  • FIG. 9 is a diagram showing reference relationships in a second example of prediction processing.
  • inter-component prediction is used for some of the plurality of dimensional elements included in the dependent component, and inter-subcomponent prediction is used for other parts.
  • Inter-subcomponent prediction is a prediction method in which a target dimensional element to be processed refers to other dimensional elements belonging to the same component as the target dimensional element.
  • the representative dimension element (G element in the example shown in FIG. 9) among the plurality of dimension elements included in the dependent component (component B) is the representative dimension element (G element in the example shown in FIG. 9) of the reference component (component A).
  • dimension elements other than the representative dimension element (B element and R element in the example shown in FIG. 9) refer to the representative dimension element included in the dependent component.
  • the predicted residual of the reference component ( resi(R AN ), resi(G AN ), resi(B AN )) are expressed below using inter-subcomponent prediction coefficients (coeff Ais (R), coeff Ais (B)).
  • the prediction residuals (resi(R BN ), resi(G BN ), resi(B BN )) of the dependent components are the inter-subcomponent prediction coefficients (coeff Bis (R), coeff Bis (B)), and the inter-component prediction It is expressed below using a coefficient (coeff ia (G)).
  • prediction is not performed for the G element of component A. Further, inter-subcomponent prediction with reference to the G element of component A is performed on the B element and R element of component A. Inter-component prediction is performed on the G element of component B with reference to the G element of component A. Further, inter-subcomponent prediction with reference to the G element of component B is performed on the B element and R element of component B.
  • inter-subcomponent prediction coefficients and the inter-component prediction coefficients are derived in advance using a predetermined method, similar to the above-mentioned prediction coefficients. Further, for example, information indicating prediction coefficients is stored in a bitstream and transmitted to the three-dimensional data decoding device.
  • the prediction residual of the reference component at point N is (resi( RAN ), resi( GAN ), resi( BAN )), and the prediction residual of the dependent component is (resi( RBN )).
  • the attribute values (R AN , G AN , B AN ) of the reference component are the inter-subcomponent prediction coefficients (coeff Ais (R), coeff Ais (B) ) is expressed as follows.
  • GAN resi( GAN )
  • B AN resi (B AN ) + G AN ⁇ coeff Ais (B)
  • R AN resi (R AN ) + G AN ⁇ coeff Ais (R)
  • the attribute values (R BN , G BN , B BN ) of the dependent components are calculated using inter-subcomponent prediction coefficients (coeff Bis (R), coeff Bis (B)) and inter-component prediction coefficients (coeff ia (G)). is expressed as below.
  • G BN resi (G BN ) + G AN ⁇ coeffia (G)
  • B BN resi (B BN ) + G BN ⁇ coeff Bis (B)
  • R BN resi(R BN )+G BN ⁇ coeff Bis (R)
  • inter-subcomponent prediction can reduce the prediction residual when the correlation between dimensional elements is high, and prediction residual can reduce the prediction residual when the correlation of each dimensional element between components is high. By combining this with inter-component prediction, it is possible to reduce the amount of code.
  • the predicted value of dependent attribute information is derived with reference to the predicted value of reference attribute information. Further, the predicted value of the reference attribute information is derived using prediction using a prediction mode. That is, the predicted value of the dependent attribute information is derived with reference to the predicted value of the reference attribute information, which is predicted with reference to the attribute information of one or more adjacent points different from the target point.
  • FIG. 10 is a diagram for explaining prediction processing using a prediction mode, which refers to adjacent points.
  • the predicted value of the reference attribute information is calculated based on a plurality of adjacent points (neighboring points) that are adjacent to (close to) the target point.
  • the attribute value of any one of a plurality of adjacent points is set as the predicted value.
  • the average value of multiple attribute values of multiple adjacent points is set as the predicted value. Note that the same predicted value may be used for all dimension elements included in the attribute information for one target point, regardless of the number of dimension elements included in the attribute information.
  • the three-dimensional data encoding device selects one of a plurality of prediction modes and calculates a predicted value based on the selected prediction mode. Furthermore, the three-dimensional data encoding device stores information (pred_mode) indicating the selected prediction mode in the bitstream.
  • pred_mode information indicating the selected prediction mode in the bitstream.
  • the multiple prediction modes include the following modes.
  • prediction mode 0, the three-dimensional data encoding device predicts the average value of the attribute value of the first adjacent point, the attribute value of the second adjacent point, and the attribute value of the third adjacent point shown in FIG. Decide on the value.
  • the first adjacent point is the encoded three-dimensional point closest to the target point
  • the second adjacent point is the encoded three-dimensional point second closest to the target point
  • the third adjacent point is the encoded three-dimensional point closest to the target point. is the coded three-dimensional point third closest to the target point.
  • the three-dimensional data encoding device calculates a predicted value and a prediction residual using these multiple prediction modes, and selects the prediction mode with the smallest amount of code.
  • the attribute value of the referenced adjacent point is the attribute value of the same type of attribute component as the processing target attribute component included in the target point. For example, if each of the target point and adjacent points has a first attribute component and a second attribute component, the first attribute component of the adjacent point is referenced to predict the first attribute component of the target point, and the first attribute component of the adjacent point is referred to. In predicting the second attribute component, the second attribute component of the adjacent point is referenced.
  • the three-dimensional data encoding device selects a prediction mode for each three-dimensional point, and stores information (pred_mode) indicating the prediction mode for each three-dimensional point in the bitstream.
  • pred_mode information indicating the prediction mode for each three-dimensional point in the bitstream.
  • the three-dimensional data decoding device uses the above-mentioned predetermined prediction mode if the condition is satisfied.
  • the number of selectable prediction modes may be limited when a predetermined condition is satisfied.
  • the three-dimensional data encoding device refers to the predicted value of component A to predict the attribute value of component B. Although an example in which encoding is performed in the order of R, G, and B is shown here, the encoding order may be changed.
  • the prediction residuals of the reference component (resi(R AN ), resi(G AN ), resi(B AN )) are expressed as follows.
  • information indicating the prediction mode of the reference component is stored in the bitstream, and information indicating the prediction mode of the dependent component is not stored in the bitstream.
  • the three-dimensional data decoding device calculates the predicted value of the reference component using the prediction mode indicated by the decoded pred_mode. Let the predicted values of the reference component be (pred(R AN ), pred(G AN ), pred(B AN )), and let the prediction residuals of the decoded reference component be (resi(R AN ), resi(G AN ), resi(B AN )), and the prediction residual of the decoded dependent component is (resi(R BN ), resi( GBN ), resi(B BN )), then the attribute value of the reference component (R AN , G AN , B AN ) are expressed as follows.
  • RAN resi( RAN )+pred( RAN )
  • GAN resi( GAN )+pred( GAN )
  • BAN resi( BAN )+pred( BAN )
  • the attribute values (R BN , G BN , B BN ) of the dependent components are expressed below.
  • R BN resi(R BN )+pred(R AN )
  • G BN resi(G BN )+pred(G AN )
  • B BN resi(B BN )+pred(B AN )
  • the attribute value of the dependent component is calculated using the predicted value obtained when decoding the reference component and the predicted residual of the dependent component decoded from the bitstream.
  • prediction_mode indicating the prediction mode for the dependent component. This allows the amount of code to be reduced. Furthermore, processing time for calculating prediction modes for dependent components can also be reduced. Note that when generating the prediction residual, the predicted value calculated above may be multiplied by a coefficient. For example, this coefficient is pre-calculated so that the prediction residual is small. This coefficient may also be stored in the bitstream.
  • the predicted value of the reference component is used for the dependent component, but the predicted value of the dependent component may be calculated using the prediction mode used in the reference component.
  • the reference component and the dependent component may share the same prediction mode.
  • a prediction mode is determined, and using the prediction mode, a predicted value of the reference component is determined based on the attribute value of the reference component at an adjacent point.
  • a predicted value of the dependent component is determined based on the attribute value of the dependent component of the adjacent point.
  • the difference between the attribute value of the reference component and the predicted value of the reference component is calculated as the predicted residual of the reference component, and the difference between the attribute value of the dependent component and the predicted value of the dependent component is calculated as the predicted residual of the dependent component. It is calculated as
  • pred_mode information indicating the prediction mode for the dependent component
  • the prediction mode and predicted value are not shared between component A and component B, but the prediction mode and predicted value are determined for each, and the prediction residual for each is calculated. Furthermore, the difference between the two calculated prediction residuals is encoded as a component B prediction residual.
  • the three-dimensional data encoding device determines the prediction mode of component A for each three-dimensional point, calculates a predicted value based on the determined prediction mode, and performs the first prediction using the calculated predicted value. Derive the residuals. Similarly, the three-dimensional data encoding device determines the prediction mode of component B for each three-dimensional point, calculates the predicted value based on the determined prediction mode, and uses the calculated predicted value to calculate the second prediction residual. Derive.
  • the three-dimensional data encoding device stores pred_mode for each component of each three-dimensional point in the bitstream.
  • the three-dimensional data encoding device encodes the first prediction residual as is for the reference component.
  • the three-dimensional data encoding device predicts the second prediction residual of the dependent component using the first prediction residual of the reference component, and generates the third prediction residual.
  • the third prediction residual is the difference between the first prediction residual and the second prediction residual.
  • the first prediction residuals (resi( RAN ), resi( GAN ), resi( BAN )) of the reference component are expressed as follows.
  • the second prediction residuals (resi( RBN ), resi( GBN ), resi( BBN )) of the dependent components are expressed below.
  • the third prediction residuals (resi2(R BN ), resi2(G BN ), resi2(B BN )) of the dependent components are expressed below.
  • At least one of the first prediction residual or the second prediction residual may be multiplied by a coefficient. For example, this coefficient is calculated in advance so that the third prediction residual is small. This coefficient may also be stored in the bitstream.
  • the three-dimensional data decoding device derives a second prediction residual of the dependent component using the decoded first prediction residual of the reference component and the decoded third prediction residual of the dependent component.
  • the three-dimensional data decoding device restores the attribute value of the dependent component using the derived second prediction residual.
  • the attribute values ( RAN , GAN , BAN ) of the reference component are expressed as follows.
  • RAN resi( RAN )+pred( RAN )
  • GAN resi( GAN )+pred( GAN )
  • BAN resi( BAN )+pred( BAN )
  • the second prediction residuals (resi( RBN ), resi( GBN ), resi( BBN )) of the dependent components are expressed below.
  • the attribute values (R BN , G BN , B BN ) of the dependent components are expressed below.
  • R BN resi(R BN )+pred(R BN )
  • G BN resi(G BN )+pred(G BN )
  • B BN resi(B BN )+pred(B BN )
  • the prediction mode and the prediction value may be shared as described in the third example. That is, the predicted value of the reference component may be used in calculating the second predicted residual of the dependent component. This makes it possible to reduce prediction processing in dependent components. Furthermore, the amount of code can be reduced by not encoding the prediction mode. Note that the prediction mode may be shared without sharing the predicted value.
  • the three-dimensional data encoding device may encode the difference between the predicted value of the dependent component and the residual of the reference component as the encoded data of the dependent component.
  • the three-dimensional data encoding device calculates a first predicted value in the prediction mode for the reference component, calculates a first residual that is the difference between the attribute information of the reference component and the first predicted value, and The first residual is encoded as encoded data of the reference component.
  • the three-dimensional data encoding device calculates a second predicted value in the prediction mode for the dependent component, and uses the difference between the second predicted value and the first residual as encoded data of the dependent component. encode.
  • FIG. 11 is a diagram showing the configuration of TLV data (Type, Length, Value) included in the bitstream.
  • TLV data (TLV unit) includes Type, Length, and Value.
  • Type and Length are headers of TLV data, and Type includes an identifier of data stored in Value.
  • Value is the payload of TLV data and includes encoded data.
  • FIG. 12 is a diagram showing an example of the configuration of a bitstream. As shown in FIG. 12, the bitstream includes SPS, GPS, APS, GDU header, GDU, ADU header, ADU, DADU header, and DADU.
  • SPS Sequence Parameter Set
  • APS Attribute Parameter Set
  • GPS Global Parameter Set
  • APS and GPS are metadata common to multiple frames.
  • a GDU is a data unit (geometry data unit) of encoded data of position information.
  • ADU is a data unit (attribute data unit) of encoded data of attribute information (reference attribute information).
  • DADU is a data unit (dependent attribute data unit) of encoded data of dependent attribute information.
  • the GDU header, ADU header, and DADU header are headers (control information) of GDU, ADU, and DADU, respectively. Each piece of data shown in FIG. 12 is stored in multiple TLV units.
  • FIG. 13 is a diagram showing an example of the syntax of the TLV unit (TLV_unit). As shown in FIG. 13, the TLV unit includes type and length. Further, the TLV unit includes data according to type.
  • the encoded data of a normal attribute component includes a header of an attribute data unit (attribute_data_unit_header()) and an attribute data unit (attribute_data_unit_data()). “attribute_data_unit” is shown as the type of the TLV unit.
  • the encoded data of the normal attribute component is the encoded data of the reference component, which is the encoded data that is encoded by referring to the corresponding geometry data unit without referring to other attribute data units. be.
  • encoded data encoded with reference to other attribute components includes a header of a dependent attribute data unit (dependent_attribute_data_unit_header()) and a dependent attribute data unit (dependent_attribute_data_unit_data()).
  • “dependent_attribute_data_unit” is shown as the type of the TLV unit.
  • the dependent attribute data unit stores encoded data that is encoded with reference to the corresponding geometry data unit and the corresponding reference destination attribute data unit.
  • the encoded data of the position information component includes a geometry data unit header (geometry_data_unit_header()) and a geometry data unit (geometry_data_unit_data()).
  • “geometry_data_unit” is shown as the type of the TLV unit.
  • an attribute data unit and a dependent attribute data unit are identified by the TLV type, but the type indicates an attribute data unit, and the attribute data unit header indicates that the attribute data unit is a normal attribute data unit.
  • Information indicating whether the data unit is a subordinate attribute data unit or a dependent attribute data unit may be stored.
  • the first color information and the second color information are each encoded as one attribute component using an arbitrary attribute information encoding method such as LoD based attribute or Transform based attribute.
  • an arbitrary attribute information encoding method such as LoD based attribute or Transform based attribute.
  • LoD-based attribute is one of the conversion methods using LoD (Level of Detail), and is a method for calculating the prediction residual.
  • LoD is a method of hierarchizing three-dimensional points according to position information, and is a method of hierarchizing three-dimensional points according to the distance (denseness) between points.
  • the transform based attribute is, for example, the RAHT (Region Adaptive Hierarchical Transform) method.
  • RAHT is a method of converting attribute information using position information of three-dimensional points.
  • RAHT transform, Haar transform, etc. By applying RAHT transform, Haar transform, etc. to the attribute information, coding coefficients (high frequency components and low frequency components) of each layer are generated, and their values or prediction residuals with the coding coefficients of adjacent nodes are Quantization, entropy encoding, etc. are performed.
  • the attribute information, coding coefficients, or prediction residuals of the reference component are used to predict the attribute information, coding coefficients, or prediction residuals of the dependent component, as in the case of using the LoD-based attribute.
  • a method of encoding the residual using the difference can be applied.
  • the correlation used in the above prediction process may be (1) a correlation between the first attribute information and second attribute information of one three-dimensional point, or (2) a correlation between multiple three-dimensional points.
  • a plurality of first encoding coefficients obtained by converting (RAHT or Haar) the plurality of first attribute information of the plurality of three-dimensional points and a plurality of second attribute information of the plurality of three-dimensional points are converted (RAHT or Haar). It may be a correlation with a plurality of second coding coefficients obtained by (3) a first prediction residual generated by inter or intra prediction of a plurality of first coding coefficients. , it may be a correlation with a second prediction residual generated by inter- or intra-prediction of a plurality of second coding coefficients.
  • the correlation between the encoding coefficient of a dependent component (for example, first attribute information) and the encoding coefficient of a reference component (for example, second attribute information) is not limited to two pieces of attribute information of the same three-dimensional point, but also for different three-dimensional points. It may include a correlation between two attribute information of a point.
  • the first attribute information of the first three-dimensional point included in the plurality of three-dimensional points, and the second attribute of the second three-dimensional point different from the first three-dimensional point included in the plurality of three-dimensional points. Correlation with information may also be used.
  • the first color information is encoded as a three-dimensional first attribute component
  • the second color information is encoded as a three-dimensional second attribute component.
  • the encoded data of the first attribute component is stored in the ADU
  • the encoded data of the second attribute component encoded with reference to the first attribute information is stored in the DADU.
  • FIG. 14 is a diagram showing an example of the syntax of attribute_parameter(i).
  • attribute_parameter(i) is a parameter related to the i-th attribute information, and information indicating the dependency relationship between multiple pieces of attribute information is stored in attribute_parameter.
  • attribute_parameter includes reference_attr_id[i].
  • num_attribute_parameter is included in the SPS and indicates the number of attribute_parameters included in the SPS.
  • reference_attr_id indicates the attribute component identifier of the reference (dependent) component.
  • the SPS may include a flag indicating whether the sequence includes dependent attribute information or whether there is a possibility of including dependent attribute information.
  • FIG. 15 is a diagram showing an example of the syntax of the dependent attribute data unit header (dependent_attribute_data_unit_header).
  • the dependent attribute data unit header includes reference_attr_slice_id, attr_id, reference_attr_id, inter_attribute_pred_enabled, predmode_reference_flag, and inter_ attribute_pred_coeff[i][c].
  • reference_attr_slice_id indicates the slice ID of the referenced attribute component.
  • the slice ID is an identifier of a slice of a point group. Therefore, the slice ID of the attribute component of the reference destination is the same as the slice ID of the position information of the reference destination and the slice ID of the dependent component to be processed. Therefore, reference_attr_slice_id may indicate the slice ID of the reference location information, or may indicate the slice ID of the dependent component to be processed. attr_id indicates the index of the attribute component.
  • reference_attr_id is the same as reference_attr_id of attribute_parameter, and indicates the component identifier of the attribute component of the referenced (dependent) component.
  • reference_attr_id is included in at least one of the SPS and the dependent attribute data unit header.
  • inter_attribute_pred_enabled indicates whether inter-component prediction is enabled. For example, a value of 1 indicates valid and a value of 0 indicates invalid.
  • predmode_reference_flag indicates whether to refer to the prediction mode (pred_mode) of the reference component.
  • the dependent attribute data unit header includes inter_attribute_pred_coeff[i][c].
  • lod_max_levels shown in FIG. 15 indicates the number of layers of LoD.
  • num_dimension indicates the number of dimensions, which is the number of dimension elements included in the attribute component.
  • inter_attribute_pred_coeff indicates a prediction coefficient.
  • the prediction coefficients are stored for each LoD layer and for each subcomponent (dimension), as shown in FIG. 15.
  • prediction coefficients may be shared among multiple LoD layers, prediction coefficients may be shared among multiple subcomponents, or prediction coefficients may be shared between multiple LoD layers and multiple subcomponents. . That is, the prediction coefficient may be generated for each LoD of one or more, or may be generated for each of one or more dimensional elements.
  • inter_attribute_pred_coeff_diff which indicates the difference in prediction coefficients, may be used instead of inter_attribute_pred_coeff.
  • inter_attribute_pred_coeff_diff at the beginning of LoD indicates the difference between a predetermined initial value and a prediction coefficient to be processed.
  • the second inter_attribute_pred_coeff_diff from the beginning of the LoD indicates the difference between the first prediction coefficient of the LoD and the (second) prediction coefficient to be processed.
  • the difference between the previous prediction coefficient and the prediction coefficient to be processed is used. This makes it possible to reduce the amount of transmitted prediction coefficient data.
  • information indicating the prediction coefficient may be stored in the header of the data unit. Further, when a common prediction coefficient is used for a plurality of data units, information indicating the prediction coefficient may be stored in the APS. Further, when a common prediction coefficient is used for the sequences, information indicating the prediction coefficient may be stored in the SPS.
  • FIG. 15 shows an example in which control signals such as reference_attr_id, inter_attribute_pred_enabled, and predmode_reference_flag are shared by multiple LoDs and multiple dimensional elements, at least one of these control signals is It may be provided for each dimensional element, or it may be provided for each dimensional element.
  • FIG. 16 is a diagram showing a syntax example of a dependent attribute data unit (dependent_attribute_data_unit) when the first example or the second example of the prediction processing shown in FIGS. 8 and 9 is used.
  • the dependent attribute data unit includes resi.
  • point_count indicates the number of points included in the data unit.
  • num_dimension indicates the number of dimensions, which is the number of dimension elements included in the attribute component. Further, resi is generated for each point and for each dimension element.
  • resi indicates the prediction residual. Specifically, resi calculates the reference subcomponent or another subcomponent within the attribute component to be processed at each point in the data unit, as shown in the first and second examples of prediction processing described above. It shows the residual (difference) between the predicted value calculated with reference and the subcomponent to be processed.
  • the dependent attribute data unit may include zero_run_length indicating the number of consecutive 0 points instead of resi.
  • arithmetic encoding may be performed after decomposing resi or changing the value of resi according to the conditions of other subcomponents. Note that arithmetic encoding is advantageous because, for example, the amount of data after arithmetic encoding is reduced.
  • FIG. 17 is a diagram showing an example of the syntax of a dependent attribute data unit (dependent_attribute_data_unit) when the third or fourth example of the prediction process shown in FIG. 10 is used.
  • the dependent attribute data unit includes pred_mode and resi (or resi2).
  • the dependent attribute data unit includes resi generated for each point and for each dimension element. resi indicates the residual (difference) between the predicted value generated using the referenced pred_mode or the pred_mode included in the dependent attribute data unit and the subcomponent to be processed.
  • the dependent attribute data unit includes resi2 generated for each point and for each dimension element.
  • resi2 is the residual (difference) between the predicted value generated using the referenced pred_mode or the pred_mode included in the dependent attribute data unit, the residual of the subcomponent to be processed, and the residual of the referenced subcomponent. be.
  • the dependent attribute data unit may include zero_run_length indicating the number of consecutive 0 points instead of resi.
  • arithmetic encoding is performed after decomposing resi into specific bits or transforming it by combining multiple resi of multiple subcomponents into one data. It's okay to be hurt. Note that arithmetic encoding is advantageous because, for example, the amount of data after arithmetic encoding is reduced. Further, pred_mode and resi of a specific subcomponent may be combined into one data.
  • FIG. 18 is a flowchart of encoding processing of attribute information (attribute component) by the three-dimensional data encoding device.
  • the three-dimensional data encoding device determines whether the target component, which is the attribute component to be processed, is a dependent component (S121).
  • the three-dimensional data encoding device encodes the target component with reference to the reference component (S123).
  • the three-dimensional data encoding device encodes the target component independently without referring to other attribute components (S124).
  • FIG. 19 is a flowchart of the decoding process of attribute information (attribute component) by the three-dimensional data decoding device.
  • the three-dimensional data decoding device acquires (decodes) a reference component ID (for example, reference_attr_id) and information indicating a dependency relationship (for example, attr_param_type) from metadata included in the bitstream (S131).
  • a reference component ID for example, reference_attr_id
  • information indicating a dependency relationship for example, attr_param_type
  • the three-dimensional data decoding device determines whether the target component, which is the attribute component to be processed, is a dependent component (S132). For example, the three-dimensional data decoding device makes this determination based on the information indicating the dependency relationship acquired in step S131.
  • the three-dimensional data decoding device decodes the target component with reference to the reference component (S133).
  • the three-dimensional data decoding device decodes the target component independently without referring to other attribute components (S134).
  • FIGS. 18 and 19 may be performed on a frame-by-frame basis or on a slice-by-slice basis.
  • the three-dimensional data encoding device uses each of the plurality of candidate values of the prediction coefficients to calculate the sum of the residuals of the plurality of points for each candidate value.
  • the three-dimensional data encoding device may determine the candidate value with the smallest calculated sum as the prediction coefficient.
  • the three-dimensional data encoding device calculates the sum of dependent attribute information of a plurality of points and the sum of reference attribute information of a plurality of points.
  • the three-dimensional data encoding device calculates, for each candidate value, the difference between the product of the candidate value and the sum of reference attribute information and the sum of dependent attribute information, using each of the plurality of candidate values of the prediction coefficients. may be calculated, and the detention with the smallest difference may be determined as the prediction coefficient.
  • the three-dimensional data encoding device calculates the prediction coefficient using the input attribute value before encoding when deriving the prediction coefficient.
  • the prediction coefficients may be calculated using decoded values after encoding and decoding (after quantization and inverse quantization) in order to improve accuracy.
  • the three-dimensional data encoding device when encoding three or more color information attribute components, sets any one color information as a reference component, and sets other attribute components to refer to the same reference component. It may also be encoded. In this case, by first decoding the reference component, the three-dimensional data decoding device can decode other attribute components using the data of the already decoded reference component. Therefore, it is possible to improve random accessibility when decoding an arbitrary attribute component.
  • multiple reference components may be set. This may improve random accessibility when there are a large number of attribute components.
  • a specific subcomponent (dimensional element) included in the reference component may be referenced.
  • information that can identify which subcomponent has been referenced may be stored in the bitstream.
  • which subcomponent to refer to may be determined in advance.
  • attribute_parameter is stored in the SPS, but it may also be stored in the APS or SEI.
  • dependency information eg, attribute_parameter
  • frame_attr_param_SEI can be cited as the SEI for each frame.
  • the three-dimensional data decoding device uses the SEI for each frame with priority.
  • FIG. 20 is a diagram showing an example of the syntax of frame_attr_param_SEI in this case.
  • attribute_idx specifies the attribute component to which dependency information (attribute_parameter) is applied.
  • dependency relationship information is specified for each attribute component.
  • sps_idx shown in FIG. 20 is an SPS index
  • frame_idx is a frame index.
  • num_parameter indicates the number of dependency information (attribute_parameter).
  • common conversion information may be specified for all attribute components.
  • conversion information may be included in an SEI common to all attribute components, such as attribute_structure_SEI.
  • the three-dimensional data decoding device can determine the dependency relationships between the plurality of attribute components by analyzing attribute_structure_SEI.
  • FIG. 21 is a diagram showing an example of the syntax of this SEI (angle_partial_access_SEI).
  • num_angle shown in FIG. 21 indicates the number of viewpoints, and angle indicates the viewpoint.
  • dependent_flag indicates whether the attribute component is a dependent component.
  • the SEI may also include information (for example, an offset value, a scale value, etc.) indicating aspects of conversion such as pre-processing and post-processing. Furthermore, these pieces of information may be included in at least one of the SPS and SEI.
  • FIG. 22 is a flowchart of the decoding process when performing partial decoding. For example, the process shown in FIG. 22 is performed in the system layer.
  • the three-dimensional data decoding device decodes and analyzes the SEI for partial decoding (S211).
  • the three-dimensional data decoding device analyzes the viewpoint information and obtains the attribute component identifier (ID) of the attribute information of the viewpoint to be decoded (S212).
  • the attribute component is a dependent component
  • the three-dimensional data decoding device acquires the attribute component identifier of the reference component (S213).
  • the three-dimensional data decoding device searches the attribute data unit, extracts the data unit having the acquired attribute component identifier, and decodes the extracted data unit (S214).
  • the three-dimensional data decoding device obtains the attribute component identifier (ID) of the attribute component (reference component and dependent component) of a specific viewpoint from the bitstream, and extracts the data unit using the attribute component identifier. do.
  • the bitstream or file may be reconstructed using the extracted data units.
  • the edge requests a bitstream or file containing attribute information for a particular viewpoint from the server.
  • the server may generate a bitstream or file in which attribute information of a specific viewpoint is extracted through the above processing, and may send the bitstream or file to the edge. This makes it possible to reduce the amount of data to be transmitted, potentially reducing communication time.
  • FIG. 23 is a block diagram showing the configuration of a three-dimensional data encoding device 300 according to this embodiment.
  • the three-dimensional data encoding device 300 generates encoded attribute information and encoded integrated information by encoding a plurality of attribute information (first and second attribute information).
  • This three-dimensional data encoding device 300 includes an integrating section 301 and an attribute information encoding section 302. Note that in FIG. 23, only the processing unit related to encoding of attribute information is shown.
  • the three-dimensional data encoding device 300 may include other processing units such as a position information encoding unit that encodes position information.
  • the integrating unit 301 generates integrated attribute information by integrating multiple pieces of attribute information (first and second attribute information).
  • FIG. 24 is a diagram illustrating an example of integrating subcomponents.
  • the attribute information includes color information (first attribute information) having three-dimensional elements and reflectance information (second attribute information) having one-dimensional elements.
  • the integrating unit 301 integrates color information and reflectance information to generate integrated attribute information having four-dimensional elements.
  • the attribute information encoding unit 302 generates encoded attribute information by encoding the integrated attribute information as one attribute component.
  • the attribute information encoding unit 302 encodes the integrated attribute information as one attribute component having four-dimensional subcomponents. Note that the function of the attribute information encoding unit 302 may be the same as that of the attribute information encoding unit 101 shown in FIG. 2, for example.
  • the attribute information encoding unit 302 generates integration information that is metadata regarding integration. For example, in the example shown in FIG. 24, the attribute information encoding unit 302 generates integrated information indicating that integrated attribute information is generated by combining color information and reflectance information. Further, the attribute information encoding unit 302 generates encoded integrated information by encoding the integrated information. Furthermore, the three-dimensional data encoding device 300 generates a bitstream including encoded attribute information and encoded integrated information.
  • FIG. 25 is a block diagram showing the configuration of a three-dimensional data decoding device 400 according to this embodiment.
  • the three-dimensional data decoding device 400 generates a plurality of pieces of attribute information (first and second attribute information) by decoding a bitstream.
  • This three-dimensional data decoding device 400 includes an attribute information decoding section 401 and a separating section 402. Note that in FIG. 25, only the processing unit related to decoding of attribute information is shown.
  • the three-dimensional data decoding device 400 may include other processing units such as a position information decoding unit that decodes position information.
  • the attribute information decoding unit 401 generates integrated attribute information by decoding encoded attribute information included in the bitstream. Further, the attribute information decoding unit 401 generates integrated information by decoding encoded integrated information included in the bitstream.
  • the separation unit 402 generates a plurality of pieces of attribute information (first and second attribute information) by separating the integrated attribute information using the integrated information. For example, in the example shown in FIG. 24, the separation unit 402 restores color information (first attribute information) and reflectance information (second attribute information).
  • multiple pieces of attribute information for a certain point may be correlated with each other even if the types of attribute information are different.
  • the combination of correlated attribute information includes, for example, color information, reflectance, transmittance, and infrared information.
  • attribute_type indicating attribute information in which multiple pieces of attribute information are integrated
  • attribute_type indicating the type of attribute information included in the SPS.
  • attribute_type indicating any attribute type of a plurality of pieces of attribute information before integration may be stored in the SPS.
  • integrated_attr_id[i] indicating the attribute component identifier of the attribute component to be integrated may be stored in SPS or attribute_param( ).
  • sub_component_type indicating the type and order of subcomponents making up the attribute component may be defined in advance, and sub_component_type may be stored in SPS or attribute_param( ).
  • num_dimension indicating the number of dimensions of the attribute component indicates the total number of dimensions of each of the plurality of components before integration. For example, when three-dimensional color and one-dimensional reflectance are integrated, the number of dimensions of the integrated attribute component is four.
  • an attribute component that integrates attribute components with the number of dimensions m and n is encoded as a component with the number of dimensions m+n, and the encoded data is stored in attribute_data_unit_data().
  • m and n are each arbitrary natural numbers.
  • one type of data unit By encoding multiple pieces of attribute information as one attribute component, one type of data unit can be used, making it possible to reduce the amount of data such as headers.
  • the three-dimensional data encoding device may or may not encode the attribute components that have been integrated and the number of dimensions is 0.
  • the three-dimensional data decoding device can decode the bitstream generated by the method described above as an integrated attribute component.
  • the three-dimensional data decoding device can grasp the attribute component identifier of the integration source by referring to the integration target component identifier (integrated_attr_id[i]) stored in SPS or attribute_param(), so attribute component.
  • a predictive encoding method using a prediction mode is used as an encoding method for integrated attribute information. Furthermore, an example will be described in which a color having three-dimensional subcomponents of R, G, and B and a reflectance r having one-dimensional subcomponents are integrated and encoded as a four-dimensional component.
  • the predictive encoding method the predictive processing described using FIG. 10 etc. can be used.
  • the predicted values determined in the prediction mode are (pred(R N ), pred(G N ), pred(B N ), pred(r N )), the prediction residuals (resi(R N ), resi(G N ), resi(B N ), resi(r N )) are expressed as follows.
  • the prediction residual of the integrated attribute information after decoding at point N in the three-dimensional data decoding device is (resi(R N ), resi(G N ), resi(B N ), resi(r N )), If the predicted values determined in the prediction mode are (pred(R N ), pred(G N ), pred(B N ), pred(r N )), then the integrated attribute information (R N , G N , B N , r N ) is expressed as follows.
  • RN resi( RN )+pred( RN )
  • G N resi(G N )+pred(G N )
  • B N resi(B N )+pred(B N )
  • r N resi(r N )+pred(r N )
  • pred_mode is common to all subcomponents within the attribute component, pred_mode can be made common to more subcomponents by integrating multiple attribute components. That is, the number of pred_modes transmitted from the three-dimensional data encoding device to the three-dimensional data decoding device can be reduced, so the amount of code can be reduced.
  • the pred_mode per dimension at one point is 1, whereas for attribute information whose number of dimensions, such as color information, is 3. Since the pred_mode per dimension at one point is 1/3, it can be said that the smaller the number of dimensions, the worse the transmission efficiency of pred_mode. Therefore, by integrating attributes, it is possible to increase the number of dimensions, and the number of pred_modes per dimension at one point becomes smaller, so the transmission efficiency of pred_modes can be improved.
  • inter-subcomponent prediction is used as the integrated attribute information encoding method.
  • the predictive encoding method in order to reduce the amount of code, a prediction residual between an attribute value to be encoded and a predicted value is encoded. For example, attribute values of other subcomponents within the attribute component are used as the predicted value.
  • FIGS. 26, 27, and 28 are diagrams showing examples of reference relationships (dependency relationships) in inter-subcomponent prediction. For example, prediction is performed using the reference relationships between subcomponents shown in FIG. 26, FIG. 27, or FIG. 28. Note that the arrows in the figure indicate reference relationships for prediction, with the starting point of the arrow being a dependent subcomponent and the ending point of the arrow being a reference subcomponent. Further, although an example in which the color information is RGB is shown here, the color information may be other color information such as YCbCr.
  • the integrated attribute information at point N is (R N , G N , B N , r N ) and the reference subcomponent is G N , (B N , R N , r N )
  • the predicted values for each can be calculated by multiplying G N by the prediction coefficients (coeff(B), coeff(R), coeff(r)). Therefore, the prediction residuals (resi(B N ), resi(R N ), resi(r N )) of the subcomponents to be predicted in the three-dimensional data encoding device are expressed as follows.
  • the reference subcomponent is r
  • the prediction residual is expressed as follows.
  • the number of dependent subcomponents is not limited to one, but may be multiple.
  • B and R refer to G
  • G refers to r.
  • dual predictive reference relationships may be used.
  • the prediction residual is expressed as follows.
  • the prediction residual of the integrated attribute information after decoding at point N in the three-dimensional data decoding device is expressed as (resi(B N ), resi(R N ), resi(r N )).
  • the predicted values for (B N , R N , r N ) are the prediction coefficients (coeff(B), coeff(R), coeff(r)) for G N , respectively. It can be calculated by multiplying by Therefore, the integrated attribute information (G N , B N , R N , r N ) generated in the three-dimensional data decoding device is expressed as follows.
  • G N resi(G N )
  • B N resi(B N )+G N ⁇ coeff(B)
  • R N resi(R N )+G N ⁇ coeff(R)
  • r N resi(r N )+G N ⁇ coeff(r)
  • the integrated attribute information is expressed as follows.
  • r N resi(r N )
  • G N resi(G N )+r N ⁇ coeff(G)
  • B N resi(B N )+r N ⁇ coeff(B)
  • R N resi(R N )+r N ⁇ coeff(R)
  • the integrated attribute information is expressed as follows.
  • r N resi(r N )
  • B N resi(B N )+G N ⁇ coeff(B)
  • R N resi(R N )+G N ⁇ coeff(R)
  • G N resi(G N )+r N ⁇ coeff(G)
  • inter-subcomponent prediction cannot be used for attribute information such as reflectance that has one dimension, but by integrating attribute information and making it multidimensional, the amount of code can be reduced using inter-subcomponent prediction. It becomes possible to do so.
  • a first residual is calculated for each of G, B, R, and r by prediction using a prediction mode. Furthermore, as shown in FIG. 26, for B, R, and r, the difference between the first residual to be processed and the first residual to be referenced is calculated by inter-subcomponent prediction with reference to G. A second residual is calculated.
  • the second residuals (resi(G N ), resi(B N ), resi(R N ), resi(r N )) generated by the three-dimensional data encoding device are expressed as follows.
  • the integrated attribute information (G N , B N , R N , r N ) generated in the three-dimensional data decoding device is expressed as follows.
  • G N resi(G N )+pred(G N )
  • B N ⁇ resi(B N )+pred(B N ) ⁇ +resi(G N ) ⁇ coeff(B)
  • RN ⁇ resi( RN )+pred( RN ) ⁇ +resi( GN ) ⁇ coeff(R)
  • r N ⁇ resi(r N )+pred(r N ) ⁇ +resi(G N ) ⁇ coeff(r)
  • FIG. 29 is a flowchart of attribute information encoding processing performed by the three-dimensional data encoding device.
  • the three-dimensional data encoding device determines whether to integrate a plurality of pieces of attribute information (attribute components) to be processed (S301). For example, the three-dimensional data encoding device determines to perform integration into multiple pieces of attribute information when the pieces of attribute information are a set of predetermined types of attribute information (for example, color information and reflectance). You can.
  • the three-dimensional data encoding device may determine whether to integrate the plurality of attribute information according to the number of dimensions of each of the plurality of attribute information or the total number of dimensions. For example, it may be determined that the integration is performed when attribute information whose number of dimensions is smaller than a threshold is included, or when the total number of dimensions is smaller than a threshold.
  • the three-dimensional data encoding device determines to integrate the plurality of attribute information (Yes in S301), it generates integrated attribute information by integrating the plurality of attribute information (S302). Furthermore, the three-dimensional data encoding device stores (encodes) the integrated information in metadata (S303) and encodes the integrated attribute information (S304).
  • the three-dimensional data encoding device determines not to integrate the plurality of attribute information (No in S301), it encodes each of the plurality of attribute information as an individual attribute component.
  • FIG. 30 is a flowchart of attribute information decoding processing performed by the three-dimensional data decoding device.
  • the three-dimensional data decoding device acquires (decodes) integrated information from metadata included in a bitstream (S311).
  • the three-dimensional data decoding device generates attribute information by decoding the encoded attribute information included in the bitstream (S312).
  • the three-dimensional data decoding device determines whether the decoded attribute information is integrated attribute information based on the integrated information (S313). If the decoded attribute information is integrated attribute information (Yes in S313), the three-dimensional data decoding device restores the original plurality of attribute information by separating the decoded attribute information (S314). On the other hand, if the decoded attribute information is not integrated attribute information (No in S313), the three-dimensional data decoding device outputs the decoded attribute information as is.
  • FIGS. 29 and 30 may be performed on a frame-by-frame basis or on a slice-by-slice basis.
  • the three-dimensional data encoding device may integrate m-dimensional attribute information and n-dimensional attribute information to generate an m+n-dimensional attribute component.
  • m and n are each arbitrary natural numbers.
  • the three-dimensional data encoding device integrates some x-dimensional subcomponents of the m-dimensional first attribute information and n-dimensional second attribute information to generate n+x-dimensional third attribute information. may be generated. In that case, the three-dimensional data encoding device encodes the fourth attribute information composed of the remaining m ⁇ x dimension subcomponents of the first attribute information and the n+x dimension third attribute information. .
  • component A (R1, R2, R3)
  • component B (G1, G2, G3)
  • component C (B1, B2, B3)
  • the generated component A, component B, component C Each may be encoded.
  • the accuracy of inter-subcomponent prediction and inter-component prediction can be improved, so it is expected that coding efficiency will be improved.
  • the decoding device (three-dimensional data decoding device) according to the first embodiment performs the processing shown in FIG. 31.
  • the decoding device receives a bitstream in which a plurality of three-dimensional points each having first attribute information and second attribute information are encoded (S401), and refers to the second attribute information (for example, reference attribute information).
  • First attribute information (for example, dependent attribute information) is predicted (S402).
  • the decoding device decodes the first attribute information using the prediction result (predicted value).
  • the decoding device refers to the second attribute information and calculates the first predicted value of the first attribute information.
  • the decoding device restores the first attribute information by adding the first residual of the first attribute information included in the encoded attribute information and the first predicted value.
  • the decoding device receives the bitstream and decodes the bitstream.
  • the bitstream includes encoded attribute information of a plurality of three-dimensional points each having first attribute information and second attribute information, and meta information indicating that the first attribute information is predicted by referring to the second attribute information ( For example, dependency relationship information or attr_param_type).
  • the decoding device decodes the first attribute information using meta information.
  • the decoding device refers to the second attribute information and predicts the first attribute information.
  • the decoding device can appropriately decode the bitstream whose data amount has been reduced in this way using the meta information. Furthermore, the amount of data handled by the decoding device can be reduced.
  • the predicted first attribute information and the referenced second attribute information have the same three-dimensional point. According to this, by predicting the first attribute information of a three-dimensional point with reference to the second attribute information of the three-dimensional point, it is possible to reduce the amount of data of the first attribute information. Thereby, the amount of data handled by the decoding device can be reduced.
  • the predicted first attribute information and the referenced second attribute information have different three-dimensional points. That is, the predicted first attribute information is possessed by a first three-dimensional point, and the second attribute information to be referred to is possessed by a second three-dimensional point different from the first three-dimensional point.
  • the first attribute information and the second attribute information are stored in a first component (for example, a dependent component) and a second component (for example, a reference component), respectively.
  • a first component for example, a dependent component
  • a second component for example, a reference component
  • the first quantization step for the first attribute information is larger than the second quantization step for the second attribute information.
  • a small quantization step for the second attribute information that is referenced from other attribute information, it is possible to suppress the deterioration of the second attribute information and improve the prediction accuracy of the first attribute information that refers to the second attribute information. You can improve.
  • the amount of data can be reduced by using a large quantization step for the first attribute information. Thereby, encoding efficiency can be improved while suppressing deterioration of information as a whole.
  • the first attribute information and the second attribute information are generated by decoding the first encoded attribute information and the second encoded attribute information, respectively, and the second attribute information is losslessly compressed (reversibly compressed). .
  • the first attribute information is irreversibly compressed.
  • each of the first component and the second component includes a first dimension element and a second dimension element
  • the first dimension element of the first component is the first dimension element of the second component.
  • the second dimension element of the first component is predicted with reference to the second dimension element of the second component.
  • the first component includes a first dimension element and a second dimension element
  • the first dimension element is predicted with reference to the second component
  • the second dimension element is predicted with reference to the second component. Predicted with reference to one-dimensional elements.
  • the bitstream does not include information about the first prediction mode applied to the first component (eg pred_mode), but includes information about the second prediction mode applied to the second component (eg pred_mode). This allows the information regarding the first component to be reduced, thereby reducing the amount of data.
  • the bitstream includes a first residual value of first attribute information, and the first residual value is a third residual value of the first attribute information.
  • the third residual value is the difference between the second residual value of the second attribute information, and the third residual value is the difference between the first value of the first attribute information and the first predicted value of the first attribute information.
  • the residual value is the difference between the second value of the second attribute information and the second predicted value of the second attribute information.
  • the bitstream includes a first residual value of first attribute information, and the first residual value is a first residual value of first attribute information. This is the difference between the value 1 and the second value of the second attribute information. Thereby, the data amount is reduced by encoding the difference between the value of the first attribute information and the value of the second attribute information.
  • the bitstream includes a first residual value of first attribute information, and the first residual value is a first residual value of first attribute information.
  • This is the difference between the value of 1 and the second predicted value of the second attribute information.
  • the bitstream includes a first residual value of the first attribute information
  • the first residual value is a difference between a first predicted value of the first attribute information and a second residual value of the second attribute information. It is.
  • the amount of data is reduced by encoding the difference between the predicted value of the first attribute information and the residual of the second attribute information.
  • the bitstream includes flag information (for example, inter_attribute_pred_enabled) indicating whether the second attribute information can be referenced in predicting the first attribute information.
  • flag information for example, inter_attribute_pred_enabled
  • the decoding device can refer to the flag information and determine whether the second attribute information can be referenced to predict the first attribute information, and therefore can appropriately decode the bitstream.
  • the first component includes a first dimension element and a second dimension element
  • the bitstream includes first flag information indicating whether the second attribute information can be referenced for prediction of the first dimension element, and a second dimension element. and second flag information indicating whether or not the second attribute information can be referenced for prediction.
  • the bitstream includes coefficient information (for example, inter_attribute_pred_coeff) for calculating the first predicted value of the first attribute information.
  • coefficient information for example, inter_attribute_pred_coeff
  • a bitstream includes a first data unit (e.g., DADU) in which attribute information that is predicted with reference to other attribute information is stored, and attribute information that is not predicted with reference to other attribute information. and a second data unit (eg, ADU).
  • DADU first data unit
  • ADU second data unit
  • the first attribute information includes RGB values
  • the second attribute information includes reflectance values
  • at least one of the RGB values is based on the reflectance values. is expected.
  • the amount of data can be reduced by using the correlation between color and reflectance, which generally have a correlation.
  • the decoding device includes a processor and a memory, and the processor uses the memory to perform the above processing.
  • the encoding device (three-dimensional data encoding device) according to this embodiment performs the processing shown in FIG. 32.
  • the encoding device generates a bitstream by encoding a plurality of three-dimensional points each having first attribute information and second attribute information.
  • the encoding device refers to the second attribute information to predict the first attribute information (S411), and encodes the first attribute information using the prediction result (S412). .
  • the encoding device generates a bitstream by encoding the first attribute information.
  • the encoding device encodes the first attribute information using the prediction result (predicted value).
  • the encoding device refers to the second attribute information of the three-dimensional point and calculates the first predicted value of the first attribute information of the three-dimensional point.
  • the encoding device calculates a first residual that is a difference between a first value of the first attribute information and a first predicted value, and encodes the first residual.
  • the encoding device acquires attribute information of the plurality of three-dimensional points, each having first attribute information and second attribute information, and encodes the first attribute information and second attribute information of the plurality of three-dimensional points. This will generate a bitstream.
  • the bitstream includes encoded attribute information of a plurality of three-dimensional points and meta information (eg, dependency information or attr_param_type) indicating that the first attribute information is predicted with reference to the second attribute information.
  • meta information eg, dependency information or attr_param_type
  • the encoding device stores meta information in the bitstream.
  • the encoding device refers to the second attribute information and predicts the first attribute information.
  • the predicted first attribute information and the referenced second attribute information have the same three-dimensional point. According to this, by predicting the first attribute information of a three-dimensional point with reference to the second attribute information of the three-dimensional point, it is possible to reduce the amount of data of the first attribute information. Thereby, the amount of data handled by the decoding device can be reduced.
  • the predicted first attribute information and the referenced second attribute information have different three-dimensional points. That is, the predicted first attribute information is possessed by a first three-dimensional point, and the second attribute information to be referred to is possessed by a second three-dimensional point different from the first three-dimensional point.
  • the first attribute information and the second attribute information are stored in a first component (for example, a dependent component) and a second component (for example, a reference component), respectively.
  • a first component for example, a dependent component
  • a second component for example, a reference component
  • the first quantization step for the first attribute information is larger than the second quantization step for the second attribute information.
  • a small quantization step for the second attribute information that is referenced from other attribute information, it is possible to suppress the deterioration of the second attribute information and improve the prediction accuracy of the first attribute information that refers to the second attribute information. You can improve.
  • the amount of data can be reduced by using a large quantization step for the first attribute information. Thereby, encoding efficiency can be improved while suppressing deterioration of information as a whole.
  • the first attribute information and the second attribute information are generated by decoding the first encoded attribute information and the second encoded attribute information, respectively, and the second attribute information is losslessly compressed (reversibly compressed). .
  • the first attribute information is irreversibly compressed.
  • each of the first component and the second component includes a first dimension element and a second dimension element
  • the first dimension element of the first component is the first dimension element of the second component.
  • the second dimension element of the first component is predicted with reference to the second dimension element of the second component.
  • the first component includes a first dimension element and a second dimension element
  • the first dimension element is predicted with reference to the second component
  • the second dimension element is predicted with reference to the second component. Predicted with reference to one-dimensional elements.
  • the bitstream does not include information about the first prediction mode applied to the first component (eg pred_mode), but includes information about the second prediction mode applied to the second component (eg pred_mode).
  • the encoding device does not store information regarding the first prediction mode applied to the first component (e.g. pred_mode) in the bitstream, but stores information regarding the second prediction mode applied to the second component (e.g. pred_mode). Store in bitstream. This allows the information regarding the first component to be reduced, thereby reducing the amount of data.
  • the bitstream includes a first residual value of first attribute information, and the first residual value is a third residual value of the first attribute information.
  • the third residual value is the difference between the second residual value of the second attribute information, and the third residual value is the difference between the first value of the first attribute information and the first predicted value of the first attribute information.
  • the residual value is the difference between the second value of the second attribute information and the second predicted value of the second attribute information.
  • the bitstream includes a first residual value of first attribute information, and the first residual value is a first residual value of first attribute information. This is the difference between the value 1 and the second value of the second attribute information. Thereby, the data amount is reduced by encoding the difference between the value of the first attribute information and the value of the second attribute information.
  • the bitstream includes a first residual value of first attribute information, and the first residual value is a first residual value of first attribute information.
  • This is the difference between the value of 1 and the second predicted value of the second attribute information.
  • the bitstream includes a first residual value of the first attribute information
  • the first residual value is a difference between a first predicted value of the first attribute information and a second residual value of the second attribute information. It is.
  • the amount of data is reduced by encoding the difference between the predicted value of the first attribute information and the residual of the second attribute information.
  • the bitstream includes flag information (for example, inter_attribute_pred_enabled) indicating whether the second attribute information can be referenced in predicting the first attribute information.
  • the encoding device stores flag information (for example, inter_attribute_pred_enabled) indicating whether the second attribute information can be referred to in predicting the first attribute information in the bitstream.
  • the decoding device can refer to the flag information and determine whether the second attribute information can be referenced to predict the first attribute information, and therefore can appropriately decode the bitstream.
  • the first component includes a first dimension element and a second dimension element
  • the bitstream includes first flag information indicating whether the second attribute information can be referenced for prediction of the first dimension element, and a second dimension element. and second flag information indicating whether or not the second attribute information can be referenced for prediction.
  • the encoding device stores first flag information and second flag information in a bitstream. With this, it is possible to switch whether or not the second attribute information can be referenced for each dimension element, so there is a possibility that the amount of data can be reduced.
  • the bitstream includes coefficient information (for example, inter_attribute_pred_coeff) for calculating the first predicted value of the first attribute information.
  • coefficient information for example, inter_attribute_pred_coeff
  • an encoding device stores coefficient information in a bitstream. By using coefficient information, the amount of residual data can be reduced.
  • a bitstream includes a first data unit (e.g. DADU) in which attribute information that is predicted with reference to other attribute information is stored, and attribute information that is not predicted with reference to other attribute information. and a second data unit (eg, ADU).
  • DADU first data unit
  • ADU second data unit
  • the first attribute information includes RGB values
  • the second attribute information includes reflectance values
  • at least one of the RGB values is based on the reflectance values. is expected. This makes it possible to reduce the amount of data by using the correlation between color and reflectance, which generally have a correlation.
  • the encoding device includes a processor and a memory, and the processor uses the memory to perform the above processing.
  • the decoding device (three-dimensional data decoding device) according to the second embodiment is a decoding device that decodes encoded attribute information of a three-dimensional point. Generating a component and dividing the component into at least two subcomponents.
  • the decoding device can restore the original two subcomponents from the component in which the two subcomponents are integrated. Furthermore, by combining the two subcomponents, the amount of data of the control signal (metadata) is reduced. Thereby, the amount of data handled by the decoding device can be reduced.
  • the decoding device receives a bitstream including meta information indicating that a plurality of subcomponents are included in the component of the attribute information of the three-dimensional point, and converts the component into the plurality of subcomponents according to the meta information. Divide.
  • the decoding device can restore the original multiple subcomponents from the component in which the multiple subcomponents are integrated. Further, by combining a plurality of subcomponents, the amount of data of control signals (metadata) is reduced. Thereby, the amount of data handled by the decoding device can be reduced.
  • the predicted value of the first dimension element of the component is calculated with reference to the second dimension element of the component.
  • Combining increases the number of dimensional elements contained in the same component. This increases the number of reference destination candidates when referencing between dimensional elements, which may improve encoding efficiency.
  • the bitstream includes information regarding a prediction mode common to all dimensional elements included in the component.
  • the number of relevant information can be reduced. Therefore, the amount of data can be reduced.
  • the component includes a reflectance value and an RGB value, and the reflectance value is referred to in predicting the G value of the RGB values. This makes it possible to reduce the amount of data by using the correlation between color and reflectance, which generally have a correlation.
  • the G value is referred to in predicting the R value and B value of the RGB values.
  • the amount of data can be reduced by using the correlation between multiple colors of three-dimensional points that are generally correlated.
  • the encoding device (three-dimensional data encoding device) according to the second embodiment is an encoding device that encodes attribute information of a three-dimensional point, and combines multiple components of multiple attribute information into one component. and encode the integrated one component.
  • the encoding device encodes the attribute information of the three-dimensional point, and includes encoded attribute information and meta information indicating that the component of the attribute information of the three-dimensional point includes a plurality of subcomponents. Generate a bitstream.
  • control signal (metadata) data This reduces the amount of control signal (metadata) data by combining multiple subcomponents.
  • the predicted value of the first dimension element of the component is calculated with reference to the second dimension element of the component.
  • Combining increases the number of dimensional elements contained in the same component. This increases the number of reference destination candidates when referencing between dimensional elements, which may improve encoding efficiency.
  • the bitstream includes information regarding a prediction mode common to all dimensional elements included in the component.
  • the number of relevant information can be reduced. Therefore, the amount of data can be reduced.
  • the component includes a reflectance value and an RGB value, and the reflectance value is referred to in predicting the G value of the RGB values.
  • the amount of data can be reduced by using the correlation between color and reflectance, which generally have a correlation.
  • the G value is referred to in predicting the R value and B value of the RGB values.
  • the amount of data can be reduced by using the correlation between multiple colors of three-dimensional points that are generally correlated.
  • the three-dimensional data encoding device (encoding device), three-dimensional data decoding device (decoding device), etc. according to the embodiment and modification of the present disclosure have been described above, but the present disclosure is limited to this embodiment. It is not something that will be done.
  • each processing unit included in the three-dimensional data encoding device, three-dimensional data decoding device, etc. is typically realized as an LSI, which is an integrated circuit. These may be individually integrated into one chip, or may be integrated into one chip including some or all of them.
  • circuit integration is not limited to LSI, and may be realized using a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connections and settings of circuit cells inside the LSI may be used.
  • each component may be configured with dedicated hardware, or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the present disclosure describes a three-dimensional data encoding method (encoding method) or a three-dimensional data decoding method ( decoding method), etc.
  • the present disclosure can be applied to a three-dimensional data encoding device and a three-dimensional data decoding device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

復号方法は、それぞれ第１属性情報と第２属性情報を有する複数の三次元点が符号化されてなるビットストリームを受信し（Ｓ４０１）、第２属性情報を参照して第１属性情報を予測する（Ｓ４０２）。例えば、予測される前記第１属性情報と、参照される第２属性情報とは同じ三次元点が有してもよい。例えば、予測される第１属性情報と、参照される第２属性情報とは異なる三次元点が有してもよい。例えば、第１属性情報及び第２属性情報は、それぞれ第１コンポーネント及び第２コンポーネントに格納されてもよい。

Description

復号方法、符号化方法、復号装置及び符号化装置
　本開示は、復号方法、符号化方法、復号装置及び符号化装置に関する。
　自動車或いはロボットが自律的に動作するためのコンピュータビジョン、マップ情報、監視、インフラ点検、又は、映像配信など、幅広い分野において、今後、三次元データを活用した装置又はサービスの普及が見込まれる。三次元データは、レンジファインダなどの距離センサ、ステレオカメラ、又は複数の単眼カメラの組み合わせなど様々な方法で取得される。
　三次元データの表現方法の１つとして、三次元空間内の点群によって三次元構造の形状を表すポイントクラウドと呼ばれる表現方法がある。ポイントクラウドでは、点群の位置と色とが格納される。ポイントクラウドは三次元データの表現方法として主流になると予想されるが、点群はデータ量が非常に大きい。よって、三次元データの蓄積又は伝送においては二次元の動画像（一例として、ＭＰＥＧで規格化されたＭＰＥＧ－４　ＡＶＣ又はＨＥＶＣなどがある）と同様に、符号化によるデータ量の圧縮が必須となる。
　また、ポイントクラウドの圧縮については、ポイントクラウド関連の処理を行う公開のライブラリ（Ｐｏｉｎｔ　Ｃｌｏｕｄ　Ｌｉｂｒａｒｙ）などによって一部サポートされている。
　また、三次元の地図データを用いて、車両周辺に位置する施設を検索し、表示する技術が知られている（例えば、特許文献１参照）。
国際公開第２０１４／０２０６６３号
　三次元データの符号化処理及び復号処理では、符号化データのデータ量を削減できることが望まれている。
　本開示は、符号化データのデータ量を削減できる復号方法、符号化方法、復号装置又は符号化装置を提供することを目的とする。
　本開示の一態様に係る復号方法は、それぞれ第１属性情報と第２属性情報を有する複数の三次元点が符号化されてなるビットストリームを受信し、前記第２属性情報を参照して前記第１属性情報を予測する。
　本開示の一態様に係る符号化方法は、それぞれ第１属性情報と第２属性情報を有する複数の三次元点を符号化することでビットストリームを生成する符号化方法であって、前記第２属性情報を参照して前記第１属性情報を予測し、前記予測の結果を用いて前記第１属性情報を符号化する。
　本開示は、符号化データのデータ量を削減できる復号方法、符号化方法、復号装置又は符号化装置を提供できる。
図１は、実施の形態１に係る点群データの構成例を示す図である。 図２は、実施の形態１に係る三次元データ符号化装置の構成を示すブロック図である。 図３は、実施の形態１に係る属性情報の符号化処理のフローチャートである。 図４は、実施の形態１に係る三次元データ復号装置の構成を示すブロック図である。 図５は、実施の形態１に係る属性情報の復号処理のフローチャートである。 図６は、実施の形態１に係る属性情報符号化部の構成を示すブロック図である。 図７は、実施の形態１に係る属性情報復号部の構成を示すブロック図である。 図８は、実施の形態１に係る予測処理の第１の例における参照関係を示す図である。 図９は、実施の形態１に係る予測処理の第２の例における参照関係を示す図である。 図１０は、実施の形態１に係る予測モードによる予測処理を説明するための図である。 図１１は、実施の形態１に係るＴＬＶデータの構成を示す図である。 図１２は、実施の形態１に係るビットストリームの構成を示す図である。 図１３は、実施の形態１に係る図１３は、ＴＬＶユニット（ＴＬＶ＿ｕｎｉｔ）のシンタックス例を示す図である。 図１４は、実施の形態１に係るａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒのシンタックス例を示す図である。 図１５は、実施の形態１に係る従属属性データユニットヘッダのシンタックス例を示す図である。 図１６は、実施の形態１に係る従属属性データユニットのシンタックス例を示す図である。 図１７は、実施の形態１に係る従属属性データユニットのシンタックス例を示す図である。 図１８は、実施の形態１に係る属性情報の符号化処理のフローチャートである。 図１９は、実施の形態１に係る属性情報の復号処理のフローチャートである。 図２０は、実施の形態１に係るｆｒａｍｅ＿ａｔｔｒ＿ｐａｒａｍ＿ＳＥＩのシンタックス例を示す図である。 図２１は、実施の形態１に係るａｎｇｌｅ＿ｐａｒｔｉａｌ＿ａｃｃｅｓｓ＿ＳＥＩのシンタックス例を示す図である。 図２２は、実施の形態１に係る部分復号を行う場合の復号処理のフローチャートである。 図２３は、実施の形態２に係る三次元データ符号化装置の構成を示すブロック図である。 図２４は、実施の形態２に係るサブコンポーネントの統合の例を示す図である。 図２５は、実施の形態２に係る三次元データ復号装置の構成を示すブロック図である。 図２６は、実施の形態２に係るサブコンポーネント間予測における参照関係の例を示す図である。 図２７は、実施の形態２に係るサブコンポーネント間予測における参照関係の例を示す図である。 図２８は、実施の形態２に係るサブコンポーネント間予測における参照関係の例を示す図である。 図２９は、実施の形態２に係る属性情報の符号化処理のフローチャートである。 図３０は、実施の形態２に係る属性情報の復号処理のフローチャートである。 図３１は、復号処理のフローチャートである。 図３２は、符号化処理のフローチャートである。
　本開示の一態様に係る三次元データ復号方法は、それぞれ第１属性情報と第２属性情報を有する複数の三次元点が符号化されてなるビットストリームを受信し、前記第２属性情報を参照して前記第１属性情報を予測する。属性情報間に相関がある場合がある。したがって、第１属性情報を第２属性情報を参照して予測することにより第１属性情報のデータ量を削減できる可能性がある。これにより、復号装置で扱うデータ量を低減できる。
　本開示の一態様に係る三次元データ復号方法は、ビットストリームを受信し、前記ビットストリームを復号し、前記ビットストリームは、それぞれ第１属性情報と第２属性情報を有する複数の三次元点の符号化属性情報と、前記第２属性情報を参照して前記第１属性情報が予測されることを示すメタ情報と、を含む。属性情報間に相関がある場合がある。したがって、第１属性情報を第２属性情報を参照して予測することにより第１属性情報のデータ量を削減できる可能性がある。復号装置は、メタ情報を用いて、このようにデータ量が削減されたビットストリームを適切に復号できる。また、復号装置で扱うデータ量を低減できる。
　例えば、予測される前記第１属性情報と、参照される前記第２属性情報とは同じ三次元点が有してもよい。三次元点の第１属性情報を、当該三次元点の第２属性情報を参照して予測することにより第１属性情報のデータ量を削減できる可能性がある。これにより、復号装置で扱うデータ量を低減できる。
　例えば、予測される前記第１属性情報と、参照される前記第２属性情報とは異なる三次元点が有してもよい。
　例えば、前記第１属性情報及び前記第２属性情報は、それぞれ第１コンポーネント及び第２コンポーネントに格納されてもよい。
　例えば、前記第１属性情報のための第１量子化ステップは、前記第２属性情報のための第２量子化ステップより大きくてもよい。他の属性情報から参照される第２属性情報に、小さい量子化ステップを用いることで、第２属性情報の劣化を抑制できとともに、第２属性情報を参照する第１属性情報の予測の精度を向上できる。また、第１属性情報には、大きい量子化ステップを用いることでデータ量を削減できる。これにより、全体としての情報の劣化を抑制しつつ、符号化効率を向上できる。
　例えば、前記第１属性情報及び前記第２属性情報は、それぞれ第１符号化属性情報及び第２符号化属性情報を復号することで生成され、前記第２属性情報は、ロスレス圧縮されていてもよい。他の属性情報から参照される第２属性情報に、ロスレス圧縮を用いることで、第２属性情報の劣化を抑制できとともに、第２属性情報を参照する第１属性情報の予測の精度を向上できる。これにより、全体としての情報の劣化を抑制しつつ、符号化効率を向上できる。
　例えば、前記第１コンポーネント及び前記第２コンポーネントの各々は、第１次元要素及び第２次元要素を含み、前記第１コンポーネントの前記第１次元要素は、前記第２コンポーネントの前記第１次元要素を参照して予測され、前記第１コンポーネントの前記第２次元要素は、前記第２コンポーネントの前記第２次元要素を参照して予測されてもよい。これにより、コンポーネント間で同じ次元要素間で相関がある場合に、当該相関を利用することでデータ量を削減できる。
　例えば、前記第１コンポーネントは、第１次元要素及び第２次元要素を含み、前記第１次元要素は、前記第２コンポーネントを参照して予測され、前記第２次元要素は、前記第１次元要素を参照して予測されてもよい。属性情報によっては、異なるコンポーネント間で相関がある場合もあれば、コンポーネントを構成する次元要素間で相関がある場合もある。よって、コンポーネント間の相関と次元要素間の相関とを用いることでデータ量を削減できる。
　例えば、前記ビットストリームは、前記第１コンポーネントに適用される第１予測モードに関する情報を含まず、前記第２コンポーネントに適用される第２予測モードに関する情報を含んでもよい。これにより、第１コンポーネントに関する情報を削減できるのでデータ量を削減できる。
　例えば、前記ビットストリームは、前記第１属性情報の第１残差値を含み、前記第１残差値は、前記第１属性情報の第３残差値と前記第２属性情報の第２残差値との差分であり、前記第３残差値は、前記第１属性情報の第１の値と前記第１属性情報の第１予測値との差分であり、前記第２残差値は、前記第２属性情報の第２の値と前記第２属性情報の第２予測値との差分であってもよい。これにより、第１属性情報の残差と第２属性情報の残差との差分が符号化されることでデータ量が削減される。
　例えば、前記ビットストリームは、前記第１属性情報の第１残差値を含み、前記第１残差値は、前記第１属性情報の第１の値と前記第２属性情報の第２の値との差分であってもよい。これにより、第１属性情報の値と第２属性情報の値との差分が符号化されることでデータ量が削減される。
　例えば、前記ビットストリームは、前記第１属性情報の第１残差値を含み、前記第１残差値は、前記第１属性情報の第１の値と前記第２属性情報の第２予測値との差分であってもよい。これにより、第１属性情報の値と第２属性情報の予測値との差分が符号化されることでデータ量が削減される。また、第１属性情報の予測値を算出する必要がないので処理量を低減できる。
　例えば、前記ビットストリームは、前記第１属性情報の予測に前記第２属性情報を参照可能かを示すフラグ情報を含んでもよい。これにより、復号装置は、フラグ情報を参照して第１属性情報の予測に第２属性情報を参照可能かを判断できるので、ビットストリームを適切に復号できる。
　例えば、前記ビットストリームは、前記第１属性情報の第１予測値を算出するための係数情報を含んでもよい。係数情報を用いることで残差のデータ量を削減できる。
　例えば、前記ビットストリームは、他の属性情報を参照した予測が行われる属性情報が格納される第１データユニットと、他の属性情報を参照した予測が行われない属性情報が格納される第２データユニットとを含んでもよい。
　例えば、前記第１属性情報は、ＲＧＢ値を含み、前記第２属性情報は、反射率値を含み、前記ＲＧＢ値のうちの少なくとも１つの値は、前記反射率値を参照して予測されてもよい。これにより、一般的に相関性がある色と反射率との相関を利用することでデータ量を削減できる。
　本実施の形態に係る符号化方法は、それぞれ第１属性情報と第２属性情報を有する複数の三次元点を符号化することでビットストリームを生成する符号化方法であって、前記第２属性情報を参照して前記第１属性情報を予測し、前記予測の結果を用いて前記第１属性情報を符号化する。属性情報間に相関がある場合がある。したがって、第１属性情報を第２属性情報を参照して予測することにより第１属性情報のデータ量を削減できる。
　また、本開示の一態様に係る復号装置は、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリを用いて、それぞれ第１属性情報と第２属性情報を有する複数の三次元点が符号化されてなるビットストリームを受信し、前記第２属性情報を参照して前記第１属性情報を予測する。
　また、本開示の一態様に係る符号化装置は、それぞれ第１属性情報と第２属性情報を有する複数の三次元点を符号化することでビットストリームを生成する符号化装置であって、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリを用いて、前記第２属性情報を参照して前記第１属性情報を予測し、前記予測の結果を用いて前記第１属性情報を符号化する。
　なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭ等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　（実施の形態１）
　以下、本実施の形態に係る三次元データ符号化装置及び三次元データ復号装置について説明する。三次元データ符号化装置は、三次元データを符号化することでビットストリームを生成する。三次元データ復号装置は、当該ビットストリームを復号することで三次元データを生成する。
　三次元データは、例えば、三次元点群データ（点群データとも呼ぶ）である。点群は、複数の三次元点が集まったものであり、対象物（オブジェクト）の三次元形状を示す。点群データは、複数の三次元点の位置情報及び属性情報を含む。当該位置情報は、各三次元点の三次元位置を示す。なお、位置情報は、ジオメトリ（ｇｅｏｍｅｔｒｙ）情報とも呼ばれる場合がある。例えば、位置情報は、直交座標系又は極座標系で表される。
　属性情報は、例えば、色情報、反射率、透過率、赤外情報、法線ベクトル、又は時刻情報などを示す。１つの三次元点は、単一の属性情報を持つ場合もあれば、複数種類の属性情報を持つ場合もある。
　属性情報は、属性の種類に応じて次元数が異なる。例えば、色情報は、ＲＧＢ又はＹＣｂＣｒといった３つの要素（三次元）を有する。反射率は１つの要素（一次元）を有する。また、属性情報は、属性の種類に応じて、とり得る値の範囲、ビット深度、又は負の値をとり得るか否かなど、制限が異なる場合がある。
　なお、属性情報の複数の種類とは、色情報と反射率といった情報種別が異なるものに限らず、ＲＧＢとＹＣｂＣｒといったフォーマットが異なるもの、及び、異なる視点から見た場合の色情報など情報の中身が異なるものも含む。また、以下では、種類の異なる属性情報を単に異なる属性情報等と記す場合もある。
　なお、三次元データは、点群データに限らず、メッシュデータ等の他の三次元データであってもよい。メッシュデータ（三次元メッシュデータとも呼ぶ）は、ＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）に用いられるデータ形式であり、面情報の集まりで対象物の三次元形状を示す。例えば、メッシュデータは、点群情報（例えば頂点（ｖｅｒｔｅｘ）情報）を含む。よって、この点群情報に対して、点群データに対応する手法と同様の手法を適用できる。
　従来の三次元データの符号化及び復号システムでは、複数種類の属性情報は、それぞれ独立して符号化及び復号される。
　本実施の形態では、三次元データ符号化装置は、複数種類の異なる属性情報を符号化する場合に、ある属性情報の符号化に、別の属性情報を参照する。これにより、符号量を削減できる。
　例えば、三次元データ符号化装置は、第１の属性情報を参照属性情報に設定し、第２の属性情報を従属属性情報に設定する。三次元データ符号化装置は、最初に第１の属性情報の符号化を行い、次に第２の属性情報の符号化において、第１の属性情報の符号化結果を参照して予測を行う。これにより、符号量を削減できる。ここで、第１の属性情報の符号化結果とは、例えば、第１の属性情報が再構成された値であり、具体的には、符号化後の第１の属性情報を復号して得られる値である。また、三次元データ符号化装置は、第１の属性情報が参照属性情報であり、第２の属性情報が従属属性情報であることを示すメタデータを生成し、当該メタデータをビットストリームに格納する。
　三次元データ復号装置は、ビットストリームからメタデータを取得する。また、三次元データ復号装置は、最初に第１の属性情報を復号し、次に第２の属性情報の復号において、第１の属性情報の復号結果を参照して予測を行う。
　なお、メタデータの生成及び送信は省略されてもよく、三次元データ符号化装置及び三次元データ復号装置は、１番目の属性情報が参照属性情報であると固定的に取り扱ってもよい。
　より具体的には、例えば、三次元点を複数の視点から観察した場合、視点毎に光の当たり方及び見え方が異なるため、三次元点は視点毎に異なる色の値を持つ。図１は、このような点群データの構成例を示す図である。図１に示すように、各点は、位置情報と、第１の色情報と、第２の色情報とを有する。ここで、第１の色情報及び第２の色情報は属性情報であり、例えば、異なる視点に対応する色情報である。
　このような点群では、第１の色情報及び第２の色情報の相関が高い可能性がある。よって、上記方法を用いて第２の色情報を符号化する際に、第１の色情報を用いて予測を行うことで、データサイズの小さい差分情報を生成できる可能性がある。これにより、符号量を削減できる可能性がある。
　また、三次元データ符号化装置は、第１の属性情報が参照属性情報であり、第２の属性情報が従属属性情報であることを示す識別子を送信する。これにより、三次元データ復号装置は、ビットストリームから識別子を取得し、識別子に基づき従属関係を判断して復号を行うことが可能となる。
　以下、本実施の形態に係る三次元データ符号化装置及び三次元データ復号装置の構成を説明する。図２は、本実施の形態に係る三次元データ符号化装置１００の構成を示すブロック図である。三次元データ符号化装置１００は、複数の属性情報（第１～第２の属性情報）を符号化することで符号化属性情報及び依存関係情報を生成する。この三次元データ符号化装置１００は、属性情報符号化部１０１を備える。なお、図２では、属性情報の符号化に関する処理部のみを記載している。三次元データ符号化装置１００は、位置情報を符号化する位置情報符号化部等、その他の処理部を備えてもよい。
　図３は、三次元データ符号化装置１００による属性情報の符号化処理のフローチャートである。まず、属性情報符号化部１０１は、第１の属性情報を符号化する（Ｓ１０１）。ここで、属性情報符号化部１０１は、複数の属性情報の各々を１つの属性コンポーネントとして符号化する。例えば、属性情報符号化部１０１は、第１の属性情報を第１のコンポーネントとして符号化し、第２の属性情報を第２のコンポーネントとして符号化する。
　また、属性情報符号化部１０１は、第１の属性情報の符号化の後、第１の属性情報を参照して第２の属性情報を符号化する（Ｓ１０２）。具体的には、属性情報符号化部１０１は、第１の属性情報の符号化情報を参照して予測を行うことで予測値を算出する。属性情報符号化部１０１は、予測値を用いて第２の属性情報を符号化する。例えば、属性情報符号化部１０１は、第２の属性情報と予測値との差分である予測残差（残差値）を算出する。また、属性情報符号化部１０１は、予測残差に算術符号化（エントロピー符号化）を行うことで符号化属性情報を生成する。なお、算術符号化は行われなくてもよい。
　なお、第１の属性情報の符号化情報とは、例えば、第１の属性情報が再構成された値であり、具体的には、符号化後の第１の属性情報を復号して得られる値である。また、第１の属性情報の符号化情報は、第１の属性情報の符号化に用いられた情報であってもよい。
　ここで、他の属性情報から参照される第１の属性情報を参照属性情報と称し、参照属性情報を含む属性コンポーネントを参照コンポーネントと称する。また、他の属性情報を参照する第２の属性情報を従属属性情報と称し、従属属性情報を含む属性コンポーネントを従属コンポーネントと称する。
　また、属性情報符号化部１０１は、第２の属性情報が第１の属性情報の従属であることを示す依存関係情報をビットストリーム（符号化データ）に格納する（Ｓ１０３）。言い換えると、依存関係情報は、第１の属性情報を参照して第２の属性情報が予測されることを示すメタ情報である。
　図４は、本実施の形態に係る三次元データ復号装置２００の構成を示すブロック図である。三次元データ復号装置２００は、ビットストリームに含まれる符号化属性情報及び依存関係情報を復号することで複数の属性情報（第１～第２の属性情報）を生成する。この三次元データ復号装置２００は、属性情報復号部２０１を備える。なお、図４では、属性情報の復号に関する処理部のみを記載している。三次元データ復号装置２００は、位置情報を復号する位置情報復号部等、その他の処理部を備えてもよい。
　図５は、三次元データ復号装置２００による属性情報の復号処理のフローチャートである。属性情報復号部２０１は、複数の属性情報を復号する。具体的には、属性情報復号部２０１は、ビットストリームから第２の属性情報が第１の属性情報の従属であることを示す依存関係情報を取得する（Ｓ１１１）。次に、属性情報復号部２０１は、依存関係情報に基づき、第１の属性情報及び第２の属性情報を復号する。
　具体的には、属性情報復号部２０１は、第１の属性情報の復号する（Ｓ１１２）。次に、属性情報復号部２０１は、第１の属性情報の復号情報を参照して第２の属性情報を復号する（Ｓ１１３）。具体的には、属性情報復号部２０１は、第１の属性情報の復号情報を参照して予測を行うことで予測値を算出する。属性情報復号部２０１は、予測値を用いて第２の属性情報を復号する。例えば、属性情報復号部２０１は、第２の属性情報と予測値との予測残差（差分）をビットストリームから取得する。なお、第２の属性情報に算術符号化が行われている場合には、属性情報復号部２０１は、符号化属性情報をエントロピー復号することで予測残差を取得する。属性情報復号部２０１は、取得した予測残差と予測値とを加算することで第２の属性情報を復元する。
　なお、第１の属性情報の復号情報とは、例えば、第１の属性情報が復号（再構成）された値である。また、第１の属性情報の復号情報は、第１の属性情報の復号に用いられた情報であってもよい。
　次に、属性情報符号化部１０１の構成及び属性情報を符号化する処理について説明する。なお、ここでは、属性情報符号化部１０１がＬｏＤを用いた符号化を行う符号化部（ＬｏＤ　ｂａｓｅｄ　ａｔｔｒｉｂｕｔｅ　ｅｎｃｏｄｅｒ）である場合の例を説明する。
　図６は、属性情報符号化部１０１の構成を示すブロック図である。属性情報符号化部１０１は、ＬｏＤ生成部１１１と、隣接探索部１１２と、予測部１１３と、残差算出部１１４と、量子化部１１５と、逆量子化部１１６と、再構成部１１７と、メモリ１１８と、算術符号化部１１９とを備える。
　ＬｏＤ生成部１１１は、複数の三次元点の位置（ｇｅｏｍｅｔｒｙ）情報を用いてＬｏＤ階層を生成する。隣接探索部１１２は、ＬｏＤの生成結果と三次元点間の距離情報とを用いて、処理対象の対象点の近隣の三次元点（隣接点）を探索する。
　予測部１１３は、対象点の属性情報の予測値を生成する。具体的には、予測部１１３は、対象点の参照属性情報の予測値を、対象点とは異なる隣接点の属性情報を参照して生成する。また、対象点の従属属性情報の予測値を、対象点の参照属性情報の符号化情報を用いて生成する。残差算出部１１４は、属性情報と予測値との差分である予測残差（残差値）を生成する。具体的には、残差算出部１１４は、参照属性情報と、参照属性情報の予測値との差分を、参照属性情報の予測残差として生成する。残差算出部１１４は、従属属性情報と、従属属性情報の予測値との差分を従属属性情報の予測残差として生成する。
　量子化部１１５は、予測残差を量子化する。逆量子化部１１６は、量子化後の予測残差を逆量子化する。再構成部１１７は、予測値と逆量子化後の予測残差とを加算することで、対象点の属性情報が復号された復号値を生成する。
　メモリ１１８は、符号化及び復号済みの複数の三次元点の属性情報（復号値）である符号化情報を記憶する。メモリ１１８に記憶される復号値は、予測部１１３による後続の三次元点の予測に利用される。また、対象点の参照属性情報の復号値は、予測部１１３による、対象点の従属属性情報の予測に利用される。
　算術符号化部１１９は、量子化後の予測残差を算術符号化する。なお、算術符号化部１１９は、量子化後の予測残差を二値化し、二値化後の予測残差を算術符号化してもよい。
　なお、従属コンポーネント（従属属性情報）を符号化する場合と、参照コンポーネント（参照属性情報）を符号化する場合とで、異なる符号化パラメータ又は量子化値（量子化パラメータ又は量子化ステップとも呼ぶ）が用いられてもよい。例えば、参照コンポーネントは他のコンポーネントから参照されるため重要度が高い可能性がある。よって、参照コンポーネントは可逆圧縮され、従属コンポーネントは不可逆圧縮されてもよい。例えば、不可逆圧縮とは量子化処理を含む符号化処理であり、可逆圧縮とは量子化処理を含まない符号化処理である。または、参照コンポーネントに用いられる量子化ステップは、従属コンポーネントに用いられる量子化ステップより小さくてもよい。これにより、全体としての情報の劣化を抑制しつつ、符号化効率を向上できる。つまり、三次元データ符号化装置１００は、元の属性情報を参照コンポーネントと従属コンポーネントとに分類し、参照コンポーネントと従属コンポーネントとのそれぞれに適した符号化パラメータを選択して符号化を行う。これにより、符号化効率の改善が期待できる。
　次に、属性情報復号部２０１の構成及び属性情報を復号する処理について説明する。なお、ここでは、属性情報復号部２０１がＬｏＤを用いた復号を行う復号部（ＬｏＤ　ｂａｓｅｄ　ａｔｔｒｉｂｕｔｅ　ｄｅｃｏｄｅｒ）である場合の例を説明する。
　図７は、属性情報復号部２０１の構成を示すブロック図である。属性情報復号部２０１は、ＬｏＤ生成部２１１と、隣接探索部２１２と、予測部２１３と、算術復号部２１４と、逆量子化部２１５と、再構成部２１６と、メモリ２１７とを備える。
　ＬｏＤ生成部２１１は、複数の三次元点の復号された位置情報を用いてＬｏＤを生成する。隣接探索部２１２は、ＬｏＤの生成結果と三次元点間の距離情報とを用いて、処理対象の対象点の近隣三次元点（隣接点）を探索する。
　予測部２１３は、対象点の属性情報の予測値を生成する。具体的には、予測部２１３は、対象点の参照属性情報の予測値を、対象点とは異なる隣接点の属性情報を参照して生成する。また、対象点の従属属性情報の予測値を、対象点の参照属性情報の符号化情報を用いて生成する。
　算術復号部２１４は、ビットストリームに含まれる符号化属性情報を算術復号することで予測残差（量子化された予測残差）を生成する。逆量子化部２１５は、算術復号した予測残差（量子化された予測残差）を逆量子化する。再構成部２１６は、予測値と逆量子化後の予測残差とを加算することで復号値を生成する。
　メモリ２１７は、復号済みの複数の三次元点の復号値を記憶する。メモリ２１７に記憶される復号値は、予測部２１３による後続の三次元点の予測に利用される。また、対象点の参照属性情報の復号値は、予測部２１３による、対象点の従属属性情報の予測に利用される。
　次に、予測処理の詳細を説明する。まず、予測処理の第１の例について説明する。図８は、予測処理の第１の例における参照関係を示す図である。この例では、対象点は、コンポーネントＡとコンポーネントＢとを有し、コンポーネントＡは参照コンポーネントであり、コンポーネントＢが従属コンポーネントである。コンポーネントＡ及びコンポーネントＢはいずれも色情報であり、それぞれ、緑（Ｇ）、青（Ｂ）、赤（Ｒ）の３つの次元要素（サブコンポーネントとも呼ぶ）を含む。
　第１の例では、従属属性情報に含まれる全ての次元要素にコンポーネント間予測が使用される。コンポーネント間予測では、符号量を削減するために、対象点の従属コンポーネントの属性値（属性情報の値）と、当該対象点の参照コンポーネントの属性値に基づく予測値との予測残差が算出され、当該予測残差が符号化される。
　図８において、矢印は、属性コンポーネントの符号化において符号化情報を参照する参照先の次元要素を示す。矢印の始点の次元要素が、終点の次元要素を参照する。この例は、従属コンポーネントに含まれる複数の次元要素の各々は、参照コンポーネントに含まれる同じ次元要素を参照する。つまり、従属コンポーネントのＧ要素は、参照コンポーネントのＧ要素を参照し、従属コンポーネントのＢ要素は、参照コンポーネントのＢ要素を参照し、従属コンポーネントのＲ要素は、参照コンポーネントのＲ要素を参照する。
　ここで、コンポーネントＡの点Ｎの属性値を（ＲＡＮ、ＧＡＮ、ＢＡＮ）とし、コンポーネントＢの点Ｎの属性値を（ＲＢＮ、ＧＢＮ、ＢＢＮ）とした場合、コンポーネントＢの点Ｎの予測値は、予測係数（ｃｏｅｆｆｉａ（Ｒ）、ｃｏｅｆｆｉａ（Ｇ）、ｃｏｅｆｆｉａ（Ｂ））を用いて、（ＲＡＮ・ｃｏｅｆｆｉａ（Ｒ）、ＧＡＮ・ｃｏｅｆｆｉａ（Ｇ）、ＢＡＮ・ｃｏｅｆｆｉａ（Ｒ））で表される。つまり、コンポーネントＢの点Ｎの予測値は、コンポーネントＡの属性値に予測係数を乗算した値である。また、予測係数は所定の方法を用いて導出される。例えば、複数の予測係数の候補値を用いて予測値及び残差が導出され、符号量が最も少なくなる候補値が予測係数として選択される。また、例えば、予測係数を示す情報は、ビットストリームに格納され、三次元データ復号装置へ送信される。
　コンポーネントＡの属性値と予測値との差分であるコンポーネントＢの予測残差（ｒｅｓｉ（ＲＢＮ）、ｒｅｓｉ（ＧＢＮ）、ｒｅｓｉ（ＢＢＮ））は以下の式で表される。
　ｒｅｓｉ（ＧＢＮ）＝ＧＢＮ－ＧＡＮ・ｃｏｅｆｆｉａ（Ｇ）
　ｒｅｓｉ（ＢＢＮ）＝ＢＢＮ－ＢＡＮ・ｃｏｅｆｆｉａ（Ｂ）
　ｒｅｓｉ（ＲＢＮ）＝ＲＢＮ－ＲＡＮ・ｃｏｅｆｆｉａ（Ｒ）
　一方、復号処理では、コンポーネントＢの点Ｎの属性値（ＲＢＮ、ＧＢＮ、ＢＢＮ）は、復号された予測残差（ｒｅｓｉ（ＲＢＮ）、ｒｅｓｉ（ＧＢＮ）、ｒｅｓｉ（ＢＢＮ））、予測係数（ｃｏｅｆｆｉａ（Ｒ）、ｃｏｅｆｆｉａ（Ｇ）、ｃｏｅｆｆｉａ（Ｂ））、及びコンポーネントＡの属性値（ＲＡＮ、ＧＡＮ、ＢＡＮ）を用いて、以下の式で表される。
　ＧＢＮ＝ｒｅｓｉ（ＧＢＮ）＋ＧＡＮ・ｃｏｅｆｆｉａ（Ｇ）
　ＢＢＮ＝ｒｅｓｉ（ＢＢＮ）＋ＢＡＮ・ｃｏｅｆｆｉａ（Ｂ）
　ＲＢＮ＝ｒｅｓｉ（ＲＢＮ）＋ＲＡＮ・ｃｏｅｆｆｉａ（Ｒ）
　上記の方法を用いることにより、２つの属性情報の相関が高い場合、予測残差を小さくできる。これにより、符号量を削減できる。
　なお、属性情報が３つ以上の場合、２つ以上の属性情報が１つの参照属性情報を参照してもよい。
　次に、予測処理の第２の例について説明する。図９は、予測処理の第２の例における参照関係を示す図である。第２の例では、従属コンポーネントに含まれる複数の次元要素の一部にコンポーネント間予測が用いられ、他の一部にサブコンポーネント間予測が用いられる。サブコンポーネント間予測は、処理対象の対象次元要素が、当該対象次元要素と同じコンポーネントに属する他の次元要素を参照する予測方式である。
　具体的には、従属コンポーネント（コンポーネントＢ）に含まれる複数の次元要素のうち代表の次元要素（図９に示す例ではＧ要素）は、参照コンポーネント（コンポーネントＡ）の代表の次元要素（Ｇ要素）を参照する。また、従属コンポーネントに含まれる複数の次元要素のうち代表の次元要素以外の次元要素（図９に示す例ではＢ要素及びＲ要素）は、従属コンポーネントに含まれる代表の次元要素を参照する。
　この場合、点Ｎにおける参照コンポーネントの属性値を（ＲＡＮ、ＧＡＮ、ＢＡＮ）とし、従属コンポーネントの属性値を（ＲＢＮ、ＧＢＮ、ＢＢＮ）とすると、参照コンポーネントの予測残差（ｒｅｓｉ（ＲＡＮ）、ｒｅｓｉ（ＧＡＮ）、ｒｅｓｉ（ＢＡＮ））は、サブコンポーネント間予測係数（ｃｏｅｆｆＡｉｓ（Ｒ）、ｃｏｅｆｆＡｉｓ（Ｂ））を用いて以下で表される。
　ｒｅｓｉ（ＧＡＮ）＝ＧＡＮ
　ｒｅｓｉ（ＢＡＮ）＝ＢＡＮ－ＧＡＮ・ｃｏｅｆｆＡｉｓ（Ｂ）
　ｒｅｓｉ（ＲＡＮ）＝ＲＡＮ－ＧＡＮ・ｃｏｅｆｆＡｉｓ（Ｒ）
　従属コンポーネントの予測残差（ｒｅｓｉ（ＲＢＮ）、ｒｅｓｉ（ＧＢＮ）、ｒｅｓｉ（ＢＢＮ））は、サブコンポーネント間予測係数（ｃｏｅｆｆＢｉｓ（Ｒ）、ｃｏｅｆｆＢｉｓ（Ｂ））、及びコンポーネント間予測係数（ｃｏｅｆｆｉａ（Ｇ））を用いて以下で表される。
　ｒｅｓｉ（ＧＢＮ）＝ＧＢＮ－ＧＡＮ・ｃｏｅｆｆｉａ（Ｇ）
　ｒｅｓｉ（ＢＢＮ）＝ＢＢＮ－ＧＢＮ・ｃｏｅｆｆＢｉｓ（Ｂ）
　ｒｅｓｉ（ＲＢＮ）＝ＲＢＮ－ＧＢＮ・ｃｏｅｆｆＢｉｓ（Ｒ）
　つまり、この例では、コンポーネントＡのＧ要素に対して予測は行われない。また、コンポーネントＡのＢ要素及びＲ要素には、コンポーネントＡのＧ要素を参照したサブコンポーネント間予測が行われる。コンポーネントＢのＧ要素には、コンポーネントＡのＧ要素を参照したコンポーネント間予測が行われる。また、コンポーネントＢのＢ要素及びＲ要素には、コンポーネントＢのＧ要素を参照したサブコンポーネント間予測が行われる。
　なお、サブコンポーネント間予測係数及びコンポーネント間予測係数は、上述した予測係数と同様に、予め所定の方法を用いて導出される。また、例えば、予測係数を示す情報は、ビットストリームに格納され、三次元データ復号装置へ送信される。
　一方、復号処理において、点Ｎにおける参照コンポーネントの予測残差を（ｒｅｓｉ（ＲＡＮ）、ｒｅｓｉ（ＧＡＮ）、ｒｅｓｉ（ＢＡＮ））とし、従属コンポーネントの予測残差を（ｒｅｓｉ（ＲＢＮ）、ｒｅｓｉ（ＧＢＮ）、ｒｅｓｉ（ＢＢＮ））とすると、参照コンポーネントの属性値（ＲＡＮ、ＧＡＮ、ＢＡＮ）は、サブコンポーネント間予測係数（ｃｏｅｆｆＡｉｓ（Ｒ）、ｃｏｅｆｆＡｉｓ（Ｂ））を用いて以下で表される。
　ＧＡＮ＝ｒｅｓｉ（ＧＡＮ）
　ＢＡＮ＝ｒｅｓｉ（ＢＡＮ）＋ＧＡＮ・ｃｏｅｆｆＡｉｓ（Ｂ）
　ＲＡＮ＝ｒｅｓｉ（ＲＡＮ）＋ＧＡＮ・ｃｏｅｆｆＡｉｓ（Ｒ）
　従属コンポーネントの属性値（ＲＢＮ、ＧＢＮ、ＢＢＮ）は、サブコンポーネント間予測係数（ｃｏｅｆｆＢｉｓ（Ｒ）、ｃｏｅｆｆＢｉｓ（Ｂ））、及びコンポーネント間予測係数（ｃｏｅｆｆｉａ（Ｇ））を用いて以下で表される。
　ＧＢＮ＝ｒｅｓｉ（ＧＢＮ）＋ＧＡＮ・ｃｏｅｆｆｉａ（Ｇ）
　ＢＢＮ＝ｒｅｓｉ（ＢＢＮ）＋ＧＢＮ・ｃｏｅｆｆＢｉｓ（Ｂ）
　ＲＢＮ＝ｒｅｓｉ（ＲＢＮ）＋ＧＢＮ・ｃｏｅｆｆＢｉｓ（Ｒ）
　このように、次元要素間の相関が高い場合に予測残差を小さくすることが可能なサブコンポーネント間予測と、コンポーネント間の各次元要素の相関が高い場合に予測残差を小さくすることが可能なコンポーネント間予測とを組み合わせることで、符号量を削減することが可能となる。
　次に、予測処理の第３の例について説明する。第３の例では、従属属性情報の予測値を、参照属性情報の予測値を参照して導出する。また、参照属性情報の予測値は、予測モードによる予測を用いて導出される。つまり、対象点とは異なる１以上の隣接点の属性情報を参照して予測された、参照属性情報の予測値を参照して、従属属性情報の予測値が導出される。
　図１０は、予測モードによる予測処理であって、隣接点を参照する予測処理を説明するための図である。参照属性情報の予測値は、例えば、図１０に示すように対象点に隣接（近接）する複数の隣接点（近傍点）に基づき参照属性情報の予測値が算出される。例えば、複数の隣接点のいずれかの属性値が予測値に設定される。または、複数の隣接点の複数の属性値の平均値が予測値として設定される。なお、属性情報に含まれる次元要素の数によらず、１つの対象点に対しては、属性情報に含まれる全ての次元要素に対して同じ予測値が使用されてもよい。
　例えば、三次元データ符号化装置は、複数の予測モードからいずれかを選択し、選択した予測モードに基づき、予測値を算出する。また、三次元データ符号化装置は、選択した予測モードを示す情報（ｐｒｅｄ＿ｍｏｄｅ）をビットストリームに格納する。
　複数の予測モードには例えば、以下のモードが含まれる。予測モード＝０の場合、三次元データ符号化装置は、図１０に示す第１隣接点の属性値と、第２隣接点の属性値と、第３隣接点の属性値との平均値を予測値に決定する。例えば、第１隣接点は、対象点に最も近い符号化済の三次元点であり、第２隣接点は、対象点に２番目に近い符号化済の三次元点であり、第３隣接点は、対象点に３番目に近い符号化済の三次元点である。
　予測モード＝１の場合、三次元データ符号化装置は、第１隣接点の属性値を予測値に決定する。予測モード＝２の場合、三次元データ符号化装置は、第２隣接点の属性値を予測値に決定する。予測モード＝３の場合、三次元データ符号化装置は、第３隣接点の属性値を予測値に決定する。
　例えば、三次元データ符号化装置は、これらの複数の予測モードを用いて予測値及び予測残差を算出し、符号量が最も小さくなる予測モードを選択する。
　また、例えば、参照される隣接点の属性値は、対象点に含まれる処理対象の属性コンポーネントと同種の属性コンポーネントの属性値である。例えば、対象点及び隣接点の各々は、第１属性コンポーネントと第２属性コンポーネントとを有する場合、対象点の第１属性コンポーネントの予測に、隣接点の第１属性コンポーネントが参照され、対象点の第２属性コンポーネントの予測に、隣接点の第２属性コンポーネントが参照される。
　例えば、三次元データ符号化装置は、三次元点毎に予測モードを選択し、三次元点毎に予測モードを示す情報（ｐｒｅｄ＿ｍｏｄｅ）をビットストリームに格納する。なお、常に各点のｐｒｅｄ＿ｍｏｄｅをビットストリームに格納する必要はなく、符号化装置及び復号装置の双方において判定可能な所定の条件に基づき、当該条件が満たされる場合には、三次元データ符号化装置は、予め定められた予測モード（例えば、ｐｒｅｄ＿ｍｏｄｅ＝０）を用い、ｐｒｅｄ＿ｍｏｄｅをビットストリームに格納しなくてもよい。この場合、三次元データ復号装置は、当該条件が満たされる場合には、上記の予め定められた予測モードを用いる。また、所定の条件が満たされる場合に、選択可能な予測モードの数が制限されてもよい。
　三次元データ符号化装置は、コンポーネントＢの属性値の予測に、コンポーネントＡの予測値を参照する。ここでは、Ｒ、Ｇ、Ｂの順に符号化を行う例を示すが、符号化順を入れ替えてもよい。
　ｐｒｅｄ＿ｍｏｄｅで決定される参照コンポーネントの予測値を（ｐｒｅｄ（ＲＡＮ）、ｐｒｅｄ（ＧＡＮ）、ｐｒｅｄ（ＢＡＮ））とした場合、参照コンポーネントの予測残差（ｒｅｓｉ（ＲＡＮ）、ｒｅｓｉ（ＧＡＮ）、ｒｅｓｉ（ＢＡＮ））は以下で表される。
　ｒｅｓｉ（ＲＡＮ）＝ＲＡＮ－ｐｒｅｄ（ＲＡＮ）
　ｒｅｓｉ（ＧＡＮ）＝ＧＡＮ－ｐｒｅｄ（ＧＡＮ）
　ｒｅｓｉ（ＢＡＮ）＝ＢＡＮ－ｐｒｅｄ（ＢＡＮ）
　従属コンポーネントの予測残差（ｒｅｓｉ（ＲＢＮ）、ｒｅｓｉ（ＧＢＮ）、ｒｅｓｉ（ＢＢＮ））は以下で表される。
　ｒｅｓｉ（ＲＢＮ）＝ＲＢＮ－ｐｒｅｄ（ＲＡＮ）
　ｒｅｓｉ（ＧＢＮ）＝ＧＢＮ－ｐｒｅｄ（ＧＡＮ）
　ｒｅｓｉ（ＢＢＮ）＝ＢＢＮ－ｐｒｅｄ（ＢＡＮ）
　また、この場合、参照コンポーネントの予測モードを示す情報は、ビットストリームに格納され、従属コンポーネントの予測モードを示す情報は、ビットストリームに格納されない。
　また、三次元データ復号装置は、復号されたｐｒｅｄ＿ｍｏｄｅで示される予測モードを用いて参照コンポーネントの予測値を算出する。参照コンポーネントの予測値を（ｐｒｅｄ（ＲＡＮ）、ｐｒｅｄ（ＧＡＮ）、ｐｒｅｄ（ＢＡＮ））とし、復号された参照コンポーネントの予測残差を（ｒｅｓｉ（ＲＡＮ）、ｒｅｓｉ（ＧＡＮ）、ｒｅｓｉ（ＢＡＮ））とし、復号された従属コンポーネントの予測残差を（ｒｅｓｉ（ＲＢＮ）、ｒｅｓｉ（ＧＢＮ）、ｒｅｓｉ（ＢＢＮ））とした場合、参照コンポーネントの属性値（ＲＡＮ、ＧＡＮ、ＢＡＮ）は、以下で表される。
　ＲＡＮ＝ｒｅｓｉ（ＲＡＮ）＋ｐｒｅｄ（ＲＡＮ）
　ＧＡＮ＝ｒｅｓｉ（ＧＡＮ）＋ｐｒｅｄ（ＧＡＮ）
　ＢＡＮ＝ｒｅｓｉ（ＢＡＮ）＋ｐｒｅｄ（ＢＡＮ）
　従属コンポーネントの属性値（ＲＢＮ、ＧＢＮ、ＢＢＮ）は、以下で表される。
　ＲＢＮ＝ｒｅｓｉ（ＲＢＮ）＋ｐｒｅｄ（ＲＡＮ）
　ＧＢＮ＝ｒｅｓｉ（ＧＢＮ）＋ｐｒｅｄ（ＧＡＮ）
　ＢＢＮ＝ｒｅｓｉ（ＢＢＮ）＋ｐｒｅｄ（ＢＡＮ）
　つまり、参照コンポーネントの復号時に得られた予測値、及びビットストリームから復号された従属コンポーネントの予測残差を用いて、従属コンポーネントの属性値が算出される。
　このように、参照コンポーネントで使用している予測値を、従属コンポーネントの予測値として用いることにより、従属コンポーネントに対する予測モードを示す情報（ｐｒｅｄ＿ｍｏｄｅ）の符号化が不要になる。これにより、符号量を削減できる。また、従属コンポーネントに対する予測モードを算出するための処理時間も削減できる。なお、予測残差の生成の際に、上記で算出された予測値に係数が乗算されてもよい。例えば、この係数は予測残差が小さくなるように予め計算される。また、この係数はビットストリームに格納されてもよい。
　なお、ここでは、従属コンポーネントに対して、参照コンポーネントの予測値を用いる例を述べたが、参照コンポーネントで用いられた予測モードを用いて従属コンポーネントの予測値が算出されてもよい。つまり、参照コンポーネントと従属コンポーネントとで予測モードを共通化してもよい。具体的には、参照コンポーネントの予測の際に、予測モードが決定され、当該予測モードを用いて隣接点の参照コンポーネントの属性値に基づき参照コンポーネントの予測値が決定される。さらに、当該予測モードを用いて隣接点の従属コンポーネントの属性値に基づき従属コンポーネントの予測値が決定される。参照コンポーネントの属性値と、参照コンポーネントの予測値との差分が、参照コンポーネントの予測残差として算出され、従属コンポーネントの属性値と、従属コンポーネントの予測値との差分が、従属コンポーネントの予測残差として算出される。
　この場合でも、従属コンポーネントに対する予測モードを示す情報（ｐｒｅｄ＿ｍｏｄｅ）の符号化が不要になるので、符号量を削減できる。
　次に、予測処理の第４の例について説明する。第４の例では、コンポーネントＡとコンポーネントＢとで予測モード及び予測値を共用せず、それぞれに対して予測モード及び予測値を決定し、それぞれの予測残差を算出する。さらに、算出された２つの予測残差の差をコンポーネントＢの予測残差として符号化する。
　具体的には、三次元データ符号化装置は、三次元点毎に、コンポーネントＡの予測モードを決定し、決定した予測モードに基づき予測値を算出し、算出した予測値を用いて第１予測残差を導出する。同様に、三次元データ符号化装置は、三次元点毎に、コンポーネントＢの予測モードを決定し、決定した予測モードに基づき予測値を算出し、算出した予測値を用いて第２予測残差を導出する。
　また、三次元データ符号化装置は、各三次元点のコンポーネント毎のｐｒｅｄ＿ｍｏｄｅをビットストリームに格納する。
　また、三次元データ符号化装置は、参照コンポーネントに対しては、第１予測残差をそのまま符号化する。一方、三次元データ符号化装置は、従属コンポーネントに対しては、従属コンポーネントの第２予測残差を参照コンポーネントの第１予測残差を用いて予測し、第３予測残差を生成する。例えば、第３予測残差は第１予測残差と第２予測残差との差分である。
　例えば、参照コンポーネントの第１予測残差（ｒｅｓｉ（ＲＡＮ）、ｒｅｓｉ（ＧＡＮ）、ｒｅｓｉ（ＢＡＮ））、は、下記で表される。
　ｒｅｓｉ（ＲＡＮ）＝ＲＡＮ－ｐｒｅｄ（ＲＡＮ）
　ｒｅｓｉ（ＧＡＮ）＝ＧＡＮ－ｐｒｅｄ（ＧＡＮ）
　ｒｅｓｉ（ＢＡＮ）＝ＢＡＮ－ｐｒｅｄ（ＢＡＮ）
　従属コンポーネントの第２予測残差（ｒｅｓｉ（ＲＢＮ）、ｒｅｓｉ（ＧＢＮ）、ｒｅｓｉ（ＢＢＮ））は、下記で表される。
　ｒｅｓｉ（ＲＢＮ）＝ＲＢＮ－ｐｒｅｄ（ＲＢＮ）
　ｒｅｓｉ（ＧＢＮ）＝ＧＢＮ－ｐｒｅｄ（ＧＢＮ）
　ｒｅｓｉ（ＢＢＮ）＝ＢＢＮ－ｐｒｅｄ（ＢＢＮ）
　従属コンポーネントの第３予測残差（ｒｅｓｉ２（ＲＢＮ）、ｒｅｓｉ２（ＧＢＮ）、ｒｅｓｉ２（ＢＢＮ））は、下記で表される。
　ｒｅｓｉ２（ＲＢＮ）＝ｒｅｓｉ（ＲＢＮ）－ｒｅｓｉ（ＲＡＮ）
　ｒｅｓｉ２（ＧＢＮ）＝ｒｅｓｉ（ＧＢＮ）－ｒｅｓｉ（ＧＡＮ）
　ｒｅｓｉ２（ＢＢＮ）＝ｒｅｓｉ（ＢＢＮ）－ｒｅｓｉ（ＢＡＮ）
　なお、第３予測残差の算出において、第１予測残差又は第２予測残差の少なくとも一方に、係数が乗算されてもよい。例えば、この係数は第３予測残差が小さくなるように予め計算される。また、この係数はビットストリームに格納されてもよい。
　一方、三次元データ復号装置は、復号された参照コンポーネントの第１予測残差、及び、復号された従属コンポーネントの第３予測残差を用いて従属コンポーネントの第２予測残差を導出する。三次元データ復号装置は、導出した第２予測残差を用いて、従属コンポーネントの属性値を復元する。
　例えば、参照コンポーネントの属性値（ＲＡＮ、ＧＡＮ、ＢＡＮ）は以下で表される。
　ＲＡＮ＝ｒｅｓｉ（ＲＡＮ）＋ｐｒｅｄ（ＲＡＮ）
　ＧＡＮ＝ｒｅｓｉ（ＧＡＮ）＋ｐｒｅｄ（ＧＡＮ）
　ＢＡＮ＝ｒｅｓｉ（ＢＡＮ）＋ｐｒｅｄ（ＢＡＮ）
　従属コンポーネントの第２予測残差（ｒｅｓｉ（ＲＢＮ）、ｒｅｓｉ（ＧＢＮ）、ｒｅｓｉ（ＢＢＮ））は、下記で表される。
　ｒｅｓｉ（ＲＢＮ）＝ｒｅｓｉ２（ＲＢＮ）－ｐｒｅｄ（ＲＢＮ）
　ｒｅｓｉ（ＧＢＮ）＝ｒｅｓｉ２（ＧＢＮ）－ｐｒｅｄ（ＧＢＮ）
　ｒｅｓｉ（ＢＢＮ）＝ｒｅｓｉ２（ＢＢＮ）－ｐｒｅｄ（ＢＢＮ）
　従属コンポーネントの属性値（ＲＢＮ、ＧＢＮ、ＢＢＮ）は、以下で表される。
　ＲＢＮ＝ｒｅｓｉ（ＲＢＮ）＋ｐｒｅｄ（ＲＢＮ）
　ＧＢＮ＝ｒｅｓｉ（ＧＢＮ）＋ｐｒｅｄ（ＧＢＮ）
　ＢＢＮ＝ｒｅｓｉ（ＢＢＮ）＋ｐｒｅｄ（ＢＢＮ）
　なお、上記では参照コンポーネントと従属コンポーネントとで予測モード及び予測値を共用しない場合の説明としているが、第３の例で説明したように、予測モード及び予測値を共用してもよい。つまり、従属コンポーネントの第２予測残差の算出において参照コンポーネントの予測値を用いてもよい。これにより、従属コンポーネントにおける予測の処理を削減することが可能となる。また、予測モードを符号化しないことにより符号量を削減できる。なお、予測値は共有せず、予測モードを共有してもよい。
　また、別の手法として、三次元データ符号化装置は、従属コンポーネントの予測値と、参照コンポーネントの残差との差分を、従属コンポーネントの符号化データとして符号化してもよい。つまり、三次元データ符号化装置は、参照コンポーネントに対して、予測モードによる第１予測値を算出し、参照コンポーネントの属性情報と第１予測値の差分である第１残差を算出し、当該第１残差を、参照コンポーネントの符号化データとして符号化する。次に、三次元データ符号化装置は、従属コンポーネントに対して、予測モードによる第２予測値を算出し、当該第２予測値と上記第１残差との差分を従属コンポーネントの符号化データとして符号化する。
　次に、三次元データ符号化装置により生成されるビットストリーム（符号化データ）の構成を説明する。図１１は、ビットストリームに含まれるＴＬＶデータ（Ｔｙｐｅ　Ｌｅｎｇｔｈ　Ｖａｌｕｅ）の構成を示す図である。
　ＴＬＶデータ（ＴＬＶユニット（ＴＬＶ　ｕｎｉｔ））は、Ｔｙｐｅ、Ｌｅｎｇｔｈ及びＶａｌｕｅを含む。Ｔｙｐｅ及びＬｅｎｇｔｈはＴＬＶデータのヘッダであり、ＴｙｐｅはＶａｌｕｅに格納されるデータの識別子を含む。Ｖａｌｕｅは、ＴＬＶデータのペイロードであり、符号化データを含む。
　図１２は、ビットストリームの構成例を示す図である。図１２に示すように、ビットストリームは、ＳＰＳと、ＧＰＳと、ＡＰＳと、ＧＤＵヘッダと、ＧＤＵと、ＡＤＵヘッダと、ＡＤＵと、ＤＡＤＵヘッダと、ＤＡＤＵとを含む。
　ＳＰＳ（Ｓｅｑｕｅｎｃｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）は、複数フレーム共通のメタデータ（パラメータセット）である。ＡＰＳ（Ａｔｔｒｉｂｕｔｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）は属性情報（参照属性情報及び従属属性情報）の符号化に関わるメタデータ（パラメータセット）である。ＧＰＳ（Ｇｅｏｍｅｔｒｙ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）は、位置情報の符号化に関わるメタデータ（パラメータセット）である。例えば、ＡＰＳ及びＧＰＳは、複数フレームに共通のメタデータである。
　ＧＤＵは、位置情報の符号化データのデータユニット（ジオメトリデータユニット）である。ＡＤＵは、属性情報（参照属性情報）の符号化データのデータユニット（属性データユニット）である。ＤＡＤＵは、従属属性情報の符号化データのデータユニット（従属属性データユニット）である。ＧＤＵヘッダ、ＡＤＵヘッダ及びＤＡＤＵヘッダは、それぞれ、ＧＤＵ、ＡＤＵ及びＤＡＤＵのヘッダ（制御情報）である。図１２に示す各データは、複数のＴＬＶユニットに格納される。
　図１３は、ＴＬＶユニット（ＴＬＶ＿ｕｎｉｔ）のシンタックス例を示す図である。図１３に示すように、ＴＬＶユニットは、ｔｙｐｅ及びｌｅｎｇｔｈを含む。また、ＴＬＶユニットは、ｔｙｐｅに応じたデータを含む。
　具体的には、通常の属性コンポーネントの符号化データは、属性データユニットのヘッダ（ａｔｔｒｉｂｕｔｅ＿ｄａｔａ＿ｕｎｉｔ＿ｈｅａｄｅｒ（））、及び属性データユニット（ａｔｔｒｉｂｕｔｅ＿ｄａｔａ＿ｕｎｉｔ＿ｄａｔａ（））を含む。ＴＬＶユニットのｔｙｐｅには「ａｔｔｒｉｂｕｔｅ＿ｄａｔａ＿ｕｎｉｔ」が示される。
　ここで、通常の属性コンポーネントの符号化データとは、参照コンポーネントの符号化データであり、他の属性データユニットを参照せず、対応するジオメトリデータユニットを参照して符号化された符号化データである。
　一方、他の属性コンポーネントを参照して符号化された符号化データは、従属属性データユニットのヘッダ（ｄｅｐｅｎｄｅｎｔ＿ａｔｔｒｉｂｕｔｅ＿ｄａｔａ＿ｕｎｉｔ＿ｈｅａｄｅｒ（））、及び従属属性データユニット（ｄｅｐｅｎｄｅｎｔ＿ａｔｔｒｉｂｕｔｅ＿ｄａｔａ＿ｕｎｉｔ＿ｄａｔａ（））を含む。ＴＬＶユニットのｔｙｐｅには「ｄｅｐｅｎｄｅｎｔ＿ａｔｔｒｉｂｕｔｅ＿ｄａｔａ＿ｕｎｉｔ」が示される。従属属性データユニットには、対応するジオメトリデータユニット、及び対応する参照先の属性データユニットを参照して符号化された符号化データが格納される。
　また、位置情報のコンポーネントの符号化データは、ジオメトリデータユニットのヘッダ（ｇｅｏｍｅｔｒｙ＿ｄａｔａ＿ｕｎｉｔ＿ｈｅａｄｅｒ（））、及びジオメトリデータユニット（ｇｅｏｍｅｔｒｙ＿ｄａｔａ＿ｕｎｉｔ＿ｄａｔａ（））を含む。ＴＬＶユニットのｔｙｐｅには「ｇｅｏｍｅｔｒｙ＿ｄａｔａ＿ｕｎｉｔ」が示される。
　なお、ここでは、ＴＬＶのｔｙｐｅにより属性データユニットと従属属性データユニットとを識別する例を示したが、ｔｙｐｅにより属性データユニットを示し、属性データユニットヘッダに、属性データユニットが通常の属性データユニットであるか従属属性データユニットであるかを示す情報が格納されてもよい。
　また、第１の色情報、及び第２の色情報は、それぞれ１つの属性コンポーネントとして、ＬｏＤ　ｂａｓｅｄ　ａｔｔｒｉｂｕｔｅ又はＴｒａｎｓｆｏｒｍ　ｂａｓｅｄ　ａｔｔｒｉｂｕｔｅなどの任意の属性情報の符号化方法を用いて符号化される。つまり、上記説明では、ＬｏＤ　ｂａｓｅｄ　ａｔｔｒｉｂｕｔｅを用いる場合の例を説明したが、Ｔｒａｎｓｆｏｒｍ　ｂａｓｅｄ　ａｔｔｒｉｂｕｔｅを用いる場合にも、本実施の形態の手法を適用できる。
　なお、ＬｏＤ　ｂａｓｅｄ　ａｔｔｒｉｂｕｔｅとは、ＬｏＤ（Ｌｅｖｅｌ　ｏｆ　Ｄｅｔａｉｌ）を用いた変換方法の１つであり、予測残差を算出する方法である。また、ＬｏＤは位置情報に応じて三次元点を階層化する手法であり、点間の距離（疎密）に応じて三次元点を階層化する手法である。
　Ｔｒａｎｓｆｏｒｍ　ｂａｓｅｄ　ａｔｔｒｉｂｕｔｅとは、例えば、ＲＡＨＴ（Ｒｅｇｉｏｎ　Ａｄａｐｔｉｖｅ　Ｈｉｅｒａｒｃｈｉｃａｌ　Ｔｒａｎｓｆｏｒｍ）方式等である。ＲＡＨＴとは、三次元点の位置情報を用いて属性情報を変換する手法である。ＲＡＨＴ変換又はＨａａｒ変換等を属性情報に適用することで、各階層の符号化係数（高周波数成分及び低周波数成分）が生成され、それらの値あるいは隣接ノードの符号化係数との予測残差が量子化及びエントロピー符号化等される。
　つまり、Ｔｒａｎｓｆｏｒｍ　ｂａｓｅｄ　ａｔｔｒｉｂｕｔｅを用いる場合にも、ＬｏＤ　ｂａｓｅｄ　ａｔｔｒｉｂｕｔｅを用いる場合と同様、従属コンポーネントの属性情報、符号化係数又は予測残差の予測に、参照コンポーネントの属性情報、符号化係数、又は予測残差を用いて、残差を符号化する手法を適用できる。
　言い換えると、上記の予測処理に用いられる相関とは、（１）１つの三次元点の第１属性情報と第２属性情報との相関であってもよいし、（２）複数の三次元点の複数の第１属性情報が変換（ＲＡＨＴ又はＨａａｒ）されることで得られた複数の第１符号化係数と、複数の三次元点の複数の第２属性情報が変換（ＲＡＨＴ又はＨａａｒ）されることで得られた複数の第２符号化係数との相関であってもよし、（３）複数の第１符号化係数がインター又はイントラ予測されることで生成された第１予測残差と、複数の第２符号化係数がインター又はイントラ予測されることで生成された第２予測残差との相関であってもよい。
　ここで、ＲＡＨＴ変換又はＨａａｒ変換等の変換では、複数の三次元点の属性情報を変換することで複数の符号化係数が生成される。よって、従属コンポーネント（例えば第１属性情報）の符号化係数と参照コンポーネント（例えば第２属性情報）の符号化係数との相関は、同じ三次元点の２つの属性情報に限らず、異なる三次元点の２つの属性情報の相関を含む場合がある。
　つまり、１つの三次元点が有する２つの属性情報間の相関に限らず、複数の三次元点が有する複数の第１属性情報と、当該複数の三次元点が有する複数の第２属性情報との相関が用いられてもよい。言い換えると、複数の三次元点に含まれる第１三次元点の第１属性情報と、当該複数の三次元点に含まれる、当該第１三次元点と異なる第２三次元点の第２属性情報との相関が用いられてもよい。
　また、第１の色情報は、三次元の第１の属性コンポーネントとして符号化され、第２の色情報は、三次元の第２の属性コンポーネントとして符号化される。第１の属性コンポーネントの符号化データはＡＤＵに格納され、第１の属性情報を参照して符号化された第２の属性コンポーネントの符号化データはＤＡＤＵに格納される。ＡＤＵヘッダ及びＤＡＤＵヘッダには、それぞれ属性コンポーネント識別子ａｔｔｒ＿ｉｄ＝０及びａｔｔｒ＿ｉｄ＝１が格納される。
　ＳＰＳは、第１の属性コンポーネント及び第２の属性コンポーネントのそれぞれが色情報であることを示す属性識別子（ａｔｔｒｉｂｕｔｅ＿ｔｙｐｅ＝ｃｏｌｏｒ）と、第１の属性コンポーネント及び第２の属性コンポーネントの属性コンポーネント識別子（ａｔｔｒ＿ｉｄ）と、第１の属性コンポーネント及び第２の属性コンポーネントのそれぞれの次元数を示す情報とを含む。
　次に、ＳＰＳに含まれるａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒのシンタックス例を説明する。図１４は、ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒ（ｉ）のシンタックス例を示す図である。
　ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒ（ｉ）は、ｉ番目の属性情報に関するパラメータであり、ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒに複数の属性情報の依存関係を示す情報が格納される。
　具体的には、ａｔｔｒ＿ｐａｒａｍ＿ｔｙｐｅ＝４の場合、ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒは、ｒｅｆｅｒｅｎｃｅ＿ａｔｔｒ＿ｉｄ［ｉ］を含む。ａｔｔｒ＿ｐａｒａｍ＿ｔｙｐｅ＝４は、当該属性コンポーネントが、他のコンポーネント依存する（従属コンポーネントである）ことを示す。
　ここで、ｎｕｍ＿ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒを０以上に設定し、ａｔｔｒ＿ｐａｒａｍ＿ｔｙｐｅ＝４を有効にすることは、当該属性コンポーネントが、他のコンポーネント依存していることを示すフラグを有効に設定することであるともいえる。また、これは、元となる属性情報を、当該属性コンポーネント単体で復元できるか否かを示すフラグを有効に設定することであるともいえる。
　また、ｎｕｍ＿ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒは、ＳＰＳに含まれ、当該ＳＰＳに含まれるａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒの数を示す。
　ｒｅｆｅｒｅｎｃｅ＿ａｔｔｒ＿ｉｄは、参照（依存先）コンポーネントの属性コンポーネント識別子を示す。
　ａｔｔｒ＿ｉｄ＝１の属性コンポーネントが、ａｔｔｒ＿ｉｄ＝０の属性コンポーネントを参照コンポーネントとする従属コンポーネントである場合、ａｔｔｒ＿ｉｄ＝１のａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒは、ａｔｔｒ＿ｐａｒａｍ＿ｔｙｐｅ＝４と、参照先のコンポーネントのａｔｔｒ＿ｉｄ（つまり１）とを含む。
　なお、ＳＰＳは、当該シーケンスが、従属属性情報を含むか否か、又は従属属性情報を含む可能性があるか否かを示すフラグを含んでもよい。
　図１５は、従属属性データユニットヘッダ（ｄｅｐｅｎｄｅｎｔ＿ａｔｔｒｉｂｕｔｅ＿ｄａｔａ＿ｕｎｉｔ＿ｈｅａｄｅｒ）のシンタックス例を示す図である。従属属性データユニットヘッダは、ｒｅｆｅｒｅｎｃｅ＿ａｔｔｒ＿ｓｌｉｃｅ＿ｉｄと、ａｔｔｒ＿ｉｄと、ｒｅｆｅｒｅｎｃｅ＿ａｔｔｒ＿ｉｄと、ｉｎｔｅｒ＿ａｔｔｒｉｂｕｔｅ＿ｐｒｅｄ＿ｅｎａｂｌｅｄと、ｐｒｅｄｍｏｄｅ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇと、ｉｎｔｅｒ＿ａｔｔｒｉｂｕｔｅ＿ｐｒｅｄ＿ｃｏｅｆｆ［ｉ］［ｃ］とを含む。
　ｒｅｆｅｒｅｎｃｅ＿ａｔｔｒ＿ｓｌｉｃｅ＿ｉｄは、参照先の属性コンポーネントのスライスＩＤを示す。ここで、スライスＩＤとは、点群のスライスの識別子である。よって、参照先の属性コンポーネントのスライスＩＤは、参照先の位置情報のスライスＩＤ及び、処理対象の従属コンポーネントのスライスＩＤと同じである。よって、ｒｅｆｅｒｅｎｃｅ＿ａｔｔｒ＿ｓｌｉｃｅ＿ｉｄは、参照先の位置情報のスライスＩＤを示してもよいし、処理対象の従属コンポーネントのスライスＩＤを示してもよい。ａｔｔｒ＿ｉｄは、属性コンポーネントのインデックスを示す。
　ｒｅｆｅｒｅｎｃｅ＿ａｔｔｒ＿ｉｄは、ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒのｒｅｆｅｒｅｎｃｅ＿ａｔｔｒ＿ｉｄと同様であり、参照先（依存先）コンポーネントの属性コンポーネントのコンポーネント識別子を示す。ｒｅｆｅｒｅｎｃｅ＿ａｔｔｒ＿ｉｄは、ＳＰＳと従属属性データユニットヘッダとの少なくとも一方に含まれる。
　ｉｎｔｅｒ＿ａｔｔｒｉｂｕｔｅ＿ｐｒｅｄ＿ｅｎａｂｌｅｄは、コンポーネント間予測が有効であるか否かを示す。例えば、値１は有効を示し、値０は無効を示す。
　ｐｒｅｄｍｏｄｅ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇは、参照コンポーネントの予測モード（ｐｒｅｄ＿ｍｏｄｅ）を参照するか否かを示す。
　ｉｎｔｅｒ＿ａｔｔｒｉｂｕｔｅ＿ｐｒｅｄ＿ｅｎａｂｌｅｄが１の場合、従属属性データユニットヘッダは、ｉｎｔｅｒ＿ａｔｔｒｉｂｕｔｅ＿ｐｒｅｄ＿ｃｏｅｆｆ［ｉ］［ｃ］を含む。ここで、図１５に示すｌｏｄ＿ｍａｘ＿ｌｅｖｅｌｓは、ＬｏＤのレイヤ数を示す。ｎｕｍ＿ｄｉｍｅｎｓｉｏｎは、属性コンポーネントに含まれる次元要素の数である次元数を示す。
　ｉｎｔｅｒ＿ａｔｔｒｉｂｕｔｅ＿ｐｒｅｄ＿ｃｏｅｆｆは、予測係数を示す。予測係数は、図１５に示すようにＬｏＤレイヤごと、かつサブコンポーネント（次元）ごとに格納される。
　なお、複数のＬｏＤレイヤで予測係数を共通化してもよいし、複数のサブコンポーネントで予測係数を共通化してもよいし、複数のＬｏＤレイヤ及び複数のサブコンポーネントで予測係数を共通化してもよい。つまり、予測係数は、１以上のＬｏＤ毎に生成されてもよいし、１以上の次元要素毎に生成されてもよい。
　なお、ｉｎｔｅｒ＿ａｔｔｒｉｂｕｔｅ＿ｐｒｅｄ＿ｃｏｅｆｆの代わりに、予測係数の差分を示すｉｎｔｅｒ＿ａｔｔｒｉｂｕｔｅ＿ｐｒｅｄ＿ｃｏｅｆｆ＿ｄｉｆｆが用いられてもよい。例えば、ＬｏＤの先頭のｉｎｔｅｒ＿ａｔｔｒｉｂｕｔｅ＿ｐｒｅｄ＿ｃｏｅｆｆ＿ｄｉｆｆは、予め定められた初期値と処理対象の予測係数と差分を示す。ＬｏＤの先頭から２番目のｉｎｔｅｒ＿ａｔｔｒｉｂｕｔｅ＿ｐｒｅｄ＿ｃｏｅｆｆ＿ｄｉｆｆは、ＬｏＤの先頭の予測係数と、処理対象（２番目）の予測係数との差分を示す。３番目以降についても２番目と同様に、直前の予測係数と処理対象の予測係数との差分が用いられる。これにより、送信される予測係数のデータ量を削減できる。
　また、データユニットに対して共通の予測係数が用いられる場合には、当該予測係数を示す情報がデータユニットのヘッダに格納されてもよい。また、複数のデータユニットに対して共通の予測係数が用いられる場合には、当該予測係数を示す情報がＡＰＳに格納されてもよい。また、シーケンスに対して共通の予測係数が用いられる場合には、当該予測係数を示す情報がＳＰＳに格納されてもよい。
　また、図１５では、ｒｅｆｅｒｅｎｃｅ＿ａｔｔｒ＿ｉｄ、ｉｎｔｅｒ＿ａｔｔｒｉｂｕｔｅ＿ｐｒｅｄ＿ｅｎａｂｌｅｄ、及びｐｒｅｄｍｏｄｅ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇ等の制御信号が、複数のＬｏＤ及び複数の次元要素で共通化されている例を示したが、これらの制御信号の少なくとも一つは、ＬｏＤ毎に設けられてもよいし、次元要素毎に設けられてもよい。
　次に、従属属性データユニットのシンタックス例を説明する。図１６は、図８及び図９に示す予測処理の第１の例又は第２の例が用いられる場合の従属属性データユニット（ｄｅｐｅｎｄｅｎｔ＿ａｔｔｒｉｂｕｔｅ＿ｄａｔａ＿ｕｎｉｔ）のシンタックス例を示す図である。図１６に示すように従属属性データユニットはｒｅｓｉを含む。
　図１６において、ｐｏｉｎｔ＿ｃｏｕｎｔは、データユニットに含まれる点の数を示す。ｎｕｍ＿ｄｉｍｅｎｓｉｏｎは、属性コンポーネントに含まれる次元要素の数である次元数を示す。また、ｒｅｓｉは、点毎、かつ、次元要素毎に生成される。
　ｒｅｓｉは、予測残差を示す。具体的には、ｒｅｓｉは、上述した予測処理の第１の例及び第２の例で示すように、データユニットの各点において、参照サブコンポーネント又は処理対象の属性コンポーネント内の別のサブコンポーネントを参照して算出した予測値と、処理対象のサブコンポーネントとの残差（差分）を示す。
　なお、いずれかのサブコンポーネントのｒｅｓｉが、連続する複数の点においてｒｅｓｉ＝０である場合、従属属性データユニットは、０が連続する点の数を示すｚｅｒｏ＿ｒｕｎ＿ｌｅｎｇｔｈをｒｅｓｉの代わりに含んでもよい。
　また、ｒｅｓｉの算術符号化が有利になるように、ｒｅｓｉを分解したり、他のサブコンポーネントの条件に応じてｒｅｓｉの値を変更したうえで、算術符号化が行われてもよい。なお、算術符号化が有利になるとは、例えば、算術符号化後のデータ量が削減されることである。
　図１７は、図１０に示す予測処理の第３の例又は第４の例が用いられる場合の従属属性データユニット（ｄｅｐｅｎｄｅｎｔ＿ａｔｔｒｉｂｕｔｅ＿ｄａｔａ＿ｕｎｉｔ）のシンタックス例を示す図である。図１６に示すように従属属性データユニットは、ｐｒｅｄ＿ｍｏｄｅと、ｒｅｓｉ（又はｒｅｓｉ２）とを含む。
　ｐｒｅｄ＿ｍｏｄｅは、点毎、かつサブコンポーネント毎に設けられ、当該サブコンポーネントに用いられる予測モードを示す。また、参照コンポーネントの予測モード（ｐｒｅｄ＿ｍｏｄｅ）を参照しない場合（ｐｒｅｄｍｏｄｅ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇ＝０）、従属属性データユニットはｐｒｅｄ＿ｍｏｄｅを含む。一方、参照コンポーネントの予測モード（ｐｒｅｄ＿ｍｏｄｅ）を参照する場合（ｐｒｅｄｍｏｄｅ＿ｒｅｆｅｒｅｎｃｅ＿ｆｌａｇ＝１）、従属属性データユニットはｐｒｅｄ＿ｍｏｄｅを含まない。
　また、第３の例が用いられる場合には、従属属性データユニットは、点毎、かつ、次元要素毎に生成されたｒｅｓｉを含む。ｒｅｓｉは、参照したｐｒｅｄ＿ｍｏｄｅ又は当該従属属性データユニットに含まれるｐｒｅｄ＿ｍｏｄｅを用いて生成した予測値と、処理対象のサブコンポーネントとの残差（差分）を示す。
　また、第４の例が用いられる場合には、従属属性データユニットは、点毎、かつ、次元要素毎に生成されたｒｅｓｉ２を含む。ｒｅｓｉ２は、参照したｐｒｅｄ＿ｍｏｄｅ又は当該従属属性データユニットに含まれるｐｒｅｄ＿ｍｏｄｅを用いて生成した予測値と、処理対象のサブコンポーネントとの残差と、参照サブコンポーネントの残差との残差（差分）である。
　なお、いずれかのサブコンポーネントのｒｅｓｉが、連続する複数の点においてｒｅｓｉ＝０である場合は、従属属性データユニットは、０が連続する点の数を示すｚｅｒｏ＿ｒｕｎ＿ｌｅｎｇｔｈをｒｅｓｉの代わりに含んでもよい。
　また、ｒｅｓｉの算術符号化が有利になるように、ｒｅｓｉを特定のビットに分解したり、複数のサブコンポーネントの複数のｒｅｓｉを１つのデータに組み合わせるように変形したうえで、算術符号化が行われてもよい。なお、算術符号化が有利になるとは、例えば、算術符号化後のデータ量が削減されることである。また、ｐｒｅｄ＿ｍｏｄｅと、特定のサブコンポーネントのｒｅｓｉとが１つのデータに組み合わされてもよい。
　図１８は、三次元データ符号化装置による属性情報（属性コンポーネント）の符号化処理のフローチャートである。まず、三次元データ符号化装置は、処理対象の属性コンポーネントである対象コンポーネントが従属コンポーネントであるか否かを判定する（Ｓ１２１）。
　対象コンポーネントが従属コンポーネントである場合（Ｓ１２１でＹｅｓ）、三次元データ符号化装置は、メタデータに参照コンポーネントＩＤ（例えばｒｅｆｅｒｅｎｃｅ＿ａｔｔｒ＿ｉｄ）及び依存関係を示す情報（例えばａｔｔｒ＿ｐａｒａｍ＿ｔｙｐｅ＝４）を格納する（Ｓ１２２）。三次元データ符号化装置は、対象コンポーネントを参照コンポーネントを参照して符号化する（Ｓ１２３）。
　一方、対象コンポーネントが従属コンポーネントでない場合（Ｓ１２１でＮｏ）、三次元データ符号化装置は、対象コンポーネントを、他の属性コンポーネントを参照せずに単独で符号化する（Ｓ１２４）。
　図１９は、三次元データ復号装置による属性情報（属性コンポーネント）の復号処理のフローチャートである。まず、三次元データ復号装置は、ビットストリームに含まれるメタデータから参照コンポーネントＩＤ（例えばｒｅｆｅｒｅｎｃｅ＿ａｔｔｒ＿ｉｄ）及び依存関係を示す情報（例えばａｔｔｒ＿ｐａｒａｍ＿ｔｙｐｅ）を取得（復号）する（Ｓ１３１）。
　次に、三次元データ復号装置は、処理対象の属性コンポーネントである対象コンポーネントが従属コンポーネントであるか否かを判定する（Ｓ１３２）。例えば、三次元データ復号装置は、ステップＳ１３１で取得した依存関係を示す情報に基づき当該判定を行う。
　対象コンポーネントが従属コンポーネントである場合（Ｓ１３２でＹｅｓ）、三次元データ復号装置は、対象コンポーネントを参照コンポーネントを参照して復号する（Ｓ１３３）。
　一方、対象コンポーネントが従属コンポーネントでない場合（Ｓ１３２でＮｏ）、三次元データ復号装置は、対象コンポーネントを、他の属性コンポーネントを参照せずに単独で復号する（Ｓ１３４）。
　なお、図１８及び図１９に示す処理は、フレーム単位で行われてもよいし、スライス単位で行われてもよい。
　以下、従属属性情報の符号化の方法の変形例等を説明する。例えば、上述した予測係数の導出方法として以下の方法を用いてもよい。三次元データ符号化装置は、複数の予測係数の候補値の各々を用いて、候補値毎に、複数の点の残差の総和を算出する。三次元データ符号化装置は、算出された総和が最小の候補値を予測係数に決定してもよい。
　別の導出方法として、三次元データ符号化装置は、複数の点の従属属性情報の総和と、複数の点の参照属性情報の総和とを算出する。三次元データ符号化装置は、複数の予測係数の候補値の各々を用いて、候補値毎に、当該候補値と参照属性情報の総和との乗算値と、従属属性情報の総和との差分を算出し、当該差分が最小の拘置を予測係数に決定してもよい。
　なお、不可逆な符号化を行うモード（例えば、量子化処理を含む符号化モード）において、三次元データ符号化装置は、予測係数の導出時に符号化前の入力属性値を使用して予測係数を算出してもよいし、精度を上げるために符号化及び復号後（量子化及び逆量子化後）の復号値を使用して予測係数を算出してもよい。
　例えば、三次元データ符号化装置は、３つ以上の色情報の属性コンポーネントを符号化する場合、いずれか一つの色情報を参照コンポーネントに設定し、その他の属性コンポーネントを同一の参照コンポーネントを参照して符号化してもよい。この場合、三次元データ復号装置は、参照コンポーネントを最初に復号することで、その他の属性コンポーネントを復号済の参照コンポーネントのデータを使用して復号できる。よって、任意の属性コンポーネントを復号する場合のランダムアクセス性を向上できる。
　また、参照コンポーネントが複数設定されてもよい。これにより、属性コンポーネントの数が多い場合のランダムアクセス性を向上できる可能性がある。
　また、参照コンポーネントと従属コンポーネントとの次元数が異なる場合、参照コンポーネントに含まれる特定のサブコンポーネント（次元要素）が参照されてもよい。この場合、どのサブコンポーネントが参照されたかを識別可能な情報がビットストリームに格納されてもよい。あるいは、どのサブコンポーネントを参照するかが予め定められてもよい。
　なお、上記説明では、ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒがＳＰＳに格納される例を示したが、ＡＰＳ又はＳＥＩに格納されてもよい。例えば、依存関係がフレーム毎に変化する場合は、依存関係情報（例えばａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒ）はフレーム毎のＳＥＩに格納されてもよい。例えば、フレーム毎のＳＥＩとして、ｆｒａｍｅ＿ａｔｔｒ＿ｐａｒａｍ＿ＳＥＩが挙げられる。
　なお、ＳＰＳとフレーム毎のＳＥＩとの両方に依存関係情報が格納される場合は、三次元データ復号装置は、フレーム毎のＳＥＩを優先して用いる。
　図２０は、この場合のｆｒａｍｅ＿ａｔｔｒ＿ｐａｒａｍ＿ＳＥＩのシンタックス例を示す図である。この例では、ａｔｔｒｉｂｕｔｅ＿ｉｄｘにより依存関係情報（ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒ）が適用される属性コンポーネントが指定される。つまり、属性コンポーネント毎に依存関係情報が指定される。なお、図２０に示すｓｐｓ＿ｉｄｘはＳＰＳのインデックスであり、ｆｒａｍｅ＿ｉｄｘはフレームのインデックスである。ｎｕｍ＿ｐａｒａｍｅｔｅｒは、依存関係情報（ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒ）の数を示す。
　また、全ての属性コンポーネントに共通の変換情報が指定されてもよい。例えば、ａｔｔｒｉｂｕｔｅ＿ｓｔｒｕｃｔｕｒｅ＿ＳＥＩ等の全ての属性コンポーネントに共通のＳＥＩに変換情報が含まれてもよい。この場合、三次元データ復号装置は、ａｔｔｒｉｂｕｔｅ＿ｓｔｒｕｃｔｕｒｅ＿ＳＥＩを解析することにより、複数の属性コンポーネントの依存関係を判定することが可能である。
　また、部分復号に用いるＳＥＩが定義されてもよい。図２１は、このＳＥＩ（ａｎｇｌｅ＿ｐａｒｔｉａｌ＿ａｃｃｅｓｓ＿ＳＥＩ）のシンタックス例を示す図である。
　例えば、視点毎に異なる複数の色情報を符号化される場合、ＳＥＩに、視点（ａｎｇｌｅ）情報、属性コンポーネント識別子（ａｔｔｒ＿ｉｄ）が含まれる。さらに従属コンポーネント（ｄｅｐｅｎｄｅｎｔ＿ｆｌａｇ＝１）に対して、参照コンポーネントの属性コンポーネント識別子（ｒｅｆｅｒｅｎｃｅ＿ａｔｔｒ＿ｉｄ）が示される。
　なお、図２１に示すｎｕｍ＿ａｎｇｌｅは視点の数を示し、ａｎｇｌｅは視点を示す。ｄｅｐｅｎｄｅｎｔ＿ｆｌａｇは、属性コンポーネントが従属コンポーネントであるか否かを示す。
　また、図示しないが、プレ処理及びポスト処理などの変換の態様を示す情報（例えば、オフセット値及びスケール値等）がＳＥＩに含まれてもよい。また、これらの情報は、ＳＰＳとＳＥＩとの少なくとも一方に含まれればよい。
　図２２は、部分復号を行う場合の復号処理のフローチャートである。例えば、システムレイヤにおいて、図２２に示す処理が行われる。
　まず、三次元データ復号装置は、部分復号用のＳＥＩを復号及び解析する（Ｓ２１１）。次に、三次元データ復号装置は、視点情報を解析し、復号したい視点の属性情報の属性コンポーネント識別子（ＩＤ）を取得する（Ｓ２１２）。次に、三次元データ復号装置は、当該属性コンポーネントが従属コンポーネントである場合、参照コンポーネントの属性コンポーネント識別子を取得する（Ｓ２１３）。次に、三次元データ復号装置は、属性データユニットをサーチし、取得した属性コンポーネント識別子を持つデータユニットを抽出し、抽出したデータユニットを復号する（Ｓ２１４）。
　このように、三次元データ復号装置は、ビットストリームから、特定の視点の属性コンポーネント（参照コンポーネント及び従属コンポーネント）の属性コンポーネント識別子（ＩＤ）を取得し、当該属性コンポーネント識別子を用いてデータユニットを抽出する。
　なお、抽出されたデータユニットが復号されるのではなく、抽出されたデータユニットでビットストリーム又はファイルが再構成されてもよい。例えば、エッジは、サーバに対して、特定の視点の属性情報を含むビットストリーム又はファイルを要求する。サーバは、上記処理により、特定の視点の属性情報を抽出したビットストリーム又はファイルを生成し、当該ビットストリーム又はファイルをエッジに送信してもよい。これにより、送信するデータのデータ量を削減できるので、通信時間を短縮できる可能性がある。
　（実施の形態２）
　本実施の形態では、サブコンポーネントを統合して符号化する方法について説明する。図２３は、本実施の形態に係る三次元データ符号化装置３００の構成を示すブロック図である。三次元データ符号化装置３００は、複数の属性情報（第１～第２の属性情報）を符号化することで符号化属性情報及び符号化統合情報を生成する。この三次元データ符号化装置３００は、統合部３０１と、属性情報符号化部３０２とを備える。なお、図２３では、属性情報の符号化に関する処理部のみを記載している。三次元データ符号化装置３００は、位置情報を符号化する位置情報符号化部等、その他の処理部を備えてもよい。
　統合部３０１は、複数の属性情報（第１～第２の属性情報）を統合することで統合属性情報を生成する。
　図２４は、サブコンポーネントの統合の例を示す図である。図２４に示すように、例えば、属性情報は、三次元の要素を有する色情報（第１の属性情報）と、一次元の要素を有する反射率情報（第２の属性情報）とを含む。この場合、統合部３０１は、色情報と反射率情報とを統合し、四次元の要素を有する統合属性情報を生成する。
　属性情報符号化部３０２は、統合属性情報を１つの属性コンポーネントとして符号化することで、符号化属性情報を生成する。図２４に示す例では、属性情報符号化部３０２は、統合属性情報を四次元のサブコンポーネントを持つ１つの属性コンポーネントとして符号化する。なお、属性情報符号化部３０２の機能は、例えば、図２に示す属性情報符号化部１０１と同様であってもよい。
　また、属性情報符号化部３０２は、統合に関するメタデータである統合情報を生成する。例えば、図２４に示す例では、属性情報符号化部３０２は、色情報と反射率情報とが結合されることで統合属性情報が生成されたことを示す統合情報を生成する。また、属性情報符号化部３０２は、統合情報を符号化することで符号化統合情報を生成する。また、三次元データ符号化装置３００は、符号化属性情報と符号化統合情報とを含むビットストリームを生成する。
　図２５は、本実施の形態に係る三次元データ復号装置４００の構成を示すブロック図である。三次元データ復号装置４００は、ビットストリームを復号することで複数の属性情報（第１～第２の属性情報）を生成する。この三次元データ復号装置４００は、属性情報復号部４０１と、分離部４０２とを備える。なお、図２５では、属性情報の復号に関する処理部のみを記載している。三次元データ復号装置４００は、位置情報を復号する位置情報復号部等、その他の処理部を備えてもよい。
　属性情報復号部４０１は、ビットストリームに含まれる符号化属性情報を復号することでと統合属性情報を生成する。また、属性情報復号部４０１は、ビットストリームに含まれる符号化統合情報を復号することで統合情報を生成する。
　分離部４０２は、統合情報を用いて統合属性情報を分離することで複数の属性情報（第１～第２の属性情報）を生成する。例えば、図２４に示す例では、分離部４０２は、色情報（第１の属性情報）と反射率情報（第２の属性情報）とを復元する。
　ここで、ある点の複数の属性情報は、属性情報の種類が異なっている場合でも互いに相関がある場合がある。例えば、色情報と反射率とは相関がある場合がある。また、相関がある属性情報の組み合わせとは、例えば、色情報、反射率、透過率、及び赤外情報等である。
　このように、複数の相関の高い属性情報を統合して符号化することで、メタデータを共有化できるのでデータ量を削減できる。例えば、統合した複数のサブコンポーネントに対して同じ予測モードを用いて符号化することで、予測モードを示す情報のデータ量を減らすことができる。また、例えば、統合した属性情報の要素間においてサブコンポーネント間予測による予測処理を行うこともできる。つまり、次元数が１の属性情報ではサブコンポーネント間予測を適用できないが、複数の属性情報を統合することでサブコンポーネント間予測を適用できるようになり、複数の属性情報の各々を単独で符号化する場合よりも全体の符号量を削減できる。
　次に、統合属性情報の符号化方法、及びシグナリング方法について説明する。まず、符号化対象の対象属性コンポーネントが、複数の属性情報が統合された属性情報であることを示す方法について説明する。
　例えば、ＳＰＳに含まれる、属性情報の種別を示すａｔｔｒｉｂｕｔｅ＿ｔｙｐｅに、「ｉｎｔｅｇｒａｔｉｏｎ」など、複数の属性情報が統合された属性情報を示す属性種別を定義してもよい。あるいは、統合前の複数の属性情報のいずれかの属性種別を示すａｔｔｒｉｂｕｔｅ＿ｔｙｐｅがＳＰＳに格納されてもよい。
　例えば、ＳＰＳ又はａｔｔｒｉｂｕｔｅ＿ｐａｒａｍ（）に、統合先の属性コンポーネントの属性コンポーネント識別子を示すｉｎｔｅｇｒａｔｅｄ＿ａｔｔｒ＿ｉｄ［ｉ］が格納されてもよい。その場合に、属性コンポーネントを構成するサブコンポーネントの種別及び順番を示すｓｕｂ＿ｃｏｍｐｏｎｅｎｔ＿ｔｙｐｅが予め定義され、ｓｕｂ＿ｃｏｍｐｏｎｅｎｔ＿ｔｙｐｅがＳＰＳ又はａｔｔｒｉｂｕｔｅ＿ｐａｒａｍ（）に格納されてもよい。
　例えば、ｓｕｂ＿ｃｏｍｐｏｎｅｎｔ＿ｔｙｐｅ＝０は、（ｒ、Ｇ、Ｂ、Ｒ）を示し、ｓｕｂ＿ｃｏｍｐｏｎｅｎｔ＿ｔｙｐｅ＝１は（Ｇ、Ｂ、Ｒ、ｒ）を示し、ｓｕｂ＿ｃｏｍｐｏｎｅｎｔ＿ｔｙｐｅ＝２は（ｒ、Ｒ、Ｇ、Ｂ）を示す。
　属性コンポーネントの次元数を示すｎｕｍ＿ｄｉｍｅｎｓｉｏｎは、統合前の複数のコンポーネントの各々の次元数を合計した次元数を示す。例えば、三次元の色と一次元の反射率とを統合した場合、統合された属性コンポーネントの次元数は４である。
　次に、統合された属性コンポーネントの符号化方法を説明する。例えば、次元数がｍとｎの属性コンポーネントを統合した属性コンポーネントは、次元数がｍ＋ｎのコンポーネントとして符号化され、ａｔｔｒｉｂｕｔｅ＿ｄａｔａ＿ｕｎｉｔ＿ｄａｔａ（）に符号化データが格納される。ここで、ｍ、ｎはそれぞれ任意の自然数である。
　複数の属性情報を１つの属性コンポーネントとして符号化することで、１種類のデータユニットを用いることができるので、ヘッダなどのデータ量を削減することが可能となる。
　なお、三次元データ符号化装置は、統合されて次元数が０となった属性コンポーネントを符号化してもよいし、符号化しなくてもよい。
　次に、統合された属性情報を復号し、元の属性コンポーネントに復元する方法を説明する。上記に示す方法で生成されたビットストリームを、三次元データ復号装置は、統合された属性コンポーネントとして復号できる。三次元データ復号装置は、ＳＰＳ又はａｔｔｒｉｂｕｔｅ＿ｐａｒａｍ（）に格納される統合先コンポーネント識別子（ｉｎｔｅｇｒａｔｅｄ＿ａｔｔｒ＿ｉｄ［ｉ］）を参照して統合元の属性コンポーネント識別子を把握できるので、統合された属性コンポーネントを元の複数の属性コンポーネントに復元できる。
　次に、統合属性情報の予測処理の第１の例を説明する。第１の例では、統合属性情報の符号化方式として、予測モードによる予測符号化方式を使用する。また、Ｒ、Ｇ、Ｂの三次元のサブコンポーネントを持つ色と、一次元のサブコンポーネントを持つ反射率ｒとが統合され、四次元のコンポーネントとして符号化される例を説明する。予測符号化方式としては、図１０等を用いて説明した予測処理を用いることができる。
　点Ｎにおける統合属性情報を（ＲＮ、ＧＮ、ＢＮ、ｒＮ）として、予測モード（ｐｒｅｄ＿ｍｏｄｅ）で決定される予測値を（ｐｒｅｄ（ＲＮ）、ｐｒｅｄ（ＧＮ）、ｐｒｅｄ（ＢＮ）、ｐｒｅｄ（ｒＮ））とすれば、予測残差（ｒｅｓｉ（ＲＮ）、ｒｅｓｉ（ＧＮ）、ｒｅｓｉ（ＢＮ）、ｒｅｓｉ（ｒＮ））は以下で表される。
　ｒｅｓｉ（ＲＮ）＝ＲＮ－ｐｒｅｄ（ＲＮ）
　ｒｅｓｉ（ＧＮ）＝ＧＮ－ｐｒｅｄ（ＧＮ）
　ｒｅｓｉ（ＢＮ）＝ＢＮ－ｐｒｅｄ（ＢＮ）
　ｒｅｓｉ（ｒＮ）＝ｒＮ－ｐｒｅｄ（ｒＮ）
　また、三次元データ復号装置における、点Ｎにおける復号後の統合属性情報の予測残差を（ｒｅｓｉ（ＲＮ）、ｒｅｓｉ（ＧＮ）、ｒｅｓｉ（ＢＮ）、ｒｅｓｉ（ｒＮ））として、予測モードで決定される予測値を（ｐｒｅｄ（ＲＮ）、ｐｒｅｄ（ＧＮ）、ｐｒｅｄ（ＢＮ）、ｐｒｅｄ（ｒＮ））とすれば、統合属性情報（ＲＮ、ＧＮ、ＢＮ、ｒＮ）は以下で表される。
　ＲＮ＝ｒｅｓｉ（ＲＮ）＋ｐｒｅｄ（ＲＮ）
　ＧＮ＝ｒｅｓｉ（ＧＮ）＋ｐｒｅｄ（ＧＮ）
　ＢＮ＝ｒｅｓｉ（ＢＮ）＋ｐｒｅｄ（ＢＮ）
　ｒＮ＝ｒｅｓｉ（ｒＮ）＋ｐｒｅｄ（ｒＮ）
　ここで、ｐｒｅｄ＿ｍｏｄｅは属性コンポーネント内の全てのサブコンポーネントにおいて共通であるため、複数の属性コンポーネントを統合することでｐｒｅｄ＿ｍｏｄｅをより多くのサブコンポーネントで共通化できるようになる。すなわち、三次元データ符号化装置から三次元データ復号装置に送信するｐｒｅｄ＿ｍｏｄｅの個数を削減できるので、符号量を削減できる。
　また、例えば反射率のような次元数が１である属性情報については、１つの点における一次元あたりのｐｒｅｄ＿ｍｏｄｅが１であるのに対し、色情報のような次元数が３である属性情報については、１つの点における一次元あたりのｐｒｅｄ＿ｍｏｄｅは１／３であるため、次元数が小さいほどｐｒｅｄ＿ｍｏｄｅの送信効率が悪いと言える。よって、属性を統合することによって次元数を増やすことが可能となり、１つの点における一次元あたりのｐｒｅｄ＿ｍｏｄｅの数が小さくなるため、ｐｒｅｄ＿ｍｏｄｅの送信効率を向上できる。
　次に、統合属性情報の予測処理の第２の例について説明する。第２の例では、統合属性情報の符号化方式として、サブコンポーネント間予測を使用する。予測符号化方式では、符号量を削減するために、符号化対象となる属性値と予測値との予測残差が符号化される。予測値として、例えば属性コンポーネント内の他のサブコンポーネントの属性値が用いられる。
　図２６、図２７及び図２８は、サブコンポーネント間予測における参照関係（依存関係）の例を示す図である。例えば、図２６、図２７又は図２８に示すサブコンポーネント間の参照関係を用いて、予測が行われる。なお、図中の矢印は予測の参照関係を示し、矢印の始点が従属サブコンポーネントであり、矢印の終点が参照サブコンポーネントである。また、ここでは色情報がＲＧＢである例を示すが、色情報はＹＣｂＣｒ等の他の色情報であってもよい。
　図２６に示す例では、点Ｎにおける統合属性情報を（ＲＮ、ＧＮ、ＢＮ、ｒＮ）として、参照サブコンポーネントをＧＮとした場合に、（ＢＮ、ＲＮ、ｒＮ）に対する予測値は、それぞれ、ＧＮに予測係数（ｃｏｅｆｆ（Ｂ）、ｃｏｅｆｆ（Ｒ）、ｃｏｅｆｆ（ｒ））を乗じて算出できる。したがって、三次元データ符号化装置における予測対象となるサブコンポーネントの予測残差（ｒｅｓｉ（ＢＮ）、ｒｅｓｉ（ＲＮ）、ｒｅｓｉ（ｒＮ））は以下で表される。
　ｒｅｓｉ（ＧＮ）＝ＧＮ
　ｒｅｓｉ（ＢＮ）＝ＢＮ－ＧＮ・ｃｏｅｆｆ（Ｂ）
　ｒｅｓｉ（ＲＮ）＝ＲＮ－ＧＮ・ｃｏｅｆｆ（Ｒ）
　ｒｅｓｉ（ｒＮ）＝ｒＮ－ＧＮ・ｃｏｅｆｆ（ｒ）
　図２７に示す例では、参照サブコンポーネントはｒであり、予測残差は以下で表される。
　ｒｅｓｉ（ｒＮ）＝ｒＮ
　ｒｅｓｉ（ＧＮ）＝ＧＮ－ｒＮ・ｃｏｅｆｆ（Ｇ）
　ｒｅｓｉ（ＢＮ）＝ＢＮ－ｒＮ・ｃｏｅｆｆ（Ｂ）
　ｒｅｓｉ（ＲＮ）＝ＲＮ－ｒＮ・ｃｏｅｆｆ（Ｒ）
　なお、従属サブコンポーネントは１つに限らず、複数存在してもよい。例えば、図２８に示す例では、ＢとＲはＧを参照し、Ｇはｒを参照する。このように、二重の予測参照関係が用いられてもよい。図２８に示す例では、予測残差は以下で表される。
　ｒｅｓｉ（ｒＮ）＝ｒＮ
　ｒｅｓｉ（ＢＮ）＝ＢＮ－ＧＮ・ｃｏｅｆｆ（Ｂ）
　ｒｅｓｉ（ＲＮ）＝ＲＮ－ＧＮ・ｃｏｅｆｆ（Ｒ）
　ｒｅｓｉ（ＧＮ）＝ＧＮ－ｒＮ・ｃｏｅｆｆ（Ｇ）
　なお、ここで示す参照関係は一例であり、これら以外の参照関係が用いられてもよい。
　また、図２６に示すように、三次元データ復号装置における、点Ｎにおける復号後の統合属性情報の予測残差を（ｒｅｓｉ（ＢＮ）、ｒｅｓｉ（ＲＮ）、ｒｅｓｉ（ｒＮ））として、参照サブコンポーネントをＧＮとした場合に、（ＢＮ、ＲＮ、ｒＮ）に対する予測値は、それぞれ、ＧＮに予測係数（ｃｏｅｆｆ（Ｂ）、ｃｏｅｆｆ（Ｒ）、ｃｏｅｆｆ（ｒ））を乗じて算出できる。したがって、三次元データ復号装置において生成される統合属性情報（ＧＮ、ＢＮ、ＲＮ、ｒＮ）は以下で表される。
　ＧＮ＝ｒｅｓｉ（ＧＮ）
　ＢＮ＝ｒｅｓｉ（ＢＮ）＋ＧＮ・ｃｏｅｆｆ（Ｂ）
　ＲＮ＝ｒｅｓｉ（ＲＮ）＋ＧＮ・ｃｏｅｆｆ（Ｒ）
　ｒＮ＝ｒｅｓｉ（ｒＮ）＋ＧＮ・ｃｏｅｆｆ（ｒ）
　図２７に示す例では、統合属性情報は以下で表される。
　ｒＮ＝ｒｅｓｉ（ｒＮ）
　ＧＮ＝ｒｅｓｉ（ＧＮ）＋ｒＮ・ｃｏｅｆｆ（Ｇ）
　ＢＮ＝ｒｅｓｉ（ＢＮ）＋ｒＮ・ｃｏｅｆｆ（Ｂ）
　ＲＮ＝ｒｅｓｉ（ＲＮ）＋ｒＮ・ｃｏｅｆｆ（Ｒ）
　図２８に示す例では、統合属性情報は以下で表される。
　ｒＮ＝ｒｅｓｉ（ｒＮ）
　ＢＮ＝ｒｅｓｉ（ＢＮ）＋ＧＮ・ｃｏｅｆｆ（Ｂ）
　ＲＮ＝ｒｅｓｉ（ＲＮ）＋ＧＮ・ｃｏｅｆｆ（Ｒ）
　ＧＮ＝ｒｅｓｉ（ＧＮ）＋ｒＮ・ｃｏｅｆｆ（Ｇ）
　上記のように、例えば、相関の高いサブコンポーネントを参照して予測を行うことにより、符号化対象の予測残差を小さくできるため、符号量を削減できる。また、反射率のような次元数が１である属性情報についてはサブコンポーネント間予測を使用できないが、属性情報を統合して多次元化することにより、サブコンポーネント間予測を用いて符号量を削減することが可能となる。
　次に、統合属性情報の予測処理の第３の例について説明する。第３の例では、統合属性情報の符号化方式として、予測モードによる予測と、サブコンポーネント間予測とを組み合わせて使用する。また、ここでは、サブコンポーネント間予測の参照関係として図２６に示す参照関係が用いられる場合の例を説明する。
　まず、Ｇ、Ｂ、Ｒ、ｒの各々に対して、予測モードによる予測により第１残差が算出される。さらに、図２６に示すように、Ｂ、Ｒ、ｒに対しては、Ｇを参照するサブコンポーネント間予測により、処理対象の第１残差と、参照先の第１残差との差分である第２残差が算出される。この場合、三次元データ符号化装置により生成される第２残差（ｒｅｓｉ（ＧＮ）、ｒｅｓｉ（ＢＮ）、ｒｅｓｉ（ＲＮ）、ｒｅｓｉ（ｒＮ））は、以下で表される。
　ｒｅｓｉ（ＧＮ）＝ＧＮ－ｐｒｅｄ（ＧＮ）
　ｒｅｓｉ（ＢＮ）＝｛ＢＮ－ｐｒｅｄ（ＢＮ）｝－ｒｅｓｉ（ＧＮ）・ｃｏｅｆｆ（Ｂ）
　ｒｅｓｉ（ＲＮ）＝｛ＲＮ－ｐｒｅｄ（ＲＮ）｝－ｒｅｓｉ（ＧＮ）・ｃｏｅｆｆ（Ｒ）
　ｒｅｓｉ（ｒＮ）＝｛ｒＮ－ｐｒｅｄ（ｒＮ）｝－ｒｅｓｉ（ＧＮ）・ｃｏｅｆｆ（ｒ）
　また、三次元データ復号装置において生成される統合属性情報（ＧＮ、ＢＮ、ＲＮ、ｒＮ）は以下で表される。
　ＧＮ＝ｒｅｓｉ（ＧＮ）＋ｐｒｅｄ（ＧＮ）
　ＢＮ＝｛ｒｅｓｉ（ＢＮ）＋ｐｒｅｄ（ＢＮ）｝＋ｒｅｓｉ（ＧＮ）・ｃｏｅｆｆ（Ｂ）
　ＲＮ＝｛ｒｅｓｉ（ＲＮ）＋ｐｒｅｄ（ＲＮ）｝＋ｒｅｓｉ（ＧＮ）・ｃｏｅｆｆ（Ｒ）
　ｒＮ＝｛ｒｅｓｉ（ｒＮ）＋ｐｒｅｄ（ｒＮ）｝＋ｒｅｓｉ（ＧＮ）・ｃｏｅｆｆ（ｒ）
　なお、ここでは、図２６の参照関係を例に説明したが、図２７又は図２８に示す参照関係においても同様の処理を適用できる。また、これら以外の参照関係に対しても同様の処理を適用できる。
　図２９は、三次元データ符号化装置による属性情報の符号化処理のフローチャートである。まず、三次元データ符号化装置は、処理対象の複数の属性情報（属性コンポーネント）を統合するか否かを判定する（Ｓ３０１）。例えば、三次元データ符号化装置は、複数の属性情報が予め定められた種別の属性情報の組である場合（例えば、色情報と反射率）に、複数の属性情報に統合を行うと判定してもよい。または、三次元データ符号化装置は、複数の属性情報のそれぞれの次元数又は合計の次元数に応じて複数の属性情報に統合を行うか否かを判定してもよい。例えば、次元数が閾値より小さい属性情報が含まれる場合、又は、合計の次元数が閾値より小さい場合に統合を行うと判定してもよい。
　三次元データ符号化装置は、複数の属性情報を統合すると判定した場合（Ｓ３０１でＹｅｓ）、当該複数の属性情報を統合することで統合属性情報を生成する（Ｓ３０２）。また、三次元データ符号化装置は、統合情報をメタデータに格納（符号化）し（Ｓ３０３）、統合属性情報を符号化する（Ｓ３０４）。
　一方、三次元データ符号化装置は、複数の属性情報を統合しないと判定した場合（Ｓ３０１でＮｏ）、複数の属性情報の各々を個別の属性コンポーネントとして符号化する。
　図３０は、三次元データ復号装置による属性情報の復号処理のフローチャートである。まず、三次元データ復号装置は、ビットストリームに含まれるメタデータから統合情報を取得（復号）する（Ｓ３１１）。次に三次元データ復号装置は、ビットストリームに含まれる符号化属性情報を復号することで属性情報を生成する（Ｓ３１２）。
　次に、三次元データ復号装置は、統合情報に基づき、復号された属性情報が統合属性情報であるか否かを判定する（Ｓ３１３）。復号された属性情報が統合属性情報である場合（Ｓ３１３でＹｅｓ）、三次元データ復号装置は、復号された属性情報を分離することで、元の複数の属性情報を復元する（Ｓ３１４）。一方、復号された属性情報が統合属性情報でない場合（Ｓ３１３でＮｏ）、三次元データ復号装置は、復号された属性情報をそのまま出力する。
　なお、図２９及び図３０に示す処理は、フレーム単位で行われてもよいし、スライス単位で行われてもよい。
　なお、上記説明では、主に、三次元の属性情報と一次元の属性情報とを統合する例を述べたが、統合する属性情報の次元数は任意でよい。つまり、三次元データ符号化装置は、ｍ次元の属性情報とｎ次元の属性情報を統合し、ｍ＋ｎ次元の属性コンポーネントを生成してもよい。ここで、ｍ、ｎはそれぞれ任意の自然数である。
　また、三次元データ符号化装置は、ｍ次元の第１の属性情報の一部のｘ次元のサブコンポーネントと、ｎ次元の第２の属性情報とを統合してｎ＋ｘ次元の第３の属性情報を生成してもよい。その場合、三次元データ符号化装置は、第１の属性情報の残りのｍ－ｘ次元のサブコンポーネントで構成される第４の属性情報と、ｎ＋ｘ次元の第３の属性情報とを符号化する。
　また、三次元データ符号化装置は、例えば３つの三次元の色情報であるｃｏｌｏｒ１＝（Ｒ１、Ｇ１、Ｂ１）と、ｃｏｌｏｒ２＝（Ｒ２、Ｇ２、Ｂ２）と、ｃｏｌｏｒ３＝（Ｒ３、Ｇ３、Ｂ３）とを分離及び統合し、ｃｏｍｐｏｎｅｎｔＡ＝（Ｒ１、Ｒ２、Ｒ３）、ｃｏｍｐｏｎｅｎｔＢ＝（Ｇ１、Ｇ２、Ｇ３）、ｃｏｍｐｏｎｅｎｔＣ＝（Ｂ１、Ｂ２、Ｂ３）を生成し、生成されたｃｏｍｐｏｎｅｎｔＡ、ｃｏｍｐｏｎｅｎｔＢ、ｃｏｍｐｏｎｅｎｔＣの各々を符号化してもよい。このように、相関の高いサブコンポーネントを統合することで、サブコンポーネント間予測およびコンポーネント間予測の精度を向上でくるので、符号化効率の向上が期待できる。
　また、ここでは、複数の属性情報を統合したうえで、コンポーネント内で予測を行う例を説明したが、実施の形態１で説明したコンポーネント間予測を用いて、同様の予測（参照関係）を、統合を行う前の複数の属性情報に適用してもよい。例えば、図２６に示す例では、ｒからＧへの参照をコンポーネント間予測で実現してもよい。
　（まとめ）
　以上のように、実施の形態１に係る復号装置（三次元データ復号装置）は、図３１に示す処理を行う。復号装置は、それぞれ第１属性情報と第２属性情報を有する複数の三次元点が符号化されてなるビットストリームを受信し（Ｓ４０１）、第２属性情報（例えば参照属性情報）を参照して第１属性情報（例えば従属属性情報）を予測する（Ｓ４０２）。例えば、復号装置は、予測の結果（予測値）を用いて、第１属性情報を復号する。例えば、復号装置は、第２属性情報を参照して第１属性情報の第１予測値を算出する。復号装置は、符号化属性情報に含まれる第１属性情報の第１残差と第１予測値とを加算することで第１属性情報を復元する。
　ここで、属性情報間に相関がある場合がある。よって、第１属性情報をの第２属性情報を参照して予測することにより第１属性情報のデータ量を削減できる可能性がある。これにより、復号装置で扱うデータ量を低減できる。
　また、復号装置は、ビットストリームを受信し、ビットストリームを復号する。ビットストリームは、それぞれ第１属性情報と第２属性情報を有する複数の三次元点の符号化属性情報と、第２属性情報を参照して第１属性情報が予測されることを示すメタ情報（例えば依存関係情報又はａｔｔｒ＿ｐａｒａｍ＿ｔｙｐｅ）と、を含む。例えば、復号装置は、メタ情報を用いて第１属性情報を復号する。例えば、復号装置は、第２属性情報を参照して第１属性情報を予測する。
　ここで、属性情報間に相関がある場合がある。よって、第１属性情報を第２属性情報を参照して予測することにより第１属性情報のデータ量を削減できる可能性がある。復号装置は、メタ情報を用いて、このようにデータ量が削減されたビットストリームを適切に復号できる。また、復号装置で扱うデータ量を低減できる。
　例えば、予測される第１属性情報と、参照される第２属性情報とは同じ三次元点が有する。これによれば、三次元点の第１属性情報を、当該三次元点の第２属性情報を参照して予測することにより第１属性情報のデータ量を削減できる可能性がある。これにより、復号装置で扱うデータ量を低減できる。
　例えば、予測される第１属性情報と、参照される第２属性情報とは異なる三次元点が有する。つまり、予測される第１属性情報は第１三次元点が有し、参照される第２属性情報は、第１三次元点と異なる第２三次元点が有する。
　例えば、第１属性情報及び第２属性情報は、それぞれ第１コンポーネント（例えば従属コンポーネント）及び第２コンポーネント（例えば参照コンポーネント）に格納される。
　例えば、第１属性情報のための第１量子化ステップは、第２属性情報のための第２量子化ステップより大きい。他の属性情報から参照される第２属性情報に、小さい量子化ステップを用いることで、第２属性情報の劣化を抑制できとともに、第２属性情報を参照する第１属性情報の予測の精度を向上できる。また、第１属性情報には、大きい量子化ステップを用いることでデータ量を削減できる。これにより、全体としての情報の劣化を抑制しつつ、符号化効率を向上できる。
　例えば、第１属性情報及び第２属性情報は、それぞれ第１符号化属性情報及び第２符号化属性情報を復号することで生成され、第２属性情報は、ロスレス圧縮（可逆圧縮）されている。例えば、第１属性情報は、不可逆圧縮されている。
　このように、他の属性情報から参照される第２属性情報に、ロスレス圧縮を用いることで、第２属性情報の劣化を抑制できとともに、第２属性情報を参照する第１属性情報の予測の精度を向上できる。これにより、全体としての情報の劣化を抑制しつつ、符号化効率を向上できる。
　例えば、図８等に示すように、第１コンポーネント及び第２コンポーネントの各々は、第１次元要素及び第２次元要素を含み、第１コンポーネントの第１次元要素は、第２コンポーネントの第１次元要素を参照して予測され、第１コンポーネントの第２次元要素は、第２コンポーネントの第２次元要素を参照して予測される。これにより、コンポーネント間で同じ次元要素間で相関がある場合に、当該相関を利用することでデータ量を削減できる。
　例えば、図９等に示すように、第１コンポーネントは、第１次元要素及び第２次元要素を含み、第１次元要素は、第２コンポーネントを参照して予測され、第２次元要素は、第１次元要素を参照して予測される。属性情報によっては、異なるコンポーネント間で相関がある場合もあれば、コンポーネントを構成する次元要素間で相関がある場合もある。よって、コンポーネント間の相関と次元要素間の相関とを用いることでデータ量を削減できる。
　例えば、ビットストリームは、第１コンポーネントに適用される第１予測モードに関する情報（例えばｐｒｅｄ＿ｍｏｄｅ）を含まず、第２コンポーネントに適用される第２予測モードに関する情報（例えばｐｒｅｄ＿ｍｏｄｅ）を含む。これにより、第１コンポーネントに関する情報を削減できるのでデータ量を削減できる。
　例えば、予測処理の第４の例で説明したように、ビットストリームは、第１属性情報の第１残差値を含み、第１残差値は、第１属性情報の第３残差値と第２属性情報の第２残差値との差分であり、第３残差値は、第１属性情報の第１の値と第１属性情報の第１予測値との差分であり、第２残差値は、第２属性情報の第２の値と第２属性情報の第２予測値との差分である。これにより、第１属性情報の残差と第２属性情報の残差との差分が符号化されることでデータ量が削減される。
　例えば、予測処理の第１の例及び第２の例で説明したように、ビットストリームは、第１属性情報の第１残差値を含み、第１残差値は、第１属性情報の第１の値と第２属性情報の第２の値との差分である。これにより、第１属性情報の値と第２属性情報の値との差分が符号化されることでデータ量が削減される。
　例えば、予測処理の第１の例及び第３の例で説明したように、ビットストリームは、第１属性情報の第１残差値を含み、第１残差値は、第１属性情報の第１の値と第２属性情報の第２予測値との差分である。これにより、第１属性情報の値と第２属性情報の予測値との差分が符号化されることでデータ量が削減される。また、第１属性情報の予測値を算出する必要がないので処理量を低減できる。
　例えば、ビットストリームは、第１属性情報の第１残差値を含み、第１残差値は、第１属性情報の第１の予測値と第２属性情報の第２残差値との差分である。これにより、第１属性情報の予測値と第２属性情報の残差との差分が符号化されることでデータ量が削減される。
　例えば、ビットストリームは、第１属性情報の予測に第２属性情報を参照可能かを示すフラグ情報（例えばｉｎｔｅｒ＿ａｔｔｒｉｂｕｔｅ＿ｐｒｅｄ＿ｅｎａｂｌｅｄ）を含む。これにより、復号装置は、フラグ情報を参照して第１属性情報の予測に第２属性情報を参照可能かを判断できるので、ビットストリームを適切に復号できる。
　例えば、第１コンポーネントは、第１次元要素及び第２次元要素を含み、ビットストリームは、第１次元要素の予測に第２属性情報を参照可能かを示す第１フラグ情報と、第２次元要素の予測に第２属性情報を参照可能かを示す第２フラグ情報とを含む。これにより、次元要素毎に第２属性情報を参照可能かを切り替えることができるので、データ量を削減できる可能性がある。
　例えば、ビットストリームは、第１属性情報の第１予測値を算出するための係数情報（例えばｉｎｔｅｒ＿ａｔｔｒｉｂｕｔｅ＿ｐｒｅｄ＿ｃｏｅｆｆ）を含む。係数情報を用いることで残差のデータ量を削減できる。
　例えば、ビットストリームは、他の属性情報を参照した予測が行われる属性情報が格納される第１データユニット（例えばＤＡＤＵ）と、他の属性情報を参照した予測が行われない属性情報が格納される第２データユニット（例えばＡＤＵ）とを含む。
　例えば、図２７に示すように、第１属性情報は、ＲＧＢ値を含み、第２属性情報は、反射率値を含み、ＲＧＢ値のうちの少なくとも１つの値は、反射率値を参照して予測される。これにより、一般的に相関性がある色と反射率との相関を利用することでデータ量を削減できる。
　例えば、復号装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記処理を行う。
　また、本実施の形態に係る符号化装置（三次元データ符号化装置）は、図３２に示す処理を行う。符号化装置は、それぞれ第１属性情報と第２属性情報を有する複数の三次元点を符号化することでビットストリームを生成する。符号化装置は、第２属性情報を参照して第１属性情報を予測し（Ｓ４１１）、予測の結果を用いて第１属性情報を符号化する（Ｓ４１２）。。例えば、符号化装置は、第１属性情報を符号化することでビットストリームを生成する。例えば、符号化装置は、予測の結果（予測値）を用いて、第１属性情報を符号化する。例えば、符号化装置は、三次元点の第２属性情報を参照して三次元点の第１属性情報の第１予測値を算出する。符号化装置は、第１属性情報の第１の値と第１予測値との差分である第１残差を算出し、第１残差を符号化する。
　ここで、属性情報間に相関がある場合がある。したがって、第１属性情報を第２属性情報を参照して予測することにより第１属性情報のデータ量を削減できる可能性がある。
　また、符号化装置は、それぞれ第１属性情報と第２属性情報を有する複数の三次元点の属性情報を取得し、複数の三次元点の第１属性情報及び第２属性情報を符号化することでビットストリームを生成する。ビットストリームは、複数の三次元点の符号化属性情報と、第２属性情報を参照して第１属性情報が予測されることを示すメタ情報（例えば依存関係情報又はａｔｔｒ＿ｐａｒａｍ＿ｔｙｐｅ）と、を含む。例えば、符号化装置は、メタ情報をビットストリームに格納する。例えば、符号化装置は、第２属性情報を参照して第１属性情報を予測する。
　ここで、属性情報間に相関がある場合がある。よって、第１属性情報を第２属性情報を参照して予測することにより第１属性情報のデータ量を削減できる可能性がある。
　例えば、予測される第１属性情報と、参照される第２属性情報とは同じ三次元点が有する。これによれば、三次元点の第１属性情報を、当該三次元点の第２属性情報を参照して予測することにより第１属性情報のデータ量を削減できる可能性がある。これにより、復号装置で扱うデータ量を低減できる。
　例えば、予測される第１属性情報と、参照される第２属性情報とは異なる三次元点が有する。つまり、予測される第１属性情報は第１三次元点が有し、参照される第２属性情報は、第１三次元点と異なる第２三次元点が有する。
　例えば、第１属性情報及び第２属性情報は、それぞれ第１コンポーネント（例えば従属コンポーネント）及び第２コンポーネント（例えば参照コンポーネント）に格納される。
　例えば、第１属性情報のための第１量子化ステップは、第２属性情報のための第２量子化ステップより大きい。他の属性情報から参照される第２属性情報に、小さい量子化ステップを用いることで、第２属性情報の劣化を抑制できとともに、第２属性情報を参照する第１属性情報の予測の精度を向上できる。また、第１属性情報には、大きい量子化ステップを用いることでデータ量を削減できる。これにより、全体としての情報の劣化を抑制しつつ、符号化効率を向上できる。
　例えば、第１属性情報及び第２属性情報は、それぞれ第１符号化属性情報及び第２符号化属性情報を復号することで生成され、第２属性情報は、ロスレス圧縮（可逆圧縮）されている。例えば、第１属性情報は、不可逆圧縮されている。
　このように、他の属性情報から参照される第２属性情報に、ロスレス圧縮を用いることで、第２属性情報の劣化を抑制できとともに、第２属性情報を参照する第１属性情報の予測の精度を向上できる。これにより、全体としての情報の劣化を抑制しつつ、符号化効率を向上できる。
　例えば、図８等に示すように、第１コンポーネント及び第２コンポーネントの各々は、第１次元要素及び第２次元要素を含み、第１コンポーネントの第１次元要素は、第２コンポーネントの第１次元要素を参照して予測され、第１コンポーネントの第２次元要素は、第２コンポーネントの第２次元要素を参照して予測される。これにより、コンポーネント間で同じ次元要素間で相関がある場合に、当該相関を利用することでデータ量を削減できる。
　例えば、図９等に示すように、第１コンポーネントは、第１次元要素及び第２次元要素を含み、第１次元要素は、第２コンポーネントを参照して予測され、第２次元要素は、第１次元要素を参照して予測される。属性情報によっては、異なるコンポーネント間で相関がある場合もあれば、コンポーネントを構成する次元要素間で相関がある場合もある。よって、コンポーネント間の相関と次元要素間の相関とを用いることでデータ量を削減できる。
　例えば、ビットストリームは、第１コンポーネントに適用される第１予測モードに関する情報（例えばｐｒｅｄ＿ｍｏｄｅ）を含まず、第２コンポーネントに適用される第２予測モードに関する情報（例えばｐｒｅｄ＿ｍｏｄｅ）を含む。例えば、符号化装置は、第１コンポーネントに適用される第１予測モードに関する情報（例えばｐｒｅｄ＿ｍｏｄｅ）をビットストリームに格納せず、第２コンポーネントに適用される第２予測モードに関する情報（例えばｐｒｅｄ＿ｍｏｄｅ）をビットストリームに格納する。これにより、第１コンポーネントに関する情報を削減できるのでデータ量を削減できる。
　例えば、予測処理の第４の例で説明したように、ビットストリームは、第１属性情報の第１残差値を含み、第１残差値は、第１属性情報の第３残差値と第２属性情報の第２残差値との差分であり、第３残差値は、第１属性情報の第１の値と第１属性情報の第１予測値との差分であり、第２残差値は、第２属性情報の第２の値と第２属性情報の第２予測値との差分である。これにより、第１属性情報の残差と第２属性情報の残差との差分が符号化されることでデータ量が削減される。
　例えば、予測処理の第１の例及び第２の例で説明したように、ビットストリームは、第１属性情報の第１残差値を含み、第１残差値は、第１属性情報の第１の値と第２属性情報の第２の値との差分である。これにより、第１属性情報の値と第２属性情報の値との差分が符号化されることでデータ量が削減される。
　例えば、予測処理の第１の例及び第３の例で説明したように、ビットストリームは、第１属性情報の第１残差値を含み、第１残差値は、第１属性情報の第１の値と第２属性情報の第２予測値との差分である。これにより、第１属性情報の値と第２属性情報の予測値との差分が符号化されることでデータ量が削減される。また、第１属性情報の予測値を算出する必要がないので処理量を低減できる。
　例えば、ビットストリームは、第１属性情報の第１残差値を含み、第１残差値は、第１属性情報の第１の予測値と第２属性情報の第２残差値との差分である。これにより、第１属性情報の予測値と第２属性情報の残差との差分が符号化されることでデータ量が削減される。
　例えば、ビットストリームは、第１属性情報の予測に第２属性情報を参照可能かを示すフラグ情報（例えばｉｎｔｅｒ＿ａｔｔｒｉｂｕｔｅ＿ｐｒｅｄ＿ｅｎａｂｌｅｄ）を含む。例えば、符号化装置は、第１属性情報の予測に第２属性情報を参照可能かを示すフラグ情報（例えばｉｎｔｅｒ＿ａｔｔｒｉｂｕｔｅ＿ｐｒｅｄ＿ｅｎａｂｌｅｄ）をビットストリームに格納する。これにより、復号装置は、フラグ情報を参照して第１属性情報の予測に第２属性情報を参照可能かを判断できるので、ビットストリームを適切に復号できる。
　例えば、第１コンポーネントは、第１次元要素及び第２次元要素を含み、ビットストリームは、第１次元要素の予測に第２属性情報を参照可能かを示す第１フラグ情報と、第２次元要素の予測に第２属性情報を参照可能かを示す第２フラグ情報とを含む。例えば、符号化装置は、第１フラグ情報及び第２フラグ情報をビットストリームに格納する。これにより、次元要素毎に第２属性情報を参照可能かを切り替えることができるので、データ量を削減できる可能性がある。
　例えば、ビットストリームは、第１属性情報の第１予測値を算出するための係数情報（例えばｉｎｔｅｒ＿ａｔｔｒｉｂｕｔｅ＿ｐｒｅｄ＿ｃｏｅｆｆ）を含む。例えば、符号化装置は、係数情報をビットストリームに格納する。係数情報を用いることで残差のデータ量を削減できる。
　例えば、ビットストリームは、他の属性情報を参照した予測が行われる属性情報が格納される第１データユニット（例えばＤＡＤＵ）と、他の属性情報を参照した予測が行われない属性情報が格納される第２データユニット（例えばＡＤＵ）とを含む。
　例えば、図２７に示すように、第１属性情報は、ＲＧＢ値を含み、第２属性情報は、反射率値を含み、ＲＧＢ値のうちの少なくとも１つの値は、反射率値を参照して予測される。これにより、一般的に相関性がある色と反射率との相関を利用することでデータ量を削減できる。
　例えば、符号化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記処理を行う。
　また、実施の形態２に係る復号装置（三次元データ復号装置）は、三次元点の符号化属性情報を復号する復号装置であって、前記符号化属性情報の符号化コンポーネントを復号することでコンポーネントを生成し、前記コンポーネントを少なくとも２つのサブコンポーネントに分割する。
　これにより、復号装置は、２つのサブコンポーネントが統合されたコンポーネントから元の２つのサブコンポーネントを復元できる。また、２つのサブコンポーネントが結合されることで制御信号（メタデータ）のデータ量が削減される。これにより、復号装置で扱うデータ量を低減できる。
　また、復号装置は、三次元点の属性情報のコンポーネントに複数のサブコンポーネントが含まれていることを示すメタ情報を含むビットストリームを受信し、前記メタ情報に従い、前記コンポーネントを前記複数のサブコンポーネントを分割する。
　これにより、復号装置は、複数のサブコンポーネントが統合されたコンポーネントから元の複数のサブコンポーネントを復元できる。また、複数のサブコンポーネントが結合されることで制御信号（メタデータ）のデータ量が削減される。これにより、復号装置で扱うデータ量を低減できる。
　例えば、前記コンポーネントの第１次元要素の予測値は、前記コンポーネントの第２次元要素を参照して算出される。結合により同じコンポーネントに含まれる次元要素の数が増加する。これにより、次元要素間の参照を行う場合の参照先の候補が増加することで符号化効率を向上できる可能性がある。
　例えば、前記ビットストリームは、前記コンポーネントに含まれる全ての次元要素に共通の予測モードに関する情報を含む。結合によりコンポーネントの数が削減することで当該情報の数を削減できる。よって、データ量を削減できる。
　例えば、前記コンポーネントは、反射率値と、ＲＧＢ値とを含み、前記反射率値は、前記ＲＧＢ値のうちのＧ値の予測に参照される。これにより、一般的に相関性がある色と反射率との相関を利用することでデータ量を削減できる。
　例えば、前記Ｇ値は、前記ＲＧＢ値のうちのＲ値及びＢ値の予測に参照される。これにより、一般的に相関性がある三次元点の複数の色の相関を利用することでデータ量を削減できる。
　また、実施の形態２に係る符号化装置（三次元データ符号化装置）は、三次元点の属性情報を符号化する符号化装置であって、複数の属性情報の複数のコンポーネントを１つのコンポーネントに統合し、統合された前記１つのコンポーネントを符号化する。
　これにより、２つのサブコンポーネントが結合されることで制御信号（メタデータ）のデータ量が削減される。
　また、符号化装置は、三次元点の属性情報を符号化し、符号化属性情報と、前記三次元点の属性情報のコンポーネントに複数のサブコンポーネントが含まれていることを示すメタ情報とを含むビットストリームを生成する。
　これにより、複数のサブコンポーネントが結合されることで制御信号（メタデータ）のデータ量が削減される。
　例えば、前記コンポーネントの第１次元要素の予測値は、前記コンポーネントの第２次元要素を参照して算出される。結合により同じコンポーネントに含まれる次元要素の数が増加する。これにより、次元要素間の参照を行う場合の参照先の候補が増加することで符号化効率を向上できる可能性がある。
　例えば、前記ビットストリームは、前記コンポーネントに含まれる全ての次元要素に共通の予測モードに関する情報を含む。結合によりコンポーネントの数が削減することで当該情報の数を削減できる。よって、データ量を削減できる。
　例えば、前記コンポーネントは、反射率値と、ＲＧＢ値とを含み、前記反射率値は、前記ＲＧＢ値のうちのＧ値の予測に参照される。これにより、一般的に相関性がある色と反射率との相関を利用することでデータ量を削減できる。
　例えば、前記Ｇ値は、前記ＲＧＢ値のうちのＲ値及びＢ値の予測に参照される。これにより、一般的に相関性がある三次元点の複数の色の相関を利用することでデータ量を削減できる。
　以上、本開示の実施の形態及び変形例に係る三次元データ符号化装置（符号化装置）及び三次元データ復号装置（復号装置）等について説明したが、本開示は、この実施の形態に限定されるものではない。
　また、上記実施の形態に係る三次元データ符号化装置及び三次元データ復号装置等に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
　また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、本開示は、三次元データ符号化装置（符号化装置）及び三次元データ復号装置（復号装置）等により実行される三次元データ符号化方法（符号化方法）又は三次元データ復号方法（復号方法）等として実現されてもよい。
　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
　また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　以上、一つまたは複数の態様に係る三次元データ符号化装置及び三次元データ復号装置等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
　本開示は、三次元データ符号化装置及び三次元データ復号装置に適用できる。
　１００、３００　三次元データ符号化装置
　１０１、３０２　属性情報符号化部
　１１１　ＬｏＤ生成部
　１１２　隣接探索部
　１１３　予測部
　１１４　残差算出部
　１１５　量子化部
　１１６　逆量子化部
　１１７　再構成部
　１１８　メモリ
　１１９　算術符号化部
　２００、４００　三次元データ復号装置
　２０１、４０１　属性情報復号部
　２１１　ＬｏＤ生成部
　２１２　隣接探索部
　２１３　予測部
　２１４　算術復号部
　２１５　逆量子化部
　２１６　再構成部
　２１７　メモリ
　３０１　統合部
　４０２　分離部

Claims (20)

  1. 　それぞれ第１属性情報と第２属性情報を有する複数の三次元点が符号化されてなるビットストリームを受信し、
    　前記第２属性情報を参照して前記第１属性情報を予測する
    　復号方法。
  2. 　ビットストリームを受信し、
    　前記ビットストリームを復号し、
    　前記ビットストリームは、
    　　それぞれ第１属性情報と第２属性情報を有する複数の三次元点の符号化属性情報と、
    　　前記第２属性情報を参照して前記第１属性情報が予測されることを示すメタ情報と、を含む
    　復号方法。
  3. 　予測される前記第１属性情報と、参照される前記第２属性情報とは同じ三次元点が有する
    　請求項１又は２記載の復号方法。
  4. 　予測される前記第１属性情報と、参照される前記第２属性情報とは異なる三次元点が有する
    　請求項１又は２記載の復号方法。
  5. 　前記第１属性情報及び前記第２属性情報は、それぞれ第１コンポーネント及び第２コンポーネントに格納される
    　請求項１又は２記載の復号方法。
  6. 　前記第１属性情報のための第１量子化ステップは、前記第２属性情報のための第２量子化ステップより大きい
    　請求項１又は２記載の復号方法。
  7. 　前記第１属性情報及び前記第２属性情報は、それぞれ第１符号化属性情報及び第２符号化属性情報を復号することで生成され、
    　前記第２属性情報は、ロスレス圧縮されている
    　請求項１又は２記載の復号方法。
  8. 　前記第１コンポーネント及び前記第２コンポーネントの各々は、第１次元要素及び第２次元要素を含み、
    　前記第１コンポーネントの前記第１次元要素は、前記第２コンポーネントの前記第１次元要素を参照して予測され、
    　前記第１コンポーネントの前記第２次元要素は、前記第２コンポーネントの前記第２次元要素を参照して予測される
    　請求項５記載の復号方法。
  9. 　前記第１コンポーネントは、第１次元要素及び第２次元要素を含み、
    　前記第１次元要素は、前記第２コンポーネントを参照して予測され、
    　前記第２次元要素は、前記第１次元要素を参照して予測される
    　請求項５記載の復号方法。
  10. 　前記ビットストリームは、
    　前記第１コンポーネントに適用される第１予測モードに関する情報を含まず、
    　前記第２コンポーネントに適用される第２予測モードに関する情報を含む、
    　請求項５記載の復号方法。
  11. 　前記ビットストリームは、前記第１属性情報の第１残差値を含み、
    　前記第１残差値は、前記第１属性情報の第３残差値と前記第２属性情報の第２残差値との差分であり、
    　前記第３残差値は、前記第１属性情報の第１の値と前記第１属性情報の第１予測値との差分であり、
    　前記第２残差値は、前記第２属性情報の第２の値と前記第２属性情報の第２予測値との差分である
    　請求項１又は２記載の復号方法。
  12. 　前記ビットストリームは、前記第１属性情報の第１残差値を含み、
    　前記第１残差値は、前記第１属性情報の第１の値と前記第２属性情報の第２の値との差分である
    　請求項１又は２記載の復号方法。
  13. 　前記ビットストリームは、前記第１属性情報の第１残差値を含み、
    　前記第１残差値は、前記第１属性情報の第１の値と前記第２属性情報の第２予測値との差分である
    　請求項１又は２記載の復号方法。
  14. 　前記ビットストリームは、前記第１属性情報の予測に前記第２属性情報を参照可能かを示すフラグ情報を含む
    　請求項１又は２記載の復号方法。
  15. 　前記ビットストリームは、前記第１属性情報の第１予測値を算出するための係数情報を含む
    　請求項１又は２記載の復号方法。
  16. 　前記ビットストリームは、他の属性情報を参照した予測が行われる属性情報が格納される第１データユニットと、他の属性情報を参照した予測が行われない属性情報が格納される第２データユニットとを含む
    　請求項１又は２記載の復号方法。
  17. 　前記第１属性情報は、ＲＧＢ値を含み、
    　前記第２属性情報は、反射率値を含み、
    　前記ＲＧＢ値のうちの少なくとも１つの値は、前記反射率値を参照して予測される
    　請求項１又は２記載の復号方法。
  18. 　それぞれ第１属性情報と第２属性情報を有する複数の三次元点を符号化することでビットストリームを生成する符号化方法であって、
    　前記第２属性情報を参照して前記第１属性情報を予測し、
    　前記予測の結果を用いて前記第１属性情報を符号化する
    　符号化方法。
  19. 　プロセッサと、
    　メモリと、を備え、
    　前記プロセッサは、前記メモリを用いて、
    　それぞれ第１属性情報と第２属性情報を有する複数の三次元点が符号化されてなるビットストリームを受信し、
    　前記第２属性情報を参照して前記第１属性情報を予測する
    　復号装置。
  20. 　それぞれ第１属性情報と第２属性情報を有する複数の三次元点を符号化することでビットストリームを生成する符号化装置であって、
    　プロセッサと、
    　メモリと、を備え、
    　前記プロセッサは、前記メモリを用いて、
    　前記第２属性情報を参照して前記第１属性情報を予測し、
    　前記予測の結果を用いて前記第１属性情報を符号化する
    　符号化装置。
PCT/JP2023/021711 2022-07-13 2023-06-12 復号方法、符号化方法、復号装置及び符号化装置 WO2024014205A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202263388734P 2022-07-13 2022-07-13
US63/388,734 2022-07-13

Publications (1)

Publication Number Publication Date
WO2024014205A1 true WO2024014205A1 (ja) 2024-01-18

Family

ID=89536542

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/021711 WO2024014205A1 (ja) 2022-07-13 2023-06-12 復号方法、符号化方法、復号装置及び符号化装置

Country Status (1)

Country Link
WO (1) WO2024014205A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210112276A1 (en) * 2019-10-10 2021-04-15 Tencent America LLC Techniques and apparatus for inter-channel prediction and transform for point-cloud attribute coding
US20210329270A1 (en) * 2020-04-17 2021-10-21 Tencent America LLC Method and apparatus for point cloud coding
US20220051447A1 (en) * 2020-08-14 2022-02-17 Tencent America LLC Coding of multiple-component attributes for point cloud coding
WO2022070469A1 (ja) * 2020-09-29 2022-04-07 Kddi株式会社 点群復号装置、点群復号方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210112276A1 (en) * 2019-10-10 2021-04-15 Tencent America LLC Techniques and apparatus for inter-channel prediction and transform for point-cloud attribute coding
US20210329270A1 (en) * 2020-04-17 2021-10-21 Tencent America LLC Method and apparatus for point cloud coding
US20220051447A1 (en) * 2020-08-14 2022-02-17 Tencent America LLC Coding of multiple-component attributes for point cloud coding
WO2022070469A1 (ja) * 2020-09-29 2022-04-07 Kddi株式会社 点群復号装置、点群復号方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN , ELENA ALSHINA , GARY J SULLIVAN , JENS-RAINER OHM , JILL BOYCE: "Algorithm Description of Joint Exploration Test Model 7 (JEM 7)", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11, no. G1001-v1, 21 July 2017 (2017-07-21), pages 1 - 51, XP055576095 *
WG 7: "G-PCC codec description", INTERNATIONAL ORGANIZATION FOR STANDARDIZATION ORGANISATION INTERNATIONALE DE NORMALISATION ISO/IEC JTC 1/SC 29/WG 7 MPEG 3D GRAPHICS CODING. ISO/IEC JTC 1/SC 29/WG 7 N0151, no. N0151, 1 July 2021 (2021-07-01), XP093056421 *

Similar Documents

Publication Publication Date Title
JP7323545B2 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11909992B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
KR102467057B1 (ko) 다-성분 화상 또는 비디오 코딩 개념
JP7358376B2 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US11889114B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US10003806B2 (en) Optimized plenoptic image encoding
US11483363B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US20220286713A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device and point cloud data reception method
KR101552664B1 (ko) 화상 부호화 방법 및 장치, 화상 복호 방법 및 장치, 및 그 프로그램
KR20210136082A (ko) 포인트 클라우드 속성 코딩을 위한 채널간 예측 및 변환을 위한 기술들 및 장치
CN116157840A (zh) 点云解码装置、点云解码方法和程序
WO2022071284A1 (ja) 点群復号装置、点群復号方法及びプログラム
KR20230075426A (ko) 포인트 클라우드 인코딩 및 디코딩 방법과 시스템 및 포인트 클라우드 인코더와 포인트 클라우드 디코더
KR20230124017A (ko) 포인트 클라우드 인코딩 및 디코딩 방법과 시스템,포인트 클라우드 인코더 및 포인트 클라우드 디코더
JP5729825B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
WO2024014205A1 (ja) 復号方法、符号化方法、復号装置及び符号化装置
WO2022224888A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
CN115086660B (zh) 基于点云属性预测的解码、编码方法、解码器及编码器
WO2023204040A1 (ja) 復号方法、符号化方法、復号装置及び符号化装置
CN116250016A (zh) 点云解码装置、点云解码方法和程序
CN116648915A (zh) 点云编解码方法、编码器、解码器以及计算机存储介质
WO2015056700A1 (ja) 映像符号化装置及び方法、及び、映像復号装置及び方法
CN116325732A (zh) 点云的解码、编码方法、解码器、编码器和编解码系统
US20230421814A1 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
WO2023105953A1 (ja) 三次元データ復号方法、三次元データ符号化方法、三次元データ復号装置、及び三次元データ符号化装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23839381

Country of ref document: EP

Kind code of ref document: A1