WO2023204040A1 - 復号方法、符号化方法、復号装置及び符号化装置 - Google Patents

復号方法、符号化方法、復号装置及び符号化装置 Download PDF

Info

Publication number
WO2023204040A1
WO2023204040A1 PCT/JP2023/014228 JP2023014228W WO2023204040A1 WO 2023204040 A1 WO2023204040 A1 WO 2023204040A1 JP 2023014228 W JP2023014228 W JP 2023014228W WO 2023204040 A1 WO2023204040 A1 WO 2023204040A1
Authority
WO
WIPO (PCT)
Prior art keywords
attribute
information
attribute information
component
color
Prior art date
Application number
PCT/JP2023/014228
Other languages
English (en)
French (fr)
Inventor
真人 大川
賀敬 井口
敏康 杉尾
孝啓 西
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Publication of WO2023204040A1 publication Critical patent/WO2023204040A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Definitions

  • the present disclosure relates to a decoding method, an encoding method, a decoding device, and an encoding device.
  • Three-dimensional data is acquired by various methods, such as a distance sensor such as a range finder, a stereo camera, or a combination of multiple monocular cameras.
  • Point cloud represents the shape of a three-dimensional structure using a group of points in three-dimensional space.
  • a point cloud stores the positions and colors of point clouds.
  • Point clouds are expected to become the mainstream method for expressing three-dimensional data, but point clouds require a very large amount of data. Therefore, when storing or transmitting three-dimensional data, it is essential to compress the amount of data through encoding, just as with two-dimensional moving images (an example is MPEG-4 AVC or HEVC standardized by MPEG). Become.
  • point cloud compression is partially supported by a public library (Point Cloud Library) that performs point cloud-related processing.
  • Point Cloud Library a public library that performs point cloud-related processing.
  • Patent Document 1 there is a known technology that uses three-dimensional map data to search for and display facilities located around a vehicle.
  • An object of the present disclosure is to provide a decoding method, an encoding method, a decoding device, or an encoding device that can reduce the amount of encoded data.
  • a decoding method receives control information, and decodes first attribute information regarding a first attribute of a three-dimensional point according to the received control information, and the received control information Indicates that the attribute is dependent on a second attribute of the three-dimensional point.
  • An encoding method encodes first attribute information regarding a first attribute of a three-dimensional point, transmits the encoded first attribute information and control information, and the control information is , indicates that the first attribute is dependent on the second attribute of the three-dimensional point.
  • the present disclosure can provide a decoding method, an encoding method, a decoding device, or an encoding device that can reduce the amount of encoded data.
  • FIG. 1 is a diagram illustrating a configuration example of point cloud data according to an embodiment.
  • FIG. 2 is a block diagram showing the configuration of a three-dimensional data encoding device according to an embodiment.
  • FIG. 3 is a block diagram showing the configuration of a three-dimensional data decoding device according to an embodiment.
  • FIG. 4 is a diagram illustrating an example of information input and output to the attribute information conversion unit according to the embodiment.
  • FIG. 5 is a diagram showing an example of SPS syntax according to the embodiment.
  • FIG. 6 is a diagram illustrating a syntax example of attribute_parameter according to the embodiment.
  • FIG. 7 is a diagram showing the structure of a bitstream according to the embodiment.
  • FIG. 8 is a diagram showing the configuration of an attribute component according to the embodiment.
  • FIG. 1 is a diagram illustrating a configuration example of point cloud data according to an embodiment.
  • FIG. 2 is a block diagram showing the configuration of a three-dimensional data encoding device according to an embodiment.
  • FIG. 9 is a diagram illustrating an example of information stored in the SPS according to the embodiment.
  • FIG. 10 is a diagram illustrating an example of information stored in the SPS according to the embodiment.
  • FIG. 11 is a block diagram showing the configuration of the attribute information encoding unit according to the embodiment.
  • FIG. 12 is a block diagram showing the configuration of the attribute information decoding section according to the embodiment.
  • FIG. 13 is a diagram illustrating a syntax example of attribute_parameter according to the embodiment.
  • FIG. 14 is a flowchart of attribute information encoding processing according to the embodiment.
  • FIG. 15 is a flowchart of attribute information decoding processing according to the embodiment.
  • FIG. 16 is a diagram illustrating a syntax example of frame_attr_param_SEI according to the embodiment.
  • FIG. 17 is a diagram illustrating a syntax example of angle_partial_access_SEI according to the embodiment.
  • FIG. 18 is a flowchart of decoding processing when performing partial decoding according to the embodiment.
  • FIG. 19 is a flowchart of three-dimensional data decoding processing according to the embodiment.
  • FIG. 20 is a flowchart of three-dimensional data encoding processing according to the embodiment.
  • a decoding method receives control information, and decodes first attribute information regarding a first attribute of a three-dimensional point according to the received control information, and the received control information Indicates that the attribute is dependent on a second attribute of the three-dimensional point.
  • the decoding device can appropriately decode the encoded data whose data amount has been reduced in this way using the control information. Furthermore, the amount of data handled by the decoding device can be reduced.
  • control information may indicate that the first attribute information is a difference between the first attribute and the second attribute. Since the first attribute information is the difference between the first attribute and the second attribute, there is a possibility that the data amount of the first attribute information can be reduced. For example, if a three-dimensional point is associated with a plurality of colors as attributes, the plurality of colors will be approximately the same depending on the region where the three-dimensional point exists. In this case, the first attribute information has a value close to 0 depending on the area, and the amount of data becomes small. Therefore, control information may be provided for each area.
  • control information may include at least one of offset information and scale information applied to the difference.
  • data amount of the first attribute information can be reduced by performing conversion using at least one of the offset information and the scale information. For example, when the first attribute and the second attribute satisfy the relationship of a linear function, the value of the first attribute information becomes a value close to 0.
  • At least one of the offset information and the scale information may be individually provided for each of the plurality of attribute information of the three-dimensional point. Thereby, at least one of the offset information and the scale information can be set for each attribute, so the amount of data of the first attribute information can be reduced.
  • the first attribute information may be stored in a first component different from a second component in which second attribute information regarding the second attribute is stored.
  • the first dimensional number representing the first component may be different from the second dimensional number representing the second component. Therefore, even if the first attribute and the second attribute have different numbers of dimensions, the amount of data of the first attribute information can be reduced.
  • the first attribute and the second attribute may respectively indicate a first color and a second color of the three-dimensional point, and each of the first color and the second color may be represented in multiple dimensions. . This makes it possible to reduce the amount of data by utilizing the dependencies of multiple colors at three-dimensional points, which may be correlated.
  • the first attribute and the second attribute indicate the color and reflectance of the three-dimensional point, respectively, the first dimension number representing the color is 3, and the second dimension number representing the reflectance is 1. It may be.
  • This makes it possible to reduce the amount of data by using the dependence between color and reflectance, which may have a correlation. For example, if the reflectance is substantially equal to the minimum value, the color of a three-dimensional point with that reflectance is close to black, and if the reflectance is substantially equal to the maximum value, the color of a three-dimensional point with that reflectance is close to black. The color is close to white. Therefore, if the encoding device and the decoding device agree to decode the first attribute information into information indicating black or white based on the reflectance, it is possible to reduce the amount of data.
  • control information indicating that the reflectance and color are dependent may be provided for each area.
  • the decoding method may further decode second attribute information regarding the second attribute, and convert the decoded first attribute information based on the decoded second attribute information.
  • the decoding method can restore the original first attribute from the first attribute information whose data amount has been reduced by converting the first attribute information based on the second attribute information.
  • the first attribute information is a difference between the first attribute and the second attribute, and in the conversion, the first attribute may be restored from the first attribute information and the second attribute information. good.
  • the encoding method encodes first attribute information regarding a first attribute of a three-dimensional point, transmits the encoded first attribute information and control information, and the control information includes:
  • the first attribute is dependent on the second attribute of the three-dimensional point.
  • control information may indicate that the first attribute information is a difference between the first attribute and the second attribute. Since the first attribute information is the difference between the first attribute and the second attribute, there is a possibility that the data amount of the first attribute information can be reduced.
  • control information may include at least one of offset information and scale information applied to the difference.
  • data amount of the first attribute information can be reduced by performing conversion using at least one of the offset information and the scale information.
  • At least one of the offset information and the scale information may be provided individually for each of the plurality of attributes of the three-dimensional point. Thereby, at least one of the offset information and the scale information can be set for each attribute information, so the amount of data of the first attribute information can be reduced.
  • the first attribute information may be stored in a first component different from a second component in which second attribute information regarding the second attribute is stored.
  • the first dimensional number representing the first component may be different from the second dimensional number representing the second component. Therefore, even if the first attribute and the second attribute have different numbers of dimensions, the amount of data of the first attribute information can be reduced.
  • the first attribute and the second attribute may respectively indicate a first color and a second color of the three-dimensional point, and each of the first color and the second color may be represented in multiple dimensions. . This makes it possible to reduce the amount of data by utilizing the dependencies of multiple colors at three-dimensional points, which may be correlated.
  • the first attribute and the second attribute indicate the color and reflectance of the three-dimensional point, respectively, the first dimension number representing the color is 3, and the second dimension number representing the reflectance is 1. It may be. This makes it possible to reduce the amount of data by using the dependence between color and reflectance, which may have a correlation.
  • a decoding device includes a processor and a memory, and the processor receives control information using the memory, and according to the received control information, Decoding first attribute information regarding one attribute, the received control information indicates that the first attribute is dependent on a second attribute of the three-dimensional point.
  • an encoding device includes a processor and a memory, and the processor encodes first attribute information regarding a first attribute of a three-dimensional point using the memory, and encodes first attribute information regarding a first attribute of a three-dimensional point. transmitting the converted first attribute information and control information, the control information indicating that the first attribute is dependent on a second attribute of the three-dimensional point.
  • a three-dimensional data encoding device and a three-dimensional data decoding device will be described below.
  • a three-dimensional data encoding device generates a bitstream by encoding three-dimensional data.
  • the three-dimensional data decoding device generates three-dimensional data by decoding the bitstream.
  • the three-dimensional data is, for example, three-dimensional point group data (also referred to as point group data).
  • a point cloud is a collection of three-dimensional points and indicates the three-dimensional shape of an object.
  • the point cloud data includes position information and attribute information of a plurality of three-dimensional points.
  • the position information indicates the three-dimensional position of each three-dimensional point.
  • the position information may also be referred to as geometry information.
  • position information is expressed in a rectangular coordinate system or a polar coordinate system.
  • the attribute information indicates, for example, color information, reflectance, transmittance, infrared information, normal vector, or time information.
  • One three-dimensional point may have a single attribute information, or may have multiple types of attribute information.
  • attribute information differs depending on the type of attribute. For example, color information has three elements (three dimensions) such as RGB or YCbCr. Reflectance has one element (one dimension). Furthermore, depending on the type of attribute, attribute information may have different restrictions, such as the range of possible values, bit depth, or whether or not it can take negative values.
  • attribute information are not limited to different information types such as color information and reflectance, but also information contents that have different formats such as RGB and YcbCr, and color information when viewed from different viewpoints. Including those with different values. Furthermore, hereinafter, different types of attribute information may be simply referred to as different attribute information or the like.
  • the three-dimensional data is not limited to point cloud data, but may be other three-dimensional data such as mesh data.
  • Mesh data also referred to as three-dimensional mesh data
  • CG Computer Graphics
  • the mesh data includes point cloud information (eg, vertex information). Therefore, the same method as that for point cloud data can be applied to this point cloud information.
  • the three-dimensional data encoding device when encoding multiple types of attribute information, converts at least one of the multiple types of attribute information using another attribute information, and converts at least one of the multiple types of attribute information using another attribute information. encode information. This allows the amount of encoded data to be reduced.
  • point cloud data has first attribute information and second attribute information.
  • the three-dimensional data encoding device generates third attribute information that is difference information by subtracting the first attribute information from the second attribute information for each point.
  • the three-dimensional data encoding device generates a bitstream by respectively encoding the first attribute information and the third attribute information.
  • the three-dimensional data encoding device also generates metadata (control information) indicating that the third attribute information is information generated by subtracting the first attribute information from the second attribute information. , stores the metadata in a bitstream.
  • the three-dimensional data decoding device decodes the first attribute information and the third attribute information, and restores the second attribute information using the decoded first attribute information, third attribute information, and metadata. do.
  • FIG. 1 is a diagram showing an example of the structure of such point cloud data.
  • each point has position information, first color information, and second color information.
  • the first color information and the second color information are attribute information, for example, color information corresponding to different viewpoints.
  • the three-dimensional data encoding device may be able to reduce the amount of encoded data by encoding the difference information as the third attribute information instead of the second color information.
  • the three-dimensional data encoding device stores metadata in the bitstream indicating that the third attribute information is the difference between the first color information and the second color information. This allows the three-dimensional data decoding device to restore the second color information from the first color information and the difference information based on the metadata.
  • FIG. 2 is a block diagram showing the configuration of three-dimensional data encoding device 100 according to this embodiment.
  • the three-dimensional data encoding device 100 generates encoded attribute information and encoding conversion information by encoding a plurality of pieces of attribute information (first to third attribute information).
  • This three-dimensional data encoding device 100 includes an attribute information converter 101 and an attribute information encoder 102. Note that in FIG. 2, only the processing unit related to encoding of attribute information is shown.
  • the three-dimensional data encoding device 100 may include other processing units such as a position information encoding unit that encodes position information.
  • the attribute information conversion unit 101 converts a plurality of pieces of attribute information (first attribute information, second attribute information, and third attribute information) into a plurality of converted attribute information. That is, the attribute information conversion unit 101 converts target attribute information included in a plurality of pieces of attribute information using reference attribute information included in a plurality of pieces of attribute information that is different from the target attribute information. Further, the attribute information conversion unit 101 generates conversion information that is information regarding conversion of attribute information.
  • the attribute information conversion unit 101 generates conversion information based on the correlation between multiple pieces of attribute information.
  • the conversion information is provided to reduce the data amount of the converted attribute information.
  • the conversion information includes, for example, information specifying reference attribute information used to convert the target attribute information.
  • the conversion information includes information indicating the mode (Type) of conversion.
  • the information indicating the mode of conversion is, for example, information specifying an arithmetic expression for conversion using target attribute information and reference attribute information.
  • the attribute information conversion unit 101 may generate the conversion information based on the dependency relationship between the plurality of attribute information instead of the correlation between the plurality of attribute information.
  • the attribute information conversion unit 101 may perform the conversion process using two pieces of attribute information among the plurality of pieces of attribute information, or may perform the conversion process using three or more pieces of attribute information among the pieces of pieces of attribute information. Good too. That is, the attribute information conversion unit 101 may convert the target attribute information using two or more pieces of reference attribute information. That is, the attribute information conversion unit 101 may generate one piece of converted attribute information using three or more pieces of attribute information. Further, the plurality of converted attribute information output from the attribute information conversion unit 101 may or may not include attribute information that is not converted.
  • the attribute information encoding unit 102 encodes each piece of post-conversion attribute information as one attribute component.
  • the attribute information encoding unit 102 stores encoded attribute information including a plurality of attribute components in a bitstream. Further, the attribute information encoding unit 102 performs encoding conversion by encoding conversion information for a plurality of converted attribute information and identification information indicating a correspondence relationship between a plurality of converted attribute information and a plurality of attribute components. Generate information and store the generated encoding conversion information in a bitstream.
  • the identification information is information indicating the correspondence between each of the plurality of converted attribute information and the identification number of the attribute component (attribute component identifier). The identification number is set, for example, based on the number of the attribute component in the bitstream.
  • FIG. 3 is a block diagram showing the configuration of a three-dimensional data decoding device 200 according to this embodiment.
  • the three-dimensional data decoding device 200 generates a plurality of pieces of attribute information (first to third attribute information) by decoding the encoded attribute information and encoding conversion information included in the bitstream.
  • This three-dimensional data decoding device 200 includes an attribute information decoding section 201 and an attribute information inverse conversion section 202. Note that in FIG. 3, only the processing unit related to decoding of attribute information is shown.
  • the three-dimensional data decoding device 200 may include other processing units such as a position information decoding unit that decodes position information.
  • the attribute information decoding unit 201 generates a plurality of converted attribute information by decoding the encoded attribute information. Further, the attribute information decoding unit 201 generates conversion information and identification information by decoding the encoding conversion information.
  • the attribute information inverse conversion unit 202 generates a plurality of attribute information (first to third attribute information) by inversely converting the plurality of converted attribute information based on the conversion information.
  • FIG. 4 is a diagram showing an example of information input/output to the attribute information conversion unit 101A in this case.
  • the attribute information converter 101A is an example of the attribute information converter 101 shown in FIG.
  • the attribute information conversion unit 101A does not perform conversion processing on the first color information for the plurality of points forming the point group, and converts the first color information as it is into the first converted attribute information. It is output to the attribute information encoding unit 102 as
  • A(i) is output as is.
  • A(i) is the first color information of point i
  • i is the identifier of the point (three-dimensional point).
  • first difference information is calculated by subtracting the first color information from the second color information for a plurality of points forming the point group.
  • B(i) is the second color information of point i.
  • R Ai , G Ai , and B Ai are the red component, green component, and blue component of the first color information, respectively
  • R Bi , G Bi , and B Bi are the red component, green component, and blue component of the second color information, respectively. It is an ingredient. That is, in this example, the first difference information has three-dimensional elements.
  • the attribute information conversion unit 101A generates conversion information indicating that the first difference information is generated by subtracting the value of the first color information from the second color information.
  • the value of the difference information can be made smaller by the scale value or offset value, depending on the distribution of values between attributes or the average or median value of attributes.
  • the attribute information conversion unit 101A may determine the offset value or scale value based on predetermined setting information such as the bit depth of the attribute information. Alternatively, the attribute information conversion unit 101A may investigate the range of values of attribute information in the point cloud, and determine the offset value or scale value based on the range. Alternatively, the attribute information conversion unit 101A may investigate the offset value or scale value that minimizes the value of the difference information. That is, the attribute information conversion unit 101A may calculate difference information for each combination of offset value and scale value, and select the combination of offset value and scale value for which the difference information with the smallest value is obtained.
  • an offset value or a scale value is set for each type of attribute information.
  • a common offset value or scale value may be used for the point group of a plurality of frames, or an individual offset value or scale value may be used for each frame.
  • an individual offset value or scale value may be used for each slice, which is a processing unit (group) into which a frame is divided.
  • an offset value or scale value may be set for each dimension, or a common offset value or scale value may be set for all dimensions.
  • the offset value or scale value used to calculate the difference information C and the offset value or scale value used to calculate the difference information E may be the same or different.
  • conversion information including offset information indicating an offset value or a scale value is encoded by the attribute information encoding unit 102, and the encoded conversion information is stored in a bitstream.
  • FIG. 4 shows an example in which difference information between two pieces of color information is calculated
  • difference information between attribute information of different information types, such as difference information between color information and reflectance. good.
  • the number of dimensions of the two attribute information for which the difference information is calculated may be different.
  • the difference information may be derived by subtracting the three-dimensional color information A from the one-dimensional reflectance I.
  • the one-dimensional reflectance I may be subtracted from the three-dimensional color information A. Further, in this case as well, an offset value or a scale value may be used.
  • the two color information may have different color matrices, such as RGB and YUV or YCbCr.
  • any combination of elements for calculating the difference may be used. For example, when the difference between RGB and YUV is calculated, the difference between the R component and the Y component may be calculated, or the difference between the R component and the U component or the V component may be calculated.
  • the encoding of attribute information of a point cloud of one frame was explained as an example, but the present method can also be applied to the case of encoding attribute information of a point cloud of multiple frames. Furthermore, this method can be applied to the case where attribute information of point clouds of multiple frames is encoded using temporal prediction.
  • the above first color information is the first residual which is the difference between the first color information of the target frame and the first color information of the reference frame
  • the above second color information is the first residual difference between the first color information of the target frame and the first color information of the reference frame.
  • the second residual is the difference between the second color information of the frame and the second color information of the reference frame
  • the first difference information is the difference between the first residual and the second residual. It's okay.
  • one frame of data may be divided into a plurality of slice data, and encoding may be performed for each slice data.
  • FIG. 5 is a diagram showing an example of SPS syntax.
  • SPS Sequence Parameter Set
  • metadata Parameter set
  • This SPS contains sps_idx, common_information(), attribute_type, instance_id, num_dimension, num_attribute_parameter, and attribute_pa rameter(i) and attribute_info().
  • sps_idx is the SPS identifier.
  • common_information( ) is additional information related to the entire sequence.
  • attribute_type, instance_id, num_dimension, num_attribute_parameter, and attribute_parameter(i) are set for each attribute information.
  • attribute_type is an identifier of attribute information.
  • instance_id is an identifier for identifying instances of the same attribute type.
  • num_dimension indicates the number of dimensions of attribute information.
  • attribute_info() is other additional information related to attribute information.
  • attribute_parameter( ) includes various types of additional information (metadata) for each attribute information and has a general format.
  • num_attribute_parameter indicates the number of attribute_parameters.
  • FIG. 6 is a diagram showing an example of the syntax of attribute_parameter(i).
  • attribute_parameter(i) is attr_param_type, attribute_source_offset_num_bits, attribute_source_offset, and attribute_source_scale It includes e_num_bits, attribute_source_scale, and attribute_source_scale_frac_bits.
  • attribute_source_offset_num_bits, attribute_source_offset, attribute_source_scale_num_bits, attribute_source_scale, at Tribute_source_scale_frac_bits is offset information regarding offset values and scale values.
  • attribute_source_offset indicates an offset value for returning the decoded attribute information to the original (source) attribute information.
  • attribute_source_scale indicates a scale value for returning the decoded attribute information to the original attribute information.
  • attribute_source_scale_frac_bits indicates the number of bits for expressing the value below the decimal point of the scale value.
  • the scale value is calculated using this attribute_source_scale_frac_bits and the following (Formula 1).
  • the first color information and first difference information shown in FIG. 4 are each encoded as one attribute component using any encoding method of attribute information such as LoD based attribute or Transform based attribute.
  • LoD-based attribute is one of the conversion methods using LoD (Level of Detail), and is a method for calculating the prediction residual.
  • LoD is a method of hierarchizing three-dimensional points according to position information, and is a method of hierarchizing three-dimensional points according to the distance (denseness) between points.
  • the transform based attribute is, for example, the RAHT (Region Adaptive Hierarchical Transform) method.
  • RAHT is a method of converting attribute information using position information of three-dimensional points. By applying Haar transformation etc. to attribute information, high frequency components and low frequency components of each layer are generated, and their The values are quantized, entropy encoded, etc.
  • the first color information is encoded as a three-dimensional first attribute component
  • the first difference information is encoded as a three-dimensional second attribute component.
  • the first difference information is attribute information that has been converted and whose data amount has been reduced, as described above.
  • FIG. 7 is a diagram showing the structure of a bitstream. As shown in FIG. 7, the bitstream includes SPS, GPS, APS(0), APS(1), Geom(0), Attr(0), and Attr(1).
  • the encoded data of the first attribute component (first color information) is stored in the data unit Attr(0).
  • Encoded data of the second attribute component (first difference information) is stored in a data unit, Attr(1).
  • FIG. 8 is a diagram showing the configuration of the first attribute component and the second attribute component. As shown in FIG. 8, each of the first attribute component and the second attribute component has a three-dimensional element.
  • APS Attribute Parameter Set
  • APS(0) is metadata related to the first attribute component
  • APS(1) is metadata related to the encoding of attribute information.
  • Metadata related to attribute components For example, APS is metadata common to multiple frames.
  • an APS is provided for each attribute component, but if two attribute components use the same encoding parameter, one common APS is provided for the two attribute components, and the corresponding One APS may be referenced by two attribute components.
  • Geom(0) is encoded data of position information.
  • GPS Global System for Mobile Communications
  • metadata Parameter set
  • GPS is metadata common to multiple frames.
  • the conversion information is stored in at least one of the SPS and SEI.
  • SEI Supplemental Enhancement Information
  • SEI Supplemental Enhancement Information
  • parameters optionally be used during decoding.
  • FIG. 9 is a diagram showing an example of information stored in the SPS.
  • the attribute identifier of the second attribute component indicates that the attribute component (attribute information) is difference information of color information, but the attribute information into which the attribute component (attribute information) is converted is
  • the attribute component (attribute information) may indicate that the attribute component (attribute information) is difference information between two pieces of attribute information.
  • FIG. 10 is a diagram showing another example of information stored in the SPS in this case. Note that FIG. 10 is an example of information when the syntax shown in FIG. 13, which will be described later, is used. The example shown in FIG. 10 differs from the example shown in FIG. 9 in the information of the second attribute component (Attribute1).
  • the order in which attribute component information is shown in SPS is defined as attr_id, and attr_id does not need to be included in SPS. That is, the three-dimensional data decoding device may determine the attr_id of the attribute component based on the order in which the information of the attribute component is shown in the SPS.
  • the attribute information encoding unit 102 is an encoding unit (LoD-based attribute encoder) that performs encoding using LoD.
  • FIG. 11 is a block diagram showing the configuration of the attribute information encoding section 102.
  • the attribute information encoding unit 102 includes a LoD generation unit 111, an adjacent search unit 112, a prediction unit 113, a residual calculation unit 114, a quantization unit 115, an inverse quantization unit 116, and a reconstruction unit 117. , a memory 118, and an arithmetic encoder 119.
  • the LoD generation unit 111 generates an LoD layer using position (geometry) information of a plurality of three-dimensional points.
  • the adjacent search unit 112 searches for three-dimensional points (adjacent points) in the vicinity of the target point to be processed, using the LoD generation result and distance information between three-dimensional points.
  • the prediction unit 113 generates a predicted value of the difference information. For example, the prediction unit 113 generates a predicted value using encoded difference information of adjacent points.
  • the residual calculation unit 114 generates a prediction residual that is the difference between the difference information and the predicted value.
  • the quantization unit 115 quantizes the prediction residual of the difference information.
  • the dequantization unit 116 dequantizes the prediction residual after quantization.
  • the reconstruction unit 117 generates a decoded value in which the prediction residual of the target point is decoded by adding the predicted value and the prediction residual after dequantization.
  • the memory 118 stores difference information (decoded values) of a plurality of encoded and decoded three-dimensional points. The decoded values stored in the memory 118 are used by the prediction unit 113 to predict subsequent three-dimensional points.
  • the arithmetic encoding unit 119 arithmetic encodes the prediction residual after quantization. Note that the arithmetic encoding unit 119 may binarize the prediction residual after quantization, and may perform arithmetic encoding on the prediction residual after the binarization.
  • encoding parameters or quantization values are used when encoding difference information and when encoding a reference component (reference attribute information) referenced from other attribute components.
  • a reference component may be highly important because it is referenced by other components. Therefore, the reference component may be reversibly compressed, and the difference information may be irreversibly compressed. Thereby, encoding efficiency can be improved while suppressing deterioration of information as a whole.
  • the three-dimensional data encoding device classifies multiple pieces of attribute information to be encoded into reference components and difference information, and selects and encodes encoding parameters suitable for each of the reference components and difference information. It's okay. This can be expected to improve coding efficiency.
  • the reference component may be an attribute component whose attribute information is not encoded as difference information (the attribute information is encoded as is).
  • the attribute information decoding unit 201 is a decoding unit (LoD-based attribute decoder) that performs decoding using LoD.
  • FIG. 12 is a block diagram showing the configuration of the attribute information decoding section 201.
  • the attribute information decoding section 201 includes a LoD generation section 211 , an adjacent search section 212 , a prediction section 213 , an arithmetic decoding section 214 , an inverse quantization section 215 , a reconstruction section 216 , and a memory 217 .
  • the LoD generation unit 211 generates LoD using the decoded position information of the plurality of three-dimensional points.
  • the adjacent search unit 212 searches for three-dimensional points (adjacent points) in the vicinity of the target point to be processed, using the LoD generation result and distance information between three-dimensional points.
  • the prediction unit 213 generates a predicted value of the difference information. For example, the prediction unit 213 generates a predicted value using decoded difference information of adjacent points.
  • the arithmetic decoding unit 214 generates a prediction residual (quantized prediction residual) by arithmetic decoding the encoded difference information included in the bitstream.
  • the dequantization unit 215 dequantizes the arithmetic decoded prediction residual (quantized prediction residual).
  • the reconstruction unit 216 generates a decoded value by adding the predicted value and the predicted residual after dequantization.
  • the memory 217 stores difference information (decoded values) of a plurality of decoded three-dimensional points. The decoded values stored in the memory 217 are used by the prediction unit 213 to predict subsequent three-dimensional points.
  • decoding difference information In addition, although an example of decoding difference information has been explained here, the same decoding process as above can also be used when decoding post-conversion attribute information other than difference information, or when decoding attribute information that is not converted. can be applied.
  • FIG. 13 is a diagram showing an example of the syntax of attribute_parameter(i).
  • attribute_parameter shown in FIG. 13 is a parameter related to the i-th attribute information and includes conversion information.
  • the conversion information indicates whether or not the plurality of attribute components have a dependency relationship, and indicates the dependency relationship.
  • reference_attr_id indicates the attribute component identifier of the reference (dependent) component.
  • reference_offset_num_bits, reference_offset, reference_scale_num_bits, reference_scale, and reference_scale_frac_bits are offset values and offset information regarding scale values.
  • reference_offset indicates an offset value for returning the decoded attribute information to the original (source) attribute information.
  • Reference_scale indicates a scale value for returning the decoded attribute information to the original attribute information.
  • reference_scale_frac_bits indicates the number of bits for expressing the value below the decimal point of the scale value. S, which is a scale value, is calculated using this reference_scale_frac_bits and the following (Formula 2).
  • Y(i) (Y 0 , Y 1 , Y 2 ) is This is the i-th attribute information of the second attribute component after decoding
  • O is an offset value between attributes
  • S is a scale value between attributes.
  • clipping processing may be performed to limit the range of values depending on the bit precision of the restored data.
  • the bit precision of the restored data may be specified to be the same as the bit precision of the reference component, or information indicating the bit precision of the restored data may be included in the metadata and notified to the three-dimensional data decoding device. may be done.
  • reference_attr_id indicating the attribute component identifier of the reference destination attribute component
  • group_id indicating the reference destination group
  • one group includes multiple attribute components, and multiple attribute components are assigned to one group_id.
  • the three-dimensional data encoding device and the three-dimensional data decoding device may refer to any one of the plurality of attribute components included in the reference destination group.
  • the attribute component whose attribute component identifier has the smallest value among the plurality of attribute components included in the reference destination group may be referenced.
  • any one of the color information may be used as a reference component, and the same reference component may be referenced from other attribute components.
  • the three-dimensional data decoding device can restore other attribute components using the data of the decoded reference component. Therefore, it is possible to improve random accessibility when it is desired to decode an arbitrary attribute component.
  • multiple reference components may be set. This may improve random accessibility when there are a large number of attribute components.
  • the original attribute information may not be used as is, but information obtained by converting the original attribute information may be used.
  • information obtained by quantizing original attribute information may be used as the reference component.
  • a value obtained by decoding an encoded reference component may be used as the reference component.
  • the average of multiple pieces of attribute information may be calculated and the calculated average value may be used as the reference component.
  • a reference component indicating an average value and a plurality of attribute components of a plurality of difference information are generated.
  • the plurality of attribute components correspond to the plurality of original attribute information and indicate the difference between the corresponding original attribute information and the reference component. Therefore, in this case, the number of attribute components increases by one.
  • the three-dimensional data decoding device can realize the restoration process by including information such as dependent_type indicating each process in the bitstream.
  • dependent_type uniquely defines the restoration process in the three-dimensional data decoding device.
  • the fact that the data is difference information (or conversion information) may be indicated by a syntax different from that of dependent_type.
  • an attribute component that cannot be independently decoded without a reference component may be called a dependent component.
  • color information from a predetermined initial viewpoint may be used as the reference component.
  • the number of reference components is limited to one, and the instance_id of the reference component is set to the value 0.
  • the three-dimensional data encoding apparatus does not need to add the attribute component identifier of the reference component to the bitstream.
  • the reference method may be indicated by dependent_type.
  • dependent_type may indicate a referenced (dependent) element.
  • each element of the attribute component to be processed refers to which element among the multiple elements of the reference component. It may be indicated by dependent_type.
  • dependent_type may indicate that the attribute component to be processed and the reference component have different types of attribute information, or may indicate that the number of dimensions is different. Note that these pieces of information may be indicated by information other than dependent_type included in the bitstream.
  • FIG. 14 is a flowchart of attribute information encoding processing performed by the three-dimensional data encoding device.
  • the three-dimensional data encoding device starts decoding a plurality of attribute information (S101).
  • the three-dimensional data encoding device converts at least one attribute information using other attribute information (S102).
  • the three-dimensional data encoding device encodes each of the reference component and dependent component using a predetermined method.
  • the three-dimensional data encoding device stores information for each attribute component in metadata (S103).
  • the three-dimensional data encoding device indicates the attribute component identifier (ID) of the reference component of the dependent component and the dependency relationship in the metadata. Information etc. are stored (S105).
  • FIG. 15 is a flowchart of attribute information decoding processing performed by the three-dimensional data decoding device.
  • the three-dimensional data decoding device decodes a plurality of attribute components (a reference component and a dependent component) and metadata from a bitstream (S201).
  • the three-dimensional data decoding device identifies the reference component based on the attribute component identifier (ID) of the reference component described in the metadata included in the bitstream. is specified, and the attribute information is restored using a predetermined method using the reference component, dependent component, and metadata information (S203).
  • ID attribute component identifier
  • FIGS. 14 and 15 may be performed on a frame-by-frame basis or on a slice-by-slice basis.
  • the three-dimensional data decoding device uses the SEI for each frame with priority.
  • FIG. 16 is a diagram showing an example of the syntax of frame_attr_param_SEI in this case.
  • attribute_idx specifies the attribute component to which conversion information (attribute_parameter) is applied. In other words, conversion information is specified for each attribute component.
  • sps_idx shown in FIG. 16 is an SPS index
  • frame_idx is a frame index.
  • common conversion information may be specified for all attribute components.
  • conversion information may be included in an SEI common to all attribute components, such as attribute_structure_SEI.
  • the three-dimensional data decoding device can determine the dependency relationships between the plurality of attribute components by analyzing attribute_structure_SEI.
  • FIG. 17 is a diagram showing an example of the syntax of this SEI (angle_partial_access_SEI).
  • num_angle shown in FIG. 17 indicates the number of viewpoints, and angle indicates the viewpoint.
  • dependent_flag indicates whether the attribute component is a dependent component.
  • the SEI may also include information indicating the mode of conversion (for example, information indicating that it is difference information with respect to a reference component, an offset value, a scale value, etc.). Furthermore, these pieces of information may be included in at least one of the SPS and SEI.
  • FIG. 18 is a flowchart of the decoding process when performing partial decoding. For example, the process shown in FIG. 18 is performed in the system layer.
  • the three-dimensional data decoding device decodes and analyzes the SEI for partial decoding (S211).
  • the three-dimensional data decoding device analyzes the viewpoint information and obtains the attribute component identifier (ID) of the attribute information of the viewpoint to be decoded (S212).
  • the attribute component is a dependent component
  • the three-dimensional data decoding device acquires the attribute component identifier of the reference component (S213).
  • the three-dimensional data decoding device searches the attribute data unit, extracts the data unit having the acquired attribute component identifier, and decodes the extracted data unit (S214).
  • the three-dimensional data decoding device obtains the attribute component identifier (ID) of the attribute component (reference component and dependent component) of a specific viewpoint from the bitstream, and extracts the data unit using the attribute component identifier. do.
  • the bitstream or file may be reconstructed using the extracted data units.
  • the edge requests a bitstream or file containing attribute information for a particular viewpoint from the server.
  • the server may generate a bitstream or file in which attribute information of a specific viewpoint is extracted through the above processing, and may send the bitstream or file to the edge. This makes it possible to reduce the amount of data to be transmitted, potentially reducing communication time.
  • the decoding device (three-dimensional data decoding device) according to this embodiment performs the processing shown in FIG. 19.
  • the decoding device receives control information (for example, conversion information) (S301), decodes first attribute information regarding the first attribute of the three-dimensional point according to the received control information (S302), and the received control information Indicates that one attribute is dependent on a second attribute of the three-dimensional point.
  • control information for example, conversion information
  • S302 decodes first attribute information regarding the first attribute of the three-dimensional point according to the received control information (S302)
  • the received control information Indicates that one attribute is dependent on a second attribute of the three-dimensional point.
  • the first attribute and the second attribute are attribute information before conversion.
  • the first attribute information regarding the first attribute may be information before conversion, or may be information after conversion.
  • the decoding device can appropriately decode the encoded data whose data amount has been reduced in this way using the control information. Furthermore, the amount of data handled by the decoding device can be reduced.
  • the control information indicates that the first attribute information is a difference between the first attribute and the second attribute. Since the first attribute information is the difference between the first attribute and the second attribute, there is a possibility that the data amount of the first attribute information can be reduced. For example, if a three-dimensional point is associated with a plurality of colors as attributes, the plurality of colors will be approximately the same depending on the region where the three-dimensional point exists. In this case, the first attribute information has a value close to 0 depending on the area, and the amount of data becomes small. Therefore, control information may be provided for each area.
  • control information includes at least one of offset information (eg, offset value) and scale information (scale value) applied to the difference.
  • offset information eg, offset value
  • scale information scale value
  • the data amount of the first attribute information can be reduced by performing conversion using at least one of the offset information and the scale information. For example, when the first attribute and the second attribute satisfy the relationship of a linear function, the value of the first attribute information becomes a value close to 0.
  • At least one of offset information and scale information is provided individually for each of a plurality of attributes of a three-dimensional point.
  • at least one of the offset information and the scale information can be set for each attribute information, so the amount of data of the first attribute information can be reduced.
  • the first attribute information is stored in a first component different from the second component in which the second attribute information regarding the second attribute is stored.
  • the second attribute information regarding the second attribute may be information before conversion or information after conversion.
  • the first dimension number representing the first component is different from the second dimension number representing the second component. Therefore, even if the first attribute and the second attribute have different numbers of dimensions, the amount of data of the first attribute information can be reduced.
  • a component is a unit of storing information
  • a dimension is something that expresses information.
  • the multiple dimensions are, for example, an R component, a G component, and a B component in an RGB format.
  • the multiple dimensions are not limited to these, and may be multiple components in YUV format or CMYK format, or multiple components in other formats.
  • the first attribute and the second attribute indicate the first color and second color of a three-dimensional point, respectively, and each of the first color and second color is expressed in multiple dimensions. This makes it possible to reduce the amount of data by utilizing the dependencies of multiple colors at three-dimensional points, which may be correlated.
  • the first attribute and the second attribute indicate the color and reflectance of a three-dimensional point, respectively, the first dimension number representing the color is three, and the second dimension number representing the reflectance is one.
  • This makes it possible to reduce the amount of data by using the dependence between color and reflectance, which may have a correlation. For example, if the reflectance is substantially equal to the minimum value, the color of a three-dimensional point with that reflectance is close to black, and if the reflectance is substantially equal to the maximum value, the color of a three-dimensional point with that reflectance is close to black. The color is close to white. Therefore, if the encoding device and the decoding device agree to decode the first attribute information into information indicating black or white based on the reflectance, it is possible to reduce the amount of data.
  • control information indicating that the reflectance and color are dependent may be provided for each area.
  • the decoding device further decodes second attribute information regarding the second attribute, and converts the decoded first attribute information based on the Fukuo-coded second attribute information. According to this, the decoding device can restore the original first attribute information from the first attribute information whose data amount has been reduced by converting the first attribute information based on the second attribute information.
  • the first attribute information is a difference between the first attribute and the second attribute
  • the decoding device restores the first attribute from the first attribute information and the second attribute information.
  • the decoding device includes a processor and a memory, and the processor uses the memory to perform the above processing.
  • the encoding device (three-dimensional data encoding device) according to this embodiment performs the processing shown in FIG. 20.
  • the encoding device encodes first attribute information regarding a first attribute of a three-dimensional point (S401), transmits the encoded first attribute information and control information (S402), and the control information is Indicates that the attribute is dependent on a second attribute of the three-dimensional point.
  • the first attribute and the second attribute are attribute information before conversion.
  • the first attribute information regarding the first attribute may be information before conversion, or may be information after conversion.
  • control information indicates that the first attribute information is a difference between the first attribute and the second attribute. Since the first attribute information is the difference between the first attribute and the second attribute, there is a possibility that the data amount of the first attribute information can be reduced.
  • control information includes at least one of offset information (eg, offset value) and scale information (scale value) applied to the difference.
  • offset information eg, offset value
  • scale information scale value
  • At least one of offset information and scale information is provided individually for each of a plurality of attributes of a three-dimensional point.
  • at least one of the offset information and the scale information can be set for each attribute information, so the amount of data of the first attribute information can be reduced.
  • the first attribute information is stored in a first component different from the second component in which the second attribute information regarding the second attribute is stored.
  • the second attribute information regarding the second attribute may be information before conversion or information after conversion.
  • the first dimension number representing the first component is different from the second dimension number representing the second component. Therefore, even if the first attribute and the second attribute have different numbers of dimensions, the amount of data of the first attribute information can be reduced.
  • the first attribute and the second attribute indicate the first color and second color of a three-dimensional point, respectively, and each of the first color and second color is expressed in multiple dimensions. This makes it possible to reduce the amount of data by utilizing the dependencies of multiple colors at three-dimensional points, which may be correlated.
  • the first attribute and the second attribute indicate the color and reflectance of a three-dimensional point, respectively, the first dimension number representing the color is three, and the second dimension number representing the reflectance is one. This makes it possible to reduce the amount of data by using the dependence between color and reflectance, which may have a correlation.
  • the encoding device includes a processor and a memory, and the processor uses the memory to perform the above processing.
  • the decoding method may include decoding first attribute information of at least one three-dimensional point based on information indicating whether the first attribute information is dependent on second attribute information of the at least one three-dimensional point. do.
  • first attribute information dependent on the second attribute information
  • the decoding device can appropriately decode the encoded data whose data amount has been reduced in this way using the control information. Furthermore, the amount of data handled by the decoding device can be reduced.
  • the decoding method decodes information regarding a plurality of attributes of a plurality of three-dimensional points, the plurality of attributes includes a first attribute, the information includes first information about the first attribute, and the first information indicates the difference between the reference attribute and other attributes. Since the first information is a difference between the reference attribute and another attribute, there is a possibility that the data amount of the first information can be reduced.
  • the reference attribute is the second attribute
  • the other attribute is the first attribute before conversion.
  • the decoding method decodes first attribute information and second attribute information of at least one three-dimensional point, and each of the first attribute information and second attribute information Generated based on attributes. By generating each of the first information and the second attribute information into a plurality of attributes, there is a possibility that the amount of data of the first attribute information and the second attribute information can be reduced.
  • the decoding method decodes information regarding multiple attributes of at least one three-dimensional point based on conversion information, and the conversion information is used to decode only part of the information regarding the multiple attributes. According to this, since it is possible to selectively convert a plurality of attributes, it is possible to efficiently reduce the amount of encoded data.
  • the conversion information is generated based on a correlation between at least two of the plurality of attributes.
  • the amount of encoded data can be reduced by conversion using the correlation of multiple attributes.
  • the conversion information includes offset information applied to at least some of the plurality of attributes.
  • the amount of encoded data can be reduced by conversion using offset values.
  • the conversion information includes information indicating converted attributes. According to this, since it is possible to selectively convert a plurality of attributes, it is possible to efficiently reduce the amount of encoded data.
  • the encoding method may encode first attribute information of at least one three-dimensional point based on information indicating whether the first attribute information is dependent on second attribute information of the at least one three-dimensional point. encode. By making the first attribute information dependent on the second attribute information, there is a possibility that the data amount of the first attribute information can be reduced.
  • the encoding method encodes information about a plurality of attributes of a plurality of three-dimensional points, the plurality of attributes includes a first attribute, the information includes first information about the first attribute, the first The information indicates the difference between the reference attribute and other attributes. Since the first information is a difference between the reference attribute and another attribute, there is a possibility that the data amount of the first information can be reduced.
  • the reference attribute is the second attribute
  • the other attribute is the first attribute before conversion.
  • the encoding method encodes first attribute information and second attribute information of at least one three-dimensional point, and each of the first attribute information and second attribute information generated based on the attributes of By generating each of the first information and the second attribute information into a plurality of attributes, there is a possibility that the amount of data of the first attribute information and the second attribute information can be reduced.
  • the encoding method encodes information regarding a plurality of attributes of at least one three-dimensional point based on transformation information, and the transformation information is used to encode only part of the information regarding the plurality of attributes. According to this, since it is possible to selectively convert a plurality of attributes, it is possible to efficiently reduce the amount of encoded data.
  • the conversion information is generated based on a correlation between at least two of the plurality of attributes.
  • the amount of encoded data can be reduced by conversion using the correlation of multiple attributes.
  • the conversion information includes offset information applied to at least some of the plurality of attributes.
  • the amount of encoded data can be reduced by conversion using offset values.
  • the conversion information includes information indicating converted attributes. According to this, since it is possible to selectively convert a plurality of attributes, it is possible to efficiently reduce the amount of encoded data.
  • the conversion method converts first attribute information of at least one three-dimensional point based on second attribute information of the at least one three-dimensional point, and converts the first attribute information of the at least one three-dimensional point. Output to decoding device. According to this, by converting the first attribute information based on the second attribute information, the amount of data of the converted first attribute information can be reduced.
  • the conversion method further converts the second attribute information and outputs the converted second information to a decoding device. According to this, the data amount of the converted second attribute information can be reduced.
  • a conversion method (encoding method) generates information regarding a difference between a reference attribute of a three-dimensional point and another attribute, and outputs the information and information of the reference attribute to a decoding device. According to this, by generating information regarding the difference between the reference attribute and other attributes, the data amount of the information can be reduced.
  • the conversion method converts the attribute information of a three-dimensional point based on dependency information indicating the dependence of the attribute information on other attribute information of the three-dimensional point, and converts the attribute information of the three-dimensional point and the converted
  • the attribute information is output to a decoding device. According to this, by converting the attribute information based on the dependency information, the data amount of the attribute information can be reduced.
  • an inverse transformation method transforms (inverse transforms) first attribute information of at least one three-dimensional point based on second attribute information of the at least one three-dimensional point.
  • the inverse conversion method can restore the original first attribute information from the first attribute information whose data amount has been reduced by converting the first attribute information based on the second attribute information.
  • the inverse conversion method further converts (inversely transforms) the second attribute information.
  • the inverse conversion method can restore the original second attribute information from the second attribute information whose data amount has been reduced.
  • the inverse transformation method receives information about the difference between a reference attribute of a three-dimensional point and another attribute, and information about the reference attribute, and converts the information from the information and the information about the reference attribute to the other attribute. restore the attributes of According to this, the original data can be restored from the information whose data amount has been reduced by generating information regarding the difference between the reference attribute and other attributes.
  • an inverse transformation method receives attribute information of a three-dimensional point and dependency information indicating the dependence of the attribute information on other attribute information of the three-dimensional point, and converts the attribute information into a Transform (inverse transform) based on the information.
  • the original attribute information can be restored from the attribute information whose data amount has been reduced by converting the attribute information based on the dependency information.
  • the three-dimensional data encoding device (encoding device), three-dimensional data decoding device (decoding device), etc. according to the embodiment and modification of the present disclosure have been described above, but the present disclosure is limited to this embodiment. It is not something that will be done.
  • each processing unit included in the three-dimensional data encoding device, three-dimensional data decoding device, etc. is typically realized as an LSI, which is an integrated circuit. These may be integrated into one chip individually, or may be integrated into one chip including some or all of them.
  • circuit integration is not limited to LSI, and may be realized using a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connections and settings of circuit cells inside the LSI may be used.
  • each component may be configured with dedicated hardware, or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • the present disclosure describes a three-dimensional data encoding method (encoding method) or a three-dimensional data decoding method ( decoding method), etc.
  • the present disclosure can be applied to a three-dimensional data encoding device and a three-dimensional data decoding device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

復号方法は、制御情報を受信し（Ｓ３０１）、受信した制御情報に従い、三次元点の第１属性に関する第１属性情報を復号し（Ｓ３０２）、受信した制御情報は、第１属性が、三次元点の第２属性に依存していることを示す。例えば、制御情報は、第１属性情報が第１属性と第２属性との差分であることを示してもよい。例えば、制御情報は、差分に適用されるオフセット情報及びスケール情報の少なくとも一方を含んでもよい。例えば、オフセット情報は、三次元点の複数の属性の各々に個別に設けられてもよい。

Description

復号方法、符号化方法、復号装置及び符号化装置
　本開示は、復号方法、符号化方法、復号装置及び符号化装置に関する。
　自動車或いはロボットが自律的に動作するためのコンピュータビジョン、マップ情報、監視、インフラ点検、又は、映像配信など、幅広い分野において、今後、三次元データを活用した装置又はサービスの普及が見込まれる。三次元データは、レンジファインダなどの距離センサ、ステレオカメラ、又は複数の単眼カメラの組み合わせなど様々な方法で取得される。
　三次元データの表現方法の１つとして、三次元空間内の点群によって三次元構造の形状を表すポイントクラウドと呼ばれる表現方法がある。ポイントクラウドでは、点群の位置と色とが格納される。ポイントクラウドは三次元データの表現方法として主流になると予想されるが、点群はデータ量が非常に大きい。よって、三次元データの蓄積又は伝送においては二次元の動画像（一例として、ＭＰＥＧで規格化されたＭＰＥＧ－４　ＡＶＣ又はＨＥＶＣなどがある）と同様に、符号化によるデータ量の圧縮が必須となる。
　また、ポイントクラウドの圧縮については、ポイントクラウド関連の処理を行う公開のライブラリ（Ｐｏｉｎｔ　Ｃｌｏｕｄ　Ｌｉｂｒａｒｙ）などによって一部サポートされている。
　また、三次元の地図データを用いて、車両周辺に位置する施設を検索し、表示する技術が知られている（例えば、特許文献１参照）。
国際公開第２０１４／０２０６６３号
　三次元データの符号化処理及び復号処理では、符号化データのデータ量を削減できることが望まれている。
　本開示は、符号化データのデータ量を削減できる復号方法、符号化方法、復号装置又は符号化装置を提供することを目的とする。
　本開示の一態様に係る復号方法は、制御情報を受信し、受信した前記制御情報に従い、三次元点の第１属性に関する第１属性情報を復号し、受信した前記制御情報は、前記第１属性が、前記三次元点の第２属性に依存していることを示す。
　本開示の一態様に係る符号化方法は、三次元点の第１属性に関する第１属性情報を符号化し、符号化された前記第１属性情報と、制御情報とを送信し、前記制御情報は、前記第１属性が、前記三次元点の第２属性に依存していることを示す。
　本開示は、符号化データのデータ量を削減できる復号方法、符号化方法、復号装置又は符号化装置を提供できる。
図１は、実施の形態に係る点群データの構成例を示す図である。 図２は、実施の形態に係る三次元データ符号化装置の構成を示すブロック図である。 図３は、実施の形態に係る三次元データ復号装置の構成を示すブロック図である。 図４は、実施の形態に係る属性情報変換部に入出力される情報の例を示す図である。 図５は、実施の形態に係るＳＰＳのシンタックス例を示す図である。 図６は、実施の形態に係るａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒのシンタックス例を示す図である。 図７は、実施の形態に係るビットストリームの構成を示す図である。 図８は、実施の形態に係る属性コンポーネントの構成を示す図である。 図９は、実施の形態に係るＳＰＳに格納される情報の例を示す図である。 図１０は、実施の形態に係るＳＰＳに格納される情報の例を示す図である。 図１１は、実施の形態に係る属性情報符号化部の構成を示すブロック図である。 図１２は、実施の形態に係る属性情報復号部の構成を示すブロック図である。 図１３は、実施の形態に係るａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒのシンタックス例を示す図である。 図１４は、実施の形態に係る属性情報の符号化処理のフローチャートである。 図１５は、実施の形態に係る属性情報の復号処理のフローチャートである。 図１６は、実施の形態に係るｆｒａｍｅ＿ａｔｔｒ＿ｐａｒａｍ＿ＳＥＩのシンタックス例を示す図である。 図１７は、実施の形態に係るａｎｇｌｅ＿ｐａｒｔｉａｌ＿ａｃｃｅｓｓ＿ＳＥＩのシンタックス例を示す図である。 図１８は、実施の形態に係る部分復号を行う場合の復号処理のフローチャートである。 図１９は、実施の形態に係る三次元データ復号処理のフローチャートである。 図２０は、実施の形態に係る三次元データ符号化処理のフローチャートである。
　本開示の一態様に係る復号方法は、制御情報を受信し、受信した前記制御情報に従い、三次元点の第１属性に関する第１属性情報を復号し、受信した前記制御情報は、前記第１属性が、前記三次元点の第２属性に依存していることを示す。第１属性が第２属性に依存することにより第１属性情報のデータ量を削減できる可能性がある。復号装置は、制御情報を用いて、このようにデータ量が削減された符号化データを適切に復号できる。また、復号装置で扱うデータ量を低減できる。
　例えば、前記制御情報は、前記第１属性情報が前記第１属性と前記第２属性との差分であることを示してもよい。第１属性情報が第１属性と第２属性との差分であることにより第１属性情報のデータ量を削減できる可能性がある。例えば三次元点に複数の色が属性として関係付けられている場合、三次元点が存在する領域によっては、複数の色が略同じになる。この場合、領域によっては第１属性情報が０に近い値となり、データ量が小さくなる。したがって、領域ごとに制御情報を設けてもよい。
　例えば、前記制御情報は、前記差分に適用されるオフセット情報及びスケール情報の少なくとも一方を含んでもよい。オフセット情報及びスケール情報の少なくとも一方を用いて変換を行うことで第１属性情報のデータ量を削減できる可能性がある。例えば、第１属性と第２属性が一次関数の関係を満たす場合に第１属性情報の値が０に近い値となる。
　例えば、前記オフセット情報及び前記スケール情報の少なくとも前記一方は、前記三次元点の複数の属性情報の各々に個別に設けられてもよい。これにより、オフセット情報及びスケール情報の少なくとも一方を、属性毎に設定できるので、第１属性情報のデータ量を削減できる。
　例えば、前記第１属性情報は、前記第２属性に関する第２属性情報が格納される第２コンポーネントとは異なる第１コンポーネントに格納されてもよい。
　例えば、前記第１コンポーネントを表す第１次元数は、前記第２コンポーネントを表す第２次元数と異なってもよい。これにより、第１属性と第２属性との次元数が異なる場合であっても第１属性情報のデータ量を削減できる。
　例えば、前記第１属性及び前記第２属性は、前記三次元点の第１色及び第２色をそれぞれ示し、前記第１色及び前記第２色の各々は、複数次元で表されてもよい。これにより、相関性がある可能性がある、三次元点の複数の色の依存関係を利用することでデータ量を削減できる。
　例えば、前記第１属性及び前記第２属性は、前記三次元点の色及び反射率をそれぞれ示し、前記色を表す第１次元数は３であり、前記反射率を表す第２次元数は１であってもよい。これにより、相関性がある可能性がある色と反射率との依存関係を利用することでデータ量を削減できる。例えば、反射率が最小値に実質的に等しい場合、その反射率を有する三次元点の色は黒に近く、反射率が最大値に実質的に等しい場合、その反射率を有する三次元点の色は白に近い。そこで反射率によって第１属性情報を黒色又は白色を示す情報に復号する、と符号化装置と復号装置で取り決めておけば、データ量を削減できる可能性がある。
　また、最大値又は最小値の反射率を有する位置は連続している可能性があるため、反射率と色が依存していることを示す制御情報を領域ごとに設けてもよい。
　例えば、前記復号方法は、さらに、前記第２属性に関する第２属性情報を復号し、復号した前記第１属性情報を、復号した前記第２属性情報に基づき変換してもよい。これにより、当該復号方法は、第１属性情報を第２属性情報に基づき変換することでデータ量が削減された第１属性情報から元の第１属性を復元できる。
　例えば、前記第１属性情報は、前記第１属性と前記第２属性との差分であり、前記変換では、前記第１属性情報と前記第２属性情報とから前記第１属性を復元してもよい。
　本実施の形態に係る符号化方法は、三次元点の第１属性に関する第１属性情報を符号化し、符号化された前記第１属性情報と、制御情報とを送信し、前記制御情報は、前記第１属性が、前記三次元点の第２属性に依存していることを示す。第１属性が第２属性に依存することにより第１属性情報のデータ量を削減できる可能性がある。
　例えば、前記制御情報は、前記第１属性情報が前記第１属性と前記第２属性との差分であることを示してもよい。第１属性情報が第１属性と第２属性との差分であることにより第１属性情報のデータ量を削減できる可能性がある。
　例えば、前記制御情報は、前記差分に適用されるオフセット情報及びスケール情報の少なくとも一方を含んでもよい。オフセット情報及びスケール情報の少なくとも一方を用いて変換を行うことで第１属性情報のデータ量を削減できる可能性がある。
　例えば、前記オフセット情報及び前記スケール情報の少なくとも前記一方は、前記三次元点の複数の属性の各々に個別に設けられてもよい。これにより、オフセット情報及びスケール情報の少なくとも一方を、属性情報毎に設定できるので、第１属性情報のデータ量を削減できる。
　例えば、前記第１属性情報は、前記第２属性に関する第２属性情報が格納される第２コンポーネントとは異なる第１コンポーネントに格納されてもよい。
　例えば、前記第１コンポーネントを表す第１次元数は、前記第２コンポーネントを表す第２次元数と異なってもよい。これにより、第１属性と第２属性との次元数が異なる場合であっても第１属性情報のデータ量を削減できる。
　例えば、前記第１属性及び前記第２属性は、前記三次元点の第１色及び第２色をそれぞれ示し、前記第１色及び前記第２色の各々は、複数次元で表されてもよい。これにより、相関性がある可能性がある、三次元点の複数の色の依存関係を利用することでデータ量を削減できる。
　例えば、前記第１属性及び前記第２属性は、前記三次元点の色及び反射率をそれぞれ示し、前記色を表す第１次元数は３であり、前記反射率を表す第２次元数は１であってもよい。これにより、相関性がある可能性がある色と反射率との依存関係を利用することでデータ量を削減できる。
　また、本開示の一態様に係る復号装置は、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリを用いて、制御情報を受信し、受信した前記制御情報に従い、三次元点の第１属性に関する第１属性情報を復号し、受信した前記制御情報は、前記第１属性が、前記三次元点の第２属性に依存していることを示す。
　また、本開示の一態様に係る符号化装置は、プロセッサと、メモリと、を備え、前記プロセッサは、前記メモリを用いて、三次元点の第１属性に関する第１属性情報を符号化し、符号化された前記第１属性情報と、制御情報とを送信し、前記制御情報は、前記第１属性が、前記三次元点の第２属性に依存していることを示す。
　なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭ等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　（実施の形態）
　以下、本実施の形態に係る三次元データ符号化装置及び三次元データ復号装置について説明する。三次元データ符号化装置は、三次元データを符号化することでビットストリームを生成する。三次元データ復号装置は、当該ビットストリームを復号することで三次元データを生成する。
　三次元データは、例えば、三次元点群データ（点群データとも呼ぶ）である。点群は、複数の三次元点が集まったものであり、対象物（オブジェクト）の三次元形状を示す。点群データは、複数の三次元点の位置情報及び属性情報を含む。当該位置情報は、各三次元点の三次元位置を示す。なお、位置情報は、ジオメトリ（ｇｅｏｍｅｔｒｙ）情報とも呼ばれる場合がある。例えば、位置情報は、直交座標系又は極座標系で表される。
　属性情報は、例えば、色情報、反射率、透過率、赤外情報、法線ベクトル、又は時刻情報などを示す。１つの三次元点は、単一の属性情報を持つ場合もあれば、複数種類の属性情報を持つ場合もある。
　属性情報は、属性の種類に応じて次元数が異なる。例えば、色情報は、ＲＧＢ又はＹＣｂＣｒといった３つの要素（三次元）を有する。反射率は１つの要素（一次元）を有する。また、属性情報は、属性の種類に応じて、とり得る値の範囲、ビット深度、又は負の値をとり得るか否かなど、制限が異なる場合がある。
　なお、属性情報の複数の種類とは、色情報と反射率といった情報種別が異なるものに限らず、ＲＧＢとＹｃｂＣｒといったフォーマットが異なるもの、及び、異なる視点から見た場合の色情報など情報の中身が異なるものも含む。また、以下では、種類の異なる属性情報を単に異なる属性情報等と記す場合もある。
　なお、三次元データは、点群データに限らず、メッシュデータ等の他の三次元データであってもよい。メッシュデータ（三次元メッシュデータとも呼ぶ）は、ＣＧ（Ｃｏｍｐｕｔｅｒ　Ｇｒａｐｈｉｃｓ）に用いられるデータ形式であり、面情報の集まりで対象物の三次元形状を示す。例えば、メッシュデータは、点群情報（例えば頂点（ｖｅｒｔｅｘ）情報）を含む。よって、この点群情報に対して、点群データに対応する手法と同様の手法を適用できる。
　従来の三次元データの符号化及び復号システムでは、複数種類の属性情報は、それぞれ独立して符号化及び復号される。
　本実施の形態では、三次元データ符号化装置は、複数種類の属性情報を符号化する場合に、複数種類の属性情報の少なくとも１つを、別の属性情報を用いて変換し、変換後の情報を符号化する。これにより、符号化データのデータ量を削減できる。
　例えば、点群データは、第１の属性情報及び第２の属性情報を有する。三次元データ符号化装置は、点毎に、第２の属性情報から第１の属性情報を減算することで差分情報である第３の属性情報を生成する。
　三次元データ符号化装置は、第１の属性情報、及び第３の属性情報をそれぞれ符号化することでビットストリームを生成する。また、三次元データ符号化装置は、第３の属性情報が、第２の属性情報から第１の属性情報が減算されて生成された情報であることを示すメタデータ（制御情報）を生成し、当該メタデータをビットストリームに格納する。
　三次元データ復号装置は、第１の属性情報および第３の属性情報を復号し、復号された第１の属性情報、第３の属性情報、及びメタデータを用いて第２の属性情報を復元する。
　より具体的には、例えば、三次元点を複数の視点から観察した場合、視点毎に光の当たり方及び見え方が異なるため、三次元点は視点毎に異なる色の値を持つ。図１は、このような点群データの構成例を示す図である。図１に示すように、各点は、位置情報と、第１の色情報と、第２の色情報とを有する。ここで、第１の色情報及び第２の色情報は属性情報であり、例えば、異なる視点に対応する色情報である。
　このような点群では、第１の色情報及び第２の色情報の相関が高い可能性がある。よって、上記方法を用いて第２の色情報から第１の色情報を減算することで、第２の色情報よりデータサイズの小さい差分情報（第３の属性情報）を生成することができる可能性がある。よって、三次元データ符号化装置は、第２の色情報の代わりに差分情報を第３の属性情報として符号化することで、符号化データのデータ量を削減できる可能性がある。
　また、三次元データ符号化装置は、第３の属性情報が、第１の色情報と第２の色情報との差分であることを示すメタデータをビットストリームに格納する。これにより、三次元データ復号装置は、メタデータに基づき第１の色情報と差分情報とから第２の色情報を復元することが可能となる。
　以下、本実施の形態に係る三次元データ符号化装置及び三次元データ復号装置の構成を説明する。図２は、本実施の形態に係る三次元データ符号化装置１００の構成を示すブロック図である。三次元データ符号化装置１００は、複数の属性情報（第１～第３の属性情報）を符号化することで符号化属性情報及び符号化変換情報を生成する。この三次元データ符号化装置１００は、属性情報変換部１０１と、属性情報符号化部１０２とを備える。なお、図２では、属性情報の符号化に関する処理部のみを記載している。三次元データ符号化装置１００は、位置情報を符号化する位置情報符号化部等、その他の処理部を備えてもよい。
　属性情報変換部１０１は、複数の属性情報（第１の属性情報、第２の属性情報、及び第３の属性情報）を、複数の変換後属性情報に変換する。つまり、属性情報変換部１０１は、複数の属性情報に含まれる対象属性情報を、対象属性情報と異なる、複数の属性情報に含まれる参照属性情報を用いて変換する。また、属性情報変換部１０１は、属性情報の変換に関する情報である変換情報を生成する。
　属性情報変換部１０１は、変換情報を、複数の属性情報間の相関に基づいて生成する。変換情報は、変換後属性情報のデータ量を減少させるために設けられる。変換情報は、例えば、対象属性情報の変換に用いた参照属性情報を指定する情報を含む。また、変換情報は、変換の態様（Ｔｙｐｅ）を示す情報を含む。変換の態様を示す情報としては、例えば、対象属性情報と参照属性情報とを用いる、変換のための演算式を指定する情報である。なお、属性情報変換部１０１は、複数の属性情報間の相関に代えて、複数の属性情報間の依存関係に基づいて変換情報を生成してもよい。
　なお、属性情報変換部１０１は、複数の属性情報のうち２つの属性情報を用いて変換処理を行ってもよいし、複数の属性情報のうち３以上の属性情報を用いて変換処理を行ってもよい。すなわち、属性情報変換部１０１は、２以上の参照属性情報を用いて対象属性情報を変換してもよい。つまり、属性情報変換部１０１は、３以上の属性情報を用いて１つの変換後属性情報を生成してもよい。また、属性情報変換部１０１から出力される複数の変換後属性情報は、変換されない属性情報を含んでもよいし、含まなくてもよい。
　属性情報符号化部１０２は、複数の変換後属性情報のそれぞれを、１つの属性コンポーネントとして符号化する。属性情報符号化部１０２は、複数の属性コンポーネントを含む符号化属性情報をビットストリームに格納する。また、属性情報符号化部１０２は、複数の変換後属性情報に対する変換情報と、複数の変換後属性情報と複数の属性コンポーネントとの対応関係を示す識別情報とを符号化することで符号化変換情報を生成し、生成された符号化変換情報をビットストリームに格納する。例えば、識別情報は、複数の変換後属性情報のそれぞれと、属性コンポーネントの識別番号（属性コンポーネント識別子）との対応関係を示す情報である。識別番号は、例えば、当該属性コンポーネントが、ビットストリーム内の何番目の属性コンポーネントであるかに基づき設定される。
　図３は、本実施の形態に係る三次元データ復号装置２００の構成を示すブロック図である。三次元データ復号装置２００は、ビットストリームに含まれる符号化属性情報及び符号化変換情報を復号することで複数の属性情報（第１～第３の属性情報）を生成する。この三次元データ復号装置２００は、属性情報復号部２０１と、属性情報逆変換部２０２とを備える。なお、図３では、属性情報の復号に関する処理部のみを記載している。三次元データ復号装置２００は、位置情報を復号する位置情報復号部等、その他の処理部を備えてもよい。
　属性情報復号部２０１は、符号化属性情報を復号することで複数の変換後属性情報を生成する。また、属性情報復号部２０１は、符号化変換情報を復号することで変換情報及び識別情報を生成する。
　属性情報逆変換部２０２は、複数の変換後属性情報を、変換情報に基づき逆変換することで複数の属性情報（第１～第３の属性情報）を生成する。
　次に、変換処理として、第１の色情報と第２の色情報との差分情報を生成する例を説明する。図４は、この場合の属性情報変換部１０１Ａに入出力される情報の例を示す図である。属性情報変換部１０１Ａは、図２に示す属性情報変換部１０１の一例である。
　この例では、属性情報変換部１０１Ａは、点群を構成する複数の点に対して、第１の色情報には変換処理を行わず、第１の色情報をそのまま第１の変換後属性情報として属性情報符号化部１０２へ出力する。
　例えば、ｎ＝ｉの点においては、Ａ（ｉ）がそのまま出力される。ここで、Ａ（ｉ）は点ｉの第１の色情報であり、ｉは点（三次元点）の識別子である。
　一方、点群を構成する複数の点に対して、第２の色情報から、第１の色情報が減算されることで第１の差分情報が算出される。
　例えば、ｎ＝ｉの点では、第１の差分情報Ｃ（ｉ）＝Ｂ（ｉ）－Ａ（ｉ）＝（ＲＢｉ－ＲＡｉ，ＧＢｉ－ＧＡｉ，ＢＢｉ－ＢＡｉ）が算出される。ここで、Ｂ（ｉ）は点ｉの第２の色情報である。ＲＡｉ、ＧＡｉ、ＢＡｉはそれぞれ第１の色情報の赤色成分、緑色成分、青色成分であり、ＲＢｉ、ＧＢｉ、ＢＢｉはそれぞれ第２の色情報の赤色成分、緑色成分、青色成分である。つまり、この例では、第１の差分情報は三次元の要素を持つ。
　また、属性情報変換部１０１Ａは、第１の差分情報が、第２の色情報から第１の色情報の値が減算されて生成されたことを示す変換情報を生成する。
　さらに、属性情報変換部１０１Ａは、第１の差分情報の生成の際に、スケール値Ｓ＝（Ｓ０、Ｓ１、Ｓ２）を用いた乗算又は除算であるスケーリング処理、及び、オフセット値Ｏ＝（Ｏ０、Ｏ１、Ｏ２）を用いた加算又は減算であるオフセット処理の少なくとも一方を行ってもよい。
　例えば、第１の差分情報Ｃ（ｉ）＝Ｂ（ｉ）－Ａ（ｉ）×Ｓ＋Ｏ＝（ＲＢｉ－ＲＡｉ×Ｓ０＋Ｏ０，ＧＢｉ－ＧＡｉ×Ｓ１＋Ｏ１，ＢＢｉ－ＢＡｉ×Ｓ２＋Ｏ２）が算出されてもよい。
　これにより、属性間の値の分散、或いは、属性の平均又は中央値などの分布に応じて、スケール値又はオフセット値により差分情報の値をより小さくできる可能性がある。
　また、差分情報が負の値である場合、オフセット情報を加算することにより差分情報を正の値に変換することができる。これにより、属性情報符号化部１０２が負の値の符号化に対応しない場合であっても、属性情報符号化部１０２は差分情報を符号化できる。
　なお、属性情報変換部１０１Ａは、属性情報のビット深度などの予め定められた設定情報に基づきオフセット値又はスケール値を決定してもよい。または、属性情報変換部１０１Ａは、点群内の属性情報の値の範囲を調査し、当該範囲に基づきオフセット値又はスケール値を決定してもよい。または、属性情報変換部１０１Ａは、差分情報の値が最小となるオフセット値又はスケール値を調査してもよい。つまり、属性情報変換部１０１Ａは、オフセット値とスケール値との組み合わせ毎に差分情報を算出し、最も値が小さい差分情報が得られたオフセット値とスケール値との組み合わせを選択してもよい。
　例えば、属性情報の種類毎にオフセット値又はスケール値が設定される。また、複数のフレームの点群で共通のオフセット値又はスケール値が用いられてもよいし、フレーム毎に個別のオフセット値又はスケール値が用いられてもよい。または、フレームが分割された処理単位（グループ）であるスライス毎に個別のオフセット値又はスケール値が用いられてもよい。
　また、属性情報が複数次元の要素を持つ場合、次元毎にオフセット値又はスケール値が設定されてもよいし、全ての次元に対して共通のオフセット値又はスケール値が設定されてもよい。
　また、図４に示す例において、第３の色情報Ｄが属性情報変換部１０１Ａに入力され、第３の色情報Ｄと第１の色情報Ａの差分情報Ｅ（＝Ｄ－Ａ）が出力されてもよい。この場合、差分情報Ｃの算出に用いられるオフセット値又はスケール値と、差分情報Ｅの算出に用いられるオフセット値又はスケール値とは同じであってもよいし、異なってもよい。属性情報毎に異なるオフセット値又はスケール値を用いることで、符号化データのデータ量をより削減できる可能性がある。
　また、オフセット値又はスケール値を示すオフセット情報を含む変換情報が、属性情報符号化部１０２で符号化され、符号化された変換情報がビットストリームに格納される。
　また、図４では、２つの色情報の差分情報が算出される例を示したが、色情報と反射率との差分情報のように、情報種別が異なる属性情報の差分情報が算出されてもよい。この場合、差分情報が算出される２つの属性情報の次元数が異なってもよい。例えば、一次元の反射率Ｉから三次元の色情報Ａを減算することにより差分情報が導出されもよい。例えば、この場合、差分情報Ｃ（ｉ）＝Ｉ（ｉ）－Ａ（ｉ）＝（Ｉｉ－ＲＡｉ，Ｉｉ－ＧＡｉ，Ｉｉ－ＢＡｉ）が算出される。
　なお、三次元の色情報Ａから一次元の反射率Ｉが減算されてもよい。また、この場合においてもオフセット値又はスケール値が用いられてもよい。
　また、２つの色情報は、ＲＧＢとＹＵＶ又はＹＣｂＣｒとのようにカラーマトリックスが異なってもよい。また、この場合、差分を算出する要素の組み合わせは任意でよい。例えば、ＲＧＢとＹＵＶとの差分が算出される場合において、Ｒ成分とＹ成分との差分が算出されてもよいし、Ｒ成分とＵ成分又はＶ成分との差分が算出されてもよい。
　ここで、色情報と反射率とは相関がある場合がある。このような場合に、色情報と反射率との差分情報を符号化することで符号化データのデータ量を削減でき、符号化効率を向上できる。なお、差分を算出する属性情報の組み合わせは上記に限らず、相関がある任意の属性情報の組み合わせに適用できる。相関がある属性情報の組み合わせとは、例えば、色情報、反射率、透過率、及び赤外情報等である。
　なお、上記説明では１フレームの点群の属性情報の符号化を例に説明したが、複数のフレームの点群の属性情報を符号化する場合にも本方式を適用できる。また、複数フレームの点群の属性情報を時間予測を用いて符号化する場合にも本方式を適用できる。つまり、上記の第１の色情報は、対象フレームの第１の色情報と参照フレームの第１の色情報との差分である第１残差であり、上記の第２の色情報は、対象フレームの第２の色情報と参照フレームの第２の色情報との差分である第２残差であり、上記の第１の差分情報は第１残差と第２残差との差分であってもよい。また、１フレームのデータを複数のスライスデータに分割し、スライスデータ毎に符号化が行われてもよい。
　次に、上記処理に関するシンタックスの例を説明する。図５は、ＳＰＳのシンタックス例を示す図である。ＳＰＳ（Ｓｅｑｕｅｎｃｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）は、複数フレーム共通のメタデータ（パラメータセット）である。
　このＳＰＳは、ｓｐｓ＿ｉｄｘと、ｃｏｍｍｏｎ＿ｉｎｆｏｒｍａｔｉｏｎ（）と、ａｔｔｒｉｂｕｔｅ＿ｔｙｐｅと、ｉｎｓｔａｎｃｅ＿ｉｄと、ｎｕｍ＿ｄｉｍｅｎｓｉｏｎと、ｎｕｍ＿ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒと、ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒ（ｉ）と、ａｔｔｒｉｂｕｔｅ＿ｉｎｆｏ（）とを含む。
　ｓｐｓ＿ｉｄｘは、ＳＰＳの識別子である。ｃｏｍｍｏｎ＿ｉｎｆｏｒｍａｔｉｏｎ（）は、シーケンス全体に関わる付加情報である。ａｔｔｒｉｂｕｔｅ＿ｔｙｐｅと、ｉｎｓｔａｎｃｅ＿ｉｄと、ｎｕｍ＿ｄｉｍｅｎｓｉｏｎと、ｎｕｍ＿ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒと、ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒ（ｉ）とは属性情報毎に設定される。
　ａｔｔｒｉｂｕｔｅ＿ｔｙｐｅは属性情報の識別子である。ｉｎｓｔａｎｃｅ＿ｉｄは同一属性タイプのインスタンスを識別するための識別子である。ｎｕｍ＿ｄｉｍｅｎｓｉｏｎは、属性情報の次元数を示す。ａｔｔｒｉｂｕｔｅ＿ｉｎｆｏ（）は、属性情報に関わるその他の付加情報である。
　ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒ（）は、属性情報ごとの様々な種類の付加情報（メタデータ）を含み、汎用的なフォーマットを有する。ｎｕｍ＿ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒは、ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒの数を示す。
　図６は、ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒ（ｉ）のシンタックス例を示す図である。ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒ（ｉ）は、ａｔｔｒ＿ｐａｒａｍ＿ｔｙｐｅと、ａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｏｆｆｓｅｔ＿ｎｕｍ＿ｂｉｔｓと、ａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｏｆｆｓｅｔと、ａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｓｃａｌｅ＿ｎｕｍ＿ｂｉｔｓと、ａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｓｃａｌｅと、ａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｓｃａｌｅ＿ｆｒａｃ＿ｂｉｔｓとを含む。
　ａｔｔｒ＿ｐａｒａｍ＿ｔｙｐｅは、ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒのタイプ（種類）を示す。例えば、ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍ＿ｔｙｐｅ＝３の場合、ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒ（ｉ）は、ａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｏｆｆｓｅｔ＿ｎｕｍ＿ｂｉｔｓと、ａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｏｆｆｓｅｔと、ａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｓｃａｌｅ＿ｎｕｍ＿ｂｉｔｓと、ａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｓｃａｌｅと、ａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｓｃａｌｅ＿ｆｒａｃ＿ｂｉｔｓとを含む。
　ここで、ｎｕｍ＿ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒを０以上に設定し、ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍ＿ｔｙｐｅ＝３を有効にすることは、変換情報を含むか否かを示すフラグを有効（変換情報を含む）に設定することと等価である。
　ａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｏｆｆｓｅｔ＿ｎｕｍ＿ｂｉｔｓと、ａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｏｆｆｓｅｔと、ａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｓｃａｌｅ＿ｎｕｍ＿ｂｉｔｓと、ａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｓｃａｌｅと、ａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｓｃａｌｅ＿ｆｒａｃ＿ｂｉｔｓとは、オフセット値及びスケール値に関するオフセット情報である。
　ａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｏｆｆｓｅｔは、復号された属性情報を元（ソース）の属性情報に戻すためのオフセット値を示す。
　ａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｓｃａｌｅは、復号された属性情報を元の属性情報に戻すためのスケール値を示す。
　ａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｏｆｆｓｅｔ＿ｎｕｍ＿ｂｉｔｓは、オフセット値（ａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｏｆｆｓｅｔ）のビット数を示す。なお、ａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｏｆｆｓｅｔ＿ｎｕｍ＿ｂｉｔｓで示されるビット数が０ビットの場合は、オフセット処理をしない（つまりｏｆｆｓｅｔ＝０）ことを意味する。つまり、ａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｏｆｆｓｅｔ＿ｎｕｍ＿ｂｉｔｓは、オフセット値を示すか否か（オフセット処理を行う否か）を示すフラグの機能を有する。
　ａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｓｃａｌｅ＿ｎｕｍ＿ｂｉｔｓは、スケール値（ａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｓｃａｌｅ）のビット数を示す。ａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｓｃａｌｅ＿ｎｕｍ＿ｂｉｔｓで示されるビット数が０ビットの場合は、スケーリング処理をしない（つまりｓｃａｌｅ＝１）ことを意味する。つまり、ａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｓｃａｌｅ＿ｎｕｍ＿ｂｉｔｓは、スケール値を示すか否か（スケーリング処理を行うか否か）を示すフラグの機能を有する。
　ａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｓｃａｌｅ＿ｆｒａｃ＿ｂｉｔｓは、ｓｃａｌｅ値の小数点以下の値を表現するためのビット数を示す。このａｔｔｒｉｂｕｔｅ＿ｓｏｕｒｃｅ＿ｓｃａｌｅ＿ｆｒａｃ＿ｂｉｔｓ、及び、下記（式１）を用いてｓｃａｌｅ値が算出される。
Figure JPOXMLDOC01-appb-M000001
　次に、色情報、差分情報及び変換情報の符号化の例について説明する。図４に示す第１の色情報、及び第１の差分情報は、それぞれ１つの属性コンポーネントとして、ＬｏＤ　ｂａｓｅｄ　ａｔｔｒｉｂｕｔｅ又はＴｒａｎｓｆｏｒｍ　ｂａｓｅｄ　ａｔｔｒｉｂｕｔｅなどの属性情報の任意の符号化方法を用いて符号化される。
　なお、ＬｏＤ　ｂａｓｅｄ　ａｔｔｒｉｂｕｔｅとは、ＬｏＤ（Ｌｅｖｅｌ　ｏｆ　Ｄｅｔａｉｌ）を用いた変換方法の１つであり、予測残差を算出する方法である。また、ＬｏＤは位置情報に応じて三次元点を階層化する手法であり、点間の距離（疎密）に応じて三次元点を階層化する手法である。
　Ｔｒａｎｓｆｏｒｍ　ｂａｓｅｄ　ａｔｔｒｉｂｕｔｅとは、例えば、ＲＡＨＴ（Ｒｅｇｉｏｎ　Ａｄａｐｔｉｖｅ　Ｈｉｅｒａｒｃｈｉｃａｌ　Ｔｒａｎｓｆｏｒｍ）方式等である。ＲＡＨＴとは、三次元点の位置情報を用いて属性情報を変換する手法であり、Ｈａａｒ変換等を属性情報に適用することで、各階層の高周波数成分及び低周波数成分が生成され、それらの値が量子化及びエントロピー符号化等される。
　また、第１の色情報は、三次元の第１の属性コンポーネントとして符号化され、第１の差分情報は、三次元の第２の属性コンポーネントとして符号化される。なお、第１の差分情報は、上述したように、変換され且つデータ量が削減された属性情報である。
　図７は、ビットストリームの構成を示す図である。図７に示すようにビットストリームは、ＳＰＳと、ＧＰＳと、ＡＰＳ（０）と、ＡＰＳ（１）と、Ｇｅｏｍ（０）と、Ａｔｔｒ（０）と、Ａｔｔｒ（１）とを含む。
　第１の属性コンポーネント（第１の色情報）の符号化データは、データユニットＡｔｔｒ（０）に格納される。Ａｔｔｒ（０）のデータユニットヘッダには属性コンポーネント識別子ａｔｔｒ＿ｉｄ＝０が格納される。第２の属性コンポーネント（第１の差分情報）の符号化データは、データユニット、Ａｔｔｒ（１）に格納される。Ａｔｔｒ（１）のデータユニットヘッダには属性コンポーネント識別子ａｔｔｒ＿ｉｄ＝１が格納される。
　図８は、第１の属性コンポーネント及び第２の属性コンポーネントの構成を示す図である。図８に示すように、第１の属性コンポーネント及び第２の属性コンポーネントの各々は、三次元の要素を持つ。
　また、属性情報の符号化に関するメタデータはＡＰＳに格納される。ＡＰＳ（Ａｔｔｒｉｂｕｔｅ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）は属性情報の符号化に関わるメタデータ（パラメータセット）であり、ＡＰＳ（０）は、第１の属性コンポーネントに関わるメタデータであり、ＡＰＳ（１）は、第２の属性コンポーネントに関わるメタデータある。例えば、ＡＰＳは、複数フレームに共通のメタデータである。
　なお、ここでは、属性コンポーネント毎にＡＰＳが設けられているが、２つの属性コンポーネントで同一の符号化パラメータが用いられる場合は、２つの属性コンポーネントに対して共通の１つのＡＰＳが設けられ、当該１つのＡＰＳが２つの属性コンポーネントから参照されてもよい。
　Ｇｅｏｍ（０）は、位置情報の符号化データである。ＧＰＳ（Ｇｅｏｍｅｔｒｙ　Ｐａｒａｍｅｔｅｒ　Ｓｅｔ）は、位置情報の符号化に関わるメタデータ（パラメータセット）である。例えば、ＧＰＳは、複数フレームに共通のメタデータである。
　変換情報は、ＳＰＳ及びＳＥＩの少なくとも一方に格納される。ＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ　Ｅｎｈａｎｃｅｍｅｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ）は拡張情報であり、復号時に必ずしも用いない可能性のあるパラメータ（オプションのパラメータ）が格納される。
　図９は、ＳＰＳに格納される情報の一例を示す図である。ＳＰＳは、第１の属性コンポーネント（Ａｔｔｒｉｂｕｔｅ０）が色情報であることを示す属性識別子（ａｔｔｒｉｂｕｔｅ＿ｔｙｐｅ＝ｃｏｌｏｒ）と、第１の属性コンポーネントの属性コンポーネント識別子（ａｔｔｒ＿ｉｄ＝０）と、第１の属性コンポーネントの次元数（ｎｕｍ＿ｄｉｍｅｎｓｉｏｎ＝３）とを含む。また、ＳＰＳは、第２の属性コンポーネント（Ａｔｔｒｉｂｕｔｅ１）が色情報の差分情報であることを示す属性識別子（ａｔｔｒｉｂｕｔｅ＿ｔｙｐｅ＝ｃｏｌｏｒ　ｄｉｆｆｅｒｅｎｃｅ）と、第２の属性コンポーネントの属性コンポーネント識別子（ａｔｔｒ＿ｉｄ＝１）と、第２の属性コンポーネントの次元数（ｎｕｍ＿ｄｉｍｅｎｓｉｏｎ＝３）とを含む。
　なお、ここで、第２の属性コンポーネントの属性識別子は、当該属性コンポーネント（属性情報）が色情報の差分情報であることを示しているが、当該属性コンポーネント（属性情報）が変換された属性情報であることを示してもよいし、当該属性コンポーネント（属性情報）が２つ属性情報の差分情報であることを示してもよい。
　なお、別の方法を用いて属性コンポーネントが差分情報（又は変換後属性情報）であることが示されてもよい。例えば、属性識別子は属性コンポーネントが色情報であることを示し（ａｔｔｒｉｂｕｔｅ＿ｔｙｐｅ＝ｃｏｌｏｒ）、当該情報が基準の色情報に対する差分情報であることが別のシンタックスを用いて示されてもよい。図１０は、この場合のＳＰＳに格納される情報の別の例を示す図である。なお、図１０は、後述する図１３に示すシンタックスが用いられる場合の情報の例である。図１０に示す例は、図９に示す例に対して第２の属性コンポーネント（Ａｔｔｒｉｂｕｔｅ１）の情報が異なる。具体的には、属性識別子により第２の属性コンポーネントが色情報であることが示され（ａｔｔｒｉｂｕｔｅ＿ｔｙｐｅ＝ｃｏｌｏｒ）、第２の属性コンポーネントが変換された情報であることを示す情報（ａｔｔｒ＿ｐａｒａｍ＿ｔｙｐｅ＝４、ｒｅｆｅｒｅｎｃｅ＿ａｔｔｒ＿ｉｄ＝０、ｄｅｐｅｎｄｅｎｔ＿ｔｙｐｅ＝０）が追加されている。なお、これらの情報の詳細については図１３の説明において後述する。
　また、ＳＰＳにおいて属性コンポーネントの情報が示される順番をａｔｔｒ＿ｉｄと定義し、ＳＰＳにａｔｔｒ＿ｉｄが含まれなくてもよい。つまり、三次元データ復号装置は、ＳＰＳにおいて属性コンポーネントの情報が示される順番に基づき、属性コンポーネントのａｔｔｒ＿ｉｄを判定してもよい。
　次に、属性情報符号化部１０２の構成及び差分情報を符号化する処理について説明する。なお、ここでは、属性情報符号化部１０２がＬｏＤを用いた符号化を行う符号化部（ＬｏＤ　ｂａｓｅｄ　ａｔｔｒｉｂｕｔｅ　ｅｎｃｏｄｅｒ）である場合の例を説明する。
　図１１は、属性情報符号化部１０２の構成を示すブロック図である。属性情報符号化部１０２は、ＬｏＤ生成部１１１と、隣接探索部１１２と、予測部１１３と、残差算出部１１４と、量子化部１１５と、逆量子化部１１６と、再構成部１１７と、メモリ１１８と、算術符号化部１１９とを備える。
　ＬｏＤ生成部１１１は、複数の三次元点の位置（ｇｅｏｍｅｔｒｙ）情報を用いてＬｏＤ階層を生成する。隣接探索部１１２は、ＬｏＤの生成結果と三次元点間の距離情報とを用いて、処理対象の対象点の近隣の三次元点（隣接点）を探索する。
　予測部１１３は、差分情報の予測値を生成する。例えば、予測部１１３は、符号化済の隣接点の差分情報を用いて予測値を生成する。残差算出部１１４は、差分情報と予測値との差分である予測残差を生成する。
　量子化部１１５は、差分情報の予測残差を量子化する。逆量子化部１１６は、量子化後の予測残差を逆量子化する。再構成部１１７は、予測値と逆量子化後の予測残差とを加算することで、対象点の予測残差が復号された復号値を生成する。メモリ１１８は、符号化及び復号済みの複数の三次元点の差分情報（復号値）を記憶する。メモリ１１８に記憶される復号値は、予測部１１３による後続の三次元点の予測に利用される。
　算術符号化部１１９は、量子化後の予測残差を算術符号化する。なお、算術符号化部１１９は、量子化後の予測残差を二値化し、二値化後の予測残差を算術符号化してもよい。
　なお、差分情報を符号化する場合と、他の属性コンポーネントから参照される参照コンポーネント（参照属性情報）を符号化する場合とで異なる符号化パラメータ又は量子化値（量子化パラメータ）が用いられてもよい。例えば、参照コンポーネントは他のコンポーネントから参照されるため重要度が高い可能性がある。よって、参照コンポーネントは可逆圧縮され、差分情報は不可逆圧縮されてもよい。これにより、全体としての情報の劣化を抑制しつつ、符号化効率を向上できる。つまり、三次元データ符号化装置は、符号化対象の複数の属性情報を、参照コンポーネントと差分情報とに分類し、参照コンポーネントと差分情報とのそれぞれに適した符号化パラメータを選択して符号化してもよい。これにより、符号化効率の改善が期待できる。なお、参照コンポーネントは、属性情報が差分情報として符号化されない（属性情報がそのまま符号化される）属性コンポーネントであってもよい。
　また、ここでは差分情報を符号化する例を説明したが、差分情報以外の変換後属性情報を符号化する場合、又は、変換が行われない属性情報を符号化する場合にも、上記と同様の符号化処理を適用できる。
　次に、属性情報復号部２０１の構成及び差分情報を復号する処理について説明する。なお、ここでは、属性情報復号部２０１がＬｏＤを用いた復号を行う復号部（ＬｏＤ　ｂａｓｅｄ　ａｔｔｒｉｂｕｔｅ　ｄｅｃｏｄｅｒ）である場合の例を説明する。
　図１２は、属性情報復号部２０１の構成を示すブロック図である。属性情報復号部２０１は、ＬｏＤ生成部２１１と、隣接探索部２１２と、予測部２１３と、算術復号部２１４と、逆量子化部２１５と、再構成部２１６と、メモリ２１７とを備える。
　ＬｏＤ生成部２１１は、複数の三次元点の復号された位置情報を用いてＬｏＤを生成する。隣接探索部２１２は、ＬｏＤの生成結果と三次元点間の距離情報とを用いて、処理対象の対象点の近隣の三次元点（隣接点）を探索する。
　予測部２１３は、差分情報の予測値を生成する。例えば、予測部２１３は、復号済の隣接点の差分情報を用いて予測値を生成する。
　算術復号部２１４は、ビットストリームに含まれる符号化差分情報を算術復号することで予測残差（量子化された予測残差）を生成する。逆量子化部２１５は、算術復号した予測残差（量子化された予測残差）を逆量子化する。再構成部２１６は、予測値と逆量子化後の予測残差とを加算することで復号値を生成する。メモリ２１７は、復号済みの複数の三次元点の差分情報（復号値）を記憶する。メモリ２１７に記憶される復号値は、予測部２１３による後続の三次元点の予測に利用される。
　また、ここでは差分情報を復号する例を説明したが、差分情報以外の変換後属性情報を復号する場合、又は、変換が行われない属性情報を復号する場合にも、上記と同様の復号処理を適用できる。
　次に、変換情報のシンタックスの変形例を説明する。図１３は、ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒ（ｉ）のシンタックス例を示す図である。図１３に示すａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒは、ｉ番目の属性情報に関するパラメータであり、変換情報を含む。この例では、変換情報は、複数の属性コンポーネントが依存関係にあるか否かを示し、かつその依存関係を示す。
　具体的には、ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒは、ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍ＿ｔｙｐｅ＝４の場合、ｒｅｆｅｒｅｎｃｅ＿ａｔｔｒ＿ｉｄと、ｄｅｐｅｎｄｅｎｔ＿ｔｙｐｅとを含む。これらの情報により、当該属性コンポーネントが、他のコンポーネント依存する（従属コンポーネントである）ことが示される。
　ここで、ｎｕｍ＿ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒを０以上に設定し、ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍ＿ｔｙｐｅ＝４を有効にすることは、当該属性コンポーネントが、他のコンポーネント依存していることを示すフラグを有効に設定することであるともいえる。また、これは、元となる属性情報を、当該属性コンポーネント単体で復元できるか否かを示すフラグを有効に設定することであるともいえる。
　ｒｅｆｅｒｅｎｃｅ＿ａｔｔｒ＿ｉｄは、参照（依存先）コンポーネントの属性コンポーネント識別子を示す。ｄｅｐｅｎｄｅｎｔ＿ｔｙｐｅは、当該属性コンポーネントが、参照コンポーネントにどのように依存しているかを示す。例えば、ｄｅｐｅｎｄｅｎｔ＿ｔｙｐｅ＝０の場合は、当該属性コンポーネントは、参照コンポーネントに対する差分情報であることを示す。０以外の値を用いてその他の依存関係を示してもい。
　なお、ａｔｔｒ＿ｐａｒａｍ＿ｔｙｐｅ＝４の場合、当該属性コンポーネントが参照コンポーネントに対する差分情報であることを示すと定義する場合、ｄｅｐｅｎｄｅｎｔ＿ｔｙｐｅはビットストリームに含まれなくてもよい。
　ｒｅｆｅｒｅｎｃｅ＿ｏｆｆｓｅｔ＿ｎｕｍ＿ｂｉｔｓと、ｒｅｆｅｒｅｎｃｅ＿ｏｆｆｓｅｔと、ｒｅｆｅｒｅｎｃｅ＿ｓｃａｌｅ＿ｎｕｍ＿ｂｉｔｓと、ｒｅｆｅｒｅｎｃｅ＿ｓｃａｌｅと、ｒｅｆｅｒｅｎｃｅ＿ｓｃａｌｅ＿ｆｒａｃ＿ｂｉｔｓとは、オフセット値及びスケール値に関するオフセット情報である。
　ｒｅｆｅｒｅｎｃｅ＿ｏｆｆｓｅｔは、復号された属性情報を元（ソース）の属性情報に戻すためのオフセット値を示す。
　ｒｅｆｅｒｅｎｃｅ＿ｓｃａｌｅは、復号された属性情報を元の属性情報に戻すためのスケール値を示す。
　ｒｅｆｅｒｅｎｃｅ＿ｏｆｆｓｅｔ＿ｎｕｍ＿ｂｉｔｓは、オフセット値（ｒｅｆｅｒｅｎｃｅ＿ｏｆｆｓｅｔ）のビット数を示す。なお、ｒｅｆｅｒｅｎｃｅ＿ｏｆｆｓｅｔ＿ｎｕｍ＿ｂｉｔｓで示されるビット数が０ビットの場合は、オフセット処理をしない（つまりｏｆｆｓｅｔ＝０）ことを意味する。つまり、ｒｅｆｅｒｅｎｃｅ＿ｏｆｆｓｅｔ＿ｎｕｍ＿ｂｉｔｓは、オフセット値を示すか否か（オフセット処理を行う否か）を示すフラグの機能を有する。
　ｒｅｆｅｒｅｎｃｅ＿ｓｃａｌｅ＿ｎｕｍ＿ｂｉｔｓは、スケール値（ｒｅｆｅｒｅｎｃｅ＿ｓｃａｌｅ）のビット数を示す。ｒｅｆｅｒｅｎｃｅ＿ｓｃａｌｅ＿ｎｕｍ＿ｂｉｔｓで示されるビット数が０ビットの場合は、スケーリング処理をしない（つまりｓｃａｌｅ＝１）ことを意味する。つまり、ｒｅｆｅｒｅｎｃｅ＿ｓｃａｌｅ＿ｎｕｍ＿ｂｉｔｓは、スケール値を示すか否か（スケーリング処理を行うか否か）を示すフラグの機能を有する。
　ｒｅｆｅｒｅｎｃｅ＿ｓｃａｌｅ＿ｆｒａｃ＿ｂｉｔｓは、ｓｃａｌｅ値の小数点以下の値を表現するためのビット数を示す。このｒｅｆｅｒｅｎｃｅ＿ｓｃａｌｅ＿ｆｒａｃ＿ｂｉｔｓ、及び、下記（式２）を用いてｓｃａｌｅ値であるＳが算出される。
Figure JPOXMLDOC01-appb-M000002
　以上のシンタックスを用いて、図１０に示すＳＰＳの信号例が生成される。これにより、ａｔｔｒ＿ｉｄ＝１を持つ属性コンポーネントは、ａｔｔｒ＿ｉｄ＝０を持つ属性コンポーネントに対する差分情報であることを三次元データ復号装置へ通知できる。
　三次元データ復号装置は、変換情報を復号し、当該変換情報に基づき、ａｔｔｒ＿ｉｄ＝１を持つ属性コンポーネントは、ａｔｔｒ＿ｉｄ＝０を持つ属性コンポーネントに対する差分情報であると判定する。そして、三次元データ復号装置は、復号後の第１属性コンポーネントの差分情報と、第２属性コンポーネントの属性情報とを用いて、元の属性情報を復元できる。つまり、三次元データ復号装置は、ｒｅｆｅｒｅｎｃｅ＿ａｔｔｒ＿ｉｄ及びｄｅｐｅｎｄｅｎｔ＿ｔｙｐｅを解析することで、復号後の属性コンポーネントを用いて属性情報を復元する方法を一意に決定することができる。
　例えば、ｉ番目の点の復元後の属性情報であるＺ（ｉ）＝（Ｚ０、Ｚ１、Ｚ２）は以下の（式３）を用いて導出できる。
Figure JPOXMLDOC01-appb-M000003
　なお、Ｘ（ｉ）＝（Ｘ０、Ｘ１、Ｘ２）は復号後の第１属性コンポーネントのｉ番目の属性情報であり、Ｙ（ｉ）＝（Ｙ０、Ｙ１、Ｙ２）は復号後の第２属性コンポーネントのｉ番目の属性情報であり、Ｏは属性間のオフセット値であり、Ｓは属性間のスケール値である。
　また、復元後のデータのビット精度に応じて値の範囲を制限するクリップ処理が行われてもよい。復元後のデータのビット精度は、参照コンポーネントのビット精度と同じであると規定してもよいし、復元後のデータのビット精度を示す情報がメタデータに含まれて三次元データ復号装置へ通知されてもよい。
　また、ここで参照先の属性コンポーネントの属性コンポーネント識別子を示すｒｅｆｅｒｅｎｃｅ＿ａｔｔｒ＿ｉｄが用いられる例を示したが、例えば、参照先のグループを示すｇｒｏｕｐ＿ｉｄが用いられてもよい。ここで、１つのグループは複数の属性コンポーネントを含み、１つのｇｒｏｕｐ＿ｉｄに複数の属性コンポーネントが割り当てられる。三次元データ符号化装置及び三次元データ復号装置は、参照先のグループに含まれる複数の属性コンポーネントのいずれかを参照してもよい。例えば、参照先のグループに含まれる複数の属性コンポーネントのうち、属性コンポーネント識別子の値が最も小さい属性コンポーネントが参照されてもよい。
　また、上記では、複数の属性情報の変換の例として、２つの色情報間の差分、スケール、及びオフセットを用いた変換の例を説明したが、その他の方法を用いられてもよい。
　例えば、三次元点が３つ以上の色情報を有する場合、いずれか１つの色情報が参照コンポーネントとして用いられ、その他の属性コンポーネントから同一の参照コンポーネントが参照されてもよい。この場合、三次元データ復号装置は、参照コンポーネントを最初に復号することで、その他の属性コンポーネントを復号済の参照コンポーネントのデータを使用して復元することが可能である。よって、任意の属性コンポーネントを復号したい場合のランダムアクセス性を向上することが可能である。
　また、参照コンポーネントは複数設定されてもよい。これにより、属性コンポーネントの数が多い場合のランダムアクセス性を向上できる可能性がある。
　また、参照コンポーネントとして、元の属性情報がそのまま用いられず、元の属性情報を変換した情報が用いられてもよい。例えば、元の属性情報が量子化された情報が参照コンポーネントとして用いられてもよい。または、符号化された参照コンポーネントを復号した値が参照コンポーネントとして用いられてもよい。
　または、複数の属性情報の平均を算出し、算出された平均値が参照コンポーネントとして用いられてもよい。この場合、平均値を示す参照コンポーネントと、複数の差分情報の複数の属性コンポーネントとが生成される。複数の属性コンポーネントは、元の複数の属性情報に対応し、対応する元の属性情報と参照コンポーネントとの差分を示す。よって、この場合、属性コンポーネントの数は１増加する。
　いずれの場合も、それぞれの処理を示すｄｅｐｅｎｄｅｎｔ＿ｔｙｐｅ等の情報がビットストリームに含まれることにより、三次元データ復号装置は復元処理を実現できる。例えば、ｄｅｐｅｎｄｅｎｔ＿ｔｙｐｅにより、三次元データ復号装置におけるの復元処理が一意に定義される。
　また、当該データが差分情報（又は変換情報）であることは、ｄｅｐｅｎｄｅｎｔ＿ｔｙｐｅとは異なるシンタックスにより示されてもよい。
　また、参照コンポーネントなしには、独立に復号できない属性コンポーネントを従属コンポーネントと呼んでもよい。
　また、例えば、複数視点の色情報が存在する場合には、予め定められた初期視点の色情報が参照コンポーネントとして用いられてもよい。
　また、参照コンポーネントは１つに制限され、参照コンポーネントのｉｎｓｔａｎｃｅ＿ｉｄは値０に設定されると規定されてもよい。この場合、三次元データ符号化装置は、処理対象の属性コンポーネントが従属コンポーネントである場合、参照コンポーネントの属性コンポーネント識別子をビットストリームに付加しなくてもよい。この場合、三次元データ復号装置は、ｉｎｓｔａｎｃｅ＿ｉｄを参照し、ｉｎｓｔａｎｃｅ＿ｉｄ＝０の属性コンポーネントを参照コンポーネントであると判定してもよい。
　また、上記では、処理対象の属性コンポーネントと参照コンポーネントとで属性情報の種類（タイプ）又は次元数が異なる場合の例を説明した。この場合において、ｄｅｐｅｎｄｅｎｔ＿ｔｙｐｅにより参照方法が示されてもよい。例えば、ｄｅｐｅｎｄｅｎｔ＿ｔｙｐｅにより参照先（依存先）の要素が示されてもよい。例えば、参照コンポーネントの次元数が、処理対象の属性コンポーネントの次元数より多い場合には、処理対象の属性コンポーネントの各要素が、参照コンポーネントの複数の要素のうち、どの要素を参照するかが、ｄｅｐｅｎｄｅｎｔ＿ｔｙｐｅにより示されてもよい。また、ｄｅｐｅｎｄｅｎｔ＿ｔｙｐｅにより処理対象の属性コンポーネントと参照コンポーネントとで属性情報の種類が異なることが示されてもよいし、次元数が異なることが示されてもよい。なお、これらの情報は、ビットストリームに含まれるｄｅｐｅｎｄｅｎｔ＿ｔｙｐｅ以外の情報により示されてもよい。
　図１４は、三次元データ符号化装置による属性情報の符号化処理のフローチャートである。まず、三次元データ符号化装置は、複数の属性情報の復号を開始する（Ｓ１０１）。次に、三次元データ符号化装置は、少なくとも１つの属性情報を他の属性情報を用いて変換する（Ｓ１０２）。次に、三次元データ符号化装置は、参照コンポーネント及び従属コンポーネントをそれぞれ所定の方法で符号化する。また、三次元データ符号化装置は、メタデータに属性コンポーネント毎の情報を格納する（Ｓ１０３）。
　次に、三次元データ符号化装置は、処理対象の属性コンポーネントが従属コンポーネントである場合（Ｓ１０４でＹｅｓ）、メタデータに当該従属コンポーネントの参照コンポーネントの属性コンポーネント識別子（ＩＤ）、及び依存関係を示す情報等を格納する（Ｓ１０５）。
　図１５は、三次元データ復号装置による属性情報の復号処理のフローチャートである。まず、三次元データ復号装置は、ビットストリームから、複数の属性コンポーネント（参照コンポーネント及び従属コンポーネント）、及びメタデータを復号する（Ｓ２０１）。
　三次元データ復号装置は、処理対象の属性コンポーネントが従属コンポーネントである場合（Ｓ２０２でＹｅｓ）、ビットストリームに含まれるメタデータに記載されている参照コンポーネントの属性コンポーネント識別子（ＩＤ）に基づき、参照コンポーネントを特定し、参照コンポーネント、従属コンポーネント、及びメタデータの情報を用いて所定の方法で属性情報を復元する（Ｓ２０３）。
　なお、図１４及び図１５に示す処理は、フレーム単位で行われてもよいし、スライス単位で行われてもよい。
　なお、上記説明では、ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒをＳＰＳに格納する例を示したが、ＡＰＳ又はＳＥＩに格納してもよい。例えば、変換情報（依存関係）がフレーム毎に変化する場合はフレーム毎のＳＥＩに変換情報が格納されてもよい。例えば、フレーム毎のＳＥＩとして、ｆｒａｍｅ＿ａｔｔｒ＿ｐａｒａｍ＿ＳＥＩが挙げられる。
　なお、ＳＰＳとフレーム毎のＳＥＩとの両方に変換情報が示される場合は、三次元データ復号装置は、フレーム毎のＳＥＩを優先して用いる。
　図１６は、この場合のｆｒａｍｅ＿ａｔｔｒ＿ｐａｒａｍ＿ＳＥＩのシンタックス例を示す図である。この例では、ａｔｔｒｉｂｕｔｅ＿ｉｄｘにより変換情報（ａｔｔｒｉｂｕｔｅ＿ｐａｒａｍｅｔｅｒ）が適用される属性コンポーネントが指定される。つまり、属性コンポーネント毎に変換情報が指定される。なお、図１６に示すｓｐｓ＿ｉｄｘはＳＰＳのインデックスであり、ｆｒａｍｅ＿ｉｄｘはフレームのインデックスである。
　また、全ての属性コンポーネントに共通の変換情報が指定されてもよい。例えば、ａｔｔｒｉｂｕｔｅ＿ｓｔｒｕｃｔｕｒｅ＿ＳＥＩ等の全ての属性コンポーネントに共通のＳＥＩに変換情報が含まれてもよい。この場合、三次元データ復号装置は、ａｔｔｒｉｂｕｔｅ＿ｓｔｒｕｃｔｕｒｅ＿ＳＥＩを解析することにより、複数の属性コンポーネントの依存関係を判定することが可能である。
　また、部分復号に用いるＳＥＩを定義されてもよい。図１７は、このＳＥＩ（ａｎｇｌｅ＿ｐａｒｔｉａｌ＿ａｃｃｅｓｓ＿ＳＥＩ）のシンタックス例を示す図である。
　例えば、視点毎に異なる複数の色情報が符号化される場合、ＳＥＩに、視点（ａｎｇｌｅ）情報及び属性コンポーネント識別子（ａｔｔｒ＿ｉｄ）が含まれる。さらに従属コンポーネント（ｄｅｐｅｎｄｅｎｔ＿ｆｌａｇ＝１）に対して、参照コンポーネントの属性コンポーネント識別子（ｒｅｆｅｒｅｎｃｅ＿ａｔｔｒ＿ｉｄ）が示される。
　なお、図１７に示すｎｕｍ＿ａｎｇｌｅは視点の数を示し、ａｎｇｌｅは視点を示す。ｄｅｐｅｎｄｅｎｔ＿ｆｌａｇは、属性コンポーネントが従属コンポーネントであるか否かを示す。
　また、図示しないが、変換の態様を示す情報（例えば、参照コンポーネントに対する差分情報であることを示す情報、オフセット値及びスケール値等）がＳＥＩに含まれてもよい。また、これらの情報は、ＳＰＳとＳＥＩとの少なくとも一方に含まれればよい。
　図１８は、部分復号を行う場合の復号処理のフローチャートである。例えば、システムレイヤにおいて、図１８に示す処理が行われる。
　まず、三次元データ復号装置は、部分復号用のＳＥＩを復号及び解析する（Ｓ２１１）。次に、三次元データ復号装置は、視点情報を解析し、復号したい視点の属性情報の属性コンポーネント識別子（ＩＤ）を取得する（Ｓ２１２）。次に、三次元データ復号装置は、当該属性コンポーネントが従属コンポーネントである場合、参照コンポーネントの属性コンポーネント識別子を取得する（Ｓ２１３）。次に、三次元データ復号装置は、属性データユニットをサーチし、取得した属性コンポーネント識別子を持つデータユニットを抽出し、抽出したデータユニットを復号する（Ｓ２１４）。
　このように、三次元データ復号装置は、ビットストリームから、特定の視点の属性コンポーネント（参照コンポーネント及び従属コンポーネント）の属性コンポーネント識別子（ＩＤ）を取得し、当該属性コンポーネント識別子を用いてデータユニットを抽出する。
　なお、抽出されたデータユニットが復号されるのではなく、抽出されたデータユニットでビットストリーム又はファイルが再構成されてもよい。例えば、エッジは、サーバに対して、特定の視点の属性情報を含むビットストリーム又はファイルを要求する。サーバは、上記処理により、特定の視点の属性情報を抽出したビットストリーム又はファイルを生成し、当該ビットストリーム又はファイルをエッジに送信してもよい。これにより、送信するデータ容量を削減できるので、通信時間を短縮できる可能性がある。
　以上のように、本実施の形態に係る復号装置（三次元データ復号装置）は、図１９に示す処理を行う。復号装置は、制御情報（例えば変換情報）を受信し（Ｓ３０１）、受信した制御情報に従い、三次元点の第１属性に関する第１属性情報を復号し（Ｓ３０２）、受信した制御情報は、第１属性が、三次元点の第２属性に依存していることを示す。例えば、第１属性及び第２属性は変換前の属性情報である。また、第１属性に関する第１属性情報は、変換前の情報であってもよいし、変換後の情報であってもよい。
　第１属性が第２属性に依存することにより第１属性情報のデータ量を削減できる可能性がある。復号装置は、制御情報を用いて、このようにデータ量が削減された符号化データを適切に復号できる。また、復号装置で扱うデータ量を低減できる。
　例えば、制御情報は、第１属性情報が第１属性と第２属性との差分であることを示す。第１属性情報が第１属性と第２属性との差分であることにより第１属性情報のデータ量を削減できる可能性がある。例えば三次元点に複数の色が属性として関係付けられている場合、三次元点が存在する領域によっては、複数の色が略同じになる。この場合、領域によっては第１属性情報が０に近い値となり、データ量が小さくなる。したがって、領域ごとに制御情報を設けてもよい。
　例えば、制御情報は、差分に適用されるオフセット情報（例えばオフセット値）及びスケール情報（スケール値）の少なくとも一方を含む。オフセット情報及びスケール情報の少なくとも一方を用いて変換を行うことで第１属性情報のデータ量を削減できる可能性がある。例えば、第１属性と第２属性が一次関数の関係を満たす場合に第１属性情報の値が０に近い値となる。
　例えば、オフセット情報及びスケール情報の少なくとも一方は、三次元点の複数の属性の各々に個別に設けられる。これにより、オフセット情報及びスケール情報の少なくとも一方を、属性情報毎に設定できるので、第１属性情報のデータ量を削減できる。
　例えば、第１属性情報は、第２属性に関する第２属性情報が格納される第２コンポーネントとは異なる第１コンポーネントに格納される。第２属性に関する第２属性情報は、変換前の情報であってもよいし、変換後の情報であってもよい。
　例えば、第１コンポーネントを表す第１次元数は、第２コンポーネントを表す第２次元数と異なる。これにより、第１属性と第２属性との次元数が異なる場合であっても第１属性情報のデータ量を削減できる。
　ここで、コンポーネントは情報の格納単位であり、次元は情報を表現するものである。複数次元とは、例えば、ＲＧＢ形式におけるＲ成分、Ｇ成分、及びＢ成分である。ただし、複数次元はこれらに限らず、ＹＵＶ形式又はＣＭＹＫ形式の複数成分であってもよいし、その他の形式の複数成分であってもよい。
　例えば、第１属性及び第２属性は、三次元点の第１色及び第２色をそれぞれ示し、第１色及び第２色の各々は、複数次元で表される。これにより、相関性がある可能性がある、三次元点の複数の色の依存関係を利用することでデータ量を削減できる。
　例えば、第１属性及び第２属性は、三次元点の色及び反射率をそれぞれ示し、色を表す第１次元数は３であり、反射率を表す第２次元数は１である。これにより、相関性がある可能性がある色と反射率との依存関係を利用することでデータ量を削減できる。例えば、反射率が最小値に実質的に等しい場合、その反射率を有する三次元点の色は黒に近く、反射率が最大値に実質的に等しい場合、その反射率を有する三次元点の色は白に近い。そこで反射率によって第１属性情報を黒色又は白色を示す情報に復号する、と符号化装置と復号装置で取り決めておけば、データ量を削減できる可能性がある。
　また、最大値又は最小値の反射率を有する位置は連続している可能性があるため、反射率と色が依存していることを示す制御情報を領域ごとに設けてもよい。
　例えば、復号装置は、さらに、第２属性に関する第２属性情報を復号し、復号した第１属性情報を、福尾号した第２属性情報に基づき変換する。これによれば、復号装置は、第１属性情報を第２属性情報に基づき変換することでデータ量が削減された第１属性情報から元の第１属性情報を復元できる。
　例えば、第１属性情報は、第１属性と第２属性との差分であり、復号装置は、第１属性情報と第２属性情報とから第１属性を復元する。
　例えば、復号装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記処理を行う。
　また、本実施の形態に係る符号化装置（三次元データ符号化装置）は、図２０に示す処理を行う。符号化装置は、三次元点の第１属性に関する第１属性情報を符号化し（Ｓ４０１）、符号化された第１属性情報と、制御情報とを送信し（Ｓ４０２）、制御情報は、第１属性が、三次元点の第２属性に依存していることを示す。例えば、第１属性及び第２属性は変換前の属性情報である。また、第１属性に関する第１属性情報は、変換前の情報であってもよいし、変換後の情報であってもよい。第１属性が第２属性に依存することにより第１属性情報のデータ量を削減できる可能性がある。
　例えば、制御情報は、第１属性情報が第１属性と第２属性との差分であることを示す。第１属性情報が第１属性と第２属性との差分であることにより第１属性情報のデータ量を削減できる可能性がある。
　例えば、制御情報は、差分に適用されるオフセット情報（例えばオフセット値）及びスケール情報（スケール値）の少なくとも一方を含む。オフセット情報及びスケール情報の少なくとも一方を用いて変換を行うことで第１属性情報のデータ量を削減できる可能性がある。
　例えば、オフセット情報及びスケール情報の少なくとも一方は、三次元点の複数の属性の各々に個別に設けられる。これにより、オフセット情報及びスケール情報の少なくとも一方を、属性情報毎に設定できるので、第１属性情報のデータ量を削減できる。
　例えば、第１属性情報は、第２属性に関する第２属性情報が格納される第２コンポーネントとは異なる第１コンポーネントに格納される。第２属性に関する第２属性情報は、変換前の情報であってもよいし、変換後の情報であってもよい。
　例えば、第１コンポーネントを表す第１次元数は、第２コンポーネントを表す第２次元数と異なる。これにより、第１属性と第２属性との次元数が異なる場合であっても第１属性情報のデータ量を削減できる。
　例えば、第１属性及び第２属性は、三次元点の第１色及び第２色をそれぞれ示し、第１色及び第２色の各々は、複数次元で表される。これにより、相関性がある可能性がある、三次元点の複数の色の依存関係を利用することでデータ量を削減できる。
　例えば、第１属性及び第２属性は、三次元点の色及び反射率をそれぞれ示し、色を表す第１次元数は３であり、反射率を表す第２次元数は１である。これにより、相関性がある可能性がある色と反射率との依存関係を利用することでデータ量を削減できる。
　例えば、符号化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記処理を行う。
　例えば、復号方法は、少なくとも１つの三次元点の第１属性情報を、前記第１属性情報が前記少なくとも１つの三次元点の第２属性情報に依存しているか否かを示す情報に基づき復号する。第１属性情報が第２属性情報に依存することにより第１属性情報のデータ量を削減できる可能性がある。復号装置は、制御情報を用いて、このようにデータ量が削減された符号化データを適切に復号できる。また、復号装置で扱うデータ量を低減できる。
　例えば、復号方法は、複数の三次元点の複数の属性に関する情報を復号し、複数の属性は第１属性を含み、前記情報は、前記第１属性に関する第１情報を含み、前記第１情報は前記参照属性と他の属性との差分を示す。第１情報が参照属性と他の属性との差分であることにより第１情報のデータ量を削減できる可能性がある。
　例えば、前記参照属性は第２属性であり、前記他の属性は変換前の前記第１属性である。例えば、復号方法は、少なくとも１つの三次元点の第１属性情報及び第２属性情報を復号し、前記第１属性情報及び第２属性情報の各々は、前記少なくとも１つの三次元点の複数の属性に基づき生成される。第１情報及び第２属性情報の各々が複数の属性に生成されることにより第１属性情報及び第２属性情報のデータ量を削減できる可能性がある。
　例えば、復号方法は、変換情報に基づき、少なくとも１つの三次元点の複数の属性に関する情報を復号し、前記変換情報は、前記複数の属性に関する情報の一部のみの復号に用いられる。これによれば、複数の属性に対して選択的に変換を行うことができるので、効率的に符号化データのデータ量を削減できる。
　例えば、前記変換情報は、前記複数の属性の少なくとも２つの相関に基づき生成される。複数の属性の相関を用いた変換により符号化データのデータ量を削減できる可能性がある。
　例えば、前記変換情報は、前記複数の属性の少なくとも一部に適用されるオフセット情報を含む。オフセット値を用いた変換により符号化データのデータ量を削減できる可能性がある。
　例えば、前記変換情報は、変換された属性を示す情報を含む。これによれば、複数の属性に対して選択的に変換を行うことができるので、効率的に符号化データのデータ量を削減できる。
　例えば、符号化方法は、少なくとも１つの三次元点の第１属性情報を、前記第１属性情報が前記少なくとも１つの三次元点の第２属性情報に依存しているか否かを示す情報に基づき符号化する。第１属性情報が第２属性情報に依存することにより第１属性情報のデータ量を削減できる可能性がある。
　例えば、符号化方法は、複数の三次元点の複数の属性に関する情報を符号化し、複数の属性は第１属性を含み、前記情報は、前記第１属性に関する第１情報を含み、前記第１情報は前記参照属性と他の属性との差分を示す。第１情報が参照属性と他の属性との差分であることにより第１情報のデータ量を削減できる可能性がある。
　例えば、前記参照属性は第２属性であり、前記他の属性は変換前の前記第１属性である。例えば、符号化方法は、少なくとも１つの三次元点の第１属性情報及び第２属性情報を符号化し、前記第１属性情報及び第２属性情報の各々は、前記少なくとも１つの三次元点の複数の属性に基づき生成される。第１情報及び第２属性情報の各々が複数の属性に生成されることにより第１属性情報及び第２属性情報のデータ量を削減できる可能性がある。
　例えば、符号化方法は、変換情報に基づき、少なくとも１つの三次元点の複数の属性に関する情報を符号化し、前記変換情報は、前記複数の属性に関する情報の一部のみの符号化に用いられる。これによれば、複数の属性に対して選択的に変換を行うことができるので、効率的に符号化データのデータ量を削減できる。
　例えば、前記変換情報は、前記複数の属性の少なくとも２つの相関に基づき生成される。複数の属性の相関を用いた変換により符号化データのデータ量を削減できる可能性がある。
　例えば、前記変換情報は、前記複数の属性の少なくとも一部に適用されるオフセット情報を含む。オフセット値を用いた変換により符号化データのデータ量を削減できる可能性がある。
　例えば、前記変換情報は、変換された属性を示す情報を含む。これによれば、複数の属性に対して選択的に変換を行うことができるので、効率的に符号化データのデータ量を削減できる。
　例えば、変換方法（符号化方法）は、少なくとも１つの三次元点の第１属性情報を、前記少なくとも１つの三次元点の第２属性情報に基づき変換し、変換された前記第１属性情報を復号装置に出力する。これによれば、第１属性情報を第２属性情報に基づき変換することで変換された第１属性情報のデータ量を削減できる。
　例えば、前記変換方法は、さらに、前記第２属性情報を変換し、変換された前記第２情報を復号装置に出力する。これによれば、変換された第２属性情報のデータ量を削減できる。
　例えば、変換方法（符号化方法）は、三次元点の参照属性と他の属性との差分に関する情報を生成し、前記情報と、前記参照属性の情報とを復号装置に出力する。これによれば、参照属性と他の属性との差分に関する情報を生成することで、当該情報のデータ量を削減できる。
　例えば、変換方法（符号化方法）は、三次元点の属性情報を、前記三次元点の他の属性情報に対する前記属性情報の依存を示す依存情報に基づき変換し、前記依存情報と、変換した前記属性情報とを復号装置に出力する。これによれば、依存情報に基づき属性情報を変換することで、属性情報のデータ量を削減できる。
　例えば、逆変換方法（復号方法）は、少なくとも１つの三次元点の第１属性情報を、前記少なくとも１つの三次元点の第２属性情報に基づき変換（逆変換）する。これによれば、逆変換方法は、第１属性情報を第２属性情報に基づき変換することでデータ量が削減された第１属性情報から元の第１属性情報を復元できる。
　例えば、前記逆変換方法は、さらに、前記第２属性情報を変換（逆変換）する。これによれば、逆変換方法は、データ量が削減された第２属性情報から元の第２属性情報を復元できる。
　例えば、逆変換方法（復号方法）は、三次元点の参照属性と他の属性との差分に関する情報と、前記参照属性の情報とを受信し、前記情報と前記参照属性の情報とから前記他の属性を復元する。これによれば、参照属性と他の属性との差分に関する情報を生成することでデータ量が削減された当該情報から、元のデータを復元できる。
　例えば、逆変換方法（復号方法）は、三次元点の属性情報と、前記三次元点の他の属性情報に対する前記属性情報の依存を示す依存情報とを受信し、前記属性情報を、前記依存情報に基づき変換（逆変換）する。これによれば、依存情報に基づき属性情報を変換することでデータ量が削減された属性情報から元の属性情報を復元できる。
　以上、本開示の実施の形態及び変形例に係る三次元データ符号化装置（符号化装置）及び三次元データ復号装置（復号装置）等について説明したが、本開示は、この実施の形態に限定されるものではない。
　また、上記実施の形態に係る三次元データ符号化装置及び三次元データ復号装置等に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
　また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、本開示は、三次元データ符号化装置（符号化装置）及び三次元データ復号装置（復号装置）等により実行される三次元データ符号化方法（符号化方法）又は三次元データ復号方法（復号方法）等として実現されてもよい。
　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
　また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　以上、一つまたは複数の態様に係る三次元データ符号化装置及び三次元データ復号装置等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
　本開示は、三次元データ符号化装置及び三次元データ復号装置に適用できる。
　１００　三次元データ符号化装置
　１０１、１０１Ａ　属性情報変換部
　１０２　属性情報符号化部
　１１１　ＬｏＤ生成部
　１１２　隣接探索部
　１１３　予測部
　１１４　残差算出部
　１１５　量子化部
　１１６　逆量子化部
　１１７　再構成部
　１１８　メモリ
　１１９　算術符号化部
　２００　三次元データ復号装置
　２０１　属性情報復号部
　２０２　属性情報逆変換部
　２１１　ＬｏＤ生成部
　２１２　隣接探索部
　２１３　予測部
　２１４　算術復号部
　２１５　逆量子化部
　２１６　再構成部
　２１７　メモリ

Claims (20)

  1. 　制御情報を受信し、
    　受信した前記制御情報に従い、三次元点の第１属性に関する第１属性情報を復号し、
    　受信した前記制御情報は、前記第１属性が、前記三次元点の第２属性に依存していることを示す
    　復号方法。
  2. 　前記制御情報は、前記第１属性情報が前記第１属性と前記第２属性との差分であることを示す
    　請求項１記載の復号方法。
  3. 　前記制御情報は、前記差分に適用されるオフセット情報及びスケール情報の少なくとも一方を含む
    　請求項２記載の復号方法。
  4. 　前記オフセット情報及び前記スケール情報の少なくとも前記一方は、前記三次元点の複数の属性情報の各々に個別に設けられる
    　請求項３記載の復号方法。
  5. 　前記第１属性情報は、前記第２属性に関する第２属性情報が格納される第２コンポーネントとは異なる第１コンポーネントに格納される
    　請求項１記載の復号方法。
  6. 　前記第１コンポーネントを表す第１次元数は、前記第２コンポーネントを表す第２次元数と異なる
    　請求項５記載の復号方法。
  7. 　前記第１属性及び前記第２属性は、前記三次元点の第１色及び第２色をそれぞれ示し、
    　前記第１色及び前記第２色の各々は、複数次元で表される
    　請求項１記載の復号方法。
  8. 　前記第１属性及び前記第２属性は、前記三次元点の色及び反射率をそれぞれ示し、
    　前記色を表す第１次元数は３であり、前記反射率を表す第２次元数は１である
    　請求項１記載の復号方法。
  9. 　前記復号方法は、さらに、
    　前記第２属性に関する第２属性情報を復号し、
    　復号した前記第１属性情報を、復号した前記第２属性情報に基づき変換する
    　請求項１記載の復号方法。
  10. 　前記第１属性情報は、前記第１属性と前記第２属性との差分であり、
    　前記変換では、前記第１属性情報と前記第２属性情報とから前記第１属性を復元する
    　請求項９記載の復号方法。
  11. 　三次元点の第１属性に関する第１属性情報を符号化し、
    　符号化された前記第１属性情報と、制御情報とを送信し、
    　前記制御情報は、前記第１属性が、前記三次元点の第２属性に依存していることを示す
    　符号化方法。
  12. 　前記制御情報は、前記第１属性情報が前記第１属性と前記第２属性との差分であることを示す
    　請求項１１記載の符号化方法。
  13. 　前記制御情報は、前記差分に適用されるオフセット情報及びスケール情報の少なくとも一方を含む
    　請求項１２記載の符号化方法。
  14. 　前記オフセット情報及び前記スケール情報の少なくとも前記一方は、前記三次元点の複数の属性の各々に個別に設けられる
    　請求項１３記載の符号化方法。
  15. 　前記第１属性情報は、前記第２属性に関する第２属性情報が格納される第２コンポーネントとは異なる第１コンポーネントに格納される
    　請求項１１記載の符号化方法。
  16. 　前記第１コンポーネントを表す第１次元数は、前記第２コンポーネントを表す第２次元数と異なる
    　請求項１５記載の符号化方法。
  17. 　前記第１属性及び前記第２属性は、前記三次元点の第１色及び第２色をそれぞれ示し、
    　前記第１色及び前記第２色の各々は、複数次元で表される
    　請求項１１記載の符号化方法。
  18. 　前記第１属性及び前記第２属性は、前記三次元点の色及び反射率をそれぞれ示し、
    　前記色を表す第１次元数は３であり、前記反射率を表す第２次元数は１である
    　請求項１１記載の符号化方法。
  19. 　プロセッサと、
    　メモリと、を備え、
    　前記プロセッサは、前記メモリを用いて、
    　制御情報を受信し、
    　受信した前記制御情報に従い、三次元点の第１属性に関する第１属性情報を復号し、
    　受信した前記制御情報は、前記第１属性が、前記三次元点の第２属性に依存していることを示す
    　復号装置。
  20. 　プロセッサと、
    　メモリと、を備え、
    　前記プロセッサは、前記メモリを用いて、
    　三次元点の第１属性に関する第１属性情報を符号化し、
    　符号化された前記第１属性情報と、制御情報とを送信し、
    　前記制御情報は、前記第１属性が、前記三次元点の第２属性に依存していることを示す
    　符号化装置。
PCT/JP2023/014228 2022-04-22 2023-04-06 復号方法、符号化方法、復号装置及び符号化装置 WO2023204040A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202263333686P 2022-04-22 2022-04-22
US63/333,686 2022-04-22

Publications (1)

Publication Number Publication Date
WO2023204040A1 true WO2023204040A1 (ja) 2023-10-26

Family

ID=88419858

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/014228 WO2023204040A1 (ja) 2022-04-22 2023-04-06 復号方法、符号化方法、復号装置及び符号化装置

Country Status (1)

Country Link
WO (1) WO2023204040A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018078503A (ja) * 2016-11-11 2018-05-17 日本電信電話株式会社 データ符号化方法、データ符号化装置及びデータ符号化プログラム
WO2020189709A1 (ja) * 2019-03-18 2020-09-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US20210029187A1 (en) * 2019-07-03 2021-01-28 Lg Electronics Inc. Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus and point cloud data reception method
WO2021210549A1 (ja) * 2020-04-14 2021-10-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JP2022056229A (ja) * 2020-09-29 2022-04-08 Kddi株式会社 点群復号装置、点群復号方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018078503A (ja) * 2016-11-11 2018-05-17 日本電信電話株式会社 データ符号化方法、データ符号化装置及びデータ符号化プログラム
WO2020189709A1 (ja) * 2019-03-18 2020-09-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
US20210029187A1 (en) * 2019-07-03 2021-01-28 Lg Electronics Inc. Point cloud data transmission apparatus, point cloud data transmission method, point cloud data reception apparatus and point cloud data reception method
WO2021210549A1 (ja) * 2020-04-14 2021-10-21 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JP2022056229A (ja) * 2020-09-29 2022-04-08 Kddi株式会社 点群復号装置、点群復号方法及びプログラム

Similar Documents

Publication Publication Date Title
US11158107B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
JP7433442B2 (ja) ポイントクラウドデータ送信装置、送信方法、処理装置および処理方法
CN113615204A (zh) 点云数据发送装置、点云数据发送方法、点云数据接收装置和点云数据接收方法
US20220130075A1 (en) Device and method for processing point cloud data
US11483363B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
JP7451576B2 (ja) ポイントクラウドデータ処理方法及び装置
US11902348B2 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
US11601488B2 (en) Device and method for transmitting point cloud data, device and method for processing point cloud data
JP5281623B2 (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
US20220327743A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method
EP4340363A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
EP4258671A1 (en) Point cloud attribute predicting method, encoder, decoder, and storage medium
US20220319053A1 (en) Point cloud data processing device and method
CN116250008A (zh) 点云的编码、解码方法、编码器、解码器以及编解码系统
JP5729825B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
WO2023204040A1 (ja) 復号方法、符号化方法、復号装置及び符号化装置
CN115086660B (zh) 基于点云属性预测的解码、编码方法、解码器及编码器
CN116648915A (zh) 点云编解码方法、编码器、解码器以及计算机存储介质
CN116325732A (zh) 点云的解码、编码方法、解码器、编码器和编解码系统
WO2024014205A1 (ja) 復号方法、符号化方法、復号装置及び符号化装置
US20230412837A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
WO2023105953A1 (ja) 三次元データ復号方法、三次元データ符号化方法、三次元データ復号装置、及び三次元データ符号化装置
US20240029312A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
US20240020885A1 (en) Point cloud data transmission method, point cloud data transmission device, point cloud data reception method, and point cloud data reception device
US20230345008A1 (en) Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23791691

Country of ref document: EP

Kind code of ref document: A1