WO2023248576A1 - 三次元点生成方法、三次元点生成装置、復号装置、符号化装置、復号方法及び符号化方法 - Google Patents

三次元点生成方法、三次元点生成装置、復号装置、符号化装置、復号方法及び符号化方法 Download PDF

Info

Publication number
WO2023248576A1
WO2023248576A1 PCT/JP2023/013861 JP2023013861W WO2023248576A1 WO 2023248576 A1 WO2023248576 A1 WO 2023248576A1 JP 2023013861 W JP2023013861 W JP 2023013861W WO 2023248576 A1 WO2023248576 A1 WO 2023248576A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional
dimensional points
points
point
information
Prior art date
Application number
PCT/JP2023/013861
Other languages
English (en)
French (fr)
Inventor
敦 伊藤
孝啓 西
敏康 杉尾
賀敬 井口
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Publication of WO2023248576A1 publication Critical patent/WO2023248576A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present disclosure relates to a three-dimensional point generation method, a three-dimensional point generation device, a decoding device, an encoding device, a decoding method, and an encoding method.
  • Non-Patent Document 1 A technique for increasing the number of three-dimensional points included in point cloud data (improving resolution) is known (for example, see Non-Patent Document 1).
  • An object of the present disclosure is to provide a three-dimensional point generation method, a three-dimensional point generation device, a decoding device, an encoding device, a decoding method, or an encoding method that can improve the quality of high resolution.
  • a decoding device includes a receiving unit that receives a bitstream including encoded three-dimensional points, and (i) connected to the receiving unit, and (ii) decoding the encoded three-dimensional points. and a circuit for generating a plurality of three-dimensional points including a first three-dimensional point and one or more second three-dimensional points around the first three-dimensional point, the bitstream further comprising: first information for generating one or more transformed second three-dimensional points by performing at least one of rotation and inversion on the one or more second three-dimensional points; and one or more transformed second three-dimensional points. and second information for specifying one or more third three-dimensional points associated with the second three-dimensional point.
  • FIG. 1 is a block diagram of a three-dimensional data processing apparatus according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of enlargement of a point cloud according to the first embodiment.
  • FIG. 3 is a flowchart showing processing by the three-dimensional data processing apparatus according to the first embodiment.
  • FIG. 4 is a diagram schematically showing processing by the three-dimensional data processing device according to the first embodiment.
  • FIG. 5 is a diagram illustrating an example of an enlarged pattern collection according to the first embodiment.
  • FIG. 6 is a diagram illustrating an example of the input point group before reduction, the points after reduction, and their surrounding coordinates, according to the first embodiment.
  • FIG. 7 is a flowchart of enlargement processing according to the first embodiment.
  • FIG. 1 is a block diagram of a three-dimensional data processing apparatus according to the first embodiment.
  • FIG. 2 is a diagram illustrating an example of enlargement of a point cloud according to the first embodiment.
  • FIG. 3 is a flowchart
  • FIG. 8 is a diagram showing an example of points before and after enlargement according to the first embodiment.
  • FIG. 9 is a diagram schematically showing conversion and enlargement processing according to the first embodiment.
  • FIG. 10 is a diagram showing another example of peripheral coordinates used for the peripheral pattern according to the first embodiment.
  • FIG. 11 is a diagram showing another example of peripheral coordinates used for the peripheral pattern according to the first embodiment.
  • FIG. 12 is a block diagram of an encoding device and a decoding device according to the second embodiment.
  • FIG. 13 is a flowchart of encoding processing according to the second embodiment.
  • FIG. 14 is a diagram schematically showing the encoding process according to the second embodiment.
  • FIG. 15 is a diagram illustrating an example of the syntax of enlarged pattern information according to the second embodiment.
  • FIG. 16 is a flowchart of decoding processing according to the second embodiment.
  • FIG. 17 is a diagram schematically showing decoding processing according to the second embodiment.
  • FIG. 18 is a diagram showing a first modified example of the syntax example of enlarged pattern information according to the second embodiment.
  • FIG. 19 is a diagram illustrating an example syntax of a grouping table according to the second embodiment.
  • FIG. 20 is a diagram illustrating an example of a grouping table according to the second embodiment.
  • FIG. 21 is a diagram illustrating an example of the syntax of the group expansion table according to the second embodiment.
  • FIG. 22 is a diagram illustrating an example of a group expansion table according to the second embodiment.
  • FIG. 23 is a diagram illustrating a second modification example of the syntax example of enlarged pattern information according to the second embodiment.
  • FIG. 24 is a diagram illustrating an example of the syntax of area division information according to the second embodiment.
  • FIG. 25 is a flowchart of three-dimensional point generation processing according to the embodiment.
  • FIG. 26 is a flowchart of decoding processing according to the embodiment.
  • FIG. 27 is a flowchart of encoding processing according to the embodiment.
  • a three-dimensional point generation method is a three-dimensional point generation method that generates one or more three-dimensional points in a three-dimensional coordinate system, and includes one or more three-dimensional points around a first three-dimensional point.
  • a three-dimensional point generation method By performing at least one of rotation and inversion on the second three-dimensional points, one or more transformed second three-dimensional points are generated, and one or more transformed third three-dimensional points are associated with the one or more transformed second three-dimensional points. Identify 3D points.
  • the identified third three-dimensional point is, for example, a three-dimensional point obtained by increasing the resolution of the first three-dimensional point, or a three-dimensional point for generating a three-dimensional point which is obtained by increasing the resolution of the first three-dimensional point, used as. Even if there are no one or more third three-dimensional points associated with one or more second three-dimensional points, one or more third three-dimensional points can be specified by at least one of rotation and inversion. The occurrence of cases where the third three-dimensional point cannot be specified can be reduced. Therefore, the three-dimensional point generation method can reduce the occurrence of cases in which one or more third three-dimensional points used for high resolution cannot be specified, for example, so that the quality of high resolution can be improved.
  • the rotation may include rotating the one or more second three-dimensional points around a Y-axis that is substantially parallel to the vertical direction in the real world.
  • the three-dimensional point generation method can reduce the occurrence of cases in which one or more third three-dimensional points or one or more sixth three-dimensional points cannot be specified.
  • a first table and a second table are referred to in order to identify the one or more third three-dimensional points, and the one or more second three-dimensional points and the one or more transformed second three-dimensional points are
  • the first table associates the plurality of first candidates of the one or more third three-dimensional points with the plurality of groups
  • the second table associates the plurality of groups with the plurality of groups.
  • One or more second three-dimensional points may be associated with a plurality of second candidates for the one or more transformed second three-dimensional points.
  • a decoding device includes a receiving unit that receives a bitstream including encoded three-dimensional points, and (i) connected to the receiving unit, and (ii) decoding the encoded three-dimensional points. and a circuit for generating a plurality of three-dimensional points including a first three-dimensional point and one or more second three-dimensional points around the first three-dimensional point, the bitstream further comprising: first information for generating one or more transformed second three-dimensional points by performing at least one of rotation and inversion on the one or more second three-dimensional points; and one or more transformed second three-dimensional points. and second information for specifying one or more third three-dimensional points associated with the second three-dimensional point.
  • the decoding device can convert one or more converted second three-dimensional points by performing at least one of rotation and inversion on one or more second three-dimensional points, for example, using the first information and the second information.
  • One or more third three-dimensional points associated with can be specified.
  • the identified third three-dimensional point is, for example, a three-dimensional point obtained by increasing the resolution of the first three-dimensional point, or a three-dimensional point for generating a three-dimensional point which is obtained by increasing the resolution of the first three-dimensional point, used as.
  • the occurrence of cases where the third three-dimensional point cannot be specified can be reduced. Therefore, for example, the decoding device can reduce the occurrence of cases in which one or more third three-dimensional points used for high resolution cannot be identified, and thus can improve the quality of high resolution.
  • the second information includes a plurality of first candidates for the one or more third three-dimensional points, a plurality of second candidates for the one or more second three-dimensional points and the one or more converted second three-dimensional points. It may also include a lookup table that associates the candidates with the candidates.
  • the second information includes a plurality of first candidates for the one or more third three-dimensional points, a plurality of second candidates for the one or more second three-dimensional points and the one or more converted second three-dimensional points. It may include a plurality of lookup tables, each of which associates a candidate with a candidate, and third information indicating which lookup table to use among the plurality of lookup tables for each region to which the three-dimensional point belongs.
  • the first information may indicate one or more usable conversion methods among a plurality of conversion methods, each of which includes at least one of rotation and inversion.
  • the decoding device can reduce the occurrence of cases in which one or more third three-dimensional points used for high resolution, for example, cannot be specified, so that the quality of high resolution can be improved.
  • An encoding method includes encoding a plurality of three-dimensional points including a first three-dimensional point and one or more second three-dimensional points around the first three-dimensional point. generating encoded three-dimensional points, transmitting a bitstream including the encoded three-dimensional points, and further rotating and/or inverting the one or more second three-dimensional points in the bitstream; and first information for generating one or more transformed second three-dimensional points; and first information for identifying one or more third three-dimensional points associated with the one or more transformed second three-dimensional points. 2 information.
  • FIG. 1 is a block diagram showing the configuration of a three-dimensional data processing apparatus 100 according to this embodiment.
  • the three-dimensional data processing device 100 (also referred to as a three-dimensional point generation device) generates expanded point group data by expanding input point group data.
  • the three-dimensional data processing apparatus 100 includes an enlarged pattern generation section 101, a storage section 102, and an enlargement section 103.
  • reduction means lowering the resolution (roughening the voxel grid) and reducing (reducing) the number of points. Note that in reduction, the number of points does not necessarily decrease, and there are cases where the number of points does not decrease.
  • FIG. 2 is a diagram showing an example of enlarging a point cloud. As shown in FIG. 2, the number of voxels increases by expanding the point cloud. Furthermore, although an example will be described in which the point group is doubled (double in each of the x, y, and z directions), the magnification rate is not limited to this. Furthermore, here, a case will be described in which one voxel corresponds to one point.
  • FIG. 5 is a diagram showing an example of the enlarged pattern collection 104.
  • the enlarged pattern collection 104 shows the correspondence between peripheral patterns of the original point group and enlarged patterns.
  • the expanded pattern collection 104 is a lookup table (LUT) that includes multiple entries. Each entry indicates a peripheral pattern of the original point group and an enlarged pattern associated with the peripheral pattern.
  • the peripheral pattern is an example of the second candidate.
  • the enlarged pattern is an example of the first candidate.
  • the enlarged pattern collection 104 is also called teacher data for increasing resolution.
  • the reduced point cloud for the input point cloud is the parent node for the child node
  • the reduced point cloud is the point cloud of the parent node's hierarchy. It can be said that. That is, the occupancy codes of the eight points of the child node and the occupancy codes of the peripheral coordinates (26 pieces) of the parent node are registered in the expansion pattern collection 104 as the corresponding expansion pattern and peripheral pattern of the original point group, respectively. .
  • FIG. 8 is a diagram for explaining this enlargement process, and is a diagram showing an example of points before and after enlargement.
  • the enlarging unit 103 searches for an entry in which the occupancy codes of 26 peripheral coordinates around the target point are registered as peripheral patterns of the original point group, and expands the occupancy codes included in the entry. Points are placed in the eight voxels after expansion based on the occupancy state indicated by the pattern. In other words, the enlarging unit 103 replaces the voxel at the target point with eight voxels having the occupancy state indicated by the enlarged pattern. As a result, for example, in the example shown in FIG. 8, one target point is replaced with four points.
  • the target point is an example of a first three-dimensional point
  • one or more points forming the peripheral pattern are an example of one or more second three-dimensional points.
  • the one or more points forming the peripheral pattern after conversion are an example of the one or more converted second three-dimensional points.
  • the points forming the pattern are, for example, points corresponding to bits with a value of 1 in the occupancy code.
  • the term "around the target point" means being away from the target point by less than a predetermined distance.
  • the conversion process may include both rotation and inversion.
  • the enlargement unit 103 determines that the enlarged pattern corresponding to the converted peripheral pattern, which is the peripheral pattern after conversion, is not registered in the enlarged pattern collection 104. 104 (No in S114).
  • multiple conversion methods include, for example, rotation of 90 degrees, 180 degrees, and 270 degrees with respect to each axis (x axis, y axis, z axis), and inversion in the direction of each axis (x axis, y axis, z axis). (inversion with respect to the yz plane, xz plane, and xy plane).
  • the one or more points forming the enlarged pattern associated with the converted peripheral pattern in the enlarged pattern collection 104 are an example of the one or more third three-dimensional points. Further, step S115 may be omitted. That is, one or more points constituting the enlarged pattern may be directly generated as new three-dimensional points. Even if such inverse transformation is not performed, the quality of the enlarged point cloud may not be affected.
  • the expanded point cloud for the input point cloud is a grandchild node for the child node
  • the expanded point cloud is a point cloud of the hierarchy of the grandchild node. It can be said that.
  • FIG. 9 is a diagram schematically showing this conversion and enlargement processing (S114 to S116).
  • the enlarged pattern corresponding to the peripheral pattern shown in FIG. 9 is not registered in the enlarged pattern collection 104.
  • the enlarging unit 103 generates a converted peripheral pattern by rotating the peripheral pattern by 90 degrees around the Y axis.
  • the enlarged pattern of this converted peripheral pattern is registered in the enlarged pattern collection 104, as shown in the entry 105B shown in FIG.
  • the enlarging unit 103 generates an inversely transformed enlarged pattern by performing inverse transformation (-90 degree rotation around the Y-axis) on the enlarged pattern. Finally, the enlarging unit 103 enlarges the target point using the inverse transformation enlargement pattern.
  • the enlarging unit 103 may use the following method as a method of rotating or inverting the occupancy code. For example, the enlarging unit 103 may logically calculate the replacement of bits after rotation or inversion for each of the x, y, and z axes and rotation angles (90 degrees, 180 degrees, and 270 degrees). This makes it possible to achieve high-speed processing. Alternatively, the enlarging unit 103 may convert the occupancy code into a point group, perform rotation or inversion by multiplying each coordinate of the point by a coordinate transformation matrix, and convert the converted point group into an occupancy code. This facilitates implementation.
  • the enlargement unit 103 enlarges the target point using a predetermined enlargement pattern (S117), The loop processing for each point ends (S118).
  • the predetermined expansion pattern is an expansion pattern in which three-dimensional points are placed in all eight voxels.
  • step S117 as the frequency of use of an enlarged pattern that is not based on the actual shape of the point group increases, the possibility that the quality of the enlarged point group will deteriorate increases.
  • the three-dimensional data processing apparatus 100 rotates or inverts the peripheral pattern and searches for an enlarged pattern associated with the obtained transformed peripheral pattern.
  • the registered enlargement patterns can be used in more cases, so that appropriate enlargement can be performed. Therefore, the quality of the enlarged point group can be improved.
  • enlarged pattern collections 104 may be generated for each of a plurality of regions included in the point cloud.
  • enlarged pattern sets may be created separately for the head and torso.
  • a set of enlarged patterns for the head is used to enlarge the point group of the head
  • a set of enlarged patterns for the torso is used to enlarge the point group of the torso.
  • a target point group and a reduced point group of the corresponding area are used to create each enlarged pattern collection. Thereby, it is possible to use an enlargement pattern suitable for the shape characteristics of each region, and thus the quality of enlargement processing can be improved.
  • the three-dimensional data processing apparatus 100 may limit the conversion methods for each of the above regions, or may change the priority of the conversion methods. For example, omnidirectional rotation and flipping may be used for the head point cloud, while only horizontal (Y-axis) rotation and flipping is allowed for the torso point cloud.
  • the enlargement unit 103 performs the above-mentioned conversion process (rotation or inversion). It is determined that the process using (S114 to S116 shown in FIG. 7) is unnecessary, and the process may not be performed. In this case, if the enlargement pattern corresponding to the peripheral pattern of the target point is not registered in the enlargement pattern collection 104 (No in S112), the enlargement unit 103 enlarges the target point using a predetermined enlargement pattern ( S117). Thereby, the processing amount of the three-dimensional data processing apparatus 100 can be reduced.
  • the enlarged pattern collection 104 is generated using the input point group and the reduced point group, but the enlarged pattern collection 104 may be created in advance. Further, the enlarged pattern collection 104 may be created based on a plurality of input point groups. For example, when multiple frames of point cloud data indicating the same object are input, the three-dimensional data processing device 100 uses the multiple frames of point clouds to generate an enlarged pattern collection 104 that is commonly used for the multiple frames of point clouds. You may.
  • the three-dimensional data processing device 100 determines whether the peripheral pattern or the converted peripheral pattern of the target point matches the peripheral pattern included in the enlarged pattern collection 104, but two It may also be determined whether the surrounding patterns are similar. For example, if two occupancy codes indicating two peripheral patterns differ by one bit, it is determined that the two peripheral patterns are similar. Note that if two occupancy codes differ by n bits (n is an integer of 2 or more), the two peripheral patterns may be determined to be similar. Furthermore, the three-dimensional data processing device 100 enlarges the target point using an enlargement pattern (or its inversely transformed enlargement pattern) that is associated with a peripheral pattern determined to be similar in the enlargement pattern collection 104.
  • the three-dimensional data processing apparatus 100 performs the conversion process (S114) in the determination process for each point, but in advance, the peripheral pattern included in each entry registered in the enlarged pattern collection 104
  • the number of enlarged patterns included in the enlarged pattern collection 104 may be increased by performing conversion processing (rotation or inversion) on the enlarged patterns. In this case, the processing in steps S114 to S116 described above becomes unnecessary, and a search including rotation or inversion becomes possible in the determination processing in step S112.
  • FIGS. 10 and 11 are diagrams showing other examples of peripheral coordinates used for peripheral patterns.
  • the occupation states of 18 peripheral coordinates adjacent to the target point may be used as the peripheral pattern.
  • the occupancy states of six peripheral coordinates adjacent to the target point may be used as the peripheral pattern.
  • an enlarged pattern collection may be generated for each of the peripheral patterns of the 26 peripheral coordinates, the peripheral patterns of 18 peripheral coordinates, and the peripheral patterns of 6 peripheral coordinates.
  • the larger the number of peripheral coordinates used in the peripheral pattern the higher the shape accuracy obtained from the enlarged pattern. Therefore, for example, in step S112 of FIG. 7, the three-dimensional data processing device 100 searches using peripheral patterns of 26 peripheral coordinates, peripheral patterns of 18 peripheral coordinates, and peripheral patterns of 6 peripheral coordinates in order. If the corresponding enlarged pattern does not exist in either case, search processing (S114) including conversion processing may be performed.
  • the three-dimensional data processing apparatus 100 sequentially uses the peripheral patterns of 26 peripheral coordinates, the peripheral patterns of 18 peripheral coordinates, and the peripheral patterns of 6 peripheral coordinates. You can also search using According to this, the frequency with which the search process (S114) including the conversion process is performed can be reduced, so the processing load can be reduced.
  • one or more points constituting the peripheral pattern of 26 peripheral coordinates corresponds to one or more second three-dimensional points
  • the peripheral pattern of 18 peripheral coordinates or the peripheral pattern of 6 peripheral coordinates corresponds to one or more second three-dimensional points.
  • One or more constituent points correspond to the fifth three-dimensional point.
  • the second three-dimensional point and the fifth three-dimensional point are not limited to these examples as long as they have different numbers of peripheral coordinates.
  • the three-dimensional data processing device 100 performs normal search processing (S112) using peripheral patterns of 26 peripheral coordinates and search processing (S114) including conversion processing, and in both cases, a corresponding enlarged pattern exists. If not, normal search processing (S112) using peripheral patterns of 18 peripheral coordinates and search processing (S114) including conversion processing may be performed. Furthermore, the three-dimensional data processing device 100 performs normal search processing (S112) using the surrounding patterns of 18 surrounding coordinates and search processing (S114) including conversion processing, and in both cases, there is a corresponding enlarged pattern. If not, normal search processing (S112) using peripheral patterns of six peripheral coordinates and search processing (S114) including conversion processing may be performed. According to this, the peripheral patterns of the 26 peripheral coordinates can be used preferentially, so that the quality of the enlarged point group can be improved.
  • the range of peripheral coordinates used as the peripheral pattern is not limited to a cube as shown in FIG. 8, etc., but may be a rectangular parallelepiped or an ellipsoid. Further, any range may be used as the range of peripheral coordinates used as the peripheral pattern. For example, an occupancy code of coordinates included in a range of 2 or 3 voxels in a specific direction such as the horizontal direction from the target point may be used as the enlarged pattern.
  • the three-dimensional data processing apparatus 100 uses a predetermined enlarged pattern when the corresponding enlarged pattern is not included in the enlarged pattern collection 104 (for example, No in S114). , the following process may be performed instead.
  • the three-dimensional data processing device 100 may estimate the point distribution after expansion using the occupancy state of coordinates in the vicinity of the target point. For example, the three-dimensional data processing device 100 calculates the probability of occurrence of the complementary target coordinates by filtering the occupancy state of the coordinates in the vicinity of the target point, and compares the occurrence probability with a threshold value to calculate the probability of occurrence of each voxel after expansion. Determine the presence or absence of a point.
  • the three-dimensional data processing device 100 may use a method in which the surface shape of the object is estimated from the distribution of points in the vicinity of the target point, and points are generated in the vicinity of the estimated shape. .
  • the points generated by estimation are an example of one or more fourth three-dimensional points.
  • FIG. 12 is a block diagram of encoding device 200 and decoding device 300 according to this embodiment.
  • the encoding device 200 generates a bitstream by encoding the input point group.
  • This encoding device 200 includes a reduction section 201, an enlarged pattern generation section 202, an encoding section 203, and a transmission section 204.
  • FIG. 13 is a flowchart of encoding processing by the encoding device 200.
  • FIG. 14 is a diagram schematically showing this encoding process.
  • the reduction unit 201 generates a reduced point group by reducing the input point group (S201).
  • the enlarged pattern generation unit 202 generates an enlarged pattern collection from the input point group and the reduced point group (S202). Note that the details of these processes are the same as those of the enlarged pattern generation unit 101 included in the three-dimensional data processing apparatus 100 described above.
  • the encoding unit 203 generates an encoded reduced point group by encoding the reduced point group (S203).
  • a known point cloud encoding (point cloud compression) technique can be used for this encoding process.
  • this encoding processing includes quantization processing, intra prediction processing, inter prediction processing, arithmetic encoding processing, and the like.
  • the encoding unit 203 generates a bitstream including expanded pattern information 401 indicating a collection of expanded patterns and encoded reduced point group 402. Note that the encoding unit 203 may encode (for example, arithmetic encode) the expanded pattern information and then store it in the bitstream.
  • FIG. 15 is a diagram showing an example of the syntax of the enlarged pattern information 401.
  • the enlarged pattern information 401 includes the number 411 of enlarged pattern collections. Note that the number of bits (bit length) of each signal shown in FIG. 15 and each diagram showing an example of syntax described later is an example, and the number of bits of each signal is not limited to these.
  • the number of enlarged pattern collections 411 indicates the number of enlarged pattern collections included in the enlarged pattern information 401. Note that each enlarged pattern collection has the same configuration as the enlarged pattern collection 104 described in the first embodiment.
  • the enlarged pattern information 401 further includes a peripheral pattern identifier 412 and a pattern conversion information flag 413 for each enlarged pattern collection.
  • the surrounding pattern identifier 412 is an identifier indicating the range of surrounding coordinates used as a surrounding pattern of the target point. For example, a value of 0 indicates to use 6 peripheral coordinates within the cube (e.g., Figure 11), a value of 1 indicates to use 18 peripheral coordinates within the cube (e.g., Figure 10), and a value of 2 indicates to use 6 peripheral coordinates within the cube (e.g., Figure 10). A value of 3 indicates the use of multiple peripheral coordinates within the ellipsoid (for example, Fig. 8), and a value of 4 indicates the use of multiple peripheral coordinates within the cuboid. . Note that the values and the range of peripheral coordinates shown here are only examples, and are not limited thereto.
  • the pattern conversion information flag 413 indicates whether the pattern conversion information 414 for the corresponding expanded pattern collection is included in the expanded pattern information 401. For example, a value of 0 indicates that the pattern conversion information 414 is not included in the enlarged pattern information 401, and a value of 1 indicates that the pattern conversion information 414 is included in the enlarged pattern information 401.
  • the expanded pattern information 401 includes the pattern conversion information 414 as information for each expanded pattern collection.
  • the pattern conversion information 414 includes a number 414A of pattern conversion methods and a pattern conversion method 414B that is information for each pattern conversion method.
  • the number of pattern conversion methods 414A indicates the number of pattern conversion methods 414B included in the pattern conversion information 414.
  • the pattern conversion method 414B indicates a conversion method that can be used by the decoding device 300. Further, for example, the order of description (arrangement order) of the plurality of pattern conversion methods 414B in the pattern conversion information 414 indicates the priority of the conversion methods indicated by the plurality of pattern conversion methods 414B. For example, it means that the conversion method described earlier has a higher priority. Multiple conversion methods include, for example, rotation of 90 degrees, 180 degrees, and 270 degrees about each axis (x axis, y axis, z axis), and inversion (yz plane, xz plane, inversion with respect to xy plane). Furthermore, each of the pattern conversion methods 414B may include information that distinguishes between the above-described complete match determination and similarity determination.
  • the decoding device 300 performs a pattern matching determination process including a conversion process according to the priority indicated by the pattern conversion information 414.
  • the configuration of the pattern conversion information 414 shown here is an example, and the configuration of the pattern conversion information 414 is not limited to this.
  • a plurality of usable combinations of conversion methods and priorities are determined in advance, and the pattern conversion information 414 may be an identifier specifying any one of these combinations.
  • the decoding device 300 does not perform pattern matching determination processing including conversion processing.
  • the enlarged pattern information 401 further includes, for each enlarged pattern collection, the number of entries 415 and entry information 416 that is information for each entry.
  • the number of entries 415 indicates the number of entries included in the expanded pattern collection.
  • Entry information 416 is information on entries included in the expanded pattern collection, and indicates a peripheral pattern (occupancy code) of the original point group and an expanded pattern (occupancy code) corresponding to the peripheral pattern.
  • the plurality of entry information 416 indicates the enlarged pattern collection 104 as shown in FIG.
  • the decoding device 300 generates a decoded point group by decoding the bitstream generated by the encoding device 200. As shown in FIG. 12, the decoding device 300 includes a receiving section 301, a decoding section 302, and an enlarging section 303.
  • the enlarging unit 303 generates a decoded point group by enlarging the reduced point group using a plurality of enlarged patterns included in the enlarged pattern collection indicated by the enlarged pattern information 401 included in the bitstream (S303 ).
  • the details of the enlargement process are the same as those in which the input point group is replaced with a reduced point group and the enlarged point group is replaced with a decoded point group in the processing of the enlarger 103 included in the three-dimensional data processing device 100 described above. be.
  • the encoding device 200 can generate bits including a reduced point group (encoded reduced point group 402) obtained by reducing the input point group and an enlarged pattern collection (enlarged pattern information 401) for enlarging the reduced point group. Generate a stream.
  • the decoding device 300 generates a decoded point group corresponding to the input point group by expanding the reduced point group using the enlarged pattern collection.
  • the data size of the enlarged pattern collection is, for example, about 1/100 of the data size of the input point group. Furthermore, by reducing the input point group to a reduced point group, the data size of the point group can be significantly reduced (for example, to about 1/4 to 1/16). Therefore, compared to the case of transmitting an input point group, the data size of the bit stream can be significantly reduced, and the transmission band can be suppressed.
  • some of the multiple entries including the multiple peripheral patterns determined to be similar may be deleted. Thereby, the data size of the enlarged pattern information 401 can be reduced.
  • the encoding device 200 may transmit expanded pattern information 401 corresponding to a plurality of frames of point clouds to the decoding device 300 in advance.
  • the decoding device 300 can perform enlargement processing from the beginning of the video point group at high speed and with high quality.
  • the enlarged pattern information 401 to be accumulated does not have to be the enlarged pattern information 401 included in the same moving image point cloud, for example, the enlarged pattern information 401 of another point cloud of the same or similar type or attribute as the target point group. 401 may be used.
  • the grouping table 421 includes the number of entries 431, and a peripheral pattern 432 of the original point group and a group ID 433 for each entry.
  • the number of entries 431 indicates the number of entries included in the grouping table 421.
  • Each entry indicates a peripheral pattern 432 of the original point group and a group ID 433 associated with the peripheral pattern.
  • the peripheral pattern 432 of the original point group corresponds to the peripheral pattern of the original point group in the enlarged pattern collection 104 shown in FIG.
  • the method of the first modification (the method using the grouping table 421 and the group expansion table 422) is included as one of the plurality of conversion methods indicated by the pattern conversion method 414B in the syntax shown in FIG. Good too.
  • FIG. 24 is a diagram showing an example of the syntax of the area division information 451.
  • the area division information 451 includes the number of areas 461, area information 462 which is information for each area, and an enlarged pattern collection number 463.
  • the number of regions 461 indicates the number of multiple three-dimensional regions into which the point group is divided.
  • the area information 462 is included in the area division information 451 when the number of areas 461 is greater than 1.
  • the region information 462 indicates the range of the region, and indicates, for example, the start coordinates and end coordinates of each axis of x, y, and z for dividing the coordinate region of the point group into rectangular parallelepipeds.
  • the area information 462 may indicate the reference coordinates of the area (for example, the center coordinates of a rectangular parallelepiped) and the shape of the area (for example, the widths of the x, y, and z axes of the rectangular parallelepiped).
  • the region of the point cloud has various characteristics such as the density, distribution, bias, and shape or type of the object, and the appropriate set of enlarged patterns may differ depending on the characteristics. Therefore, the encoding device 200 selects a set of enlarged patterns according to these characteristics, and instructs the decoding device 300 to enlarge the point group in the region using the selected set of enlarged patterns. Thereby, the decoding device 300 can perform high-quality enlargement processing.
  • an enlarged pattern collection may be specified for each point.
  • information specifying the priority of an available conversion method or a plurality of conversion methods may be transmitted for each area.
  • a similar method may be applied to other types of three-dimensional models including three-dimensional position information, such as mesh models.
  • a similar method may be applied to vertex information included in a mesh model.
  • vertex information included in a mesh model.
  • information necessary for forming a mesh model such as information indicating connection relationships between vertices, is also transmitted.
  • the three-dimensional point generation device (three-dimensional data processing device) according to this embodiment performs the processing shown in FIG. 25.
  • the three-dimensional point generation device generates one or more three-dimensional points in a three-dimensional coordinate system.
  • the three-dimensional point generation device generates one or more transformed second three-dimensional points by performing at least one of rotation and inversion on one or more second three-dimensional points around the first three-dimensional point (S401).
  • one or more third three-dimensional points associated with one or more transformed second three-dimensional points are identified (S402).
  • the three-dimensional point generation device converts the first three-dimensional point into one or more three-dimensional points (one or more third three-dimensional points, or By replacing the point group with one or more three-dimensional points (generated based on the third three-dimensional points), the point group is expanded (at least one of increasing the resolution of the point group and adding points to the point group).
  • the three-dimensional point generation device is capable of expanding the Generate the subsequent point cloud.
  • the three-dimensional point generation device performs at least one of rotation and inversion on one or more second three-dimensional points, and one or more transformed second three-dimensional points are Can identify 3D points.
  • one or more third three-dimensional points can be specified by at least one of rotation and inversion.
  • the occurrence of cases where one or more third three-dimensional points cannot be identified can be reduced. Therefore, the three-dimensional point generation device can reduce the occurrence of cases in which one or more third three-dimensional points used for high resolution cannot be specified, for example, so that the quality of high resolution can be improved.
  • a lookup table (e.g., enlarged pattern collection 104) is referred to in order to identify one or more third three-dimensional points, and the lookup table includes a plurality of first candidates (e.g., A peripheral pattern of the original point group shown in FIG. 5) is associated with a plurality of second candidates for one or more second three-dimensional points and one or more converted second three-dimensional points (for example, the enlarged pattern shown in FIG. 5).
  • first candidates e.g., A peripheral pattern of the original point group shown in FIG. 5
  • second candidates for one or more second three-dimensional points and one or more converted second three-dimensional points (for example, the enlarged pattern shown in FIG. 5).
  • a first candidate is identified that is associated with a second candidate, and the second candidate is similar to, but not identical to, the actual point of the one or more second three-dimensional points.
  • the three-dimensional point generation device can further reduce the occurrence of cases in which one or more third three-dimensional points cannot be specified.
  • the rotation includes rotating one or more second three-dimensional points about the Y axis that is substantially parallel to the vertical direction in the real world.
  • an object having symmetry in the vertical direction such as a building
  • the distribution of the plurality of three-dimensional points tends to be similar around an axis parallel to the vertical direction. Therefore, according to this, the three-dimensional point generation device can efficiently identify one or more third three-dimensional points in an object having symmetry in the vertical direction, such as a building.
  • the three-dimensional point generation device further generates one or more transformed third three-dimensional points by performing inverse transformation on one or more third three-dimensional points (for example, S115 in FIG. 7),
  • the inverse transformation is at least one of rotation and inversion for one or more second three-dimensional points.
  • the three-dimensional point generation device can generate one or more converted third three-dimensional points that are more suitable for one or more second three-dimensional points before conversion.
  • the three-dimensional point generation device further estimates one or more fourth three-dimensional points from one or more second three-dimensional points.
  • the estimated fourth three-dimensional point is used, for example, as a three-dimensional point obtained by increasing the resolution of the first three-dimensional point.
  • the three-dimensional point generation device expands the point group by replacing the first three-dimensional point with one or more estimated fourth three-dimensional points.
  • the three-dimensional point generation device adds one or more fourth three-dimensional points to the expanded point group.
  • the three-dimensional point generation device cannot identify one or more third three-dimensional points associated with one or more transformed second three-dimensional points, the three-dimensional point generation device Three-dimensional points may also be estimated. According to this, the three-dimensional point generation method can improve the quality of high resolution by using the fourth three-dimensional points, compared to the case where random points are used.
  • the three-dimensional point generation device further rotates and inverts one or more fifth three-dimensional points (for example, FIG. 10 or FIG. 11) around the first three-dimensional point, thereby generating one or more fifth three-dimensional points.
  • Generate transformed fifth three-dimensional points identify one or more sixth three-dimensional points associated with one or more transformed fifth three-dimensional points, and determine the number of one or more fifth three-dimensional points (for example, 18 or 6) is different from the number of second three-dimensional points (for example, 26) which is one or more.
  • the three-dimensional point generation device can reduce the occurrence of cases in which one or more third three-dimensional points or one or more sixth three-dimensional points cannot be specified.
  • the number of one or more fifth three-dimensional points (eg, 18 or 6) may be less than the number of one or more second three-dimensional points (eg, 26).
  • a first table for example, group expansion table 422) and a second table (for example, grouping table 421) are referred to, and one or more second three-dimensional points and one
  • the above converted second three-dimensional points are classified into a plurality of groups
  • the first table includes a plurality of first candidates (for example, enlarged pattern 443) of one or more third three-dimensional points, and a plurality of groups (for example, group ID 442).
  • the second table associates a plurality of groups (for example, group ID 433) with a plurality of second candidates (for example, original point group) of one or more second three-dimensional points and one or more converted second three-dimensional points.
  • peripheral pattern 432 According to this, the three-dimensional point generation device can reduce the number of combinations of a plurality of first candidates and a plurality of second candidates, thereby reducing the data size of the table for identifying one or more third three-dimensional points. can.
  • the decoding device 300 is connected to a receiving unit 301 that receives a bitstream including encoded three-dimensional points, and is connected to the receiving unit 301 to decode the encoded three-dimensional points. It includes a circuit (for example, a decoding unit 302 and an enlarging unit 303) that generates a plurality of three-dimensional points including a three-dimensional point and one or more second three-dimensional points around the first three-dimensional point.
  • a circuit for example, a decoding unit 302 and an enlarging unit 303
  • the decoding device 300 performs the processing shown in FIG. 26.
  • the decoding device 300 receives a bitstream including encoded three-dimensional points (S411), decodes the encoded three-dimensional points, and decodes the first three-dimensional point and one or more surrounding points of the first three-dimensional point.
  • a plurality of three-dimensional points including a second three-dimensional point are generated (S412).
  • the bitstream further includes first information for generating one or more transformed second three-dimensional points by rotating and/or inverting the one or more second three-dimensional points; and one or more transformed second three-dimensional points. and second information for specifying one or more third three-dimensional points associated with the second three-dimensional point.
  • the decoding device 300 generates one or more transformed second three-dimensional points by performing at least one of rotation and inversion on one or more second three-dimensional points using the first information.
  • the decoding device 300 uses the second information to identify one or more third three-dimensional points that are associated with one or more transformed second three-dimensional points. Based on the identified one or more third three-dimensional points, the decoding device 300 converts the first three-dimensional point into one or more three-dimensional points (one or more third three-dimensional points, or one or more third three-dimensional points).
  • the point group is enlarged (at least one of increasing the resolution of the point group and adding points to the point group). In other words, the decoding device 300 detects an enlarged Generate a point cloud.
  • each of the first information and the second information is a signal included in the enlarged pattern information 401.
  • each of the first information and the second information may be any of the syntax elements shown in FIGS. 15, 18, 23, etc., or may be any of the signals described as modified examples thereof. You can.
  • an example of the first information is pattern conversion information 414
  • an example of the second information is entry information 416.
  • the decoding device 300 uses, for example, the first information and the second information to perform one or more transformed second three-dimensional points that have undergone at least one of rotation and inversion on the one or more second three-dimensional points.
  • One or more third three-dimensional points associated with can be specified.
  • the decoding device 300 can reduce the occurrence of cases in which one or more third three-dimensional points used for high resolution cannot be specified, and thus can improve the quality of high resolution.
  • the second information associates a plurality of first candidates for one or more third three-dimensional points with a plurality of second candidates for one or more second three-dimensional points and one or more transformed second three-dimensional points.
  • It includes a lookup table (for example, an expanded pattern collection (number of entries 415 and entry information 416)).
  • the second information may include a plurality of first candidates for one or more third three-dimensional points, a plurality of second candidates for one or more second three-dimensional points, and one or more transformed second three-dimensional points, respectively.
  • has a plurality of lookup tables for example, a plurality of expanded pattern collections (number of entries 415 and entry information 416)) that are associated with each other.
  • 3 information for example, area division information 451).
  • the decoding device 300 can use a lookup table suitable for each region to which a three-dimensional point belongs. Therefore, the quality of high resolution can be improved while suppressing an increase in the amount of processing in the decoding device 300.
  • the second information includes a first table (for example, group expansion table 422) that associates a plurality of first candidates (for example, enlarged pattern 443) of one or more third three-dimensional points with a plurality of groups (for example, group ID 442).
  • a second process that associates a plurality of groups (for example, group ID 433) with a plurality of second candidates for one or more second three-dimensional points and one or more converted second three-dimensional points (for example, peripheral patterns 432 of the original point group).
  • 2 tables for example, grouping table 421). According to this, the decoding device 300 can reduce the number of combinations of a plurality of first candidates and a plurality of second candidates, and therefore can reduce the data size of the second information.
  • the first information (eg, pattern conversion information 414) indicates one or more usable conversion methods among a plurality of conversion methods, each of which includes at least one of rotation and inversion.
  • the conversion method to be used by the decoding device 300 can be specified according to the characteristics of the point group. Therefore, the quality of high resolution can be improved while suppressing an increase in the amount of processing in the decoding device 300.
  • the first information (eg, pattern conversion information 414) further indicates the priority of one or more usable conversion methods.
  • the priority of the conversion method used by the decoding device 300 can be specified. Therefore, the quality of high resolution can be improved while suppressing an increase in the amount of processing in the decoding device 300.
  • the bitstream further includes fourth information (eg, peripheral pattern identifier 412) indicating the number of one or more second three-dimensional points.
  • fourth information eg, peripheral pattern identifier 412
  • the number of one or more second three-dimensional points to be used by the decoding device 300 can be specified according to the characteristics of the point group. Therefore, the quality of high resolution can be improved while suppressing an increase in the amount of processing in the decoding device 300.
  • the encoding device 200 encodes a plurality of three-dimensional points including a first three-dimensional point and one or more second three-dimensional points around the first three-dimensional point.
  • a circuit that generates encoded three-dimensional points for example, a reduction unit 201, an enlarged pattern generation unit 202, and an encoding unit 203), and a transmission unit that is connected to the circuit and transmits a bitstream containing the encoded three-dimensional points. 204.
  • each of the first information and the second information is a signal included in the enlarged pattern information 401.
  • each of the first information and the second information may be any of the syntax elements shown in FIGS. 15, 18, 23, etc., or may be any of the signals described as modified examples thereof. You can.
  • the decoding device 300 that decodes a bitstream performs one or more transformations that perform at least one of rotation and inversion on one or more second three-dimensional points using, for example, the first information and the second information.
  • One or more third three-dimensional points associated with the second three-dimensional point can be specified.
  • the decoding device 300 can reduce the occurrence of cases in which one or more third three-dimensional points used for high resolution cannot be specified, and thus can improve the quality of high resolution.
  • a three-dimensional point generation device, a decoding device, and an encoding device include a processor and a memory, and the processor uses the memory to perform the above processing.
  • the three-dimensional point generation device, decoding device, and encoding device include a circuit and a memory connected to the circuit, and the circuit performs the above processing using the memory.
  • each processing unit included in the three-dimensional data processing device, encoding device, decoding device, etc. according to the above embodiments is typically realized as an LSI, which is an integrated circuit. These may be integrated into one chip individually, or may be integrated into one chip including some or all of them.
  • the present disclosure may be realized as a three-dimensional point generation method, encoding method, decoding method, etc., executed by a three-dimensional data processing device, an encoding device, a decoding device, etc.
  • the present disclosure can be applied to three-dimensional data processing devices, encoding devices, and decoding devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

三次元点生成方法は、三次元座標系において１以上の三次元点を生成する三次元点生成方法であって、第１三次元点の周辺の１以上の第２三次元点に回転及び反転の少なくとも一方を行うことで、１以上の変換第２三次元点を生成し（Ｓ４０１）、１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定する（Ｓ４０２）。例えば、１以上の第３三次元点を特定するためにルックアップテーブルが参照され、ルックアップテーブルは、１以上の第３三次元点の複数の第１候補と、１以上の第２三次元点及び１以上の変換第２三次元点の複数の第２候補とを対応付けられてもよい。

Description

三次元点生成方法、三次元点生成装置、復号装置、符号化装置、復号方法及び符号化方法
　本開示は、三次元点生成方法、三次元点生成装置、復号装置、符号化装置、復号方法及び符号化方法に関する。
　点群（ポイントクラウド）データに含まれる三次元点の数を増加させる（高解像度化する）技術が知られている（例えば、非特許文献１参照）。
BORGES, T. M. (2021). FRACTIONAL SUPER-RESOLUTION OF VOXELIZED POINT CLOUDS　［2022年6月21日検索］，インターネット＜URL：https://repositorio.unb.br/bitstream/10482/42300/1/2021_DaviRabbounideCarvalhoFreitas.pdf＞
　このような技術では、高解像度化の品質を向上できることが望まれている。
　本開示は、高解像度化の品質を向上できる三次元点生成方法、三次元点生成装置、復号装置、符号化装置、復号方法又は符号化方法を提供することを目的とする。
　本開示の一態様に係る三次元点生成方法は、三次元座標系において１以上の三次元点を生成する三次元点生成方法であって、第１三次元点の周辺の１以上の第２三次元点に回転及び反転の少なくとも一方を行うことで、１以上の変換第２三次元点を生成し、前記１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定する。
　本開示の一態様に係る復号装置は、符号化三次元点を含むビットストリームを受信する受信部と、（ｉ）前記受信部に接続され、（ｉｉ）前記符号化三次元点を復号することで、第１三次元点と、前記第１三次元点の周辺の１以上の第２三次元点と、を含む複数の三次元点を生成する回路とを備え、前記ビットストリームは、さらに、前記１以上の第２三次元点に回転及び反転の少なくとも一方を行うことで、１以上の変換第２三次元点を生成するための第１情報と、前記１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定するための第２情報とを含む。
　本開示の一態様に係る符号化装置は、第１三次元点と、前記第１三次元点の周辺の１以上の第２三次元点と、を含む複数の三次元点を符号化することで符号化三次元点を生成する回路と、前記回路に接続され、前記符号化三次元点を含むビットストリームを送信する送信部とを備え、前記ビットストリームは、さらに、前記１以上の第２三次元点に回転及び反転の少なくとも一方を行うことで、１以上の変換第２三次元点を生成するための第１情報と、前記１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定するための第２情報とを含む。
　本開示は、高解像度化の品質を向上できる三次元点生成方法、三次元点生成装置、復号装置、符号化装置、復号方法又は符号化方法を提供できる。
図１は、実施の形態１に係る三次元データ処理装置のブロック図である。 図２は、実施の形態１に係る点群の拡大の例を示す図である。 図３は、実施の形態１に係る三次元データ処理装置による処理を示すフローチャートである。 図４は、実施の形態１に係る三次元データ処理装置による処理を模式的に示す図である。 図５は、実施の形態１に係る拡大パターン集の例を示す図である。 図６は、実施の形態１に係る、縮小前の入力点群と、縮小後の点及びその周辺座標の例を示す図である。 図７は、実施の形態１に係る拡大処理のフローチャートである。 図８は、実施の形態１に係る拡大前後の点の例を示す図である。 図９は、実施の形態１に係る変換及び拡大処理を模式的に示す図である。 図１０は、実施の形態１に係る周辺パターンに用いる周辺座標の別の例を示す図である。 図１１は、実施の形態１に係る周辺パターンに用いる周辺座標の別の例を示す図である。 図１２は、実施の形態２に係る符号化装置及び復号装置のブロック図である。 図１３は、実施の形態２に係る符号化処理のフローチャートである。 図１４は、実施の形態２に係る符号化処理を模式的に示す図である。 図１５は、実施の形態２に係る拡大パターン情報のシンタックス例を示す図である。 図１６は、実施の形態２に係る復号処理のフローチャートである。 図１７は、実施の形態２に係る復号処理を模式的に示す図である。 図１８は、実施の形態２に係る拡大パターン情報のシンタックス例の第１の変形例を示す図である。 図１９は、実施の形態２に係るグループ分けテーブルのシンタックス例を示す図である。 図２０は、実施の形態２に係るグループ分けテーブルの一例を示す図である。 図２１は、実施の形態２に係るグループ拡大テーブルのシンタックス例を示す図である。 図２２は、実施の形態２に係るグループ拡大テーブルの一例を示す図である。 図２３は、実施の形態２に係る拡大パターン情報のシンタックス例の第２の変形例を示す図である。 図２４は、実施の形態２に係る領域分割情報のシンタックス例を示す図である。 図２５は、実施の形態に係る三次元点生成処理のフローチャートである。 図２６は、実施の形態に係る復号処理のフローチャートである。 図２７は、実施の形態に係る符号化処理のフローチャートである。
　従来技術では、三次元点の高解像度化のために、当該三次元点の周辺の１以上の三次元点に対応付けられた１以上の三次元点を特定する。しかしながら、対応付けられた１以上の３次元点が特定できない場合、ランダムで三次元点を特定せざるをえない。その結果、高解像度化の品質は低くなる。
　そこで、本開示の一態様に係る三次元点生成方法は、三次元座標系において１以上の三次元点を生成する三次元点生成方法であって、第１三次元点の周辺の１以上の第２三次元点に回転及び反転の少なくとも一方を行うことで、１以上の変換第２三次元点を生成し、前記１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定する。
　特定された第３三次元点は、例えば、第１三次元点を高解像度化した三次元点、または、第１三次元点を高解像度化した三次元点を生成するための三次元点、として用いられる。１以上の第２三次元点に対応付けられた１以上の第３三次元点が存在しない場合においても、回転及び反転の少なくとも一方により１以上の第３三次元点を特定できるので、１以上の第３三次元点を特定できないケースの発生を低減できる。よって、当該三次元点生成方法は、例えば、高解像度化に用いる１以上の第３三次元点を特定できないケースの発生を低減できるので、高解像度化の品質を向上できる。
　例えば、前記１以上の第３三次元点を特定するためにルックアップテーブルが参照され、前記ルックアップテーブルは、前記１以上の第３三次元点の複数の第１候補と、前記１以上の第２三次元点及び前記１以上の変換第２三次元点の複数の第２候補とを対応付けてもよい。
　例えば、前記第２候補に対応付けられている前記第１候補が特定され、前記第２候補は、前記１以上の第２三次元点の実際の点に類似しており、前記実際の点と同一ではなくてもよい。
　これによれば、当該三次元点生成方法は、１以上の第３三次元点を特定できないケースの発生をさらに低減できる。
　例えば、前記回転は、現実世界において垂直方向に略平行なＹ軸を中心に前記１以上の第２三次元点を回転させることを含んでもよい。
　建築物等の垂直方向に対して対称性を有する対象物を複数の三次元点で表現する場合、垂直方向に平行な軸周りに複数の三次元点の分布が類似する傾向がある。よって、これによれば、当該三次元点生成方法は、建築物等の垂直方向に対して対称性を有する対象物において効率的に１以上の第３三次元点を特定できる。
　例えば、前記三次元点生成方法は、さらに、前記１以上の第３三次元点に対して逆変換を行うことで、１つ以上の変換第３三次元点を生成し、前記逆変換は、前記１以上の第２三次元点に対する前記回転及び反転の少なくとも一方の逆変換であってもよい。
　これによれば、当該三次元点生成方法は、変換前の１以上の第２三次元点により適した１以上の変換第３三次元点を生成できる。
　例えば、前記三次元点生成方法は、さらに、前記１以上の第２三次元点から１以上の第４三次元点を推定してもよい。
　推定された第４三次元点は、例えば、第１三次元点の高解像度化した三次元点として用いられる。これによれば、当該三次元点生成方法は、ランダムな点を用いる場合に比べて、第４三次元点を用いることで高解像度化の品質を向上できる。
　例えば、前記三次元点生成方法は、さらに、前記第１三次元点の周辺の１以上の第５三次元点に回転及び反転の少なくとも一方を行うことで、１以上の変換第５三次元点を生成し、前記１以上の変換第５三次元点に対応付けられた１以上の第６三次元点を特定し、前記１以上の第５三次元点の数は、前記１以上の第２三次元点の数と異なってもよい。
　これによれば、当該三次元点生成方法は、１以上の第３三次元点又は１以上の第６三次元点を特定できないケースの発生を低減できる。
　例えば、前記１以上の第３三次元点を特定するために第１テーブル及び第２テーブルが参照され、前記１以上の第２三次元点及び前記１以上の変換第２三次元点は複数のグループに分類され、前記第１テーブルは、前記１以上の第３三次元点の複数の第１候補と、前記複数のグループとを対応付け、前記第２テーブルは、前記複数のグループと、前記１以上の第２三次元点及び前記１以上の変換第２三次元点の複数の第２候補とを対応付けてもよい。
　これによれば、当該三次元点生成方法は、複数の第１候補と複数の第２候補との組み合わせを削減できるので、１以上の第３三次元点を特定するためのテーブルのデータサイズを縮小できる。
　本開示の一態様に係る三次元点生成装置は、三次元座標系において１以上の三次元点を生成する三次元点生成装置であって、メモリと、前記メモリに接続された回路とを備え、前記回路は、第１三次元点の周辺の１以上の第２三次元点に回転及び反転の少なくとも一方を行うことで、１以上の変換第２三次元点を生成し、前記１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定する。
　特定された第３三次元点は、例えば、第１三次元点を高解像度化した三次元点、または、第１三次元点を高解像度化した三次元点を生成するための三次元点、として用いられる。１以上の第２三次元点に対応付けられた１以上の第３三次元点が存在しない場合においても、回転及び反転の少なくとも一方により１以上の第３三次元点を特定できるので、１以上の第３三次元点を特定できないケースの発生を低減できる。よって、当該三次元点生成装置は、例えば、高解像度化に用いる１以上の第３三次元点を特定できないケースの発生を低減できるので、高解像度化の品質を向上できる。
　本開示の一態様に係る復号装置は、符号化三次元点を含むビットストリームを受信する受信部と、（ｉ）前記受信部に接続され、（ｉｉ）前記符号化三次元点を復号することで、第１三次元点と、前記第１三次元点の周辺の１以上の第２三次元点と、を含む複数の三次元点を生成する回路とを備え、前記ビットストリームは、さらに、前記１以上の第２三次元点に回転及び反転の少なくとも一方を行うことで、１以上の変換第２三次元点を生成するための第１情報と、前記１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定するための第２情報とを含む。
　これによれば、当該復号装置は、例えば、第１情報及び第２情報を用いて、１以上の第２三次元点に回転及び反転の少なくとも一方を行った１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定できる。特定された第３三次元点は、例えば、第１三次元点を高解像度化した三次元点、または、第１三次元点を高解像度化した三次元点を生成するための三次元点、として用いられる。１以上の第２三次元点に対応付けられた１以上の第３三次元点が存在しない場合においても、回転及び反転の少なくとも一方により１以上の第３三次元点を特定できるので、１以上の第３三次元点を特定できないケースの発生を低減できる。よって、当該復号装置は、例えば、高解像度化に用いる１以上の第３三次元点を特定できないケースの発生を低減できるので、高解像度化の品質を向上できる。
　例えば、前記第２情報は、前記１以上の第３三次元点の複数の第１候補と、前記１以上の第２三次元点及び前記１以上の変換第２三次元点の複数の第２候補とを対応付けるルックアップテーブルを含んでもよい。
　例えば、前記第２情報は、前記１以上の第３三次元点の複数の第１候補と、前記１以上の第２三次元点及び前記１以上の変換第２三次元点の複数の第２候補とを各々が対応付ける複数のルックアップテーブルと、三次元点が属する領域毎に、前記複数のルックアップテーブルのうち使用するルックアップテーブルを示す第３情報とを含んでもよい。
　これによれば、当該復号装置は、三次元点が属する領域毎に、当該領域に適したルックアップテーブルを使用できる。よって、復号装置における処理量の増加を抑制しつつ、高解像度化の品質を向上できる。
　例えば、前記第２情報は、前記１以上の第３三次元点の複数の第１候補と、複数のグループとを対応付ける第１テーブルと、前記複数のグループと、前記１以上の第２三次元点及び前記１以上の変換第２三次元点の複数の第２候補とを対応付ける第２テーブルとを含んでもよい。
　これによれば、当該復号装置は、複数の第１候補と複数の第２候補との組み合わせを削減できるので、第２情報のデータサイズを縮小できる。
　例えば、前記第１情報は、各々が回転及び反転の少なくとも一方を含む複数の変換方式のうち、使用可能な１以上の変換方式を示してもよい。
　これによれば、例えば、符号化装置において、点群の特性等に応じて、復号装置が使用する変換方式を指定できる。よって、復号装置における処理量の増加を抑制しつつ、高解像度化の品質を向上できる。
　例えば、前記第１情報は、さらに、前記使用可能な１以上の変換方式の優先度を示してもよい。
　これによれば、例えば、符号化装置において、復号装置が使用する変換方式の優先度を指定できる。よって、復号装置における処理量の増加を抑制しつつ、高解像度化の品質を向上できる。
　例えば、前記ビットストリームは、さらに、前記１以上の第２三次元点の数を示す第４情報を含んでもよい。
　これによれば、例えば、符号化装置において、点群の特性等に応じて、復号装置が使用する１以上の第２三次元点の数を指定できる。よって、復号装置における処理量の増加を抑制しつつ、高解像度化の品質を向上できる。
　本開示の一態様に係る符号化装置は、第１三次元点と、前記第１三次元点の周辺の１以上の第２三次元点と、を含む複数の三次元点を符号化することで符号化三次元点を生成する回路と、前記回路に接続され、前記符号化三次元点を含むビットストリームを送信する送信部とを備え、前記ビットストリームは、さらに、前記１以上の第２三次元点に回転及び反転の少なくとも一方を行うことで、１以上の変換第２三次元点を生成するための第１情報と、前記１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定するための第２情報とを含む。
　これによれば、ビットストリームを復号する復号装置は、例えば、第１情報及び第２情報を用いて、１以上の第２三次元点に回転及び反転の少なくとも一方を行った１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定できる。特定された第３三次元点は、例えば、第１三次元点を高解像度化した三次元点、または、第１三次元点を高解像度化した三次元点を生成するための三次元点、として用いられる。１以上の第２三次元点に対応付けられた１以上の第３三次元点が存在しない場合においても、回転及び反転の少なくとも一方により１以上の第３三次元点を特定できるので、１以上の第３三次元点を特定できないケースの発生を低減できる。よって、当該復号装置が、例えば、高解像度化に用いる１以上の第３三次元点を特定できないケースの発生を低減できるので、高解像度化の品質を向上できる。
　本開示の一態様に係る復号方法は、符号化三次元点を含むビットストリームを受信し、前記符号化三次元点を復号することで、第１三次元点と、前記第１三次元点の周辺の１以上の第２三次元点と、を含む複数の三次元点を生成し、前記ビットストリームは、さらに、前記１以上の第２三次元点に回転及び反転の少なくとも一方を行うことで、１以上の変換第２三次元点を生成するための第１情報と、前記１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定するための第２情報とを含む。
　これによれば、当該復号方法は、例えば、第１情報及び第２情報を用いて、１以上の第２三次元点に回転及び反転の少なくとも一方を行った１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定できる。特定された第３三次元点は、例えば、第１三次元点を高解像度化した三次元点、または、第１三次元点を高解像度化した三次元点を生成するための三次元点、として用いられる。１以上の第２三次元点に対応付けられた１以上の第３三次元点が存在しない場合においても、回転及び反転の少なくとも一方により１以上の第３三次元点を特定できるので、１以上の第３三次元点を特定できないケースの発生を低減できる。よって、当該復号方法は、例えば、高解像度化に用いる１以上の第３三次元点を特定できないケースの発生を低減できるので、高解像度化の品質を向上できる。
　本開示の一態様に係る符号化方法は、第１三次元点と、前記第１三次元点の周辺の１以上の第２三次元点と、を含む複数の三次元点を符号化することで符号化三次元点を生成し、前記符号化三次元点を含むビットストリームを送信し、前記ビットストリームは、さらに、前記１以上の第２三次元点に回転及び反転の少なくとも一方を行うことで、１以上の変換第２三次元点を生成するための第１情報と、前記１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定するための第２情報とを含む。
　これによれば、ビットストリームを復号する復号装置は、例えば、第１情報及び第２情報を用いて、１以上の第２三次元点に回転及び反転の少なくとも一方を行った１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定できる。特定された第３三次元点は、例えば、第１三次元点を高解像度化した三次元点、または、第１三次元点を高解像度化した三次元点を生成するための三次元点、として用いられる。１以上の第２三次元点に対応付けられた１以上の第３三次元点が存在しない場合においても、回転及び反転の少なくとも一方により１以上の第３三次元点を特定できるので、１以上の第３三次元点を特定できないケースの発生を低減できる。よって、当該復号装置が、例えば、高解像度化に用いる１以上の第３三次元点を特定できないケースの発生を低減できるので、高解像度化の品質を向上できる。
　なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭ等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　（実施の形態１）
　本実施の形態では、複数の三次元点を含む点群を拡大（高解像度化）する手法について説明する。図１は、本実施の形態に係る三次元データ処理装置１００の構成を示すブロック図である。三次元データ処理装置１００（三次元点生成装置とも呼ぶ）は、入力点群データを拡大することで拡大点群データを生成する。図１に示すように三次元データ処理装置１００は、拡大パターン生成部１０１と、記憶部１０２と、拡大部１０３とを備える。
　ここで、点（三次元点）とは、点群を成す最小単位であり、点の体積はゼロとして扱われる。点は、三次元座標（三次元位置情報）を有する。また、点は、さらに、色又は反射率等の属性情報を有してもよい。
　また、拡大とは、解像度を上げる（ボクセルグリッドを細かくする）とともに、点を増加（追加）することを意味する。ボクセルとは、三次元空間での体積の要素であり、座標格子点単位に存在する三次元枠である。各ボクセルの枠内には、１以上の点が存在する場合と、点が存在しない場合とがある。ボクセルグリッドは、座標上の格子点であり、例えば、整数座標の格子点、又は２のべき乗の格子点などである。ボクセルは、ボクセルグリッドごとに存在する。なお、拡大において、必ずしも点の数が増加するわけではなく点の数が増加しない場合もある。
　また、縮小とは、解像度を下げる（ボクセルグリッドを粗くする）とともに、点を減少（削減）することを意味する。なお、縮小において、必ずしも点の数が減少するわけではなく点の数が減少しない場合もある。
　図２は、点群の拡大の例を示す図である。図２に示すように点群の拡大によりボクセルの数が増加する。また、ここでは、点群を２倍（ｘ、ｙ、ｚ方向にそれぞれ２倍）にする例を述べるが拡大率はこれに限らない。また、ここでは、１つのボクセルが１つの点に対応する場合を説明する。
　図３は、三次元データ処理装置１００による処理を示すフローチャートである。また、図４は、三次元データ処理装置１００による処理を模式的に示す図である。
　まず、拡大パターン生成部１０１は、入力点群を縮小することで縮小点群を生成する（Ｓ１０１）。例えば、拡大パターン生成部１０１は、点群を１／２倍（ｘ、ｙ、ｚ方向にそれぞれ１／２倍）することで縮小点群を生成する。なお、点群の縮小には任意の手法を用いることができるが、例えば、縮小後のボクセルに対応する８つのボクセルに１以上の点が存在する場合に、縮小後のボクセルに点が生成され、それ以外の場合に点が生成されなくてもよい。または、縮小後のボクセルに対応する８つのボクセルに予め定められた個数以上の点が存在する場合に、縮小後のボクセルに点が生成され、それ以外の場合に点が生成されなくてもよい。
　次に、拡大パターン生成部１０１は、入力点群と縮小点群とを用いて拡大パターン集１０４を生成する（Ｓ１０２）。生成された拡大パターン集１０４は記憶部１０２に記憶される。
　図５は、拡大パターン集１０４の例を示す図である。拡大パターン集１０４は、元点群の周辺パターンと、拡大パターンとの対応付けを示す。例えば、拡大パターン集１０４は、複数のエントリを含むルックアップテーブル（ＬＵＴ）である。各エントリは、元点群の周辺パターンと、当該周辺パターンに対応付けられた拡大パターンとを示す。周辺パターンは、第２候補の一例である。拡大パターンは、第１候補の一例である。拡大パターン集１０４は、高解像度化のための教師データとも称される。
　図６は、拡大パターン集１０４の生成処理を説明するための図であり、縮小前の入力点群と、縮小後の点及びその周辺座標の例を示す図である。例えば、図６に示すように入力点群に含まれる８個の点が、縮小点群に含まれる１個の点（縮小点）に縮小された場合、入力点群に含まれる８個の点のオキュパンシ符号と、縮小点の周辺座標（２６個）のオキュパンシ符号とがそれぞれ対応する拡大パターン及び元点群の周辺パターンとして拡大パターン集１０４に登録される。
　なお、この登録処理では、必ずしも、元点群の周辺パターンとして登録しうる全てのパターンに対して拡大パターンが登録されるとは限らず、拡大パターンが登録されない元点群の周辺パターンが存在する。
　また、オキュパンシ符号の各ビットは１つの座標（ボクセル）に対応し、対応する座標に点が存在するか否かを示す。例えば、値「１」は、点が存在すること（占有）を示し、値「０」は点が存在しないこと（非占有）を示す。
　例えば、拡大パターン生成部１０１は、縮小点群に含まれる点毎に上記処理を行うことで、複数のエントリに拡大パターンを登録する。これにより、複数の拡大パターンが登録された拡大パターン集１０４が生成される。なお、ある元点群の周辺パターンに対して、異なる複数の拡大パターンが存在する可能性もあるが、その場合、拡大パターン生成部１０１は、例えば、発生頻度に応じて、一つの拡大パターンを選択して、拡大パターン集１０４に登録する。
　ここで、点群の位置情報は、例えば、８分木等のＮ（Ｎは２以上の整数）分木構造を用いて表現される。具体的には、８分木では、対象空間が８個のノード（サブ空間）に分割され、各ノードに点群が含まれるか否かを示す８ビットの情報（オキュパンシ符号）が生成される。また、点群が含まれるノードは、さらに、８個のノードに分割され、当該８個のノードの各々に点群が含まれるか否かを示す８ビットの情報が生成される。この処理が、予め定められた階層又はノードに含まれる点群の数の閾値以下になるまで繰り返される。
　点群が８分木表現され、入力点群が子ノードの点群である場合、入力点群に対する縮小点群は子ノードに対する親ノードであり、縮小点群は、親ノードの階層の点群ということができる。つまり、子ノードの８個の点のオキュパンシ符号と、親ノードの周辺座標（２６個）のオキュパンシ符号とが、それぞれ対応する拡大パターン及び元点群の周辺パターンとして拡大パターン集１０４に登録される。
　次に、拡大部１０３は、拡大パターン集１０４を用いて入力点群を拡大する（Ｓ１０３）。図７は、この拡大処理のフローチャートである。
　拡大部１０３は、入力点群に含まれる点毎のループ処理を開始する（Ｓ１１１）。つまり、拡大部１０３は、各点に対してステップＳ１１２～Ｓ１１７の処理を行う。
　まず、拡大部１０３は、処理対象の対象点の周辺パターンに対応する拡大パターンが拡大パターン集１０４に登録されているか否かを判定する（Ｓ１１２）。対象点の周辺パターンに対応する拡大パターンが拡大パターン集１０４に登録されている場合（Ｓ１１２でＹｅｓ）、拡大部１０３は、登録されている拡大パターンを用いて対象点を拡大し（Ｓ１１３）、点毎のループ処理を終了する（Ｓ１１８）。
　図８は、この拡大処理を説明するための図であり、拡大前後の点の例を示す図である。図８に示すように、例えば、拡大部１０３は、対象点の周辺の２６個の周辺座標のオキュパンシ符号が元点群の周辺パターンとして登録されているエントリを探索し、当該エントリに含まれる拡大パターンで示される占有状態に基づき、拡大後の８個のボクセルに点を配置する。言い換えると、拡大部１０３は、対象点のボクセルを、拡大パターンで示される占有状態を有する８個のボクセルに置き換える。これにより、例えば、図８に示す例では、１つの対象点は、４つの点に置き換えられる。
　一方、対象点の周辺パターンに対応する拡大パターンが拡大パターン集１０４に登録されていない場合（Ｓ１１２でＮｏ）、拡大部１０３は、対象点の周辺パターンに回転又は反転を含む変換処理を行い、変換後の周辺パターンである変換周辺パターンに対応する拡大パターンが拡大パターン集１０４に登録されているか否かを判定する（Ｓ１１４）。
　なお、対象点は、第１三次元点の一例であり、周辺パターンを構成する１以上の点は、１以上の第２三次元点の一例である。変換後の周辺パターンを構成する１以上の点は、１以上の変換第２三次元点の一例である。パターンを構成する点とは、例えば、オキュパンシ符号において値が１のビットに対応する点である。また、対象点の周辺とは、対象点から所定距離未満離れていることである。また、変換処理は、回転及び反転の両方を行うものであってもよい。
　具体的には、拡大部１０３は、互いに異なる複数の変換方式から予め定められた順序で変換方式を選択し、選択した変換方式により変換周辺パターンを生成し、生成された変換周辺パターンが拡大パターン集１０４に登録されているか否かを判定する。当該変換周辺パターンが拡大パターン集１０４に登録されていない場合、次の変換方式を用いて変換周辺パターンを生成し、生成された変換周辺パターンが拡大パターン集１０４に登録されているか否かを判定する。拡大部１０３は、この処理を、拡大パターン集１０４に登録されている変換周辺パターンが見つかるまで繰り返す。また、いずれの変換方式で生成された変換周辺パターンも、拡大パターン集１０４に登録されていない場合、拡大部１０３は、変換後の周辺パターンである変換周辺パターンに対応する拡大パターンが拡大パターン集１０４に登録されていない（Ｓ１１４でＮｏ）と判定する。
　また、複数の変換方式は、例えば、各軸（ｘ軸、ｙ軸、ｚ軸）に対する９０度、１８０度、２７０度の回転と、各軸（ｘ軸、ｙ軸、ｚ軸）方向の反転（ｙｚ面、ｘｚ面、ｘｙ面に対する反転）とを含む。
　変換周辺パターンに対応する拡大パターンが拡大パターン集１０４に登録されている場合（Ｓ１１４でＹｅｓ）、拡大部１０３は、当該拡大パターンを逆変換し（Ｓ１１５）、逆変換後の拡大パターンである逆変換拡大パターンを用いて対象点を拡大し（Ｓ１１６）、点毎のループ処理を終了する（Ｓ１１８）。
　なお、拡大パターン集１０４において変換周辺パターンに対応付けられた拡大パターンを構成する１以上の点は、１以上の第３三次元点の一例である。また、ステップＳ１１５は省略されてもよい。すなわち、拡大パターンを構成する１以上の点をそのまま新たな三次元点として生成してもよい。このように逆変換しなくても、拡大点群の品質に影響を与えない場合がある。
　点群が８分木表現され、入力点群が子ノードの点群である場合、入力点群に対する拡大点群は子ノードに対する孫ノードであり、拡大点群は、孫ノードの階層の点群ということができる。
　図９は、この変換及び拡大処理（Ｓ１１４～Ｓ１１６）を模式的に示す図である。この例では、図５に示すエントリ１０５Ａに示すように、図９に示す周辺パターンに対応する拡大パターンは拡大パターン集１０４に登録されていない。この場合、拡大部１０３は、当該周辺パターンをＹ軸回りに９０度回転させることで、変換周辺パターンを生成する。この変換周辺パターンの拡大パターンは、図５に示すエントリ１０５Ｂに示すように、拡大パターン集１０４に登録されている。
　次に、拡大部１０３は、当該拡大パターンに逆変換（Ｙ軸回りに－９０度回転）を行うことで逆変換拡大パターンを生成する。最後に拡大部１０３は、当該逆変換拡大パターンを用いて対象点を拡大する。
　なお、拡大部１０３は、オキュパンシ符号を回転又は反転させる方法として以下の方法を用いてもよい。例えば、拡大部１０３は、ｘ、ｙ、ｚの各軸及び回転角度（９０度、１８０度、２７０度）について回転又は反転後のビットの入れ替わりを論理的に算出してもよい。これにより、高速処理を実現できる。または、拡大部１０３は、オキュパンシ符号を点群に変換し、点の各座標に座標変換行列を乗算することで回転又は反転を行い、変換後の点群をオキュパンシ符号に変換してもよい。これにより、実装を容易化できる。
　また、変換周辺パターンに対応する拡大パターンが拡大パターン集１０４に登録されていない場合（Ｓ１１４でＮｏ）、拡大部１０３は、予め定められた拡大パターンを用いて対象点を拡大し（Ｓ１１７）、点毎のループ処理を終了する（Ｓ１１８）。例えば、予め定められた拡大パターンは、８個のボクセルの全てに三次元点を配置する拡大パターンである。
　ここで、ステップＳ１１７のように、実際の点群の形状に基づかない拡大パターンが用いられる頻度が増えると、拡大点群の品質が低下する可能性が増える。これに対して、三次元データ処理装置１００は、拡大パターンが登録されていない場合に、周辺パターンを回転又は反転し、得られた変換周辺パターンに対応付けられている拡大パターンを探索する。これにより、登録されている拡大パターンが少ない場合であっても、より多くのケースで、登録されている拡大パターンを用いることができるので、適切な拡大を行うことができる。よって、拡大点群の品質を向上できる。
　なお、ステップＳ１１４における変換に用いる複数の変換方式は、入力点群の形状情報、又は推定できるメタ情報等に基づき、制限されてもよいし、優先度が決定されてもよい。例えば、入力点群に含まれる対象物が建築物等の垂直方向に対して対称性を有する対象物である場合は、Ｙ軸回りの回転が優先的に用いられてもよい。また、入力点群に含まれる対象物が自動車又は飛行機等の左右対称な対象物である場合には、特定の軸反転が優先的に用いられてもよい。これにより、登録されている拡大パターンに対する類似形状の探索の効率が向上する。また、拡大点群の品質を向上できる。
　また、上記説明では、１つの拡大パターン集１０４が生成される例を示したが複数の拡大パターン集１０４が生成されてもよい。例えば、点群に含まれる複数の領域に対してそれぞれ拡大パターン集１０４が生成されてもよい。例えば、点群が人体形状を表す場合、頭部と胴体とで個別に拡大パターン集が作成されてもよい。この場合、頭部の点群の拡大には頭部用の拡大パターン集が用いられ、胴体の点群の拡大には胴体用の拡大パターン集が用いられる。また、各拡大パターン集の作成には、例えば、対応する領域の対象点群と縮小点群とが用いられる。これにより、各領域の形状特徴に適した拡大パターンを用いることができるので、拡大処理の品質を向上できる。
　また、三次元データ処理装置１００は、上記の領域毎に変換方式を制限してもよいし、変換方式の優先度を変更してもよい。例えば、頭部の点群には全方向の回転及び反転が用いられ、胴体の点群には水平方向（Ｙ軸）の回転及び反転のみが許可されてもよい。
　また、拡大パターン集１０４に登録されている拡大パターンの数が十分に多い場合（例えば予め定められた数又は割合より多い場合）には、拡大部１０３は、上述した変換処理（回転又は反転）を用いた処理（図７に示すＳ１１４～Ｓ１１６）が不要と判断し、当該処理を行わなくてもよい。この場合、拡大部１０３は、対象点の周辺パターンに対応する拡大パターンが拡大パターン集１０４に登録されていない場合（Ｓ１１２でＮｏ）、予め定められた拡大パターンを用いて対象点を拡大する（Ｓ１１７）。これにより、三次元データ処理装置１００の処理量を低減できる。
　また、上記説明では入力点群と縮小点群とを用いて拡大パターン集１０４を生成する例を述べたが、拡大パターン集１０４は予め作成されてもよい。また、拡大パターン集１０４は、複数の入力点群に基づき作成されてもよい。例えば、三次元データ処理装置１００は、同一対象物を示す複数フレームの点群データが入力された場合、複数フレームの点群を用いて複数フレームの点群に共通に用いる拡大パターン集１０４を生成してもよい。
　また、上記説明ではステップＳ１１２及びＳ１１４において、三次元データ処理装置１００は、対象点の周辺パターン又は変換周辺パターンが、拡大パターン集１０４に含まれる周辺パターンと一致するかを判定したが、２つの周辺パターンが類似するかを判定してもよい。例えば、２つの周辺パターンを示す２つのオキュパンシ符号が１ビットだけ異なる場合、当該２つの周辺パターンは類似すると判定される。なお、２つのオキュパンシ符号がｎビット（ｎは２以上の整数）だけ異なる場合、２つの周辺パターンは類似すると判定されてもよい。また、三次元データ処理装置１００は、拡大パターン集１０４において、類似すると判定された周辺パターンに対応付けられている拡大パターン（又はその逆変換拡大パターン）を用いて対象点を拡大する。
　例えば、三次元データ処理装置１００は、通常の探索処理（Ｓ１１２）及び変換処理を含む探索処理（Ｓ１１４）の両方において、該当する拡大パターンが存在しない場合（Ｓ１１４でＮｏ）に、上記の類似判定を行ってもよい。例えば、三次元データ処理装置１００は、この類似判定において、変換処理を行わない通常の周辺パターンに対して類似判定を行い、該当する拡大パターンが存在しない場合、さらに、変換周辺パターンに対して類似判定を行ってもよい。または、三次元データ処理装置１００は、通常の探索処理（Ｓ１１２）において、該当する拡大パターンが存在しない場合（Ｓ１１２でＮｏ）に、通常の周辺パターンに対する類似判定を行い、当該類似判定において、該当する拡大パターンが存在しない場合に、変換処理を含む探索処理（Ｓ１１４）及び変換周辺パターンに対する類似判定を行ってもよい。
　また、上記説明では、三次元データ処理装置１００は、各点に対する判定処理において変換処理（Ｓ１１４）を行っているが、事前に、拡大パターン集１０４に登録されている各エントリに含まれる周辺パターン及び拡大パターンに対して変換処理（回転又は反転）を行うことで、拡大パターン集１０４に含まれる拡大パターンを増やしておいてもよい。この場合、上述したステップＳ１１４～Ｓ１１６の処理は不要となり、ステップＳ１１２における判定処理において、回転又は反転を含む探索が可能となる。
　また、上記説明では、図８等に示すように、対象点に隣接する２６個の周辺座標の周辺パターンを用いる例を示したが、周辺パターンはこれに限らない。図１０及び図１１は、周辺パターンに用いる周辺座標の別の例を示す図である。例えば、図１０に示すように、対象点に隣接する１８個の周辺座標の占有状態が周辺パターンとして用いられてもよい。または、図１１に示すように、対象点に隣接する６個の周辺座標の占有状態が周辺パターンとして用いられてもよい。
　また、上記の２６個の周辺座標の周辺パターンと、１８個の周辺座標の周辺パターンと、６個の周辺座標の周辺パターンとのそれぞれに対して拡大パターン集が生成されてもよい。ここで、一般に、周辺パターンに用いる周辺座標の数が多いほど、拡大パターンから得られる形状精度は高まる。よって、三次元データ処理装置１００は、例えば、図７のステップＳ１１２において、２６個の周辺座標の周辺パターン、１８個の周辺座標の周辺パターン、６個の周辺座標の周辺パターンを順に用いて探索を行い、いずれにおいても該当する拡大パターンが存在しない場合に、変換処理を含む探索処理（Ｓ１１４）を行ってもよい。また、三次元データ処理装置１００は、変換処理を含む探索処理（Ｓ１１４）において、２６個の周辺座標の周辺パターン、１８個の周辺座標の周辺パターン、６個の周辺座標の周辺パターンを順に用いて探索を行ってもよい。これによれば、変換処理を含む探索処理（Ｓ１１４）が行われる頻度を低減できるので処理負荷を低減できる。この例では、２６個の周辺座標の周辺パターンを構成する１以上点が、１以上の第２三次元点に対応し、１８個の周辺座標の周辺パターン又は６個の周辺座標の周辺パターンを構成する１以上の点が、第５三次元点に対応する。しかし、第２三次元点および第５三次元点は、これらの例に限らず、周辺座標の数が異なればよい。
　または、三次元データ処理装置１００は、２６個の周辺座標の周辺パターンを用いた通常の探索処理（Ｓ１１２）及び変換処理を含む探索処理（Ｓ１１４）を行い、いずれにおいても該当する拡大パターンが存在しない場合に、１８個の周辺座標の周辺パターンを用いた通常の探索処理（Ｓ１１２）及び変換処理を含む探索処理（Ｓ１１４）を行ってもよい。さらに、三次元データ処理装置１００は、１８個の周辺座標の周辺パターンを用いた通常の探索処理（Ｓ１１２）及び変換処理を含む探索処理（Ｓ１１４）を行い、いずれにおいても該当する拡大パターンが存在しない場合に、６個の周辺座標の周辺パターンを用いた通常の探索処理（Ｓ１１２）及び変換処理を含む探索処理（Ｓ１１４）を行ってもよい。これによれば、２６個の周辺座標の周辺パターンを優先して用いることができるので、拡大点群の品質を向上できる。
　また、周辺パターンとして用いる周辺座標の範囲は図８等に示すように立方体に限らず、直方体又は楕円体形状であってもよい。さらに、周辺パターンとして用いる周辺座標の範囲として任意の範囲が用いられてもよい。例えば、対象点から水平方向など特定の方向に２ボクセル又は３ボクセルまでの範囲に含まれる座標のオキュパンシ符号が拡大パターンとして用いられてもよい。
　また、図７に示す例では、三次元データ処理装置１００は、拡大パターン集１０４に、該当する拡大パターンが含まれない場合（例えばＳ１１４でＮｏ）、予め定められた拡大パターンを用いるとしたが、代わりに以下の処理を行ってもよい。
　例えば、三次元データ処理装置１００は、対象点の近傍の座標の占有状態を用いて、拡大後の点分布を推定してもよい。例えば、三次元データ処理装置１００は、対象点の近傍の座標の占有状態にフィルタを掛けることで補完対象座標の発生確率を計算し、発生確率を閾値と比較することで拡大後の各ボクセルにおける点の有無を判定する。また、別の方法として、三次元データ処理装置１００は、対象点の近辺の点の分布状況から物体の表面形状を推定し、推定された形状の近辺に点を発生させる方法を用いてもよい。推定によって生成された点は、１以上の第４三次元点の一例である。
　（実施の形態２）
　本実施の形態では上述した点群の拡大処理を応用した点群の符号化（圧縮）方法について説明する。図１２は、本実施の形態に係る符号化装置２００及び復号装置３００のブロック図である。
　符号化装置２００は、入力点群を符号化することでビットストリームを生成する。この符号化装置２００は、縮小部２０１と、拡大パターン生成部２０２と、符号化部２０３と、送信部２０４とを備える。
　図１３は、符号化装置２００による符号化処理のフローチャートである。図１４は、この符号化処理を模式的に示す図である。
　まず、縮小部２０１は、入力点群を縮小することで縮小点群を生成する（Ｓ２０１）。次に、拡大パターン生成部２０２は、入力点群と縮小点群とから拡大パターン集を生成する（Ｓ２０２）。なお、これらの処理の詳細は、上述した三次元データ処理装置１００に含まれる拡大パターン生成部１０１の処理と同様である。
　次に、符号化部２０３は、縮小点群を符号化することで符号化縮小点群を生成する（Ｓ２０３）。この符号化処理には、公知の点群符号化（点群圧縮）技術を用いることができる。例えば、この符号化処理は、量子化処理、イントラ予測処理、インター予測処理、及び算術符号化処理等を含む。また、符号化部２０３は、拡大パターン集を示す拡大パターン情報４０１と、符号化縮小点群４０２とを含むビットストリームを生成する。なお、符号化部２０３は、拡大パターン情報を符号化（例えば算術符号化）したうえで、ビットストリームに格納してもよい。
　なお、点群が８分木表現される場合、入力点群を縮小し、縮小点群を符号化するとは、入力点群の８分木において、一定レベル以下のノードを符号化しない、ということもできる。また、拡大パターン情報４０１（拡大パターン集）は、上記一定レベル以下のノードを復号装置３００が復元するための情報ともいえる。
　次に、送信部２０４は、生成されたビットストリームを復号装置３００に送信する（Ｓ２０４）。
　図１５は、拡大パターン情報４０１のシンタックス例を示す図である。拡大パターン情報４０１は、拡大パターン集の数４１１を含む。なお、図１５及び後述するシンタックス例を示す各図に示す各信号のビット数（ビット長）は一例であり、各信号のビット数はこれらに限定されない。
　拡大パターン集の数４１１は、拡大パターン情報４０１に含まれる拡大パターン集の数を示す。なお、各拡大パターン集は、実施の形態１で説明した拡大パターン集１０４と同様の構成を有する。拡大パターン情報４０１は、さらに、拡大パターン集毎に、周辺パターン識別子４１２と、パターン変換情報フラグ４１３とを含む。
　周辺パターン識別子４１２は、対象点の周辺パターンとして用いる周辺座標の範囲を示す識別子である。例えば、値０は立方体内の６個の周辺座標（例えば図１１）を用いることを示し、値１は立方体内の１８個の周辺座標（例えば図１０）を用いることを示し、値２は立方体内の２６個の周辺座標（例えば図８）を用いることを示し、値３は、楕円体内の複数の周辺座標を用いることを示し、値４は直方体内の複数の周辺座標を用いることを示す。なお、ここで示す値及び周辺座標の範囲は一例であり、これに限定されない。また、周辺パターン識別子４１２の値に応じて、拡大パターン集に含まれる元点群の周辺パターンのオキュパンシ符号のビット長（＝Ｎ）が決まる。例えば、６個の周辺座標が用いられる場合はＮ＝６であり、１８個の周辺座標が用いられる場合はＮ＝１８である。
　パターン変換情報フラグ４１３は、対応する拡大パターン集に対するパターン変換情報４１４が拡大パターン情報４０１に含まれるか否かを示す。例えば、値０はパターン変換情報４１４が拡大パターン情報４０１に含まれないことを示し、値１はパターン変換情報４１４が拡大パターン情報４０１に含まれることを示す。
　拡大パターン情報４０１は、パターン変換情報フラグ４１３により、パターン変換情報４１４が拡大パターン情報４０１に含まれることを示す場合（値１の場合）、拡大パターン集毎の情報として、パターン変換情報４１４を含む。パターン変換情報４１４は、パターン変換方式の数４１４Ａと、パターン変換方式毎の情報であるパターン変換方式４１４Ｂとを含む。パターン変換方式の数４１４Ａは、パターン変換情報４１４に含まれるパターン変換方式４１４Ｂの数を示す。
　パターン変換方式４１４Ｂは、復号装置３００が使用可能な変換方式を示す。また、例えば、複数のパターン変換方式４１４Ｂのパターン変換情報４１４内の記載順序（配置順序）により複数のパターン変換方式４１４Ｂで示される変換方式の優先度が示される。例えば、先に記載されている変換方式ほど優先度が高いことを意味する。複数の変換方式は、例えば、各軸（ｘ軸、ｙ軸、ｚ軸）に対する９０度、１８０度、２７０度の回転と、各軸（ｘ軸、ｙ軸、ｚ軸）方向の反転（ｙｚ面、ｘｚ面、ｘｙ面に対する反転）とを含む。また、パターン変換方式４１４Ｂの各々は、上述した完全一致判定と類似判定とを区別する情報を含んでもよい。
　復号装置３００は、パターン変換情報４１４で示される優先度に従い、変換処理を含むパターン一致の判定処理を行う。
　なお、ここで示すパターン変換情報４１４の構成は一例であり、パターン変換情報４１４の構成はこれに限らない。例えば、使用可能な複数の変換方式及び優先度の複数の組み合わせが予め定められており、パターン変換情報４１４は、この組み合わせのいずれかを指定する識別子であってもよい。
　また、パターン変換情報フラグ４１３により、パターン変換情報４１４が拡大パターン情報４０１に含まれないことを示す場合（値０の場合）、拡大パターン情報４０１は、パターン変換情報４１４を含まない。この場合、復号装置３００は、変換処理を含むパターン一致の判定処理を行わない。
　拡大パターン情報４０１は、さらに、拡大パターン集毎に、エントリ数４１５と、エントリ毎の情報であるエントリ情報４１６とを含む。エントリ数４１５は、拡大パターン集に含まれるエントリの数を示す。エントリ情報４１６は、拡大パターン集に含まれるエントリの情報であり、元点群の周辺パターン（オキュパンシ符号）と、当該周辺パターンに対応する拡大パターン（オキュパンシ符号）とを示す。つまり、複数のエントリ情報４１６により、図５に示すような拡大パターン集１０４が示される。
　次に、復号装置３００の構成及び動作を説明する。復号装置３００は、符号化装置２００で生成されたビットストリームを復号することで復号点群を生成する。図１２に示すように、復号装置３００は、受信部３０１と、復号部３０２と、拡大部３０３とを備える。
　図１６は、復号装置３００による復号処理のフローチャートである。図１７は、この復号処理を模式的に示す図である。
　まず、受信部３０１は、ビットストリームを取得（受信）する（Ｓ３０１）。次に、復号部３０２は、ビットストリームに含まれる符号化縮小点群４０２を復号することで縮小点群を生成する（Ｓ３０２）。なお、この復号処理は、符号化部２０３で行われた符号化処理に対応し、例えば、逆量子化処理、イントラ予測処理、インター予測処理、及び算術復号処理等を含む。
　次に、拡大部３０３は、ビットストリームに含まれる拡大パターン情報４０１で示される拡大パターン集に含まれる複数の拡大パターンを用いて、縮小点群を拡大することで復号点群を生成する（Ｓ３０３）。なお、拡大処理の詳細は、上述した三次元データ処理装置１００に含まれる拡大部１０３の処理において、入力点群を縮小点群に置き換え、拡大点群を復号点群に置き換えた場合と同様である。
　以上により、符号化装置２００は、入力点群を縮小した縮小点群（符号化縮小点群４０２）と、当該縮小点群を拡大するための拡大パターン集（拡大パターン情報４０１）とを含むビットストリームを生成する。復号装置３００は、拡大パターン集を用いて縮小点群を拡大することで入力点群に対応する復号点群を生成する。
　ここで、拡大パターン集のデータサイズは、例えば、入力点群のデータサイズの１／１００程度である。また、入力点群を縮小点群に縮小することにより、点群のデータサイズを大幅に（例えば、１／４～１／１６程度に）削減できる。よって、入力点群を伝送する場合に比べて、大幅にビットストリームのデータサイズを縮小できるので、伝送帯域の抑制を実現できる。
　さらに、復号装置３００において、実施の形態１と同様に、変換処理（回転又は反転）を用いた処理（図７に示すＳ１１４～Ｓ１１６）を行う。これにより、登録されている拡大パターンが少ない場合であっても、より多くのケースで、登録されている拡大パターンを用いることができるので、適切な拡大を行うことができる。よって、復号点群の品質を向上できる。
　また、符号化装置２００は、入力点群と縮小点群とから生成された拡大パターン集から一部のエントリを削除したうえで、ビットストリームに格納してもよい。例えば、復号装置３００において変換処理が行われることを前提として、変換処理により同一となる周辺パターンを含む複数のエントリの一部を削除してもよい。これにより、拡大パターン情報４０１のデータサイズを縮小できる。
　また、復号装置３００において、上述した類似判定が行われる場合には、類似と判定される複数の周辺パターンを含む複数のエントリの一部を削除してもよい。これにより、拡大パターン情報４０１のデータサイズを縮小できる。
　また、符号化装置２００は、周辺パターン識別子４１２及びパターン変換情報４１４により周辺パターンの変換方式及び強度（周辺パターンに含まれる座標数（ビット長））を、伝送路の状況及び伝送対象の点群種別等に応じて選択できる。これにより、符号化装置２００は、復号装置３００で用いる変換方式を指示できるので、復号装置３００において効率の良い拡大パターンの探索処理と高品位な拡大処理とを実現できる。
　なお、動画点群を伝送する場合等の、複数点群（複数フレーム）の連続伝送が行われる場合、符号化装置２００は、点群ごとの拡大パターン情報４０１を復号装置３００へ順次伝送する。復号装置３００は、受信した拡大パターン情報４０１を随時追加で蓄積し、蓄積した複数の拡大パターン情報４０１を用いて、受信した点群の拡大処理を行ってもよい。これにより、復号装置３００は、拡大処理に用いる拡大パターン集の充実度を向上させることができるので、拡大処理の継続的な品位向上を実現できる。また、拡大パターン集の充実度の向上に伴い、復号装置３００において、変換処理を行う頻度が減少するので、復号装置３００の処理量を低減できる。
　なお、符号化装置２００は、動画点群の伝送時には、事前に複数フレームの点群に対応する拡大パターン情報４０１を復号装置３００に伝送してもよい。これにより、復号装置３００は、動画点群の先頭から高速かつ高品位に拡大処理を行うことができる。なお、蓄積される拡大パターン情報４０１は、同じ動画点群に含まれる拡大パターン情報４０１でなくてもよく、例えば、対象点群と同一又は類似する種別又は属性の別の点群の拡大パターン情報４０１が用いられてもよい。
　以下、拡大パターン情報４０１の別の構成例について説明する。図１８は、拡大パターン情報４０１のシンタックス例の第１の変形例を示す図である。図１８に示すように拡大パターン情報４０１は、拡大パターン集毎の情報として、グループ分けテーブル４２１と、グループ拡大テーブル４２２とを含んでもよい。この例では、図１５に示すエントリ情報４１６がグループによってまとめて定義されている。
　図１９は、グループ分けテーブル４２１のシンタックス例を示す図である。図２０は、グループ分けテーブル４２１の一例を示す図である。
　グループ分けテーブル４２１は、エントリ数４３１と、エントリ毎に元点群の周辺パターン４３２及びグループＩＤ４３３とを含む。エントリ数４３１はグループ分けテーブル４２１に含まれるエントリの数を示す。各エントリは、元点群の周辺パターン４３２と、当該周辺パターンに対応付けられたグループＩＤ４３３とを示す。ここで、元点群の周辺パターン４３２は、図５に示す拡大パターン集１０４における元点群の周辺パターンに対応する。
　図２１は、グループ拡大テーブル４２２のシンタックス例を示す図である。図２２は、グループ拡大テーブル４２２の一例を示す図である。
　グループ拡大テーブル４２２は、エントリ数４４１と、エントリ毎にグループＩＤ４４２及び拡大パターン４４３とを含む。エントリ数４４１はグループ拡大テーブル４２２に含まれるエントリの数を示す。各エントリは、グループＩＤ４４２と、当該グループＩＤに対応付けられた拡大パターン４４３とを示す。ここで、拡大パターン４４３は、図５に示す拡大パターン集１０４における拡大パターンに対応する。
　上記の構成により、復号装置３００は、グループ分けテーブル４２１及びグループ拡大テーブル４２２を用い、両テーブルにおいて同じグループＩＤを有する周辺パターンと拡大パターンとを対応付けることで、周辺パターンに対応する拡大パターンを特定できる。また、符号化装置２００は、グループＩＤを用いて、複数の周辺パターンを１つの拡大パターンに対応付けることができるので、上述した拡大パターン集の一部のエントリの削除（変換処理により同一となる周辺パターンを含む複数のエントリの一部を削除、又は、類似と判定される複数の周辺パターンを含む複数のエントリの一部を削除等）と同等の処理を実現できる。
　なお、図１５に示すシンタックスにおけるパターン変換方式４１４Ｂで示される複数の変換方式の一つとして、第１の変形例の方式（グループ分けテーブル４２１及びグループ拡大テーブル４２２を用いる方式）が含まれてもよい。
　図２３は、拡大パターン情報４０１のシンタックス例の第２の変形例を示す図である。図２３に示すように拡大パターン情報４０１は、さらに、領域分割情報４５１を含んでもよい。
　図２４は、領域分割情報４５１のシンタックス例を示す図である。領域分割情報４５１は、領域数４６１と、領域毎の情報である領域情報４６２及び拡大パターン集番号４６３とを含む。
　領域数４６１は、点群を分割する複数の三次元領域の数を示す。領域情報４６２は、領域数４６１が１より大きい場合に領域分割情報４５１に含まれる。領域情報４６２は、領域の範囲を示し、例えば、点群の座標域を直方体で区切るための、ｘ、ｙ、ｚの各軸の開始座標と終了座標とを示す。なお、領域情報４６２は領域の基準となる座標（例えば直方体の中心座標）と、領域の形状（例えば、直方体のｘ、ｙ、ｚの各軸の幅）とを示してもよい。
　拡大パターン集番号４６３は、拡大パターン情報４０１に含まれる１以上の拡大パターン集のうち、当該領域の拡大処理に用いられる拡大パターン集を示す。例えば、拡大パターン集番号４６３は、複数の拡大パターン集の識別番号を示す。なお、領域と拡大パターン集とを対応付ける方法はこれに限らず、任意の手法が用いられてもよい。
　ここで、点群の領域には点の密度、分布、偏り、対象物の形状又は種類などの様々な特性があり、その特性に応じて相応しい拡大パターン集が異なる可能性がある。よって、符号化装置２００は、これらの特性に応じて拡大パターン集を選択し、選択した拡大パターン集を用いて当該領域の点群を拡大するように復号装置３００に指示する。これにより、復号装置３００は、高品質な拡大処理を実施できる。
　なお、符号化装置２００は、領域毎に、使用する拡大パターン集を指定する情報ではなく、各領域の特性を示す情報を復号装置３００に送信してもよい。この場合、復号装置３００は、受信した領域の特性を示す情報に基づき、当該領域の拡大処理に使用する拡大パターン集を選択してもよい。また、復号装置３００は、復号して得られた点群、又は拡大パターン集の状況、その他各種リソース（ＣＰＵ負荷又は空きメモリなど）状況から、処理方法を選択してもよい。
　また、上記では領域毎に拡大パターン集を指定する例を述べたが、点毎に拡大パターン集が指定されてもよい。
　また、領域毎に、使用な可能な変換方式又は複数の変換方式の優先度を指定する情報が送信されてもよい。
　また、上記説明では点群を拡大する例を述べたが、メッシュモデル等の三次元位置情報を含む他の形式の三次元モデルに対して同様の手法を適用してもよい。例えば、メッシュモデルに含まれる頂点情報に対して同様の手法を適用してもよい。この場合、例えば、頂点情報に加え、頂点の接続関係を示す情報等のメッシュモデルの形成に必要な情報も送信される。
　以上のように、本実施の形態に係る三次元点生成装置（三次元データ処理装置）は、図２５に示す処理を行う。三次元点生成装置は、三次元座標系において１以上の三次元点を生成する。三次元点生成装置は、第１三次元点の周辺の１以上の第２三次元点に回転及び反転の少なくとも一方を行うことで、１以上の変換第２三次元点を生成し（Ｓ４０１）、１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定する（Ｓ４０２）。
　例えば、三次元点生成装置は、特定された１以上の第３三次元点に基づき、第１三次元点を、１以上の三次元点（１以上の第３三次元点、又は、当該１以上の第３三次元点に基づき生成された１以上三次元点）に置き換えることで、点群の拡大（点群の高解像度化及び点群への点の追加の少なくとも一方）を行う。つまり、三次元点生成装置は、１以上の三次元点（１以上の第３三次元点、又は、当該１以上の第３三次元点に基づき生成された１以上三次元点）を含む拡大後の点群を生成する。
　これによれば、当該三次元点生成装置は、１以上の第２三次元点に回転及び反転の少なくとも一方を行った１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定できる。これにより、１以上の第２三次元点に対応付けられた１以上の第３三次元点が存在しない場合においても、回転及び反転の少なくとも一方により１以上の第３三次元点を特定できるので、１以上の第３三次元点を特定できないケースの発生を低減できる。よって、当該三次元点生成装置は、例えば、高解像度化に用いる１以上の第３三次元点を特定できないケースの発生を低減できるので、高解像度化の品質を向上できる。
　例えば、１以上の第３三次元点を特定するためにルックアップテーブル（例えば拡大パターン集１０４）が参照され、ルックアップテーブルは、１以上の第３三次元点の複数の第１候補（例えば図５に示す元点群の周辺パターン）と、１以上の第２三次元点及び１以上の変換第２三次元点の複数の第２候補（例えば図５に示す拡大パターン）とを対応付ける。
　例えば、第２候補に対応付けられている第１候補が特定され、第２候補は、１以上の第２三次元点の実際の点に類似しており、実際の点と同一ではない。これによれば、三次元点生成装置は、１以上の第３三次元点を特定できないケースの発生をさらに低減できる。
　例えば、回転は、現実世界において垂直方向に略平行なＹ軸を中心に１以上の第２三次元点を回転させることを含む。建築物等の垂直方向に対して対称性を有する対象物を複数の三次元点で表現する場合、垂直方向に平行な軸周りに複数の三次元点の分布が類似する傾向がある。よって、これによれば、当該三次元点生成装置は、建築物等の垂直方向に対して対称性を有する対象物において効率的に１以上の第３三次元点を特定できる。
　例えば、三次元点生成装置は、さらに、１以上の第３三次元点に対して逆変換を行うことで、１つ以上の変換第３三次元点を生成し（例えば図７のＳ１１５）、逆変換は、１以上の第２三次元点に対する回転及び反転の少なくとも一方の逆変換である。これによれば、三次元点生成装置は、変換前の１以上の第２三次元点により適した１以上の変換第３三次元点を生成できる。
　例えば、三次元点生成装置は、さらに、１以上の第２三次元点から１以上の第４三次元点を推定する。推定された第４三次元点は、例えば、第１三次元点の高解像度化した三次元点として用いられる。例えば、三次元点生成装置は、第１三次元点を、推定された１以上の第４三次元点に置き換えることで、点群の拡大を行う。または、三次元点生成装置は、１以上の第４三次元点を拡大後の点群に追加する。例えば、三次元点生成装置は、１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定できない場合、１以上の第２三次元点から１以上の第４三次元点を推定してもよい。これによれば、当該三次元点生成方法は、ランダムな点を用いる場合に比べて、第４三次元点を用いることで高解像度化の品質を向上できる。
　例えば、三次元点生成装置は、さらに、第１三次元点の周辺の１以上の第５三次元点（例えば図１０又は図１１）に回転及び反転の少なくとも一方を行うことで、１以上の変換第５三次元点を生成し、１以上の変換第５三次元点に対応付けられた１以上の第６三次元点を特定し、１以上の第５三次元点の数（例えば１８又は６）は、１以上の第２三次元点の数（例えば２６）と異なる。これによれば、三次元点生成装置は、１以上の第３三次元点又は１以上の第６三次元点を特定できないケースの発生を低減できる。例えば、１以上の第５三次元点の数（例えば１８又は６）は、１以上の第２三次元点の数（例えば２６）より少なくてもよい。
　例えば、１以上の第３三次元点を特定するために第１テーブル（例えばグループ拡大テーブル４２２）及び第２テーブル（例えばグループ分けテーブル４２１）が参照され、１以上の第２三次元点及び１以上の変換第２三次元点は複数のグループに分類され、第１テーブルは、１以上の第３三次元点の複数の第１候補（例えば拡大パターン４４３）と、複数のグループ（例えばグループＩＤ４４２）とを対応付け、第２テーブルは、複数のグループ（例えばグループＩＤ４３３）と、１以上の第２三次元点及び１以上の変換第２三次元点の複数の第２候補（例えば元点群の周辺パターン４３２）とを対応付ける。これによれば、三次元点生成装置は、複数の第１候補と複数の第２候補との組み合わせを削減できるので、１以上の第３三次元点を特定するためのテーブルのデータサイズを縮小できる。
　また、本実施の形態に係る復号装置３００は、符号化三次元点を含むビットストリームを受信する受信部３０１と、受信部３０１に接続され、符号化三次元点を復号することで、第１三次元点と、第１三次元点の周辺の１以上の第２三次元点と、を含む複数の三次元点を生成する回路（例えば復号部３０２及び拡大部３０３）とを備える。
　また、復号装置３００は、図２６に示す処理を行う。復号装置３００は、符号化三次元点を含むビットストリームを受信し（Ｓ４１１）、符号化三次元点を復号することで、第１三次元点と、第１三次元点の周辺の１以上の第２三次元点と、を含む複数の三次元点を生成する（Ｓ４１２）。ビットストリームは、さらに、１以上の第２三次元点に回転及び反転の少なくとも一方を行うことで、１以上の変換第２三次元点を生成するための第１情報と、１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定するための第２情報とを含む。
　例えば、復号装置３００は、第１情報を用いて、１以上の第２三次元点に回転及び反転の少なくとも一方を行うことで、１以上の変換第２三次元点を生成する。復号装置３００は、第２情報を用いて、１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定する。復号装置３００は、特定された１以上の第３三次元点に基づき、第１三次元点を、１以上の三次元点（１以上の第３三次元点、又は、当該１以上の第３三次元点に基づき生成された１以上三次元点）に置き換えることで、点群の拡大（点群の高解像度化及び点群への点の追加の少なくとも一方）を行う。つまり、復号装置３００は、１以上の三次元点（１以上の第３三次元点、又は、当該１以上の第３三次元点に基づき生成された１以上三次元点）を含む拡大後の点群を生成する。
　例えば、第１情報及び第２情報の各々は、拡大パターン情報４０１に含まれる信号である。例えば、第１情報及び第２情報の各々は、図１５、図１８、図２３等に示すシンタックス要素のいずれかであってもよいし、それらの変形例として説明した信号のいずれかであってもよい。例えば、図１５に示す例では、第１情報の一例はパターン変換情報４１４であり、第２情報の一例はエントリ情報４１６である。
　これによれば、復号装置３００は、例えば、第１情報及び第２情報を用いて、１以上の第２三次元点に回転及び反転の少なくとも一方を行った１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定できる。これにより、１以上の第２三次元点に対応付けられた１以上の第３三次元点が存在しない場合においても、回転及び反転の少なくとも一方により１以上の第３三次元点を特定できるので、１以上の第３三次元点を特定できないケースの発生を低減できる。よって、復号装置３００は、例えば、高解像度化に用いる１以上の第３三次元点を特定できないケースの発生を低減できるので、高解像度化の品質を向上できる。
　例えば、第２情報は、１以上の第３三次元点の複数の第１候補と、１以上の第２三次元点及び１以上の変換第２三次元点の複数の第２候補とを対応付けるルックアップテーブル（例えば拡大パターン集（エントリ数４１５及びエントリ情報４１６））を含む。
　例えば、第２情報は、１以上の第３三次元点の複数の第１候補と、１以上の第２三次元点及び１以上の変換第２三次元点の複数の第２候補とを各々が対応付ける複数のルックアップテーブル（例えば複数の拡大パターン集（エントリ数４１５及びエントリ情報４１６））と、三次元点が属する領域毎に、複数のルックアップテーブルのうち使用するルックアップテーブルを示す第３情報（例えば領域分割情報４５１）とを含む。これによれば、復号装置３００は、三次元点が属する領域毎に、当該領域に適したルックアップテーブルを使用できる。よって、復号装置３００における処理量の増加を抑制しつつ、高解像度化の品質を向上できる。
　例えば、第２情報は、１以上の第３三次元点の複数の第１候補（例えば拡大パターン４４３）と、複数のグループ（例えばグループＩＤ４４２）とを対応付ける第１テーブル（例えばグループ拡大テーブル４２２）と、複数のグループ（例えばグループＩＤ４３３）と、１以上の第２三次元点及び１以上の変換第２三次元点の複数の第２候補（例えば元点群の周辺パターン４３２）とを対応付ける第２テーブル（例えばグループ分けテーブル４２１）とを含む。これによれば、復号装置３００は、複数の第１候補と複数の第２候補との組み合わせを削減できるので、第２情報のデータサイズを縮小できる。
　例えば、第１情報（例えばパターン変換情報４１４）は、各々が回転及び反転の少なくとも一方を含む複数の変換方式のうち、使用可能な１以上の変換方式を示す。これによれば、例えば、符号化装置２００において、点群の特性等に応じて、復号装置３００が使用する変換方式を指定できる。よって、復号装置３００における処理量の増加を抑制しつつ、高解像度化の品質を向上できる。
　例えば、第１情報（例えばパターン変換情報４１４）は、さらに、使用可能な１以上の変換方式の優先度を示す。これによれば、例えば、符号化装置２００において、復号装置３００が使用する変換方式の優先度を指定できる。よって、復号装置３００における処理量の増加を抑制しつつ、高解像度化の品質を向上できる。
　例えば、ビットストリームは、さらに、１以上の第２三次元点の数を示す第４情報（例えば周辺パターン識別子４１２）を含む。これによれば、例えば、符号化装置２００において、点群の特性等に応じて、復号装置３００が使用する１以上の第２三次元点の数を指定できる。よって、復号装置３００における処理量の増加を抑制しつつ、高解像度化の品質を向上できる。
　また、本実施の形態に係る符号化装置２００は、第１三次元点と、第１三次元点の周辺の１以上の第２三次元点と、を含む複数の三次元点を符号化することで符号化三次元点を生成する回路（例えば、縮小部２０１、拡大パターン生成部２０２及び符号化部２０３）と、回路に接続され、符号化三次元点を含むビットストリームを送信する送信部２０４とを備える。
　また、符号化装置２００は、図２７に示す処理を行う。符号化装置２００は、第１三次元点と、第１三次元点の周辺の１以上の第２三次元点と、を含む複数の三次元点を符号化することで符号化三次元点を生成し（Ｓ４２１）、符号化三次元点を含むビットストリームを送信する（Ｓ４２２）。ビットストリームは、さらに、１以上の第２三次元点に回転及び反転の少なくとも一方を行うことで、１以上の変換第２三次元点を生成するための第１情報と、１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定するための第２情報とを含む。
　例えば、第１情報及び第２情報の各々は、拡大パターン情報４０１に含まれる信号である。例えば、第１情報及び第２情報の各々は、図１５、図１８、図２３等に示すシンタックス要素のいずれかであってもよいし、それらの変形例として説明した信号のいずれかであってもよい。
　これによれば、ビットストリームを復号する復号装置３００は、例えば、第１情報及び第２情報を用いて、１以上の第２三次元点に回転及び反転の少なくとも一方を行った１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定できる。これにより、１以上の第２三次元点に対応付けられた１以上の第３三次元点が存在しない場合においても、回転及び反転の少なくとも一方により１以上の第３三次元点を特定できるので、１以上の第３三次元点を特定できないケースの発生を低減できる。よって、復号装置３００は、例えば、高解像度化に用いる１以上の第３三次元点を特定できないケースの発生を低減できるので、高解像度化の品質を向上できる。
　例えば、三次元点生成装置、復号装置、及び符号化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。または、三次元点生成装置、復号装置、及び符号化装置は、回路と、回路に接続されたメモリとを備え、回路はメモリを用いて上記処理を行う。
　以上、本開示の実施の形態及び変形例に係る三次元データ処理装置、符号化装置及び復号装置等について説明したが、本開示は、この実施の形態に限定されるものではない。
　また、上記実施の形態に係る三次元データ処理装置、符号化装置及び復号装置等に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
　また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、本開示は、三次元データ処理装置、符号化装置及び復号装置等により実行される三次元点生成方法、符号化方法又は復号方法等として実現されてもよい。
　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
　また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　以上、一つまたは複数の態様に係る三次元データ処理装置、符号化装置及び復号装置等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
　本開示は、三次元データ処理装置、符号化装置及び復号装置に適用できる。
　１００　三次元データ処理装置
　１０１　拡大パターン生成部
　１０２　記憶部
　１０３　拡大部
　１０４　拡大パターン集
　１０５Ａ、１０５Ｂ　エントリ
　２００　符号化装置
　２０１　縮小部
　２０２　拡大パターン生成部
　２０３　符号化部
　２０４　送信部
　３００　復号装置
　３０１　受信部
　３０２　復号部
　３０３　拡大部
　４０１　拡大パターン情報
　４０２　符号化縮小点群
　４１１　拡大パターン集の数
　４１２　周辺パターン識別子
　４１３　パターン変換情報フラグ
　４１４　パターン変換情報
　４１４Ａ　パターン変換方式の数
　４１４Ｂ　パターン変換方式
　４１５　エントリ数
　４１６　エントリ情報
　４２１　グループ分けテーブル
　４２２　グループ拡大テーブル
　４３１　エントリ数
　４３２　元点群の周辺パターン
　４３３　グループＩＤ
　４４１　エントリ数
　４４２　グループＩＤ
　４４３　拡大パターン
　４５１　領域分割情報
　４６１　領域数
　４６２　領域情報
　４６３　拡大パターン集番号

Claims (19)

  1. 　三次元座標系において１以上の三次元点を生成する三次元点生成方法であって、
    　第１三次元点の周辺の１以上の第２三次元点に回転及び反転の少なくとも一方を行うことで、１以上の変換第２三次元点を生成し、
    　前記１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定する
    　三次元点生成方法。
  2. 　前記１以上の第３三次元点を特定するためにルックアップテーブルが参照され、
    　前記ルックアップテーブルは、前記１以上の第３三次元点の複数の第１候補と、前記１以上の第２三次元点及び前記１以上の変換第２三次元点の複数の第２候補とを対応付ける
    　請求項１記載の三次元点生成方法。
  3. 　前記第２候補に対応付けられている前記第１候補が特定され、前記第２候補は、前記１以上の第２三次元点の実際の点に類似しており、前記実際の点と同一ではない
    　請求項２記載の三次元点生成方法。
  4. 　前記回転は、現実世界において垂直方向に略平行なＹ軸を中心に前記１以上の第２三次元点を回転させることを含む
    　請求項１記載の三次元点生成方法。
  5. 　前記三次元点生成方法は、さらに、
    　前記１以上の第３三次元点に対して逆変換を行うことで、１つ以上の変換第３三次元点を生成し、前記逆変換は、前記１以上の第２三次元点に対する前記回転及び反転の少なくとも一方の逆変換である
    　請求項１記載の三次元点生成方法。
  6. 　前記三次元点生成方法は、さらに、
    　前記１以上の第２三次元点から１以上の第４三次元点を推定する
    　請求項１記載の三次元点生成方法。
  7. 　前記三次元点生成方法は、さらに、
    　前記第１三次元点の周辺の１以上の第５三次元点に回転及び反転の少なくとも一方を行うことで、１以上の変換第５三次元点を生成し、
    　前記１以上の変換第５三次元点に対応付けられた１以上の第６三次元点を特定し、
    　前記１以上の第５三次元点の数は、前記１以上の第２三次元点の数と異なる
    　請求項１記載の三次元点生成方法。
  8. 　前記１以上の第３三次元点を特定するために第１テーブル及び第２テーブルが参照され、
    　前記１以上の第２三次元点及び前記１以上の変換第２三次元点は複数のグループに分類され、
    　前記第１テーブルは、前記１以上の第３三次元点の複数の第１候補と、前記複数のグループとを対応付け、
    　前記第２テーブルは、前記複数のグループと、前記１以上の第２三次元点及び前記１以上の変換第２三次元点の複数の第２候補とを対応付ける
    　請求項１記載の三次元点生成方法。
  9. 　三次元座標系において１以上の三次元点を生成する三次元点生成装置であって、
    　メモリと、
    　前記メモリに接続された回路とを備え、
    　前記回路は、
    　第１三次元点の周辺の１以上の第２三次元点に回転及び反転の少なくとも一方を行うことで、１以上の変換第２三次元点を生成し、
    　前記１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定する
    　三次元点生成装置。
  10. 　符号化三次元点を含むビットストリームを受信する受信部と、
    　（ｉ）前記受信部に接続され、（ｉｉ）前記符号化三次元点を復号することで、第１三次元点と、前記第１三次元点の周辺の１以上の第２三次元点と、を含む複数の三次元点を生成する回路とを備え、
    　前記ビットストリームは、さらに、
    　　前記１以上の第２三次元点に回転及び反転の少なくとも一方を行うことで、１以上の変換第２三次元点を生成するための第１情報と、
    　　前記１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定するための第２情報とを含む
    　復号装置。
  11. 　前記第２情報は、前記１以上の第３三次元点の複数の第１候補と、前記１以上の第２三次元点及び前記１以上の変換第２三次元点の複数の第２候補とを対応付けるルックアップテーブルを含む
    　請求項１０記載の復号装置。
  12. 　前記第２情報は、
    　前記１以上の第３三次元点の複数の第１候補と、前記１以上の第２三次元点及び前記１以上の変換第２三次元点の複数の第２候補とを各々が対応付ける複数のルックアップテーブルと、
    　三次元点が属する領域毎に、前記複数のルックアップテーブルのうち使用するルックアップテーブルを示す第３情報とを含む
    　請求項１０記載の復号装置。
  13. 　前記第２情報は、
    　前記１以上の第３三次元点の複数の第１候補と、複数のグループとを対応付ける第１テーブルと、
    　前記複数のグループと、前記１以上の第２三次元点及び前記１以上の変換第２三次元点の複数の第２候補とを対応付ける第２テーブルとを含む
    　請求項１０記載の復号装置。
  14. 　前記第１情報は、
    　各々が回転及び反転の少なくとも一方を含む複数の変換方式のうち、使用可能な１以上の変換方式を示す
    　請求項１０記載の復号装置。
  15. 　前記第１情報は、さらに、前記使用可能な１以上の変換方式の優先度を示す
    　請求項１４記載の復号装置。
  16. 　前記ビットストリームは、さらに、
    　前記１以上の第２三次元点の数を示す第４情報を含む
    　請求項１０記載の復号装置。
  17. 　第１三次元点と、前記第１三次元点の周辺の１以上の第２三次元点と、を含む複数の三次元点を符号化することで符号化三次元点を生成する回路と、
    　前記回路に接続され、前記符号化三次元点を含むビットストリームを送信する送信部とを備え、
    　前記ビットストリームは、さらに、
    　　前記１以上の第２三次元点に回転及び反転の少なくとも一方を行うことで、１以上の変換第２三次元点を生成するための第１情報と、
    　　前記１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定するための第２情報とを含む
    　符号化装置。
  18. 　符号化三次元点を含むビットストリームを受信し、
    　前記符号化三次元点を復号することで、第１三次元点と、前記第１三次元点の周辺の１以上の第２三次元点と、を含む複数の三次元点を生成し、
    　前記ビットストリームは、さらに、
    　　前記１以上の第２三次元点に回転及び反転の少なくとも一方を行うことで、１以上の変換第２三次元点を生成するための第１情報と、
    　　前記１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定するための第２情報とを含む
    　復号方法。
  19. 　第１三次元点と、前記第１三次元点の周辺の１以上の第２三次元点と、を含む複数の三次元点を符号化することで符号化三次元点を生成し、
    　前記符号化三次元点を含むビットストリームを送信し、
    　前記ビットストリームは、さらに、
    　　前記１以上の第２三次元点に回転及び反転の少なくとも一方を行うことで、１以上の変換第２三次元点を生成するための第１情報と、
    　　前記１以上の変換第２三次元点に対応付けられた１以上の第３三次元点を特定するための第２情報とを含む
    　符号化方法。
PCT/JP2023/013861 2022-06-22 2023-04-03 三次元点生成方法、三次元点生成装置、復号装置、符号化装置、復号方法及び符号化方法 WO2023248576A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-100044 2022-06-22
JP2022100044 2022-06-22

Publications (1)

Publication Number Publication Date
WO2023248576A1 true WO2023248576A1 (ja) 2023-12-28

Family

ID=89379509

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/013861 WO2023248576A1 (ja) 2022-06-22 2023-04-03 三次元点生成方法、三次元点生成装置、復号装置、符号化装置、復号方法及び符号化方法

Country Status (1)

Country Link
WO (1) WO2023248576A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014106725A (ja) * 2012-11-27 2014-06-09 Nippon Telegr & Teleph Corp <Ntt> 点群解析装置、点群解析方法及び点群解析プログラム
JP2014532504A (ja) * 2011-11-03 2014-12-08 コーニンクレッカ フィリップス エヌ ヴェ 画像データ処理
JP2017059026A (ja) * 2015-09-17 2017-03-23 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法、及び画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014532504A (ja) * 2011-11-03 2014-12-08 コーニンクレッカ フィリップス エヌ ヴェ 画像データ処理
JP2014106725A (ja) * 2012-11-27 2014-06-09 Nippon Telegr & Teleph Corp <Ntt> 点群解析装置、点群解析方法及び点群解析プログラム
JP2017059026A (ja) * 2015-09-17 2017-03-23 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法、及び画像処理プログラム

Similar Documents

Publication Publication Date Title
US11743498B2 (en) Implicit quadtree or binary-tree geometry partition for point cloud coding
JP7359153B2 (ja) 画像処理装置および方法
US11936846B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
US6452596B1 (en) Methods and apparatus for the efficient compression of non-manifold polygonal meshes
CN113826029B (zh) 点云信息编码方法、装置、计算机设备及存储介质
CN113632142A (zh) 点云压缩的方法和装置
US20230086264A1 (en) Decoding method, encoding method, decoder, and encoder based on point cloud attribute prediction
WO2023241107A1 (zh) 点云处理方法、装置及计算机设备、存储介质
JP2023515602A (ja) 点群コーディングのための方法および装置
WO2023248576A1 (ja) 三次元点生成方法、三次元点生成装置、復号装置、符号化装置、復号方法及び符号化方法
CN113315977A (zh) 点云信息解码的方法和装置
WO2023172703A1 (en) Geometry point cloud coding
JP7553592B2 (ja) ３ｄジオメトリを構築するための方法、装置およびプログラム
CN110751684A (zh) 基于深度摄像模组的物体三维重建方法
JP2004535028A (ja) メッシュ圧縮
RU2778864C1 (ru) Неявное геометрическое разделение на основе квадродерева или бинарного дерева для кодирования облака точек
WO2024143032A1 (ja) 復号方法、符号化方法、復号装置及び符号化装置
US20240244242A1 (en) Reduced Memory Coding
WO2023142133A1 (zh) 编码方法、解码方法、编码器、解码器及存储介质
WO2023096973A1 (en) Geometry point cloud coding
WO2023250100A1 (en) System and method for geometry point cloud coding
WO2024081133A1 (en) Sparse tensor-based bitwise deep octree coding
WO2023107868A1 (en) Adaptive attribute coding for geometry point cloud coding
TW202304209A (zh) 內容拼貼編碼方法及內容拼貼解碼方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23826765

Country of ref document: EP

Kind code of ref document: A1