WO2021261499A1 - 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 - Google Patents

三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 Download PDF

Info

Publication number
WO2021261499A1
WO2021261499A1 PCT/JP2021/023682 JP2021023682W WO2021261499A1 WO 2021261499 A1 WO2021261499 A1 WO 2021261499A1 JP 2021023682 W JP2021023682 W JP 2021023682W WO 2021261499 A1 WO2021261499 A1 WO 2021261499A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
dimensional data
coding
node
dimensional
Prior art date
Application number
PCT/JP2021/023682
Other languages
English (en)
French (fr)
Inventor
敏康 杉尾
賀敬 井口
真人 大川
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority to CN202180043002.7A priority Critical patent/CN115917603A/zh
Publication of WO2021261499A1 publication Critical patent/WO2021261499A1/ja
Priority to US18/079,135 priority patent/US20230121882A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree

Definitions

  • the present disclosure relates to a three-dimensional data coding method, a three-dimensional data decoding method, a three-dimensional data coding device, and a three-dimensional data decoding device.
  • 3D data In the future, devices or services that utilize 3D data are expected to become widespread in a wide range of fields such as computer vision for autonomous operation of automobiles or robots, map information, monitoring, infrastructure inspection, or video distribution.
  • the three-dimensional data is acquired by various methods such as a distance sensor such as a range finder, a stereo camera, or a combination of a plurality of monocular cameras.
  • point cloud As one of the expression methods of 3D data, there is an expression method called point cloud that expresses the shape of a 3D structure by a point cloud in a 3D space. In the point cloud, the position and color of the point cloud are stored. Point clouds are expected to become the mainstream method for expressing 3D data, but point clouds have a very large amount of data. Therefore, in the storage or transmission of 3D data, it is essential to compress the amount of data by encoding, as in the case of 2D moving images (for example, MPEG-4 AVC or HEVC standardized by MPEG). Become.
  • 2D moving images for example, MPEG-4 AVC or HEVC standardized by MPEG.
  • the compression of the point cloud is partially supported by a public library (Point Cloud Library) that performs processing related to the point cloud.
  • a public library Point Cloud Library
  • Patent Document 1 a technique for searching and displaying facilities located around a vehicle using three-dimensional map data is known (see, for example, Patent Document 1).
  • the three-dimensional data coding method encodes the information of the target node included in the N (N is an integer of 2 or more) branch tree structure of a plurality of three-dimensional points included in the three-dimensional data.
  • a bit stream containing the coded information of the target node is generated, and in the coding, the first node having a different parent node from the target node among a plurality of adjacent nodes spatially adjacent to the target node.
  • the target node is encoded based on the reference restriction information indicating whether or not the reference of the information is permitted, and in the generation of the bit stream, the bit stream further including the reference restriction information is generated, and the bit stream of the first node is generated.
  • the bit stream including the coding processing information indicating the processing method in the coding is further generated, and the target node is not referred to the information of the first node.
  • the bit stream is generated without including the encoding processing information.
  • the three-dimensional data decoding method is the encoded information of the target node included in the N (N is an integer of 2 or more) branch tree structure of a plurality of three-dimensional points included in the three-dimensional data.
  • N is an integer of 2 or more
  • a bit stream including reference restriction information indicating whether or not to allow reference to information of a first node in which the target node and the parent node are different from a plurality of adjacent nodes spatially adjacent to the target node is acquired. Then, when the encoded information is decoded and the decoding indicates that the reference restriction information permits reference to the information of the first node, the encoded information contained in the bit stream is included.
  • the present disclosure can provide a three-dimensional data coding method, a three-dimensional data decoding method, a three-dimensional data coding device, or a three-dimensional data decoding device that can reduce the amount of data.
  • FIG. 1 is a diagram showing a configuration of coded three-dimensional data according to the first embodiment.
  • FIG. 2 is a diagram showing an example of a prediction structure between SPCs belonging to the lowest layer of GOS according to the first embodiment.
  • FIG. 3 is a diagram showing an example of a prediction structure between layers according to the first embodiment.
  • FIG. 4 is a diagram showing an example of the coding order of GOS according to the first embodiment.
  • FIG. 5 is a diagram showing an example of the coding order of GOS according to the first embodiment.
  • FIG. 6 is a block diagram of the three-dimensional data coding apparatus according to the first embodiment.
  • FIG. 7 is a flowchart of the coding process according to the first embodiment.
  • FIG. 1 is a diagram showing a configuration of coded three-dimensional data according to the first embodiment.
  • FIG. 2 is a diagram showing an example of a prediction structure between SPCs belonging to the lowest layer of GOS according to the first embodiment.
  • FIG. 3 is a diagram showing
  • FIG. 8 is a block diagram of the three-dimensional data decoding device according to the first embodiment.
  • FIG. 9 is a flowchart of the decoding process according to the first embodiment.
  • FIG. 10 is a diagram showing an example of meta information according to the first embodiment.
  • FIG. 11 is a diagram showing a configuration example of the SWLD according to the second embodiment.
  • FIG. 12 is a diagram showing an operation example of the server and the client according to the second embodiment.
  • FIG. 13 is a diagram showing an operation example of the server and the client according to the second embodiment.
  • FIG. 14 is a diagram showing an operation example of the server and the client according to the second embodiment.
  • FIG. 15 is a diagram showing an operation example of the server and the client according to the second embodiment.
  • FIG. 15 is a diagram showing an operation example of the server and the client according to the second embodiment.
  • FIG. 16 is a block diagram of the three-dimensional data coding device according to the second embodiment.
  • FIG. 17 is a flowchart of the coding process according to the second embodiment.
  • FIG. 18 is a block diagram of the three-dimensional data decoding device according to the second embodiment.
  • FIG. 19 is a flowchart of the decoding process according to the second embodiment.
  • FIG. 20 is a diagram showing a configuration example of the WLD according to the second embodiment.
  • FIG. 21 is a diagram showing an example of an octal tree structure of WLD according to the second embodiment.
  • FIG. 22 is a diagram showing a configuration example of the SWLD according to the second embodiment.
  • FIG. 23 is a diagram showing an example of an octal tree structure of SWLD according to the second embodiment.
  • FIG. 20 is a diagram showing a configuration example of the WLD according to the second embodiment.
  • FIG. 21 is a diagram showing an example of an octal tree structure of WLD according to the second embodiment.
  • FIG. 24 is a block diagram of the three-dimensional data creation device according to the third embodiment.
  • FIG. 25 is a block diagram of the three-dimensional data transmission device according to the third embodiment.
  • FIG. 26 is a block diagram of the three-dimensional information processing apparatus according to the fourth embodiment.
  • FIG. 27 is a block diagram of the three-dimensional data creation device according to the fifth embodiment.
  • FIG. 28 is a diagram showing a configuration of the system according to the sixth embodiment.
  • FIG. 29 is a block diagram of the client device according to the sixth embodiment.
  • FIG. 30 is a block diagram of the server according to the sixth embodiment.
  • FIG. 31 is a flowchart of the three-dimensional data creation process by the client device according to the sixth embodiment.
  • FIG. 32 is a flowchart of the sensor information transmission process by the client device according to the sixth embodiment.
  • FIG. 33 is a flowchart of the three-dimensional data creation process by the server according to the sixth embodiment.
  • FIG. 34 is a flowchart of the three-dimensional map transmission process by the server according to the sixth embodiment.
  • FIG. 35 is a diagram showing a configuration of a modified example of the system according to the sixth embodiment.
  • FIG. 36 is a diagram showing a configuration of a server and a client device according to the sixth embodiment.
  • FIG. 37 is a block diagram of the three-dimensional data coding apparatus according to the seventh embodiment.
  • FIG. 38 is a diagram showing an example of the predicted residual according to the seventh embodiment.
  • FIG. 39 is a diagram showing an example of the volume according to the seventh embodiment.
  • FIG. 40 is a diagram showing an example of an octa-tree representation of the volume according to the seventh embodiment.
  • FIG. 41 is a diagram showing an example of a bit string of a volume according to the seventh embodiment.
  • FIG. 42 is a diagram showing an example of an octa-tree representation of the volume according to the seventh embodiment.
  • FIG. 43 is a diagram showing an example of the volume according to the seventh embodiment.
  • FIG. 44 is a diagram for explaining the intra prediction process according to the seventh embodiment.
  • FIG. 45 is a diagram for explaining the rotation and translation processing according to the seventh embodiment.
  • FIG. 46 is a diagram showing an example of syntax of the RT application flag and RT information according to the seventh embodiment.
  • FIG. 47 is a diagram for explaining the inter-prediction processing according to the seventh embodiment.
  • FIG. 41 is a diagram showing an example of a bit string of a volume according to the seventh embodiment.
  • FIG. 42 is a diagram showing an example of an octa-tre
  • FIG. 48 is a block diagram of the three-dimensional data decoding device according to the seventh embodiment.
  • FIG. 49 is a flowchart of the three-dimensional data coding process by the three-dimensional data coding apparatus according to the seventh embodiment.
  • FIG. 50 is a flowchart of the three-dimensional data decoding process by the three-dimensional data decoding apparatus according to the seventh embodiment.
  • FIG. 51 is a diagram showing an example of a tree structure according to the eighth embodiment.
  • FIG. 52 is a diagram showing an example of an occupancy code according to the eighth embodiment.
  • FIG. 53 is a diagram schematically showing the operation of the three-dimensional data coding apparatus according to the eighth embodiment.
  • FIG. 54 is a diagram showing an example of geometric information according to the eighth embodiment.
  • FIG. 55 is a diagram showing a selection example of a coding table using the geometric information according to the eighth embodiment.
  • FIG. 56 is a diagram showing a selection example of a coding table using the structural information according to the eighth embodiment.
  • FIG. 57 is a diagram showing a selection example of a coding table using the attribute information according to the eighth embodiment.
  • FIG. 58 is a diagram showing a selection example of a coding table using the attribute information according to the eighth embodiment.
  • FIG. 59 is a diagram showing a configuration example of the bit stream according to the eighth embodiment.
  • FIG. 60 is a diagram showing an example of a coding table according to the eighth embodiment.
  • FIG. 61 is a diagram showing an example of a coding table according to the eighth embodiment.
  • FIG. 62 is a diagram showing a configuration example of the bit stream according to the eighth embodiment.
  • FIG. 63 is a diagram showing an example of a coding table according to the eighth embodiment.
  • FIG. 64 is a diagram showing an example of a coding table according to the eighth embodiment.
  • FIG. 65 is a diagram showing an example of the bit number of the occupancy code according to the eighth embodiment.
  • FIG. 66 is a flowchart of the coding process using the geometric information according to the eighth embodiment.
  • FIG. 67 is a flowchart of the decoding process using the geometric information according to the eighth embodiment.
  • FIG. 68 is a flowchart of the coding process using the structural information according to the eighth embodiment.
  • FIG. 69 is a flowchart of the decoding process using the structural information according to the eighth embodiment.
  • FIG. 69 is a flowchart of the decoding process using the structural information according to the eighth embodiment.
  • FIG. 70 is a flowchart of the coding process using the attribute information according to the eighth embodiment.
  • FIG. 71 is a flowchart of the decoding process using the attribute information according to the eighth embodiment.
  • FIG. 72 is a flowchart of the coded table selection process using the geometric information according to the eighth embodiment.
  • FIG. 73 is a flowchart of the coded table selection process using the structural information according to the eighth embodiment.
  • FIG. 74 is a flowchart of the coded table selection process using the attribute information according to the eighth embodiment.
  • FIG. 75 is a block diagram of the three-dimensional data coding apparatus according to the eighth embodiment.
  • FIG. 76 is a block diagram of the three-dimensional data decoding device according to the eighth embodiment.
  • FIG. 77 is a diagram showing a reference relationship in the octal tree structure according to the ninth embodiment.
  • FIG. 78 is a diagram showing a reference relationship in the spatial region according to the ninth embodiment.
  • FIG. 79 is a diagram showing an example of an adjacent reference node according to the ninth embodiment.
  • FIG. 80 is a diagram showing the relationship between the parent node and the node according to the ninth embodiment.
  • FIG. 81 is a diagram showing an example of an occupancy code of the parent node according to the ninth embodiment.
  • FIG. 82 is a block diagram of the three-dimensional data coding apparatus according to the ninth embodiment.
  • FIG. 83 is a block diagram of the three-dimensional data decoding device according to the ninth embodiment.
  • FIG. 84 is a flowchart of the three-dimensional data coding process according to the ninth embodiment.
  • FIG. 85 is a flowchart of the three-dimensional data decoding process according to the ninth embodiment.
  • FIG. 86 is a diagram showing an example of switching the coding table according to the ninth embodiment.
  • FIG. 87 is a diagram showing a reference relationship in the spatial region according to the first modification of the ninth embodiment.
  • FIG. 88 is a diagram showing a syntax example of header information according to the first modification of the ninth embodiment.
  • FIG. 89 is a diagram showing a syntax example of header information according to the first modification of the ninth embodiment.
  • FIG. 90 is a diagram showing an example of an adjacent reference node according to the second modification of the ninth embodiment.
  • FIG. 91 is a diagram showing an example of a target node and an adjacent node according to the second modification of the ninth embodiment.
  • FIG. 92 is a diagram showing a reference relationship in the octal tree structure according to the third modification of the ninth embodiment.
  • FIG. 93 is a diagram showing a reference relationship in the spatial region according to the third modification of the ninth embodiment.
  • FIG. 94 is a diagram showing an example of an adjacent node according to the tenth embodiment.
  • FIG. 95 is a diagram showing an example of a node to be searched according to the tenth embodiment.
  • FIG. 96 is a diagram for explaining the search process for adjacent nodes according to the tenth embodiment.
  • FIG. 97 is a diagram for explaining the update process of the adjacent information according to the tenth embodiment.
  • FIG. 98 is a diagram for explaining the update process of the adjacent information according to the tenth embodiment.
  • FIG. 99 is a diagram for explaining a search process provided with a search threshold value according to the tenth embodiment.
  • FIG. 100 is a diagram showing an example of an index using a Morton code according to the tenth embodiment.
  • FIG. 101 is a diagram showing an example of a queue using the Morton code according to the tenth embodiment.
  • FIG. 102 is a block diagram of the three-dimensional data coding device according to the tenth embodiment.
  • FIG. 103 is a block diagram of the three-dimensional data decoding device according to the tenth embodiment.
  • FIG. 104 is a flowchart of the three-dimensional data coding process according to the tenth embodiment.
  • FIG. 105 is a flowchart of the three-dimensional data decoding process according to the tenth embodiment.
  • FIG. 106 is a diagram showing an example of syntax of header information according to the tenth embodiment.
  • FIG. 107 is a diagram showing an example of syntax of node information according to the tenth embodiment.
  • FIG. 108 is a flowchart of the three-dimensional data coding process according to the tenth embodiment.
  • FIG. 109 is a flowchart of the three-dimensional data decoding process according to the tenth embodiment.
  • FIG. 110 is a flowchart of the three-dimensional data coding process according to the tenth embodiment.
  • FIG. 111 is a flowchart of the three-dimensional data decoding process according to the tenth embodiment.
  • FIG. 112 is a diagram showing a reference relationship in the spatial region according to the eleventh embodiment.
  • FIG. 113 is a diagram showing a reference relationship in the octal tree structure according to the eleventh embodiment.
  • FIG. 114 is a diagram showing a reference relationship between a target node and an adjacent node in the spatial region according to the eleventh embodiment.
  • FIG. 115 is a diagram showing the relationship between the target node and the adjacent node in the spatial region according to the eleventh embodiment.
  • FIG. 116 is a diagram showing an example of syntax of header information according to the eleventh embodiment.
  • FIG. 117 is a flowchart showing a processing procedure of the three-dimensional data coding apparatus according to the eleventh embodiment.
  • FIG. 118 is a flowchart showing a processing procedure of the three-dimensional data decoding apparatus according to the eleventh embodiment.
  • FIG. 119 is a block diagram of the three-dimensional data creation device according to the twelfth embodiment.
  • FIG. 120 is a flowchart of the three-dimensional data creation method according to the twelfth embodiment.
  • FIG. 121 is a diagram showing the configuration of the system according to the twelfth embodiment.
  • FIG. 122 is a block diagram of the client device according to the twelfth embodiment.
  • FIG. 123 is a block diagram of the server according to the twelfth embodiment.
  • FIG. 124 is a flowchart of the three-dimensional data creation process by the client device according to the twelfth embodiment.
  • FIG. 125 is a flowchart of the sensor information transmission process by the client device according to the twelfth embodiment.
  • FIG. 126 is a flowchart of the three-dimensional data creation process by the server according to the twelfth embodiment.
  • FIG. 127 is a flowchart of a three-dimensional map transmission process by the server according to the twelfth embodiment.
  • FIG. 128 is a diagram showing a configuration of a modified example of the system according to the twelfth embodiment.
  • FIG. 129 is a diagram showing a configuration of a server and a client device according to the twelfth embodiment.
  • FIG. 130 is a diagram showing a configuration of a server and a client device according to the twelfth embodiment.
  • FIG. 131 is a flowchart of processing by the client device according to the twelfth embodiment.
  • FIG. 132 is a diagram showing a configuration of the sensor information collection system according to the twelfth embodiment.
  • FIG. 133 is a diagram showing an example of the system according to the twelfth embodiment.
  • FIG. 134 is a diagram showing a modified example of the system according to the twelfth embodiment.
  • FIG. 135 is a flowchart showing an example of application processing according to the twelfth embodiment.
  • FIG. 136 is a diagram showing sensor ranges of various sensors according to the twelfth embodiment.
  • FIG. 137 is a diagram showing a configuration example of the automated driving system according to the twelfth embodiment.
  • FIG. 132 is a diagram showing a configuration of the sensor information collection system according to the twelfth embodiment.
  • FIG. 133 is a diagram showing an example of the system according to the twelfth embodiment.
  • FIG. 138 is a diagram showing a configuration example of the bit stream according to the twelfth embodiment.
  • FIG. 139 is a flowchart of the point group selection process according to the twelfth embodiment.
  • FIG. 140 is a diagram showing a screen example of the point group selection process according to the twelfth embodiment.
  • FIG. 141 is a diagram showing a screen example of the point group selection process according to the twelfth embodiment.
  • FIG. 142 is a diagram showing a screen example of the point group selection process according to the twelfth embodiment.
  • the three-dimensional data coding method encodes the information of the target node included in the N (N is an integer of 2 or more) branch tree structure of a plurality of three-dimensional points included in the three-dimensional data.
  • a bit stream containing the coded information of the target node is generated, and in the coding, the first node having a different parent node from the target node among a plurality of adjacent nodes spatially adjacent to the target node.
  • the target node is encoded based on the reference restriction information indicating whether or not the reference of the information is permitted, and in the generation of the bit stream, the bit stream further including the reference restriction information is generated, and the bit stream of the first node is generated.
  • the bit stream including the coding processing information indicating the processing method in the coding is further generated, and the target node is not referred to the information of the first node.
  • the bit stream is generated without including the encoding processing information.
  • the amount of data in the bitstream can be set according to whether or not the target node is encoded by referring to the information of the first node. That is, according to the three-dimensional data coding method, the amount of data in the generated bitstream can be appropriately reduced.
  • the coding processing information includes reference information indicating whether or not the information of the child node of the first node is referred to in the coding.
  • the coding processing information includes intra prediction information indicating whether or not the intra prediction processing for calculating the information of the target node is executed by using the plurality of adjacent nodes in the coding.
  • a three-dimensional data decoding device that decodes the coded information of the target node can decode the information of the appropriately encoded target node based on the reference information or the intra prediction information.
  • N 8.
  • the target node included in the N (N is an integer of 2 or more) branch tree structure of a plurality of three-dimensional points included in the three-dimensional data is encoded.
  • a bit stream containing information and reference restriction information indicating whether or not to allow reference to information of a first node in which the target node and the parent node are different from a plurality of adjacent nodes spatially adjacent to the target node.
  • the encoded information is included in the bit stream when the decoding indicates that the reference restriction information allows reference to the information of the first node.
  • the information of the first node is referred to and decoded, and it is shown that the reference restriction information does not allow the reference of the information of the first node. In this case, decoding is performed without referring to the information of the first node.
  • the information of the target node can be appropriately decoded.
  • the coding processing information includes reference information indicating whether or not the information of the child node of the first node is referred to in the coding of the coded information.
  • the coding process information includes intra prediction information indicating whether or not the intra prediction process for calculating the information of the target node using the plurality of adjacent nodes is executed in the coded information. include.
  • N 8.
  • the three-dimensional data coding apparatus includes a processor and a memory, and the processor uses the memory to N (N) of a plurality of three-dimensional points included in the three-dimensional data. Is an integer of 2 or more) Encodes the information of the target node contained in the branch structure to generate a bit stream containing the encoded information of the target node, and in the coding, it is spatially adjacent to the target node.
  • the target node is encoded based on the reference restriction information indicating whether or not the target node and the parent node are allowed to refer to the information of the first node, which is different from the plurality of adjacent nodes.
  • the bit stream further including the reference restriction information is generated and the target node is encoded with reference to the information of the first node
  • the coding processing information indicating the processing method in the coding is further included.
  • the amount of data in the bitstream can be set according to whether or not the target node is encoded by referring to the information of the first node. That is, according to the three-dimensional data coding device, the amount of data in the generated bitstream can be appropriately reduced.
  • the three-dimensional data decoding device includes a processor and a memory, and is included in an N (N is an integer of 2 or more) branch tree structure of a plurality of three-dimensional points included in the three-dimensional data. Whether or not to allow reference to the encoded information of the target node and the information of the first node in which the target node and the parent node are different from each other among a plurality of adjacent nodes spatially adjacent to the target node.
  • N is an integer of 2 or more branch tree structure of a plurality of three-dimensional points included in the three-dimensional data.
  • the information of the first node is referred to and decoded, and the reference restriction information is the information of the first node.
  • the information of the first node is decoded without reference.
  • the information of the target node can be appropriately decoded.
  • a recording medium such as a system, a method, an integrated circuit, a computer program, or a computer-readable CD-ROM, and the system, a method, an integrated circuit, or a computer program. And may be realized by any combination of recording media.
  • FIG. 1 is a diagram showing a configuration of coded three-dimensional data according to the present embodiment.
  • the three-dimensional space is divided into a space (SPC) corresponding to a picture in coding a moving image, and three-dimensional data is encoded in units of the space.
  • the space is further divided into volumes (VLM) corresponding to macroblocks and the like in moving image coding, and prediction and conversion are performed in units of VLM.
  • the volume contains a plurality of voxels (VXL) which are the smallest units to which the position coordinates are associated.
  • the prediction is the same as the prediction performed by the two-dimensional image, the other processing unit is referred to, the prediction three-dimensional data similar to the processing unit of the processing target is generated, and the prediction three-dimensional data and the processing target are It is to encode the difference from the processing unit.
  • this prediction includes not only spatial prediction that refers to other prediction units at the same time, but also time prediction that refers to prediction units at different times.
  • a three-dimensional data coding device (hereinafter, also referred to as a coding device) is a point cloud according to the size of a voxel when encoding a three-dimensional space represented by point cloud data such as a point cloud.
  • point cloud data such as a point cloud.
  • Each point of the above, or a plurality of points contained in the voxel are collectively encoded. If the voxel is subdivided, the three-dimensional shape of the point cloud can be expressed with high accuracy, and if the size of the voxel is increased, the three-dimensional shape of the point cloud can be roughly expressed.
  • the 3D data is a point cloud
  • the 3D data is not limited to the point cloud and may be any format 3D data.
  • a voxel having a hierarchical structure may be used.
  • the nth-order layer it may be indicated in order whether or not the sample points exist in the n-1th-order or lower layer (the lower layer of the nth-order layer).
  • the sample point can be regarded as existing in the center of the voxel in the nth-order layer and can be decoded.
  • the coding device acquires point cloud data using a distance sensor, a stereo camera, a monocular camera, a gyro, an inertial sensor, or the like.
  • the intra space that can be decoded independently
  • the predictive space that can be referred only in one direction
  • the bidirectional reference are possible as in the coding of the moving image. It is classified into one of at least three predictive structures including a bidirectional space (B-SPC). Further, the space has two types of time information, a decoding time and a display time.
  • GOS Group Of Space
  • WLD world
  • the spatial area occupied by the world is associated with the absolute position on the earth by GPS or latitude and longitude information. This position information is stored as meta information.
  • the meta information may be included in the coded data or may be transmitted separately from the coded data.
  • all SPCs may be three-dimensionally adjacent to each other, or there may be SPCs that are not three-dimensionally adjacent to other SPCs.
  • processing such as coding, decoding or reference for three-dimensional data included in a processing unit such as GOS, SPC or VLM is also described simply as encoding, decoding or referencing the processing unit.
  • the three-dimensional data included in the processing unit includes, for example, at least one set of a spatial position such as three-dimensional coordinates and a characteristic value such as color information.
  • a plurality of SPCs in the same GOS or a plurality of VLMs in the same SPC occupy different spaces from each other, but have the same time information (decoding time and display time).
  • the SPC that is the first in the decoding order in the GOS is the I-SPC.
  • GOS there are two types of GOS, closed GOS and open GOS.
  • the closed GOS is a GOS capable of decoding all the SPCs in the GOS when the decoding is started from the head I-SPC.
  • the open GOS some SPCs whose display time is earlier than the head I-SPC in the GOS refer to a different GOS, and decoding cannot be performed only by the GOS.
  • WLD For coded data such as map information, WLD may be decoded from the direction opposite to the coding order, and if there is a dependency between GOS, it is difficult to reproduce in the reverse direction. Therefore, in such a case, closed GOS is basically used.
  • the GOS has a layer structure in the height direction, and coding or decoding is performed in order from the SPC of the lower layer.
  • FIG. 2 is a diagram showing an example of a prediction structure between SPCs belonging to the lowest layer of GOS.
  • FIG. 3 is a diagram showing an example of a prediction structure between layers.
  • I-SPCs there is one or more I-SPCs in the GOS.
  • Objects such as humans, animals, cars, bicycles, traffic lights, and buildings that serve as landmarks exist in the three-dimensional space, but it is particularly effective to encode small-sized objects as I-SPC.
  • a three-dimensional data decoding device decodes only the I-SPC in the GOS when decoding the GOS with a low processing amount or high speed.
  • the coding device may switch the coding interval or appearance frequency of the I-SPC according to the roughness of the objects in the WLD.
  • the coding device or the decoding device encodes or decodes a plurality of layers in order from the lower layer (layer 1). This makes it possible to raise the priority of data near the ground, which has a larger amount of information for, for example, an autonomous vehicle.
  • coded data used in a drone or the like may be encoded or decoded in order from the SPC of the upper layer in the height direction in the GOS.
  • the coding device or the decoding device may encode or decode a plurality of layers so that the decoding device can roughly grasp the GOS and gradually increase the resolution.
  • the coding device or the decoding device may encode or decode in the order of layers 3, 8, 1, 9 ...
  • static objects or scenes such as buildings or roads
  • dynamic objects such as cars or humans
  • Object detection is performed separately by extracting feature points from point cloud data, camera images such as stereo cameras, and the like.
  • the first method is a method of encoding a static object and a dynamic object without distinguishing them.
  • the second method is a method of distinguishing between a static object and a dynamic object by identification information.
  • GOS is used as an identification unit.
  • the GOS including the SPC constituting the static object and the GOS including the SPC constituting the dynamic object are distinguished by the identification information stored in the coded data or separately from the coded data.
  • the SPC may be used as the identification unit.
  • the SPC including the VLM constituting the static object and the SPC including the VLM constituting the dynamic object are distinguished by the above identification information.
  • VLM or VXL may be used as the identification unit.
  • VLM or VXL including a static object and VLM or VXL including a dynamic object are distinguished by the above identification information.
  • the coding device may encode the dynamic object as one or more VLMs or SPCs, and encode the VLM or SPC including the static object and the SPC including the dynamic object as different GOSs. Further, when the size of the GOS is variable according to the size of the dynamic object, the coding device separately stores the size of the GOS as meta information.
  • the coding device may encode the static object and the dynamic object independently of each other, and superimpose the dynamic object on the world composed of the static objects.
  • the dynamic object is composed of one or more SPCs, and each SPC is associated with one or more SPCs constituting the static object on which the SPC is superimposed.
  • the dynamic object may be represented by one or more VLMs or VXLs instead of the SPC.
  • the coding device may encode the static object and the dynamic object as different streams.
  • the coding device may generate a GOS including one or more SPCs constituting the dynamic object. Further, the coding device may set the GOS (GOS_M) including the dynamic object and the GOS of the static object corresponding to the spatial area of GOS_M to the same size (occupy the same spatial area). As a result, the superimposition processing can be performed in GOS units.
  • the P-SPC or B-SPC constituting the dynamic object may refer to the SPC included in a different encoded GOS.
  • a reference across the GOS is effective from the viewpoint of compression ratio.
  • the above-mentioned first method and the second method may be switched depending on the use of the coded data. For example, when the coded three-dimensional data is used as a map, it is desirable that the dynamic objects can be separated, so the coding device uses the second method. On the other hand, the coding device uses the first method when it is not necessary to separate dynamic objects when coding three-dimensional data of an event such as a concert or a sport.
  • the decoding time and the display time of the GOS or SPC can be stored in the coded data or as meta information. Further, the time information of the static objects may be all the same. At this time, the actual decoding time and the display time may be determined by the decoding device. Alternatively, a different value may be assigned to each GOS or SPC as the decoding time, and the same value may be assigned as the display time. Further, like a decoder model in moving image coding such as HRD (Hypothetical Reference Decoder) of HEVC, if the decoder has a buffer of a predetermined size and the bit stream is read at a predetermined bit rate according to the decoding time, it can be decoded without failure. You may introduce a model that guarantees.
  • HRD Hypothetical Reference Decoder
  • the coordinates of the three-dimensional space in the world are represented by three coordinate axes (x-axis, y-axis, z-axis) that are orthogonal to each other.
  • coding can be performed so that spatially adjacent GOS are continuous in the coded data.
  • the GOS in the xz plane is continuously encoded.
  • the y-axis value is updated after the coding of all GOS in a certain xz plane is completed. That is, as the coding progresses, the world extends in the y-axis direction.
  • the GOS index numbers are set in the order of coding.
  • the three-dimensional space of the world is associated with GPS or geographical absolute coordinates such as latitude and longitude on a one-to-one basis.
  • the three-dimensional space may be represented by a relative position from a preset reference position.
  • the directions of the x-axis, y-axis, and z-axis of the three-dimensional space are expressed as direction vectors determined based on latitude, longitude, and the like, and the direction vectors are stored together with coded data as meta information.
  • the size of GOS is fixed, and the encoding device stores the size as meta information. Further, the size of the GOS may be switched depending on, for example, whether it is an urban area or indoors or outdoors. That is, the size of the GOS may be switched depending on the quantity or nature of the object that is valuable as information.
  • the coding device may adaptively switch the size of the GOS or the interval between the I-SPCs in the GOS according to the density of objects and the like in the same world. For example, the coding device reduces the size of the GOS and shortens the interval between I-SPCs in the GOS as the density of objects increases.
  • the GOS is subdivided in order to realize random access with fine granularity.
  • the 7th to 10th GOS are located behind the 3rd to 6th GOS, respectively.
  • FIG. 6 is a block diagram of the three-dimensional data coding apparatus 100 according to the present embodiment.
  • FIG. 7 is a flowchart showing an operation example of the three-dimensional data coding device 100.
  • the three-dimensional data coding device 100 shown in FIG. 6 generates coded three-dimensional data 112 by encoding the three-dimensional data 111.
  • the three-dimensional data coding device 100 includes an acquisition unit 101, a coding area determination unit 102, a division unit 103, and a coding unit 104.
  • the acquisition unit 101 acquires the three-dimensional data 111, which is the point cloud data (S101).
  • the coding area determination unit 102 determines the area to be coded among the spatial areas corresponding to the acquired point cloud data (S102). For example, the coding area determination unit 102 determines the spatial area around the position as the area to be coded according to the position of the user or the vehicle.
  • the division unit 103 divides the point cloud data included in the region to be encoded into each processing unit.
  • the processing unit is the above-mentioned GOS, SPC, or the like.
  • the region to be encoded corresponds to, for example, the above-mentioned world.
  • the division unit 103 divides the point cloud data into processing units based on the preset size of the GOS or the presence / absence or size of the dynamic object (S103). Further, the division unit 103 determines the start position of the SPC which is the head in the coding order in each GOS.
  • the coding unit 104 generates the coded three-dimensional data 112 by sequentially coding a plurality of SPCs in each GOS (S104).
  • the three-dimensional data coding apparatus 100 generates the coded three-dimensional data 112 by encoding the three-dimensional data 111.
  • the three-dimensional data encoding device 100 divides the three-dimensional data into a first processing unit (GOS), which is a random access unit and each of which is associated with three-dimensional coordinates, and first.
  • the processing unit (GOS) is divided into a plurality of second processing units (SPC), and the second processing unit (SPC) is divided into a plurality of third processing units (VLM).
  • the third processing unit (VLM) includes one or more voxels (VXL) which are the minimum units to which the position information is associated.
  • the three-dimensional data coding apparatus 100 generates the coded three-dimensional data 112 by encoding each of the plurality of first processing units (GOS). Specifically, the three-dimensional data coding apparatus 100 encodes each of the plurality of second processing units (SPCs) in each first processing unit (GOS). Further, the three-dimensional data coding apparatus 100 encodes each of the plurality of third processing units (VLM) in each second processing unit (SPC).
  • GOS first processing units
  • VLM third processing units
  • the three-dimensional data coding apparatus 100 when the first processing unit (GOS) of the processing target is a closed GOS, the second processing unit of the processing target included in the first processing unit (GOS) of the processing target. (SPC) is encoded with reference to another second processing unit (SPC) included in the first processing unit (GOS) to be processed. That is, the three-dimensional data coding apparatus 100 does not refer to the second processing unit (SPC) included in the first processing unit (GOS) different from the first processing unit (GOS) to be processed.
  • SPC second processing unit included in the first processing unit (GOS) different from the first processing unit (GOS) to be processed.
  • the second processing unit (SPC) of the processing target included in the first processing unit (GOS) of the processing target is the second processing target.
  • the type of the second processing unit (SPC) to be processed the first type (I-SPC) that does not refer to another second processing unit (SPC), and one other type.
  • the second processing unit (SPC) of interest is encoded.
  • FIG. 8 is a block diagram of a block of the three-dimensional data decoding device 200 according to the present embodiment.
  • FIG. 9 is a flowchart showing an operation example of the three-dimensional data decoding device 200.
  • the three-dimensional data decoding device 200 shown in FIG. 8 generates the decoded three-dimensional data 212 by decoding the coded three-dimensional data 211.
  • the coded three-dimensional data 211 is, for example, the coded three-dimensional data 112 generated by the three-dimensional data coding device 100.
  • the three-dimensional data decoding device 200 includes an acquisition unit 201, a decoding start GOS determination unit 202, a decoding SPC determination unit 203, and a decoding unit 204.
  • the acquisition unit 201 acquires the coded three-dimensional data 211 (S201).
  • the decoding start GOS determination unit 202 determines the GOS to be decoded (S202). Specifically, the decoding start GOS determination unit 202 refers to the meta information stored in the coded three-dimensional data 211 or separately from the coded three-dimensional data, and refers to a spatial position, an object, or a space position where decoding is started. , The GOS including the SPC corresponding to the time is determined as the GOS to be decoded.
  • the decoding SPC determination unit 203 determines the type (I, P, B) of the SPC to be decoded in the GOS (S203). For example, the decoding SPC determination unit 203 determines whether to (1) decode only the I-SPC, (2) decode the I-SPC and the P-SPC, or (3) decode all types. If the type of SPC to be decoded is determined in advance, such as decoding all SPCs, this step may not be performed.
  • the decoding unit 204 acquires the address position where the SPC heading in the decoding order (same as the coding order) in the GOS starts in the coded three-dimensional data 211, and the code of the head SPC is obtained from the address position.
  • the conversion data is acquired, and each SPC is sequentially decoded from the first SPC (S204).
  • the address position is stored in meta information or the like.
  • the three-dimensional data decoding device 200 decodes the decoded three-dimensional data 212. Specifically, the three-dimensional data decoding device 200 decodes each of the coded three-dimensional data 211 of the first processing unit (GOS), which is a random access unit and each of which is associated with the three-dimensional coordinates. As a result, the decoded three-dimensional data 212 of the first processing unit (GOS) is generated. More specifically, the three-dimensional data decoding device 200 decodes each of the plurality of second processing units (SPC) in each first processing unit (GOS). Further, the three-dimensional data decoding device 200 decodes each of the plurality of third processing units (VLM) in each second processing unit (SPC).
  • SPC second processing units
  • VLM third processing units
  • This meta information is generated by the three-dimensional data coding apparatus 100 and is included in the coded three-dimensional data 112 (211).
  • FIG. 10 is a diagram showing an example of a table included in the meta information. It is not necessary to use all the tables shown in FIG. 10, but at least one table may be used.
  • the address may be an address in a logical format or a physical address of an HDD or a memory.
  • information that identifies a file segment may be used instead of the address.
  • a file segment is a unit in which one or more GOS or the like is segmented.
  • a plurality of GOS to which the object belongs may be indicated in the object-GOS table. If the plurality of GOS are closed GOS, the coding device and the decoding device can perform coding or decoding in parallel. On the other hand, if the plurality of GOS are open GOS, the compression efficiency can be further improved by the plurality of GOS referencing each other.
  • the three-dimensional data encoding device 100 extracts a feature point peculiar to an object from a three-dimensional point cloud or the like at the time of encoding the world, detects an object based on the feature point, and uses the detected object as a random access point. Can be set as.
  • the three-dimensional data coding apparatus 100 has the first information indicating the plurality of first processing units (GOS) and the three-dimensional coordinates associated with each of the plurality of first processing units (GOS). To generate. Further, the coded three-dimensional data 112 (211) includes this first information. Further, the first information further indicates at least one of an object, a time, and a data storage destination associated with each of the plurality of first processing units (GOS).
  • the three-dimensional data decoding device 200 acquires the first information from the coded three-dimensional data 211, and uses the first information to encode a third-order coded unit of the first processing unit corresponding to the specified three-dimensional coordinates, object, or time.
  • the original data 211 is specified, and the coded three-dimensional data 211 is decoded.
  • the three-dimensional data encoding device 100 may generate and store the following meta information. Further, the three-dimensional data decoding device 200 may use this meta information at the time of decoding.
  • a profile is defined according to the purpose, and information indicating the profile may be included in the meta information.
  • information indicating the profile may be included in the meta information.
  • profiles for urban or suburban or flying objects are defined, each defining the maximum or minimum size of a world, SPC or VLM.
  • the minimum size of VLM is set smaller for urban areas because more detailed information is required than for suburbs.
  • the meta information may include a tag value indicating the type of object.
  • This tag value is associated with the VLM, SPC, or GOS that constitutes the object. For example, the tag value "0" indicates “person”, the tag value “1” indicates “car”, the tag value “2” indicates “traffic light”, and the tag value is set for each object type. May be good.
  • a size or a tag value indicating a property such as a dynamic object or a static object may be used.
  • the meta information may include information indicating the range of the spatial area occupied by the world.
  • the meta information may store the size of the SPC or VXL as the header information common to a plurality of SPCs such as the entire stream of coded data or the SPC in the GOS.
  • the meta information may include identification information such as a distance sensor or a camera used for generating the point cloud, or information indicating the position accuracy of the point cloud in the point cloud.
  • the meta information may include information indicating whether the world is composed only of static objects or includes dynamic objects.
  • the coding device or decoding device may encode or decode two or more SPCs or GOSs different from each other in parallel.
  • the GOS to be encoded or decoded in parallel can be determined based on the meta information indicating the spatial position of the GOS and the like.
  • the coding device or decoding device is used for GPS, route information, zoom magnification, etc.
  • the GOS or SPC contained in the space specified based on the above may be encoded or decoded.
  • the decoding device may perform decoding in order from the space closest to the self-position or the traveling path.
  • the coding device or decoding device may encode or decode a space far from its own position or travel path with a lower priority than a space closer to it.
  • lowering the priority means lowering the processing order, lowering the resolution (thinning out processing), lowering the image quality (increasing the coding efficiency, for example, increasing the quantization step), and the like. ..
  • the decoding device may decode only the lower layer.
  • the decoding device may preferentially decode from the lower layer according to the zoom magnification of the map or the application.
  • the coding device or decoding device reduces the resolution except for the area within a specific height from the road surface (recognition area). It may be converted or decrypted.
  • the coding device may individually encode the point cloud that expresses the spatial shape between the indoor and the outdoor. For example, by separating the GOS (indoor GOS) representing the room and the GOS (outdoor GOS) representing the outside, the decoding device selects the GOS to be decoded according to the viewpoint position when using the coded data. can.
  • the coding device may encode the indoor GOS and the outdoor GOS having close coordinates so as to be adjacent to each other in the coding stream.
  • the coding apparatus associates both identifiers and stores information indicating the associated identifier in the coded stream or in the meta information separately stored.
  • the decoding device can distinguish between the indoor GOS and the outdoor GOS whose coordinates are close to each other by referring to the information in the meta information.
  • the coding device may switch the size of the GOS or SPC between the indoor GOS and the outdoor GOS. For example, the coding device sets the size of the GOS smaller indoors than outdoors. Further, the coding device may change the accuracy of extracting the feature points from the point cloud, the accuracy of object detection, and the like between the indoor GOS and the outdoor GOS.
  • the coding device may add information to the coding data for the decoding device to display the dynamic object separately from the static object.
  • the decoding device can display the dynamic object together with the red frame, the characters for explanation, and the like.
  • the decoding device may display only a red frame or explanatory characters instead of the dynamic object.
  • the decoding device may display a finer object type. For example, a red frame may be used for cars and a yellow frame may be used for humans.
  • the coding device or the decoding device encodes the dynamic object and the static object as different SPCs or GOSs according to the appearance frequency of the dynamic object or the ratio of the static object to the dynamic object. Alternatively, it may be decided whether or not to decrypt. For example, when the appearance frequency or ratio of dynamic objects exceeds the threshold value, SPC or GOS in which dynamic objects and static objects coexist is allowed, and when the appearance frequency or ratio of dynamic objects does not exceed the threshold value. Does not allow SPC or GOS, which is a mixture of dynamic and static objects.
  • the encoding device When detecting a dynamic object from the 2D image information of the camera instead of the point cloud, the encoding device separately acquires the information (frame or character, etc.) for identifying the detection result and the object position. These pieces of information may be encoded as part of the three-dimensional coded data. In this case, the decoding device superimposes and displays auxiliary information (frame or character) indicating the dynamic object on the decoding result of the static object.
  • the coding device may change the roughness of VXL or VLM in the SPC according to the complexity of the shape of the static object and the like. For example, the coding device sets VXL or VLM more densely as the shape of the static object becomes more complicated. Further, the coding apparatus may determine the quantization step in quantizing the spatial position or the color information according to the density of VXL or VLM. For example, the coding device sets the quantization step smaller as the VXL or VLM becomes denser.
  • the coding device or the decoding device encodes or decodes the space in units of spaces having coordinate information.
  • a volume contains a voxel, which is the smallest unit to which location information is associated.
  • the coding device and the decoding device associate arbitrary elements with each other by a table in which each element of spatial information including coordinates, objects, time, etc. is associated with GOP, or a table in which each element is associated with each other. Encoding or decoding. Further, the decoding device determines the coordinates using the values of the selected elements, identifies the volume, voxel or space from the coordinates, and decodes the space including the volume or voxel, or the specified space.
  • the coding device determines a volume, voxel or space that can be selected by an element by feature point extraction or object recognition, and encodes it as a randomly accessible volume, voxel or space.
  • the space refers to an I-SPC that can be encoded or decoded by the space alone, a P-SPC that is encoded or decoded with reference to any one processed space, and any two processed spaces. It is classified into three types, B-SPC, which is encoded or decoded.
  • One or more volumes correspond to static or dynamic objects.
  • Spaces containing static objects and spaces containing dynamic objects are encoded or decoded as different GOS. That is, the SPC including the static object and the SPC including the dynamic object are assigned to different GOS.
  • Dynamic objects are encoded or decoded for each object and associated with one or more spaces containing static objects. That is, the plurality of dynamic objects are individually encoded, and the obtained coded data of the plurality of dynamic objects are associated with the SPC including the static object.
  • the coding device and the decoding device raise the priority of the I-SPC in the GOS to perform coding or decoding. For example, the coding device performs coding so that the deterioration of the I-SPC is reduced (so that the original three-dimensional data is reproduced more faithfully after decoding). Further, the decoding device decodes only the I-SPC, for example.
  • the coding device may perform coding by changing the frequency of using the I-SPC according to the sparseness or the number (quantity) of the objects in the world. That is, the encoding device changes the frequency of selecting the I-SPC according to the number or roughness of the objects contained in the three-dimensional data. For example, the encoder increases the frequency of using the I space as the objects in the world are denser.
  • the coding device sets a random access point in GOS units, and stores information indicating a spatial area corresponding to GOS in the header information.
  • the coding device uses, for example, a default value as the space size of GOS.
  • the coding device may change the size of the GOS according to the number (quantity) or the roughness of the object or the dynamic object. For example, the encoding device reduces the spatial size of the GOS as the objects or dynamic objects become denser or larger in number.
  • the space or volume includes a group of feature points derived using information obtained by a sensor such as a depth sensor, a gyro, or a camera.
  • the coordinates of the feature points are set at the center position of the voxel.
  • high accuracy of position information can be realized by subdividing voxels.
  • the feature point group is derived using multiple pictures.
  • the plurality of pictures have at least two types of time information, that is, the actual time information and the same time information (for example, the coded time used for rate control or the like) in the plurality of pictures associated with the space.
  • GOS units including one or more spaces.
  • the coding device and the decoding device refer to the space in the processed GOS and predict the P space or the B space in the GOS to be processed.
  • the coding device and the decoding device do not refer to different GOSs, and use the processed space in the GOS to be processed to predict the P space or B space in the GOS to be processed.
  • the coding device and the decoding device transmit or receive a coded stream in a world unit including one or more GOS.
  • the GOS has a layer structure in at least one direction in the world, and the coding device and the decoding device encode or decode from the lower layer.
  • a randomly accessible GOS belongs to the lowest layer.
  • the GOS belonging to the upper layer refers to the GOS belonging to the same layer or lower. That is, the GOS is spatially divided in predetermined directions and includes a plurality of layers, each containing one or more SPCs.
  • the coding device and the decoding device encode or decode each SPC with reference to the SPC included in the same layer as the SPC or a layer lower than the SPC.
  • the coding device and the decoding device continuously encode or decode the GOS within the world unit including a plurality of GOS.
  • the coding device and the decoding device write or read information indicating the order (direction) of coding or decoding as metadata. That is, the coded data includes information indicating the coding order of the plurality of GOS.
  • the coding device and the decoding device encode or decode two or more spaces or GOS different from each other in parallel.
  • the coding device and the decoding device encode or decode the space or GOS spatial information (coordinates, size, etc.).
  • the coding device and the decoding device encode or decode a space or GOS included in a specific space specified based on external information regarding its own position or / and area size such as GPS, route information, or magnification. ..
  • the coding device or the decoding device encodes or decodes the space far from its own position with a lower priority than the space near it.
  • the coding device sets one direction in which the world is located according to the magnification or the application, and encodes the GOS having a layer structure in that direction. Further, the decoding device preferentially decodes the GOS having the layer structure in one direction of the world set according to the magnification or the application from the lower layer.
  • the coding device changes the feature point extraction included in the space, the accuracy of object recognition, the space area size, etc. between indoors and outdoors.
  • the coding device and the decoding device encode or decode the indoor GOS and the outdoor GOS having close coordinates adjacent to each other in the world, and encode or decode these identifiers in association with each other.
  • a three-dimensional data coding method and a three-dimensional data coding device for providing a function of transmitting and receiving only necessary information according to an application in the coded data of a three-dimensional point cloud, and the said A three-dimensional data decoding method for decoding encoded data and a three-dimensional data decoding device will be described.
  • a voxel (VXL) having a certain amount of features or more is defined as a feature voxel (FVXL), and a world composed of FVXL (WLD) is defined as a sparse world (SWLD).
  • FIG. 11 is a diagram showing a sparse world and a configuration example of the world.
  • the SWLD includes FGOS, which is a GOS composed of FVXL, FSPC, which is an SPC composed of FVXL, and FVLM, which is a VLM composed of FVXL.
  • the data structure and prediction structure of FGOS, FSPC and FVLM may be the same as those of GOS, SPC and VLM.
  • the feature amount is a feature amount that expresses the three-dimensional position information of VXL or the visible light information of the VXL position, and is a feature amount that is often detected especially at the corners and edges of a three-dimensional object. Specifically, this feature amount is the following three-dimensional feature amount or visible light feature amount, but what if it is a feature amount that represents the position, luminance, color information, etc. of VXL? It doesn't matter what it is.
  • a SHOT feature amount Signature of Histograms of Orientations
  • a PFH feature amount Point Feature Histograms
  • a PPF feature amount Point Pair Histograms
  • the SHOT feature amount is obtained by dividing the periphery of VXL, calculating the inner product of the reference point and the normal vector of the divided region, and forming a histogram.
  • This SHOT feature quantity has a feature that the number of dimensions is high and the feature expressive power is high.
  • the PFH feature amount is obtained by selecting a large number of two-point sets in the vicinity of VXL, calculating a normal vector or the like from the two points, and forming a histogram. Since this PFH feature quantity is a histogram feature, it has a characteristic of being robust against some disturbances and having a high feature expressive power.
  • the PPF feature amount is a feature amount calculated by using a normal vector or the like for each of two VXLs. Since all VXLs are used for this PPF feature quantity, it has robustness to occlusion.
  • SIFT Scale-Invariant Features Transfers
  • SURF Speeded Up Robust Features
  • HOG Histogram of Oriented
  • SWLD is generated by calculating the above feature amount from each VXL of WLD and extracting FVXL.
  • the SWLD may be updated every time the WLD is updated, or may be periodically updated after a certain period of time has elapsed, regardless of the update timing of the WLD.
  • SWLD may be generated for each feature amount. For example, SWLD1 based on the SHOT feature amount and SWLD2 based on the SIFT feature amount may be generated separately for each feature amount, and the SWLD may be used properly according to the application. Further, the calculated feature amount of each FVXL may be held in each FVXL as the feature amount information.
  • SWLD sparse world
  • the read time from the hard disk and the bandwidth and transfer time at the time of network transfer can be suppressed by using the SWLD information instead of the WLD.
  • the SWLD information instead of the WLD.
  • WLD and SWLD as map information in the server and switching the map information to be transmitted to WLD or SWLD according to the request from the client, the network bandwidth and the transfer time can be suppressed. ..
  • a specific example is shown below.
  • FIG. 12 and 13 are diagrams showing usage examples of SWLD and WLD.
  • the client 1 which is an in-vehicle device needs map information for self-position determination use
  • the client 1 sends a request for acquisition of map data for self-position estimation to the server (S301).
  • the server transmits SWLD to the client 1 in response to the acquisition request (S302).
  • the client 1 makes a self-position determination using the received SWLD (S303).
  • the client 1 acquires VXL information around the client 1 by various methods such as a range sensor such as a range finder, a stereo camera, or a combination of a plurality of monocular cameras, and self from the obtained VXL information and SWLD.
  • the self-position information includes the three-dimensional position information and the orientation of the client 1.
  • the client 2 which is an in-vehicle device needs map information for map drawing such as a three-dimensional map
  • the client 2 sends a request for acquisition of map data for map drawing to the server (S311). ).
  • the server transmits the WLD to the client 2 in response to the acquisition request (S312).
  • the client 2 draws a map using the received WLD (S313).
  • the client 2 creates a rendered image using, for example, an image taken by itself with a visible light camera or the like and a WLD acquired from a server, and draws the created image on a screen of a car navigation system or the like.
  • the server sends SWLDs to the client for applications that mainly require features of each VXL, such as self-position estimation, and WLDs when detailed VXL information is needed, such as map drawing. Send to client. This makes it possible to efficiently send and receive map data.
  • the client may determine whether SWLD or WLD is necessary by himself / herself and request the server to transmit SWLD or WLD. Further, the server may determine whether to transmit SWLD or WLD according to the situation of the client or the network.
  • SWLD sparse world
  • WLD world
  • FIG. 14 is a diagram showing an operation example in this case.
  • the client accesses the server via the low-speed network (S321) and maps from the server. Acquire SWLD as information (S322).
  • the client accesses the server via the high-speed network (S323) and acquires WLD from the server. (S324).
  • the client can acquire appropriate map information according to the network bandwidth of the client.
  • the client receives SWLD via LTE outdoors, and acquires WLD via Wi-Fi (registered trademark) when entering indoors such as a facility. This allows the client to obtain more detailed map information indoors.
  • the client may request WLD or SWLD from the server according to the bandwidth of the network used by the client.
  • the client may send information indicating the bandwidth of the network used by the client to the server, and the server may send data (WLD or SWLD) suitable for the client according to the information.
  • the server may determine the network bandwidth of the client and transmit data (WLD or SWLD) suitable for the client.
  • FIG. 15 is a diagram showing an operation example in this case.
  • the client when the client is moving at high speed (S331), the client receives SWLD from the server (S332).
  • the client receives the WLD from the server (S334).
  • the client can acquire map information suitable for the speed while suppressing the network bandwidth.
  • the client can update the rough map information at an appropriate speed by receiving the SWLD with a small amount of data while traveling on the highway.
  • the client can acquire more detailed map information by receiving the WLD while traveling on the general road.
  • the client may request WLD or SWLD from the server according to its own moving speed.
  • the client may send information indicating its own movement speed to the server, and the server may send data (WLD or SWLD) suitable for the client according to the information.
  • the server may determine the moving speed of the client and transmit data (WLD or SWLD) suitable for the client.
  • the client may first acquire SWLD from the server and then acquire WLD of an important area in it. For example, when acquiring map data, the client first acquires rough map information with SWLD, narrows down the area where many features such as buildings, signs, or people appear, and obtains the WLD of the narrowed down area. Get it later. This enables the client to acquire detailed information on the required area while suppressing the amount of data received from the server.
  • the server may create a separate SWLD for each object from the WLD, and the client may receive each according to the purpose.
  • the server recognizes a person or a car in advance from the WLD, and creates a person's SWLD and a car's SWLD.
  • the client receives the SWLD of the person when it wants to acquire the information of the surrounding people, and the SWLD of the car when it wants to acquire the information of the car.
  • the type of such SWLD may be distinguished by the information (flag or type, etc.) added to the header or the like.
  • FIG. 16 is a block diagram of the three-dimensional data coding device 400 according to the present embodiment.
  • FIG. 17 is a flowchart of the three-dimensional data coding process by the three-dimensional data coding apparatus 400.
  • the three-dimensional data coding apparatus 400 shown in FIG. 16 encodes the input three-dimensional data 411 to generate coded three-dimensional data 413 and 414, which are coding streams.
  • the coded three-dimensional data 413 is coded three-dimensional data corresponding to WLD
  • the coded three-dimensional data 414 is coded three-dimensional data corresponding to SWLD.
  • the three-dimensional data coding device 400 includes an acquisition unit 401, a coding region determination unit 402, a SWLD extraction unit 403, a WLD coding unit 404, and a SWLD coding unit 405.
  • the acquisition unit 401 acquires the input three-dimensional data 411, which is the point cloud data in the three-dimensional space (S401).
  • the coding area determination unit 402 determines the space area to be coded based on the space area in which the point cloud data exists (S402).
  • the SWLD extraction unit 403 defines the spatial region to be encoded as WLD, and calculates the feature amount from each VXL included in WLD. Then, the SWLD extraction unit 403 extracts VXL having a feature amount equal to or higher than a predetermined threshold value, defines the extracted VXL as FVXL, and adds the FVXL to SWLD to generate the extracted three-dimensional data 412. (S403). That is, the extracted three-dimensional data 412 whose feature amount is equal to or larger than the threshold value is extracted from the input three-dimensional data 411.
  • the WLD coding unit 404 encodes the input three-dimensional data 411 corresponding to the WLD to generate the coded three-dimensional data 413 corresponding to the WLD (S404). At this time, the WLD coding unit 404 adds information for distinguishing that the coded three-dimensional data 413 is a stream including the WLD to the header of the coded three-dimensional data 413.
  • the SWLD coding unit 405 generates the coded three-dimensional data 414 corresponding to SWLD by encoding the extracted three-dimensional data 412 corresponding to SWLD (S405). At this time, the SWLD coding unit 405 adds information for distinguishing that the coded three-dimensional data 414 is a stream including the SWLD to the header of the coded three-dimensional data 414.
  • the processing order of the process of generating the coded three-dimensional data 413 and the process of generating the coded three-dimensional data 414 may be reversed. Further, some or all of these processes may be performed in parallel.
  • a parameter "world_type" is defined.
  • one of the coded three-dimensional data 413 and 414 may include a specific flag.
  • the coded three-dimensional data 414 may be flagged to include SWLD in the stream. In this case, the decoding device can determine whether the stream contains WLD or SWLD depending on the presence or absence of the flag.
  • the coding method used by the WLD coding unit 404 when coding the WLD may be different from the coding method used by the SWLD coding unit 405 when coding the SWLD.
  • inter-prediction may be prioritized among intra-prediction and inter-prediction over the coding method used for WLD.
  • the three-dimensional position expression method may be different between the coding method used for SWLD and the coding method used for WLD.
  • the three-dimensional position of FVXL may be expressed by three-dimensional coordinates
  • WLD the three-dimensional position may be expressed by an ocree described later, or vice versa.
  • the SWLD coding unit 405 encodes so that the data size of the SWLD coded three-dimensional data 414 is smaller than the data size of the WLD coded three-dimensional data 413.
  • SWLD may have a lower correlation between data than WLD.
  • the coding efficiency is lowered, and the data size of the coded three-dimensional data 414 may be larger than the data size of the WLD coded three-dimensional data 413. Therefore, when the data size of the obtained coded three-dimensional data 414 is larger than the data size of the WLD coded three-dimensional data 413, the SWLD coding unit 405 performs data size by recoding.
  • the coded three-dimensional data 414 with reduced data is regenerated.
  • the SWLD extraction unit 403 regenerates the extraction three-dimensional data 412 in which the number of feature points to be extracted is reduced, and the SWLD coding unit 405 encodes the extraction three-dimensional data 412.
  • the degree of quantization in the SWLD coding unit 405 may be coarser.
  • the degree of quantization can be coarsened by rounding the data in the lowest layer.
  • the SWLD coding unit 405 does not generate the SWLD coded three-dimensional data 414. You may. Alternatively, the WLD coded 3D data 413 may be copied to the SWLD coded 3D data 414. That is, the WLD-coded three-dimensional data 413 may be used as it is as the SWLD-coded three-dimensional data 414.
  • FIG. 18 is a block diagram of the three-dimensional data decoding device 500 according to the present embodiment.
  • FIG. 19 is a flowchart of the three-dimensional data decoding process by the three-dimensional data decoding apparatus 500.
  • the three-dimensional data decoding device 500 shown in FIG. 18 generates decoded three-dimensional data 512 or 513 by decoding the coded three-dimensional data 511.
  • the coded three-dimensional data 511 is, for example, the coded three-dimensional data 413 or 414 generated by the three-dimensional data coding apparatus 400.
  • the three-dimensional data decoding device 500 includes an acquisition unit 501, a header analysis unit 502, a WLD decoding unit 503, and a SWLD decoding unit 504.
  • the acquisition unit 501 acquires the coded three-dimensional data 511 (S501).
  • the header analysis unit 502 analyzes the header of the coded three-dimensional data 511 and determines whether the coded three-dimensional data 511 is a stream containing WLD or a stream containing SWLD (S502). For example, the above-mentioned parameters of world_type are referred to, and the determination is performed.
  • the WLD decoding unit 503 When the coded three-dimensional data 511 is a stream containing the WLD (Yes in S503), the WLD decoding unit 503 generates the decoded three-dimensional data 512 of the WLD by decoding the coded three-dimensional data 511 (S504). .. On the other hand, when the coded three-dimensional data 511 is a stream including SWLD (No in S503), the SWLD decoding unit 504 generates the SWLD decoded three-dimensional data 513 by decoding the coded three-dimensional data 511 (No). S505).
  • the decoding method used when the WLD decoding unit 503 decodes the WLD and the decoding method used when the SWLD decoding unit 504 decodes the SWLD may be different.
  • inter-prediction may be prioritized among intra-prediction and inter-prediction over the decoding method used for WLD.
  • the three-dimensional position expression method may be different between the decoding method used for SWLD and the decoding method used for WLD.
  • the three-dimensional position of FVXL may be expressed by three-dimensional coordinates
  • WLD the three-dimensional position may be expressed by an ocree described later, or vice versa.
  • FIG. 20 is a diagram showing an example of VXL of WLD.
  • FIG. 21 is a diagram showing the octal structure of the WLD shown in FIG. 20.
  • the octal tree structure is composed of nodes and leaves. Each node has a maximum of 8 nodes or leaves. Each leaf has VXL information.
  • leaves 1, 2 and 3 represent VXL1, VXL2 and VXL3 shown in FIG. 20, respectively.
  • each node and leaf corresponds to a three-dimensional position.
  • Node 1 corresponds to the entire block shown in FIG.
  • the block corresponding to node 1 is divided into eight blocks, of which the block containing the valid VXL is set in the node and the other blocks are set in the leaf.
  • the block corresponding to the node is further divided into eight nodes or leaves, and this process is repeated for the hierarchy of the tree structure. In addition, all the blocks in the lowest layer are set to leaves.
  • FIG. 22 is a diagram showing an example of SWLD generated from the WLD shown in FIG. 20.
  • VXL1 and VXL2 shown in FIG. 20 were determined to be FVXL1 and FVXL2, and were added to SWLD.
  • VXL3 is not determined to be FVXL and is not included in SWLD.
  • FIG. 23 is a diagram showing an octal tree structure of SWLD shown in FIG. 22. In the octave tree structure shown in FIG. 23, the leaf 3 corresponding to VXL3 shown in FIG. 21 is deleted. As a result, the node 3 shown in FIG. 21 no longer has a valid VXL and is changed to a leaf.
  • the number of leaves of SWLD is generally smaller than the number of leaves of WLD, and the coded three-dimensional data of SWLD is also smaller than the coded three-dimensional data of WLD.
  • a client such as an in-vehicle device receives SWLD from a server when performing self-position estimation, performs self-position estimation using SWLD, and when performing obstacle detection, a distance sensor such as a range finder or a stereo.
  • Obstacle detection may be performed based on the surrounding three-dimensional information acquired by oneself using various methods such as a combination of a camera or a plurality of monocular cameras.
  • the server may hold a subsample world (subWLD) that subsamples the WLD and send SWLDs and subWLDs to the client for static obstacle detection.
  • subWLD subsample world
  • the server may generate a mesh from the WLD and hold it in advance as a mesh world (MWLD). For example, the client receives the MWLD when it needs coarse 3D drawing and the WLD when it needs detailed 3D drawing. As a result, the network bandwidth can be suppressed.
  • MWLD mesh world
  • the server sets VXL of each VXL whose feature amount is equal to or greater than the threshold value to FVXL
  • FVXL may be calculated by a different method. For example, the server determines that VXL, VLM, SPC, or GOS constituting a signal or an intersection is necessary for self-position estimation, driving assist, automatic driving, etc., and includes it in SWLD as FVXL, FVLM, FSPC, FGOS. It doesn't matter. Further, the above determination may be made manually. The FVXL or the like obtained by the above method may be added to the FVXL or the like set based on the feature amount. That is, the SWLD extraction unit 403 may further extract data corresponding to an object having a predetermined attribute from the input three-dimensional data 411 as the extraction three-dimensional data 412.
  • the server may separately hold an FVXL required for self-position estimation such as a signal or an intersection, driving assistance, automatic driving, etc. as a higher layer (for example, lane world) of SWLD.
  • the server may also add an attribute to the VXL in the WLD for each random access unit or a predetermined unit.
  • the attribute includes, for example, information indicating whether or not it is necessary or unnecessary for self-position estimation, or information indicating whether or not it is important as traffic information such as a signal or an intersection. Further, the attribute may include a correspondence relationship with Feature (intersection, road, etc.) in lane information (GDF: Geographic Data Files, etc.).
  • the following method may be used as a method for updating WLD or SWLD.
  • Update information indicating changes in people, construction, or trees (for trucks) is uploaded to the server as a point cloud or metadata.
  • the server updates the WLD based on the upload and then updates the SWLD with the updated WLD.
  • the client may send the 3D information generated by itself to the server together with the update notification. good.
  • the server updates the SWLD with WLD. If the SWLD is not updated, the server determines that the WLD itself is out of date.
  • information for distinguishing between WLD and SWLD is added as the header information of the coded stream, but when there are many kinds of worlds such as a mesh world or a lane world, they are distinguished. Information may be added to the header information. Further, when there are many SWLDs having different feature amounts, information for distinguishing them may be added to the header information.
  • the SWLD is composed of FVXL, it may include VXL which is not determined to be FVXL.
  • the SWLD may include an adjacent VXL used in calculating the features of the FVXL.
  • the client can calculate the feature amount of the FVXL when the SWLD is received.
  • the SWLD may include information for distinguishing whether each VXL is FVXL or VXL.
  • the three-dimensional data coding apparatus 400 extracts and extracts the three-dimensional data 412 (second three-dimensional data) whose feature amount is equal to or larger than the threshold value from the input three-dimensional data 411 (first three-dimensional data).
  • Encoded three-dimensional data 414 (first coded three-dimensional data) is generated by encoding the three-dimensional data 412.
  • the three-dimensional data coding apparatus 400 generates coded three-dimensional data 414 in which data having a feature amount equal to or larger than a threshold value is encoded.
  • the amount of data can be reduced as compared with the case where the input three-dimensional data 411 is encoded as it is. Therefore, the three-dimensional data coding device 400 can reduce the amount of data to be transmitted.
  • the three-dimensional data coding apparatus 400 further encodes the input three-dimensional data 411 to generate the coded three-dimensional data 413 (second coded three-dimensional data).
  • the three-dimensional data coding apparatus 400 can selectively transmit the coded three-dimensional data 413 and the coded three-dimensional data 414 according to, for example, the intended use.
  • the extracted three-dimensional data 412 is encoded by the first coding method
  • the input three-dimensional data 411 is encoded by the second coding method different from the first coding method.
  • the three-dimensional data coding apparatus 400 can use a coding method suitable for the input three-dimensional data 411 and the extracted three-dimensional data 412, respectively.
  • the inter-prediction is prioritized among the intra-prediction and the inter-prediction over the second coding method.
  • the three-dimensional data encoding device 400 can raise the priority of inter-prediction with respect to the extracted three-dimensional data 412 in which the correlation between adjacent data tends to be low.
  • the three-dimensional position expression method differs between the first coding method and the second coding method.
  • the three-dimensional position is represented by the ocree
  • the three-dimensional position is represented by the three-dimensional coordinates.
  • the three-dimensional data encoding device 400 can use a more suitable three-dimensional position expression method for three-dimensional data having a different number of data (number of VXL or FVXL).
  • At least one of the coded three-dimensional data 413 and 414 is either the coded three-dimensional data obtained by encoding the input three-dimensional data 411 or the input three-dimensional data 411. Includes an identifier indicating whether the data is coded three-dimensional data obtained by encoding a part of the data. That is, the identifier indicates whether the coded three-dimensional data is the WLD coded three-dimensional data 413 or the SWLD coded three-dimensional data 414.
  • the decoding device can easily determine whether the acquired coded three-dimensional data is the coded three-dimensional data 413 or the coded three-dimensional data 414.
  • the three-dimensional data coding apparatus 400 encodes the extracted three-dimensional data 412 so that the data amount of the coded three-dimensional data 414 is smaller than the data amount of the coded three-dimensional data 413.
  • the three-dimensional data coding apparatus 400 can make the data amount of the coded three-dimensional data 414 smaller than the data amount of the coded three-dimensional data 413.
  • the three-dimensional data encoding device 400 further extracts data corresponding to an object having a predetermined attribute from the input three-dimensional data 411 as the extraction three-dimensional data 412.
  • an object having a predetermined attribute is an object necessary for self-position estimation, driving assistance, automatic driving, or the like, and is a signal, an intersection, or the like.
  • the three-dimensional data coding device 400 can generate the coded three-dimensional data 414 including the data required by the decoding device.
  • the three-dimensional data coding device 400 (server) further transmits one of the coded three-dimensional data 413 and 414 to the client according to the state of the client.
  • the three-dimensional data coding device 400 can transmit appropriate data according to the state of the client.
  • the state of the client includes the communication status of the client (for example, the network bandwidth) or the moving speed of the client.
  • the three-dimensional data coding device 400 further transmits one of the coded three-dimensional data 413 and 414 to the client in response to the request of the client.
  • the three-dimensional data encoding device 400 can transmit appropriate data according to the request of the client.
  • the three-dimensional data decoding device 500 decodes the coded three-dimensional data 413 or 414 generated by the three-dimensional data coding device 400.
  • the three-dimensional data decoding device 500 first decodes the coded three-dimensional data 414 obtained by encoding the extracted three-dimensional data 412 whose feature amount extracted from the input three-dimensional data 411 is equal to or greater than the threshold value. Decrypt by method. Further, the three-dimensional data decoding device 500 decodes the coded three-dimensional data 413 obtained by encoding the input three-dimensional data 411 by a second decoding method different from the first decoding method.
  • the three-dimensional data decoding apparatus 500 selects the coded three-dimensional data 414 in which the data having the feature amount equal to or larger than the threshold value and the coded three-dimensional data 413 are selected according to, for example, the intended use. Can be received.
  • the three-dimensional data decoding device 500 can reduce the amount of data to be transmitted.
  • the three-dimensional data decoding device 500 can use a decoding method suitable for the input three-dimensional data 411 and the extracted three-dimensional data 412, respectively.
  • the inter-prediction is prioritized among the intra-prediction and the inter-prediction over the second decoding method.
  • the three-dimensional data decoding device 500 can raise the priority of inter-prediction for the extracted three-dimensional data in which the correlation between adjacent data tends to be low.
  • the three-dimensional position expression method differs between the first decoding method and the second decoding method.
  • the three-dimensional position is represented by the ocree
  • the three-dimensional position is represented by the three-dimensional coordinates.
  • the three-dimensional data decoding device 500 can use a more suitable three-dimensional position expression method for three-dimensional data having a different number of data (number of VXL or FVXL).
  • At least one of the coded three-dimensional data 413 and 414 is either the coded three-dimensional data obtained by encoding the input three-dimensional data 411 or the input three-dimensional data 411. Includes an identifier indicating whether the data is coded three-dimensional data obtained by encoding a part of the data.
  • the three-dimensional data decoding device 500 identifies the coded three-dimensional data 413 and 414 with reference to the identifier.
  • the three-dimensional data decoding apparatus 500 can easily determine whether the acquired coded three-dimensional data is the coded three-dimensional data 413 or the coded three-dimensional data 414.
  • the three-dimensional data decoding device 500 further notifies the server of the status of the client (three-dimensional data decoding device 500).
  • the three-dimensional data decoding device 500 receives one of the coded three-dimensional data 413 and 414 transmitted from the server according to the state of the client.
  • the three-dimensional data decoding device 500 can receive appropriate data according to the state of the client.
  • the state of the client includes the communication status of the client (for example, the network bandwidth) or the moving speed of the client.
  • the three-dimensional data decoding device 500 further requests one of the coded three-dimensional data 413 and 414 from the server, and in response to the request, one of the coded three-dimensional data 413 and 414 transmitted from the server. Receive.
  • the three-dimensional data decoding device 500 can receive appropriate data according to the application.
  • FIG. 24 is a block diagram of the three-dimensional data creation device 620 according to the present embodiment.
  • This three-dimensional data creation device 620 is included in the own vehicle, for example, and is more dense by synthesizing the received second three-dimensional data 635 with the first three-dimensional data 632 created by the three-dimensional data creation device 620.
  • the third three-dimensional data 636 is created.
  • This three-dimensional data creation device 620 includes a three-dimensional data creation unit 621, a request range determination unit 622, a search unit 623, a reception unit 624, a decoding unit 625, and a synthesis unit 626.
  • the three-dimensional data creation unit 621 creates the first three-dimensional data 632 using the sensor information 631 detected by the sensor of the own vehicle.
  • the request range determination unit 622 determines the request range, which is the three-dimensional space range in which the data is insufficient in the created first three-dimensional data 632.
  • the search unit 623 searches for peripheral vehicles that possess the three-dimensional data of the required range, and transmits the required range information 633 indicating the required range to the peripheral vehicles specified by the search.
  • the receiving unit 624 receives the coded three-dimensional data 634, which is a coded stream of the required range, from the peripheral vehicle (S624).
  • the search unit 623 may indiscriminately make a request to all the vehicles existing in the specific range, and may receive the coded three-dimensional data 634 from the other party who responded. Further, the search unit 623 may make a request to an object such as a traffic light or a sign, and receive the coded three-dimensional data 634 from the object, not limited to the vehicle.
  • the decoding unit 625 acquires the second three-dimensional data 635 by decoding the received coded three-dimensional data 634.
  • the synthesizing unit 626 creates a denser third-dimensional data 636 by synthesizing the first three-dimensional data 632 and the second three-dimensional data 635.
  • FIG. 25 is a block diagram of the three-dimensional data transmission device 640.
  • the three-dimensional data transmission device 640 is, for example, included in the above-mentioned peripheral vehicle, processes the fifth three-dimensional data 652 created by the peripheral vehicle into the sixth three-dimensional data 654 requested by the own vehicle, and processes the sixth three-dimensional data.
  • the coded three-dimensional data 634 is generated by encoding the 654, and the coded three-dimensional data 634 is transmitted to the own vehicle.
  • the three-dimensional data transmission device 640 includes a three-dimensional data creation unit 641, a reception unit 642, an extraction unit 643, a coding unit 644, and a transmission unit 645.
  • the three-dimensional data creation unit 641 creates the fifth three-dimensional data 652 using the sensor information 651 detected by the sensors provided in the surrounding vehicles.
  • the receiving unit 642 receives the request range information 633 transmitted from the own vehicle.
  • the extraction unit 643 processes the 5th 3D data 652 into the 6th 3D data 654 by extracting the 3D data of the request range indicated by the request range information 633 from the 5th 3D data 652. do.
  • the coding unit 644 encodes the sixth three-dimensional data 654 to generate the coded three-dimensional data 634 which is a coding stream.
  • the transmission unit 645 transmits the coded three-dimensional data 634 to the own vehicle.
  • each vehicle has a three-dimensional data creation device 620 and a three-dimensional data transmission device. It may have a function with 640.
  • the self-position estimation matches the 3D map with the 3D information around the vehicle (hereinafter referred to as the vehicle detection 3D data) acquired by the range finder (LiDAR, etc.) mounted on the vehicle or a sensor such as a stereo camera. Then, it can be realized by estimating the position of the own vehicle in the three-dimensional map.
  • the 3D map changes not only in the 3D point cloud but also in the 2D map data such as the shape information of roads and intersections, or in real time such as traffic jams and accidents, like the HD map advocated by HERE. It may contain information to be used.
  • a three-dimensional map is composed of a plurality of layers such as three-dimensional data, two-dimensional data, and metadata that changes in real time, and the device can acquire or refer to only necessary data.
  • the point cloud data may be the SWLD described above, or may include point cloud data that is not a feature point.
  • data transmission / reception of the point cloud is performed on the basis of one or a plurality of random access units.
  • the following method can be used as a matching method between the 3D map and the vehicle detection 3D data.
  • the device compares the shapes of point clouds in each other's point clouds and determines that the sites with high similarity between feature points are at the same position.
  • the apparatus compares and matches the feature points constituting the SWLD with the three-dimensional feature points extracted from the own vehicle detection three-dimensional data.
  • FIG. 26 is a block diagram showing a configuration example of the three-dimensional information processing apparatus 700 according to the present embodiment.
  • the three-dimensional information processing device 700 is mounted on an animal body such as an automobile, for example. As shown in FIG. 26, the three-dimensional information processing apparatus 700 includes a three-dimensional map acquisition unit 701, a vehicle detection data acquisition unit 702, an abnormality case determination unit 703, a coping operation determination unit 704, and an operation control unit 705. And prepare.
  • the three-dimensional information processing apparatus 700 is not shown for detecting a structure or an animal body around the vehicle, such as a camera that acquires a two-dimensional image or a one-dimensional data sensor that uses an ultrasonic wave or a laser. It may be equipped with a two-dimensional or one-dimensional sensor. Further, the three-dimensional information processing apparatus 700 may include a communication unit (not shown) for acquiring a three-dimensional map by a mobile communication network such as 4G or 5G, or vehicle-to-vehicle communication or road-to-vehicle communication. ..
  • the three-dimensional map acquisition unit 701 acquires a three-dimensional map 711 in the vicinity of the traveling route.
  • the three-dimensional map acquisition unit 701 acquires the three-dimensional map 711 by the mobile communication network, vehicle-to-vehicle communication, or road-to-vehicle communication.
  • the vehicle inspection data acquisition unit 702 acquires the vehicle detection three-dimensional data 712 based on the sensor information. For example, the vehicle detection data acquisition unit 702 generates the vehicle detection three-dimensional data 712 based on the sensor information acquired by the sensor included in the vehicle.
  • the abnormality case determination unit 703 detects an abnormality case by performing a predetermined check on at least one of the acquired three-dimensional map 711 and the own vehicle detection three-dimensional data 712. That is, the abnormality case determination unit 703 determines whether at least one of the acquired three-dimensional map 711 and the own vehicle detection three-dimensional data 712 is abnormal.
  • the coping action determination unit 704 determines the coping action for the abnormal case.
  • the operation control unit 705 controls the operation of each processing unit necessary for carrying out the coping operation, such as the three-dimensional map acquisition unit 701.
  • the three-dimensional information processing apparatus 700 ends the process.
  • the three-dimensional information processing apparatus 700 uses the three-dimensional map 711 and the own vehicle detection three-dimensional data 712 to estimate the self-position of the vehicle having the three-dimensional information processing apparatus 700. Next, the three-dimensional information processing apparatus 700 automatically drives the vehicle using the result of self-position estimation.
  • the three-dimensional information processing apparatus 700 acquires the map data (three-dimensional map 711) including the first three-dimensional position information via the communication path.
  • the first three-dimensional position information is encoded in units of subspaces having three-dimensional coordinate information, each of which is a collection of one or more subspaces, and each of them can be independently decoded by a plurality of randoms. Includes access units.
  • the first three-dimensional position information is data (SWLD) in which feature points whose three-dimensional feature quantities are equal to or higher than a predetermined threshold value are encoded.
  • the three-dimensional information processing apparatus 700 generates the second three-dimensional position information (own vehicle detection three-dimensional data 712) from the information detected by the sensor. Next, the three-dimensional information processing apparatus 700 performs an abnormality determination process on the first three-dimensional position information or the second three-dimensional position information, thereby performing the first three-dimensional position information or the second three-dimensional position information. Determine if the 3D position information is abnormal.
  • the three-dimensional information processing apparatus 700 determines a coping operation for the abnormality. Next, the three-dimensional information processing apparatus 700 performs the control necessary for carrying out the coping operation.
  • the three-dimensional information processing apparatus 700 can detect an abnormality in the first three-dimensional position information or the second three-dimensional position information and take a coping action.
  • FIG. 27 is a block diagram showing a configuration example of the three-dimensional data creation device 810 according to the present embodiment.
  • the three-dimensional data creation device 810 is mounted on a vehicle, for example.
  • the three-dimensional data creation device 810 transmits and receives three-dimensional data to and from an external traffic monitoring cloud, a vehicle in front or a following vehicle, and creates and stores three-dimensional data.
  • the three-dimensional data creation device 810 includes a data reception unit 811, a communication unit 812, a reception control unit 813, a format conversion unit 814, a plurality of sensors 815, a three-dimensional data creation unit 816, and a three-dimensional data synthesis unit. It includes an 817, a three-dimensional data storage unit 818, a communication unit 819, a transmission control unit 820, a format conversion unit 821, and a data transmission unit 822.
  • the data receiving unit 811 receives the three-dimensional data 831 from the traffic monitoring cloud or the vehicle in front.
  • the three-dimensional data 831 includes, for example, information such as a point cloud, a visible light image, depth information, sensor position information, or speed information, which includes a region that cannot be detected by the sensor 815 of the own vehicle.
  • the communication unit 812 communicates with the traffic monitoring cloud or the vehicle in front, and transmits a data transmission request or the like to the traffic monitoring cloud or the vehicle in front.
  • the reception control unit 813 exchanges information such as the corresponding format with the communication destination via the communication unit 812, and establishes communication with the communication destination.
  • the format conversion unit 814 generates the three-dimensional data 832 by performing format conversion or the like on the three-dimensional data 831 received by the data reception unit 811. Further, the format conversion unit 814 performs decompression or decoding processing when the three-dimensional data 831 is compressed or encoded.
  • the plurality of sensors 815 are a group of sensors that acquire information outside the vehicle, such as a LiDAR, a visible light camera, or an infrared camera, and generate sensor information 833.
  • the sensor information 833 is three-dimensional data such as a point cloud (point cloud data) when the sensor 815 is a laser sensor such as LiDAR.
  • the number of sensors 815 does not have to be plural.
  • the 3D data creation unit 816 generates 3D data 834 from the sensor information 833.
  • the three-dimensional data 834 includes information such as point cloud, visible light image, depth information, sensor position information, speed information, and the like.
  • the three-dimensional data synthesizing unit 817 synthesizes the three-dimensional data 834 created based on the sensor information 833 of the own vehicle with the three-dimensional data 832 created by the traffic monitoring cloud or the vehicle in front of the vehicle, thereby synthesizing the three-dimensional data 832 of the own vehicle.
  • the three-dimensional data storage unit 818 stores the generated three-dimensional data 835 and the like.
  • the communication unit 819 communicates with the traffic monitoring cloud or the following vehicle, and transmits a data transmission request or the like to the traffic monitoring cloud or the following vehicle.
  • the transmission control unit 820 exchanges information such as compatible formats with the communication destination via the communication unit 819, and establishes communication with the communication destination. Further, the transmission control unit 820 is in the space of the three-dimensional data to be transmitted based on the three-dimensional data construction information of the three-dimensional data 832 generated by the three-dimensional data synthesis unit 817 and the data transmission request from the communication destination. Determine a transmission area.
  • the transmission control unit 820 determines a transmission area including a space in front of the own vehicle that cannot be detected by the sensor of the following vehicle in response to a data transmission request from the traffic monitoring cloud or the following vehicle. Further, the transmission control unit 820 determines the transmission area by determining whether or not the space that can be transmitted or the transmitted space has been updated based on the three-dimensional data construction information. For example, the transmission control unit 820 determines an area designated by the data transmission request and in which the corresponding three-dimensional data 835 exists as the transmission area. Then, the transmission control unit 820 notifies the format conversion unit 821 of the format corresponding to the communication destination and the transmission area.
  • the format conversion unit 821 converts the 3D data 836 in the transmission area out of the 3D data 835 stored in the 3D data storage unit 818 into a format supported by the receiving side to convert the 3D data 837. Generate.
  • the format conversion unit 821 may reduce the amount of data by compressing or encoding the three-dimensional data 837.
  • the data transmission unit 822 transmits the three-dimensional data 837 to the traffic monitoring cloud or the following vehicle.
  • the three-dimensional data 837 includes information such as a point cloud in front of the own vehicle, a visible light image, depth information, or sensor position information, including a region that becomes a blind spot of the following vehicle, for example.
  • the format conversion may not be performed.
  • the three-dimensional data creation device 810 acquires the three-dimensional data 831 in the area that cannot be detected by the sensor 815 of the own vehicle from the outside, and the sensor information 833 detected by the three-dimensional data 831 and the sensor 815 of the own vehicle.
  • the three-dimensional data 835 is generated by synthesizing the three-dimensional data 834 based on the above.
  • the three-dimensional data creation device 810 can generate three-dimensional data in a range that cannot be detected by the sensor 815 of the own vehicle.
  • the three-dimensional data creation device 810 obtains three-dimensional data including the space in front of the own vehicle, which cannot be detected by the sensor of the following vehicle, in the traffic monitoring cloud or the following in response to the data transmission request from the traffic monitoring cloud or the following vehicle. Can be sent to vehicles, etc.
  • FIG. 28 is a diagram showing a configuration of a three-dimensional map and a sensor information transmission / reception system according to the present embodiment.
  • the system includes a server 901 and client devices 902A and 902B.
  • client devices 902A and 902B are not particularly distinguished, they are also referred to as the client devices 902.
  • the client device 902 is, for example, an in-vehicle device mounted on a moving body such as a vehicle.
  • the server 901 is, for example, a traffic monitoring cloud or the like, and can communicate with a plurality of client devices 902.
  • the server 901 transmits a three-dimensional map composed of a point cloud to the client device 902.
  • the configuration of the three-dimensional map is not limited to the point cloud, and may represent other three-dimensional data such as a mesh structure.
  • the client device 902 transmits the sensor information acquired by the client device 902 to the server 901.
  • the sensor information includes, for example, at least one of LiDAR acquisition information, visible light image, infrared image, depth image, sensor position information, and speed information.
  • the data sent and received between the server 901 and the client device 902 may be compressed to reduce the data, or may remain uncompressed to maintain the accuracy of the data.
  • a three-dimensional compression method based on an octa-tree structure can be used for the point cloud.
  • a two-dimensional image compression method can be used for visible light images, infrared images, and depth images.
  • the two-dimensional image compression method is, for example, MPEG-4 AVC or HEVC standardized by MPEG.
  • the server 901 transmits the three-dimensional map managed by the server 901 to the client device 902 in response to the transmission request of the three-dimensional map from the client device 902.
  • the server 901 may transmit the three-dimensional map without waiting for the transmission request of the three-dimensional map from the client device 902.
  • the server 901 may broadcast a three-dimensional map to one or more client devices 902 in a predetermined space.
  • the server 901 may transmit a three-dimensional map suitable for the position of the client device 902 to the client device 902 once receiving the transmission request at regular intervals.
  • the server 901 may transmit the three-dimensional map to the client device 902 every time the three-dimensional map managed by the server 901 is updated.
  • the client device 902 issues a three-dimensional map transmission request to the server 901. For example, when the client device 902 wants to perform self-position estimation during traveling, the client device 902 transmits a transmission request for a three-dimensional map to the server 901.
  • the client device 902 may issue a three-dimensional map transmission request to the server 901.
  • the client device 902 may issue a transmission request for the three-dimensional map to the server 901.
  • the client device 902 may issue a three-dimensional map transmission request to the server 901.
  • the client device 902 may issue a three-dimensional map transmission request to the server 901 before a certain time when the client device 902 goes out. For example, when the client device 902 exists within a predetermined distance from the boundary of the space indicated by the three-dimensional map held by the client device 902, the client device 902 issues a three-dimensional map transmission request to the server 901. You may. If the movement route and movement speed of the client device 902 are known, the time when the client device 902 goes out is predicted from the space shown by the three-dimensional map held by the client device 902. You may.
  • the client device 902 may issue a three-dimensional map transmission request to the server 901.
  • the client device 902 transmits the sensor information to the server 901 in response to the transmission request for the sensor information transmitted from the server 901.
  • the client device 902 may send the sensor information to the server 901 without waiting for the sensor information transmission request from the server 901. For example, once the client device 902 receives the sensor information transmission request from the server 901, the client device 902 may periodically transmit the sensor information to the server 901 for a certain period of time. Further, when the error at the time of alignment between the three-dimensional data created by the client device 902 based on the sensor information and the three-dimensional map obtained from the server 901 is equal to or more than a certain value, the client device 902 is located around the client device 902. It may be determined that the three-dimensional map may have changed, and that fact and the sensor information may be transmitted to the server 901.
  • the server 901 issues a sensor information transmission request to the client device 902.
  • the server 901 receives the position information of the client device 902 such as GPS from the client device 902.
  • the server 901 determines that the client device 902 is approaching a space with little information in the three-dimensional map managed by the server 901 based on the position information of the client device 902
  • the server 901 determines that the client device 902 is approaching a space with little information, and the client is required to generate a new three-dimensional map.
  • a request for transmission of sensor information is sent to the device 902.
  • the server 901 issues a sensor information transmission request when it wants to update the three-dimensional map, when it wants to check the road condition such as when it snows or when there is a disaster, when it wants to check the traffic jam situation, or when it wants to check the incident accident situation. May be good.
  • the client device 902 may set the data amount of the sensor information to be transmitted to the server 901 according to the communication state or the band at the time of receiving the transmission request of the sensor information received from the server 901. Setting the amount of sensor information to be transmitted to the server 901 means, for example, increasing or decreasing the data itself, or appropriately selecting a compression method.
  • FIG. 29 is a block diagram showing a configuration example of the client device 902.
  • the client device 902 receives a three-dimensional map composed of a point cloud or the like from the server 901, and estimates the self-position of the client device 902 from the three-dimensional data created based on the sensor information of the client device 902. Further, the client device 902 transmits the acquired sensor information to the server 901.
  • the client device 902 includes a data reception unit 1011, a communication unit 1012, a reception control unit 1013, a format conversion unit 1014, a plurality of sensors 1015, a three-dimensional data creation unit 1016, and a three-dimensional image processing unit 1017. It includes a three-dimensional data storage unit 1018, a format conversion unit 1019, a communication unit 1020, a transmission control unit 1021, and a data transmission unit 1022.
  • the data receiving unit 1011 receives the three-dimensional map 1031 from the server 901.
  • the three-dimensional map 1031 is data including a point cloud such as WLD or SWLD.
  • the three-dimensional map 1031 may include either compressed data or uncompressed data.
  • the communication unit 1012 communicates with the server 901 and transmits a data transmission request (for example, a three-dimensional map transmission request) or the like to the server 901.
  • a data transmission request for example, a three-dimensional map transmission request
  • the reception control unit 1013 exchanges information such as the corresponding format with the communication destination via the communication unit 1012, and establishes communication with the communication destination.
  • the format conversion unit 1014 generates the three-dimensional map 1032 by performing format conversion or the like on the three-dimensional map 1031 received by the data receiving unit 1011. Further, the format conversion unit 1014 performs decompression or decoding processing when the three-dimensional map 1031 is compressed or encoded. If the three-dimensional map 1031 is uncompressed data, the format conversion unit 1014 does not perform decompression or decoding processing.
  • the plurality of sensors 1015 are a group of sensors that acquire information outside the vehicle on which the client device 902 is mounted, such as a LiDAR, a visible light camera, an infrared camera, or a depth sensor, and generate sensor information 1033.
  • the sensor information 1033 is three-dimensional data such as a point cloud (point cloud data) when the sensor 1015 is a laser sensor such as LiDAR.
  • the number of sensors 1015 does not have to be plural.
  • the three-dimensional data creation unit 1016 creates three-dimensional data 1034 around the own vehicle based on the sensor information 1033. For example, the three-dimensional data creation unit 1016 creates point cloud data with color information around the own vehicle using the information acquired by LiDAR and the visible light image obtained by the visible light camera.
  • the three-dimensional image processing unit 1017 performs self-position estimation processing of the own vehicle using the received three-dimensional map 1032 such as a point cloud and the three-dimensional data 1034 around the own vehicle generated from the sensor information 1033. ..
  • the three-dimensional image processing unit 1017 creates three-dimensional data 1035 around the own vehicle by synthesizing the three-dimensional map 1032 and the three-dimensional data 1034, and estimates the self-position using the created three-dimensional data 1035. Processing may be performed.
  • the three-dimensional data storage unit 1018 stores the three-dimensional map 1032, the three-dimensional data 1034, the three-dimensional data 1035, and the like.
  • the format conversion unit 1019 generates the sensor information 1037 by converting the sensor information 1033 into a format supported by the receiving side.
  • the format conversion unit 1019 may reduce the amount of data by compressing or encoding the sensor information 1037. Further, the format conversion unit 1019 may omit the process when it is not necessary to perform the format conversion. Further, the format conversion unit 1019 may control the amount of data to be transmitted according to the designation of the transmission range.
  • the communication unit 1020 communicates with the server 901 and receives a data transmission request (sensor information transmission request) or the like from the server 901.
  • the transmission control unit 1021 exchanges information such as the corresponding format with the communication destination via the communication unit 1020 to establish communication.
  • the data transmission unit 1022 transmits the sensor information 1037 to the server 901.
  • the sensor information 1037 includes a plurality of sensors such as information acquired by LiDAR, a brightness image acquired by a visible light camera, an infrared image acquired by an infrared camera, a depth image acquired by a depth sensor, sensor position information, and speed information. Contains information acquired by 1015.
  • FIG. 30 is a block diagram showing a configuration example of the server 901.
  • the server 901 receives the sensor information transmitted from the client device 902, and creates three-dimensional data based on the received sensor information.
  • the server 901 updates the three-dimensional map managed by the server 901 by using the created three-dimensional data. Further, the server 901 transmits the updated three-dimensional map to the client device 902 in response to the transmission request of the three-dimensional map from the client device 902.
  • the server 901 includes a data reception unit 1111, a communication unit 1112, a reception control unit 1113, a format conversion unit 1114, a three-dimensional data creation unit 1116, a three-dimensional data synthesis unit 1117, and a three-dimensional data storage unit 1118. , A format conversion unit 1119, a communication unit 1120, a transmission control unit 1121, and a data transmission unit 1122.
  • the data receiving unit 1111 receives the sensor information 1037 from the client device 902.
  • the sensor information 1037 includes, for example, information acquired by LiDAR, a brightness image acquired by a visible light camera, an infrared image acquired by an infrared camera, a depth image acquired by a depth sensor, sensor position information, speed information, and the like.
  • the communication unit 1112 communicates with the client device 902 and transmits a data transmission request (for example, a sensor information transmission request) or the like to the client device 902.
  • a data transmission request for example, a sensor information transmission request
  • the reception control unit 1113 exchanges information such as the corresponding format with the communication destination via the communication unit 1112 to establish communication.
  • the format conversion unit 1114 When the received sensor information 1037 is compressed or encoded, the format conversion unit 1114 generates sensor information 1132 by performing decompression or decoding processing. If the sensor information 1037 is uncompressed data, the format conversion unit 1114 does not perform decompression or decoding processing.
  • the three-dimensional data creation unit 1116 creates three-dimensional data 1134 around the client device 902 based on the sensor information 1132. For example, the three-dimensional data creation unit 1116 creates point cloud data with color information around the client device 902 using the information acquired by LiDAR and the visible light image obtained by the visible light camera.
  • the 3D data synthesis unit 1117 updates the 3D map 1135 by synthesizing the 3D data 1134 created based on the sensor information 1132 with the 3D map 1135 managed by the server 901.
  • the 3D data storage unit 1118 stores the 3D map 1135 and the like.
  • the format conversion unit 1119 generates the 3D map 1031 by converting the 3D map 1135 into a format supported by the receiving side.
  • the format conversion unit 1119 may reduce the amount of data by compressing or encoding the three-dimensional map 1135. Further, the format conversion unit 1119 may omit the process when it is not necessary to perform the format conversion. Further, the format conversion unit 1119 may control the amount of data to be transmitted according to the designation of the transmission range.
  • the communication unit 1120 communicates with the client device 902 and receives a data transmission request (three-dimensional map transmission request) or the like from the client device 902.
  • the transmission control unit 1121 exchanges information such as the corresponding format with the communication destination via the communication unit 1120 to establish communication.
  • the data transmission unit 1122 transmits the three-dimensional map 1031 to the client device 902.
  • the three-dimensional map 1031 is data including a point cloud such as WLD or SWLD.
  • the three-dimensional map 1031 may include either compressed data or uncompressed data.
  • FIG. 31 is a flowchart showing an operation when the client device 902 acquires a three-dimensional map.
  • the client device 902 requests the server 901 to transmit a three-dimensional map (point cloud, etc.) (S1001). At this time, the client device 902 may request the server 901 to transmit a three-dimensional map related to the position information by transmitting the position information of the client device 902 obtained by GPS or the like together.
  • a three-dimensional map point cloud, etc.
  • the client device 902 receives the three-dimensional map from the server 901 (S1002). If the received 3D map is compressed data, the client device 902 decodes the received 3D map to generate an uncompressed 3D map (S1003).
  • the client device 902 creates three-dimensional data 1034 around the client device 902 from the sensor information 1033 obtained by the plurality of sensors 1015 (S1004).
  • the client device 902 estimates the self-position of the client device 902 using the three-dimensional map 1032 received from the server 901 and the three-dimensional data 1034 created from the sensor information 1033 (S1005).
  • FIG. 32 is a flowchart showing the operation when the sensor information is transmitted by the client device 902.
  • the client device 902 receives the sensor information transmission request from the server 901 (S1011).
  • the client device 902 transmits the sensor information 1037 to the server 901 (S1012).
  • the sensor information 1033 includes a plurality of information obtained by the plurality of sensors 1015
  • the client device 902 may generate the sensor information 1037 by compressing each information by a compression method suitable for each information. good.
  • FIG. 33 is a flowchart showing the operation when the server 901 acquires the sensor information.
  • the server 901 requests the client device 902 to transmit the sensor information (S1021).
  • the server 901 receives the sensor information 1037 transmitted from the client device 902 in response to the request (S1022).
  • the server 901 creates three-dimensional data 1134 using the received sensor information 1037 (S1023).
  • the server 901 reflects the created three-dimensional data 1134 in the three-dimensional map 1135 (S1024).
  • FIG. 34 is a flowchart showing the operation at the time of transmission of the three-dimensional map by the server 901.
  • the server 901 receives the transmission request of the three-dimensional map from the client device 902 (S1031).
  • the server 901 that has received the three-dimensional map transmission request transmits the three-dimensional map 1031 to the client device 902 (S1032).
  • the server 901 may extract a three-dimensional map in the vicinity thereof according to the position information of the client device 902 and transmit the extracted three-dimensional map.
  • the server 901 may compress the three-dimensional map configured by the point cloud by using, for example, a compression method based on an octane structure, and transmit the compressed three-dimensional map.
  • the server 901 creates three-dimensional data 1134 near the position of the client device 902 using the sensor information 1037 received from the client device 902. Next, the server 901 calculates the difference between the three-dimensional data 1134 and the three-dimensional map 1135 by matching the created three-dimensional data 1134 with the three-dimensional map 1135 in the same area managed by the server 901. .. When the difference is equal to or greater than a predetermined threshold value, the server 901 determines that some abnormality has occurred in the vicinity of the client device 902. For example, when land subsidence occurs due to a natural disaster such as an earthquake, a large difference occurs between the three-dimensional map 1135 managed by the server 901 and the three-dimensional data 1134 created based on the sensor information 1037. Is possible.
  • the sensor information 1037 may include information indicating at least one of the sensor type, the sensor performance, and the sensor model number. Further, a class ID or the like corresponding to the performance of the sensor may be added to the sensor information 1037. For example, when the sensor information 1037 is the information acquired by LiDAR, the sensor that can acquire the information with the accuracy of several mm is the class 1, the sensor that can acquire the information with the accuracy of several cm is the class 2, and the sensor is the unit of several m. As in class 3, it is conceivable to assign an identifier to the performance of a sensor that can acquire information with accuracy. Further, the server 901 may estimate the performance information of the sensor or the like from the model number of the client device 902.
  • the server 901 may determine the sensor spec information from the vehicle model of the vehicle. In this case, the server 901 may acquire information on the vehicle type of the vehicle in advance, or the sensor information may include the information. Further, the server 901 may switch the degree of correction for the three-dimensional data 1134 created by using the sensor information 1037 by using the acquired sensor information 1037. For example, if the sensor performance is high accuracy (class 1), the server 901 does not make corrections to the 3D data 1134. When the sensor performance is low accuracy (class 3), the server 901 applies a correction to the three-dimensional data 1134 according to the accuracy of the sensor. For example, in the server 901, the lower the accuracy of the sensor, the stronger the degree (strength) of the correction.
  • the server 901 may issue a sensor information transmission request to a plurality of client devices 902 in a certain space at the same time.
  • the server 901 receives a plurality of sensor information from the plurality of client devices 902, it is not necessary to use all the sensor information for creating the three-dimensional data 1134.
  • the sensor to be used depends on the performance of the sensor. You may select the information.
  • the server 901 selects highly accurate sensor information (class 1) from a plurality of received sensor information, and creates three-dimensional data 1134 using the selected sensor information. You may.
  • the server 901 is not limited to a server such as a traffic monitoring cloud, and may be another client device (vehicle-mounted).
  • FIG. 35 is a diagram showing a system configuration in this case.
  • the client device 902C issues a sensor information transmission request to the nearby client device 902A, and acquires the sensor information from the client device 902A. Then, the client device 902C creates three-dimensional data using the acquired sensor information of the client device 902A, and updates the three-dimensional map of the client device 902C. As a result, the client device 902C can generate a three-dimensional map of the space that can be acquired from the client device 902A by taking advantage of the performance of the client device 902C. For example, it is considered that such a case occurs when the performance of the client device 902C is high.
  • the client device 902A that provided the sensor information is given the right to acquire the highly accurate three-dimensional map generated by the client device 902C.
  • the client device 902A receives a highly accurate 3D map from the client device 902C in accordance with its rights.
  • the client device 902C may issue a request for transmission of sensor information to a plurality of nearby client devices 902 (client device 902A and client device 902B).
  • client device 902A and client device 902B client devices 902
  • the client device 902C can create three-dimensional data using the sensor information obtained by this high-performance sensor.
  • FIG. 36 is a block diagram showing a functional configuration of the server 901 and the client device 902.
  • the server 901 includes, for example, a three-dimensional map compression / decoding processing unit 1201 that compresses and decodes a three-dimensional map, and a sensor information compression / decoding processing unit 1202 that compresses and decodes sensor information.
  • the client device 902 includes a three-dimensional map decoding processing unit 1211 and a sensor information compression processing unit 1212.
  • the three-dimensional map decoding processing unit 1211 receives the encoded data of the compressed three-dimensional map, decodes the encoded data, and acquires the three-dimensional map.
  • the sensor information compression processing unit 1212 compresses the sensor information itself instead of the three-dimensional data created from the acquired sensor information, and transmits the compressed sensor information encoded data to the server 901.
  • the client device 902 may internally hold a processing unit (device or LSI) that performs a process of decoding a three-dimensional map (point cloud, etc.), and the three-dimensional data of the three-dimensional map (point cloud, etc.). It is not necessary to hold a processing unit that performs processing for compressing. As a result, the cost and power consumption of the client device 902 can be suppressed.
  • the client device 902 is mounted on the moving body, and is obtained from the sensor information 1033 indicating the surrounding condition of the moving body obtained by the sensor 1015 mounted on the moving body. Create peripheral three-dimensional data 1034.
  • the client device 902 estimates the self-position of the moving object using the created three-dimensional data 1034.
  • the client device 902 transmits the acquired sensor information 1033 to the server 901 or another mobile body 902.
  • the client device 902 transmits the sensor information 1033 to the server 901 and the like.
  • the amount of transmitted data can be reduced as compared with the case of transmitting three-dimensional data.
  • the processing amount of the client device 902 can be reduced. Therefore, the client device 902 can reduce the amount of data to be transmitted or simplify the configuration of the device.
  • the client device 902 further transmits a transmission request for the three-dimensional map to the server 901, and receives the three-dimensional map 1031 from the server 901.
  • the client device 902 estimates the self-position using the three-dimensional data 1034 and the three-dimensional map 1032 in the estimation of the self-position.
  • the sensor information 1033 includes at least one of information obtained by the laser sensor, a luminance image, an infrared image, a depth image, a sensor position information, and a sensor speed information.
  • the sensor information 1033 includes information indicating the performance of the sensor.
  • the client device 902 encodes or compresses the sensor information 1033, and in transmitting the sensor information, the encoded or compressed sensor information 1037 is transmitted to the server 901 or another mobile body 902. According to this, the client device 902 can reduce the amount of data to be transmitted.
  • the client device 902 includes a processor and a memory, and the processor uses the memory to perform the above processing.
  • the server 901 can communicate with the client device 902 mounted on the mobile body, and the sensor information 1037 indicating the peripheral situation of the mobile body obtained by the sensor 1015 mounted on the mobile body is obtained. Is received from the client device 902. The server 901 creates three-dimensional data 1134 around the moving object from the received sensor information 1037.
  • the server 901 creates the three-dimensional data 1134 using the sensor information 1037 transmitted from the client device 902. As a result, there is a possibility that the amount of data to be transmitted can be reduced as compared with the case where the client device 902 transmits three-dimensional data. Further, since it is not necessary to perform processing such as compression or coding of three-dimensional data on the client device 902, the processing amount of the client device 902 can be reduced. Therefore, the server 901 can reduce the amount of data to be transmitted or simplify the configuration of the device.
  • the server 901 further transmits a transmission request for sensor information to the client device 902.
  • the server 901 updates the three-dimensional map 1135 using the created three-dimensional data 1134, and sends the three-dimensional map 1135 to the client device 902 in response to the transmission request of the three-dimensional map 1135 from the client device 902. Send.
  • the sensor information 1037 includes at least one of information obtained by the laser sensor, a luminance image, an infrared image, a depth image, a sensor position information, and a sensor speed information.
  • the sensor information 1037 includes information indicating the performance of the sensor.
  • the server 901 further corrects the three-dimensional data according to the performance of the sensor. According to this, the three-dimensional data creation method can improve the quality of the three-dimensional data.
  • the server 901 when receiving sensor information, receives a plurality of sensor information 1037 from a plurality of client devices 902, and based on a plurality of information indicating the performance of the sensor included in the plurality of sensor information 1037, the server 901 receives three-dimensional data 1134. Select the sensor information 1037 used to create. According to this, the server 901 can improve the quality of the three-dimensional data 1134.
  • the server 901 decodes or decompresses the received sensor information 1037, and creates three-dimensional data 1134 from the decoded or decompressed sensor information 1132. According to this, the server 901 can reduce the amount of data to be transmitted.
  • the server 901 includes a processor and a memory, and the processor uses the memory to perform the above processing.
  • FIG. 37 is a block diagram of the three-dimensional data coding device 1300 according to the present embodiment.
  • the three-dimensional data coding device 1300 encodes three-dimensional data to generate a coded bit stream (hereinafter, also simply referred to as a bit stream) which is a coded signal.
  • the three-dimensional data coding apparatus 1300 includes a division unit 1301, a subtraction unit 1302, a conversion unit 1303, a quantization unit 1304, an inverse quantization unit 1305, and an inverse conversion unit 1306. It includes an addition unit 1307, a reference volume memory 1308, an intra prediction unit 1309, a reference space memory 1310, an inter prediction unit 1311, a prediction control unit 1312, and an entropy coding unit 1313.
  • the division unit 1301 divides each space (SPC) included in the three-dimensional data into a plurality of volumes (VLM) which are coding units. Further, the division unit 1301 expresses the voxels in each volume into an ocree (octree). In the division unit 1301, the space and the volume may be the same size, and the space may be represented by an octree. Further, the division unit 1301 may add information (depth information, etc.) necessary for ocreeization to the header of the bitstream or the like.
  • the subtraction unit 1302 calculates the difference between the volume output from the division unit 1301 (encoded volume) and the predicted volume generated by the intra-prediction or inter-prediction described later, and uses the calculated difference as the prediction residual. It is output to the conversion unit 1303.
  • FIG. 38 is a diagram showing a calculation example of the predicted residual.
  • the bit strings of the coded volume and the predicted volume shown here are, for example, position information indicating the position of a three-dimensional point (for example, a point cloud) included in the volume.
  • FIG. 39 is a diagram showing a structural example of a volume including a plurality of voxels.
  • FIG. 40 is a diagram showing an example in which the volume shown in FIG. 39 is converted into an octal tree structure.
  • the leaves 1, 2 and 3 represent the voxels VXL1, VXL2 and VXL3 shown in FIG. 39, respectively, and represent the VXL (hereinafter, effective VXL) including the point cloud.
  • the ocree is represented by, for example, a binary sequence of 0 and 1.
  • the binary sequence shown in FIG. 40 is assigned to each node and leaf.
  • this binary string is scanned according to the breadth-first or depth-first scan order. For example, when breadth-first scan is performed, the binary sequence shown in A in FIG. 41 is obtained. When scanning with depth-first priority, the binary sequence shown in B in FIG. 41 is obtained.
  • the binary sequence obtained by this scan is encoded by entropy coding to reduce the amount of information.
  • the depth in the ocree representation is used to control the granularity of the point cloud information contained in the volume. If the depth is set large, the point cloud information can be reproduced to a finer level, but the amount of data for expressing the node and leaf increases. On the contrary, if the depth is set small, the amount of data will decrease, but since multiple point cloud information with different positions and colors are considered to be the same position and the same color, the information that the original point cloud information has will be lost. become.
  • the octave tree shown in FIG. 42 has a smaller amount of data than the octal tree shown in FIG. 40. That is, the ocree shown in FIG. 42 has a smaller number of bits after binarization than the ocree shown in FIG. 42.
  • the leaf 1 and the leaf 2 shown in FIG. 40 are represented by the leaf 1 shown in FIG. 41. That is, the information that the leaf 1 and the leaf 2 shown in FIG. 40 are at different positions is lost.
  • FIG. 43 is a diagram showing a volume corresponding to the ocree shown in FIG. 42.
  • VXL1 and VXL2 shown in FIG. 39 correspond to VXL12 shown in FIG. 43.
  • the three-dimensional data coding apparatus 1300 generates the color information of VXL12 shown in FIG. 43 from the color information of VXL1 and VXL2 shown in FIG. 39.
  • the three-dimensional data coding apparatus 1300 calculates the average value, the intermediate value, the weight average value, and the like of the color information of VXL1 and VXL2 as the color information of VXL12.
  • the three-dimensional data coding apparatus 1300 may control the reduction of the amount of data by changing the depth of the octal tree.
  • the three-dimensional data coding device 1300 may set the depth information of the octaree tree in any unit of world unit, space unit, and volume unit. At that time, the three-dimensional data encoding device 1300 may add depth information to the world header information, the space header information, or the volume header information. Further, the same value may be used for depth information for all worlds, spaces, and volumes at different times. In this case, the three-dimensional data coding apparatus 1300 may add depth information to the header information that manages the world for all time.
  • the conversion unit 1303 applies frequency conversion such as orthogonal transformation to the predicted residual of the color information of the voxel in the volume. For example, the conversion unit 1303 creates a one-dimensional array by scanning the predicted residuals in a certain scan order. After that, the conversion unit 1303 converts the one-dimensional array into the frequency domain by applying the one-dimensional orthogonal transformation to the created one-dimensional array.
  • frequency conversion such as orthogonal transformation
  • the conversion unit 1303 may use orthogonal transformation of two or more dimensions instead of one dimension. For example, the conversion unit 1303 maps the predicted residuals to a two-dimensional array in a certain scan order, and applies a two-dimensional orthogonal transformation to the obtained two-dimensional array. Further, the conversion unit 1303 may select an orthogonal conversion method to be used from a plurality of orthogonal conversion methods. In this case, the three-dimensional data coding apparatus 1300 adds information indicating which orthogonal conversion method is used to the bit stream. Further, the conversion unit 1303 may select an orthogonal conversion method to be used from a plurality of orthogonal conversion methods having different dimensions. In this case, the three-dimensional data coding apparatus 1300 adds to the bitstream which dimension of the orthogonal transformation method is used.
  • the conversion unit 1303 adjusts the scan order of the predicted residual to the scan order (breadth-first or depth-first, etc.) in the octal tree in the volume. This eliminates the need to add information indicating the scan order of the predicted residuals to the bitstream, thus reducing overhead. Further, the conversion unit 1303 may apply a scan order different from the scan order of the ocree. In this case, the three-dimensional data coding apparatus 1300 adds information indicating the scan order of the predicted residuals to the bitstream. As a result, the three-dimensional data coding apparatus 1300 can efficiently encode the predicted residual.
  • the three-dimensional data encoding device 1300 adds information (flags, etc.) indicating whether or not to apply the scan order of the octree to the bitstream, and predicts when the scan order of the octree is not applied.
  • Information indicating the scan order of the residuals may be added to the bitstream.
  • the conversion unit 1303 may convert not only the predicted residual of the color information but also other attribute information of the voxel.
  • the conversion unit 1303 may convert and encode information such as the reflectivity obtained when the point cloud is acquired by LiDAR or the like.
  • the conversion unit 1303 may skip the process. Further, the three-dimensional data coding apparatus 1300 may add information (flag) indicating whether or not to skip the processing of the conversion unit 1303 to the bit stream.
  • the quantization unit 1304 generates a quantization coefficient by performing quantization on the frequency component of the predicted residual generated by the conversion unit 1303 using the quantization control parameter. This reduces the amount of information.
  • the generated quantization coefficient is output to the entropy coding unit 1313.
  • the quantization unit 1304 may control the quantization control parameters in world units, space units, or volume units.
  • the three-dimensional data coding apparatus 1300 adds a quantization control parameter to each header information or the like.
  • the quantization unit 1304 may perform the quantization control by changing the weight for each frequency component of the predicted residual. For example, the quantization unit 1304 may finely quantize the low frequency component and coarsely quantize the high frequency component. In this case, the three-dimensional data coding apparatus 1300 may add a parameter representing the weight of each frequency component to the header.
  • the quantization unit 1304 may skip the process. Further, the three-dimensional data coding apparatus 1300 may add information (flag) indicating whether or not to skip the processing of the quantization unit 1304 to the bit stream.
  • the inverse quantization unit 1305 generates an inverse quantization coefficient of the predicted residual by performing inverse quantization on the quantization coefficient generated by the quantization unit 1304 using the quantization control parameter, and the generated inverse quantum.
  • the quantization coefficient is output to the inverse conversion unit 1306.
  • the inverse transformation unit 1306 generates a predicted residual after applying the inverse transformation by applying the inverse transformation to the inverse quantization coefficient generated by the inverse quantization unit 1305. Since the predicted residual after applying this inverse transformation is the predicted residual generated after quantization, it does not have to completely match the predicted residual output by the conversion unit 1303.
  • the addition unit 1307 includes the predicted residual after applying the inverse transformation generated by the inverse transforming unit 1306 and the predicted volume generated by the intra-prediction or inter-prediction described later, which was used to generate the predicted residual before quantization. To generate a reconstructed volume. This reconstructed volume is stored in the reference volume memory 1308 or the reference space memory 1310.
  • the intra prediction unit 1309 uses the attribute information of the adjacent volume stored in the reference volume memory 1308 to generate a prediction volume of the coded volume.
  • the attribute information includes voxel color information or reflectivity.
  • the intra prediction unit 1309 generates color information or a prediction value of the reflectance of the volume to be coded.
  • FIG. 44 is a diagram for explaining the operation of the intra prediction unit 1309.
  • the volume idx is identifier information added to the volumes in the space, and different values are assigned to each volume.
  • the order of allocating the volume idx may be the same as the coding order, or may be different from the coding order.
  • the predicted residual is generated by subtracting the predicted value of the color information from the color information of each voxel included in the coded volume. Processing after the conversion unit 1303 is performed for this predicted residual. Further, in this case, the three-dimensional data coding apparatus 1300 adds the adjacent volume information and the prediction mode information to the bit stream.
  • the adjacent volume information is information indicating the adjacent volume used for the prediction, and for example, indicates the volume idx of the adjacent volume used for the prediction.
  • the prediction mode information indicates the mode used to generate the prediction volume.
  • the mode is, for example, an average value mode in which a predicted value is generated from an average value of voxels in an adjacent volume, an intermediate value mode in which a predicted value is generated from an intermediate value of voxels in an adjacent volume, and the like.
  • FIG. 45 is a diagram schematically showing an inter-prediction process according to the present embodiment.
  • the inter-prediction unit 1311 encodes (inter-predicts) a space (SPC) at a certain time T_Cur using a coded space at a different time T_LX.
  • the inter-prediction unit 1311 applies the rotation and translation processing to the coded spaces at different times T_LX to perform the coding processing.
  • the three-dimensional data encoding device 1300 adds RT information related to rotation and translation processing applied to spaces at different times T_LX to the bitstream.
  • the different time T_LX is, for example, a time T_L0 before a certain time T_Cur.
  • the three-dimensional data coding apparatus 1300 may add the RT information RT_L0 related to the rotation and translation processing applied to the space at the time T_L0 to the bit stream.
  • the different time T_LX is, for example, the time T_L1 after the certain time T_Cur.
  • the three-dimensional data coding apparatus 1300 may add the RT information RT_L1 related to the rotation and translation processing applied to the space at the time T_L1 to the bit stream.
  • the inter-prediction unit 1311 performs coding (bi-prediction) with reference to both the different time T_L0 and time T_L1 spaces.
  • the three-dimensional data encoding device 1300 may add both the RT information RT_L0 and RT_L1 related to rotation and translation applied to the respective spaces to the bit stream.
  • T_L0 is set to the time before T_Cur
  • T_L1 is set to the time after T_Cur, but this is not always the case.
  • both T_L0 and T_L1 may be times before T_Cur.
  • both T_L0 and T_L1 may be at a time after T_Cur.
  • the RT information related to rotation and translation applied to each space may be added to the bit stream. good.
  • the three-dimensional data coding apparatus 1300 manages a plurality of encoded spaces to be referenced by two reference lists (L0 list and L1 list).
  • the first reference space in the L0 list is L0R0
  • the second reference space in the L0 list is L0R1
  • the first reference space in the L1 list is L1R0
  • the second reference space in the L1 list is L1R1.
  • the three-dimensional data encoding device 1300 adds the RT information RT_L0R0 of L0R0, the RT information RT_L0R1 of L0R1, the RT information RT_L1R0 of L1R0, and the RT information RT_L1R1 of L1R1 to the bit stream. For example, the three-dimensional data encoding device 1300 adds these RT information to a bitstream header or the like.
  • the three-dimensional data coding device 1300 determines whether or not rotation and translation are applied to each reference space. At that time, the three-dimensional data encoding device 1300 may add information (RT application flag or the like) indicating whether or not rotation and translation are applied for each reference space to the header information or the like of the bitstream. For example, the three-dimensional data coding apparatus 1300 calculates RT information and an ICP error value by using an ICP (Interactive Closest Point) algorithm for each reference space referenced from the coding target space.
  • ICP Interactive Closest Point
  • the three-dimensional data coding apparatus 1300 determines that rotation and translation are not necessary, and sets the RT application flag to off. On the other hand, when the ICP error value is larger than the constant value, the three-dimensional data coding apparatus 1300 sets the RT application flag to ON and adds the RT information to the bit stream.
  • FIG. 46 is a diagram showing an example of syntax in which RT information and an RT application flag are added to a header.
  • the number of bits to be assigned to each syntax may be determined within the range that the syntax can take. For example, when the number of reference spaces included in the reference list L0 is eight, 3 bits may be allocated to MaxRefSpc_l0.
  • the number of bits to be allocated may be variable according to the value that each syntax can take, or may be fixed regardless of the value that can be taken. When the number of bits to be allocated is fixed, the three-dimensional data coding apparatus 1300 may add the fixed number of bits to another header information.
  • MaxRefSpc_l0 shown in FIG. 46 indicates the number of reference spaces included in the reference list L0.
  • RT_flag_l0 [i] is an RT application flag of the reference space i in the reference list L0.
  • RT_flag_l0 [i] is 1, rotation and translation are applied to the reference space i.
  • RT_flag_l0 [i] is 0, rotation and translation are not applied to the reference space i.
  • R_l0 [i] and T_l0 [i] are RT information of the reference space i in the reference list L0.
  • R_l0 [i] is rotation information of the reference space i in the reference list L0.
  • the rotation information indicates the content of the applied rotation process, for example, a rotation matrix, a quaternion, or the like.
  • T_l0 [i] is translational information of the reference space i in the reference list L0.
  • the translation information indicates the content of the applied translation processing, for example, a translation vector or the like.
  • MaxRefSpc_l1 indicates the number of reference spaces included in the reference list L1.
  • RT_flag_l1 [i] is an RT application flag of the reference space i in the reference list L1. When RT_flag_l1 [i] is 1, rotation and translation are applied to the reference space i. When RT_flag_l1 [i] is 0, rotation and translation are not applied to the reference space i.
  • R_l1 [i] and T_l1 [i] are RT information of the reference space i in the reference list L1.
  • R_l1 [i] is rotation information of the reference space i in the reference list L1.
  • the rotation information indicates the content of the applied rotation process, for example, a rotation matrix, a quaternion, or the like.
  • T_l1 [i] is translational information of the reference space i in the reference list L1.
  • the translation information indicates the content of the applied translation processing, for example, a translation vector or the like.
  • the inter-prediction unit 1311 generates a prediction volume of the coded volume using the information of the coded reference space stored in the reference space memory 1310. As described above, the inter-prediction unit 1311 uses the coding target space and the reference space to bring the overall positional relationship between the coding target space and the reference space closer before generating the prediction volume of the coding target volume.
  • RT information is obtained using the ICP (Interactive Closest Point) algorithm. Then, the inter-prediction unit 1311 obtains the reference space B by applying the rotation and translation processing to the reference space using the obtained RT information. After that, the inter-prediction unit 1311 generates a prediction volume of the coding target volume in the coding target space by using the information in the reference space B.
  • the three-dimensional data coding apparatus 1300 adds the RT information used for obtaining the reference space B to the header information or the like of the coding target space.
  • the inter-prediction unit 1311 brings the overall positional relationship between the coded target space and the reference space closer by applying rotation and translation processing to the reference space, and then uses the information in the reference space to make the prediction volume.
  • the accuracy of the predicted volume can be improved by generating.
  • the code amount can be reduced.
  • an example of performing ICP using the coding target space and the reference space is shown, but the present invention is not necessarily limited to this.
  • the inter-prediction unit 1311 performs ICP using at least one of the coded target space in which the number of voxels or point clouds is thinned out and the reference space in which the number of voxels or point clouds is thinned out in order to reduce the processing amount. Therefore, RT information may be obtained.
  • the inter-prediction unit 1311 rotates and rotates when the ICP error value obtained as a result of ICP is smaller than the predetermined first threshold value, that is, for example, when the positional relationship between the coding target space and the reference space is close. It is not necessary to perform rotation and translation because it is determined that translation processing is not necessary. In this case, the three-dimensional data coding apparatus 1300 may suppress the overhead by not adding the RT information to the bit stream.
  • the inter-prediction unit 1311 determines that the shape change between the spaces is large, and applies the intra-prediction to all the volumes of the coded space. You may.
  • the space to which the intra prediction is applied is referred to as an intra space.
  • the second threshold value is a value larger than the first threshold value.
  • the method is not limited to ICP, and any method may be applied as long as it is a method of obtaining RT information from two voxel sets or two point cloud sets.
  • the inter-prediction unit 1311 serves as a prediction volume of the coding target volume in the coding target space, for example, a coding target volume in the reference space. Search for the volume with the closest attribute information such as shape or color. Further, this reference space is, for example, a reference space after the above-mentioned rotation and translation processing has been performed.
  • the inter-prediction unit 1311 generates a prediction volume from the volume (reference volume) obtained by the search.
  • FIG. 47 is a diagram for explaining the operation of generating the predicted volume.
  • the inter-prediction unit 1311 refers to the coded target volume while sequentially scanning the reference volumes in the reference space. Search for the volume with the smallest predicted residual, which is the difference from the volume.
  • the inter-prediction unit 1311 selects the volume with the smallest predicted residual as the predicted volume.
  • the predicted residual between the coded volume and the predicted volume is coded by the processing of the conversion unit 1303 or later.
  • the predicted residual is the difference between the attribute information of the coded volume and the attribute information of the predicted volume.
  • the three-dimensional data encoding device 1300 adds the volume idx of the reference volume in the reference space referred to as the predicted volume to the header of the bit stream or the like.
  • the prediction control unit 1312 controls whether to encode the coded volume using intra-prediction or inter-prediction.
  • the mode including the intra prediction and the inter prediction is referred to as a prediction mode.
  • the prediction control unit 1312 calculates the predicted residual when the coded volume is predicted by intra-prediction and the predicted residual when predicted by inter-prediction as evaluation values, and predicts whichever has the smaller evaluation value. Select a mode.
  • the prediction control unit 1312 calculates and calculates the actual code amount by applying orthogonal conversion, quantization, and entropy coding to the prediction residual of the intra prediction and the prediction residual of the inter prediction, respectively.
  • the prediction mode may be selected by using the code amount as the evaluation value.
  • the prediction control unit 1312 may always select the intra prediction when it is determined in advance that the coding target space is encoded by the intra space.
  • the entropy coding unit 1313 generates a coded signal (coded bit stream) by variable-length coding the quantization coefficient input from the quantization unit 1304. Specifically, the entropy coding unit 1313, for example, binarizes the quantization coefficient and arithmetically encodes the obtained binary signal.
  • FIG. 48 is a block diagram of the three-dimensional data decoding device 1400 according to the present embodiment.
  • the three-dimensional data decoding device 1400 includes an entropy decoding unit 1401, an inverse quantization unit 1402, an inverse conversion unit 1403, an addition unit 1404, a reference volume memory 1405, an intra prediction unit 1406, and a reference space memory 1407. , Inter-prediction unit 1408 and prediction control unit 1409.
  • the entropy decoding unit 1401 decodes the coded signal (coded bit stream) in a variable length. For example, the entropy decoding unit 1401 arithmetically decodes the coded signal to generate a binary signal, and generates a quantization coefficient from the generated binary signal.
  • the dequantization unit 1402 generates the dequantization coefficient by dequantizing the quantization coefficient input from the entropy decoding unit 1401 using the quantization parameter added to the bit stream or the like.
  • the inverse transformation unit 1403 generates a predicted residual by inversely transforming the inverse quantization coefficient input from the inverse quantization unit 1402. For example, the inverse conversion unit 1403 generates a predicted residual by performing an inverse orthogonal transformation of the inverse quantization coefficient based on the information added to the bit stream.
  • the addition unit 1404 generates a reconstructed volume by adding the prediction residual generated by the inverse transformation unit 1403 and the prediction volume generated by the intra prediction or the inter prediction. This reconstructed volume is output as decoded three-dimensional data and is stored in the reference volume memory 1405 or the reference space memory 1407.
  • the intra prediction unit 1406 generates a prediction volume by intra prediction using the reference volume in the reference volume memory 1405 and the information added to the bit stream. Specifically, the intra prediction unit 1406 acquires the adjacent volume information (for example, volume idx) added to the bit stream and the prediction mode information, and uses the adjacent volume indicated by the adjacent volume information to obtain the prediction mode information. The predicted volume is generated by the mode indicated by.
  • the details of these processes are the same as the processes by the intra-prediction unit 1309 described above, except that the information given to the bit stream is used.
  • the inter-prediction unit 1408 generates a prediction volume by inter-prediction using the reference space in the reference space memory 1407 and the information added to the bit stream. Specifically, the inter-prediction unit 1408 applies rotation and translation processing to the reference space using the RT information for each reference space added to the bitstream, and uses the applied reference space to calculate the prediction volume. Generate. When the RT application flag for each reference space exists in the bitstream, the inter-prediction unit 1408 applies rotation and translation processing to the reference space according to the RT application flag. The details of these processes are the same as the processes by the inter-prediction unit 1311 described above, except that the information given to the bit stream is used.
  • the prediction control unit 1409 controls whether to decode the decoding target volume by intra-prediction or inter-prediction. For example, the prediction control unit 1409 selects intra-prediction or inter-prediction according to the information added to the bitstream indicating the prediction mode to be used. Note that the prediction control unit 1409 may always select intra prediction when it is determined in advance that the decoding target space is decoded in the intra space.
  • the three-dimensional data coding apparatus 1300 may divide a space into subspaces and apply rotation and translation in units of subspaces. In this case, the three-dimensional data encoding device 1300 generates RT information for each subspace, and adds the generated RT information to the header of the bit stream or the like. Further, the three-dimensional data coding apparatus 1300 may apply rotation and translation in volume units, which are coding units.
  • the three-dimensional data coding apparatus 1300 generates RT information in units of coded volumes, and adds the generated RT information to the header of the bit stream or the like. Further, the above may be combined. That is, the three-dimensional data coding apparatus 1300 may apply rotation and translation in large units, and then apply rotation and translation in fine units. For example, the three-dimensional data coding apparatus 1300 may apply rotation and translation in space units, and may apply different rotations and translations to each of the plurality of volumes contained in the obtained space.
  • the three-dimensional data coding apparatus 1300 may apply scale processing to change the size of the three-dimensional data. Further, the three-dimensional data coding apparatus 1300 may apply any one or two of rotation, translation, and scale. Further, when the processing is applied to different units in multiple stages as described above, the type of processing applied to each unit may be different. For example, rotation and translation may be applied in space units, and translation may be applied in volume units.
  • FIG. 48 is a flowchart of the inter-prediction processing by the three-dimensional data coding apparatus 1300.
  • the three-dimensional data coding apparatus 1300 uses the position information of the three-dimensional points included in the reference three-dimensional data (for example, the reference space) at a time different from the target three-dimensional data (for example, the coding target space) to predict the predicted position information.
  • the target three-dimensional data for example, the coding target space
  • predicted volume is generated (S1301).
  • the three-dimensional data coding apparatus 1300 generates predicted position information by applying rotation and translation processing to the position information of the three-dimensional points included in the reference three-dimensional data.
  • the three-dimensional data coding apparatus 1300 performs rotation and translation processing in a first unit (for example, a space), and generates predicted position information in a second unit (for example, volume) finer than the first unit. May be good.
  • the three-dimensional data coding apparatus 1300 selects a volume among a plurality of volumes included in the reference space after rotation and translation processing that minimizes the difference between the coded target volume included in the coded target space and the position information. Search and use the obtained volume as the predicted volume.
  • the three-dimensional data coding apparatus 1300 may perform rotation and translation processing and generation of predicted position information in the same unit.
  • the three-dimensional data coding apparatus 1300 applies the first rotation and translation processing in the first unit (for example, space) to the position information of the three-dimensional points included in the reference three-dimensional data, and the first rotation and translation processing.
  • the predicted position information may be generated by applying the second rotation and translation processing in a second unit (for example, volume) finer than the first unit to the position information of the three-dimensional point obtained in the above.
  • the position information and the predicted position information of the three-dimensional points are represented by an octal tree structure, for example, as shown in FIG. 41.
  • the position information and the predicted position information of the three-dimensional point are represented in the scan order in which the width is prioritized among the depth and the width in the octal tree structure.
  • the position information and the predicted position information of the three-dimensional point are represented in the scan order in which the depth is prioritized among the depth and the width in the octal tree structure.
  • the three-dimensional data coding apparatus 1300 encodes an RT application flag indicating whether or not rotation and translation processing are applied to the position information of the three-dimensional points included in the reference three-dimensional data. do. That is, the three-dimensional data coding apparatus 1300 generates a coded signal (coded bit stream) including the RT application flag. Further, the three-dimensional data coding device 1300 encodes RT information indicating the contents of rotation and translation processing. That is, the three-dimensional data coding device 1300 generates a coded signal (coded bit stream) including RT information. The three-dimensional data coding apparatus 1300 encodes RT information when the RT application flag indicates that rotation and translation processing are applied, and when the RT application flag indicates that rotation and translation processing is not applied. It is not necessary to encode the RT information.
  • the three-dimensional data includes, for example, position information of three-dimensional points and attribute information (color information, etc.) of each three-dimensional point.
  • the three-dimensional data coding apparatus 1300 generates predictive attribute information using the attribute information of the three-dimensional points included in the reference three-dimensional data (S1302).
  • the three-dimensional data coding device 1300 encodes the position information of the three-dimensional points included in the target three-dimensional data by using the predicted position information. For example, as shown in FIG. 38, the three-dimensional data coding apparatus 1300 calculates the difference position information which is the difference between the position information of the three-dimensional points included in the target three-dimensional data and the predicted position information (S1303).
  • the three-dimensional data coding device 1300 encodes the attribute information of the three-dimensional points included in the target three-dimensional data by using the predicted attribute information. For example, the three-dimensional data coding apparatus 1300 calculates the difference attribute information which is the difference between the attribute information of the three-dimensional point included in the target three-dimensional data and the predicted attribute information (S1304). Next, the three-dimensional data coding apparatus 1300 converts and quantizes the calculated difference attribute information (S1305).
  • the three-dimensional data coding device 1300 encodes (for example, entropy coding) the difference position information and the difference attribute information after quantization (S1306). That is, the three-dimensional data coding apparatus 1300 generates a coded signal (coded bit stream) including the difference position information and the difference attribute information.
  • the three-dimensional data coding apparatus 1300 does not have to perform steps S1302, S1304, and S1305. Further, the three-dimensional data coding apparatus 1300 may perform only one of the coding of the position information of the three-dimensional points and the coding of the attribute information of the three-dimensional points.
  • the order of processing shown in FIG. 49 is an example, and is not limited to this.
  • the processing for position information (S1301, S1303) and the processing for attribute information (S1302, S1304, S1305) are independent of each other, they may be performed in any order, or some of them may be processed in parallel. You may.
  • the three-dimensional data coding apparatus 1300 generates predicted position information using the position information of the three-dimensional points included in the reference three-dimensional data at a time different from the target three-dimensional data, and generates the predicted position information, and the target tertiary.
  • the difference position information which is the difference between the position information of the three-dimensional point included in the original data and the predicted position information, is encoded. As a result, the amount of data in the coded signal can be reduced, so that the coding efficiency can be improved.
  • the three-dimensional data coding apparatus 1300 generates predictive attribute information using the attribute information of the three-dimensional points included in the reference three-dimensional data, and the three-dimensional points included in the target three-dimensional data. Encode the difference attribute information, which is the difference between the attribute information and the predicted attribute information. As a result, the amount of data in the coded signal can be reduced, so that the coding efficiency can be improved.
  • the three-dimensional data encoding device 1300 includes a processor and a memory, and the processor uses the memory to perform the above processing.
  • FIG. 48 is a flowchart of inter-prediction processing by the three-dimensional data decoding device 1400.
  • the three-dimensional data decoding device 1400 decodes (for example, entropy decoding) the difference position information and the difference attribute information from the coded signal (encoded bit stream) (S1401).
  • the three-dimensional data decoding device 1400 decodes the RT application flag indicating whether or not the rotation and translation processing is applied to the position information of the three-dimensional point included in the reference three-dimensional data from the coded signal. Further, the three-dimensional data decoding device 1400 decodes RT information indicating the contents of rotation and translation processing. The three-dimensional data decoding device 1400 decodes the RT information when the RT application flag indicates that the rotation and translation processing is applied, and when the RT application flag indicates that the rotation and translation processing is not applied. It is not necessary to decode the RT information.
  • the three-dimensional data decoding device 1400 performs inverse quantization and inverse transformation on the decoded difference attribute information (S1402).
  • the three-dimensional data decoding device 1400 uses the position information of the three-dimensional points included in the reference three-dimensional data (for example, the reference space) at a time different from the target three-dimensional data (for example, the decoding target space) to predict the predicted position information (for example, the reference space). For example, the predicted volume) is generated (S1403). Specifically, the three-dimensional data decoding apparatus 1400 generates predicted position information by applying rotation and translation processing to the position information of the three-dimensional points included in the reference three-dimensional data.
  • the RT application flag indicates that the 3D data decoding device 1400 applies the rotation and translation processing
  • the position information of the 3D points included in the reference 3D data indicated by the RT information Apply rotation and translation processing to.
  • the RT application flag indicates that the rotation and translation processing is not applied
  • the three-dimensional data decoding apparatus 1400 does not apply the rotation and translation processing to the position information of the three-dimensional point included in the reference three-dimensional data. ..
  • the three-dimensional data decoding device 1400 may perform rotation and translation processing and generation of predicted position information in the same unit.
  • the three-dimensional data decoding apparatus 1400 applies the first rotation and translation processing in the first unit (for example, space) to the position information of the three-dimensional points included in the reference three-dimensional data, and by the first rotation and translation processing.
  • Predicted position information may be generated by applying the second rotation and translation processing to the obtained position information of the three-dimensional point in a second unit (for example, volume) finer than the first unit.
  • the position information and the predicted position information of the three-dimensional points are represented by an octal tree structure, for example, as shown in FIG. 41.
  • the position information and the predicted position information of the three-dimensional point are represented in the scan order in which the width is prioritized among the depth and the width in the octal tree structure.
  • the position information and the predicted position information of the three-dimensional point are represented in the scan order in which the depth is prioritized among the depth and the width in the octal tree structure.
  • the three-dimensional data decoding device 1400 generates predictive attribute information using the attribute information of the three-dimensional points included in the reference three-dimensional data (S1404).
  • the three-dimensional data decoding device 1400 restores the position information of the three-dimensional points included in the target three-dimensional data by decoding the coded position information included in the coded signal using the predicted position information.
  • the coded position information is, for example, difference position information
  • the three-dimensional data decoding apparatus 1400 adds the difference position information and the predicted position information to the three-dimensional points included in the target three-dimensional data. Restore the location information (S1405).
  • the three-dimensional data decoding device 1400 restores the attribute information of the three-dimensional points included in the target three-dimensional data by decoding the coded attribute information included in the coded signal using the predicted attribute information.
  • the coded attribute information is, for example, difference attribute information
  • the three-dimensional data decoding apparatus 1400 adds the difference attribute information and the predicted attribute information to the three-dimensional points included in the target three-dimensional data. Restore the attribute information (S1406).
  • the three-dimensional data decoding apparatus 1400 does not have to perform steps S1402, S1404, and S1406. Further, the three-dimensional data decoding apparatus 1400 may perform only one of the decoding of the position information of the three-dimensional point and the decoding of the attribute information of the three-dimensional point.
  • processing for position information S1403, S1405
  • processing for attribute information S1402, S1404, S1406
  • S1402, S1404, S1406 may be performed in any order, or some of them may be processed in parallel. You may.
  • FIG. 51 is a diagram showing an example of a quadtree tree structure.
  • FIG. 52 is a diagram showing an occupancy code of the tree structure shown in FIG. 51.
  • FIG. 53 is a diagram schematically showing the operation of the three-dimensional data coding apparatus according to the present embodiment.
  • the three-dimensional data coding apparatus entropy-codes 8-bit occupancy coding in an ocree. Further, the three-dimensional data coding device updates the coding table in the entropy coding process of the occupancy code. Also, the 3D data coding device does not use a single coding table, but uses an adaptive coding table to utilize the similarity information of the 3D points. That is, the three-dimensional datar coding device uses a plurality of coding tables.
  • the similarity information is, for example, geometric information of a three-dimensional point, structural information of an ocree, or attribute information of a three-dimensional point.
  • a quadtree is shown as an example, but the same method may be applied to an N-tree such as a binary tree, an ocree, or a 16-tree.
  • N-tree such as a binary tree, an ocree, or a 16-tree.
  • a three-dimensional data encoding device adapts to an 8-bit occupancy code for an 8-quarter tree, a 4-bit occupancy code for a quadtree, and a 16-bit occupancy code for a 16-quarter tree.
  • Entropy coding is performed using a target table (adaptive table: also called a coding table).
  • the occupancy states of the child nodes may be similar. be. Therefore, the 3D data coding device uses the geometric arrangement around the parent node to perform grouping. As a result, the three-dimensional data coding device can group the occupied states of the child nodes and use a different coding table for each group. Therefore, the coding efficiency of entropy coding can be improved.
  • FIG. 54 is a diagram showing an example of geometric information.
  • the geometric information includes information indicating whether or not each of the plurality of adjacent nodes of the target node is occupied (that is, whether or not a three-dimensional point is included).
  • a three-dimensional data coding device uses information on the geometrical arrangement (Local geometry) around the target node and whether or not the adjacent node contains a three-dimensional point (occupied or non-occupied). calculate.
  • the adjacent node is, for example, a node that exists spatially around the target node, or a node that exists at the same position at a different time from the target node or that exists spatially around the target node.
  • the hatched cube indicates the target node to be coded.
  • White cubes are adjacent nodes and indicate nodes that contain 3D points.
  • the geometric pattern shown in (2) represents a rotated shape of the geometric pattern shown in (1). Therefore, the three-dimensional data coding device determines that these geometric patterns have high geometry similarity, and performs entropy coding on these geometric patterns using the same coding table. .. Further, the three-dimensional data coding apparatus determines that the geometrical similarity to the geometric patterns of (3) and (4) is low, and performs entropy coding using another coding table.
  • FIG. 55 is a diagram showing an example of an occupancy code of the target node in the geometric patterns (1) to (4) shown in FIG. 54 and a coding table used for entropy coding.
  • the three-dimensional data coding apparatus determines that the geometric patterns (1) and (2) are included in the same geometric group, and uses the same coding table A. Further, the three-dimensional data coding apparatus uses the coding table B and the coding table C for the geometric patterns (3) and (4), respectively.
  • the geometric codes of the target nodes of the geometric patterns (1) and (2) included in the same geometric group may be the same.
  • the structural information includes information indicating the layer to which the target node belongs.
  • FIG. 56 is a diagram showing an example of a tree structure.
  • the shape of a local object depends on the scale of the search.
  • the lower layer tends to be sparser than the upper layer. Therefore, as shown in FIG. 56, the three-dimensional data coding apparatus can improve the coding efficiency of entropy coding by using different coding tables for the upper layer and the lower layer.
  • the three-dimensional data coding device may use a different coding table for each layer when coding the occupancy code of each layer.
  • the three-dimensional data coding apparatus can switch the coding table according to the appearance pattern of the occupancy code for each layer, so that the coding efficiency can be improved.
  • the three-dimensional data coding apparatus uses the coding table A for the occupancy codes from layer 0 to layer 2, and the coding table B for the occupancy codes from layer 3 to layer 6. May be used.
  • the three-dimensional data coding device can switch the coding table according to the appearance pattern of the occupancy code for each layer group, so that the coding efficiency can be improved.
  • the three-dimensional data coding device may add the information of the coding table used in each layer to the header of the bit stream.
  • the coding table used for each layer may be predetermined by a standard or the like.
  • the attribute information includes the information of the object including the target node or the information of the normal vector held by the target node.
  • 3D points with similar geometric arrangements can be grouped. For example, as common attribute information possessed by three-dimensional points, a normal vector representing the direction of each three-dimensional point can be used. By using normal vectors, we can find the geometric arrangements associated with similar occupancy codes in the tree structure.
  • color or reflectance may be used as the attribute information.
  • a three-dimensional data coding device uses the color or reflectivity of three-dimensional points to group three-dimensional points having similar geometric arrangements, and switches the coding table for each group. conduct.
  • FIG. 57 is a diagram for explaining switching of the coding table based on the normal vector. As shown in FIG. 57, when the normal vector group to which the normal vector of the target node belongs is different, a different coding table is used. For example, normal vectors included in a predetermined range are classified into one normal vector group.
  • FIG. 58 is a diagram for explaining switching of a coding table based on the classification of objects. As shown in FIG. 58, different coding tables are used when the objects are classified differently.
  • FIG. 59 is a diagram showing a configuration example of a bit stream generated by the three-dimensional data coding apparatus according to the present embodiment.
  • the bitstream includes a set of coded tables, a table index, and a coded occupancy.
  • the coded table group includes a plurality of coded tables.
  • the table index is an index indicating the coding table used for the entropy coding of the subsequent coding occupancy.
  • the coded occupancy is an entropy-coded occupancy code. Also, as shown in FIG. 59, the bitstream contains a plurality of pairs of table indexes and coded occupancy.
  • the coded occupancy 0 is entropy-coded data using a context model (hereinafter also referred to as a context) represented by a table index 0.
  • the coded occupancy 1 is entropy-coded data using the context indicated by the table index 1.
  • a context for encoding the coded occupancy 0 may be defined in advance by a standard or the like, and the three-dimensional data decoding device may use the context when decoding the coded occupancy 0. This eliminates the need to add a table index to the bitstream, reducing overhead.
  • the three-dimensional data coding device may add information for initializing each context in the header.
  • the three-dimensional data coding device determines the coding table using the geometric information, structural information, or attribute information of the target node, and encodes the occupancy code using the determined coding table.
  • the three-dimensional data coding device adds the coding result and the information of the coding table used for coding (table index, etc.) to the bit stream, and transmits the bit stream to the three-dimensional data decoding device.
  • the three-dimensional data decoding device can decode the occupancy code by using the information of the coding table added to the header.
  • the three-dimensional data coding device does not add the information of the coding table used for coding to the bit stream, and the three-dimensional data decoding device adds the geometric information, structural information or attribute information of the target node after decoding.
  • the coding table may be determined in the same manner as the three-dimensional data coding apparatus using the determined coding table, and the occupancy code may be decoded using the determined coding table. This eliminates the need to add coded table information to the bitstream, thus reducing overhead.
  • 60 and 61 are diagrams showing an example of a coding table. As shown in FIGS. 60 and 61, one coding table shows, for each 8-bit occupancy code value, a context model and a context model type corresponding to that value.
  • the same context model may be applied to a plurality of occupancy codes.
  • a separate context model may be assigned to each occupancy code.
  • the context model can be assigned according to the appearance probability of the occupancy code, so that the coding efficiency can be improved.
  • the context model type indicates, for example, whether the context model is a context model that updates the probability table according to the appearance frequency of the occupancy code, or is a context model in which the probability table is fixed.
  • FIG. 62 is a diagram showing a configuration example of a modified example of the bit stream.
  • the bitstream includes a set of coded tables and a coded occupancy.
  • the coded table group includes a plurality of coded tables.
  • FIGS. 63 and 64 are diagrams showing an example of a coding table. As shown in FIGS. 63 and 64, one coding table shows a context model and a context model type corresponding to each bit contained in the occupancy code.
  • FIG. 65 is a diagram showing an example of the relationship between the occupancy code and the bit number of the occupancy code.
  • the three-dimensional data coding device may treat the occupancy code as binary data and assign a different context model to each bit to entropy-code the occupancy code.
  • the context model can be assigned according to the appearance probability of each bit of the occupancy code, so that the coding efficiency can be improved.
  • each bit of the occupancy code corresponds to a subblock obtained by dividing the spatial block corresponding to the target node. Therefore, the coding efficiency can be improved when the sub-blocks at the same spatial position in the block have the same tendency. For example, if the surface of the ground or road traverses the block, in an ocree, the lower four blocks contain three-dimensional points and the upper four blocks do not. In addition, a similar pattern appears in a plurality of blocks arranged in the horizontal direction. Therefore, the coding efficiency can be improved by switching the context for each bit as described above.
  • a context model that updates the probability table according to the frequency of occurrence of each bit of the occupancy code may be used. Further, a context model in which the probability table is fixed may be used.
  • FIG. 66 is a flowchart of a three-dimensional data coding process including an adaptive entropy coding process using geometric information.
  • an ocree is generated from the initial boundary box of the 3D point.
  • the boundary box is divided according to the position of the three-dimensional point in the boundary box. Specifically, the non-empty subspace is further divided.
  • information indicating whether or not the subspace contains three-dimensional points is coded in an occupancy code. The same process is performed in the processes shown in FIGS. 68 and 70.
  • the three-dimensional data coding device acquires the input three-dimensional point (S1901).
  • the three-dimensional data coding apparatus determines whether or not the unit length decomposition process is completed (S1902).
  • the three-dimensional data encoding device When the unit length decomposition process is not completed (No in S1902), the three-dimensional data encoding device generates an octane tree by performing the decomposition process on the target node (S1903).
  • the three-dimensional data encoding device acquires geometric information (S1904) and selects a coding table based on the acquired geometric information (S1905).
  • the geometric information is, for example, information indicating the geometrical arrangement of the occupied state of the peripheral blocks of the target node, as described above.
  • the three-dimensional data encoding device entropy-codes the occupancy code of the target node using the selected coding table (S1906).
  • steps S1903 to S1906 are repeated until the unit length decomposition process is completed.
  • the three-dimensional data coding apparatus outputs a bit stream including the generated information (S1907).
  • the three-dimensional data coding device determines the coding table using the geometric information, structural information, or attribute information of the target node, and encodes the bit string of the occupancy code using the determined coding table.
  • the three-dimensional data coding device adds the coding result and the information of the coding table used for coding (table index, etc.) to the bit stream, and transmits the bit stream to the three-dimensional data decoding device.
  • the three-dimensional data decoding device can decode the occupancy code by using the information of the coding table added to the header.
  • the three-dimensional data coding device does not add the information of the coding table used for coding to the bit stream, and the three-dimensional data decoding device adds the geometric information, structural information or attribute information of the target node after decoding.
  • the coding table may be determined in the same manner as the three-dimensional data coding apparatus using the determined coding table, and the occupancy code may be decoded using the determined coding table. This eliminates the need to add coded table information to the bitstream, thus reducing overhead.
  • FIG. 67 is a flowchart of a three-dimensional data decoding process including an adaptive entropy decoding process using geometric information.
  • the decomposition process included in the decoding process is the same as the decomposition process included in the coding process described above, except for the following points.
  • the three-dimensional data decoder uses the decoded occupancy code to divide the initial boundary box.
  • the three-dimensional data decoding device saves the position of the boundary box as a three-dimensional point and a position. The same process is performed in the processes shown in FIGS. 69 and 71.
  • the three-dimensional data decoding device acquires the input bit stream (S1911). Next, the three-dimensional data decoding device determines whether or not the unit length decomposition process is completed (S1912).
  • the three-dimensional data decoding device When the unit length decomposition process is not completed (No in S1912), the three-dimensional data decoding device generates an ocree by performing the decomposition process on the target node (S1913).
  • the three-dimensional data decoding device acquires geometric information (S1914) and selects a coding table based on the acquired geometric information (S1915).
  • the geometric information is, for example, information indicating the geometrical arrangement of the occupied state of the peripheral blocks of the target node, as described above.
  • the three-dimensional data decoding device entropy-decodes the occupancy code of the target node using the selected coding table (S1916).
  • steps S1913 to S1916 are repeated until the unit length decomposition process is completed.
  • the three-dimensional data decoding device outputs a three-dimensional point (S1917).
  • FIG. 68 is a flowchart of a three-dimensional data coding process including an adaptive entropy coding process using structural information.
  • the three-dimensional data coding device acquires the input three-dimensional point (S1921).
  • the three-dimensional data coding apparatus determines whether or not the unit length decomposition process is completed (S1922).
  • the three-dimensional data encoding device When the unit length decomposition process is not completed (No in S1922), the three-dimensional data encoding device generates an octane tree by performing the decomposition process on the target node (S1923).
  • the three-dimensional data encoding device acquires structural information (S1924) and selects a coding table based on the acquired structural information (S1925).
  • the structural information is, for example, information indicating the layer to which the target node belongs, as described above.
  • the three-dimensional data encoding device entropy-codes the occupancy code of the target node using the selected coding table (S1926).
  • steps S1923 to S1926 is repeated until the unit length decomposition process is completed.
  • the three-dimensional data coding apparatus outputs a bit stream including the generated information (S1927).
  • FIG. 69 is a flowchart of a three-dimensional data decoding process including an adaptive entropy decoding process using structural information.
  • the three-dimensional data decoding device acquires the input bit stream (S1931). Next, the three-dimensional data decoding device determines whether or not the unit length decomposition process is completed (S1932).
  • the three-dimensional data decoding device When the unit length decomposition process is not completed (No in S1932), the three-dimensional data decoding device generates an ocree by performing the decomposition process on the target node (S1933).
  • the three-dimensional data decoding device acquires structural information (S1934) and selects a coding table based on the acquired structural information (S1935).
  • the structural information is, for example, information indicating the layer to which the target node belongs, as described above.
  • the three-dimensional data decoding device entropy-decodes the occupancy code of the target node using the selected coding table (S1936).
  • steps S1933 to S1936 are repeated until the unit length decomposition process is completed.
  • the three-dimensional data decoding device outputs a three-dimensional point (S1937).
  • FIG. 70 is a flowchart of a three-dimensional data coding process including an adaptive entropy coding process using attribute information.
  • the three-dimensional data coding device acquires the input three-dimensional point (S1941).
  • the three-dimensional data coding apparatus determines whether or not the unit length decomposition process is completed (S1942).
  • the three-dimensional data encoding device When the unit length decomposition process is not completed (No in S1942), the three-dimensional data encoding device generates an octane tree by performing the decomposition process on the target node (S1943).
  • the three-dimensional data encoding device acquires the attribute information (S1944) and selects the coding table based on the acquired attribute information (S1945).
  • the attribute information is, for example, information indicating a normal vector of a target node or the like, as described above.
  • the three-dimensional data encoding device entropy-codes the occupancy code of the target node using the selected coding table (S1946).
  • steps S1943 to S1946 are repeated until the unit length decomposition process is completed.
  • the three-dimensional data coding apparatus outputs a bit stream including the generated information (S1947).
  • FIG. 71 is a flowchart of a three-dimensional data decoding process including an adaptive entropy decoding process using attribute information.
  • the three-dimensional data decoding device acquires the input bit stream (S1951). Next, the three-dimensional data decoding device determines whether or not the unit length decomposition process is completed (S1952).
  • the three-dimensional data decoding device When the unit length decomposition process is not completed (No in S1952), the three-dimensional data decoding device generates an ocree by performing the decomposition process on the target node (S1953).
  • the three-dimensional data decoding device acquires the attribute information (S1954) and selects the coding table based on the acquired attribute information (S1955).
  • the attribute information is, for example, information indicating a normal vector of a target node or the like, as described above.
  • the three-dimensional data decoding device entropy-decodes the occupancy code of the target node using the selected coding table (S1956).
  • steps S1953 to S1956 is repeated until the unit length decomposition process is completed.
  • the three-dimensional data decoding device outputs a three-dimensional point (S1957).
  • FIG. 72 is a flowchart of a coding table selection process (S1905) using geometric information.
  • the three-dimensional data coding apparatus may switch the coding table used for entropy coding of the occupancy code by using, for example, the information of the geometric group of the tree structure as the geometric information.
  • the information of the geometric group is the information indicating the geometric group including the geometric pattern of the target node.
  • the three-dimensional data coding apparatus selects the coding table 0 (S1962).
  • the three-dimensional data coding apparatus selects the coding table 1 (S1964).
  • the three-dimensional data coding apparatus selects the coding table 2 (S1965).
  • the method of selecting the coded table is not limited to the above.
  • the three-dimensional data coding apparatus may use the coding table 2 when the geometric group indicated by the geometric information is the geometric group 2, and may further switch the coding table according to the value of the geometric group. good.
  • the geometric group is determined by using the occupancy information indicating whether or not the node adjacent to the target node contains a point cloud. Further, geometric patterns having the same shape by applying a transformation such as rotation may be included in the same geometric group. Further, the three-dimensional data encoding device may select a geometric group by using the occupancy information of a node belonging to the same layer as the target node, which is adjacent to the target node or is located around the target node. Further, the three-dimensional data coding apparatus may select a geometric group by using the occupancy information of a node belonging to a layer different from the target node. For example, the 3D data encoding device may select a geometric group using the occupancy information of the parent node or a node adjacent to the parent node or located around the parent node.
  • the coding table selection process (S1915) using the geometric information in the three-dimensional data decoding device is also the same as above.
  • FIG. 73 is a flowchart of the coded table selection process (S1925) using the structural information.
  • the three-dimensional data coding apparatus may switch the coding table used for entropy coding of the occupancy code by using, for example, the information of the layer of the tree structure as the structural information.
  • the layer information indicates, for example, the layer to which the target node belongs.
  • the three-dimensional data encoding device selects the coding table 0 (S1972).
  • the three-dimensional data coding apparatus selects the coding table 1 (S1974). In other cases (No in S1973), the three-dimensional data coding apparatus selects the coding table 2 (S1975).
  • the method of selecting the coded table is not limited to the above.
  • the three-dimensional data coding apparatus may further switch the coding table according to the layer to which the target node belongs, such as using the coding table 2 when the target node belongs to the layer 2.
  • FIG. 74 is a flowchart of the coded table selection process (S1945) using the attribute information.
  • the three-dimensional data coding apparatus may switch the coding table used for entropy coding of the occupancy code by using, for example, the information of the object to which the target node belongs or the information of the normal vector of the target node as the attribute information. ..
  • the three-dimensional data encoding device selects the coding table 0 (S1982).
  • the three-dimensional data coding apparatus selects the coding table 1 (S1984). In other cases (No in S1983), the three-dimensional data coding apparatus selects the coding table 2 (S1985).
  • the method of selecting the coded table is not limited to the above.
  • the three-dimensional data coding device uses the coding table 2 when the normal vector of the target node belongs to the normal vector group 2, depending on the normal vector group to which the normal vector of the target node belongs. Further, the coding table may be switched.
  • the three-dimensional data encoding device selects a normal vector group using the information of the normal vector possessed by the target node. For example, the three-dimensional data encoding device determines that the normal vectors whose distances between the normal vectors are equal to or less than a predetermined threshold value are regarded as the same normal vector group.
  • the information of the object to which the target node belongs may be, for example, information of a person, a car, a building, or the like.
  • FIG. 75 is a block diagram of the three-dimensional data coding apparatus 1900 according to the present embodiment.
  • the three-dimensional data coding device 1900 shown in FIG. 75 includes an ocree generation unit 1901, a similarity information calculation unit 1902, a coding table selection unit 1903, and an entropy coding unit 1904.
  • the ocree generation unit 1901 generates, for example, an ocree from the input three-dimensional points, and generates an occupancy code for each node included in the ocree.
  • the similarity information calculation unit 1902 acquires, for example, similarity information which is geometric information, structural information, or attribute information of the target node.
  • the coding table selection unit 1903 selects the context used for entropy coding of the occupancy code according to the similarity information of the target node.
  • the entropy coding unit 1904 generates a bitstream by entropy-coding the occupancy code using the selected context.
  • the entropy coding unit 1904 may add information indicating the selected context to the bitstream.
  • FIG. 76 is a block diagram of the three-dimensional data decoding device 1910 according to the present embodiment.
  • the three-dimensional data decoding device 1910 shown in FIG. 76 includes an ocree generation unit 1911, a similarity information calculation unit 1912, a coding table selection unit 1913, and an entropy decoding unit 1914.
  • the ocree generation unit 1911 uses the information obtained from the entropy decoding unit 1914 to generate an ocree in order from the lower layer to the upper layer, for example.
  • the similarity information calculation unit 1912 acquires the similarity information which is the geometric information, the structural information, or the attribute information of the target node.
  • the coding table selection unit 1913 selects the context used for entropy decoding of the occupancy code according to the similarity information of the target node.
  • the entropy decoding unit 1914 generates a three-dimensional point by entropy decoding the occupancy code using the selected context.
  • the entropy decoding unit 1914 may decode and acquire the information of the selected context added to the bit stream, and may use the context indicated by the information.
  • the three-dimensional data coding device is a coding table in which a bit string representing the N (N is an integer of 2 or more) branch tree structure of a plurality of three-dimensional points included in the three-dimensional data is selected from a plurality of coding tables. Is entropy-coded using.
  • the bit string contains N-bit information for each node in the N-branch structure.
  • the N-bit information includes N 1-bit information indicating whether or not a three-dimensional point exists in each of the N child nodes of the corresponding node.
  • each of the plurality of coding tables a context is provided for each bit of N-bit information.
  • the three-dimensional data coding apparatus entropy-codes each bit of N-bit information using the context provided for the bit in the selected coding table.
  • the three-dimensional data coding device can improve the coding efficiency by switching the context for each bit.
  • a three-dimensional data coding device uses a coding table from a plurality of coding tables based on whether or not a three-dimensional point exists in each of a plurality of adjacent nodes adjacent to the target node. select. According to this, the three-dimensional data coding apparatus can improve the coding efficiency by switching the coding table based on whether or not the three-dimensional point exists in the adjacent node.
  • a three-dimensional data coding device selects a coding table based on an arrangement pattern indicating an arrangement position of an adjacent node in which a three-dimensional point exists among a plurality of adjacent nodes, and among the arrangement patterns, the three-dimensional data coding apparatus selects a coding table.
  • the same coding table is selected for the arrangement pattern that becomes the same arrangement pattern by rotation. According to this, the three-dimensional data coding apparatus can suppress the increase of the coding table.
  • a three-dimensional data coding device selects a coding table to be used from a plurality of coding tables based on the layer to which the target node belongs. According to this, the three-dimensional data coding apparatus can improve the coding efficiency by switching the coding table based on the layer to which the target node belongs.
  • the three-dimensional data coding device selects a coding table to be used from a plurality of coding tables based on the normal vector of the target node. According to this, the three-dimensional data coding apparatus can improve the coding efficiency by switching the coding table based on the normal vector.
  • the three-dimensional data encoding device includes a processor and a memory, and the processor uses the memory to perform the above processing.
  • the three-dimensional data decoding device uses a coding table in which a bit string representing an N (N is an integer of 2 or more) branch tree structure of a plurality of three-dimensional points included in the three-dimensional data is selected from a plurality of coding tables. Use to decode entropy.
  • the bit string contains N-bit information for each node in the N-branch structure.
  • the N-bit information includes N 1-bit information indicating whether or not a three-dimensional point exists in each of the N child nodes of the corresponding node.
  • a context is provided for each bit of N-bit information.
  • the three-dimensional data decoding device performs entropy decoding of each bit of N-bit information using the context provided for the bit in the selected coding table.
  • the three-dimensional data decoding device can improve the coding efficiency by switching the context for each bit.
  • a three-dimensional data decoding device selects a coding table to be used from a plurality of coding tables based on whether a three-dimensional point exists in each of a plurality of adjacent nodes adjacent to the target node. .. According to this, the three-dimensional data decoding device can improve the coding efficiency by switching the coding table based on whether or not the three-dimensional point exists in the adjacent node.
  • a three-dimensional data decoding device selects a coding table based on an arrangement pattern indicating an arrangement position of an adjacent node in which a three-dimensional point exists among a plurality of adjacent nodes, and among the arrangement patterns, by rotation. For arrangement patterns that have the same arrangement pattern, the same coding table is selected. According to this, the three-dimensional data decoding apparatus can suppress the increase of the coded table.
  • the three-dimensional data decoding device selects a coding table to be used from a plurality of coding tables based on the layer to which the target node belongs. According to this, the three-dimensional data decoding device can improve the coding efficiency by switching the coding table based on the layer to which the target node belongs.
  • the three-dimensional data decoding device selects a coding table to be used from a plurality of coding tables based on the normal vector of the target node. According to this, the three-dimensional data decoding apparatus can improve the coding efficiency by switching the coding table based on the normal vector.
  • the three-dimensional data decoding device includes a processor and a memory, and the processor uses the memory to perform the above processing.
  • FIG. 77 and 78 are diagrams showing the reference relationship according to the present embodiment
  • FIG. 77 is a diagram showing the reference relationship on the octal tree structure
  • FIG. 78 is a diagram showing the reference relationship on the spatial region. It is a figure which shows.
  • the three-dimensional data coding device when the three-dimensional data coding device encodes the coding information of the node to be coded (hereinafter referred to as a target node), the three-dimensional data coding device is in the parent node (parent node) to which the target node belongs. Refer to the coding information of each node. However, the coding information of each node in other nodes in the same layer as the parent node (hereinafter referred to as parent-adjacent node) is not referred to. That is, the three-dimensional data coding device sets the reference of the parent adjacent node to be disabled or prohibits the reference.
  • the three-dimensional data encoding device may allow reference to the coding information in the parent node to which the parent node belongs (hereinafter, referred to as a grandparent node). That is, the three-dimensional data coding device may encode the coding information of the target node by referring to the coding information of the parent node and the grandfather node to which the target node belongs.
  • the coded information is, for example, an occupancy code.
  • the three-dimensional data coding device refers to information indicating whether or not each node in the parent node to which the target node belongs includes a point cloud (hereinafter, occupancy information). do.
  • occupancy information a point cloud
  • the 3D data encoding device refers to the occupancy code of the parent node when encoding the occupancy code of the target node.
  • the three-dimensional data encoding device does not refer to the occupancy information of each node in the parent adjacent node. That is, the 3D data coding device does not refer to the occupancy code of the parent adjacent node.
  • the three-dimensional data encoding device may refer to the occupancy information of each node in the grandfather node. That is, the three-dimensional data encoding device may refer to the occupancy information of the parent node and the parent adjacent node.
  • the three-dimensional data coding device is used to entropy-code the occupancy code of the target node by using the occupancy code of the parent node or the grandfather node to which the target node belongs when encoding the occupancy code of the target node. Switch the coding table. The details will be described later.
  • the three-dimensional data coding device does not have to refer to the occupancy code of the parent adjacent node.
  • the three-dimensional data coding device can appropriately switch the coding table according to the information of the occupancy code of the parent node or the grandfather node when encoding the occupancy code of the target node. Efficiency can be improved.
  • the three-dimensional data encoding device can suppress the confirmation processing of the information of the parent-adjacent node and the memory capacity for storing them by not referring to the parent-adjacent node.
  • FIG. 79 is a diagram showing an example of a target node and an adjacent reference node.
  • FIG. 80 is a diagram showing the relationship between the parent node and the node.
  • FIG. 81 is a diagram showing an example of an occupancy code of a parent node.
  • the adjacency reference node is a node that is spatially adjacent to the target node and is referred to when the target node is coded.
  • the adjacent node is a node belonging to the same layer as the target node.
  • a node X adjacent to the target block in the x direction a node Y adjacent to the y direction, and a node Z adjacent to the z direction are used. That is, one adjacent block is set as the reference adjacent block in each of the x, y, and z directions.
  • the node number shown in FIG. 80 is an example, and the relationship between the node number and the position of the node is not limited to this. Further, in FIG. 81, the node 0 is assigned to the lower bits and the node 7 is assigned to the upper bits, but the allocation may be performed in the reverse order. Further, each node may be assigned to any bit.
  • the three-dimensional data coding device determines the coding table for entropy coding the occupancy code of the target node, for example, by the following formula.
  • CodingTable indicates a coding table for the occupancy code of the target node, and indicates any of the values 0 to 7.
  • FlagX is the occupancy information of the adjacent node X, and indicates 1 if the adjacent node X includes (occupies) a point cloud, and indicates 0 otherwise.
  • FlagY is the occupancy information of the adjacent node Y, and indicates 1 if the adjacent node Y includes (occupies) a point cloud, and indicates 0 otherwise.
  • FlagZ is the occupancy information of the adjacent node Z, and indicates 1 if the adjacent node Z includes (occupies) a point cloud, and indicates 0 otherwise.
  • the three-dimensional data coding device uses the value indicated by the occupancy code of the parent node to code. You may select the conversion table.
  • the three-dimensional data coding device can improve the coding efficiency by switching the coding table using the information indicating whether or not the point group is included in the node adjacent to the target node.
  • the three-dimensional data encoding device may switch the adjacent reference node according to the spatial position of the target node in the parent node. That is, the three-dimensional data encoding device may switch the adjacent node to be referred to among the plurality of adjacent nodes according to the spatial position in the parent node of the target node.
  • FIG. 82 is a block diagram of the three-dimensional data coding apparatus 2100 according to the present embodiment.
  • the three-dimensional data coding device 2100 shown in FIG. 82 includes an ocree generation unit 2101, a geometric information calculation unit 2102, a coding table selection unit 2103, and an entropy coding unit 2104.
  • the ocree generation unit 2101 generates, for example, an ocree from the input three-dimensional point (point cloud), and generates an occupancy code of each node included in the ocree.
  • the geometric information calculation unit 2102 acquires occupancy information indicating whether or not the adjacent reference node of the target node is occupancy. For example, the geometric information calculation unit 2102 acquires the occupancy information of the adjacent reference node from the occupancy code of the parent node to which the target node belongs. As shown in FIG. 79, the geometric information calculation unit 2102 may switch the adjacent reference node according to the position in the parent node of the target node. Further, the geometric information calculation unit 2102 does not refer to the occupancy information of each node in the parent adjacent node.
  • the coding table selection unit 2103 selects a coding table to be used for entropy coding of the occupancy code of the target node using the occupancy information of the adjacent reference node calculated by the geometric information calculation unit 2102.
  • the entropy coding unit 2104 generates a bitstream by entropy-coding the occupancy code using the selected coding table.
  • the entropy coding unit 2104 may add information indicating the selected coding table to the bitstream.
  • FIG. 83 is a block diagram of the three-dimensional data decoding device 2110 according to the present embodiment.
  • the three-dimensional data decoding device 2110 shown in FIG. 83 includes an ocree generation unit 2111, a geometric information calculation unit 2112, a coding table selection unit 2113, and an entropy decoding unit 2114.
  • the ocree generation unit 2111 uses the header information of the bitstream and the like to generate an ocree in a certain space (node).
  • the 8-branch tree generation unit 2111 generates a large space (root node) using the x-axis, y-axis, and z-axis directions of a certain space added to the header information, and uses that space as the x-axis.
  • Eight small spaces A are generated by dividing into two in the y-axis and z-axis directions, respectively, and an eight-minute tree is generated. Further, nodes A0 to A7 are sequentially set as target nodes.
  • the geometric information calculation unit 2112 acquires occupancy information indicating whether or not the adjacent reference node of the target node is occupancy. For example, the geometric information calculation unit 2112 acquires the occupancy information of the adjacent reference node from the occupancy code of the parent node to which the target node belongs. As shown in FIG. 79, the geometric information calculation unit 2112 may switch the adjacent reference node according to the position in the parent node of the target node. Further, the geometric information calculation unit 2112 does not refer to the occupancy information of each node in the parent adjacent node.
  • the coding table selection unit 2113 selects a coding table (decoding table) used for entropy decoding of the occupancy code of the target node using the occupancy information of the adjacent reference node calculated by the geometric information calculation unit 2112.
  • the entropy decoding unit 2114 generates a three-dimensional point by entropy-coding the occupancy code using the selected coding table.
  • the coding table selection unit 2113 decodes and acquires the information of the selected coding table added to the bit stream, and the entropy decoding unit 2114 uses the coding table indicated by the acquired information. You may.
  • Each bit of the occupancy code (8 bits) included in the bit stream indicates whether or not each of the eight small spaces A (node A0 to node A7) contains a point cloud. Furthermore, the three-dimensional data decoding device divides the small space node A0 into eight small space B (node B0 to node B7) to generate an ocree, and each node of the small space B contains a point cloud. The information indicating whether or not the node is displayed is obtained by decoding the occupancy code. In this way, the three-dimensional data decoding device decodes the occupancy code of each node while generating an ocree from the large space to the small space.
  • FIG. 84 is a flowchart of the three-dimensional data coding process in the three-dimensional data coding apparatus.
  • the three-dimensional data encoding device determines (defines) a space (target node) including a part or all of the input three-dimensional point cloud (S2101).
  • the three-dimensional data coding device divides the target node into eight to generate eight small spaces (nodes) (S2102).
  • the three-dimensional data encoding device generates an occupancy code of the target node depending on whether or not each node contains a point cloud (S2103).
  • the three-dimensional data encoding device calculates (acquires) the occupancy information of the adjacent reference node of the target node from the occupancy code of the parent node of the target node (S2104).
  • the three-dimensional data coding device selects a coding table to be used for entropy coding based on the occupied information of the adjacent reference node of the determined target node (S2105).
  • the three-dimensional data coding device entropy-codes the occupancy code of the target node using the selected coding table (S2106).
  • the three-dimensional data coding device divides each node into eight, and repeats the process of encoding the occupancy code of each node until the node cannot be divided (S2107). That is, the processes from steps S2102 to S2106 are recursively repeated.
  • FIG. 85 is a flowchart of a three-dimensional data decoding method in a three-dimensional data decoding device.
  • the three-dimensional data decoding device determines (defines) the space (target node) to be decoded using the header information of the bitstream (S2111).
  • the three-dimensional data decoding device divides the target node into eight to generate eight small spaces (nodes) (S2112).
  • the three-dimensional data decoding device calculates (acquires) the occupancy information of the adjacent reference node of the target node from the occupancy code of the parent node of the target node (S2113).
  • the three-dimensional data decoding device selects a coding table to be used for entropy decoding based on the occupied information of the adjacent reference node (S2114).
  • the three-dimensional data decoding device entropy-decodes the occupancy code of the target node using the selected coding table (S2115).
  • the three-dimensional data decoding device divides each node into eight, and repeats the process of decoding the occupancy code of each node until the node cannot be divided (S2116). That is, the processes from steps S2112 to S2115 are recursively repeated.
  • FIG. 86 is a diagram showing an example of switching the coding table.
  • the same context model may be applied to a plurality of occupancy codes.
  • a separate context model may be assigned to each occupancy code.
  • the context model can be assigned according to the appearance probability of the occupancy code, so that the coding efficiency can be improved.
  • a context model that updates the probability table according to the frequency of occurrence of the occupancy code may be used.
  • a context model with a fixed probability table may be used.
  • FIG. 86 shows an example in which the coding table shown in FIGS. 60 and 61 is used, the coding table shown in FIGS. 63 and 64 may be used.
  • FIG. 87 is a diagram showing a reference relationship in this modification.
  • the three-dimensional data encoding device does not refer to the occupancy code of the parent-adjacent node, but whether or not to refer to the occupancy coding of the parent-adjacent node is switched according to a specific condition. May be good.
  • the three-dimensional data coding device when the three-dimensional data coding device performs coding while scanning the octal tree with breadth-first priority, it encodes the occupancy code of the target node by referring to the occupancy information of the node in the parent adjacent node.
  • the three-dimensional data encoding device prohibits reference to the occupancy information of the node in the parent adjacent node when encoding the octane while scanning it with priority on depth. In this way, by appropriately switching the nodes that can be referred to according to the scan order (coding order) of the nodes of the ocree, it is possible to improve the coding efficiency and suppress the processing load.
  • the three-dimensional data encoding device may add information such as whether the ocree is breadth-first or depth-first encoded to the header of the bitstream.
  • FIG. 88 is a diagram showing an example of the syntax of the header information in this case.
  • Octree_scan_order shown in FIG. 88 is coding order information (coding order flag) indicating the coding order of the ocree. For example, when octare_scan_order is 0, breadth-first is indicated, and when it is 1, depth-first is indicated.
  • the three-dimensional data decoding device can know whether the bitstream is breadth-first or depth-first by referring to octare_scan_order, so that the bitstream can be appropriately decoded.
  • limit_refer_flag is prohibition switching information (prohibition switching flag) indicating whether or not to prohibit reference to the parent adjacent node. For example, when limit_refer_flag is 1, it indicates that the reference of the parent adjacent node is prohibited, and when it is 0, it indicates that there is no reference restriction (reference of the parent adjacent node is permitted).
  • the three-dimensional data encoding device determines whether or not to prohibit the reference of the parent-adjacent node, and switches whether to prohibit or allow the reference of the parent-adjacent node based on the result of the above determination. Further, the three-dimensional data encoding device generates a bitstream which is the result of the above determination and includes the prohibition switching information indicating whether or not the reference of the parent adjacent node is prohibited.
  • the three-dimensional data decoding device acquires the prohibition switching information indicating whether or not the reference of the parent-adjacent node is prohibited from the bitstream, and prohibits or permits the reference of the parent-adjacent node based on the prohibition switching information. Switch between.
  • the 3D data encoding device can control the reference of the parent adjacent node and generate a bitstream. Further, the three-dimensional data decoding device can acquire information indicating whether or not the reference of the parent adjacent node is prohibited from the header of the bitstream.
  • the coding process of the occupancy code is described as an example of the coding process that prohibits the reference of the parent adjacent node, but the present invention is not necessarily limited to this.
  • a similar technique can be applied when encoding other information in the node of an ocree.
  • the method of this embodiment may be applied when encoding other attribute information such as color, normal vector, or reflectance added to the node.
  • a similar technique can also be applied when coding a coded table or predicted value.
  • FIG. 90 is a diagram showing an example of a target node and a reference adjacent node.
  • the three-dimensional data coding device calculates the coding table for entropy coding the occupancy code of the target node shown in FIG. 90 by, for example, the following formula.
  • CodingTable (FlagX0 ⁇ 3) + (FlagX1 ⁇ 2) + (FlagY ⁇ 1) + (FlagZ)
  • CodingTable indicates a coding table for the occupancy code of the target node, and indicates any of the values 0 to 15.
  • FlagY is the occupancy information of the adjacent node Y, and indicates 1 if the adjacent node Y includes (occupies) a point cloud, and indicates 0 otherwise.
  • FlagZ is the occupancy information of the adjacent node Z, and indicates 1 if the adjacent node Z includes (occupies) a point cloud, and indicates 0 otherwise.
  • the three-dimensional data encoding device has 1 (occupied) or 0 (unoccupied) as an alternative value. Fixed value may be used.
  • FIG. 91 is a diagram showing an example of a target node and an adjacent node.
  • the occupancy information of the adjacent node may be calculated by referring to the occupancy code of the grandfather node of the target node.
  • the three-dimensional data coding device calculates the FlagX0 of the above equation using the occupancy information of the adjacent node G0 instead of the adjacent node X0 shown in FIG. 91, and uses the calculated FlagX0 to calculate the value of the coding table. You may decide.
  • the adjacent node G0 shown in FIG. 91 is an adjacent node that can be determined whether or not it is occupied by the occupancy code of the grandfather node.
  • the adjacent node X1 is an adjacent node that can be determined whether or not it is occupied by the occupancy code of the parent node.
  • FIG. 92 and 93 are diagrams showing the reference relationship according to the present modification
  • FIG. 92 is a diagram showing the reference relationship on the octal tree structure
  • FIG. 93 is a diagram showing the reference relationship on the spatial region. It is a figure.
  • the three-dimensional data coding device when the three-dimensional data coding device encodes the coding information of the node to be coded (hereinafter referred to as the target node 2), the three-dimensional data coding device of each node in the parent node to which the target node 2 belongs.
  • the coding information That is, the three-dimensional data encoding device permits reference to the information (for example, occupancy information) of the child node of the first node in which the target node and the parent node are the same among the plurality of adjacent nodes. For example, when the three-dimensional data coding device encodes the occupancy code of the target node 2 shown in FIG.
  • the occupancy of the node existing in the parent node to which the target node 2 belongs for example, the occupancy of the target node shown in FIG. Refer to the sign.
  • the occupancy code of the target node shown in FIG. 92 indicates, for example, whether or not each node in the target node adjacent to the target node 2 is occupied. Therefore, the three-dimensional data coding device can switch the coding table of the occupancy code of the target node 2 according to the finer shape of the target node, so that the coding efficiency can be improved.
  • the three-dimensional data coding device may calculate the coding table for entropy coding the occupancy code of the target node 2, for example, by the following formula.
  • CodingTable (FlagX1 ⁇ 5) + (FlagX2 ⁇ 4) + (FlagX3 ⁇ 3) + (FlagX4 ⁇ 2) + (FlagY ⁇ 1) + (FlagZ)
  • CodingTable indicates a coding table for the occupancy code of the target node 2, and indicates any of the values 0 to 63.
  • FlagY is the occupancy information of the adjacent node Y, and indicates 1 if the adjacent node Y includes (occupies) a point cloud, and indicates 0 otherwise.
  • FlagZ is the occupancy information of the adjacent node Y, and indicates 1 if the adjacent node Z includes (occupies) a point cloud, and indicates 0 otherwise.
  • the three-dimensional data coding device may change the calculation method of the coding table according to the node position of the target node 2 in the parent node.
  • the three-dimensional data encoding device may refer to the coding information of each node in the parent adjacent node when the reference of the parent adjacent node is not prohibited. For example, if the reference of the parent adjacent node is not prohibited, the reference of the information (for example, occupancy information) of the child node of the third node whose parent node is different from the target node is permitted.
  • the three-dimensional data encoding device refers to the occupancy code of the adjacent node X0 whose parent node is different from the target node, and acquires the occupancy information of the child node of the adjacent node X0.
  • the three-dimensional data coding device switches the coding table used for entropy coding of the occupancy code of the target node based on the acquired occupancy information of the child node of the adjacent node X0.
  • the three-dimensional data coding apparatus has information on the target node included in the N (N is an integer of 2 or more) branch tree structure of a plurality of three-dimensional points included in the three-dimensional data.
  • Encode eg, an occupancy code
  • the three-dimensional data coding apparatus is a first node in which the target node and the parent node are the same among a plurality of adjacent nodes spatially adjacent to the target node.
  • Information for example, occupancy information
  • reference to information for example, occupancy information
  • the three-dimensional data encoding device allows the reference of the information of the parent node (for example, the occupancy code) in the above coding, and the information of the other node (parent adjacent node) in the same layer as the parent node (for example, occupancy). Reference of (sign) is prohibited.
  • the three-dimensional data encoding device encodes by referring to the information of the first node in which the target node and the parent node are the same among a plurality of adjacent nodes spatially adjacent to the target node. Efficiency can be improved. Further, the three-dimensional data encoding device can reduce the processing amount by not referring to the information of the second node whose target node and the parent node are different from each other among the plurality of adjacent nodes. As described above, the three-dimensional data coding apparatus can improve the coding efficiency and reduce the processing amount.
  • the three-dimensional data coding device further determines whether or not to prohibit the reference of the information of the second node, and in the above coding, the reference of the information of the second node is prohibited based on the result of the above determination. Switch whether to allow or allow.
  • the three-dimensional data encoding device further obtains a bitstream which is the result of the above determination and includes prohibition switching information (for example, limit_refer_flag shown in FIG. 89) indicating whether or not reference to the information of the second node is prohibited. Generate.
  • the three-dimensional data coding device can switch whether or not to prohibit the reference of the information of the second node. Further, the three-dimensional data decoding device can appropriately perform the decoding process by using the prohibition switching information.
  • the information of the target node is information indicating whether or not a three-dimensional point exists in each of the child nodes belonging to the target node (for example, an occupancy code), and the information of the first node is three-dimensional in the first node.
  • Information indicating whether or not a point exists occupancy information of the first node
  • information of the second node indicates information indicating whether or not a three-dimensional point exists in the second node (occupation of the second node).
  • Information is information indicating whether or not a three-dimensional point exists in each of the child nodes belonging to the target node (for example, an occupancy code), and the information of the first node is three-dimensional in the first node.
  • Information indicating whether or not a point exists occupancy information of the first node
  • information of the second node indicates information indicating whether or not a three-dimensional point exists in the second node (occupation of the second node).
  • the three-dimensional data coding device selects a coding table based on whether or not a three-dimensional point exists in the first node, and uses the selected coding table to select the target node.
  • Information for example, an occupancy code
  • the three-dimensional data coding apparatus permits reference to information (for example, occupancy information) of a child node of the first node among a plurality of adjacent nodes, as shown in FIGS. 92 and 93. ..
  • the three-dimensional data coding device can refer to more detailed information of the adjacent node, so that the coding efficiency can be improved.
  • the three-dimensional data encoding device switches the adjacent node to be referred to among a plurality of adjacent nodes according to the spatial position in the parent node of the target node in the above coding.
  • the three-dimensional data encoding device can refer to an appropriate adjacent node according to the spatial position in the parent node of the target node.
  • the three-dimensional data encoding device includes a processor and a memory, and the processor uses the memory to perform the above processing.
  • the three-dimensional data decoding apparatus has information on the target node (for example, an occupancy code) included in the N (N is an integer of 2 or more) branch tree structure of a plurality of three-dimensional points included in the three-dimensional data. ) Is decrypted.
  • the three-dimensional data decoding device provides information on the first node in which the target node and the parent node are the same among a plurality of adjacent nodes spatially adjacent to the target node. Referencing (for example, occupancy information) is permitted, and reference to information (for example, occupancy information) of the second node whose parent node is different from the target node is prohibited.
  • the three-dimensional data decoding device allows the reference of the information of the parent node (for example, the occupancy code) in the above decoding, and the information of the other node (parent adjacent node) in the same layer as the parent node (for example, the occupancy code). Prohibit reference to.
  • the three-dimensional data decoding device refers to the information of the first node in which the target node and the parent node are the same among a plurality of adjacent nodes spatially adjacent to the target node, thereby achieving coding efficiency. Can be improved. Further, the three-dimensional data decoding device can reduce the processing amount by not referring to the information of the second node whose target node and the parent node are different from each other among the plurality of adjacent nodes. As described above, the three-dimensional data decoding device can improve the coding efficiency and reduce the processing amount.
  • the three-dimensional data decoding device further acquires the prohibition switching information (for example, limit_refer_flag shown in FIG. 89) indicating whether or not the reference of the information of the second node is prohibited from the bit stream, and is prohibited in the above decoding. Based on the switching information, it switches whether to prohibit or allow the reference of the information of the second node.
  • the prohibition switching information for example, limit_refer_flag shown in FIG. 89
  • the three-dimensional data decoding device can appropriately perform the decoding process by using the prohibition switching information.
  • the information of the target node is information indicating whether or not a three-dimensional point exists in each of the child nodes belonging to the target node (for example, an occupancy code), and the information of the first node is three-dimensional in the first node.
  • Information indicating whether or not a point exists occupancy information of the first node
  • information of the second node indicates information indicating whether or not a three-dimensional point exists in the second node (occupation of the second node).
  • Information is information indicating whether or not a three-dimensional point exists in each of the child nodes belonging to the target node (for example, an occupancy code), and the information of the first node is three-dimensional in the first node.
  • Information indicating whether or not a point exists occupancy information of the first node
  • information of the second node indicates information indicating whether or not a three-dimensional point exists in the second node (occupation of the second node).
  • the three-dimensional data decoding device selects a coding table based on whether or not a three-dimensional point exists in the first node, and uses the selected coding table to provide information on the target node.
  • a coding table based on whether or not a three-dimensional point exists in the first node, and uses the selected coding table to provide information on the target node.
  • an occupancy code is entropy-decoded.
  • the three-dimensional data decoding device permits reference to information (for example, occupancy information) of a child node of the first node among a plurality of adjacent nodes, as shown in FIGS. 92 and 93.
  • the three-dimensional data decoding device can refer to more detailed information of the adjacent node, so that the coding efficiency can be improved.
  • the three-dimensional data decoding device switches the adjacent node to be referred to among the plurality of adjacent nodes according to the spatial position in the parent node of the target node in the above decoding.
  • the three-dimensional data decoding device can refer to an appropriate adjacent node according to the spatial position in the parent node of the target node.
  • the three-dimensional data decoding device includes a processor and a memory, and the processor uses the memory to perform the above processing.
  • the three-dimensional data encoding device obtains information on adjacent nodes having different parent nodes by searching for the encoded node.
  • FIG. 94 is a diagram showing an example of an adjacent node. In the example shown in FIG. 94, three adjacent nodes belong to the same parent node as the target node. The three-dimensional data coding device acquires the adjacency information of these three adjacent nodes by confirming the occupancy code of the parent node.
  • the remaining three adjacent nodes belong to a parent node different from the target node.
  • the three-dimensional data coding device acquires the adjacency information of these three adjacent nodes by confirming the information of the encoded node.
  • the adjacency information includes information indicating whether or not the node includes a point cloud (occupied).
  • the coded node is, for example, a node belonging to the same layer as the target node in the ocree.
  • FIG. 95 is a diagram showing an example of a node to be searched.
  • the three-dimensional data coding device uses the coded node shown in FIG. 95 as a search range and searches for information on adjacent nodes.
  • FIG. 96 is a diagram for explaining the search process of the adjacent node. As shown in FIG. 96, the coded node information is stored in the queue.
  • the three-dimensional data coding device searches a plurality of queues from the beginning and acquires information on adjacent nodes. For example, the order of the queues to be searched is the coding order.
  • the three-dimensional data coding device calculates the occupancy code of the target node by calculating the information indicating whether or not the child node is occupied. At this time, the three-dimensional data coding device updates the adjacency information of each child node. For example, the three-dimensional data encoding device determines from the occupancy code whether or not an adjacent node having the same target node and the parent node occupies. In addition, the three-dimensional data encoding device searches for the information of the adjacent node from the queue that stores the information of the already encoded node and finds out whether or not the adjacent node whose parent node is different from the target node is occupied. Judgment is made from the information indicating whether or not the adjacent node is occupied. Further, the three-dimensional data encoding device updates the adjacency information of each child node, and stores the updated adjacency information in the queue in order to calculate the adjacency node of the child node of the next node.
  • the three-dimensional data coding device updates the adjacent information of both the target node and the searched node in each search.
  • 97 and 98 are diagrams for explaining this update process.
  • the three-dimensional data coding device updates the adjacency information of both the target node and the searched node in each search. That is, the adjacent information is transmitted in both directions.
  • the information of the target node is added that the searched node is an adjacent node, and the information of the adjacent node is added that the target node is an adjacent node.
  • the immediately preceding target node can be the searched node.
  • the adjacency information of the immediately preceding target node is updated.
  • the 3D data encoding device may end the search process before the adjacent node is found in order to guarantee the maximum processing time for hardware implementation.
  • FIG. 99 is a diagram for explaining this operation.
  • a search threshold value which is a threshold value for stopping the search, is predetermined.
  • This search threshold indicates, for example, the number of searches from the beginning of the queue.
  • the three-dimensional data coding device performs a search up to the search threshold value and ends the search process.
  • the queue of the adjacent node can be searched with a search step smaller than the search threshold.
  • the three-dimensional data coding device searches for an adjacent node and ends the search process.
  • the three-dimensional data coding device may prepare a parameter (search threshold value) for limiting the number of searches. By limiting the number of searches, it is possible to find adjacent nodes while suppressing the search processing time within a certain time. Further, the three-dimensional data encoding device may add information indicating a limit value (search threshold value) of the number of searches to the header of the bitstream or the like. Alternatively, the number of searches may be specified by a standard or the like. As a result, the three-dimensional data decoding device can correctly determine the limit value of the number of searches from the header or the standard, so that the stream can be decoded correctly.
  • each element of the coded node's queue has an index in three-dimensional space. For example, a Morton code is used for this index.
  • FIG. 100 is a diagram showing an example of an index using a Morton code.
  • FIG. 101 is a diagram showing an example of a queue using a Morton code.
  • the index of the target node is 3
  • the index of the left node is 2
  • the index of the lower node is 1.
  • the first effect is that the search process can be speeded up.
  • the search process using the x, y, and z coordinates is more complicated than the process of finding the Morton code which is a single integer.
  • the amount of data to be held can be reduced by using the Morton code. Specifically, when x, y, and z are used, three 32-bit data are required. On the other hand, by using the Morton code, a node can be identified by one 64-bit data.
  • a method other than the Morton code may be used as a method for converting a three-dimensional position into an integer.
  • a space-filling curve that can convert a three-dimensional position into an integer such as a Hilbert curve, may be used.
  • FIG. 102 is a block diagram of the three-dimensional data coding apparatus 2500 according to the present embodiment.
  • This three-dimensional data coding device 2500 includes an ocree generation unit 2501, a parent node information acquisition unit 2502, a coding mode selection unit 2503, a search unit 2504, a geometric information calculation unit 2505, and a coding table selection.
  • a unit 2506 and an entropy coding unit 2507 are provided.
  • the ocree generation unit 2501 generates, for example, an ocree from the input three-dimensional point (point cloud), and generates an occupancy code for each node of the ocree.
  • the parent node information acquisition unit 2502 acquires the adjacency information of the adjacency node from the occupancy code of the parent node of the target node. That is, the parent node information acquisition unit 2502 acquires the adjacency information of the adjacency node, which is, for example, an adjacency node belonging to the same parent node as the target node among the plurality of adjacency nodes and which is half of the plurality of adjacency nodes.
  • the coding mode selection unit 2503 selects the coding mode.
  • this coding mode includes a process of acquiring adjacency information from the occupancy code of the parent node, a mode of performing one of the search processes, and a mode of performing both.
  • the search unit 2504 acquires the adjacency information of the adjacency node by using the information of the encoded node by the search process.
  • This search process has a processing time, but the adjacency information of all adjacent nodes can be acquired by this search process.
  • the geometric information calculation unit 2505 uses one of the adjacency information obtained by the parent node information acquisition unit 2502 and the adjacency information obtained by the search unit 2504, or integrates both of them to obtain a coding table. Generates adjacency information (occupancy information of adjacency node) used for selection.
  • the coding table selection unit 2506 selects a coding table to be used for entropy coding using the occupancy information of the adjacent node generated by the geometric information calculation unit 2505.
  • the entropy coding unit 2507 generates a bit stream by entropy coding the occupancy code of the target node using the selected coding table.
  • the entropy coding unit 2507 may add information indicating the selected coding table to the bitstream.
  • FIG. 103 is a block diagram of the three-dimensional data decoding device 2510 according to the present embodiment.
  • This three-dimensional data decoding device 2510 includes an octane tree generation unit 2511, a parent node information acquisition unit 2512, a decoding mode selection unit 2513, a search unit 2514, a geometric information calculation unit 2515, and a coding table selection unit 2516. And an entropy decoding unit 2517.
  • the ocree generation unit 2511 generates an ocree in a certain space (node) by using the header information of the bitstream or the like. For example, the 8-branch tree generation unit 2511 creates a large space (root node) using the x-axis, y-axis, and z-axis directions of a certain space added to the header information, and uses that space as the x-axis. Eight small spaces A (nodes A0 to A7) are generated by dividing into two in the y-axis and z-axis directions, respectively, and an eight-minute tree is generated. Further, nodes A0 to A7 are sequentially set as target nodes.
  • the parent node information acquisition unit 2512 acquires the adjacency information of the adjacency node from the occupancy code of the parent node of the target node. That is, the parent node information acquisition unit 2512 acquires the adjacency information of the adjacency node, which is, for example, an adjacency node belonging to the same parent node as the target node among the plurality of adjacency nodes and which is half of the plurality of adjacency nodes.
  • the decoding mode selection unit 2513 selects the decoding mode.
  • this decoding mode corresponds to the above-mentioned coding mode, and includes a mode of acquiring adjacent information from the occupancy code of the parent node, a mode of performing one of the search processing, and a mode of performing both.
  • the search unit 2514 acquires the adjacent information of the adjacent node by using the information of the decoded node by the search process.
  • This search process has a processing time, but the adjacency information of all adjacent nodes can be acquired by this search process.
  • the geometric information calculation unit 2515 uses one of the adjacency information obtained by the parent node information acquisition unit 2512 and the adjacency information obtained by the search unit 2514, or integrates both of them to obtain a coding table. Generates adjacency information (occupancy information of adjacency node) used for selection.
  • the coding table selection unit 2516 selects the coding table to be used for entropy decoding using the occupancy information of the adjacent node calculated by the geometric information calculation unit 2515.
  • the entropy decoding unit 2517 generates a three-dimensional point (point cloud) by performing entropy decoding of the occupancy code using the selected coding table.
  • the entropy decoding unit 2517 may acquire the information of the selected coding table from the bitstream and entropy-decode the occupancy code of the target node using the coding table indicated by the information.
  • each bit of the occupancy code (8 bits) included in the bit stream indicates whether or not each of the eight small spaces A (node A0 to node A7) contains a point cloud. Furthermore, the three-dimensional data decoding device divides the small space node A0 into eight small space B (node B0 to node B7) to generate an ocree, and each node of the small space B contains a point cloud. The information indicating whether or not the node is displayed is calculated by decoding the occupancy code. In this way, the three-dimensional data decoding device decodes the occupancy code of each node while generating an ocree from the large space to the small space.
  • FIG. 104 is a flowchart of a three-dimensional data coding process by a three-dimensional data coding device.
  • the three-dimensional data encoding device defines a space (target node) including a part or all of the input three-dimensional point cloud (S2501).
  • the three-dimensional data coding device divides the target node into eight to generate eight small spaces (nodes) (S2502).
  • the three-dimensional data encoding device generates an occupancy code of the target node depending on whether or not each node contains a point cloud (S2503).
  • the three-dimensional data encoding device calculates the adjacency information of the adjacency node of the target node from the occupancy code of the parent node of the target node (S2504).
  • the three-dimensional data coding device selects the coding mode (S2505). For example, the three-dimensional data coding device selects a coding mode in which the search process is performed. Next, the three-dimensional data coding device acquires the remaining adjacent information by searching for the information of the coded node. Further, the three-dimensional data coding apparatus integrates the adjacency information calculated in step S2504 and the adjacency information acquired by the search process to generate adjacency information used for selecting the coding table (S2506).
  • the three-dimensional data coding apparatus selects a coding table to be used for entropy coding based on the adjacent information generated in step S2506 (S2507).
  • the three-dimensional data coding device entropy-codes the occupancy code of the target node using the selected coding table (S2508).
  • the three-dimensional data coding apparatus divides each node into eight, and repeats the process of encoding the occupancy code of each node until the nodes cannot be divided (S2509). That is, the processes of steps S2502 to S2508 are recursively repeated.
  • FIG. 105 is a flowchart of the three-dimensional data decoding process by the three-dimensional data decoding device.
  • the three-dimensional data decoding device defines a space (target node) to be decoded using the header information of the bitstream (S2511).
  • the three-dimensional data decoding device divides the target node into eight to generate eight small spaces (nodes) (S2512).
  • the three-dimensional data decoding device calculates the adjacency information of the adjacency node of the target node from the occupancy code of the parent node of the target node (S2513).
  • the three-dimensional data decoding device selects a decoding mode corresponding to the above coding mode (S2514). For example, the three-dimensional data decoding device selects a decoding mode in which the search process is performed. Next, the three-dimensional data decoding device acquires the remaining adjacent information by searching for the information of the decoded node. Further, the three-dimensional data decoding device integrates the adjacency information calculated in step S2513 and the adjacency information acquired by the search process to generate adjacency information used for selecting the coding table (S2515).
  • the three-dimensional data decoding device selects a coding table to be used for entropy decoding based on the adjacent information generated in step S2515 (S2516).
  • the three-dimensional data decoding device entropy-decodes the occupancy code of the target node using the selected coding table (S2517).
  • the three-dimensional data decoding device divides each node into eight, and repeats the process of decoding the occupancy code of each node until the node cannot be divided (S2518). That is, the processes of steps S2512 to S2517 are recursively repeated.
  • the coding mode includes (1) a first mode for skipping the search process, (2) a second mode for performing the search process and stopping the process at the search threshold value, and (3) performing the search process. , A third mode of searching for all encoded (decoded) nodes, and at least one of them.
  • the three-dimensional data decoding device may switch between skipping the search for the adjacent node and searching for the adjacent node as the coding mode. Further, the three-dimensional data coding device may limit the number of searches to a predetermined threshold value or less when searching for an adjacent node. Further, the three-dimensional data encoding device may add information indicating this threshold value to the header of the bitstream. Alternatively, this threshold value may be specified by a standard or the like. Further, the three-dimensional data coding apparatus may switch the value of this threshold value for each node. For example, the larger (deeper) the value of the layer of the ocree, the more candidates for adjacent nodes.
  • the threshold value may be increased as the value of the layer of the ocree becomes larger (deeper).
  • the referenceable range may change for each layer to which the node belongs. That is, among a plurality of adjacent nodes spatially adjacent to the target node, the range of the adjacent adjacent nodes that can be referred to may differ depending on the layer to which the target node belongs in the tree structure.
  • the space represented by the node becomes smaller as the layer becomes deeper. That is, the deeper the layer, the narrower the range of space that the node can refer to.
  • the three-dimensional data coding device may add information indicating the coding mode to the header of the bitstream.
  • the coding mode may be defined by a standard or the like. As a result, the three-dimensional data decoding device can determine the decoding mode (coding mode) from the decoded header or the standard, so that the stream can be correctly decoded.
  • the three-dimensional data coding device may encode the coding mode for each node and switch the coding mode for each node. For example, the three-dimensional data coding apparatus once encodes in all coding modes, and determines the optimum coding mode for the three-dimensional data decoding apparatus from the viewpoint of coding efficiency and processing time. Then, the three-dimensional data coding apparatus may encode the information indicating the determined coding mode for each node. As a result, the three-dimensional data decoding device can correctly decode the bit stream by decoding the coding mode encoded for each node.
  • the three-dimensional data coding device may encode the coding mode for each set of predetermined nodes, and may switch the coding mode for each set.
  • the set of nodes is, for example, a set of a plurality of nodes included in the same layer of an octal tree.
  • the decoding mode may be determined by the same method. That is, the three-dimensional data coding device and the three-dimensional data decoding device may estimate the coding mode for each node by the same method and switch whether or not to search for adjacent nodes for each node. As a result, the 3D data encoding device and the 3D data decoding device determine the node that needs to be searched for the adjacent node, search for the adjacent node when the determination is true, and search for the adjacent node when the determination is false. You can skip the search for. In addition, it is not necessary to transmit information indicating the coding mode. Therefore, it is possible to reduce the amount of processing while improving the coding efficiency.
  • the three-dimensional data encoding device and the three-dimensional data decoding device determine whether or not a node needs to be searched for an adjacent node from, for example, the occupancy code of the parent node.
  • the occupancy information of the three adjacent nodes calculated from the occupancy code of the parent node is all 1, there is a high possibility that the other adjacent nodes are also occupied. Therefore, in this case, the three-dimensional data coding device and the three-dimensional data decoding device determine that it is necessary to search for the adjacent node.
  • the three-dimensional data encoding device and the three-dimensional data decoding device may determine whether or not the node needs to be searched for an adjacent node from the value of the layer of the ocree tree. For example, if the layer value is small (close to the root node), it is highly possible that the ocree is not sufficiently divided. Therefore, the three-dimensional data encoding device and the three-dimensional data decoding device may determine that the adjacent node is likely to be occupied and may determine that the search for the adjacent node is necessary. By estimating the coding mode in the same way in the three-dimensional data coding device and the three-dimensional data decoding device in this way, it is possible to correctly perform coding and decoding while suppressing the amount of coding.
  • the three-dimensional data coding device and the three-dimensional data decoding device estimate the coding mode (decoding mode) for each set of predetermined nodes by the same method, and switch the coding mode for each set. You may.
  • the 3D data encoding device and the 3D data decoding device determine whether or not the set of nodes needs to be searched for the adjacent node, and when the determination is true, the search for the adjacent node is performed, and the determination is false. You can skip the search for adjacent nodes at. Therefore, it is possible to reduce the processing amount while improving the coding efficiency.
  • the set of nodes is, for example, a set of a plurality of nodes included in the same layer of an octal tree.
  • the three-dimensional data coding device and the three-dimensional data decoding device can switch whether or not to search for the adjacent node for each layer, so that the coding efficiency can be improved while suppressing the processing time. For example, if the value of the layer is small (close to the root node), it is highly possible that the ocree is not sufficiently divided. Therefore, the three-dimensional data encoding device and the three-dimensional data decoding device may determine that the adjacent node is likely to be occupied and may determine that the search for the adjacent node is necessary.
  • FIG. 106 is a diagram showing an example of syntax of header information.
  • FIG. 107 is a diagram showing an example of syntax of node information.
  • the header information includes coding_mode1 and limit_num_of_search.
  • coding_model1 is information indicating whether or not to search for an adjacent node. For example, a value 0 indicates that the search for the adjacent node is not performed, a value 1 indicates that the search for the adjacent node is performed on all the nodes, and a value 2 indicates that the search for the adjacent node is switched for each node.
  • the three-dimensional data coding device may not add coding_mode1 to the header, and may specify whether or not to search for adjacent nodes by the standard or the profile or level of the standard. As a result, the three-dimensional data decoding device can correctly restore the bitstream by referring to the standard information and determining whether or not to search for the adjacent node.
  • Limited_num_of_search is information indicating the above-mentioned adjacent threshold value, and indicates, for example, a limit number of searches (search threshold value) when searching for an adjacent node. For example, a value of 0 indicates no limit, and a value of 1 or more indicates the number of limits.
  • This limit_num_of_search is included in the header information when the value of coding_mode1 is 1 or more. It should be noted that the three-dimensional data coding device does not have to include limit_num_of_search in the header when the search restriction is not always required. Further, the three-dimensional data coding apparatus may provide limit_num_of_search for each layer of the octaree tree and include it in the header.
  • limit_num_of_search may be determined before coding. For example, when encoding or decoding is performed by a high-performance device, no limitation is set, and when encoding or decoding is performed by a low-performance device, a limitation is set.
  • the node information includes coding_mode2 and occupation_code.
  • This coding_mode2 is included in the node information when the value of coding_mode1 is 2.
  • the coding_mode2 is information indicating whether or not to search for an adjacent node for each node. For example, a value 0 indicates that the search for the adjacent node is not performed, and a value 1 indicates that the search for the adjacent node is performed.
  • the 3D data coding device and the 3D data decoding device may set the limit number of searches to limit_num_of_search added to the header. Further, the three-dimensional data coding device may encode the limit number of searches for each node.
  • the three-dimensional data coding device may not encode the value of coding_mode2, and the three-dimensional data decoding device may estimate the value of coding_mode2. For example, the three-dimensional data decoding device estimates the value of coding_mode2 from the occupancy code of the parent node or the layer information of the octree.
  • Occupancy_code is an occupancy code of the target node, and is information indicating whether or not the child node of the target node is occupied.
  • the three-dimensional data coding device and the three-dimensional data decoding device calculate the occupancy information of the adjacent node according to the value of coding_mode2, and encode or decode the occupation_code while switching the coding table based on the value.
  • the three-dimensional data coding device may entropy-code the coding_mode1, limit_num_of_sarch, or coding_mode2 generated by the above method. For example, a three-dimensional data coding device binarizes each value and then performs arithmetic coding.
  • an octa-tree structure is shown as an example, but the structure is not necessarily limited to this, and N-trees such as binary trees, quadtrees, and 16-trees (N is an integer of 2 or more).
  • N-trees such as binary trees, quadtrees, and 16-trees (N is an integer of 2 or more).
  • the above method may be applied to other tree structures.
  • FIG. 108 is a flowchart of the three-dimensional data coding process according to the present embodiment.
  • the three-dimensional data encoding device defines a space (target node) including a part or all of the input three-dimensional point cloud (S2521).
  • the three-dimensional data coding device divides the target node into eight to generate eight small spaces (nodes) (S2522).
  • the three-dimensional data encoding device generates an occupancy code of the target node depending on whether or not each node contains a point cloud (S2523).
  • the three-dimensional data encoding device calculates the adjacency information of the adjacency node of the target node from the occupancy code of the parent node of the target node (S2524).
  • the three-dimensional data coding device determines whether or not to perform the search process by confirming the coding mode (S2525). For example, the three-dimensional data coding apparatus performs a search process when (1) coding_mode1 is 1 or (2) coding_mode1 is 2 and coding_mode2 is 1 (Yes in S2525). It is determined that the search process is not performed (No in S2525) in other cases. It should be noted that the three-dimensional data encoding device determines whether or not to search for adjacent nodes in all nodes (value of coding_mode1) and whether or not to search for adjacent nodes for each node (value of coding_mode2). Determined by the method used.
  • the 3D data encoding device estimates whether or not a node needs to be searched for an adjacent node (value of coding_mode2) from the occupancy code of the parent node. For example, if the occupancy information of the three adjacent nodes calculated from the occupancy code of the parent node is all 1, there is a high possibility that the other adjacent nodes are also occupied. Therefore, the three-dimensional data coding device determines that the search for the adjacent node is necessary (the value of coding_mode2 is 1). Further, when estimating coding_mode2 in the three-dimensional data decoding device, the three-dimensional data coding device does not have to encode coding_mode2.
  • the three-dimensional data coding device acquires the remaining adjacent information by searching for the information of the coded node. For example, when the value of limit_num_of_search is not 0 (there is no limit on the number of searches), the three-dimensional data encoding device searches for adjacent nodes while limiting the number of searches according to the value. Further, the three-dimensional data coding device sets the value of limit_num_of_search by using the method described above or the like. Further, the three-dimensional data coding device integrates the adjacency information calculated from the occupancy code of the parent node and the adjacency information acquired in the search process (S2526). Next, the three-dimensional data coding apparatus selects a coding table to be used for entropy coding based on the adjacency information generated in step S2526 (S2527).
  • the three-dimensional data coding apparatus selects a coding table to be used for entropy coding based on the adjacent information calculated from the occupancy code of the parent node in step S2524 (S2527). ).
  • the three-dimensional data coding device entropy-codes the occupancy code of the target node using the selected coding table (S2528). Further, the three-dimensional data coding device encodes coding_mode1 and limit_num_of_search as header information. Further, the three-dimensional data coding device encodes coding_mode2 for each node.
  • the three-dimensional data coding device divides each node into eight, and repeats the process of encoding the occupancy code of each node until the node cannot be divided (S2529). That is, the processes of steps S2522 to S2528 are recursively repeated.
  • FIG. 109 is a flowchart of the three-dimensional data decoding process according to the present embodiment.
  • the three-dimensional data decoding device defines a space (target node) to be decoded using the header information of the bitstream (S2531).
  • the three-dimensional data decoding device decodes the header information coding_mode1 and limit_num_of_search.
  • the three-dimensional data decoding device divides the target node into eight to generate eight small spaces (nodes) (S2532).
  • the three-dimensional data decoding device calculates the adjacency information of the adjacency node of the target node from the occupancy code of the parent node of the target node (S2533).
  • the three-dimensional data decoding device determines whether or not to perform the search process by confirming the decoding mode corresponding to the coding mode (S2534). For example, the three-dimensional data decoding device determines that (1) when coding_mode1 is 1, or (2) when coding_mode1 is 2 and coding_mode2 is 1, search processing is performed (Yes in S2534). In other cases, it is determined that the search process is not performed (No in S2534). Further, the three-dimensional data decoding device decodes coding_mode2, for example, for each node.
  • the 3D data decoding device may determine whether or not the node needs to be searched for an adjacent node (value of coding_mode2) by using the same processing as the processing in the 3D data coding device. For example, the three-dimensional data decoding device estimates from the occupancy code of the parent node whether or not the node needs to be searched for the adjacent node. For example, if the occupancy information of the three adjacent nodes calculated from the occupancy code of the parent node is all 1, there is a high possibility that the other adjacent nodes are also occupied. Therefore, the three-dimensional data decoding device determines that the search for the adjacent node is necessary (the value of coding_mode2 is 1). Further, when estimating coding_mode2, the three-dimensional data decoding device does not have to decode coding_mode2.
  • the 3D data decoding device acquires the remaining adjacent information by searching the information of the decoded node. For example, when the value of limit_num_of_search is not 0 (there is no limit on the number of searches), the three-dimensional data decoding device searches for an adjacent node while limiting the number of searches according to the value. Further, the three-dimensional data decoding device integrates the adjacency information calculated from the occupancy code of the parent node and the adjacency information acquired by the search process (S2535). Next, the three-dimensional data decoding device selects a coding table to be used for entropy decoding based on the adjacency information generated in step S2535 (S2536).
  • the three-dimensional data decoding device encodes the adjacency information calculated from the occupancy code of the parent node in step S2533 and the entropy decoding used for the entropy decoding based on the adjacency information acquired in the search process. Select a table (S2536).
  • the three-dimensional data decoding device entropy-decodes the occupancy code of the target node using the selected coding table (S2537).
  • the three-dimensional data decoding device divides each node into eight, and repeats the process of decoding the occupancy code of each node until the node cannot be divided (S2538). That is, the processes of steps S2532 to S2537 are recursively repeated.
  • the node to be searched is a coded node, but the node to be searched is not necessarily limited to this.
  • the three-dimensional data encoding device acquires the information of the adjacent nodes of all the nodes belonging to the same layer by searching by the method described in this embodiment, and then obtains the acquired information of the adjacent nodes. It may be used to encode the occupancy code of each node.
  • the three-dimensional data coding apparatus performs the process shown in FIG. 110.
  • the three-dimensional data coding device encodes the information of the target node included in the N (N is an integer of 2 or more) branch tree structure of a plurality of three-dimensional points included in the three-dimensional data.
  • the three-dimensional data coding apparatus encodes the first information (for example, limit_num_of_search) indicating the range of the adjacent node that can be referred to among the plurality of adjacent nodes spatially adjacent to the target node (S2541). ),
  • the target node is encoded with reference to the adjacent node within the range (S2542).
  • the three-dimensional data coding device can limit the adjacent nodes that can be referred to, so that the processing amount can be reduced.
  • the three-dimensional data coding device selects a coding table based on whether or not a three-dimensional point exists in an adjacent node within the range, and uses the selected coding table. , Entropy-code the information of the target node (for example, the occupancy code).
  • the three-dimensional data coding device searches for information on the adjacent node that can be referred to among a plurality of adjacent nodes spatially adjacent to the target node, and the first information described is the information in the search. Shows the range.
  • the three-dimensional data encoding device searches for information of a plurality of nodes in a predetermined order, and the first information indicates the number of nodes to be searched (for example, a search threshold).
  • the Morton code index is used.
  • the three-dimensional data coding device encodes the second information (coding_mode1) indicating whether or not the range of the adjacent node that can be referred to is limited in the coding, and the adjacent node that can be referred to by the second information. If it is indicated that the range of is limited, the first information is encoded.
  • coding_mode1 the second information indicating whether or not the range of the adjacent node that can be referred to is limited in the coding, and the adjacent node that can be referred to by the second information. If it is indicated that the range of is limited, the first information is encoded.
  • the range of the adjacent nodes that can be referred to differs depending on the layer to which the target node belongs in the N-branch structure.
  • the three-dimensional data encoding device includes a processor and a memory, and the processor uses the memory to perform the above processing.
  • the three-dimensional data decoding device performs the process shown in FIG. 111.
  • the three-dimensional data decoding device decodes the information of the target node included in the N (N is an integer of 2 or more) branch tree structure of a plurality of three-dimensional points included in the three-dimensional data.
  • the three-dimensional data decoding device decodes the first information (for example, limit_num_of_search) indicating the range of the adjacent node that can be referred to among the plurality of adjacent nodes spatially adjacent to the target node from the bit stream (for example, S2551), the target node is decoded with reference to the adjacent node within the range (S2552).
  • the first information for example, limit_num_of_search
  • the three-dimensional data decoding device can limit the adjacent nodes that can be referred to, so that the processing amount can be reduced.
  • the three-dimensional data decoding device selects a coding table based on whether or not a three-dimensional point exists in an adjacent node within the range, and uses the selected coding table to make a target. Entropy-decodes node information (eg, an occupancy code).
  • node information eg, an occupancy code
  • the three-dimensional data decoding device searches for information on a referenceable adjacent node among a plurality of adjacent nodes spatially adjacent to the target node, and the first information describes the range of the search. show.
  • the three-dimensional data decoding device searches for information on a plurality of nodes in a predetermined order, and the first information indicates the number of nodes to be searched (for example, a search threshold).
  • the Morton code index is used.
  • the three-dimensional data decoding device decodes the second information (coding_mode1) indicating whether or not the range of the adjacent node that can be referred to is limited in the decoding, and the range of the adjacent node that can be referred to by the second information. If it is indicated that a restriction is placed on the first information, the first information is decoded.
  • coding_mode1 the second information indicating whether or not the range of the adjacent node that can be referred to is limited in the decoding, and the range of the adjacent node that can be referred to by the second information. If it is indicated that a restriction is placed on the first information, the first information is decoded.
  • the range of the adjacent nodes that can be referred to differs depending on the layer to which the target node belongs in the N-branch structure.
  • the three-dimensional data decoding device includes a processor and a memory, and the processor uses the memory to perform the above processing.
  • FIG. 112 is a diagram showing a reference relationship in the spatial region according to the present embodiment.
  • a referenceable area may be set as an area in which a referenceable parent-adjacent node is located when the node is encoded.
  • the refer_available_area is set and the node (node) in the area indicated by the refer_available_area, the parent. It is possible to refer to it as an adjacent node, and if it is a node outside the area, it may be prohibited to refer to it as a parent adjacent node.
  • the referenceable area may be changed according to the depth information (depth) when the position information is encoded by the N (N: integer of 2 or more, more specifically, a power of 2) branch tree. good.
  • depth depth
  • N integer of 2 or more, more specifically, a power of 2
  • the referenceable area may be increased as the value indicated by depth becomes larger.
  • the three-dimensional data encoding device can encode the node with reference to a certain range even if the value indicated by the depth becomes large and the size of the node (that is, the amount of data of the node) becomes small. .. Therefore, the three-dimensional data coding device can improve the coding efficiency while reducing the processing amount when coding the information of the node.
  • the three-dimensional data coding device may reduce the referenceable area as the value indicated by depth increases when the data is coded using the octal representation.
  • the three-dimensional data encoding device can reduce the amount of information (data amount) of the parent adjacent node that should be held as a referenceable area as the value indicated by depth increases and the size of the node decreases, and the amount of memory can be reduced. Can be suppressed.
  • the space surrounded by the broken line is a reference area.
  • the area indicated by hatching indicates a node that is occupied, and the area indicated by the dotted line indicates a node that is not occupied.
  • the parent-adjacent node if the parent-adjacent node is in the same referable area as the node, the parent-adjacent node can be referred to, and if the parent-adjacent node is outside the same referable area as the node. , The parent adjacent node may be prohibited from reference.
  • refer_available_area does not have to be 4, but may be 1 or 2, or 5 or more.
  • FIG. 113 is a diagram showing a reference relationship in the octal tree structure according to the present embodiment.
  • FIG. 114 is a diagram showing a reference relationship between a target node and an adjacent node in the spatial region according to the present embodiment.
  • the three-dimensional data coding device encodes the coding information of the node to be coded shown in FIG. 113 (hereinafter, referred to as a target node 2 (target node 2) in the description of FIGS. 113 and 114), the three-dimensional data coding device is used.
  • Limit_refer_flag 0, refer to the encoding information of each node (child node of the parent adjacent node) in the parent adjacent node (parent neighbor node) adjacent to the parent node (partent node) to which the target node 2 belongs. You may.
  • the coded information is, for example, node occupancy information (for example, occupation code).
  • the occupancy information is, for example, information indicating whether or not each node in the parent node to which the node belongs includes a point cloud.
  • the three-dimensional data encoding device is adjacent to the parent node to which the target node 2 belongs when encoding the occupancy code (10000101 in the example of FIG. 113) of the target node 2 shown in FIG. 113.
  • the occupancy code of the target node shown in FIG. 113 indicates, for example, whether or not each node in the target node adjacent to the target node 2 is occupied (that is, a point cloud exists). ..
  • the nodes X1, X2, X3, and X4, which are child nodes of the target node are coupled, and the three-dimensional data coding device can refer to the node when the target node 2 is encoded. ..
  • the three-dimensional data coding device can switch the coding table of the occupancy code of the target node 2 according to the fine shape of the target node. Therefore, the three-dimensional data coding device can improve the efficiency of coding the information of the target node (for example, coding the occupancy information of the target node).
  • the three-dimensional data coding device may calculate a coding table (CodingTable) for entropy-coding the occupancy code of the target node 2, for example, by using the following formula.
  • CodingTable a coding table for entropy-coding the occupancy code of the target node 2
  • CodingTable (FlagX1 ⁇ 5) + (FlagX2 ⁇ 4) + (FlagX3 ⁇ 3) + (FlagX4 ⁇ 2) + (FlagY ⁇ 1) + (FlagZ)
  • the Coding Table is a coding table for coding the occupancy code of the target node 2.
  • the value indicated by the coding table is, for example, any value from 0 to 63.
  • Flag Y is information indicating whether or not the adjacent node Y includes a point cloud. For example, FlagY indicates 1 if the adjacent node Y contains a point cloud, and 0 if the adjacent node Y does not include a point cloud.
  • FlagZ is information indicating whether or not the adjacent node Z includes a point cloud. For example, FlagZ indicates 1 if the adjacent node Z contains a point cloud, and 0 if the adjacent node Z does not include a point cloud.
  • the method of calculating the coded table may be changed according to the position of the target node 2 in the parent node.
  • limit_refer_flag 1
  • the coding information of the adjacent node in the parent node may be referred to as described above.
  • FIG. 115 is a diagram showing the relationship between the target node and the adjacent node in the spatial area according to the present embodiment.
  • the area indicated by hatching is the target node
  • the area surrounded by the dotted line is the adjacent node.
  • the value of the coded information of the target node may be predicted (intra prediction) by using the adjacent node of. As shown in FIG. 115, for example, the three-dimensional data coding device predicts the value of the coding information of the target node by using the coding information of 26 adjacent nodes adjacent to the target node.
  • the 26 adjacent nodes are, for example, the number of adjacent nodes (3 ⁇ 3 ⁇ 3-1 (target node itself)) with respect to the omnidirectional direction of the target node (in other words, each direction when viewed from the target node). You may.
  • the three-dimensional data coding device predicts the coding information of the target node, for example, indicates information indicating whether or not the adjacent node is weighted (for example, 1 is indicated if it is occupied, and 0 is indicated if it is not occupied). Information) is weighted and added, and if the value indicated by the weighted and added information is equal to or greater than the threshold value, it is predicted that the target node is occupied and encoded. For example, the three-dimensional data coding device predicts that the target node is occupied and the target node is not occupied in the coding table for arithmetically coding the occupancy code of the target node. Switch with.
  • the three-dimensional data coding device can improve the coding efficiency of the information of the target node.
  • the three-dimensional data coding device predicts the coding information of the target node, when weighting and adding information indicating whether or not the adjacent node is occupied, the position information between the target node and each adjacent node is added.
  • the weight may be determined based on. For example, the three-dimensional data encoding device may calculate distance information indicating the Euclidean distance between the target node and each adjacent node, and the smaller the value indicated by the calculated distance information, the larger the weight. ..
  • the three-dimensional data coding device can improve the prediction accuracy and the coding efficiency.
  • intra-prediction may be performed from an adjacent node in the parent node to which the target node, which is the node to be encoded, belongs.
  • the number of adjacent nodes is not limited to the above 26.
  • the number of adjacent nodes may be increased by expanding the reference range more extensively.
  • the 3D data coding device can improve the accuracy of intra-prediction and improve the coding efficiency.
  • the three-dimensional data encoding device does not need to refer to the adjacent node located outside the range of the reference area at the time of the intra prediction. good.
  • the three-dimensional data coding device may determine that the adjacent node located outside the range of the reference area is not occupied if the adjacent node referred to in the intra prediction is outside the referenceable area shown in FIG. 112. good.
  • the three-dimensional data coding device can appropriately balance the reduction of the processing amount and the memory amount with the improvement of the coding efficiency.
  • FIG. 116 is a diagram showing an example of syntax of header information according to the present embodiment.
  • limit_refer_flag By controlling the value of limit_refer_flag, it is possible to appropriately switch between the reduction of the processing amount and the improvement of the coding efficiency in the three-dimensional data coding apparatus.
  • Log2_refer_available_area_minus1 is information for calculating a referenceable area (refer_availabe_area).
  • the three-dimensional data coding device may calculate the referenceable area (refer_available_area) by using the following formula.
  • the three-dimensional data encoding device may entropy-code the limited_refer_flag, log2_refer_available_area_minus1, parent_neighbor_child_refer_flag, and intra_pred_flag generated by the above method.
  • the three-dimensional data coding device may, for example, binarize these values and perform arithmetic coding.
  • the octad tree structure is shown as an example, but the present invention is not limited to this, and any tree structure such as a quadtree, a quadtree, etc. may be applied.
  • a three-dimensional data coding device is used for a coding tool that encodes a target node to be coded by using coding information possessed by a parent-adjacent node or a child node of the parent-adjacent node.
  • Limit_refer_flag 1, it is not necessary to add information about the coding tool to the header or the like.
  • limit_refer_flag 1 and the information about the coding tool is not added to the header or the like, the information indicating whether the coding tool is valid or invalid may be set as invalid. ..
  • limit_refer_flag 1
  • the three-dimensional data decoding device invalidates the coding tool even if the header or the like does not contain information indicating whether the coding tool is valid or invalid. Can be determined to be.
  • the three-dimensional data coding apparatus performs the process shown in FIG. 117.
  • FIG. 117 is a flowchart showing a processing procedure of the three-dimensional data coding apparatus according to the present embodiment.
  • the three-dimensional data coding device encodes the information of the target node included in the N (N is an integer of 2 or more) branch tree structure of a plurality of three-dimensional points included in the three-dimensional data (S11701).
  • N is an integer of 2 or more
  • the reference restriction information indicating whether or not the target node and the parent node are allowed to refer to the information of the different first node is used. Encode the target node.
  • the target node is, for example, the above-mentioned Target node.
  • the adjacent node is, for example, the above-mentioned neighborhood node.
  • the parent node is, for example, the above-mentioned parent node.
  • the first node is, for example, the above-mentioned parent adjacent node (parent neighbor node).
  • the target node information is, for example, the above-mentioned occupied information (information indicating whether or not the space of the target node is occupied).
  • the information of the first node is, for example, the above-mentioned occupied information (information indicating whether or not the space of the first node is occupied).
  • the reference restriction information is, for example, the above-mentioned limit_refer_flag.
  • the coding processing information is, for example, information indicating whether or not the above-mentioned parent_neighbor_child_refer has been executed (partent_neighbor_child_refer_flag) or information indicating whether or not the intra prediction has been executed (intra_pred_flag).
  • the three-dimensional data encoding device generates a bit stream containing the coded information of the target node (S11702).
  • a bit stream including the above-mentioned reference restriction information is generated.
  • a bit stream including the coding processing information indicating the processing method in the coding is further generated.
  • the target node is encoded without referring to the information of the first node
  • the three-dimensional data encoding device generates a bit stream without including the coding processing information.
  • the amount of data in the bitstream can be set according to whether or not the target node is encoded by referring to the information of the first node. That is, according to the three-dimensional data coding method, the amount of data in the generated bitstream can be appropriately reduced.
  • the coding processing information includes reference information indicating whether or not the information of the child node of the first node is referred to in the above coding (S11701).
  • the reference information is, for example, the above-mentioned partner_neighbor_child_refer_flag.
  • the coding process information includes the intra prediction information indicating whether or not the intra prediction process for calculating the information of the target node is executed using the plurality of adjacent nodes in the above coding (S11701).
  • the intra prediction information is, for example, the above-mentioned intra_pred_flag.
  • a three-dimensional data decoding device that decodes the coded information of the target node can decode the information of the appropriately encoded target node based on the reference information or the intra prediction information.
  • the three-dimensional data encoding device includes a processor and a memory, and the processor uses the memory to perform the above processing.
  • a control program that performs the above processing may be stored in the memory.
  • the three-dimensional data decoding device performs the process shown in FIG. 118.
  • FIG. 118 is a flowchart showing a processing procedure of the three-dimensional data decoding device according to the present embodiment.
  • the three-dimensional data decoding device includes the coded information of the target node included in the N (N is an integer of 2 or more) branch tree structure of a plurality of three-dimensional points included in the three-dimensional data, and the target node.
  • N is an integer of 2 or more
  • branch tree structure of a plurality of three-dimensional points included in the three-dimensional data
  • the target node Among a plurality of adjacent nodes that are spatially adjacent to each other, a bit stream including reference restriction information indicating whether or not to allow reference to information of a first node in which the target node and the parent node are different is acquired (S11711).
  • the three-dimensional data decoding device decodes the encoded information contained in the bit stream (S11712).
  • the three-dimensional data decoding apparatus indicates that the reference restriction information permits the reference of the information of the first node in the decoding (step S11712)
  • the processing method in the coding of the encoded information included in the bit stream When decoding is performed with reference to the information of the first node based on the coding processing information indicating that the reference restriction information does not allow the reference of the information of the first node, the information of the first node is not referred to. Decrypt to.
  • the information of the target node can be appropriately decoded.
  • the coding processing information includes reference information indicating whether or not the information of the child node of the first node is referred to in the coding of the coded information.
  • the coding processing information includes intra prediction information indicating whether or not the intra prediction processing for calculating the information of the target node using a plurality of adjacent nodes is executed in the coded information.
  • the three-dimensional data decoding device includes a processor and a memory, and the processor uses the memory to perform the above processing.
  • a control program that performs the above processing may be stored in the memory.
  • FIG. 119 is a block diagram showing a configuration example of the three-dimensional data creation device 810 according to the present embodiment.
  • the three-dimensional data creation device 810 is mounted on a vehicle, for example.
  • the three-dimensional data creation device 810 transmits and receives three-dimensional data to and from an external traffic monitoring cloud, a vehicle in front or a following vehicle, and creates and stores three-dimensional data.
  • the three-dimensional data creation device 810 includes a data reception unit 811, a communication unit 812, a reception control unit 813, a format conversion unit 814, a plurality of sensors 815, a three-dimensional data creation unit 816, and a three-dimensional data synthesis unit. It includes an 817, a three-dimensional data storage unit 818, a communication unit 819, a transmission control unit 820, a format conversion unit 821, and a data transmission unit 822.
  • the data receiving unit 811 receives the three-dimensional data 831 from the traffic monitoring cloud or the vehicle in front.
  • the three-dimensional data 831 includes, for example, information such as a point cloud, a visible light image, depth information, sensor position information, or speed information, which includes a region that cannot be detected by the sensor 815 of the own vehicle.
  • the communication unit 812 communicates with the traffic monitoring cloud or the vehicle in front, and transmits a data transmission request or the like to the traffic monitoring cloud or the vehicle in front.
  • the reception control unit 813 exchanges information such as the corresponding format with the communication destination via the communication unit 812, and establishes communication with the communication destination.
  • the format conversion unit 814 generates the three-dimensional data 832 by performing format conversion or the like on the three-dimensional data 831 received by the data reception unit 811. Further, the format conversion unit 814 performs decompression or decoding processing when the three-dimensional data 831 is compressed or encoded.
  • the plurality of sensors 815 are a group of sensors that acquire information outside the vehicle, such as a LiDAR, a visible light camera, or an infrared camera, and generate sensor information 833.
  • the sensor information 833 is three-dimensional data such as a point cloud (point cloud data) when the sensor 815 is a laser sensor such as LiDAR.
  • the number of sensors 815 does not have to be plural.
  • the 3D data creation unit 816 generates 3D data 834 from the sensor information 833.
  • the three-dimensional data 834 includes information such as point cloud, visible light image, depth information, sensor position information, speed information, and the like.
  • the three-dimensional data synthesizing unit 817 synthesizes the three-dimensional data 834 created based on the sensor information 833 of the own vehicle with the three-dimensional data 832 created by the traffic monitoring cloud or the vehicle in front of the vehicle, thereby synthesizing the three-dimensional data 832 of the own vehicle.
  • the three-dimensional data storage unit 818 stores the generated three-dimensional data 835 and the like.
  • the communication unit 819 communicates with the traffic monitoring cloud or the following vehicle, and transmits a data transmission request or the like to the traffic monitoring cloud or the following vehicle.
  • the transmission control unit 820 exchanges information such as compatible formats with the communication destination via the communication unit 819, and establishes communication with the communication destination. Further, the transmission control unit 820 is in the space of the three-dimensional data to be transmitted based on the three-dimensional data construction information of the three-dimensional data 832 generated by the three-dimensional data synthesis unit 817 and the data transmission request from the communication destination. Determine a transmission area.
  • the transmission control unit 820 determines a transmission area including a space in front of the own vehicle that cannot be detected by the sensor of the following vehicle in response to a data transmission request from the traffic monitoring cloud or the following vehicle. Further, the transmission control unit 820 determines the transmission area by determining whether or not the space that can be transmitted or the transmitted space has been updated based on the three-dimensional data construction information. For example, the transmission control unit 820 determines an area designated by the data transmission request and in which the corresponding three-dimensional data 835 exists as the transmission area. Then, the transmission control unit 820 notifies the format conversion unit 821 of the format corresponding to the communication destination and the transmission area.
  • the format conversion unit 821 converts the 3D data 836 in the transmission area out of the 3D data 835 stored in the 3D data storage unit 818 into a format supported by the receiving side to convert the 3D data 837. Generate.
  • the format conversion unit 821 may reduce the amount of data by compressing or encoding the three-dimensional data 837.
  • the data transmission unit 822 transmits the three-dimensional data 837 to the traffic monitoring cloud or the following vehicle.
  • the three-dimensional data 837 includes information such as a point cloud in front of the own vehicle, a visible light image, depth information, or sensor position information, including a region that becomes a blind spot of the following vehicle, for example.
  • the format conversion may not be performed.
  • the three-dimensional data creation device 810 acquires the three-dimensional data 831 in the area that cannot be detected by the sensor 815 of the own vehicle from the outside, and the sensor information 833 detected by the three-dimensional data 831 and the sensor 815 of the own vehicle.
  • the three-dimensional data 835 is generated by synthesizing the three-dimensional data 834 based on the above.
  • the three-dimensional data creation device 810 can generate three-dimensional data in a range that cannot be detected by the sensor 815 of the own vehicle.
  • the three-dimensional data creation device 810 obtains three-dimensional data including the space in front of the own vehicle, which cannot be detected by the sensor of the following vehicle, in the traffic monitoring cloud or the following in response to the data transmission request from the traffic monitoring cloud or the following vehicle. Can be sent to vehicles, etc.
  • FIG. 120 is a flowchart showing an example of a procedure for transmitting three-dimensional data to a traffic monitoring cloud or a following vehicle by the three-dimensional data creation device 810.
  • the three-dimensional data creation device 810 generates and updates three-dimensional data 835 of the space including the space on the road ahead of the own vehicle (S801). Specifically, the three-dimensional data creation device 810 synthesizes the three-dimensional data 834 created based on the sensor information 833 of the own vehicle with the three-dimensional data 831 created by the traffic monitoring cloud or the vehicle in front. Therefore, the three-dimensional data 835 including the space in front of the vehicle in front, which cannot be detected by the sensor 815 of the own vehicle, is constructed.
  • the three-dimensional data creation device 810 determines whether the three-dimensional data 835 included in the transmitted space has changed (S802).
  • the 3D data creation device 810 changes.
  • the three-dimensional data including the three-dimensional data 835 of the generated space is transmitted to the traffic monitoring cloud or the following vehicle (S803).
  • the three-dimensional data creation device 810 may transmit the three-dimensional data in the space where the change has occurred at the transmission timing of the three-dimensional data to be transmitted at predetermined intervals, but transmit immediately after detecting the change. You may. That is, the three-dimensional data creation device 810 may transmit the three-dimensional data in the space where the change has occurred with priority over the three-dimensional data transmitted at predetermined intervals.
  • the three-dimensional data creation device 810 may transmit all the three-dimensional data of the changed space as the three-dimensional data of the changed space, or the difference (for example, appearance or disappearance) of the three-dimensional data. Only the information of the three-dimensional point, the displacement information of the three-dimensional point, etc.) may be transmitted.
  • the three-dimensional data creation device 810 may transmit metadata related to the danger avoidance operation of the own vehicle such as a sudden braking warning to the following vehicle prior to the three-dimensional data of the space where the change has occurred.
  • the following vehicle can recognize the sudden braking of the preceding vehicle at an early stage, and can start the danger avoidance operation such as deceleration at an earlier stage.
  • the three-dimensional data creation device 810 When the three-dimensional data 835 included in the transmitted space has not changed (No in S802), or after step S803, the three-dimensional data creation device 810 has a predetermined shape at a distance L in front of the own vehicle.
  • the three-dimensional data contained in the space of is transmitted to the traffic monitoring cloud or the following vehicle (S804).
  • steps S801 to S804 are repeatedly performed at predetermined time intervals.
  • the three-dimensional data creation device 810 does not have to transmit the three-dimensional data 837 of the space if there is no difference between the three-dimensional data 835 of the space currently to be transmitted and the three-dimensional map.
  • the client device transmits the sensor information obtained by the sensor to the server or another client device.
  • FIG. 121 is a diagram showing a configuration of a three-dimensional map and a sensor information transmission / reception system according to the present embodiment.
  • the system includes a server 901 and client devices 902A and 902B.
  • client devices 902A and 902B are not particularly distinguished, they are also referred to as the client devices 902.
  • the client device 902 is, for example, an in-vehicle device mounted on a moving body such as a vehicle.
  • the server 901 is, for example, a traffic monitoring cloud or the like, and can communicate with a plurality of client devices 902.
  • the server 901 transmits a three-dimensional map composed of a point cloud to the client device 902.
  • the configuration of the three-dimensional map is not limited to the point cloud, and may represent other three-dimensional data such as a mesh structure.
  • the client device 902 transmits the sensor information acquired by the client device 902 to the server 901.
  • the sensor information includes, for example, at least one of LiDAR acquisition information, visible light image, infrared image, depth image, sensor position information, and speed information.
  • the data sent and received between the server 901 and the client device 902 may be compressed to reduce the data, or may remain uncompressed to maintain the accuracy of the data.
  • a three-dimensional compression method based on an octa-tree structure can be used for the point cloud.
  • a two-dimensional image compression method can be used for visible light images, infrared images, and depth images.
  • the two-dimensional image compression method is, for example, MPEG-4 AVC or HEVC standardized by MPEG.
  • the server 901 transmits the three-dimensional map managed by the server 901 to the client device 902 in response to the transmission request of the three-dimensional map from the client device 902.
  • the server 901 may transmit the three-dimensional map without waiting for the transmission request of the three-dimensional map from the client device 902.
  • the server 901 may broadcast a three-dimensional map to one or more client devices 902 in a predetermined space.
  • the server 901 may transmit a three-dimensional map suitable for the position of the client device 902 to the client device 902 once receiving the transmission request at regular intervals.
  • the server 901 may transmit the three-dimensional map to the client device 902 every time the three-dimensional map managed by the server 901 is updated.
  • the client device 902 issues a three-dimensional map transmission request to the server 901. For example, when the client device 902 wants to perform self-position estimation during traveling, the client device 902 transmits a transmission request for a three-dimensional map to the server 901.
  • the client device 902 may issue a three-dimensional map transmission request to the server 901.
  • the client device 902 may issue a transmission request for the three-dimensional map to the server 901.
  • the client device 902 may issue a three-dimensional map transmission request to the server 901.
  • the client device 902 may issue a three-dimensional map transmission request to the server 901 before a certain time when the client device 902 goes out. For example, when the client device 902 exists within a predetermined distance from the boundary of the space indicated by the three-dimensional map held by the client device 902, the client device 902 issues a three-dimensional map transmission request to the server 901. You may. If the movement route and movement speed of the client device 902 are known, the time when the client device 902 goes out is predicted from the space shown by the three-dimensional map held by the client device 902. You may.
  • the client device 902 may issue a three-dimensional map transmission request to the server 901.
  • the client device 902 transmits the sensor information to the server 901 in response to the transmission request for the sensor information transmitted from the server 901.
  • the client device 902 may send the sensor information to the server 901 without waiting for the sensor information transmission request from the server 901. For example, once the client device 902 receives the sensor information transmission request from the server 901, the client device 902 may periodically transmit the sensor information to the server 901 for a certain period of time. Further, when the error at the time of alignment between the three-dimensional data created by the client device 902 based on the sensor information and the three-dimensional map obtained from the server 901 is equal to or more than a certain value, the client device 902 is located around the client device 902. It may be determined that the three-dimensional map may have changed, and that fact and the sensor information may be transmitted to the server 901.
  • the server 901 issues a sensor information transmission request to the client device 902.
  • the server 901 receives the position information of the client device 902 such as GPS from the client device 902.
  • the server 901 determines that the client device 902 is approaching a space with little information in the three-dimensional map managed by the server 901 based on the position information of the client device 902
  • the server 901 determines that the client device 902 is approaching a space with little information, and the client is required to generate a new three-dimensional map.
  • a request for transmission of sensor information is sent to the device 902.
  • the server 901 issues a sensor information transmission request when it wants to update the three-dimensional map, when it wants to check the road condition such as when it snows or when there is a disaster, when it wants to check the traffic jam situation, or when it wants to check the incident accident situation. May be good.
  • the client device 902 may set the data amount of the sensor information to be transmitted to the server 901 according to the communication state or the band at the time of receiving the transmission request of the sensor information received from the server 901. Setting the amount of sensor information to be transmitted to the server 901 means, for example, increasing or decreasing the data itself, or appropriately selecting a compression method.
  • FIG. 122 is a block diagram showing a configuration example of the client device 902.
  • the client device 902 receives a three-dimensional map composed of a point cloud or the like from the server 901, and estimates the self-position of the client device 902 from the three-dimensional data created based on the sensor information of the client device 902. Further, the client device 902 transmits the acquired sensor information to the server 901.
  • the client device 902 includes a data reception unit 1011, a communication unit 1012, a reception control unit 1013, a format conversion unit 1014, a plurality of sensors 1015, a three-dimensional data creation unit 1016, and a three-dimensional image processing unit 1017. It includes a three-dimensional data storage unit 1018, a format conversion unit 1019, a communication unit 1020, a transmission control unit 1021, and a data transmission unit 1022.
  • the data receiving unit 1011 receives the three-dimensional map 1031 from the server 901.
  • the three-dimensional map 1031 is data including a point cloud such as WLD or SWLD.
  • the three-dimensional map 1031 may include either compressed data or uncompressed data.
  • the communication unit 1012 communicates with the server 901 and transmits a data transmission request (for example, a three-dimensional map transmission request) or the like to the server 901.
  • a data transmission request for example, a three-dimensional map transmission request
  • the reception control unit 1013 exchanges information such as the corresponding format with the communication destination via the communication unit 1012, and establishes communication with the communication destination.
  • the format conversion unit 1014 generates the three-dimensional map 1032 by performing format conversion or the like on the three-dimensional map 1031 received by the data receiving unit 1011. Further, the format conversion unit 1014 performs decompression or decoding processing when the three-dimensional map 1031 is compressed or encoded. If the three-dimensional map 1031 is uncompressed data, the format conversion unit 1014 does not perform decompression or decoding processing.
  • the plurality of sensors 1015 are a group of sensors that acquire information outside the vehicle on which the client device 902 is mounted, such as a LiDAR, a visible light camera, an infrared camera, or a depth sensor, and generate sensor information 1033.
  • the sensor information 1033 is three-dimensional data such as a point cloud (point cloud data) when the sensor 1015 is a laser sensor such as LiDAR.
  • the number of sensors 1015 does not have to be plural.
  • the three-dimensional data creation unit 1016 creates three-dimensional data 1034 around the own vehicle based on the sensor information 1033. For example, the three-dimensional data creation unit 1016 creates point cloud data with color information around the own vehicle using the information acquired by LiDAR and the visible light image obtained by the visible light camera.
  • the three-dimensional image processing unit 1017 performs self-position estimation processing of the own vehicle using the received three-dimensional map 1032 such as a point cloud and the three-dimensional data 1034 around the own vehicle generated from the sensor information 1033. ..
  • the three-dimensional image processing unit 1017 creates three-dimensional data 1035 around the own vehicle by synthesizing the three-dimensional map 1032 and the three-dimensional data 1034, and estimates the self-position using the created three-dimensional data 1035. Processing may be performed.
  • the three-dimensional data storage unit 1018 stores the three-dimensional map 1032, the three-dimensional data 1034, the three-dimensional data 1035, and the like.
  • the format conversion unit 1019 generates the sensor information 1037 by converting the sensor information 1033 into a format supported by the receiving side.
  • the format conversion unit 1019 may reduce the amount of data by compressing or encoding the sensor information 1037. Further, the format conversion unit 1019 may omit the process when it is not necessary to perform the format conversion. Further, the format conversion unit 1019 may control the amount of data to be transmitted according to the designation of the transmission range.
  • the communication unit 1020 communicates with the server 901 and receives a data transmission request (sensor information transmission request) or the like from the server 901.
  • the transmission control unit 1021 exchanges information such as the corresponding format with the communication destination via the communication unit 1020 to establish communication.
  • the data transmission unit 1022 transmits the sensor information 1037 to the server 901.
  • the sensor information 1037 includes a plurality of sensors such as information acquired by LiDAR, a brightness image acquired by a visible light camera, an infrared image acquired by an infrared camera, a depth image acquired by a depth sensor, sensor position information, and speed information. Contains information acquired by 1015.
  • FIG. 123 is a block diagram showing a configuration example of the server 901.
  • the server 901 receives the sensor information transmitted from the client device 902, and creates three-dimensional data based on the received sensor information.
  • the server 901 updates the three-dimensional map managed by the server 901 by using the created three-dimensional data. Further, the server 901 transmits the updated three-dimensional map to the client device 902 in response to the transmission request of the three-dimensional map from the client device 902.
  • the server 901 includes a data reception unit 1111, a communication unit 1112, a reception control unit 1113, a format conversion unit 1114, a three-dimensional data creation unit 1116, a three-dimensional data synthesis unit 1117, and a three-dimensional data storage unit 1118. , A format conversion unit 1119, a communication unit 1120, a transmission control unit 1121, and a data transmission unit 1122.
  • the data receiving unit 1111 receives the sensor information 1037 from the client device 902.
  • the sensor information 1037 includes, for example, information acquired by LiDAR, a brightness image acquired by a visible light camera, an infrared image acquired by an infrared camera, a depth image acquired by a depth sensor, sensor position information, speed information, and the like.
  • the communication unit 1112 communicates with the client device 902 and transmits a data transmission request (for example, a sensor information transmission request) or the like to the client device 902.
  • a data transmission request for example, a sensor information transmission request
  • the reception control unit 1113 exchanges information such as the corresponding format with the communication destination via the communication unit 1112 to establish communication.
  • the format conversion unit 1114 When the received sensor information 1037 is compressed or encoded, the format conversion unit 1114 generates sensor information 1132 by performing decompression or decoding processing. If the sensor information 1037 is uncompressed data, the format conversion unit 1114 does not perform decompression or decoding processing.
  • the three-dimensional data creation unit 1116 creates three-dimensional data 1134 around the client device 902 based on the sensor information 1132. For example, the three-dimensional data creation unit 1116 creates point cloud data with color information around the client device 902 using the information acquired by LiDAR and the visible light image obtained by the visible light camera.
  • the 3D data synthesis unit 1117 updates the 3D map 1135 by synthesizing the 3D data 1134 created based on the sensor information 1132 with the 3D map 1135 managed by the server 901.
  • the 3D data storage unit 1118 stores the 3D map 1135 and the like.
  • the format conversion unit 1119 generates the 3D map 1031 by converting the 3D map 1135 into a format supported by the receiving side.
  • the format conversion unit 1119 may reduce the amount of data by compressing or encoding the three-dimensional map 1135. Further, the format conversion unit 1119 may omit the process when it is not necessary to perform the format conversion. Further, the format conversion unit 1119 may control the amount of data to be transmitted according to the designation of the transmission range.
  • the communication unit 1120 communicates with the client device 902 and receives a data transmission request (three-dimensional map transmission request) or the like from the client device 902.
  • the transmission control unit 1121 exchanges information such as the corresponding format with the communication destination via the communication unit 1120 to establish communication.
  • the data transmission unit 1122 transmits the three-dimensional map 1031 to the client device 902.
  • the three-dimensional map 1031 is data including a point cloud such as WLD or SWLD.
  • the three-dimensional map 1031 may include either compressed data or uncompressed data.
  • FIG. 124 is a flowchart showing an operation when the client device 902 acquires a three-dimensional map.
  • the client device 902 requests the server 901 to transmit a three-dimensional map (point cloud, etc.) (S1001). At this time, the client device 902 may request the server 901 to transmit a three-dimensional map related to the position information by transmitting the position information of the client device 902 obtained by GPS or the like together.
  • a three-dimensional map point cloud, etc.
  • the client device 902 receives the three-dimensional map from the server 901 (S1002). If the received 3D map is compressed data, the client device 902 decodes the received 3D map to generate an uncompressed 3D map (S1003).
  • the client device 902 creates three-dimensional data 1034 around the client device 902 from the sensor information 1033 obtained by the plurality of sensors 1015 (S1004).
  • the client device 902 estimates the self-position of the client device 902 using the three-dimensional map 1032 received from the server 901 and the three-dimensional data 1034 created from the sensor information 1033 (S1005).
  • FIG. 125 is a flowchart showing the operation when the sensor information is transmitted by the client device 902.
  • the client device 902 receives the sensor information transmission request from the server 901 (S1011).
  • the client device 902 transmits the sensor information 1037 to the server 901 (S1012).
  • the sensor information 1033 includes a plurality of information obtained by the plurality of sensors 1015
  • the client device 902 may generate the sensor information 1037 by compressing each information by a compression method suitable for each information. good.
  • FIG. 126 is a flowchart showing an operation when the server 901 acquires sensor information.
  • the server 901 requests the client device 902 to transmit the sensor information (S1021).
  • the server 901 receives the sensor information 1037 transmitted from the client device 902 in response to the request (S1022).
  • the server 901 creates three-dimensional data 1134 using the received sensor information 1037 (S1023).
  • the server 901 reflects the created three-dimensional data 1134 in the three-dimensional map 1135 (S1024).
  • FIG. 127 is a flowchart showing the operation at the time of transmission of the three-dimensional map by the server 901.
  • the server 901 receives the transmission request of the three-dimensional map from the client device 902 (S1031).
  • the server 901 that has received the three-dimensional map transmission request transmits the three-dimensional map 1031 to the client device 902 (S1032).
  • the server 901 may extract a three-dimensional map in the vicinity thereof according to the position information of the client device 902 and transmit the extracted three-dimensional map.
  • the server 901 may compress the three-dimensional map configured by the point cloud by using, for example, a compression method based on an octane structure, and transmit the compressed three-dimensional map.
  • the server 901 creates three-dimensional data 1134 near the position of the client device 902 using the sensor information 1037 received from the client device 902. Next, the server 901 calculates the difference between the three-dimensional data 1134 and the three-dimensional map 1135 by matching the created three-dimensional data 1134 with the three-dimensional map 1135 in the same area managed by the server 901. .. When the difference is equal to or greater than a predetermined threshold value, the server 901 determines that some abnormality has occurred in the vicinity of the client device 902. For example, when land subsidence occurs due to a natural disaster such as an earthquake, a large difference occurs between the three-dimensional map 1135 managed by the server 901 and the three-dimensional data 1134 created based on the sensor information 1037. Is possible.
  • the sensor information 1037 may include information indicating at least one of the sensor type, the sensor performance, and the sensor model number. Further, a class ID or the like corresponding to the performance of the sensor may be added to the sensor information 1037. For example, when the sensor information 1037 is the information acquired by LiDAR, the sensor that can acquire the information with the accuracy of several mm is the class 1, the sensor that can acquire the information with the accuracy of several cm is the class 2, and the sensor is the unit of several m. As in class 3, it is conceivable to assign an identifier to the performance of a sensor that can acquire information with accuracy. Further, the server 901 may estimate the performance information of the sensor or the like from the model number of the client device 902.
  • the server 901 may determine the sensor spec information from the vehicle model of the vehicle. In this case, the server 901 may acquire information on the vehicle type of the vehicle in advance, or the sensor information may include the information. Further, the server 901 may switch the degree of correction for the three-dimensional data 1134 created by using the sensor information 1037 by using the acquired sensor information 1037. For example, if the sensor performance is high accuracy (class 1), the server 901 does not make corrections to the 3D data 1134. When the sensor performance is low accuracy (class 3), the server 901 applies a correction to the three-dimensional data 1134 according to the accuracy of the sensor. For example, in the server 901, the lower the accuracy of the sensor, the stronger the degree (strength) of the correction.
  • the server 901 may issue a sensor information transmission request to a plurality of client devices 902 in a certain space at the same time.
  • the server 901 receives a plurality of sensor information from the plurality of client devices 902, it is not necessary to use all the sensor information for creating the three-dimensional data 1134.
  • the sensor to be used depends on the performance of the sensor. You may select the information.
  • the server 901 selects highly accurate sensor information (class 1) from a plurality of received sensor information, and creates three-dimensional data 1134 using the selected sensor information. You may.
  • the server 901 is not limited to a server such as a traffic monitoring cloud, and may be another client device (vehicle-mounted).
  • FIG. 128 is a diagram showing a system configuration in this case.
  • the client device 902C issues a sensor information transmission request to the nearby client device 902A, and acquires the sensor information from the client device 902A. Then, the client device 902C creates three-dimensional data using the acquired sensor information of the client device 902A, and updates the three-dimensional map of the client device 902C. As a result, the client device 902C can generate a three-dimensional map of the space that can be acquired from the client device 902A by taking advantage of the performance of the client device 902C. For example, it is considered that such a case occurs when the performance of the client device 902C is high.
  • the client device 902A that provided the sensor information is given the right to acquire the highly accurate three-dimensional map generated by the client device 902C.
  • the client device 902A receives a highly accurate 3D map from the client device 902C in accordance with its rights.
  • the client device 902C may issue a request for transmission of sensor information to a plurality of nearby client devices 902 (client device 902A and client device 902B).
  • client device 902A and client device 902B client devices 902
  • the client device 902C can create three-dimensional data using the sensor information obtained by this high-performance sensor.
  • FIG. 129 is a block diagram showing a functional configuration of the server 901 and the client device 902.
  • the server 901 includes, for example, a three-dimensional map compression / decoding processing unit 1201 that compresses and decodes a three-dimensional map, and a sensor information compression / decoding processing unit 1202 that compresses and decodes sensor information.
  • the client device 902 includes a three-dimensional map decoding processing unit 1211 and a sensor information compression processing unit 1212.
  • the three-dimensional map decoding processing unit 1211 receives the encoded data of the compressed three-dimensional map, decodes the encoded data, and acquires the three-dimensional map.
  • the sensor information compression processing unit 1212 compresses the sensor information itself instead of the three-dimensional data created from the acquired sensor information, and transmits the compressed sensor information encoded data to the server 901.
  • the client device 902 may internally hold a processing unit (device or LSI) that performs a process of decoding a three-dimensional map (point cloud, etc.), and the three-dimensional data of the three-dimensional map (point cloud, etc.). It is not necessary to hold a processing unit that performs processing for compressing. As a result, the cost and power consumption of the client device 902 can be suppressed.
  • the client device 902 is mounted on the moving body, and is obtained from the sensor information 1033 indicating the surrounding condition of the moving body obtained by the sensor 1015 mounted on the moving body. Create peripheral three-dimensional data 1034.
  • the client device 902 estimates the self-position of the moving object using the created three-dimensional data 1034.
  • the client device 902 transmits the acquired sensor information 1033 to the server 901 or another client device 902.
  • the client device 902 transmits the sensor information 1033 to the server 901 and the like.
  • the amount of transmitted data can be reduced as compared with the case of transmitting three-dimensional data.
  • the processing amount of the client device 902 can be reduced. Therefore, the client device 902 can reduce the amount of data to be transmitted or simplify the configuration of the device.
  • the client device 902 further transmits a transmission request for the three-dimensional map to the server 901, and receives the three-dimensional map 1031 from the server 901.
  • the client device 902 estimates the self-position using the three-dimensional data 1034 and the three-dimensional map 1032 in the estimation of the self-position.
  • the sensor information 1033 includes at least one of information obtained by the laser sensor, a luminance image, an infrared image, a depth image, a sensor position information, and a sensor speed information.
  • the sensor information 1033 includes information indicating the performance of the sensor.
  • the client device 902 encodes or compresses the sensor information 1033, and in transmitting the sensor information, the encoded or compressed sensor information 1037 is transmitted to the server 901 or another client device 902. According to this, the client device 902 can reduce the amount of data to be transmitted.
  • the client device 902 includes a processor and a memory, and the processor uses the memory to perform the above processing.
  • the server 901 can communicate with the client device 902 mounted on the mobile body, and the sensor information 1037 indicating the peripheral situation of the mobile body obtained by the sensor 1015 mounted on the mobile body is obtained. Is received from the client device 902. The server 901 creates three-dimensional data 1134 around the moving object from the received sensor information 1037.
  • the server 901 creates the three-dimensional data 1134 using the sensor information 1037 transmitted from the client device 902. As a result, there is a possibility that the amount of data to be transmitted can be reduced as compared with the case where the client device 902 transmits three-dimensional data. Further, since it is not necessary to perform processing such as compression or coding of three-dimensional data on the client device 902, the processing amount of the client device 902 can be reduced. Therefore, the server 901 can reduce the amount of data to be transmitted or simplify the configuration of the device.
  • the server 901 further transmits a transmission request for sensor information to the client device 902.
  • the server 901 updates the three-dimensional map 1135 using the created three-dimensional data 1134, and sends the three-dimensional map 1135 to the client device 902 in response to the transmission request of the three-dimensional map 1135 from the client device 902. Send.
  • the sensor information 1037 includes at least one of information obtained by the laser sensor, a luminance image, an infrared image, a depth image, a sensor position information, and a sensor speed information.
  • the sensor information 1037 includes information indicating the performance of the sensor.
  • the server 901 further corrects the three-dimensional data according to the performance of the sensor. According to this, the three-dimensional data creation method can improve the quality of the three-dimensional data.
  • the server 901 when receiving sensor information, receives a plurality of sensor information 1037 from a plurality of client devices 902, and based on a plurality of information indicating the performance of the sensor included in the plurality of sensor information 1037, the server 901 receives three-dimensional data 1134. Select the sensor information 1037 used to create. According to this, the server 901 can improve the quality of the three-dimensional data 1134.
  • the server 901 decodes or decompresses the received sensor information 1037, and creates three-dimensional data 1134 from the decoded or decompressed sensor information 1132. According to this, the server 901 can reduce the amount of data to be transmitted.
  • the server 901 includes a processor and a memory, and the processor uses the memory to perform the above processing.
  • FIG. 130 is a diagram showing a configuration of a system according to the present embodiment.
  • the system shown in FIG. 130 includes a server 2001, a client device 2002A, and a client device 2002B.
  • the client device 2002A and the client device 2002B are mounted on a moving body such as a vehicle and transmit sensor information to the server 2001.
  • the server 2001 transmits a three-dimensional map (point cloud) to the client device 2002A and the client device 2002B.
  • the client device 2002A includes a sensor information acquisition unit 2011, a storage unit 2012, and a data transmission availability determination unit 2013.
  • the configuration of the client device 2002B is also the same. Further, in the following, when the client device 2002A and the client device 2002B are not particularly distinguished, they are also described as the client device 2002.
  • FIG. 131 is a flowchart showing the operation of the client device 2002 according to the present embodiment.
  • the sensor information acquisition unit 2011 acquires various sensor information using a sensor (sensor group) mounted on the moving body. That is, the sensor information acquisition unit 2011 acquires sensor information indicating the surrounding condition of the moving body, which is obtained by the sensor (sensor group) mounted on the moving body. Further, the sensor information acquisition unit 2011 stores the acquired sensor information in the storage unit 2012.
  • This sensor information includes at least one of LiDAR acquisition information, visible light image, infrared image and depth image. Further, the sensor information may include at least one of sensor position information, speed information, acquisition time information, and acquisition location information.
  • the sensor position information indicates the position of the sensor from which the sensor information has been acquired.
  • the velocity information indicates the velocity of the moving object when the sensor acquires the sensor information.
  • the acquisition time information indicates the time when the sensor information is acquired by the sensor.
  • the acquisition location information indicates the position of the moving object or the sensor when the sensor information is acquired by the sensor.
  • the data transmission availability determination unit 2013 determines whether the mobile body (client device 2002) exists in an environment in which the sensor information can be transmitted to the server 2001 (S2002). For example, the data transmission availability determination unit 2013 may specify the location and time of the client device 2002 using information such as GPS, and determine whether or not the data can be transmitted. Further, the data transmission availability determination unit 2013 may determine whether or not data can be transmitted depending on whether or not it can be connected to a specific access point.
  • the client device 2002 determines that the mobile body exists in an environment where the sensor information can be transmitted to the server 2001 (Yes in S2002), the client device 2002 transmits the sensor information to the server 2001 (S2003). That is, when the client device 2002 is in a situation where the sensor information can be transmitted to the server 2001, the client device 2002 transmits the held sensor information to the server 2001.
  • a millimeter-wave access point capable of high-speed communication is installed at an intersection or the like.
  • the sensor information held by the client device 2002 is transmitted to the server 2001 at high speed by using millimeter wave communication.
  • the client device 2002 deletes the sensor information transmitted to the server 2001 from the storage unit 2012 (S2004).
  • the client device 2002 may delete the sensor information when the sensor information not transmitted to the server 2001 satisfies a predetermined condition.
  • the client device 2002 may delete the sensor information from the storage unit 2012 when the acquisition time of the sensor information to be held becomes older than a certain time before the current time. That is, the client device 2002 may delete the sensor information from the storage unit 2012 when the difference between the time when the sensor information is acquired by the sensor and the current time exceeds a predetermined time. Further, the client device 2002 may delete the sensor information from the storage unit 2012 when the acquisition location of the sensor information to be held is more than a certain distance from the current position.
  • the sensor information is obtained when the difference between the position of the moving body or the sensor when the sensor information is acquired by the sensor and the position of the current moving body or the sensor exceeds a predetermined distance. May be deleted from the storage unit 2012. As a result, the capacity of the storage unit 2012 of the client device 2002 can be suppressed.
  • the client device 2002 performs the processing after step S2001 again. Further, when the acquisition of the sensor information by the client device 2002 is completed (Yes in S2005), the client device 2002 ends the process.
  • the client device 2002 may select the sensor information to be transmitted to the server 2001 according to the communication status. For example, when high-speed communication is possible, the client device 2002 preferentially transmits sensor information (for example, LiDAR acquisition information) having a large size held in the storage unit 2012. Further, when high-speed communication is difficult, the client device 2002 transmits sensor information (for example, a visible light image) having a small size and a high priority held in the storage unit 2012. As a result, the client device 2002 can efficiently transmit the sensor information held in the storage unit 2012 to the server 2001 according to the network conditions.
  • sensor information for example, LiDAR acquisition information
  • sensor information for example, a visible light image
  • the client device 2002 may acquire the time information indicating the current time and the location information indicating the current location from the server 2001. Further, the client device 2002 may determine the acquisition time and acquisition location of the sensor information based on the acquired time information and location information. That is, the client device 2002 may acquire the time information from the server 2001 and generate the acquired time information using the acquired time information. Further, the client device 2002 may acquire the location information from the server 2001 and generate the acquisition location information using the acquired location information.
  • the server 2001 and the client device 2002 synchronize the time using a mechanism such as NTP (Network Time Protocol) or PTP (Precision Time Protocol).
  • NTP Network Time Protocol
  • PTP Precision Time Protocol
  • the client device 2002 can acquire accurate time information.
  • the server 2001 can handle the sensor information indicating the synchronized time.
  • the time synchronization mechanism may be any method other than NTP or PTP.
  • GPS information may be used as the time information and location information.
  • the server 2001 may acquire sensor information from a plurality of client devices 2002 by designating a time or place. For example, in the event of an accident, the server 2001 broadcasts a sensor information transmission request to a plurality of client devices 2002 by designating the time and place of the accident in order to search for a client in the vicinity thereof. Then, the client device 2002 having the sensor information of the corresponding time and place transmits the sensor information to the server 2001. That is, the client device 2002 receives the sensor information transmission request including the designated information for designating the place and time from the server 2001. The client device 2002 has determined that the storage unit 2012 stores the sensor information obtained at the place and time indicated by the designated information, and that the mobile body exists in an environment in which the sensor information can be transmitted to the server 2001.
  • the sensor information obtained at the place and time indicated by the designated information is transmitted to the server 2001.
  • the server 2001 can acquire sensor information related to the occurrence of an accident from a plurality of client devices 2002 and use it for accident analysis and the like.
  • the client device 2002 may refuse to transmit the sensor information when it receives the sensor information transmission request from the server 2001. Further, the client device 2002 may set in advance which sensor information among the plurality of sensor information can be transmitted. Alternatively, the server 2001 may inquire of the client device 2002 whether or not the sensor information can be transmitted each time.
  • points may be given to the client device 2002 that has transmitted the sensor information to the server 2001.
  • This point can be used, for example, to pay for gasoline purchase costs, EV (Electric Vehicle) charging costs, highway tolls, car rental costs, and the like.
  • the server 2001 may delete the information for identifying the client device 2002 from which the sensor information is transmitted after the sensor information is acquired.
  • this information is information such as the network address of the client device 2002.
  • the sensor information can be anonymized, so that the user of the client device 2002 can safely transmit the sensor information from the client device 2002 to the server 2001.
  • the server 2001 may be composed of a plurality of servers. For example, by sharing sensor information among a plurality of servers, even if one server fails, another server can communicate with the client device 2002. This makes it possible to avoid stopping the service due to a server failure.
  • the designated place specified in the sensor information transmission request indicates the position where the accident occurred, and may differ from the position of the client device 2002 at the designated time specified in the sensor information transmission request. Therefore, the server 2001 can request the client device 2002 existing in the range to acquire information by designating a range such as within XX m in the vicinity as the designated place. Similarly, for the designated time, the server 2001 may specify a range such as within N seconds before and after a certain time. As a result, the server 2001 can acquire the sensor information from the client device 2002 that exists at "time: t-N to t + N, location: within XXm from the absolute position S". When transmitting three-dimensional data such as LiDAR, the client device 2002 may transmit the data generated immediately after the time t.
  • the server 2001 may transmit the data generated immediately after the time t.
  • the server 2001 may separately specify, as the designated location, the information indicating the location of the client device 2002 for which the sensor information is to be acquired and the location where the sensor information is desired. For example, the server 2001 specifies that the sensor information including at least the range from the absolute position S to YYm is acquired from the client device 2002 existing within XXm from the absolute position S.
  • the client device 2002 selects the 3D data in one or more randomly accessible units so as to include at least the sensor information in the specified range.
  • the client device 2002 may transmit a plurality of temporally continuous image data including at least a frame immediately before or after time t.
  • the client device 2002 uses the network according to the priority notified from the server 2001. You may choose. Alternatively, the client device 2002 itself may select a network that can secure an appropriate bandwidth based on the size of the transmitted data. Alternatively, the client device 2002 may select a network to be used based on the cost for data transmission and the like. Further, the transmission request from the server 2001 may include information indicating a transmission deadline, such as transmission when the client device 2002 can start transmission by time T. The server 2001 may issue a transmission request again if sufficient sensor information cannot be acquired within the deadline.
  • a transmission deadline such as transmission when the client device 2002 can start transmission by time T.
  • the sensor information may include header information indicating the characteristics of the sensor data together with the compressed or uncompressed sensor data.
  • the client device 2002 may transmit the header information to the server 2001 via a physical network or communication protocol different from the sensor data. For example, the client device 2002 transmits the header information to the server 2001 prior to the transmission of the sensor data.
  • the server 2001 determines whether or not to acquire the sensor data of the client device 2002 based on the analysis result of the header information.
  • the header information may include information indicating the point cloud acquisition density, elevation angle, or frame rate of LiDAR, or the resolution, signal-to-noise ratio, or frame rate of the visible light image. As a result, the server 2001 can acquire the sensor information from the client device 2002 having the sensor data of the determined quality.
  • the client device 2002 acquires the sensor information indicating the peripheral condition of the moving body, which is mounted on the moving body and obtained by the sensor mounted on the moving body, and stores the sensor information in the storage unit 2012. ..
  • the client device 2002 determines whether the mobile body exists in an environment capable of transmitting sensor information to the server 2001, and if it determines that the mobile body exists in an environment capable of transmitting sensor information to the server, the client device 2002 transmits the sensor information to the server 2001. Send to.
  • the client device 2002 further creates three-dimensional data around the moving body from the sensor information, and estimates the self-position of the moving body using the created three-dimensional data.
  • the client device 2002 further transmits a transmission request for the three-dimensional map to the server 2001, and receives the three-dimensional map from the server 2001.
  • the client device 2002 estimates the self-position using the three-dimensional data and the three-dimensional map.
  • processing by the client device 2002 may be realized as an information transmission method in the client device 2002.
  • the client device 2002 includes a processor and a memory, and the processor may perform the above processing using the memory.
  • FIG. 132 is a diagram showing a configuration of a sensor information collection system according to the present embodiment.
  • the sensor information collection system according to the present embodiment includes a terminal 2021A, a terminal 2021B, a communication device 2022A, a communication device 2022B, a network 2023, a data collection server 2024, and a map server 2025.
  • the client device 2026 and the like.
  • the terminal 2021A and the terminal 2021B are not particularly distinguished, they are also described as the terminal 2021.
  • the communication device 2022A and the communication device 2022B are not particularly distinguished, they are also described as the communication device 2022.
  • the data collection server 2024 collects data such as sensor data obtained by the sensor included in the terminal 2021 as position-related data associated with the position in the three-dimensional space.
  • the sensor data is, for example, data acquired by using a sensor included in the terminal 2021 such as a state around the terminal 2021 or an internal state of the terminal 2021.
  • the terminal 2021 transmits sensor data collected from one or more sensor devices at a position capable of directly communicating with the terminal 2021 or relaying one or a plurality of relay devices by the same communication method to the data collection server 2024. Send.
  • the data included in the position-related data may include, for example, information indicating the operating state of the terminal itself or the device included in the terminal, the operation log, the usage status of the service, and the like. Further, the data included in the position-related data may include information in which the identifier of the terminal 2021 is associated with the position or the movement route of the terminal 2021.
  • the information indicating the position included in the position-related data is associated with the information indicating the position in the three-dimensional data such as the three-dimensional map data.
  • the details of the information indicating the position will be described later.
  • the position-related data includes, in addition to the position information which is information indicating the position, the time information described above, the attributes of the data included in the position-related data, or the information indicating the type of the sensor (for example, model number) that generated the data. And at least one of them may be included.
  • the position information and the time information may be stored in the header area of the position-related data or the header area of the frame for storing the position-related data. Further, the position information and the time information may be transmitted and / or stored separately from the position-related data as metadata associated with the position-related data.
  • the map server 2025 is connected to the network 2023, for example, and transmits three-dimensional data such as three-dimensional map data in response to a request from another device such as the terminal 2021. Further, as described in each of the above-described embodiments, the map server 2025 may have a function of updating three-dimensional data by using the sensor information transmitted from the terminal 2021.
  • the data collection server 2024 is connected to the network 2023, for example, collects position-related data from other devices such as the terminal 2021, and stores the collected position-related data in a storage device inside or in another server. Further, the data collection server 2024 transmits the collected position-related data or the metadata of the three-dimensional map data generated based on the position-related data to the terminal 2021 in response to the request from the terminal 2021.
  • Network 2023 is a communication network such as the Internet.
  • the terminal 2021 is connected to the network 2023 via the communication device 2022.
  • the communication device 2022 communicates with the terminal 2021 while switching between one communication method or a plurality of communication methods.
  • the communication device 2022 is, for example, (1) a base station such as LTE (Long Term Evolution), (2) an access point (AP) such as WiFi or millimeter wave communication, and (3) LPWA such as SIGFOX, LoRaWAN or Wi-SUN. (Low Power Wide Area)
  • a communication satellite that communicates using a Gateway of Network or (4) a satellite communication method such as DVB-S2.
  • the base station may communicate with the terminal 2021 by a method classified into LPWA such as NB-IoT (Narrow Band-IoT) or LTE-M, and may communicate with the terminal 2021 while switching between these methods. Communication may be performed.
  • LPWA Low Band-IoT
  • LTE-M Long Term Evolution
  • the terminal 2021 has a function of communicating with a communication device 2022 using two types of communication methods, and a communication device using any of these communication methods or a plurality of these communication methods and a direct communication partner.
  • a communication device 2022 using two types of communication methods, and a communication device using any of these communication methods or a plurality of these communication methods and a direct communication partner.
  • An example is given in the case of communicating with the map server 2025 or the data collection server 2024 while switching 2022, but the configuration of the sensor information collection system and the terminal 2021 is not limited to this.
  • the terminal 2021 may not have a communication function in a plurality of communication methods, but may have a function of communicating in any one communication method.
  • the terminal 2021 may support three or more communication methods. Further, the corresponding communication method may be different for each terminal 2021.
  • the terminal 2021 includes, for example, the configuration of the client device 902 shown in FIG. 122.
  • the terminal 2021 estimates a position such as a self-position using the received three-dimensional data. Further, the terminal 2021 generates position-related data by associating the sensor data acquired from the sensor with the position information obtained by the position estimation process.
  • the position information added to the position-related data indicates, for example, the position in the coordinate system used in the three-dimensional data.
  • the position information is a coordinate value represented by a latitude and longitude value.
  • the terminal 2021 may include the coordinate value as well as the information indicating the coordinate system that is the reference of the coordinate value and the three-dimensional data used for the position estimation in the position information.
  • the coordinate values may include altitude information.
  • the position information may be associated with a unit of data or a unit of space that can be used for encoding the above-mentioned three-dimensional data.
  • This unit is, for example, WLD, GOS, SPC, VLM, VXL, or the like.
  • the position information is represented by an identifier for specifying a data unit such as an SPC corresponding to the position-related data.
  • the position information is information indicating three-dimensional data in which the three-dimensional space including the data unit such as SPC is encoded, or the details in the SPC. It may contain information indicating a different position.
  • the information indicating the three-dimensional data is, for example, the file name of the three-dimensional data.
  • the system generates position-related data associated with position information based on position estimation using three-dimensional data, so that the self-position of the client device (terminal 2021) acquired by GPS can be used. It is possible to add position information to the sensor information with higher accuracy than when the based position information is added to the sensor information. As a result, even when the position-related data is used by other devices in other services, the position corresponding to the position-related data can be specified more accurately in the real space by performing the position estimation based on the same three-dimensional data. There is a possibility that it can be done.
  • the data transmitted from the terminal 2021 is position-related data
  • the data transmitted from the terminal 2021 may be data not associated with the position information. good. That is, the transmission / reception of the three-dimensional data or the sensor data described in the other embodiment may be performed via the network 2023 described in the present embodiment.
  • the position information added to the position-related data may be information indicating a position relative to a feature point in the three-dimensional data.
  • the feature point that serves as a reference for the position information is, for example, a feature point encoded as SWLD and notified to the terminal 2021 as three-dimensional data.
  • the information indicating the relative position with respect to the feature point is represented by, for example, a vector from the feature point to the point indicated by the position information, and may be information indicating the direction and distance from the feature point to the point indicated by the position information.
  • the information indicating the relative position with respect to the feature point may be information indicating the displacement amount of each of the X-axis, the Y-axis, and the Z-axis from the feature point to the point indicated by the position information.
  • the information indicating the relative position with respect to the feature point may be information indicating the distance from each of the three or more feature points to the point indicated by the position information.
  • the relative position may not be the relative position of the point indicated by the position information expressed with respect to each feature point, but may be the relative position of each feature point expressed with reference to the point indicated by the position information.
  • An example of position information based on a relative position with respect to a feature point includes information for specifying a reference feature point and information indicating a relative position of a point indicated by the position information with respect to the feature point.
  • the information indicating the relative position with respect to the feature point is provided separately from the three-dimensional data
  • the information indicating the relative position with respect to the feature point is the coordinate axis used for deriving the relative position, the information indicating the type of the three-dimensional data, and the information indicating the type of the three-dimensional data.
  • it may include information indicating the magnitude (scale, etc.) of the value of the information indicating the relative position per unit amount.
  • the position information may include information indicating a relative position with respect to each feature point for a plurality of feature points.
  • the terminal 2021 that tries to specify the position indicated by the position information in the real space has the position information from the position of the feature point estimated from the sensor data for each feature point.
  • the candidate points of the positions indicated by may be calculated, and the points obtained by averaging the calculated plurality of candidate points may be determined to be the points indicated by the position information. According to this configuration, the influence of an error in estimating the position of the feature point from the sensor data can be reduced, so that the estimation accuracy of the point indicated by the position information in the real space can be improved.
  • the position information includes information indicating a relative position with respect to a plurality of feature points, even if there is a feature point that cannot be detected due to restrictions such as the type or performance of the sensor included in the terminal 2021, any of the plurality of feature points. If even one of them can be detected, it is possible to estimate the value of the point indicated by the position information.
  • a point that can be identified from the sensor data can be used.
  • the points that can be identified from the sensor data are, for example, points within a region or points that satisfy predetermined conditions for feature point detection, such as the above-mentioned three-dimensional feature amount or feature amount of visible light data being equal to or greater than a threshold value.
  • a marker installed in a real space may be used as a feature point.
  • the marker may be detected and its position can be specified from the data acquired by using a sensor such as LiDER or a camera.
  • the marker is represented by a change in color or luminance value (reflectance), or a three-dimensional shape (unevenness, etc.).
  • a coordinate value indicating the position of the marker, a two-dimensional code or a barcode generated from the identifier of the marker, or the like may be used.
  • a light source that transmits an optical signal may be used as a marker.
  • a light source of an optical signal When a light source of an optical signal is used as a marker, not only information for acquiring a position such as a coordinate value or an identifier but also other data may be transmitted by the optical signal.
  • the optical signal connects to the wireless communication device with the content of the service according to the position of the marker, the address such as ur for acquiring the content, or the identifier of the wireless communication device for receiving the provision of the service. It may include information indicating a wireless communication method for the purpose.
  • the terminal 2021 grasps the correspondence between the feature points between different data by using, for example, an identifier commonly used between the data, or information or a table showing the correspondence between the feature points between the data. Further, when there is no information indicating the correspondence between the feature points, the terminal 2021 is the feature at the closest distance when the coordinates of the feature points in one three-dimensional data are converted to the positions in the other three-dimensional data space. A point may be determined to be a corresponding feature point.
  • the position information based on the relative position described above is used, it is included in each 3D data or associated with each 3D data even between terminals 2021 or services that use different 3D data.
  • the position indicated by the position information can be specified or estimated based on the common feature point. As a result, it becomes possible to identify or estimate the same position with higher accuracy between terminals 2021 or services that use different three-dimensional data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

三次元データ符号化方法は、三次元データに含まれる複数の三次元点のＮ分木構造に含まれる対象ノードの情報を符号化し（Ｓ１１７０１）、符号化された対象ノードの情報を含むビットストリームを生成する（Ｓ１１７０２）。符号化（Ｓ１１７０１）では、対象ノードと空間的に隣接する複数の隣接ノードのうち、対象ノードと親ノードが異なる第１ノードの情報の参照を許可するか否かを示す参照制限情報に基づいて対象ノードを符号化する。ビットストリームの生成（Ｓ１１７０２）では、当該参照制限情報をさらに含むビットストリームを生成する。また、ビットストリームの生成（Ｓ１１７０２）では、第１ノードの情報を参照して対象ノードを符号化した場合、符号化における処理方法を示す符号化処理情報をさらに含むビットストリームを生成し、第１ノードの情報を参照せずに対象ノードを符号化した場合、符号化処理情報を含ませずにビットストリームを生成する。

Description

三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
　本開示は、三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置に関する。
　自動車或いはロボットが自律的に動作するためのコンピュータビジョン、マップ情報、監視、インフラ点検、又は、映像配信等、幅広い分野において、今後、三次元データを活用した装置又はサービスの普及が見込まれる。三次元データは、レンジファインダ等の距離センサ、ステレオカメラ、又は複数の単眼カメラの組み合わせ等様々な方法で取得される。
　三次元データの表現方法の１つとして、三次元空間内の点群によって三次元構造の形状を表すポイントクラウドと呼ばれる表現方法がある。ポイントクラウドでは、点群の位置と色とが格納される。ポイントクラウドは三次元データの表現方法として主流になると予想されるが、点群はデータ量が非常に大きい。よって、三次元データの蓄積又は伝送においては二次元の動画像（一例として、ＭＰＥＧで規格化されたＭＰＥＧ－４　ＡＶＣ又はＨＥＶＣ等がある）と同様に、符号化によるデータ量の圧縮が必須となる。
　また、ポイントクラウドの圧縮については、ポイントクラウド関連の処理を行う公開のライブラリ（Ｐｏｉｎｔ　Ｃｌｏｕｄ　Ｌｉｂｒａｒｙ）等によって一部サポートされている。
　また、三次元の地図データを用いて、車両周辺に位置する施設を検索し、表示する技術が知られている（例えば、特許文献１参照）。
国際公開第２０１４／０２０６６３号
　符号化された三次元データを含むビットストリームのデータ量を削減できることが望まれている。
　本開示は、データ量を削減できる三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置又は三次元データ復号装置を提供することを目的とする。
　本開示の一態様に係る三次元データ符号化方法は、三次元データに含まれる複数の三次元点のＮ（Ｎは２以上の整数）分木構造に含まれる対象ノードの情報を符号化し、符号化された前記対象ノードの情報を含むビットストリームを生成し、前記符号化では、前記対象ノードと空間的に隣接する複数の隣接ノードのうち、前記対象ノードと親ノードが異なる第１ノードの情報の参照を許可するか否かを示す参照制限情報に基づいて前記対象ノードを符号化し、前記ビットストリームの生成では、前記参照制限情報をさらに含む前記ビットストリームを生成し、前記第１ノードの情報を参照して前記対象ノードを符号化した場合、前記符号化における処理方法を示す符号化処理情報をさらに含む前記ビットストリームを生成し、前記第１ノードの情報を参照せずに前記対象ノードを符号化した場合、前記符号化処理情報を含ませずに前記ビットストリームを生成する。
　本開示の一態様に係る三次元データ復号方法は、三次元データに含まれる複数の三次元点のＮ（Ｎは２以上の整数）分木構造に含まれる対象ノードの符号化された情報、及び、前記対象ノードと空間的に隣接する複数の隣接ノードのうち、前記対象ノードと親ノードが異なる第１ノードの情報の参照を許可するか否かを示す参照制限情報を含むビットストリームを取得し、前記符号化された情報を復号し、前記復号では、前記参照制限情報が前記第１ノードの情報の参照を許可することを示す場合、前記ビットストリームに含まれる、前記符号化された情報の符号化における処理方法を示す符号化処理情報に基づいて、前記第１ノードの情報を参照して復号し、前記参照制限情報が前記第１ノードの情報の参照を許可しないことを示す場合、前記第１ノードの情報を参照せずに復号する。
　本開示は、データ量を削減できる三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置又は三次元データ復号装置を提供できる。
図１は、実施の形態１に係る符号化三次元データの構成を示す図である。 図２は、実施の形態１に係るＧＯＳの最下層レイヤに属するＳＰＣ間の予測構造の一例を示す図である。 図３は、実施の形態１に係るレイヤ間の予測構造の一例を示す図である。 図４は、実施の形態１に係るＧＯＳの符号化順の一例を示す図である。 図５は、実施の形態１に係るＧＯＳの符号化順の一例を示す図である。 図６は、実施の形態１に係る三次元データ符号化装置のブロック図である。 図７は、実施の形態１に係る符号化処理のフローチャートである。 図８は、実施の形態１に係る三次元データ復号装置のブロック図である。 図９は、実施の形態１に係る復号処理のフローチャートである。 図１０は、実施の形態１に係るメタ情報の一例を示す図である。 図１１は、実施の形態２に係るＳＷＬＤの構成例を示す図である。 図１２は、実施の形態２に係るサーバ及びクライアントの動作例を示す図である。 図１３は、実施の形態２に係るサーバ及びクライアントの動作例を示す図である。 図１４は、実施の形態２に係るサーバ及びクライアントの動作例を示す図である。 図１５は、実施の形態２に係るサーバ及びクライアントの動作例を示す図である。 図１６は、実施の形態２に係る三次元データ符号化装置のブロック図である。 図１７は、実施の形態２に係る符号化処理のフローチャートである。 図１８は、実施の形態２に係る三次元データ復号装置のブロック図である。 図１９は、実施の形態２に係る復号処理のフローチャートである。 図２０は、実施の形態２に係るＷＬＤの構成例を示す図である。 図２１は、実施の形態２に係るＷＬＤの８分木構造の例を示す図である。 図２２は、実施の形態２に係るＳＷＬＤの構成例を示す図である。 図２３は、実施の形態２に係るＳＷＬＤの８分木構造の例を示す図である。 図２４は、実施の形態３に係る三次元データ作成装置のブロック図である。 図２５は、実施の形態３に係る三次元データ送信装置のブロック図である。 図２６は、実施の形態４に係る三次元情報処理装置のブロック図である。 図２７は、実施の形態５に係る三次元データ作成装置のブロック図である。 図２８は、実施の形態６に係るシステムの構成を示す図である。 図２９は、実施の形態６に係るクライアント装置のブロック図である。 図３０は、実施の形態６に係るサーバのブロック図である。 図３１は、実施の形態６に係るクライアント装置による三次元データ作成処理のフローチャートである。 図３２は、実施の形態６に係るクライアント装置によるセンサ情報送信処理のフローチャートである。 図３３は、実施の形態６に係るサーバによる三次元データ作成処理のフローチャートである。 図３４は、実施の形態６に係るサーバによる三次元マップ送信処理のフローチャートである。 図３５は、実施の形態６に係るシステムの変形例の構成を示す図である。 図３６は、実施の形態６に係るサーバ及びクライアント装置の構成を示す図である。 図３７は、実施の形態７に係る三次元データ符号化装置のブロック図である。 図３８は、実施の形態７に係る予測残差の例を示す図である。 図３９は、実施の形態７に係るボリュームの例を示す図である。 図４０は、実施の形態７に係るボリュームの８分木表現の例を示す図である。 図４１は、実施の形態７に係るボリュームのビット列の例を示す図である。 図４２は、実施の形態７に係るボリュームの８分木表現の例を示す図である。 図４３は、実施の形態７に係るボリュームの例を示す図である。 図４４は、実施の形態７に係るイントラ予測処理を説明するための図である。 図４５は、実施の形態７に係る回転及び並進処理を説明するための図である。 図４６は、実施の形態７に係るＲＴ適用フラグ及びＲＴ情報のシンタックス例を示す図である。 図４７は、実施の形態７に係るインター予測処理を説明するための図である。 図４８は、実施の形態７に係る三次元データ復号装置のブロック図である。 図４９は、実施の形態７に係る三次元データ符号化装置による三次元データ符号化処理のフローチャートである。 図５０は、実施の形態７に係る三次元データ復号装置による三次元データ復号処理のフローチャートである。 図５１は、実施の形態８に係る木構造の一例を示す図である。 図５２は、実施の形態８に係るオキュパンシー符号の一例を示す図である。 図５３は、実施の形態８に係る三次元データ符号化装置の動作を模式的に示す図である。 図５４は、実施の形態８に係る幾何情報の一例を示す図である。 図５５は、実施の形態８に係る幾何情報を用いた符号化テーブルの選択例を示す図である。 図５６は、実施の形態８に係る構造情報を用いた符号化テーブルの選択例を示す図である。 図５７は、実施の形態８に係る属性情報を用いた符号化テーブルの選択例を示す図である。 図５８は、実施の形態８に係る属性情報を用いた符号化テーブルの選択例を示す図である。 図５９は、実施の形態８に係るビットストリームの構成例を示す図である。 図６０は、実施の形態８に係る符号化テーブルの一例を示す図である。 図６１は、実施の形態８に係る符号化テーブルの一例を示す図である。 図６２は、実施の形態８に係るビットストリームの構成例を示す図である。 図６３は、実施の形態８に係る符号化テーブルの一例を示す図である。 図６４は、実施の形態８に係る符号化テーブルの一例を示す図である。 図６５は、実施の形態８に係るオキュパンシー符号のビット番号の一例を示す図である。 図６６は、実施の形態８に係る幾何情報を用いた符号化処理のフローチャートである。 図６７は、実施の形態８に係る幾何情報を用いた復号処理のフローチャートである。 図６８は、実施の形態８に係る構造情報を用いた符号化処理のフローチャートである。 図６９は、実施の形態８に係る構造情報を用いた復号処理のフローチャートである。 図７０は、実施の形態８に係る属性情報を用いた符号化処理のフローチャートである。 図７１は、実施の形態８に係る属性情報を用いた復号処理のフローチャートである。 図７２は、実施の形態８に係る幾何情報を用いた符号化テーブル選択処理のフローチャートである。 図７３は、実施の形態８に係る構造情報を用いた符号化テーブル選択処理のフローチャートである。 図７４は、実施の形態８に係る属性情報を用いた符号化テーブル選択処理のフローチャートである。 図７５は、実施の形態８に係る三次元データ符号化装置のブロック図である。 図７６は、実施の形態８に係る三次元データ復号装置のブロック図である。 図７７は、実施の形態９に係る８分木構造における参照関係を示す図である。 図７８は、実施の形態９に係る空間領域における参照関係を示す図である。 図７９は、実施の形態９に係る隣接参照ノードの例を示す図である。 図８０は、実施の形態９に係る親ノードとノードとの関係を示す図である。 図８１は、実施の形態９に係る親ノードのオキュパンシー符号の例を示す図である。 図８２は、実施の形態９に係る三次元データ符号化装置のブロック図である。 図８３は、実施の形態９に係る三次元データ復号装置のブロック図である。 図８４は、実施の形態９に係る三次元データ符号化処理のフローチャートである。 図８５は、実施の形態９に係る三次元データ復号処理のフローチャートである。 図８６は、実施の形態９に係る符号化テーブルの切替え例を示す図である。 図８７は、実施の形態９の変形例１に係る空間領域における参照関係を示す図である。 図８８は、実施の形態９の変形例１に係るヘッダ情報のシンタックス例を示す図である。 図８９は、実施の形態９の変形例１に係るヘッダ情報のシンタックス例を示す図である。 図９０は、実施の形態９の変形例２に係る隣接参照ノードの例を示す図である。 図９１は、実施の形態９の変形例２に係る対象ノード及び隣接ノードの例を示す図である。 図９２は、実施の形態９の変形例３に係る８分木構造における参照関係を示す図である。 図９３は、実施の形態９の変形例３に係る空間領域における参照関係を示す図である。 図９４は、実施の形態１０に係る隣接ノードの例を示す図である。 図９５は、実施の形態１０に係る探索対象となるノードの例を示す図である。 図９６は、実施の形態１０に係る隣接ノードの探索処理を説明するための図である。 図９７は、実施の形態１０に係る隣接情報の更新処理を説明するための図である。 図９８は、実施の形態１０に係る隣接情報の更新処理を説明するための図である。 図９９は、実施の形態１０に係る探索閾値を設けた探索処理を説明するための図である。 図１００は、実施の形態１０に係るモートン符号を用いたインデックスの例を示す図である。 図１０１は、実施の形態１０に係るモートン符号を用いたキューの例を示す図である。 図１０２は、実施の形態１０に係る三次元データ符号化装置のブロック図である。 図１０３は、実施の形態１０に係る三次元データ復号装置のブロック図である。 図１０４は、実施の形態１０に係る三次元データ符号化処理のフローチャートである。 図１０５は、実施の形態１０に係る三次元データ復号処理のフローチャートである。 図１０６は、実施の形態１０に係るヘッダ情報のシンタックス例を示す図である。 図１０７は、実施の形態１０に係るノードの情報のシンタックス例を示す図である。 図１０８は、実施の形態１０に係る三次元データ符号化処理のフローチャートである。 図１０９は、実施の形態１０に係る三次元データ復号処理のフローチャートである。 図１１０は、実施の形態１０に係る三次元データ符号化処理のフローチャートである。 図１１１は、実施の形態１０に係る三次元データ復号処理のフローチャートである。 図１１２は、実施の形態１１に係る空間領域における参照関係を示す図である。 図１１３は、実施の形態１１に係る８分木構造における参照関係を示す図である。 図１１４は、実施の形態１１に係る空間領域における対象ノードと隣接ノードとの参照関係を示す図である。 図１１５は、実施の形態１１に係る空間領域における対象ノードと隣接ノードとの関係を示す図である。 図１１６は、実施の形態１１に係るヘッダ情報のシンタックス例を示す図である。 図１１７は、実施の形態１１に係る三次元データ符号化装置の処理手順を示すフローチャートである。 図１１８は、実施の形態１１に係る三次元データ復号装置の処理手順を示すフローチャートである。 図１１９は、実施の形態１２に係る三次元データ作成装置のブロック図である。 図１２０は、実施の形態１２に係る三次元データ作成方法のフローチャートである。 図１２１は、実施の形態１２に係るシステムの構成を示す図である。 図１２２は、実施の形態１２に係るクライアント装置のブロック図である。 図１２３は、実施の形態１２に係るサーバのブロック図である。 図１２４は、実施の形態１２に係るクライアント装置による三次元データ作成処理のフローチャートである。 図１２５は、実施の形態１２に係るクライアント装置によるセンサ情報送信処理のフローチャートである。 図１２６は、実施の形態１２に係るサーバによる三次元データ作成処理のフローチャートである。 図１２７は、実施の形態１２に係るサーバによる三次元マップ送信処理のフローチャートである。 図１２８は、実施の形態１２に係るシステムの変形例の構成を示す図である。 図１２９は、実施の形態１２に係るサーバ及びクライアント装置の構成を示す図である。 図１３０は、実施の形態１２に係るサーバ及びクライアント装置の構成を示す図である。 図１３１は、実施の形態１２に係るクライアント装置による処理のフローチャートである。 図１３２は、実施の形態１２に係るセンサ情報収集システムの構成を示す図である。 図１３３は、実施の形態１２に係るシステムの例を示す図である。 図１３４は、実施の形態１２に係るシステムの変形例を示す図である。 図１３５は、実施の形態１２に係るアプリケーション処理の例を示すフローチャートである。 図１３６は、実施の形態１２に係る各種センサのセンサ範囲を示す図である。 図１３７は、実施の形態１２に係る自動運転システムの構成例を示す図である。 図１３８は、実施の形態１２に係るビットストリームの構成例を示す図である。 図１３９は、実施の形態１２に係る点群選択処理のフローチャートである。 図１４０は、実施の形態１２に係る点群選択処理の画面例を示す図である。 図１４１は、実施の形態１２に係る点群選択処理の画面例を示す図である。 図１４２は、実施の形態１２に係る点群選択処理の画面例を示す図である。
　本開示の一態様に係る三次元データ符号化方法は、三次元データに含まれる複数の三次元点のＮ（Ｎは２以上の整数）分木構造に含まれる対象ノードの情報を符号化し、符号化された前記対象ノードの情報を含むビットストリームを生成し、前記符号化では、前記対象ノードと空間的に隣接する複数の隣接ノードのうち、前記対象ノードと親ノードが異なる第１ノードの情報の参照を許可するか否かを示す参照制限情報に基づいて前記対象ノードを符号化し、前記ビットストリームの生成では、前記参照制限情報をさらに含む前記ビットストリームを生成し、前記第１ノードの情報を参照して前記対象ノードを符号化した場合、前記符号化における処理方法を示す符号化処理情報をさらに含む前記ビットストリームを生成し、前記第１ノードの情報を参照せずに前記対象ノードを符号化した場合、前記符号化処理情報を含ませずに前記ビットストリームを生成する。
　これによれば、第１ノードの情報を参照して対象ノードを符号化したか否かに応じたビットストリームのデータ量にできる。つまり、三次元データ符号化方法によれば、生成するビットストリームのデータ量を適切に削減できる。
　また、例えば、前記符号化処理情報は、前記符号化において、前記第１ノードの子ノードの情報を参照したか否かを示す参照情報を含む。
　また、例えば、前記符号化処理情報は、前記符号化において、前記複数の隣接ノードを用いて前記対象ノードの情報を算出するイントラ予測処理を実行したか否かを示すイントラ予測情報を含む。
　これらによれば、例えば、符号化された対象ノードの情報を復号する三次元データ復号装置は、参照情報又はイントラ予測情報に基づいて、適切に符号化された対象ノードの情報を復号できる。
　また、例えば、Ｎは、８である。
　また、本開示の一態様に係る三次元データ復号方法は、三次元データに含まれる複数の三次元点のＮ（Ｎは２以上の整数）分木構造に含まれる対象ノードの符号化された情報、及び、前記対象ノードと空間的に隣接する複数の隣接ノードのうち、前記対象ノードと親ノードが異なる第１ノードの情報の参照を許可するか否かを示す参照制限情報を含むビットストリームを取得し、前記符号化された情報を復号し、前記復号では、前記参照制限情報が前記第１ノードの情報の参照を許可することを示す場合、前記ビットストリームに含まれる、前記符号化された情報の符号化における処理方法を示す符号化処理情報に基づいて、前記第１ノードの情報を参照して復号し、前記参照制限情報が前記第１ノードの情報の参照を許可しないことを示す場合、前記第１ノードの情報を参照せずに復号する。
　これによれば、例えば、三次元データ符号化装置によってデータ量が削減されて生成されたビットストリームであっても、対象ノードの情報を適切に復号できる。
　また、例えば、前記符号化処理情報は、前記符号化された情報の符号化において、前記第１ノードの子ノードの情報が参照されたか否かを示す参照情報を含む。
　また、例えば、前記符号化処理情報は、前記符号化された情報において、前記複数の隣接ノードを用いて前記対象ノードの情報を算出するイントラ予測処理が実行したか否かを示すイントラ予測情報を含む。
　これらによれば、参照情報又はイントラ予測情報に基づいて、適切に符号化された対象ノードの情報を復号できる。
　また、例えば、Ｎは、８である。
　また、本開示の一態様に係る三次元データ符号化装置は、プロセッサと、メモリとを備え、前記プロセッサは、前記メモリを用いて、三次元データに含まれる複数の三次元点のＮ（Ｎは２以上の整数）分木構造に含まれる対象ノードの情報を符号化し、符号化された前記対象ノードの情報を含むビットストリームを生成し、前記符号化では、前記対象ノードと空間的に隣接する複数の隣接ノードのうち、前記対象ノードと親ノードが異なる第１ノードの情報の参照を許可するか否かを示す参照制限情報に基づいて前記対象ノードを符号化し、前記ビットストリームの生成では、前記参照制限情報をさらに含む前記ビットストリームを生成し、前記第１ノードの情報を参照して前記対象ノードを符号化した場合、前記符号化における処理方法を示す符号化処理情報をさらに含む前記ビットストリームを生成し、前記第１ノードの情報を参照せずに前記対象ノードを符号化した場合、前記符号化処理情報を含ませずに前記ビットストリームを生成する。
　これによれば、第１ノードの情報を参照して対象ノードを符号化したか否かに応じたビットストリームのデータ量にできる。つまり、三次元データ符号化装置によれば、生成するビットストリームのデータ量を適切に削減できる。
　また、本開示の一態様に係る三次元データ復号装置は、プロセッサと、メモリとを備え、三次元データに含まれる複数の三次元点のＮ（Ｎは２以上の整数）分木構造に含まれる対象ノードの符号化された情報、及び、前記対象ノードと空間的に隣接する複数の隣接ノードのうち、前記対象ノードと親ノードが異なる第１ノードの情報の参照を許可するか否かを示す参照制限情報を含むビットストリームを取得し、前記符号化された情報を復号し、前記復号では、前記参照制限情報が前記第１ノードの情報の参照を許可することを示す場合、前記ビットストリームに含まれる、前記符号化された情報の符号化における処理方法を示す符号化処理情報に基づいて、前記第１ノードの情報を参照して復号し、前記参照制限情報が前記第１ノードの情報の参照を許可しないことを示す場合、前記第１ノードの情報を参照せずに復号する。
　これによれば、例えば、三次元データ符号化装置によってデータ量が削減されて生成されたビットストリームであっても、対象ノードの情報を適切に復号できる。
　なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭ等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
　以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
　（実施の形態１）
　まず、本実施の形態に係る符号化三次元データ（以下、符号化データとも記す）のデータ構造について説明する。図１は、本実施の形態に係る符号化三次元データの構成を示す図である。
　本実施の形態では、三次元空間は、動画像の符号化におけるピクチャに相当するスペース（ＳＰＣ）に分割され、スペースを単位として三次元データが符号化される。スペースは、さらに、動画像符号化におけるマクロブロックなどに相当するボリューム（ＶＬＭ）に分割され、ＶＬＭを単位として予測及び変換が行われる。ボリュームは、位置座標が対応付けられる最小単位である複数のボクセル（ＶＸＬ）を含む。なお、予測とは、二次元画像で行われる予測と同様に、他の処理単位を参照し、処理対象の処理単位と類似する予測三次元データを生成し、当該予測三次元データと処理対象の処理単位との差分を符号化することである。また、この予測は、同一時刻の他の予測単位を参照する空間予測のみならず、異なる時刻の予測単位を参照する時間予測を含む。
　例えば、三次元データ符号化装置（以下、符号化装置とも記す）は、ポイントクラウドなどの点群データにより表現される三次元空間を符号化する際には、ボクセルのサイズに応じて、点群の各点、又は、ボクセル内に含まれる複数点をまとめて符号化する。ボクセルを細分化すれば点群の三次元形状を高精度に表現でき、ボクセルのサイズを大きくすれば点群の三次元形状をおおまかに表現できる。
　なお、以下では、三次元データがポイントクラウドである場合を例に説明を行うが、三次元データはポイントクラウドに限定されず、任意の形式の三次元データでよい。
　また、階層構造のボクセルを用いてもよい。この場合、ｎ次の階層では、ｎ－１次以下の階層（ｎ次の階層の下層）にサンプル点が存在するかどうかを順に示してもよい。例えば、ｎ次の階層のみを復号する際において、ｎ－１次以下の階層にサンプル点が存在する場合は、ｎ次階層のボクセルの中心にサンプル点が存在するとみなして復号できる。
　また、符号化装置は、点群データを、距離センサ、ステレオカメラ、単眼カメラ、ジャイロ、又は慣性センサなどを用いて取得する。
　スペースは、動画像の符号化と同様に、単独で復号可能なイントラ・スペース（Ｉ－ＳＰＣ）、単方向の参照のみ可能なプレディクティブ・スペース（Ｐ－ＳＰＣ）、及び、双方向の参照が可能なバイディレクショナル・スペース（Ｂ－ＳＰＣ）を含む少なくとも３つの予測構造のいずれかに分類される。また、スペースは復号時刻と表示時刻との２種類の時刻情報を有する。
　また、図１に示すように、複数のスペースを含む処理単位として、ランダムアクセス単位であるＧＯＳ（Ｇｒｏｕｐ　Ｏｆ　Ｓｐａｃｅ）が存在する。さらに、複数のＧＯＳを含む処理単位としてワールド（ＷＬＤ）が存在する。
　ワールドが占める空間領域は、ＧＰＳ又は緯度及び経度情報などにより、地球上の絶対位置と対応付けられる。この位置情報はメタ情報として格納される。なお、メタ情報は、符号化データに含まれてもよいし、符号化データとは別に伝送されてもよい。
　また、ＧＯＳ内では、全てのＳＰＣが三次元的に隣接してもよいし、他のＳＰＣと三次元的に隣接しないＳＰＣが存在してもよい。
　なお、以下では、ＧＯＳ、ＳＰＣ又はＶＬＭ等の処理単位に含まれる三次元データに対する、符号化、復号又は参照等の処理を、単に、処理単位を符号化、復号又は参照する等とも記す。また、処理単位に含まれる三次元データは、例えば、三次元座標等の空間位置と、色情報等の特性値との少なくとも一つの組を含む。
　次に、ＧＯＳにおけるＳＰＣの予測構造について説明する。同一ＧＯＳ内の複数のＳＰＣ、又は、同一ＳＰＣ内の複数のＶＬＭは、互いに異なる空間を占めるが、同じ時刻情報（復号時刻及び表示時刻）を持つ。
　また、ＧＯＳ内で復号順で先頭となるＳＰＣはＩ－ＳＰＣである。また、ＧＯＳにはクローズドＧＯＳとオープンＧＯＳとの２種類が存在する。クローズドＧＯＳは、先頭Ｉ－ＳＰＣから復号開始する際に、ＧＯＳ内の全てのＳＰＣを復号できるＧＯＳである。オープンＧＯＳでは、ＧＯＳ内で先頭Ｉ－ＳＰＣよりも表示時刻が前となる一部のＳＰＣは異なるＧＯＳを参照しており、当該ＧＯＳのみで復号を行うことができない。
　なお、地図情報などの符号化データでは、ＷＬＤを符号化順とは逆方向から復号することがあり、ＧＯＳ間に依存性があると逆方向再生が困難である。よって、このような場合には、基本的にはクローズドＧＯＳが用いられる。
　また、ＧＯＳは、高さ方向にレイヤ構造を有し、下のレイヤのＳＰＣから順に符号化又は復号が行われる。
　図２はＧＯＳの最下層レイヤに属するＳＰＣ間の予測構造の一例を示す図である。図３はレイヤ間の予測構造の一例を示す図である。
　ＧＯＳ内には１つ以上のＩ－ＳＰＣが存在する。三次元空間内には、ヒト、動物、車、自転車、信号、又はランドマークとなる建物などのオブジェクトが存在するが、特にサイズが小さいオブジェクトはＩ－ＳＰＣとして符号化すると有効である。例えば、三次元データ復号装置（以下、復号装置とも記す）は、ＧＯＳを低処理量又は高速に復号する際には、ＧＯＳ内のＩ－ＳＰＣのみを復号する。
　また、符号化装置は、ＷＬＤ内のオブジェクトの粗密さに応じてＩ－ＳＰＣの符号化間隔又は出現頻度を切替えてもよい。
　また、図３に示す構成において、符号化装置又は復号装置は、複数のレイヤを下層（レイヤ１）から順に符号化又は復号する。これにより、例えば自動走行車などにとってより情報量の多い地面付近のデータの優先度を上げることができる。
　なお、ドローンなどで用いられる符号化データでは、ＧＯＳ内において高さ方向で上のレイヤのＳＰＣから順に符号化又は復号してもよい。
　また、符号化装置又は復号装置は、復号装置が荒くＧＯＳを把握でき、徐々に解像度を上げるようにできるように、複数のレイヤを符号化又は復号してもよい。例えば、符号化装置又は復号装置は、レイヤ３、８、１、９…の順に符号化又は復号してもよい。
　次に、静的オブジェクト及び動的オブジェクトの扱い方について説明する。
　三次元空間には、建物又は道路など静的なオブジェクト又はシーン（以降、まとめて静的オブジェクトと呼ぶ）と、車又はヒトなどの動的なオブジェクト（以降、動的オブジェクトと呼ぶ）とが存在する。オブジェクトの検出は、ポイントクラウドのデータ、又は、ステレオカメラなどのカメラ映像などから特徴点を抽出するなどして、別途行われる。ここでは、動的オブジェクトの符号化方法の例について説明する。
　第１方法は、静的オブジェクトと動的オブジェクトとを区別せずに符号化する方法である。第２方法は、静的オブジェクトと動的オブジェクトとを識別情報により区別する方法である。
　例えば、ＧＯＳが識別単位として用いられる。この場合、静的オブジェクトを構成するＳＰＣを含むＧＯＳと、動的オブジェクトを構成するＳＰＣを含むＧＯＳとが、符号化データ内、又は符号化データとは別途格納される識別情報により区別される。
　または、ＳＰＣが識別単位として用いられてもよい。この場合、静的オブジェクトを構成するＶＬＭを含むＳＰＣと、動的オブジェクトを構成するＶＬＭを含むＳＰＣとが、上記識別情報により区別される。
　または、ＶＬＭ或いはＶＸＬが識別単位として用いられてもよい。この場合、静的オブジェクトを含むＶＬＭ又はＶＸＬと、動的オブジェクトを含むＶＬＭ又はＶＸＬとが上記識別情報により区別される。
　また、符号化装置は、動的オブジェクトを１以上のＶＬＭ又はＳＰＣとして符号化し、静的オブジェクトを含むＶＬＭ又はＳＰＣと、動的オブジェクトを含むＳＰＣとを、互いに異なるＧＯＳとして符号化してもよい。また、符号化装置は、動的オブジェクトのサイズに応じてＧＯＳのサイズが可変となる場合には、ＧＯＳのサイズをメタ情報として別途格納する。
　また、符号化装置は、静的オブジェクトと動的オブジェクトとを互いに独立に符号化し、静的オブジェクトから構成されるワールドに対して、動的オブジェクトを重畳してもよい。このとき、動的オブジェクトは１以上のＳＰＣから構成され、各ＳＰＣは、当該ＳＰＣが重畳される静的オブジェクトを構成する１以上のＳＰＣに対応付けられる。なお、動的オブジェクトをＳＰＣではなく、１以上のＶＬＭ又はＶＸＬにより表現してもよい。
　また、符号化装置は、静的オブジェクトと動的オブジェクトとを互いに異なるストリームとして符号化してもよい。
　また、符号化装置は、動的オブジェクトを構成する１以上のＳＰＣを含むＧＯＳを生成してもよい。さらに、符号化装置は、動的オブジェクトを含むＧＯＳ（ＧＯＳ＿Ｍ）と、ＧＯＳ＿Ｍの空間領域に対応する静的オブジェクトのＧＯＳとを同一サイズ（同一の空間領域を占める）に設定してもよい。これにより、ＧＯＳ単位で重畳処理を行うことができる。
　動的オブジェクトを構成するＰ－ＳＰＣ又はＢ－ＳＰＣは、符号化済みの異なるＧＯＳに含まれるＳＰＣを参照してもよい。動的オブジェクトの位置が時間的に変化し、同一の動的オブジェクトが異なる時刻のＧＯＳとして符号化されるケースでは、ＧＯＳを跨いだ参照が圧縮率の観点から有効となる。
　また、符号化データの用途に応じて、上記の第１方法と第２方法とを切替えてもよい。例えば、符号化三次元データを地図として用いる場合は、動的オブジェクトを分離できることが望ましいため、符号化装置は、第２方法を用いる。一方、符号化装置は、コンサート又はスポーツなどのイベントの三次元データを符号化する場合に、動的オブジェクトを分離する必要がなければ、第１方法を用いる。
　また、ＧＯＳ又はＳＰＣの復号時刻と表示時刻とは符号化データ内、又はメタ情報として格納できる。また、静的オブジェクトの時刻情報は全て同一としてもよい。このとき、実際の復号時刻と表示時刻は、復号装置が決定するものとしてもよい。あるいは、復号時刻として、ＧＯＳ、あるいは、ＳＰＣ毎に異なる値が付与され、表示時刻として全て同一の値が付与されてもよい。さらに、ＨＥＶＣのＨＲＤ（Ｈｙｐｏｔｈｅｔｉｃａｌ　Ｒｅｆｅｒｅｎｃｅ　Ｄｅｃｏｄｅｒ）など動画像符号化におけるデコーダモデルのように、デコーダが所定のサイズのバッファを有し、復号時刻に従って所定のビットレートでビットストリームを読み込めば破綻なく復号できることを保証するモデルを導入してもよい。
　次に、ワールド内におけるＧＯＳの配置について説明する。ワールドにおける三次元空間の座標は、互いに直交する３本の座標軸（ｘ軸、ｙ軸、ｚ軸）により表現される。ＧＯＳの符号化順に所定のルールを設けることで、空間的に隣接するＧＯＳが符号化データ内で連続するように符号化を行える。例えば、図４に示す例では、ｘｚ平面内のＧＯＳを連続的に符号化する。あるｘｚ平面内の全てのＧＯＳの符号化終了後にｙ軸の値を更新する。すなわち、符号化が進むにつれて、ワールドはｙ軸方向に伸びていく。また、ＧＯＳのインデックス番号は符号化順に設定される。
　ここで、ワールドの三次元空間は、ＧＰＳ、或いは緯度及び経度などの地理的な絶対座標と１対１に対応付けておく。或いは、予め設定した基準位置からの相対位置により三次元空間が表現されてもよい。三次元空間のｘ軸、ｙ軸、ｚ軸の方向は、緯度及び経度などに基づいて決定される方向ベクトルとして表現され、当該方向ベクトルはメタ情報として符号化データと共に格納される。
　また、ＧＯＳのサイズは固定とし、符号化装置は、当該サイズをメタ情報として格納する。また、ＧＯＳのサイズは、例えば、都市部か否か、又は、室内か外かなどに応じて切替えられてもよい。つまり、ＧＯＳのサイズは、情報としての価値があるオブジェクトの量又は性質に応じて切替えられてもよい。あるいは、符号化装置は、同一ワールド内において、オブジェクトの密度などに応じて、ＧＯＳのサイズ、又は、ＧＯＳ内のＩ－ＳＰＣの間隔を適応的に切替えてもよい。例えば、符号化装置は、オブジェクトの密度が高いほど、ＧＯＳのサイズを小さくし、ＧＯＳ内のＩ－ＳＰＣの間隔を短くする。
　図５の例では、３番目から１０番目のＧＯＳの領域では、オブジェクトの密度が高いため、細かい粒度でのランダムアクセスを実現するために、ＧＯＳが細分化されている。なお、７番目から１０番目のＧＯＳは、それぞれ、３番目から６番目のＧＯＳの裏側に存在する。
　次に、本実施の形態に係る三次元データ符号化装置の構成及び動作の流れを説明する。図６は、本実施の形態に係る三次元データ符号化装置１００のブロック図である。図７は、三次元データ符号化装置１００の動作例を示すフローチャートである。
　図６に示す三次元データ符号化装置１００は、三次元データ１１１を符号化することで符号化三次元データ１１２を生成する。この三次元データ符号化装置１００は、取得部１０１と、符号化領域決定部１０２と、分割部１０３と、符号化部１０４とを備える。
　図７に示すように、まず、取得部１０１は、点群データである三次元データ１１１を取得する（Ｓ１０１）。
　次に、符号化領域決定部１０２は、取得した点群データに対応する空間領域のうち、符号化対象の領域を決定する（Ｓ１０２）。例えば、符号化領域決定部１０２は、ユーザ又は車両の位置に応じて、当該位置の周辺の空間領域を符号化対象の領域に決定する。
　次に、分割部１０３は、符号化対象の領域に含まれる点群データを、各処理単位に分割する。ここで処理単位とは、上述したＧＯＳ及びＳＰＣ等である。また、この符号化対象の領域は、例えば、上述したワールドに対応する。具体的には、分割部１０３は、予め設定したＧＯＳのサイズ、又は、動的オブジェクトの有無或いはサイズに基づいて、点群データを処理単位に分割する（Ｓ１０３）。また、分割部１０３は、各ＧＯＳにおいて符号化順で先頭となるＳＰＣの開始位置を決定する。
　次に、符号化部１０４は、各ＧＯＳ内の複数のＳＰＣを順次符号化することで符号化三次元データ１１２を生成する（Ｓ１０４）。
　なお、ここでは、符号化対象の領域をＧＯＳ及びＳＰＣに分割した後に、各ＧＯＳを符号化する例を示したが、処理の手順は上記に限らない。例えば、一つのＧＯＳの構成を決定した後にそのＧＯＳを符号化し、その後、次のＧＯＳの構成を決定する等の手順を用いてもよい。
　このように、三次元データ符号化装置１００は、三次元データ１１１を符号化することで符号化三次元データ１１２を生成する。具体的には、三次元データ符号化装置１００は、三次元データを、ランダムアクセス単位であって、各々が三次元座標に対応付けられている第１処理単位（ＧＯＳ）に分割し、第１処理単位（ＧＯＳ）を複数の第２処理単位（ＳＰＣ）に分割し、第２処理単位（ＳＰＣ）を複数の第３処理単位（ＶＬＭ）に分割する。また、第３処理単位（ＶＬＭ）は、位置情報が対応付けられる最小単位である１以上のボクセル（ＶＸＬ）を含む。
　次に、三次元データ符号化装置１００は、複数の第１処理単位（ＧＯＳ）の各々を符号化することで符号化三次元データ１１２を生成する。具体的には、三次元データ符号化装置１００は、各第１処理単位（ＧＯＳ）において、複数の第２処理単位（ＳＰＣ）の各々を符号化する。また、三次元データ符号化装置１００は、各第２処理単位（ＳＰＣ）において、複数の第３処理単位（ＶＬＭ）の各々を符号化する。
　例えば、三次元データ符号化装置１００は、処理対象の第１処理単位（ＧＯＳ）がクローズドＧＯＳである場合には、処理対象の第１処理単位（ＧＯＳ）に含まれる処理対象の第２処理単位（ＳＰＣ）を、処理対象の第１処理単位（ＧＯＳ）に含まれる他の第２処理単位（ＳＰＣ）を参照して符号化する。つまり、三次元データ符号化装置１００は、処理対象の第１処理単位（ＧＯＳ）とは異なる第１処理単位（ＧＯＳ）に含まれる第２処理単位（ＳＰＣ）を参照しない。
　一方、処理対象の第１処理単位（ＧＯＳ）がオープンＧＯＳである場合には、処理対象の第１処理単位（ＧＯＳ）に含まれる処理対象の第２処理単位（ＳＰＣ）を、処理対象の第１処理単位（ＧＯＳ）に含まれる他の第２処理単位（ＳＰＣ）、又は、処理対象の第１処理単位（ＧＯＳ）とは異なる第１処理単位（ＧＯＳ）に含まれる第２処理単位（ＳＰＣ）を参照して符号化する。
　また、三次元データ符号化装置１００は、処理対象の第２処理単位（ＳＰＣ）のタイプとして、他の第２処理単位（ＳＰＣ）を参照しない第１タイプ（Ｉ－ＳＰＣ）、他の一つの第２処理単位（ＳＰＣ）を参照する第２タイプ（Ｐ－ＳＰＣ）、及び他の二つの第２処理単位（ＳＰＣ）を参照する第３タイプのうちいずれかを選択し、選択したタイプに従い処理対象の第２処理単位（ＳＰＣ）を符号化する。
　次に、本実施の形態に係る三次元データ復号装置の構成及び動作の流れを説明する。図８は、本実施の形態に係る三次元データ復号装置２００のブロックのブロック図である。図９は、三次元データ復号装置２００の動作例を示すフローチャートである。
　図８に示す三次元データ復号装置２００は、符号化三次元データ２１１を復号することで復号三次元データ２１２を生成する。ここで、符号化三次元データ２１１は、例えば、三次元データ符号化装置１００で生成された符号化三次元データ１１２である。この三次元データ復号装置２００は、取得部２０１と、復号開始ＧＯＳ決定部２０２と、復号ＳＰＣ決定部２０３と、復号部２０４とを備える。
　まず、取得部２０１は、符号化三次元データ２１１を取得する（Ｓ２０１）。次に、復号開始ＧＯＳ決定部２０２は、復号対象のＧＯＳに決定する（Ｓ２０２）。具体的には、復号開始ＧＯＳ決定部２０２は、符号化三次元データ２１１内、又は符号化三次元データとは別に格納されたメタ情報を参照して、復号を開始する空間位置、オブジェクト、又は、時刻に対応するＳＰＣを含むＧＯＳを復号対象のＧＯＳに決定する。
　次に、復号ＳＰＣ決定部２０３は、ＧＯＳ内で復号するＳＰＣのタイプ（Ｉ、Ｐ、Ｂ）を決定する（Ｓ２０３）。例えば、復号ＳＰＣ決定部２０３は、（１）Ｉ－ＳＰＣのみを復号するか、（２）Ｉ－ＳＰＣ及びＰ－ＳＰＣを復号するか、（３）全てのタイプを復号するかを決定する。なお、全てのＳＰＣを復号するなど、予め復号するＳＰＣのタイプが決定している場合は、本ステップは行われなくてもよい。
　次に、復号部２０４は、ＧＯＳ内で復号順（符号化順と同一）で先頭となるＳＰＣが符号化三次元データ２１１内で開始するアドレス位置を取得し、当該アドレス位置から先頭ＳＰＣの符号化データを取得し、当該先頭ＳＰＣから順に各ＳＰＣを順次復号する（Ｓ２０４）。なお、上記アドレス位置は、メタ情報等に格納されている。
　このように、三次元データ復号装置２００は、復号三次元データ２１２を復号する。具体的には、三次元データ復号装置２００は、ランダムアクセス単位であって、各々が三次元座標に対応付けられている第１処理単位（ＧＯＳ）の符号化三次元データ２１１の各々を復号することで第１処理単位（ＧＯＳ）の復号三次元データ２１２を生成する。より具体的には、三次元データ復号装置２００は、各第１処理単位（ＧＯＳ）において、複数の第２処理単位（ＳＰＣ）の各々を復号する。また、三次元データ復号装置２００は、各第２処理単位（ＳＰＣ）において、複数の第３処理単位（ＶＬＭ）の各々を復号する。
　以下、ランダムアクセス用のメタ情報について説明する。このメタ情報は、三次元データ符号化装置１００で生成され、符号化三次元データ１１２（２１１）に含まれる。
　従来の二次元の動画像におけるランダムアクセスでは、指定した時刻の近傍となるランダムアクセス単位の先頭フレームから復号を開始していた。一方、ワールドにおいては、時刻に加えて、空間（座標又はオブジェクトなど）に対するランダムアクセスが想定される。
　そこで、少なくとも座標、オブジェクト、及び時刻の３つの要素へのランダムアクセスを実現するために、各要素とＧＯＳのインデックス番号とを対応付けるテーブルを用意する。さらに、ＧＯＳのインデックス番号とＧＯＳの先頭となるＩ－ＳＰＣのアドレスを対応付ける。図１０は、メタ情報に含まれるテーブルの一例を示す図である。なお、図１０に示す全てのテーブルが用いられる必要はなく、少なくとも一つのテーブルが用いられればよい。
　以下、一例として、座標を起点とするランダムアクセスについて説明する。座標（ｘ２、ｙ２、ｚ２）にアクセスする際には、まず、座標－ＧＯＳテーブルを参照して、座標が（ｘ２、ｙ２、ｚ２）である地点は２番目のＧＯＳに含まれることが分かる。次に、ＧＯＳアドレステーブルを参照し、２番目のＧＯＳにおける先頭のＩ－ＳＰＣのアドレスがａｄｄｒ（２）であることが分かるため、復号部２０４は、このアドレスからデータを取得して復号を開始する。
　なお、アドレスは、論理フォーマットにおけるアドレスであっても、ＨＤＤ又はメモリの物理アドレスであってもよい。また、アドレスの代わりにファイルセグメントを特定する情報が用いられてもよい。例えば、ファイルセグメントは、１つ以上のＧＯＳなどをセグメント化した単位である。
　また、オブジェクトが複数のＧＯＳに跨る場合には、オブジェクト－ＧＯＳテーブルにおいて、オブジェクトが属するＧＯＳを複数示してもよい。当該複数のＧＯＳがクローズドＧＯＳであれば、符号化装置及び復号装置は、並列に符号化又は復号を行うことができる。一方、当該複数のＧＯＳがオープンＧＯＳであれば、複数のＧＯＳが互いに参照しあうことでより圧縮効率を高めることができる。
　オブジェクトの例としては、ヒト、動物、車、自転車、信号、又はランドマークとなる建物などがある。例えば、三次元データ符号化装置１００は、ワールドの符号化時に三次元のポイントクラウドなどからオブジェクトに特有の特徴点を抽出し、当該特徴点に基づきオブジェクトを検出し、検出したオブジェクトをランダムアクセスポイントとして設定できる。
　このように、三次元データ符号化装置１００は、複数の第１処理単位（ＧＯＳ）と、複数の第１処理単位（ＧＯＳ）の各々に対応付けられている三次元座標とを示す第１情報を生成する。また、符号化三次元データ１１２（２１１）は、この第１情報を含む。また、第１情報は、さらに、複数の第１処理単位（ＧＯＳ）の各々に対応付けられている、オブジェクト、時刻及びデータ格納先のうち少なくとも一つを示す。
　三次元データ復号装置２００は、符号化三次元データ２１１から第１情報を取得し、第１情報を用いて、指定された三次元座標、オブジェクト又は時刻に対応する第１処理単位の符号化三次元データ２１１を特定し、当該符号化三次元データ２１１を復号する。
　以下、その他のメタ情報の例について説明する。ランダムアクセス用のメタ情報の他に、三次元データ符号化装置１００は、以下のようなメタ情報を生成及び格納してもよい。また、三次元データ復号装置２００は、このメタ情報を復号時に利用してもよい。
　三次元データを地図情報として用いる場合などには、用途に応じてプロファイルが規定され、当該プロファイルを示す情報がメタ情報に含まれてもよい。例えば、市街地或いは郊外向け、又は、飛行物体向けのプロファイルが規定され、それぞれにおいてワールド、ＳＰＣ又はＶＬＭの最大又は最小サイズなどが定義される。例えば、市街地向けでは、郊外向けよりも詳細な情報が必要なため、ＶＬＭの最小サイズが小さく設定される。
　メタ情報は、オブジェクトの種類を示すタグ値を含んでもよい。このタグ値はオブジェクトを構成するＶＬＭ、ＳＰＣ、又はＧＯＳと対応付けられる。例えば、タグ値「０」は「人」を示し、タグ値「１」は「車」を示し、タグ値「２」は「信号機」を示す、などオブジェクトの種類ごとにタグ値が設定されてもよい。または、オブジェクトの種類が判定しにくい又は判定する必要がない場合はサイズ、又は、動的オブジェクトか静的オブジェクトかなどの性質を示すタグ値が用いられてもよい。
　また、メタ情報は、ワールドが占める空間領域の範囲を示す情報を含んでもよい。
　また、メタ情報は、符号化データのストリーム全体、又は、ＧＯＳ内のＳＰＣなど、複数のＳＰＣに共通のヘッダ情報として、ＳＰＣ又はＶＸＬのサイズを格納してもよい。
　また、メタ情報は、ポイントクラウドの生成に用いた距離センサ或いはカメラなどの識別情報、又は、ポイントクラウド内の点群の位置精度を示す情報を含んでもよい。
　また、メタ情報は、ワールドが静的オブジェクトのみから構成されるか、動的オブジェクトを含むかを示す情報を含んでもよい。
　以下、本実施の形態の変形例について説明する。
　符号化装置又は復号装置は、互いに異なる２以上のＳＰＣ又はＧＯＳを並列で符号化又は復号してもよい。並列で符号化又は復号するＧＯＳは、ＧＯＳの空間位置を示すメタ情報などに基づいて決定できる。
　三次元データを車又は飛行物体などが移動する際の空間地図として用いる、又はこのような空間地図を生成するケースなどでは、符号化装置又は復号装置は、ＧＰＳ、経路情報、又はズーム倍率などに基づいて特定される空間に含まれるＧＯＳ又はＳＰＣを符号化又は復号してもよい。
　また、復号装置は、自己位置又は走行経路に近い空間から順に復号を行ってもよい。符号化装置又は復号装置は、自己位置又は走行経路から遠い空間を、近い空間に比べて優先度を落として符号化又は復号してもよい。ここで、優先度を落とすとは、処理順を下げる、解像度を下げる（間引いて処理する）、又は、画質を下げる（符号化効率を上げる。例えば、量子化ステップを大きくする。）等である。
　また、復号装置は、空間内で階層的に符号化されている符号化データを復号する際は、低階層のみを復号してもよい。
　また、復号装置は、地図のズーム倍率又は用途に応じて、低階層から優先的に復号してもよい。
　また、車又はロボットの自律走行時に行う自己位置推定又は物体認識などの用途では、符号化装置又は復号装置は、路面から特定高さ以内の領域（認識を行う領域）以外は解像度を落として符号化又は復号を行ってもよい。
　また、符号化装置は、室内と室外との空間形状を表現するポイントクラウドをそれぞれ個別に符号化してもよい。例えば、室内を表現するＧＯＳ（室内ＧＯＳ）と室外を表現するＧＯＳ（室外ＧＯＳ）とを分けることで、復号装置は、符号化データを利用する際に、視点位置に応じて復号するＧＯＳを選択できる。
　また、符号化装置は、座標が近い室内ＧＯＳと室外ＧＯＳとを、符号化ストリーム内で隣接するように符号化してもよい。例えば、符号化装置は、両者の識別子を対応付け、符号化ストリーム内、又は別途格納されるメタ情報内に対応付けた識別子を示す情報を格納する。これにより、復号装置は、メタ情報内の情報を参照して、座標が近い室内ＧＯＳと室外ＧＯＳとを識別できる。
　また、符号化装置は、室内ＧＯＳと室外ＧＯＳとで、ＧＯＳ又はＳＰＣのサイズを切替えてもよい。例えば、符号化装置は、室内では室外に比べてＧＯＳのサイズを小さく設定する。また、符号化装置は、室内ＧＯＳと室外ＧＯＳとで、ポイントクラウドから特徴点を抽出する際の精度、又はオブジェクト検出の精度などを変更してもよい。
　また、符号化装置は、復号装置が動的オブジェクトを静的オブジェクトと区別して表示するための情報を符号化データに付加してもよい。これにより、復号装置は、動的オブジェクトと赤枠又は説明用の文字などとを合わせて表示できる。なお、復号装置は、動的オブジェクトの代わりに赤枠又は説明用の文字のみを表示してもよい。また、復号装置は、より細かいオブジェクト種別を表示してもよい。例えば、車には赤枠が用いられ、ヒトには黄色枠が用いられてもよい。
　また、符号化装置又は復号装置は、動的オブジェクトの出現頻度、又は、静的オブジェクトと動的オブジェクトとの割合などに応じて、動的オブジェクトと静的オブジェクトとを異なるＳＰＣ又はＧＯＳとして符号化又は復号するかどうかを決定してもよい。例えば、動的オブジェクトの出現頻度又は割合が閾値を超える場合には、動的オブジェクトと静的オブジェクトとが混在するＳＰＣ又はＧＯＳが許容され、動的オブジェクトの出現頻度又は割合が閾値を超えない場合には、動的オブジェクトと静的オブジェクトとが混在するＳＰＣ又はＧＯＳが許容されない。
　動的オブジェクトをポイントクラウドではなく、カメラの二次元画像情報から検出する際には、符号化装置は、検出結果を識別するための情報（枠又は文字など）とオブジェクト位置とを別途取得し、これらの情報を三次元の符号化データの一部として符号化してもよい。この場合、復号装置は、静的オブジェクトの復号結果に対して、動的オブジェクトを示す補助情報（枠又は文字）を重畳して表示する。
　また、符号化装置は、静的オブジェクトの形状の複雑さなどに応じて、ＳＰＣにおけるＶＸＬ又はＶＬＭの粗密さを変更してもよい。例えば、符号化装置は、静的オブジェクトの形状が複雑なほど、ＶＸＬ又はＶＬＭを密に設定する。さらに、符号化装置は、空間位置又は色情報を量子化する際の量子化ステップなどをＶＸＬ又はＶＬＭの粗密さに応じて決定してもよい。例えば、符号化装置は、ＶＸＬ又はＶＬＭが密なほど量子化ステップを小さく設定する。
　以上のように、本実施の形態に係る符号化装置又は復号装置は、座標情報を有するスペース単位で空間の符号化又は復号を行う。
　また、符号化装置及び復号装置は、スペース内において、ボリューム単位で符号化又は復号を行う。ボリュームは、位置情報が対応付けられる最小単位であるボクセルを含む。
　また、符号化装置及び復号装置は、座標、オブジェクト、及び時間等を含む空間情報の各要素とＧＯＰとを対応付けたテーブル、又は各要素間を対応付けたテーブルにより任意の要素間を対応付けて符号化又は復号を行う。また、復号装置は、選択された要素の値を用いて座標を判定し、座標からボリューム、ボクセル又はスペースを特定し、当該ボリューム又はボクセルを含むスペース、又は特定されたスペースを復号する。
　また、符号化装置は、特徴点抽出又はオブジェクト認識により、要素により選択可能なボリューム、ボクセル又はスペースを判定し、ランダムアクセス可能なボリューム、ボクセル又はスペースとして符号化する。
　スペースは、当該スペース単体で符号化又は復号可能なＩ－ＳＰＣと、任意の１つの処理済みスペースを参照して符号化又は復号されるＰ－ＳＰＣと、任意の二つの処理済みスペースを参照して符号化又は復号されるＢ－ＳＰＣとの３種類のタイプに分類される。
　１以上のボリュームが、静的オブジェクト又は動的なオブジェクトに対応する。静的オブジェクトを含むスペースと動的オブジェクトを含むスペースとは互いに異なるＧＯＳとして符号化又は復号される。つまり、静的オブジェクトを含むＳＰＣと、動的オブジェクトを含むＳＰＣとが異なるＧＯＳに割り当てられる。
　動的オブジェクトはオブジェクトごとに符号化又は復号され、静的オブジェクトを含む１以上のスペースに対応付けられる。つまり、複数の動的オブジェクトは個別に符号化され、得られた複数の動的オブジェクトの符号化データは、静的オブジェクトを含むＳＰＣに対応付けられる。
　符号化装置及び復号装置は、ＧＯＳ内のＩ－ＳＰＣの優先度を上げて、符号化又は復号を行う。例えば、符号化装置は、Ｉ－ＳＰＣの劣化が少なくなるように（復号後に元の三次元データがより忠実に再現されるように）符号化を行う。また、復号装置は、例えば、Ｉ－ＳＰＣのみを復号する。
　符号化装置は、ワールド内のオブジェクトの疎密さ又は数（量）に応じてＩ－ＳＰＣを用いる頻度を変えて符号化を行ってもよい。つまり、符号化装置は、三次元データに含まれるオブジェクトの数又は粗密さに応じて、Ｉ－ＳＰＣを選択する頻度を変更する。例えば、符号化装置は、ワールド内のオブジェクトが密であるほどＩスペースを用いる頻度を上げる。
　また、符号化装置は、ランダムアクセスポイントをＧＯＳ単位で設定し、ＧＯＳに対応する空間領域を示す情報をヘッダ情報に格納する。
　符号化装置は、ＧＯＳの空間サイズとして、例えば、デフォルト値を使用する。なお、符号化装置は、オブジェクト又は動的オブジェクトの数（量）又は粗密さに応じてＧＯＳのサイズを変更してもよい。例えば、符号化装置は、オブジェクト或いは動的オブジェクトが密なほど、又は数が多いほど、ＧＯＳの空間サイズを小さくする。
　また、スペース又はボリュームは、デプスセンサ、ジャイロ、又はカメラ等のセンサで得られた情報を用いて導出された特徴点群を含む。特徴点の座標はボクセルの中心位置に設定される。また、ボクセルの細分化により位置情報の高精度化を実現できる。
　特徴点群は、複数のピクチャを用いて導出される。複数のピクチャは、実際の時刻情報と、スペースに対応付けられた複数のピクチャで同一の時刻情報（例えば、レート制御等に用いられる符号化時刻）との少なくとも２種類の時刻情報を有する。
　また、１以上のスペースを含むＧＯＳ単位で符号化又は復号が行われる。
　符号化装置及び復号装置は、処理済みのＧＯＳ内のスペースを参照して、処理対象のＧＯＳ内のＰスペース又はＢスペースの予測を行う。
　または、符号化装置及び復号装置は、異なるＧＯＳを参照せず、処理対象のＧＯＳ内の処理済スペースを用いて処理対象のＧＯＳ内のＰスペース又はＢスペースの予測を行う。
　また、符号化装置及び復号装置は、１以上のＧＯＳを含むワールド単位で符号化ストリームを送信又は受信する。
　また、ＧＯＳは少なくともワールド内で１方向にレイヤ構造を持ち、符号化装置及び復号装置は、下位レイヤから符号化又は復号を行う。例えば、ランダムアクセス可能なＧＯＳは最下位レイヤに属する。上位レイヤに属するＧＯＳは同一レイヤ以下に属するＧＯＳを参照する。つまり、ＧＯＳは、予め定められた方向に空間分割され、各々が１以上のＳＰＣを含む複数のレイヤを含む。符号化装置及び復号装置は、各ＳＰＣを、当該ＳＰＣと同一レイヤ又は当該ＳＰＣより下層のレイヤに含まれるＳＰＣを参照して符号化又は復号する。
　また、符号化装置及び復号装置は、複数のＧＯＳを含むワールド単位内で、連続してＧＯＳを符号化又は復号する。符号化装置及び復号装置は、符号化又は復号の順序（方向）を示す情報をメタデータとして書き込む又は読み出す。つまり、符号化データは、複数のＧＯＳの符号化順を示す情報を含む。
　また、符号化装置及び復号装置は、互いに異なる２以上のスペース又はＧＯＳを並列で符号化又は復号する。
　また、符号化装置及び復号装置は、スペース又はＧＯＳの空間情報（座標、サイズ等）を符号化又は復号する。
　また、符号化装置及び復号装置は、ＧＰＳ、経路情報、又は倍率など、自己の位置又は／及び領域サイズに関する外部情報に基づいて特定される特定空間に含まれるスペース又はＧＯＳを符号化又は復号する。
　符号化装置又は復号装置は、自己の位置から遠い空間は、近い空間に比べて優先度を落として符号化又は復号する。
　符号化装置は、倍率又は用途に応じて、ワールドのある１方向を設定し、当該方向にレイヤ構造を持つＧＯＳを符号化する。また、復号装置は、倍率又は用途に応じて設定されたワールドのある１方向にレイヤ構造を持つＧＯＳを、下位レイヤから優先的に復号する。
　符号化装置は、室内と室外とでスペースに含まれる特徴点抽出、オブジェクト認識の精度、又は空間領域サイズなどを変化させる。ただし、符号化装置及び復号装置は、座標が近い室内ＧＯＳと室外ＧＯＳとをワールド内で隣接して符号化又は復号し、これらの識別子も対応付けて符号化又は復号する。
　（実施の形態２）
　ポイントクラウドの符号化データを実際の装置又はサービスにおいて使用する際には、ネットワーク帯域を抑制するために用途に応じて必要な情報を送受信することが望ましい。しかしながら、これまで、三次元データの符号化構造にはそのような機能が存在せず、そのための符号化方法も存在しなかった。
　本実施の形態では、三次元のポイントクラウドの符号化データにおいて用途に応じて必要な情報のみを送受信する機能を提供するための三次元データ符号化方法及び三次元データ符号化装置、並びに、当該符号化データを復号する三次元データ復号方法及び三次元データ復号装置について説明する。
　特徴量を一定以上持つボクセル（ＶＸＬ）を特徴ボクセル（ＦＶＸＬ）と定義し、ＦＶＸＬで構成されるワールド（ＷＬＤ）をスパースワールド（ＳＷＬＤ）と定義する。図１１は、スパースワールド及びワールドの構成例を示す図である。ＳＷＬＤには、ＦＶＸＬで構成されるＧＯＳであるＦＧＯＳと、ＦＶＸＬで構成されるＳＰＣであるＦＳＰＣと、ＦＶＸＬで構成されるＶＬＭであるＦＶＬＭと含まれる。ＦＧＯＳ、ＦＳＰＣ及びＦＶＬＭのデータ構造及び予測構造はＧＯＳ、ＳＰＣ及びＶＬＭと同様であっても構わない。
　特徴量とは、ＶＸＬの三次元位置情報、又はＶＸＬ位置の可視光情報を表現する特徴量であり、特に立体物のコーナー及びエッジ等で多く検出される特徴量である。具体的には、この特徴量は、下記のような三次元特徴量又は可視光の特徴量であるが、その他、ＶＸＬの位置、輝度、又は色情報などを表す特徴量であれば、どのようなものでも構わない。
　三次元特徴量として、ＳＨＯＴ特徴量（Ｓｉｇｎａｔｕｒｅ　ｏｆ　Ｈｉｓｔｏｇｒａｍｓ　ｏｆ　ＯｒｉｅｎＴａｔｉｏｎｓ）、ＰＦＨ特徴量（Ｐｏｉｎｔ　Ｆｅａｔｕｒｅ　Ｈｉｓｔｏｇｒａｍｓ）、又はＰＰＦ特徴量（Ｐｏｉｎｔ　Ｐａｉｒ　Ｆｅａｔｕｒｅ）が用いられる。
　ＳＨＯＴ特徴量は、ＶＸＬ周辺を分割し、基準点と分割された領域の法線ベクトルとの内積を計算してヒストグラム化することで得られる。このＳＨＯＴ特徴量は、次元数が高く、特徴表現力が高いという特徴を有する。
　ＰＦＨ特徴量は、ＶＸＬ近傍の多数の２点組を選択し、その２点から法線ベクトル等を算出してヒストグラム化することで得られる。このＰＦＨ特徴量は、ヒストグラム特徴なので、多少の外乱に対してロバスト性を有し、特徴表現力も高いという特徴を有する。
　ＰＰＦ特徴量は、２点のＶＸＬ毎に法線ベクトル等を用いて算出される特徴量である。このＰＰＦ特徴量には、全ＶＸＬが使われるため、オクルージョンに対してロバスト性を有する。
　また、可視光の特徴量として、画像の輝度勾配情報等の情報を用いたＳＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ　Ｆｅａｔｕｒｅ　Ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄｅｄ　Ｕｐ　Ｒｏｂｕｓｔ　Ｆｅａｔｕｒｅｓ）、又はＨＯＧ（Ｈｉｓｔｏｇｒａｍ　ｏｆ　Ｏｒｉｅｎｔｅｄ　Ｇｒａｄｉｅｎｔｓ）等を用いることができる。
　ＳＷＬＤは、ＷＬＤの各ＶＸＬから上記特徴量を算出し、ＦＶＸＬを抽出することで生成される。ここで、ＳＷＬＤはＷＬＤが更新される度に更新しても構わないし、ＷＬＤの更新タイミングに関わらず、一定時間経過後に定期的に更新するようにしても構わない。
　ＳＷＬＤは特徴量毎に生成しても構わない。例えば、ＳＨＯＴ特徴量に基づくＳＷＬＤ１とＳＩＦＴ特徴量に基づくＳＷＬＤ２とのように、特徴量毎に別々のＳＷＬＤが生成され、用途に応じてＳＷＬＤを使い分けるようにしても構わない。また、算出した各ＦＶＸＬの特徴量を特徴量情報として各ＦＶＸＬに保持するようにしても構わない。
　次に、スパースワールド（ＳＷＬＤ）の利用方法について説明する。ＳＷＬＤは特徴ボクセル（ＦＶＸＬ）のみを含むため、全てのＶＸＬを含むＷＬＤと比べて一般的にデータサイズが小さい。
　特徴量を利用して何らかの目的を果たすアプリケーションにおいては、ＷＬＤの代わりにＳＷＬＤの情報を利用することで、ハードディスクからの読み出し時間、並びにネットワーク転送時の帯域及び転送時間を抑制することができる。例えば、地図情報として、ＷＬＤとＳＷＬＤとをサーバに保持しておき、クライアントからの要望に応じて、送信する地図情報をＷＬＤ又はＳＷＬＤに切り替えることにより、ネットワーク帯域及び転送時間を抑制することができる。以下、具体的な例を示す。
　図１２及び図１３は、ＳＷＬＤ及びＷＬＤの利用例を示す図である。図１２に示すように、車載装置であるクライアント１が自己位置判定用途として地図情報を必要な場合は、クライアント１はサーバに自己位置推定用の地図データの取得要望を送る（Ｓ３０１）。サーバは、当該取得要望に応じてＳＷＬＤをクライアント１に送信する（Ｓ３０２）。クライアント１は、受信したＳＷＬＤを用いて自己位置判定を行う（Ｓ３０３）。この際、クライアント１はレンジファインダなどの距離センサ、ステレオカメラ、又は複数の単眼カメラの組合せ等の様々な方法でクライアント１の周辺のＶＸＬ情報を取得し、得られたＶＸＬ情報とＳＷＬＤとから自己位置情報を推定する。ここで自己位置情報は、クライアント１の三次元位置情報及び向き等を含む。
　図１３に示すように、車載装置であるクライアント２が三次元地図等の地図描画の用途として地図情報が必要な場合は、クライアント２はサーバに地図描画用の地図データの取得要望を送る（Ｓ３１１）。サーバは、当該取得要望に応じてＷＬＤをクライアント２に送信する（Ｓ３１２）。クライアント２は、受信したＷＬＤを用いて地図描画を行う（Ｓ３１３）。この際、クライアント２は、例えば、自己が可視光カメラ等で撮影した画像と、サーバから取得したＷＬＤとを用いてレンダリング画像を作成し、作成した画像をカーナビ等の画面に描画する。
　上記のように、サーバは、自己位置推定のような各ＶＸＬの特徴量を主に必要とする用途ではＳＷＬＤをクライアントに送信し、地図描画のように詳細なＶＸＬ情報が必要な場合はＷＬＤをクライアントに送信する。これにより、地図データを効率よく送受信することが可能となる。
　なお、クライアントは、自分でＳＷＬＤとＷＬＤのどちらが必要かを判断し、サーバへＳＷＬＤ又はＷＬＤの送信を要求しても構わない。また、サーバは、クライアント又はネットワークの状況に合わせて、ＳＷＬＤかＷＬＤのどちらを送信すべきかを判断しても構わない。
　次に、スパースワールド（ＳＷＬＤ）とワールド（ＷＬＤ）との送受信を切り替える方法を説明する。
　ネットワーク帯域に応じてＷＬＤ又はＳＷＬＤを受信するかを切替えるようにしてもよい。図１４は、この場合の動作例を示す図である。例えば、ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）環境下等の使用できるネットワーク帯域が限られている低速ネットワークが用いられている場合には、クライアントは、低速ネットワーク経由でサーバにアクセスし（Ｓ３２１）、サーバから地図情報としてＳＷＬＤを取得する（Ｓ３２２）。一方、Ｗｉ‐Ｆｉ（登録商標）環境下等のネットワーク帯域に余裕がある高速ネットワークが用いられている場合には、クライアントは、高速ネットワーク経由でサーバにアクセスし（Ｓ３２３）、サーバからＷＬＤを取得する（Ｓ３２４）。これにより、クライアントは、当該クライアントのネットワーク帯域に応じて適切な地図情報を取得することができる。
　具体的には、クライアントは、屋外ではＬＴＥ経由でＳＷＬＤを受信し、施設等の屋内に入った場合はＷｉ‐Ｆｉ（登録商標）経由でＷＬＤを取得する。これにより、クライアントは、屋内のより詳細な地図情報を取得することが可能となる。
　このように、クライアントは、自身が用いるネットワークの帯域に応じてサーバにＷＬＤ又はＳＷＬＤを要求してもよい。または、クライアントは、自身が用いるネットワークの帯域を示す情報をサーバに送信し、サーバは当該情報に応じて当該クライアントに適したデータ（ＷＬＤ又はＳＷＬＤ）を送信してもよい。または、サーバは、クライアントのネットワーク帯域を判別し、当該クライアントに適したデータ（ＷＬＤ又はＳＷＬＤ）を送信してもよい。
　また、移動速度に応じてＷＬＤ又はＳＷＬＤを受信するかを切替えるようにしてもよい。図１５は、この場合の動作例を示す図である。例えば、クライアントが高速移動をしている場合は（Ｓ３３１）、クライアントはＳＷＬＤをサーバから受信する（Ｓ３３２）。一方、クライアントが低速移動をしている場合は（Ｓ３３３）、クライアントはＷＬＤをサーバから受信する（Ｓ３３４）。これにより、クライアントは、ネットワーク帯域を抑制しながら、速度に合った地図情報を取得することができる。具体的には、クライアントは、高速道路を走行中にはデータ量の少ないＳＷＬＤを受信することにより、大まかな地図情報を適切な速度で更新することができる。一方、クライアントは、一般道路を走行中にはＷＬＤを受信することにより、より詳細な地図情報を取得することが可能となる。
　このように、クライアントは、自身の移動速度に応じてサーバにＷＬＤ又はＳＷＬＤを要求してもよい。または、クライアントは、自身の移動速度を示す情報をサーバに送信し、サーバは当該情報に応じて当該クライアントに適したデータ（ＷＬＤ又はＳＷＬＤ）を送信してもよい。または、サーバは、クライアントの移動速度を判別し、当該クライアントに適したデータ（ＷＬＤ又はＳＷＬＤ）を送信してもよい。
　また、クライアントは、最初にＳＷＬＤをサーバより取得し、その中で重要な領域のＷＬＤを取得しても構わない。例えば、クライアントは、地図データを取得する際に、最初に大まかな地図情報をＳＷＬＤで取得し、そこから建物、標識、又は人物等の特徴が多く出現する領域を絞り込み、絞り込んだ領域のＷＬＤを後から取得する。これにより、クライアントは、サーバからの受信データ量を抑制しつつ、必要な領域の詳細な情報を取得することが可能となる。
　また、サーバは、ＷＬＤから物体毎に別々のＳＷＬＤを作成し、クライアントは、用途に合わせて、それぞれを受信してもよい。これにより、ネットワーク帯域を抑制できる。例えば、サーバは、ＷＬＤから予め人又は車を認識し、人のＳＷＬＤと車のＳＷＬＤを作成する。クライアントは、周囲の人の情報を取得したい場合には人のＳＷＬＤを、車の情報を取得したい場合には車のＳＷＬＤを受信する。また、このようなＳＷＬＤの種類はヘッダ等に付加された情報（フラグ又はタイプ等）によって区別するようにしても構わない。
　次に、本実施の形態に係る三次元データ符号化装置（例えばサーバ）の構成及び動作の流れを説明する。図１６は、本実施の形態に係る三次元データ符号化装置４００のブロック図である。図１７は、三次元データ符号化装置４００による三次元データ符号化処理のフローチャートである。
　図１６に示す三次元データ符号化装置４００は、入力三次元データ４１１を符号化することで符号化ストリームである符号化三次元データ４１３及び４１４を生成する。ここで、符号化三次元データ４１３はＷＬＤに対応する符号化三次元データであり、符号化三次元データ４１４はＳＷＬＤに対応する符号化三次元データである。この三次元データ符号化装置４００は、取得部４０１と、符号化領域決定部４０２と、ＳＷＬＤ抽出部４０３と、ＷＬＤ符号化部４０４と、ＳＷＬＤ符号化部４０５とを備える。
　図１７に示すように、まず、取得部４０１は、三次元空間内の点群データである入力三次元データ４１１を取得する（Ｓ４０１）。
　次に、符号化領域決定部４０２は、点群データが存在する空間領域に基づいて、符号化対象の空間領域を決定する（Ｓ４０２）。
　次に、ＳＷＬＤ抽出部４０３は、符号化対象の空間領域をＷＬＤと定義し、ＷＬＤに含まれる各ＶＸＬから特徴量を算出する。そして、ＳＷＬＤ抽出部４０３は、特徴量が予め定められた閾値以上のＶＸＬを抽出し、抽出したＶＸＬをＦＶＸＬと定義し、当該ＦＶＸＬをＳＷＬＤへ追加することで、抽出三次元データ４１２を生成する（Ｓ４０３）。つまり、入力三次元データ４１１から特徴量が閾値以上の抽出三次元データ４１２が抽出される。
　次に、ＷＬＤ符号化部４０４は、ＷＬＤに対応する入力三次元データ４１１を符号化することでＷＬＤに対応する符号化三次元データ４１３を生成する（Ｓ４０４）。このとき、ＷＬＤ符号化部４０４は、符号化三次元データ４１３のヘッダに、当該符号化三次元データ４１３がＷＬＤを含むストリームであることを区別するための情報を付加する。
　また、ＳＷＬＤ符号化部４０５は、ＳＷＬＤに対応する抽出三次元データ４１２を符号化することでＳＷＬＤに対応する符号化三次元データ４１４を生成する（Ｓ４０５）。このとき、ＳＷＬＤ符号化部４０５は、符号化三次元データ４１４のヘッダに、当該符号化三次元データ４１４がＳＷＬＤを含むストリームであることを区別するための情報を付加する。
　なお、符号化三次元データ４１３を生成する処理と、符号化三次元データ４１４を生成する処理との処理順は上記と逆でもよい。また、これらの処理の一部又は全てが並列に行われてもよい。
　符号化三次元データ４１３及び４１４のヘッダに付与される情報として、例えば、「ｗｏｒｌｄ＿ｔｙｐｅ」というパラメータが定義される。ｗｏｒｌｄ＿ｔｙｐｅ＝０の場合はストリームがＷＬＤを含むことを表し、ｗｏｒｌｄ＿ｔｙｐｅ＝１の場合はストリームがＳＷＬＤを含むことを表す。更にその他の多数の種別を定義する場合には、ｗｏｒｌｄ＿ｔｙｐｅ＝２のように割り当てる数値を増やすようにしても構わない。また、符号化三次元データ４１３及び４１４の一方に特定のフラグが含まれてもよい。例えば、符号化三次元データ４１４に、当該ストリームがＳＷＬＤを含むことを含むフラグが付与されてもよい。この場合、復号装置は、フラグの有無によりＷＬＤを含むストリームか、ＳＷＬＤを含むストリームかを判別できる。
　また、ＷＬＤ符号化部４０４がＷＬＤを符号化する際に使用する符号化方法と、ＳＷＬＤ符号化部４０５がＳＷＬＤを符号化する際に使用する符号化方法とは異なってもよい。
　例えば、ＳＷＬＤではデータが間引かされているため、ＷＬＤに比べ、周辺のデータとの相関が低くなる可能性がある。よって、ＳＷＬＤに用いられる符号化方法では、ＷＬＤに用いられる符号化方法よりもイントラ予測及びインター予測のうちインター予測が優先されてもよい。
　また、ＳＷＬＤに用いられる符号化方法とＷＬＤに用いられる符号化方法とでは、三次元位置の表現手法が異なってもよい。例えば、ＳＷＬＤでは、三次元座標によりＦＶＸＬの三次元位置を表現し、ＷＬＤでは、後述する８分木により三次元位置が表現されてもよいし、その逆でもよい。
　また、ＳＷＬＤ符号化部４０５は、ＳＷＬＤの符号化三次元データ４１４のデータサイズがＷＬＤの符号化三次元データ４１３のデータサイズより小さくなるように符号化を行う。例えば、上述したようにＳＷＬＤは、ＷＬＤに比べ、データ間の相関が低くなる可能性がある。これにより、符号化効率が下がり、符号化三次元データ４１４のデータサイズがＷＬＤの符号化三次元データ４１３のデータサイズより大きくなる可能性がある。よって、ＳＷＬＤ符号化部４０５は、得られた符号化三次元データ４１４のデータサイズが、ＷＬＤの符号化三次元データ４１３のデータサイズより大きい場合には、再符号化を行うことで、データサイズを低減した符号化三次元データ４１４を再生成する。
　例えば、ＳＷＬＤ抽出部４０３は、抽出する特徴点の数を減らした抽出三次元データ４１２を再生成し、ＳＷＬＤ符号化部４０５は、当該抽出三次元データ４１２を符号化する。または、ＳＷＬＤ符号化部４０５における量子化の程度をより粗くしてもよい。例えば、後述する８分木構造において、最下層のデータを丸め込むことで、量子化の程度を粗くすることができる。
　また、ＳＷＬＤ符号化部４０５は、ＳＷＬＤの符号化三次元データ４１４のデータサイズをＷＬＤの符号化三次元データ４１３のデータサイズより小さくできない場合は、ＳＷＬＤの符号化三次元データ４１４を生成しなくてもよい。または、ＷＬＤの符号化三次元データ４１３がＳＷＬＤの符号化三次元データ４１４にコピーされてもよい。つまり、ＳＷＬＤの符号化三次元データ４１４としてＷＬＤの符号化三次元データ４１３がそのまま用いられてもよい。
　次に、本実施の形態に係る三次元データ復号装置（例えばクライアント）の構成及び動作の流れを説明する。図１８は、本実施の形態に係る三次元データ復号装置５００のブロック図である。図１９は、三次元データ復号装置５００による三次元データ復号処理のフローチャートである。
　図１８に示す三次元データ復号装置５００は、符号化三次元データ５１１を復号することで復号三次元データ５１２又は５１３を生成する。ここで、符号化三次元データ５１１は、例えば、三次元データ符号化装置４００で生成された符号化三次元データ４１３又は４１４である。
　この三次元データ復号装置５００は、取得部５０１と、ヘッダ解析部５０２と、ＷＬＤ復号部５０３と、ＳＷＬＤ復号部５０４とを備える。
　図１９に示すように、まず、取得部５０１は、符号化三次元データ５１１を取得する（Ｓ５０１）。次に、ヘッダ解析部５０２は、符号化三次元データ５１１のヘッダを解析し、符号化三次元データ５１１がＷＬＤを含むストリームか、ＳＷＬＤを含むストリームかを判別する（Ｓ５０２）。例えば、上述したｗｏｒｌｄ＿ｔｙｐｅのパラメータが参照され、判別が行われる。
　符号化三次元データ５１１がＷＬＤを含むストリームである場合（Ｓ５０３でＹｅｓ）、ＷＬＤ復号部５０３は、符号化三次元データ５１１を復号することでＷＬＤの復号三次元データ５１２を生成する（Ｓ５０４）。一方、符号化三次元データ５１１がＳＷＬＤを含むストリームである場合（Ｓ５０３でＮｏ）、ＳＷＬＤ復号部５０４は、符号化三次元データ５１１を復号することでＳＷＬＤの復号三次元データ５１３を生成する（Ｓ５０５）。
　また、符号化装置と同様に、ＷＬＤ復号部５０３がＷＬＤを復号する際に使用する復号方法と、ＳＷＬＤ復号部５０４がＳＷＬＤを復号する際に使用する復号方法とは異なってもよい。例えば、ＳＷＬＤに用いられる復号方法では、ＷＬＤに用いられる復号方法よりもイントラ予測及びインター予測のうちインター予測が優先されてもよい。
　また、ＳＷＬＤに用いられる復号方法とＷＬＤに用いられる復号方法とでは、三次元位置の表現手法が異なってもよい。例えば、ＳＷＬＤでは、三次元座標によりＦＶＸＬの三次元位置を表現し、ＷＬＤでは、後述する８分木により三次元位置が表現されてもよいし、その逆でもよい。
　次に、三次元位置の表現手法である８分木表現について説明する。三次元データに含まれるＶＸＬデータは８分木構造に変換された後、符号化される。図２０は、ＷＬＤのＶＸＬの一例を示す図である。図２１は、図２０に示すＷＬＤの８分木構造を示す図である。図２０に示す例では、点群を含むＶＸＬ（以下、有効ＶＸＬ）である３つＶＸＬ１～３が存在する。図２１に示すように、８分木構造はノードとリーフで構成される。各ノードは最大で８つのノードまたはリーフを持つ。各リーフはＶＸＬ情報を持つ。ここで、図２１に示すリーフのうち、リーフ１、２、３はそれぞれ図２０に示すＶＸＬ１、ＶＸＬ２、ＶＸＬ３を表す。
　具体的には、各ノード及びリーフは三次元位置に対応する。ノード１は、図２０に示す全体のブロックに対応する。ノード１に対応するブロックは８つのブロックに分割され、８つのブロックのうち、有効ＶＸＬを含むブロックがノードに設定され、それ以外のブロックはリーフに設定される。ノードに対応するブロックは、さらに８つのノードまたはリーフに分割され、この処理が木構造の階層分繰り返される。また、最下層のブロックは、全てリーフに設定される。
　また、図２２は、図２０に示すＷＬＤから生成したＳＷＬＤの例を示す図である。図２０に示すＶＸＬ１及びＶＸＬ２は特徴量抽出の結果、ＦＶＸＬ１及びＦＶＸＬ２と判定され、ＳＷＬＤに加えられている。一方で、ＶＸＬ３はＦＶＸＬと判定されず、ＳＷＬＤに含まれていない。図２３は、図２２に示すＳＷＬＤの８分木構造を示す図である。図２３に示す８分木構造では、図２１に示す、ＶＸＬ３に相当するリーフ３が削除されている。これにより、図２１に示すノード３が有効ＶＸＬを持たなくなり、リーフに変更されている。このように一般的にＳＷＬＤのリーフ数はＷＬＤのリーフ数より少なくなり、ＳＷＬＤの符号化三次元データもＷＬＤの符号化三次元データより小さくなる。
　以下、本実施の形態の変形例について説明する。
　例えば、車載装置等のクライアントは、自己位置推定を行う場合に、ＳＷＬＤをサーバから受信し、ＳＷＬＤを用いて自己位置推定を行い、障害物検知を行う場合は、レンジファインダなどの距離センサ、ステレオカメラ、又は複数の単眼カメラの組合せ等の様々な方法を用いて自分で取得した周辺の三次元情報に基づいて障害物検知を実施してもよい。
　また、一般的にＳＷＬＤには平坦領域のＶＸＬデータが含まれにくい。そのため、サーバは、静的な障害物の検知用に、ＷＬＤをサブサンプルしたサブサンプルワールド（ｓｕｂＷＬＤ）を保持し、ＳＷＬＤとｓｕｂＷＬＤをクライアントに送信してもよい。これにより、ネットワーク帯域を抑制しつつ、クライアント側で自己位置推定及び障害物検知を行うことができる。
　また、クライアントが三次元地図データを高速に描画する際には、地図情報がメッシュ構造である方が便利な場合がある。そこで、サーバは、ＷＬＤからメッシュを生成し、メッシュワールド（ＭＷＬＤ）として予め保持してもよい。例えばクライアントは、粗い三次元描画を必要としている場合にはＭＷＬＤを受信し、詳細な三次元描画を必要としている場合にはＷＬＤを受信する。これにより、ネットワーク帯域を抑制することができる。
　また、サーバは、各ＶＸＬのうち、特徴量が閾値以上であるＶＸＬをＦＶＸＬに設定したが、異なる方法にてＦＶＸＬを算出しても構わない。例えば、サーバは、信号又は交差点などを構成するＶＸＬ、ＶＬＭ、ＳＰＣ、又はＧＯＳを、自己位置推定、運転アシスト、又は自動運転等に必要と判断し、ＦＶＸＬ、ＦＶＬＭ、ＦＳＰＣ、ＦＧＯＳとしてＳＷＬＤに含めるようにしても構わない。また、上記判断は手動で行われてもよい。なお、特徴量に基づき設定されたＦＶＸＬ等に、上記方法で得られたＦＶＸＬ等を加えてもよい。つまり、ＳＷＬＤ抽出部４０３は、さらに、入力三次元データ４１１から予め定められた属性を有する物体に対応するデータを抽出三次元データ４１２として抽出してもよい。
　また、それらの用途に必要な旨を特徴量とは別にラベリングするようにしても構わない。また、サーバは、ＳＷＬＤの上位レイヤ（例えばレーンワールド）として、信号又は交差点などの自己位置推定、運転アシスト、又は自動運転等に必要なＦＶＸＬを別途保持してもよい。
　また、サーバは、ＷＬＤ内のＶＸＬにもランダムアクセス単位又は所定の単位毎に属性を付加してもよい。属性は、例えば、自己位置推定に必要或いは不要かを示す情報、又は、信号或いは交差点などの交通情報として重要かどうかなどを示す情報を含む。また、属性は、レーン情報（ＧＤＦ：Ｇｅｏｇｒａｐｈｉｃ　Ｄａｔａ　Ｆｉｌｅｓなど）におけるＦｅａｔｕｒｅ（交差点又は道路など）との対応関係を含んでもよい。
　また、ＷＬＤ又はＳＷＬＤの更新方法として下記のような方法を用いても構わない。
　人、工事、又は並木（トラック向け）の変化などを示す更新情報が点群又はメタデータとしてサーバにアップロードされる。サーバは、当該アップロードに基づき、ＷＬＤを更新し、その後、更新したＷＬＤを用いてＳＷＬＤを更新する。
　また、クライアントは、自己位置推定時に自身で生成した三次元情報とサーバから受信した三次元情報との不整合を検知した場合、自身で生成した三次元情報を更新通知とともにサーバに送信してもよい。この場合、サーバは、ＷＬＤを用いてＳＷＬＤを更新する。ＳＷＬＤが更新されない場合、サーバは、ＷＬＤ自体が古いと判断する。
　また、符号化ストリームのヘッダ情報として、ＷＬＤかＳＷＬＤかを区別する情報が付加されるとしたが、例えば、メッシュワールド又はレーンワールド等、多種類のワールドが存在する場合には、それらを区別する情報がヘッダ情報に付加されても構わない。また、特徴量が異なるＳＷＬＤが多数存在する場合には、それぞれを区別する情報がヘッダ情報に付加されても構わない。
　また、ＳＷＬＤは、ＦＶＸＬで構成されるとしたが、ＦＶＸＬと判定されなかったＶＸＬを含んでもよい。例えば、ＳＷＬＤは、ＦＶＸＬの特徴量を算出する際に使用する隣接ＶＸＬを含んでもよい。これにより、ＳＷＬＤの各ＦＶＸＬに特徴量情報が付加されない場合でも、クライアントは、ＳＷＬＤを受信した際にＦＶＸＬの特徴量を算出することができる。なお、その際には、ＳＷＬＤは各ＶＸＬがＦＶＸＬかＶＸＬかを区別するための情報を含んでもよい。
　以上のように、三次元データ符号化装置４００は、入力三次元データ４１１（第１三次元データ）から特徴量が閾値以上の抽出三次元データ４１２（第２三次元データ）を抽出し、抽出三次元データ４１２を符号化することで符号化三次元データ４１４（第１符号化三次元データ）を生成する。
　これによれば、三次元データ符号化装置４００は、特徴量が閾値以上のデータを符号化した符号化三次元データ４１４を生成する。これにより、入力三次元データ４１１をそのまま符号化する場合に比べてデータ量を削減できる。よって、三次元データ符号化装置４００は、伝送するデータ量を削減できる。
　また、三次元データ符号化装置４００は、さらに、入力三次元データ４１１を符号化することで符号化三次元データ４１３（第２符号化三次元データ）を生成する。
　これによれば、三次元データ符号化装置４００は、例えば、使用用途等に応じて、符号化三次元データ４１３と符号化三次元データ４１４とを選択的に伝送できる。
　また、抽出三次元データ４１２は、第１符号化方法により符号化され、入力三次元データ４１１は、第１符号化方法とは異なる第２符号化方法により符号化される。
　これによれば、三次元データ符号化装置４００は、入力三次元データ４１１と抽出三次元データ４１２とにそれぞれ適した符号化方法を用いることができる。
　また、第１符号化方法では、第２符号化方法よりもイントラ予測及びインター予測のうちインター予測が優先される。
　これによれば、三次元データ符号化装置４００は、隣接するデータ間の相関が低くなりやすい抽出三次元データ４１２に対して、インター予測の優先度を上げることができる。
　また、第１符号化方法と第２符号化方法とでは、三次元位置の表現手法が異なる。例えば、例えば、第２符号化方法では、８分木により三次元位置が表現され、第１符号化方法では、三次元座標により三次元位置を表現される。
　これによれば、三次元データ符号化装置４００は、データ数（ＶＸＬ又はＦＶＸＬの数）が異なる三次元データに対して、より適した三次元位置の表現手法を用いることができる。
　また、符号化三次元データ４１３及び４１４の少なくとも一方は、当該符号化三次元データが入力三次元データ４１１を符号化することで得られた符号化三次元データであるか、入力三次元データ４１１のうちの一部を符号化することで得られた符号化三次元データであるかを示す識別子を含む。つまり、当該識別子は、符号化三次元データがＷＬＤの符号化三次元データ４１３であるかＳＷＬＤの符号化三次元データ４１４であるかを示す。
　これによれば、復号装置は、取得した符号化三次元データが符号化三次元データ４１３であるか符号化三次元データ４１４であるかを容易に判定できる。
　また、三次元データ符号化装置４００は、符号化三次元データ４１４のデータ量が符号化三次元データ４１３のデータ量より小さくなるように抽出三次元データ４１２を符号化する。
　これによれば、三次元データ符号化装置４００は、符号化三次元データ４１４のデータ量を符号化三次元データ４１３のデータ量より小さくできる。
　また、三次元データ符号化装置４００は、さらに、入力三次元データ４１１から予め定められた属性を有する物体に対応するデータを抽出三次元データ４１２として抽出する。例えば、予め定められた属性を有する物体とは、自己位置推定、運転アシスト、又は自動運転等に必要な物体であり、信号又は交差点などである。
　これによれば、三次元データ符号化装置４００は、復号装置で必要となるデータを含む符号化三次元データ４１４を生成できる。
　また、三次元データ符号化装置４００（サーバ）は、さらに、クライアントの状態に応じて、符号化三次元データ４１３及び４１４の一方をクライアントに送信する。
　これによれば、三次元データ符号化装置４００は、クライアントの状態に応じて適切なデータを送信できる。
　また、クライアントの状態は、クライアントの通信状況（例えばネットワーク帯域）、又はクライアントの移動速度を含む。
　また、三次元データ符号化装置４００は、さらに、クライアントの要求に応じて、符号化三次元データ４１３及び４１４の一方をクライアントに送信する。
　これによれば、三次元データ符号化装置４００は、クライアントの要求に応じて適切なデータを送信できる。
　また、本実施の形態に係る三次元データ復号装置５００は、上記三次元データ符号化装置４００により生成された符号化三次元データ４１３又は４１４を復号する。
　つまり、三次元データ復号装置５００は、入力三次元データ４１１から抽出された特徴量が閾値以上の抽出三次元データ４１２が符号化されることで得られた符号化三次元データ４１４を第１復号方法により復号する。また、三次元データ復号装置５００は、入力三次元データ４１１が符号化されることで得られた符号化三次元データ４１３を、第１復号方法とは異なる第２復号方法により復号する。
　これによれば、三次元データ復号装置５００は、特徴量が閾値以上のデータを符号化した符号化三次元データ４１４と、符号化三次元データ４１３とを、例えば、使用用途等に応じて選択的に受信できる。これにより、三次元データ復号装置５００は、伝送するデータ量を削減できる。さらに、三次元データ復号装置５００は、入力三次元データ４１１と抽出三次元データ４１２とにそれぞれ適した復号方法を用いることができる。
　また、第１復号方法では、第２復号方法よりもイントラ予測及びインター予測のうちインター予測が優先される。
　これによれば、三次元データ復号装置５００は、隣接するデータ間の相関が低くなりやすい抽出三次元データに対して、インター予測の優先度を上げることができる。
　また、第１復号方法と第２復号方法とでは、三次元位置の表現手法が異なる。例えば、例えば、第２復号方法では、８分木により三次元位置が表現され、第１復号方法では、三次元座標により三次元位置を表現される。
　これによれば、三次元データ復号装置５００は、データ数（ＶＸＬ又はＦＶＸＬの数）が異なる三次元データに対して、より適した三次元位置の表現手法を用いることができる。
　また、符号化三次元データ４１３及び４１４の少なくとも一方は、当該符号化三次元データが入力三次元データ４１１を符号化することで得られた符号化三次元データであるか、入力三次元データ４１１のうちの一部を符号化することで得られた符号化三次元データであるかを示す識別子を含む。三次元データ復号装置５００は、当該識別子を参照して、符号化三次元データ４１３及び４１４を識別する。
　これによれば、三次元データ復号装置５００は、取得した符号化三次元データが符号化三次元データ４１３であるか符号化三次元データ４１４であるかを容易に判定できる。
　また、三次元データ復号装置５００は、さらに、クライアント（三次元データ復号装置５００）の状態をサーバに通知する。三次元データ復号装置５００は、クライアントの状態に応じて、サーバから送信された符号化三次元データ４１３及び４１４の一方を受信する。
　これによれば、三次元データ復号装置５００は、クライアントの状態に応じて適切なデータを受信できる。
　また、クライアントの状態は、クライアントの通信状況（例えばネットワーク帯域）、又はクライアントの移動速度を含む。
　また、三次元データ復号装置５００は、さらに、符号化三次元データ４１３及び４１４の一方をサーバに要求し、当該要求に応じて、サーバから送信された符号化三次元データ４１３及び４１４の一方を受信する。
　これによれば、三次元データ復号装置５００は、用途に応じた適切なデータを受信できる。
　（実施の形態３）
　本実施の形態では、車両間での三次元データを送受信する方法について説明する。例えば、自車両と周辺車両との間での三次元データの送受信が行われる。
　図２４は、本実施の形態に係る三次元データ作成装置６２０のブロック図である。この三次元データ作成装置６２０は、例えば、自車両に含まれ、三次元データ作成装置６２０が作成した第１三次元データ６３２に、受信した第２三次元データ６３５を合成することで、より密な第３三次元データ６３６を作成する。
　この三次元データ作成装置６２０は、三次元データ作成部６２１と、要求範囲決定部６２２と、探索部６２３と、受信部６２４と、復号部６２５と、合成部６２６とを備える。
　まず、三次元データ作成部６２１は、自車両が備えるセンサで検知したセンサ情報６３１を用いて第１三次元データ６３２を作成する。次に、要求範囲決定部６２２は、作成した第１三次元データ６３２の中でデータが不足している三次元空間範囲である要求範囲を決定する。
　次に、探索部６２３は、要求範囲の三次元データを所有する周辺車両を探索し、探索により特定した周辺車両に要求範囲を示す要求範囲情報６３３を送信する。次に、受信部６２４は、周辺車両から、要求範囲の符号化ストリームである符号化三次元データ６３４を受信する（Ｓ６２４）。なお、探索部６２３は、特定範囲に存在する全ての車両に対し、無差別にリクエストを出し、応答があった相手から符号化三次元データ６３４を受信してもよい。また、探索部６２３は、車両に限らず、信号機又は標識などの物体にリクエストを出し、当該物体から符号化三次元データ６３４を受信してもよい。
　次に、復号部６２５は、受信した符号化三次元データ６３４を復号することで第２三次元データ６３５を取得する。次に、合成部６２６は、第１三次元データ６３２と第２三次元データ６３５とを合成することで、より密な第３三次元データ６３６を作成する。
　次に、本実施の形態に係る三次元データ送信装置６４０の構成及び動作を説明する。図２５は、三次元データ送信装置６４０のブロック図である。
　三次元データ送信装置６４０は、例えば、上述した周辺車両に含まれ、周辺車両が作成した第５三次元データ６５２を自車両が要求する第６三次元データ６５４に加工し、第６三次元データ６５４を符号化することで符号化三次元データ６３４を生成し、符号化三次元データ６３４を自車両に送信する。
　三次元データ送信装置６４０は、三次元データ作成部６４１と、受信部６４２と、抽出部６４３と、符号化部６４４と、送信部６４５とを備える。
　まず、三次元データ作成部６４１は、周辺車両が備えるセンサで検知したセンサ情報６５１を用いて第５三次元データ６５２を作成する。次に、受信部６４２は、自車両から送信された要求範囲情報６３３を受信する。
　次に、抽出部６４３は、第５三次元データ６５２から、要求範囲情報６３３で示される要求範囲の三次元データを抽出することで、第５三次元データ６５２を第６三次元データ６５４に加工する。次に、符号化部６４４は、第６三次元データ６５４を符号化することで、符号化ストリームである符号化三次元データ６３４を生成する。そして、送信部６４５は、自車両へ符号化三次元データ６３４を送信する。
　なお、ここでは、自車両が三次元データ作成装置６２０を備え、周辺車両が三次元データ送信装置６４０を備える例を説明するが、各車両が、三次元データ作成装置６２０と三次元データ送信装置６４０との機能を有してもよい。
　（実施の形態４）
　本実施の形態では、三次元マップに基づく自己位置推定における異常系の動作について説明する。
　車の自動運転、又は、ロボット、或いはドローンなどの飛行体などの移動体を自律的に移動させるなどの用途が今後拡大すると予想される。このような自律的な移動を実現する手段の一例として、移動体が、三次元マップ内における自らの位置を推定（自己位置推定）しながら、マップに従って走行する方法がある。
　自己位置推定は、三次元マップと、自車に搭載したレンジファインダー（ＬｉＤＡＲなど）又はステレオカメラなどのセンサにより取得した自車周辺の三次元情報（以降、自車検知三次元データ）とをマッチングして、三次元マップ内の自車位置を推定することで実現できる。
　三次元マップは、ＨＥＲＥ社が提唱するＨＤマップなどのように、三次元のポイントクラウドだけでなく、道路及び交差点の形状情報など二次元の地図データ、又は、渋滞及び事故などの実時間で変化する情報を含んでもよい。三次元データ、二次元データ、実時間で変化するメタデータなど複数のレイヤから三次元マップが構成され、装置は、必要なデータのみを取得、又は、参照することも可能である。
　ポイントクラウドのデータは、上述したＳＷＬＤであってもよいし、特徴点ではない点群データを含んでもよい。また、ポイントクラウドのデータの送受信は、１つ、または、複数のランダムアクセス単位を基本として行われる。
　三次元マップと自車検知三次元データとのマッチング方法として以下の方法を用いることができる。例えば、装置は、互いのポイントクラウドにおける点群の形状を比較し、特徴点間の類似度が高い部位が同一位置であると決定する。また、装置は、三次元マップがＳＷＬＤから構成される場合、ＳＷＬＤを構成する特徴点と、自車検知三次元データから抽出した三次元特徴点とを比較してマッチングを行う。
　ここで、高精度に自己位置推定を行うためには、（Ａ）三次元マップと自車検知三次元データが取得できており、かつ、（Ｂ）それらの精度が予め定められた基準を満たすことが必要となる。しかしながら、以下のような異常ケースでは、（Ａ）又は（Ｂ）が満たせない。
　（１）三次元マップを通信経由で取得できない。
　（２）三次元マップが存在しない、又は、三次元マップを取得したが破損している。
　（３）自車のセンサが故障している、又は、悪天候のために、自車検知三次元データの生成精度が十分でない。
　これらの異常ケースに対処するための動作を、以下で説明する。以下では、車を例に動作を説明するが、以下の手法は、ロボット又はドローンなど、自律的に移動する動物体全般に対して適用できる。
　以下、三次元マップ又は自車検知三次元データにおける異常ケースに対応するための、本実施の形態に係る三次元情報処理装置の構成及び動作を説明する。図２６は、本実施の形態に係る三次元情報処理装置７００の構成例を示すブロック図である。
　三次元情報処理装置７００は、例えば、自動車等の動物体に搭載される。図２６に示すように、三次元情報処理装置７００は、三次元マップ取得部７０１と、自車検知データ取得部７０２と、異常ケース判定部７０３と、対処動作決定部７０４と、動作制御部７０５とを備える。
　なお、三次元情報処理装置７００は、二次元画像を取得するカメラ、又は、超音波或いはレーザーを用いた一次元データのセンサなど、自車周辺の構造物又は動物体を検知するための図示しない二次元又は一次元のセンサを備えてもよい。また、三次元情報処理装置７００は、三次元マップを４Ｇ或いは５Ｇなどの移動体通信網、又は、車車間通信或いは路車間通信により取得するための通信部（図示せず）を備えてもよい。
　三次元マップ取得部７０１は、走行経路近傍の三次元マップ７１１を取得する。例えば、三次元マップ取得部７０１は、移動体通信網、又は、車車間通信或いは路車間通信により三次元マップ７１１を取得する。
　次に、自車検知データ取得部７０２は、センサ情報に基づいて自車検知三次元データ７１２を取得する。例えば、自車検知データ取得部７０２は、自車が備えるセンサにより取得されたセンサ情報に基づき、自車検知三次元データ７１２を生成する。
　次に、異常ケース判定部７０３は、取得した三次元マップ７１１及び自車検知三次元データ７１２の少なくとも一方に対して予め定められたチェックを実施することで異常ケースを検出する。つまり、異常ケース判定部７０３は、取得した三次元マップ７１１及び自車検知三次元データ７１２の少なくとも一方が異常であるかを判定する。
　異常ケースが検出された場合、対処動作決定部７０４は、異常ケースに対する対処動作を決定する。次に、動作制御部７０５は、三次元マップ取得部７０１など、対処動作の実施に必要となる各処理部の動作を制御する。
　一方、異常ケースが検出されない場合、三次元情報処理装置７００は、処理を終了する。
　また、三次元情報処理装置７００は、三次元マップ７１１と自車検知三次元データ７１２とを用いて、三次元情報処理装置７００を有する車両の自己位置推定を行う。次に、三次元情報処理装置７００は、自己位置推定の結果を用いて、当該車両を自動運転する。
　このように、三次元情報処理装置７００は、第１の三次元位置情報を含むマップデータ（三次元マップ７１１）を通信路を介して取得する。例えば、第１の三次元位置情報は、三次元の座標情報を有する部分空間を単位として符号化され、各々が１以上の部分空間の集合体であり、各々を独立に復号可能な複数のランダムアクセス単位を含む。例えば、第１の三次元位置情報は、三次元の特徴量が所定の閾値以上となる特徴点が符号化されたデータ（ＳＷＬＤ）である。
　また、三次元情報処理装置７００は、センサで検知した情報から第２の三次元位置情報（自車検知三次元データ７１２）を生成する。次に、三次元情報処理装置７００は、第１の三次元位置情報又は第２の三次元位置情報に対して異常判定処理を実施することで、第１の三次元位置情報又は前記第２の三次元位置情報が異常であるかどうかを判定する。
　三次元情報処理装置７００は、第１の三次元位置情報又は第２の三次元位置情報が異常であると判定された場合、当該異常に対する対処動作を決定する。次に、三次元情報処理装置７００は、対処動作の実施に必要となる制御を実施する。
　これにより、三次元情報処理装置７００は、第１の三次元位置情報又は第２の三次元位置情報の異常を検知し、対処動作を行うことができる。
　（実施の形態５）
　本実施の形態では、後続車両への三次元データ送信方法等について説明する。
　図２７は、本実施の形態に係る三次元データ作成装置８１０の構成例を示すブロック図である。この三次元データ作成装置８１０は、例えば、車両に搭載される。三次元データ作成装置８１０は、外部の交通監視クラウド、前走車両又は後続車両と三次元データの送受信を行うとともに、三次元データを作成及び蓄積する。
　三次元データ作成装置８１０は、データ受信部８１１と、通信部８１２と、受信制御部８１３と、フォーマット変換部８１４と、複数のセンサ８１５と、三次元データ作成部８１６と、三次元データ合成部８１７と、三次元データ蓄積部８１８と、通信部８１９と、送信制御部８２０と、フォーマット変換部８２１と、データ送信部８２２とを備える。
　データ受信部８１１は、交通監視クラウド又は前走車両から三次元データ８３１を受信する。三次元データ８３１は、例えば、自車両のセンサ８１５で検知不能な領域を含む、ポイントクラウド、可視光映像、奥行き情報、センサ位置情報、又は速度情報などの情報を含む。
　通信部８１２は、交通監視クラウド又は前走車両と通信し、データ送信要求などを交通監視クラウド又は前走車両に送信する。
　受信制御部８１３は、通信部８１２を介して、対応フォーマット等の情報を通信先と交換し、通信先との通信を確立する。
　フォーマット変換部８１４は、データ受信部８１１が受信した三次元データ８３１にフォーマット変換等を行うことで三次元データ８３２を生成する。また、フォーマット変換部８１４は、三次元データ８３１が圧縮又は符号化されている場合には、伸張又は復号処理を行う。
　複数のセンサ８１５は、ＬｉＤＡＲ、可視光カメラ又は赤外線カメラなどの、車両の外部の情報を取得するセンサ群であり、センサ情報８３３を生成する。例えば、センサ情報８３３は、センサ８１５がＬｉＤＡＲなどのレーザセンサである場合、ポイントクラウド（点群データ）等の三次元データである。なお、センサ８１５は複数でなくてもよい。
　三次元データ作成部８１６は、センサ情報８３３から三次元データ８３４を生成する。三次元データ８３４は、例えば、ポイントクラウド、可視光映像、奥行き情報、センサ位置情報、又は速度情報などの情報を含む。
　三次元データ合成部８１７は、自車両のセンサ情報８３３に基づいて作成された三次元データ８３４に、交通監視クラウド又は前走車両等が作成した三次元データ８３２を合成することで、自車両のセンサ８１５では検知できない前走車両の前方の空間も含む三次元データ８３５を構築する。
　三次元データ蓄積部８１８は、生成された三次元データ８３５等を蓄積する。
　通信部８１９は、交通監視クラウド又は後続車両と通信し、データ送信要求などを交通監視クラウド又は後続車両に送信する。
　送信制御部８２０は、通信部８１９を介して、対応フォーマット等の情報を通信先と交換し、通信先と通信を確立する。また、送信制御部８２０は、三次元データ合成部８１７で生成された三次元データ８３２の三次元データ構築情報と、通信先からのデータ送信要求とに基づき、送信対象の三次元データの空間である送信領域を決定する。
　具体的には、送信制御部８２０は、交通監視クラウド又は後続車両からのデータ送信要求に応じて、後続車両のセンサでは検知できない自車両の前方の空間を含む送信領域を決定する。また、送信制御部８２０は、三次元データ構築情報に基づいて送信可能な空間又は送信済み空間の更新有無等を判断することで送信領域を決定する。例えば、送信制御部８２０は、データ送信要求で指定された領域であり、かつ、対応する三次元データ８３５が存在する領域を送信領域に決定する。そして、送信制御部８２０は、通信先が対応するフォーマット、及び送信領域をフォーマット変換部８２１に通知する。
　フォーマット変換部８２１は、三次元データ蓄積部８１８に蓄積されている三次元データ８３５のうち、送信領域の三次元データ８３６を、受信側が対応しているフォーマットへ変換することで三次元データ８３７を生成する。なお、フォーマット変換部８２１は、三次元データ８３７を圧縮又は符号化することでデータ量を削減してもよい。
　データ送信部８２２は、三次元データ８３７を交通監視クラウド又は後続車両に送信する。この三次元データ８３７は、例えば、後続車両の死角になる領域を含む、自車両の前方のポイントクラウド、可視光映像、奥行き情報、又はセンサ位置情報などの情報を含む。
　なお、ここでは、フォーマット変換部８１４及び８２１にてフォーマット変換等が行われる例を述べたが、フォーマット変換は行われなくてもよい。
　このような構成により、三次元データ作成装置８１０は、自車両のセンサ８１５では検知できない領域の三次元データ８３１を外部から取得し、三次元データ８３１と自車両のセンサ８１５で検知したセンサ情報８３３に基づく三次元データ８３４とを合成することで三次元データ８３５を生成する。これにより、三次元データ作成装置８１０は、自車両のセンサ８１５で検知できない範囲の三次元データを生成できる。
　また、三次元データ作成装置８１０は、交通監視クラウド又は後続車両からのデータ送信要求に応じて、後続車両のセンサでは検知できない自車両の前方の空間を含む三次元データを、交通監視クラウド又は後続車両等へ送信できる。
　（実施の形態６）
　実施の形態５において、車両等のクライアント装置が、他の車両又は交通監視クラウド等のサーバに三次元データを送信する例を説明した。本実施の形態では、クライアント装置は、サーバ又は他のクライアント装置にセンサで得られたセンサ情報を送信する。
　まず、本実施の形態に係るシステムの構成を説明する。図２８は、本実施の形態に係る三次元マップ及びセンサ情報の送受信システムの構成を示す図である。このシステムは、サーバ９０１と、クライアント装置９０２Ａ及び９０２Ｂを含む。なお、クライアント装置９０２Ａ及び９０２Ｂを特に区別しない場合には、クライアント装置９０２とも記す。
　クライアント装置９０２は、例えば、車両等の移動体に搭載される車載機器である。サーバ９０１は、例えば、交通監視クラウド等であり、複数のクライアント装置９０２と通信可能である。
　サーバ９０１は、クライアント装置９０２に、ポイントクラウドから構成される三次元マップを送信する。なお、三次元マップの構成はポイントクラウドに限定されず、メッシュ構造等、他の三次元データを表すものであってもよい。
　クライアント装置９０２は、サーバ９０１に、クライアント装置９０２が取得したセンサ情報を送信する。センサ情報は、例えば、ＬｉＤＡＲ取得情報、可視光画像、赤外画像、デプス画像、センサ位置情報及び速度情報のうち少なくとも一つを含む。
　サーバ９０１とクライアント装置９０２との間で送受信されるデータは、データ削減のために圧縮されてもよいし、データの精度を維持するために非圧縮のままでも構わない。データを圧縮する場合、ポイントクラウドには例えば８分木構造に基づく三次元圧縮方式を用いることができる。また、可視光画像、赤外画像、及びデプス画像には二次元の画像圧縮方式を用いることできる。二次元の画像圧縮方式とは、例えば、ＭＰＥＧで規格化されたＭＰＥＧ－４　ＡＶＣ又はＨＥＶＣ等である。
　また、サーバ９０１は、クライアント装置９０２からの三次元マップの送信要求に応じてサーバ９０１で管理する三次元マップをクライアント装置９０２に送信する。なお、サーバ９０１はクライアント装置９０２からの三次元マップの送信要求を待たずに三次元マップを送信してもよい。例えば、サーバ９０１は、予め定められた空間にいる１つ以上のクライアント装置９０２に三次元マップをブロードキャストしても構わない。また、サーバ９０１は、一度送信要求を受けたクライアント装置９０２に、一定時間毎にクライアント装置９０２の位置に適した三次元マップを送信してもよい。また、サーバ９０１は、サーバ９０１が管理する三次元マップが更新される度にクライアント装置９０２に三次元マップを送信してもよい。
　クライアント装置９０２は、サーバ９０１に三次元マップの送信要求を出す。例えば、クライアント装置９０２が、走行時に自己位置推定を行いたい場合に、クライアント装置９０２は、三次元マップの送信要求をサーバ９０１に送信する。
　なお、次のような場合に、クライアント装置９０２はサーバ９０１に三次元マップの送信要求を出してもよい。クライアント装置９０２の保持する三次元マップが古い場合に、クライアント装置９０２はサーバ９０１に三次元マップの送信要求を出してもよい。例えば、クライアント装置９０２が三次元マップを取得してから一定期間が経過した場合に、クライアント装置９０２はサーバ９０１に三次元マップの送信要求を出してもよい。
　クライアント装置９０２が保持する三次元マップで示される空間から、クライアント装置９０２が外に出る一定時刻前に、クライアント装置９０２はサーバ９０１に三次元マップの送信要求を出してもよい。例えば、クライアント装置９０２が、クライアント装置９０２が保持する三次元マップで示される空間の境界から予め定められた距離以内に存在する場合に、クライアント装置９０２はサーバ９０１に三次元マップの送信要求を出してもよい。また、クライアント装置９０２の移動経路及び移動速度が把握できている場合には、これらに基づき、クライアント装置９０２が保持する三次元マップで示される空間から、クライアント装置９０２が外に出る時刻を予測してもよい。
　クライアント装置９０２がセンサ情報から作成した三次元データと三次元マップとの位置合せ時の誤差が一定以上の場合に、クライアント装置９０２はサーバ９０１に三次元マップの送信要求を出してもよい。
　クライアント装置９０２は、サーバ９０１から送信されたセンサ情報の送信要求に応じて、サーバ９０１にセンサ情報を送信する。なお、クライアント装置９０２はサーバ９０１からのセンサ情報の送信要求を待たずにセンサ情報をサーバ９０１に送ってもよい。例えば、クライアント装置９０２は、一度サーバ９０１からセンサ情報の送信要求を得た場合、一定期間の間、定期的にセンサ情報をサーバ９０１に送信してもよい。また、クライアント装置９０２は、クライアント装置９０２がセンサ情報を元に作成した三次元データと、サーバ９０１から得た三次元マップとの位置合せ時の誤差が一定以上の場合、クライアント装置９０２の周辺の三次元マップに変化が生じた可能性があると判断し、その旨とセンサ情報とをサーバ９０１に送信してもよい。
　サーバ９０１は、クライアント装置９０２にセンサ情報の送信要求を出す。例えば、サーバ９０１は、クライアント装置９０２から、ＧＰＳ等のクライアント装置９０２の位置情報を受信する。サーバ９０１は、クライアント装置９０２の位置情報に基づき、サーバ９０１が管理する三次元マップにおいて情報が少ない空間にクライアント装置９０２が近づいていると判断した場合、新たな三次元マップを生成するためにクライアント装置９０２にセンサ情報の送信要求を出す。また、サーバ９０１は、三次元マップを更新したい場合、積雪時或いは災害時などの道路状況を確認したい場合、渋滞状況、或いは事件事故状況等を確認したい場合に、センサ情報の送信要求を出してもよい。
　また、クライアント装置９０２は、サーバ９０１から受け取るセンサ情報の送信要求の受信時における通信状態又は帯域に応じて、サーバ９０１に送信するセンサ情報のデータ量を設定してもよい。サーバ９０１に送信するセンサ情報のデータ量を設定するというのは、例えば、当該データそのものを増減させること、又は圧縮方式を適宜選択することである。
　図２９は、クライアント装置９０２の構成例を示すブロック図である。クライアント装置９０２は、サーバ９０１からポイントクラウド等で構成される三次元マップを受信し、クライアント装置９０２のセンサ情報に基づいて作成した三次元データからクライアント装置９０２の自己位置を推定する。また、クライアント装置９０２は、取得したセンサ情報をサーバ９０１に送信する。
　クライアント装置９０２は、データ受信部１０１１と、通信部１０１２と、受信制御部１０１３と、フォーマット変換部１０１４と、複数のセンサ１０１５と、三次元データ作成部１０１６と、三次元画像処理部１０１７と、三次元データ蓄積部１０１８と、フォーマット変換部１０１９と、通信部１０２０と、送信制御部１０２１と、データ送信部１０２２とを備える。
　データ受信部１０１１は、サーバ９０１から三次元マップ１０３１を受信する。三次元マップ１０３１は、ＷＬＤ又はＳＷＬＤ等のポイントクラウドを含むデータである。三次元マップ１０３１には、圧縮データ、及び非圧縮データのどちらが含まれていてもよい。
　通信部１０１２は、サーバ９０１と通信し、データ送信要求（例えば、三次元マップの送信要求）などをサーバ９０１に送信する。
　受信制御部１０１３は、通信部１０１２を介して、対応フォーマット等の情報を通信先と交換し、通信先との通信を確立する。
　フォーマット変換部１０１４は、データ受信部１０１１が受信した三次元マップ１０３１にフォーマット変換等を行うことで三次元マップ１０３２を生成する。また、フォーマット変換部１０１４は、三次元マップ１０３１が圧縮又は符号化されている場合には、伸張又は復号処理を行う。なお、フォーマット変換部１０１４は、三次元マップ１０３１が非圧縮データであれば、伸張又は復号処理を行わない。
　複数のセンサ１０１５は、ＬｉＤＡＲ、可視光カメラ、赤外線カメラ、又はデプスセンサなど、クライアント装置９０２が搭載されている車両の外部の情報を取得するセンサ群であり、センサ情報１０３３を生成する。例えば、センサ情報１０３３は、センサ１０１５がＬｉＤＡＲなどのレーザセンサである場合、ポイントクラウド（点群データ）等の三次元データである。なお、センサ１０１５は複数でなくてもよい。
　三次元データ作成部１０１６は、センサ情報１０３３に基づいて自車両の周辺の三次元データ１０３４を作成する。例えば、三次元データ作成部１０１６は、ＬｉＤＡＲで取得した情報と、可視光カメラで得られた可視光映像とを用いて自車両の周辺の色情報付きのポイントクラウドデータを作成する。
　三次元画像処理部１０１７は、受信したポイントクラウド等の三次元マップ１０３２と、センサ情報１０３３から生成した自車両の周辺の三次元データ１０３４とを用いて、自車両の自己位置推定処理等を行う。なお、三次元画像処理部１０１７は、三次元マップ１０３２と三次元データ１０３４とを合成することで自車両の周辺の三次元データ１０３５を作成し、作成した三次元データ１０３５を用いて自己位置推定処理を行ってもよい。
　三次元データ蓄積部１０１８は、三次元マップ１０３２、三次元データ１０３４及び三次元データ１０３５等を蓄積する。
　フォーマット変換部１０１９は、センサ情報１０３３を、受信側が対応しているフォーマットへ変換することでセンサ情報１０３７を生成する。なお、フォーマット変換部１０１９は、センサ情報１０３７を圧縮又は符号化することでデータ量を削減してもよい。また、フォーマット変換部１０１９は、フォーマット変換をする必要がない場合は処理を省略してもよい。また、フォーマット変換部１０１９は、送信範囲の指定に応じて送信するデータ量を制御してもよい。
　通信部１０２０は、サーバ９０１と通信し、データ送信要求（センサ情報の送信要求）などをサーバ９０１から受信する。
　送信制御部１０２１は、通信部１０２０を介して、対応フォーマット等の情報を通信先と交換し、通信を確立する。
　データ送信部１０２２は、センサ情報１０３７をサーバ９０１に送信する。センサ情報１０３７は、例えば、ＬｉＤＡＲで取得した情報、可視光カメラで取得した輝度画像、赤外線カメラで取得した赤外画像、デプスセンサで取得したデプス画像、センサ位置情報、及び速度情報など、複数のセンサ１０１５によって取得した情報を含む。
　次に、サーバ９０１の構成を説明する。図３０は、サーバ９０１の構成例を示すブロック図である。サーバ９０１は、クライアント装置９０２から送信されたセンサ情報を受信し、受信したセンサ情報に基づいて三次元データを作成する。サーバ９０１は、作成した三次元データを用いて、サーバ９０１が管理する三次元マップを更新する。また、サーバ９０１は、クライアント装置９０２からの三次元マップの送信要求に応じて、更新した三次元マップをクライアント装置９０２に送信する。
　サーバ９０１は、データ受信部１１１１と、通信部１１１２と、受信制御部１１１３と、フォーマット変換部１１１４と、三次元データ作成部１１１６と、三次元データ合成部１１１７と、三次元データ蓄積部１１１８と、フォーマット変換部１１１９と、通信部１１２０と、送信制御部１１２１と、データ送信部１１２２とを備える。
　データ受信部１１１１は、クライアント装置９０２からセンサ情報１０３７を受信する。センサ情報１０３７は、例えば、ＬｉＤＡＲで取得した情報、可視光カメラで取得した輝度画像、赤外線カメラで取得した赤外画像、デプスセンサで取得したデプス画像、センサ位置情報、及び速度情報などを含む。
　通信部１１１２は、クライアント装置９０２と通信し、データ送信要求（例えば、センサ情報の送信要求）などをクライアント装置９０２に送信する。
　受信制御部１１１３は、通信部１１１２を介して、対応フォーマット等の情報を通信先と交換し、通信を確立する。
　フォーマット変換部１１１４は、受信したセンサ情報１０３７が圧縮又は符号化されている場合には、伸張又は復号処理を行うことでセンサ情報１１３２を生成する。なお、フォーマット変換部１１１４は、センサ情報１０３７が非圧縮データであれば、伸張又は復号処理を行わない。
　三次元データ作成部１１１６は、センサ情報１１３２に基づいてクライアント装置９０２の周辺の三次元データ１１３４を作成する。例えば、三次元データ作成部１１１６は、ＬｉＤＡＲで取得した情報と、可視光カメラで得られた可視光映像とを用いてクライアント装置９０２の周辺の色情報付ポイントクラウドデータを作成する。
　三次元データ合成部１１１７は、センサ情報１１３２を元に作成した三次元データ１１３４を、サーバ９０１が管理する三次元マップ１１３５に合成することで三次元マップ１１３５を更新する。
　三次元データ蓄積部１１１８は、三次元マップ１１３５等を蓄積する。
　フォーマット変換部１１１９は、三次元マップ１１３５を、受信側が対応しているフォーマットへ変換することで三次元マップ１０３１を生成する。なお、フォーマット変換部１１１９は、三次元マップ１１３５を圧縮又は符号化することでデータ量を削減してもよい。また、フォーマット変換部１１１９は、フォーマット変換をする必要がない場合は処理を省略してもよい。また、フォーマット変換部１１１９は、送信範囲の指定に応じて送信するデータ量を制御してもよい。
　通信部１１２０は、クライアント装置９０２と通信し、データ送信要求（三次元マップの送信要求）などをクライアント装置９０２から受信する。
　送信制御部１１２１は、通信部１１２０を介して、対応フォーマット等の情報を通信先と交換し、通信を確立する。
　データ送信部１１２２は、三次元マップ１０３１をクライアント装置９０２に送信する。三次元マップ１０３１は、ＷＬＤ又はＳＷＬＤ等のポイントクラウドを含むデータである。三次元マップ１０３１には、圧縮データ、及び非圧縮データのどちらが含まれていてもよい。
　次に、クライアント装置９０２の動作フローについて説明する。図３１は、クライアント装置９０２による三次元マップ取得時の動作を示すフローチャートである。
　まず、クライアント装置９０２は、サーバ９０１へ三次元マップ（ポイントクラウド等）の送信を要求する（Ｓ１００１）。このとき、クライアント装置９０２は、ＧＰＳ等で得られたクライアント装置９０２の位置情報を合わせて送信することで、その位置情報に関連する三次元マップの送信をサーバ９０１に要求してもよい。
　次に、クライアント装置９０２は、サーバ９０１から三次元マップを受信する（Ｓ１００２）。受信した三次元マップが圧縮データであれば、クライアント装置９０２は、受信した三次元マップを復号して非圧縮の三次元マップを生成する（Ｓ１００３）。
　次に、クライアント装置９０２は、複数のセンサ１０１５で得られたセンサ情報１０３３からクライアント装置９０２の周辺の三次元データ１０３４を作成する（Ｓ１００４）。次に、クライアント装置９０２は、サーバ９０１から受信した三次元マップ１０３２と、センサ情報１０３３から作成した三次元データ１０３４とを用いてクライアント装置９０２の自己位置を推定する（Ｓ１００５）。
　図３２は、クライアント装置９０２によるセンサ情報の送信時の動作を示すフローチャートである。まず、クライアント装置９０２は、サーバ９０１からセンサ情報の送信要求を受信する（Ｓ１０１１）。送信要求を受信したクライアント装置９０２は、センサ情報１０３７をサーバ９０１に送信する（Ｓ１０１２）。なお、クライアント装置９０２は、センサ情報１０３３が複数のセンサ１０１５で得られた複数の情報を含む場合、各情報を、各情報に適した圧縮方式で圧縮することでセンサ情報１０３７を生成してもよい。
　次に、サーバ９０１の動作フローについて説明する。図３３は、サーバ９０１によるセンサ情報の取得時の動作を示すフローチャートである。まず、サーバ９０１は、クライアント装置９０２へセンサ情報の送信を要求する（Ｓ１０２１）。次に、サーバ９０１は、当該要求に応じてクライアント装置９０２から送信されたセンサ情報１０３７を受信する（Ｓ１０２２）。次に、サーバ９０１は、受信したセンサ情報１０３７を用いて三次元データ１１３４を作成する（Ｓ１０２３）。次に、サーバ９０１は、作成した三次元データ１１３４を三次元マップ１１３５に反映する（Ｓ１０２４）。
　図３４は、サーバ９０１による三次元マップの送信時の動作を示すフローチャートである。まず、サーバ９０１は、クライアント装置９０２から三次元マップの送信要求を受信する（Ｓ１０３１）。三次元マップの送信要求を受信したサーバ９０１は、クライアント装置９０２へ三次元マップ１０３１を送信する（Ｓ１０３２）。このとき、サーバ９０１は、クライアント装置９０２の位置情報に合わせてその付近の三次元マップを抽出し、抽出した三次元マップを送信してもよい。また、サーバ９０１は、ポイントクラウドで構成される三次元マップを、例えば８分木構造による圧縮方式等を用いて圧縮し、圧縮後の三次元マップを送信してもよい。
　以下、本実施の形態の変形例について説明する。
　サーバ９０１は、クライアント装置９０２から受信したセンサ情報１０３７を用いてクライアント装置９０２の位置付近の三次元データ１１３４を作成する。次に、サーバ９０１は、作成した三次元データ１１３４と、サーバ９０１が管理する同エリアの三次元マップ１１３５とのマッチングを行うことによって、三次元データ１１３４と三次元マップ１１３５との差分を算出する。サーバ９０１は、差分が予め定められた閾値以上の場合は、クライアント装置９０２の周辺で何らかの異常が発生したと判断する。例えば、地震等の自然災害によって地盤沈下等が発生した際などに、サーバ９０１が管理する三次元マップ１１３５と、センサ情報１０３７を基に作成した三次元データ１１３４との間に大きな差が発生することが考えられる。
　センサ情報１０３７は、センサの種類、センサの性能、及びセンサの型番のうち少なくとも一つを示す情報を含んでもよい。また、センサ情報１０３７に、センサの性能に応じたクラスＩＤ等が付加されてもよい。例えば、センサ情報１０３７がＬｉＤＡＲで取得された情報である場合、数ｍｍ単位の精度で情報を取得できるセンサをクラス１、数ｃｍ単位の精度で情報を取得できるセンサをクラス２、数ｍ単位の精度で情報を取得できるセンサをクラス３のように、センサの性能に識別子を割り当てることが考えられる。また、サーバ９０１は、センサの性能情報等を、クライアント装置９０２の型番から推定してもよい。例えば、クライアント装置９０２が車両に搭載されている場合、サーバ９０１は、当該車両の車種からセンサのスペック情報を判断してもよい。この場合、サーバ９０１は、車両の車種の情報を事前に取得していてもよいし、センサ情報に、当該情報が含まれてもよい。また、サーバ９０１は取得したセンサ情報１０３７を用いて、センサ情報１０３７を用いて作成した三次元データ１１３４に対する補正の度合いを切り替えてもよい。例えば、センサ性能が高精度（クラス１）である場合、サーバ９０１は、三次元データ１１３４に対する補正を行わない。センサ性能が低精度（クラス３）である場合、サーバ９０１は、三次元データ１１３４に、センサの精度に応じた補正を適用する。例えば、サーバ９０１は、センサの精度が低いほど補正の度合い（強度）を強くする。
　サーバ９０１は、ある空間にいる複数のクライアント装置９０２に同時にセンサ情報の送信要求を出してもよい。サーバ９０１は、複数のクライアント装置９０２から複数のセンサ情報を受信した場合に、全てのセンサ情報を三次元データ１１３４の作成に利用する必要はなく、例えば、センサの性能に応じて、利用するセンサ情報を選択してもよい。例えば、サーバ９０１は、三次元マップ１１３５を更新する場合、受信した複数のセンサ情報の中から高精度なセンサ情報（クラス１）を選別し、選別したセンサ情報を用いて三次元データ１１３４を作成してもよい。
　サーバ９０１は、交通監視クラウド等のサーバのみに限定されず、他のクライアント装置（車載）であってもよい。図３５は、この場合のシステム構成を示す図である。
　例えば、クライアント装置９０２Ｃが近くにいるクライアント装置９０２Ａにセンサ情報の送信要求を出し、クライアント装置９０２Ａからセンサ情報を取得する。そして、クライアント装置９０２Ｃは、取得したクライアント装置９０２Ａのセンサ情報を用いて三次元データを作成し、クライアント装置９０２Ｃの三次元マップを更新する。これにより、クライアント装置９０２Ｃは、クライアント装置９０２Ａから取得可能な空間の三次元マップを、クライアント装置９０２Ｃの性能を活かして生成できる。例えば、クライアント装置９０２Ｃの性能が高い場合に、このようなケースが発生すると考えられる。
　また、この場合、センサ情報を提供したクライアント装置９０２Ａは、クライアント装置９０２Ｃが生成した高精度な三次元マップを取得する権利が与えられる。クライアント装置９０２Ａは、その権利に従ってクライアント装置９０２Ｃから高精度な三次元マップを受信する。
　また、クライアント装置９０２Ｃは近くにいる複数のクライアント装置９０２（クライアント装置９０２Ａ及びクライアント装置９０２Ｂ）にセンサ情報の送信要求を出してもよい。クライアント装置９０２Ａ又はクライアント装置９０２Ｂのセンサが高性能である場合には、クライアント装置９０２Ｃは、この高性能なセンサで得られたセンサ情報を用いて三次元データを作成できる。
　図３６は、サーバ９０１及びクライアント装置９０２の機能構成を示すブロック図である。サーバ９０１は、例えば、三次元マップを圧縮及び復号する三次元マップ圧縮／復号処理部１２０１と、センサ情報を圧縮及び復号するセンサ情報圧縮／復号処理部１２０２とを備える。
　クライアント装置９０２は、三次元マップ復号処理部１２１１と、センサ情報圧縮処理部１２１２とを備える。三次元マップ復号処理部１２１１は、圧縮された三次元マップの符号化データを受信し、符号化データを復号して三次元マップを取得する。センサ情報圧縮処理部１２１２は、取得したセンサ情報から作成した三次元データの代わりに、センサ情報そのものを圧縮し、圧縮したセンサ情報の符号化データをサーバ９０１へ送信する。この構成により、クライアント装置９０２は、三次元マップ（ポイントクラウド等）を復号する処理を行う処理部（装置又はＬＳＩ）を内部に保持すればよく、三次元マップ（ポイントクラウド等）の三次元データを圧縮する処理を行う処理部を内部に保持する必要がない。これにより、クライアント装置９０２のコスト及び消費電力等を抑えることができる。
　以上のように、本実施の形態に係るクライアント装置９０２は、移動体に搭載され、移動体に搭載されたセンサ１０１５により得られた、移動体の周辺状況を示すセンサ情報１０３３から、移動体の周辺の三次元データ１０３４を作成する。クライアント装置９０２は、作成された三次元データ１０３４を用いて移動体の自己位置を推定する。クライアント装置９０２は、取得したセンサ情報１０３３をサーバ９０１又は他の移動体９０２に送信する。
　これによれば、クライアント装置９０２は、センサ情報１０３３をサーバ９０１等に送信する。これにより、三次元データを送信する場合に比べて、送信データのデータ量を削減できる可能性がある。また、三次元データの圧縮又は符号化等の処理をクライアント装置９０２で行う必要がないので、クライアント装置９０２の処理量を削減できる。よって、クライアント装置９０２は、伝送されるデータ量の削減、又は、装置の構成の簡略化を実現できる。
　また、クライアント装置９０２は、さらに、サーバ９０１に三次元マップの送信要求を送信し、サーバ９０１から三次元マップ１０３１を受信する。クライアント装置９０２は、自己位置の推定では、三次元データ１０３４と三次元マップ１０３２とを用いて、自己位置を推定する。
　また、センサ情報１０３３は、レーザセンサで得られた情報、輝度画像、赤外画像、デプス画像、センサの位置情報、及びセンサの速度情報のうち少なくとも一つを含む。
　また、センサ情報１０３３は、センサの性能を示す情報を含む。
　また、クライアント装置９０２は、センサ情報１０３３を符号化又は圧縮し、センサ情報の送信では、符号化又は圧縮後のセンサ情報１０３７を、サーバ９０１又は他の移動体９０２に送信する。これによれば、クライアント装置９０２は、伝送されるデータ量を削減できる。
　例えば、クライアント装置９０２は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
　また、本実施の形態に係るサーバ９０１は、移動体に搭載されるクライアント装置９０２と通信可能であり、移動体に搭載されたセンサ１０１５により得られた、移動体の周辺状況を示すセンサ情報１０３７をクライアント装置９０２から受信する。サーバ９０１は、受信したセンサ情報１０３７から、移動体の周辺の三次元データ１１３４を作成する。
　これによれば、サーバ９０１は、クライアント装置９０２から送信されたセンサ情報１０３７を用いて三次元データ１１３４を作成する。これにより、クライアント装置９０２が三次元データを送信する場合に比べて、送信データのデータ量を削減できる可能性がある。また、三次元データの圧縮又は符号化等の処理をクライアント装置９０２で行う必要がないので、クライアント装置９０２の処理量を削減できる。よって、サーバ９０１は、伝送されるデータ量の削減、又は、装置の構成の簡略化を実現できる。
　また、サーバ９０１は、さらに、クライアント装置９０２にセンサ情報の送信要求を送信する。
　また、サーバ９０１は、さらに、作成された三次元データ１１３４を用いて三次元マップ１１３５を更新し、クライアント装置９０２からの三次元マップ１１３５の送信要求に応じて三次元マップ１１３５をクライアント装置９０２に送信する。
　また、センサ情報１０３７は、レーザセンサで得られた情報、輝度画像、赤外画像、デプス画像、センサの位置情報、及びセンサの速度情報のうち少なくとも一つを含む。
　また、センサ情報１０３７は、センサの性能を示す情報を含む。
　また、サーバ９０１は、さらに、センサの性能に応じて、三次元データを補正する。これによれば、当該三次元データ作成方法は、三次元データの品質を向上できる。
　また、サーバ９０１は、センサ情報の受信では、複数のクライアント装置９０２から複数のセンサ情報１０３７を受信し、複数のセンサ情報１０３７に含まれるセンサの性能を示す複数の情報に基づき、三次元データ１１３４の作成に用いるセンサ情報１０３７を選択する。これによれば、サーバ９０１は、三次元データ１１３４の品質を向上できる。
　また、サーバ９０１は、受信したセンサ情報１０３７を復号又は伸張し、復号又は伸張後のセンサ情報１１３２から、三次元データ１１３４を作成する。これによれば、サーバ９０１は、伝送されるデータ量を削減できる。
　例えば、サーバ９０１は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
　（実施の形態７）
　本実施の形態では、インター予測処理を用いた三次元データの符号化方法及び復号方法について説明する。
　図３７は、本実施の形態に係る三次元データ符号化装置１３００のブロック図である。この三次元データ符号装置１３００は、三次元データを符号化することで符号化信号である符号化ビットストリーム（以下、単にビットストリームとも記す）を生成する。図３７に示すように、三次元データ符号化装置１３００は、分割部１３０１と、減算部１３０２と、変換部１３０３と、量子化部１３０４と、逆量子化部１３０５と、逆変換部１３０６と、加算部１３０７と、参照ボリュームメモリ１３０８と、イントラ予測部１３０９と、参照スペースメモリ１３１０と、インター予測部１３１１と、予測制御部１３１２と、エントロピー符号化部１３１３とを備える。
　分割部１３０１は、三次元データに含まれる各スペース（ＳＰＣ）を符号化単位である複数のボリューム（ＶＬＭ）に分割する。また、分割部１３０１は、各ボリューム内のボクセルを８分木表現化（Ｏｃｔｒｅｅ化）する。なお、分割部１３０１は、スペースとボリュームを同一サイズとし、スペースを８分木表現化してもよい。また、分割部１３０１は、８分木化に必要な情報（深度情報など）をビットストリームのヘッダ等に付加してもよい。
　減算部１３０２は、分割部１３０１から出力されたボリューム（符号化対象ボリューム）と、後述するイントラ予測又はインター予測によって生成される予測ボリュームとの差分を算出し、算出された差分を予測残差として変換部１３０３に出力する。図３８は、予測残差の算出例を示す図である。なお、ここで示す符号化対象ボリューム及び予測ボリュームのビット列は、例えば、ボリュームに含まれる三次元点（例えばポイントクラウド）の位置を示す位置情報である。
　以下、８分木表現とボクセルのスキャン順について説明する。ボリュームは８分木構造に変換（８分木化）された後、符号化される。８分木構造はノードとリーフとで構成される。各ノードは８つのノード又はリーフを持ち、各リーフはボクセル（ＶＸＬ）情報を持つ。図３９は、複数のボクセルを含むボリュームの構造例を示す図である。図４０は、図３９に示すボリュームを８分木構造に変換した例を示す図である。ここで、図４０に示すリーフのうち、リーフ１、２、３はそれぞれ図３９に示すボクセルＶＸＬ１、ＶＸＬ２、ＶＸＬ３を表し、点群を含むＶＸＬ（以下、有効ＶＸＬ）を表現している。
　８分木は、例えば０、１の二値列で表現される。例えば、ノード又は有効ＶＸＬを値１、それ以外を値０とすると、各ノード及びリーフには図４０に示す二値列が割当てられる。そして、幅優先又は深さ優先のスキャン順に応じて、この二値列がスキャンされる。例えば幅優先でスキャンされた場合、図４１のＡに示す二値列が得られる。深さ優先でスキャンした場合は図４１のＢに示す二値列が得られる。このスキャンにより得られた二値列はエントロピー符号化によって符号化され情報量が削減される。
　次に、８分木表現における深度情報について説明する。８分木表現における深度は、ボリューム内に含まれるポイントクラウド情報を、どの粒度まで保持するかをコントロールするために使用される。深度を大きく設定すると、より細かいレベルまでポイントクラウド情報を再現することができるが、ノード及びリーフを表現するためのデータ量が増える。逆に深度を小さく設定すると、データ量が減少するが、複数の異なる位置及び色の異なるポイントクラウド情報が同一位置かつ同一色であるとみなされるため、本来のポイントクラウド情報が持つ情報を失うことになる。
　例えば、図４２は、図４０に示す深度＝２の８分木を、深度＝１の８分木で表現した例を示す図である。図４２に示す８分木は図４０に示す８分木よりデータ量が少なくなる。つまり、図４２に示す８分木は図４２に示す８分木より二値列化後のビット数が少ない。ここで、図４０に示すリーフ１とリーフ２が図４１に示すリーフ１で表現されることになる。つまり、図４０に示すリーフ１とリーフ２とが異なる位置であったという情報が失われる。
　図４３は、図４２に示す８分木に対応するボリュームを示す図である。図３９に示すＶＸＬ１とＶＸＬ２が図４３に示すＶＸＬ１２に対応する。この場合、三次元データ符号化装置１３００は、図４３に示すＶＸＬ１２の色情報を、図３９に示すＶＸＬ１とＶＸＬ２との色情報から生成する。例えば、三次元データ符号化装置１３００は、ＶＸＬ１とＶＸＬ２との色情報の平均値、中間値、又は重み平均値などをＶＸＬ１２の色情報として算出する。このように、三次元データ符号化装置１３００は、８分木の深度を変えることで、データ量の削減を制御してもよい。
　三次元データ符号化装置１３００は、８分木の深度情報を、ワールド単位、スペース単位、及びボリューム単位のいずれの単位で設定しても構わない。またその際、三次元データ符号化装置１３００は、ワールドのヘッダ情報、スペースのヘッダ情報、又はボリュームのヘッダ情報に深度情報を付加してもよい。また、時間の異なる全てのワールド、スペース、及びボリュームで深度情報して同一の値を使用してもよい。この場合、三次元データ符号化装置１３００は、全時間のワールドを管理するヘッダ情報に深度情報を付加してもよい。
　ボクセルに色情報が含まれる場合には、変換部１３０３は、ボリューム内のボクセルの色情報の予測残差に対し、直交変換等の周波数変換を適用する。例えば、変換部１３０３は、あるスキャン順で予測残差をスキャンすることで一次元配列を作成する。その後、変換部１３０３は、作成した一次元配列に一次元の直交変換を適用することで一次元配列を周波数領域に変換する。これにより、ボリューム内の予測残差の値が近い場合には低域の周波数成分の値が大きくなり、高域の周波数成分の値が小さくなる。よって、量子化部１３０４においてより効率的に符号量を削減することができる。
　また、変換部１３０３は、一次元ではなく、二次元以上の直交変換を用いてもよい。例えば、変換部１３０３は、あるスキャン順で予測残差を二次元配列にマッピングし、得られた二次元配列に二次元直交変換を適用する。また、変換部１３０３は、複数の直交変換方式から使用する直交変換方式を選択してもよい。この場合、三次元データ符号化装置１３００は、どの直交変換方式を用いたかを示す情報をビットストリームに付加する。また、変換部１３０３は、次元の異なる複数の直交変換方式から使用する直交変換方式を選択してもよい。この場合、三次元データ符号化装置１３００は、どの次元の直交変換方式を用いたかをビットストリームに付加する。
　例えば、変換部１３０３は、予測残差のスキャン順を、ボリューム内の８分木におけるスキャン順（幅優先又は深さ優先など）に合わせる。これにより、予測残差のスキャン順を示す情報をビットストリームに付加する必要がないので、オーバーヘッドを削減できる。また、変換部１３０３は、８分木のスキャン順とは異なるスキャン順を適用してもよい。この場合、三次元データ符号化装置１３００は、予測残差のスキャン順を示す情報をビットストリームに付加する。これにより、三次元データ符号化装置１３００は、予測残差を効率よく符号化することができる。また、三次元データ符号化装置１３００は、８分木のスキャン順を適用するか否かを示す情報（フラグ等）をビットストリームに付加し、８分木のスキャン順を適用しない場合に、予測残差のスキャン順を示す情報をビットストリームに付加してもよい。
　変換部１３０３は、色情報の予測残差だけでなく、ボクセルが持つその他の属性情報を変換してもよい。例えば、変換部１３０３は、ポイントクラウドをＬｉＤＡＲ等で取得した際に得られる反射度等の情報を変換し、符号化してもよい。
　変換部１３０３は、スペースが色情報等の属性情報を持たない場合は、処理をスキップしてもよい。また、三次元データ符号化装置１３００は、変換部１３０３の処理をスキップするか否かを示す情報（フラグ）をビットストリームに付加してもよい。
　量子化部１３０４は、変換部１３０３で生成された予測残差の周波数成分に対し、量子化制御パラメータを用いて量子化を行うことで量子化係数を生成する。これにより情報量が削減される。生成された量子化係数はエントロピー符号化部１３１３に出力される。量子化部１３０４は、量子化制御パラメータを、ワールド単位、スペース単位、又はボリューム単位で制御してもよい。その際には、三次元データ符号化装置１３００は、量子化制御パラメータをそれぞれのヘッダ情報等に付加する。また、量子化部１３０４は、予測残差の周波数成分毎に、重みを変えて量子化制御を行ってもよい。例えば、量子化部１３０４は、低周波数成分は細かく量子化し、高周波成分は粗く量子化してもよい。この場合、三次元データ符号化装置１３００は、各周波数成分の重みを表すパラメータをヘッダに付加してもよい。
　量子化部１３０４は、スペースが色情報等の属性情報を持たない場合は、処理をスキップしてもよい。また、三次元データ符号化装置１３００は、量子化部１３０４の処理をスキップするか否かを示す情報（フラグ）をビットストリームに付加してもよい。
　逆量子化部１３０５は、量子化制御パラメータを用いて、量子化部１３０４で生成された量子化係数に逆量子化を行うことで予測残差の逆量子化係数を生成し、生成した逆量子化係数を逆変換部１３０６に出力する。
　逆変換部１３０６は、逆量子化部１３０５で生成された逆量子化係数に対し逆変換を適用することで逆変換適用後予測残差を生成する。この逆変換適用後予測残差は、量子化後に生成された予測残差であるため、変換部１３０３が出力した予測残差とは完全には一致しなくてもよい。
　加算部１３０７は、逆変換部１３０６で生成された逆変換適用後予測残差と、量子化前の予測残差の生成に用いられた、後述するイントラ予測又はインター予測により生成された予測ボリュームとを加算して再構成ボリュームを生成する。この再構成ボリュームは、参照ボリュームメモリ１３０８、又は、参照スペースメモリ１３１０に格納される。
　イントラ予測部１３０９は、参照ボリュームメモリ１３０８に格納された隣接ボリュームの属性情報を用いて、符号化対象ボリュームの予測ボリュームを生成する。属性情報とは、ボクセルの色情報又は反射度を含む。イントラ予測部１３０９は、符号化対象ボリュームの色情報又は反射度の予測値を生成する。
　図４４は、イントラ予測部１３０９の動作を説明するための図である。例えば、イントラ予測部１３０９は、図４４に示す、符号化対象ボリューム（ボリュームｉｄｘ＝３）の予測ボリュームを、隣接ボリューム（ボリュームｉｄｘ＝０）から生成する。ここで、ボリュームｉｄｘとはスペース内のボリュームに対し付加される識別子情報であり、各ボリュームに異なる値が割当てられる。ボリュームｉｄｘの割当ての順番は符号化順と同じ順番であってもよいし、符号化順とは異なる順番であってもよい。例えば、イントラ予測部１３０９は、図４４に示す符号化対象ボリュームの色情報の予測値として、隣接ボリュームであるボリュームｉｄｘ＝０内に含まれるボクセルの色情報の平均値を用いる。この場合、符号化対象ボリューム内に含まれる各ボクセルの色情報から、色情報の予測値が差し引かれることで予測残差が生成される。この予測残差に対して変換部１３０３以降の処理が行われる。また、この場合、三次元データ符号化装置１３００は、隣接ボリューム情報と、予測モード情報とをビットストリームに付加する。ここで隣接ボリューム情報とは、予測に用いた隣接ボリュームを示す情報であり、例えば、予測に用いた隣接ボリュームのボリュームｉｄｘを示す。また、予測モード情報とは、予測ボリュームの生成に使用したモードを示す。モードとは、例えば、隣接ボリューム内のボクセルの平均値から予測値を生成する平均値モード、又は隣接ボリューム内のボクセルの中間値から予測値を生成する中間値モード等である。
　イントラ予測部１３０９は、予測ボリュームを、複数の隣接ボリュームから生成してもよい。例えば、図４４に示す構成において、イントラ予測部１３０９は、ボリュームｉｄｘ＝０のボリュームから予測ボリューム０を生成し、ボリュームｉｄｘ＝１のボリュームから予測ボリューム１を生成する。そして、イントラ予測部１３０９は、予測ボリューム０と予測ボリューム１の平均を最終的な予測ボリュームとして生成する。この場合、三次元データ符号化装置１３００は、予測ボリュームの生成に使用した複数のボリュームの複数のボリュームｉｄｘをビットストリームに付加してもよい。
　図４５は、本実施の形態に係るインター予測処理を模式的に示す図である。インター予測部１３１１は、ある時刻Ｔ＿Ｃｕｒのスペース（ＳＰＣ）を、異なる時刻Ｔ＿ＬＸの符号化済みスペースを用いて符号化（インター予測）する。この場合、インター予測部１３１１は、異なる時刻Ｔ＿ＬＸの符号化済みスペースに回転及び並進処理を適用して符号化処理を行う。
　また、三次元データ符号化装置１３００は、異なる時刻Ｔ＿ＬＸのスペースに適用した回転及び並進処理に関わるＲＴ情報をビットストリームに付加する。異なる時刻Ｔ＿ＬＸとは、例えば、前記ある時刻Ｔ＿Ｃｕｒより前の時刻Ｔ＿Ｌ０である。このとき、三次元データ符号化装置１３００は、時刻Ｔ＿Ｌ０のスペースに適用した回転及び並進処理に関わるＲＴ情報ＲＴ＿Ｌ０をビットストリームに付加してもよい。
　または、異なる時刻Ｔ＿ＬＸとは、例えば、前記ある時刻Ｔ＿Ｃｕｒより後の時刻Ｔ＿Ｌ１である。このとき、三次元データ符号化装置１３００は、時刻Ｔ＿Ｌ１のスペースに適用した回転及び並進処理に関わるＲＴ情報ＲＴ＿Ｌ１をビットストリームに付加してもよい。
　または、インター予測部１３１１は、異なる時刻Ｔ＿Ｌ０及び時刻Ｔ＿Ｌ１の両方のスペースを参照して符号化（双予測）を行う。この場合には、三次元データ符号化装置１３００は、それぞれのスペースに適用した回転及び並進に関わるＲＴ情報ＲＴ＿Ｌ０及びＲＴ＿Ｌ１の両方をビットストリームに付加してもよい。
　なお、上記ではＴ＿Ｌ０をＴ＿Ｃｕｒより前の時刻、Ｔ＿Ｌ１をＴ＿Ｃｕｒより後の時刻としたが、必ずしもこれに限らない。例えば、Ｔ＿Ｌ０とＴ＿Ｌ１は共にＴ＿Ｃｕｒより前の時刻でもよい。または、Ｔ＿Ｌ０とＴ＿Ｌ１は共にＴ＿Ｃｕｒより後の時刻でもよい。
　また、三次元データ符号化装置１３００は、複数の異なる時刻のスペースを参照して符号化を行う場合には、それぞれのスペースに適用した回転及び並進に関わるＲＴ情報をビットストリームに付加してもよい。例えば、三次元データ符号化装置１３００は、参照する複数の符号化済みスペースを２つの参照リスト（Ｌ０リスト及びＬ１リスト）で管理する。Ｌ０リスト内の第１の参照スペースをＬ０Ｒ０とし、Ｌ０リスト内の第２の参照スペースをＬ０Ｒ１とし、Ｌ１リスト内の第１の参照スペースをＬ１Ｒ０とし、Ｌ１リスト内の第２の参照スペースをＬ１Ｒ１とした場合、三次元データ符号化装置１３００は、Ｌ０Ｒ０のＲＴ情報ＲＴ＿Ｌ０Ｒ０と、Ｌ０Ｒ１のＲＴ情報ＲＴ＿Ｌ０Ｒ１と、Ｌ１Ｒ０のＲＴ情報ＲＴ＿Ｌ１Ｒ０と、Ｌ１Ｒ１のＲＴ情報ＲＴ＿Ｌ１Ｒ１とをビットストリームに付加する。例えば、三次元データ符号化装置１３００は、これらのＲＴ情報をビットストリームのヘッダ等に付加する。
　また、三次元データ符号化装置１３００は、複数の異なる時刻の参照スペースを参照して符号化を行う場合、参照スペース毎に回転及び並進を適用するか否かを判定する。その際、三次元データ符号化装置１３００は、参照スペース毎に回転及び並進を適用したか否かを示す情報（ＲＴ適用フラグ等）をビットストリームのヘッダ情報等に付加してもよい。例えば、三次元データ符号化装置１３００は、符号化対象スペースから参照する参照スペース毎にＩＣＰ（Ｉｎｔｅｒａｃｔｉｖｅ　Ｃｌｏｓｅｓｔ　Ｐｏｉｎｔ）アルゴリズムを用いてＲＴ情報、及びＩＣＰエラー値を算出する。三次元データ符号化装置１３００は、ＩＣＰエラー値が、予め定められた一定値以下の場合は、回転及び並進を行う必要がないと判定してＲＴ適用フラグをオフに設定する。一方、三次元データ符号化装置１３００は、ＩＣＰエラー値が上記一定値より大きい場合は、ＲＴ適用フラグをオンに設定し、ＲＴ情報をビットストリームに付加する。
　図４６は、ＲＴ情報及びＲＴ適用フラグをヘッダに付加するシンタックス例を示す図である。なお、各シンタックスに割当てるビット数は、そのシンタックスが取りうる範囲で決定してもよい。例えば、参照リストＬ０内に含まれる参照スペース数が８つの場合、ＭａｘＲｅｆＳｐｃ＿ｌ０には３ｂｉｔが割当てられてもよい。割当てるビット数を、各シンタックスが取りうる値に応じて可変にしてもよいし、取りうる値に関わらず固定にしてもよい。割り当てるビット数を固定にする場合は、三次元データ符号化装置１３００は、その固定ビット数を別のヘッダ情報に付加してもよい。
　ここで、図４６に示す、ＭａｘＲｅｆＳｐｃ＿ｌ０は、参照リストＬ０内に含まれる参照スペース数を示す。ＲＴ＿ｆｌａｇ＿ｌ０［ｉ］は、参照リストＬ０内の参照スペースｉのＲＴ適用フラグである。ＲＴ＿ｆｌａｇ＿ｌ０［ｉ］が１の場合、参照スペースｉに回転及び並進が適用される。ＲＴ＿ｆｌａｇ＿ｌ０［ｉ］が０の場合、参照スペースｉに回転及び並進が適用されない。
　Ｒ＿ｌ０［ｉ］及びＴ＿ｌ０［ｉ］は、参照リストＬ０内の参照スペースｉのＲＴ情報である。Ｒ＿ｌ０［ｉ］は、参照リストＬ０内の参照スペースｉの回転情報である。回転情報は、適用された回転処理の内容を示し、例えば、回転行列、又はクォータニオン等である。Ｔ＿ｌ０［ｉ］は、参照リストＬ０内の参照スペースｉの並進情報である。並進情報は、適用された並進処理の内容を示し、例えば、並進ベクトル等である。
　ＭａｘＲｅｆＳｐｃ＿ｌ１は、参照リストＬ１内に含まれる参照スペース数を示す。ＲＴ＿ｆｌａｇ＿ｌ１［ｉ］は、参照リストＬ１内の参照スペースｉのＲＴ適用フラグである。ＲＴ＿ｆｌａｇ＿ｌ１［ｉ］が１の場合、参照スペースｉに回転及び並進が適用される。ＲＴ＿ｆｌａｇ＿ｌ１［ｉ］が０の場合、参照スペースｉに回転及び並進が適用されない。
　Ｒ＿ｌ１［ｉ］及びＴ＿ｌ１［ｉ］は、参照リストＬ１内の参照スペースｉのＲＴ情報である。Ｒ＿ｌ１［ｉ］は、参照リストＬ１内の参照スペースｉの回転情報である。回転情報は、適用された回転処理の内容を示し、例えば、回転行列、又はクォータニオン等である。Ｔ＿ｌ１［ｉ］は、参照リストＬ１内の参照スペースｉの並進情報である。並進情報は、適用された並進処理の内容を示し、例えば、並進ベクトル等である。
　インター予測部１３１１は、参照スペースメモリ１３１０に格納された符号化済みの参照スペースの情報を用いて符号化対象ボリュームの予測ボリュームを生成する。上述したように、インター予測部１３１１は、符号化対象ボリュームの予測ボリュームを生成する前に、符号化対象スペースと参照スペースの全体的な位置関係を近づけるために、符号化対象スペースと参照スペースでＩＣＰ（Ｉｎｔｅｒａｃｔｉｖｅ　Ｃｌｏｓｅｓｔ　Ｐｏｉｎｔ）アルゴリズムを用いてＲＴ情報を求める。そして、インター予測部１３１１は、求めたＲＴ情報を用いて参照スペースに回転及び並進処理を適用することで参照スペースＢを得る。その後、インター予測部１３１１は、符号化対象スペース内の符号化対象ボリュームの予測ボリュームを参照スペースＢ内の情報を用いて生成する。ここで、三次元データ符号化装置１３００は、参照スペースＢを得るために用いられたＲＴ情報を符号化対象スペースのヘッダ情報等に付加する。
　このように、インター予測部１３１１は、参照スペースに回転及び並進処理を適用することにより符号化対象スペースと参照スペースとの全体的な位置関係を近づけてから、参照スペースの情報を用いて予測ボリュームを生成することで予測ボリュームの精度を向上できる。また、予測残差を抑制できるので符号量を削減できる。なお、ここでは、符号化対象スペースと参照スペースとを用いてＩＣＰを行う例を示したが、必ずしもこれに限らない。例えば、インター予測部１３１１は、処理量を削減するために、ボクセル又はポイントクラウド数を間引いた符号化対象スペース、及び、ボクセル又はポイントクラウド数を間引いた参照スペースの少なくとも一方を用いてＩＣＰを行うことで、ＲＴ情報を求めてもよい。
　また、インター予測部１３１１は、ＩＣＰの結果得られるＩＣＰエラー値が、予め定められた第１閾値より小さい場合、つまり、例えば符号化対象スペースと参照スペースの位置関係が近い場合には、回転及び並進処理は必要ないと判断し、回転及び並進を行わなくてもよい。この場合、三次元データ符号化装置１３００は、ＲＴ情報をビットストリームに付加しないことによりオーバーヘッドを抑制してもよい。
　また、インター予測部１３１１は、ＩＣＰエラー値が、予め定められた第２閾値より大きい場合には、スペース間の形状変化が大きいと判断し、符号化対象スペースの全てのボリュームにイントラ予測を適用してもよい。以下、イントラ予測を適用するスペースをイントラスペースと呼ぶ。また、第２閾値は上記第１閾値より大きい値である。また、ＩＣＰに限定せず、２つのボクセル集合、又は、２つのポイントクラウド集合からＲＴ情報を求める方法であれば、どのような手法を適用してもよい。
　また、三次元データに形状又は色等の属性情報が含まれる場合には、インター予測部１３１１は、符号化対象スペース内の符号化対象ボリュームの予測ボリュームとして、例えば参照スペース内で符号化対象ボリュームと最も形状又は色等の属性情報が近いボリュームを探索する。また、この参照スペースは、例えば、上述した回転及び並進処理が行われた後の参照スペースである。インター予測部１３１１は、探索により得られたボリューム（参照ボリューム）から予測ボリュームを生成する。図４７は、予測ボリュームの生成動作を説明するための図である。インター予測部１３１１は、図４７に示す符号化対象ボリューム（ボリュームｉｄｘ＝０）を、インター予測を用いて符号化する場合、参照スペース内の参照ボリュームを順にスキャンしながら、符号化対象ボリュームと参照ボリュームとの差分である予測残差が一番小さいボリュームを探索する。インター予測部１３１１は、予測残差が一番小さいボリュームを予測ボリュームとして選択する。符号化対象ボリュームと予測ボリュームとの予測残差が変換部１３０３以降の処理により符号化される。ここで、予測残差とは、符号化対象ボリュームの属性情報と予測ボリュームの属性情報との差分である。また、三次元データ符号化装置１３００は、予測ボリュームとして参照した参照スペース内の参照ボリュームのボリュームｉｄｘをビットストリームのヘッダ等に付加する。
　図４７に示す例では、参照スペースＬ０Ｒ０のボリュームｉｄｘ＝４の参照ボリュームが符号化対象ボリュームの予測ボリュームとして選択される。そして、符号化対象ボリュームと参照ボリュームとの予測残差と、参照ボリュームｉｄｘ＝４とが符号化されてビットストリームに付加される。
　なお、ここでは属性情報の予測ボリュームを生成する例を説明したが、位置情報の予測ボリュームについても同様の処理が行われてもよい。
　予測制御部１３１２は、符号化対象ボリュームをイントラ予測、及びインター予測のいずれを用いて符号化するかを制御する。ここで、イントラ予測、及びインター予測を含むモードを予測モードと呼ぶ。例えば、予測制御部１３１２は、符号化対象ボリュームをイントラ予測で予測した場合の予測残差と、インター予測で予測した場合の予測残差とを評価値として算出し、評価値が小さい方の予測モードを選択する。なお、予測制御部１３１２は、イントラ予測の予測残差とインター予測の予測残差とに、それぞれ直交変換、量子化、及び、エントロピー符号化を適用することで実際の符号量を算出し、算出した符号量を評価値として予測モードを選択してもよい。また、評価値に予測残差以外のオーバーヘッド情報（参照ボリュームｉｄｘ情報など）を加えるようにしてもよい。また、予測制御部１３１２は、符号化対象スペースをイントラスペースで符号化すると予め決定されている場合には、常にイントラ予測を選択してもよい。
　エントロピー符号化部１３１３は、量子化部１３０４からの入力である量子化係数を可変長符号化することにより符号化信号（符号化ビットストリーム）を生成する。具体的には、エントロピー符号化部１３１３は、例えば、量子化係数を二値化し、得られた二値信号を算術符号化する。
　次に、三次元データ符号化装置１３００により生成された符号化信号を復号する三次元データ復号装置について説明する。図４８は、本実施の形態に係る三次元データ復号装置１４００のブロック図である。この三次元データ復号装置１４００は、エントロピー復号部１４０１と、逆量子化部１４０２と、逆変換部１４０３と、加算部１４０４と、参照ボリュームメモリ１４０５と、イントラ予測部１４０６と、参照スペースメモリ１４０７と、インター予測部１４０８と、予測制御部１４０９とを備える。
　エントロピー復号部１４０１は、符号化信号（符号化ビットストリーム）を可変長復号する。例えば、エントロピー復号部１４０１は、符号化信号を算術復号して二値信号を生成し、生成した二値信号から量子化係数を生成する。
　逆量子化部１４０２は、エントロピー復号部１４０１から入力された量子化係数を、ビットストリーム等に付加された量子化パラメータを用いて逆量子化することで逆量子化係数を生成する。
　逆変換部１４０３は、逆量子化部１４０２から入力された逆量子化係数を逆変換することで予測残差を生成する。例えば、逆変換部１４０３は、逆量子化係数を、ビットストリームに付加された情報に基づいて逆直交変換することで予測残差を生成する。
　加算部１４０４は、逆変換部１４０３で生成された予測残差と、イントラ予測又はインター予測により生成された予測ボリュームとを加算して再構成ボリュームを生成する。この再構成ボリュームは、復号三次元データとして出力されるとともに、参照ボリュームメモリ１４０５、又は、参照スペースメモリ１４０７に格納される。
　イントラ予測部１４０６は、参照ボリュームメモリ１４０５内の参照ボリュームとビットストリームに付加された情報とを用いてイントラ予測により予測ボリュームを生成する。具体的には、イントラ予測部１４０６は、ビットストリームに付加された隣接ボリューム情報（例えばボリュームｉｄｘ）と、予測モード情報とを取得し、隣接ボリューム情報で示さる隣接ボリュームを用いて、予測モード情報で示されるモードにより予測ボリュームを生成する。なお、これらの処理の詳細は、ビットストリームに付与された情報が用いられる点を除き、上述したイントラ予測部１３０９による処理と同様である。
　インター予測部１４０８は、参照スペースメモリ１４０７内の参照スペースとビットストリームに付加された情報とを用いてインター予測により予測ボリュームを生成する。具体的には、インター予測部１４０８は、ビットストリームに付加された参照スペース毎のＲＴ情報を用いて参照スペースに対して回転及び並進処理を適用し、適用後の参照スペースを用いて予測ボリュームを生成する。なお、参照スペース毎のＲＴ適用フラグがビットストリーム内に存在する場合には、インター予測部１４０８は、ＲＴ適用フラグに応じて参照スペースに回転及び並進処理を適用する。なお、これらの処理の詳細は、ビットストリームに付与された情報が用いられる点を除き、上述したインター予測部１３１１による処理と同様である。
　予測制御部１４０９は、復号対象ボリュームをイントラ予測で復号するか、インター予測で復号するかを制御する。例えば、予測制御部１４０９は、ビットストリームに付加された、使用する予測モードを示す情報に応じてイントラ予測又はインター予測を選択する。なお、予測制御部１４０９は、復号対象スペースをイントラスペースで復号すると予め決定されている場合は、常にイントラ予測を選択してもよい。
　以下、本実施の形態の変形例について説明する。本実施の形態ではスペース単位で回転及び並進が適用される例を説明したが、より細かい単位で回転及び並進が適用されてもよい。例えば、三次元データ符号化装置１３００は、スペースをサブスペースに分割し、サブスペース単位で回転及び並進を適用してもよい。この場合、三次元データ符号化装置１３００は、サブスペース毎にＲＴ情報を生成し、生成したＲＴ情報をビットストリームのヘッダ等に付加する。また、三次元データ符号化装置１３００は、符号化単位であるボリューム単位で回転及び並進を適用してもよい。この場合、三次元データ符号化装置１３００は、符号化ボリューム単位でＲＴ情報を生成し、生成したＲＴ情報をビットストリームのヘッダ等に付加する。さらに、上記を組み合わせてもよい。つまり、三次元データ符号化装置１３００は、大きい単位で回転及び並進を適用し、その後、細かい単位で回転及び並進を適用してもよい。例えば、三次元データ符号化装置１３００は、スペース単位で回転及び並進を適用し、得られたスペースに含まれる複数のボリュームの各々に対して、互いに異なる回転及び並進を適用してもよい。
　また、本実施の形態では参照スペースに回転及び並進を適用する例を説明したが、必ずしもこれに限らない。例えば、三次元データ符号化装置１３００は、例えば、スケール処理を適用して三次元データの大きさを変化させてもよい。また、三次元データ符号化装置１３００は、回転、並進及びスケールのうち、いずれか１つ又は２つを適用してもよい。また、上記のように多段階で異なる単位で処理を適用する場合には、各単位に適用される処理の種類が異なってもよい。例えば、スペース単位では回転及び並進が適用され、ボリューム単位では並進が適用されてもよい。
　なお、これらの変形例については、三次元データ復号装置１４００に対しても同様に適用できる。
　以上のように、本実施の形態に係る三次元データ符号化装置１３００は、以下の処理を行う。図４８は、三次元データ符号化装置１３００によるインター予測処理のフローチャートである。
　まず、三次元データ符号化装置１３００は、対象三次元データ（例えば符号化対象スペース）と異なる時刻の参照三次元データ（例えば参照スペース）に含まれる三次元点の位置情報を用いて予測位置情報（例えば予測ボリューム）を生成する（Ｓ１３０１）。具体的には、三次元データ符号化装置１３００は、参照三次元データに含まれる三次元点の位置情報に回転及び並進処理を適用することで予測位置情報を生成する。
　なお、三次元データ符号化装置１３００は、回転及び並進処理を第１の単位（例えばスペース）で行い、予測位置情報の生成を第１の単位より細かい第２の単位（例えばボリューム）で行ってもよい。例えば、三次元データ符号化装置１３００は、回転及び並進処理後の参照スペースに含まれる複数のボリュームのうち、符号化対象スペースに含まれる符号化対象ボリュームと位置情報の差が最小となるボリュームを探索し、得られたボリュームを予測ボリュームとして用いる。なお、三次元データ符号化装置１３００は、回転及び並進処理と、予測位置情報の生成とを同一の単位で行ってもよい。
　また、三次元データ符号化装置１３００は、参照三次元データに含まれる三次元点の位置情報に第１の単位（例えばスペース）で第１回転及び並進処理を適用し、第１回転及び並進処理により得られた三次元点の位置情報に、第１の単位より細かい第２の単位（例えばボリューム）で第２回転及び並進処理を適用することで予測位置情報を生成してもよい。
　ここで、三次元点の位置情報及び予測位置情報は、例えば図４１に示すように、８分木構造で表現される。例えば、三次元点の位置情報及び予測位置情報は、８分木構造における深度と幅とのうち、幅を優先したスキャン順で表される。または、三次元点の位置情報及び予測位置情報は、８分木構造における深度と幅とのうち、深度を優先したスキャン順で表される。
　また、図４６に示すように、三次元データ符号化装置１３００は、参照三次元データに含まれる三次元点の位置情報に回転及び並進処理を適用するか否かを示すＲＴ適用フラグを符号化する。つまり、三次元データ符号化装置１３００は、ＲＴ適用フラグを含む符号化信号（符号化ビットストリーム）を生成する。また、三次元データ符号化装置１３００は、回転及び並進処理の内容を示すＲＴ情報を符号化する。つまり、三次元データ符号化装置１３００は、ＲＴ情報を含む符号化信号（符号化ビットストリーム）を生成する。なお、三次元データ符号化装置１３００は、ＲＴ適用フラグにより回転及び並進処理を適用することが示される場合にＲＴ情報を符号化し、ＲＴ適用フラグにより回転及び並進処理を適用しないことが示される場合にＲＴ情報を符号化しなくてもよい。
　また、三次元データは、例えば、三次元点の位置情報と、各三次元点の属性情報（色情報等）とを含む。三次元データ符号化装置１３００は、参照三次元データに含まれる三次元点の属性情報を用いて予測属性情報を生成する（Ｓ１３０２）。
　次に、三次元データ符号化装置１３００は、対象三次元データに含まれる三次元点の位置情報を、予測位置情報を用いて符号化する。例えば、三次元データ符号化装置１３００は、図３８に示すように対象三次元データに含まれる三次元点の位置情報と予測位置情報との差分である差分位置情報を算出する（Ｓ１３０３）。
　また、三次元データ符号化装置１３００は、対象三次元データに含まれる三次元点の属性情報を、予測属性情報を用いて符号化する。例えば、三次元データ符号化装置１３００は、対象三次元データに含まれる三次元点の属性情報と予測属性情報との差分である差分属性情報を算出する（Ｓ１３０４）。次に、三次元データ符号化装置１３００は、算出された差分属性情報に変換及び量子化を行う（Ｓ１３０５）。
　最後に、三次元データ符号化装置１３００は、差分位置情報と、量子化後の差分属性情報とを符号化（例えばエントロピー符号化）する（Ｓ１３０６）。つまり、三次元データ符号化装置１３００は、差分位置情報と差分属性情報とを含む符号化信号（符号化ビットストリーム）を生成する。
　なお、三次元データに属性情報が含まれない場合には、三次元データ符号化装置１３００は、ステップＳ１３０２、Ｓ１３０４及びＳ１３０５を行わなくてもよい。また、三次元データ符号化装置１３００は、三次元点の位置情報の符号化と、三次元点の属性情報の符号化とのうち、一方のみを行ってもよい。
　また、図４９に示す処理の順序は一例であり、これに限定されない。例えば、位置情報に対する処理（Ｓ１３０１、Ｓ１３０３）と、属性情報に対する処理（Ｓ１３０２、Ｓ１３０４、Ｓ１３０５）とは互いに独立しているため、任意の順序で行われてもよいし、一部が並列処理されてもよい。
　以上により、本実施の形態に三次元データ符号化装置１３００は、対象三次元データと異なる時刻の参照三次元データに含まれる三次元点の位置情報を用いて予測位置情報を生成し、対象三次元データに含まれる三次元点の位置情報と予測位置情報との差分である差分位置情報を符号化する。これにより、符号化信号のデータ量を削減できるので符号化効率を向上できる。
　また、本実施の形態に三次元データ符号化装置１３００は、参照三次元データに含まれる三次元点の属性情報を用いて予測属性情報を生成し、対象三次元データに含まれる三次元点の属性情報と予測属性情報との差分である差分属性情報を符号化する。これにより、符号化信号のデータ量を削減できるので符号化効率を向上できる。
　例えば、三次元データ符号化装置１３００は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
　図４８は、三次元データ復号装置１４００によるインター予測処理のフローチャートである。
　まず、三次元データ復号装置１４００は、符号化信号（符号化ビットストリーム）から、差分位置情報と差分属性情報とを復号（例えばエントロピー復号）する（Ｓ１４０１）。
　また、三次元データ復号装置１４００は、符号化信号から、参照三次元データに含まれる三次元点の位置情報に回転及び並進処理を適用するか否かを示すＲＴ適用フラグを復号する。また、三次元データ復号装置１４００は、回転及び並進処理の内容を示すＲＴ情報を復号する。なお、三次元データ復号装置１４００は、ＲＴ適用フラグにより回転及び並進処理を適用することが示される場合にＲＴ情報を復号し、ＲＴ適用フラグにより回転及び並進処理を適用しないことが示される場合にＲＴ情報を復号しなくてもよい。
　次に、三次元データ復号装置１４００は、復号された差分属性情報に逆量子化及び逆変換を行う（Ｓ１４０２）。
　次に、三次元データ復号装置１４００は、対象三次元データ（例えば復号対象スペース）と異なる時刻の参照三次元データ（例えば参照スペース）に含まれる三次元点の位置情報を用いて予測位置情報（例えば予測ボリューム）を生成する（Ｓ１４０３）。具体的には、三次元データ復号装置１４００は、参照三次元データに含まれる三次元点の位置情報に回転及び並進処理を適用することで予測位置情報を生成する。
　より具体的には、三次元データ復号装置１４００は、ＲＴ適用フラグにより回転及び並進処理を適用することが示される場合に、ＲＴ情報で示される参照三次元データに含まれる三次元点の位置情報に回転及び並進処理を適用する。一方、ＲＴ適用フラグにより回転及び並進処理を適用しないことが示される場合には、三次元データ復号装置１４００は、参照三次元データに含まれる三次元点の位置情報に回転及び並進処理を適用しない。
　なお、三次元データ復号装置１４００は、回転及び並進処理を第１の単位（例えばスペース）で行い、予測位置情報の生成を第１の単位より細かい第２の単位（例えばボリューム）で行ってもよい。なお、三次元データ復号装置１４００は、回転及び並進処理と、予測位置情報の生成とを同一の単位で行ってもよい。
　また、三次元データ復号装置１４００は、参照三次元データに含まれる三次元点の位置情報に第１の単位（例えばスペース）で第１回転及び並進処理を適用し、第１回転及び並進処理により得られた三次元点の位置情報に、第１の単位より細かい第２の単位（例えばボリューム）で第２回転及び並進処理を適用することで予測位置情報を生成してもよい。
　ここで、三次元点の位置情報及び予測位置情報は、例えば図４１に示すように、８分木構造で表現される。例えば、三次元点の位置情報及び予測位置情報は、８分木構造における深度と幅とのうち、幅を優先したスキャン順で表される。または、三次元点の位置情報及び予測位置情報は、８分木構造における深度と幅とのうち、深度を優先したスキャン順で表される。
　三次元データ復号装置１４００は、参照三次元データに含まれる三次元点の属性情報を用いて予測属性情報を生成する（Ｓ１４０４）。
　次に、三次元データ復号装置１４００は、符号化信号に含まれる符号化位置情報を予測位置情報を用いて復号することで対象三次元データに含まれる三次元点の位置情報を復元する。ここで、符号化位置情報とは、例えば、差分位置情報であり、三次元データ復号装置１４００は、差分位置情報と予測位置情報とを加算することで対象三次元データに含まれる三次元点の位置情報を復元する（Ｓ１４０５）。
　また、三次元データ復号装置１４００は、符号化信号に含まれる符号化属性情報を予測属性情報を用いて復号することで対象三次元データに含まれる三次元点の属性情報を復元する。ここで、符号化属性情報とは、例えば、差分属性情報であり、三次元データ復号装置１４００は、差分属性情報と予測属性情報とを加算することで対象三次元データに含まれる三次元点の属性情報を復元する（Ｓ１４０６）。
　なお、三次元データに属性情報が含まれない場合には、三次元データ復号装置１４００は、ステップＳ１４０２、Ｓ１４０４及びＳ１４０６を行わなくてもよい。また、三次元データ復号装置１４００は、三次元点の位置情報の復号と、三次元点の属性情報の復号とのうち、一方のみを行ってもよい。
　また、図５０に示す処理の順序は一例であり、これに限定されない。例えば、位置情報に対する処理（Ｓ１４０３、Ｓ１４０５）と、属性情報に対する処理（Ｓ１４０２、Ｓ１４０４、Ｓ１４０６）とは互いに独立しているため、任意の順序で行われてもよいし、一部が並列処理されてもよい。
　（実施の形態８）
　本実施の形態では、８分木のオキュパンシー符号に対する適応的なエントロピー符号化（算術符号化）について説明する。
　図５１は、４分木の木構造の一例を示す図である。図５２は、図５１に示す木構造のオキュパンシー符号を示す図である。図５３は、本実施に形態に係る三次元データ符号化装置の動作を模式的に示す図である。
　本実施の形態に係る三次元データ符号化装置は、８分木における８ビットのオキュパンシー符号化をエントロピー符号化する。また、三次元データ符号化装置は、オキュパンシー符号のエントロピー符号化処理において、符号化テーブルを更新する。また、三次元データ符号化装置は、単一の符号化テーブルを用いるのではなく、三次元点の類似性情報を利用するために適応的な符号化テーブルを用いる。つまり、三次元テータ符号化装置は、複数の符号化テーブルを用いる。
　また、類似性情報とは、例えば、三次元点の幾何情報、８分木の構造情報、又は、三次元点の属性情報である。
　なお、図５１～図５３では、４分木を例に示したが、２分木、８分木、１６分木等のＮ分木の場合に同様の手法を適用してもよい。例えば、三次元データ符号化装置は、８分木の場合は８ビットのオキュパンシー符号、４分木の場合は４ビットのオキュパンシー符号、１６分木の場合は１６ビットのオキュパンシー符号に対して、適応的テーブル（ａｄａｐｔｉｖｅ　ｔａｂｌｅ：符号化テーブルとも呼ぶ）を用いてエントロピー符号化を行う。
　以下、三次元点（ポイントクラウド）の幾何情報（ｇｅｏｍｅｔｒｙ　ｉｎｆｏｒｍａｔｉｏｎ）を用いた適応的なエントロピー符号化処理について説明する。
　木構造内の２つのノードにおいて、各ノードの周辺の幾何学的な配置が類似する場合、子ノードの占有状態（つまり、三次元点が含まれるか否かの状態）が類似する可能性がある。よって、三次元データ符号化装置は、親ノードの周辺の幾何学的な配置を用いて、グループ化を行う。これにより、三次元データ符号化装置は、子ノードの占有状態をグループ化し、グループ毎に異なる符号化テーブルを用いることができる。よって、エントロピー符号化の符号化効率を向上できる。
　図５４は、幾何情報の一例を示す図である。幾何情報は対象ノードの複数の隣接ノードの各々が占有されているか否か（つまり三次元点を含むか否か）を示す情報を含む。例えば、三次元データ符号化装置は、対象ノードの周辺の幾何学的な配置（Ｌｏｃａｌ　ｇｅｏｍｅｔｒｙ）を、隣接ノードに三次元点が含まれるか否か（ｏｃｃｕｐｉｅｄ　ｏｒ　ｎｏｎ－ｏｃｃｕｐｉｅｄ）の情報を用いて算出する。隣接ノードとは、例えば対象ノードの空間的に周囲に存在するノード、または、対象ノードとは異なる時間の同一位置、もしくはその空間的に周囲に存在するノードである。
　図５４において、ハッチングの立方体は符号化対象の対象ノードを示す。白い立方体は隣接ノードであり、かつ三次元点を含むノードを示す。図５４において、（２）に示す幾何パターンは（１）に示す幾何パターンを回転した形を表す。よって、三次元データ符号化装置は、これらの幾何パターンは、幾何類似性（ｇｅｏｍｅｔｒｙ　ｓｉｍｉｌａｒｉｔｙ）が高いと判断し、これらの幾何パターンに対しては同一の符号化テーブルを用いてエントロピー符号化を行う。また、三次元データ符号化装置は、（３）及び（４）の幾何パターンに対しては幾何類似性が低いと判断し、別の符号化テーブルを用いてエントロピー符号化を行う。
　図５５は、図５４に示す（１）～（４）の幾何パターンにおける対象ノードのオキュパンシー符号と、エントロピー符号化に用いられる符号化テーブルの例を示す図である。三次元データ符号化装置は、上記のように幾何パターン（１）と（２）については同じ幾何グループに含まれると判断し、同一の符号化テーブルＡを用いる。また、三次元データ符号化装置は、幾何パターン（３）及び（４）にはそれぞれ符号化テーブルＢ及び符号化テーブルＣを用いる。
　また、図５５に示すように、同一の幾何グループに含まれる幾何パターン（１）と（２）の対象ノードのオキュパンシー符号が同一になる場合がある。
　次に、木構造の構造情報（ｓｔｒｕｃｔｕｒｅ　ｉｎｆｏｒｍａｔｉｏｎ）を用いた適応的なエントロピー符号化処理について説明する。例えば、構造情報は対象ノードが属する層を示す情報を含む。
　図５６は、木構造の一例を示す図である。一般に局所的な物体の形状は、探索の尺度に依存する。例えば、木構造において、下層は上層よりも疎になる傾向がある。よって、三次元データ符号化装置は、図５６に示すように上層と下層とで異なる符号化テーブルを用いることで、エントロピー符号化の符号化効率を向上できる。
　つまり、三次元データ符号化装置は、各層のオキュパンシー符号を符号化する際に、層毎に異なる符号化テーブルを用いてもよい。例えば、図５６に示す木構造に対して、三次元データ符号化装置は、層Ｎ（Ｎ＝０～６）のオキュパンシー符号の符号化には層Ｎ用の符号化テーブルを用いてエントロピー符号化を行ってもよい。これにより、三次元データ符号化装置は、層毎のオキュパンシー符号の出現パターンに応じて符号化テーブルを切替えることができるので符号化効率を向上できる。
　また、三次元データ符号化装置は、図５６に示すように、層０から層２までのオキュパンシー符号には符号化テーブルＡを用い、層３から層６までのオキュパンシー符号には符号化テーブルＢを用いてもよい。これにより、三次元データ符号化装置は、各層群毎のオキュパンシー符号の出現パターンに応じて符号化テーブルを切替えることができるので符号化効率を向上できる。また、三次元データ符号化装置は、各層で用いる符号化テーブルの情報をビットストリームのヘッダに付加してもよい。または、各層で用いる符号化テーブルが規格等で予め定められていてもよい。
　次に、三次元点の属性情報（ｐｒｏｐｅｒｔｙ　ｉｎｆｏｒｍａｔｉｏｎ）を用いた適応的なエントロピー符号化処理について説明する。例えば、属性情報は対象ノードが含まれる物体の情報、又は対象ノードが保持する法線ベクトルの情報を含む。
　三次元点の属性情報を用いて、類似する幾何学的な配置を有する三次元点をグループ化することができる。例えば、三次元点が有する共通の属性情報として、各三次元点の方向を表す法線ベクトル（ｎｏｒｍａｌ　ｖｅｃｔｏｒ）を用いることができる。法線ベクトルを用いることで、木構造内の類似するオキュパンシー符号に関連する幾何学的な配置を見つけることができる。
　また、属性情報として、色又は反射率（反射度）が用いられてもよい。例えば、三次元データ符号化装置は、三次元点の色又は反射度を用いて、類似する幾何学的な配置を有する三次元点をグループ化し、グループ毎に符号化テーブルを切替える等の処理を行う。
　図５７は、法線ベクトルに基づく符号化テーブルの切り替えを説明するための図である。図５７に示すように、対象ノードの法線ベクトルが属する法線ベクトル群が異なる場合、異なる符号化テーブルが用いられる。例えば、予め定められた範囲に含まれる法線ベクトルが１つの法線ベクトル群に分類される。
　また、対象物の分類が異なる場合、オキュパンシー符号も異なる可能性が高い。よって、三次元データ符号化装置は、対象ノードが属する対象物の分類に応じて、符号化テーブルを選択してもよい。図５８は、対象物の分類に基づく符号化テーブルの切り替えを説明するための図である。図５８に示すように、対象物の分類が異なる場合、異なる符号化テーブルが用いられる。
　以下、本実施の形態に係るビットストリームの構成例について説明する。図５９は、本実施の形態に係る三次元データ符号化装置により生成されるビットストリームの構成例を示す図である。図５９に示すようにビットストリームは、符号化テーブル群と、テーブルインデクスと、符号化オキュパンシーとを含む。符号化テーブル群は、複数の符号化テーブルを含む。
　テーブルインデックスは、後続の符号化オキュパンシーのエントロピー符号化に用いられた符号化テーブルを示すインデックスである。符号化オキュパンシーは、エントロピー符号化後のオキュパンシー符号である。また、図５９に示すようにビットストリームは、テーブルインデックスと符号化オキュパンシーとの組を複数含む。
　例えば、図５９に示す例の場合、符号化オキュパンシー０は、テーブルインデックス０で示されるコンテキストモデル（以下コンテキストとも呼ぶ）を用いてエントロピー符号化されたデータである。また、符号化オキュパンシー１は、テーブルインデックス１で示されるコンテキストを用いてエントロピー符号化されたデータである。また、予め規格等で符号化オキュパンシー０を符号化するためのコンテキストを規定しておき、三次元データ復号装置は、符号化オキュパンシー０の復号時にそのコンテキストを使用してもよい。これにより、テーブルインデックスをビットストリームに付加する必要がなくなるので、オーバヘッドを削減できる。
　また、三次元データ符号化装置は、ヘッダ内に各コンテキストを初期化するための情報を付加してもよい。
　三次元データ符号化装置は、対象ノードの幾何情報、構造情報又は属性情報を用いて符号化テーブルを決定し、決定した符号化テーブルを用いてオキュパンシー符号を符号化する。三次元データ符号化装置は、符号化結果と符号化に用いた符号化テーブルの情報（テーブルインデクス等）をビットストリームに付加し、当該ビットストリームを三次元データ復号装置に送信する。これにより、三次元データ復号装置は、ヘッダに付加された符号化テーブルの情報を用いてオキュパンシー符号を復号できる。
　また、三次元データ符号化装置は、符号化に用いた符号化テーブルの情報をビットストリームに付加せず、三次元データ復号装置は、復号後の対象ノードの幾何情報、構造情報又は属性情報を用いて符号化テーブルを三次元データ符号化装置と同じ方法で決定し、決定した符号化テーブルを用いてオキュパンシー符号を復号してもよい。これにより、ビットストリームに符号化テーブルの情報を付加する必要がなくなるので、オーバヘッドを削減できる。
　図６０及び図６１は、符号化テーブルの例を示す図である。図６０及び図６１に示すように、１つの符号化テーブルは、８ビットのオキュパンシー符号の値毎に、当該値に対応するコンテキストモデル及びコンテキストモデルタイプを示す。
　図６０に示す符号化テーブルのように、複数のオキュパンシー符号に同一のコンテキストモデル（コンテキスト）が適用されてもよい。また、各オキュパンシー符号に別々のコンテキストモデルが割り当てられてもよい。これにより、オキュパンシー符号の出現確率に応じてコンテキストモデルを割り当てることができるので、符号化効率を向上することができる。
　また、コンテキストモデルタイプは、例えば、コンテキストモデルが、オキュパンシー符号の出現頻度に応じて確率テーブルを更新するコンテキストモデルであるか、確率テーブルを固定したコンテキストモデルであるか等を示す。
　次に、ビットストリーム及び符号化テーブルの別の例を示す。図６２は、ビットストリームの変形例の構成例を示す図である。図６２に示すようにビットストリームは、符号化テーブル群と、符号化オキュパンシーとを含む。符号化テーブル群は、複数の符号化テーブルを含む。
　図６３及び図６４は、符号化テーブルの例を示す図である。図６３及び図６４に示すように、１つの符号化テーブルは、オキュパンシー符号に含まれる１ビット毎に、当該１ビットに対応するコンテキストモデル及びコンテキストモデルタイプを示す。
　図６５は、オキュパンシー符号と、オキュパンシー符号のビット番号との関係の一例を示す図である。
　このように、三次元データ符号化装置は、オキュパンシー符号をバイナリデータとして扱い、ビット毎に別々のコンテキストモデルを割り当ててオキュパンシー符号をエントロピー符号化してもよい。これにより、オキュパンシー符号の各ビットの出現確率に応じてコンテキストモデルを割り当てることができるので、符号化効率を向上することができる。
　具体的には、オキュパンシー符号の各ビットは、対象ノードに対応する空間ブロックを分割したサブブロックに対応する。よって、ブロック内の同じ空間位置のサブブロックに同様の傾向がある場合に符号化効率を向上できる。例えば、地面又は道路の表面がブロック内を横断する場合、８分木では、下の４つのブロックには三次元点が含まれ、上の４つのブロックには三次元点が含まれない。また、水平方向に並ぶ複数のブロックにおいて同様のパターンが現れる。よって、上記のようにビット毎にコンテキストを切り替えることで符号化効率を向上できる。
　また、オキュパンシー符号の各ビットの出現頻度に応じて確率テーブルを更新するコンテキストモデルが用いられてもよい。また、確率テーブルを固定したコンテキストモデルが用いられてもよい。
　次に、本実施の形態に係る三次元データ符号化処理及び三次元データ復号処理の流れを説明する。
　図６６は、幾何情報を用いた適応的なエントロピー符号化処理を含む三次元データ符号化処理のフローチャートである。
　分解処理では、三次元点の初期バウンダリングボックスから８分木が生成される。バウンダリングボックス内の三次元点の位置に応じてバウンダリングボックスは分割される。具体的には、空でないサブ空間はさらに分割される。次に、サブ空間に三次元点が含まれるか否かを示す情報がオキュパンシー符号に符号化される。なお、図６８及び図７０に示す処理においても同様の処理が行われる。
　まず、三次元データ符号化装置は、入力された三次元点を取得する（Ｓ１９０１）。次に、三次元データ符号化装置は、単位長の分解処理が完了したか否かを判定する（Ｓ１９０２）。
　単位長の分解処理が完了していない場合（Ｓ１９０２でＮｏ）、三次元データ符号化装置は、対象ノードに分解処理を行うことで８分木を生成する（Ｓ１９０３）。
　次に、三次元データ符号化装置は、幾何情報を取得し（Ｓ１９０４）、取得した幾何情報に基づき符号化テーブルを選択する（Ｓ１９０５）。ここで幾何情報とは、例えば、上述したように、対象ノードの周辺ブロックの占有状態の幾何学的な配置等を示す情報である。
　次に、三次元データ符号化装置は、選択された符号化テーブルを用いて、対象ノードのオキュパンシー符号をエントロピー符号化する（Ｓ１９０６）。
　上記ステップＳ１９０３～Ｓ１９０６の処理が単位長の分解処理が完了するまで繰り返えされる。単位長の分解処理が完了した場合（Ｓ１９０２でＹｅｓ）、三次元データ符号化装置は、生成した情報を含むビットストリームを出力する（Ｓ１９０７）。
　三次元データ符号化装置は、対象ノードの幾何情報、構造情報又は属性情報を用いて符号化テーブルを決定し、決定した符号化テーブルを用いてオキュパンシー符号のビット列を符号化する。三次元データ符号化装置は、符号化結果と符号化に用いた符号化テーブルの情報（テーブルインデックスなど）をビットストリームに付加し、当該ビットストリームを三次元データ復号装置に送信する。これにより、三次元データ復号装置は、ヘッダに付加された符号化テーブルの情報を用いてオキュパンシー符号を復号できる。
　また、三次元データ符号化装置は、符号化に用いた符号化テーブルの情報をビットストリームに付加せず、三次元データ復号装置は、復号後の対象ノードの幾何情報、構造情報又は属性情報を用いて符号化テーブルを三次元データ符号化装置と同じ方法で決定し、決定した符号化テーブルを用いてオキュパンシー符号を復号してもよい。これにより、ビットストリームに符号化テーブルの情報を付加する必要がなくなるので、オーバヘッドを削減できる。
　図６７は、幾何情報を用いた適応的なエントロピー復号処理を含む三次元データ復号処理のフローチャートである。
　復号処理に含まれる分解処理は、上述した符号化処理に含まれる分解処理と同様であるが、以下の点が異なる。三次元データ復号装置は、復号したオキュパンシー符号を用いて、初期バウンダリングボックスを分割する。三次元データ復号装置は、単位長の処理を終了した場合、バウンダリングボックスの位置を三次元点と位置として保存する。なお、図６９及び図７１に示す処理においても同様の処理が行われる。
　まず、三次元データ復号装置は、入力されたビットストリームを取得する（Ｓ１９１１）。次に、三次元データ復号装置は、単位長の分解処理が完了したか否かを判定する（Ｓ１９１２）。
　単位長の分解処理が完了していない場合（Ｓ１９１２でＮｏ）、三次元データ復号装置は、対象ノードに分解処理を行うことで８分木を生成する（Ｓ１９１３）。
　次に、三次元データ復号装置は、幾何情報を取得し（Ｓ１９１４）、取得した幾何情報に基づき符号化テーブルを選択する（Ｓ１９１５）。ここで幾何情報とは、例えば、上述したように、対象ノードの周辺ブロックの占有状態の幾何学的な配置等を示す情報である。
　次に、三次元データ復号装置は、選択された符号化テーブルを用いて、対象ノードのオキュパンシー符号をエントロピー復号する（Ｓ１９１６）。
　上記ステップＳ１９１３～Ｓ１９１６の処理が単位長の分解処理が完了するまで繰り返えされる。単位長の分解処理が完了した場合（Ｓ１９１２でＹｅｓ）、三次元データ復号装置は、三次元点を出力する（Ｓ１９１７）。
　図６８は、構造情報を用いた適応的なエントロピー符号化処理を含む三次元データ符号化処理のフローチャートである。
　まず、三次元データ符号化装置は、入力された三次元点を取得する（Ｓ１９２１）。次に、三次元データ符号化装置は、単位長の分解処理が完了したか否かを判定する（Ｓ１９２２）。
　単位長の分解処理が完了していない場合（Ｓ１９２２でＮｏ）、三次元データ符号化装置は、対象ノードに分解処理を行うことで８分木を生成する（Ｓ１９２３）。
　次に、三次元データ符号化装置は、構造情報を取得し（Ｓ１９２４）、取得した構造情報に基づき符号化テーブルを選択する（Ｓ１９２５）。ここで構造情報とは、例えば、上述したように、対象ノードが属する層等を示す情報である。
　次に、三次元データ符号化装置は、選択された符号化テーブルを用いて、対象ノードのオキュパンシー符号をエントロピー符号化する（Ｓ１９２６）。
　上記ステップＳ１９２３～Ｓ１９２６の処理が単位長の分解処理が完了するまで繰り返えされる。単位長の分解処理が完了した場合（Ｓ１９２２でＹｅｓ）、三次元データ符号化装置は、生成した情報を含むビットストリームを出力する（Ｓ１９２７）。
　図６９は、構造情報を用いた適応的なエントロピー復号処理を含む三次元データ復号処理のフローチャートである。
　まず、三次元データ復号装置は、入力されたビットストリームを取得する（Ｓ１９３１）。次に、三次元データ復号装置は、単位長の分解処理が完了したか否かを判定する（Ｓ１９３２）。
　単位長の分解処理が完了していない場合（Ｓ１９３２でＮｏ）、三次元データ復号装置は、対象ノードに分解処理を行うことで８分木を生成する（Ｓ１９３３）。
　次に、三次元データ復号装置は、構造情報を取得し（Ｓ１９３４）、取得した構造情報に基づき符号化テーブルを選択する（Ｓ１９３５）。ここで構造情報とは、例えば、上述したように、対象ノードが属する層等を示す情報である。
　次に、三次元データ復号装置は、選択された符号化テーブルを用いて、対象ノードのオキュパンシー符号をエントロピー復号する（Ｓ１９３６）。
　上記ステップＳ１９３３～Ｓ１９３６の処理が単位長の分解処理が完了するまで繰り返えされる。単位長の分解処理が完了した場合（Ｓ１９３２でＹｅｓ）、三次元データ復号装置は、三次元点を出力する（Ｓ１９３７）。
　図７０は、属性情報を用いた適応的なエントロピー符号化処理を含む三次元データ符号化処理のフローチャートである。
　まず、三次元データ符号化装置は、入力された三次元点を取得する（Ｓ１９４１）。次に、三次元データ符号化装置は、単位長の分解処理が完了したか否かを判定する（Ｓ１９４２）。
　単位長の分解処理が完了していない場合（Ｓ１９４２でＮｏ）、三次元データ符号化装置は、対象ノードに分解処理を行うことで８分木を生成する（Ｓ１９４３）。
　次に、三次元データ符号化装置は、属性情報を取得し（Ｓ１９４４）、取得した属性情報に基づき符号化テーブルを選択する（Ｓ１９４５）。ここで属性情報とは、例えば、上述したように、対象ノードの法線ベクトル等を示す情報である。
　次に、三次元データ符号化装置は、選択された符号化テーブルを用いて、対象ノードのオキュパンシー符号をエントロピー符号化する（Ｓ１９４６）。
　上記ステップＳ１９４３～Ｓ１９４６の処理が単位長の分解処理が完了するまで繰り返えされる。単位長の分解処理が完了した場合（Ｓ１９４２でＹｅｓ）、三次元データ符号化装置は、生成した情報を含むビットストリームを出力する（Ｓ１９４７）。
　図７１は、属性情報を用いた適応的なエントロピー復号処理を含む三次元データ復号処理のフローチャートである。
　まず、三次元データ復号装置は、入力されたビットストリームを取得する（Ｓ１９５１）。次に、三次元データ復号装置は、単位長の分解処理が完了したか否かを判定する（Ｓ１９５２）。
　単位長の分解処理が完了していない場合（Ｓ１９５２でＮｏ）、三次元データ復号装置は、対象ノードに分解処理を行うことで８分木を生成する（Ｓ１９５３）。
　次に、三次元データ復号装置は、属性情報を取得し（Ｓ１９５４）、取得した属性情報に基づき符号化テーブルを選択する（Ｓ１９５５）。ここで属性情報とは、例えば、上述したように、対象ノードの法線ベクトル等を示す情報である。
　次に、三次元データ復号装置は、選択された符号化テーブルを用いて、対象ノードのオキュパンシー符号をエントロピー復号する（Ｓ１９５６）。
　上記ステップＳ１９５３～Ｓ１９５６の処理が単位長の分解処理が完了するまで繰り返えされる。単位長の分解処理が完了した場合（Ｓ１９５２でＹｅｓ）、三次元データ復号装置は、三次元点を出力する（Ｓ１９５７）。
　図７２は、幾何情報を用いた符号化テーブルの選択処理（Ｓ１９０５）のフローチャートである。
　三次元データ符号化装置は、幾何情報として、例えば木構造の幾何グループの情報を用いてオキュパンシー符号のエントロピー符号化に用いる符号化テーブルを切替えてもよい。ここで幾何グループの情報とは、対象ノードの幾何パターンが含まれる幾何グループを示す情報である。
　図７２に示すように、幾何情報で示される幾何グループが幾何グループ０である場合（Ｓ１９６１でＹｅｓ）、三次元データ符号化装置は符号化テーブル０を選択する（Ｓ１９６２）。幾何情報で示される幾何グループが幾何グループ１である場合（Ｓ１９６３でＹｅｓ）、三次元データ符号化装置は符号化テーブル１を選択する（Ｓ１９６４）。それ以外の場合（Ｓ１９６３でＮｏ）、三次元データ符号化装置は符号化テーブル２を選択する（Ｓ１９６５）。
　なお、符号化テーブルの選択方法は上記に限らない。例えば、三次元データ符号化装置は、幾何情報で示される幾何グループが幾何グループ２である場合には、符号化テーブル２を用いるなど、幾何グループの値に応じて更に符号化テーブルを切り替えてもよい。
　例えば、幾何グループは、対象ノードに隣接するノードに点群が含まれるか否かを示す占有情報を用いて決定される。また、回転等の変換を適用することで同じ形状になる幾何パターンは、同一の幾何グループに含まれてもよい。また、三次元データ符号化装置は、対象ノードに隣接する、又は対象ノードの周囲に位置する、対象ノードと同一層に属するノードの占有情報を用いて幾何グループを選択してもよい。また、三次元データ符号化装置は、対象ノードとは別の層に属するノードの占有情報を用いて幾何グループを選択してもよい。例えば、三次元データ符号化装置は、親ノード、又は、親ノードに隣接する、或いは親ノードの周囲に位置するノードの占有情報を用いて幾何グループを選択してもよい。
　なお、三次元データ復号装置における幾何情報を用いた符号化テーブルの選択処理（Ｓ１９１５）も上記と同様である。
　図７３は、構造情報を用いた符号化テーブルの選択処理（Ｓ１９２５）のフローチャートである。
　三次元データ符号化装置は、構造情報として、例えば木構造の層の情報を用いてオキュパンシー符号のエントロピー符号化に用いる符号化テーブルを切替えてもよい。ここで、層の情報は、例えば、対象ノードが属する層を示す。
　図７３に示すように、対象ノードが層０に属する場合（Ｓ１９７１でＹｅｓ）、三次元データ符号化装置は符号化テーブル０を選択する（Ｓ１９７２）。対象ノードが層１に属する場合（Ｓ１９７３でＹｅｓ）、三次元データ符号化装置は符号化テーブル１を選択する（Ｓ１９７４）。それ以外の場合（Ｓ１９７３でＮｏ）、三次元データ符号化装置は符号化テーブル２を選択する（Ｓ１９７５）。
　なお、符号化テーブルの選択方法は上記に限らない。例えば、三次元データ符号化装置は、対象ノードが層２に属する場合には、符号化テーブル２を用いるなど、対象ノードが属する層に応じて更に符号化テーブルを切り替えてもよい。
　また、三次元データ復号装置における構造情報を用いた符号化テーブルの選択処理（Ｓ１９３５）も上記と同様である。
　図７４は、属性情報を用いた符号化テーブルの選択処理（Ｓ１９４５）のフローチャートである。
　三次元データ符号化装置は、属性情報として、例えば対象ノードが属する対象物の情報、又は対象ノードの法線ベクトルの情報を用いてオキュパンシー符号のエントロピー符号化に用いる符号化テーブルを切替えてもよい。
　図７４に示すように、対象ノードの法線ベクトルが法線ベクトル群０に属する場合（Ｓ１９８１でＹｅｓ）、三次元データ符号化装置は符号化テーブル０を選択する（Ｓ１９８２）。対象ノードの法線ベクトルが法線ベクトル群１に属する場合（Ｓ１９８３でＹｅｓ）、三次元データ符号化装置は符号化テーブル１を選択する（Ｓ１９８４）。それ以外の場合（Ｓ１９８３でＮｏ）、三次元データ符号化装置は符号化テーブル２を選択する（Ｓ１９８５）。
　なお、符号化テーブルの選択方法は上記に限らない。例えば、三次元データ符号化装置は、対象ノードの法線ベクトルが法線ベクトル群２に属する場合には、符号化テーブル２を用いるなど、対象ノードの法線ベクトルが属する法線ベクトル群に応じて更に符号化テーブルを切り替えてもよい。
　例えば、三次元データ符号化装置は、法線ベクトル群を、対象ノードが持つ法線ベクトルの情報を用いて選択する。例えば、三次元データ符号化装置は、法線ベクトル間の距離が予め定められた閾値以下である法線ベクトルを同一の法線ベクトル群と判定する。
　また、対象ノードが属する対象物の情報とは、例えば人物、車、又は建物等の情報であってもよい。
　以下、本実施の形態に係る三次元データ符号化装置１９００及び三次元データ復号装置１９１０の構成を説明する。図７５は、本実施の形態に係る三次元データ符号化装置１９００のブロック図である。図７５に示す三次元データ符号化装置１９００は、８分木生成部１９０１と、類似性情報算出部１９０２と、符号化テーブル選択部１９０３と、エントロピー符号化部１９０４とを備える。
　８分木生成部１９０１は、入力された三次元点からから、例えば８分木を生成し、８分木に含まれる各ノードのオキュパンシー符号を生成する。類似性情報算出部１９０２は、例えば、対象ノードの幾何情報、構造情報、又は属性情報である類似性情報を取得する。符号化テーブル選択部１９０３は、対象ノードの類似性情報に応じて、オキュパンシー符号のエントロピー符号化に用いるコンテキストを選択する。エントロピー符号化部１９０４は、選択されたコンテキストを用いてオキュパンシー符号をエントロピー符号化することでビットストリームを生成する。なお、エントロピー符号化部１９０４は、選択されたコンテキストを示す情報をビットストリームに付加してもよい。
　図７６は、本実施の形態に係る三次元データ復号装置１９１０のブロック図である。図７６に示す三次元データ復号装置１９１０は、８分木生成部１９１１と、類似性情報算出部１９１２と、符号化テーブル選択部１９１３と、エントロピー復号部１９１４とを備える。
　８分木生成部１９１１は、エントロピー復号部１９１４から得た情報を用いて、例えば下層から上層へと順に８分木を生成する。類似性情報算出部１９１２は、対象ノードの幾何情報、構造情報、又は属性情報である類似性情報を取得する。符号化テーブル選択部１９１３は、対象ノードの類似性情報に応じて、オキュパンシー符号のエントロピー復号に用いるコンテキストを選択する。エントロピー復号部１９１４は、選択されたコンテキストを用いてオキュパンシー符号をエントロピー復号することで、三次元点を生成する。なお、エントロピー復号部１９１４は、ビットストリームに付加された、選択されたコンテキストの情報を復号して取得し、当該情報で示されるコンテキストを用いてもよい。
　以上、図６３～図６５に示すように、オキュパンシー符号の各ビットに対して複数のコンテキストが設けられる。つまり、三次元データ符号化装置は、三次元データに含まれる複数の三次元点のＮ（Ｎは２以上の整数）分木構造を表すビット列を複数の符号化テーブルから選択された符号化テーブルを用いてエントロピー符号化する。ビット列は、Ｎ分木構造におけるノード毎にＮビットの情報を含む。Ｎビットの情報は、対応するノードのＮ個の子ノードの各々に三次元点が存在するか否かを示す１ビットの情報をＮ個含む。複数の符号化テーブルの各々において、Ｎビットの情報の各ビットに対してコンテキストが設けられている。三次元データ符号化装置は、エントロピー符号化では、Ｎビットの情報の各ビットを、選択された符号化テーブルにおいて当該ビットに対して設けられているコンテキストを用いてエントロピー符号化する。
　これによれば、三次元データ符号化装置は、ビット毎にコンテキストを切り替えることで符号化効率を向上できる。
　例えば、三次元データ符号化装置は、エントロピー符号化では、対象のノードに隣接する複数の隣接ノードの各々に三次元点が存在するかに基づき、複数の符号化テーブルから使用する符号化テーブルを選択する。これによれば、三次元データ符号化装置は、隣接ノードに三次元点が存在するか否かに基づき符号化テーブルを切り替えることで符号化効率を向上できる。
　例えば、三次元データ符号化装置は、エントロピー符号化では、複数の隣接ノードのうち三次元点が存在する隣接ノードの配置位置を示す配置パターンに基づき符号化テーブルを選択し、配置パターンのうち、回転により同一の配置パターンとなる配置パターンに対しては、同一の符号化テーブルを選択する。これによれば、三次元データ符号化装置は、符号化テーブルの増加を抑制できる。
　例えば、三次元データ符号化装置は、エントロピー符号化では、対象のノードが属する層に基づき、複数の符号化テーブルから使用する符号化テーブルを選択する。これによれば、三次元データ符号化装置は、対象ノードが属する層に基づき符号化テーブルを切り替えることで符号化効率を向上できる。
　例えば、三次元データ符号化装置は、エントロピー符号化では、対象のノードの法線ベクトルに基づき、複数の符号化テーブルから使用する符号化テーブルを選択する。これによれば、三次元データ符号化装置は、法線ベクトルに基づき符号化テーブルを切り替えることで符号化効率を向上できる。
　例えば、三次元データ符号化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
　また、三次元データ復号装置は、三次元データに含まれる複数の三次元点のＮ（Ｎは２以上の整数）分木構造を表すビット列を複数の符号化テーブルから選択された符号化テーブルを用いてエントロピー復号する。ビット列は、Ｎ分木構造におけるノード毎にＮビットの情報を含む。Ｎビットの情報は、対応するノードのＮ個の子ノードの各々に三次元点が存在するか否かを示す１ビットの情報をＮ個含む。複数の符号化テーブルの各々において、Ｎビットの情報の各ビットに対してコンテキストが設けられている。三次元データ復号装置は、エントロピー復号では、Ｎビットの情報の各ビットを、選択された符号化テーブルにおいて当該ビットに対して設けられているコンテキストを用いてエントロピー復号する。
　これによれば、三次元データ復号装置は、ビット毎にコンテキストを切り替えることで符号化効率を向上できる。
　例えば、三次元データ復号装置は、エントロピー復号では、対象のノードに隣接する複数の隣接ノードの各々に三次元点が存在するかに基づき、複数の符号化テーブルから使用する符号化テーブルを選択する。これによれば、三次元データ復号装置は、隣接ノードに三次元点が存在するか否かに基づき符号化テーブルを切り替えることで符号化効率を向上できる。
　例えば、三次元データ復号装置は、エントロピー復号では、複数の隣接ノードのうち三次元点が存在する隣接ノードの配置位置を示す配置パターンに基づき符号化テーブルを選択し、配置パターンのうち、回転により同一の配置パターンとなる配置パターンに対しては、同一の符号化テーブルを選択する。これによれば、三次元データ復号装置は、符号化テーブルの増加を抑制できる。
　例えば、三次元データ復号装置は、エントロピー復号では、対象のノードが属する層に基づき、複数の符号化テーブルから使用する符号化テーブルを選択する。これによれば、三次元データ復号装置は、対象ノードが属する層に基づき符号化テーブルを切り替えることで符号化効率を向上できる。
　例えば、三次元データ復号装置は、エントロピー復号では、対象のノードの法線ベクトルに基づき、複数の符号化テーブルから使用する符号化テーブルを選択する。これによれば、三次元データ復号装置は、法線ベクトルに基づき符号化テーブルを切り替えることで符号化効率を向上できる。
　例えば、三次元データ復号装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
　（実施の形態９）
　本実施の形態では、オキュパンシー符号の符号化時における参照の制御方法について説明する。なお、以下では、主に三次元データ符号化装置の動作を説明するが、三次元データ復号装置においても同様の処理が行われてもよい。
　図７７及び図７８は、本実施の形態に係る参照関係を示す図である、図７７は、参照関係を８分木構造上で示す図であり、図７８は、参照関係を空間領域上で示す図である。
　本実施の形態では、三次元データ符号化装置は、符号化対象のノード（以下、対象ノードと呼ぶ）の符号化情報を符号化する際に、対象ノードが属する親ノード（ｐａｒｅｎｔ　ｎｏｄｅ）内の各ノードの符号化情報を参照する。ただし、親ノードと同一層の他のノード（以下、親隣接ノード）内の各ノードの符号化情報は参照しない。つまり、三次元データ符号化装置は、親隣接ノードの参照を不可に設定する、又は参照を禁止にする。
　なお、三次元データ符号化装置は、親ノードが属する親ノード（以下、祖父ノード（ｇｒａｎｄｐａｒｅｎｔ　ｎｏｄｅ）と呼ぶ）内の符号化情報の参照を許可してもよい。つまり、三次元データ符号化装置は、対象ノードが属する親ノード及び祖父ノードの符号化情報を参照して対象ノードの符号化情報を符号化してもよい。
　ここで符号化情報とは、例えばオキュパンシー符号である。三次元データ符号化装置は、対象ノードのオキュパンシー符号を符号化する際に、対象ノードが属する親ノード内の各ノードに点群が含まれるか否かを示す情報（以下、占有情報）を参照する。言い換えると、三次元データ符号化装置は、対象ノードのオキュパンシー符号を符号化する際に、親ノードのオキュパンシー符号を参照する。一方で、三次元データ符号化装置は、親隣接ノード内の各ノードの占有情報は参照しない。つまり、三次元データ符号化装置は、親隣接ノードのオキュパンシー符号を参照しない。また、三次元データ符号化装置は、祖父ノード内の各ノードの占有情報を参照してもよい。つまり、三次元データ符号化装置は、親ノード及び親隣接ノードの占有情報を参照してもよい。
　例えば、三次元データ符号化装置は、対象ノードのオキュパンシー符号を符号化する際に、対象ノードが属する親ノード又は祖父ノードのオキュパンシー符号を用いて対象ノードのオキュパンシー符号をエントロピー符号化する際に用いる符号化テーブルを切替える。なお、この詳細は後述する。この際、三次元データ符号化装置は、親隣接ノードのオキュパンシー符号を参照しなくてもよい。これにより、三次元データ符号化装置は、対象ノードのオキュパンシー符号を符号化する際に、親ノード又は祖父ノードのオキュパンシー符号の情報に応じて適切に符号化テーブルを切替えることができるので、符号化効率を向上できる。また、三次元データ符号化装置は、親隣接ノードを参照しないことで、親隣接ノードの情報の確認処理、及びそれらを記憶するためのメモリ容量を抑制することができる。また、８分木の各ノードのオキュパンシー符号を深さ優先順にスキャンして符号化することが容易となる。
　以下、親ノードのオキュパンシー符号を用いた符号化テーブル切替例について説明する。図７９は、対象ノードと隣接参照ノードの例を示す図である。図８０は、親ノードとノードとの関係を示す図である。図８１は、親ノードのオキュパンシー符号の例を示す図である。ここで、隣接参照ノードとは、対象ノードに空間的に隣接するノードのうち、対象ノードの符号化の際に参照されるノードである。図７９に示す例では、隣接ノードは、対象ノードと同一層に属するノードである。また、参照隣接ノードとして対象ブロックのｘ方向に隣接するノードＸと、ｙ方向に隣接するノードＹと、ｚ方向に隣接するノードＺとが用いられる。つまり、ｘ、ｙ、ｚの各方向においてそれぞれ１つの隣接ブロックが参照隣接ブロックに設定される。
　なお、図８０に示すノード番号は一例であり、ノード番号とノードの位置との関係はこれに限らない。また、図８１では、下位ビットにノード０が割り当てられ、上位ビットにノード７が割り当てられているが、逆の順序で割り当てが行われてもよい。また、各ノードは任意のビットに割り当てられてもよい。
　三次元データ符号化装置は、対象ノードのオキュパンシー符号をエントロピー符号化する際の符号化テーブルを、例えば下記式により決定する。
　ＣｏｄｉｎｇＴａｂｌｅ＝（ＦｌａｇＸ＜＜２）＋（ＦｌａｇＹ＜＜１）＋（ＦｌａｇＺ）
　ここで、ＣｏｄｉｎｇＴａｂｌｅは、対象ノードのオキュパンシー符号用の符号化テーブルを示し、値０～７のいずれかを示す。ＦｌａｇＸは、隣接ノードＸの占有情報であり、隣接ノードＸが点群を含む（占有）なら１を示し、そうでないなら０を示す。ＦｌａｇＹは、隣接ノードＹの占有情報であり、隣接ノードＹが点群を含む（占有）なら１を示し、そうでないなら０を示す。ＦｌａｇＺは、隣接ノードＺの占有情報であり、隣接ノードＺが点群を含む（占有）なら１を示し、そうでないなら０を示す。
　なお、隣接ノードが占有であるか否かを示す情報は、親ノードのオキュパンシー符号にに含まれているため、三次元データ符号化装置は、親ノードのオキュパンシー符号に示される値を用いて符号化テーブルを選択してもよい。
　以上により、三次元データ符号化装置は、対象ノードの隣接ノードに点群が含まれるか否かを示す情報を用いて符号化テーブルを切替えることで符号化効率を向上できる。
　また、三次元データ符号化装置は、図７９に示すように、親ノード内の対象ノードの空間位置に応じて隣接参照ノードを切替えてもよい。つまり、三次元データ符号化装置は、対象ノードの親ノード内の空間位置に応じて、複数の隣接ノードのうち、参照する隣接ノードを切り替えてもよい。
　次に、三次元データ符号化装置及び三次元データ復号装置の構成例を説明する。図８２は、本実施の形態に係る三次元データ符号化装置２１００のブロック図である。図８２に示す三次元データ符号化装置２１００は、８分木生成部２１０１と、幾何情報算出部２１０２と、符号化テーブル選択部２１０３と、エントロピー符号化部２１０４とを備える。
　８分木生成部２１０１は、入力された三次元点（ポイントクラウド）から、例えば８分木を生成し、８分木に含まれる各ノードのオキュパンシー符号を生成する。幾何情報算出部２１０２は、対象ノードの隣接参照ノードが占有であるか否かを示す占有情報を取得する。例えば、幾何情報算出部２１０２は、対象ノードが所属する親ノードのオキュパンシー符号から隣接参照ノードの占有情報を取得する。なお、幾何情報算出部２１０２は、図７９に示すように、対象ノードの親ノード内の位置に応じて隣接参照ノードを切替えてもよい。また、幾何情報算出部２１０２は、親隣接ノード内の各ノードの占有情報は参照しない。
　符号化テーブル選択部２１０３は、幾何情報算出部２１０２で算出された隣接参照ノードの占有情報を用いて対象ノードのオキュパンシー符号のエントロピー符号化に用いる符号化テーブルを選択する。エントロピー符号化部２１０４は、選択された符号化テーブルを用いてオキュパンシー符号をエントロピー符号化することでビットストリームを生成する。なお、エントロピー符号化部２１０４は、選択された符号化テーブルを示す情報をビットストリームに付加してもよい。
　図８３は、本実施の形態に係る三次元データ復号装置２１１０のブロック図である。図８３に示す三次元データ復号装置２１１０は、８分木生成部２１１１と、幾何情報算出部２１１２と、符号化テーブル選択部２１１３と、エントロピー復号部２１１４とを備える。
　８分木生成部２１１１は、ビットストリームのヘッダ情報等を用いて、ある空間（ノード）の８分木を生成する。８分木生成部２１１１は、例えば、ヘッダ情報に付加されたある空間のｘ軸、ｙ軸、ｚ軸方向の大きさを用いて大空間（ルートノード）を生成し、その空間をｘ軸、ｙ軸、ｚ軸方向にそれぞれ２分割することで８個の小空間Ａ（ノードＡ０～Ａ７）を生成して８分木を生成する。また、対象ノードとしてノードＡ０～Ａ７が順に設定される。
　幾何情報算出部２１１２は、対象ノードの隣接参照ノードが占有であるか否かを示す占有情報を取得する。例えば、幾何情報算出部２１１２は、対象ノードが所属する親ノードのオキュパンシー符号から隣接参照ノードの占有情報を取得する。なお、幾何情報算出部２１１２は、図７９に示すように、対象ノードの親ノード内の位置に応じて隣接参照ノードを切替えてもよい。また、幾何情報算出部２１１２は、親隣接ノード内の各ノードの占有情報は参照しない。
　符号化テーブル選択部２１１３は、幾何情報算出部２１１２で算出された隣接参照ノードの占有情報を用いて対象ノードのオキュパンシー符号のエントロピー復号に用いる符号化テーブル（復号テーブル）を選択する。エントロピー復号部２１１４は、選択された符号化テーブルを用いてオキュパンシー符号をエントロピー復号することで、三次元点を生成する。なお、符号化テーブル選択部２１１３は、ビットストリームに付加された、選択された符号化テーブルの情報を復号して取得し、エントロピー復号部２１１４は、取得された情報で示される符号化テーブルを用いてもよい。
　ビットストリームに含まれるオキュパンシー符号（８ビット）の各ビットは、８個の小空間Ａ（ノードＡ０～ノードＡ７）にそれぞれ点群が含まれるか否かを示す。また更に、三次元データ復号装置は、小空間ノードＡ０を８個の小空間Ｂ（ノードＢ０～ノードＢ７）に分割して８分木を生成し、小空間Ｂの各ノードに点群が含まれるか否かを示す情報をオキュパンシー符号を復号して取得する。このように、三次元データ復号装置は、大空間から小空間へと８分木を生成しながら各ノードのオキュパンシー符号を復号する。
　以下、三次元データ符号化装置及び三次元データ復号装置による処理の流れを説明する。図８４は、三次元データ符号化装置における三次元データ符号化処理のフローチャートである。まず、三次元データ符号化装置は、入力された三次元点群の一部又は全てが含まれる空間（対象ノード）を決定（定義）する（Ｓ２１０１）。次に、三次元データ符号化装置は、対象ノードを８分割して８個の小空間（ノード）を生成する（Ｓ２１０２）。次に、三次元データ符号化装置は、各ノードに点群が含まれるか否かに応じて対象ノードのオキュパンシー符号を生成する（Ｓ２１０３）。
　次に、三次元データ符号化装置は、対象ノードの隣接参照ノードの占有情報を、対象ノードの親ノードのオキュパンシー符号から算出（取得）する（Ｓ２１０４）。次に、三次元データ符号化装置は、決定した対象ノードの隣接参照ノードの占有情報に基づき、エントロピー符号化に用いる符号化テーブルを選択する（Ｓ２１０５）。次に、三次元データ符号化装置は、選択した符号化テーブルを用いて対象ノードのオキュパンシー符号をエントロピー符号化する（Ｓ２１０６）。
　さらに、三次元データ符号化装置は、各ノードをそれぞれ８分割し、各ノードのオキュパンシー符号を符号化するという処理を、ノードが分割できなくなるまで繰り返す（Ｓ２１０７）。つまり、ステップＳ２１０２～Ｓ２１０６までの処理が再帰的に繰り返される。
　図８５は、三次元データ復号装置における三次元データ復号方法のフローチャートである。まず、三次元データ復号装置は、ビットストリームのヘッダ情報を用いて復号する空間（対象ノード）を決定（定義）する（Ｓ２１１１）。次に、三次元データ復号装置は、対象ノードを８分割して８個の小空間（ノード）を生成する（Ｓ２１１２）。次に、三次元データ復号装置は、対象ノードの隣接参照ノードの占有情報を、対象ノードの親ノードのオキュパンシー符号から算出（取得）する（Ｓ２１１３）。
　次に、三次元データ復号装置は、隣接参照ノードの占有情報に基づきエントロピー復号に用いる符号化テーブルを選択する（Ｓ２１１４）。次に、三次元データ復号装置は、選択した符号化テーブルを用いて対象ノードのオキュパンシー符号をエントロピー復号する（Ｓ２１１５）。
　さらに、三次元データ復号装置は、各ノードをそれぞれ８分割し、各ノードのオキュパンシー符号を復号するという処理を、ノードが分割できなくなるまで繰り返す（Ｓ２１１６）。つまり、ステップＳ２１１２～Ｓ２１１５までの処理が再帰的に繰り返される。
　次に、符号化テーブルの切替えの例を説明する。図８６は、符号化テーブルの切替え例を示す図である。例えば、図８６に示す符号化テーブル０のように、複数のオキュパンシー符号に同一のコンテキストモデルが適用されてもよい。また、各オキュパンシー符号に別々のコンテキストモデルが割り当てられてもよい。これにより、オキュパンシー符号の出現確率に応じてコンテキストモデルを割り当てることができるので、符号化効率を向上できる。また、オキュパンシー符号の出現頻度に応じて確率テーブルを更新するコンテキストモデルが用いられてもよい。または、確率テーブルを固定したコンテキストモデルが用いられてもよい。
　なお、図８６では、図６０及び図６１に示す符号化テーブルが用いられる例を示したが、図６３及び図６４に示す符号化テーブルが用いられてもよい。
　以下、本実施の形態の変形例１について説明する。図８７は、本変形例における参照関係を示す図である。上記実施の形態では、三次元データ符号化装置は、親隣接ノードのオキュパンシー符号を参照しないとしたが、親隣接ノードのオキュパンシー符号化を参照するか否かを、特定の条件に応じて切り替えてもよい。
　例えば、三次元データ符号化装置は、８分木を幅優先でスキャンしながら符号化を行うときは、親隣接ノード内のノードの占有情報を参照して、対象ノードのオキュパンシー符号を符号化する。一方、三次元データ符号化装置は、８分木を深さ優先でスキャンしながら符号化するときは、親隣接ノード内のノードの占有情報の参照を禁止する。このように８分木のノードのスキャン順（符号化順）に応じて、適切に参照可能なノードを切替えることにより、符号化効率の向上と処理負荷の抑制を実現できる。
　なお、三次元データ符号化装置は、８分木を幅優先で符号化したか、深さ優先で符号化したか等の情報をビットストリームのヘッダに付加してもよい。図８８は、この場合のヘッダ情報のシンタックス例を示す図である。図８８に示すｏｃｔｒｅｅ＿ｓｃａｎ＿ｏｒｄｅｒは、８分木の符号化順を示す符号化順情報（符号化順フラグ）である。例えば、ｏｃｔｒｅｅ＿ｓｃａｎ＿ｏｒｄｅｒが０の場合、幅優先を示し、１の場合は深さ優先を示す。これにより、三次元データ復号装置は、ｏｃｔｒｅｅ＿ｓｃａｎ＿ｏｒｄｅｒを参照することで、ビットストリームが幅優先及び深さ優先のどちらで符号化されたかを知ることができるので、ビットストリームを適切に復号できる。
　また、三次元データ符号化装置は、親隣接ノードの参照を禁止するか否かを示す情報をビットストリームのヘッダ情報に付加してもよい。図８９は、この場合のヘッダ情報のシンタックス例を示す図である。ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇは、親隣接ノードの参照を禁止するか否かを示す禁止切替情報（禁止切替フラグ）である。例えば、ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇが１の場合は親隣接ノードの参照を禁止することを示し、０の場合は参照制限なし（親隣接ノードの参照を許可する）を示す。
　つまり、三次元データ符号化装置は、親隣接ノードの参照を禁止するか否かを決定し、上記決定の結果に基づき、親隣接ノードの参照を禁止するか、許可するかを切り替える。また、三次元データ符号化装置は、上記決定の結果であって、親隣接ノードの参照を禁止するか否かを示す禁止切替情報を含むビットストリームを生成する。
　また、三次元データ復号装置は、親隣接ノードの参照を禁止するか否かを示す禁止切替情報をビットストリームから取得し、禁止切替情報に基づき、親隣接ノードの参照を禁止するか、許可するかを切り替える。
　これにより三次元データ符号化装置は、親隣接ノードの参照を制御してビットストリームを生成できる。また、三次元データ復号装置は、親隣接ノードの参照が禁止されているか否かを示す情報をビットストリームのヘッダから取得できる。
　また、本実施の形態では、親隣接ノードの参照を禁止する符号化処理の例としてオキュパンシー符号の符号化処理を例として記載したが、必ずしもこれに限らない。例えば、８分木のノードの他の情報を符号化する際にも同様の手法を適用可能である。例えば、ノードに付加された色、法線ベクトル、又は反射率等のその他の属性情報を符号化する際に、本実施の形態の手法を適用してもよい。また、符号化テーブル又は予測値を符号化する際にも同様の手法を適用できる。
　次に、本実施の形態の変形例２について説明する。上記説明では、図７９に示すように、３つの参照隣接ノードが用いられる例を示したが４つ以上の参照隣接ノードが用いられてもよい。図９０は、対象ノード及び参照隣接ノードの例を示す図である。
　例えば、三次元データ符号化装置は、図９０に示す対象ノードのオキュパンシー符号をエントロピー符号化する際の符号化テーブルを、例えば下記式により算出する。
　ＣｏｄｉｎｇＴａｂｌｅ＝（ＦｌａｇＸ０＜＜３）＋（ＦｌａｇＸ１＜＜２）＋（ＦｌａｇＹ＜＜１）＋（ＦｌａｇＺ）
　ここで、ＣｏｄｉｎｇＴａｂｌｅは、対象ノードのオキュパンシー符号用の符号化テーブルを示し、値０～１５のいずれかを示す。ＦｌａｇＸＮは、隣接ノードＸＮ（Ｎ＝０．．１）の占有情報であり、隣接ノードＸＮが点群を含む（占有）なら１を示し、そうでないなら０を示す。ＦｌａｇＹは、隣接ノードＹの占有情報であり、隣接ノードＹが点群を含む（占有）なら１を示し、そうでないなら０を示す。ＦｌａｇＺは、隣接ノードＺの占有情報であり、隣接ノードＺが点群を含む（占有）なら１を示し、そうでないなら０を示す。
　この際、もし隣接ノード、例えば図９０の隣接ノードＸ０が参照不可（参照禁止）の場合は、三次元データ符号化装置は、代替値として１（占有）、又は、０（非占有）のような固定値を用いてもよい。
　図９１は、対象ノード及び隣接ノードの例を示す図である。図９１に示すように、隣接ノードが参照不可（参照禁止）の場合は、対象ノードの祖父ノードのオキュパンシー符号を参照して、隣接ノードの占有情報を算出してもよい。例えば、三次元データ符号化装置は、図９１に示す隣接ノードＸ０の代わりに、隣接ノードＧ０の占有情報を用いて上式のＦｌａｇＸ０を算出し、算出したＦｌａｇＸ０を用いて符号化テーブルの値を決定してもよい。なお、図９１に示す隣接ノードＧ０は、祖父ノードのオキュパンシー符号で占有か否かが判別できる隣接ノードである。隣接ノードＸ１は、親ノードのオキュパンシー符号で占有か否かが判別できる隣接ノードである。
　以下、本実施の形態の変形例３について説明する。図９２及び図９３は、本変形例に係る参照関係を示す図である、図９２は、参照関係を８分木構造上で示す図であり、図９３は、参照関係を空間領域上で示す図である。
　本変形例では、三次元データ符号化装置は、符号化対象のノード（以下、対象ノード２と呼ぶ）の符号化情報を符号化する際に、対象ノード２が属する親ノード内の各ノードの符号化情報を参照する。つまり、三次元データ符号化装置は、複数の隣接ノードのうち、対象ノードと親ノードが同一である第１ノードの子ノードの情報（例えば占有情報）の参照を許可する。例えば、三次元データ符号化装置は、図９２に示す対象ノード２のオキュパンシー符号を符号化する際に、対象ノード２が属する親ノード内に存在するノード、例えば、図９２に示す対象ノードのオキュパンシー符号を参照する。図９２に示す対象ノードのオキュパンシー符号は、図９３に示すように、例えば、対象ノード２に隣接する対象ノード内の各ノードが占有であるか否かを表している。よって、三次元データ符号化装置は、対象ノードのより細かい形状に応じて対象ノード２のオキュパンシー符号の符号化テーブルを切替えることができるので符号化効率を向上できる。
　三次元データ符号化装置は、対象ノード２のオキュパンシー符号をエントロピー符号化する際の符号化テーブルを、例えば下記式により算出してもよい。
　ＣｏｄｉｎｇＴａｂｌｅ＝（ＦｌａｇＸ１＜＜５）＋（ＦｌａｇＸ２＜＜４）＋（ＦｌａｇＸ３＜＜３）＋（ＦｌａｇＸ４＜＜２）＋（ＦｌａｇＹ＜＜１）＋（ＦｌａｇＺ）
　ここで、ＣｏｄｉｎｇＴａｂｌｅは、対象ノード２のオキュパンシー符号用の符号化テーブルを示し、値０～６３のいずれかを示す。ＦｌａｇＸＮは、隣接ノードＸＮ（Ｎ＝１．．４）の占有情報であり、隣接ノードＸＮが点群を含む（占有）なら１を示し、そうでないなら０を示す。ＦｌａｇＹは、隣接ノードＹの占有情報であり、隣接ノードＹが点群を含む（占有）なら１を示し、そうでないなら０を示す。ＦｌａｇＺは、隣接ノードＹの占有情報であり、隣接ノードＺが点群を含む（占有）なら１を示し、そうでないなら０を示す。
　なお、三次元データ符号化装置は、符号化テーブルの算出方法を親ノード内における対象ノード２のノード位置に応じて変更してもよい。
　また、三次元データ符号化装置は、親隣接ノードの参照が禁止されていない場合、親隣接ノード内の各ノードの符号化情報を参照してよい。例えば、親隣接ノードの参照が禁止されていない場合、対象ノードと親ノードが異なる第３ノードの子ノードの情報（例えば占有情報）の参照が許可される。例えば、図９１に示す例では、三次元データ符号化装置は、対象ノードと親ノードが異なる隣接ノードＸ０のオキュパンシー符号を参照して、隣接ノードＸ０の子ノードの占有情報を取得する。三次元データ符号化装置は、取得した隣接ノードＸ０の子ノードの占有情報に基づき、対象ノードのオキュパンシー符号のエントロピー符号化に用いる符号化テーブルを切替える。
　以上のように、本実施の形態に係る三次元データ符号化装置は、三次元データに含まれる複数の三次元点のＮ（Ｎは２以上の整数）分木構造に含まれる対象ノードの情報（例えばオキュパンシー符号）を符号化する。図７７及び図７８に示すように、三次元データ符号化装置は、上記符号化では、対象ノードと空間的に隣接する複数の隣接ノードのうち、対象ノードと親ノードが同一である第１ノードの情報（例えば占有情報）の参照を許可し、対象ノードと親ノードが異なる第２ノードの情報（例えば占有情報）の参照を禁止する。言い換えると、三次元データ符号化装置は、上記符号化では、親ノードの情報（例えばオキュパンシー符号）の参照を許可し、親ノードと同一層の他のノード（親隣接ノード）の情報（例えばオキュパンシー符号）の参照を禁止する。
　これによれば、当該三次元データ符号化装置は、対象ノードと空間的に隣接する複数の隣接ノードのうち、対象ノードと親ノードが同一である第１ノードの情報の参照することで符号化効率を向上できる。また、当該三次元データ符号化装置は、複数の隣接ノードのうち、対象ノードと親ノードが異なる第２ノードの情報の参照をしないことにより、処理量を低減できる。このように、当該三次元データ符号化装置は、符号化効率を向上できるとともに、処理量を低減できる。
　例えば、三次元データ符号化装置は、さらに、第２ノードの情報の参照を禁止するか否かを決定し、上記符号化では、上記決定の結果に基づき、第２ノードの情報の参照を禁止するか、許可するかを切り替える。三次元データ符号化装置は、さらに、上記決定の結果であって、第２ノードの情報の参照を禁止するか否かを示す禁止切替情報（例えば、図８９に示すｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ）を含むビットストリームを生成する。
　これによれば、当該三次元データ符号化装置は、第２ノードの情報の参照を禁止するか否かを切り替えることができる。また、三次元データ復号装置は、禁止切替情報を用いて適切に復号処理を行うことができる。
　例えば、対象ノードの情報は、対象ノードに属する子ノードの各々に三次元点が存在するか否かを示す情報（例えオキュパンシー符号）であり、第１ノードの情報は、第１ノードに三次元点が存在するか否かを示す情報（第１ノードの占有情報）であり、第２ノードの情報は、第２ノードに三次元点が存在するか否かを示す情報（第２ノードの占有情報）である。
　例えば、三次元データ符号化装置は、上記符号化では、第１ノードに三次元点が存在するか否かに基づき、符号化テーブルを選択し、選択された符号化テーブルを用いて、対象ノードの情報（例えばオキュパンシー符号）をエントロピー符号化する。
　例えば、三次元データ符号化装置は、上記符号化では、図９２及び図９３に示すように、複数の隣接ノードのうち、第１ノードの子ノードの情報（例えば占有情報）の参照を許可する。
　これによれば、当該三次元データ符号化装置は、隣接ノードのより詳細な情報を参照することができるので符号化効率を向上できる。
　例えば、三次元データ符号化装置は、図７９に示すように、上記符号化では、対象ノードの親ノード内の空間位置に応じて、複数の隣接ノードのうち、参照する隣接ノードを切り替える。
　これによれば、当該三次元データ符号化装置は、対象ノードの親ノード内の空間位置に応じて、適切な隣接ノードを参照できる。
　例えば、三次元データ符号化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
　また、本実施の形態に係る三次元データ復号装置は、三次元データに含まれる複数の三次元点のＮ（Ｎは２以上の整数）分木構造に含まれる対象ノードの情報（例えばオキュパンシー符号）を復号する。図７７及び図７８に示すように、三次元データ復号装置は、上記復号では、対象ノードと空間的に隣接する複数の隣接ノードのうち、対象ノードと親ノードが同一である第１ノードの情報（例えば占有情報）の参照を許可し、対象ノードと親ノードが異なる第２ノードの情報（例えば占有情報）の参照を禁止する。言い換えると、三次元データ復号装置は、上記復号では、親ノードの情報（例えばオキュパンシー符号）の参照を許可し、親ノードと同一層の他のノード（親隣接ノード）の情報（例えばオキュパンシー符号）の参照を禁止する。
　これによれば、当該三次元データ復号装置は、対象ノードと空間的に隣接する複数の隣接ノードのうち、対象ノードと親ノードが同一である第１ノードの情報の参照することで符号化効率を向上できる。また、当該三次元データ復号装置は、複数の隣接ノードのうち、対象ノードと親ノードが異なる第２ノードの情報の参照をしないことにより、処理量を低減できる。このように、当該三次元データ復号装置は、符号化効率を向上できるとともに、処理量を低減できる。
　例えば、三次元データ復号装置は、さらに、第２ノードの情報の参照を禁止するか否かを示す禁止切替情報（例えば、図８９に示すｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ）をビットストリームから取得し、上記復号では、禁止切替情報に基づき、第２ノードの情報の参照を禁止するか、許可するかを切り替える。
　これによれば、当該三次元データ復号装置は、禁止切替情報を用いて適切に復号処理を行うことができる。
　例えば、対象ノードの情報は、対象ノードに属する子ノードの各々に三次元点が存在するか否かを示す情報（例えオキュパンシー符号）であり、第１ノードの情報は、第１ノードに三次元点が存在するか否かを示す情報（第１ノードの占有情報）であり、第２ノードの情報は、第２ノードに三次元点が存在するか否かを示す情報（第２ノードの占有情報）である。
　例えば、三次元データ復号装置は、上記復号では、第１ノードに三次元点が存在するか否かに基づき、符号化テーブルを選択し、選択された符号化テーブルを用いて、対象ノードの情報（例えばオキュパンシー符号）をエントロピー復号する。
　例えば、三次元データ復号装置は、上記復号では、図９２及び図９３に示すように、複数の隣接ノードのうち、第１ノードの子ノードの情報（例えば占有情報）の参照を許可する。
　これによれば、当該三次元データ復号装置は、隣接ノードのより詳細な情報を参照することができるので符号化効率を向上できる。
　例えば、三次元データ復号装置は、図７９に示すように、上記復号では、対象ノードの親ノード内の空間位置に応じて、複数の隣接ノードのうち、参照する隣接ノードを切り替える。
　これによれば、当該三次元データ復号装置は、対象ノードの親ノード内の空間位置に応じて、適切な隣接ノードを参照できる。
　例えば、三次元データ復号装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
　（実施の形態１０）
　本実施の形態では、三次元データ符号化装置は、親ノードが異なる隣接ノードの情報を、符号化済みのノードを探索することで得る。図９４は、隣接ノードの例を示す図である。図９４に示す例では、３個の隣接ノードが対象ノードと同じ親ノードに属する。三次元データ符号化装置は、この３個の隣接ノードの隣接情報を、親ノードのオキュパンシー符号を確認することで取得する。
　また、残りの３個の隣接ノードは、対象ノードとは異なる親ノードに属する。三次元データ符号化装置は、これらの３個の隣接ノードの隣接情報を符号化済みノードの情報を確認することで取得する。ここで、隣接情報とは、そのノードが点群を含む（占有（ｏｃｃｕｐｉｅｄ））か否かを示す情報を含む。また、符号化みノードとは、例えば、８分木において対象ノードと同じ層に属するノードである。
　図９５は、探索対象となるノードの例を示す図である。三次元データ符号化装置は、図９５に示す符号化済みノードを探索範囲とし、隣接ノードの情報を探索する。図９６は、隣接ノードの探索処理を説明するための図である。図９６に示すように、符号化済みノードの情報はキューに格納される。三次元データ符号化装置は、複数のキューを先頭から探索し、隣接ノードの情報を取得する。例えば、探索するキューの順序は、符号化順である。
　三次元データ符号化装置は、子ノードが占有であるか否かを示す情報を算出することで対象ノードのオキュパンシー符号を算出する。このとき、三次元データ符号化装置は、各子ノードの隣接情報を更新する。例えば、三次元データ符号化装置は、対象ノードと親ノードが同じ隣接ノードが占有であるか否かを、オキュパンシー符号から判定する。また、三次元データ符号化装置は、対象ノードと親ノードが異なる隣接ノードが占有であるか否かを、既に符号化済みのノードの情報を格納したキューから隣接ノードの情報を探索し、見つかった隣接ノードが占有であるか否かを示す情報から判定する。また、三次元データ符号化装置は、各子ノードの隣接情報を更新し、次のノードの子ノードの隣接ノードを算出するために更新後の隣接情報をキューに格納する。
　三次元データ符号化装置は、各探索において、対象ノードと探索されたノードとの両方の隣接情報を更新する。図９７及び図９８はこの更新処理を説明するための図である。図９７に示すように、三次元データ符号化装置は、各探索において、対象ノードと探索されたノードとの両方の隣接情報を更新する。つまり、隣接情報は双方向に伝達される。対象ノードの情報には、探索されたノードが隣接ノードであることが追加され、隣接ノードの情報には対象ノードが隣接ノードであることが追加される。
　また、図９８に示すように、探索処理において、直前の対象ノードは、探索されたノードになり得る。この場合、直前の対象ノードの隣接情報が更新される。
　また、三次元データ符号化装置は、ハードウェア実装のための最長処理時間を保証するために、隣接ノードが見つかるまえに探索処理を終了してもよい。図９９は、この動作を説明するための図である。
　図９９に示すように、探索を停止する閾値である探索閾値が予め定められている。この探索閾値は、例えば、キューの先頭からの探索回数を示す。
　図９９の（１）に示す例では、隣接ノードのキューを探索するためには探索閾値よりも多い探索ステップが必要である。この例では、三次元データ符号化装置は、探索閾値までの探索を行い、探索処理を終了する。
　図９９の（２）に示す例では、探索閾値よりも少ない探索ステップで隣接ノードのキューを探索できる。この例では、三次元データ符号化装置は、隣接ノードを探索し、探索処理を終了する。
　このように、三次元データ符号化装置は、探索回数を制限するためのパラメータ（探索閾値）を用意してもよい。探索回数を制限することで、探索の処理時間を一定時間内に抑えつつ、隣接ノードを見つけることが可能となる。また、三次元データ符号化装置は、探索回数の制限値（探索閾値）を示す情報をビットストリームのヘッダ等に付加してもよい。または、探索回数は規格等で規定されてもよい。これにより、三次元データ復号装置は、探索回数の制限値をヘッダ又は規格の規定から決定できるので、正しくストリームを復号できる。
　次に、符号化済みノードのキューの構成の具体例について説明する。対象ノードの近傍を識別するために、符号化済みノードのキューの各要素は、三次元空間におけるインデックスを有する。例えば、このインデックスにはモートン符号（Ｍｏｒｔｏｎ　ｃｏｄｅ）が用いられる。
　図１００は、モートン符号を用いたインデックスの例を示す図である。図１０１は、モートン符号を用いたキューの例を示す図である。図１００に示す例では、対象ノードのインデックスは３であり、左ノードのインデックスは２で下ノードのインデックスは１である。このようにモートン符号のインデックスを用いることで隣接ノードを判定できる。
　また、モートン符号を用いることで以下の効果がある。１つ目の効果として、探索処理を高速化できる。ここで、ｘ、ｙ、ｚ座標を用いた探索処理は、単一の整数であるモートン符号を見つける処理よりも複雑である。
　２つの目の効果として、モートン符号を用いることで保持するデータ量を削減できる。具体的には、ｘ、ｙ、ｚを用いた場合には、３個の３２ビットのデータが必要となる。一方、モートン符号を用いることで１個の６４ビットのデータでノードを識別できる。
　なお、三次元位置を整数に変換する手法としてモートン符号以外の手法が用いられてもよい。例えば、ヒルベルト曲線（Ｈｉｌｂｅｒｔ　ｃｕｒｖｅ）等の、三次元位置を整数に変換可能な空間充填曲線（ｓｐａｃｅ　ｆｉｌｌｉｎｇ　ｃｕｒｖｅ）が用いられてもよい。
　次に、本実施の形態に係る三次元データ符号化装置の構成例を説明する。図１０２は、本実施の形態に係る三次元データ符号化装置２５００のブロック図である。この三次元データ符号化装置２５００は、８分木生成部２５０１と、親ノード情報取得部２５０２と、符号化モード選択部２５０３と、探索部２５０４と、幾何情報算出部２５０５と、符号化テーブル選択部２５０６と、エントロピー符号化部２５０７とを備える。
　８分木生成部２５０１は、入力された三次元点（ポイントクラウド）から、例えば８分木を生成し、８分木の各ノードのオキュパンシー符号を生成する。
　親ノード情報取得部２５０２は、対象ノードの親ノードのオキュパンシー符号から隣接ノードの隣接情報を取得する。つまり、親ノード情報取得部２５０２は、複数の隣接ノードのうち、例えば、対象ノードと同じ親ノードに属する隣接ノードであって、複数の隣接ノードの半数にあたる隣接ノードの隣接情報を取得する。
　符号化モード選択部２５０３は、符号化モードを選択する。例えば、この符号化モードは、親ノードのオキュパンシー符号から隣接情報を取得する処理と、探索処理との一方を行うモードと、両方を行うモードとを含む。
　探索部２５０４は、探索処理により、符号化済みノードの情報を用いて隣接ノードの隣接情報を取得する。この探索処理は、処理時間を有するが、この探索処理により全ての隣接ノードの隣接情報が取得可能である。
　幾何情報算出部２５０５は、親ノード情報取得部２５０２で得られた隣接情報と、探索部２５０４で得られた隣接情報との一方を用いて、又は、両方を統合することで、符号化テーブルの選択に用いる隣接情報（隣接ノードの占有情報）を生成する。
　符号化テーブル選択部２５０６は、幾何情報算出部２５０５で生成された隣接ノードの占有情報を用いてエントロピー符号化に用いる符号化テーブルを選択する。
　エントロピー符号化部２５０７は、選択された符号化テーブルを用いて対象ノードのオキュパンシー符号をエントロピー符号化することでビットストリームを生成する。なお、エントロピー符号化部２５０７は、選択された符号化テーブルを示す情報をビットストリームに付加してもよい。
　次に、本実施の形態に係る三次元データ復号装置の構成例を説明する。図１０３は、本実施の形態に係る三次元データ復号装置２５１０のブロック図である。この三次元データ復号装置２５１０は、８分木生成部２５１１と、親ノード情報取得部２５１２と、復号モード選択部２５１３と、探索部２５１４と、幾何情報算出部２５１５と、符号化テーブル選択部２５１６と、エントロピー復号部２５１７とを備える。
　８分木生成部２５１１は、ビットストリームのヘッダ情報等を用いて、ある空間（ノード）の８分木を生成する。例えば、８分木生成部２５１１は、ヘッダ情報に付加されたある空間のｘ軸、ｙ軸、ｚ軸方向の大きさを用いて大空間（ルートノード）を生成し、その空間をｘ軸、ｙ軸、ｚ軸方向にそれぞれ２分割することで８個の小空間Ａ（ノードＡ０～Ａ７）を生成して８分木を生成する。また、対象ノードとしてノードＡ０～Ａ７が順に設定される。
　親ノード情報取得部２５１２は、対象ノードの親ノードのオキュパンシー符号から隣接ノードの隣接情報を取得する。つまり、親ノード情報取得部２５１２は、複数の隣接ノードのうち、例えば、対象ノードと同じ親ノードに属する隣接ノードであって、複数の隣接ノードの半数にあたる隣接ノードの隣接情報を取得する。
　復号モード選択部２５１３は、復号モードを選択する。例えば、この復号モードは、上記符号化モードに対応し、親ノードのオキュパンシー符号から隣接情報を取得する処理と、探索処理との一方を行うモードと、両方を行うモードとを含む。
　探索部２５１４は、探索処理により、復号済みノードの情報を用いて隣接ノードの隣接情報を取得する。この探索処理は、処理時間を有するが、この探索処理により全ての隣接ノードの隣接情報が取得可能である。
　幾何情報算出部２５１５は、親ノード情報取得部２５１２で得られた隣接情報と、探索部２５１４で得られた隣接情報との一方を用いて、又は、両方を統合することで、符号化テーブルの選択に用いる隣接情報（隣接ノードの占有情報）を生成する。
　符号化テーブル選択部２５１６は、幾何情報算出部２５１５で算出された隣接ノードの占有情報を用いてエントロピー復号に用いる符号化テーブルを選択する。
　エントロピー復号部２５１７は、選択された符号化テーブルを用いてオキュパンシー符号のエントロピー復号を行うことで三次元点（ポイントクラウド）を生成する。なお、エントロピー復号部２５１７は、選択された符号化テーブルの情報をビットストリームから取得し、当該情報で示される符号化テーブルを用いて、対象ノードのオキュパンシー符号をエントロピー復号してもよい。
　また、ビットストリームに含まれるオキュパンシー符号（８ビット）の各ビットは、８個の小空間Ａ（ノードＡ０～ノードＡ７）にそれぞれ点群が含まれるか否かを示す。また更に、三次元データ復号装置は、小空間ノードＡ０を８個の小空間Ｂ（ノードＢ０～ノードＢ７）に分割して８分木を生成し、小空間Ｂの各ノードに点群が含まれるか否かを示す情報をオキュパンシー符号を復号して算出する。このように、三次元データ復号装置は、大空間から小空間へと８分木を生成しながら各ノードのオキュパンシー符号を復号する。
　以下、本実施の形態に係る三次元データ符号化処理及び三次元データ復号処理の流れを説明する。図１０４は、三次元データ符号化装置による三次元データ符号化処理のフローチャートである。
　まず、三次元データ符号化装置は、入力三次元点群の一部又は全てが含まれる空間（対象ノード）を定義する（Ｓ２５０１）。次に、三次元データ符号化装置は、対象ノードを８分割して８個の小空間（ノード）を生成する（Ｓ２５０２）。次に、三次元データ符号化装置は、各ノードに点群が含まれるか否かに応じて対象ノードのオキュパンシー符号を生成する（Ｓ２５０３）。次に、三次元データ符号化装置は、対象ノードの隣接ノードの隣接情報を、対象ノードの親ノードのオキュパンシー符号から算出する（Ｓ２５０４）。
　次に、三次元データ符号化装置は、符号化モードを選択する（Ｓ２５０５）。例えば、三次元データ符号化装置は、探索処理を行う符号化モードを選択する。次に、三次元データ符号化装置は、符号化済みノードの情報を探索することで、残りの隣接情報を取得する。また、三次元データ符号化装置は、ステップＳ２５０４で算出した隣接情報と、探索処理により取得した隣接情報とを統合することで、符号化テーブルの選択に用いる隣接情報を生成する（Ｓ２５０６）。
　次に、三次元データ符号化装置は、ステップＳ２５０６で生成した隣接情報に基づきエントロピー符号化に用いる符号化テーブルを選択する（Ｓ２５０７）。次に、三次元データ符号化装置は、選択した符号化テーブルを用いて対象ノードのオキュパンシー符号をエントロピー符号化する（Ｓ２５０８）。次に、三次元データ符号化装置は、各ノードをそれぞれ８分割し、各ノードのオキュパンシー符号を符号化するという処理を、ノードが分割できなくなるまで繰り返す（Ｓ２５０９）。つまり、ステップＳ２５０２～Ｓ２５０８の処理が再帰的に繰り返される。
　図１０５は、三次元データ復号装置による三次元データ復号処理のフローチャートである。
　まず、三次元データ復号装置は、ビットストリームのヘッダ情報を用いて復号する空間（対象ノード）を定義する（Ｓ２５１１）。次に、三次元データ復号装置は、対象ノードを８分割して８個の小空間（ノード）を生成する（Ｓ２５１２）。次に、三次元データ復号装置は、対象ノードの隣接ノードの隣接情報を、対象ノードの親ノードのオキュパンシー符号から算出する（Ｓ２５１３）。
　次に、三次元データ復号装置は、上記符号化モードに対応する復号モードを選択する（Ｓ２５１４）。例えば、三次元データ復号装置は、探索処理を行う復号モードを選択する。次に、三次元データ復号装置は、復号済みノードの情報を探索することで、残りの隣接情報を取得する。また、三次元データ復号装置は、ステップＳ２５１３で算出した隣接情報と、探索処理により取得した隣接情報とを統合することで、符号化テーブルの選択に用いる隣接情報を生成する（Ｓ２５１５）。
　次に、三次元データ復号装置は、ステップＳ２５１５で生成した隣接情報に基づきエントロピー復号に用いる符号化テーブルを選択する（Ｓ２５１６）。次に、三次元データ復号装置は、選択した符号化テーブルを用いて対象ノードのオキュパンシー符号をエントロピー復号する（Ｓ２５１７）。次に、三次元データ復号装置は、各ノードをそれぞれ８分割し、各ノードのオキュパンシー符号を復号するという処理を、ノードが分割できなくなるまで繰り返す（Ｓ２５１８）。つまり、ステップＳ２５１２～Ｓ２５１７の処理が再帰的に繰り返される。
　次に、符号化モード（復号モード）について説明する。符号化モードは、（１）探索処理をスキップする第１モードと、（２）探索処理を行い、かつ、上記探索閾値で処理を停止する第２モードと、（３）探索処理を行い、かつ、全ての符号化済み（復号済み）ノードを探索する第３モードと、のうち少なくとも一つを含む。
　つまり、三次元データ復号装置は、符号化モードとして、隣接ノードの探索をスキップするか、隣接ノードの探索を行うかを切替えるようにしてもよい。更に、三次元データ符号化装置は、隣接ノードの探索を行う場合に、探索回数を予め定められた閾値以下に制限してもよい。また、三次元データ符号化装置は、この閾値を示す情報を、ビットストリームのヘッダに付加してもよい。または、この閾値は、規格等で規定されてもよい。また、三次元データ符号化装置は、この閾値の値をノード毎に切替えてもよい。例えば、８分木の層の値が大きくなる（深くなる）ほど、隣接ノードの候補は増加する。よって、三次元データ符号化装置は、８分木の層の値が大きくなる（深くなる）ほど、閾値を大きくしてもよい。また、ノードが属する層毎に、参照可能な範囲が変わってもよい。つまり、対象ノードと空間的に隣接する複数の隣接ノードのうち、参照可能な隣接ノードの範囲は、木構造において対象ノードが属する層に応じて異なってもよい。ここで、ヘッダ等に設定された参照可能な範囲を示すパラメータの値が同じであっても、層が深くなるほどノードが表す空間は小さくなっていく。つまり、層が深くなるほどノードが参照可能な空間の範囲が絶対的に狭くなってもよい。
　また、三次元データ符号化装置は、符号化モードを示す情報をビットストリームのヘッダに付加してもよい。また、符号化モードは、規格等で規定されてもよい。これにより、三次元データ復号装置は、復号したヘッダ又は規格の規定から復号モード（符号化モード）を決定できるので正しくストリームを復号できる。
　また、三次元データ符号化装置は、ノード毎に符号化モードを符号化し、ノード毎に符号化モードを切替えてもよい。例えば、三次元データ符号化装置は、一旦全ての符号化モードで符号化を行い、三次元データ復号装置にとって符号化効率及び処理時間の観点で最適な符号化モードを決定する。そして、三次元データ符号化装置は、決定した符号化モードを示す情報をノード毎に符号化してもよい。これにより、三次元データ復号装置は、ノード毎に符号化された符号化モードを復号することでビットストリームを正しく復号できる。
　また、三次元データ符号化装置は、予め定められたノードの集合毎に符号化モードを符号化し、その集合単位で符号化モードを切替えてもよい。なお、ノードの集合とは、例えば８分木の同一層に含まれる複数のノードの集合である。
　なお、三次元データ復号装置においても、同様の方法により復号モード（符号化モード）が決定されてもよい。つまり、三次元データ符号化装置と三次元データ復号装置とは、同一方法にてノード毎に符号化モードを推定し、ノード毎に隣接ノードの探索を行うか否かを切替えてもよい。これにより、三次元データ符号化装置及び三次元データ復号装置は、隣接ノードの探索が必要なノードを判定し、判定が真のときに隣接ノードの探索を行い、判定が偽のときに隣接ノードの探索をスキップできる。また、符号化モードを示す情報を伝送する必要がない。よって符号化効率を向上しつつ、処理量を抑えることが可能となる。
　例えば、三次元データ符号化装置及び三次元データ復号装置は、隣接ノードの探索が必要なノードか否かを、例えば親ノードのオキュパンシー符号から判定する。ここで、親ノードのオキュパンシー符号から算出した３個の隣接ノードの占有情報が全て１の場合は、その他の隣接ノードも占有である可能性が高い。よって、この場合、三次元データ符号化装置及び三次元データ復号装置は、隣接ノードの探索が必要と判定する。
　また、三次元データ符号化装置及び三次元データ復号装置は、隣接ノードの探索が必要なノードか否かを、８分木の層の値から判定してもよい。例えば、層の値が小さい（ルートノードに近い）場合は８分木の分割が十分に行われていない可能性が高い。よって、三次元データ符号化装置及び三次元データ復号装置は、隣接ノードが占有である可能性が高いと判断し、隣接ノードの探索が必要と判定してもよい。このように三次元データ符号化装置と三次元データ復号装置とにおいて同一方法で符号化モードを推定することで符号量を抑制しつつ、正しく符号化及び復号を行うことが可能となる。
　また、三次元データ符号化装置と三次元データ復号装置は、同一方法にて、予め定められたノードの集合毎に符号化モード（復号モード）を推定し、その集合単位で符号化モードを切替えてもよい。これにより、三次元データ符号化装置及び三次元データ復号装置は、隣接ノードの探索が必要なノードの集合か否かを判定し、判定が真のときに隣接ノードの探索を行い、判定が偽のときに隣接ノードの探索をスキップできる。よって、符号化効率を向上しつつ、処理量を抑えることが可能となる。
　なお、ノードの集合とは、例えば、８分木の同一層に含まれる複数のノードの集合である。これにより、三次元データ符号化装置及び三次元データ復号装置は、層毎に隣接ノードの探索を行うか否かを切替えることができるので、処理時間を抑制しつつ、符号化効率を向上できる。例えば、例えば層の値が小さい（ルートノードに近い）場合は、８分木の分割が十分に行われていない可能性が高い。よって、三次元データ符号化装置及び三次元データ復号装置は、隣接ノードが占有である可能性が高いと判断し、隣接ノードの探索が必要と判定してもよい。
　次に、符号化モードを示す情報等のシンタックス例を説明する。図１０６はヘッダ情報のシンタックス例を示す図である。図１０７は、ノードの情報のシンタックス例を示す図である。
　図１０６に示すように、ヘッダ情報は、ｃｏｄｉｎｇ＿ｍｏｄｅ１と、ｌｉｍｉｔ＿ｎｕｍ＿ｏｆ＿ｓｅａｒｃｈとを含む。ｃｏｄｉｎｇ＿ｍｏｄｅｌ１は、隣接ノードの探索を行うか否かを示す情報である。例えば、値０は隣接ノードの探索を行わないことを示し、値１は隣接ノードの探索を全てのノードで行うことを示し、値２は隣接ノードの探索をノード毎に切替えることを示す。
　なお、三次元データ符号化装置はｃｏｄｉｎｇ＿ｍｏｄｅ１をヘッダに付加せず、規格又は規格のプロファイル又はレベル等で隣接ノードの探索を行うか否かが規定されてもよい。これにより、三次元データ復号装置は、規格情報を参照して、隣接ノードの探索を行うか否かを判定することでビットストリームを正しく復元できる。
　ｌｉｍｉｔ＿ｎｕｍ＿ｏｆ＿ｓｅａｒｃｈは、上述した隣接閾値を示す情報であり、例えば、隣接ノードを探索する場合の探索の制限数（探索閾値）を示す。例えば、値０は制限なしを示し、値１以上は制限回数を示す。
　このｌｉｍｉｔ＿ｎｕｍ＿ｏｆ＿ｓｅａｒｃｈは、ｃｏｄｉｎｇ＿ｍｏｄｅ１の値が１以上の場合にヘッダ情報に含まれる。なお、三次元データ符号化装置は、探索の制限が常に必要ない場合は、ｌｉｍｉｔ＿ｎｕｍ＿ｏｆ＿ｓｅａｒｃｈをヘッダに含めなくてもよい。また、三次元データ符号化装置は、８分木の層毎にｌｉｍｉｔ＿ｎｕｍ＿ｏｆ＿ｓｅａｒｃｈを設け、ヘッダに含めてもよい。
　また、ｌｉｍｉｔ＿ｎｕｍ＿ｏｆ＿ｓｅａｒｃｈの値は符号化前に決定されてもよい。例えば、高性能な機器で符号化又は復号を行う場合は制限なしに設定され、低性能な機器で符号化又は復号する場合は、制限が設定される。
　図１０７に示すように、ノードの情報は、ｃｏｄｉｎｇ＿ｍｏｄｅ２と、ｏｃｃｕｐａｎｃｙ＿ｃｏｄｅとを含む。このｃｏｄｉｎｇ＿ｍｏｄｅ２は、ｃｏｄｉｎｇ＿ｍｏｄｅ１の値が２の場合にノードの情報に含まれる。ｃｏｄｉｎｇ＿ｍｏｄｅ２は、ノード毎に隣接ノードの探索を行うか否かを示す情報である。例えば、値０は隣接ノードの探索を行わないことを示し、値１は隣接ノードの探索を行うことを示す。
　なお、ｃｏｄｉｎｇ＿ｍｏｄｅ２が１のとき、三次元データ符号化装置及び三次元データ復号装置は、探索の制限数をヘッダに付加されたｌｉｍｉｔ＿ｎｕｍ＿ｏｆ＿ｓｅａｒｃｈに設定してもよい。また、三次元データ符号化装置は、探索の制限数をノード毎に符号化してもよい。
　また、三次元データ符号化装置は、ｃｏｄｉｎｇ＿ｍｏｄｅ２の値を符号化せず、三次元データ復号装置は、ｃｏｄｉｎｇ＿ｍｏｄｅ２の値を推定してもよい。例えば、三次元データ復号装置は、親ノードのオキュパンシー符号又は８分木の層情報から、ｃｏｄｉｎｇ＿ｍｏｄｅ２の値を推定する。
　ｏｃｃｕｐａｎｃｙ＿ｃｏｄｅは、対象ノードのオキュパンシー符号であり、対象ノードの子ノードが占有か否かを示す情報である。三次元データ符号化装置及び三次元データ復号装置は、ｃｏｄｉｎｇ＿ｍｏｄｅ２の値に応じて隣接ノードの占有情報を算出し、その値を元に符号化テーブルを切替えながらｏｃｃｕｐａｎｃｙ＿ｃｏｄｅを符号化又は復号する。
　また、三次元データ符号化装置は、上記方法で生成されたｃｏｄｉｎｇ＿ｍｏｄｅ１、ｌｉｍｉｔ＿ｎｕｍ＿ｏｆ＿ｓｅａｒｃｈ、又はｃｏｄｉｎｇ＿ｍｏｄｅ２をエントロピー符号化してもよい。例えば、三次元データ符号化装置は、各値を２値化したうえで算術符号化する。
　また、本実施の形態では、８分木構造を例に示したが、必ずしもこれに限らず、２分木、４分木、１６分木等のＮ分木（Ｎは２以上の整数）、又は、その他の木構造に対して、上記手法を適用してもよい。
　次に、三次元データ符号化処理の詳細を説明する。図１０８は、本実施の形態に係る三次元データ符号化処理のフローチャートである。まず、三次元データ符号化装置は、入力三次元点群の一部又は全てが含まれる空間（対象ノード）を定義する（Ｓ２５２１）。次に、三次元データ符号化装置は、対象ノードを８分割して８個の小空間（ノード）を生成する（Ｓ２５２２）。次に、三次元データ符号化装置は、各ノードに点群が含まれるか否かに応じて対象ノードのオキュパンシー符号を生成する（Ｓ２５２３）。次に、三次元データ符号化装置は、対象ノードの隣接ノードの隣接情報を、対象ノードの親ノードのオキュパンシー符号から算出する（Ｓ２５２４）。
　次に、三次元データ符号化装置は、符号化モードを確認することで探索処理を行うか否かを判定する（Ｓ２５２５）。例えば、三次元データ符号化装置は、（１）ｃｏｄｉｎｇ＿ｍｏｄｅ１が１である場合、又は、（２）ｃｏｄｉｎｇ＿ｍｏｄｅ１が２であり、かつ、ｃｏｄｉｎｇ＿ｍｏｄｅ２が１である場合、探索処理を行う（Ｓ２５２５でＹｅｓ）と判定し、それ以外の場合には、探索処理を行わない（Ｓ２５２５でＮｏ）と判定する。なお、三次元データ符号化装置は、全てのノードで隣接ノードの探索を行う（ｃｏｄｉｎｇ＿ｍｏｄｅ１の値）か否か、及びノード毎に隣接ノードの探索を行うか否か（ｃｏｄｉｎｇ＿ｍｏｄｅ２の値）を、上述した方法等で決定する。
　例えば、三次元データ符号化装置は、隣接ノードの探索が必要なノードか否か（ｃｏｄｉｎｇ＿ｍｏｄｅ２の値）を、親ノードのオキュパンシー符号から推定する。例えば、親ノードのオキュパンシー符号から算出した３個の隣接ノードの占有情報が全て１の場合は、その他の隣接ノードも占有である可能性が高い。よって、三次元データ符号化装置は、隣接ノードの探索が必要（ｃｏｄｉｎｇ＿ｍｏｄｅ２の値は１）と判定する。また、三次元データ復号装置においてｃｏｄｉｎｇ＿ｍｏｄｅ２を推定する場合は、三次元データ符号化装置はｃｏｄｉｎｇ＿ｍｏｄｅ２を符号化しなくてもよい。
　探索処理を行う場合（Ｓ２５２５でＹｅｓ）、三次元データ符号化装置は、符号化済みノードの情報を探索することで、残りの隣接情報を取得する。例えば、三次元データ符号化装置は、ｌｉｍｉｔ＿ｎｕｍ＿ｏｆ＿ｓｅａｒｃｈの値が０（探索回数制限なし）でない場合は、その値に応じて探索回数を制限しながら隣接ノードを探索する。また、三次元データ符号化装置は、ｌｉｍｉｔ＿ｎｕｍ＿ｏｆ＿ｓｅａｒｃｈの値を上述した方法等を用いて設定する。また、三次元データ符号化装置は、親ノードのオキュパンシー符号から算出した隣接情報と探索処理で取得した隣接情報とを統合する（Ｓ２５２６）。次に、三次元データ符号化装置は、ステップＳ２５２６で生成した隣接情報に基づきエントロピー符号化に用いる符号化テーブルを選択する（Ｓ２５２７）。
　一方、探索処理を行わない場合（Ｓ２５２５でＮｏ）、三次元データ符号化装置は、ステップＳ２５２４で親ノードのオキュパンシー符号から算出した隣接情報に基づきエントロピー符号化に用いる符号化テーブルを選択する（Ｓ２５２７）。
　次に、三次元データ符号化装置は、選択した符号化テーブルを用いて対象ノードのオキュパンシー符号をエントロピー符号化する（Ｓ２５２８）。また、三次元データ符号化装置は、ヘッダ情報として、ｃｏｄｉｎｇ＿ｍｏｄｅ１、及びｌｉｍｉｔ＿ｎｕｍ＿ｏｆ＿ｓｅａｒｃｈを符号化する。また、三次元データ符号化装置は、ノード毎にｃｏｄｉｎｇ＿ｍｏｄｅ２を符号化する。
　次に、三次元データ符号化装置は、各ノードをそれぞれ８分割し、各ノードのオキュパンシー符号を符号化するという処理を、ノードが分割できなくなるまで繰り返す（Ｓ２５２９）。つまり、ステップＳ２５２２～Ｓ２５２８の処理が再帰的に繰り返される。
　次に、三次元データ復号処理の詳細を説明する。図１０９は、本実施の形態に係る三次元データ復号処理のフローチャートである。まず、三次元データ復号装置は、ビットストリームのヘッダ情報を用いて復号する空間（対象ノード）を定義する（Ｓ２５３１）。このとき、三次元データ復号装置は、ヘッダ情報のｃｏｄｉｎｇ＿ｍｏｄｅ１とｌｉｍｉｔ＿ｎｕｍ＿ｏｆ＿ｓｅａｒｃｈを復号する。
　次に、三次元データ復号装置は、対象ノードを８分割して８個の小空間（ノード）を生成する（Ｓ２５３２）。次に、三次元データ復号装置は、対象ノードの隣接ノードの隣接情報を、対象ノードの親ノードのオキュパンシー符号から算出する（Ｓ２５３３）。
　次に、三次元データ復号装置は、符号化モードに対応する復号モードを確認することで探索処理を行うか否かを判定する（Ｓ２５３４）。例えば、三次元データ復号装置は、（１）ｃｏｄｉｎｇ＿ｍｏｄｅ１が１である場合、又は、（２）ｃｏｄｉｎｇ＿ｍｏｄｅ１が２であり、かつ、ｃｏｄｉｎｇ＿ｍｏｄｅ２が１である場合、探索処理を行う（Ｓ２５３４でＹｅｓ）と判定し、それ以外の場合には、探索処理を行わない（Ｓ２５３４でＮｏ）と判定する。また、三次元データ復号装置は、ｃｏｄｉｎｇ＿ｍｏｄｅ２を、例えば、ノード毎に復号する。
　なお、三次元データ復号装置は、隣接ノードの探索が必要なノードか否か（ｃｏｄｉｎｇ＿ｍｏｄｅ２の値）を、三次元データ符号化装置における処理と同一の処理を用いて判定してもよい。例えば、三次元データ復号装置は、隣接ノードの探索が必要なノードか否かを、親ノードのオキュパンシー符号から推定する。例えば、親ノードのオキュパンシー符号から算出した３個の隣接ノードの占有情報が全て１の場合は、その他の隣接ノードも占有である可能性が高い。よって、三次元データ復号装置は、隣接ノードの探索が必要（ｃｏｄｉｎｇ＿ｍｏｄｅ２の値は１）と判定する。また、三次元データ復号装置は、ｃｏｄｉｎｇ＿ｍｏｄｅ２を推定する場合は、ｃｏｄｉｎｇ＿ｍｏｄｅ２を復号しなくてもよい。
　探索処理を行う場合（Ｓ２５３４でＹｅｓ）、三次元データ復号装置は、復号済みノードの情報を探索することで、残りの隣接情報を取得する。例えば、三次元データ復号装置は、ｌｉｍｉｔ＿ｎｕｍ＿ｏｆ＿ｓｅａｒｃｈの値が０（探索回数制限なし）でない場合は、その値に応じて探索回数を制限しながら隣接ノードを探索する。また、三次元データ復号装置は、親ノードのオキュパンシー符号から算出した隣接情報と探索処理で取得した隣接情報とを統合する（Ｓ２５３５）。次に、三次元データ復号装置は、ステップＳ２５３５で生成した隣接情報に基づきエントロピー復号に用いる符号化テーブルを選択する（Ｓ２５３６）。
　一方、探索処理を行わない場合（Ｓ２５３４でＮｏ）、三次元データ復号装置は、ステップＳ２５３３で親ノードのオキュパンシー符号から算出した隣接情報と探索処理で取得した隣接情報に基づきエントロピー復号に用いる符号化テーブルを選択する（Ｓ２５３６）。
　次に、三次元データ復号装置は、選択した符号化テーブルを用いて対象ノードのオキュパンシー符号をエントロピー復号する（Ｓ２５３７）。次に、三次元データ復号装置は、各ノードをそれぞれ８分割し、各ノードのオキュパンシー符号を復号するという処理を、ノードが分割できなくなるまで繰り返す（Ｓ２５３８）。つまり、ステップＳ２５３２～Ｓ２５３７の処理が再帰的に繰り返される。
　なお、上記説明では、探索対象のノードが符号化済みノードである例を示したが、探索対象のノードは必ずしもこれに限定されない。例えば、三次元データ符号化装置は、同じ層に属する全てのノードの隣接ノードの情報を、本実施の形態に記載の方法にて探索することで取得し、その後、取得した隣接ノードの情報を用いて各ノードのオキュパンシー符号を符号化してもよい。
　以上のように、本実施の形態に係る三次元データ符号化装置は、図１１０に示す処理を行う。三次元データ符号化装置は、三次元データに含まれる複数の三次元点のＮ（Ｎは２以上の整数）分木構造に含まれる対象ノードの情報を符号化する。三次元データ符号化装置は、前記符号化では、対象ノードと空間的に隣接する複数の隣接ノードのうち、参照可能な隣接ノードの範囲を示す第１情報（例えば、ｌｉｍｉｔ＿ｎｕｍ＿ｏｆ＿ｓｅａｒｃｈ）を符号化し（Ｓ２５４１）、前記範囲内の隣接ノードを参照して、対象ノードを符号化する（Ｓ２５４２）。
　これにより、当該三次元データ符号化装置は、参照可能な隣接ノードを制限できるので、処理量を低減できる。
　例えば、三次元データ符号化装置は、前記符号化では、前記範囲内の隣接ノードに三次元点が存在するか否かに基づき、符号化テーブルを選択し、選択された符号化テーブルを用いて、対象ノードの情報（例えばオキュパンシー符号）をエントロピー符号化する。
　例えば、三次元データ符号化装置は、前記符号化では、対象ノードと空間的に隣接する複数の隣接ノードのうち、参照可能な隣接ノードの情報を探索し、記第１情報は、前記探索の範囲を示す。
　例えば、三次元データ符号化装置は、前記探索では、複数のノードの情報を予め定められた順序で探索し、第１情報は、前記探索を行うノードの数（例えば探索閾値）を示す。
　例えば、前記探索では、モートン符号のインデックスが用いられる。
　例えば、三次元データ符号化装置は、前記符号化では、参照可能な隣接ノードの範囲に制限を設けるか否かを示す第２情報（ｃｏｄｉｎｇ＿ｍｏｄｅ１）を符号化し、第２情報により参照可能な隣接ノードの範囲に制限を設けることが示される場合、第１情報を符号化する。
　例えば、前記参照可能な隣接ノードの範囲は、前記Ｎ分木構造において前記対象ノードが属する層に応じて異なる。
　例えば、三次元データ符号化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
　また、本実施の形態に係る三次元データ復号装置は、図１１１に示す処理を行う。三次元データ復号装置は、三次元データに含まれる複数の三次元点のＮ（Ｎは２以上の整数）分木構造に含まれる対象ノードの情報を復号する。三次元データ復号装置は、前記復号では、対象ノードと空間的に隣接する複数の隣接ノードのうち、参照可能な隣接ノードの範囲を示す第１情報（例えば、ｌｉｍｉｔ＿ｎｕｍ＿ｏｆ＿ｓｅａｒｃｈ）をビットストリームから復号し（Ｓ２５５１）、前記範囲内の隣接ノードを参照して、対象ノードを復号する（Ｓ２５５２）。
　これにより、当該三次元データ復号装置は、参照可能な隣接ノードを制限できるので、処理量を低減できる。
　例えば、三次元データ復号装置は、前記復号では、前記範囲内の隣接ノードに三次元点が存在するか否かに基づき、符号化テーブルを選択し、選択された符号化テーブルを用いて、対象ノードの情報（例えばオキュパンシー符号）をエントロピー復号する。
　例えば、三次元データ復号装置は、前記復号では、対象ノードと空間的に隣接する複数の隣接ノードのうち、参照可能な隣接ノードの情報を探索し、記第１情報は、前記探索の範囲を示す。
　例えば、三次元データ復号装置は、前記探索では、複数のノードの情報を予め定められた順序で探索し、第１情報は、前記探索を行うノードの数（例えば探索閾値）を示す。
　例えば、前記探索では、モートン符号のインデックスが用いられる。
　例えば、三次元データ復号装置は、前記復号では、参照可能な隣接ノードの範囲に制限を設けるか否かを示す第２情報（ｃｏｄｉｎｇ＿ｍｏｄｅ１）を復号し、第２情報により参照可能な隣接ノードの範囲に制限を設けることが示される場合、第１情報を復号する。
　例えば、前記参照可能な隣接ノードの範囲は、前記Ｎ分木構造において前記対象ノードが属する層に応じて異なる。
　例えば、三次元データ復号装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
　（実施の形態１１）
　まず、参照可能エリア（ｒｅｆｅｒ＿ａｖａｉｌａｂｌｅ＿ａｒｅａ）について説明する。
　図１１２は、本実施の形態に係る空間領域における参照関係を示す図である。
　三次元データ符号化装置がノードの情報を符号化する場合に参照する親隣接ノード（ｐａｒｅｎｔ　ｎｅｉｇｈｂｏｒ　ｎｏｄｅ）を決定するためのエリアが設定されてもよい。例えば、ノードを符号化する場合に参照可能な親隣接ノードが位置するエリアとして参照可能エリア（ｒｅｆｅｒ＿ａｖａｉｌａｂｌｅ＿ａｒｅａ）が設定されてもよい。例えば、上記したｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ＝０の場合（本実施の形態では、親隣接ノードが参照可能な場合）には、さらに、ｒｅｆｅｒ＿ａｖａｉｌａｂｌｅ＿ａｒｅａが設定され、ｒｅｆｅｒ＿ａｖａｉｌａｂｌｅ＿ａｒｅａが示すエリア内のノード（ｎｏｄｅ）であれば、親隣接ノードとして参照可能とし、当該エリア外のノードであれば、親隣接ノードとして参照禁止としてもよい。
　これにより、三次元データ符号化装置は、ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ＝０の場合における親隣接ノードの参照範囲を制御することができるため、処理量又はメモリ量を削減できる。
　なお、三次元データ符号化装置は、ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ＝１の場合（つまり、親隣接ノードが参照禁止である場合）には、参照可能エリアが示す情報を、生成するビットストリームのヘッダ等に付加しなくてもよい。また、例えば、三次元データ復号装置は、取得したビットストリームに参照可能エリアを示す情報が含まれていない場合、ｒｅｆｅｒ＿ａｖａｉｌａｂｌｅ＿ａｒｅａが示す値を１と推定してもよい。
　これにより、三次元データ符号化装置は、ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ＝１の場合のヘッダ量を削減できる。
　また、参照可能エリアは、位置情報をＮ（Ｎ：２以上の整数、より具体的には、２のべき乗）分木で符号化する際の深さ情報（ｄｅｐｔｈ）に応じて変更されてもよい。例えば、三次元データ符号化装置は、８分木表現を用いてデータを符号化する場合には、ｄｅｐｔｈが示す値が大きくなる程、参照可能エリアを大きくしてもよい。
　これにより、三次元データ符号化装置は、ｄｅｐｔｈが示す値が大きくなり、ノードのサイズ（つまり、ノードのデータ量）が小さくなっても、ある一定の範囲を参照して当該ノードを符号化できる。そのため、三次元データ符号化装置は、ノードの情報を符号化する際に、処理量を削減しつつ、符号化効率を向上できる。
　なお、三次元データ符号化装置は、８分木表現を用いてデータを符号化する場合には、ｄｅｐｔｈが示す値が大きくなる程、参照可能エリアを小さくしてもよい。
　これにより、三次元データ符号化装置は、ｄｅｐｔｈが示す値が大きくなり、ノードのサイズが小さくなるにつれ、参照可能エリアとして保持すべき親隣接ノードの情報量（データ量）を削減でき、メモリ量を抑えることができる。
　なお、図１１２は、参照可能エリア（ｒｅｆｅｒ＿ａｖａｉｌａｂｌｅ＿ａｒｅａ）＝４の場合の例を示す図である。例えば、図１１２では、破線で囲まれた空間が参照可能エリアとなっている。また、図１１２では、ハッチングで示す領域がｏｃｃｕｐｉｅｄであるノードを示し、点線で示す領域がｏｃｃｕｐｉｅｄではないノードを示す。図１１２に示すように、あるノードについて、親隣接ノードが当該ノードと同じ参照可能エリア内であれば当該親隣接ノードを参照可能とし、親隣接ノードが当該ノードと同じ参照可能エリア外であれば、当該親隣接ノードを参照禁止としてもよい。
　もちろん、ｒｅｆｅｒ＿ａｖａｉｌａｂｌｅ＿ａｒｅａは、４でなくてもよく、１又は２でもよいし、５以上でもよい。
　続いて、ｐａｒｅｎｔ　ｎｅｉｇｈｂｏｒ　ｃｈｉｌｄ　ｒｅｆｅｒ（親隣接ノードの子ノードの参照）について説明する。
　図１１３は、本実施の形態に係る８分木構造における参照関係を示す図である。図１１４は、本実施の形態に係る空間領域における対象ノードと隣接ノードとの参照関係を示す図である。
　三次元データ符号化装置は、図１１３に示す符号化対象のノード（以下、図１１３及び図１１４の説明においては対象ノード２（ｔａｒｇｅｔ　ｎｏｄｅ２）と呼ぶ）の符号化情報を符号化する際には、ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ＝０の場合には、対象ノード２が属する親ノード（ｐａｒｅｎｔ　ｎｏｄｅ）に隣接する親隣接ノード（ｐａｒｅｎｔ　ｎｅｉｇｈｂｏｒ　ｎｏｄｅ）内の各ノード（親隣接ノードの子ノード）の符号化情報を参照してもよい。
　符号化情報は、例えば、ノードの占有情報（例えば、ｏｃｃｕｐａｎｃｙ　ｃｏｄｅ）である。占有情報は、例えば、ノードが属する親ノード内の各ノードに点群が含まれるか否かを示す情報である。
　なお、対象ノードを符号化する際に、親隣接ノードの子ノードを参照することを、ｐａｒｅｎｔ　ｎｅｉｇｈｂｏｒ　ｃｈｉｌｄ　ｒｅｆｅｒと呼ぶ。
　例えば、三次元データ符号化装置は、図１１３に示す対象ノード２のオキュパンシー符号（ｏｃｃｕｐａｎｃｙ　ｃｏｄｅ／図１１３の例では、１００００１０１）を符号化する際には、対象ノード２が属する親ノードに隣接する親隣接ノード内に存在する（言い換えると、親隣接ノードに属する）ノード、例えば、図１１３に示す対象ノード（ｔａｒｇｅｔ　ｎｏｄｅ）のオキュパンシー符号（図１１３に示す例では、１００００００１）を参照する。図１１３に示す対象ノードのオキュパンシー符号は、図１１４に示すように、例えば、対象ノード２に隣接する対象ノード内の各ノードがｏｃｃｕｐｉｅｄである（つまり、点群が存在する）か否かを示す。図１１４に示す例では、対象ノードの子ノードであるノードＸ１、Ｘ２、Ｘ３、Ｘ４がｏｃｃｕｐｉｅｄであり、対象ノード２が符号化される際に三次元データ符号化装置が参照可能なノードである。
　これによれば、三次元データ符号化装置は、対象ノードの細かい形状に応じて対象ノード２のオキュパンシー符号の符号化テーブルを切り替えることができる。そのため、三次元データ符号化装置は、対象ノードの情報の符号化（例えば、対象ノードの占有情報の符号化）の効率を向上できる。
　なお、三次元データ符号化装置は、対象ノード２のオキュパンシー符号をエントロピー符号化する際の符号化テーブル（ＣｏｄｉｎｇＴａｂｌｅ）を、例えば、下記式を用いて算出してもよい。
　ＣｏｄｉｎｇＴａｂｌｅ＝（ＦｌａｇＸ１＜＜５）＋（ＦｌａｇＸ２＜＜４）＋（ＦｌａｇＸ３＜＜３）＋（ＦｌａｇＸ４＜＜２）＋（ＦｌａｇＹ＜＜１）＋（ＦｌａｇＺ）
　なお、ＣｏｄｉｎｇＴａｂｌｅは、対象ノード２のオキュパンシー符号を符号化するための符号化テーブルである。符号化テーブルが示す値は、例えば、０～６３のいずれかの値である。
　また、ＦｌａｇＸＮは、隣接ノードＸＮ（Ｎ＝０～３のいずれか）が点群を含むか否かを示す情報である。例えば、ＦｌａｇＸＮは、隣接ノードＸＮが点群を含む（つまり、ｏｃｃｕｐｉｅｄである）ならば１を示し、隣接ノードＸＮが点群を含まない（つまり、ｏｃｃｕｐｉｅｄではない）ならば０を示す。
　また、ＦｌａｇＹは、隣接ノードＹが点群を含むか否かを示す情報である。例えば、ＦｌａｇＹは、隣接ノードＹが点群を含むならば１を示し、隣接ノードＹが点群を含まないならば０を示す。
　また、ＦｌａｇＺは、隣接ノードＺが点群を含むか否かを示す情報である。例えば、ＦｌａｇＺは、隣接ノードＺが点群を含むならば１を示し、隣接ノードＺが点群を含まないならば０を示す。
　符号化テーブルの算出方法は、親ノード内における対象ノード２の位置に応じて変更されてもよい。
　なお、ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ＝１の場合には、親隣接ノードの参照が禁止であるため、ｐａｒｅｎｔ　ｎｅｉｇｈｂｏｒ　ｃｈｉｌｄ　ｒｅｆｅｒも禁止としてもよい。
　ただし、ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ＝１の場合でも、上記したように親ノード内の隣接ノードの符号化情報は、参照されてもよい。
　これにより、三次元データ符号化装置は、ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ＝１の場合の符号化効率を向上できる。
　続いて、イントラ予測（ｉｎｔｒａ予測）について説明する。
　図１１５は、本実施の形態に係る空間領域における対象ノードと隣接ノードとの関係を示す図である。なお、図１１５に示す例では、ハッチングで示す領域が対象ノードであり、点線で囲まれた領域が隣接ノードである。
　三次元データ符号化装置は、符号化対象のノード（以下、対象ノード（ｔａｒｇｅｔ　ｎｏｄｅ）と呼ぶ）の符号化情報を符号化する際に、ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ＝０の場合には、対象ノードに隣接する複数の隣接ノードを用いて、対象ノードの符号化情報の値を予測（イントラ予測）してもよい。三次元データ符号化装置は、例えば、図１１５に示すように、対象ノードに隣接する２６個の隣接ノードの符号化情報を用いて、対象ノードの符号化情報の値を予測する。
　２６個の隣接ノードは、例えば、対象ノードの全方位（言い換えると、対象ノードから見てそれぞれの方位）に対し、隣接するノード数（３×３×３－１（対象ノード自身））であってもよい。
　三次元データ符号化装置は、対象ノードの符号化情報の予測として例えば、隣接ノードがｏｃｃｕｐｉｅｄであるか否かを示す情報（例えば、ｏｃｃｕｐｉｅｄであるならば１を示し、ｏｃｃｕｐｉｅｄでなければ０を示す情報）を重み付け加算し、重み付け加算された当該情報が示す値が閾値以上であれば対象ノードがｏｃｃｕｐｉｅｄであると予測して符号化する。三次元データ符号化装置は、例えば、対象ノードのオキュパンシー符号を算術符号化する場合の符号化テーブルを、対象ノードがｏｃｃｕｐｉｅｄであると予測した場合と、対象ノードがｏｃｃｕｐｉｅｄではないと予測した場合とで切り替える。
　これにより、三次元データ符号化装置は、対象ノードの情報の符号化効率を向上できる。
　なお、三次元データ符号化装置は、対象ノードの符号化情報を予測する際に、隣接ノードがｏｃｃｕｐｉｅｄであるか否かを示す情報を重み付け加算する場合、対象ノードと各隣接ノードとの位置情報に基づいて重みを決定してもよい。例えば、三次元データ符号化装置は、対象ノードと各隣接ノードとのユークリッド距離等を示す距離情報を算出し、算出した距離情報が示す値が小さい程、重みが大きくなるようにしても構わない。
　これにより、距離情報が近い（つまり、距離情報が示す値が小さい）ノードがｏｃｃｕｐｉｅｄであるか否かを示す情報（ｏｃｃｕｐｉｅｄ情報）が予測結果に優先的に反映される。そのため、三次元データ符号化装置は、予測精度が向上し、符号化効率を向上できる。
　なお、ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ＝１の場合には、親隣接ノードの参照が禁止であるため、イントラ予測も禁止としてもよい。
　ただし、ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ＝１の場合でも、符号化対象のノードである対象ノードが属する親ノード内の隣接ノードからイントラ予測を行うようにしてもよい。
　これにより、三次元データ符号化装置は、ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ＝１の場合の符号化効率を向上できる。
　なお、隣接ノード数は、上記２６個に限らない。例えば、より広範囲に参照範囲を広げることで、隣接ノードの数を増やしてもよい。
　これにより、三次元データ符号化装置は、イントラ予測の精度が向上し、符号化効率を向上できる。
　なお、三次元データ符号化装置は、イントラ予測にて参照する隣接ノードが図１１２に示す参照可能エリア外であれば、参照エリアの範囲外に位置する隣接ノードをイントラ予測時に参照しなくてもよい。或いは、三次元データ符号化装置は、イントラ予測にて参照する隣接ノードが図１１２に示す参照可能エリア外であれば、参照エリアの範囲外に位置する隣接ノードがｏｃｃｕｐｉｅｄではないと判定してもよい。
　これにより、三次元データ符号化装置は、処理量及びメモリ量の削減と符号化効率の向上とのバランスを適切にとることができる。
　続いて、ヘッダ情報のシンタックス例について説明する。
　図１１６は、本実施の形態に係るヘッダ情報のシンタックス例を示す図である。
　ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇは、親隣接ノードの参照禁止切り替えフラグである。例えば、値１（つまり、ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ＝１）は、参照禁止であることを示し、値０（つまり、ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ＝０）は、参照可能であることを示してもよい。
　これにより、ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇの値を制御することで、三次元データ符号化装置における処理量の削減と符号化効率の向上とを適切に切り替えることができる。
　ｌｏｇ２＿ｒｅｆｅｒ＿ａｖａｉｌａｂｌｅ＿ａｒｅａ＿ｍｉｎｕｓ１は、参照可能エリア（ｒｅｆｅｒ＿ａｖａｉｌａｂｅ＿ａｒｅａ）を算出するための情報である。
　なお、三次元データ符号化装置は、参照可能エリア（ｒｅｆｅｒ＿ａｖａｉｌａｂｌｅ＿ａｒｅａ）を、下記式を用いて算出してもよい。
　ｌｏｇ２＿ｒｅｆｅｒ＿ａｖａｉｌａｂｌｅ＿ａｒｅａ＝ｌｏｇ２＿ｒｅｆｅｒ＿ａｖａｉｌａｂｌｅ＿ａｒｅａ＿ｍｉｎｕｓ１＋１
　ｒｅｆｅｒ＿ａｖａｉｌａｂｌｅ＿ａｒｅａ＝２ｌｏｇ２＿ｒｅｆｅｒ＿ａｖａｉｌａｂｌｅ＿ａｒｅａ
　なお、三次元データ符号化装置は、ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ＝１の場合には、ｌｏｇ２＿ｒｅｆｅｒ＿ａｖａｉｌａｂｌｅ＿ａｒｅａ＿ｍｉｎｕｓ１の情報をビットストリームのヘッダ等に付加しなくてもよい。また、三次元データ復号装置は、取得したビットストリームのヘッダ等に当該情報が含まれていない場合、ｒｅｆｅｒ＿ａｖａｉｌａｂｌｅ＿ａｒｅａの値を１と推定してもよい。
　これにより、三次元データ符号化装置は、ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ＝１の場合のヘッダ量を削減できる。
　ｐａｒｅｎｔ＿ｎｅｉｇｈｂｏｒ＿ｃｈｉｌｄ＿ｒｅｆｅｒ＿ｆｌａｇは、ｐａｒｅｎｔ　ｎｅｉｇｈｂｏｒ　ｃｈｉｌｄ　ｒｅｆｅｒを有効にするか否かを切り替えるための情報である。例えば、値１（つまり、ｐａｒｅｎｔ＿ｎｅｉｇｈｂｏｒ＿ｃｈｉｌｄ＿ｒｅｆｅｒ＿ｆｌａｇ＝１）は、ｐａｒｅｎｔ　ｎｅｉｇｈｂｏｒ　ｃｈｉｌｄ　ｒｅｆｅｒが有効であることを示し、値０（つまり、ｐａｒｅｎｔ＿ｎｅｉｇｈｂｏｒ＿ｃｈｉｌｄ＿ｒｅｆｅｒ＿ｆｌａｇ＝０）は、ｐａｒｅｎｔ　ｎｅｉｇｈｂｏｒ　ｃｈｉｌｄ　ｒｅｆｅｒが無効であることを示してもよい。
　これにより、ｐａｒｅｎｔ　ｎｅｉｇｈｂｏｒ　ｃｈｉｌｄ　ｒｅｆｅｒの値を制御することで、三次元データ符号化装置における処理量の削減と符号化効率の向上とのバランスを適切にとることができる。
　なお、三次元データ符号化装置は、ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ＝１の場合には、ｐａｒｅｎｔ＿ｎｅｉｇｈｂｏｒ＿ｃｈｉｌｄ＿ｒｅｆｅｒ＿ｆｌａｇの情報をビットストリームのヘッダ等に付加しなくてもよい。また、三次元データ復号装置は、取得したビットストリームのヘッダ等に当該情報が含まれていない場合、ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇの値を０と推定してもよい。
　これにより、ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ＝１の場合のヘッダ量を削減できる。
　ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇは、イントラ予測を有効にするか否かを切り替えるための情報である。例えば、値１（つまり、ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ＝１）では、イントラ予測が有効であることを示し、値０（つまり、ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ＝０）では、イントラ予測が無効であることを示してもよい。
　これにより、ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇの値を制御することで、三次元データ符号化装置における処理量の削減と符号化効率の向上とのバランスを適切にとることができる。
　なお、三次元データ符号化装置は、ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ＝１の場合には、ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇの情報をヘッダ等に付加しなくてもよい。また、三次元データ復号装置は、取得したビットストリームのヘッダ等に当該情報が付加されていない場合、ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇの値を０と推定してもよい。
　これにより、三次元データ符号化装置は、ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ＝１の場合のヘッダ量を削減できる。
　なお、三次元データ符号化装置は、上記方法で生成されたｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ、ｌｏｇ２＿ｒｅｆｅｒ＿ａｖａｉｌａｂｌｅ＿ａｒｅａ＿ｍｉｎｕｓ１、ｐａｒｅｎｔ＿ｎｅｉｇｈｂｏｒ＿ｃｈｉｌｄ＿ｒｅｆｅｒ＿ｆｌａｇ、及び、ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇを、エントロピー符号化してもよい。三次元データ符号化装置は、例えば、これらの値を２値化して算術符号化してもよい。
　また、本実施の形態では、８分木構造を例に示したが、必ずしもこれに限らず、４分木、１６分木等、どのような木構造に適用しても構わない。
　また、本実施の形態では、三次元データ符号化装置は、親隣接ノードが参照禁止（ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ＝１）の場合には、ｌｏｇ２＿ｒｅｆｅｒ＿ａｖａｉｌａｂｌｅ＿ａｒｅａ＿ｍｉｎｕｓ１、ｐａｒｅｎｔ＿ｎｅｉｇｈｂｏｒ＿ｃｈｉｌｄ＿ｒｅｆｅｒ＿ｆｌａｇ、及び、ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇをヘッダ等に付加しないことでヘッダ等の符号量を削減する例を説明した。しかしながら、三次元データ符号化装置は、これらの情報をヘッダ等に付加してもよい。
　また、例えば、三次元データ符号化装置は、親隣接ノード、又は、親隣接ノードの子ノードが有する符号化情報を用いて符号化対象となる対象ノードを符号化するような符号化ツールに対し、ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ＝１の場合には、当該符号化ツールに関する情報をヘッダ等に付加しなくてもよい。
　これにより、三次元データ符号化装置は、ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ＝１の場合のヘッダ量を削減することができる。
　また、ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ＝１の場合には当該符号化ツールに関する情報をヘッダ等に付加しないとする場合、当該符号化ツールが有効であるか無効であるかを示す情報を、無効と設定してもよい。
　これにより、三次元データ復号装置は、ｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇ＝１の場合には、当該符号化ツールが有効であるか無効であるかを示す情報がヘッダ等に含まれなくても、当該符号化ツールが無効であると判断することができる。
　以上のように、本実施の形態に係る三次元データ符号化装置は、図１１７に示す処理を行う。
　図１１７は、本実施の形態に係る三次元データ符号化装置の処理手順を示すフローチャートである。
　まず、三次元データ符号化装置は、三次元データに含まれる複数の三次元点のＮ（Ｎは２以上の整数）分木構造に含まれる対象ノードの情報を符号化する（Ｓ１１７０１）。符号化（Ｓ１１７０１）では、対象ノードと空間的に隣接する複数の隣接ノードのうち、対象ノードと親ノードが異なる第１ノードの情報の参照を許可するか否かを示す参照制限情報に基づいて対象ノードを符号化する。
　対象ノードとは、例えば、上記したＴａｒｇｅｔ　ｎｏｄｅである。また、隣接ノードとは、例えば、上記したｎｅｉｇｈｈｂｏｒ　ｎｏｄｅである。また、親ノードとは、例えば、上記したｐａｒｅｎｔ　ｎｏｄｅである。また、第１ノードとは、例えば、上記した親隣接ノード（ｐａｒｅｎｔ　ｎｅｉｇｈｂｏｒ　ｎｏｄｅ）である。
　対象ノードの情報とは、例えば、上記した占有情報（対象ノードの空間がｏｃｃｕｐｉｅｄであるか否かを示す情報）である。第１ノードの情報とは、例えば、上記した占有情報（第１ノードの空間がｏｃｃｕｐｉｅｄであるか否かを示す情報）である。参照制限情報とは、例えば、上記したｌｉｍｉｔ＿ｒｅｆｅｒ＿ｆｌａｇである。符号化処理情報とは、例えば、上記したｐａｒｅｎｔ＿ｎｅｉｇｈｂｏｒ＿ｃｈｉｌｄ＿ｒｅｆｅｒを実行したか否かを示す情報（ｐａｒｅｎｔ＿ｎｅｉｇｈｂｏｒ＿ｃｈｉｌｄ＿ｒｅｆｅｒ＿ｆｌａｇ）、又は、イントラ予測を実行したか否かを示す情報（ｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇ）である。
　次に、三次元データ符号化装置は、符号化された対象ノードの情報を含むビットストリームを生成する（Ｓ１１７０２）。ビットストリームの生成（Ｓ１１７０２）では、上記した参照制限情報をさらに含むビットストリームを生成する。また、ビットストリームの生成（Ｓ１１７０２）では、第１ノードの情報を参照して対象ノードを符号化した場合、符号化における処理方法を示す符号化処理情報をさらに含むビットストリームを生成する。一方、三次元データ符号化装置は、第１ノードの情報を参照せずに対象ノードを符号化した場合、符号化処理情報を含ませずにビットストリームを生成する。
　これによれば、第１ノードの情報を参照して対象ノードを符号化したか否かに応じたビットストリームのデータ量にできる。つまり、三次元データ符号化方法によれば、生成するビットストリームのデータ量を適切に削減できる。
　また、例えば、符号化処理情報は、上記符号化（Ｓ１１７０１）において、第１ノードの子ノードの情報を参照したか否かを示す参照情報を含む。
　参照情報は、例えば、上記したｐａｒｅｎｔ＿ｎｅｉｇｈｂｏｒ＿ｃｈｉｌｄ＿ｒｅｆｅｒ＿ｆｌａｇである。
　また、例えば、符号化処理情報は、上記符号化（Ｓ１１７０１）において、複数の隣接ノードを用いて対象ノードの情報を算出するイントラ予測処理を実行したか否かを示すイントラ予測情報を含む。
　イントラ予測情報は、例えば、上記したｉｎｔｒａ＿ｐｒｅｄ＿ｆｌａｇである。
　これらによれば、例えば、符号化された対象ノードの情報を復号する三次元データ復号装置は、参照情報又はイントラ予測情報に基づいて、適切に符号化された対象ノードの情報を復号できる。
　また、例えば、上記Ｎは、８である。
　また、例えば、三次元データ符号化装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。メモリには、上記処理を行う制御プログラムが記憶されていてもよい。
　また、本実施の形態に係る三次元データ復号装置は、図１１８に示す処理を行う。
　図１１８は、本実施の形態に係る三次元データ復号装置の処理手順を示すフローチャートである。
　まず、三次元データ復号装置は、三次元データに含まれる複数の三次元点のＮ（Ｎは２以上の整数）分木構造に含まれる対象ノードの符号化された情報、及び、対象ノードと空間的に隣接する複数の隣接ノードのうち、対象ノードと親ノードが異なる第１ノードの情報の参照を許可するか否かを示す参照制限情報を含むビットストリームを取得する（Ｓ１１７１１）。
　次に、三次元データ復号装置は、ビットストリームに含まれる符号化された情報を復号する（Ｓ１１７１２）。三次元データ復号装置は、復号（ステップＳ１１７１２）では、参照制限情報が第１ノードの情報の参照を許可することを示す場合、ビットストリームに含まれる、符号化された情報の符号化における処理方法を示す符号化処理情報に基づいて、第１ノードの情報を参照して復号し、参照制限情報が第１ノードの情報の参照を許可しないことを示す場合、第１ノードの情報を参照せずに復号する。
　これによれば、例えば、三次元データ符号化装置によってデータ量が削減されて生成されたビットストリームであっても、対象ノードの情報を適切に復号できる。
　また、例えば、符号化処理情報は、符号化された情報の符号化において、第１ノードの子ノードの情報が参照されたか否かを示す参照情報を含む。
　また、例えば、符号化処理情報は、符号化された情報において、複数の隣接ノードを用いて対象ノードの情報を算出するイントラ予測処理が実行したか否かを示すイントラ予測情報を含む。
　これらによれば、参照情報又はイントラ予測情報に基づいて、適切に符号化された対象ノードの情報を復号できる。
　また、例えば、上記Ｎは、８である。
　また、例えば、三次元データ復号装置は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。メモリには、上記処理を行う制御プログラムが記憶されていてもよい。
　（実施の形態１２）
　次に、本実施の形態に係る三次元データ作成装置８１０の構成を説明する。図１１９は、本実施の形態に係る三次元データ作成装置８１０の構成例を示すブロック図である。この三次元データ作成装置８１０は、例えば、車両に搭載される。三次元データ作成装置８１０は、外部の交通監視クラウド、前走車両又は後続車両と三次元データの送受信を行うとともに、三次元データを作成及び蓄積する。
　三次元データ作成装置８１０は、データ受信部８１１と、通信部８１２と、受信制御部８１３と、フォーマット変換部８１４と、複数のセンサ８１５と、三次元データ作成部８１６と、三次元データ合成部８１７と、三次元データ蓄積部８１８と、通信部８１９と、送信制御部８２０と、フォーマット変換部８２１と、データ送信部８２２とを備える。
　データ受信部８１１は、交通監視クラウド又は前走車両から三次元データ８３１を受信する。三次元データ８３１は、例えば、自車両のセンサ８１５で検知不能な領域を含む、ポイントクラウド、可視光映像、奥行き情報、センサ位置情報、又は速度情報などの情報を含む。
　通信部８１２は、交通監視クラウド又は前走車両と通信し、データ送信要求などを交通監視クラウド又は前走車両に送信する。
　受信制御部８１３は、通信部８１２を介して、対応フォーマット等の情報を通信先と交換し、通信先との通信を確立する。
　フォーマット変換部８１４は、データ受信部８１１が受信した三次元データ８３１にフォーマット変換等を行うことで三次元データ８３２を生成する。また、フォーマット変換部８１４は、三次元データ８３１が圧縮又は符号化されている場合には、伸張又は復号処理を行う。
　複数のセンサ８１５は、ＬｉＤＡＲ、可視光カメラ又は赤外線カメラなどの、車両の外部の情報を取得するセンサ群であり、センサ情報８３３を生成する。例えば、センサ情報８３３は、センサ８１５がＬｉＤＡＲなどのレーザセンサである場合、ポイントクラウド（点群データ）等の三次元データである。なお、センサ８１５は複数でなくてもよい。
　三次元データ作成部８１６は、センサ情報８３３から三次元データ８３４を生成する。三次元データ８３４は、例えば、ポイントクラウド、可視光映像、奥行き情報、センサ位置情報、又は速度情報などの情報を含む。
　三次元データ合成部８１７は、自車両のセンサ情報８３３に基づいて作成された三次元データ８３４に、交通監視クラウド又は前走車両等が作成した三次元データ８３２を合成することで、自車両のセンサ８１５では検知できない前走車両の前方の空間も含む三次元データ８３５を構築する。
　三次元データ蓄積部８１８は、生成された三次元データ８３５等を蓄積する。
　通信部８１９は、交通監視クラウド又は後続車両と通信し、データ送信要求などを交通監視クラウド又は後続車両に送信する。
　送信制御部８２０は、通信部８１９を介して、対応フォーマット等の情報を通信先と交換し、通信先と通信を確立する。また、送信制御部８２０は、三次元データ合成部８１７で生成された三次元データ８３２の三次元データ構築情報と、通信先からのデータ送信要求とに基づき、送信対象の三次元データの空間である送信領域を決定する。
　具体的には、送信制御部８２０は、交通監視クラウド又は後続車両からのデータ送信要求に応じて、後続車両のセンサでは検知できない自車両の前方の空間を含む送信領域を決定する。また、送信制御部８２０は、三次元データ構築情報に基づいて送信可能な空間又は送信済み空間の更新有無等を判断することで送信領域を決定する。例えば、送信制御部８２０は、データ送信要求で指定された領域であり、かつ、対応する三次元データ８３５が存在する領域を送信領域に決定する。そして、送信制御部８２０は、通信先が対応するフォーマット、及び送信領域をフォーマット変換部８２１に通知する。
　フォーマット変換部８２１は、三次元データ蓄積部８１８に蓄積されている三次元データ８３５のうち、送信領域の三次元データ８３６を、受信側が対応しているフォーマットへ変換することで三次元データ８３７を生成する。なお、フォーマット変換部８２１は、三次元データ８３７を圧縮又は符号化することでデータ量を削減してもよい。
　データ送信部８２２は、三次元データ８３７を交通監視クラウド又は後続車両に送信する。この三次元データ８３７は、例えば、後続車両の死角になる領域を含む、自車両の前方のポイントクラウド、可視光映像、奥行き情報、又はセンサ位置情報などの情報を含む。
　なお、ここでは、フォーマット変換部８１４及び８２１にてフォーマット変換等が行われる例を述べたが、フォーマット変換は行われなくてもよい。
　このような構成により、三次元データ作成装置８１０は、自車両のセンサ８１５では検知できない領域の三次元データ８３１を外部から取得し、三次元データ８３１と自車両のセンサ８１５で検知したセンサ情報８３３に基づく三次元データ８３４とを合成することで三次元データ８３５を生成する。これにより、三次元データ作成装置８１０は、自車両のセンサ８１５で検知できない範囲の三次元データを生成できる。
　また、三次元データ作成装置８１０は、交通監視クラウド又は後続車両からのデータ送信要求に応じて、後続車両のセンサでは検知できない自車両の前方の空間を含む三次元データを、交通監視クラウド又は後続車両等へ送信できる。
　次に、三次元データ作成装置８１０における後続車両への三次元データの送信手順について説明する。図１２０は、三次元データ作成装置８１０による交通監視クラウド又は後続車両へ三次元データを送信する手順の一例を示すフローチャートである。
　まず、三次元データ作成装置８１０は、自車両の前方道路上の空間を含む空間の三次元データ８３５を生成及び更新する（Ｓ８０１）。具体的には、三次元データ作成装置８１０は、自車両のセンサ情報８３３に基づいて作成した三次元データ８３４に、交通監視クラウド又は前走車両等が作成した三次元データ８３１を合成するなどして、自車両のセンサ８１５では検知できない前走車両の前方の空間も含む三次元データ８３５を構築する。
　次に、三次元データ作成装置８１０は、送信済みの空間に含まれる三次元データ８３５が変化したかを判定する（Ｓ８０２）。
　送信済みの空間に外部から車両又は人が進入するなどして、当該空間に含まれる三次元データ８３５に変化が生じた場合には（Ｓ８０２でＹｅｓ）、三次元データ作成装置８１０は、変化が生じた空間の三次元データ８３５を含む三次元データを交通監視クラウド又は後続車両に送信する（Ｓ８０３）。
　なお、三次元データ作成装置８１０は、変化が生じた空間の三次元データを、所定間隔で送信する三次元データの送信タイミングに合わせて送信してもよいが、変化を検知した後すぐに送信してもよい。つまり、三次元データ作成装置８１０は、変化が生じた空間の三次元データを、所定間隔で送信する三次元データよりも優先して送信してもよい。
　また、三次元データ作成装置８１０は、変化が生じた空間の三次元データとして、変化が生じた空間の三次元データの全てを送信してもよいし、三次元データの差分（例えば出現又は消失した三次元点の情報、又は三次元点の変位情報など）のみを送信してもよい。
　また、三次元データ作成装置８１０は、変化が生じた空間の三次元データに先行して、急制動警報など自車両の危険回避動作に関するメタデータを後続車両へ送信してもよい。これによれば、後続車両は前走車両の急制動などを早期に認知でき、より早期に減速などの危険回避動作を開始できる。
　送信済みの空間に含まれる三次元データ８３５に変化が生じていない場合（Ｓ８０２でＮｏ）、又は、ステップＳ８０３の後、三次元データ作成装置８１０は、自車両の前方距離Ｌにある所定の形状の空間に含まれる三次元データを、交通監視クラウド又は後続車両へ送信する（Ｓ８０４）。
　また、例えば、ステップＳ８０１～Ｓ８０４の処理は、所定の時間間隔で繰り返し行われる。
　また、三次元データ作成装置８１０は、現在の送信対象の空間の三次元データ８３５と、三次元地図とに差がない場合には、空間の三次元データ８３７を送信しなくてもよい。
　本実施の形態では、クライアント装置は、サーバ又は他のクライアント装置にセンサで得られたセンサ情報を送信する。
　まず、本実施の形態に係るシステムの構成を説明する。図１２１は、本実施の形態に係る三次元マップ及びセンサ情報の送受信システムの構成を示す図である。このシステムは、サーバ９０１と、クライアント装置９０２Ａ及び９０２Ｂを含む。なお、クライアント装置９０２Ａ及び９０２Ｂを特に区別しない場合には、クライアント装置９０２とも記す。
　クライアント装置９０２は、例えば、車両等の移動体に搭載される車載機器である。サーバ９０１は、例えば、交通監視クラウド等であり、複数のクライアント装置９０２と通信可能である。
　サーバ９０１は、クライアント装置９０２に、ポイントクラウドから構成される三次元マップを送信する。なお、三次元マップの構成はポイントクラウドに限定されず、メッシュ構造等、他の三次元データを表すものであってもよい。
　クライアント装置９０２は、サーバ９０１に、クライアント装置９０２が取得したセンサ情報を送信する。センサ情報は、例えば、ＬｉＤＡＲ取得情報、可視光画像、赤外画像、デプス画像、センサ位置情報及び速度情報のうち少なくとも一つを含む。
　サーバ９０１とクライアント装置９０２との間で送受信されるデータは、データ削減のために圧縮されてもよいし、データの精度を維持するために非圧縮のままでも構わない。データを圧縮する場合、ポイントクラウドには例えば８分木構造に基づく三次元圧縮方式を用いることができる。また、可視光画像、赤外画像、及びデプス画像には二次元の画像圧縮方式を用いることできる。二次元の画像圧縮方式とは、例えば、ＭＰＥＧで規格化されたＭＰＥＧ－４　ＡＶＣ又はＨＥＶＣ等である。
　また、サーバ９０１は、クライアント装置９０２からの三次元マップの送信要求に応じてサーバ９０１で管理する三次元マップをクライアント装置９０２に送信する。なお、サーバ９０１はクライアント装置９０２からの三次元マップの送信要求を待たずに三次元マップを送信してもよい。例えば、サーバ９０１は、予め定められた空間にいる１つ以上のクライアント装置９０２に三次元マップをブロードキャストしても構わない。また、サーバ９０１は、一度送信要求を受けたクライアント装置９０２に、一定時間毎にクライアント装置９０２の位置に適した三次元マップを送信してもよい。また、サーバ９０１は、サーバ９０１が管理する三次元マップが更新される度にクライアント装置９０２に三次元マップを送信してもよい。
　クライアント装置９０２は、サーバ９０１に三次元マップの送信要求を出す。例えば、クライアント装置９０２が、走行時に自己位置推定を行いたい場合に、クライアント装置９０２は、三次元マップの送信要求をサーバ９０１に送信する。
　なお、次のような場合に、クライアント装置９０２はサーバ９０１に三次元マップの送信要求を出してもよい。クライアント装置９０２の保持する三次元マップが古い場合に、クライアント装置９０２はサーバ９０１に三次元マップの送信要求を出してもよい。例えば、クライアント装置９０２が三次元マップを取得してから一定期間が経過した場合に、クライアント装置９０２はサーバ９０１に三次元マップの送信要求を出してもよい。
　クライアント装置９０２が保持する三次元マップで示される空間から、クライアント装置９０２が外に出る一定時刻前に、クライアント装置９０２はサーバ９０１に三次元マップの送信要求を出してもよい。例えば、クライアント装置９０２が、クライアント装置９０２が保持する三次元マップで示される空間の境界から予め定められた距離以内に存在する場合に、クライアント装置９０２はサーバ９０１に三次元マップの送信要求を出してもよい。また、クライアント装置９０２の移動経路及び移動速度が把握できている場合には、これらに基づき、クライアント装置９０２が保持する三次元マップで示される空間から、クライアント装置９０２が外に出る時刻を予測してもよい。
　クライアント装置９０２がセンサ情報から作成した三次元データと三次元マップとの位置合せ時の誤差が一定以上の場合に、クライアント装置９０２はサーバ９０１に三次元マップの送信要求を出してもよい。
　クライアント装置９０２は、サーバ９０１から送信されたセンサ情報の送信要求に応じて、サーバ９０１にセンサ情報を送信する。なお、クライアント装置９０２はサーバ９０１からのセンサ情報の送信要求を待たずにセンサ情報をサーバ９０１に送ってもよい。例えば、クライアント装置９０２は、一度サーバ９０１からセンサ情報の送信要求を得た場合、一定期間の間、定期的にセンサ情報をサーバ９０１に送信してもよい。また、クライアント装置９０２は、クライアント装置９０２がセンサ情報を元に作成した三次元データと、サーバ９０１から得た三次元マップとの位置合せ時の誤差が一定以上の場合、クライアント装置９０２の周辺の三次元マップに変化が生じた可能性があると判断し、その旨とセンサ情報とをサーバ９０１に送信してもよい。
　サーバ９０１は、クライアント装置９０２にセンサ情報の送信要求を出す。例えば、サーバ９０１は、クライアント装置９０２から、ＧＰＳ等のクライアント装置９０２の位置情報を受信する。サーバ９０１は、クライアント装置９０２の位置情報に基づき、サーバ９０１が管理する三次元マップにおいて情報が少ない空間にクライアント装置９０２が近づいていると判断した場合、新たな三次元マップを生成するためにクライアント装置９０２にセンサ情報の送信要求を出す。また、サーバ９０１は、三次元マップを更新したい場合、積雪時或いは災害時などの道路状況を確認したい場合、渋滞状況、或いは事件事故状況等を確認したい場合に、センサ情報の送信要求を出してもよい。
　また、クライアント装置９０２は、サーバ９０１から受け取るセンサ情報の送信要求の受信時における通信状態又は帯域に応じて、サーバ９０１に送信するセンサ情報のデータ量を設定してもよい。サーバ９０１に送信するセンサ情報のデータ量を設定するというのは、例えば、当該データそのものを増減させること、又は圧縮方式を適宜選択することである。
　図１２２は、クライアント装置９０２の構成例を示すブロック図である。クライアント装置９０２は、サーバ９０１からポイントクラウド等で構成される三次元マップを受信し、クライアント装置９０２のセンサ情報に基づいて作成した三次元データからクライアント装置９０２の自己位置を推定する。また、クライアント装置９０２は、取得したセンサ情報をサーバ９０１に送信する。
　クライアント装置９０２は、データ受信部１０１１と、通信部１０１２と、受信制御部１０１３と、フォーマット変換部１０１４と、複数のセンサ１０１５と、三次元データ作成部１０１６と、三次元画像処理部１０１７と、三次元データ蓄積部１０１８と、フォーマット変換部１０１９と、通信部１０２０と、送信制御部１０２１と、データ送信部１０２２とを備える。
　データ受信部１０１１は、サーバ９０１から三次元マップ１０３１を受信する。三次元マップ１０３１は、ＷＬＤ又はＳＷＬＤ等のポイントクラウドを含むデータである。三次元マップ１０３１には、圧縮データ、及び非圧縮データのどちらが含まれていてもよい。
　通信部１０１２は、サーバ９０１と通信し、データ送信要求（例えば、三次元マップの送信要求）などをサーバ９０１に送信する。
　受信制御部１０１３は、通信部１０１２を介して、対応フォーマット等の情報を通信先と交換し、通信先との通信を確立する。
　フォーマット変換部１０１４は、データ受信部１０１１が受信した三次元マップ１０３１にフォーマット変換等を行うことで三次元マップ１０３２を生成する。また、フォーマット変換部１０１４は、三次元マップ１０３１が圧縮又は符号化されている場合には、伸張又は復号処理を行う。なお、フォーマット変換部１０１４は、三次元マップ１０３１が非圧縮データであれば、伸張又は復号処理を行わない。
　複数のセンサ１０１５は、ＬｉＤＡＲ、可視光カメラ、赤外線カメラ、又はデプスセンサなど、クライアント装置９０２が搭載されている車両の外部の情報を取得するセンサ群であり、センサ情報１０３３を生成する。例えば、センサ情報１０３３は、センサ１０１５がＬｉＤＡＲなどのレーザセンサである場合、ポイントクラウド（点群データ）等の三次元データである。なお、センサ１０１５は複数でなくてもよい。
　三次元データ作成部１０１６は、センサ情報１０３３に基づいて自車両の周辺の三次元データ１０３４を作成する。例えば、三次元データ作成部１０１６は、ＬｉＤＡＲで取得した情報と、可視光カメラで得られた可視光映像とを用いて自車両の周辺の色情報付きのポイントクラウドデータを作成する。
　三次元画像処理部１０１７は、受信したポイントクラウド等の三次元マップ１０３２と、センサ情報１０３３から生成した自車両の周辺の三次元データ１０３４とを用いて、自車両の自己位置推定処理等を行う。なお、三次元画像処理部１０１７は、三次元マップ１０３２と三次元データ１０３４とを合成することで自車両の周辺の三次元データ１０３５を作成し、作成した三次元データ１０３５を用いて自己位置推定処理を行ってもよい。
　三次元データ蓄積部１０１８は、三次元マップ１０３２、三次元データ１０３４及び三次元データ１０３５等を蓄積する。
　フォーマット変換部１０１９は、センサ情報１０３３を、受信側が対応しているフォーマットへ変換することでセンサ情報１０３７を生成する。なお、フォーマット変換部１０１９は、センサ情報１０３７を圧縮又は符号化することでデータ量を削減してもよい。また、フォーマット変換部１０１９は、フォーマット変換をする必要がない場合は処理を省略してもよい。また、フォーマット変換部１０１９は、送信範囲の指定に応じて送信するデータ量を制御してもよい。
　通信部１０２０は、サーバ９０１と通信し、データ送信要求（センサ情報の送信要求）などをサーバ９０１から受信する。
　送信制御部１０２１は、通信部１０２０を介して、対応フォーマット等の情報を通信先と交換し、通信を確立する。
　データ送信部１０２２は、センサ情報１０３７をサーバ９０１に送信する。センサ情報１０３７は、例えば、ＬｉＤＡＲで取得した情報、可視光カメラで取得した輝度画像、赤外線カメラで取得した赤外画像、デプスセンサで取得したデプス画像、センサ位置情報、及び速度情報など、複数のセンサ１０１５によって取得した情報を含む。
　次に、サーバ９０１の構成を説明する。図１２３は、サーバ９０１の構成例を示すブロック図である。サーバ９０１は、クライアント装置９０２から送信されたセンサ情報を受信し、受信したセンサ情報に基づいて三次元データを作成する。サーバ９０１は、作成した三次元データを用いて、サーバ９０１が管理する三次元マップを更新する。また、サーバ９０１は、クライアント装置９０２からの三次元マップの送信要求に応じて、更新した三次元マップをクライアント装置９０２に送信する。
　サーバ９０１は、データ受信部１１１１と、通信部１１１２と、受信制御部１１１３と、フォーマット変換部１１１４と、三次元データ作成部１１１６と、三次元データ合成部１１１７と、三次元データ蓄積部１１１８と、フォーマット変換部１１１９と、通信部１１２０と、送信制御部１１２１と、データ送信部１１２２とを備える。
　データ受信部１１１１は、クライアント装置９０２からセンサ情報１０３７を受信する。センサ情報１０３７は、例えば、ＬｉＤＡＲで取得した情報、可視光カメラで取得した輝度画像、赤外線カメラで取得した赤外画像、デプスセンサで取得したデプス画像、センサ位置情報、及び速度情報などを含む。
　通信部１１１２は、クライアント装置９０２と通信し、データ送信要求（例えば、センサ情報の送信要求）などをクライアント装置９０２に送信する。
　受信制御部１１１３は、通信部１１１２を介して、対応フォーマット等の情報を通信先と交換し、通信を確立する。
　フォーマット変換部１１１４は、受信したセンサ情報１０３７が圧縮又は符号化されている場合には、伸張又は復号処理を行うことでセンサ情報１１３２を生成する。なお、フォーマット変換部１１１４は、センサ情報１０３７が非圧縮データであれば、伸張又は復号処理を行わない。
　三次元データ作成部１１１６は、センサ情報１１３２に基づいてクライアント装置９０２の周辺の三次元データ１１３４を作成する。例えば、三次元データ作成部１１１６は、ＬｉＤＡＲで取得した情報と、可視光カメラで得られた可視光映像とを用いてクライアント装置９０２の周辺の色情報付ポイントクラウドデータを作成する。
　三次元データ合成部１１１７は、センサ情報１１３２を元に作成した三次元データ１１３４を、サーバ９０１が管理する三次元マップ１１３５に合成することで三次元マップ１１３５を更新する。
　三次元データ蓄積部１１１８は、三次元マップ１１３５等を蓄積する。
　フォーマット変換部１１１９は、三次元マップ１１３５を、受信側が対応しているフォーマットへ変換することで三次元マップ１０３１を生成する。なお、フォーマット変換部１１１９は、三次元マップ１１３５を圧縮又は符号化することでデータ量を削減してもよい。また、フォーマット変換部１１１９は、フォーマット変換をする必要がない場合は処理を省略してもよい。また、フォーマット変換部１１１９は、送信範囲の指定に応じて送信するデータ量を制御してもよい。
　通信部１１２０は、クライアント装置９０２と通信し、データ送信要求（三次元マップの送信要求）などをクライアント装置９０２から受信する。
　送信制御部１１２１は、通信部１１２０を介して、対応フォーマット等の情報を通信先と交換し、通信を確立する。
　データ送信部１１２２は、三次元マップ１０３１をクライアント装置９０２に送信する。三次元マップ１０３１は、ＷＬＤ又はＳＷＬＤ等のポイントクラウドを含むデータである。三次元マップ１０３１には、圧縮データ、及び非圧縮データのどちらが含まれていてもよい。
　次に、クライアント装置９０２の動作フローについて説明する。図１２４は、クライアント装置９０２による三次元マップ取得時の動作を示すフローチャートである。
　まず、クライアント装置９０２は、サーバ９０１へ三次元マップ（ポイントクラウド等）の送信を要求する（Ｓ１００１）。このとき、クライアント装置９０２は、ＧＰＳ等で得られたクライアント装置９０２の位置情報を合わせて送信することで、その位置情報に関連する三次元マップの送信をサーバ９０１に要求してもよい。
　次に、クライアント装置９０２は、サーバ９０１から三次元マップを受信する（Ｓ１００２）。受信した三次元マップが圧縮データであれば、クライアント装置９０２は、受信した三次元マップを復号して非圧縮の三次元マップを生成する（Ｓ１００３）。
　次に、クライアント装置９０２は、複数のセンサ１０１５で得られたセンサ情報１０３３からクライアント装置９０２の周辺の三次元データ１０３４を作成する（Ｓ１００４）。次に、クライアント装置９０２は、サーバ９０１から受信した三次元マップ１０３２と、センサ情報１０３３から作成した三次元データ１０３４とを用いてクライアント装置９０２の自己位置を推定する（Ｓ１００５）。
　図１２５は、クライアント装置９０２によるセンサ情報の送信時の動作を示すフローチャートである。まず、クライアント装置９０２は、サーバ９０１からセンサ情報の送信要求を受信する（Ｓ１０１１）。送信要求を受信したクライアント装置９０２は、センサ情報１０３７をサーバ９０１に送信する（Ｓ１０１２）。なお、クライアント装置９０２は、センサ情報１０３３が複数のセンサ１０１５で得られた複数の情報を含む場合、各情報を、各情報に適した圧縮方式で圧縮することでセンサ情報１０３７を生成してもよい。
　次に、サーバ９０１の動作フローについて説明する。図１２６は、サーバ９０１によるセンサ情報の取得時の動作を示すフローチャートである。まず、サーバ９０１は、クライアント装置９０２へセンサ情報の送信を要求する（Ｓ１０２１）。次に、サーバ９０１は、当該要求に応じてクライアント装置９０２から送信されたセンサ情報１０３７を受信する（Ｓ１０２２）。次に、サーバ９０１は、受信したセンサ情報１０３７を用いて三次元データ１１３４を作成する（Ｓ１０２３）。次に、サーバ９０１は、作成した三次元データ１１３４を三次元マップ１１３５に反映する（Ｓ１０２４）。
　図１２７は、サーバ９０１による三次元マップの送信時の動作を示すフローチャートである。まず、サーバ９０１は、クライアント装置９０２から三次元マップの送信要求を受信する（Ｓ１０３１）。三次元マップの送信要求を受信したサーバ９０１は、クライアント装置９０２へ三次元マップ１０３１を送信する（Ｓ１０３２）。このとき、サーバ９０１は、クライアント装置９０２の位置情報に合わせてその付近の三次元マップを抽出し、抽出した三次元マップを送信してもよい。また、サーバ９０１は、ポイントクラウドで構成される三次元マップを、例えば８分木構造による圧縮方式等を用いて圧縮し、圧縮後の三次元マップを送信してもよい。
　以下、本実施の形態の変形例について説明する。
　サーバ９０１は、クライアント装置９０２から受信したセンサ情報１０３７を用いてクライアント装置９０２の位置付近の三次元データ１１３４を作成する。次に、サーバ９０１は、作成した三次元データ１１３４と、サーバ９０１が管理する同エリアの三次元マップ１１３５とのマッチングを行うことによって、三次元データ１１３４と三次元マップ１１３５との差分を算出する。サーバ９０１は、差分が予め定められた閾値以上の場合は、クライアント装置９０２の周辺で何らかの異常が発生したと判断する。例えば、地震等の自然災害によって地盤沈下等が発生した際などに、サーバ９０１が管理する三次元マップ１１３５と、センサ情報１０３７を基に作成した三次元データ１１３４との間に大きな差が発生することが考えられる。
　センサ情報１０３７は、センサの種類、センサの性能、及びセンサの型番のうち少なくとも一つを示す情報を含んでもよい。また、センサ情報１０３７に、センサの性能に応じたクラスＩＤ等が付加されてもよい。例えば、センサ情報１０３７がＬｉＤＡＲで取得された情報である場合、数ｍｍ単位の精度で情報を取得できるセンサをクラス１、数ｃｍ単位の精度で情報を取得できるセンサをクラス２、数ｍ単位の精度で情報を取得できるセンサをクラス３のように、センサの性能に識別子を割り当てることが考えられる。また、サーバ９０１は、センサの性能情報等を、クライアント装置９０２の型番から推定してもよい。例えば、クライアント装置９０２が車両に搭載されている場合、サーバ９０１は、当該車両の車種からセンサのスペック情報を判断してもよい。この場合、サーバ９０１は、車両の車種の情報を事前に取得していてもよいし、センサ情報に、当該情報が含まれてもよい。また、サーバ９０１は取得したセンサ情報１０３７を用いて、センサ情報１０３７を用いて作成した三次元データ１１３４に対する補正の度合いを切り替えてもよい。例えば、センサ性能が高精度（クラス１）である場合、サーバ９０１は、三次元データ１１３４に対する補正を行わない。センサ性能が低精度（クラス３）である場合、サーバ９０１は、三次元データ１１３４に、センサの精度に応じた補正を適用する。例えば、サーバ９０１は、センサの精度が低いほど補正の度合い（強度）を強くする。
　サーバ９０１は、ある空間にいる複数のクライアント装置９０２に同時にセンサ情報の送信要求を出してもよい。サーバ９０１は、複数のクライアント装置９０２から複数のセンサ情報を受信した場合に、全てのセンサ情報を三次元データ１１３４の作成に利用する必要はなく、例えば、センサの性能に応じて、利用するセンサ情報を選択してもよい。例えば、サーバ９０１は、三次元マップ１１３５を更新する場合、受信した複数のセンサ情報の中から高精度なセンサ情報（クラス１）を選別し、選別したセンサ情報を用いて三次元データ１１３４を作成してもよい。
　サーバ９０１は、交通監視クラウド等のサーバのみに限定されず、他のクライアント装置（車載）であってもよい。図１２８は、この場合のシステム構成を示す図である。
　例えば、クライアント装置９０２Ｃが近くにいるクライアント装置９０２Ａにセンサ情報の送信要求を出し、クライアント装置９０２Ａからセンサ情報を取得する。そして、クライアント装置９０２Ｃは、取得したクライアント装置９０２Ａのセンサ情報を用いて三次元データを作成し、クライアント装置９０２Ｃの三次元マップを更新する。これにより、クライアント装置９０２Ｃは、クライアント装置９０２Ａから取得可能な空間の三次元マップを、クライアント装置９０２Ｃの性能を活かして生成できる。例えば、クライアント装置９０２Ｃの性能が高い場合に、このようなケースが発生すると考えられる。
　また、この場合、センサ情報を提供したクライアント装置９０２Ａは、クライアント装置９０２Ｃが生成した高精度な三次元マップを取得する権利が与えられる。クライアント装置９０２Ａは、その権利に従ってクライアント装置９０２Ｃから高精度な三次元マップを受信する。
　また、クライアント装置９０２Ｃは近くにいる複数のクライアント装置９０２（クライアント装置９０２Ａ及びクライアント装置９０２Ｂ）にセンサ情報の送信要求を出してもよい。クライアント装置９０２Ａ又はクライアント装置９０２Ｂのセンサが高性能である場合には、クライアント装置９０２Ｃは、この高性能なセンサで得られたセンサ情報を用いて三次元データを作成できる。
　図１２９は、サーバ９０１及びクライアント装置９０２の機能構成を示すブロック図である。サーバ９０１は、例えば、三次元マップを圧縮及び復号する三次元マップ圧縮／復号処理部１２０１と、センサ情報を圧縮及び復号するセンサ情報圧縮／復号処理部１２０２とを備える。
　クライアント装置９０２は、三次元マップ復号処理部１２１１と、センサ情報圧縮処理部１２１２とを備える。三次元マップ復号処理部１２１１は、圧縮された三次元マップの符号化データを受信し、符号化データを復号して三次元マップを取得する。センサ情報圧縮処理部１２１２は、取得したセンサ情報から作成した三次元データの代わりに、センサ情報そのものを圧縮し、圧縮したセンサ情報の符号化データをサーバ９０１へ送信する。この構成により、クライアント装置９０２は、三次元マップ（ポイントクラウド等）を復号する処理を行う処理部（装置又はＬＳＩ）を内部に保持すればよく、三次元マップ（ポイントクラウド等）の三次元データを圧縮する処理を行う処理部を内部に保持する必要がない。これにより、クライアント装置９０２のコスト及び消費電力等を抑えることができる。
　以上のように、本実施の形態に係るクライアント装置９０２は、移動体に搭載され、移動体に搭載されたセンサ１０１５により得られた、移動体の周辺状況を示すセンサ情報１０３３から、移動体の周辺の三次元データ１０３４を作成する。クライアント装置９０２は、作成された三次元データ１０３４を用いて移動体の自己位置を推定する。クライアント装置９０２は、取得したセンサ情報１０３３をサーバ９０１又は他のクライアント装置９０２に送信する。
　これによれば、クライアント装置９０２は、センサ情報１０３３をサーバ９０１等に送信する。これにより、三次元データを送信する場合に比べて、送信データのデータ量を削減できる可能性がある。また、三次元データの圧縮又は符号化等の処理をクライアント装置９０２で行う必要がないので、クライアント装置９０２の処理量を削減できる。よって、クライアント装置９０２は、伝送されるデータ量の削減、又は、装置の構成の簡略化を実現できる。
　また、クライアント装置９０２は、さらに、サーバ９０１に三次元マップの送信要求を送信し、サーバ９０１から三次元マップ１０３１を受信する。クライアント装置９０２は、自己位置の推定では、三次元データ１０３４と三次元マップ１０３２とを用いて、自己位置を推定する。
　また、センサ情報１０３３は、レーザセンサで得られた情報、輝度画像、赤外画像、デプス画像、センサの位置情報、及びセンサの速度情報のうち少なくとも一つを含む。
　また、センサ情報１０３３は、センサの性能を示す情報を含む。
　また、クライアント装置９０２は、センサ情報１０３３を符号化又は圧縮し、センサ情報の送信では、符号化又は圧縮後のセンサ情報１０３７を、サーバ９０１又は他のクライアント装置９０２に送信する。これによれば、クライアント装置９０２は、伝送されるデータ量を削減できる。
　例えば、クライアント装置９０２は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
　また、本実施の形態に係るサーバ９０１は、移動体に搭載されるクライアント装置９０２と通信可能であり、移動体に搭載されたセンサ１０１５により得られた、移動体の周辺状況を示すセンサ情報１０３７をクライアント装置９０２から受信する。サーバ９０１は、受信したセンサ情報１０３７から、移動体の周辺の三次元データ１１３４を作成する。
　これによれば、サーバ９０１は、クライアント装置９０２から送信されたセンサ情報１０３７を用いて三次元データ１１３４を作成する。これにより、クライアント装置９０２が三次元データを送信する場合に比べて、送信データのデータ量を削減できる可能性がある。また、三次元データの圧縮又は符号化等の処理をクライアント装置９０２で行う必要がないので、クライアント装置９０２の処理量を削減できる。よって、サーバ９０１は、伝送されるデータ量の削減、又は、装置の構成の簡略化を実現できる。
　また、サーバ９０１は、さらに、クライアント装置９０２にセンサ情報の送信要求を送信する。
　また、サーバ９０１は、さらに、作成された三次元データ１１３４を用いて三次元マップ１１３５を更新し、クライアント装置９０２からの三次元マップ１１３５の送信要求に応じて三次元マップ１１３５をクライアント装置９０２に送信する。
　また、センサ情報１０３７は、レーザセンサで得られた情報、輝度画像、赤外画像、デプス画像、センサの位置情報、及びセンサの速度情報のうち少なくとも一つを含む。
　また、センサ情報１０３７は、センサの性能を示す情報を含む。
　また、サーバ９０１は、さらに、センサの性能に応じて、三次元データを補正する。これによれば、当該三次元データ作成方法は、三次元データの品質を向上できる。
　また、サーバ９０１は、センサ情報の受信では、複数のクライアント装置９０２から複数のセンサ情報１０３７を受信し、複数のセンサ情報１０３７に含まれるセンサの性能を示す複数の情報に基づき、三次元データ１１３４の作成に用いるセンサ情報１０３７を選択する。これによれば、サーバ９０１は、三次元データ１１３４の品質を向上できる。
　また、サーバ９０１は、受信したセンサ情報１０３７を復号又は伸張し、復号又は伸張後のセンサ情報１１３２から、三次元データ１１３４を作成する。これによれば、サーバ９０１は、伝送されるデータ量を削減できる。
　例えば、サーバ９０１は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
　以下、変形例について説明する。図１３０は、本実施の形態に係るシステムの構成を示す図である。図１３０に示すシステムは、サーバ２００１と、クライアント装置２００２Ａと、クライアント装置２００２Ｂとを含む。
　クライアント装置２００２Ａ及びクライアント装置２００２Ｂは、車両等の移動体に搭載され、センサ情報をサーバ２００１に送信する。サーバ２００１は、三次元マップ（ポイントクラウド）をクライアント装置２００２Ａ及びクライアント装置２００２Ｂに送信する。
　クライアント装置２００２Ａは、センサ情報取得部２０１１と、記憶部２０１２と、データ送信可否判定部２０１３とを備える。なお、クライアント装置２００２Ｂの構成も同様である。また、以下ではクライアント装置２００２Ａとクライアント装置２００２Ｂとを特に区別しない場合には、クライアント装置２００２とも記載する。
　図１３１は、本実施の形態に係るクライアント装置２００２の動作を示すフローチャートである。
　センサ情報取得部２０１１は、移動体に搭載されたセンサ（センサ群）を用いて各種センサ情報を取得する。つまり、センサ情報取得部２０１１は、移動体に搭載されたセンサ（センサ群）により得られた、移動体の周辺状況を示すセンサ情報を取得する。また、センサ情報取得部２０１１は、取得したセンサ情報を記憶部２０１２に記憶する。このセンサ情報は、ＬｉＤＡＲ取得情報、可視光画像、赤外画像及びデプス画像の少なくとも一つを含む。また、センサ情報は、センサ位置情報、速度情報、取得時刻情報、及び取得場所情報の少なくとも一つを含んでもよい。センサ位置情報は、センサ情報を取得したセンサの位置を示す。速度情報は、センサがセンサ情報を取得した際の移動体の速度を示す。取得時刻情報は、センサ情報がセンサにより取得された時刻を示す。取得場所情報は、センサ情報がセンサにより取得された際の移動体又はセンサの位置を示す。
　次に、データ送信可否判定部２０１３は、移動体（クライアント装置２００２）がサーバ２００１へセンサ情報を送信可能な環境に存在するかを判定する（Ｓ２００２）。例えば、データ送信可否判定部２０１３は、ＧＰＳ等の情報を用いて、クライアント装置２００２がいる場所及び時刻を特定し、データを送信可能かどうかを判定してもよい。また、データ送信可否判定部２０１３は、特定のアクセスポイントに接続できるかどうかで、データを送信可能かどうかを判定してもよい。
　クライアント装置２００２は、移動体がサーバ２００１へセンサ情報を送信可能な環境に存在すると判定した場合（Ｓ２００２でＹｅｓ）、センサ情報をサーバ２００１に送信する（Ｓ２００３）。つまり、クライアント装置２００２がセンサ情報をサーバ２００１に送信できるような状況になった時点で、クライアント装置２００２は、保持しているセンサ情報をサーバ２００１に送信する。例えば、交差点等に高速通信が可能なミリ波のアクセスポイントが設置される。クライアント装置２００２は、交差点内に入った時点で、ミリ波通信を用いてクライアント装置２００２が保持するセンサ情報を高速にサーバ２００１に送信する。
　次に、クライアント装置２００２は、サーバ２００１に送信済みのセンサ情報を記憶部２０１２から削除する（Ｓ２００４）。なお、クライアント装置２００２は、サーバ２００１に送信していないセンサ情報が所定の条件を満たした場合に、当該センサ情報を削除してもよい。例えば、クライアント装置２００２は、保持するセンサ情報の取得時刻が現在時刻から一定時刻前より古くなった時点でそのセンサ情報を記憶部２０１２から削除してもよい。つまり、クライアント装置２００２は、センサ情報がセンサにより取得された時刻と、現在の時刻との差が、予め定められた時間を超えた場合にセンサ情報を記憶部２０１２から削除してもよい。また、クライアント装置２００２は、保持するセンサ情報の取得場所が現在地点から一定距離より離れた時点でそのセンサ情報を記憶部２０１２から削除してもよい。つまり、クライアント装置２００２は、センサ情報がセンサにより取得された際の移動体又はセンサの位置と、現在の移動体又はセンサの位置との差が、予め定められた距離を超えた場合にセンサ情報を記憶部２０１２から削除してもよい。これにより、クライアント装置２００２の記憶部２０１２の容量を抑制することができる。
　クライアント装置２００２によるセンサ情報の取得が終了していない場合（Ｓ２００５でＮｏ）、クライアント装置２００２は、ステップＳ２００１以降の処理を再度行う。また、クライアント装置２００２によるセンサ情報の取得が終了した場合（Ｓ２００５でＹｅｓ）、クライアント装置２００２は処理を終了する。
　また、クライアント装置２００２はサーバ２００１に送信するセンサ情報を通信状況に合わせて選択してもよい。例えば、クライアント装置２００２は、高速通信が可能な場合は、記憶部２０１２に保持されるサイズが大きいセンサ情報（例えばＬｉＤＡＲ取得情報等）を優先して送信する。また、クライアント装置２００２は、高速通信が難しい場合は、記憶部２０１２に保持されるサイズが小さく優先度の高いセンサ情報（例えば可視光画像）を送信する。これにより、クライアント装置２００２は記憶部２０１２に保持したセンサ情報をネットワークの状況に応じて効率的にサーバ２００１に送信できる。
　また、クライアント装置２００２は、上記現在時刻を示す時刻情報、及び、現在地点を示す場所情報をサーバ２００１から取得してもよい。また、クライアント装置２００２は、取得した時刻情報及び場所情報に基づきセンサ情報の取得時刻及び取得場所を決定してもよい。つまり、クライアント装置２００２は、サーバ２００１から時刻情報を取得し、取得した時刻情報を用いて取得時刻情報を生成してもよい。また、クライアント装置２００２は、サーバ２００１から場所情報を取得し、取得した場所情報を用いて取得場所情報を生成してもよい。
　例えば時刻情報については、サーバ２００１とクライアント装置２００２とはＮＴＰ（Ｎｅｔｗｏｒｋ　Ｔｉｍｅ　Ｐｒｏｔｏｃｏｌ）、又はＰＴＰ（Ｐｒｅｃｉｓｉｏｎ　Ｔｉｍｅ　Ｐｒｏｔｏｃｏｌ）等の仕組みを用いて時刻同期を行う。これにより、クライアント装置２００２は正確な時刻情報を取得できる。また、サーバ２００１と複数のクライアント装置との間で時刻を同期できるので、別々のクライアント装置２００２が取得したセンサ情報内の時刻を同期できる。よって、サーバ２００１は、同期された時刻を示すセンサ情報を取り扱える。なお、時刻同期の仕組みはＮＴＰ又はＰＴＰ以外のどのような方法でも構わない。また、上記時刻情報及び場所情報としてＧＰＳの情報が用いられてもよい。
　サーバ２００１は、時刻又は場所を指定して複数のクライアント装置２００２からセンサ情報を取得しても構わない。例えば何らかの事故が発生した場合に、その付近にいたクライアントを探すため、サーバ２００１は、事故発生時刻と場所を指定して複数のクライアント装置２００２にセンサ情報送信要求をブロードキャスト送信する。そして、該当する時刻と場所のセンサ情報を持つクライアント装置２００２は、サーバ２００１にセンサ情報を送信する。つまり、クライアント装置２００２は、サーバ２００１から場所及び時刻を指定する指定情報を含むセンサ情報送信要求を受信する。クライアント装置２００２は、記憶部２０１２に、指定情報で示される場所及び時刻において得られたセンサ情報が記憶されており、かつ、移動体がサーバ２００１へセンサ情報を送信可能な環境に存在すると判定した場合、指定情報で示される場所及び時刻において得られたセンサ情報をサーバ２００１に送信する。これにより、サーバ２００１は、事故の発生に関連するセンサ情報を複数のクライアント装置２００２から取得し、事故解析等に利用できる。
　なお、クライアント装置２００２は、サーバ２００１からのセンサ情報送信要求を受信した場合に、センサ情報の送信を拒否してもよい。また、複数のセンサ情報のうち、どのセンサ情報を送信可能かどうかを事前にクライアント装置２００２が設定してもよい。または、サーバ２００１は、センサ情報の送信の可否を都度クライアント装置２００２に問い合わせてもよい。
　また、サーバ２００１にセンサ情報を送信したクライアント装置２００２にはポイントが付与されてもよい。このポイントは、例えば、ガソリン購入費、ＥＶ（Ｅｌｅｃｔｒｉｃ　Ｖｅｈｉｃｌｅ）の充電費、高速道路の通行料、又はレンタカー費用などの支払いに使用できる。また、サーバ２００１は、センサ情報を取得した後、センサ情報の送信元のクライアント装置２００２を特定するための情報を削除してもよい。例えば、この情報は、クライアント装置２００２のネットワークアドレスなどの情報である。これによりセンサ情報を匿名化することができるので、クライアント装置２００２のユーザは安心して、クライアント装置２００２からセンサ情報をサーバ２００１に送信できる。また、サーバ２００１は、複数のサーバから構成されてもよい。例えば複数のサーバでセンサ情報が共有化されることで、あるサーバが故障しても他のサーバがクライアント装置２００２と通信できる。これにより、サーバ故障によるサービスの停止を回避できる。
　また、センサ情報送信要求で指定される指定場所は事故の発生位置などを示すものであり、センサ情報送信要求で指定される指定時刻におけるクライアント装置２００２の位置とは異なることがある。よって、サーバ２００１は、例えば、指定場所として周辺ＸＸｍ以内などの範囲を指定することで、当該範囲内に存在するクライアント装置２００２に対して情報取得を要求できる。指定時刻についても同様に、サーバ２００１は、ある時刻から前後Ｎ秒以内など範囲を指定してもよい。これにより、サーバ２００１は、「時刻：ｔ－Ｎからｔ＋Ｎにおいて、場所：絶対位置ＳからＸＸｍ以内」に存在していたクライアント装置２００２からセンサ情報が取得できる。クライアント装置２００２は、ＬｉＤＡＲなどの三次元データを送信する際に、時刻ｔの直後に生成したデータを送信してもよい。
　また、サーバ２００１は、指定場所として、センサ情報取得対象となるクライアント装置２００２の場所を示す情報と、センサ情報が欲しい場所とをそれぞれ別に指定してもよい。例えば、サーバ２００１は、絶対位置ＳからＹＹｍの範囲を少なくとも含むセンサ情報を、絶対位置ＳからＸＸｍ以内に存在したクライアント装置２００２から取得することを指定する。クライアント装置２００２は、送信する三次元データを選択する際には、指定された範囲のセンサ情報を少なくとも含むように、１つ以上のランダムアクセス可能な単位の三次元データを選択する。また、クライアント装置２００２は、可視光画像を送信する際は、少なくとも時刻ｔの直前又は直後のフレームを含む、時間的に連続した複数の画像データを送信してもよい。
　クライアント装置２００２が５Ｇ或いはＷｉＦｉ、又は、５Ｇにおける複数モードなど、複数の物理ネットワークをセンサ情報の送信に利用できる場合には、クライアント装置２００２は、サーバ２００１から通知された優先順位に従って利用するネットワークを選択してもよい。または、クライアント装置２００２自身が送信データのサイズに基づいて適切な帯域を確保できるネットワークを選択してもよい。または、クライアント装置２００２は、データ送信にかかる費用等に基づいて利用するネットワークを選択してもよい。また、サーバ２００１からの送信要求には、クライアント装置２００２が時刻Ｔまでに送信を開始可能な場合に送信を行う、など、送信期限を示す情報が含まれてもよい。サーバ２００１は、期限内に十分なセンサ情報が取得できなければ再度送信要求を発行してもよい。
　センサ情報は、圧縮又は非圧縮のセンサデータと共に、センサデータの特性を示すヘッダ情報を含んでもよい。クライアント装置２００２は、ヘッダ情報を、センサデータとは異なる物理ネットワーク又は通信プロトコルを介してサーバ２００１に送信してもよい。例えば、クライアント装置２００２は、センサデータの送信に先立ってヘッダ情報をサーバ２００１に送信する。サーバ２００１は、ヘッダ情報の解析結果に基づいてクライアント装置２００２のセンサデータを取得するかどうかを判断する。例えば、ヘッダ情報は、ＬｉＤＡＲの点群取得密度、仰角、或いはフレームレート、又は、可視光画像の解像度、ＳＮ比、或いはフレームレートなどを示す情報を含んでもよい。これにより、サーバ２００１は、決定した品質のセンサデータを有するクライアント装置２００２からセンサ情報を取得できる。
　以上のように、クライアント装置２００２は、移動体に搭載され、移動体に搭載されたセンサにより得られた、移動体の周辺状況を示すセンサ情報を取得し、センサ情報を記憶部２０１２に記憶する。クライアント装置２００２は、移動体がサーバ２００１へセンサ情報を送信可能な環境に存在するかを判定し、移動体がサーバへセンサ情報を送信可能な環境に存在すると判定した場合、センサ情報をサーバ２００１に送信する。
　また、クライアント装置２００２は、さらに、センサ情報から、移動体の周辺の三次元データを作成し、作成された三次元データを用いて移動体の自己位置を推定する。
　また、クライアント装置２００２は、さらに、サーバ２００１に三次元マップの送信要求を送信し、サーバ２００１から三次元マップを受信する。クライアント装置２００２は、自己位置の推定では、三次元データと三次元マップとを用いて、自己位置を推定する。
　なお、上記クライアント装置２００２による処理は、クライアント装置２００２における情報送信方法として実現されてもよい。
　また、クライアント装置２００２は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行ってもよい。
　次に、本実施の形態に係るセンサ情報収集システムについて説明する。図１３２は、本実施の形態に係るセンサ情報収集システムの構成を示す図である。図１３２に示すように本実施の形態に係るセンサ情報収集システムは、端末２０２１Ａと、端末２０２１Ｂと、通信装置２０２２Ａと、通信装置２０２２Ｂと、ネットワーク２０２３と、データ収集サーバ２０２４と、地図サーバ２０２５と、クライアント装置２０２６とを含む。なお、端末２０２１Ａ及び端末２０２１Ｂを特に区別しない場合には端末２０２１とも記載する。通信装置２０２２Ａ及び通信装置２０２２Ｂを特に区別しない場合には通信装置２０２２とも記載する。
　データ収集サーバ２０２４は、端末２０２１が備えるセンサで得られたセンサデータなどのデータを三次元空間中の位置と対応付けられた位置関連データとして収集する。
　センサデータとは、例えば、端末２０２１の周囲の状態または端末２０２１の内部の状態などを、端末２０２１が備えるセンサを用いて取得したデータである。端末２０２１は、端末２０２１と直接通信可能、又は同一の通信方式で一或いは複数の中継装置を中継して通信可能な位置にある一又は複数のセンサ機器から収集したセンサデータをデータ収集サーバ２０２４に送信する。
　位置関連データに含まれるデータは、例えば、端末自身又は端末が備える機器の動作状態、動作ログ、サービスの利用状況などを示す情報を含んでいてもよい。また、位置関連データに含まれるデータは、端末２０２１の識別子と端末２０２１の位置又は移動経路などとを対応付けた情報などを含んでもよい。
　位置関連データに含まれる、位置を示す情報は、例えば三次元地図データなどの三次元データにおける位置を示す情報と対応付けられている。位置を示す情報の詳細については後述する。
　位置関連データは、位置を示す情報である位置情報に加えて、前述した時刻情報と、位置関連データに含まれるデータの属性、又は当該データを生成したセンサの種類（例えば型番など）を示す情報とのうち少なくとも一つを含んでいてもよい。位置情報及び時刻情報は、位置関連データのヘッダ領域又は位置関連データを格納するフレームのヘッダ領域に格納されていてもよい。また、位置情報及び時刻情報は、位置関連データと対応付けられたメタデータとして位置関連データとは別に送信及び／又は格納されてもよい。
　地図サーバ２０２５は、例えば、ネットワーク２０２３に接続されており、端末２０２１などの他の装置からの要求に応じて三次元地図データなどの三次元データを送信する。また、前述した各実施の形態で説明したように、地図サーバ２０２５は、端末２０２１から送信されたセンサ情報を用いて、三次元データを更新する機能などを備えていてもよい。
　データ収集サーバ２０２４は、例えば、ネットワーク２０２３に接続されており、端末２０２１などの他の装置から位置関連データを収集し、収集した位置関連データを内部又は他のサーバ内の記憶装置に格納する。また、データ収集サーバ２０２４は、収集した位置関連データ又は位置関連データに基づいて生成した三次元地図データのメタデータなどを、端末２０２１からの要求に応じて端末２０２１に対して送信する。
　ネットワーク２０２３は、例えばインターネットなどの通信ネットワークである。端末２０２１は、通信装置２０２２を介してネットワーク２０２３に接続されている。通信装置２０２２は、一つの通信方式、又は複数の通信方式を切り替えながら端末２０２１と通信を行う。通信装置２０２２は、例えば、（１）ＬＴＥ（Ｌｏｎｇ　Ｔｅｒｍ　Ｅｖｏｌｕｔｉｏｎ）などの基地局、（２）ＷｉＦｉ或いはミリ波通信などのアクセスポイント（ＡＰ）、（３）ＳＩＧＦＯＸ、ＬｏＲａＷＡＮ或いはＷｉ－ＳＵＮなどのＬＰＷＡ（Ｌｏｗ　Ｐｏｗｅｒ　Ｗｉｄｅ　Ａｒｅａ）　Ｎｅｔｗｏｒｋのゲートウェイ、又は、（４）ＤＶＢ－Ｓ２などの衛星通信方式を用いて通信を行う通信衛星である。
　なお、基地局は、ＮＢ－ＩｏＴ（Ｎａｒｒｏｗ　Ｂａｎｄ－ＩｏＴ）又はＬＴＥ－ＭなどのＬＰＷＡに分類される方式で端末２０２１との通信を行っていてもよいし、これらの方式を切り替えながら端末２０２１との通信を行っていてもよい。
　ここでは、端末２０２１が２種類の通信方式を用いる通信装置２０２２と通信する機能を備え、これらの通信方式のいずれかを用いて、またはこれらの複数の通信方式及び直接の通信相手となる通信装置２０２２を切り替えながら地図サーバ２０２５又はデータ収集サーバ２０２４と通信を行う場合を例に挙げるが、センサ情報収集システム及び端末２０２１の構成はこれに限らない。例えば、端末２０２１は、複数の通信方式での通信機能を有さず、いずれか一つの通信方式で通信を行う機能を備えてもよい。また、端末２０２１は、３つ以上の通信方式に対応していてもよい。また、端末２０２１ごとに対応する通信方式が異なっていてもよい。
　端末２０２１は、例えば図１２２に示したクライアント装置９０２の構成を備える。端末２０２１は、受信した三次元データを用いて自己位置などの位置推定を行う。また、端末２０２１は、センサから取得したセンサデータと位置推定の処理により得られた位置情報とを対応付けて位置関連データを生成する。
　位置関連データに付加される位置情報は、例えば、三次元データで用いられている座標系における位置を示す。例えば、位置情報は、緯度及び経度の値で表される座標値である。このとき、端末２０２１は、座標値と共に当該座標値の基準となる座標系、及び位置推定に用いた三次元データを示す情報を位置情報に含めてもよい。また、座標値は高度の情報を含んでいてもよい。
　また、位置情報は、前述した三次元データの符号化に用いることができるデータの単位又は空間の単位に対応付けられていてもよい。この単位とは、例えば、ＷＬＤ、ＧＯＳ、ＳＰＣ、ＶＬＭ、又はＶＸＬなどである。このとき、位置情報は、例えば位置関連データに対応するＳＰＣなどのデータ単位を特定するための識別子で表現される。なお、位置情報は、ＳＰＣなどのデータ単位を特定するための識別子に加えて、当該ＳＰＣなどのデータ単位を含む三次元空間を符号化した三次元データを示す情報、又は当該ＳＰＣ内での詳細な位置を示す情報などを含んでいてもよい。三次元データを示す情報とは、例えば、当該三次元データのファイル名である。
　このように、当該システムは、三次元データを用いた位置推定に基づく位置情報と対応付けた位置関連データを生成することにより、ＧＰＳを用いて取得されたクライアント装置（端末２０２１）の自己位置に基づく位置情報をセンサ情報に付加する場合よりも精度の高い位置情報をセンサ情報に付与することができる。その結果、位置関連データを他の装置が他のサービスにおいて利用する場合においても、同じ三次元データに基づいて位置推定を行うことで、位置関連データに対応する位置を実空間でより正確に特定できる可能性がある。
　なお、本実施の形態では、端末２０２１から送信されるデータが位置関連データの場合を例に挙げて説明したが、端末２０２１から送信されるデータは位置情報と関連付けられていないデータであってもよい。すなわち、他の実施の形態で説明した三次元データ又はセンサデータの送受信が本実施の形態で説明したネットワーク２０２３を介して行われてもよい。
　次に、三次元又は二次元の実空間又は地図空間における位置を示す位置情報の異なる例について説明する。位置関連データに付加される位置情報は、三次元データ中の特徴点に対する相対位置を示す情報であってもよい。ここで、位置情報の基準となる特徴点は、例えばＳＷＬＤとして符号化され、三次元データとして端末２０２１に通知された特徴点である。
　特徴点に対する相対位置を示す情報は、例えば、特徴点から位置情報が示す点までのベクトルで表され、特徴点から位置情報が示す点までの方向と距離を示す情報であってもよい。または、特徴点に対する相対位置を示す情報は、特徴点から位置情報が示す点までのＸ軸、Ｙ軸、Ｚ軸のそれぞれの変位量を示す情報であってもよい。また、特徴点に対する相対位置を示す情報は、３以上の特徴点のそれぞれから位置情報が示す点までの距離を示す情報であってもよい。なお、相対位置は、各特徴点を基準として表現された位置情報が示す点の相対位置ではなく、位置情報が示す点を基準として表現された各特徴点の相対位置であってもよい。特徴点に対する相対位置に基づく位置情報の一例は、基準となる特徴点を特定するための情報と、当該特徴点に対する位置情報が示す点の相対位置を示す情報とを含む。また、特徴点に対する相対位置を示す情報が三次元データとは別に提供される場合、特徴点に対する相対位置を示す情報は、相対位置の導出に用いた座標軸、三次元データの種類を示す情報、又は／及び相対位置を示す情報の値の単位量あたりの大きさ（縮尺など）を示す情報などを含んでいてもよい。
　また、位置情報は、複数の特徴点について、各特徴点に対する相対位置を示す情報を含んでいてもよい。位置情報を複数の特徴点に対する相対位置で表した場合、実空間において当該位置情報が示す位置を特定しようとする端末２０２１は、特徴点ごとにセンサデータから推定した当該特徴点の位置から位置情報が示す位置の候補点を算出し、算出された複数の候補点を平均して求めた点を位置情報が示す点であると判定してもよい。この構成によると、センサデータから特徴点の位置を推定する際の誤差の影響を軽減できるため、実空間における位置情報が示す点の推定精度を向上できる。また、位置情報が複数の特徴点に対する相対位置を示す情報を含む場合、端末２０２１が備えるセンサの種類又は性能などの制約で検出できない特徴点がある場合であっても、複数の特徴点のいずれか一つでも検出することができれば位置情報が示す点の値を推定することが可能となる。
　特徴点として、センサデータから特定可能な点を用いことができる。センサデータから特定可能な点とは、例えば、前述した三次元特徴量又は可視光データの特徴量が閾値以上であるなど特徴点検出用の所定の条件を満たす点又は領域内の点である。
　また、実空間に設置されたマーカなどを特徴点として用いてもよい。この場合、マーカは、ＬｉＤＥＲ又はカメラなどのセンサを用いて取得されたデータから検出及び位置の特定が可能であればよい。例えば、マーカは、色或いは輝度値（反射率）の変化、又は、三次元形状（凹凸など）で表現される。また、当該マーカの位置を示す座標値、又は当該マーカの識別子から生成された二次元コード又はバーコードなどが用いられてもよい。
　また、光信号を送信する光源をマーカとして用いてもよい。光信号の光源をマーカとして用いる場合、座標値又は識別子などの位置を取得するための情報だけでなく、その他のデータが光信号により送信されてもよい。例えば、光信号は、当該マーカの位置に応じたサービスのコンテンツ、コンテンツを取得するためのｕｒｌなどのアドレス、又はサービスの提供を受けるための無線通信装置の識別子と、当該無線通信装置と接続するための無線通信方式などを示す情報を含んでもよい。光通信装置（光源）をマーカとして用いることで、位置を示す情報以外のデータの送信が容易になると共に、当該データを動的に切り替えることが可能となる。
　端末２０２１は、互いに異なるデータ間での特徴点の対応関係を、例えば、データ間で共通に用いられる識別子、又は、データ間の特徴点の対応関係を示す情報或いはテーブルを用いて把握する。また、特徴点間の対応関係を示す情報がない場合、端末２０２１は、一方の三次元データにおける特徴点の座標を他方の三次元データ空間上の位置に変換した場合に最も近い距離にある特徴点を対応する特徴点であると判定してもよい。
　以上で説明した相対位置に基づく位置情報を用いた場合、互いに異なる三次元データを用いる端末２０２１又はサービス間であっても、各三次元データに含まれる、又は各三次元データと対応付けられた共通の特徴点を基準に位置情報が示す位置を特定、又は推定することができる。その結果、互いに異なる三次元データを用いる端末２０２１又はサービス間で、同じ位置をより高い精度で特定又は推定することが可能となる。
　また、互いに異なる座標系を用いて表現された地図データ又は三次元データを用いる場合であっても、座標系の変換に伴う誤差の影響を低減できるため、より高精度な位置情報に基づくサービスの連携が可能となる。
　以下、データ収集サーバ２０２４が提供する機能の例について説明する。データ収集サーバ２０２４は、受信した位置関連データを他のデータサーバに転送してもよい。データサーバが複数ある場合、データ収集サーバ２０２４は、受信した位置関連データをどのデータサーバに転送するかを判定して、転送先として判定されたデータサーバ宛に位置関連データを転送する。
　データ収集サーバ２０２４は、転送先の判定を、例えば、データ収集サーバ２０２４に事前に設定された転送先サーバの判定ルールに基づいて行う。転送先サーバの判定ルールとは、例えば、各端末２０２１に対応付けられた識別子と転送先のデータサーバとを対応付けた転送先テーブルなどで設定される。
　端末２０２１は、送信する位置関連データに対して当該端末２０２１に対応付けられた識別子を付加してデータ収集サーバ２０２４に送信する。データ収集サーバ２０２４は、位置関連データに付加された識別子に対応する転送先のデータサーバを転送先テーブルなどを用いた転送先サーバの判定ルールに基づいて特定し、当該位置関連データを特定されたデータサーバに送信する。また、転送先サーバの判定ルールは、位置関連データが取得された時間又は場所などを用いた判定条件で指定されてもよい。ここで、上述した送信元の端末２０２１に対応付けられた識別子とは、例えば各端末２０２１に固有の識別子、又は端末２０２１が属するグループを示す識別子などである。
　また、転送先テーブルは、送信元の端末に対応付けられた識別子と転送先のデータサーバとを直接対応付けたものでなくてもよい。例えば、データ収集サーバ２０２４は、端末２０２１に固有の識別子毎に付与されたタグ情報を格納した管理テーブルと、当該タグ情報と転送先のデータサーバを対応付けた転送先テーブルとを保持する。データ収集サーバ２０２４は、管理テーブルと転送先テーブルとを用いてタグ情報に基づく転送先のデータサーバを判定してもよい。ここで、タグ情報は、例えば当該識別子に対応する端末２０２１の種類、型番、所有者、所属するグループ又はその他の識別子に付与された管理用の制御情報又はサービス提供用の制御情報である。また、転送先テーブルに、送信元の端末２０２１に対応付けられた識別子の代わりに、センサ毎に固有の識別子が用いられてもよい。また、転送先サーバの判定ルールは、クライアント装置２０２６から設定できてもよい。
　データ収集サーバ２０２４は、複数のデータサーバを転送先として判定し、受信した位置関連データを当該複数のデータサーバに転送してもよい。この構成によると、例えば、位置関連データを自動的にバックアップする場合、又は位置関連データを異なるサービスで共通に利用するために、各サービスを提供するためのデータサーバに対して位置関連データを送信する必要がある場合に、データ収集サーバ２０２４に対する設定を変更ことで意図通りのデータの転送を実現できる。その結果、個別の端末２０２１に位置関連データの送信先を設定する場合と比較して、システムの構築及び変更に要する工数を削減することができる。
　データ収集サーバ２０２４は、データサーバから受信した転送要求信号に応じて、転送要求信号で指定されたデータサーバを新たな転送先として登録し、以降に受信した位置関連データを当該データサーバに転送してもよい。
　データ収集サーバ２０２４は、端末２０２１から受信した位置関連データを記録装置に保存し、端末２０２１又はデータサーバから受信した送信要求信号に応じて、送信要求信号で指定された位置関連データを、要求元の端末２０２１又はデータサーバに送信してもよい。
　データ収集サーバ２０２４は、要求元のデータサーバ又は端末２０２１に対する位置関連データの提供の可否を判断し、提供可能と判断された場合に要求元のデータサーバ又は端末２０２１に位置関連データの転送又は送信を行ってもよい。
　クライアント装置２０２６から現在の位置関連データの要求を受け付けた場合、端末２０２１による位置関連データの送信タイミングでなくても、データ収集サーバ２０２４が端末２０２１に対して位置関連データの送信要求を行い、端末２０２１が当該送信要求に応じて位置関連データを送信してもよい。
　上記の説明では、端末２０２１がデータ収集サーバ２０２４に対して位置情報データを送信するとしたが、データ収集サーバ２０２４は、例えば、端末２０２１を管理する機能など、端末２０２１から位置関連データを収集するために必要な機能又は端末２０２１から位置関連データを収集する際に用いられる機能などを備えてもよい。
　データ収集サーバ２０２４は、端末２０２１に対して位置情報データの送信を要求するデータ要求信号を送信し、位置関連データを収集する機能を備えてもよい。
　データ収集サーバ２０２４には、データ収集の対象となる端末２０２１と通信を行うためのアドレス又は端末２０２１固有の識別子などの管理情報が事前に登録されている。データ収集サーバ２０２４は、登録されている管理情報に基づいて端末２０２１から位置関連データを収集する。管理情報は、端末２０２１が備えるセンサの種類、端末２０２１が備えるセンサの数、及び端末２０２１が対応する通信方式などの情報を含んでいてもよい。
　データ収集サーバ２０２４は、端末２０２１の稼働状態又は現在位置などの情報を端末２０２１から収集してもよい。
　管理情報の登録は、クライアント装置２０２６から行われてもよいし、端末２０２１が登録要求をデータ収集サーバ２０２４に送信することで、登録のための処理が開始されてもよい。データ収集サーバ２０２４は、端末２０２１との間の通信を制御する機能を備えてもよい。
　データ収集サーバ２０２４と端末２０２１とを結ぶ通信は、ＭＮＯ（Ｍｏｂｉｌｅ　Ｎｅｔｗｏｒｋ　Ｏｐｅｒａｔｏｒ）、或いはＭＶＮＯ（Ｍｏｂｉｌｅ　Ｖｉｒｔｕａｌ　Ｎｅｔｗｏｒｋ　Ｏｐｅｒａｔｏｒ）などのサービス事業者が提供する専用回線、又は、ＶＰＮ（Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）で構成された仮想の専用回線などであってもよい。この構成によると、端末２０２１とデータ収集サーバ２０２４との間の通信を安全に行うことができる。
　データ収集サーバ２０２４は、端末２０２１を認証する機能、又は端末２０２１との間で送受信されるデータを暗号化する機能を備えてもよい。ここで、端末２０２１の認証の処理又はデータの暗号化の処理は、データ収集サーバ２０２４と端末２０２１との間で事前に共有された、端末２０２１に固有の識別子又は複数の端末２０２１を含む端末グループに固有の識別子などを用いて行われる。この識別子とは、例えば、ＳＩＭ（Ｓｕｂｓｃｒｉｂｅｒ　Ｉｄｅｎｔｉｔｙ　Ｍｏｄｕｌｅ）カードに格納された固有の番号であるＩＭＳＩ（Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｍｏｂｉｌｅ　Ｓｕｂｓｃｒｉｂｅｒ　Ｉｄｅｎｔｉｔｙ）などである。認証処理に用いられる識別子とデータの暗号化処理に用いる識別子とは、同じであってもよいし、異なっていてもよい。
　データ収集サーバ２０２４と端末２０２１との間の認証又はデータの暗号化の処理は、データ収集サーバ２０２４と端末２０２１との両方が当該処理を実施する機能を備えていれば提供可能であり、中継を行う通信装置２０２２が用いる通信方式に依存しない。よって、端末２０２１が通信方式を用いるかを考慮することなく、共通の認証又は暗号化の処理を用いることができるので、ユーザのシステム構築の利便性が向上する。ただし、中継を行う通信装置２０２２が用いる通信方式に依存しないとは、通信方式に応じて変更することが必須ではないことを意味している。つまり、伝送効率の向上又は安全性の確保の目的で、中継装置が用いる通信方式に応じてデータ収集サーバ２０２４と端末２０２１との間の認証又はデータの暗号化の処理が切り替えられてもよい。
　データ収集サーバ２０２４は、端末２０２１から収集する位置関連データの種類及びデータ収集のスケジュールなどのデータ収集ルールを管理するＵＩをクライアント装置２０２６に提供してもよい。これにより、ユーザはクライアント装置２０２６を用いてデータを収集する端末２０２１、並びに、データの収集時間及び頻度などを指定できる。また、データ収集サーバ２０２４は、データを収集したい地図上の領域などを指定し、当該領域に含まれる端末２０２１から位置関連データを収集してもよい。
　データ収集ルールを端末２０２１単位で管理する場合、クライアント装置２０２６は、例えば、管理対象となる端末２０２１又はセンサのリストを画面に提示する。ユーザはリストの項目毎にデータの収集の要否又は収集スケジュールなどを設定する。
　データを収集したい地図上の領域などを指定する場合、クライアント装置２０２６は、例えば、管理対象となる地域の二次元又は三次元の地図を画面に提示する。ユーザは、表示された地図上でデータを収集する領域を選択する。地図上で選択される領域は、地図上で指定された点を中心とする円形又は矩形の領域であってもよいし、ドラッグ動作で特定可能な円形又は矩形の領域であってもよい。また、クライアント装置２０２６は、都市、都市内のエリア、ブロック、又は主要な道路など予め設定された単位で領域を選択してもよい。また、地図を用いて領域を指定するのではなく、緯度及び経度の数値を入力して領域が設定されてもよいし、入力されたテキスト情報に基づいて導出した候補領域のリストから領域が選択されてもよい。テキスト情報は、例えば、地域、都市、又はランドマークの名前などである。
　また、ユーザが一又は複数の端末２０２１を指定して、当該端末２０２１の周囲１００メートルの範囲内などの条件を設定することで、指定領域を動的に変更しながらデータの収集が行われてもよい。
　また、クライアント装置２０２６がカメラなどのセンサを備える場合、センサデータから得られたクライアント装置２０２６の実空間での位置に基づいて地図上の領域が指定されてもよい。例えば、クライアント装置２０２６は、センサデータを用いて自己位置を推定し、推定された位置に対応する地図上の点から予め定められた距離、又はユーザが指定した距離の範囲内の領域を、データを収集する領域として指定してもよい。また、クライアント装置２０２６は、センサのセンシング領域、すなわち取得されたセンサデータに対応する領域を、データを収集する領域として指定してもよい。または、クライアント装置２０２６は、ユーザの指定したセンサデータに対応する位置に基づく領域を、データを収集する領域として指定してもよい。センサデータに対応する地図上の領域、又は位置の推定は、クライアント装置２０２６が行ってもよいし、データ収集サーバ２０２４が行ってもよい。
　地図上の領域で指定を行う場合、データ収集サーバ２０２４は、各端末２０２１の現在位置情報を収集することで、指定された領域内の端末２０２１を特定し、特定された端末２０２１に対して位置関連データの送信を要求してもよい。また、データ収集サーバ２０２４が領域内の端末２０２１を特定するのではなく、データ収集サーバ２０２４が指定された領域を示す情報を端末２０２１に送信し、端末２０２１が自身が指定された領域内にあるか否かを判定して、指定された領域内にあると判断された場合に位置関連データを送信してもよい。
　データ収集サーバ２０２４は、クライアント装置２０２６が実行するアプリケーションにおいて上述したＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）を提供するためのリスト又は地図などのデータをクライアント装置２０２６に送信する。データ収集サーバ２０２４は、リスト又は地図などのデータだけでなく、アプリケーションのプログラムをクライアント装置２０２６に送信してもよい。また、上述したＵＩは、ブラウザで表示可能なＨＴＭＬなどで作成されたコンテンツとして提供されてもよい。なお、地図データなど一部のデータは地図サーバ２０２５などのデータ収集サーバ２０２４以外のサーバから提供されてもよい。
　クライアント装置２０２６は、ユーザによる設定ボタンの押下など、入力が完了したことを通知する入力が行われると、入力された情報を設定情報としてデータ収集サーバ２０２４に送信する。データ収集サーバ２０２４は、クライアント装置２０２６から受信した設定情報に基づいて各端末２０２１に対して、位置関連データの要求又は位置関連データの収集ルールを通知する信号を送信し、位置関連データの収集を行う。
　次に、三次元又は二次元の地図データに付加された付加情報に基づいて端末２０２１の動作を制御する例について説明する。
　本構成では、道路又は駐車場に埋設された無線給電の給電アンテナ又は給電コイルなどの給電部の位置を示すオブジェクト情報が、三次元データに含まれて、又は三次元データに対応付けられて、車又はドローンなどである端末２０２１に提供される。
　充電を行うために当該オブジェクト情報を取得した車両又はドローンは、車両が備える充電アンテナ又は充電コイルなどの充電部の位置が、当該オブジェクト情報が示す領域と対向する位置になるよう自動運転で車両自身の位置を移動させ、充電を開始する。なお、自動運転機能を備えていない車両又はドローンの場合は、画面上に表示された画像又は音声などを利用して、移動すべき方向又は行うべき操作を運転手又は操縦者に対して提示される。そして、推定された自己位置に基づいて算出した充電部の位置が、オブジェクト情報で示された領域又は当該領域から所定の距離の範囲内に入った判断されると、運転又は操縦を中止させる内容へと提示する画像又は音声が切り替えられ、充電が開始される。
　また、オブジェクト情報は給電部の位置を示す情報ではなく、当該領域内に充電部を配置すると所定の閾値以上の充電効率が得られる領域を示す情報であってもよい。オブジェクト情報の位置は、オブジェクト情報が示す領域の中心の点で表されてもよいし、二次元平面内の領域或いは線、又は、三次元空間内の領域、線或いは平面などで表されてもよい。
　この構成によると、ＬｉＤＥＲのセンシングデータ又はカメラで撮影した映像では把握できない給電アンテナの位置を把握することができるので、車などの端末２０２１が備える無線充電用のアンテナと道路などに埋設された無線給電アンテナとの位置合わせをより高精度に行うことができる。その結果、無線充電時の充電速度を短くしたり、充電効率を向上させることができる。
　オブジェクト情報は、給電アンテナの以外の対象物であってもよい。例えば、三次元データは、ミリ波無線通信のＡＰの位置などをオブジェクト情報として含む。これにより、端末２０２１は、ＡＰの位置を事前に把握することができるので、当該オブジェクト情報の方向にビームの指向性を向けて通信を開始することができる。その結果、伝送速度の向上、通信開始までの時間の短縮、及び通信可能な期間を延ばすなどの通信品質の向上を実現できる。
　オブジェクト情報は、当該オブジェクト情報に対応する対象物のタイプを示す情報を含んでもよい。また、オブジェクト情報は、当該オブジェクト情報の三次元データ上の位置に対応する実空間上の領域内、又は領域から所定の距離の範囲内に端末２０２１が含まれる場合に、端末２０２１が実施すべき処理を示す情報を含んでもよい。
　オブジェクト情報は、三次元データを提供するサーバとは異なるサーバから提供されてもよい。オブジェクト情報を三次元データとは別に提供する場合、同一のサービスで使用されるオブジェクト情報が格納されたオブジェクトグループが、対象サービス又は対象機器の種類に応じてそれぞれ別のデータとして提供されてもよい。
　オブジェクト情報と組み合わせて用いられる三次元データは、ＷＬＤの点群データであってもよいし、ＳＷＬＤの特徴点データであってもよい。
　三次元データ符号化装置において、符号化対象の三次元点である対象三次元点の属性情報をＬｏＤ（Ｌｅｖｅｌ　ｏｆ　Ｄｅｔａｉｌ）を用いて階層符号化した場合、三次元データ復号装置は、当該三次元データ復号装置で必要なＬｏＤの階層まで属性情報を復号し、必要でない階層の属性情報を復号しなくてもよい。例えば、三次元データ符号化装置が符号化したビットストリーム内の属性情報のＬｏＤの総数がＮ個の場合、三次元データ復号装置は、最上位層のＬｏＤ０からＬｏＤ（Ｍ－１）までのＭ個（Ｍ＜Ｎ）のＬｏＤを復号し、残りのＬｏＤ（Ｎ－１）までのＬｏＤを復号しなくてもよい。これにより、三次元データ復号装置は、処理負荷を抑制しつつ、三次元データ復号装置で必要なＬｏＤ０からＬｏＤ（Ｍ－１）までの属性情報を復号できる。
　図１３３は、上記のユースケースを示す図である。図１３３に例では、サーバは、三次元位置情報と属性情報とを符号化することで得られた三次元地図を保持する。サーバ（三次元データ符号化装置）は、サーバが管理する領域のクライアント装置（三次元データ復号装置：例えば車両又はドローン等）に対し、三次元地図をブロードキャスト送信し、クライアント装置はサーバから受信した三次元地図を用いてクライアント装置の自己位置を特定する処理、又は、クライアント装置を操作するユーザ等に地図情報を表示する処理を行う。
　以下、この例における動作例を説明する。まず、サーバは、三次元地図の位置情報を８分木構成などを用いて符号化する。そして、サーバは、位置情報をベースに構築されたＮ個のＬｏＤを用いて三次元地図の属性情報を階層符号化する。サーバは、階層符号化により得られた三次元地図のビットストリームを保存する。
　次にサーバは、サーバが管理する領域のクライアント装置から送信された地図情報の送信要求に応じて、符号化された三次元地図のビットストリームをクライアント装置に送信する。
　クライアント装置は、サーバから送信された三次元地図のビットストリームを受信し、クライアント装置の用途に応じて三次元地図の位置情報と属性情報とを復号する。例えば、クライアント装置が位置情報とＮ個のＬｏＤの属性情報とを用いて高精度な自己位置推定を行う場合は、クライアント装置は、属性情報として密な三次元点までの復号結果が必要と判断し、ビットストリーム内の全ての情報を復号する。
　また、クライアント装置が三次元地図の情報をユーザ等に表示する場合は、クライアント装置は、属性情報として疎な三次元点までの復号結果までが必要と判断し、位置情報とＬｏＤの上位層であるＬｏＤ０からＭ個（Ｍ＜Ｎ）までのＬｏＤの属性情報とを復号する。
　このようにクライアント装置の用途に応じて復号する属性情報のＬｏＤを切替えることによって、クライアント装置の処理負荷を削減できる。
　図１３３に示す例では、例えば、三次元点地図は、位置情報と属性情報とを含む。位置情報は、８分木で符号化される。属性情報は、Ｎ個のＬｏＤで符号化される。
　クライアント装置Ａは、高精度な自己位置推定を行う。この場合、クライアント装置Ａは、全ての位置情報と属性情報とが必要と判断し、ビットストリーム内の位置情報とＮ個のＬｏＤで構成される属性情報とを全て復号する。
　クライアント装置Ｂは、三次元地図をユーザへ表示する。この場合、クライアント装置Ｂは、位置情報とＭ個（Ｍ＜Ｎ）のＬｏＤの属性情報とが必要と判断し、ビットストリーム内の位置情報とＭ個のＬｏＤで構成される属性情報とを復号する。
　なお、サーバは、三次元地図をクライアント装置にブロードキャスト送信してもよいし、マルチキャスト送信、又はユニキャスト送信してもよい。
　以下、本実施の形態に係るシステムの変形例について説明する。三次元データ符号化装置において、符号化対象の三次元点である対象三次元点の属性情報をＬｏＤを用いて階層符号化する場合、三次元データ符号化装置は、当該三次元データ復号装置で必要なＬｏＤの階層まで属性情報を符号化し、必要でない階層の属性情報を符号化しなくてもよい。例えば、ＬｏＤの総数がＮ個の場合に、三次元データ符号化装置は、最上位層ＬｏＤ０からＬｏＤ（Ｍ－１）までのＭ個（Ｍ＜Ｎ）のＬｏＤを符号化し、残りＬｏＤ（Ｎ－１）までのＬｏＤを符号化しないことによりビットストリームを生成してもよい。これにより、三次元データ符号化装置は、三次元データ復号装置からの要望に応じて、三次元データ復号装置で必要なＬｏＤ０からＬｏＤ（Ｍ－１）までの属性情報を符号化したビットストリームを提供できる。
　図１３４は、上記ユースケースを示す図である。図１３４に示す例では、サーバは、三次元位置情報と属性情報とを符号化することで得られた三次元地図を保持する。サーバ（三次元データ符号化装置）は、サーバが管理する領域のクライアント装置（三次元データ復号装置：例えば車両又はドローン等）に対し、クライアント装置の要望に応じて三次元地図をユニキャスト送信し、クライアント装置はサーバから受信した三次元地図を用いてクライアント装置の自己位置を特定する処理、又は地図情報をクライアント装置を操作するユーザ等に表示する処理を行う。
　以下、この例における動作例を説明する。まず、サーバは、三次元地図の位置情報を８分木構成などを用いて符号化する。そして、サーバは、三次元地図の属性情報を、位置情報をベースに構築されたＮ個のＬｏＤを用いて階層符号化することで三次元地図Ａのビットストリームを生成し、生成したビットストリームを当該サーバに保存する。また、サーバは、三次元地図の属性情報を、位置情報をベースに構築されたＭ個（Ｍ＜Ｎ）のＬｏＤを用いて階層符号化することで三次元地図Ｂのビットストリームを生成し、生成したビットストリームを当該サーバに保存する。
　次にクライアント装置は、クライアント装置の用途に応じて三次元地図の送信をサーバに要求する。例えば、クライアント装置は、位置情報とＮ個のＬｏＤの属性情報とを用いて高精度な自己位置推定を行う場合は、属性情報として密な三次元点までの復号結果が必要と判断し、三次元地図Ａのビットストリームの送信をサーバへ要求する。また、クライアント装置は、三次元地図の情報をユーザ等に表示する場合は、属性情報として疎な三次元点までの復号結果までが必要と判断し、位置情報とＬｏＤの上位層ＬｏＤ０からＭ個（Ｍ＜Ｎ）までのＬｏＤの属性情報とを含む三次元地図Ｂのビットストリームの送信をサーバへ要求する。そしてサーバは、クライアント装置からの地図情報の送信要求に応じて、符号化された三次元地図Ａ又は三次元地図Ｂのビットストリームをクライアント装置に送信する。
　クライアント装置は、クライアント装置の用途に応じてサーバから送信された三次元地図Ａ又は三次元地図Ｂのビットストリームを受信し、当該ビットストリームを復号する。このようにサーバは、クライアント装置の用途に応じて送信するビットストリームを切替える。これにより、クライアント装置の処理負荷を削減できる。
　図１３４に示す例では、サーバは、三次元地図Ａ及び三次元地図Ｂを保持する。サーバは、三次元地図の位置情報を、例えば８分木で符号化し、三次元地図の属性情報をＮ個のＬｏＤで符号化することで三次元地図Ａを生成する。つまり、三次元地図Ａのビットストリームに含まれるＮｕｍＬｏＤはＮを示す。
　また、サーバは、三次元地図の位置情報を、例えば８分木で符号化し、三次元地図の属性情報をＭ個のＬｏＤで符号化することで三次元地図Ｂを生成する。つまり、三次元地図Ｂのビットストリームに含まれるＮｕｍＬｏＤはＭを示す。
　クライアント装置Ａは、高精度な自己位置推定を行う。この場合クライアント装置Ａは、全ての位置情報と属性情報とが必要と判断し、全ての位置情報とＮ個のＬｏＤで構成される属性情報とを含む三次元地図Ａの送信要求をサーバに送る。クライアント装置Ａは、三次元地図Ａを受信し、全ての位置情報とＮ個のＬｏＤで構成される属性情報とを復号する。
　クライアント装置Ｂは、三次元地図をユーザへ表示する。この場合、クライアント装置Ｂは、位置情報とＭ個（Ｍ＜Ｎ）のＬｏＤの属性情報とが必要と判断し、全ての位置情報とＭ個のＬｏＤで構成される属性情報とを含む三次元地図Ｂの送信要求をサーバに送る。クライアント装置Ｂは、三次元地図Ｂを受信して、全ての位置情報とＭ個のＬｏＤで構成される属性情報とを復号する。
　なお、サーバ（三次元データ符号化装置）は、三次元地図Ｂに加え、残りのＮ－Ｍ個のＬｏＤの属性情報を符号化した三次元地図Ｃを符号化しておき、クライアント装置Ｂの要望に応じて三次元地図Ｃをクライアント装置Ｂに送信してもよい。また、クライアント装置Ｂは、三次元地図Ｂと三次元地図Ｃとのビットストリームを用いて、Ｎ個のＬｏＤの復号結果を得てもよい。
　以下、アプリケーション処理の例を説明する。図１３５は、アプリケーション処理の例を示すフローチャートである。アプリ操作が開始されると、三次元データ逆多重化装置は、点群データ及び複数の符号化データを含むＩＳＯＢＭＦＦファイルを取得する（Ｓ７３０１）。例えば、三次元データ逆多重化装置は、ＩＳＯＢＭＦＦファイルを、通信により取得してもよいし、蓄積しているデータから読み込んでもよい。
　次に、三次元データ逆多重化装置は、ＩＳＯＢＭＦＦファイルにおける全体構成情報を解析し、アプリケーションに使用するデータを特定する（Ｓ７３０２）。例えば、三次元データ逆多重化装置は、処理に用いるデータを取得し、処理に用いないデータは取得しない。
　次に、三次元データ逆多重化装置は、アプリケーションに使用する１以上のデータを抽出し、当該データの構成情報を解析する（Ｓ７３０３）。
　データの種別が符号化データである場合（Ｓ７３０４で符号化データ）、三次元データ逆多重化装置は、ＩＳＯＢＭＦＦを符号化ストリームに変換し、タイムスタンプを抽出する（Ｓ７３０５）。また、三次元データ逆多重化装置は、データ間の同期がそろっているか否かを、例えば、データ間の同期がそろっているか否かを示すフラグを参照して判定し、揃っていなければ同期処理を行ってもよい。
　次に、三次元データ逆多重化装置は、タイムスタンプ及びその他の指示に従い、所定の方法でデータを復号し、復号したデータを処理する（Ｓ７３０６）。
　一方、データの種別が符号化データである場合（Ｓ７３０４でＲＡＷデータ）、三次元データ逆多重化装置は、データ及びタイムスタンプを抽出する（Ｓ７３０７）。また、三次元データ逆多重化装置は、データ間の同期がそろっているか否かを、例えば、データ間の同期がそろっているか否かを示すフラグを参照して判定し、揃っていなければ同期処理を行ってもよい。次に、三次元データ逆多重化装置は、タイムスタンプ及びその他の指示に従い、データを処理する（Ｓ７３０８）。
　例えば、ビームＬｉＤＡＲ、ＦＬＡＳＨ　ＬｉＤＡＲ、及びカメラで取得されたセンサ信号が、それぞれ異なる符号化方式で符号化及び多重化されている場合の例を説明する。図１３６は、ビームＬｉＤＡＲ、ＦＬＡＳＨ　ＬｉＤＡＲ及びカメラのセンサ範囲の例を示す図である。例えば、ビームＬｉＤＡＲは、車両（センサ）の周囲の全方向を検知し、ＦＬＡＳＨ　ＬｉＤＡＲ及びカメラは、車両の一方向（例えば前方）の範囲を検知する。
　ＬｉＤＡＲ点群を統合的に扱うアプリケーションの場合、三次元データ逆多重化装置は、全体構成情報を参照して、ビームＬｉＤＡＲとＦＬＡＳＨ　ＬｉＤＡＲの符号化データを抽出して復号する。また、三次元データ逆多重化装置は、カメラ映像は抽出しない。
　三次元データ逆多重化装置は、ＬｉＤＡＲとＦＬＡＳＨ　ＬｉＤＡＲのタイムスタンプに従い、同一のタイムスタンプの時刻のそれぞれの符号化データを同時に処理する。
　例えば、三次元データ逆多重化装置は、処理したデータを提示装置で提示したり、ビームＬｉＤＡＲとＦＬＡＳＨ　ＬｉＤＡＲの点群データを合成したり、レンダリングなどの処理を行ってもよい。
　また、データ間でキャリブレーションをするアプリケーションの場合には、三次元データ逆多重化装置は、センサ位置情報を抽出してアプリケーションで用いてもよい。
　例えば、三次元データ逆多重化装置は、アプリケーションにおいて、ビームＬｉＤＡＲ情報を使用するか、ＦＬＡＳＨ　ＬｉＤＡＲを使用するかを選択し、選択結果に応じて処理を切り替えてもよい。
　このように、アプリケーションの処理に応じて適応的にデータの取得及び符号処理を変えることができるので、処理量及び消費電力を削減できる。
　以下、自動運転におけるユースケースについて説明する。図１３７は、自動運転システムの構成例を示す図である。この自動運転システムは、クラウドサーバ７３５０と、車載装置又はモバイル装置等のエッジ７３６０とを含む。クラウドサーバ７３５０は、逆多重化部７３５１と、復号部７３５２Ａ、７３５２Ｂ及び７３５５と、点群データ合成部７３５３と、大規模データ蓄積部７３５４と、比較部７３５６と、符号化部７３５７とを備える。エッジ７３６０は、センサ７３６１Ａ及び７３６１Ｂと、点群データ生成部７３６２Ａ及び７３６２Ｂと、同期部７３６３と、符号化部７３６４Ａ及び７３６４Ｂと、多重化部７３６５と、更新データ蓄積部７３６６と、逆多重化部７３６７と、復号部７３６８と、フィルタ７３６９と、自己位置推定部７３７０と、運転制御部７３７１とを備える。
　このシステムでは、エッジ７３６０は、クラウドサーバ７３５０に蓄積されている大規模点群地図データである大規模データをダウンロードする。エッジ７３６０は、大規模データとエッジ７３６０で得られたセンサ情報とをマッチングすることで、エッジ７３６０（車両又は端末）の自己位置推定処理を行う。また、エッジ７３６０は、取得したセンサ情報をクラウドサーバ７３５０へアップロードし、大規模データを最新の地図データに更新する。
　また、システム内における点群データを扱う様々なアプリケーションにおいて、符号化方法の異なる点群データが扱われる。
　クラウドサーバ７３５０は、大規模データを符号化及び多重化する。具体的には、符号化部７３５７は、大規模点群を符号化するために適した第３の符号化方法を用いて符号化を行う。また、符号化部７３５７は、符号化データを多重化する。大規模データ蓄積部７３５４は、符号化部７３５７で符号化及び多重化されたデータを蓄積する。
　エッジ７３６０は、センシングを行う。具体的には、点群データ生成部７３６２Ａは、センサ７３６１Ａで取得されるセンシング情報を用いて、第１の点群データ（位置情報（ジオメトリ）及び属性情報）を生成する。点群データ生成部７３６２Ｂは、センサ７３６１Ｂで取得されるセンシング情報を用いて、第２の点群データ（位置情報及び属性情報）を生成する。生成された第１の点群データ及び第２の点群データは、自動運転の自己位置推定或いは車両制御、又は地図更新に用いられる。それぞれの処理において、第１の点群データ及び第２の点群データのうちの一部の情報が用いられてもよい。
　エッジ７３６０は、自己位置推定を行う。具体的には、エッジ７３６０は、大規模データをクラウドサーバ７３５０からダウンロードする。逆多重化部７３６７は、ファイルフォーマットの大規模データを逆多重化することで符号化データを取得する。復号部７３６８は、取得された符号化データを復号することで大規模点群地図データである大規模データを取得する。
　自己位置推定部７３７０は、取得された大規模データと、点群データ生成部７３６２Ａ及び７３６２Ｂで生成された第１の点群データ及び第２の点群データとをマッチングすることで、車両の地図における自己位置を推定する。また、運転制御部７３７１は、当該マッチング結果又は自己位置推定結果を運転制御に用いる。
　なお、自己位置推定部７３７０及び運転制御部７３７１は、大規模データのうち、位置情報などの特定の情報を抽出し、抽出した情報を用いて処理を行ってもよい。また、フィルタ７３６９は、第１の点群データ及び第２の点群データに補正又は間引き等の処理を行う。自己位置推定部７３７０及び運転制御部７３７１は、当該処理が行われた後の第１の点群データ及び第２の点群データを用いてもよい。また、自己位置推定部７３７０及び運転制御部７３７１は、センサ７３６１Ａ及び７３６１Ｂで得られたセンサ信号を用いてもよい。
　同期部７３６３は、複数のセンサ信号又は複数の点群データのデータ間の時間同期及び位置補正を行う。また、同期部７３６３は、自己位置推定処理によって生成された、大規模データとセンサデータとの位置補正情報に基づき、センサ信号又は点群データの位置情報を大規模データに合わせるように補正してもよい。
　なお、同期及び位置補正はエッジ７３６０でなく、クラウドサーバ７３５０で行われてもよい。この場合、エッジ７３６０は、同期情報及び位置情報を多重化してクラウドサーバ７３５０へ送信してもよい。
　エッジ７３６０は．センサ信号又は点群データを符号化及び多重化する。具体的には、センサ信号又は点群データは、それぞれの信号を符号化するために適した第１の符号化方法又は第２の符号化方法を用いて符号化される。例えば、符号化部７３６４Ａは、第１の符号化方法を用いて第１の点群データを符号化することで第１の符号化データを生成する。符号化部７３６４Ｂは、第２の符号化方法を用いて第２の点群データを符号化することで第２の符号化データを生成する。
　多重化部７３６５は、第１の符号化データ、第２の符号化データ、及び同期情報などを多重化することで多重化信号を生成する。更新データ蓄積部７３６６は、生成された多重化信号を蓄積する。また、更新データ蓄積部７３６６は、多重化信号をクラウドサーバ７３５０へアップロードする。
　クラウドサーバ７３５０は、点群データを合成する。具体的には、逆多重化部７３５１は、クラウドサーバ７３５０にアップロードされた多重化信号を逆多重化することで第１の符号化データ及び第２の符号化データを取得する。復号部７３５２Ａは、第１の符号化データを復号することで第１の点群データ（又はセンサ信号）を取得する。復号部７３５２Ｂは、第２の符号化データを復号することで第２の点群データ（又はセンサ信号）を取得する。
　点群データ合成部７３５３は、第１の点群データと第２の点群データとを所定の方法で合成する。多重化信号に同期情報及び位置補正情報が多重化されている場合には、点群データ合成部７３５３は、それらの情報を用いて合成を行ってもよい。
　復号部７３５５は、大規模データ蓄積部７３５４に蓄積されている大規模データを逆多重化及び復号する。比較部７３５６は、エッジ７３６０で得られたセンサ信号に基づき生成された点群データとクラウドサーバ７３５０が有する大規模データとを比較し、更新が必要な点群データを判断する。比較部７３５６は、大規模データのうち、更新が必要と判断された点群データを、エッジ７３６０から得られた点群データに更新する。
　符号化部７３５７は、更新された大規模データを符号化及び多重化し、得られたデータを大規模データ蓄積部７３５４に蓄積する。
　以上のように、使用する用途又はアプリケーションに応じて、取り扱う信号が異なり、多重化する信号又は符号化方法が異なる場合がある。このような場合であっても、本実施の形態を用いて様々な符号化方式のデータを多重化することで、柔軟な復号及びアプリケーション処理が可能となる。また、信号の符号化方式が異なる場合であっても、逆多重化、復号、データ変換、符号化、多重の処理により適した符号化方式を変換することで、様々なアプリケーションやシステムを構築し、柔軟なサービスの提供が可能となる。
　以下、分割データの復号及びアプリケーションの例を説明する。まず、分割データの情報について説明する。図１３８は、ビットストリームの構成例を示す図である。分割データの全体情報は、分割データ毎に、当該分割データのセンサＩＤ（ｓｅｎｓｏｒ＿ｉｄ）とデータＩＤ（ｄａｔａ＿ｉｄ）とを示す。なお、データＩＤは各符号化データのヘッダにも示される。
　なお、図１３８に示す分割データの全体情報は、図４０と同様に、センサＩＤに加え、センサ情報（Ｓｅｎｓｏｒ）と、センサのバージョン（Ｖｅｒｓｉｏｎ）と、センサのメーカー名（Ｍａｋｅｒ）と、センサの設置情報（Ｍｏｕｎｔ　Ｉｎｆｏ．）と、センサの位置座標（Ｗｏｒｌｄ　Ｃｏｏｒｄｉｎａｔｅ）とのうち少なく一つを含んでもよい。これにより、三次元データ復号装置は、構成情報から各種センサの情報を取得できる。
　分割データの全体情報は、メタデータであるＳＰＳ、ＧＰＳ又はＡＰＳに格納されてもよいし、符号化に必須でないメタデータであるＳＥＩに格納されてもよい。また、三次元データ符号化装置は、多重化の際に、当該ＳＥＩをＩＳＯＢＭＦＦのファイルに格納する。三次元データ復号装置は、当該メタデータに基づき、所望の分割データを取得できる。
　図１３８において、ＳＰＳは符号化データ全体のメタデータであり、ＧＰＳは位置情報のメタデータであり、ＡＰＳは属性情報毎のメタデータであり、Ｇは分割データ毎の位置情報の符号化データであり、Ａ１等は分割データ毎の属性情報の符号化データである。
　次に、分割データのアプリケーション例を説明する。点群データから、任意の点群を選択し、選択した点群を提示するアプリケーションの例を説明する。図１３９は、このアプリケーションにより実行される点群選択処理のフローチャートである。図１４０～図１４２は、点群選択処理の画面例を示す図である。
　図１４０に示すように、アプリケーションを実行する三次元データ復号装置は、例えば、任意の点群を選択するための入力ＵＩ（ユーザインタフェース）８６６１を表示するＵＩ部を有する。入力ＵＩ８６６１は、選択された点群を提示する提示部８６６２と、ユーザの操作を受け付ける操作部（ボタン８６６３及び８６６４）を有する。三次元データ復号装置は、ＵＩ８６６１で点群が選択された後、蓄積部８６６５から所望のデータを取得する。
　まず、ユーザの入力ＵＩ８６６１に対する操作に基づき、ユーザが表示したい点群情報が選択される（Ｓ８６３１）。具体的には、ボタン８６６３が選択されることで、センサ１に基づく点群が選択される。ボタン８６６４が選択されることで、センサ２に基づく点群が選択される。または、ボタン８６６３及びボタン８６６４の両方が選択されることで、センサ１に基づく点群とセンサ２に基づく点群の両方が選択される。なお、点群の選択方法は一例であり、これに限らない。
　次に、三次元データ復号装置は、多重化信号（ビットストリーム）又は符号化データに含まれる分割データの全体情報を解析し、選択されたセンサのセンサＩＤ（ｓｅｎｓｏｒ＿ｉｄ）から、選択された点群を構成する分割データのデータＩＤ（ｄａｔａ＿ｉｄ）を特定する（Ｓ８６３２）。次に、三次元データ復号装置は、多重化信号から、特定された所望のデータＩＤを含む符号化データを抽出し、抽出した符号化データを復号することで、選択されたセンサに基づく点群を復号する（Ｓ８６３３）。なお、三次元データ復号装置は、その他の符号化データは復号しない。
　最後に、三次元データ復号装置は、復号された点群を提示（例えば表示）する（Ｓ８６３４）。図１４１は、センサ１のボタン８６６３が押下された場合の例を示し、センサ１の点群が提示される。図１４２は、センサ１のボタン８６６３とセンサ２のボタン８６６４の両方が押下された場合の例を示し、センサ１及びセンサ２の点群が提示される。
　以上、本開示の実施の形態に係る三次元データ符号化装置及び三次元データ復号装置等について説明したが、本開示は、この実施の形態に限定されるものではない。
　また、上記実施の形態に係る三次元データ符号化装置及び三次元データ復号装置等に含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
　また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、本開示は、三次元データ符号化装置及び三次元データ復号装置等により実行される三次元データ符号化方法又は三次元データ復号方法等として実現されてもよい。
　また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
　また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
　以上、一つ又は複数の態様に係る三次元データ符号化装置及び三次元データ復号装置等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つ又は複数の態様の範囲内に含まれてもよい。
　本開示は、三次元データ符号化装置及び三次元データ復号装置に適用できる。
　１００、４００　三次元データ符号化装置
　１０１、２０１、４０１、５０１　取得部
　１０２、４０２　符号化領域決定部
　１０３　分割部
　１０４、６４４　符号化部
　１１１　三次元データ
　１１２、２１１、４１３、４１４、５１１、６３４　符号化三次元データ
　２００、５００　三次元データ復号装置
　２０２　復号開始ＧＯＳ決定部
　２０３　復号ＳＰＣ決定部
　２０４、６２５　復号部
　２１２、５１２、５１３　復号三次元データ
　４０３　ＳＷＬＤ抽出部
　４０４　ＷＬＤ符号化部
　４０５　ＳＷＬＤ符号化部
　４１１　入力三次元データ
　４１２　抽出三次元データ
　５０２　ヘッダ解析部
　５０３　ＷＬＤ復号部
　５０４　ＳＷＬＤ復号部
　６２０、６２０Ａ　三次元データ作成装置
　６２１、６４１　三次元データ作成部
　６２２　要求範囲決定部
　６２３　探索部
　６２４、６４２　受信部
　６２６　合成部
　６３１、６５１　センサ情報
　６３２　第１三次元データ
　６３３　要求範囲情報
　６３５　第２三次元データ
　６３６　第３三次元データ
　６４０　三次元データ送信装置
　６４３　抽出部
　６４５　送信部
　６５２　第５三次元データ
　６５４　第６三次元データ
　７００　三次元情報処理装置
　７０１　三次元マップ取得部
　７０２　自車検知データ取得部
　７０３　異常ケース判定部
　７０４　対処動作決定部
　７０５　動作制御部
　７１１　三次元マップ
　７１２　自車検知三次元データ
　８１０　三次元データ作成装置
　８１１　データ受信部
　８１２、８１９　通信部
　８１３　受信制御部
　８１４、８２１　フォーマット変換部
　８１５　センサ
　８１６　三次元データ作成部
　８１７　三次元データ合成部
　８１８　三次元データ蓄積部
　８２０　送信制御部
　８２２　データ送信部
　８３１、８３２、８３４、８３５、８３６、８３７　三次元データ
　８３３　センサ情報
　９０１　サーバ
　９０２、９０２Ａ、９０２Ｂ、９０２Ｃ　クライアント装置
　１０１１、１１１１　データ受信部
　１０１２、１０２０、１１１２、１１２０　通信部
　１０１３、１１１３　受信制御部
　１０１４、１０１９、１１１４、１１１９　フォーマット変換部
　１０１５　センサ
　１０１６、１１１６　三次元データ作成部
　１０１７　三次元画像処理部
　１０１８、１１１８　三次元データ蓄積部
　１０２１、１１２１　送信制御部
　１０２２、１１２２　データ送信部
　１０３１、１０３２、１１３５　三次元マップ
　１０３３、１０３７、１１３２　センサ情報
　１０３４、１０３５、１１３４　三次元データ
　１１１７　三次元データ合成部
　１２０１　三次元マップ圧縮／復号処理部
　１２０２　センサ情報圧縮／復号処理部
　１２１１　三次元マップ復号処理部
　１２１２　センサ情報圧縮処理部
　１３００　三次元データ符号化装置
　１３０１　分割部
　１３０２　減算部
　１３０３　変換部
　１３０４　量子化部
　１３０５、１４０２　逆量子化部
　１３０６、１４０３　逆変換部
　１３０７、１４０４　加算部
　１３０８、１４０５　参照ボリュームメモリ
　１３０９、１４０６　イントラ予測部
　１３１０、１４０７　参照スペースメモリ
　１３１１、１４０８　インター予測部
　１３１２、１４０９　予測制御部
　１３１３　エントロピー符号化部
　１４００　三次元データ復号装置
　１４０１　エントロピー復号部
　１９００　三次元データ符号化装置
　１９０１、１９１１　８分木生成部
　１９０２、１９１２　類似性情報算出部
　１９０３、１９１３　符号化テーブル選択部
　１９０４　エントロピー符号化部
　１９１０　三次元データ復号装置
　１９１４　エントロピー復号部
　２００１　サーバ
　２００２、２００２Ａ、２００２Ｂ　クライアント装置
　２０１１　センサ情報取得部
　２０１２　記憶部
　２０１３　データ送信可否判定部
　２０２１、２０２１Ａ、２０２１Ｂ　端末
　２０２２、２０２２Ａ、２０２２Ｂ　通信装置
　２０２３　ネットワーク
　２０２４　データ収集サーバ
　２０２５　地図サーバ
　２０２６　クライアント装置
　２１００　三次元データ符号化装置
　２１０１、２１１１　８分木生成部
　２１０２、２１１２　幾何情報算出部
　２１０３、２１１３　符号化テーブル選択部
　２１０４　エントロピー符号化部
　２１１０　三次元データ復号装置
　２１１４　エントロピー復号部
　２５００　三次元データ符号化装置
　２５０１、２５１１　８分木生成部
　２５０２、２５１２　親ノード情報取得部
　２５０３　符号化モード選択部
　２５０４、２５１４　探索部
　２５０５、２５１５　幾何情報算出部
　２５０６、２５１６　符号化テーブル選択部
　２５０７　エントロピー符号化部
　２５１０　三次元データ復号装置
　２５１３　復号モード選択部
　２５１７　エントロピー復号部

Claims (10)

  1. 　三次元データに含まれる複数の三次元点のＮ（Ｎは２以上の整数）分木構造に含まれる対象ノードの情報を符号化し、
    　符号化された前記対象ノードの情報を含むビットストリームを生成し、
    　前記符号化では、前記対象ノードと空間的に隣接する複数の隣接ノードのうち、前記対象ノードと親ノードが異なる第１ノードの情報の参照を許可するか否かを示す参照制限情報に基づいて前記対象ノードを符号化し、
    　前記ビットストリームの生成では、
    　前記参照制限情報をさらに含む前記ビットストリームを生成し、
    　　前記第１ノードの情報を参照して前記対象ノードを符号化した場合、前記符号化における処理方法を示す符号化処理情報をさらに含む前記ビットストリームを生成し、
    　　前記第１ノードの情報を参照せずに前記対象ノードを符号化した場合、前記符号化処理情報を含ませずに前記ビットストリームを生成する
    　三次元データ符号化方法。
  2. 　前記符号化処理情報は、前記符号化において、前記第１ノードの子ノードの情報を参照したか否かを示す参照情報を含む
    　請求項１に記載の三次元データ符号化方法。
  3. 　前記符号化処理情報は、前記符号化において、前記複数の隣接ノードを用いて前記対象ノードの情報を算出するイントラ予測処理を実行したか否かを示すイントラ予測情報を含む
    　請求項１又は２に記載の三次元データ符号化方法。
  4. 　Ｎは、８である
    　請求項１～３のいずれか１項に記載の三次元データ符号化方法。
  5. 　三次元データに含まれる複数の三次元点のＮ（Ｎは２以上の整数）分木構造に含まれる対象ノードの符号化された情報、及び、前記対象ノードと空間的に隣接する複数の隣接ノードのうち、前記対象ノードと親ノードが異なる第１ノードの情報の参照を許可するか否かを示す参照制限情報を含むビットストリームを取得し、
    　前記符号化された情報を復号し、
    　前記復号では、
    　　前記参照制限情報が前記第１ノードの情報の参照を許可することを示す場合、前記ビットストリームに含まれる、前記符号化された情報の符号化における処理方法を示す符号化処理情報に基づいて、前記第１ノードの情報を参照して復号し、
    　　前記参照制限情報が前記第１ノードの情報の参照を許可しないことを示す場合、前記第１ノードの情報を参照せずに復号する
    　三次元データ復号方法。
  6. 　前記符号化処理情報は、前記符号化された情報の符号化において、前記第１ノードの子ノードの情報が参照されたか否かを示す参照情報を含む
    　請求項５に記載の三次元データ復号方法。
  7. 　前記符号化処理情報は、前記符号化された情報において、前記複数の隣接ノードを用いて前記対象ノードの情報を算出するイントラ予測処理が実行したか否かを示すイントラ予測情報を含む
    　請求項５又は６に記載の三次元データ復号方法。
  8. 　Ｎは、８である
    　請求項５～７のいずれか１項に記載の三次元データ復号方法。
  9. 　プロセッサと、
    　メモリとを備え、
    　前記プロセッサは、前記メモリを用いて、
    　三次元データに含まれる複数の三次元点のＮ（Ｎは２以上の整数）分木構造に含まれる対象ノードの情報を符号化し、
    　符号化された前記対象ノードの情報を含むビットストリームを生成し、
    　前記符号化では、前記対象ノードと空間的に隣接する複数の隣接ノードのうち、前記対象ノードと親ノードが異なる第１ノードの情報の参照を許可するか否かを示す参照制限情報に基づいて前記対象ノードを符号化し、
    　前記ビットストリームの生成では、
    　前記参照制限情報をさらに含む前記ビットストリームを生成し、
    　　前記第１ノードの情報を参照して前記対象ノードを符号化した場合、前記符号化における処理方法を示す符号化処理情報をさらに含む前記ビットストリームを生成し、
    　　前記第１ノードの情報を参照せずに前記対象ノードを符号化した場合、前記符号化処理情報を含ませずに前記ビットストリームを生成する
    　三次元データ符号化装置。
  10. 　プロセッサと、
    　メモリとを備え、
    　三次元データに含まれる複数の三次元点のＮ（Ｎは２以上の整数）分木構造に含まれる対象ノードの符号化された情報、及び、前記対象ノードと空間的に隣接する複数の隣接ノードのうち、前記対象ノードと親ノードが異なる第１ノードの情報の参照を許可するか否かを示す参照制限情報を含むビットストリームを取得し、
    　前記符号化された情報を復号し、
    　前記復号では、
    　　前記参照制限情報が前記第１ノードの情報の参照を許可することを示す場合、前記ビットストリームに含まれる、前記符号化された情報の符号化における処理方法を示す符号化処理情報に基づいて、前記第１ノードの情報を参照して復号し、
    　　前記参照制限情報が前記第１ノードの情報の参照を許可しないことを示す場合、前記第１ノードの情報を参照せずに復号する
    　三次元データ復号装置。
PCT/JP2021/023682 2020-06-22 2021-06-22 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 WO2021261499A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180043002.7A CN115917603A (zh) 2020-06-22 2021-06-22 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置
US18/079,135 US20230121882A1 (en) 2020-06-22 2022-12-12 Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063042140P 2020-06-22 2020-06-22
US63/042,140 2020-06-22

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/079,135 Continuation US20230121882A1 (en) 2020-06-22 2022-12-12 Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device

Publications (1)

Publication Number Publication Date
WO2021261499A1 true WO2021261499A1 (ja) 2021-12-30

Family

ID=79281244

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/023682 WO2021261499A1 (ja) 2020-06-22 2021-06-22 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Country Status (3)

Country Link
US (1) US20230121882A1 (ja)
CN (1) CN115917603A (ja)
WO (1) WO2021261499A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112805751A (zh) * 2018-10-12 2021-05-14 松下电器（美国）知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005235210A (ja) * 2004-02-17 2005-09-02 Samsung Electronics Co Ltd ３次元体積データの符号化／復号化方法及び装置
WO2020075862A1 (ja) * 2018-10-12 2020-04-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005235210A (ja) * 2004-02-17 2005-09-02 Samsung Electronics Co Ltd ３次元体積データの符号化／復号化方法及び装置
WO2020075862A1 (ja) * 2018-10-12 2020-04-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Also Published As

Publication number Publication date
CN115917603A (zh) 2023-04-04
US20230121882A1 (en) 2023-04-20

Similar Documents

Publication Publication Date Title
WO2019156141A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2019198636A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JPWO2019082837A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JPWO2019103009A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JPWO2019203297A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JPWO2019216434A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2020075861A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JPWO2020013249A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JPWO2020004461A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JPWO2019146691A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2019240285A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JPWO2019240215A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JPWO2019078292A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JPWO2019240286A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JPWO2019240284A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JPWO2019142834A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2021066160A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2019159956A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JPWO2019235366A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JPWO2019230920A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2021261516A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JPWO2019240167A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2020075862A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
JPWO2020138464A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置
WO2021054460A1 (ja) 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21828791

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21828791

Country of ref document: EP

Kind code of ref document: A1