WO2023007660A1 - ３次元点群識別装置、３次元点群識別方法、及び３次元点群識別プログラム - Google Patents

３次元点群識別装置、３次元点群識別方法、及び３次元点群識別プログラム Download PDF

Info

Publication number
WO2023007660A1
WO2023007660A1 PCT/JP2021/028135 JP2021028135W WO2023007660A1 WO 2023007660 A1 WO2023007660 A1 WO 2023007660A1 JP 2021028135 W JP2021028135 W JP 2021028135W WO 2023007660 A1 WO2023007660 A1 WO 2023007660A1
Authority
WO
WIPO (PCT)
Prior art keywords
point
dimensional
polygon
points
label
Prior art date
Application number
PCT/JP2021/028135
Other languages
English (en)
French (fr)
Inventor
夏菜 倉田
泰洋 八尾
直己 伊藤
潤 島村
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2023537851A priority Critical patent/JPWO2023007660A1/ja
Priority to PCT/JP2021/028135 priority patent/WO2023007660A1/ja
Publication of WO2023007660A1 publication Critical patent/WO2023007660A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Definitions

  • the disclosed technology relates to a three-dimensional point cloud identification device, a three-dimensional point cloud identification method, and a three-dimensional point cloud identification program.
  • Point data with three-dimensional position information is called a three-dimensional point.
  • a 3D point can represent a point on the surface of an object. Data consisting of such a collection of three-dimensional points is called a three-dimensional point group.
  • a 3D point cloud is a set of N (N ⁇ 2) 3D points, and each 3D point is identified by an identifier from 1 to N.
  • Each three-dimensional point included in the three-dimensional point group is a point on the surface of the object, and is data representing geometric information of the object.
  • a three-dimensional point cloud can be obtained by measurement using a range sensor or by performing three-dimensional reconstruction from an image.
  • each 3D point included in the obtained 3D point group may have attribute information.
  • Attribute information is information that reflects the physical properties of a point other than the positional information obtained when measuring the three-dimensional point group.
  • attribute information includes measurement time, Intensity value indicating reflection intensity of a point, RGB value indicating color information, and the like.
  • 3D point clouds have attribute information that reflects physical properties, but do not have attribute information that reflects semantic information such as class labels and instance labels.
  • a class label indicates the type of object represented by a three-dimensional point group. Examples of such class labels include ground, buildings, pillars, cables, trees, and the like, for example, in the case of outdoor three-dimensional point clouds.
  • An instance label of a 3D point group indicates an individual object represented by the 3D point group. Such an instance label identifies each individual object. be a label.
  • 3D point group identification The operation of identifying each object represented by a 3D point group and giving a semantic boundary to the 3D point group is called 3D point group identification.
  • each 3D point in the 3D point group is given semantic attribute information such as a class label and an instance label, or a part belonging to each class or each object
  • Non-Patent Document 1 As a method for identifying a 3D point group, for example, there is a method of visually assigning a label to each 3D point, a method of using an identification model whose parameters are determined based on teacher data (for example, Non-Patent Document 1), and the like. .
  • the method described in Non-Patent Document 1 tends to be able to identify objects with high accuracy, but requires preparation of training data. Creation of training data generally requires a great deal of cost.
  • GIS Geographic Information System
  • GIS is a technology that comprehensively manages and processes data with location-related information (spatial data) based on geographical location, visually displays it, and enables advanced analysis and quick judgment.
  • data that stores the geographical position of each object is called GIS data.
  • Objects whose geographic positions are stored as GIS data include objects such as buildings that can be counted one by one, structures that are continuous over a wide area such as roads, and objects with unclear physical boundaries such as municipal areas. Objects with these geographical locations are called features.
  • a geographical position is represented by a polygon made by connecting geographical coordinate points, a line made by connecting geographical coordinates, or a geographical coordinate point. Geographical coordinates in GIS data are often two-dimensional coordinates that do not include height information.
  • Non-Patent Document 2 A technology has been proposed for assigning instance labels to 3D point groups based on areas defined by polygons included in GIS data as described above (for example, Non-Patent Document 2).
  • Non-Patent Document 2 for a plurality of polygons of "gate”, “wall surface”, and “building” included in GIS data generated for a target area, point clouds included inside each polygon Each object is identified by extracting Such a technique does not require creation of training data because object identification is performed based on GIS data.
  • each object is identified by assigning labels to three-dimensional points within an area defined by polygons.
  • this method is used to identify a 3D point cloud representing, for example, an urban scene, incorrect labels may be assigned in the following situations.
  • the second is the case where the position information of the 3D point cloud has an error because the reference coordinates used as the basis for determining the geographical position when generating the 3D point cloud from the observation data by Lidar etc. are incorrect. be. Also in this case, as in the first case, the misalignment of the polygon with the observation result of the three-dimensional point group causes an error in the label.
  • the reference coordinates for example, a positioning result of GPS (Global Positioning System) is used.
  • the third is when the definition of geographic location in the GIS data differs from the actual shape of the object, so a label for part of the object is not given.
  • polygons are defined by simplifying object shapes.
  • Figure 1 shows an example of identifying buildings from a 3D point cloud in the Aoba-ku area of Yokohama City.
  • differences in labels (buildings or other) assigned to three-dimensional points are represented by differences in color (density) of the three-dimensional points.
  • 1 is a partially enlarged view of the upper diagram of FIG. As shown in FIG. 1, this example results in incorrect identification of part of the building (eg, the dashed ellipse in FIG. 1).
  • Non-Patent Document 2 it is not possible to identify objects whose geographical positions are defined by points or lines in GIS data.
  • the present disclosure has been made in view of the above points, and can accurately identify a three-dimensional point cloud based on GIS data that defines the geographical position of an object with polygons, lines, or points. It is an object of the present invention to provide a dimensional point cloud identification device, a 3D point cloud identification method, and a 3D point cloud identification program.
  • a first aspect of the present disclosure is a three-dimensional point cloud identification device, in which the geographical position of an object is represented by a polygon formed by connecting a plurality of coordinate points, a line formed by connecting a plurality of coordinate points, or an assigning unit that assigns a label indicating an object or a type of an object corresponding to the 3D point to some 3D points included in the 3D point group based on data indicated by one coordinate point itself; Based on the similarity between the labeled 3D point and the unlabeled 3D point, the label of the labeled 3D point is determined. an estimator that estimates the labels of the unlabeled 3D points by propagating to unlabeled 3D points.
  • a second aspect of the present disclosure is a three-dimensional point cloud identification method, in which a granting unit defines a geographical position of an object as a polygon formed by connecting a plurality of coordinate points, a polygon formed by connecting a plurality of coordinate points, Some three-dimensional points included in the three-dimensional point cloud are given labels indicating objects or types of objects corresponding to the three-dimensional points based on data indicated by a line or one coordinate point itself. , the estimating unit determines the label of the labeled 3D point based on the similarity between the labeled 3D point and the unlabeled 3D point as the A method of estimating the label of an unlabeled 3D point by propagating to the unlabeled 3D point.
  • a third aspect of the present disclosure is a three-dimensional point cloud identification program, which is a program for causing a computer to function as each unit constituting the above three-dimensional point cloud identification device.
  • FIG. 10 is a diagram for explaining a case where labels assigned based on GIS data are erroneous; It is a block diagram which shows the hardware constitutions of a three-dimensional point group identification device. It is a block diagram which shows the example of a functional structure of a three-dimensional point group identification device. It is a flowchart which shows the flow of a three-dimensional point-group identification process. 10 is a flowchart showing the flow of first initial labeling processing; FIG. 11 is a flowchart showing the flow of second initial labeling processing; FIG. 14 is a flow chart showing the flow of a third initial labeling process;
  • FIG. 2 is a block diagram showing the hardware configuration of the 3D point cloud identification device according to this embodiment.
  • the three-dimensional point group identification device 10 includes a CPU (Central Processing Unit) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a storage 14, an input unit 15, and a display unit 16. , and a communication I/F (Interface) 17 .
  • Each component is communicatively connected to each other via a bus 19 .
  • the CPU 11 is a central processing unit that executes various programs and controls each section. That is, the CPU 11 reads a program from the ROM 12 or the storage 14 and executes the program using the RAM 13 as a work area. The CPU 11 performs control of each configuration and various arithmetic processing according to programs stored in the ROM 12 or the storage 14 .
  • the ROM 12 or storage 14 stores a three-dimensional point cloud identification program for executing three-dimensional point cloud identification processing, which will be described later.
  • the ROM 12 stores various programs and various data.
  • the RAM 13 temporarily stores programs or data as a work area.
  • the storage 14 is composed of storage devices such as HDD (Hard Disk Drive) and SSD (Solid State Drive), and stores various programs including an operating system and various data.
  • the input unit 15 includes a pointing device such as a mouse and a keyboard, and is used for various inputs.
  • the display unit 16 is, for example, a liquid crystal display, and displays various information.
  • the display unit 16 may employ a touch panel system and function as the input unit 15 .
  • Communication I/F 17 is an interface for communicating with other devices.
  • the communication uses, for example, a wired communication standard such as Ethernet (registered trademark) or FDDI, or a wireless communication standard such as 4G, 5G, or Wi-Fi (registered trademark).
  • FIG. 3 is a block diagram showing an example of the functional configuration of the 3D point group identification device 10.
  • the three-dimensional point cloud identification device 10 receives input of point cloud data, GIS data, and object meta information.
  • the three-dimensional point cloud identification device 10 executes three-dimensional point cloud identification processing and outputs identification results.
  • Point cloud data is 3D point cloud data consisting of a collection of 3D points with 3D position information (x, y, z) and attribute information.
  • the point cloud data is denoted by P
  • the i-th point of P is denoted by P[i].
  • i is a scalar value and i is called the index of P[i].
  • a subset of P obtained by extracting a plurality of three-dimensional points from P is denoted as P[I].
  • I is the index group of extracted 3D points.
  • each three-dimensional point in P and P' is identified by a common index. That is, P'_i is a point obtained by projecting P_i onto the ground surface.
  • the position information (x, y) represents the coordinates of the three-dimensional point on the ground. Also, z is the altitude of the three-dimensional point and represents the vertical position in (x, y), eg, altitude.
  • the attribute information is reflection intensity, color information, and the like obtained during three-dimensional point measurement.
  • GIS data is data that indicates the geographical position of an object as a polygon formed by connecting multiple coordinate points, a line formed by connecting multiple coordinate points, or a single coordinate point itself.
  • an object whose geographical position is indicated by a polygon is called a "polygon object”
  • an object whose geographical position is indicated by a line is a "line object”
  • an object whose geographical position is indicated by the coordinate points itself is called a "point object.” called "object”.
  • Polygon objects are objects that belong to classes such as buildings, bodies of water, and the like.
  • a line object is, for example, an object belonging to a class such as a railroad track or a sidewalk.
  • a point object is, for example, a small object belonging to a class such as utility poles, traffic lights and other road accessories.
  • Geographic coordinates in GIS data shall be described as a set of two values (latitude, longitude) or (X, Y) in the geographic coordinate system.
  • Each object included in the GIS data is given a class label indicating the type of the object, that is, the class to which the object belongs, in addition to the above geographical position information. If the GIS data contains an object with no class label, assign a class label based on other information such as the object name and other attribute values that can identify the class. good too.
  • Object meta information is information that associates the general size of an object with each type of object.
  • the three-dimensional point cloud identification device 10 includes an initial label assignment unit 101 and a label propagation unit 110 as functional configurations.
  • label propagation section 110 includes preprocessing section 111 , estimation section 112 , and label assignment section 113 .
  • a predetermined storage area of the three-dimensional point cloud identification device 10 stores a label conversion TB (Table) 120 and an estimation model 121 .
  • the initial label assigning unit 101 is an example of an assigning unit of technology disclosed herein.
  • Each functional configuration is realized by the CPU 11 reading out a three-dimensional point group identification program stored in the ROM 12 or the storage 14, developing it in the RAM 13, and executing it.
  • the initial labeling unit 101 acquires the point cloud data, GIS data, and object meta information input to the 3D point cloud identification device 10 . Based on the GIS data, the initial label assigning unit 101 assigns class labels indicating the types of objects corresponding to the three-dimensional points to some of the three-dimensional points included in the point cloud data.
  • the label assigned by the initial label assigning unit 101 is also referred to as an "initial label”.
  • the initial labeling unit 101 associates the geographic coordinates of the GIS data with the position information of the point cloud data. Then, the initial label assigning unit 101 assigns the class assigned to the polygon object to the three-dimensional points included in the polygon (hereinafter referred to as "first polygon") indicating the geographical position of the polygon object included in the GIS data. Assign a label as the initial label. Also, the initial label assigning unit 101 assigns three-dimensional points included in a polygon (hereinafter referred to as a "second polygon") based on a line indicating the geographical position of the line object included in the GIS data to the line object. Assign the assigned class label as the initial label. Also, the initial label assigning unit 101 attaches the point Assign the class label assigned to the object as the initial label.
  • the initial label assigning unit 101 calculates two-dimensional points by projecting the coordinates of each three-dimensional point of the point cloud data onto two-dimensional coordinates. . Then, when the two-dimensional point is included in the first polygon, the second polygon, or the third polygon, the initial label is assigned to the three-dimensional point corresponding to the two-dimensional point.
  • the initial label assigning unit 101 determines the above-described second polygon as four points that are separated by a first distance in a direction orthogonal to the line from each of the start point and the end point of the line indicating the geographical position of the line object. It may be generated as a polygon connecting the four points. Also, the initial label assigning unit 101 determines a predetermined number (e.g., eight points) of the above-described third polygon, which are separated by a second distance in different directions from the coordinate point itself indicating the geographical position of the point object. , may be generated as a polygon connecting the determined predetermined number of points.
  • a predetermined number e.g., eight points
  • the initial labeling unit 101 sets the first distance and the second distance to 1/2 or less of the size indicated by the object meta information as the size of the corresponding line object or point object.
  • the second and third polygons can be prevented from becoming unnecessarily large for the actual object, and noise three-dimensional points can be eliminated from the three-dimensional points to be initially labeled. can be done.
  • the initial label assigning unit 101 assigns initial labels to three-dimensional points extracted from the three-dimensional points included in the first, second, or third polygons by filtering according to the features of the corresponding object. You may make it For example, the initial label assigning unit 101 adds a margin of standard deviation around the average of the attribute values of the altitude (z) of the three-dimensional points included in the first, second, or third polygon or any of the attribute information. 3D points that include the altitude or the attribute value are extracted in the range of . Then, the initial label assigning unit 101 assigns initial labels to the extracted three-dimensional points. This makes it possible to assign a highly reliable initial label.
  • the initial label assigning unit 101 selects a small number of points among the objects to be identified (hereinafter referred to as “target objects”) included in the scene represented by the point cloud data so that the number per class is as uniform as possible. gives an initial label to For example, the initial labeling unit 101 may target one object for each class for initial labeling.
  • the initial label assigning unit 101 transfers point cloud data including three-dimensional points to which initial labels have been assigned and three-dimensional points to which no labels have been assigned to the label propagating unit 110 .
  • the label propagation unit 110 identifies point cloud data by using label propagation technology for point cloud data in which initial labels are assigned to some three-dimensional points based on GIS data.
  • label propagation technique for example, the technique of Reference 1 below may be used.
  • the technique of reference 1 is a technique for identifying a point group by giving correct initial labels to several points in the point group and propagating the labels to surrounding points with high similarities in three-dimensional coordinates and shape features. .
  • the preprocessing unit 111, the estimating unit 112, and the labeling unit 113 will be described below on the premise that the technique of Reference 1 above is applied.
  • the preprocessing unit 111 excludes class labels indicating objects other than the target object from the initial labels. For example, when it is desired to identify buildings and roads from point cloud data, it is assumed that the initial labeling unit 101 has given “buildings,” “roads,” and “telephone poles” as initial labels. In this case, the preprocessing unit 111 excludes the initial label “telephone pole”. Specifically, the preprocessing unit 111 creates one class (for example, “other”) that summarizes objects other than the target object, and assigns the class label indicating the object other than the target object among the initial labels to class Change the label to "Other”.
  • the preprocessing unit 111 selects objects other than the target object from among the initial labels so that the same number of three-dimensional points are given initial labels for the class “others” and each class of the target object. Some class labels selected from the class labels shown may be changed. The preprocessing unit 111 excludes class labels representing objects other than the unselected target objects from the initial labels. When changing some of the selected class labels, the preprocessing unit 111 selects three-dimensional points of parts with different shapes as much as possible. As a result, erroneous identification can be suppressed.
  • the preprocessing unit 111 also refers to the label conversion TB 120 to convert initial labels given to some three-dimensional points into integer values.
  • the label conversion TB 120 is, for example, a table defining conversion rules between class labels represented by text data and class labels represented by integer values.
  • the label conversion TB 120 stores conversion rules such as "building: 1" and "road: 2.”
  • the estimating unit 112 determines the initial label (class label) to 3D points that do not have a class label. Thereby, the estimation unit 112 estimates the class label of the three-dimensional point to which the initial label has not been assigned.
  • the estimating unit 112 uses the position information and attribute information of the three-dimensional point to which the initial label is assigned as feature amounts, and the initial label as the correct label. to learn the parameters of Then, the estimation unit 112 inputs the position information and attribute information of the 3D points to which the initial label is not assigned to the estimation model 121 whose parameters have been learned, and obtains the output of the estimated class label (integer value). . The estimating unit 112 transfers the estimation result to the labeling unit 113 .
  • the label assigning unit 113 refers to the label conversion TB 120 to convert the class label represented by the integer value into the class label of the original representation.
  • the label assigning unit 113 outputs point cloud data in which the converted class label is assigned to each of the three-dimensional points as an identification result.
  • FIG. 4 is a flow chart showing the flow of 3D point group identification processing by the 3D point group identification device 10 .
  • the CPU 11 reads out a three-dimensional point group identification program from the ROM 12 or the storage 14, develops it in the RAM 13, and executes it, thereby performing three-dimensional point group identification processing.
  • step S101 the CPU 11, as the initial labeling unit 101, acquires the point cloud data P, GIS data, and object meta information input to the three-dimensional point cloud identification device 10.
  • step S102 the CPU 11, as the initial label assigning unit 101, sets the point cloud data P to P_rest representing a set of three-dimensional points to which initial labels have not been assigned.
  • step S110 a first initial labeling process is executed.
  • step S120 a second initial labeling process is performed.
  • step S130 a third initial labeling process is performed.
  • FIG. 5 shows a flowchart showing the flow of the first initial labeling process.
  • the first initial labeling process is a process of giving initial labels from polygon objects included in GIS data.
  • the target object is an area between multiple lines, such as a road
  • this process can be applied in the same way as for polygon objects by creating polygons by connecting GIS line objects. can.
  • step S111 the CPU 11, as the initial labeling unit 101, projects the coordinates of each three-dimensional point of P_rest onto the ground surface, and calculates P'_rest converted into a two-dimensional geographical coordinate group.
  • step S112 the CPU 11, as the initial label assigning unit 101, selects a polygon A (first polygon) indicating the geographical position of the polygon object from the GIS data.
  • step S114 the CPU 11, as the initial label assigning unit 101, extracts the points included in the polygon A from among the points included in P'_rest, and obtains S, which is the index group of the extracted points. do. S contains multiple indices.
  • step S115 the CPU 11, as the initial labeling unit 101, extracts a partial point group P[S] corresponding to the index S from P.
  • step S116 the CPU 11, as the initial labeling unit 101, performs filtering on P[S] according to the characteristics of the polygon object corresponding to the polygon A.
  • the CPU 11, as the initial label assigning unit 101 sets ⁇ as the average height of the three-dimensional points included in P[S] and ⁇ as the standard deviation in the case of a polygon object whose class belongs to buildings.
  • the CPU 11 acquires P[S′] by leaving only three-dimensional points having altitudes in the range of ⁇ to ⁇ + ⁇ and excluding non-corresponding three-dimensional points from P[S] as the initial label assigning unit 101. do.
  • the CPU 11 as the initial label assigning unit 101, sets ⁇ as the average luminance (reflection intensity) of the three-dimensional points included in P[S] and ⁇ as the standard deviation in the case of a polygon object whose class belongs to the road. do. Then, the CPU 11 obtains P[S′] by leaving only the three-dimensional points with luminance in the range of ⁇ to ⁇ + ⁇ and excluding non-corresponding three-dimensional points from P[S] as the initial label assigning unit 101. do.
  • step S117 the initial label assigning unit 101 assigns the class label assigned to the polygon object corresponding to polygon A to each three-dimensional point included in P[S'] as an initial label.
  • step S ⁇ b>118 the CPU 11 , acting as the initial labeling unit 101 , removes P[S′] from P_rest to create a new P_rest. Then, the first initial labeling process ends, and the process returns to the three-dimensional point group identification process (FIG. 4).
  • FIG. 6 shows a flowchart showing the flow of the second initial labeling process.
  • the second initial labeling process is a process of giving initial labels from line objects included in GIS data.
  • detailed description of the same processes as in the first initial labeling process will be omitted.
  • step S121 the CPU 11, as the initial labeling unit 101, calculates P'_rest from P_rest.
  • step S122 the CPU 11, as the initial labeling unit 101, selects a line B indicating the geographical position of the line object from the GIS data.
  • step S123 the CPU 11, as the initial labeling unit 101, generates a polygon BB (second polygon) around B.
  • the CPU 11, as the initial label assigning unit 101 determines a total of 4 points, 2 each of points separated by a certain distance b_dist (first distance) in the direction perpendicular to the direction of B from each of the start point and the end point of B. .
  • the CPU 11, as the initial label assigning unit 101 sets a polygon generated by connecting the determined four points to BB.
  • b_dist is less than or equal to 1/2 the size of the line object corresponding to line B.
  • step S124 the CPU 11, as the initial label assigning unit 101, extracts the points included inside the polygon BB from among the points included in P'_rest, and acquires T, which is the index group of the extracted points. do. T contains multiple indices.
  • steps S125 to S128 similar processing is executed by replacing "S" in steps S115 to S118 of the first initial labeling process with "T", the second initial labeling process ends, and the three-dimensional point Return to the group identification process (FIG. 4).
  • FIG. 7 shows a flowchart showing the flow of the third initial labeling process.
  • the third initial labeling process is a process of giving initial labels from point objects included in the GIS data.
  • detailed description of the same processes as in the first initial labeling process will be omitted.
  • step S131 the CPU 11, as the initial labeling unit 101, calculates P'_rest from P_rest.
  • step S132 the CPU 11, as the initial label assigning unit 101, selects a point C indicating the geographical position of the point object from the GIS data.
  • step S133 the CPU 11, as the initial labeling unit 101, generates a polygon CC (third polygon) around C.
  • the CPU 11, as the initial labeling unit 101 determines eight points separated from C by a certain distance c_dist (second distance).
  • the CPU 11, as the initial label assigning unit 101 defines CC as a polygon generated by connecting the determined eight points.
  • c_dist should be less than or equal to 1/2 the size of the point object corresponding to point C.
  • step S134 the CPU 11, as the initial label assigning unit 101, extracts the points included inside the polygon CC from among the points included in P'_rest, and acquires U, which is the index group of the extracted points. do. U contains multiple indices.
  • steps S135 to S138 similar processing is executed by replacing "S" in steps S115 to S118 of the first initial labeling process with "U”, the third initial labeling process ends, and the three-dimensional point Return to the group identification process (FIG. 4).
  • step S141 the CPU 11, as the preprocessing unit 111, receives point cloud data including three-dimensional points to which initial labels have been assigned by the initial labeling unit 101 and three-dimensional points to which labels have not been assigned. . Then, the CPU 11, as a preprocessing unit 111, performs preprocessing such as exclusion of initial labels indicating objects other than the target object, conversion of initial labels to integer values, and the like.
  • step S142 the CPU 11, as the estimating unit 112, uses the estimation model 121 to estimate the class labels of the 3D points to which the initial labels have not been assigned from the 3D points to which the initial labels have been assigned, and The estimation result is transferred to the label assigning unit 113 .
  • step S143 the CPU 11, as the label assigning unit 113, converts the initial label represented by the integer value and the class label, which is the estimation result passed from the estimating unit 112, to the label conversion TB 120. , to convert to class labels in the original representation. Then, the CPU 11, as the label assigning unit 113, outputs the point cloud data in which the converted class label is assigned to each of the three-dimensional points as the identification result, and the three-dimensional point cloud identification process is terminated.
  • the three-dimensional point cloud identification device recognizes the geographical position of an object as a polygon formed by connecting a plurality of coordinate points, a line formed by connecting a plurality of coordinate points, Alternatively, GIS data indicated by one coordinate point itself and point cloud data, which is a set of three-dimensional points, are acquired. Based on GIS data, the three-dimensional point cloud identification device assigns class labels indicating the types of objects corresponding to the three-dimensional points to some of the three-dimensional points included in the point cloud data. Then, the 3D point cloud identification device identifies the initially labeled 3D points based on the similarity between the initially labeled 3D points and the unlabeled 3D points. to the 3D points that are not initially labeled.
  • the 3D point group identification device estimates class labels of 3D points to which initial labels have not been assigned. Therefore, when there is a positional deviation smaller than the size of the target object between the GIS data and the point cloud data, when the detailed shape of the feature is not reflected in the polygons of the GIS data, and when the geographical position is a line or point , the three-dimensional point cloud can be identified with high accuracy based on the GIS data.
  • the case of assigning a class label has been described as an example, but the disclosed technology can also be applied to the case of assigning an instance label.
  • a label propagation technique capable of estimating instance labels is applied to point cloud data including 3D points to which instance labels are assigned as initial labels and 3D points to which instance labels are not assigned. .
  • the instance labels of three-dimensional points to which instance labels have not been assigned can be estimated.
  • the three-dimensional point group identification processing executed by the CPU reading the software (program) in the above embodiment may be executed by various processors other than the CPU.
  • the processor is a PLD (Programmable Logic Device) whose circuit configuration can be changed after manufacturing, such as an FPGA (Field-Programmable Gate Array), and an ASIC (Application Specific Integrated Circuit) to execute specific processing.
  • a dedicated electric circuit or the like which is a processor having a specially designed circuit configuration, is exemplified.
  • the 3D point cloud identification process may be performed by one of these various processors, or by a combination of two or more processors of the same or different kind (e.g., multiple FPGAs, and CPU and FPGA processors). , etc.). More specifically, the hardware structure of these various processors is an electric circuit in which circuit elements such as semiconductor elements are combined.
  • the three-dimensional point cloud identification program has been pre-stored (installed) in the ROM 12 or the storage 14, but is not limited to this.
  • Programs are stored in non-transitory storage media such as CD-ROM (Compact Disk Read Only Memory), DVD-ROM (Digital Versatile Disk Read Only Memory), and USB (Universal Serial Bus) memory.
  • CD-ROM Compact Disk Read Only Memory
  • DVD-ROM Digital Versatile Disk Read Only Memory
  • USB Universal Serial Bus
  • a 3D point cloud identifier configured to estimate labels of said unlabeled 3D points by propagating to unlabeled 3D points.
  • the three-dimensional point group identification process includes: 3D point cloud based on data representing the geographical position of an object as a polygon formed by connecting multiple coordinate points, a line formed by connecting multiple coordinate points, or a single coordinate point itself. Giving some of the included three-dimensional points a label indicating the object or the type of object corresponding to the three-dimensional point; Based on the similarity between the labeled 3D point and the unlabeled 3D point, the label of the labeled 3D point is determined. estimating labels of said unlabeled 3D points by propagating to unlabeled 3D points.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

ポリゴン、線、又は点で物体の地理的位置を定義したＧＩＳデータに基づいて、精度良く３次元点群を識別する。　初期ラベル付与部（１０１）が、物体の地理的位置を、複数の座標点を結んで形成されるポリゴン、複数の座標点を結んで形成される線、又は１つの座標点自体で示したＧＩＳデータに基づいて、３次元点群に含まれる一部の３次元点に、その３次元点に対応する物体又は物体の種類を示すラベルを付与し、推定部（１１２）が、ラベルが付与されている３次元点と、ラベルが付与されていない３次元点との類似性に基づいて、ラベルが付与されている３次元点のラベルを、ラベルが付与されていない３次元点に伝搬することにより、ラベルが付与されていない３次元点のラベルを推定する。

Description

３次元点群識別装置、３次元点群識別方法、及び３次元点群識別プログラム
　開示の技術は、３次元点群識別装置、３次元点群識別方法、及び３次元点群識別プログラムに関する。
　３次元の位置情報（ｘ，ｙ，ｚ）を持つ点のデータを３次元点と呼ぶ。３次元点は、物体の表面上の点を表現することができる。そのような３次元点の集まりからなるデータを３次元点群と呼ぶ。３次元点群は、Ｎ個（Ｎ≧２）の３次元点の集合であり、各３次元点は１～Ｎの識別子により特定される。３次元点群に含まれる各３次元点は、物体の表面上の点であり、物体の幾何的な情報を示すデータである。３次元点群は、距離センサによる計測や、画像から３次元再構成を行うことによって取得することができる。
　街並みや部屋といった複数の物体から成るシーンの形状をＬｉｄａｒによる観測やステレオ画像に基づき計測した場合、得られる３次元点群に含まれる各３次元点は、属性情報を持つことがある。属性情報とは、３次元点群の計測の際に得られた位置情報以外の、その点の物理性を反映する情報である。例えば、属性情報としては、計測時刻、点の反射強度を示すＩｎｔｅｎｓｉｔｙ値、色情報を表すＲＧＢ値等が挙げられる。
　このように、３次元点群は物理性を反映する属性情報を持つが、クラスラベルやインスタンスラベルといった意味的な情報を反映する属性情報を持たない。クラスラベルとは、３次元点群が表現する物体の種類を示すものである。このようなクラスラベルとしては、例えば、屋外の３次元点群を対象とした場合、地面、建物、柱、ケーブル、及び樹木等が挙げられる。また、３次元点群のインスタンスラベルとは、３次元点群が表現する個別の物体を示すものである。このようなインスタンスラベルは、１つ１つの物体を特定するものであり、例えば、「建物Ａ」、「建物Ｂ」というように、種類が同じ物体であっても、異なる物体であれば別のラベルとなる。
　３次元点群が表す各物体を識別し、３次元点群に意味的な境界を与える操作を、３次元点群の識別という。３次元点群の識別の具体的な方法としては、３次元点群中の各３次元点にクラスラベル及びインスタンスラベルといった意味的な属性情報を付与する、又は、各クラス若しくは各物体に属する部分点群を３次元点群から抽出するといった方法がある。
　３次元点群の識別手法として、例えば、目視で各３次元点にラベルを付与する手法、教師データに基づいてパラメータを決定した識別モデルを用いる手法（例えば、非特許文献１）等が存在する。非特許文献１に記載のような手法では、高精度に物体を識別できる傾向があるが、教師データの作成を必要とする。教師データの作成は、一般的に多大なコストを要するものである。
　また、地理情報システム（ＧＩＳ：Ｇｅｏｇｒａｐｈｉｃ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｓｙｓｔｅｍ）というシステムが存在する。ＧＩＳは、地理的位置を手がかりに、位置に関する情報を持ったデータ（空間データ）を総合的に管理及び加工し、視覚的に表示し、高度な分析や迅速な判断を可能にする技術である。ＧＩＳにおいて、各物体の地理的位置を保存するデータをＧＩＳデータと呼ぶ。ＧＩＳデータとして地理的位置が保存される物体には、建物など１つ１つ数えられる物体、道路等の広範囲に連続した構造、市町村領域等の物理的な境界が明確ではないオブジェクトを含む。これらの地理的位置を伴うオブジェクトを地物と呼ぶ。また、地理的位置は、地理座標点を結んで作られたポリゴン、地理座標を結んで作られた線、又は地理座標点によって表される。ＧＩＳデータ中の地理座標は、高さ方向の情報が含まれない２次元の座標であることが多い。
　上記のようなＧＩＳデータに含まれるポリゴンで定義された領域に基づき、３次元点群にインスタンスラベルを付与する技術が提案されている（例えば、非特許文献２）。非特許文献２に記載の技術では、対象地域について生成されたＧＩＳデータに含まれる複数の「門」、「壁面」、「建物」のポリゴンに対して、それぞれのポリゴンの内部に含まれる点群を抽出することで各物体を識別する。このような技術では、ＧＩＳデータに基づく物体識別を行うため、教師データの作成が必要ない。
Yangyan Li, Rui Bu, Mingchao Sun, Wei Wu, Xinhan Di, Baoquan Chen, "PointCNN: Convolution On X-Transformed Points", 32nd Conference on Neural Information Processing Systems (NeurIPS 2018), pp.828-838, 2018. Arnadi Murtiyoso, Pierre Grussenmeyer, "POINT CLOUD SEGMENTATION AND SEMANTIC ANNOTATION AIDED BY GIS DATA FOR HERITAGE COMPLEXES", 8th International Workshop 3D-ARCH "3D Virtual Reconstruction and Visualization of Complex Architecture", Jan 2019, Bergamo, Italy. pp.523-528.
　非特許文献２に記載の技術では、ポリゴンで定義された領域内の３次元点にラベルを付与することで各物体を識別している。この手法を用いて、例えば市街地のシーンを表す３次元点群の識別を行う場合、以下のような状況で誤ったラベルが付与されてしまう場合がある。
　１つ目は、地殻変動による変異が未補正である等の原因により、ＧＩＳデータの地理的位置に誤差が生じ、ポリゴンが３次元点群の観測結果とずれることにより、ラベルに誤りが生じる場合である。
　２つ目は、Ｌｉｄａｒ等による観測データから３次元点群を生成する際の地理的位置を定める根拠とした基準座標が誤っているために、３次元点群の位置情報に誤差が生じる場合である。この場合も、上記１つ目の場合と同様に、ポリゴンが３次元点群の観測結果とずれることにより、ラベルに誤りが生じる。なお、基準座標としては、例えば、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）の測位結果が用いられる。
　３つ目は、ＧＩＳデータでの地理的位置の定義が、実際の物体の形状と異なるために、物体の一部のラベルが与えられない場合である。例えば、ＧＩＳデータでは、物体形状を簡略化してポリゴンが定義される。
　非特許文献２の手法により、国土地理院が配布している基盤地図情報（基盤地図情報サイト｜国土地理院（ｇｓｉ．ｇｏ．ｊｐ））に含まれる建物外周線クラスのＧＩＳデータを用いて、横浜市青葉区地域の３次元点群から建物を識別した例を図１に示す。図１では、３次元点に付与されたラベル（建物又はその他）の相違を、３次元点の色（濃度）の相違で表している。また、図１の左下枠内は、図１の上図の一部拡大図である。図１に示すように、この例では、建物の一部が正しく識別されない結果となっている（例えば、図１中の破線楕円部）。
　また、非特許文献２の技術では、ＧＩＳデータにおいて、点や線で地理的位置が定義された物体を識別することができない。
　本開示は、上記の点に鑑みてなされたものであり、ポリゴン、線、又は点で物体の地理的位置を定義したＧＩＳデータに基づいて、精度良く３次元点群を識別することができる３次元点群識別装置、３次元点群識別方法、及び３次元点群識別プログラムを提供することを目的とする。
　本開示の第１態様は、３次元点群識別装置であって、物体の地理的位置を、複数の座標点を結んで形成されるポリゴン、複数の座標点を結んで形成される線、又は１つの座標点自体で示したデータに基づいて、３次元点群に含まれる一部の３次元点に、前記３次元点に対応する物体又は物体の種類を示すラベルを付与する付与部と、前記ラベルが付与されている３次元点と、前記ラベルが付与されていない３次元点との類似性に基づいて、前記ラベルが付与されている３次元点のラベルを、前記ラベルが付与されていない３次元点に伝搬することにより、前記ラベルが付与されていない３次元点のラベルを推定する推定部と、を含む。
　本開示の第２態様は、３次元点群識別方法であって、付与部が、物体の地理的位置を、複数の座標点を結んで形成されるポリゴン、複数の座標点を結んで形成される線、又は１つの座標点自体で示したデータに基づいて、３次元点群に含まれる一部の３次元点に、前記３次元点に対応する物体又は物体の種類を示すラベルを付与し、推定部が、前記ラベルが付与されている３次元点と、前記ラベルが付与されていない３次元点との類似性に基づいて、前記ラベルが付与されている３次元点のラベルを、前記ラベルが付与されていない３次元点に伝搬することにより、前記ラベルが付与されていない３次元点のラベルを推定する方法である。
　本開示の第３態様は、３次元点群識別プログラムであって、コンピュータを、上記の３次元点群識別装置を構成する各部として機能させるためのプログラムである。
　開示の技術によれば、ポリゴン、線、又は点で物体の地理的位置を定義したＧＩＳデータに基づいて、精度良く３次元点群を識別することができる。
ＧＩＳデータに基づいて付与されるラベルに誤りがある場合を説明するための図である。 ３次元点群識別装置のハードウェア構成を示すブロック図である。 ３次元点群識別装置の機能構成の例を示すブロック図である。 ３次元点群識別処理の流れを示すフローチャートである。 第１初期ラベル付与処理の流れを示すフローチャートである。 第２初期ラベル付与処理の流れを示すフローチャートである。 第３初期ラベル付与処理の流れを示すフローチャートである。
　以下、開示の技術の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。
　図２は、本実施形態に係る３次元点群識別装置のハードウェア構成を示すブロック図である。図２に示すように、３次元点群識別装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１２、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１３、ストレージ１４、入力部１５、表示部１６、及び通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１７を有する。各構成は、バス１９を介して相互に通信可能に接続されている。
　ＣＰＵ１１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４からプログラムを読み出し、ＲＡＭ１３を作業領域としてプログラムを実行する。ＣＰＵ１１は、ＲＯＭ１２又はストレージ１４に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。本実施形態では、ＲＯＭ１２又はストレージ１４には、後述する３次元点群識別処理を実行するための３次元点群識別プログラムが格納されている。
　ＲＯＭ１２は、各種プログラム及び各種データを格納する。ＲＡＭ１３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１４は、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記憶装置により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
　入力部１５は、マウス等のポインティングデバイス、及びキーボードを含み、各種の入力を行うために使用される。表示部１６は、例えば、液晶ディスプレイであり、各種の情報を表示する。表示部１６は、タッチパネル方式を採用して、入力部１５として機能してもよい。通信Ｉ／Ｆ１７は、他の機器と通信するためのインタフェースである。当該通信には、例えば、イーサネット（登録商標）若しくはＦＤＤＩ等の有線通信の規格、又は、４Ｇ、５Ｇ、若しくはＷｉ－Ｆｉ（登録商標）等の無線通信の規格が用いられる。
　次に、３次元点群識別装置１０の機能構成について説明する。図３は、３次元点群識別装置１０の機能構成の例を示すブロック図である。図３に示すように、３次元点群識別装置１０には、点群データ、ＧＩＳデータ、及び物体メタ情報が入力される。３次元点群識別装置１０は、３次元点群識別処理を実行し、識別結果を出力する。
　点群データは、３次元の位置情報（ｘ，ｙ，ｚ）及び属性情報を持つ３次元点の集まりからなる３次元点群のデータである。以下では、点群データをＰ、Ｐのｉ番目の点をＰ［ｉ］と表記する。ｉはスカラ値であり、ｉをＰ［ｉ］のインデックスと呼ぶ。また、Ｐの中から複数の３次元点を抽出したＰの部分集合をＰ［Ｉ］と表記する。Ｉは抽出された３次元点のインデックス群である。Ｐ＿Ｉ＝Ｐ［Ｉ］としたとき、ＰとＰ＿Ｉとで、各３次元点のインデックスは共通であり、Ｐ［ｉ］がＰ＿Ｉに含まれる場合、Ｐ［ｉ］＝Ｐ＿Ｉ［ｉ］である。また、点群データＰを地表面に投影して２次元の地理座標群に変換したものをＰ’とすると、ＰとＰ’とは、各３次元点が共通のインデックスによって識別される。すなわち、Ｐ’＿ｉはＰ＿ｉを地表面に投影した点である。
　位置情報の（ｘ，ｙ）は、３次元点の地表面上の座標を表す。また、ｚは３次元点の高度であり、（ｘ，ｙ）における鉛直方向の位置、例えば標高を表す。属性情報は、３次元点計測時に得られる反射強度、色情報等である。
　ＧＩＳデータは、物体の地理的位置を、複数の座標点を結んで形成されるポリゴン、複数の座標点を結んで形成される線、又は１つの座標点自体で示したデータである。以下、ＧＩＳデータにおいて、ポリゴンで地理的位置が示される物体を「ポリゴンオブジェクト」、線で地理的位置が示される物体を「線オブジェクト」、座標点自体で地理的位置が示される物体を「点オブジェクト」という。ポリゴンオブジェクトは、例えば、建物、水域等のクラスに属する物体である。線オブジェクトは、例えば、線路、歩道等のクラスに属する物体である。点オブジェクトは、例えば、電柱、信号機等の道路付帯物等のクラスに属する小さな物体である。
　ＧＩＳデータにおける地理座標は、地理座標系の２つの値の組（緯度，経度）又は（Ｘ，Ｙ）と記載されるものとする。ＧＩＳデータに含まれる各物体には、上記の地理的位置の情報に加え、その物体の種類、すなわちその物体が属するクラスを表すクラスラベルが付与されているものとする。なお、ＧＩＳデータに、クラスラベルが付与されていない物体が含まれる場合、クラスを特定することのできる物体名称や他の属性値等の別の情報に基づいて、クラスラベルを付与しておいてもよい。
　物体メタ情報は、物体の種類毎に、その物体の一般的なサイズを対応付けた情報である。
　３次元点群識別装置１０は、図３に示すように、機能構成として、初期ラベル付与部１０１と、ラベル伝搬部１１０とを含む。また、ラベル伝搬部１１０は、前処理部１１１と、推定部１１２と、ラベル付与部１１３とを含む。また、３次元点群識別装置１０の所定の記憶領域には、ラベル変換ＴＢ（Ｔａｂｌｅ）１２０と、推定モデル１２１とが記憶されている。初期ラベル付与部１０１は、開示の技術の付与部の一例である。各機能構成は、ＣＰＵ１１がＲＯＭ１２又はストレージ１４に記憶された３次元点群識別プログラムを読み出し、ＲＡＭ１３に展開して実行することにより実現される。
　初期ラベル付与部１０１は、３次元点群識別装置１０に入力された点群データ、ＧＩＳデータ、及び物体メタ情報を取得する。初期ラベル付与部１０１は、ＧＩＳデータに基づいて、点群データに含まれる一部の３次元点に、その３次元点に対応する物体の種類を示すクラスラベルを付与する。以下では、初期ラベル付与部１０１により付与されるラベルを「初期ラベル」ともいう。
　具体的には、初期ラベル付与部１０１は、ＧＩＳデータの地理座標と、点群データの位置情報とを対応付ける。そして、初期ラベル付与部１０１は、ＧＩＳデータに含まれるポリゴンオブジェクトの地理的位置を示すポリゴン（以下、「第１ポリゴン」という）に含まれる３次元点に、そのポリゴンオブジェクトに付与されているクラスラベルを初期ラベルとして付与する。また、初期ラベル付与部１０１は、ＧＩＳデータに含まれる線オブジェクトの地理的位置を示す線を基準としたポリゴン（以下、「第２ポリゴン」という）に含まれる３次元点に、その線オブジェクトに付与されているクラスラベルを初期ラベルとして付与する。また、初期ラベル付与部１０１は、ＧＩＳデータに含まれる点オブジェクトの地理的位置を示す座標点自体を基準としたポリゴン（以下、「第３ポリゴン」という）に含まれる３次元点に、その点オブジェクトに付与されているクラスラベルを初期ラベルとして付与する。
　なお、上述したように、ＧＩＳデータの地理座標は２次元座標であるため、初期ラベル付与部１０１は、点群データの各３次元点の座標を２次元座標に投影した２次元点を算出する。そして、２次元点が、第１ポリゴン、第２ポリゴン、又は第３ポリゴンに含まれる場合に、その２次元点に対応する３次元点に初期ラベルを付与する。
　初期ラベル付与部１０１は、上記の第２ポリゴンを、線オブジェクトの地理的位置を示す線の始点及び終点の各々から、その線に直交する方向に第１距離離れた４点を決定し、決定した４点を結んだポリゴンとして生成してよい。また、初期ラベル付与部１０１は、上記の第３ポリゴンを、点オブジェクトの地理的位置を示す座標点自体からそれぞれ異なる方向に第２距離離れた所定個（例えば、８個）の点を決定し、決定した所定個の点を結んだポリゴンとして生成してよい。この際、初期ラベル付与部１０１は、例えば、第１距離及び前記第２距離を、対応する線オブジェクト又は点オブジェクトのサイズとして、物体メタ情報で示されるサイズの１／２以下とする。これにより、第２ポリゴン及び第３ポリゴンが、実際の物体に対して不要に大きくなり過ぎることを回避し、初期ラベル付与の対象となる３次元点として、ノイズとなる３次元点を排除することができる。
　また、初期ラベル付与部１０１は、第１ポリゴン、第２ポリゴン、又は第３ポリゴンに含まれる３次元点から、対応する物体の特徴に応じたフィルタリングにより抽出される３次元点に初期ラベルを付与するようにしてもよい。例えば、初期ラベル付与部１０１は、第１ポリゴン、第２ポリゴン、又は第３ポリゴンに含まれる３次元点の高度（ｚ）又はいずれかの属性情報の属性値の平均を中心に標準偏差をマージンとする範囲に、高度又は属性値が含まれる３次元点を抽出する。そして、初期ラベル付与部１０１は、抽出した３次元点に対して初期ラベルを付与する。これにより、信頼性の高い初期ラベルを付与することができる。
　なお、初期ラベル付与部１０１は、点群データが表すシーンに含まれる、識別対象の物体（以下、「対象物体」という）のうち、各クラス当たりの数がなるべく均一となるように少数の点に初期ラベルを付与する。例えば、初期ラベル付与部１０１は、各クラスにつき１つの物体を初期ラベル付与の対象とするようにしてよい。初期ラベル付与部１０１は、初期ラベルが付与された３次元点と、ラベルが付与されていない３次元点とを含む点群データをラベル伝搬部１１０へ受け渡す。
　ラベル伝搬部１１０は、ＧＩＳデータに基づき一部の３次元点に初期ラベルが付与された点群データに対して、ラベル伝搬技術を用いることにより、点群データを識別する。ラベル伝搬技術としては、例えば、下記参考文献１の技術を用いてよい。参考文献１の技術は、点群中に数点の正しい初期ラベルを与え、３次元座標や形状特徴の類似度が高い周囲の点にラベルを伝搬させることで点群の識別を行う技術である。
参考文献１：Yao, Y., Xu, K., Murasaki, K. et al. "Pseudo-labelling-aided semantic segmentation on sparsely annotated 3D point clouds", IPSJ T Comput Vis Appl 12, 2 (2020). https://doi.org/10.1186/s41074-020-00064-w
　以下、上記の参考文献１の技術を適用することを前提として、前処理部１１１、推定部１１２、及びラベル付与部１１３について説明する。
　前処理部１１１は、初期ラベルから、対象物体以外を示すクラスラベルを除外する。例えば、点群データから、建物及び道路を識別したい場合において、初期ラベル付与部１０１により、初期ラベルとして、「建物」、「道路」、及び「電柱」が付与されているとする。この場合、前処理部１１１は、初期ラベル「電柱」を除外する。具体的には、前処理部１１１は、対象物体以外の物体をまとめた１つのクラス（例えば、「その他」）を作成し、初期ラベルのうち、対象物体以外の物体を示すクラスラベルを、クラスラベル「その他」に変更する。この際、前処理部１１１は、クラス「その他」と、対象物体の各クラスとで、同等数の３次元点に初期ラベルが付与されるように、初期ラベルのうち、対象物体以外の物体を示すクラスラベルから選択した一部のクラスラベルを変更するようにしてもよい。前処理部１１１は、選択しなかった対象物体以外の物体を示すクラスラベルを初期ラベルから除外する。選択した一部のクラスラベルを変更する場合、前処理部１１１は、なるべく異なる形状の部位の３次元点を選択する。これにより、誤識別を抑制することができる。
　また、前処理部１１１は、ラベル変換ＴＢ１２０を参照して、一部の３次元点に付与されている初期ラベルを整数値に変換する。ラベル変換ＴＢ１２０は、例えば、テキストデータで表現されるクラスラベルと、整数値で表現されるクラスラベルとの変換ルールを規定したテーブルである。例えば、ラベル変換ＴＢ１２０には、「建物：１」、「道路：２」のような変換ルールが記憶されている。
　推定部１１２は、初期ラベルが付与されている３次元点と、初期ラベルが付与されていない３次元点との類似性に基づいて、初期ラベルが付与されている３次元点の初期ラベル（クラスラベル）を、クラスラベルが付与されていない３次元点に伝搬する。これにより、推定部１１２は、初期ラベルが付与されていない３次元点のクラスラベルを推定する。
　具体的には、推定部１１２は、初期ラベルが付与されている３次元点の位置情報及び属性情報を特徴量とし、初期ラベルを正解ラベルとして、例えばディープニューラルネットワーク等で構成される推定モデル１２１のパラメータを学習する。そして、推定部１１２は、パラメータが学習された推定モデル１２１に、初期ラベルが付与されていない３次元点の位置情報及び属性情報を入力し、推定されたクラスラベル（整数値）の出力を得る。推定部１１２は、推定結果をラベル付与部１１３へ受け渡す。
　ラベル付与部１１３は、整数値で表現されたクラスラベルを、ラベル変換ＴＢ１２０を参照して、元の表現のクラスラベルに変換する。ラベル付与部１１３は、３次元点の各々に、変換後のクラスラベルを付与した点群データを、識別結果として出力する。
　次に、３次元点群識別装置１０の作用について説明する。図４は、３次元点群識別装置１０による３次元点群識別処理の流れを示すフローチャートである。ＣＰＵ１１がＲＯＭ１２又はストレージ１４から３次元点群識別プログラムを読み出して、ＲＡＭ１３に展開して実行することにより、３次元点群識別処理が行なわれる。
　ステップＳ１０１において、ＣＰＵ１１は、初期ラベル付与部１０１として、３次元点群識別装置１０に入力された点群データＰ、ＧＩＳデータ、及び物体メタ情報を取得する。
　次に、ステップＳ１０２において、ＣＰＵ１１は、初期ラベル付与部１０１として、点群データＰを、初期ラベルが付与されていない３次元点の集合を表すＰ＿ｒｅｓｔに設定する。
　次に、ステップＳ１１０において、第１初期ラベル付与処理が実行される。次に、ステップＳ１２０において、第２初期ラベル付与処理が実行される。次に、ステップＳ１３０において、第３初期ラベル付与処理が実行される。以下、第１初期ラベル付与処理、第２初期ラベル付与処理、及び第３初期ラベル付与処理の各々について詳述する。
　図５に、第１初期ラベル付与処理の流れを示すフローチャートを示す。第１初期ラベル付与処理は、ＧＩＳデータに含まれるポリゴンオブジェクトから初期ラベルを付与する処理である。なお、道路のように複数本の線の間の領域を対象物体とする場合は、ＧＩＳの線オブジェクトを結合してポリゴンを作成することで、ポリゴンオブジェクトと同様に、本処理を適用することができる。
　ステップＳ１１１において、ＣＰＵ１１は、初期ラベル付与部１０１として、Ｐ＿ｒｅｓｔの各３次元点の座標を地表面に投影して、２次元の地理座標群に変換したＰ’＿ｒｅｓｔを算出する。次に、ステップＳ１１２において、ＣＰＵ１１は、初期ラベル付与部１０１として、ＧＩＳデータから、ポリゴンオブジェクトの地理的位置を示すポリゴンＡ（第１ポリゴン）を選択する。
　次に、ステップＳ１１４において、ＣＰＵ１１は、初期ラベル付与部１０１として、Ｐ’＿ｒｅｓｔに含まれる点のうち、ポリゴンＡの内部に含まれる点を抽出し、抽出した点のインデックス群であるＳを取得する。Ｓは複数のインデックスを含む。次に、ステップＳ１１５において、ＣＰＵ１１は、初期ラベル付与部１０１として、Ｐの中からインデックスがＳに該当する部分点群Ｐ［Ｓ］を抽出する。
　次に、ステップＳ１１６において、ＣＰＵ１１は、初期ラベル付与部１０１として、ポリゴンＡに対応するポリゴンオブジェクトの特性に応じ、Ｐ［Ｓ］に対するフィルタリングを実施する。例えば、ＣＰＵ１１は、初期ラベル付与部１０１として、クラスが建物に属するポリゴンオブジェクトの場合、Ｐ［Ｓ］に含まれる３次元点の高度の平均をμ、標準偏差をσとする。そして、ＣＰＵ１１は、初期ラベル付与部１０１として、μ－σからμ＋σの範囲の高度をもつ３次元点のみを残し、該当しない３次元点をＰ［Ｓ］から除いたＰ［Ｓ’］を取得する。また、例えば、ＣＰＵ１１は、初期ラベル付与部１０１として、クラスが道路に属するポリゴンオブジェクトの場合、Ｐ［Ｓ］に含まれる３次元点の輝度（反射強度）の平均をμ、標準偏差をσとする。そして、ＣＰＵ１１は、初期ラベル付与部１０１として、μ－σからμ＋σの範囲の輝度をもつ３次元点のみを残し、該当しない３次元点をＰ［Ｓ］から除いたＰ［Ｓ’］を取得する。
　次に、ステップＳ１１７において、初期ラベル付与部１０１として、Ｐ［Ｓ’］に含まれる各３次元点に、ポリゴンＡに対応するポリゴンオブジェクトに付与されているクラスラベルを、初期ラベルとして付与する。次に、ステップＳ１１８で、ＣＰＵ１１は、初期ラベル付与部１０１として、Ｐ＿ｒｅｓｔからＰ［Ｓ’］を除いて新たにＰ＿ｒｅｓｔとする。そして、第１初期ラベル付与処理は終了し、３次元点群識別処理（図４）にリターンする。
　図６に、第２初期ラベル付与処理の流れを示すフローチャートを示す。第２初期ラベル付与処理は、ＧＩＳデータに含まれる線オブジェクトから初期ラベルを付与する処理である。なお、第２初期ラベル付与処理において、第１初期ラベル付与処理と同様の処理については、詳細な説明を省略する。
　ステップＳ１２１において、ＣＰＵ１１は、初期ラベル付与部１０１として、Ｐ＿ｒｅｓｔからＰ’＿ｒｅｓｔを算出する。次に、ステップＳ１２２において、ＣＰＵ１１は、初期ラベル付与部１０１として、ＧＩＳデータから、線オブジェクトの地理的位置を示す線Ｂを選択する。
　次に、ステップＳ１２３において、ＣＰＵ１１は、初期ラベル付与部１０１として、Ｂの周囲にポリゴンＢＢ（第２ポリゴン）を生成する。例えば、ＣＰＵ１１は、初期ラベル付与部１０１として、Ｂの始点及び終点の各々からＢの方向と直交する方向に一定距離ｂ＿ｄｉｓｔ（第１距離）離れた点を各２点、計４点を決定する。そして、ＣＰＵ１１は、初期ラベル付与部１０１として、決定した４点を結んで生成したポリゴンをＢＢとする。上述したように、ｂ＿ｄｉｓｔは、線Ｂに対応する線オブジェクトのサイズの１／２以下とする。
　次に、ステップＳ１２４において、ＣＰＵ１１は、初期ラベル付与部１０１として、Ｐ’＿ｒｅｓｔに含まれる点のうち、ポリゴンＢＢの内部に含まれる点を抽出し、抽出した点のインデックス群であるＴを取得する。Ｔは複数のインデックスを含む。以下、ステップＳ１２５～１２８において、第１初期ラベル付与処理のステップＳ１１５～１１８の「Ｓ」を「Ｔ」と読み替えて同様の処理を実行し、第２初期ラベル付与処理を終了し、３次元点群識別処理（図４）にリターンする。
　図７に、第３初期ラベル付与処理の流れを示すフローチャートを示す。第３初期ラベル付与処理は、ＧＩＳデータに含まれる点オブジェクトから初期ラベルを付与する処理である。なお、第３初期ラベル付与処理において、第１初期ラベル付与処理と同様の処理については、詳細な説明を省略する。
　ステップＳ１３１において、ＣＰＵ１１は、初期ラベル付与部１０１として、Ｐ＿ｒｅｓｔからＰ’＿ｒｅｓｔを算出する。次に、ステップＳ１３２において、ＣＰＵ１１は、初期ラベル付与部１０１として、ＧＩＳデータから、点オブジェクトの地理的位置を示す点Ｃを選択する。
　次に、ステップＳ１３３において、ＣＰＵ１１は、初期ラベル付与部１０１として、Ｃの周囲にポリゴンＣＣ（第３ポリゴン）を生成する。例えば、ＣＰＵ１１は、初期ラベル付与部１０１として、Ｃから一定距離ｃ＿ｄｉｓｔ（第２距離）離れた点を８点決定する。そして、ＣＰＵ１１は、初期ラベル付与部１０１として、決定した８点を結んで生成したポリゴンをＣＣとする。上述したように、ｃ＿ｄｉｓｔは、点Ｃに対応する点オブジェクトのサイズの１／２以下とする。
　次に、ステップＳ１３４において、ＣＰＵ１１は、初期ラベル付与部１０１として、Ｐ’＿ｒｅｓｔに含まれる点のうち、ポリゴンＣＣの内部に含まれる点を抽出し、抽出した点のインデックス群であるＵを取得する。Ｕは複数のインデックスを含む。以下、ステップＳ１３５～１３８において、第１初期ラベル付与処理のステップＳ１１５～１１８の「Ｓ」を「Ｕ」と読み替えて同様の処理を実行し、第３初期ラベル付与処理を終了し、３次元点群識別処理（図４）にリターンする。
　ここまでの処理で、点群データＰが表すシーンの地理的範囲に含まれる、ＧＩＳデータにおける物体（地物）に対応する３次元点の一部に、その物体が属するクラスのクラスラベルが初期ラベルとして付与されることになる。１つの３次元点に複数の初期ラベルが付与されることは無い。
　次に、ステップＳ１４１で、ＣＰＵ１１は、前処理部１１１として、初期ラベル付与部１０１により初期ラベルが付与された３次元点と、ラベルが付与されていない３次元点とを含む点群データを受け取る。そして、ＣＰＵ１１は、前処理部１１１として、対象物体以外の物体を示す初期ラベルの除外、初期ラベルの整数値への変換等の前処理を実施する。
　次に、ステップＳ１４２において、ＣＰＵ１１は、推定部１１２として、推定モデル１２１を用いて、初期ラベルが付与された３次元点から、初期ラベルが付与されていない３次元点のクラスラベルを推定し、推定結果をラベル付与部１１３へ受け渡す。
　次に、ステップＳ１４３において、ＣＰＵ１１は、ラベル付与部１１３として、整数値で表現された、初期ラベル、及び推定部１１２から受け渡された推定結果であるクラスラベルを、ラベル変換ＴＢ１２０を参照して、元の表現のクラスラベルに変換する。そして、ＣＰＵ１１は、ラベル付与部１１３として、３次元点の各々に変換後のクラスラベルを付与した点群データを、識別結果として出力し、３次元点群識別処理は終了する。
　以上説明したように、本実施形態に係る３次元点群識別装置は、物体の地理的位置を、複数の座標点を結んで形成されるポリゴン、複数の座標点を結んで形成される線、又は１つの座標点自体で示したＧＩＳデータ、及び３次元点の集合である点群データを取得する。３次元点群識別装置は、ＧＩＳデータに基づいて、点群データに含まれる一部の３次元点に、その３次元点に対応する物体の種類を示すクラスラベルを付与する。そして、３次元点群識別装置は、初期ラベルが付与されている３次元点と、初期ラベルが付与されていない３次元点との類似性に基づいて、初期ラベルが付与されている３次元点のラベルを、初期ラベルが付与されていない３次元点に伝搬する。これにより、３次元点群識別装置は、初期ラベルが付与されていない３次元点のクラスラベルを推定する。したがって、ＧＩＳデータと点群データとの間に対象物体のサイズよりも小さな位置ずれがある場合、地物の細かい形状がＧＩＳデータのポリゴンに反映されていない場合、及び地理的位置が線や点で定義されている場合にも、ＧＩＳデータに基づいて、精度良く３次元点群を識別することができる。
　なお、上記実施形態では、クラスラベルを付与する場合を例に説明したが、開示の技術は、インスタンスラベルを付与する場合にも適用可能である。インスタンスラベルの付与を行う場合は、初期ラベルを付与する際に、ＧＩＳデータに基づいてインスタンスラベルを点群データの一部の３次元点に付与すればよい。そして、インスタンスラベルが初期ラベルとして付与された３次元点と、インスタンスラベルが付与されていない３次元点とを含む点群データに対して、インスタンスラベルを推定することのできるラベル伝搬技術を適用する。これにより、インスタンスラベルが付与されていない３次元点のインスタンスラベルを推定すればよい。
　なお、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した３次元点群識別処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、３次元点群識別処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
　また、上記実施形態では、３次元点群識別プログラムがＲＯＭ１２又はストレージ１４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリ等の非一時的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
　以上の実施形態に関し、更に以下の付記を開示する。
　（付記項１）
　メモリと、
　前記メモリに接続された少なくとも１つのプロセッサと、
　を含み、
　前記プロセッサは、
　物体の地理的位置を、複数の座標点を結んで形成されるポリゴン、複数の座標点を結んで形成される線、又は１つの座標点自体で示したデータに基づいて、３次元点群に含まれる一部の３次元点に、前記３次元点に対応する物体又は物体の種類を示すラベルを付与し、
　前記ラベルが付与されている３次元点と、前記ラベルが付与されていない３次元点との類似性に基づいて、前記ラベルが付与されている３次元点のラベルを、前記ラベルが付与されていない３次元点に伝搬することにより、前記ラベルが付与されていない３次元点のラベルを推定する
　ように構成されている３次元点群識別装置。
　（付記項２）
　３次元点群識別処理を実行するようにコンピュータによって実行可能なプログラムを記憶した非一時的記録媒体であって、
　前記３次元点群識別処理は、
　物体の地理的位置を、複数の座標点を結んで形成されるポリゴン、複数の座標点を結んで形成される線、又は１つの座標点自体で示したデータに基づいて、３次元点群に含まれる一部の３次元点に、前記３次元点に対応する物体又は物体の種類を示すラベルを付与し、
　前記ラベルが付与されている３次元点と、前記ラベルが付与されていない３次元点との類似性に基づいて、前記ラベルが付与されている３次元点のラベルを、前記ラベルが付与されていない３次元点に伝搬することにより、前記ラベルが付与されていない３次元点のラベルを推定する
　ことを含む非一時的記録媒体。
１０   ３次元点群識別装置
１１   ＣＰＵ
１２   ＲＯＭ
１３   ＲＡＭ
１４   ストレージ
１５   入力部
１６   表示部
１７   通信Ｉ／Ｆ
１９   バス
１０１ 初期ラベル付与部
１１０ ラベル伝搬部
１１１ 前処理部
１１２ 推定部
１１３ ラベル付与部
１２０ ラベル変換ＴＢ
１２１ 推定モデル

Claims (8)

  1. 　物体の地理的位置を、複数の座標点を結んで形成されるポリゴン、複数の座標点を結んで形成される線、又は１つの座標点自体で示したデータに基づいて、３次元点群に含まれる一部の３次元点に、前記３次元点に対応する物体又は物体の種類を示すラベルを付与する付与部と、
    　前記ラベルが付与されている３次元点と、前記ラベルが付与されていない３次元点との類似性に基づいて、前記ラベルが付与されている３次元点のラベルを、前記ラベルが付与されていない３次元点に伝搬することにより、前記ラベルが付与されていない３次元点のラベルを推定する推定部と、
    　を含む３次元点群識別装置。
  2. 　前記付与部は、前記複数の座標点を結んで形成される第１ポリゴン、前記線を基準とした第２ポリゴン、又は前記座標点自体を基準とした第３ポリゴンに含まれる３次元点に、前記３次元点を含む前記第１ポリゴン、前記第２ポリゴン、又は前記第３ポリゴンに対応する物体又は物体の種類を示すラベルを付与する請求項１に記載の３次元点群識別装置。
  3. 　前記付与部は、前記座標点が２次元座標の場合、前記３次元点の座標を２次元座標に投影した２次元点が前記第１ポリゴン、前記第２ポリゴン、又は前記第３ポリゴンに含まれる場合に、前記２次元点に対応する前記３次元点に前記ラベルを付与する請求項２に記載の３次元点群識別装置。
  4. 　前記付与部は、前記第１ポリゴン、前記第２ポリゴン、又は前記第３ポリゴンに含まれる３次元点から、対応する物体の特徴に応じたフィルタリングにより抽出される３次元点に前記ラベルを付与する請求項２又は請求項３に記載の３次元点群識別装置。
  5. 　前記付与部は、前記フィルタリングにより抽出される３次元点を、前記第１ポリゴン、前記第２ポリゴン、又は前記第３ポリゴンに含まれる３次元点の高度又は属性値の平均を中心に標準偏差をマージンとする範囲に、高度又は属性値が含まれる３次元点とする請求項４に記載の３次元点群識別装置。
  6. 　前記付与部は、
    　　前記第２ポリゴンを、前記線の始点及び終点の各々から、前記線に直交する方向に第１距離離れた４点を結んだポリゴンとし、
    　　前記第３ポリゴンを、前記座標点自体からそれぞれ異なる方向に第２距離離れた所定個の点を結んだポリゴンとし、
    　　前記第１距離及び前記第２距離を、前記物体のサイズとして予め定められたサイズの１／２以下とする
    　請求項２～請求項５のいずれか１項に記載の３次元点群識別装置。
  7. 　付与部が、物体の地理的位置を、複数の座標点を結んで形成されるポリゴン、複数の座標点を結んで形成される線、又は１つの座標点自体で示したデータに基づいて、３次元点群に含まれる一部の３次元点に、前記３次元点に対応する物体又は物体の種類を示すラベルを付与し、
    　推定部が、前記ラベルが付与されている３次元点と、前記ラベルが付与されていない３次元点との類似性に基づいて、前記ラベルが付与されている３次元点のラベルを、前記ラベルが付与されていない３次元点に伝搬することにより、前記ラベルが付与されていない３次元点のラベルを推定する
    　３次元点群識別方法。
  8. 　コンピュータを、請求項１～請求項６のいずれか１項に記載の３次元点群識別装置を構成する各部として機能させるための３次元点群識別プログラム。
PCT/JP2021/028135 2021-07-29 2021-07-29 ３次元点群識別装置、３次元点群識別方法、及び３次元点群識別プログラム WO2023007660A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023537851A JPWO2023007660A1 (ja) 2021-07-29 2021-07-29
PCT/JP2021/028135 WO2023007660A1 (ja) 2021-07-29 2021-07-29 ３次元点群識別装置、３次元点群識別方法、及び３次元点群識別プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/028135 WO2023007660A1 (ja) 2021-07-29 2021-07-29 ３次元点群識別装置、３次元点群識別方法、及び３次元点群識別プログラム

Publications (1)

Publication Number Publication Date
WO2023007660A1 true WO2023007660A1 (ja) 2023-02-02

Family

ID=85087724

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/028135 WO2023007660A1 (ja) 2021-07-29 2021-07-29 ３次元点群識別装置、３次元点群識別方法、及び３次元点群識別プログラム

Country Status (2)

Country Link
JP (1) JPWO2023007660A1 (ja)
WO (1) WO2023007660A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009053059A (ja) * 2007-08-27 2009-03-12 Mitsubishi Electric Corp 対象特定装置、対象特定方法および対象特定プログラム
WO2020179065A1 (ja) * 2019-03-07 2020-09-10 日本電気株式会社 画像処理装置、画像処理方法及び記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009053059A (ja) * 2007-08-27 2009-03-12 Mitsubishi Electric Corp 対象特定装置、対象特定方法および対象特定プログラム
WO2020179065A1 (ja) * 2019-03-07 2020-09-10 日本電気株式会社 画像処理装置、画像処理方法及び記録媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HIRANO, MASANOBU: "Starting from the Geospatial Information Authority of Japan, Maps and IoT (Convenience book included)", INTAFESU -INTERFACE, CO SHUPPAN, TOKYO, JP, vol. 45, no. 4, 1 April 2019 (2019-04-01), JP , pages 39 - 48, XP009542994, ISSN: 0387-9569 *
YAO YASUHIRO, XU KATIE, MURASAKI KAZUHIKO, ANDO SHINGO, SAGATA ATSUSHI: "Pseudo-labelling-aided semantic segmentation on sparsely annotated 3D point clouds", IPSJ TRANSACTIONS ON COMPUTER VISION AND APPLICATIONS, vol. 12, no. 1, 1 December 2020 (2020-12-01), XP093029727, DOI: 10.1186/s41074-020-00064-w *

Also Published As

Publication number Publication date
JPWO2023007660A1 (ja) 2023-02-02

Similar Documents

Publication Publication Date Title
JP7068989B2 (ja) グリッドマップを作成する方法及び装置
KR102273559B1 (ko) 전자 지도를 업데이트하기 위한 방법, 장치 및 컴퓨터 판독 가능한 저장 매체
Chen et al. Automatic building information model reconstruction in high-density urban areas: Augmenting multi-source data with architectural knowledge
CN109493407B (zh) 实现激光点云稠密化的方法、装置及计算机设备
US20240005167A1 (en) Annotating high definition map data with semantic labels
US20200393265A1 (en) Lane line determination for high definition maps
US9613388B2 (en) Methods, apparatuses and computer program products for three dimensional segmentation and textured modeling of photogrammetry surface meshes
WO2018061010A1 (en) Point cloud transforming in large-scale urban modelling
US11590989B2 (en) Training data generation for dynamic objects using high definition map data
Yan et al. Integration of 3D objects and terrain for 3D modelling supporting the digital twin
EP1877956A2 (en) System and method for three dimensional change detection and measurement of a scene
JP7156515B2 (ja) 点群アノテーション装置、方法、及びプログラム
CN111024089A (zh) 一种基于bim与计算机视觉技术的室内定位导航方法
Khayyal et al. Creation and spatial analysis of 3D city modeling based on GIS data
CN114295139A (zh) 一种协同感知定位方法及系统
CN114140592A (zh) 高精地图生成方法、装置、设备、介质及自动驾驶车辆
RU2638638C1 (ru) Способ и система автоматического построения трехмерных моделей городов
JP2010506337A (ja) 現実の世界の３−ｄ空間データを可視化及び測定するためのシステム及び方法
RU2612571C1 (ru) Способ и система распознавания городских объектов
Zhong et al. A fast and effective approach to generate true orthophoto in built‐up area
WO2023007660A1 (ja) ３次元点群識別装置、３次元点群識別方法、及び３次元点群識別プログラム
US10460420B2 (en) Converting spatial features to map projection
Namouchi et al. Piecewise horizontal 3d roof reconstruction from aerial lidar
Lohani et al. Effect of data density, scan angle, and flying height on the accuracy of building extraction using LiDAR data
JP2019191908A (ja) 対象物認識装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21951860

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023537851

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18292226

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE