WO2020225886A1 - 点群解析装置、方法、及びプログラム - Google Patents
点群解析装置、方法、及びプログラム Download PDFInfo
- Publication number
- WO2020225886A1 WO2020225886A1 PCT/JP2019/018449 JP2019018449W WO2020225886A1 WO 2020225886 A1 WO2020225886 A1 WO 2020225886A1 JP 2019018449 W JP2019018449 W JP 2019018449W WO 2020225886 A1 WO2020225886 A1 WO 2020225886A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- point cloud
- linear structure
- point
- model
- length
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
Definitions
- the present invention relates to a point cloud analyzer, method, and program, and more particularly to a point cloud analyzer, method, and program for modeling a linear structure from a point cloud consisting of three-dimensional points.
- MMS mobile mapping systems
- the surface shape of the infrastructure structure (hereinafter referred to as the subject) can be recorded with an accuracy of millimeters, and as in Patent Document 1, a columnar structure (telephone pole).
- Patent Document 1 a columnar structure (telephone pole).
- Research is being conducted on technology for automatically acquiring the amount of deformation of.
- a cylindrical model (a polynomial curve whose central axis is a polynomial curve) flexed with respect to a measured point cloud is fitted to the model by RANSAC (RANdom Sample Consensus), and model parameters can be estimated accurately.
- RANSAC Random Sample Consensus
- the model parameters are estimated from the output value of the evaluation function (hereinafter referred to as the evaluation score) which is the model fitting score.
- the evaluation score uses the number of points existing on the model surface, the model surface area where the points exist, and the like as indexes.
- RANSAC is a technology that can robustly estimate a model (parameter) against noise by repeating a hypothesis generation process and an evaluation process using a sampled point cloud. By using RANSAC, accurate shapes can be estimated if there are relatively many point groups on the model surface that are inliers, even in situations where there is a lot of noise that is outliers.
- the evaluation score is equal to or higher than the threshold value determined by the user, it can be determined that the model exists. For example, if the evaluation score is a score, the more points there are on the surface of the model, the more the model is judged to be correct.
- FIG. 1 is an image diagram of fixed laser measurement when the utility pole and the branch line are viewed from above.
- the white circles indicate the measurement points, and ⁇ means the interval between the laser measurement angles. In this way, the distance between the point clouds to be measured changes depending on the distance from the measurement position and the posture of the subject.
- Non-Patent Document 2 there is a technique in which the evaluation score is not a point cloud but the area of the model surface (Non-Patent Document 2).
- FIG. 2A for example, there is a method of quantizing the model surface and adding the area in the region as a score value depending on whether a point cloud exists in each quantized region. That is, the influence of the density change can be suppressed by changing the magnitude of the quantization according to the lower limit and the upper limit where the density changes.
- FIG. 2A is an image diagram of fixed laser measurement. The white circles indicate the measurement points, and the broken line area indicates the quantized range at regular intervals. By setting the evaluation score to +1 when a point exists in the area inside the broken line, the score becomes constant regardless of the change in the point cloud density depending on the position.
- the area to be measured tends to be extremely small, and as a result, the number of points existing on the model surface also decreases. Therefore, robustness by RANSAC Even in the estimation, detection may fail (detection omission).
- the ratio of the point group of the structure of the accessory or the peripheral object may be larger than that of the linear structure to be modeled, so that it is easy to estimate the false detection model.
- the measured density on the subject surface differs depending on the traveling speed, and the faster the speed, the wider the scan line interval and the smaller the number of measurement point groups, and the measurement conditions change. That is, since the density is non-uniform, the quantization setting as in the prior art is not clear, and it is difficult to model accurately only by applying the prior art.
- the relative position and speed it is easily affected not only by the relative position and speed, but also by the relative posture.
- the angle ⁇ represented by the relative posture between the laser scan surface and the central axis of the linear structure changes from ⁇ to 2 ⁇ as shown in FIGS. 3 and 4, when the mileage D of the MMS is constant, the scan is performed.
- FIG. 3 when the scale is small, it is difficult to include a point cloud on a different scan line, and when the scale is large, a point cloud on a different scan line is included, but a point cloud on a peripheral structure is easily included. There is a tendency.
- an object that is not originally a linear structure includes a point cloud that is erroneously determined to be a linear structure. Therefore, when those point clouds are input, it is estimated that the model exists at the point cloud position at the position estimated by mistake.
- the input data contains an error when detecting an object or when the subject to be modeled has many defects, that is, when the ratio of the outlier point group is more likely to be larger than that of the inlier point group. Since the model estimation accuracy tends to decrease, it is not possible to reduce the threshold of the evaluation score.
- the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a point cloud analysis device, method, and program capable of suppressing a decrease in model estimation accuracy due to a laser measurement point cloud.
- the point group analysis device is a point group analysis device that estimates the presence / absence and / and the existing region of the linear structure from the point group data measured in the real space. Further, it has a linear structure estimation unit that estimates the presence / absence and / and the region where the linear structure exists by utilizing the properties in the real space common to the linear structure from the point group data.
- the properties are the length of the linear structure and the relationship between the divided regions when the linear structure is divided into predetermined units.
- the point cloud analysis method is a point cloud analysis method in a point cloud analysis device that estimates the presence / absence and / or existence region of a linear structure from the point cloud data measured in the real space.
- the shape structure estimation unit includes estimating the presence / absence and / and the region where the linear structure exists by utilizing the property in the real space common to the linear structure from the point cloud data. Is the length of the linear structure and the relationship between the divided regions when the linear structure is divided into predetermined units.
- the program according to the third aspect is a program for estimating the presence / absence and / and the region where the linear structure exists from the point group data measured in the real space, and the computer is used to perform the above-mentioned from the point group data. It is a program for estimating the presence / absence and / and the region where the linear structure exists by utilizing the property in the real space common to the linear structure, and the property is the property of the linear structure. The length and the relationship between the divided regions when the linear structure is divided into predetermined units.
- the point cloud analysis device, method, and program according to one aspect of the present invention it is possible to suppress a decrease in model estimation accuracy due to the laser measurement point cloud.
- the measured point cloud is converted into a physical quantity called the length of the line segment of the linear structure and used when calculating the evaluation score. It is possible to robustly estimate the model for changes in density. Specifically, by projecting a point cloud in the direction along the central axis from the clustered point cloud shape, the length can be obtained as an amount that is less dependent on the number of points and density, and quantization processing is not required. And.
- Linear structures such as branch lines and cables have a certain length and have the property of continuously existing in a specific direction in a three-dimensional space.
- the point group data becomes discontinuous due to the characteristics of laser measurement, but in the present invention, the continuous direction of the linear structure, that is, the direction of the central axis is estimated, and the length projected in that direction is the evaluation score at the time of model estimation. By using it in the calculation, it is not easily affected by the non-uniformity of the point group density, and the parameters can be estimated accurately.
- the first (effective length estimation method A) is a method that specializes in laser measurement data and directly estimates the scanline interval
- the other (effective length estimation method B) is like an infrared sensor or ultrasonic sensor. This is a method that can be applied to various three-dimensional images.
- the linear structure has a small area to be measured, it is easily affected by point groups on the surrounding structure, but the direction of the effective length (axial direction) is considered as local geometric information when calculating the evaluation score. This makes it possible to suppress the influence of point groups (outliers) on peripheral structures that do not have the same direction as the axial direction.
- the reason is that the point cloud on the plane on the structure has a low probability that the point cloud having the central axis direction in the same direction exists on a certain line segment.
- the central axis direction (extrusion direction) of each point group cluster is physically easily estimated as the minimum curvature direction, for example, in the case of a point group on a cylinder, many point groups have an extrusion direction in a fixed direction. On a plane, the minimum curvature direction is difficult to align in a certain direction.
- branch lines are often wired for the purpose of eliminating the unbalanced load of the electric pole, that is, they are likely to be wired in the direction opposite to the combined load direction of the cable, and in order to transmit force. It is essential that the branch line and the electric pole are connected. In addition, there is no possibility that the branch line is grounded on the road surface through which the vehicle passes. If these requirements are not met, it is possible to suppress model misestimation by introducing an item that gives a penalty into the evaluation score at the time of model estimation.
- modeling is defined as estimating a 3D shape expressed parametrically when a 3D point cloud or a 3D image is input.
- a 3D shape expressed parametrically when a 3D point cloud or a 3D image is input.
- physical quantities such as radius, length, attitude (tilt), and taper size are estimated from input data.
- the center line is approximated as a polynomial (eg, quadratic curve) model, the coordinate system of the plane where the curve exists, the coefficient of the curve, the position of the end point, the thickness, etc. are the models. Estimated as a parameter.
- model information information other than the shape (geometric information) of the model, such as the number of point groups on the model surface, the distance from the measurement position, and the ground height, may be considered as a kind of parameter, but in the present embodiment This is called model information.
- the geometric information (information that defines the shape) obtained by model parameter estimation with RANSAC is distinguished from the model information.
- the measured value always contains an error.
- a threshold value of the error range is set, and data in which the distance from the model surface is within this threshold value is called an inlier, and data that is clearly incorrect is called an outlier or an outlier.
- the existence of outliers affects the fitting from the measurement results, so the method of estimating by excluding the influence of outliers is called robust estimation.
- RANSAC is a solution obtained by numerical calculation, while there is also a method of estimating model parameters analytically.
- LMS Last Mean Square
- This least squares method is known as a method of minimizing the square error. This least squares method is not robust to outliers.
- RANSAC is a method of randomly extracting some samples (point clouds), evaluating model parameters from the extracted samples, and repeating the process of evaluating the estimated model using the remaining point clouds. If the extracted sample does not contain outliers, a more reliable estimate can be obtained, and if the number of outliers is smaller than the total number of measurements, more measurements are included within the estimated error range. For this reason, the estimation when the most measured values are within the range is regarded as the correct estimation.
- the point cloud on the same scan line is defined as the point cloud measured when the measurement surface (for example, a mirror that reflects the laser) is rotated once during laser measurement.
- the laser sensor is fixed, and the surface shape of the object to be measured is recorded as a 3D point cloud on the stack as the vehicle moves.
- the rotation of the sensor itself often causes the point cloud whose cross section has been measured to be rotated and stacked with respect to a certain axis. For example, when the scan rate is 100 Hz, 100 rotations of scanning are performed per second, and with a fixed laser, a point cloud layer for 100 measurements is recorded.
- MMS since the point group data is stacked in a spiral shape, two points within one rotation (within 0.01 seconds when the scan rate is 100 Hz) are on the same scan line as defined above. Judge as the point.
- the scan line interval is a term used to distinguish and explain the point group for each scan line.
- MMS measurement since it is generally measured outdoors, a large defect occurs in the point group in the empty part, so that it is easy to distinguish between scan lines. Strictly speaking, it is measured as a continuous point cloud without interruption in a structure such as a tunnel, and it is difficult to distinguish whether it is the same scan line.
- a certain point group and another point group are conveniently defined as point groups on the same scan line if they are within the scan rate (hertz number). That is, in the case of a scan rate of 100 Hz, if the difference between the measurement times of the two point clouds is 0.01 seconds or less, it is determined that they are on the same scan line. At this time, the smallest difference amount among the differences in the measurement times between the two point groups is used for determination.
- the model information means information such as 3D model parameters (geometric information), parameters used in a model estimation algorithm (for example, RANSAC), and point clouds used in input.
- the model representing the cable, the drop line, and the branch line (hereinafter referred to as the linear structure), which are infrastructure facilities, is a model in which the central axis of the linear structure is parametrically expressed. It may be an Nth-order polynomial existing in a three-dimensional space, a spline curve, or a group of straight lines that are piecewise continuous. It is assumed that the start point and the end point can be defined for the central axis, and the physical values such as the length and the ground clearance can be obtained by using only one parameter according to the distance from the end point.
- the linear structure to be estimated is a branch line of a utility pole
- the linear structure to be estimated is a branch line of a utility pole
- the three dimensions may be latitude, longitude, and sea level (height) information, or may be a three-dimensional Euclidean coordinate system or a polar coordinate system with a specific position set by the user as the origin.
- a three-dimensional Euclidean coordinate system (each direction is set to X, Y, Z coordinates) at the origin set by the user is assumed.
- the unit of each coordinate is expressed in meters (m), centimeters (cm), and millimeters (mm), but other units may be used.
- the three-dimensional point is a point in which the time when the point cloud was photographed, the reflection intensity of the laser, color information such as red, blue, and green are added to the above three-dimensional coordinates at each point.
- There is no limit to the information given to 3D points but at least position information (X, Y, Z coordinates) is given, and a 3D point cloud is a set of two or more 3D points. Is.
- the feature of the present invention is to convert to a "length” that does not easily fluctuate according to the measurement conditions.
- each "point cloud cluster” can be converted from “scan line interval” and "center axis direction” to "length on the center axis".
- the direction and length are output.
- FIG. 5 is a block diagram showing an example of the functional configuration of the point cloud analysis device 10 according to the first embodiment.
- the point cloud analysis device 10 includes a calculation unit 20, a measurement unit 40, a three-dimensional data storage unit 41, and an input unit 42.
- the 3D data storage unit 41 is a device that stores a 3D point cloud measured by a laser sensor or the like, a 3D point cloud data artificially generated by simulation or the like, and the like.
- the laser sensor either a fixed sensor or a mobile sensor is assumed.
- the measurement unit 40 may be omitted.
- the measuring unit 40 is mounted on a moving body and measures a group of points representing three-dimensional points on an object while scanning the measurement position.
- a laser range finder, an infrared sensor, an ultrasonic sensor, or the like is used.
- a device that can measure the distance between the subject and the sensor For example, by mounting a laser range finder on a GPS-equipped vehicle or on an airplane equipped with GPS and measuring while moving, a feature in an outdoor environment can be used as a subject, for example, a cable or a building. , Guardrail, road ground, etc., and is a system that measures the three-dimensional position of the surface of these subjects.
- the input unit 42 is a user interface such as a mouse or a keyboard, and receives measurement information used by the point cloud analysis device 10 as input.
- the measurement information is, for example, a utility pole position and a cable position obtained in advance.
- the input unit 42 may be an external storage medium such as a USB (Universal Serial Bus) memory that stores measurement information.
- USB Universal Serial Bus
- the calculation unit 20 includes a local effective length estimation unit 22, a linear structure estimation unit 24, and an equipment information storage unit 26.
- the point group on the linear structure is linearly structured regardless of the thickness of the linear structure.
- the range of the area (the length of the line segment) when projected in the direction of the central axis of the object tends to be the same value.
- a cable with a radius of 0.1 cm is easier to measure than a radius of 0.01 cm, and the area to be measured is wider (many point clouds), but an example of a cable with a small radius in FIG. 6A and a radius in FIG. 6B.
- the central axis of the projected point cloud area The lengths along are likely to be equal (see S in FIG. 6A and T in FIG. 6B). That is, the line segment length when the point cloud is projected in the central axis direction is not easily affected by the measurement conditions, that is, the change in the point density depending on the relative position between the measured position and the linear structure, and the point cloud defect due to occlusion. Considered quantity. Therefore, by converting the shape of the point cloud to the length along this central axis, the effect of estimating the model with high accuracy can be expected.
- a feature of the present invention is that it is difficult to accurately determine the shape of the entire linear structure, and the projection length of the point of interest or the point cloud cluster is estimated in consideration of the influence of the defect region locally. ..
- the definition when the measurement conditions are good in the present embodiment is that the point cloud can be measured without any loss in the linear structure, that is, the linear structure. It is assumed that there is no gap on the central axis of the above and the density is uniformly measured (Fig. 7).
- Effective length estimation method A As an effective length estimation, an estimation method based on measurement time information will be described. This is an effective method when the measurement time is recorded in all measurement point groups as in MMS.
- the local effective length estimation unit 22 estimates the distance u i projected on the central axis of the point group cluster, and then extracts the missing region portion from the scan line interval ⁇ d and the projected distance u i. Only interpolate by increasing its projection distance u i . That is, not only the point cloud is converted into the length along the central axis, but also the projective range is corrected for the defective region caused by the measurement conditions.
- the point group of the same scan line becomes one cluster.
- the scan rate was set to 100 [Hz].
- the effective length for compensating for the missing region between the point cloud cluster and the point cloud cluster of the object on the same subject is estimated. That is, it is an undesired estimation result to perform interpolation between each point cloud cluster and a point cloud cluster that is not the same cluster.
- the central axis (direction) is the same if the structure is the same, and a neighboring point group cluster having a similar extrusion direction, which is a tangential direction in the central axis direction of a certain point group cluster, is used. And convert to local effective length. Therefore, the neighborhood point cloud clusters whose extrusion directions are not similar are not used when estimating the effective length.
- a point cloud cluster j within a radius R [m] is determined to be a neighboring point cloud cluster in the same direction when the similarity in the central axis direction is equal to or greater than the threshold TH_angle.
- the degree of similarity is obtained as the absolute value of the inner product values of the point cloud clusters in the central axis direction (three-dimensional vector).
- the scan line interval can be estimated based on the time information and the distance between the point cloud clusters.
- the distance ⁇ d of one scan line interval is estimated from the distance between the centers of gravity of the point cloud clusters of interest. Whether or not it is a certain point cloud cluster and a neighboring point cloud cluster is determined by whether or not the distance is within R [m] as described above.
- the number of intervals T of the scan lines is calculated from the difference ⁇ t i, j between the average time of the point cloud cluster and the average time of the peripheral point cloud cluster and the scan rate.
- the axial direction of the central axis at the position of the point cloud cluster can be calculated as the extrusion direction (corresponding to the tangential direction), and the calculation method of the extrusion direction may be, for example, the method described in Patent Document 2.
- Patent Document 2 Japanese Unexamined Patent Publication No. 2019-3527
- the function round is a function that rounds off the first decimal place of the input real number and outputs it as an integer value
- ⁇ ti and j mean the absolute value of the difference between the measurement times of the point group cluster i and the point group cluster j. ..
- the one scan line interval in the point cloud cluster i can be obtained by the following equation.
- C i and Cj represent the position of the center of gravity of the adjacent i-th point group cluster and the position of the center of gravity of the j-th point group cluster among the point group clusters in the vicinity of T
- D indicates the distance. That is, the above equation represents the average of the distances between the center of gravity position of the adjacent i-th point group cluster and the center-of-gravity position of the j-th point group cluster among the point group clusters in the vicinity of T.
- the interval ⁇ d i of one scan line in a certain point cloud cluster i is obtained as an average value using k c of neighboring point clusters.
- i-th local effective length of the point cloud clusters Ci of w i, topically effective length wi p at the point i p and of the points belonging to the i-th point group clusters when expressed as i p is determined by the following formula Be done.
- u i indicates the projection distance, which is the length when the point cloud included in the point cloud cluster is projected in the central axis direction.
- the ⁇ cluster is a correction limit value which is an upper limit value of how many times the projection distance may be corrected, and is a predetermined value.
- the ⁇ cluster is 10.0.
- the projection distance u i is set to a predetermined value (for example, 0.01).
- Num (C i ) represents the number of points included in the point cloud cluster C i .
- This locally effective length physically means the length of the scanline interval projected in the central axis direction.
- the upper limit value ⁇ cluster is the upper limit for correcting the observed data (measurement point group), and has the effect of suppressing the influence on the post-processing due to erroneous correction. That is, it is confirmed whether the corrected effective length is significantly larger than the projection length, and it is set in order to suppress the adverse effect of the correction error.
- the effective length and the direction of the effective length in a certain point cloud cluster, that is, the central axis direction (extrusion direction) are used in the model estimation.
- the local effective length estimation unit 22 includes a clustering unit 30, a central axis direction estimation unit 32, and a direction-dependent local effective length estimation unit 34, as shown in FIG.
- the clustering unit 30 clusters the point cloud in the scan line among the point cloud input from the three-dimensional data storage unit 41 to obtain the point cloud cluster.
- the central axis direction estimation unit 32 estimates the central axis direction from each point group cluster using a point group within a certain radius.
- the direction-dependent local effective length estimation unit 34 projected the point cloud cluster toward the central axis for each of the point cloud clusters based on the estimated central axis direction and the interval of the scan lines formed by the point cloud.
- the local effective length which is the length when the length is interpolated by the amount of the missing part of the point cloud, is estimated.
- the method for calculating the local effective length and the estimation in the central axis direction are not limited to the above methods, and may be other methods.
- clustering is first performed on a point group, then a straight line (or curve approximation) is performed on each point group cluster, and the direction of the straight line (or curve) is set as the central axis and each point group.
- the effective length may be obtained from the length when the point group belonging to the cluster is projected on its central axis.
- a point cloud cluster that has been linearly approximated will be described.
- the two points most distant as the distance in the direction along the central axis obtained by the principal component analysis are obtained as the length.
- the effective length of each point is obtained by dividing the length by the points included in the point cloud cluster, and the first eigenvalue vector analyzed by the principal component corresponds to the central axis direction.
- a point cloud cluster with a quadratic curve approximation (arc approximation) will be described.
- circle fitting is performed on the point cloud cluster to obtain the central axis of the arc.
- the two most distant points are selected based on the length along the central axis, and the length along the central axis is defined as the length of the point cloud cluster.
- the number of points included in the point group cluster divided by the length is the effective length of each point, and the central axis direction corresponds to the tangential direction of the curve at the position of each point.
- Effective length estimation method B is effective in a point cloud for which there is no measurement time information.
- it is a point cloud (three-dimensional image) measured by a device such as an infrared sensor or a device such as Microsoft's KINECT (registered trademark).
- a device such as an infrared sensor or a device such as Microsoft's KINECT (registered trademark).
- it can be applied to three-dimensional data in which the time information is deleted, unlike the effective length estimation method A.
- the method described in Patent Document 1 may be used.
- the model is fitted with the thickness set to 0 for convenience, that is, the model is fitted based on the distance between the central axis and the three-dimensional point cloud. If there is a model that passes through the input point cloud at a distance of 0, that is, a model that has a distance error of 0 from the input point cloud, it is calculated as the most probable model.
- the evaluation score is calculated using the effective length of the above point group cluster and the direction of the central axis of the point group cluster. Images of the effective length direction and the model central axis direction (tangential direction) in each point cloud cluster (position pm) are shown in FIG. 10A.
- FIG. 10A is a conceptual diagram for explaining the distance between the three-dimensional point p m and the quadratic curve existing in the three-dimensional space.
- q h indicates the position of the shortest distance from p m to the quadratic curve (perpendicular foot).
- the Pythagorean theorem, the distance r pm foot q h of a perpendicular to the central axis from the notice point p m and the noted point can be calculated by using a line segment p m p 'm and a line segment p' m q h .
- the point p 'm is a point that has been projected onto a plane a point of interest quadratic curve ride.
- the linear structure estimation unit 24 uses RANSAC based on the estimated local effective length for each of the point cloud clusters, the estimated central axis direction, and the measurement information, and the linear structure represented by the point cloud clusters. Estimate the model parameters of.
- the linear structure estimation unit 24 maximizes the value of the evaluation function that evaluates the model parameters, including the penalty term based on the positional relationship with the peripheral structure obtained in advance. Estimate the model parameters of the linear structure represented by the cluster.
- the evaluation function J is expressed by the following equation.
- M is the model to be evaluated
- Q is the set of point cloud clusters
- q i is the position of the center of gravity of the i-th point cloud cluster
- N q is the total number of point cloud clusters.
- w i is the local effective length of the i-th point group cluster
- ⁇ i is the central axis direction estimated for the i-th point group cluster q i and the central axis of the model M (the central axis at the position of q i). It is an angle formed by (the tangential direction of) (FIG. 10B).
- E (M) becomes a predetermined negative value when any of the following conditions (1) to (3) is satisfied. For example, a value of minus infinity may be set so that the model when a penalty occurs is not used as the estimation result. Also, when a value of minus infinity is set, ⁇ may be deleted or set to 1. Further, the penalty term E may not be set to minus infinity, and an appropriate negative value may be entered in ⁇ so that ⁇ ⁇ E (M) outputs a negative value. In other words, ⁇ ⁇ E (M) should be designed to work as a penalty.
- Condition (1) The utility pole and the model of the linear structure do not intersect. Specifically, it may be determined that the shortest distance between the extension line (tangent line) of the end point of the branch line model and the central axis of the utility pole does not intersect when the threshold value TH_Dpole or more.
- the distance threshold value TH_Dpole is a parameter determined experimentally, and is set to 0.3 [m] in an example of the present embodiment.
- Condition (2) The intersection position between the model of the linear structure and the ground is on the road side (MMS traveling locus side) of the cable (FIG. 11).
- the point cloud is automatically estimated as the inner point cloud where the white line is detected for the vehicle traveling lane, or the point cloud is manually labeled. If even one label of the point cloud existing within the distance r_ground from the installation (ground) position of the branch line model is the vehicle traveling lane, it is determined that the condition is satisfied.
- the MMS travel locus (X, Y, Z coordinate group traveled by MMS) is used as a simple method. Since it is certain that the MMS travel locus is a lane in which the vehicle can travel, the shortest distance between the branch line model and the MMS travel locus is calculated, and if the distance is within the threshold distance r_ground, it is determined that a penalty will occur.
- the threshold distance r_ground is a parameter determined experimentally, and was set to 0.3 [m] in an example of this embodiment.
- Condition (3) The model of the linear structure is on the same side as the resultant force direction of the cable with respect to the cable (Fig. 12).
- the resultant force direction may be used as the average vector of the direction (vector) when the cable model detected in advance is projected on the ground (XY plane).
- the horizontal tension obtained from the looseness of the cable may be used as the magnitude of the force.
- existing technology may be used.
- the cable point group is approximated as a catenary curve, the slack d'obtained from the catenary curve, the distance between the cable end points S', and the density per unit distance of the cable.
- the horizontal tension T is obtained by W.
- condition (3) for example, when the angle formed by the line segment when the central axis of the model of the linear structure is projected onto the horizontal plane and the direction of the resultant force when viewed from above is less than 90 degrees. It is judged that the condition (3) is satisfied.
- the angle formed by the direction formed by projecting the direction connecting the resultant force direction (two-dimensional vector) and the branch end point on the ground (two-dimensional vector) is obtained, and a penalty occurs when the angle is less than 90 degrees.
- the branch line tension should be generated on the opposite side of the tension resultant force, and it is desirable that the angle formed is 180 degrees opposite to the original role of the branch line.
- evaluation function In the case of an evaluation function using a point cloud, the evaluation function is expressed by the following formula.
- M is the model to be evaluated
- P is the point cloud set
- Np is the total number of three-dimensional points included in the point cloud
- p i represents the position of the i-th three-dimensional point.
- w p i is the local effective length of the i-th point
- ⁇ p i is the angle formed by the central axis direction of the point cloud cluster to which the i-th point belongs and the tangential direction of the central axis of the model.
- I is a function that outputs 1 for the point p i when the distance from the model M is equal to or less than the threshold value ⁇ , and outputs 0 in other cases.
- Distance to The model parameters of the linear structure can be estimated so that the weight with respect to the relative structure is increased and the positional relationship with the surrounding structure satisfies the constraint condition.
- the point cloud analysis device 10 is realized by the computer 84 shown in FIG. 13 as an example.
- the computer 84 includes a CPU 86, a memory 88, a storage unit 92 that stores the program 82, a display unit 94 that includes a monitor, and an input unit 96 that includes a keyboard and a mouse.
- the CPU 86, the memory 88, the storage unit 92, the display unit 94, and the input unit 96 are connected to each other via the bus 98.
- the storage unit 92 is realized by an HDD, SSD, flash memory, or the like.
- a program 82 for making the computer 84 function as the point cloud analysis device 10 is stored in the storage unit 92.
- the CPU 86 reads the program 82 from the storage unit 92, expands the program 82 into the memory 88, and executes the program 82.
- the program 82 may be stored in a computer-readable medium and provided.
- FIG. 14 is a flowchart showing an example of a processing flow by the program 82 according to the first embodiment.
- the CPU 86 reads out and executes the program 82 stored in the storage unit 92.
- the local effective length estimation unit 22 acquires a point cloud consisting of three-dimensional points from the three-dimensional data storage unit 41.
- step S102 the local effective length estimation unit 22 estimates the projection distance u i projected on the point group cluster in the central axis direction for each of the point group clusters obtained by clustering the point groups, and determines the scan line interval. From the projection distance u i , the local effective length is estimated by increasing the projection distance u i by the missing region (line segment) of the point group.
- step S104 the linear structure estimation unit 24 uses the locally effective length estimated for each of the point cloud clusters and the measurement information to obtain the model parameters of the linear structure represented by the point cloud cluster by RANSAC. presume.
- step S102 is realized by the process routine shown in FIG.
- step S110 the clustering unit 30 performs point cloud clustering in the scan line based on the acquired point cloud.
- the central axis direction estimation unit 32 estimates the central axis direction for each point cloud cluster using the point cloud clusters between the scan lines. For example, the correlation value between the point cloud cluster of interest and the point cloud cluster around it is calculated for each of the tentative central axis directions. Here, the correlation value between the point cloud cluster and the surrounding point cloud clusters is calculated from the similarity in shape of the point cloud clusters. Then, the tentative central axis direction in which the calculated correlation value is maximized is estimated as the central axis direction of the point cloud cluster.
- step S114 the direction-dependent local effective length estimation unit 34, for each point cloud cluster, considers the point based on the central axis direction estimated for the point cloud cluster and the interval of the scan lines formed by the point cloud.
- the local effective length which is the length obtained by interpolating the projection distance, which is the length projected in the direction of the central axis of the group cluster, by the amount of the missing part of the point cloud, is estimated.
- step S114 is realized by the process routine shown in FIG.
- the processing routine shown in FIG. 16 is repeatedly executed for each of the point cloud clusters.
- step S120 among the point cloud clusters existing within a certain distance r [m] from the central axis direction with respect to the point cloud cluster from the point cloud cluster obtained as a result of the clustering in step S102, the point cloud cluster of interest A point cloud cluster whose distance from the central axis direction is near T is searched.
- step S122 the projection distance when the point cloud cluster is projected in the central axis direction is estimated. Further, the scan line interval is estimated according to the above equation (1) based on the position of the center of gravity of each of the point cloud clusters searched in step S120.
- step S124 the local effective length is estimated according to the above equation (2) using the projection distance and the scan line interval obtained in step S122.
- step S104 is realized by the process routine shown in FIG.
- step S130 the linear structure estimation unit 24 uses the linear structure represented by the point cloud cluster by RANSAC based on the estimated local effective length for each of the point cloud clusters and the estimated central axis direction. Estimate the model parameters of. At this time, the model parameter that maximizes the evaluation score of the evaluation function shown in the above equation (3) or (4) is estimated.
- step S132 it is determined whether or not the maximum evaluation score calculated in step S130 is equal to or greater than the threshold value.
- the model parameter finally estimated in step S130 is used as the estimation result of the model parameter of the linear structure represented by the point cloud cluster.
- the process returns to step S130.
- the point cloud analyzer uses the point cloud cluster as the central axis based on the estimated central axis direction and the scan line interval for each of the point cloud clusters.
- the local effective length which is the length when the length projected in the direction is interpolated by the amount of the missing part of the point cloud, is estimated.
- the effective length of the measurement point cloud in consideration of the scan line interval can be estimated accurately.
- the model parameters representing the linear structure can be estimated accurately from the point cloud.
- the constraint condition regarding the positional relationship with the peripheral equipment it is possible to prevent the linear structure from being estimated at an incorrect position.
- the reason why it is difficult to approximate it as a single straight line or curve is unknown. Further, if the distance threshold value is increased, it is easy to estimate one. However, if the distance threshold is reduced, it is likely to be estimated to be two.
- equipment information including the number of linear structures is used. Since the number of linear structures is known, the position of the point cloud may change due to the thickness of the linear structure (deviation from the straight line), or the position of the point cloud may change due to the proximity of different measurement objects (difference from the straight line). It can be interpreted as a dispersion in the direction perpendicular to the straight line).
- the distance threshold can be increased.
- model parameters are estimated by setting the evaluation function of RANSAC, which simultaneously estimates the model parameters for the number of linear structures obtained from the equipment information.
- FIG. 21 is a block diagram showing an example of the functional configuration of the point cloud analysis device 210 according to the second embodiment.
- the point cloud analysis device 210 includes a calculation unit 220, a measurement unit 40, a three-dimensional data storage unit 41, and an input unit 42.
- the measurement unit 40 uses an MMS in which a GPS and a laser range finder are mounted on the vehicle, and the position on the surface of the object of the subject is measured from a three-dimensional point. Get the point cloud.
- the input unit 42 receives measurement information and equipment information used in the point cloud analysis device 10 as inputs.
- the measurement information is, for example, the utility pole position and the cable position obtained in advance
- the equipment information is the number of branch lines as a linear structure obtained in advance for each utility pole.
- the calculation unit 220 includes a local effective length estimation unit 22, a linear structure estimation unit 224, an equipment information storage unit 26, a model reliability calculation unit 228, and a remeasurement warning unit 230.
- the linear structure estimation unit 224 is represented by the point cloud cluster by RANSAC based on the estimated local effective length for each of the point cloud clusters, the estimated central axis direction, and the number of linear structures. Estimate the model parameters of the linear structure.
- the linear structure estimation unit 224 includes a penalty term based on the positional relationship with the peripheral structure obtained in advance, and is a value of an evaluation function that simultaneously evaluates model parameters for the number of linear structures.
- the model parameters for the number of linear structures are estimated so as to maximize.
- M s is the set of S models to be evaluated
- P is the set of the centroid positions of the point cloud clusters
- q i is the centroid position of the i-th point cloud cluster
- N is the total number of point cloud clusters.
- S is the number of linear structures obtained from the equipment information.
- w i is the local effective length of the i-th point group cluster
- ⁇ i, s are the central axis direction estimated for the i-th point group cluster and the central axis of the s-th model M s (q i). It is an angle formed by the tangential direction at the position of (FIG. 10B).
- the measuring unit 40 If there are many missing parts in the point cloud measured by the measuring unit 40, it is difficult to estimate the shape accurately even if the linear structure can be detected. Therefore, it is necessary to remeasure the point cloud automatically.
- the alert function is important.
- the length of the linear structure that should be originally is estimated from the positional relationship between the utility pole and the ground, and the measured rate is measured from the length and the measured area of the point cloud (line segment). To calculate.
- the measured rate shown in the following formula is calculated, and based on the measured rate, it is determined whether remeasurement should be performed, and warning information is output.
- ESti is the length when the range of the detected peripheral point cloud of the model is projected onto the central axis of the model (FIG. 22).
- the L pole is the model length when the estimated model is extended to the utility pole and the ground position (FIG. 23). That is, it means the total value of the line segments between the end points of the model when the end points of the curve model are changed to the ground and the utility pole position. Specifically, it is the total value of the line segments when projected onto the central axis of the model for the point cloud within the distance ⁇ [m] from the estimated model.
- the model reliability calculation unit 228 projects a peripheral point group consisting of peripheral three-dimensional points on the central axis of the linear structure represented by the estimated model parameters. Based on the length and the length when the linear structure represented by the estimated model parameters is extended to the peripheral structure obtained in advance, the measured rate is calculated as the model reliability according to the above equation (6). To do.
- the remeasurement warning unit 230 outputs warning information from the output unit 240 to notify that the measurement unit 40 needs to remeasure the linear structure whose model reliability is equal to or less than the threshold value.
- the point cloud analysis device 210 is realized by the computer 84 shown in FIG. 13 as an example.
- the computer 84 includes a CPU 86, a memory 88, a storage unit 92 that stores the program 82, a display unit 94 that includes a monitor, and an input unit 96 that includes a keyboard and a mouse.
- the CPU 86, the memory 88, the storage unit 92, the display unit 94, and the input unit 96 are connected to each other via the bus 98.
- the storage unit 92 is realized by an HDD, SSD, flash memory, or the like.
- the storage unit 92 stores a program 82 for causing the computer 84 to function as the point group analyzer 210.
- the CPU 86 reads the program 82 from the storage unit 92, expands the program 82 into the memory 88, and executes the program 82.
- the program 82 may be stored in a computer-readable medium and provided.
- FIG. 24 is a flowchart showing an example of the processing flow by the program 82 according to the second embodiment.
- the CPU 86 reads out and executes the program 82 stored in the storage unit 92.
- the local effective length estimation unit 22 acquires a point cloud consisting of three-dimensional points from the three-dimensional data storage unit 41.
- the local effective length estimation unit 22 estimates the distance u i that projects the point group cluster in the central axis direction for each of the point group clusters obtained by clustering the point groups, and estimates the scan line interval and the projection. From the distance u i , the projection distance u i is increased by the missing region (line segment) of the point group to estimate the local effective length.
- step S200 the linear structure estimation unit 224 uses the number of linear structures obtained from the locally effective length, measurement information, and equipment information estimated for each of the point cloud clusters, and the linear structure estimation unit 224 uses the linear structure by RANSAC. Estimate the model parameters for the number of shaped structures.
- the model reliability calculation unit 228 includes the length when the peripheral point group consisting of the peripheral three-dimensional points is projected onto the central axis of the linear structure represented by the estimated model parameters, and the estimated model.
- the measured rate is calculated as the model reliability according to the above equation (6) based on the length when the linear structure represented by the parameter is extended to the peripheral structure obtained in advance.
- step S204 the remeasurement warning unit 230 outputs warning information to the output unit 240 to notify that the measurement unit 40 needs to remeasure the linear structure whose model reliability is equal to or less than the threshold value.
- step S200 is realized by the processing routine shown in FIG.
- step S210 the linear structure estimation unit 224 uses the estimated local effective length for each point cloud cluster, the estimated central axis direction, the measurement information, and the number of linear structures obtained from the equipment information. Based on the above, RANSAC estimates the model parameters of the linear structure represented by the point cloud cluster. At this time, the model parameters for the number of linear structures that maximize the evaluation score of the evaluation function shown in the above equation (5) are estimated at the same time.
- step S212 the linear structure estimation unit 224 determines whether or not the maximum evaluation score calculated in step S210 is equal to or greater than the threshold value.
- the model parameter finally estimated in step S210 is used as the estimation result of the model parameter of the linear structure represented by the point cloud cluster.
- the process returns to step S210.
- step S214 the linear structure estimation unit 224 deletes the model parameter of the linear structure whose overlap rate with other linear structures is equal to or higher than a certain level.
- the point cloud analysis apparatus uses the number of linear structures for each utility pole obtained in advance, and is linear from the point cloud to the number of linear structures. Simultaneously estimate model parameters representing the structure. This makes it possible to accurately estimate the model parameters representing the linear structure. In particular, it is possible to suppress detection omission of adjacent linear structures.
- model parameters of the linear structure can be estimated accurately by making it less susceptible to the distance threshold of RANSAC.
- the problem of estimating the number of linear structures can be avoided, and even if the linear structure has a small number of measurement points, the adjacent linear structure can be avoided. It is possible to suppress the detection omission of an object.
- the reliability of the estimated linear structure is calculated from the geometrical relationship with each of the utility pole and the ground, and it is determined whether to remeasure and warn. This makes it possible to provide information that the estimated linear structure model with low reliability should be remeasured.
- the point cloud analysis device and method have been illustrated and described above as embodiments.
- the embodiment may be in the form of a program for making the computer function as each part included in the point cloud analysis device.
- the embodiment may be in the form of a storage medium that can be read by a computer that stores this program.
- the configuration of the point cloud analysis device described in the above embodiment is an example, and may be changed depending on the situation within a range that does not deviate from the gist.
- processing flow of the program described in the above embodiment is also an example, and even if unnecessary steps are deleted, new steps are added, or the processing order is changed within a range that does not deviate from the purpose. Good.
- the processing according to the embodiment is realized by the software configuration by using the computer by executing the program has been described, but the present invention is not limited to this.
- the embodiment may be realized by, for example, a hardware configuration or a combination of a hardware configuration and a software configuration.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
レーザ計測点群によるモデル推定精度の低下を抑制する点群解析装置を提供する。 クラスタリング部30が、移動体に搭載され、かつ、計測位置をスキャンしながら計測する計測部によって得られた、物体上の3次元点を表す点群を、スキャンライン内でクラスタリングして点群クラスタを求める。中心軸方向推定部32が、点群クラスタに基づいて、中心軸方向を推定する。方向依存局所有効長推定部34が、推定された中心軸方向と、スキャンラインの間隔とに基づいて、点群クラスタの各々について、点群クラスタを中心軸方向に射影した長さを、点群の欠損部分の分だけ補間したときの長さである局所有効長を推定する。
Description
本発明は、点群解析装置、方法、及びプログラムに係り、特に、3次元点からなる点群から、線状構造物をモデル化するための点群解析装置、方法、及びプログラムに関する。
モバイルマッピングシステム(MMS)と呼ばれるカメラやレーザースキャナを搭載した車が、街中を走行することで道路周辺の構造物である建造物や道路などの物体の表面の形状を計測できるシステムの利用が普及している。このシステムは、GPS(全地球測位システム)やIMS(慣性計測装置)を用いて物体の表面を3次元の座標情報として記録できる。この技術を利用して、道路周辺の構造物検出による3次元の設備地図作成や過去と現在の形状変化(経年変化)を調べるなどの保守・保全業務への活用が期待されている。ここで、3次元の座標情報とは、現実空間における位置と対応した、3次元の座標情報であり、座標情報での相対的位置が、現実空間における位置関係と対応している。
MMSを屋外で走行し、レーザ計測することでインフラ構造物(以下、被写体とよぶ)の表面形状をミリ単位の精度で記録することができ、特許文献1のように、柱状構造物(電柱)の変形量を自動取得する技術の研究が行われている。この特許技術では、計測した点群に対してたわんだ円筒モデル(中心軸が多項式曲線)をRANSAC(RANdom SAmple Consensus)によりモデル当てはめし、精度よくモデルパラメータを推定することができる。
従来技術のRANSACによるロバスト推定では、モデルあてはめスコアである評価関数の出力値(以下、評価スコアと呼ぶ)によりモデルパラメータを推定している。例えば、評価スコアとはモデル表面上に存在する点の数や、点が存在するモデル表面積などが指標として用いられる。RANSACでは、サンプリングした点群を用いて、仮説生成プロセスと評価プロセスを繰り返すことでノイズに頑健にモデル(パラメータ)を推定することが可能な技術である。RANSACを用いることにより、アウトライアであるノイズが多い状況でも、インライアであるモデル表面の点群が相対的に多ければ、正確な形状が推定可能である。また、RANSACで推定したモデルについて、評価スコアがユーザの決めた閾値以上であれば、モデルが存在すると判定できる。例えば、評価スコアを点数とすれば、多数の点がモデル表面上に存在するほど、正しいモデルと判定される。
また、屋外のように広範囲の計測データを対象とした場合、計測位置と被写体との相対位置および相対姿勢により、同一被写体の被計測面積や点群数が変化し、同一の線状構造物、例えば電柱を支える支線や電柱との間の電力線や通信ケーブルであっても、計測された点群データの密度が変化することにより(図1)、評価スコアの設定が困難であるという課題も知られている。ここで、図1は、電柱と支線を上から見たときの、固定式レーザ計測のイメージ図である。白抜きの丸が計測点を示し、θはレーザ計測角度の間隔を意味する。このように、計測位置からの距離および被写体の姿勢により、被計測点群の間隔は変化する。
この課題に対して、従来技術では、評価スコアを点群ではなくて、モデル表面の面積とする技術がある(非特許文献2)。図2Aに示すように、例えばモデル表面を量子化し、各量子化した領域内に点群が存在するかによりその領域内の面積をスコア値として加算するやり方もある。つまり、密度の変化する下限・上限に合わせて量子化の大きさを変えることにより、密度変化の影響を抑制できる。ここで、図2Aは、固定式レーザ計測のイメージ図である。白抜きの丸が計測点を示し、破線領域は一定距離ごとに量子化した範囲を示す。破線内の領域に点が存在するときに評価スコアを+1とすることで、位置による点群密度変化にかかわらずスコアは一定となる。
Ruwen Schnabel, Roland Wahl, and Reinhard Klein,「Efficient RANSAC for Point-Cloud Shape Detection」, In: Computer Graphics Forum (June 2007), 26:2(214-226)
支線やケーブルなど細長い構造物(線状構造物)を被写体としてレーザ計測した場合には、被計測面積が極端に少なくなりやすく、結果としてモデル表面に存在する点数も減少することから、RANSACによるロバスト推定でも、検出が失敗(検出漏れ)することがある。入力データについて、モデル化対象の線状構造物よりも、付属品や周辺物体の構造物の点群の割合が大きくなることもあるため、誤検出モデルを推定しやすい。
また、MMS計測では走行速度により被写体表面の被計測密度が異なり、速度が速いほどスキャンライン間隔が広がり、計測点群の数が少なくなるなど計測条件が変わる。つまり、密度が不均一なため、従来技術のような量子化の設定が明らかでなく、従来技術の適用だけでは精度よくモデル化することは難しい。
さらに、相対位置や速さだけでなくて、相対姿勢によっても影響を受けやすい。例えば、レーザスキャン面と線状構造物中心軸との相対姿勢が表す角度Θが、図3、図4に示すように、Θから2Θへ変化すると、MMSの走行距離Dが一定のとき、スキャンライン間隔はtan(2Θ)からtan(Θ)へ変化する。例えば、Θ=30度とすると、スキャンライン間隔は、√3(≒1.73倍)の違いとなる。また、図3に示すように、スケールが小さいと異なるスキャンライン上の点群を含みにくくなり、スケールが大きいと異なるスキャンライン上の点群も含むが、周辺構造物上の点群も含みやすいという傾向がある。
また直接点群の密度を推定して、その推定結果を考慮した評価スコア関数を設計するアプローチもあるが、MMSではスキャンライン間隔が広いため推定しづらいとい問題がある。図2Bに示すように、密度を推定する際に、スキャンライン間隔が広いときには、スケールを大きくして推定する必要があるが、市街地内のように多数の被写体があるときには、周辺構造物上の点群を含んでしまうため、正確な密度を推定することが難しい。
線状構造物のなどの被写体は、原理的に計測されにくいという問題がある。計測位置からの距離に応じたレーザのスキャン点間隔よりも、線状構造物の幅が狭い場合には、レーザが被写体表面にあたらないことがあり、結果としてデータの欠損が生じてしまい、評価スコアが小さくなりやすい。このような細長い被写体である線状構造物について、検出漏れを抑制するために評価スコアの閾値を小さくすることもできるが、一方でそのように対処すると誤検出のモデルが生じやすいという課題が発生する。
一般的に、モデル推定処理の前処理である、物体検出処理の際には、本来線状構造物でない物体についても、線状構造物と誤判定された点群が含まれる。そのため、それらの点群を入力とした際に、誤って推定した位置の点群位置にモデルが存在すると推定してしまう。つまり、入力データに物体検出時の誤りが含まれることやモデル化対象の被写体に欠損が多い場合について、つまりインライアとなる点群よりもアウトライアとなる点群の割合が多くなりやすいデータについて、モデル推定精度が低下しやすくなるため、一概に評価スコアの閾値を小さくすることはできない。
本発明は、上記の事情に鑑みてなされたもので、レーザ計測点群によるモデル推定精度の低下を抑制することができる点群解析装置、方法、及びプログラムを提供することを目的とする。
上記目的を達成するために、第1の態様に係る点群解析装置は、現実空間を計測した点群データから線状構造物の有無若しくは/及び存在する領域を推定する点群解析装置であって、前記点群データから、前記線状構造物に共通する現実空間における性質を利用し、線状構造物の有無若しくは/及び存在する領域を推定する線状構造物推定部を有し、前記性質は、前記線状構造物の長さ、及び前記線状構造物を所定の単位に分割した際の、分割された領域間の関係である。
第2の態様に係る点群解析方法は、現実空間を計測した点群データから線状構造物の有無若しくは/及び存在する領域を推定する点群解析装置における点群解析方法であって、線状構造物推定部が、前記点群データから、前記線状構造物に共通する現実空間における性質を利用し、線状構造物の有無若しくは/及び存在する領域を推定することを含み、前記性質は、前記線状構造物の長さ、及び前記線状構造物を所定の単位に分割した際の、分割された領域間の関係である。
第3の態様に係るプログラムは、現実空間を計測した点群データから線状構造物の有無若しくは/及び存在する領域を推定するためのプログラムであって、コンピュータに、前記点群データから、前記線状構造物に共通する現実空間における性質を利用し、線状構造物の有無若しくは/及び存在する領域を推定することを実行させるためのプログラムであって、前記性質は、前記線状構造物の長さ、及び前記線状構造物を所定の単位に分割した際の、分割された領域間の関係である。
以上説明したように、本発明の一態様に係る点群解析装置、方法、及びプログラムによれば、レーザ計測点群によるモデル推定精度の低下を抑制することができる。
以下、図面を参照して、本発明を実施するための形態の一例について詳細に説明する。
<本発明の実施形態に係る点群解析装置の概要>
まず、本発明の実施形態に係る点群解析装置の概要について説明する。
まず、本発明の実施形態に係る点群解析装置の概要について説明する。
本実施形態に係る点群解析装置においては、計測された点群について、線状構造物の線分の長さという物理的な量に変換し、評価スコアを算出する際に利用することで、密度変化に対して頑健にモデル推定することが可能となる。具体的には、クラスタリングした点群形状から、中心軸に沿った方向に点群を射影することで、点数や密度に依存しにくい量として、長さを求めることができ、量子化処理も不要とする。
支線やケーブルなどの線状構造物は、一定の長さを有し、かつ、3次元の空間において特定の方向に連続して存在するという性質がある。点群データはレーザ計測の特性により不連続になるが、本発明では線状構造物の連続した方向、つまり中心軸方向を推定し、その方向へ射影した長さをモデル推定時の評価スコアの算出に用いることで、点群密度の不均一性に影響を受けにくく、精度よくパラメータを推定可能とする。
局所有効長の求め方は2通りある。一つ目(有効長推定手法A)は、レーザ計測データに特化して、スキャンライン間隔を直接推定する手法であり、もう一つ(有効長推定手法B)は赤外線センサや超音波センサのような3次元画像にも適用できる手法である。
さらに、線状構造物は被計測面積が小さいため、周辺構造物上の点群の影響を受けやすいが、局所的な幾何情報として有効長の方向(軸方向)を評価スコアの計算時に考慮することで、軸方向と同一な方向を持たない周辺構造物上の点群(アウトライア)の影響を抑制することが可能となる。理由は、構造物上の平面上の点群は、同一方向の中心軸方向を持った点群が一定の線分上に存在する確率が低いためである。各点群クラスタの中心軸方向(押出方向)は、物理的には最小曲率方向として推定されやすいため、例えば円筒上の点群であれば一定方向の押出方向を持った点群が多いが、平面上では最小曲率方向が一定の向きにそろいにくいという性質がある。
また、本実施形態では、入力された点群以外の情報として、インフラ設備の位置関係の情報を評価スコア計算時に考慮することで誤検出モデルを推定することを防ぐ。例えば、支線は電柱の不平衡荷重を解消するための目的で配線されていることが多く、つまりケーブルの合成荷重方向と逆向きに配線されている可能性が高く、力を伝達するためには支線と電柱は接続していることが必須である。また、車が通る道路面に支線が接地されている可能性はない。これらの要件を満たしていない場合に、ペナルティを与える項目をモデル推定時の評価スコアに導入することで、モデル誤推定の抑制が可能となる。
<本発明の実施形態に係る点群解析装置の原理>
次に、本発明の実施形態に係る点群解析装置の原理について説明する。
次に、本発明の実施形態に係る点群解析装置の原理について説明する。
まず、各用語の定義について説明する。
本実施の形態においてモデル化とは、3次元点群もしくは3次元画像を入力としたときに、パラメトリックに表現された3次元形状を推定することと定義する。例えば、電柱であればテーパ付きの円筒モデルとして、半径、長さ、姿勢(傾き)、テーパの大きさという物理量を入力データから推定することを意味する。ケーブルや支線などの線状構造物においては、中心線を多項式(例:2次曲線)モデルとして近似した場合、曲線の存在する平面の座標系、曲線の係数、端点位置、太さなどがモデルパラメータとして推定される。
広義の意味では、モデル表面上の点群の数や計測位置からの距離、また地上高など、モデルの形状(幾何情報)以外の情報もパラメータの一種として考えてよいが、本実施の形態ではこれをモデル情報と呼ぶ。RANSACでのモデルパラメータ推定で求めた幾何情報(形状を定義する情報)について、モデル情報と区別する。
通常、測定値には必ず誤差が含まれる。RANSAC推定時には誤差範囲の閾値を設定し、モデル表面からの距離がこの閾値以内にあるデータをインライアと呼び、明らかに誤りであるものを、アウトライア又は外れ値と呼ぶ。また外れ値が存在することで測定結果からのフィッティングに影響が出るため、外れ値の影響を排除して推定する手法を、ロバスト推定という。
RANSACは数値計算により求める解であり、一方、解析的にモデルパラメータを推定する手法もある。例えば、最小二乗法(LMS:Least Mean Square)とは、二乗誤差を最小化する方法として知られている。この最小二乗法は、外れ値に対してロバストではない。
一方、RANSACとは、ランダムに幾つかのサンプル(点群)を抽出し、抽出したサンプルからモデルパラメータを評価し、残りの点群を用いて、推定モデルを評価する処理を繰り返す手法である。抽出したサンプルに外れ値が含まれなければより確からしい推定が得られ、且つ外れ値の数が全測定数に比べて少なければ推定される誤差範囲内により多くの測定値が含まれる。このことから、もっとも多くの測定値が範囲内に含まれるときの推定を、正しい推定とみなす。
本実施の形態において、同一スキャンライン上の点群とは、レーザ計測する際、計測面(例えばレーザを反射させる鏡)を1周回転させたときに計測される点群と定義する。MMSセンサの場合は、レーザセンサが固定されており、車が移動することにより積層上に被計測物の表面形状が3D点群として記録されていく。一方、固定式レーザセンサの場合、センサ自体が回転することにより、断面計測された点群がある軸に対して回転して積層されたデータとして取得されることが多い。例えば、スキャンレートが100Hzである場合には、1秒あたりに100回転分のスキャンが行われ、固定式のレーザだと100回計測分の点群層が記録される。MMSの場合には、らせん状に点群データが積層されていくため、上記定義のように1回転以内(スキャンレートが100Hzの場合には0.01秒以内)の2つの点について、同一スキャンライン上の点と判断する。
また、スキャンライン間隔とは、スキャンラインごとの点群を区別して説明するために使用する用語である。MMS計測の場合は、一般的には屋外で計測されるため、空(そら)の部分の点群に大きな欠損が生じるため、スキャンライン間を区別しやすい。厳密にはトンネルなどの構造物内では途切れのない連続した点群として計測され、同一スキャンラインかどうか区別しにくい。本実施の形態では、ある点群と別の点群について、スキャンレート(ヘルツ数)以内であれば同一スキャンライン上の点群として便宜上定義する。つまり、100Hzのスキャンレートの場合、2つの点群の計測時刻の差分が0.01秒以下であれば同一スキャンライン上と判定する。このとき、2つの点群同士の計測時刻の差分の内、最も小さい差分量で判定する。
また、モデル情報とは、3Dモデルのパラメータ(幾何情報)、モデル推定アルゴリズム(例えばRANSAC)で用いたパラメータ、及び入力で用いた点群等の情報を意味する。本実施の形態では、インフラ設備であるケーブルや引込線、支線(以後、線状構造物と呼ぶ)を表すモデルとは、線状構造物における中心軸をパラメトリックに表現したモデルである。3次元空間中に存在するN次多項式やスプライン曲線、区分的に連続な直線群でもよい。中心軸について始点と端点を定義でき、かつ端点からの距離に応じた1つのみのパラメータを用いて、長さや地上高などの物理的な値を求められることとする。
また、本実施の形態では、推定対象となる線状構造物が、電柱の支線である場合を例に説明する。
3次元とは、緯度、経度、海抜(高さ)情報でもよいし、ユーザが設定した特定の位置を原点とした3次元ユークリッド座標系でも極座標系でもよい。以下の例では、ユーザが設定した原点における3次元ユークリッド座標系(各方向をX,Y,Z座標とする)を想定する。各座標の単位はメートル(m)やセンチメートル(cm)、ミリメートル(mm)で表現するが、他の単位でもよい。3次元点とは、各点に上記の3次元座標に、その点群が撮影された時刻や、レーザの反射強度や赤・青・緑などの色情報等が付与されている点である。3次元点に付与される情報に制限はないが、少なくとも位置情報(X,Y,Z座標)は付与されたものであり、3次元点群とはその3次元点が2点以上集まった集合である。
本発明の特徴は、計測条件に変動しにくい「長さ」へ変換することである。具体的には、「スキャンライン間隔」と「中心軸方向」から、各「点群クラスタ」を「中心軸上の長さ」へ変換できる。また、線状構造物の存在する方向における有効長を推定しているため、方向と長さが出力される。
[第1の実施形態]
<第1の実施形態に係る点群解析装置の構成>
図5は、第1の実施形態に係る点群解析装置10の機能的な構成の一例を示すブロック図である。
<第1の実施形態に係る点群解析装置の構成>
図5は、第1の実施形態に係る点群解析装置10の機能的な構成の一例を示すブロック図である。
図5に示すように、点群解析装置10は、演算部20と、計測部40と、3次元データ記憶部41と、入力部42と、を備えている。
3次元データ記憶部41は、レーザセンサ等により計測された3次元点群やシミュレーション等により人工的に生成した3次元点群データ等を格納した装置である。レーザセンサとしては、固定式センサおよび移動体式センサの何れかが想定される。なお、本実施形態では、一例として、3次元データ記憶部41の入力として計測部40を連結した場合について説明するが、計測部40を省略してもよい。
計測部40は、移動体に搭載され、かつ、計測位置をスキャンしながら、物体上の3次元点を表す点群を計測するものであり、レーザレンジファインダや、赤外線センサ、または超音波センサなど、被写体とセンサとの距離を測定可能な装置である。例えば、レーザレンジファインダを、GPSが搭載された車の上、もしくはGPSの搭載された飛行機に搭載し、移動しながら計測することで、屋外の環境の地物を被写体とし、例えば、ケーブル、建物、ガードレール、道路地面などであり、これら被写体表面の3次元位置を計測するシステムである。
入力部42は、マウスやキーボードなどのユーザーインターフェースであり、点群解析装置10で使用する計測情報を入力として受け付けるものである。計測情報は、例えば、予め求められた電柱位置及びケーブル位置である。また、入力部42は、計測情報を記憶したUSB(Universal Serial Bus)メモリなどの外部記憶媒体でもよい。
演算部20は、局所有効長推定部22、線状構造物推定部24、及び設備情報記憶部26を備えている。
ここで、局所有効長推定部22が局所有効長を推定する原理について説明する。
まずレーザ計測された線状構造物の点群の特性として、欠損した領域を繋ぐようにグループ化すると、線状構造物の太さにかかわらずある線状構造物上の点群を線状構造物の中心軸方向へ射影したときの領域の範囲(線分の長さ)は等しい値になりやすい。例えば、0.01cmの半径よりも0.1cmの半径のケーブルの方が計測されやすく、被計測領域が広く(点群が多く)なるが、図6Aの半径が細いケーブルの例、及び図6Bの半径が太いケーブルの例に示すように、半径を限りなく0に細線化処理をした場合には、被計測面上の点群の密度や点数が異なるとしても、射影した点群領域の中心軸に沿った長さは等しくなりやすい(図6AのSと図6BのTを参照)。すなわち、点群を中心軸方向へ射影したときの線分長は、計測条件、すなわち計測した位置と線状構造物との相対位置による点密度の変化やオクルージョンによる点群欠損などに影響されにくい量と考えられる。そのため、点群の形状からこの中心軸に沿った長さに変換することで、精度よくモデルを推定する効果が期待できる。つまり、欠損領域の大きさ(中心軸上の長さ)も含めて、点群を中心軸上に射影した長さ(射影領域)を推定できることが重要となる。なお、レーザのスキャン方向と中心軸方向が垂直であれば、同一スキャンライン内の点群を射影した長さ(図6Aのsと図6Bのtに相当)さえも等しくなりやすい。
本発明の特徴は、線状構造物全体の形状を精度よく求めることは難しいと考え、注目した点もしくは点群クラスタについて、局所的に欠損領域の影響を考慮した射影長を推定することである。
また、計測条件が悪い要因について述べてきたが、本実施の形態において計測条件が良い場合の定義としては、線状構造物について欠損なく点群が計測できている状況、すなわち、線状構造物の中心軸上に隙間なく、かつ密度が均一に計測されている状況とする(図7)。
(有効長推定手法A)
有効長推定として、計測時刻情報をもとにした推定方法について説明する。MMSのように計測時刻を、すべての計測点群で記録している場合に有効な方法である。
有効長推定として、計測時刻情報をもとにした推定方法について説明する。MMSのように計測時刻を、すべての計測点群で記録している場合に有効な方法である。
局所有効長推定部22では、図8に示すように、点群クラスタを中心軸上に射影した距離uiを推定し、次に、スキャンライン間隔Δdと、射影距離uiから、欠損領域分だけ、その射影距離uiを増加させることで補間する。つまり、点群を中心軸に沿った長さに変換することだけでなく、計測条件によって生じてしまう欠損領域について射影領域を補正する。
まず、同一スキャンライン内での点群クラスタリングについて説明する。以下、入力点群を区別する記号をiとし、注目点と近傍にある点を区別する記号をjとする。
以下の1)、2)の処理を、各3次元点について繰り返すことにより、同一スキャンライン内での点群クラスタリングが行われる。
1)注目する3次元点piについて、kp近傍点群を検出する。
2)注目点piと、kp近傍点群のうちの近傍点pjとの計測時刻の差分が1スキャン以内の時間であるとき、注目点piと近傍点pjとが同一クラスタであると判定する。
2)注目点piと、kp近傍点群のうちの近傍点pjとの計測時刻の差分が1スキャン以内の時間であるとき、注目点piと近傍点pjとが同一クラスタであると判定する。
ここで、近傍点数kpは実験的に決めるパラメータであり一例として4とした。物理的には、注目点に対してスキャン前後の点との比較が必要なためkp=2であればよいが、空気中の砂埃などのノイズを計測することもあるため、2よりも大きい数字が望ましい。
また、1スキャン以内の時間とは、例えば50Hzのスキャンレートの計測条件であれば、近傍点との計測時刻が、1/50=0.02[秒]である場合、同一クラスタと判定される。本処理により、図8のように同一スキャンラインの点群が1つのクラスタとなる。本実施の形態の一例ではスキャンレートは100[Hz]とした。
本発明の実施の形態では、各点群クラスタにおいて、その点群クラスタと同一被写体上の物体の点群クラスタとの欠損領域を補うための有効長を推定する。つまり、各点群クラスタと同一クラスタでない点群クラスタとの間の補間をするのは望ましくない推定結果である。そのための予防処置として、同一線状構造物であれば中心軸(方向)も同じであると考え、ある点群クラスタの中心軸方向の接線方向である押出方向が類似した近傍点群クラスタを用いて、局所有効長へ変換する。そのため、押出方向が類似していない近傍点群クラスタは、有効長推定時には用いない。
具体的には、ある注目した点群クラスタについて、半径R[m]以内にある点群クラスタjについて、中心軸方向の類似度が閾値TH_angle以上のとき同一方向近傍点群クラスタと判定する。類似度とは、点群クラスタの中心軸方向(3次元ベクトル)同士の内積値の絶対値として求まる。
ここで、半径R[m]および閾値TH_angleは実験的に決めるパラメータであり、本実施の形態の一例においてはR=1.0[m]、TH_angle=0.8とした。
スキャンライン間隔は、原理的には時刻情報と点群クラスタの距離をもとに推定可能である。類似した中心軸方向をもつ近傍点群クラスタについて、注目点群クラスタの重心位置との間の重心間距離から、1スキャンライン間隔の距離Δdを推定する。ある注目点群クラスタと近傍点群クラスタかどうかは、上述したように距離がR[m]以内かどうかで判定する。
また、注目点群クラスタの時刻の平均値と周辺点群クラスタの時刻の平均値との差分Δti,jと、スキャンレートとから、スキャンラインの間隔数Tを算出する。また、注目点群クラスタの位置における中心軸の軸方向は押出方向(接線方向に該当する)として算出可能であり、押出方向の算出方法は、例えば特許文献2に記載の手法を用いればよい。
[特許文献2]特開2019-3527号公報
[特許文献2]特開2019-3527号公報
ある注目点群クラスタiと近傍点群クラスタjを用いて、スキャンレート=Hr[Hz]として、スキャンライン間隔の数Tが次式で求まる。
ただし、関数roundは、入力実数について小数点一位を四捨五入して整数値として出力する関数であり、Δti,jは点群クラスタiと点群クラスタjの計測時刻の差分値の絶対値を意味する。
このとき、ある点群クラスタiと近傍点群クラスタjを用いて、注目点群クラスタiにおける1スキャンライン間隔が次式で求まる。
ただし、Ci、Cjは、T近傍の点群クラスタのうちの隣接するi番目の点群クラスタの重心位置とj番目の点群クラスタの重心位置とを表し、Dは、距離を示す。すわなち、上記の式は、T近傍の点群クラスタのうちの隣接するi番目の点群クラスタの重心位置とj番目の点群クラスタの重心位置との間の距離の平均を表す。
推定誤差を緩和するため、ある注目点群クラスタiにおける1スキャンラインの間隔Δdiは、近傍点数クラスタkc個を用いて、その平均値として求める。
そして、i番目の点群クラスタCiにおける局所有効長wi、及びi番目の点群クラスタに属する点についてipと表現したときの点ipにおける局所有効長wipは、以下の式により求められる。
ただし、uiは注目点群クラスタに含まれる点群を、中心軸方向に射影したときの長さである射影距離を示す。ζclusterは、射影距離を何倍まで補正してよいかの上限値である補正制限値であり、予め定められた値である。例えば、ζclusterは、10.0である。また、点群クラスタが1点のみからなる場合には、射影距離uiを予め定められた値(例えば、0.01)とする。Num(Ci)は、点群クラスタCiに含まれる点の数を表す。
この局所有効長は、物理的には、スキャンライン間隔を中心軸方向に射影した長さを意味している。上限値ζclusterは、観測したデータ(計測点群)を補正する上限であり、誤った補正による後処理への影響を抑える効果がある。すなわち、補正した有効長が射影長に対して著しく大きいかどうかを確認し、補正誤差の悪影響を抑えるために設定する。
ある注目点群クラスタにおける有効長とその有効長の方向、すなわち中心軸方向(押出方向)を、モデル推定では用いる。
ある注目点群クラスタにおける有効長とその有効長の方向、すなわち中心軸方向(押出方向)を、モデル推定では用いる。
以上説明した原理に従って、局所有効長推定部22は、図9に示すように、クラスタリング部30と、中心軸方向推定部32と、方向依存局所有効長推定部34とを備えている。
クラスタリング部30は、3次元データ記憶部41から入力された点群のうち、スキャンライン内の点群をクラスタリングして、点群クラスタを求める。
中心軸方向推定部32は、各点群クラスタから、一定半径以内の点群を用いて中心軸方向を推定する。
方向依存局所有効長推定部34は、推定された中心軸方向と、点群によって形成されたスキャンラインの間隔とに基づいて、点群クラスタの各々について、点群クラスタを中心軸方向に射影した長さを、点群の欠損部分の分だけ補間したときの長さである局所有効長を推定する。
(有効長推定手法B)
なお、局所有効長の算出方法および中心軸方向推定は、上記の方法に限定されるものではなく、他の方法であってもよい。例えば、上記特許文献1のように点群についてまずクラスタリングを実施し、次に各点群クラスタについて直線(もしくは曲線近似)を行い、その直線(もしくは曲線)の方向を中心軸と、各点群クラスタに属している点群をその中心軸上に射影したときの長さから有効長を求めてもよい。
なお、局所有効長の算出方法および中心軸方向推定は、上記の方法に限定されるものではなく、他の方法であってもよい。例えば、上記特許文献1のように点群についてまずクラスタリングを実施し、次に各点群クラスタについて直線(もしくは曲線近似)を行い、その直線(もしくは曲線)の方向を中心軸と、各点群クラスタに属している点群をその中心軸上に射影したときの長さから有効長を求めてもよい。
具体例として直線近似をした点群クラスタについて説明する。まず、主成分分析により求めた中心軸に沿った方向の距離として最も離れた2点を長さとして求める。
次に、その点群クラスタに含まれる点数で、長さを割ったものが、各点の有効長となり、中心軸方向は主成分分析した第一固有値ベクトルが該当する。
次に、その点群クラスタに含まれる点数で、長さを割ったものが、各点の有効長となり、中心軸方向は主成分分析した第一固有値ベクトルが該当する。
具体例として2次曲線近似(円弧近似)をした点群クラスタについて説明する。まず、RANSACにより、点群クラスタに円あてはめを実施して、円弧の中心軸を求める。次に、中心軸に沿った長さを基準として、最も離れた2点を選び、その中心軸に沿った長さを点群クラスタの長さとする。最後に、その点群クラスタに含まれる点数で、長さを割ったものが、各点の有効長となり、中心軸方向は各点の位置における曲線の接線方向が該当する。
有効長推定手法Bは、計測時刻情報がない点群において有効である。例えば、赤外線センサなど、例えばMicrosoft社のKINECT(登録商標)のような装置で計測した点群(3次元画像)である。また、計測した点群の保管するデータ量を削減するために、時刻情報を削除した3次元データ等にも、有効長推定手法Aと異なり適用ができる。
3次元空間におけるモデルパラメータ推定については、上記特許文献1に記載の方法などを用いればよい。線状構造物の場合、太さを便宜的に0としたモデルの当てはめ、つまり中心軸と3次元点群との距離をもとにしたモデルの当てはめを実施する。入力点群を距離0で通るようなモデル、つまり入力点群との距離誤差が0となるようなモデルが存在すれば最も確からしいモデルとして算出される。また、評価スコアは上記の点群クラスタの有効長と点群クラスタの中心軸方向を用いて算出される。各点群クラスタ(位置pm)における有効長方向とモデル中心軸方向(接線方向)のイメージを図10Aに記載している。具体的な方法は以降で述べる。ここで、図10Aは、3次元点pmと3次元空間中に存在する2次曲線との距離を説明するための概念図である。qhはpmから二次曲線への最短距離の位置(垂線の足)を示す。三平方の定理により、注目点pmと該注目点から中心軸への垂線の足qhの距離rpmは、線分pmp’mと線分p’mqhを用いて算出できる。ただし 点p’mは注目点を2次曲線がのる平面へ射影した点である。
線状構造物推定部24は、点群クラスタの各々について推定された局所有効長と、推定された中心軸方向と、計測情報とに基づいて、RANSACにより、点群クラスタが表す線状構造物のモデルパラメータを推定する。
具体的には、線状構造物推定部24は、予め求められた周辺構造物との位置関係に基づくペナルティ項を含む、モデルパラメータを評価する評価関数の値を最大化するように、点群クラスタが表す線状構造物のモデルパラメータを推定する。
ここで、点群クラスタを用いた評価関数の場合には、評価関数Jは以下の式で表わされる。
ただし、Mは評価対象となるモデル、Qは点群クラスタの集合、qiはi番目の点群クラスタの重心位置であり、Nqは点群クラスタの総数である。また、wiは、i番目の点群クラスタの局所有効長であり、θiはi番目の点群クラスタqiについて推定した中心軸方向とモデルMの中心軸(qiの位置における中心軸の接線方向)の成す角度である(図10B)。
は、点qiについて、モデルMとの距離が閾値ε以下の場合は1を出力し、それ以外は0を出力する関数である。また、E(M)は、以下の条件(1)~(3)の何れかを満足するとき、予め定められた負の値となる。例えば、ペナルティが発生したときのモデルを推定結果としないように、マイナス無限大という値を設定すればよい。また、マイナス無限大という値を設定した時にはαを削除したり1としてもよい。また、ペナルティ項Eをマイナス無限大と設定せず、α・E(M)が負の値を出力するようにαに適当なマイナスの値を入れてもよい。つまり、ペナルティとして働くようにα・E(M)を設計すればよい。
条件(1):電柱と、線状構造物のモデルとが交わらないこと。
具体的には、支線モデル端点の延長線(接線)と電柱の中心軸との最短距離が、閾値TH_Dpole以上のときに交わらないと判定すればよい。ここで、距離閾値TH_Dpoleは実験的に決めるパラメータであり、本実施の形態の一例では0.3[m]とした。
具体的には、支線モデル端点の延長線(接線)と電柱の中心軸との最短距離が、閾値TH_Dpole以上のときに交わらないと判定すればよい。ここで、距離閾値TH_Dpoleは実験的に決めるパラメータであり、本実施の形態の一例では0.3[m]とした。
条件(2):線状構造物のモデルと地面との交点位置が、ケーブルより道路側(MMS走行軌跡側)であること(図11)。
具体的な方法として、例えば車両走行レーンについて白線検出した内側の点群として自動推定するか、もしくは手動で点群にラベルを付与しておく。支線モデルの設置(地面)位置から距離r_ground以内に存在する点群のラベルが1つでも車両走行レーンである場合には、条件を満たすと判定する。
具体的な方法として、例えば車両走行レーンについて白線検出した内側の点群として自動推定するか、もしくは手動で点群にラベルを付与しておく。支線モデルの設置(地面)位置から距離r_ground以内に存在する点群のラベルが1つでも車両走行レーンである場合には、条件を満たすと判定する。
本実施の形態では、簡易方法として、MMS走行軌跡(MMSが走行したX,Y,Z座標群)を用いる。MMS走行軌跡は車両が走行できるレーンであることは確実なため、支線モデルとMMS走行軌跡との最短距離を計算し、その距離が閾値距離r_ground以内のときは、ペナルティが発生すると判定する。
閾値距離r_groundは実験的に決めるパラメータであり、本実施の形態の一例では0.3[m]とした。
条件(3):線状構造物のモデルが、ケーブルに対して、ケーブルの合力方向と同じ側にあること(図12)。
具体的には、本実施の形態では、事前に検出したケーブルモデルを地面(XY平面)に射影したときの方向(ベクトル)の平均ベクトルを、合力方向を用いればよい。例えば、ケーブルの単位長さ当たりの荷重W[N]が既知であるのならば、力の大きさとして、ケーブルの弛度から求めた水平張力を利用すればよい。水平張力の算出方法は、既存技術を用いればよく、例えばケーブル点群をカテナリ曲線として近似して、カテナリ曲線から求めた弛度d’とケーブル端点間距離S’、ケーブルの単位距離あたりの密度Wにより水平張力Tが求められる。
条件(3)については、例えば、上から見た、線状構造物のモデルの中心軸を水平面への射影したときの線分と、合力方向との成す角度が90度未満である場合に、条件(3)を満たすと判断する。
具体的には、合力方向(2次元ベクトル)と支線端点を結んだ方向を地面に射影した方向(2次元ベクトル)の成す角度を求め、その角度が90度未満のときにペナルティが発生する。本来、張力合力と反対側に支線張力が発生すべきであり、成す角度が180度反対方向であることが、支線本来の役目として望ましいと考える。
また、点群を用いた評価関数の場合には、評価関数は以下の式で表わされる。
ただし、Mは評価対象となるモデル、Pは点群集合であり、Npは点群に含まれる3次元点の総数であり、piはi番目の3次元点の位置を表す。wp
iは、i番目の点の局所有効長であり、θp
iは、i番目の点が属する点群クラスタの中心軸方向とモデルの中心軸の接線方向との成す角度である。
上記(3)式又は(4)式に示す評価関数の値を最大化するように、線状構造物のモデルパラメータを推定することにより、局所有効長が長いほど、成す角度θi及びモデルMとの距離
に対する重みを大きくし、かつ、周辺構造物との位置関係が拘束条件を満たすように、線状構造物のモデルパラメータを推定することができる。
に対する重みを大きくし、かつ、周辺構造物との位置関係が拘束条件を満たすように、線状構造物のモデルパラメータを推定することができる。
線状構造物推定部24によるRANSACでは、最もスコアの高いモデルから1本ずつ線状構造物が検出され、そのときのモデルのパラメータを、モデルのパラメータの推定結果とする。推定モデルパラメータ
は次式で求まる。
は次式で求まる。
検出されたモデルについて評価スコアが閾値以下の場合、検出されるべきモデルがないと判定し、処理を終了する。
点群解析装置10は、一例として、図13に示すコンピュータ84によって実現される。コンピュータ84は、CPU86、メモリ88、プログラム82を記憶した記憶部92、モニタを含む表示部94、及びキーボードやマウスを含む入力部96を含んでいる。CPU86、メモリ88、記憶部92、表示部94、及び入力部96はバス98を介して互いに接続されている。
記憶部92はHDD、SSD、フラッシュメモリ等によって実現される。記憶部92には、コンピュータ84を点群解析装置10として機能させるためのプログラム82が記憶されている。CPU86は、プログラム82を記憶部92から読み出してメモリ88に展開し、プログラム82を実行する。なお、プログラム82をコンピュータ可読媒体に格納して提供してもよい。
<第1の実施形態に係る点群解析装置の作用>
次に、図14を参照して、第1の実施形態に係る点群解析装置10の作用を説明する。なお、図14は、第1の実施形態に係るプログラム82による処理の流れの一例を示すフローチャートである。
次に、図14を参照して、第1の実施形態に係る点群解析装置10の作用を説明する。なお、図14は、第1の実施形態に係るプログラム82による処理の流れの一例を示すフローチャートである。
本第1の実施形態に係る点群解析装置10は、操作者の操作により点群解析処理の実行が指示されると、CPU86が記憶部92に記憶されているプログラム82を読み出して実行する。
まず、図14のステップS100では、局所有効長推定部22が、3次元データ記憶部41から、3次元点からなる点群を取得する。
ステップS102では、局所有効長推定部22が、点群をクラスタリングして得られた点群クラスタの各々について、点群クラスタを中心軸方向に射影した射影距離uiを推定し、スキャンライン間隔と射影距離uiから、点群の欠損領域(線分)分だけ、その射影距離uiを増加させて、局所有効長を推定する。
ステップS104では、線状構造物推定部24は、点群クラスタの各々について推定された局所有効長と、計測情報とを用いて、RANSACにより、点群クラスタが表す線状構造物のモデルパラメータを推定する。
上記ステップS102の処理は、図15に示す処理ルーチンにより実現される。
まず、ステップS110において、クラスタリング部30は、取得した点群に基づいて、スキャンライン内での点群クラスタリングを行う。
ステップS112では、中心軸方向推定部32は、スキャンライン間の点群クラスタを用いて、各点群クラスタについて中心軸方向を推定する。例えば、注目点群クラスタとその周辺の点群クラスタとの相関値を、仮中心軸方向の各々について算出する。ここで、注目点群クラスタとその周辺の点群クラスタとの相関値は、点群クラスタの形状の類似度から計算される。そして、算出された相関値が最大となる仮中心軸方向を、注目点群クラスタの中心軸方向として推定する。
ステップS114では、方向依存局所有効長推定部34は、各点群クラスタについて、当該点群クラスタについて推定された中心軸方向と、点群によって形成されたスキャンラインの間隔とに基づいて、当該点群クラスタを中心軸方向に射影した長さである射影距離を、点群の欠損部分の分だけ補間したときの長さである、局所有効長を推定する。
上記ステップS114の処理は、図16に示す処理ルーチンにより実現される。なお、図16に示す処理ルーチンは、注目点群クラスタの各々について繰り返し実行される。
まず、ステップS120において、上記ステップS102のクラスタリング結果として得られた点群クラスタから、注目点群クラスタに対する中心軸方向から一定距離r[m]以内に存在する点群クラスタのうち、注目点群クラスタに対する中心軸方向からの距離がT近傍の点群クラスタを探索する。
ステップS122では、注目点群クラスタを、中心軸方向に射影したときの射影距離を推定する。また、上記ステップS120により探索された点群クラスタの各々の重心位置に基づいて、上記(1)式に従って、スキャンライン間隔を推定する。
ステップS124では、上記ステップS122で得られた射影距離とスキャンライン間隔とを用いて、上記(2)式に従って、局所有効長を推定する。
上記ステップS104の処理は、図17に示す処理ルーチンにより実現される。
ステップS130において、線状構造物推定部24は、点群クラスタの各々について推定された局所有効長と、推定された中心軸方向とに基づいて、RANSACにより、点群クラスタが表す線状構造物のモデルパラメータを推定する。このとき、上記(3)式又は(4)式に示す評価関数の評価スコアが最大となるモデルパラメータを推定する。
ステップS132では、上記ステップS130で算出された最大の評価スコアが、閾値以上であるか否かを判定する。最大の評価スコアが、閾値以上である場合には、上記ステップS130で最終的に推定されたモデルパラメータを、点群クラスタが表す線状構造物のモデルパラメータの推定結果とする。一方、最大の評価スコアが、閾値未満である場合には、上記ステップS130へ戻る。
以上説明したように、第1の実施形態に係る点群解析装置は、点群クラスタの各々について、推定された中心軸方向と、スキャンラインの間隔とに基づいて、当該点群クラスタを中心軸方向に射影した長さを、点群の欠損部分の分だけ補間したときの長さである局所有効長を推定する。これにより、スキャンライン間隔を考慮した計測点群の有効長を精度よく推定することができる。
また、有効長を考慮することにより、点群から、線状構造物を表すモデルパラメータを精度よく推定することができる。また、計測部と被計測物である線状構造物との相対位置・姿勢等の影響を抑制し、線状構造物の検出精度を改善することができる。また、周辺設備との位置関係に関する拘束条件を考慮することにより、線状構造物が誤った位置に推定されることを抑制することができる。
[第2の実施形態]
<第2の実施形態に係る点群解析装置の概要>
複数の線状構造物が近くにある場合に、線状構造物の検出漏れを生じる可能性がある。例えば、距離閾値の値を適切に設定しないと、近くにある複数の線状構造物について、1本であると誤った推定をすることがある。特に、短い線状構造物について、評価スコアが大きくなりにくいため、検出漏れが生じやすい。
<第2の実施形態に係る点群解析装置の概要>
複数の線状構造物が近くにある場合に、線状構造物の検出漏れを生じる可能性がある。例えば、距離閾値の値を適切に設定しないと、近くにある複数の線状構造物について、1本であると誤った推定をすることがある。特に、短い線状構造物について、評価スコアが大きくなりにくいため、検出漏れが生じやすい。
具体的には、図18に示すような点群が計測された場合に、1本の直線又は曲線として近似しにくい理由が不明である。また、距離閾値を大きくすると、1本と推定されやすい。しかし、距離閾値を小さくすると、2本と推定されやすい。
そこで、本実施の形態では、線状構造物の本数を含む設備情報を利用する。線状構造物の本数が既知であるため、線状構造物の太さによる点群位置の変動(直線からの乖離)なのか、異なる計測物が近くにあることによる点群の位置の変動(直線に垂直な方向の分散)なのかを解釈することができる。
例えば、図19に示すように、線状構造物が1本と既知の場合、計測誤差、もしくは線状構造物の太さにより点群に変動(直線からの乖離)が生じている状況と判断でき、距離閾値を大きくすることができる。
また、図20に示すように、線状構造物が2本と既知の場合、異なる物体があることにより、1本の曲線で近似しづらい状況であると判断できる。
また、複数本の線状構造物を同時に推定することで、距離閾値を大きくしても問題がなくなる。これは、評価関数では、もっとも近いモデルと点との距離が利用されるためである。
具体的には、設備情報から得られる線状構造物の本数分のモデルのパラメータを同時に推定する、RANSACの評価関数を設定して、モデルパラメータを推定する。
<第2の実施形態に係る点群解析装置の構成>
図21は、第2の実施形態に係る点群解析装置210の機能的な構成の一例を示すブロック図である。
図21は、第2の実施形態に係る点群解析装置210の機能的な構成の一例を示すブロック図である。
図21に示すように、点群解析装置210は、演算部220と、計測部40と、3次元データ記憶部41と、入力部42と、を備えている。
第2の実施形態においては、計測部40として、車上にGPSとレーザレンジファインダとが搭載されているMMSを用い、被写体の物体の表面上の位置を計測した計測結果である3次元点からなる点群を取得する。
入力部42は、点群解析装置10で使用する計測情報及び設備情報を入力として受け付けるものである。計測情報は、例えば、予め求められた電柱位置、ケーブル位置であり、設備情報は、電柱毎に予め求められた線状構造物としての支線の本数である。
演算部220は、局所有効長推定部22、線状構造物推定部224、設備情報記憶部26、モデル信頼度算出部228、及び再計測警告部230を備えている。
線状構造物推定部224は、点群クラスタの各々について推定された局所有効長と、推定された中心軸方向と、線状構造物の本数とに基づいて、RANSACにより、点群クラスタが表す線状構造物のモデルパラメータを推定する。
具体的には、線状構造物推定部224は、予め求められた周辺構造物との位置関係に基づくペナルティ項を含み、線状構造物の本数分のモデルパラメータを同時に評価する評価関数の値を最大化するように、線状構造物の本数分のモデルパラメータを推定する。
ここで、評価関数は以下の式で表わされる。
ただし、Msは評価対象となるS個のモデル集合、Pは点群クラスタの重心位置の集合であり、qiはi番目の点群クラスタの重心位置であり、Nは点群クラスタの総数であり、Sは設備情報から得られる線状構造物の数である。また、wiは、i番目の点群クラスタの局所有効長であり、θi,sは、i番目の点群クラスタについて推定した中心軸方向とs番目のモデルMsの中心軸(qiの位置での接線方向)の成す角度である(図10B)。
上記の評価関数の値が最も高くなるような、線状構造物の本数分のモデルパラメータを同時に検出する。ただし、オクルージョンなどにより計測部40により計測されていない線状構造物がある場合、本来の線状構造物の位置ではなくて、オクルージョンの影響を受けていない同一線状構造物上に複数のモデルを検出してしまうことがある。このような冗長なモデルについては、後処理にて削除する。
次に、モデル信頼度算出部228によりモデル信頼度を算出し、再計測警告部230により警告する原理について説明する。
計測部40により計測された点群に欠損部分が多い場合、線状構造物を検出できたとしても精度よく形状を推定することが困難であるため、点群を再計測する必要があり、自動アラート機能が重要となる。
これは、技術的に推定困難な結果をもとに、保守保全業務を実施した場合、設備の安全性を正しく判断できない可能性があるからである。このため、「解析結果の信頼度」を出力し、場合によっては再計測する必要がある。
つまり、計測条件により推定結果が間違っている可能性が高いものについて、技術予測の難しさを考慮して信頼度を算出することが重要である。
そこで、本実施の形態では、電柱と地面との位置関係から、本来あるべき線状構造物の長さを推定し、その長さと計測された点群の面積(線分)から、被計測率を計算する。
具体的には、モデル信頼度として、以下の式に示す被計測率を算出し、被計測率をもとに、再計測すべきか判定して、警告情報を出力する。
ただし、Lestiは、検出されたモデルの周辺点群の範囲を、モデルの中心軸に射影したときの長さである(図22)。Lpoleは、上記推定モデルを、電柱および地面位置まで延長したときのモデル長である(図23)。つまり、曲線モデルの端点を地面および電柱位置まで変更した際のモデルの端点間の線分合計値を意味する。
具体的には、推定したモデルから距離ε[m]以内にある点群について、モデル中心軸に射影したときの線分の合計値である。εは、RANSACにより求めるモデル化の際の評価スコアを決める際の距離閾値と同じ値でよく、本実施例ではε=0.1[m]とする。
具体的には、推定したモデルから距離ε[m]以内にある点群について、モデル中心軸に射影したときの線分の合計値である。εは、RANSACにより求めるモデル化の際の評価スコアを決める際の距離閾値と同じ値でよく、本実施例ではε=0.1[m]とする。
上述した原理に従って、本実施の形態では、モデル信頼度算出部228は、推定されたモデルパラメータが表す線状構造物の中心軸に、周辺の3次元点からなる周辺点群を射影したときの長さと、推定されたモデルパラメータが表す線状構造物を、予め求められた周辺構造物まで延長したときの長さとに基づいて、上記(6)式に従って、被計測率をモデル信頼度として算出する。
再計測警告部230は、モデル信頼度が閾値以下である線状構造物について、計測部40による再計測が必要であることを報知する警告情報を、出力部240により出力する。
点群解析装置210は、一例として、上記図13に示すコンピュータ84によって実現される。コンピュータ84は、CPU86、メモリ88、プログラム82を記憶した記憶部92、モニタを含む表示部94、及びキーボードやマウスを含む入力部96を含んでいる。CPU86、メモリ88、記憶部92、表示部94、及び入力部96はバス98を介して互いに接続されている。
記憶部92はHDD、SSD、フラッシュメモリ等によって実現される。記憶部92には、コンピュータ84を点群解析装置210として機能させるためのプログラム82が記憶されている。CPU86は、プログラム82を記憶部92から読み出してメモリ88に展開し、プログラム82を実行する。なお、プログラム82をコンピュータ可読媒体に格納して提供してもよい。
<第2の実施形態に係る点群解析装置の作用>
次に、図24を参照して、第2の実施形態に係る点群解析装置210の作用を説明する。なお、図24は、第2の実施形態に係るプログラム82による処理の流れの一例を示すフローチャートである。
次に、図24を参照して、第2の実施形態に係る点群解析装置210の作用を説明する。なお、図24は、第2の実施形態に係るプログラム82による処理の流れの一例を示すフローチャートである。
本第2の実施形態に係る点群解析装置210は、操作者の操作により点群解析処理の実行が指示されると、CPU86が記憶部92に記憶されているプログラム82を読み出して実行する。
まず、図24のステップS100では、局所有効長推定部22が、3次元データ記憶部41から、3次元点からなる点群を取得する。
ステップS102では、局所有効長推定部22が、点群をクラスタリングして得られた点群クラスタの各々について、点群クラスタを中心軸方向に射影した距離uiを推定し、スキャンライン間隔と射影距離uiから、点群の欠損領域(線分)分だけ、その射影距離uiを増加させて、局所有効長を推定する。
ステップS200では、線状構造物推定部224は、点群クラスタの各々について推定された局所有効長、計測情報、及び設備情報から得られた線状構造物の本数を用いて、RANSACにより、線状構造物の本数分のモデルパラメータを推定する。
ステップS202では、モデル信頼度算出部228は、推定されたモデルパラメータが表す線状構造物の中心軸に、周辺の3次元点からなる周辺点群を射影したときの長さと、推定されたモデルパラメータが表す線状構造物を、予め求められた周辺構造物まで延長したときの長さとに基づいて、上記(6)式に従って、被計測率をモデル信頼度として算出する。
ステップS204では、再計測警告部230は、モデル信頼度が閾値以下である線状構造物について、計測部40による再計測が必要であることを報知する警告情報を、出力部240により出力する。
上記ステップS200は、図25に示す処理ルーチンにより実現される。
ステップS210において、線状構造物推定部224は、点群クラスタの各々について推定された局所有効長と、推定された中心軸方向と、計測情報と、設備情報から得られる線状構造物の本数とに基づいて、RANSACにより、点群クラスタが表す線状構造物のモデルパラメータを推定する。このとき、上記(5)式に示す評価関数の評価スコアが最大となる、線状構造物の本数分のモデルパラメータを同時に推定する。
ステップS212では、線状構造物推定部224は、上記ステップS210で算出された最大の評価スコアが、閾値以上であるか否かを判定する。最大の評価スコアが、閾値以上である場合には、上記ステップS210で最終的に推定されたモデルパラメータを、点群クラスタが表す線状構造物のモデルパラメータの推定結果とする。一方、最大の評価スコアが、閾値未満である場合には、上記ステップS210へ戻る。
ステップS214では、線状構造物推定部224は、他の線状構造物との重複率が一定以上となる線状構造物のモデルパラメータを削除する。
以上説明したように、第2の実施形態に係る点群解析装置は、予め求められた電柱毎の線状構造物の本数を用いて、点群から、線状構造物の本数分の線状構造物を表すモデルパラメータを同時に推定する。これにより、線状構造物を表すモデルパラメータを精度よく推定することができる。特に、隣接する線状構造物の検出漏れを抑制することができる。
また、複数本数分の線状構造物のモデルパラメータを同時に推定する評価関数を設定することにより、局所解を避けることができ、最適解を得やすい。またRANSACの距離閾値の影響を受けにくくして、線状構造物のモデルパラメータを精度よく推定することができる。
また、設備情報から得られる線状構造物の本数を用いることにより、線状構造物の本数を推定する問題を回避でき、計測点数の少ない線状構造物であっても、隣接する線状構造物の検出漏れを抑制することができる。
また、電柱及び地面各々との幾何関係から、推定された線状構造物についての信頼度を算出し、再計測するかどうか判定して、警告する。これにより、推定された線状構造物のモデルの信頼性が低いものについて、再計測すべきと情報を提示できる。
以上、実施形態として点群解析装置及び方法を例示して説明した。実施形態は、コンピュータを、点群解析装置が備える各部として機能させるためのプログラムの形態としてもよい。実施形態は、このプログラムを記憶したコンピュータが読み取り可能な記憶媒体の形態としてもよい。
その他、上記実施形態で説明した点群解析装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。
また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。
10、210 点群解析装置
20、220 演算部
22 局所有効長推定部
24、224 線状構造物推定部
26 設備情報記憶部
30 クラスタリング部
32 中心軸方向推定部
34 方向依存局所有効長推定部
40 計測部
41 3次元データ記憶部
42 入力部
82 プログラム
84 コンピュータ
228 モデル信頼度算出部
230 再計測警告部
240 出力部
20、220 演算部
22 局所有効長推定部
24、224 線状構造物推定部
26 設備情報記憶部
30 クラスタリング部
32 中心軸方向推定部
34 方向依存局所有効長推定部
40 計測部
41 3次元データ記憶部
42 入力部
82 プログラム
84 コンピュータ
228 モデル信頼度算出部
230 再計測警告部
240 出力部
Claims (9)
- 現実空間を計測した点群データから線状構造物の有無若しくは/及び存在する領域を推定する点群解析装置であって、
前記点群データから、前記線状構造物に共通する現実空間における性質を利用し、線状構造物の有無若しくは/及び存在する領域を推定する線状構造物推定部を有し、
前記性質は、前記線状構造物の長さ、及び前記線状構造物を所定の単位に分割した際の、分割された領域間の関係である
点群解析装置。 - 前記線状構造物推定部は、
前記線状構造物と現実空間における地面との関係、若しくは、前記線状構造物と前記線状構造物の周囲に存在する人工の構造物との関係をさらに利用する
請求項1記載の点群解析装置。 - 3次元点を表す点群を記憶した3次元データ記憶部と、
前記点群をクラスタリングして点群クラスタを求めるクラスタリング部と、
前記点群クラスタに基づいて、中心軸方向を推定する中心軸方向推定部と、
前記推定された前記中心軸方向と、前記点群クラスタの各々について、前記点群クラスタに属する点群を前記中心軸方向に射影した長さを、前記点群の欠損部分の分だけ補間したときの長さである局所有効長として推定する方向依存局所有効長推定部と、を更に含み、
前記線状構造物推定部は、前記線状構造物の長さとして、局所有効長を用いて、線状構造物の存在する領域を表すモデルパラメータを推定する請求項1又は2記載の点群解析装置。 - 前記線状構造物推定部は、前記点群クラスタの各々について推定された前記局所有効長と、前記推定された前記中心軸方向とに基づいて、前記点群クラスタが表す線状構造物の存在する領域を表すモデルパラメータを推定する請求項3記載の点群解析装置。
- 前記線状構造物推定部は、予め求められた周辺構造物と前記点群クラスタが表す線状構造物との位置関係に基づくペナルティ項を含む、前記モデルパラメータを評価する評価関数を用いて、前記点群クラスタが表す線状構造物のモデルパラメータを推定する請求項4記載の点群解析装置。
- 前記線状構造物推定部は、予め求められた、近傍に存在する線状構造物の本数を用いて、前記線状構造物の本数分の、前記線状構造物のモデルパラメータを同時に推定する請求項4又は5記載の点群解析装置。
- 前記推定されたモデルパラメータが表す線状構造物の周辺の3次元点からなる周辺点群の範囲の長さと、前記推定されたモデルパラメータが表す線状構造物を、予め求められた周辺構造物まで延長したときの長さとに基づいて、モデル信頼度を算出するモデル信頼度算出部と、
前記モデル信頼度が閾値以下である線状構造物について、点群データの再計測が必要であることを報知する再計測警告部と、
を更に含む請求項4~請求項6の何れか1項記載の点群解析装置。 - 現実空間を計測した点群データから線状構造物の有無若しくは/及び存在する領域を推定する点群解析装置における点群解析方法であって、
線状構造物推定部が、前記点群データから、前記線状構造物に共通する現実空間における性質を利用し、線状構造物の有無若しくは/及び存在する領域を推定することを含み、
前記性質は、前記線状構造物の長さ、及び前記線状構造物を所定の単位に分割した際の、分割された領域間の関係である
点群解析方法。 - 現実空間を計測した点群データから線状構造物の有無若しくは/及び存在する領域を推定するためのプログラムであって、
コンピュータに、
前記点群データから、前記線状構造物に共通する現実空間における性質を利用し、線状構造物の有無若しくは/及び存在する領域を推定する
ことを実行させるためのプログラムであって、
前記性質は、前記線状構造物の長さ、及び前記線状構造物を所定の単位に分割した際の、分割された領域間の関係である
プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021518260A JP7235104B2 (ja) | 2019-05-08 | 2019-05-08 | 点群解析装置、方法、及びプログラム |
PCT/JP2019/018449 WO2020225886A1 (ja) | 2019-05-08 | 2019-05-08 | 点群解析装置、方法、及びプログラム |
US17/608,963 US20220215572A1 (en) | 2019-05-08 | 2019-05-08 | Point cloud analysis device, method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/018449 WO2020225886A1 (ja) | 2019-05-08 | 2019-05-08 | 点群解析装置、方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020225886A1 true WO2020225886A1 (ja) | 2020-11-12 |
Family
ID=73051611
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/018449 WO2020225886A1 (ja) | 2019-05-08 | 2019-05-08 | 点群解析装置、方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220215572A1 (ja) |
JP (1) | JP7235104B2 (ja) |
WO (1) | WO2020225886A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112907505A (zh) * | 2021-01-11 | 2021-06-04 | 南京工程学院 | 一种水下机器人电缆三维形状估计方法 |
WO2023013069A1 (ja) * | 2021-08-06 | 2023-02-09 | 日本電信電話株式会社 | データ圧縮装置、データ圧縮方法、及びプログラム |
WO2023105702A1 (ja) * | 2021-12-09 | 2023-06-15 | 日本電信電話株式会社 | 線状物を抽出する装置、方法及びプログラム |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7324791B2 (ja) * | 2021-03-09 | 2023-08-10 | 本田技研工業株式会社 | 画像収集システム、及び画像収集方法 |
CN112927287A (zh) * | 2021-03-24 | 2021-06-08 | 和数科技(浙江)有限公司 | 一种目标物体的表型数据分析方法、存储介质及终端 |
CN113341422B (zh) * | 2021-06-23 | 2024-05-24 | 重庆工程职业技术学院 | 一种基于掘锚机位置感知系统的掘进支护方法 |
CN113627492B (zh) * | 2021-07-20 | 2024-06-04 | 东软医疗系统股份有限公司 | 扫描对象尺寸的确定方法、扫描方法、装置和电子设备 |
CN115856834A (zh) * | 2022-07-26 | 2023-03-28 | 深圳市速腾聚创科技有限公司 | 点云的加密方法、装置、存储介质及激光雷达 |
CN117252863B (zh) * | 2023-11-13 | 2024-02-09 | 山东省地质测绘院 | 一种地理信息异常数据快速检测分析方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005070840A (ja) * | 2003-08-25 | 2005-03-17 | East Japan Railway Co | 三次元モデル作成装置、三次元モデル作成方法、及び三次元モデル作成プログラム |
JP2015001901A (ja) * | 2013-06-17 | 2015-01-05 | 日本電信電話株式会社 | 点群解析処理装置、点群解析処理方法、及びプログラム |
JP2015078849A (ja) * | 2013-10-15 | 2015-04-23 | 日本電信電話株式会社 | 設備状態検出方法およびその装置 |
WO2016158628A1 (ja) * | 2015-03-31 | 2016-10-06 | 株式会社オートネットワーク技術研究所 | ワイヤーハーネスの製造方法および画像処理方法 |
WO2017103999A1 (ja) * | 2015-12-15 | 2017-06-22 | 三菱電機株式会社 | トロリ線計測装置およびトロリ線計測方法 |
JP2018195240A (ja) * | 2017-05-22 | 2018-12-06 | 日本電信電話株式会社 | 設備状態検出方法、検出装置およびプログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DK3223191T3 (da) * | 2016-03-23 | 2021-08-16 | Leica Geosystems Ag | Skabelse af en 3d-bymodel ud fra skrå billeddannelses- og lidardata |
US10854011B2 (en) * | 2018-04-09 | 2020-12-01 | Direct Current Capital LLC | Method for rendering 2D and 3D data within a 3D virtual environment |
US11294060B2 (en) * | 2018-04-18 | 2022-04-05 | Faraday & Future Inc. | System and method for lidar-based vehicular localization relating to autonomous navigation |
US10807236B2 (en) * | 2018-04-30 | 2020-10-20 | Beijing Jingdong Shangke Information Technology Co., Ltd. | System and method for multimodal mapping and localization |
US10699167B1 (en) * | 2018-10-19 | 2020-06-30 | Waymo Llc | Perception visualization tool |
US10846511B2 (en) * | 2018-12-20 | 2020-11-24 | Here Global B.V. | Automatic detection and positioning of pole-like objects in 3D |
KR20200122897A (ko) * | 2019-04-19 | 2020-10-28 | 서울대학교산학협력단 | 라이다 측량자료를 이용한 숲틈 모니터링 시스템 및 방법 |
JP7156515B2 (ja) * | 2019-05-08 | 2022-10-19 | 日本電信電話株式会社 | 点群アノテーション装置、方法、及びプログラム |
JP7156542B2 (ja) * | 2019-08-19 | 2022-10-19 | 日本電信電話株式会社 | 線状構造物の検出装置、検出方法及び検出プログラム |
DE102019216548A1 (de) * | 2019-10-28 | 2021-04-29 | DeepUp GmbH | Verfahren und mobile Erfassungsvorrichtung zur Erfassung von Infrastrukturelementen eines unterirdischen Leitungsnetzwerks |
JP2023077658A (ja) * | 2021-11-25 | 2023-06-06 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US20230419659A1 (en) * | 2022-06-23 | 2023-12-28 | Sharper Shape Oy | Method and system for processing point-cloud data |
-
2019
- 2019-05-08 JP JP2021518260A patent/JP7235104B2/ja active Active
- 2019-05-08 WO PCT/JP2019/018449 patent/WO2020225886A1/ja active Application Filing
- 2019-05-08 US US17/608,963 patent/US20220215572A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005070840A (ja) * | 2003-08-25 | 2005-03-17 | East Japan Railway Co | 三次元モデル作成装置、三次元モデル作成方法、及び三次元モデル作成プログラム |
JP2015001901A (ja) * | 2013-06-17 | 2015-01-05 | 日本電信電話株式会社 | 点群解析処理装置、点群解析処理方法、及びプログラム |
JP2015078849A (ja) * | 2013-10-15 | 2015-04-23 | 日本電信電話株式会社 | 設備状態検出方法およびその装置 |
WO2016158628A1 (ja) * | 2015-03-31 | 2016-10-06 | 株式会社オートネットワーク技術研究所 | ワイヤーハーネスの製造方法および画像処理方法 |
WO2017103999A1 (ja) * | 2015-12-15 | 2017-06-22 | 三菱電機株式会社 | トロリ線計測装置およびトロリ線計測方法 |
JP2018195240A (ja) * | 2017-05-22 | 2018-12-06 | 日本電信電話株式会社 | 設備状態検出方法、検出装置およびプログラム |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112907505A (zh) * | 2021-01-11 | 2021-06-04 | 南京工程学院 | 一种水下机器人电缆三维形状估计方法 |
CN112907505B (zh) * | 2021-01-11 | 2024-03-26 | 南京工程学院 | 一种水下机器人电缆三维形状估计方法 |
WO2023013069A1 (ja) * | 2021-08-06 | 2023-02-09 | 日本電信電話株式会社 | データ圧縮装置、データ圧縮方法、及びプログラム |
WO2023105702A1 (ja) * | 2021-12-09 | 2023-06-15 | 日本電信電話株式会社 | 線状物を抽出する装置、方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20220215572A1 (en) | 2022-07-07 |
JPWO2020225886A1 (ja) | 2020-11-12 |
JP7235104B2 (ja) | 2023-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020225886A1 (ja) | 点群解析装置、方法、及びプログラム | |
CN106997049B (zh) | 一种基于激光点云数据的检测障碍物的方法和装置 | |
JP6529463B2 (ja) | 道路構造化装置、道路構造化方法、及び道路構造化プログラム | |
US11961208B2 (en) | Correction of motion-based inaccuracy in point clouds | |
JP6600610B2 (ja) | 路面凹凸量推定装置、方法、及びプログラム | |
JP2022113746A (ja) | 判定装置 | |
US20160133008A1 (en) | Crack data collection method and crack data collection program | |
US8098280B2 (en) | Moving object locating device, moving object locating method, and computer product | |
JP6381137B2 (ja) | 標識検出装置、方法、及びプログラム | |
US20160133007A1 (en) | Crack data collection apparatus and server apparatus to collect crack data | |
US10760907B2 (en) | System and method for measuring a displacement of a mobile platform | |
US11860281B2 (en) | Methods and systems for filtering data points when merging LIDAR sensor datasets | |
CN111279154A (zh) | 导航区域识别和拓扑结构匹配以及相关联的系统和方法 | |
US11860315B2 (en) | Methods and systems for processing LIDAR sensor data | |
EP3845927B1 (en) | Merging multiple lidar point cloud data using an iterative closest point (icp) algorithm with weighting factor | |
US11922650B2 (en) | Point cloud analysis device, estimation device, point cloud analysis method, and program | |
JP6322564B2 (ja) | 点群解析処理装置、方法、及びプログラム | |
JP6397386B2 (ja) | 領域分割処理装置、方法、及びプログラム | |
US9886775B2 (en) | Method for detecting horizontal and gravity directions of an image | |
JP4462533B2 (ja) | 路面走行レーン検出装置 | |
CN112344966A (zh) | 一种定位失效检测方法、装置、存储介质及电子设备 | |
JP6553586B2 (ja) | 計測十分度算出装置、方法、及びプログラム | |
WO2020225890A1 (ja) | 点群解析装置、方法、およびプログラム | |
Van Crombrugge et al. | Fast Ground Detection for Range Cameras on Road Surfaces Using a Three-Step Segmentation | |
CN113978472A (zh) | 车辆控制方法、装置和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19928198 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2021518260 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19928198 Country of ref document: EP Kind code of ref document: A1 |