WO2020189703A1 - 構造物検出装置、構造物検出方法および構造物検出処理プログラム - Google Patents

構造物検出装置、構造物検出方法および構造物検出処理プログラム Download PDF

Info

Publication number
WO2020189703A1
WO2020189703A1 PCT/JP2020/011895 JP2020011895W WO2020189703A1 WO 2020189703 A1 WO2020189703 A1 WO 2020189703A1 JP 2020011895 W JP2020011895 W JP 2020011895W WO 2020189703 A1 WO2020189703 A1 WO 2020189703A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
cloud data
detected
dimensional
data
Prior art date
Application number
PCT/JP2020/011895
Other languages
English (en)
French (fr)
Inventor
雅晶 井上
智弥 清水
竜二 本多
博之 押田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US17/437,887 priority Critical patent/US11948319B2/en
Publication of WO2020189703A1 publication Critical patent/WO2020189703A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002—Active optical surveying means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Definitions

  • the embodiment of the present invention relates to a structure detection device, a structure detection method, and a structure detection processing program.
  • Non-Patent Document 1 a deflection vector detection (hereinafter referred to as a conventional technique) using an inspection vehicle has been known as a means for determining the quality of the equipment in terms of surface and improving the efficiency of operation related to inspection.
  • a three-dimensional laser scanner (3D laser scanner), a camera (camera), a GPS (Global Positioning System) receiver, an IMU (Inertial Measurement Unit) and an odometer (odometer)
  • An inspection vehicle equipped with a distance meter travels in the city while performing laser scan and image capture in three dimensions.
  • This vehicle performs a three-dimensional survey of a structure or a natural object including the communication equipment in a plane manner, and collects point cloud data (data) including XYZ coordinates and the intensity of reflected light.
  • the intensity of reflected light is sometimes referred to as reflected intensity.
  • 3D model data of structures and natural objects is created, and the above-mentioned communication equipment is created from the lowest point of the central axis and several points at arbitrary points in the 3D model data.
  • Deflection vector is calculated.
  • the above-mentioned 3D laser scanner is carried by a maintenance worker, and by fixing it with a tripod or the like, 3D survey is performed, point cloud data is acquired, and the analysis result of the above-mentioned 3D model data is obtained.
  • the deflection vector of the communication equipment is calculated from.
  • the conventional technique has the following problems. That is, in the above description, high-density point cloud data is required for the deflection vector to be detected with high accuracy. There are only a limited number of arithmetic units capable of processing the point cloud data and performing three-dimensional modeling and model analysis. In addition, a huge number of storage devices required for data storage are required. In order to eliminate the above limitation, it is necessary not only to improve the performance of the arithmetic unit but also to review the arithmetic algorithm (algorithm).
  • the present invention has been made by paying attention to the above circumstances, and an object of the present invention is to detect a structure existing in a three-dimensional space by reducing a load related to processing. It is an object of the present invention to provide an apparatus, a structure detection method, and a structure detection processing program.
  • the first aspect of the structure detection device is data including three-dimensional position information and color information at a point on the surface of an object existing in three-dimensional space. Is read as the 3D point group data of the object, and the 3D point of the structure to be detected is obtained from the 3D point group data of the object existing in the 3D space based on the color information. Based on the filtering processing unit that performs the filtering process to extract the group data and the three-dimensional point group data of the structure to be detected extracted by the filtering processing unit, the structure to be detected is three-dimensional. It includes a generation processing unit that generates modeled three-dimensional model data.
  • FIG. 1 is a diagram illustrating an example of a method in which point cloud data of equipment to be detected is acquired by the equipment detection device according to the embodiment of the present invention.
  • FIG. 2 is a diagram showing an example of a configuration of an equipment detection device according to an embodiment of the present invention.
  • FIG. 3 is a diagram showing an example of various definitions related to deflection detection.
  • FIG. 4 is a flowchart (flow chart) showing an example of the processing procedure and processing content for extracting the point cloud data of the equipment to be detected from the RGB values.
  • FIG. 5 is a flowchart showing an example of a processing procedure and processing content for extracting point cloud data of the equipment to be detected based on frequency information calculated from RGB values on three dimensions.
  • FIG. 1 is a diagram illustrating an example of a method in which point cloud data of equipment to be detected is acquired by the equipment detection device according to the embodiment of the present invention.
  • FIG. 2 is a diagram showing an example of a configuration of an equipment detection device according to an embodiment of the
  • FIG. 6 is a diagram illustrating an example of a block that divides a three-dimensional space.
  • FIG. 7 is a diagram showing an example of an image before and after filtering.
  • FIG. 8 is a block diagram showing an example of a hardware configuration of the equipment detection device according to the embodiment of the present invention.
  • FIG. 1 is a diagram illustrating an example of a method in which point cloud data of equipment to be detected is acquired by the equipment detection device according to the embodiment of the present invention.
  • a method of acquiring point cloud data of the equipment to be detected by using a three-dimensional laser surveying instrument will be described.
  • FIG. 1 shows a fixed 3D laser scanner 11 as a three-dimensional laser surveying instrument, a detection target equipment 12, and an equipment detection device 13 which is a structure detection device.
  • the equipment 12 to be detected is a columnar object.
  • the fixed 3D laser scanner 11 is installed on a fixed base such as a tripod fixed to the ground.
  • the fixed 3D laser scanner 11 emits a laser beam that rotates horizontally and vertically with respect to the ground in an angle range of 0 ° to 360 °.
  • the fixed 3D laser scanner 11 acquires the X coordinate, the Y coordinate, and the Z coordinate, which are three-dimensional coordinates at a point on the surface of the detection target equipment 12, based on the laser reflected light from the natural object including the detection target equipment 12. To do.
  • the fixed 3D laser scanner 11 measures the light intensity of the reflected light. Similar to the rotating laser emission, the fixed 3D laser scanner 11 acquires an omnidirectional optical image by the built-in camera, extracts color information from the optical image, and assigns an RGB value to the acquired three-dimensional coordinates. To do.
  • three-dimensional point cloud data (hereinafter, point cloud data) including three-dimensional coordinates, light intensity, and RGB values at points on the surface of a natural object including the detection target equipment 12 are used.
  • point cloud data can be acquired as image data of the appearance of a natural object.
  • the fixed 3D laser scanner 11 sends the acquired point cloud data to the equipment detection device 13, and causes the equipment detection device 13 to analyze this data.
  • FIG. 2 is a diagram showing an example of the configuration of the equipment detection device according to the embodiment of the present invention.
  • the equipment detection device 13 includes a storage device 21 and an arithmetic unit 22.
  • the arithmetic unit 22 may be configured as a computer provided with a central processing unit (CPU), a program memory, an arithmetic memory, and the like.
  • the equipment detection device 13 includes a point cloud data input unit 23, a filtering function unit 24, a point cloud display function unit 25, a columnar object detection function unit 26, and a central axis detection unit 27. It has a deflection vector detection unit 28, a result display unit 29, and a result output unit 210.
  • Each part in the arithmetic unit 22 can be realized by causing the CPU to execute a program stored in the program memory.
  • the arithmetic unit 22 may be composed of hardware, a well-known computer and a storage device 21 in which a program provided with the procedure shown in the flowchart described later is installed via a medium or a communication line It can also be realized by a combination or the above-mentioned computer having a storage device 21 or the like.
  • the storage device 21 may be provided on a cloud server (cloud server), a local server (local server), or the like other than the equipment detection device 13.
  • the equipment detection device 13 acquires data stored in the storage device 21 from the storage device 21 of the cloud server or the local server via the communication network (network) by the communication unit.
  • the point cloud data sent from the fixed 3D laser scanner 11 described above is stored in a storage device 21 such as an SSD (Solid State Drive) or an HDD (Hard Disk Drive), for example.
  • the point cloud data is a file in the ptx format or the like, and this data includes point cloud data related to one or more detection target equipment 12.
  • the point cloud data is taken in by the point cloud data input unit 23 in the arithmetic unit 22.
  • the point cloud data input unit 23 reads only the point cloud data existing in the sphere with the distance as the radius by designating the distance between the fixed 3D laser scanner 11 and the detection target equipment 12 in advance.
  • the point cloud data input unit 23 can change the amount of the point cloud to be read by designating the thinning ratio related to the reading of the point cloud data. For example, if the score of the point cloud data is 10,000 points and 10% thinning is specified, the point cloud data input unit 23 reads the above 10,000 point cloud data by thinning out the points at regular intervals. By doing so, the point cloud data of 9,000 points is read. The point cloud data read by the point cloud data input unit 23 is passed to the filtering function unit 24.
  • the filtering function unit 24 extracts the point cloud of the above-mentioned detection target equipment from the RGB value held by the point cloud data, the frequency information calculated from the RGB value on three dimensions, or both. Further, the filtering function unit 24 removes the point cloud data indicating an arbitrary natural object such as a tree from the point cloud data passed from the point cloud data input unit 23 by filtering. The filtered point cloud data is passed to the point cloud display function unit 25.
  • the point cloud display function unit 25 displays the point cloud data in three dimensions on a screen of a display device (not shown) based on the three-dimensional coordinates held by the filtered point cloud data.
  • the color of the displayed point cloud data is colored based on the RGB values associated with the three-dimensional coordinates.
  • the point cloud display function unit 25 can also display the point cloud data in a gradation according to the level of the reflection intensity.
  • the point cloud display function unit 25 can rotate the point cloud data displayed on the screen, zoom in / zoom out, and display / hide an arbitrary selected area. ..
  • the point cloud data whose display has been confirmed is passed to the columnar object detection function unit 26. If the maintenance worker does not need to confirm the point cloud data when it is displayed, the point cloud display function unit 25 may be omitted.
  • the columnar object detection function unit 26 creates 3D model data related to the columnar object in which the detection target model is 3D modeled based on the point cloud data of the detection target equipment obtained by filtering.
  • the columnar object is a telephone pole.
  • the columnar object detection function unit 26 extracts the circle information from the three-dimensional coordinates of the point group data of the equipment to be detected, and connects the circle models in the vertical direction to create the three-dimensional model data of the telegraph column. To create.
  • This model data is sometimes referred to simply as a telephone pole model.
  • the three-dimensional model data includes a three-dimensional object representing the three-dimensional shape of the telegraph column and three-dimensional coordinate information of the three-dimensional object.
  • the columnar object detection function unit 26 specifies in advance the column length and diameter in order to prevent erroneous detection of columnar objects other than telephone poles.
  • the columnar object detection function unit 26 sets a three-dimensional model that fits in the specified range of column length and diameter as a detection target telegraph pole.
  • the three-dimensional model data of the telephone pole is passed to the central axis detection unit 27.
  • the central axis detection unit 27 connects the center coordinates of the circular model in which the three-dimensional model data of the telegraph column is composed by a cubic approximation curve in the vertical direction, so that the height of the three-dimensional model of the telegraph column is constant.
  • the central axis data in which the central axis is defined as an array of the coordinate values of the central points for each is detected.
  • the central axis detection unit 27 may acquire an array of radii for each fixed height of the columnar object from the three-dimensional model data.
  • the deflection vector detection unit 28 detects the deflection vector of the central axis of the three-dimensional model of the telephone pole based on the three-dimensional model data and the central axis data. This deflection vector includes the slope of the central axis and the magnitude of the amount of deflection of the central axis.
  • FIG. 3 is a diagram showing an example of various definitions related to deflection detection. As shown in FIG. 3, the vertical axis (a in FIG. 3), the tilt axis (b in FIG. 3), the reference axis (c in FIG. 3), and the central axis (d in FIG. 3) of the columnar object. , Deflection (e in FIG. 3), and inclination (f in FIG. 3) are defined as follows.
  • Vertical axis Vertical line (vertical line)
  • Tilt axis A straight line connecting the central axis coordinates of the cross-section circle at the highest position in the columnar object and the central axis coordinates of the ground (bottom surface)
  • Reference axis 2 meters above the ground (bottom surface of the columnar object)
  • the axis formed by extending the straight line passing near the horizontal center point of the columnar object.
  • Central axis The axis formed by connecting the centers of each circle (every 4 centimeters in height). Deflection: Distance between reference axis and central axis at a height of 5 meters from the ground Slope: Angle between vertical axis and reference axis
  • the deflection vector detection unit 28 sets a vertical axis and a reference axis which is a straight line passing near the center point of the height up to a predetermined first height of the columnar object with respect to the three-dimensional model data, respectively, and sets the vertical axis.
  • the angle between and the reference axis is calculated as the inclination of the central axis of the columnar object.
  • the deflection vector detection unit 28 is between the coordinates of the center point corresponding to the predetermined second height of the columnar object indicated by the central axis data and the portion of the second height on the reference axis.
  • the distance is detected as the amount of deflection of the central axis of the three-dimensional model data of the columnar object.
  • the magnitude and direction of the distance between two points are detected as a deflection vector.
  • the detected deflection vector is displayed on the screen of the display device via the result display unit 29 together with the three-dimensional model data of the telegraph pole and the central axis data. Further, the detected deflection vector is output as a file by the result output unit 210 together with the three-dimensional model data and the central axis data of the telegraph pole.
  • the equipment detection device 13 extracts the equipment to be detected from the RGB value color information held by the acquired point cloud data and the frequency information, creates three-dimensional model data of the columnar equipment, and creates the columnar equipment. It is possible to detect the deflection vector of the equipment.
  • FIG. 4 is a flowchart showing an example of a processing procedure and processing content for extracting point cloud data of the equipment to be detected from RGB values.
  • the filtering function unit 24 inputs the point cloud data (S31), and each point in the point cloud data Read the 3D coordinates, reflection intensity and RGB values (X, Y, Z, I, R, G and B).
  • the meanings of these X, Y, Z, I, R, G and B are as follows.
  • the filtering function unit 24 determines the threshold values. (S33), and a loop for extracting individual points for all points in the point cloud data is started.
  • the filtering function unit 24 determines whether or not the values corresponding to the respective colors of R, G, and B in the point cloud data are within the threshold range (S35), and the value is within the threshold range. For example (YES in S35), the point data in the point cloud data related to the RGB values within the range is maintained (S36). On the other hand, if one of the values corresponding to each color of R, G, and B in the point cloud data has a value outside the threshold range (NO in S35), the filtering function unit 24 has an RGB value outside the range. The point data in the point cloud data according to the above is deleted (S37).
  • the filtering function unit 24 has the same coordinates as the point data in the point cloud data related to the RGB values outside the range. Point data including coordinates can be deleted.
  • the filtering function unit 24 executes the process related to the above determination for all the points in the point cloud data. That is, the processes from S35 to S37 are repeated until the loop ends. As described above, the filtering function unit 24 can detect only the target equipment of the designated color.
  • FIG. 5 is a flowchart showing an example of a processing procedure and processing content for extracting point cloud data of the equipment to be detected based on frequency information calculated from RGB values on three dimensions. Similar to the above, the point cloud data read by the point cloud data input unit 23 is separated into RGB values and input to the filtering function unit 24 (S41).
  • FIG. 6 is a diagram showing an example of a block that divides a three-dimensional space.
  • the three-dimensional space in which the individual point cloud data of the RGB values exists which is input to the filtering function unit 24, has X, Y, and Z coordinates, and the side a along the X coordinate axis. If one block is indicated by the side b along the Y coordinate axis and the side c along the Z coordinate axis, there are a plurality of blocks in the three-dimensional space. Therefore, the filtering function unit 24 selects the number of blocks N in the three-dimensional space in which the point cloud data exists, and divides the three-dimensional space into N pieces by the blocks corresponding to the selected number of blocks N (S42).
  • the filtering function unit 24 acquires a range of thresholds in which the upper limit and the lower limit of the frequency are determined according to the equipment 12 to be detected, and stores the frequency in the internal memory (S43). This range may be defined by a maintenance worker.
  • the filtering function unit 24 starts a loop related to block extraction, and performs a three-dimensional discrete cosine transform (DCT) process on the point cloud data existing in the N divided blocks.
  • the DCT process is a process of converting real data into real frequency data, and is used as an action equivalent to filtering by extracting arbitrary real frequency data.
  • the filtering function unit 24 performs the three-dimensional DCT processing by executing the one-dimensional DCT processing for the RGB values of the X coordinate, the Y coordinate, and the Z coordinate, respectively (S45).
  • P corresponds to the Red value (R value) (Xn, Yn, Zn and Rn) and the Green value (G value) (Xn, Yn, Zn). And Gn), and (Xn, Yn, Zn and Bn) corresponding to the Blue value (B value).
  • R value Red value
  • G value Green value
  • B value Green value
  • Xn, Yn, Zn and Bn Blue value
  • n is the number of points existing in P.
  • the I value which is the reflection intensity, is omitted.
  • P R be the point cloud data related to the R value.
  • a DCT value obtained by one-dimensional DCT calculation for each X-coordinate of the point cloud data P R H R, when the X (k), the DCT values to the following formula (1) It is calculated by.
  • the method for realizing the three-dimensional DCT processing is not limited to this.
  • the filtering function unit 24 performs the same three-dimensional DCT processing on the point cloud data P G and P B related to the G value and the B value, and in addition to the above three-dimensional DCT values D R and Z , the point cloud data P G
  • the three-dimensional DCT values D G and Z of , and the three-dimensional DCT values D B and Z of the point cloud data P B are calculated, respectively.
  • the filtering function unit 24 determines whether or not these calculated three-dimensional DCT values D R, Z, DG, Z, and D B, Z are included in the threshold range of the frequency specified in advance ( If S46), D R, Z, D G, Z, and D B, Z are all within the threshold range (YES in S46), the point data in the corresponding block is maintained (S47), and D R If any one of, Z, DG, Z, and D B, Z is out of the threshold range (NO in S46), the point data in the block related to the value outside the range is deleted (S48). ).
  • the filtering function unit 24 relates to the value outside the range. Point data containing the same coordinates as the coordinates in the data in the block can be deleted.
  • the filtering function unit 24 executes the determination process for all blocks, that is, repeats the processes from S45 to S48 until the loop related to the block extraction ends, and then performs the three-dimensional IDCT (3D IDCT) for the three-dimensional DCT value.
  • 3D IDCT three-dimensional IDCT
  • Inverse DCT processing, after converting the real frequency data to the original real data, the RGB value signal is resynthesized (S49).
  • the processing of S49 will be described here by taking the R value as an example.
  • the IDCT value obtained by the one-dimensional inverse DCT calculation for each X coordinate of the three-dimensional DCT values D R, Z for the k-th block is H'R , X (k)
  • the IDCT value is as follows. It is calculated by the formula (4) of.
  • IDCT value H 'R, X (k) V the IDCT value obtained by one-dimensional inverse DCT calculation for each Y-coordinate with respect to' R,
  • IDCT value is the following formula It is calculated in (5).
  • IDCT value V when 'R the IDCT value obtained by one-dimensional inverse DCT calculation for each Z-coordinate with respect to X (k) P' and R (k), the IDCT value is the following formula ( It is calculated in 6).
  • the IDCT value P 'R (k) is a filtered IDCT value frequency information.
  • the filtering function unit 24 also performs the above three-dimensional IDCT process on the three-dimensional DCT values D G, Z and D B, Z.
  • the method for realizing the three-dimensional IDCT processing is not limited to this.
  • the filtering function unit 24 multiplies the three-dimensional IDCT processing result by an arbitrary coefficient to filter the three-dimensional DCT values D R, Z, D G, Z and D B, Z with frequency information.
  • P 'R, P' is converted respectively to the G and P 'B.
  • the filtering function unit 24 converts the RGB values in the block into real frequency data by performing the three-dimensional DCT processing. Then, the filtering function unit 24 sets the frequency corresponding to the RGB value of the detection target equipment and the frequency corresponding to the RGB value of the object other than the detection target equipment to the frequency threshold value predetermined according to the detection target equipment 12. Filter based on. Further, the filtering function unit 24 returns the filtered real frequency data to the original RGB value by three-dimensional IDCT processing. This makes it possible to extract the RGB values of only the equipment to be detected.
  • the filtering by the filtering function unit 24 is not limited to filtering by either the RGB value held in the above-mentioned point cloud data or the actual frequency data converted from the RGB value in three dimensions, but also by a combination of both. Good.
  • the filtering function unit 24 filters the original RGB values obtained by filtering with the actual frequency data shown in FIG. 4 by the RGB values in a certain range according to the detection target shown in FIG. By performing the above, the filtering result by the combination of both of the above may be obtained.
  • the filtering function unit 24 inputs RGB values in a certain range according to the detection target shown in FIG. 3, and performs filtering by the actual frequency data shown in FIG. ,
  • the filtering result by the combination of both of the above may be obtained.
  • the filtering result by the RGB value and the filtering result by the actual frequency data do not always match, while the filtering by the RGB value and the filtering by the actual frequency data are performed as described above.
  • the filtering of both is reflected, so that the detection accuracy of the structure existing in the three-dimensional space can be improved.
  • the filtering function unit 24 detects the same point cloud data by filtering the point cloud data shown in FIG. 3 by filtering with RGB values and the point cloud data shown by FIG. 4 by filtering with actual frequency data.
  • the point cloud data may be obtained, and the point cloud data common to these may be used as the point cloud data obtained by combining both of the above filtering methods.
  • FIG. 7 is a diagram showing an example of images before and after filtering.
  • the detection target equipment here, the dotted line in FIG. 7 is set by setting the threshold of frequency information and color information. Only the telephone pole surrounded by (b in FIG. 7) needs to be output as the detection result (c in FIG. 7).
  • the detection target is not limited to equipment such as telephone poles, and may be any object.
  • the equipment detection device, equipment detection method, and equipment detection processing program according to the embodiment of the present invention have the following advantages over the prior art.
  • high-density point cloud data is required to detect the deflection vector of the telephone pole whose state is to be grasped, which is high for three-dimensional modeling of a huge amount of point cloud data.
  • An arithmetic unit having processing power was required.
  • the 3D point cloud data of only the equipment to be detected can be extracted from the huge amount of 3D point cloud data, and the amount of the point cloud data to be modeled can be reduced. .. Therefore, the processing capacity required for the arithmetic unit can be reduced.
  • the amount of data to be stored in the storage device can be determined. Can be compressed.
  • FIG. 8 is a block diagram showing an example of the hardware configuration of the equipment detection device according to the embodiment of the present invention.
  • the equipment detection device 13 according to the above embodiment is composed of, for example, a server computer or a personal computer, and is a hardware processor 111A such as a CPU. Has. Then, the program memory 111B, the data memory 112, the input / output interface 113, and the communication interface 114 are connected to the hardware processor 111A via the bus 120. .. The same can be applied to AP20 and STA30.
  • the communication interface 114 includes, for example, one or more wireless communication interface units (units), and enables information to be transmitted / received to / from the communication network NW.
  • the wireless interface an interface adopting a low power wireless data communication standard such as a wireless LAN is used.
  • An input device 50 and an output device 60 for maintenance workers may be connected to the input / output interface 113.
  • the input device 50 and the output device 60 may be built in the equipment detection device 13.
  • the program memory 111B is a non-volatile memory (non-volatile memory) that can be written and read at any time, such as an HDD (Hard Disk Drive) or an SSD (Solid State Drive), as a non-temporary tangible storage medium. It is used in combination with a non-volatile memory such as a ROM (Read Only Memory), and stores programs necessary for executing various control processes according to one embodiment.
  • non-volatile memory non-volatile memory
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • ROM Read Only Memory
  • the data memory 112 is used as a tangible storage medium, for example, in combination with the above-mentioned non-volatile memory and a volatile memory such as RAM (Random Access Memory), and various processes are performed. It is used to store various data acquired and created in the process.
  • RAM Random Access Memory
  • the equipment detection device 13 has a storage device 21 shown in FIG. 2, a point cloud data input unit 23 in the arithmetic unit 22, and a filtering function unit as processing function units by software. It can be configured as a data processing device including 24, a point cloud display function unit 25, a columnar object detection function unit 26, a central axis detection unit 27, a deflection vector detection unit 28, a result display unit 29, and a result output unit 210.
  • the storage device 21 in the equipment detection device 13 may be configured by using the data memory 112 shown in FIG.
  • the storage area in the data memory 112 is not an indispensable configuration in the equipment detection device 13, and is, for example, an external storage medium such as a USB (Universal Serial Bus) memory or a database server (cloud) arranged in the cloud. It may be an area provided in a storage device such as database server).
  • USB Universal Serial Bus
  • cloud database server
  • Each of the processing function units in each part of the equipment detection device 13 can be realized by reading the program stored in the program memory 111B by the hardware processor 111A and executing the program.
  • a part or all of these processing function units may be in various other formats including integrated circuits such as integrated circuits (ASIC (Application Specific Integrated Circuit)) or FPGA (Field-Programmable Gate Array) for specific applications. It may be realized.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • the first aspect of the structure detection device is data including three-dimensional position information and color information at a point on the surface of an object existing in three-dimensional space. Is read as the 3D point group data of the object, and the 3D point of the structure to be detected is obtained from the 3D point group data of the object existing in the 3D space based on the color information. Based on the filtering processing unit that performs the filtering process to extract the group data and the three-dimensional point group data of the structure to be detected extracted by the filtering processing unit, the structure to be detected is three-dimensional. It includes a generation processing unit that generates modeled three-dimensional model data.
  • the filtering processing unit separates the color information into RGB values, and the three-dimensional space is constant for each of the RGB values. It is divided into a plurality of blocks having a size, and for each of the divided blocks, the frequency information of the point cloud data relating to each of RGB existing in the block is calculated, and the frequency information is calculated based on the calculated frequency information. Of the divided blocks, blocks corresponding to a certain range of frequency information according to the structure to be detected are extracted for each of RGB, and the calculated frequency information for the extracted blocks is used as the original RGB value. The three-dimensional point cloud data having the converted RGB values is extracted as the three-dimensional point cloud data of the structure to be detected.
  • the filtering processing unit separates the color information into RGB values and exists in the three-dimensional space based on the RGB values. From the 3D point cloud data of the object, the 3D point cloud data having a certain range of RGB values corresponding to the structure to be detected is extracted as the 3D point cloud data of the structure to be detected. It was done.
  • the filtering processing unit separates the color information into RGB values, and the three-dimensional space is constant for each of the RGB values. It is divided into a plurality of blocks having a size, and for each of the divided blocks, the frequency information of the point group data relating to each of RGB existing in the block is calculated, and the frequency information is calculated based on the calculated frequency information.
  • the divided blocks blocks corresponding to a certain range of frequency information according to the structure to be detected are extracted for each of RGB, and the calculated frequency information for the extracted blocks is used as the original RGB value.
  • 3D point group data having a certain range of RGB values according to the structure to be detected is extracted as 3D point group data of the structure to be detected. It is something that is done.
  • the filtering processing unit separates the color information into RGB values, and among the RGB values, depending on the structure to be detected. For each of the RGB values in a certain range, the three-dimensional space is divided into a plurality of blocks having a certain size, and for each of the divided blocks, the point group data relating to each of RGB existing in the block is obtained. The frequency information is calculated, and based on the calculated frequency information, the blocks corresponding to the frequency information in a certain range corresponding to the structure to be detected are extracted for each of RGB from the divided blocks. The calculated frequency information of the extracted block is converted into the original RGB value, and the 3D point group data having the converted RGB value is extracted as the 3D point group data of the structure to be detected. It is something that is done.
  • the structure to be detected is a columnar object, and the generated columnar object of the columnar object.
  • the central axis detection processing unit that detects the central axis data which is an array of the coordinate values of the horizontal center points of the columnar object at a plurality of predetermined heights of the columnar object, and the above 3
  • the inclination of the central axis of the three-dimensional model of the columnar object and the amount of deflection of the central axis are used as the deflection vector of the central axis. It is provided with a deflection vector detection processing unit for detecting.
  • An aspect of the structure detection method performed by the structure detection device is to obtain data including three-dimensional position information and color information at points on the surface of an object existing in three-dimensional space. Reading as 3D point group data of an object and extracting 3D point group data of a structure to be detected from the 3D point group data of an object existing in the 3D space based on the color information. And, based on the extracted three-dimensional point group data of the structure to be detected, the structure to be detected is generated as three-dimensional model data. ..
  • One aspect of the structure detection processing program according to the embodiment of the present invention is to make the processor function as each part of the structure detection device in any one of the first to sixth aspects.
  • the object exists in the three-dimensional space based on the three-dimensional position information and the color information at a point on the surface of the object existing in the three-dimensional space.
  • a filtering process is performed to extract the 3D point group data of the structure to be detected from the 3D point group data of the object to be detected, and the 3D point group data of the structure to be detected is obtained by the filtering process.
  • a generation process is performed to generate three-dimensional model data in which the structure to be detected is three-dimensionally modeled. As a result, it is possible to generate 3D model data in which the desired structure is 3D modeled.
  • point cloud data relating to each of RGB existing in each block in which the three-dimensional space is divided is obtained.
  • the frequency information of is calculated, and based on this frequency information, blocks corresponding to the frequency information in a certain range corresponding to the structure to be detected are extracted for each of RGB, and the frequency information calculated for the extracted blocks is extracted. Is converted to the original RGB value, and the three-dimensional point cloud data of the structure to be detected is extracted. Thereby, the three-dimensional point cloud data of the desired structure can be extracted by using the frequency information in a certain range according to the structure to be detected.
  • the filtering process the color information is separated into RGB values, and based on the RGB values, the object existing in the three-dimensional space is three-dimensional. From the point cloud data, three-dimensional point cloud data having a certain range of RGB values according to the structure to be detected is extracted. Thereby, the three-dimensional point cloud data of the desired structure can be extracted by using the RGB values in a certain range according to the structure to be detected.
  • a combination of a certain range of frequency information according to the second aspect and filtering by a certain range of RGB values according to the third aspect is provided.
  • the central axis data which is an arrangement of the coordinate values of the horizontal center points of the columnar object at a plurality of predetermined heights of the columnar object is obtained.
  • the central axis detection process for detection is performed, and the inclination of the central axis of the three-dimensional model of the columnar object and the amount of deflection of the central axis are detected as the deflection vector of the central axis.
  • the deflection vector of the columnar object which is a desired structure can be detected.
  • each aspect of the present invention it is possible to detect a structure existing in a three-dimensional space with a reduced load related to processing.
  • the method described in each embodiment is a program (software means) that can be executed by a computer (computer), for example, a magnetic disk (floppy (registered trademark) disk (Floppy disk), hard disk, etc.), an optical disk, etc. It can be stored in a recording medium such as (optical disc) (CD-ROM, DVD, MO, etc.), semiconductor memory (ROM, RAM, Flash memory, etc.), or transmitted and distributed by a communication medium.
  • the program stored on the medium side also includes a setting program for configuring the software means (including not only the execution program but also the table and the data structure) to be executed by the computer in the computer.
  • a computer that realizes this device reads a program recorded on a recording medium, constructs software means by a setting program in some cases, and executes the above-mentioned processing by controlling the operation by the software means.
  • the recording medium referred to in the present specification is not limited to distribution, and includes storage media such as magnetic disks and semiconductor memories provided in devices connected inside a computer or via a network.
  • the present invention is not limited to the above embodiment, and can be variously modified at the implementation stage without departing from the gist thereof.
  • each embodiment may be carried out in combination as appropriate, in which case the combined effect can be obtained.
  • the above-described embodiment includes various inventions, and various inventions can be extracted by a combination selected from a plurality of disclosed constituent requirements. For example, even if some constituent requirements are deleted from all the constituent requirements shown in the embodiment, if the problem can be solved and the effect is obtained, the configuration in which the constituent requirements are deleted can be extracted as an invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

一実施形態に係る構造物検出装置は、３次元空間に存在する物体の表面上の点における３次元位置情報および色情報を含むデータを、前記物体の３次元点群データとして読み込む読み込み処理部と、前記色情報に基づいて、前記３次元空間に存在する物体の３次元点群データから、検出対象とする構造物の３次元点群データを抽出するフィルタリング処理を行なうフィルタリング処理部と、前記フィルタリング処理部により抽出された、前記検出対象とする構造物の３次元点群データに基づいて、前記検出対象とする構造物が３次元モデル化された３次元モデルデータを生成する生成処理部と、を有する。

Description

構造物検出装置、構造物検出方法および構造物検出処理プログラム
　本発明の実施形態は、構造物検出装置、構造物検出方法および構造物検出処理プログラムに関する。
　従来、電柱、およびケーブル（cable）などの通信設備の状態を保守作業者により把握するため、当該保守作業者が現地へ赴き、目視にて個々に点検を行ない、設備の良否を判断してきた。　
　近年、当該設備を面的に良否判定して点検に係る稼働を効率化する手段として、検査車両が用いられた、たわみベクトル（deflection vector）検出（以下、従来の技術という）が知られている（例えば非特許文献１を参照）。
　従来の技術では、３次元レーザスキャナ（laser scanner）（３Ｄレーザ測量機）、カメラ（camera）、ＧＰＳ（Global Positioning System）受信機、ＩＭＵ（Inertial Measurement Unit：慣性計測装置）およびオドメータ（odometer：走行距離計）を具備した検査車両が、３次元でレーザスキャン（laser scan）と画像撮影とを行ないながら市中を走行する。　
　この車両は、当該通信設備を含む構造物または自然物の３次元測量を面的に行ない、ＸＹＺ座標と反射光の強度とを含む点群データ（data）を収集する。反射光の強度は反射強度と称されることもある。　
　当該点群データを基に、構造物および自然物の３次元モデルデータ（model data）が作成され、当該３次元モデルデータにおける中心軸の最下点と任意箇所の数点とから、前述の通信設備のたわみベクトルが算出される。　
　また、市中では、道路幅により点群データの座標精度が不十分なエリア（area）、例えば車両進入不可エリアおよび未舗装道路などがある。当該エリアでは、前述の３次元レーザスキャナが保守作業者により携行され、これが三脚などで固定されることで３次元測量が行なわれ、点群データが取得され、前述の３次元モデルデータの解析結果から通信設備のたわみベクトルが算出される。
大平隼也（Toshiya Ohira）, 後藤隆（Takashi Goto）, 和気正樹（Masaki Waki）, 松田重裕（Shigehiro Matsuda）, 梶原佳幸（Yoshiyuki）, "MMSにより取得した3D電柱モデルの歪み補正に関する検討（Consideration about the method for correcting distortion of 3D pole model acquired by MMS）", 2018年電子情報通信学会ソサイエティ大会, B-13-23, 2018.
　しかしながら、従来の技術には以下のような問題点がある。即ち、上記の説明の中で、たわみベクトルが高精度で検出されるためには高密度な点群データが必要である。当該点群データを処理し、３次元モデル化およびモデル解析を行なえる処理能力を有する演算装置は限られる。　
　また、データ保管に要する膨大な数の記憶装置が必要である。上記の限定を解消するためには、演算装置性能の向上だけでなく演算アルゴリズム（algorithm）の見直しを要することが課題である。
　この発明は、上記事情に着目してなされたもので、その目的とするところは、３次元空間に存在する構造物を処理に係る負荷を低減して検出することができるようにした構造物検出装置、構造物検出方法および構造物検出処理プログラムを提供することにある。
　上記目的を達成するために、この発明の一実施形態に係る構造物検出装置の第１の態様は、３次元空間に存在する物体の表面上の点における３次元位置情報および色情報を含むデータを、前記物体の３次元点群データとして読み込む読み込み処理部と、前記色情報に基づいて、前記３次元空間に存在する物体の３次元点群データから、検出対象とする構造物の３次元点群データを抽出するフィルタリング処理を行なうフィルタリング処理部と、前記フィルタリング処理部により抽出された、前記検出対象とする構造物の３次元点群データに基づいて、前記検出対象とする構造物が３次元モデル化された３次元モデルデータを生成する生成処理部と、を備える。
　本発明の態様によれば、３次元空間に存在する構造物を処理に係る負荷を低減して検出することが可能になる。
図１は、本発明の一実施形態に係る設備検出装置により検出対象設備の点群データが取得される方法の一例について説明する図である。 図２は、本発明の一実施形態に関わる設備検出装置の構成の一例を示す図である。 図３は、たわみ検出に係る、各種の定義の一例について示す図である。 図４は、ＲＧＢ値から検出対象設備の点群データが抽出される処理の手順と処理内容の一例を示すフローチャート（flow chart）である。 図５は、３次元上のＲＧＢ値から算出された周波数情報に基づいて検出対象設備の点群データが抽出される処理の手順と処理内容の一例を示すフローチャートである。 図６は、３次元空間を分割するブロック（block）の一例を説明する図である。 図７は、フィルタリング（filtering）の前後のイメージ（image）の一例を示す図である。 図８は、本発明の一実施形態に係る設備検出装置のハードウエア（hardware）構成の一例を示すブロック図である。
　以下、図面を参照しながら、この発明に係わる一実施形態を説明する。　
　図１は、本発明の一実施形態に係る設備検出装置により検出対象設備の点群データが取得される方法の一例について説明する図である。ここでは、３次元レーザ測量機が用いられることで検出対象設備の点群データが取得される方法について説明する。
　図１では、３次元レーザ測量機としての固定式３Ｄレーザスキャナ１１、検出対象設備１２、および構造物検出装置である設備検出装置１３が示される。ここでは検出対象設備１２は柱状物体である。　
　固定式３Ｄレーザスキャナ１１は、地面に固定された三脚などの固定台上に設置される。　
　固定式３Ｄレーザスキャナ１１は、０°から３６０°の角度範囲で、地面に対して水平方向および垂直方向にそれぞれ回転するレーザ光を発射する。固定式３Ｄレーザスキャナ１１は、検出対象設備１２を含む自然物からのレーザ反射光に基づいて、当該検出対象設備１２の表面上の点における３次元座標であるＸ座標、Ｙ座標及びＺ座標を取得する。
　また、固定式３Ｄレーザスキャナ１１は、当該反射光の光強度を計測する。回転するレーザ発射と同様に、固定式３Ｄレーザスキャナ１１は、内蔵カメラによって、全方位の光学画像を取得し、当該光学画像から色情報を抽出し、上記取得した３次元座標にＲＧＢ値を付与する。
　したがって、固定式３Ｄレーザスキャナ１１が用いられることで、検出対象設備１２を含む自然物の表面上の点における３次元座標、光強度、及びＲＧＢ値を含む３次元点群データ（以下、点群データと称することがある）が自然物の外観の画像データとして取得され得る。固定式３Ｄレーザスキャナ１１は、取得した点群データを設備検出装置１３に送り、このデータを設備検出装置１３に解析させる。
　図２は、本発明の一実施形態に係る設備検出装置の構成の一例を示す図である。　
　設備検出装置１３は、記憶装置２１および演算装置２２を有する。演算装置２２は、中央処理ユニット（Central Processing Unit：ＣＰＵ）、プログラムメモリ（program memory）、および演算用メモリなどが備えられたコンピュータ（computer）として構成され得る。　
　この実施形態を実施するために必要な機能として、設備検出装置１３は、点群データ入力部２３、フィルタリング機能部２４、点群表示機能部２５、柱状物体検出機能部２６、中心軸検出部２７、たわみベクトル検出部２８、結果表示部２９、および結果出力部２１０を有する。
　演算装置２２内の各部は、プログラムメモリに格納されたプログラムを上記ＣＰＵに実行させることにより実現され得る。なお、演算装置２２はハードウエアで構成され得るが、後述するフローチャートに示された手順が備えられるプログラムが、媒体もしくは通信回線を介してインストール（Install）された周知のコンピュータと記憶装置２１との組み合わせ、又は記憶装置２１を有する上記コンピュータなどによっても実現され得る。
　なお、記憶装置２１は、設備検出装置１３以外のクラウドサーバ（cloud server）またはローカルサーバ（local server）等に設けられてもよい。この場合、設備検出装置１３は、クラウドサーバまたはローカルサーバの記憶装置２１から通信ネットワーク（network）を介して、この記憶装置２１に格納されるデータを通信部により取得する。
　前述の、固定式３Ｄレーザスキャナ１１から送られた点群データは、例えばＳＳＤ（Solid State Drive）またはＨＤＤ（Hard Disk Drive）などの記憶装置２１に保存される。当該点群データはｐｔｘ形式などのファイル（file）であり、このデータには１乃至複数の検出対象設備１２に係る点群データが含まれる。当該点群データは、演算装置２２内にて点群データ入力部２３により取り込みされる。
　点群データ入力部２３は、固定式３Ｄレーザスキャナ１１と検出対象設備１２との間の距離を予め指定することで、当該距離を半径として球内に存在する点群データのみを読み込む。
　また、点群データ入力部２３は、点群データの読み込みに係る間引きの比率を指定することで、読込み対象の点群量を変更することが可能である。　
　例えば、点群データの点数が10,000点であった場合、１０％の間引きが指定されると、点群データ入力部２３は、上記の10,000点の点群データを一定間隔で点を間引いて読み込むことにより、9,000点の点群データを読み込む。当該点群データ入力部２３にて読み込まれた点群データはフィルタリング機能部２４へ渡される。
　フィルタリング機能部２４は、点群データが保有するＲＧＢ値、もしくは３次元上のＲＧＢ値から算出した周波数情報、またはその両方により前述の検出対象設備の点群を抽出する。　
　また、フィルタリング機能部２４は、点群データ入力部２３から渡された点群データから、樹木などの任意の自然物を示す点群データをフィルタリングにより除去する。フィルタリングされた点群データは点群表示機能部２５へ渡される。
　点群表示機能部２５は、フィルタリングされた点群データが保有する３次元座標を基に、図示しない表示装置における画面上に点群データを３次元表示する。表示された点群データの色は、３次元座標に紐付けられるＲＧＢ値を基に色付けされる。また、点群表示機能部２５は、上記点群データを反射強度の高低に応じてグラデーション（gradation）表示することもできる。
　点群表示機能部２５は、画面上に表示された点群データの回転、ズームイン（zoom in）／ズームアウト（zoom out）、および任意の選択領域の表示／非表示を行なうことが可能である。表示が確認された当該点群データは柱状物体検出機能部２６へ渡される。　
　なお、点群データが表示されたときの、保守作業者による確認作業が不要であれば、点群表示機能部２５は省略され得る。
　柱状物体検出機能部２６は、フィルタリングによって得られた、検出対象設備の点群データに基づいて、検出対象モデルが３次元モデル化された、柱状物体に係る３次元モデルデータを作成する。ここでは柱状物体が電信柱であるときの例を説明する。
　柱状物体検出機能部２６は、検出対象設備の点群データの３次元座標から円情報を抽出し、円モデルを縦方向に連結することにより、電信柱が３次元モデル化された３次元モデルデータを作成する。このモデルデータは、単に電信柱モデルと称されることもある。　
　この３次元モデルデータは、電信柱の３次元形状が表される３次元オブジェクト（object）と、当該３次元オブジェクトの３次元座標情報とを含む。
　柱状物体検出機能部２６は、電信柱以外の柱状物体が誤検出されることを避けるために、柱長及び口径を予め指定する。柱状物体検出機能部２６は、当該指定された柱長及び口径の範囲に当てはまる３次元モデルを検出対象の電信柱とする。当該電信柱の３次元モデルデータは中心軸検出部２７へ渡される。
　中心軸検出部２７は、電信柱の３次元モデルデータが構成される円モデルの中心座標を、縦方向に３次近似曲線にて連結することにより、電信柱の３次元モデルの一定の高さごとの中心点の座標値の配列として中心軸が定義された中心軸データを検出する。電信柱が円柱状の物体であるとき、中心軸検出部２７は、３次元モデルデータから、当該円柱状の物体の一定の高さごとの半径の配列を取得してもよい。
　たわみベクトル検出部２８は、３次元モデルデータと中心軸データとに基づいて、電信柱の３次元モデルの中心軸のたわみベクトルを検出する。このたわみベクトルは、中心軸の傾きと、中心軸のたわみ量の大きさとを含む。
　ここで、たわみベクトルの検出の一例について説明する。この例では、たわみベクトル検出部２８は、中心軸の最下点（Ｚ座標＝高さ０メートル（meter）の地点）と高さ２メートルの地点（Ｚ座標＝高さ２メートルの地点）の点間を直線で結び、この線を基準軸とする。
　図３は、たわみ検出に係る、各種の定義の一例について示す図である。　
　図３に示されるように、柱状物体の垂直軸（図３中のａ）、傾斜軸（図３中のｂ）、基準軸（図３中のｃ）、中心軸（図３中のｄ）、たわみ（図３中ｅの）、および傾き（図３中のｆ）が下記のようにそれぞれ定義される。
　垂直軸： 垂直な線（鉛直線）
　傾斜軸： 柱状物体における一番高い位置にある断面円の中心軸座標と地面（最下面）の中心軸座標とが結ばれた直線
　基準軸：地面（柱状物体の最下面）から２メートルの高さまでの、柱状物体の水平方向の中心点近傍を通る直線が延長されてなる軸
　中心軸： 各円の中心が結ばれてなる軸（高さ４センチメートル（centimeter）毎）
　たわみ：地面から５メートルの高さでの基準軸と中心軸との間の距離
　傾き： 垂直軸と基準軸との間の角度
　たわみベクトル検出部２８は、３次元モデルデータに対し、垂直軸と、柱状物体の所定の第１の高さまでの高さの中心点近傍を通る直線である基準軸とをそれぞれ設定し、垂直軸と基準軸との間の角度を柱状物体の中心軸の傾きとして算出する。　
　そして、たわみベクトル検出部２８は、中心軸データにより示される、柱状物体の所定の第２の高さに対応する中心点の座標と、基準軸における上記第２の高さの箇所との間の距離を、柱状物体の３次元モデルデータの中心軸のたわみ量として検出する。
　図３に示されるように、基準軸の高さ５メートルの地点と中心軸の高さ５メートルの地点とでなる２点間の距離の大きさおよび向きが、たわみベクトルとして検出される。当該検出された、たわみベクトルは、電信柱の３次元モデルデータ、および中心軸データと共に、結果表示部２９を介して表示装置の画面上に表示される。　
　また、検出された、たわみベクトルは、電信柱の３次元モデルデータと中心軸データと共に、結果出力部２１０にてファイル出力される。
　点群データからの３次元モデルデータの作成、ならびに中心軸データの検出には、例えば特開２０１７－１５６１７９号公報などに開示された既知の手法が用いられてもよい。また、たわみベクトルの検出には、例えば国際公開２０１９－１７２０６５号などに開示された既知の手法が用いられてもよい。
　以上のように、設備検出装置１３は、取得した点群データが保有するＲＧＢ値の色情報、およびこの周波数情報から検出対象設備を抽出し、柱状設備の３次元モデルデータを作成し、当該柱状設備のたわみベクトルを検出すること可能である。
　次に、フィルタリング機能部２４について詳細を述べる。　
　図４は、ＲＧＢ値から検出対象設備の点群データが抽出される処理の手順と処理内容の一例を示すフローチャートである。　
　前述の点群データ入力部２３で読み込まれた点群データがフィルタリング機能部２４に渡されると、当該フィルタリング機能部２４は、点群データを入力し（Ｓ３１）、この点群データにおける各点の３次元座標、反射強度およびＲＧＢ値（Ｘ，Ｙ，Ｚ，Ｉ，Ｒ，ＧおよびＢ）を読み込む。これらのＸ，Ｙ，Ｚ，Ｉ，Ｒ，ＧおよびＢの意味は、以下のとおりである。
　Ｘ：Ｘ座標
　Ｙ：Ｙ座標
　Ｚ：Ｚ座標
　Ｉ：反射強度
　Ｒ：Red値
　Ｇ：Green値
　Ｂ：Blue値
　次に、Ｒ値，Ｇ値およびＢ値の各々で上限及び下限の閾値が、検出対象の対象設備１２に応じて予め定められて内部メモリに格納されるとし、フィルタリング機能部２４は、この閾値を取得して（Ｓ３３）、点群データの全点に対して個々の点を抽出するループ（loop）を開始する。
　そして、フィルタリング機能部２４は、点群データにおける、Ｒ，ＧおよびＢの各色に対応する値が、いずれも閾値の範囲内であるか否かを判定し（Ｓ３５）、閾値の範囲内であれば（Ｓ３５のＹＥＳ）、当該範囲内にあるＲＧＢ値に係る、点群データにおける点データを維持する（Ｓ３６）。
　一方、フィルタリング機能部２４は、点群データにおける、Ｒ，ＧおよびＢの各色に対応する値に１つが閾値の範囲外である値があれば（Ｓ３５のＮＯ）、当該範囲外にあるＲＧＢ値に係る点群データにおける点データを削除する（Ｓ３７）。この時、フィルタリング機能部２４は、Ｒ値，Ｇ値およびＢ値のどれか１つでも閾値の範囲外であれば、当該範囲外にあるＲＧＢ値に係る点群データにおける点データの座標と同じ座標を含む点データを削除可能とする。
　フィルタリング機能部２４は、上記の判定に係る処理を点群データにおける全点数に対して実行する。つまり、上記ループが終了するまでＳ３５からＳ３７までの処理が繰り返される。以上により、フィルタリング機能部２４は、指定色の対象設備のみを検出できる。
　図５は、３次元上のＲＧＢ値から算出された周波数情報に基づいて検出対象設備の点群データが抽出される処理の手順と処理内容の一例を示すフローチャートである。　
　前述と同様に、点群データ入力部２３で読み込まれた点群データは、ＲＧＢ値の各々にデータが分離されてフィルタリング機能部２４に入力される（Ｓ４１）。
　図６は、３次元空間を分割するブロックの一例を示す図である。　
　図６に示されるように、フィルタリング機能部２４に入力された、ＲＧＢ値の個々係る点群データが存在する３次元空間が、Ｘ，Ｙ，Ｚ座標を有し、Ｘ座標軸に沿った辺ａ、Ｙ座標軸に沿った辺ｂ、およびＺ座標軸に沿った辺ｃにより１つのブロックが示されるとすると、当該３次元空間上には複数のブロックが存在することになる。　
　そこで、フィルタリング機能部２４は、点群データが存在する３次元空間において、ブロック数Ｎを選択し、この選択したブロック数Ｎに応じたブロックにより３次元空間をＮ個に分割する（Ｓ４２）。
　次に、フィルタリング機能部２４は、周波数の上限と下限とが検出対象設備１２に応じて定められた閾値の範囲を取得し、内部メモリに格納する（Ｓ４３）。この範囲は保守作業者によって定められてもよい。　
　フィルタリング機能部２４は、ブロック抽出に係るループを開始し、上記Ｎ個に分割されたブロックに存在する点群データに対して、３次元離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）処理を行なう。　
　ＤＣＴ処理は実データを実周波数データへ変換する処理であり、任意の実周波数データを抽出することでフィルタリングと同等の作用として利用される。　
　ここでは、フィルタリング機能部２４は、１次元ＤＣＴ処理を、Ｘ座標、Ｙ座標およびＺ座標のＲＧＢ値に対して各々実行することで３次元ＤＣＴ処理を行なう（Ｓ４５）。
　１ブロックに存在する点群データをPとすると、Pとして、Red値（Ｒ値）に対応する（Xn, Yn, ZnおよびRn）、Green値（Ｇ値）に対応する（Xn, Yn, ZnおよびGn）、およびBlue値（Ｂ値）に対応する（Xn, Yn, ZnおよびBn）がある。　
　但し、nはPに存在する点の個数である。反射強度であるＩ値については省略する。ここで、Ｒ値，Ｇ値とＢ値とではＳ４５の処理は同様の処理であるため、ここではＲ値を例にしてＳ４５の処理を説明する。Ｒ値に係る点群データをPRとする。　
　ここで、ｋ番目のブロックに対する、点群データPRのＸ座標ごとに１次元ＤＣＴ計算により求められたＤＣＴ値をHR,X(k)とすると、このＤＣＴ値は以下の式（１）で計算される。
Figure JPOXMLDOC01-appb-M000001
　次に、上記計算されたHR,X(k)に対してＹ座標ごとに１次元ＤＣＴ計算により求められたＤＣＴ値をVR,Y(k)とすると、このＤＣＴ値は以下の式（２）で計算される。
Figure JPOXMLDOC01-appb-M000002
　続いて、上記計算されたVR,X(k)に対してＺ座標ごとに１次元ＤＣＴ計算により求められたＤＣＴ値をDR,Z(k)とすると、このＤＣＴ値は以下の式（３）で計算される。
Figure JPOXMLDOC01-appb-M000003
　したがって、フィルタリング機能部２４は、上記計算されたDR,Z(k)を点群データPRの３次元ＤＣＴ値、つまりは点群データPRの実周波数データとして取得することができる。但し、３次元ＤＣＴ処理の実現方法についてはこれに限られない。
　フィルタリング機能部２４は、Ｇ値とＢ値に係る点群データPGおよびPBにおいても同様の３次元ＤＣＴ処理を行ない、上記３次元ＤＣＴ値DR,Zに加えて、点群データPGの３次元ＤＣＴ値DG,Z、および点群データPBの３次元ＤＣＴ値DB,Zをそれぞれ計算する。
　フィルタリング機能部２４は、これら計算された３次元ＤＣＴ値DR,Z、DG,Z、およびDB,Zが、予め指定された周波数の閾値の範囲内に含まれるか否か判定する（Ｓ４６）、DR,Z、DG,Z、およびDB,Zがいずれも閾値の範囲内であれば（Ｓ４６のＹＥＳ）、該当のブロック内の点データを維持し（Ｓ４７）、DR,Z、DG,Z、およびDB,Zのどれか１つでも閾値の範囲外であれば（Ｓ４６のＮＯ）、当該範囲外にある値に係るブロック内の点データを削除する（Ｓ４８）。　
　このとき、フィルタリング機能部２４は、３次元ＤＣＴ値DR,Z、DG,Z、およびDB,Zのどれか１つでも閾値の範囲外であれば、当該範囲外にある値に係るブロック内のデータにおける座標と同じ座標を含む点データを削除可能とする。
　フィルタリング機能部２４は、当該判定処理を全ブロックに対して実行した後、つまり上記ブロック抽出に係るループが終了するまでＳ４５からＳ４８までの処理を繰り返した後、３次元ＤＣＴ値に対する３次元ＩＤＣＴ（Inverse DCT）処理を行なうことで、実周波数データを元の実データへ変換後、ＲＧＢ値の信号を再合成する（Ｓ４９）。
　ここで、Ｒ，Ｇ値とＢ値とでは同様の信号再合成処理であるため、ここではＲ値を例にしてＳ４９の処理を説明する。ここで、ｋ番目のブロックに対する、３次元ＤＣＴ値DR,ZのＸ座標ごとに１次元逆ＤＣＴ計算により求められたＩＤＣＴ値をH’R,X(k)とすると、このＩＤＣＴ値は以下の式（４）で計算される。
Figure JPOXMLDOC01-appb-M000004
　次に、ＩＤＣＴ値H’R,X(k)に対してＹ座標ごとに１次元逆ＤＣＴ計算により求められたＩＤＣＴ値をV’R,Y(k)とすると、このＩＤＣＴ値は以下の式（５）で計算される。
Figure JPOXMLDOC01-appb-M000005
　続いて、ＩＤＣＴ値V’R,X(k)に対してＺ座標ごとに１次元逆ＤＣＴ計算により求められたＩＤＣＴ値をP’R(k)とすると、このＩＤＣＴ値は、以下の式（６）で計算される。このＩＤＣＴ値P’R(k)は周波数情報でフィルタリングされたＩＤＣＴ値である。
Figure JPOXMLDOC01-appb-M000006
　フィルタリング機能部２４は、３次元ＩＤＣＴ処理において、３次元ＤＣＴ値DG,Z、およびDB,Zに対しても上記の３次元ＩＤＣＴ処理を行なう。但し、３次元ＩＤＣＴ処理の実現方法についてはこれに限られない。
　つまり、フィルタリング機能部２４は、３次元ＩＤＣＴ処理結果に任意の係数を乗じることで、３次元ＤＣＴ値DR,Z、DG,ZおよびDB,Zを、周波数情報でフィルタリングされたＩＤＣＴ値P’R、P’GおよびP’Bへそれぞれ変換する。フィルタリング機能部２４は、当該ＩＤＣＴ値P’R、P’GおよびP’Bを合成し、上記の３次元座標、反射強度およびＲＧＢ値（Ｘ，Ｙ，Ｚ，Ｉ，Ｒ，Ｇ，およびＢ）へ戻すことで、指定の周波数情報を保有する対象設備を検出する。
　つまり、フィルタリング機能部２４は、３次元ＤＣＴ処理を行なうことで、ブロック内のＲＧＢ値を実周波数データへ変換する。そして、フィルタリング機能部２４は、検出対象設備のＲＧＢ値に対応する周波数と、検出対象設備以外の物体のＲＧＢ値に対応する周波数を、検出対象設備１２に応じて予め定められた、周波数の閾値を基にフィルタリングする。さらに、フィルタリング機能部２４は、フィルタリング後の実周波数データを３次元ＩＤＣＴ処理により元のＲＧＢ値へ戻す。これにより、検出対象設備のみのＲＧＢ値を抽出することが可能である。
　フィルタリング機能部２４によるフィルタリングは、上述の点群データが保有するＲＧＢ値もしくは、３次元上のＲＧＢ値から変換された実周波数データのどちらか一方によるフィルタリングだけでなく、その両方の組み合わせによるフィルタリングでもよい。
　例えば、フィルタリング機能部２４は、図４に示された、実周波数データによるフィルタリングにより得られた元のＲＧＢ値に対し、図３に示された、検出対象に応じた一定範囲のＲＧＢ値によるフィルタリングを行なうことで、上記両方の組み合わせによるフィルタリング結果を得てもよい。
　また、逆の順序として、フィルタリング機能部２４は、図３に示された、検出対象に応じた一定範囲のＲＧＢ値を入力し、図４に示された、実周波数データによるフィルタリングを行なうことで、上記両方の組み合わせによるフィルタリング結果を得てもよい。
　上記の閾値の設定次第では、ＲＧＢ値によるフィルタリング結果と実周波数データによるフィルタリング結果とが必ずしも一致しない一方で、上記のように、ＲＧＢ値によるフィルタリングと実周波数データによるフィルタリングとの一方が行なわれた上で、他方のフィルタリングが行なわれることで、双方のフィルタリングが反映されるため、３次元空間に存在する構造物の検出精度を高めることができる。
　また、フィルタリング機能部２４は、同じ点群データに対し、図３に示された、ＲＧＢ値によるフィルタリングにより検出された点群データと、図４に示された、実周波数データによるフィルタリングにより検出された点群データとをそれぞれ得て、これらに共通する点群データを、上記双方のフィルタリングの組み合わせにより得られた点群データとしてもよい。
　図７は、フィルタリング前後のイメージの一例を示す図である。　
　イメージとして、図７に示されるように、色点群が存在する３次元空間（図７中のａ）において周波数情報及び色情報の閾値設定にて、検出対象設備、ここでは図７中の点線（図７中のｂ）で囲まれた電信柱のみが検出結果（図７中のｃ）として出力されきればよい。なお、検出対象は電信柱等の設備に限られるものではなく、任意の物体であってもよい。
　次に、本発明の一実施形態による効果について説明する。　
　本発明の一実施形態に係る設備検出装置、設備検出方法および設備検出処理プログラムは、従来技術に対して以下の優位性を持つ。　
　第１に、従来技術では、状態を把握の対象である電信柱のたわみベクトルが検出されるために高密度な点群データが必要であり、膨大な点群データの３次元モデル化には高い処理能力を有する演算装置が求められた。　
　これに対し、本発明の一実施形態では、膨大な３次元点群データから検出対象設備のみの３次元点群データが抽出され、３次元モデル化対象の点群データ量を低減することができる。このため、演算装置に要求される処理能力を下げることができる。
　第２に、本発明の一実施形態によれば、雑多な３次元点群データから目的に沿った３次元点群データを選別することができ、記憶装置にて保存されるべきデータの量を圧縮することができる。
　図８は、本発明の一実施形態に係る設備検出装置のハードウエア構成の一例を示すブロック図である。　
　図８に示された例では、上記の実施形態に係る設備検出装置１３は、例えばサーバコンピュータ（server computer）またはパーソナルコンピュータ（personal computer）により構成され、ＣＰＵ等のハードウエアプロセッサ（hardware processor）１１１Ａを有する。そして、このハードウエアプロセッサ１１１Ａに対し、プログラムメモリ（program memory）１１１Ｂ、データメモリ（data memory）１１２、入出力インタフェース（interface）１１３及び通信インタフェース１１４が、バス（bus）１２０を介して接続される。ＡＰ２０、ＳＴＡ３０についても同様であり得る。
　通信インタフェース１１４は、例えば１つ以上の無線の通信インタフェースユニット（unit）を含んでおり、通信ネットワークＮＷとの間で情報の送受信を可能にする。無線インタフェースとしては、例えば無線ＬＡＮなどの小電力無線データ通信規格が採用されたインタフェースが使用される。　
　入出力インタフェース１１３には、保守作業者用の入力デバイス５０および出力デバイス６０が接続されてもよい。入力デバイス５０および出力デバイス６０は設備検出装置１３に内蔵されてもよい。
　プログラムメモリ１１１Ｂは、非一時的な有形の記憶媒体として、例えば、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリ（non-volatile memory）と、ＲＯＭ（Read Only Memory）等の不揮発性メモリとが組み合わせて使用されたもので、一実施形態に係る各種制御処理を実行する為に必要なプログラムが格納されている。
　データメモリ１１２は、有形の記憶媒体として、例えば、上記の不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリ（volatile memory）とが組み合わせて使用されたもので、各種処理が行なわれる過程で取得および作成された各種データが記憶される為に用いられる。
　本発明の一実施形態に係る設備検出装置１３は、ソフトウエア（software）による処理機能部として、図２に示される記憶装置２１と、演算装置２２内の点群データ入力部２３、フィルタリング機能部２４、点群表示機能部２５、柱状物体検出機能部２６、中心軸検出部２７、たわみベクトル検出部２８、結果表示部２９、および結果出力部２１０とを有するデータ処理装置として構成され得る。
　設備検出装置１３内の記憶装置２１は、図８に示されたデータメモリ１１２が用いられることで構成され得る。ただし、データメモリ１１２における記憶の領域は設備検出装置１３内に必須の構成ではなく、例えば、ＵＳＢ（Universal Serial Bus）メモリなどの外付け記憶媒体、又はクラウド（cloud）に配置されたデータベースサーバ（database server）等の記憶装置に設けられた領域であってもよい。
　上記の設備検出装置１３の各部における処理機能部は、いずれも、プログラムメモリ１１１Ｂに格納されたプログラムを上記ハードウエアプロセッサ１１１Ａにより読み出させて実行させることにより実現され得る。なお、これらの処理機能部の一部または全部は、特定用途向け集積回路（ＡＳＩＣ（Application Specific Integrated Circuit））またはＦＰＧＡ（Field-Programmable Gate Array）などの集積回路を含む、他の多様な形式によって実現されてもよい。
　上記目的を達成するために、この発明の一実施形態に係る構造物検出装置の第１の態様は、３次元空間に存在する物体の表面上の点における３次元位置情報および色情報を含むデータを、前記物体の３次元点群データとして読み込む読み込み処理部と、前記色情報に基づいて、前記３次元空間に存在する物体の３次元点群データから、検出対象とする構造物の３次元点群データを抽出するフィルタリング処理を行なうフィルタリング処理部と、前記フィルタリング処理部により抽出された、前記検出対象とする構造物の３次元点群データに基づいて、前記検出対象とする構造物が３次元モデル化された３次元モデルデータを生成する生成処理部と、を備える。
　この発明の構造物検出装置の第２の態様は、第１の態様において、前記フィルタリング処理部は、前記色情報をＲＧＢ値に分離し、前記ＲＧＢ値の各々について、前記３次元空間を、一定サイズを有する複数のブロックに分割し、前記分割されたブロック毎に、当該ブロックに存在する、ＲＧＢの各々に係る点群データの周波数情報を算出し、前記算出された周波数情報に基づいて、前記分割されたブロックのうち、前記検出対象の構造物に応じた一定範囲の周波数情報に対応するブロックをＲＧＢの各々について抽出し、前記抽出されたブロックについて前記算出された周波数情報を元のＲＧＢ値に変換し、前記変換されたＲＧＢ値を有する３次元点群データを、前記検出対象の構造物の３次元点群データとして抽出する、ようにしたものである。
　この発明の構造物検出装置の第３の態様は、第１の態様において、前記フィルタリング処理部は、前記色情報をＲＧＢ値に分離し、前記ＲＧＢ値に基づいて、前記３次元空間に存在する物体の３次元点群データから、前記検出対象の構造物に応じた一定範囲のＲＧＢ値を有する３次元点群データを、前記検出対象の構造物の３次元点群データとして抽出する、ようにしたものである。
　この発明の構造物検出装置の第４の態様は、第１の態様において、前記フィルタリング処理部は、前記色情報をＲＧＢ値に分離し、前記ＲＧＢ値の各々について、前記３次元空間を、一定サイズを有する複数のブロックに分割し、前記分割されたブロック毎に、当該ブロックに存在する、ＲＧＢの各々に係る点群データの周波数情報を算出し、前記算出された周波数情報に基づいて、前記分割されたブロックのうち、前記検出対象の構造物に応じた一定範囲の周波数情報に対応するブロックをＲＧＢの各々について抽出し、前記抽出されたブロックについて前記算出された周波数情報を元のＲＧＢ値に変換し、前記変換されたＲＧＢ値のうち、前記検出対象の構造物に応じた一定範囲のＲＧＢ値を有する３次元点群データを、前記検出対象の構造物の３次元点群データとして抽出する、ようにしたものである。
　この発明の構造物検出装置の第５の態様は、第１の態様において、前記フィルタリング処理部は、前記色情報をＲＧＢ値に分離し、前記ＲＧＢ値のうち、前記検出対象の構造物に応じた一定範囲のＲＧＢ値の各々について、前記３次元空間を、一定サイズを有する複数のブロックに分割し、前記分割されたブロック毎に、当該ブロックに存在する、ＲＧＢの各々に係る点群データの周波数情報を算出し、前記算出された周波数情報に基づいて、前記分割されたブロックのうち、前記検出対象の構造物に応じた一定範囲の周波数情報に対応するブロックをＲＧＢの各々について抽出し、前記抽出されたブロックについて前記算出された周波数情報を元のＲＧＢ値に変換し、前記変換されたＲＧＢ値を有する３次元点群データを、前記検出対象の構造物の３次元点群データとして抽出する、ようにしたものである。
　この発明の構造物検出装置の第６の態様は、第１乃至第５の態様のいずれか１つにおいて、前記検出対象の構造物は、柱状物体であり、前記生成された、前記柱状物体の３次元モデルデータに基づいて、前記柱状物体の所定の複数の高さにおける前記柱状物体の水平方向の中心点の座標値の配列である中心軸データを検出する中心軸検出処理部と、前記３次元モデルデータ、および前記中心軸検出処理部により検出された中心軸データに基づいて、前記柱状物体の３次元モデルの中心軸の傾き、および前記中心軸のたわみ量を前記中心軸のたわみベクトルとして検出する、たわみベクトル検出処理部とをさらに備える、ようにしたものである。
　本発明の一実施形態に係る、構造物検出装置により行なわれる構造物検出方法の態様は、３次元空間に存在する物体の表面上の点における３次元位置情報および色情報を含むデータを、前記物体の３次元点群データとして読み込むことと、前記色情報に基づいて、前記３次元空間に存在する物体の３次元点群データから、検出対象とする構造物の３次元点群データを抽出ことと、前記抽出された、前記検出対象とする構造物の３次元点群データに基づいて、前記検出対象とする構造物が３次元モデル化された３次元モデルデータを生成することと、を備える。
　本発明の一実施形態に係る構造物検出処理プログラムの一つの態様は、第１乃至第６の態様のいずれか１つにおける構造物検出装置の前記各部としてプロセッサを機能させるものである。
　この発明の一実施形態に係る構造物検出装置の第１の態様によれば、３次元空間に存在する物体の表面上の点における３次元位置情報および色情報に基づいて、３次元空間に存在する物体の３次元点群データから、検出対象とする構造物の３次元点群データを抽出するフィルタリング処理を行ない、フィルタリング処理により抽出された、検出対象とする構造物の３次元点群データに基づいて、検出対象とする構造物が３次元モデル化された３次元モデルデータを生成する生成処理を行なう。これにより、所望の構造物が３次元モデル化された３次元モデルデータを生成することができる。
　この発明の一実施形態に係る構造物検出装置の第２の態様によれば、フィルタリング処理として、３次元空間が分割されたブロック毎に、当該ブロックに存在する、ＲＧＢの各々に係る点群データの周波数情報を算出し、この周波数情報に基づいて、前記検出対象の構造物に応じた一定範囲の周波数情報に対応するブロックをＲＧＢの各々について抽出し、抽出されたブロックについて算出された周波数情報を元のＲＧＢ値に変換し、検出対象の構造物の３次元点群データを抽出する。これにより、検出対象の構造物に応じた一定範囲の周波数情報を用いて、所望の構造物の３次元点群データを抽出することができる。
　この発明の一実施形態に係る構造物検出装置の第３の態様によれば、フィルタリング処理として、色情報をＲＧＢ値に分離し、ＲＧＢ値に基づいて、３次元空間に存在する物体の３次元点群データから、検出対象の構造物に応じた一定範囲のＲＧＢ値を有する３次元点群データを抽出する。これにより、検出対象の構造物に応じた一定範囲のＲＧＢ値を用いて、所望の構造物の３次元点群データを抽出することができる。
　この発明の一実施形態に係る構造物検出装置の第４および第５の態様によれば、第２の態様による一定範囲の周波数情報、および第３の態様による一定範囲のＲＧＢ値によるフィルタリングの組み合わせにより、検出対象の構造物の３次元点群データを抽出する。これにより、３次元空間に存在する構造物の検出の精度を向上させることができる。
　この発明の一実施形態に係る構造物検出装置の第６の態様によれば、柱状物体の所定の複数の高さにおける柱状物体の水平方向の中心点の座標値の配列である中心軸データを検出する中心軸検出処理を行ない、柱状物体の３次元モデルの中心軸の傾き、および中心軸のたわみ量を中心軸のたわみベクトルとして検出する。これにより、所望の構造物である柱状物体のたわみベクトルを検出することができる。
　すなわち、本発明の各態様によれば、３次元空間に存在する構造物を処理に係る負荷を低減して検出することが可能になる。
　また、各実施形態に記載された手法は、計算機（コンピュータ）に実行させることができるプログラム（ソフトウエア手段）として、例えば磁気ディスク（フロッピー（登録商標）ディスク（Floppy disk）、ハードディスク等）、光ディスク（optical disc）（ＣＤ－ＲＯＭ、ＤＶＤ、ＭＯ等）、半導体メモリ（ＲＯＭ、ＲＡＭ、フラッシュメモリ（Flash memory）等）等の記録媒体に格納し、また通信媒体により伝送して頒布され得る。なお、媒体側に格納されるプログラムには、計算機に実行させるソフトウエア手段（実行プログラムのみならずテーブル、データ構造も含む）を計算機内に構成させる設定プログラムをも含む。本装置を実現する計算機は、記録媒体に記録されたプログラムを読み込み、また場合により設定プログラムによりソフトウエア手段を構築し、このソフトウエア手段によって動作が制御されることにより上述した処理を実行する。なお、本明細書でいう記録媒体は、頒布用に限らず、計算機内部あるいはネットワークを介して接続される機器に設けられた磁気ディスク、半導体メモリ等の記憶媒体を含むものである。
　なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
　　１１…固定式３Ｄレーザスキャナ
　　１２…検出対象設備
　　１３…設備検出装置
　　２１…記憶装置
　　２２…演算装置
　　２３…点群データ入力部
　　２４…フィルタリング機能部
　　２５…点群表示機能部
　　２６…柱状物体検出機能部
　　２７…中心軸検出部
　　２８…ベクトル検出部
　　２９…結果表示部
　　２１０…結果出力部

Claims (8)

  1. 　３次元空間に存在する物体の表面上の点における３次元位置情報および色情報を含むデータを、前記物体の３次元点群データとして読み込む読み込み処理部と、
    　　前記色情報に基づいて、前記３次元空間に存在する物体の３次元点群データから、検出対象とする構造物の３次元点群データを抽出するフィルタリング処理を行なうフィルタリング処理部と、
    　前記フィルタリング処理部により抽出された、前記検出対象とする構造物の３次元点群データに基づいて、前記検出対象とする構造物が３次元モデル化された３次元モデルデータを生成する生成処理部と、
    　を備える構造物検出装置。
  2. 　前記フィルタリング処理部は、
    　　前記色情報をＲＧＢ値に分離し、
    　　前記ＲＧＢ値の各々について、前記３次元空間を、一定サイズを有する複数のブロックに分割し、
    　　前記分割されたブロック毎に、当該ブロックに存在する、ＲＧＢの各々に係る点群データの周波数情報を算出し、
    　　前記算出された周波数情報に基づいて、前記分割されたブロックのうち、前記検出対象の構造物に応じた一定範囲の周波数情報に対応するブロックをＲＧＢの各々について抽出し、
    　　前記抽出されたブロックについて前記算出された周波数情報を元のＲＧＢ値に変換し、
    　　前記変換されたＲＧＢ値を有する３次元点群データを、前記検出対象の構造物の３次元点群データとして抽出する、
    　請求項１に記載の構造物検出装置。
  3. 　前記フィルタリング処理部は、
    　　前記色情報をＲＧＢ値に分離し、
    　　前記ＲＧＢ値に基づいて、前記３次元空間に存在する物体の３次元点群データから、前記検出対象の構造物に応じた一定範囲のＲＧＢ値を有する３次元点群データを、前記検出対象の構造物の３次元点群データとして抽出する、
    　請求項１に記載の構造物検出装置。
  4. 　前記フィルタリング処理部は、
    　　前記色情報をＲＧＢ値に分離し、
    　　前記ＲＧＢ値の各々について、前記３次元空間を、一定サイズを有する複数のブロックに分割し、
    　　前記分割されたブロック毎に、当該ブロックに存在する、ＲＧＢの各々に係る点群データの周波数情報を算出し、
    　　前記算出された周波数情報に基づいて、前記分割されたブロックのうち、前記検出対象の構造物に応じた一定範囲の周波数情報に対応するブロックをＲＧＢの各々について抽出し、
    　　前記抽出されたブロックについて前記算出された周波数情報を元のＲＧＢ値に変換し、
    　　前記変換されたＲＧＢ値のうち、前記検出対象の構造物に応じた一定範囲のＲＧＢ値を有する３次元点群データを、前記検出対象の構造物の３次元点群データとして抽出する、
    　請求項１に記載の構造物検出装置。
  5. 　前記フィルタリング処理部は、
    　　前記色情報をＲＧＢ値に分離し、
    　　前記ＲＧＢ値のうち、前記検出対象の構造物に応じた一定範囲のＲＧＢ値の各々について、前記３次元空間を、一定サイズを有する複数のブロックに分割し、
    　　前記分割されたブロック毎に、当該ブロックに存在する、ＲＧＢの各々に係る点群データの周波数情報を算出し、
    　　前記算出された周波数情報に基づいて、前記分割されたブロックのうち、前記検出対象の構造物に応じた一定範囲の周波数情報に対応するブロックをＲＧＢの各々について抽出し、
    　　前記抽出されたブロックについて前記算出された周波数情報を元のＲＧＢ値に変換し、
    　　前記変換されたＲＧＢ値を有する３次元点群データを、前記検出対象の構造物の３次元点群データとして抽出する、
    　請求項１に記載の構造物検出装置。
  6. 　前記検出対象の構造物は、柱状物体であり、
    　前記生成された、前記柱状物体の３次元モデルデータに基づいて、前記柱状物体の所定の複数の高さにおける前記柱状物体の水平方向の中心点の座標値の配列である中心軸データを検出する中心軸検出処理部と、
    　前記３次元モデルデータ、および前記中心軸検出処理部により検出された中心軸データに基づいて、前記柱状物体の３次元モデルの中心軸の傾き、および前記中心軸のたわみ量を前記中心軸のたわみベクトルとして検出する、たわみベクトル検出処理部と、
    　をさらに備える請求項１乃至５のいずれか１項に記載の構造物検出装置。
  7. 　構造物検出装置により行なわれる構造物検出方法であって、
    　３次元空間に存在する物体の表面上の点における３次元位置情報および色情報を含むデータを、前記物体の３次元点群データとして読み込むことと、
    　前記色情報に基づいて、前記３次元空間に存在する物体の３次元点群データから、検出対象とする構造物の３次元点群データを抽出することと、
    　前記抽出された、前記検出対象とする構造物の３次元点群データに基づいて、前記検出対象とする構造物が３次元モデル化された３次元モデルデータを生成することと、
    　を備える構造物検出方法。
  8. 　請求項１乃至６のいずれか１項に記載の構造物検出装置の前記各部としてプロセッサを機能させる構造物検出処理プログラム。
PCT/JP2020/011895 2019-03-18 2020-03-18 構造物検出装置、構造物検出方法および構造物検出処理プログラム WO2020189703A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/437,887 US11948319B2 (en) 2019-03-18 2020-03-18 Structure detection apparatus, structure detection method, and structure detection processing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-049762 2019-03-18
JP2019049762A JP7192595B2 (ja) 2019-03-18 2019-03-18 構造物検出装置、構造物検出方法および構造物検出処理プログラム

Publications (1)

Publication Number Publication Date
WO2020189703A1 true WO2020189703A1 (ja) 2020-09-24

Family

ID=72520172

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/011895 WO2020189703A1 (ja) 2019-03-18 2020-03-18 構造物検出装置、構造物検出方法および構造物検出処理プログラム

Country Status (3)

Country Link
US (1) US11948319B2 (ja)
JP (1) JP7192595B2 (ja)
WO (1) WO2020189703A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7445465B2 (ja) 2020-03-09 2024-03-07 川田テクノロジーズ株式会社 照明装置、空間情報取得装置及び空間情報取得方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04155211A (ja) * 1990-10-18 1992-05-28 Fujitsu Ltd 測距方式
JPH0634323A (ja) * 1992-05-07 1994-02-08 Sony Corp 距離測定装置
US20080074640A1 (en) * 2006-09-22 2008-03-27 Walsh Gregory C Lidar system
JP2018156408A (ja) * 2017-03-17 2018-10-04 マクセル株式会社 画像認識撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4635392B2 (ja) 2001-08-09 2011-02-23 コニカミノルタホールディングス株式会社 ３次元物体の表面形状モデリング装置、および、プログラム
JP2004272459A (ja) 2003-03-06 2004-09-30 Cad Center:Kk 三次元形状の自動生成装置、自動生成方法、そのプログラム、及びそのプログラムを記録した記録媒体
JP2009068951A (ja) 2007-09-12 2009-04-02 Mitsubishi Electric Corp 空中架線の管理システム
JP5817422B2 (ja) 2011-10-18 2015-11-18 朝日航洋株式会社 建物抽出装置、方法及びプログラム
JP6216211B2 (ja) 2013-10-25 2017-10-18 株式会社日立製作所 ３次元モデル生成装置、３次元モデル生成方法及びプログラム
US20160014395A1 (en) 2014-07-10 2016-01-14 Arete Associates Data fusion processing to identify obscured objects
JP6938846B2 (ja) 2016-03-14 2021-09-22 株式会社デンソー 物体認識装置
JP7205471B2 (ja) * 2017-06-29 2023-01-17 ソニーグループ株式会社 画像処理装置および画像処理方法
CN107392987B (zh) 2017-07-13 2020-03-06 深圳市魔眼科技有限公司 3d扫描的纹理获取的方法、装置、移动终端及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04155211A (ja) * 1990-10-18 1992-05-28 Fujitsu Ltd 測距方式
JPH0634323A (ja) * 1992-05-07 1994-02-08 Sony Corp 距離測定装置
US20080074640A1 (en) * 2006-09-22 2008-03-27 Walsh Gregory C Lidar system
JP2018156408A (ja) * 2017-03-17 2018-10-04 マクセル株式会社 画像認識撮像装置

Also Published As

Publication number Publication date
JP7192595B2 (ja) 2022-12-20
JP2020153687A (ja) 2020-09-24
US11948319B2 (en) 2024-04-02
US20220172389A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
CN109360262B (zh) 基于cad图生成三维模型的室内定位系统及方法
JP3910582B2 (ja) 三次元構造物形状の自動生成装置、自動生成方法、そのプログラム、及びそのプログラムを記録した記録媒体
US8396255B2 (en) System for and method of processing laser scan samples and digital photographic images relating to building facades
CN100371952C (zh) 识别视频图像对象及应用视频图像注释的设备和方法
KR102243437B1 (ko) 3d 지형정보 영상 매핑을 위한 타일링 처리를 이용하는 영상 표출 방법 및 시스템
JP2009511965A (ja) 強化地図を生成する方法
US20130127852A1 (en) Methods for providing 3d building information
EP3709264B1 (en) Information processing apparatus and accumulated images selecting method
JP2005283221A (ja) 測量データ処理システム、電子地図を格納する記憶媒体及び電子地図表示装置
JP2023115009A (ja) 点群データ管理システム
WO2020189703A1 (ja) 構造物検出装置、構造物検出方法および構造物検出処理プログラム
JP4385244B2 (ja) 地形形状抽出方法、地形形状抽出システム及びプログラム
JP2007170821A (ja) 三次元変位計測方法
JP7004636B2 (ja) 表示データ生成装置、表示データ生成方法、および表示データ生成プログラム
JP2006286019A (ja) 三次元構造物形状の自動生成装置、自動生成方法、そのプログラム、及びそのプログラムを記録した記録媒体
JP4035018B2 (ja) 形状獲得方法、装置、プログラム、およびこのプログラムを記録した記録媒体
KR102210344B1 (ko) 3d 정밀 스캐너 기반 현지조사 및 보완측량을 활용한 수치지형도 제작 방법
JP7409517B2 (ja) ３ｄ点群の座標を変換する装置、方法及びプログラム
JP7204087B2 (ja) 対象物認識装置
WO2021250850A1 (en) Training apparatus, control method, and non-transitory computer-readable storage medium
US20220005223A1 (en) Coordinate calculation apparatus, coordinate calculation method, and computer-readable recording medium
JP6575003B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR101114904B1 (ko) 도화원도와 항공 레이저 측량 데이터를 이용한 도시공간정보 구축 시스템 및 그 방법
KR101079359B1 (ko) 항공 사진과 항공 레이저 측량 데이터를 이용한 수치지도 구축 시스템
Sauerbier et al. A 3D-model of the Nasca lines at Palpa (Peru)

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20774377

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20774377

Country of ref document: EP

Kind code of ref document: A1