WO2017119154A1 - 検出装置および検出方法 - Google Patents

検出装置および検出方法 Download PDF

Info

Publication number
WO2017119154A1
WO2017119154A1 PCT/JP2016/073615 JP2016073615W WO2017119154A1 WO 2017119154 A1 WO2017119154 A1 WO 2017119154A1 JP 2016073615 W JP2016073615 W JP 2016073615W WO 2017119154 A1 WO2017119154 A1 WO 2017119154A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
crack
deformation
vector
unit
Prior art date
Application number
PCT/JP2016/073615
Other languages
English (en)
French (fr)
Inventor
恵 入江
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to CN201680076635.7A priority Critical patent/CN108474747B/zh
Priority to EP16883655.9A priority patent/EP3401671B1/en
Priority to US16/064,349 priority patent/US10704900B2/en
Priority to SG11201803354YA priority patent/SG11201803354YA/en
Priority to JP2017522441A priority patent/JP6173655B1/ja
Publication of WO2017119154A1 publication Critical patent/WO2017119154A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/30Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954Inspecting the inner surface of hollow bodies, e.g. bores
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Definitions

  • the present invention relates to a detection apparatus and a detection method for detecting a deformation of an inspection object.
  • Patent Document 1 discloses a technique for diagnosing cracks and the like by combining measurement results obtained by various devices such as an imaging device, an infrared detector, and a non-contact type electromagnetic wave radar together with diagnostic results such as a sounding method or a visual method.
  • Patent Document 2 discloses a technique for diagnosing cracks by superimposing a visible image and an infrared image to be inspected.
  • the present invention has been made in view of the above, and an object of the present invention is to obtain a detection device capable of improving the accuracy of detecting a crack state.
  • the detection device of the present invention includes a deformation detection unit that detects the deformation of the surface of the structure from the image information of the structure.
  • the detection device includes a step detection unit that detects a step on the surface of the structure from the three-dimensional point cloud information of the structure measured by the laser.
  • the detection apparatus includes a determination unit that determines the state of deformation using the deformation information generated by the deformation detection unit and the step information generated by the step detection unit. .
  • FIG. 1 is a block diagram showing a configuration example of a detection apparatus according to a first embodiment.
  • 6 is a flowchart showing processing for determining the state of a crack detected in the detection apparatus according to the first embodiment.
  • the figure which shows the content of the image information input into the image information input part concerning Embodiment 1 The figure which shows the content of the three-dimensional point cloud information input into the three-dimensional point cloud information input part concerning Embodiment 1
  • the figure which shows the content of the image information of the crack which the crack extraction part concerning Embodiment 1 extracted 10 is a flowchart showing processing for calculating the three-dimensional coordinates of a pixel with a crack flag ON in the crack vector information generation unit according to the first embodiment;
  • FIG. The figure which shows the content of the three-dimensional point cloud information which provided the information of the level
  • FIG. The figure which shows the 1st example of an image when a crack vector and a level
  • FIG. The figure which shows the 2nd example of an image when the crack vector and a level
  • FIG. 3 is a diagram illustrating an example in which the detection apparatus according to the first embodiment is configured by a CPU and a memory.
  • FIG. 6 is a block diagram showing a configuration example of a detection apparatus according to the second embodiment.
  • the figure which shows the content of the information of the 3D coordinate of the crack flag ON and the margin range pixel which the crack 3D information generation part concerning Embodiment 2 computed 10 is a flowchart showing processing for determining the state of a crack detected in the detection apparatus according to the second embodiment.
  • step difference vector is calculated in the determination part concerning Embodiment 2.
  • FIG. 6 is a block diagram showing a configuration example of a detection apparatus according to the third embodiment.
  • 10 is a flowchart showing processing for determining the state of a crack detected in the detection apparatus according to the third embodiment.
  • FIG. 7 is a block diagram showing a configuration example of a detection apparatus according to a fourth embodiment. 10 is a flowchart showing processing for determining the state of a crack detected in the detection apparatus according to the fourth embodiment.
  • FIG. 6 is a block diagram illustrating a configuration example of a detection apparatus according to a fifth embodiment.
  • FIG. 7 is a block diagram illustrating a configuration example of a detection apparatus according to a sixth embodiment.
  • FIG. 10 is a flowchart showing processing for determining the state of a crack detected in a detection apparatus according to a sixth embodiment;
  • FIG. The figure which shows the 2nd example of an image when the crack vector and a level
  • FIG. The figure which shows the 3rd example of an image when the crack vector and a level
  • FIG. 9 is a block diagram illustrating a configuration example of a detection device according to a seventh embodiment. 10 is a flowchart showing processing for determining the state of a crack detected in a detection apparatus according to a seventh embodiment;
  • FIG. 1 is a block diagram illustrating a configuration example of the detection apparatus 20 according to the first embodiment of the present invention.
  • the detection device 20 includes an image information input unit 1, a three-dimensional point cloud information input unit 2, a crack detection unit 3, a step detection unit 4, and a determination unit 5.
  • the detection device 20 is a device that detects a deformation of the surface of a structure to be inspected.
  • the deformation includes cracks, dirt, precipitates, water leakage, and the like.
  • cracks will be described as an example, and the same applies to the following embodiments.
  • the detection device 20 detects a crack that is a deformation of the surface of the structure, and determines whether the detected crack is a crack only on the surface of the structure or a crack with floating peeling inside the structure. To do.
  • transformation of the target to detect is not limited to a crack, It can apply also to deformations other than a crack.
  • the image information input unit 1 inputs image information on the surface of the structure.
  • the image information input unit 1 inputs, for example, image information that can be processed digitally by a digital camera or the like, and may be a digital camera itself.
  • the image information input unit 1 is a data reading device that reads image information captured by a digital camera or the like via a recording medium, or communication that receives image information captured by a digital camera or the like by wired communication or wireless communication. It may be a device.
  • the 3D point cloud information input unit 2 inputs 3D point cloud information on the surface of the structure.
  • the three-dimensional point group information input unit 2 inputs point group information having three-dimensional coordinates measured and acquired by a high-density laser scanner, and may be the high-density laser scanner itself.
  • the three-dimensional point cloud information input unit 2 is measured and acquired by a data reading apparatus that reads data via a recording medium or three-dimensional point cloud information measured and acquired by a high-density laser scanner. It may be a communication device that receives three-dimensional point cloud information by wired communication or wireless communication.
  • the crack detection unit 3 which is a deformation detection unit detects the deformation of the surface of the structure from the image information of the structure.
  • the crack detection unit 3 includes a crack extraction unit 31 and a crack vector information generation unit 32.
  • the crack extraction unit 31 which is a deformation extraction unit analyzes the image information input to the image information input unit 1 and extracts a deformation on the surface of the structure, specifically a crack, from the image information.
  • the crack extraction unit 31 analyzes the input image information and extracts cracks by image processing techniques such as binarization processing and edge detection processing, for example.
  • the crack extraction unit 31 generates crack image information by adding a crack flag indicating that the cracked pixel is cracked to the extracted cracked pixel. Note that the above-described image processing methods are merely examples, and the present invention is not limited to these.
  • the crack vector information generation unit 32 which is a deformed vector information generation unit, uses the three-dimensional point cloud information input to the three-dimensional point cloud information input unit 2 as the crack image information extracted by the crack extraction unit 31. Vectorize by assigning three-dimensional coordinates. Specifically, the crack vector information generation unit 32 has information about the three-dimensional position coordinates that are the optical center position of the camera at the time of shooting image information for each pixel of the crack image information generated by the crack extraction unit 31. Three-dimensional absolute coordinates on the surface of the structure for each cracked pixel based on the information about the camera posture in the three-axis directions and the three-dimensional point cloud information input from the three-dimensional point cloud information input unit 2 To obtain three-dimensional information about the crack image information.
  • the crack vector information generation unit 32 groups the cracks in the specified fixed space with respect to the three-dimensional information of the crack image information, and uses a method such as linear approximation by the least square method for the points of the same group. Three-dimensional crack vector information is generated by performing line differentiation for each fixed space. If the end point distances of the plurality of generated line segments are smaller than the specified distance, the crack vector information generation unit 32 connects the end points and stores them as the same crack vector information.
  • the step detector 4 detects the step on the surface of the structure from the three-dimensional point cloud information of the structure measured by the laser.
  • the level difference detection unit 4 includes a level difference extraction unit 41 and a level difference vector information generation unit 42.
  • the step extraction unit 41 extracts a minute step on the surface of the structure from the three-dimensional point cloud information.
  • the minute step is a step having a height difference of about 1 mm, for example.
  • the step extraction unit 41 approximates the surface of the structure as a smooth surface by a smoothing process, calculates the position coordinates in the vertical direction of each point with respect to the approximated structure surface, and approximates the position of each point.
  • a point that is more than a specified distance from the surface of the structure is extracted as an uneven portion.
  • the step extraction unit 41 sets the extracted uneven portion as a step, assigns a step flag indicating the step portion to each point constituting the step, and generates three-dimensional point group information of the step.
  • step difference detection process from the three-dimensional point cloud information mentioned here is an example, and is not limited to this.
  • the size of the step is not limited to a height difference of about 1 mm.
  • the step vector information generation unit 42 vectorizes the three-dimensional point cloud information of the step extracted by the step extraction unit 41.
  • the step vector information generation unit 42 groups points within a specified space with respect to the three-dimensional point cloud information of the step extracted by the step extraction unit 41, and uses the least square method for points in the same group.
  • the three-dimensional step vector information is generated by performing line differentiation for each fixed space by a method such as straight line approximation.
  • the step vector information generation unit 42 connects the end points and stores the same as step vector information when the end point distances of the generated line segments are smaller than the prescribed distance.
  • the determination unit 5 uses the crack vector information that is the deformation information generated by the crack vector information generation unit 32 and the step vector information that is the step information generated by the step vector information generation unit 42 to Determine the state of cracks on the surface. Specifically, the determination unit 5 uses the step vector information generation unit 42 of the step detection unit 4 for each line segment of the crack vector based on the three-dimensional crack vector information generated by the crack vector information generation unit 32 of the crack detection unit 3. A distance to the closest line segment among the line segments of the step vector based on the generated three-dimensional step vector information is calculated.
  • the determination unit 5 determines that a crack corresponding to a crack vector is accompanied by floating separation when there is a point where a line segment distance with the same step vector becomes smaller than a specified value in a single crack vector at a ratio equal to or greater than a threshold value. It is determined that the crack is low in safety.
  • the surface of the structure is projected onto a two-dimensional plane and converted into a two-dimensional plane on the two-dimensional plane.
  • the determination may be made based on the positional relationship between the crack vector and the step vector, that is, the distance on the two-dimensional plane.
  • a method for projecting the surface of a structure onto a two-dimensional plane for example, there is a method of generating a development view and making it two-dimensional.
  • FIG. 2 is a flowchart of a process for determining a crack state detected by the detection device 20 according to the first embodiment.
  • FIG. 3 is a diagram illustrating the contents of the image information input to the image information input unit 1 according to the first embodiment.
  • the image information includes an R (Red) value, a G (Green) value, and a B (Blue) value for each pixel.
  • the image information shown in FIG. 3 may be stored in a storage unit inside the image information input unit 1 or may be stored in an external storage unit (not shown).
  • FIG. 4 is a diagram illustrating the contents of the three-dimensional point group information input to the three-dimensional point group information input unit 2 according to the first embodiment.
  • the three-dimensional point group information is composed of an X coordinate, a Y coordinate, and a Z coordinate for each point.
  • the three-dimensional point group information shown in FIG. 4 may be stored in a storage unit inside the three-dimensional point group information input unit 2 or may be stored in an external storage unit (not shown).
  • the XY axis can be taken on the horizontal plane and the Z axis can be taken in the height direction.
  • a coordinate system may be used in which an arbitrary point is the origin, and the eastward direction is the X-axis direction, the northward direction is the Y-axis direction, and the vertically upward direction is the Z-axis direction.
  • the unit of data indicating the coordinate value of each point can be a meter (m) or the like, but is not limited to this.
  • the image information and the 3D point cloud information for example, information measured by MMS (Mobile Mapping System) can be used.
  • a vehicle equipped with a measuring device such as a digital camera and a laser can accurately measure the position and posture of the host vehicle using a GPS (Global Positioning System) and an inertial navigation device. Therefore, in MMS, the position of the structure can be accurately obtained by adding the position of the structure measured by the laser to the position of the host vehicle.
  • a GPS Global Positioning System
  • the crack extraction unit 31 of the crack detection unit 3 analyzes the image information input from the image information input unit 1 and extracts a crack from the image information (step S3).
  • the crack extraction unit 31 assigns ON information to a crack flag indicating that the cracked pixel is cracked, and stores it.
  • FIG. 5 is a diagram illustrating the contents of the crack image information extracted by the crack extraction unit 31 according to the first embodiment.
  • the pixel with ON information added to the crack flag is image information indicating a crack.
  • OFF information is given to the crack flag of the pixel from which no crack has been extracted.
  • the crack image information shown in FIG. 5 may be stored in a storage unit inside the crack extraction unit 31 or may be stored in an external storage unit (not shown).
  • the crack vector information generation unit 32 calculates three-dimensional coordinates corresponding to each pixel for all the pixels for which the crack flag is ON in the crack image information (steps S4 to S7). Specifically, the crack vector information generation unit 32 selects one processing target pixel from the image information shown in FIG. 3 (step S4). The crack vector information generation unit 32 confirms the crack image information shown in FIG. 5, and confirms whether or not the processing target pixel has a crack flag ON (step S5). If the crack flag is OFF (step S5: No), the crack vector information generation unit 32 returns to step S4 and selects one next processing target pixel from the image information shown in FIG. 3 (step S4). When the crack flag is ON (step S5: Yes), the crack vector information generation unit 32 calculates the three-dimensional coordinates of the pixel with the crack flag ON based on the three-dimensional point cloud information (step S6).
  • FIG. 6 is a flowchart showing a process of calculating the three-dimensional coordinates of the crack flag pixel in the crack vector information generation unit 32 according to the first embodiment.
  • the crack vector information generation unit 32 obtains image information from the information on the three-dimensional position coordinates that are the optical center position of the camera at the time of shooting, the information about the orientation of the camera in the three-axis direction, and the position of the processing target pixel on the image.
  • a three-dimensional coordinate position at the time of photographing of the processing target pixel and a photographing direction vector indicating the direction when the image information is photographed are calculated from the three-dimensional coordinate position at the time of photographing (step S21).
  • step S21 the crack vector information generation unit 32 uses the three-dimensional point cloud information input from the three-dimensional point cloud information input unit 2 based on the three-dimensional coordinate position at the time of shooting of the processing target pixel calculated in step S21. A point group located in the direction in which the calculated shooting direction vector advances is extracted (step S22).
  • the crack vector information generation unit 32 generates a plane piece including the extracted point cloud and the point cloud around the extracted point cloud by a method such as surface approximation of the least square method (step S23).
  • the crack vector information generation unit 32 calculates and stores the intersection between the shooting direction vector calculated from the three-dimensional coordinate position calculated for the processing target pixel and the generated face piece as the three-dimensional coordinates of the processing target pixel (step S24). .
  • FIG. 7 is a diagram illustrating the contents of the information of the three-dimensional coordinates of the pixel of the crack flag ON calculated by the crack vector information generation unit 32 according to the first embodiment.
  • the crack vector information generation unit 32 calculates the three-dimensional coordinates for each pixel of the crack flag ON, and stores the three-dimensional coordinates of each pixel as an X coordinate, a Y coordinate, and a Z coordinate.
  • the three-dimensional coordinates of the pixel with the crack flag ON shown in FIG. 7 may be stored in a storage unit inside the crack vector information generation unit 32 or may be stored in an external storage unit (not shown).
  • the crack vector information generation unit 32 checks whether or not all the pixels of the image information have been processed, that is, whether or not three-dimensional coordinates have been calculated for all the pixels with the crack flag ON (step S7). If all the pixels have not been processed (step S7: No), the crack vector information generation unit 32 returns to step S4 and selects one next processing target pixel from the image information shown in FIG. 3 (step S4).
  • the crack vector information generation unit 32 performs processing such as straight line approximation or line segment connection by grouping or least square method on the information of the three-dimensional coordinates of the crack flag ON pixel.
  • One crack vector is generated (step S8).
  • FIG. 8 is a diagram illustrating the contents of the crack vector information generated by the crack vector information generation unit 32 according to the first embodiment.
  • Each crack vector generated by the crack vector information generation unit 32 is assumed to have a polygonal line shape. Since each crack vector has a polygonal line shape, the shape of the crack vector can be represented by two end points at both ends and a plurality of vertices.
  • the crack vector information shown in FIG. 8 may be stored in a storage unit inside the crack vector information generation unit 32 or may be stored in an external storage unit (not shown).
  • the step extraction unit 41 of the step detection unit 4 analyzes the 3D point group information input from the 3D point group information input unit 2 and extracts a step from the 3D point group information (step S9).
  • the step extraction unit 41 adds ON information to a flag indicating that it is a step portion in the point group of the step portion and stores it.
  • FIG. 9 is a diagram illustrating the contents of the three-dimensional point group information to which information on the level difference flag for the level difference portion extracted by the level difference extraction unit 41 according to the first embodiment is added. Step flag information is added to the three-dimensional point group information of each point shown in FIG.
  • step 9 is added may be stored in a storage unit inside the step extraction unit 41 or may be stored in an external storage unit (not shown).
  • step flag information when assigning step flag information to each point of the 3D point cloud information, the 3D point cloud information and the step flag information are not stored together as in FIG.
  • the image information shown in FIG. 3 and the crack flag information shown in FIG. 5 may be stored separately.
  • the step vector information generation unit 42 generates a step vector for each line by processing the straight line approximation or line segment connection by grouping or least squares method for the three-dimensional point cloud information for which the step flag is ON (step S10). ).
  • FIG. 10 is a diagram illustrating the content of the step vector information generated by the step vector information generation unit 42 according to the first embodiment. It is assumed that each step vector generated by the step vector information generation unit 42 has a polygonal line shape. Since each step vector has a polygonal line shape, the shape of the step vector can be represented by two end points at both ends and a plurality of vertices.
  • the positions of the end points and the vertices for one step vector are stored as X coordinates, Y coordinates, and Z coordinates, respectively.
  • the step vector information shown in FIG. 10 may be stored in a storage unit inside the step vector information generation unit 42 or may be stored in an external storage unit (not shown).
  • the determining unit 5 performs vector comparison using the crack vector generated by the crack vector information generating unit 32 and the step vector generated by the step vector information generating unit 42 (step S11). Specifically, the determination unit 5 calculates the distance between the line segments in which the distance between the respective line segments of the crack vector and the step vector is the shortest, and the distance to the same step vector in one crack vector is calculated. Whether or not the crack is accompanied by floating peeling is determined based on the ratio of the points that are smaller than the prescribed threshold (step S12).
  • FIGS. 11 to 14 are diagrams illustrating examples of images when the crack vector and the step vector are compared in the determination unit 5 according to the first embodiment.
  • the threshold of the line segment distance is set as the threshold ⁇
  • the determination unit 5 determines that the crack is accompanied by floating separation when the ratio of the points below the threshold ⁇ to all the points is 50% or more.
  • the value of 50% can be set by accepting an operation from the user.
  • the distance between the line segment section A of the crack vector 101 and the step vector 201 is ⁇ 1, the line segment section B of the crack vector 101 and the step vector.
  • the distance between the line segment C of the crack vector 101 and the step vector 201 is 0, the distance between the line segment D of the crack vector 101 and the step vector 201 is 0, and the line segment of the crack vector 101
  • the distance between E and the step vector 201 is ⁇ 2, the distance between the line segment section F of the crack vector 101 and the step vector 201 is zero, and the distance between the line segment section G of the crack vector 101 and the step vector 201 is zero.
  • the crack vector 101 is accompanied by floating peeling. Judge as a crack.
  • the distance between the line segment section A of the crack vector 101 and the step vector 202 is ⁇ 1, the line segment section B of the crack vector 101 and the step vector. 202, the distance between the line segment C of the crack vector 101 and the step vector 202 is 0, the distance between the line segment D of the crack vector 101 and the step vector 202 is 0, and the line segment of the crack vector 101
  • the distance between E and the step vector 202 is ⁇ 2
  • the distance between the line segment section F of the crack vector 101 and the step vector 202 is ⁇ 3
  • the distance between the line segment section G of the crack vector 101 and the step vector 202 is ⁇ 4.
  • the vector 101 is determined as a crack with floating peeling.
  • the distance between the line segment section A and the step vector 203 of the crack vector 101 is ⁇ 1, the line segment section B of the crack vector 101 and the step vector.
  • the distance between the line segment C of the crack vector 101 and the step vector 203 is ⁇ 1
  • the distance between the line segment D of the crack vector 101 and the step vector 203 is ⁇ 2
  • the line segment of the crack vector 101 The distance between E and the step vector 203 is ⁇ 3, the distance between the line segment section F of the crack vector 101 and the step vector 203 is ⁇ 4, and the distance between the line segment section G of the crack vector 101 and the step vector 203 is ⁇ 5.
  • the determination unit 5 compares the crack vector 101 and the step vector 204 shown in FIG. 14, the distance between the line segment section A and the step vector 204 of the crack vector 101 is ⁇ 1, the line segment section B of the crack vector 101 and the step vector. 204, the distance between the line segment C of the crack vector 101 and the step vector 204 is ⁇ 3, the distance between the line segment D of the crack vector 101 and the step vector 204 is ⁇ 4, and the line segment of the crack vector 101
  • the distance between E and the step vector 204 is ⁇ 5
  • the distance between the line segment section F of the crack vector 101 and the step vector 204 is ⁇ 6, and the distance between the line segment section G of the crack vector 101 and the step vector 204 is ⁇ 7.
  • the determination unit 5 can calculate the distance between the line segments of the crack vector and the step vector by either two-dimensional coordinates or three-dimensional coordinates.
  • the determination unit 5 stores information on a corresponding crack vector and a step vector as floating peeling crack information for a crack identified as a crack accompanying floating peeling.
  • FIG. 15 is a diagram illustrating the content of floating peeling crack information for a crack that is determined to be a crack accompanied by floating peeling in the determination unit 5 according to the first embodiment. For each floating peeling crack determined to be a crack with floating peeling, information on a crack vector and a step vector is stored.
  • the floating peeling crack information shown in FIG. 15 may be stored in a storage unit inside the determination unit 5 or may be stored in an external storage unit (not shown).
  • the determination unit 5 compares the crack vector with the step vector, and when the ratio of points below the threshold ⁇ is 50% or more as shown in FIGS. 11 to 13, the crack vector 101 is cracked with floating separation. It is determined and stored as information on floating peeling cracks, and when the ratio of points below the threshold ⁇ is less than 50% as shown in FIG. 14, the crack vector 101 is determined not to be a crack with floating peeling and floats. It is not memorized as peeling crack information. Note that the determination unit 5 determines whether or not the crack is accompanied by floating separation based on the ratio of the points that are equal to or less than the threshold ⁇ , but may determine whether or not the crack is accompanied by floating separation based on the number of points that are equal to or smaller than the threshold ⁇ .
  • step S13: No If the vector comparison has not been completed for all the crack vectors (step S13: No), the determination unit 5 returns to step S11, selects the next crack vector, and performs the vector comparison. When the vector comparison is completed for all the crack vectors (step S13: Yes), the determination unit 5 ends the process.
  • the image information input unit 1 is realized by a measurement device such as a digital camera or an interface circuit that acquires image information as data.
  • the three-dimensional point group information input unit 2 is realized by a measuring device such as a high-density laser scanner or an interface circuit that acquires three-dimensional point group information as data.
  • the crack detection unit 3 including the crack extraction unit 31 and the crack vector information generation unit 32, the step detection unit 4 including the step extraction unit 41 and the step vector information generation unit 42, and the determination unit 5 are realized by a processing circuit.
  • the detection device 20 generates a crack vector from the image information, generates a step vector from the three-dimensional point cloud information, compares the crack vector with the step vector, and the crack represented by the crack vector is accompanied by floating separation.
  • a processing circuit for determining whether or not the crack is present is provided.
  • the processing circuit may be dedicated hardware, a CPU (Central Processing Unit) that executes a program stored in the memory, and a memory.
  • CPU Central Processing Unit
  • FIG. 16 is a diagram illustrating an example in which the detection apparatus 20 according to the first embodiment is configured with dedicated hardware.
  • the processing circuit is dedicated hardware
  • the processing circuit 91 shown in FIG. 16 includes, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (FPGA). Field Programmable Gate Array) or a combination of these.
  • Each function of the detection device 20 may be realized by the processing circuit 91 for each function, or each function may be realized by the processing circuit 91 collectively.
  • FIG. 17 is a diagram illustrating an example in which the detection device 20 according to the first embodiment includes a CPU and a memory.
  • the processing circuit includes the CPU 92 and the memory 93
  • the function of the detection device 20 is realized by software, firmware, or a combination of software and firmware.
  • Software or firmware is described as a program and stored in the memory 93.
  • each function is realized by the CPU 92 reading and executing the program stored in the memory 93. That is, the detection device 20 includes a step of generating a crack vector from the image information when the detection device 20 is executed by the processing circuit, a step of generating a step vector from the three-dimensional point cloud information, and the crack vector and the step vector.
  • a memory 93 is provided for storing a program in which the step of determining whether or not the crack represented by the crack vector is a crack with floating peeling is performed as a result. These programs can also be said to cause a computer to execute the procedure and method of the detection apparatus 20.
  • the CPU 92 may be a processing device, an arithmetic device, a microprocessor, a microcomputer, a processor, or a DSP (Digital Signal Processor).
  • the memory 93 is a nonvolatile or volatile semiconductor memory such as RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable ROM), EEPROM (Electrically EPROM), etc. Magnetic disks, flexible disks, optical disks, compact disks, mini disks, DVDs (Digital Versatile Discs), etc. are applicable.
  • a part may be implement
  • a function for generating a crack vector from image information and a function for generating a step vector from three-dimensional point cloud information are realized by the processing circuit 91 as dedicated hardware, and the crack vector and the step vector are obtained.
  • the function of determining whether or not the crack represented by the crack vector is a crack with floating separation can be realized by the CPU 92 reading and executing the program stored in the memory 93. .
  • the processing circuit can realize the above-described functions by dedicated hardware, software, firmware, or a combination thereof.
  • the detection device 20 generates a step vector from the three-dimensional point cloud information obtained by laser measurement, and from the image information obtained by photographing simultaneously with the laser measurement.
  • a crack vector is generated, the crack vector and the step vector are compared, and the state of the crack represented by the crack vector is determined based on the distance between the line segments constituting each vector.
  • the detection device 20 does not require a large amount of human-powered work time, and the cracks generated on the surface of the structure are automatically detected as cracks accompanied by floating peeling regardless of the experience and skill of the investigator. Can be determined.
  • the detection device 20 can improve the accuracy of detecting a crack state.
  • Embodiment 2 the inspection apparatus 20 generates a crack vector from the image information, generates a step vector from the three-dimensional point cloud information, and compares each vector to determine whether the crack is a crack with floating separation. I was judging.
  • a crack state is determined without vectorizing a crack obtained from image information.
  • FIG. 18 is a block diagram of a configuration example of the detection apparatus 20a according to the second embodiment.
  • the detection device 20a is obtained by deleting the crack detection unit 3 and the determination unit 5 from the detection device 20 and replacing them with a crack detection unit 3a and a determination unit 5a.
  • the crack detection unit 3 a is obtained by deleting the crack vector information generation unit 32 from the crack detection unit 3 and replacing it with a crack three-dimensional information generation unit 33.
  • the crack three-dimensional information generation unit 33 which is a deformed three-dimensional information generation unit, captures image information for each pixel of the crack image information generated by the crack extraction unit 31. Based on the information on the three-dimensional position coordinates that are the optical center position of the camera at the time, information on the posture of the camera in the three-axis direction, and the three-dimensional point group information input from the three-dimensional point group information input unit 2 The three-dimensional absolute coordinates on the surface of the structure are calculated for each of the pixels, and three-dimensional information about the crack image information is obtained.
  • Target pixels pixels in a range obtained by adding a certain margin range to each cracked pixel are defined as deformed ranges.
  • the crack three-dimensional information generation unit 33 does not perform generation of crack vector information like the crack vector information generation unit 32, but obtains three-dimensional information about pixels corresponding to the cracked part and pixels in the margin range. carry out.
  • FIG. 19 is a diagram illustrating an example of a pixel range from which a three-dimensional image is obtained when the glue margin range is one pixel in the crack three-dimensional information generation unit 33 according to the second embodiment.
  • the margin range is set to one pixel around the crack flag ON pixel.
  • the crack three-dimensional information generation unit 33 obtains three-dimensional information about the pixel with the crack flag ON and the pixel with the crack flag OFF but in the margin range.
  • the cracked three-dimensional information generation unit 33 does not obtain three-dimensional information for pixels whose crack flag is OFF and that are not in the margin range.
  • FIG. 20 is a diagram illustrating the content of information on the three-dimensional coordinates of the crack flag ON and the margin range pixel calculated by the crack three-dimensional information generation unit 33 according to the second embodiment.
  • the crack three-dimensional information generation unit 33 calculates a three-dimensional coordinate for each pixel of the crack flag ON and the margin range, and uses the three-dimensional coordinate of each pixel as an X coordinate, a Y coordinate, and a Z coordinate as deformed three-dimensional information. Memorize by coordinates.
  • the three-dimensional coordinates of the crack flag ON and the margin range pixel shown in FIG. 20 may be stored in a storage unit inside the crack three-dimensional information generation unit 33 or may be stored in an external storage unit (not shown). Good.
  • the determination unit 5a determines a deformed state using deformed three-dimensional information that is deformed information and step vector information. Specifically, the determination unit 5a determines all the coordinates of the crack flag ON and the margin range pixel from the crack flag ON and the margin range pixel information generated by the crack three-dimensional information generation unit 33. Is generated. The determination unit 5a calculates a presence rate that is a ratio of the three-dimensional step vector generated by the step vector information generation unit 42 in the three-dimensional space. If the presence ratio of the step vector in the three-dimensional space is equal to or greater than the threshold value, the determination unit 5a determines that the crack represented by the pixel with the crack flag ON is a crack with floating separation and stores it.
  • the determination unit 5a in addition to the method of calculating and determining the existence ratio of a three-dimensional step vector in a three-dimensional space including all the coordinates of the crack flag ON and the pixel of the margin range, the above-described three-dimensional space and 3 Both two-dimensional step vectors are projected onto a two-dimensional plane, and on the two-dimensional plane, the positional relationship between the area range of the two-dimensional crack flag ON and the area including the pixels of the margin range and the two-dimensional step vector You may judge.
  • FIG. 21 is a flowchart of a process of determining a crack state detected by the detection device 20a according to the second embodiment. A different part from the flowchart of Embodiment 1 shown in FIG. 2 is demonstrated.
  • the crack three-dimensional information generation unit 33 sets a margin range for the cracked pixel extracted by the crack extraction unit 31, that is, a pixel with a crack flag ON (step S31).
  • the crack three-dimensional information generation unit 33 checks whether or not the processing target pixel selected in step S4 is a crack flag ON or a pixel in the margin range (step S32). If it is neither the crack flag ON nor the margin range (step S32: No), the crack three-dimensional information generation unit 33 returns to step S4 and selects one next processing target pixel from the image information shown in FIG. (Step S4).
  • the crack three-dimensional information generation unit 33 calculates the three-dimensional coordinates of the crack flag ON pixel or the margin range pixel based on the three-dimensional point cloud information. Calculate (step S6).
  • the target pixel for calculating the three-dimensional coordinates is different from that in the first embodiment, the process in which the crack three-dimensional information generation unit 33 calculates the three-dimensional coordinates of the crack flag ON pixel or the glue margin range pixel is described in the first embodiment. 1 is the same as the process in which the crack vector information generation unit 32 calculates the three-dimensional coordinates of the pixel with the crack flag ON.
  • the determination unit 5a generates a three-dimensional space including all the crack flag ON and the margin range pixels from the crack flag ON and the margin range pixel information generated by the crack three-dimensional information generation unit 33. (Step S33). Then, the determination unit 5a calculates the existence ratio in the three-dimensional space of the three-dimensional step vector generated by the step vector information generation unit 42 (step S34). The determination unit 5a determines whether or not the crack is accompanied by floating peeling based on the calculated presence rate (step S12).
  • 22 to 25 are diagrams illustrating examples of images when the determination unit 5a according to the second embodiment calculates the existence ratio of the step vector in the three-dimensional space.
  • the margin range is 2 pixels, and the determination unit 5a determines that the crack is accompanied by floating peeling when the existence ratio is 50% or more.
  • the determination unit 5a determines that the crack represented by the pixel with the crack flag ON is a crack with floating separation when the existence ratio in which the step vector 201 exists in the three-dimensional space shown in FIG. 22 is 100%.
  • the determination unit 5a determines that the crack represented by the pixel with the crack flag ON is a crack with floating separation when the existence ratio in which the step vector 202 exists in the three-dimensional space shown in FIG. 23 is 100%.
  • the determination unit 5a determines that a crack represented by a pixel with a crack flag ON is a crack without floating separation when the existence ratio in which the step vector 203 exists in the three-dimensional space shown in FIG. 24 is 10%.
  • the determination unit 5a determines that the crack represented by the pixel with the crack flag ON is a crack without floating separation.
  • step S35: No If the existence ratio is not calculated for all the step vectors (step S35: No), the determination unit 5a returns to step S34, selects the next step vector, and calculates the existence ratio. When the calculation of the existence ratio is completed for all the step vectors (step S35: Yes), the determination unit 5a ends the process.
  • the hardware configuration of the detection device 20a can be realized by the same configuration as that of the detection device 20 of the first embodiment.
  • the detection device 20a generates a step vector from the three-dimensional point cloud information obtained by laser measurement, and uses the image information obtained by photographing simultaneously with the laser measurement.
  • the three-dimensional information of the crack flag ON and the margin range pixel is generated, and the crack state is determined based on the existence ratio of the step vector in the three-dimensional space including the crack flag ON and the margin range pixel.
  • a great amount of work time is not required, and the cracks generated on the surface of the structure are simply cracks or floats regardless of the experience and technique of the investigator. Cracks accompanying peeling can be automatically determined.
  • the detection device 20a can determine whether or not the crack is accompanied by floating separation without generating a crack vector, the determination method becomes easier and the processing time required for the determination is reduced as compared with the first embodiment. be able to.
  • Embodiment 3 FIG.
  • the inspection apparatus 20 generates a crack vector from the image information, generates a step vector from the three-dimensional point cloud information, and compares each vector to determine whether the crack is a crack with floating separation. I was judging.
  • the detection device determines a cracked state without vectorizing a step obtained from the three-dimensional point cloud information.
  • FIG. 26 is a block diagram of a configuration example of the detection device 20b according to the third embodiment.
  • the detection device 20b is obtained by deleting the step detection unit 4 and the determination unit 5 from the detection device 20 and replacing them with a structure surface position calculation unit 6 and a determination unit 5b.
  • the structure surface position calculation unit 6 approximates the surface of the structure as a smooth surface by, for example, smoothing processing from the 3D point cloud information input from the 3D point cloud information input unit 2. Calculate the position.
  • the determining unit 5b determines the state of the crack using the crack vector information, which is deformation information, the position information on the structure surface, and the three-dimensional point cloud information. Specifically, based on the crack vector generated by the crack vector information generation unit 32, the determination unit 5b converts the three-dimensional point cloud information in the space defined by the crack vector into the three-dimensional point cloud information input unit. Extract from 2. The determination unit 5b classifies the extracted three-dimensional point group information into two point group groups with a crack vector as a boundary in a direction perpendicular to the structure surface position calculated by the structure surface position calculation unit 6. To do. The determination unit 5b calculates the vertical distance from the structure surface position for each point of each classified point group group, and calculates and stores the vertical distance average value from the structure surface position in each point group group. The determination unit 5b performs the same process on all crack vectors.
  • the determination unit 5b has two points when the difference of the average vertical distance from the calculated structure surface position is equal to or greater than a prescribed threshold value for two adjacent point group groups with one crack vector as a boundary. It is determined that there is a step around the crack on the surface of the structure represented by the crack vector at the boundary of the group group. Further, the determination unit 5b determines whether or not the crack is in a cracked state, that is, a crack accompanied by floating peeling, using the determined step information. The determination unit 5b performs the same process on all crack vectors.
  • FIG. 27 is a flowchart of a process for determining the state of a crack detected by the detection device 20b according to the third embodiment. A different part from the flowchart of Embodiment 1 shown in FIG. 2 is demonstrated.
  • the structure surface position calculation unit 6 calculates the structure surface position from the 3D point cloud information input from the 3D point cloud information input unit 2 by a technique such as smoothing (step S41).
  • the determination unit 5b Based on the crack vector, the determination unit 5b extracts the three-dimensional point group information in the space defined by the crack vector from the three-dimensional point group information input unit 2 (step S42).
  • the determination unit 5b classifies the extracted three-dimensional point group information into two point group groups with a crack vector as a boundary in a direction perpendicular to the structure surface position (step S43).
  • the determination unit 5b calculates the vertical distance from the structure surface position for each point of each point group, and calculates the vertical distance average value from the structure surface position for each point group (step S44).
  • the determination unit 5b calculates the difference between the vertical distance average values for two adjacent point group groups with one crack vector as a boundary (step S45). The determination unit 5b determines whether or not the crack is accompanied by floating peeling based on the difference in the calculated vertical distance average value (step S12).
  • FIG. 28 shows a state in which the determination unit 5b according to the third embodiment classifies the three-dimensional point cloud information extracted from the three-dimensional point cloud information input unit 2 into two point cloud groups with the crack vector 102 as a boundary, and It is a figure which shows the example of the structure surface position.
  • the determination unit 5b classifies the three-dimensional point group information extracted from the three-dimensional point group information input unit 2 into a left point group group and a right point group group with the crack vector 102 as a boundary.
  • the determination unit 5b calculates a vertical distance between each point of the left point group and the structure surface position 301, and calculates a vertical distance average value (a) from the structure surface position in the left point group.
  • the determination unit 5b calculates the vertical distance between each point of the right point group group and the structure surface position 301, and calculates the average vertical distance ( ⁇ b) from the structure surface position in the right point group group. Is calculated.
  • the determination unit 5b floats the crack represented by the crack vector 102. It is determined that the crack is accompanied by peeling.
  • step S46: No When the difference between the average vertical distances of two adjacent point group groups has not been calculated for all crack vectors (step S46: No), the determination unit 5b returns to step S45, and the unprocessed crack vector The difference between the vertical distance average values is calculated for two adjacent point group groups with one crack vector as a boundary. When the difference between the vertical distance average values of two adjacent point group groups is calculated for all crack vectors (step S46: Yes), the determination unit 5b ends the process.
  • the hardware configuration of the detection device 20b can be realized by the same configuration as that of the detection device 20 of the first embodiment.
  • the detection apparatus 20b calculates the structure surface position from the three-dimensional point cloud information obtained by laser measurement, and is obtained by photographing at the same time as laser measurement.
  • a crack vector is generated from the image information, and the state of the crack is determined based on the difference in the average vertical distance from the structure surface position of each point in the two point group having the crack vector as a boundary.
  • a great amount of manpower is not required, and the cracks generated on the surface of the structure are simply cracked or floated regardless of the experience and technique of the investigator. Cracks accompanying peeling can be automatically determined.
  • the detection device 20b can determine whether or not the crack is accompanied by floating separation without generating a step vector, the determination method becomes easier and the processing time required for the determination is reduced compared to the first embodiment. be able to.
  • the present invention can also be applied to the second embodiment.
  • the detection device since it is possible to determine whether or not the crack is accompanied by floating peeling without generating both a crack vector and a step vector, the determination method becomes easier compared to the first and second embodiments. Processing time required for determination can be reduced.
  • Embodiment 4 FIG. In the fourth embodiment, a method for editing a crack vector in a detection apparatus will be described.
  • the first embodiment will be described as an example, but the present invention can also be applied to the third embodiment.
  • FIG. 29 is a block diagram of a configuration example of the detection apparatus 20c according to the fourth embodiment.
  • the detection device 20 c is obtained by adding a display unit 7 and a crack vector information editing unit 8 to the detection device 20.
  • the display unit 7 displays the image information input from the image information input unit 1 and the crack vector information generated by the crack vector information generation unit 32 in a format that the user can recognize visually.
  • the display unit 7 may display the image information and the crack vector separately or may superimpose them.
  • the display unit 7 performs display on, for example, a display mounted on a personal computer or the like constituting the detection device 20c.
  • the display unit 7 may include only a display control unit that displays a crack vector or the like on the display unit, and the display unit may use an external display externally connected to the detection device 20c.
  • the display unit 7 may display, for example, those shown in FIGS. 11 to 14 of the first embodiment, FIGS. 22 to 25 of the second embodiment, and FIG. 28 of the third embodiment.
  • the crack vector information editing unit 8 as an editing unit confirms the image information and the crack vector displayed on the display unit 7 and adds or deletes the vertex of the crack vector, and lengthens the line segment constituting the crack vector. Alternatively, a correction process by the user such as shortening is accepted, and the crack vector information generated by the crack vector information generation unit 32 is edited and corrected.
  • the crack vector information editing unit 8 stores the crack vector information of the content corrected with respect to the crack vector information generated by the crack vector information generation unit 32 shown in FIG. Note that the crack vector information not edited by the crack vector information editing unit 8 is the same as the crack vector information generated by the crack vector information generation unit 32.
  • the determination unit 5 uses the crack vector information corrected by the crack vector information editing unit 8 and the step vector information generated by the step vector information generation unit 42 to cause the crack generated on the surface of the structure to float and peel. It is determined whether or not the crack is accompanied.
  • the determination method in the determination unit 5 is the same as in the first embodiment.
  • FIG. 30 is a flowchart of a process for determining the state of a crack detected by the detection device 20c according to the fourth embodiment. A different part from the flowchart of Embodiment 1 shown in FIG. 2 is demonstrated.
  • the crack vector information editing unit 8 receives the correction processing from the user who confirmed the image information and the crack vector displayed on the display unit 7, and edits the crack vector information generated in step S8 ( Step S51).
  • the edited crack vector information may be stored in a storage unit inside the crack vector information editing unit 8, or may be stored in an external storage unit (not shown). Other processes in the detection device 20c are the same as those in the first embodiment.
  • the hardware configuration of the detection device 20c a display or the like is required for the display unit 7, but the other parts can be realized by the same configuration as the detection device 20 of the first embodiment.
  • the user can confirm the image information and the crack vector, and the crack vector generated for the image information cannot accurately represent the actual crack.
  • the user can edit the crack vector information.
  • the same effect as that of the first embodiment is obtained, and more accurate crack vector information is used as input information, so that cracks generated on the surface of the structure are simply cracks or float peeling. It is possible to improve the accuracy when automatically determining cracks accompanied by a crack.
  • Embodiment 5 FIG. In the fifth embodiment, a case will be described in which cracking vector information, step vector information, and the like are displayed on the detection apparatus.
  • the first embodiment will be described as an example, but the present invention can also be applied to the second to fourth embodiments.
  • FIG. 31 is a block diagram of a configuration example of the detection device 20d according to the fifth embodiment.
  • the detection device 20d is obtained by adding a display unit 7d to the detection device 20.
  • the display unit 7d inputs image information input from the image information input unit 1, crack image information generated by the crack extraction unit 31, crack vector information generated by the crack vector information generation unit 32, and three-dimensional point cloud information input. 3D point group information input from the unit 2, 3D point group information with a step flag generated by the step extraction unit 41, step vector information generated by the step vector information generation unit 42, generated by the determination unit 5
  • the floating peeling crack information is displayed in a format that the user can visually recognize.
  • the display unit 7d performs display on, for example, a display mounted on a personal computer or the like constituting the detection device 20d.
  • the display unit 7d may include only a display control unit that displays a crack vector or the like on the display unit, and the display unit may use an external display externally connected to the detection device 20d.
  • the display unit 7d displays, for example, those shown in FIGS. 11 to 14 of the first embodiment, FIGS. 22 to 25 of the second embodiment, FIG. 28 of the third embodiment, and the like.
  • the display unit 7d may be used as the display unit 7d.
  • the display unit 7d displays, for example, three-dimensional point cloud information with a step flag in a color indicating a step at the point of the step flag ON, and displays a crack vector superimposed thereon to thereby display the position of the step and the crack.
  • the display unit 7d displays the three-dimensional point cloud information with a step flag and the crack vector in a superimposed manner
  • each display can be turned on / off by displaying each display on a separate layer, which makes it easier to see. You can also.
  • the display unit 7d may display a crack vector and a step vector in a superimposed manner, or display a pixel indicating the crack image information with a crack flag ON in a color indicating that it is cracked.
  • a step vector may be displayed on the screen.
  • the display unit 7d displays a color indicating that the pixel of the image information with the crack flag ON is cracked, and has a step at the step flag ON point in the three-dimensional point cloud information with the step flag thereon. You may display with the color which shows that there exists. Further, the display unit 7d may display all information on different levels, accept only selection from the user, and display only necessary information. In the display unit 7d, each piece of information may be displayed in three dimensions, or both cracks and steps may be displayed using information developed two-dimensionally.
  • image information that is input information and three-dimensional information regarding which crack and which level difference are associated with the information of the floating separation crack generated by the determination unit 5 and determined as floating separation.
  • the point cloud information can also be displayed superimposed.
  • a flowchart showing a process for determining the state of the detected crack is the same as the flowchart of the first embodiment shown in FIG.
  • the hardware configuration of the detection device 20d a display or the like is required for the display unit 7d, but the other parts can be realized by the same configuration as the detection device 20 of the first embodiment.
  • image information, three-dimensional point cloud information, crack image information, crack vector information, three-dimensional point cloud information with step information, step vector information image information, three-dimensional point cloud information, crack image information, crack vector information, three-dimensional point cloud information with step information, step vector information
  • all the floating peeling crack information can be assigned to each layer and displayed in a superimposed manner.
  • Embodiment 6 FIG. In the sixth embodiment, a method for giving similarity to floating peeling crack information in a detection apparatus will be described.
  • the first embodiment will be described as an example, but the present invention can also be applied to the second to fifth embodiments.
  • FIG. 32 is a block diagram of a configuration example of the detection apparatus 20e according to the sixth embodiment.
  • the detection device 20 e is obtained by adding a similarity determination unit 9 to the detection device 20.
  • the similarity determination unit 9 determines the similarity between the deformation and the step using the determination result of the crack state in the determination unit 5.
  • the similarity determination unit 9 uses, for example, the distance between each line segment between the crack vector and the step vector calculated by the determination unit 5 according to the first embodiment, the ratio of points equal to or less than the threshold ⁇ , and the like. Regardless of the distance, the shape of the crack vector and the step vector are compared to determine the similarity between the crack vector and the step vector.
  • the similarity determination unit 9 uses, for example, an existence rate in which a step vector exists in a three-dimensional space including the crack and the margin range pixel calculated by the determination unit 5a of the second embodiment, and the like.
  • the shape of the crack flag ON pixel and the shape of the step vector are compared to determine the similarity between the crack flag ON pixel and the step vector.
  • the degree-of-similarity determination unit 9 stores the information on the degree of similarity determined by adding the degree-of-similarity information to the floating peeling crack information that is the result of the determination by the determination unit 5.
  • FIG. 33 is a flowchart of a process of determining a crack state detected by the detection device 20e according to the sixth embodiment. A different part from the flowchart of Embodiment 1 shown in FIG. 2 is demonstrated.
  • step S13 the processing up to step S13 is the same as the flowchart of the first embodiment shown in FIG.
  • the similarity determination unit 9 determines the similarity between the crack vector and the step vector (step S61).
  • FIG. 34 is a diagram illustrating an example of a structure to be subjected to determination of a crack state and information obtained by measurement in the detection device 20e according to the sixth embodiment.
  • the structure to be detected as a crack is assumed to be a tunnel 401, and the range of the wall surface portion 402 in the measured range will be described.
  • the detection device 20e generates a crack vector from a pixel with a crack flag ON based on image information 403 taken by a digital camera or the like.
  • the detection device 20e generates a step vector from the point of the step flag ON based on the three-dimensional point group information 404 measured by a high-density laser scanner or the like.
  • FIGS. 35 to 38 are obtained by superimposing the crack vector obtained from the image information 403 and the step vector obtained from the three-dimensional point cloud information 404.
  • FIGS. 35 to 38 are diagrams showing examples of images when the similarity vector is compared with the crack vector in the similarity determination unit 9 according to the sixth embodiment.
  • the similarity determination unit 9 determines the similarity of the position based on the line segment distance of each vector calculated by the determination unit 5 in the first embodiment. Moreover, the similarity determination part 9 determines the similarity of a shape by the dispersion
  • the similarity determination unit 9 further determines the overall similarity from the position similarity and the shape similarity.
  • the similarity determination unit 9 may take the average value of the position similarity and the shape similarity as the overall similarity, or may use the lower similarity value as the value of the overall similarity.
  • the crack vector 101 and the step vectors 201 to 204 are the same as the crack vector 101 and the step vectors 201 to 204 shown in FIGS. 11 to 14 shown in the first embodiment.
  • the similarity determination unit 9 determines the position similarity based on the ratio of points equal to or less than the threshold ⁇ calculated by the determination unit 5.
  • the similarity determination unit 9 sets the position similarity to “5” based on the calculation result of the line segment distance in the determination unit 5, and the line segment distance variation. Based on the above, the shape similarity is determined to be “5”, and since the values are both “5”, the total similarity is determined to be “5”.
  • the similarity determination unit 9 sets the position similarity to “5” based on the calculation result of the line segment distance in the determination unit 5, and the line segment distance variation. Based on the above, the shape similarity is determined to be “4”, and since the lower value is “4”, the total similarity is determined to be “4”.
  • the similarity determination unit 9 sets the position similarity to “2” based on the line segment distance calculation result in the determination unit 5, and the line segment distance variation. Based on the above, the shape similarity is determined to be “4”, and the lower value is “2”, so the total similarity is determined to be “2”.
  • the similarity determination unit 9 sets the position similarity to “1” based on the calculation result of the line segment distance in the determination unit 5, and the line segment distance variation. Based on the above, the shape similarity is determined to be “1”, and since the values are both “1”, the overall similarity is determined to be “1”.
  • the similarity determination unit 9 stores the information on the determined similarity by adding the information on the similarity to the floating peeling crack information that is the result determined by the determination unit 5.
  • FIG. 39 is a diagram illustrating the contents when the similarity value is given to the floating peeling crack information determined as the crack accompanied by the floating peeling in the similarity determination unit 9 according to the sixth embodiment. Information on the degree of similarity is given to each floating peeling crack with respect to the floating peeling crack information shown in FIG. 39 may be stored in the storage unit inside the similarity determination unit 9, or may be stored in an external storage unit (not shown).
  • the degree-of-similarity determination unit 9 may notify the user of the determination contents for the floating peeling crack having a high overall similarity. For example, when there is the display unit 7d as in the fifth embodiment, the similarity determination unit 9 may notify the user of the content of the total similarity via the display unit 7d.
  • the similarity determination unit 9 may change the notification method and notification content to the user depending on the value of the total similarity.
  • the hardware configuration of the detection device 20e can be realized by the same configuration as that of the detection device 20 of the first embodiment.
  • the detection device 20e determines the similarity for the crack vector and the step vector and digitizes the similarity. Therefore, in the detection apparatus 20e, while obtaining the same effect as Embodiment 1, the user can grasp
  • Embodiment 7 FIG.
  • a detected crack is accompanied by a simple crack or floating peeling using image information digitally captured by a digital camera or the like and three-dimensional point cloud information measured by a high-density laser scanner. It was judged whether it was cracked or not.
  • a detection device further uses a detection result of internal deformation by a radar.
  • the first embodiment will be described as an example, but the present invention can also be applied to the second to sixth embodiments.
  • FIG. 40 is a block diagram of a configuration example of the detection device 20f according to the seventh embodiment.
  • the detection device 20f is obtained by deleting the determination unit 5 from the detection device 20 and replacing it with the determination unit 5f, and further adding a radar information input unit 10 and an internal deformation detection unit 11.
  • the radar information input unit 10 inputs radar information inside the structure.
  • the radar information input unit 10 inputs radar information measured and acquired by a radar, and may be a radar itself.
  • the radar information input unit 10 is a data reading device that reads radar information measured and acquired by a radar via a recording medium, or a communication device that receives information measured and acquired by a radar by wired communication or wireless communication. It may be.
  • the internal deformation detection unit 11 detects a cavity as the internal deformation of the structure from the radar information input by the radar information input unit 10, and stores the detected position of the cavity.
  • the method for detecting the cavity in the internal deformation detection unit 11 is not particularly limited.
  • the determination unit 5f Based on the three-dimensional position information of the crack vector and the step vector recorded in the floating peeling crack information and the position information of the cavity detected by the internal deformation detection unit 11, the determination unit 5f And the distance between the step vector and the cavity are calculated. When the calculated distance is equal to or less than the specified threshold value, the determination unit 5f determines that the crack has a cavity. Note that the determination unit 5f may calculate only the distance between one of the vectors and the cavity. Similarly to the determination unit 5 of the first embodiment, the determination unit 5f compares the crack vector with the step vector to determine whether the crack is accompanied by floating separation, and further, one or two as described above. It may be determined whether or not the crack is accompanied by a cavity by obtaining the distance from the cavity using two vectors.
  • FIG. 41 is a flowchart of a process of determining a crack state detected by the detection device 20f according to the seventh embodiment. A different part from the flowchart of Embodiment 1 shown in FIG. 2 is demonstrated.
  • the radar information input unit 10 inputs radar information measured by, for example, a radar inside the structure (step S71).
  • the internal deformation detection unit 11 detects a cavity inside the structure from the radar information input from the radar information input unit 10 (step S72).
  • the determination unit 5f determines whether the crack is accompanied by floating separation in step S12
  • the determination unit 5f further determines the crack vector and the cavity based on the three-dimensional position information of the crack vector and the step vector and the position information of the cavity. And the distance between the step vector and the cavity, or the distance between any one vector and the cavity is calculated (step S73). Note that the determination unit 5f may omit the processes in steps S11 and S12. Further, the determination unit 5f determines whether or not the crack represented by the crack vector is a crack with a cavity based on the calculated distance (step S74).
  • the hardware configuration of the detection device 20f can be realized by the same configuration as that of the detection device 20 of the first embodiment.
  • the radar information input unit 10 is realized by a measurement device or an interface circuit that acquires radar information as data.
  • the internal deformation detection unit 11 is realized by a processing circuit.
  • the detection device 20f uses the three-dimensional point cloud information obtained by laser measurement, the image information taken simultaneously with the laser measurement, and the internal cavity information obtained by radar measurement. In combination, the state of the crack represented by the crack vector was determined. Thereby, in the detection apparatus 20f, it is possible to automatically determine whether the crack generated on the surface of the structure is a simple crack or a crack with floating separation, and it is also possible to automatically determine whether the crack is accompanied by a cavity.
  • the configuration described in the above embodiment shows an example of the contents of the present invention, and can be combined with another known technique, and can be combined with other configurations without departing from the gist of the present invention. It is also possible to omit or change the part.
  • 1 image information input unit 2 3D point cloud information input unit, 3, 3a crack detection unit, 4 step detection unit, 5, 5a, 5b, 5f determination unit, 6 structure surface position calculation unit, 7, 7d display unit 8, crack vector information editing unit, 9 similarity determination unit, 10 radar information input unit, 11 internal deformation detection unit, 20, 20a, 20b, 20c, 20d, 20e, 20f detection device, 31 crack extraction unit, 32 crack Vector information generation unit, 33 crack three-dimensional information generation unit, 41 step extraction unit, 42 step vector information generation unit.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Testing Of Devices, Machine Parts, Or Other Structures Thereof (AREA)

Abstract

ひび割れがどのような状態にあるかを検出可能な検出装置を得ること。構造物の画像情報から構造物の表面の変状を検出するひび検出部(3)と、レーザにより計測された構造物の3次元点群情報から構造物の表面の段差を検出する段差検出部(4)と、ひび検出部(3)で生成された変状の情報、および段差検出部(4)で生成された段差の情報を用いて、変状の状態を判定する判定部(5)と、を備える。

Description

検出装置および検出方法
 本発明は、検査対象の変状を検出する検出装置および検出方法に関するものである。
 従来、検査対象の構造物に発生するひび割れ、浮きなどの変状を検出する技術には様々な方法がある。特許文献1には、打音法または目視法などの診断結果とともに、画像機器、赤外線検出器、非接触タイプ電磁波レーダなどの各種機器による測定結果を組み合わせてひび割れなどを診断する技術が開示されている。また、特許文献2には、検査対象の可視画像および赤外線画像を重畳にしてひび割れなどを診断する技術が開示されている。
特許第4588901号公報 特許第5795850号公報
 しかしながら、上記従来の技術によれば、打音法および目視法では、人力による作業時間が多大であるとともに、異常箇所を見分けて、または異常音を聞き分けて判断する必要がある。そのため、ひび割れなどの検出精度が調査員の経験や技術に依存する、という問題があった。また、赤外線画像は、検査対象の表面温度の差異を撮影し、表面温度の差異で変状部を特定するものであるが、構造物表面の凹凸による受熱量または伝熱の違いの影響を受けるため精度が低い、という問題があった。すなわち、調査員の経験および技術に依存せず、ひび割れの状態を精度良く検出することが難しい。
 本発明は、上記に鑑みてなされたものであって、ひび割れの状態を検出する精度を向上可能な検出装置を得ることを目的とする。
 上述した課題を解決し、目的を達成するために、本発明の検出装置は、構造物の画像情報から構造物の表面の変状を検出する変状検出部を備える。また、検出装置は、レーザにより計測された構造物の3次元点群情報から構造物の表面の段差を検出する段差検出部を備える。また、検出装置は、変状検出部で生成された変状の情報、および段差検出部で生成された段差の情報を用いて、変状の状態を判定する判定部を備えることを特徴とする。
 本発明によれば、ひび割れの状態を検出する精度を向上できる、という効果を奏する。
実施の形態1にかかる検出装置の構成例を示すブロック図 実施の形態1にかかる検出装置において検出したひびの状態を判定する処理を示すフローチャート 実施の形態1にかかる画像情報入力部に入力される画像情報の内容を示す図 実施の形態1にかかる3次元点群情報入力部に入力される3次元点群情報の内容を示す図 実施の形態1にかかるひび抽出部が抽出したひびの画像情報の内容を示す図 実施の形態1にかかるひびベクトル情報生成部においてひびフラグONの画素の3次元座標を算出する処理を示すフローチャート 実施の形態1にかかるひびベクトル情報生成部が算出したひびフラグONの画素の3次元座標の情報の内容を示す図 実施の形態1にかかるひびベクトル情報生成部において生成したひびベクトル情報の内容を示す図 実施の形態1にかかる段差抽出部が抽出した段差箇所についての段差フラグの情報を付与した3次元点群情報の内容を示す図 実施の形態1にかかる段差ベクトル情報生成部において生成した段差ベクトル情報の内容を示す図 実施の形態1にかかる判定部においてひびベクトルと段差ベクトルとを比較したときのイメージの第1の例を示す図 実施の形態1にかかる判定部においてひびベクトルと段差ベクトルとを比較したときのイメージの第2の例を示す図 実施の形態1にかかる判定部においてひびベクトルと段差ベクトルとを比較したときのイメージの第3の例を示す図 実施の形態1にかかる判定部においてひびベクトルと段差ベクトルとを比較したときのイメージの第4の例を示す図 実施の形態1にかかる判定部において浮き剥離を伴うひびと判定したひびについての浮き剥離ひび情報の内容を示す図 実施の形態1にかかる検出装置を専用のハードウェアで構成する場合の例を示す図 実施の形態1にかかる検出装置をCPUおよびメモリで構成する場合の例を示す図 実施の形態2にかかる検出装置の構成例を示すブロック図 実施の形態2にかかるひび3次元情報生成部において糊代範囲を1画素とした場合の3次元画像を得る対象の画素の範囲の例を示す図 実施の形態2にかかるひび3次元情報生成部が算出したひびフラグONおよび糊代範囲の画素の3次元座標の情報の内容を示す図 実施の形態2にかかる検出装置において検出したひびの状態を判定する処理を示すフローチャート 実施の形態2にかかる判定部において段差ベクトルの3次元空間での存在率を算出したときのイメージの第1の例を示す図 実施の形態2にかかる判定部において段差ベクトルの3次元空間での存在率を算出したときのイメージの第2の例を示す図 実施の形態2にかかる判定部において段差ベクトルの3次元空間での存在率を算出したときのイメージの第3の例を示す図 実施の形態2にかかる判定部において段差ベクトルの3次元空間での存在率を算出したときのイメージの第4の例を示す図 実施の形態3にかかる検出装置の構成例を示すブロック図 実施の形態3にかかる検出装置において検出したひびの状態を判定する処理を示すフローチャート 実施の形態3にかかる判定部において、ひびベクトルを境界にして3次元点群情報入力部から抽出した3次元点群情報を2つの点群グループに分類した状態、および構造物表面位置の例を示す図 実施の形態4にかかる検出装置の構成例を示すブロック図 実施の形態4にかかる検出装置において検出したひびの状態を判定する処理を示すフローチャート 実施の形態5にかかる検出装置の構成例を示すブロック図 実施の形態6にかかる検出装置の構成例を示すブロック図 実施の形態6にかかる検出装置において検出したひびの状態を判定する処理を示すフローチャート 実施の形態6にかかる検出装置においてひびの状態を判定する対象となる構造物および計測により得られた情報の例を示す図 実施の形態6にかかる類似度判定部においてひびベクトルと段差ベクトルとを比較したときのイメージの第1の例を示す図 実施の形態6にかかる類似度判定部においてひびベクトルと段差ベクトルとを比較したときのイメージの第2の例を示す図 実施の形態6にかかる類似度判定部においてひびベクトルと段差ベクトルとを比較したときのイメージの第3の例を示す図 実施の形態6にかかる類似度判定部においてひびベクトルと段差ベクトルとを比較したときのイメージの第4の例を示す図 実施の形態6にかかる類似度判定部において浮き剥離を伴うひびと判定された浮き剥離ひび情報に類似度の値を付与したときの内容を示す図 実施の形態7にかかる検出装置の構成例を示すブロック図 実施の形態7にかかる検出装置において検出したひびの状態を判定する処理を示すフローチャート
 以下に、本発明の実施の形態にかかる検出装置および検出方法を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
実施の形態1.
 図1は、本発明の実施の形態1にかかる検出装置20の構成例を示すブロック図である。検出装置20は、画像情報入力部1と、3次元点群情報入力部2と、ひび検出部3と、段差検出部4と、判定部5と、を備える。検出装置20は、検査対象である構造物の表面の変状を検出する装置である。変状については、ひび、汚れ、析出物、漏水などがあるが、ここでは、ひびを例にして説明し、以降の実施の形態についても同様とする。検出装置20では、構造物表面の変状であるひびを検出し、検出したひびが、構造物の表面だけのひびであるのか、構造物の内部において浮き剥離などを伴うひびであるのかを判定する。なお、検出装置20については、検出する対象の変状はひびに限定されるものではなく、ひび以外の変状にも適用可能である。
 画像情報入力部1は、構造物の表面の画像情報を入力する。画像情報入力部1は、例えば、デジタルカメラなどでデジタル撮影された画像処理可能な画像情報を入力するものであり、デジタルカメラそのものでもよい。画像情報入力部1は、デジタルカメラなどで撮影された画像情報を記録媒体経由でデータ読み取りを行うデータ読み取り装置、または、デジタルカメラなどで撮影された画像情報を有線通信または無線通信によって受信する通信装置であってもよい。
 3次元点群情報入力部2は、構造物の表面の3次元点群情報を入力する。3次元点群情報入力部2は、高密度レーザスキャナで計測および取得された3次元座標を有する点群情報を入力するものであり、高密度レーザスキャナそのものでもよい。3次元点群情報入力部2は、高密度レーザスキャナで計測および取得された3次元点群情報を記録媒体経由でデータ読み取りを行うデータ読み取り装置、または、高密度レーザスキャナで計測および取得された3次元点群情報を有線通信または無線通信によって受信する通信装置であってもよい。
 変状検出部であるひび検出部3は、構造物の画像情報から構造物の表面の変状を検出する。ひび検出部3は、ひび抽出部31と、ひびベクトル情報生成部32と、を備える。
 変状抽出部であるひび抽出部31は、画像情報入力部1に入力された画像情報を解析して、画像情報から構造物表面の変状、具体的にはひびを抽出する。ひび抽出部31は、例えば、2値化処理、エッジ検出処理などの画像処理の手法により、入力された画像情報を解析してひびを抽出する。ひび抽出部31は、抽出したひびの画素に、ひび部分の画素にひびであることを示すひびフラグを付与してひびの画像情報を生成する。なお、前述の画像処理の手法は一例であり、これらに限定されるものではない。
 変状ベクトル情報生成部であるひびベクトル情報生成部32は、ひび抽出部31で抽出されたひびの画像情報に、3次元点群情報入力部2に入力された3次元点群情報を用いて、3次元座標を付与してベクトル化する。具体的に、ひびベクトル情報生成部32は、ひび抽出部31で生成されたひびの画像情報の各画素に対して、画像情報を撮影時のカメラの光学中心位置である3次元位置座標の情報、3軸方向によるカメラの姿勢についての情報、および3次元点群情報入力部2から入力された3次元点群情報に基づいて、ひびの各画素に対して構造物表面上の3次元絶対座標を算出し、ひびの画像情報についての3次元情報を得る。
 ひびベクトル情報生成部32は、ひびの画像情報の3次元情報に対して、規定された一定空間内にあるひびをグルーピングし、同一グループの点に対して最小二乗法による直線近似などの手法により一定空間ごとに線分化して3次元のひびベクトル情報を生成する。ひびベクトル情報生成部32は、生成した複数の線分の端点距離が規定された距離より小さい場合には、端点同士を接続して同一のひびベクトル情報として記憶する。
 段差検出部4は、レーザにより計測された構造物の3次元点群情報から構造物の表面の段差を検出する。段差検出部4は、段差抽出部41と、段差ベクトル情報生成部42と、を備える。
 段差抽出部41は、3次元点群情報から構造物の表面の微小な段差を抽出する。微小な段差とは、例えば、1mm程度の高低差を有する段差のことである。段差抽出部41は、例えば、平滑化処理により構造物の表面をなだらかな面として近似し、近似した構造物表面に対して各点の垂直方向の位置座標を計算し、各点の位置が近似した構造物表面から規定された距離以上離れている点を凹凸部分として抽出する。段差抽出部41は、抽出した凹凸部分を段差とし、段差を構成する各点に、段差部分であることを示す段差フラグを付与して段差の3次元点群情報を生成する。なお、ここで挙げた3次元点群情報からの段差検出処理の手法は一例であり、これに限定されるものではない。また、段差の大きさについても、1mm程度の高低差に限定されるものではない。
 段差ベクトル情報生成部42は、段差抽出部41で抽出された段差の3次元点群情報をベクトル化する。段差ベクトル情報生成部42は、段差抽出部41で抽出された段差の3次元点群情報に対して、規定された一定空間内にある点をグルーピングし、同一グループの点に対して最小二乗法による直線近似などの手法により一定空間ごとに線分化して3次元の段差ベクトル情報を生成する。段差ベクトル情報生成部42は、生成した複数の線分の端点距離が規定された距離より小さい場合には、端点同士を接続して同一の段差ベクトル情報として記憶する。
 判定部5は、ひびベクトル情報生成部32で生成された変状の情報であるひびベクトル情報、および段差ベクトル情報生成部42で生成された段差の情報である段差ベクトル情報を用いて、構造物の表面に発生したひびの状態を判定する。具体的に、判定部5は、ひび検出部3のひびベクトル情報生成部32で生成された3次元のひびベクトル情報によるひびベクトルの各線分において、段差検出部4の段差ベクトル情報生成部42で生成された3次元の段差ベクトル情報による段差ベクトルの各線分のうち一番近い線分との距離を算出する。判定部5は、1つのひびベクトルにおいて、同一の段差ベクトルとの線分間距離が規定された値より小さくなるポイントが閾値以上の比率で存在する場合、ひびベクトルに対応するひびは浮き剥離を伴う、安全性の低いひびであると判定する。
 判定部5については、前述の3次元のひびベクトルと段差ベクトルとの線分同士の距離に基づく判定の他、構造物表面を2次元平面に投影し、2次元平面上において2次元化されたひびベクトルと段差ベクトルとの位置関係、すなわち2次元平面上での距離に基づいて判定してもよい。構造物表面を2次元平面へ投影する方法については、例えば、展開図を生成して2次元化する手法があるが、これに限定されるものではない。
 つぎに、検出装置20における、構造物の表面で検出された変状が単なるひびか、浮き剥離を伴うひびか否かを判定する処理について説明する。図2は、実施の形態1にかかる検出装置20において検出したひびの状態を判定する処理を示すフローチャートである。
 まず、検出装置20では、画像情報入力部1において、構造物の表面をデジタルカメラなどで撮影された画像情報を入力する(ステップS1)。図3は、実施の形態1にかかる画像情報入力部1に入力される画像情報の内容を示す図である。画像情報は、各画素について、R(Red)値、G(Green)値、およびB(Blue)値により構成される。図3に示す画像情報については、画像情報入力部1内部の記憶部で記憶してもよいし、図示しない外部の記憶部で記憶してもよい。
 また、検出装置20では、3次元点群情報入力部2において、画像情報の撮影と同じタイミングでレーザ計測された3次元点群情報を入力する(ステップS2)。図4は、実施の形態1にかかる3次元点群情報入力部2に入力される3次元点群情報の内容を示す図である。3次元点群情報は、各点について、X座標、Y座標、およびZ座標により構成される。図4に示す3次元点群情報については、3次元点群情報入力部2内部の記憶部で記憶してもよいし、図示しない外部の記憶部で記憶してもよい。
 なお、X座標、Y座標、およびZ座標については、例えば、平面直角座標系を用いて、XY軸を水平面上にとり、Z軸を高さ方向にとることができる。または、任意の点を原点として、例えば、東向き方向をX軸方向、北向き方向をY軸方向、鉛直上向き方向をZ軸方向とする座標系でもよい。各点の座標値を示すデータの単位については、メートル(m)などを使用することができるが、これに限定されるものではない。画像情報および3次元点群情報については、例えば、MMS(Mobile Mapping System)により計測された情報を用いることができる。MMSでは、デジタルカメラおよびレーザなどの測定装置を搭載した車両において、GPS(Global Positioning System)および慣性航法装置などを用いて、自車両の位置と姿勢を正確に計測できる。そのため、MMSでは、自車両の位置にレーザで計測された構造物のなどの位置を加算することで、構造物の位置を正確に取得することができる。
 図2のフローチャートの説明に戻る。ひび検出部3のひび抽出部31は、画像情報入力部1から入力された画像情報を解析し、画像情報からひびを抽出する(ステップS3)。ひび抽出部31は、ひび部分の画素にひびであることを示すひびフラグにON情報を付与して記憶する。図5は、実施の形態1にかかるひび抽出部31が抽出したひびの画像情報の内容を示す図である。図5に示す画像情報のうち、ひびフラグにON情報が付与された画素がひびを示す画像情報となる。図5に示す画像情報のうち、ひびが抽出されていない画素のひびフラグにはOFF情報が付与されている。図5に示すひびの画像情報については、ひび抽出部31内部の記憶部で記憶してもよいし、図示しない外部の記憶部で記憶してもよい。
 ひびベクトル情報生成部32は、ひびの画像情報のうちひびフラグがONになっている全画素を対象に、各画素に対応する3次元座標を算出する(ステップS4~S7)。具体的に、ひびベクトル情報生成部32は、図3に示す画像情報から処理対象画素を1つ選択する(ステップS4)。ひびベクトル情報生成部32は、図5に示すひびの画像情報を確認し、処理対象画素はひびフラグONか否かを確認する(ステップS5)。ひびフラグOFFの場合(ステップS5:No)、ひびベクトル情報生成部32は、ステップS4に戻って図3に示す画像情報からつぎの処理対象画素を1つ選択する(ステップS4)。ひびフラグONの場合(ステップS5:Yes)、ひびベクトル情報生成部32は、3次元点群情報に基づいて、ひびフラグONの画素の3次元座標を算出する(ステップS6)。
 図6は、実施の形態1にかかるひびベクトル情報生成部32においてひびフラグONの画素の3次元座標を算出する処理を示すフローチャートである。まず、ひびベクトル情報生成部32は、画像情報を撮影時のカメラの光学中心位置である3次元位置座標、3軸方向によるカメラの姿勢についての情報、および処理対象画素の画像上の位置から、処理対象画素の撮影時の3次元座標位置、および撮影時の3次元座標位置から画像情報を撮影したときの方向を示す撮影方向ベクトルを算出する(ステップS21)。
 ひびベクトル情報生成部32は、3次元点群情報入力部2から入力された3次元点群情報の中から、ステップS21で算出した処理対象画素の撮影時の3次元座標位置から、ステップS21で算出した撮影方向ベクトル進んだ方向に位置する点群を抽出する(ステップS22)。
 ひびベクトル情報生成部32は、抽出した点群および抽出した点群周辺の点群を含む面片を、最小二乗法の面近似などの手法により生成する(ステップS23)。
 ひびベクトル情報生成部32は、処理対象画素について算出した3次元座標位置からの撮影方向ベクトルと生成した面片との交差点を、処理対象画素の3次元座標として算出して記憶する(ステップS24)。図7は、実施の形態1にかかるひびベクトル情報生成部32が算出したひびフラグONの画素の3次元座標の情報の内容を示す図である。ひびベクトル情報生成部32は、ひびフラグONの各画素について3次元座標を算出し、各画素の3次元座標をX座標、Y座標、およびZ座標により記憶する。図7に示すひびフラグONの画素の3次元座標については、ひびベクトル情報生成部32内部の記憶部で記憶してもよいし、図示しない外部の記憶部で記憶してもよい。
 図2のフローチャートの説明に戻る。ひびベクトル情報生成部32は、画像情報の全画素について処理済みか否か、すなわちひびフラグONの全画素に対して3次元座標を算出済みか否か確認する(ステップS7)。全画素処理済みでない場合(ステップS7:No)、ひびベクトル情報生成部32は、ステップS4に戻って図3に示す画像情報からつぎの処理対象画素を1つ選択する(ステップS4)。
 全画素処理済みの場合(ステップS7:Yes)、ひびベクトル情報生成部32は、ひびフラグONの画素の3次元座標の情報をグルーピングまたは最小二乗法による、直線近似または線分接続などの処理により、1本毎のひびベクトルを生成する(ステップS8)。図8は、実施の形態1にかかるひびベクトル情報生成部32において生成したひびベクトル情報の内容を示す図である。ひびベクトル情報生成部32で生成された各ひびベクトルは折線形状をしているものとする。各ひびベクトルは折線形状をしているため、ひびベクトルの形状を、両端の2つの端点、および複数の頂点により表すことができる。そのため、1つのひびベクトルについて、端点および頂点の位置を各々X座標、Y座標、Z座標により記憶する。図8に示すひびベクトル情報については、ひびベクトル情報生成部32内部の記憶部で記憶してもよいし、図示しない外部の記憶部で記憶してもよい。
 段差検出部4の段差抽出部41は、3次元点群情報入力部2から入力された3次元点群情報を解析し、3次元点群情報から段差を抽出する(ステップS9)。段差抽出部41は、段差部分の点群には段差箇所であることを示すフラグにON情報を付与して記憶する。図9は、実施の形態1にかかる段差抽出部41が抽出した段差箇所についての段差フラグの情報を付与した3次元点群情報の内容を示す図である。図4に示す各点の3次元点群情報に段差フラグの情報を付与したものである。図9に示す段差フラグの情報を付与した3次元点群情報については、段差抽出部41内部の記憶部で記憶してもよいし、図示しない外部の記憶部で記憶してもよい。なお、3次元点群情報の各点に段差フラグの情報を付与する場合、図9のように3次元点群情報および段差フラグの情報を一緒に記憶せず、画像情報のときのように、図3に示す画像情報および図5に示すひびフラグの情報のように別々に記憶してもよい。
 段差ベクトル情報生成部42は、段差フラグONとなっている3次元点群情報をグルーピングまたは最小二乗法による、直線近似または線分接続の処理により、1本毎の段差ベクトルを生成する(ステップS10)。図10は、実施の形態1にかかる段差ベクトル情報生成部42において生成した段差ベクトル情報の内容を示す図である。段差ベクトル情報生成部42で生成された各段差ベクトルは折線形状をしているものとする。各段差ベクトルは折線形状をしているため、段差ベクトルの形状を、両端の2つの端点、および複数の頂点により表すことができる。そのため、1つの段差ベクトルについて、端点および頂点の位置を各々X座標、Y座標、Z座標により記憶する。図10に示す段差ベクトル情報については、段差ベクトル情報生成部42内部の記憶部で記憶してもよいし、図示しない外部の記憶部で記憶してもよい。
 判定部5は、ひびベクトル情報生成部32で生成されたひびベクトルと、段差ベクトル情報生成部42で生成された段差ベクトルとを用いてベクトル比較を行う(ステップS11)。判定部5は、具体的に、ひびベクトルおよび段差ベクトルの各々のベクトルの各線分の距離が最短となる線分同士の距離を算出し、1つのひびベクトルにおいて同一の段差ベクトルに対して距離が規定された閾値より小さくなるポイントの比率により、浮き剥離を伴うひびか否かを判定する(ステップS12)。
 図11から図14は、実施の形態1にかかる判定部5においてひびベクトルと段差ベクトルとを比較したときのイメージの例を示す図である。ここでは、一例として、線分間距離の閾値を閾値γとし、判定部5は全ポイントに対する閾値γ以下のポイントの比率が50%以上のときに浮き剥離を伴うひびと判定するものとする。判定部5では、50%の値についてはユーザからの操作を受け付けて設定し、変更できるものとする。
 判定部5は、図11に示すひびベクトル101と段差ベクトル201を比較した場合、ひびベクトル101の線分区間Aと段差ベクトル201との距離はβ1、ひびベクトル101の線分区間Bと段差ベクトル201との距離は0、ひびベクトル101の線分区間Cと段差ベクトル201との距離は0、ひびベクトル101の線分区間Dと段差ベクトル201との距離は0、ひびベクトル101の線分区間Eと段差ベクトル201との距離はβ2、ひびベクトル101の線分区間Fと段差ベクトル201との距離は0、ひびベクトル101の線分区間Gと段差ベクトル201との距離は0となる。判定部5は、β1およびβ2はともに閾値γより小さいため閾値γ以下のポイント数が7となり、閾値γ以下のポイントの比率が7/7=100%のため、ひびベクトル101は浮き剥離を伴うひびと判定する。
 判定部5は、図12に示すひびベクトル101と段差ベクトル202を比較した場合、ひびベクトル101の線分区間Aと段差ベクトル202との距離はα1、ひびベクトル101の線分区間Bと段差ベクトル202との距離はβ1、ひびベクトル101の線分区間Cと段差ベクトル202との距離は0、ひびベクトル101の線分区間Dと段差ベクトル202との距離は0、ひびベクトル101の線分区間Eと段差ベクトル202との距離はβ2、ひびベクトル101の線分区間Fと段差ベクトル202との距離はβ3、ひびベクトル101の線分区間Gと段差ベクトル202との距離はβ4となる。判定部5は、α1は閾値γ以上、β1~β4は閾値γより小さいため閾値γ以下のポイント数が6となり、閾値γ以下のポイントの比率が6/7=85.7%のため、ひびベクトル101は浮き剥離を伴うひびと判定する。
 判定部5は、図13に示すひびベクトル101と段差ベクトル203を比較した場合、ひびベクトル101の線分区間Aと段差ベクトル203との距離はα1、ひびベクトル101の線分区間Bと段差ベクトル203との距離はα2、ひびベクトル101の線分区間Cと段差ベクトル203との距離はβ1、ひびベクトル101の線分区間Dと段差ベクトル203との距離はβ2、ひびベクトル101の線分区間Eと段差ベクトル203との距離はβ3、ひびベクトル101の線分区間Fと段差ベクトル203との距離はβ4、ひびベクトル101の線分区間Gと段差ベクトル203との距離はβ5となる。判定部5は、α1およびα2はともに閾値γ以上、β1~β5は閾値γより小さいため閾値γ以下のポイント数が5となり、閾値γ以下のポイントの比率が5/7=71.4%のため、ひびベクトル101は浮き剥離を伴うひびと判定する。
 判定部5は、図14に示すひびベクトル101と段差ベクトル204を比較した場合、ひびベクトル101の線分区間Aと段差ベクトル204との距離はα1、ひびベクトル101の線分区間Bと段差ベクトル204との距離はα2、ひびベクトル101の線分区間Cと段差ベクトル204との距離はα3、ひびベクトル101の線分区間Dと段差ベクトル204との距離はα4、ひびベクトル101の線分区間Eと段差ベクトル204との距離はα5、ひびベクトル101の線分区間Fと段差ベクトル204との距離はα6、ひびベクトル101の線分区間Gと段差ベクトル204との距離はα7となる。判定部5は、α1~α7は閾値γ以上のため閾値γ以下のポイント数が0となり、閾値γ以下のポイントの比率が0/7=0%のため、ひびベクトル101は浮き剥離を伴うひびではないと判定する。
 判定部5では、ひびベクトルおよび段差ベクトルの各線分間の距離の算出方法については2次元座標でも3次元座標でも、どちらでも算出は可能である。判定部5は、浮き剥離を伴うひびと識別したひびについては、浮き剥離ひび情報として、対応するひびベクトルおよび段差ベクトルの情報を記憶する。図15は、実施の形態1にかかる判定部5において浮き剥離を伴うひびと判定したひびについての浮き剥離ひび情報の内容を示す図である。浮き剥離を伴うひびと判定した各浮き剥離ひびについて、ひびベクトルおよび段差ベクトルの情報を記憶する。図15に示す浮き剥離ひび情報については、判定部5内部の記憶部で記憶してもよいし、図示しない外部の記憶部で記憶してもよい。
 判定部5は、ひびベクトルと段差ベクトルとを比較し、図11から図13のように閾値γ以下のポイントの比率が50%以上となった場合にはひびベクトル101は浮き剥離を伴うひびと判定して浮き剥離ひびの情報として記憶し、図14のように閾値γ以下のポイントの比率が50%未満となった場合にはひびベクトル101は浮き剥離を伴うひびではないと判定して浮き剥離ひびの情報として記憶しない。なお、判定部5では、閾値γ以下のポイントの比率により浮き剥離を伴うひびか否かを判定していたが、閾値γ以下のポイント数により浮き剥離を伴うひびか否かを判定してもよい。
 全てのひびベクトルについてベクトル比較が終了していない場合(ステップS13:No)、判定部5は、ステップS11に戻って、つぎのひびベクトルを選択してベクトル比較を行う。全てのひびベクトルについてベクトル比較が終了した場合(ステップS13:Yes)、判定部5は、処理を終了する。
 つづいて、検出装置20のハードウェア構成について説明する。検出装置20において、画像情報入力部1は、デジタルカメラなどの計測装置、または画像情報をデータで取得するインターフェース回路により実現される。3次元点群情報入力部2は、高密度レーザスキャナなどの計測装置、または3次元点群情報をデータで取得するインターフェース回路により実現される。ひび抽出部31およびひびベクトル情報生成部32を備えるひび検出部3、段差抽出部41および段差ベクトル情報生成部42を備える段差検出部4、および判定部5については、処理回路により実現される。すなわち、検出装置20は、画像情報からひびベクトルを生成し、3次元点群情報から段差ベクトルを生成し、ひびベクトルと段差ベクトルとを比較してひびベクトルで表されるひびが浮き剥離を伴うひびか否かを判定するための処理回路を備える。処理回路は、専用のハードウェアであってもよいし、メモリに格納されるプログラムを実行するCPU(Central Processing Unit)およびメモリであってもよい。
 図16は、実施の形態1にかかる検出装置20を専用のハードウェアで構成する場合の例を示す図である。処理回路が専用のハードウェアである場合、図16に示す処理回路91は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、またはこれらを組み合わせたものが該当する。検出装置20の各機能を機能別に処理回路91で実現してもよいし、各機能をまとめて処理回路91で実現してもよい。
 図17は、実施の形態1にかかる検出装置20をCPUおよびメモリで構成する場合の例を示す図である。処理回路がCPU92およびメモリ93で構成される場合、検出装置20の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、メモリ93に格納される。処理回路では、メモリ93に記憶されたプログラムをCPU92が読み出して実行することにより、各機能を実現する。すなわち、検出装置20は、検出装置20が処理回路により実行されるときに、画像情報からひびベクトルを生成するステップ、3次元点群情報から段差ベクトルを生成するステップ、ひびベクトルと段差ベクトルとを比較してひびベクトルで表されるひびが浮き剥離を伴うひびか否かを判定するステップが結果的に実行されることになるプログラムを格納するためのメモリ93を備える。また、これらのプログラムは、検出装置20の手順および方法をコンピュータに実行させるものであるともいえる。ここで、CPU92は、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、またはDSP(Digital Signal Processor)などであってもよい。また、メモリ93とは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(Electrically EPROM)などの、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはDVD(Digital Versatile Disc)などが該当する。
 なお、検出装置20の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、画像情報からひびベクトルを生成する機能、および3次元点群情報から段差ベクトルを生成する機能については専用のハードウェアとしての処理回路91でその機能を実現し、ひびベクトルと段差ベクトルとを比較してひびベクトルで表されるひびが浮き剥離を伴うひびか否かを判定する機能についてはCPU92がメモリ93に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
 このように、処理回路は、専用のハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現することができる。
 以上説明したように、本実施の形態によれば、検出装置20では、レーザ計測によって得られた3次元点群情報から段差ベクトルを生成し、レーザ計測と同時に撮影して得られた画像情報からひびベクトルを生成し、ひびベクトルと段差ベクトルとを比較して、各ベクトルを構成する線分同士の距離に基づいて、ひびベクトルで表されるひびの状態を判定することとした。これにより、検出装置20では、多大な人力による作業時間を不要とし、かつ調査員の経験および技術によらず、構造物の表面に発生したひびが、単なるひびか、浮き剥離を伴うひびかを自動で判定することができる。検出装置20では、ひび割れの状態を検出する精度を向上することができる。
実施の形態2.
 実施の形態1では、検査装置20が、画像情報からひびベクトルを生成し、3次元点群情報から段差ベクトルを生成し、各ベクトルを比較することによって、ひびが浮き剥離を伴うひびか否かを判定していた。実施の形態2では、検査装置において、画像情報から得られるひびをベクトル化せずにひびの状態を判定する場合について説明する。
 図18は、実施の形態2にかかる検出装置20aの構成例を示すブロック図である。検出装置20aは、検出装置20に対して、ひび検出部3および判定部5を削除し、ひび検出部3aおよび判定部5aに置き換えたものである。ひび検出部3aは、ひび検出部3に対して、ひびベクトル情報生成部32を削除し、ひび3次元情報生成部33に置き換えたものである。
 変状3次元情報生成部であるひび3次元情報生成部33は、ひびベクトル情報生成部32と同様、ひび抽出部31で生成されたひびの画像情報の各画素に対して、画像情報を撮影時のカメラの光学中心位置である3次元位置座標の情報、3軸方向によるカメラの姿勢についての情報、および3次元点群情報入力部2から入力された3次元点群情報に基づいて、ひびの各画素に対して構造物表面上の3次元絶対座標を算出し、ひびの画像情報についての3次元情報を得る。ただし、ひび3次元情報生成部33では、ひびの画像情報についての3次元情報を得る画素について、ひび抽出部31で抽出されたひびの画像情報に一定の糊代範囲を付加した範囲までの各画素を対象とする。実施の形態2では、ひびの各画素に対して一定の糊代範囲を付加した範囲の画素を変状の範囲とする。ひび3次元情報生成部33は、ひびベクトル情報生成部32のようにひびベクトル情報の生成までは実施せず、ひび部分に該当する画素および糊代範囲の画素について3次元情報を得るところまでを実施する。
 ひびの画像情報に一定の糊代範囲を付加する方法について説明する。図19は、実施の形態2にかかるひび3次元情報生成部33において糊代範囲を1画素とした場合の3次元画像を得る対象の画素の範囲の例を示す図である。一定の糊代範囲として、ひびフラグONの画素の周囲1画素分を糊代範囲としたものである。ひび3次元情報生成部33は、ひびフラグONの画素、およびひびフラグOFFであるが糊代範囲の画素について3次元情報を得る。ひび3次元情報生成部33は、ひびフラグOFFであり糊代範囲でもない画素については、3次元情報を得ることはしない。
 図20は、実施の形態2にかかるひび3次元情報生成部33が算出したひびフラグONおよび糊代範囲の画素の3次元座標の情報の内容を示す図である。ひび3次元情報生成部33は、ひびフラグONおよび糊代範囲の各画素について3次元座標を算出し、変状の3次元情報として、各画素の3次元座標をX座標、Y座標、およびZ座標により記憶する。図20に示すひびフラグONおよび糊代範囲の画素の3次元座標については、ひび3次元情報生成部33内部の記憶部で記憶してもよいし、図示しない外部の記憶部で記憶してもよい。
 判定部5aは、変状の情報である変状の3次元情報、および段差のベクトル情報を用いて、変状の状態を判定する。具体的に、判定部5aは、ひび3次元情報生成部33で生成されたひびフラグONおよび糊代範囲の画素の3次元座標の情報から、ひびフラグONおよび糊代範囲の画素の座標の全てを含む3次元空間を生成する。判定部5aは、段差ベクトル情報生成部42で生成された3次元の段差ベクトルが3次元空間に存在する比率である存在率を算出する。判定部5aは、3次元空間での段差ベクトルの存在率が閾値以上の場合、ひびフラグONの画素で表されるひびは浮き剥離を伴うひびであると判定して記憶する。
 判定部5aについては、ひびフラグONおよび糊代範囲の画素の座標の全てを含む3次元空間における3次元の段差ベクトルの存在率を算出して判定する方法の他、前述の3次元空間および3次元の段差ベクトルをともに2次元平面に投影し、2次元平面上において、2次元化されたひびフラグONおよび糊代範囲の画素を含む領域の面積範囲と2次元の段差ベクトルとの位置関係で判定してもよい。
 つぎに、検出装置20aにおける、構造物の表面で検出された変状が単なるひびか、浮き剥離を伴うひびか否かを判定する処理について説明する。図21は、実施の形態2にかかる検出装置20aにおいて検出したひびの状態を判定する処理を示すフローチャートである。図2に示す実施の形態1のフローチャートと異なる部分について説明する。
 ひび3次元情報生成部33は、ひび抽出部31で抽出されたひびの画素、すなわちひびフラグONの画素に対して糊代範囲を設定する(ステップS31)。ひび3次元情報生成部33は、ステップS4で選択した処理対象画素は、ひびフラグONまたは糊代範囲の画素か否かを確認する(ステップS32)。ひびフラグONまたは糊代範囲のいずれでもない場合(ステップS32:No)、ひび3次元情報生成部33は、ステップS4に戻って図3に示す画像情報からつぎの処理対象画素を1つ選択する(ステップS4)。ひびフラグONまたは糊代範囲の場合(ステップS32:Yes)、ひび3次元情報生成部33は、3次元点群情報に基づいて、ひびフラグONの画素または糊代範囲の画素の3次元座標を算出する(ステップS6)。3次元座標を算出する対象の画素が実施の形態1と異なるが、ひび3次元情報生成部33がひびフラグONの画素または糊代範囲の画素の3次元座標を算出する処理は、実施の形態1においてひびベクトル情報生成部32がひびフラグONの画素の3次元座標を算出する処理と同様である。
 判定部5aは、ひび3次元情報生成部33で生成されたひびフラグONおよび糊代範囲の画素の3次元座標の情報から、ひびフラグONおよび糊代範囲の画素を全て含む3次元空間を生成する(ステップS33)。そして、判定部5aは、段差ベクトル情報生成部42で生成された3次元の段差ベクトルの3次元空間での存在率を算出する(ステップS34)。判定部5aは、算出された存在率に基づいて、浮き剥離を伴うひびであるか否かを判定する(ステップS12)。
 図22から図25は、実施の形態2にかかる判定部5aにおいて段差ベクトルの3次元空間での存在率を算出したときのイメージの例を示す図である。ここでは、一例として、糊代範囲を2画素とし、判定部5aは存在率が50%以上のときに浮き剥離を伴うひびと判定するものとする。
 判定部5aは、図22に示す3次元空間に段差ベクトル201が存在する存在率が100%の場合、ひびフラグONの画素で表されるひびは浮き剥離を伴うひびと判定する。判定部5aは、図23に示す3次元空間に段差ベクトル202が存在する存在率が100%の場合、ひびフラグONの画素で表されるひびは浮き剥離を伴うひびと判定する。
 判定部5aは、図24に示す3次元空間に段差ベクトル203が存在する存在率が10%の場合、ひびフラグONの画素で表されるひびは浮き剥離を伴わないひびと判定する。判定部5aは、図25に示す3次元空間に段差ベクトル204が存在する存在率が0%の場合、ひびフラグONの画素で表されるひびは浮き剥離を伴わないひびと判定する。
 全ての段差ベクトルについて存在率を算出していない場合(ステップS35:No)、判定部5aは、ステップS34に戻って、つぎの段差ベクトルを選択して存在率を算出する。全ての段差ベクトルについて存在率の算出が終了した場合(ステップS35:Yes)、判定部5aは、処理を終了する。
 なお、検出装置20aのハードウェア構成については、実施の形態1の検出装置20と同様の構成により実現可能である。
 以上説明したように、本実施の形態によれば、検出装置20aでは、レーザ計測によって得られた3次元点群情報から段差ベクトルを生成し、レーザ計測と同時に撮影して得られた画像情報からひびフラグONおよび糊代範囲の画素の3次元情報を生成し、ひびフラグONおよび糊代範囲の画素を含む3次元空間での段差ベクトルの存在率によって、ひびの状態を判定することとした。これにより、検出装置20aでは、実施の形態1と同様、多大な人力による作業時間を不要とし、かつ調査員の経験および技術によらず、構造物の表面に発生したひびが、単なるひびか、浮き剥離を伴うひびかを自動で判定することができる。さらに、検出装置20aでは、ひびベクトルを生成せずに浮き剥離を伴うひびか否かを判定できるため、実施の形態1と比較して、判定方法が容易になり、判定にかかる処理時間を削減することができる。
実施の形態3.
 実施の形態1では、検査装置20が、画像情報からひびベクトルを生成し、3次元点群情報から段差ベクトルを生成し、各ベクトルを比較することによって、ひびが浮き剥離を伴うひびか否かを判定していた。実施の形態3では、検出装置において、3次元点群情報から得られる段差をベクトル化せずにひびの状態を判定する場合について説明する。
 図26は、実施の形態3にかかる検出装置20bの構成例を示すブロック図である。検出装置20bは、検出装置20に対して、段差検出部4および判定部5を削除し、構造物表面位置算出部6および判定部5bに置き換えたものである。
 構造物表面位置算出部6は、3次元点群情報入力部2から入力された3次元点群情報から、例えば、平滑化処理により構造物の表面をなだらかな面として近似し、構造物表面の位置を算出する。
 判定部5bは、変状の情報であるひびベクトル情報、構造物表面の位置の情報、および3次元点群情報を用いて、ひびの状態を判定する。具体的に、判定部5bは、ひびベクトル情報生成部32で生成されたひびベクトルに基づいて、ひびベクトルから規定された範囲の空間にある3次元点群情報を、3次元点群情報入力部2から抽出する。判定部5bは、抽出した3次元点群情報を、構造物表面位置算出部6で算出された構造物表面位置に対して垂直の方向でひびベクトルを境界にして、2つの点群グループに分類する。判定部5bは、分類した各点群グループの各点について、構造物表面位置からの垂直距離を算出し、各点群グループにおける構造物表面位置からの垂直距離平均値を算出して記憶する。判定部5bは、全てのひびベクトルに対して同様の処理を実施する。
 また、判定部5bは、1つのひびベクトルを境界にして隣接する2つの点群グループについて、算出した構造物表面位置からの垂直距離平均値の差分が規定された閾値以上の場合、2つの点群グループの境界にあるひびベクトルで表される構造物表面のひびの周辺には段差があると判定する。判定部5bは、さらに、判定した段差の情報を用いて、ひびの状態、すなわち浮き剥離を伴うひびか否かを判定する。判定部5bは、全てのひびベクトルに対して同様の処理を実施する。
 つぎに、検出装置20bにおける、構造物の表面で検出された変状が単なるひびか、浮き剥離を伴うひびか否かを判定する処理について説明する。図27は、実施の形態3にかかる検出装置20bにおいて検出したひびの状態を判定する処理を示すフローチャートである。図2に示す実施の形態1のフローチャートと異なる部分について説明する。
 構造物表面位置算出部6は、3次元点群情報入力部2から入力された3次元点群情報から、平滑化処理などの手法により、構造物表面位置を算出する(ステップS41)。
 判定部5bは、ひびベクトルに基づいて、ひびベクトルから規定された範囲の空間にある3次元点群情報を、3次元点群情報入力部2から抽出する(ステップS42)。
 判定部5bは、抽出した3次元点群情報を、構造物表面位置に対して垂直の方向でひびベクトルを境界にして、2つの点群グループに分類する(ステップS43)。
 判定部5bは、各点群グループの各点について構造物表面位置からの垂直距離を算出し、各点群グループについて構造物表面位置からの垂直距離平均値を算出する(ステップS44)。
 判定部5bは、1つのひびベクトルを境界にして隣接する2つの点群グループについて、垂直距離平均値の差分を算出する(ステップS45)。判定部5bは、算出された垂直距離平均値の差分に基づいて、浮き剥離を伴うひびであるか否かを判定する(ステップS12)。
 図28は、実施の形態3にかかる判定部5bにおいて、ひびベクトル102を境界にして3次元点群情報入力部2から抽出した3次元点群情報を2つの点群グループに分類した状態、および構造物表面位置301の例を示す図である。判定部5bは、3次元点群情報入力部2から抽出した3次元点群情報を、ひびベクトル102を境界にして左側の点群グループおよび右側の点群グループに分類する。判定部5bは、左側の点群グループの各点と構造物表面位置301との垂直距離を算出し、左側の点群グループにおける構造物表面位置からの垂直距離平均値(a)を算出する。同様に、判定部5bは、右側の点群グループの各点と構造物表面位置301との垂直距離を算出し、右側の点群グループにおける構造物表面位置からの垂直距離平均値(-b)を算出する。判定部5bは、各点群グループの垂直距離平均値の差分である「(a)-(-b)」の値が規定された閾値cより大きい場合、ひびベクトル102で表されるひびは浮き剥離を伴うひびであると判定する。
 全てのひびベクトルについて隣接する2つの点群グループの垂直距離平均値の差分を算出していない場合(ステップS46:No)、判定部5bは、ステップS45に戻って、未処理のひびベクトルについて、1つのひびベクトルを境界にして隣接する2つの点群グループについて、垂直距離平均値の差分を算出する。全てのひびベクトルについて隣接する2つの点群グループの垂直距離平均値の差分を算出した場合(ステップS46:Yes)、判定部5bは、処理を終了する。
 なお、検出装置20bのハードウェア構成については、実施の形態1の検出装置20と同様の構成により実現可能である。
 以上に説明したように、本実施の形態によれば、検出装置20bでは、レーザ計測によって得られた3次元点群情報から構造物表面位置を算出し、レーザ計測と同時に撮影して得られた画像情報からひびベクトルを生成し、ひびベクトルを境界とする2つ点群グループにおける各点の構造物表面位置からの垂直距離平均値の差分によって、ひびの状態を判定することとした。これにより、検出装置20bでは、実施の形態1と同様、多大な人力による作業時間を不要とし、かつ調査員の経験および技術によらず、構造物の表面に発生したひびが、単なるひびか、浮き剥離を伴うひびかを自動で判定することができる。さらに、検出装置20bでは、段差ベクトルを生成せずに浮き剥離を伴うひびか否かを判定できるため、実施の形態1と比較して、判定方法が容易になり、判定にかかる処理時間を削減することができる。
 なお、実施の形態1を例にして説明したが、実施の形態2にも適用可能である。この場合の検出装置では、ひびベクトルおよび段差ベクトルをともに生成せずに浮き剥離を伴うひびか否かを判定できるため、実施の形態1,2と比較して、さらに、判定方法が容易になり、判定にかかる処理時間を削減することができる。
実施の形態4.
 実施の形態4では、検出装置において、ひびベクトルを編集する方法について説明する。実施の形態1を例にして説明するが、実施の形態3についても適用可能である。
 図29は、実施の形態4にかかる検出装置20cの構成例を示すブロック図である。検出装置20cは、検出装置20に対して、表示部7およびひびベクトル情報編集部8を追加したものである。
 表示部7は、画像情報入力部1から入力された画像情報、およびひびベクトル情報生成部32で生成されたひびベクトルの情報を、ユーザが目視により認識できる形式で表示を行う。表示部7は、画像情報およびひびベクトルを別々に表示してもよいし、重畳表示してもよい。表示部7は、例えば、検出装置20cを構成するパーソナルコンピュータなどに搭載されたディスプレイなどに表示を行うものである。なお、表示部7は、ディスプレイ部にひびベクトルなどを表示する表示制御部のみを備え、ディスプレイ部については検出装置20cに外付けで接続される外部のディスプレイなどを用いる形態でもよい。表示部7では、例えば、実施の形態1の図11から図14、実施の形態2の図22から図25、実施の形態3の図28などに示すものを表示してもよい。
 編集部であるひびベクトル情報編集部8は、ユーザが表示部7に表示された画像情報およびひびベクトルを確認し、ひびベクトルの頂点を追加または削除する、ひびベクトルを構成する線分を長くするまたは短くするなどのユーザによる補正処理を受け付けて、ひびベクトル情報生成部32で生成されたひびベクトル情報を編集して補正する。ひびベクトル情報編集部8は、図8に示すひびベクトル情報生成部32で生成されたひびベクトル情報に対して補正した内容のひびベクトル情報を記憶する。なお、ひびベクトル情報編集部8において編集されていないひびベクトル情報は、ひびベクトル情報生成部32で生成されたひびベクトル情報と同一となる。
 判定部5では、ひびベクトル情報編集部8で補正されたひびベクトル情報と、段差ベクトル情報生成部42で生成された段差ベクトル情報とを用いて、構造物の表面に発生したひびが、浮き剥離を伴うひびか否かを判定する。判定部5における判定方法は、実施の形態1と同様である。
 つぎに、検出装置20cにおける、構造物の表面で検出された変状が単なるひびか、浮き剥離を伴うひびか否かを判定する処理について説明する。図30は、実施の形態4にかかる検出装置20cにおいて検出したひびの状態を判定する処理を示すフローチャートである。図2に示す実施の形態1のフローチャートと異なる部分について説明する。
 検出装置20cでは、ひびベクトル情報編集部8が、表示部7に表示された画像情報およびひびベクトルを確認したユーザからの補正処理を受け付けて、ステップS8で生成されたひびベクトル情報を編集する(ステップS51)。検出装置20cでは、編集後のひびベクトル情報については、ひびベクトル情報編集部8内部の記憶部で記憶してもよいし、図示しない外部の記憶部で記憶してもよい。検出装置20cにおけるその他の処理は、実施の形態1と同様である。
 検出装置20cのハードウェア構成については、表示部7でディスプレイなどが必要となるが、その他の部分については実施の形態1の検出装置20と同様の構成により実現可能である。
 以上説明したように、本実施の形態によれば、検出装置20cでは、画像情報およびひびベクトルをユーザが確認でき、画像情報に対して生成されたひびベクトルが実際のひびを正確に表せていないとユーザが判断した場合、ユーザがひびベクトルの情報を編集できるようにした。これにより、検出装置20cでは、実施の形態1と同様の効果を得るとともに、より正確なひびベクトルの情報を入力情報とすることで、構造物の表面に発生したひびが、単なるひびか、浮き剥離を伴うひびかを自動で判定する際の精度を向上することができる。
実施の形態5.
 実施の形態5では、検出装置において、ひびベクトルの情報、段差ベクトルの情報などを表示する場合について説明する。実施の形態1を例にして説明するが、実施の形態2から4についても適用可能である。
 図31は、実施の形態5にかかる検出装置20dの構成例を示すブロック図である。検出装置20dは、検出装置20に対して、表示部7dを追加したものである。
 表示部7dは、画像情報入力部1から入力された画像情報、ひび抽出部31で生成されたひびの画像情報、ひびベクトル情報生成部32で生成されたひびベクトル情報、3次元点群情報入力部2から入力された3次元点群情報、段差抽出部41で生成された段差フラグ付きの3次元点群情報、段差ベクトル情報生成部42で生成された段差ベクトル情報、判定部5で生成された浮き剥離ひび情報を、ユーザが目視により認識できる形式で表示を行う。表示部7dは、例えば、検出装置20dを構成するパーソナルコンピュータなどに搭載されたディスプレイなどに表示を行うものである。なお、表示部7dは、ディスプレイ部にひびベクトルなどを表示する表示制御部のみを備え、ディスプレイ部については検出装置20dに外付けで接続される外部のディスプレイなどを用いる形態でもよい。表示部7dは、例えば、実施の形態1の図11から図14、実施の形態2の図22から図25、実施の形態3の図28などに示すものを表示する。実施の形態4に適用する場合には、表示部7dで表示部7を兼用してもよい。
 表示部7dは、例えば、段差フラグ付きの3次元点群情報について、段差フラグONの点には段差を示す色で表示し、その上にひびベクトルを重畳表示することで、段差とひびの位置関係をユーザが直感的に把握することを支援する。また、表示部7dは、段差フラグ付きの3次元点群情報とひびベクトルとを重畳表示する場合、各表示を別の階層に表示することで各表示のオンオフが可能であり、より見やすくすることもできる。また、表示部7dは、重畳表示するのは、ひびベクトルと段差ベクトルであってもよいし、ひびフラグONのひびの画像情報の画素にはひびであることを示す色で表示し、その上に段差ベクトルを表示してもよい。また、表示部7dは、ひびフラグONの画像情報の画素にはひびであることを示す色で表示し、その上に段差フラグ付きの3次元点群情報において段差フラグONの点には段差であることを示す色で表示してもよい。また、表示部7dは、全ての情報を異なる階層に表示し、ユーザからの選択を受け付けて必要な情報のみを表示してもよい。なお、表示部7dでは、各情報を3次元で表示してもよいし、2次元上に展開した情報でひびおよび段差の両方を表示してもよい。
 表示部7dでは、判定部5で生成された浮き剥離ひびの情報に対して、どのひびとどの段差とが対応付けられて浮き剥離と判定されたのかについて、入力情報である画像情報および3次元点群情報とを重畳して表示することもできる。
 実施の形態5の検出装置20dにおいて、検出したひびの状態を判定する処理を示すフローチャートは、図2に示す実施の形態1のフローチャートと同様である。
 検出装置20dのハードウェア構成については、表示部7dでディスプレイなどが必要となるが、その他の部分については実施の形態1の検出装置20と同様の構成により実現可能である。
 以上説明したように、本実施の形態によれば、検出装置20dでは、画像情報、3次元点群情報、ひびの画像情報、ひびベクトル情報、段差情報付きの3次元点群情報、段差ベクトル情報、浮き剥離ひび情報の全てを各層に割り当てて重畳表示することができる。これにより、検出装置20dでは、実施の形態1と同様の効果を得るとともに、ユーザに対してひびと段差との位置関係が確認可能な表示をすることで、ユーザはひびの状態を把握することができる。
実施の形態6.
 実施の形態6では、検出装置において、浮き剥離ひび情報に類似度を付与する方法について説明する。実施の形態1を例にして説明するが、実施の形態2から5についても適用可能である。
 図32は、実施の形態6にかかる検出装置20eの構成例を示すブロック図である。検出装置20eは、検出装置20に対して、類似度判定部9を追加したものである。
 類似度判定部9は、判定部5でのひびの状態の判定結果を用いて、変状と段差との類似度を判定する。類似度判定部9は、例えば、実施の形態1の判定部5で算出されたひびベクトルと段差ベクトルとの各線分間の距離、および閾値γ以下のポイントの比率などを用いて、さらに、各ベクトルの距離に関係なくひびベクトルおよび段差ベクトルの形状などを比較し、ひびベクトルおよび段差ベクトルの類似度を判定する。または、類似度判定部9は、例えば、実施の形態2の判定部5aで算出されたひびおよび糊代範囲の画素を含む3次元空間に段差ベクトルが存在する存在率などを用いて、さらに、ひびフラグONの画素で表される形状および段差ベクトルの形状などを比較し、ひびフラグONの画素および段差ベクトルの類似度を判定する。類似度判定部9は、判定した類似度の情報を、判定部5において判定した結果である浮き剥離ひび情報に、類似度の情報を付与して記憶する。
 つぎに、検出装置20eにおける、構造物の表面で検出された変状が単なるひびか、浮き剥離を伴うひびか否かを判定する処理について説明する。図33は、実施の形態6にかかる検出装置20eにおいて検出したひびの状態を判定する処理を示すフローチャートである。図2に示す実施の形態1のフローチャートと異なる部分について説明する。
 検出装置20eにおいて、ステップS13までの処理は図2に示す実施の形態1のフローチャートと同様である。類似度判定部9は、判定部5での処理が終了すると、ひびベクトルおよび段差ベクトルの類似度を判定する(ステップS61)。
 図34は、実施の形態6にかかる検出装置20eにおいてひびの状態を判定する対象となる構造物および計測により得られた情報の例を示す図である。ここでは、ひびの状態を検出する対象の構造物をトンネル401とし、さらに計測された範囲のうち壁面箇所402の範囲を対象にして説明する。検出装置20eは、実施の形態1と同様、デジタルカメラなどにより撮影された画像情報403に基づいてひびフラグONの画素からひびベクトルを生成する。また、検出装置20eは、実施の形態1と同様、高密度レーザスキャナなどにより計測された3次元点群情報404に基づいて段差フラグONの点から段差ベクトルを生成する。画像情報403から得られたひびベクトルおよび3次元点群情報404から得られた段差ベクトルを重畳したものが図35から図38である。
 図35から図38は、実施の形態6にかかる類似度判定部9においてひびベクトルと段差ベクトルとを比較したときのイメージの例を示す図である。類似度判定部9は、実施の形態1で判定部5が算出した各ベクトルの線分間距離に基づいて位置の類似度を判定する。また、類似度判定部9は、各線分間距離のばらつきによって形状の類似度を判定する。類似度判定部9は、例えば、ひびベクトルと段差ベクトルとの間に距離があっても、線分間距離が等間隔に離れている場合は形状の類似度は高いと判定する。類似度判定部9は、さらに位置類似度および形状類似度から総合類似度を判定する。類似度判定部9は、総合類似度については、位置類似度および形状類似度の平均値をとってもよいし、値の低い方の類似度の値を総合類似度の値としてもよい。
 なお、図35から図38において、ひびベクトル101および段差ベクトル201~204は、実施の形態1で示した図11から図14のひびベクトル101および段差ベクトル201~204と同様とする。この場合、類似度判定部9では、位置の類似度を、判定部5で算出された閾値γ以下のポイントの比率に基づいて判定する。
 類似度判定部9は、図35に示すひびベクトル101と段差ベクトル201を比較した場合、判定部5での線分間距離の算出結果に基づいて位置類似度を「5」、線分間距離のばらつきに基づいて形状類似度を「5」と判定し、値がともに「5」であることから総合類似度を「5」と判定する。
 類似度判定部9は、図36に示すひびベクトル101と段差ベクトル202を比較した場合、判定部5での線分間距離の算出結果に基づいて位置類似度を「5」、線分間距離のばらつきに基づいて形状類似度を「4」と判定し、値が低い方が「4」であることから総合類似度を「4」と判定する。
 類似度判定部9は、図37に示すひびベクトル101と段差ベクトル203を比較した場合、判定部5での線分間距離の算出結果に基づいて位置類似度を「2」、線分間距離のばらつきに基づいて形状類似度を「4」と判定し、値が低い方が「2」であることから総合類似度を「2」と判定する。
 類似度判定部9は、図38に示すひびベクトル101と段差ベクトル204を比較した場合、判定部5での線分間距離の算出結果に基づいて位置類似度を「1」、線分間距離のばらつきに基づいて形状類似度を「1」と判定し、値がともに「1」であることから総合類似度を「1」と判定する。
 類似度判定部9は、判定した類似度の情報を、判定部5において判定した結果である浮き剥離ひび情報に、類似度の情報を付与して記憶する。図39は、実施の形態6にかかる類似度判定部9において浮き剥離を伴うひびと判定された浮き剥離ひび情報に類似度の値を付与したときの内容を示す図である。図15に示す浮き剥離ひび情報に対して、各浮き剥離ひびに類似度の情報を付与したものである。図39に示す類似度の値を付与した浮き剥離ひび情報については、類似度判定部9内部の記憶部で記憶してもよいし、図示しない外部の記憶部で記憶してもよい。
 総合類似度が高い程、対象のひびベクトルで表されるひびは浮き剥離を伴っていると可能性が高いと想定される。一方、総合類似度が低い程、対象のひびベクトルで表されるひびは段差との関連性は無く浮き剥離を伴っている可能性は低いと想定される。類似度判定部9は、総合類似度が高い浮き剥離ひびについては、ユーザに対して判定内容を通知するようにしてもよい。例えば、実施の形態5のように表示部7dがある場合、類似度判定部9は、表示部7dを介してユーザへ総合類似度の内容を通知してもよい。位置類似度、形状類似度、および総合類似度の値を5段階にした場合について説明したが、類似度の値を細分化してもよい。この場合、類似度判定部9は、総合類似度の値によって、ユーザへの通知方法および通知内容を変更してもよい。
 なお、検出装置20eのハードウェア構成については、実施の形態1の検出装置20と同様の構成により実現可能である。
 以上に説明したように、本実施の形態によれば、検出装置20eでは、ひびベクトルおよび段差ベクトルについて類似度を判定し、類似度を数値化することとした。これにより、検出装置20eでは、実施の形態1と同様の効果を得るとともに、ユーザは、類似度の数値を確認することで検出されたひびの安全性を直感的に把握することができる。
実施の形態7.
 実施の形態1から6では、デジタルカメラなどでデジタル撮影された画像情報、および高密度レーザスキャナで計測された3次元点群情報を用いて、検出されたひびが、単なるひびか、浮き剥離を伴うひびか否かを判定していた。実施の形態7では、検出装置において、さらに、レーダによる内部変状の検出結果を用いる場合について説明する。実施の形態1を例にして説明するが、実施の形態2から6についても適用可能である。
 図40は、実施の形態7にかかる検出装置20fの構成例を示すブロック図である。検出装置20fは、検出装置20に対して、判定部5を削除して判定部5fに置き換え、さらに、レーダ情報入力部10および内部変状検出部11を追加したものである。
 レーダ情報入力部10は、構造物の内部のレーダ情報を入力する。レーダ情報入力部10は、レーダで計測および取得されたレーダ情報を入力するものであり、レーダそのものでもよい。レーダ情報入力部10は、レーダで計測および取得されたレーダ情報を記録媒体経由でデータ読み取りを行うデータ読み取り装置、または、レーダで計測および取得された情報を有線通信または無線通信によって受信する通信装置であってもよい。
 内部変状検出部11は、レーダ情報入力部10で入力されたレーダ情報から構造物の内部の変状として空洞を検出し、検出した空洞の位置を記憶する。内部変状検出部11における空洞の検出方法については、特に限定されない。
 判定部5fは、浮き剥離ひび情報に記録されているひびベクトルおよび段差ベクトルの3次元位置情報と、内部変状検出部11で検出された空洞の位置情報とに基づいて、ひびベクトルと空洞との距離、および段差ベクトルと空洞との距離を算出する。判定部5fは、算出した距離が規定された閾値以下の場合、空洞を伴うひびと判定する。なお、判定部5fでは、いずれか一方のベクトルと空洞との距離のみを算出するものでもよい。また、判定部5fでは、実施の形態1の判定部5と同様、ひびベクトルと段差ベクトルとの比較を行って浮き剥離を伴うひびか否かを判定し、さらに、前述のように1つまたは2つのベクトルを用いて空洞との距離を求めて空洞を伴うひびか否かを判定してもよい。
 つぎに、検出装置20fにおける、構造物の表面で検出された変状が単なるひびか、浮き剥離を伴うひびか否かを判定する処理について説明する。図41は、実施の形態7にかかる検出装置20fにおいて検出したひびの状態を判定する処理を示すフローチャートである。図2に示す実施の形態1のフローチャートと異なる部分について説明する。
 検出装置20fでは、レーダ情報入力部10において、構造物の内部を、例えば、レーダで計測されたレーダ情報を入力する(ステップS71)。
 内部変状検出部11は、レーダ情報入力部10から入力されたレーダ情報から構造物の内部の空洞を検出する(ステップS72)。
 判定部5fは、ステップS12において浮き剥離を伴うひびであるか否かを判定すると、さらに、ひびベクトルおよび段差ベクトルの3次元位置情報と、空洞の位置情報とに基づいて、ひびベクトルと空洞との距離および段差ベクトルと空洞との距離、またはいずれか1つのベクトルと空洞との距離を算出する(ステップS73)。なお、判定部5fは、ステップS11,S12の処理については省略してもよい。また、判定部5fは、算出した距離に基づいて、ひびベクトルで表されるひびが空洞を伴うひびであるか否かを判定する(ステップS74)。
 なお、検出装置20fのハードウェア構成については、実施の形態1の検出装置20と同様の構成により実現可能である。この場合、レーダ情報入力部10は、計測装置、またはレーダ情報をデータで取得するインターフェース回路により実現される。内部変状検出部11は、処理回路により実現される。
 以上に説明したように、本実施の形態によれば、検出装置20fでは、レーザ計測によって得た3次元点群情報、レーザ計測と同時に撮影した画像情報、およびレーダ計測によって得た内部空洞情報を組み合せて、ひびベクトルで表されるひびの状態を判定することとした。これにより、検出装置20fでは、構造物の表面に発生したひびが、単なるひびか、浮き剥離を伴うひびかを自動で判定することができ、さらに空洞を伴うひびかを自動で判定することができる。
 以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、本発明の要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
 1 画像情報入力部、2 3次元点群情報入力部、3,3a ひび検出部、4 段差検出部、5,5a,5b,5f 判定部、6 構造物表面位置算出部、7,7d 表示部、8 ひびベクトル情報編集部、9 類似度判定部、10 レーダ情報入力部、11 内部変状検出部、20,20a,20b,20c,20d,20e,20f 検出装置、31 ひび抽出部、32 ひびベクトル情報生成部、33 ひび3次元情報生成部、41 段差抽出部、42 段差ベクトル情報生成部。

Claims (10)

  1.  構造物の画像情報から前記構造物の表面の変状を検出する変状検出部と、
     レーザにより計測された前記構造物の3次元点群情報から前記構造物の表面の段差を検出する段差検出部と、
     前記変状検出部で生成された前記変状の情報、および前記段差検出部で生成された前記段差の情報を用いて、前記変状の状態を判定する判定部と、
     を備えることを特徴とする検出装置。
  2.  前記変状検出部は、
     前記画像情報から前記構造物の表面の変状を抽出する変状抽出部と、
     前記構造物の表面の前記3次元点群情報を用いて、抽出された前記変状のベクトル情報を生成する変状ベクトル情報生成部と、
     を備え、
     前記段差検出部は、
     前記3次元点群情報から前記構造物の表面の段差を抽出する段差抽出部と、
     抽出された前記段差のベクトル情報を生成する段差ベクトル情報生成部と、
     を備え、
     前記判定部は、前記変状の情報である前記変状のベクトル情報、および前記段差の情報である前記段差のベクトル情報を用いて、前記変状の状態を判定する、
     ことを特徴とする請求項1に記載の検出装置。
  3.  前記変状検出部は、
     前記画像情報から前記構造物の表面の変状を抽出する変状抽出部と、
     前記構造物の表面の前記3次元点群情報を用いて、抽出された前記変状の3次元情報を生成する変状3次元情報生成部と、
     を備え、
     前記段差検出部は、
     前記3次元点群情報から前記構造物の表面の段差を抽出する段差抽出部と、
     抽出された前記段差のベクトル情報を生成する段差ベクトル情報生成部と、
     を備え、
     前記判定部は、前記変状の情報である前記変状の3次元情報、および前記段差の情報である前記段差のベクトル情報を用いて、前記変状の状態を判定する、
     ことを特徴とする請求項1に記載の検出装置。
  4.  前記画像情報、前記変状の情報、前記3次元点群情報、前記段差の情報、および前記判定部での前記変状の状態の判定結果を表示する表示部、
     を備えることを特徴とする請求項1から3のいずれか1つに記載の検出装置。
  5.  構造物の画像情報から前記構造物の表面の変状を検出する変状検出部と、
     レーザにより計測された前記構造物の3次元点群情報から前記構造物の表面の位置を算出する構造物表面位置算出部と、
     前記変状検出部で検出された前記変状の情報、および前記構造物表面位置算出部で算出された前記構造物の表面の位置の情報を用いて、前記変状の状態を判定する判定部と、
     を備え、
     前記変状検出部は、
     前記画像情報から前記構造物の表面の変状を抽出する変状抽出部と、
     前記構造物の表面の前記3次元点群情報を用いて、抽出された前記変状のベクトル情報を生成する変状ベクトル情報生成部と、
     を備え、
     前記判定部は、前記変状の情報である前記変状のベクトル情報、前記構造物の表面の位置の情報、および前記3次元点群情報を用いて、前記変状を境界にして前記構造物の表面に段差があるか否かを判定し、さらに、前記構造物の表面の段差の情報を用いて、前記変状の状態を判定する、
     ことを特徴とする検出装置。
  6.  前記画像情報および前記変状のベクトル情報を表示する表示部と、
     ユーザからの操作を受け付けて前記変状のベクトル情報を補正する編集部と、
     を備え、
     前記判定部は、前記編集部で補正された前記変状のベクトル情報を用いて、前記変状の状態を判定する、
     ことを特徴とする請求項2または5に記載の検出装置。
  7.  前記判定部での前記変状の状態の判定結果を用いて、前記変状と前記段差との類似度を判定する類似度判定部、
     を備えることを特徴とする請求項1から6のいずれか1つに記載の検出装置。
  8.  レーダ情報から前記構造物の内部の変状を検出する内部変状検出部、
     を備え、
     前記判定部は、さらに、前記内部変状検出部で検出された前記構造物の内部の変状の情報を用いて、前記変状の状態を判定する、
     ことを特徴とする請求項1から7のいずれか1つに記載の検出装置。
  9.  構造物の表面の変状を検出する検出装置における検出方法であって、
     変状検出部が、前記構造物の画像情報から前記構造物の表面の変状を検出する変状検出ステップと、
     段差検出部が、レーザにより計測された前記構造物の3次元点群情報から前記構造物の表面の段差を検出する段差検出ステップと、
     判定部が、前記変状検出ステップにおいて検出された前記変状の情報、および前記段差検出ステップにおいて検出された前記段差の情報を用いて、前記変状の状態を判定する判定ステップと、
     を含むことを特徴とする検出方法。
  10.  構造物の表面の変状を検出する検出装置における検出方法であって、
     変状検出部が、構造物の画像情報から前記構造物の表面の変状を検出する変状検出ステップと、
     構造物表面位置算出部が、レーザにより計測された前記構造物の3次元点群情報から前記構造物の表面の位置を算出する構造物表面位置算出ステップと、
     判定部が、前記変状検出ステップにおいて検出された前記変状の情報、および前記構造物表面位置算出ステップにおいて算出された前記構造物の表面の位置の情報を用いて、前記変状の状態を判定する判定ステップと、
     を含み、
     前記変状検出ステップは、
     変状抽出部が、前記画像情報から前記構造物の表面の変状を抽出する変状抽出ステップと、
     変状ベクトル情報生成部が、前記構造物の表面の前記3次元点群情報を用いて、抽出された前記変状のベクトル情報を生成する変状ベクトル情報生成ステップと、
     を含み、
     前記判定ステップは、
     前記判定部が、前記変状の情報である前記変状のベクトル情報、前記構造物の表面の位置の情報、および前記3次元点群情報を用いて、前記変状を境界にして前記構造物の表面に段差があるか否かを判定する段差判定ステップと、
     前記判定部が、さらに、前記構造物の表面の段差の情報を用いて、前記変状の状態を判定する変状状態判定ステップと、
     を含むことを特徴とする検出方法。
PCT/JP2016/073615 2016-01-07 2016-08-10 検出装置および検出方法 WO2017119154A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201680076635.7A CN108474747B (zh) 2016-01-07 2016-08-10 检测装置及检测方法
EP16883655.9A EP3401671B1 (en) 2016-01-07 2016-08-10 Detection device and detection method
US16/064,349 US10704900B2 (en) 2016-01-07 2016-08-10 Detection device and detection method
SG11201803354YA SG11201803354YA (en) 2016-01-07 2016-08-10 Detection device and detection method
JP2017522441A JP6173655B1 (ja) 2016-01-07 2016-08-10 検出装置および検出方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016001994 2016-01-07
JP2016-001994 2016-01-07

Publications (1)

Publication Number Publication Date
WO2017119154A1 true WO2017119154A1 (ja) 2017-07-13

Family

ID=59273563

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/073615 WO2017119154A1 (ja) 2016-01-07 2016-08-10 検出装置および検出方法

Country Status (6)

Country Link
US (1) US10704900B2 (ja)
EP (1) EP3401671B1 (ja)
JP (1) JP6173655B1 (ja)
CN (1) CN108474747B (ja)
SG (1) SG11201803354YA (ja)
WO (1) WO2017119154A1 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6506886B1 (ja) * 2017-12-07 2019-04-24 三菱電機株式会社 表示データ生成装置および表示データ生成方法
JP2019159379A (ja) * 2018-03-07 2019-09-19 五洋建設株式会社 三次元画像生成システム
WO2020026677A1 (ja) * 2018-07-31 2020-02-06 株式会社ニコン 検出装置、処理装置、検出方法、及び処理プログラム
CN112762852A (zh) * 2020-12-28 2021-05-07 广东工业大学 一种浮态制造过程变形检测装置及其安装、检测方法
JP2021092414A (ja) * 2019-12-09 2021-06-17 金川 典代 クラック抽出法
JPWO2021241537A1 (ja) * 2020-05-29 2021-12-02
US11216930B2 (en) 2019-01-11 2022-01-04 Fujitsu Limited Information processing apparatus, crack line detection method, and recording medium recording program
CN116385434A (zh) * 2023-06-02 2023-07-04 同济检测(济宁)有限公司 一种用于预制梁裂缝的智能检测方法
CN116625582A (zh) * 2023-07-24 2023-08-22 上海安宸信息科技有限公司 用于石油石化气田站场的可移动式气体泄漏监测系统

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018216629A1 (ja) * 2017-05-22 2018-11-29 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP6942649B2 (ja) * 2018-01-30 2021-09-29 株式会社日立製作所 画像処理装置及び画像処理方法
CN111758025B (zh) * 2018-02-22 2024-08-13 松下知识产权经营株式会社 检查装置及检查方法
CN110161047A (zh) * 2019-06-14 2019-08-23 汕头大学 一种路桥裂缝检测与修复一体化机器人
JP7256271B2 (ja) * 2019-07-23 2023-04-11 富士フイルム株式会社 ひび割れ評価装置、ひび割れ評価方法、及びひび割れ評価プログラム
KR102494890B1 (ko) * 2020-12-17 2023-02-06 텔스타홈멜 주식회사 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템
CN112415542B (zh) * 2021-01-25 2021-04-16 湖南联智科技股份有限公司 一种基于北斗和ins结合的变形监测解算方法
CN112950549B (zh) * 2021-02-04 2021-12-24 科大智能物联技术股份有限公司 一种基于机器视觉的货架形变检测系统及检测方法
CN115018840B (zh) * 2022-08-08 2022-11-18 珠海市南特金属科技股份有限公司 精密铸件裂纹检测方法、系统及装置
CN115790360A (zh) * 2023-02-03 2023-03-14 中大智能科技股份有限公司 一种三维形变测量方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002257744A (ja) * 2001-03-02 2002-09-11 Takenaka Komuten Co Ltd コンクリートの欠陥検査方法およびコンクリートの欠陥検査装置
JP2004037419A (ja) * 2002-07-08 2004-02-05 Nakata Sokuryo:Kk トンネル管理図及びそのシステム
JP2011095222A (ja) * 2009-11-02 2011-05-12 Tosetsu Doboku Consultant:Kk トンネルの内壁検査システムおよびトンネルの内壁検査方法
JP2012220471A (ja) * 2011-04-14 2012-11-12 Mitsubishi Electric Corp 展開図生成装置、展開図生成方法及び展開図表示方法
JP2015004588A (ja) * 2013-06-20 2015-01-08 株式会社パスコ データ解析装置、データ解析方法、及びプログラム
JP5795850B2 (ja) 2010-11-02 2015-10-14 清水建設株式会社 画像データ処理システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006132973A (ja) * 2004-11-02 2006-05-25 Fujimitsu Komuten:Kk コンクリート構造物のクラック検査装置及びクラック検査方法
WO2013020143A1 (en) * 2011-08-04 2013-02-07 University Of Southern California Image-based crack quantification
US9285296B2 (en) * 2013-01-02 2016-03-15 The Boeing Company Systems and methods for stand-off inspection of aircraft structures
GB2534808B (en) * 2013-10-22 2021-01-27 Jentek Sensors Inc Method and apparatus for measurement of material condition

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002257744A (ja) * 2001-03-02 2002-09-11 Takenaka Komuten Co Ltd コンクリートの欠陥検査方法およびコンクリートの欠陥検査装置
JP4588901B2 (ja) 2001-03-02 2010-12-01 株式会社竹中工務店 コンクリートの欠陥検査方法およびコンクリートの欠陥検査装置
JP2004037419A (ja) * 2002-07-08 2004-02-05 Nakata Sokuryo:Kk トンネル管理図及びそのシステム
JP2011095222A (ja) * 2009-11-02 2011-05-12 Tosetsu Doboku Consultant:Kk トンネルの内壁検査システムおよびトンネルの内壁検査方法
JP5795850B2 (ja) 2010-11-02 2015-10-14 清水建設株式会社 画像データ処理システム
JP2012220471A (ja) * 2011-04-14 2012-11-12 Mitsubishi Electric Corp 展開図生成装置、展開図生成方法及び展開図表示方法
JP2015004588A (ja) * 2013-06-20 2015-01-08 株式会社パスコ データ解析装置、データ解析方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3401671A4

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6506886B1 (ja) * 2017-12-07 2019-04-24 三菱電機株式会社 表示データ生成装置および表示データ生成方法
JP2019159379A (ja) * 2018-03-07 2019-09-19 五洋建設株式会社 三次元画像生成システム
JP7079926B2 (ja) 2018-03-07 2022-06-03 五洋建設株式会社 三次元画像生成システム
WO2020026677A1 (ja) * 2018-07-31 2020-02-06 株式会社ニコン 検出装置、処理装置、検出方法、及び処理プログラム
JPWO2020026677A1 (ja) * 2018-07-31 2021-08-02 株式会社ニコン 検出装置、処理装置、検出方法、及び処理プログラム
JP7024876B2 (ja) 2018-07-31 2022-02-24 株式会社ニコン 検出装置、処理装置、検出方法、及び処理プログラム
US11216930B2 (en) 2019-01-11 2022-01-04 Fujitsu Limited Information processing apparatus, crack line detection method, and recording medium recording program
JP2021092414A (ja) * 2019-12-09 2021-06-17 金川 典代 クラック抽出法
WO2021241537A1 (ja) * 2020-05-29 2021-12-02 富士フイルム株式会社 損傷図作成支援方法及び装置
JPWO2021241537A1 (ja) * 2020-05-29 2021-12-02
JP7353485B2 (ja) 2020-05-29 2023-09-29 富士フイルム株式会社 損傷図作成支援方法及び装置
CN112762852A (zh) * 2020-12-28 2021-05-07 广东工业大学 一种浮态制造过程变形检测装置及其安装、检测方法
CN116385434A (zh) * 2023-06-02 2023-07-04 同济检测(济宁)有限公司 一种用于预制梁裂缝的智能检测方法
CN116385434B (zh) * 2023-06-02 2023-08-08 同济检测(济宁)有限公司 一种用于预制梁裂缝的智能检测方法
CN116625582A (zh) * 2023-07-24 2023-08-22 上海安宸信息科技有限公司 用于石油石化气田站场的可移动式气体泄漏监测系统
CN116625582B (zh) * 2023-07-24 2023-09-19 上海安宸信息科技有限公司 用于石油石化气田站场的可移动式气体泄漏监测系统

Also Published As

Publication number Publication date
EP3401671B1 (en) 2020-04-01
CN108474747A (zh) 2018-08-31
SG11201803354YA (en) 2018-07-30
EP3401671A4 (en) 2019-04-03
US10704900B2 (en) 2020-07-07
EP3401671A1 (en) 2018-11-14
CN108474747B (zh) 2021-08-03
US20190003830A1 (en) 2019-01-03
JP6173655B1 (ja) 2017-08-02
JPWO2017119154A1 (ja) 2018-01-11

Similar Documents

Publication Publication Date Title
JP6173655B1 (ja) 検出装置および検出方法
JP6543520B2 (ja) 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
CN109801333B (zh) 体积测量方法、装置、系统及计算设备
JP6716996B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
US20160133008A1 (en) Crack data collection method and crack data collection program
EP3300025B1 (en) Image processing device and image processing method
US20180150969A1 (en) Information processing device, measuring apparatus, system, calculating method, storage medium, and article manufacturing method
US20210004987A1 (en) Image processing apparatus, image processing method, and storage medium
JP7188201B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US20110235898A1 (en) Matching process in three-dimensional registration and computer-readable storage medium storing a program thereof
US11488354B2 (en) Information processing apparatus and information processing method
JP2007212187A (ja) ステレオ写真計測装置、ステレオ写真計測方法、及びステレオ写真計測プログラム
US11733174B2 (en) Information processing apparatus, information processing method, and storage medium
JP2005140547A (ja) 3次元計測方法、3次元計測装置、及びコンピュータプログラム
JP5274173B2 (ja) 車両検査装置
JP2005174151A (ja) 三次元画像表示装置及び方法
JP6018802B2 (ja) 寸法測定装置、及びコンピュータープログラム
JP6577243B2 (ja) 表面欠陥評価装置、表面欠陥検査システムおよび表面欠陥検査方法
JP4409924B2 (ja) 三次元画像表示装置及び方法
JP7399632B2 (ja) 撮影処理装置、及び撮影処理方法
JP6662126B2 (ja) 検出装置、方法及びプログラム
JP4427305B2 (ja) 三次元画像表示装置及び方法
JP7443303B2 (ja) 計測装置、計測方法及びプログラム
US20240144624A1 (en) Measurement apparatus, measurement system, and measurement method
WO2022239573A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017522441

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16883655

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 11201803354Y

Country of ref document: SG

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016883655

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2016883655

Country of ref document: EP

Effective date: 20180807