WO2021199830A1 - 点検支援装置、方法及びプログラム - Google Patents

点検支援装置、方法及びプログラム Download PDF

Info

Publication number
WO2021199830A1
WO2021199830A1 PCT/JP2021/007649 JP2021007649W WO2021199830A1 WO 2021199830 A1 WO2021199830 A1 WO 2021199830A1 JP 2021007649 W JP2021007649 W JP 2021007649W WO 2021199830 A1 WO2021199830 A1 WO 2021199830A1
Authority
WO
WIPO (PCT)
Prior art keywords
damage
detected
types
image
inspection support
Prior art date
Application number
PCT/JP2021/007649
Other languages
English (en)
French (fr)
Inventor
修平 堀田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022511672A priority Critical patent/JP7364786B2/ja
Priority to EP21781590.1A priority patent/EP4131157A4/en
Priority to CN202180022542.7A priority patent/CN115315625A/zh
Publication of WO2021199830A1 publication Critical patent/WO2021199830A1/ja
Priority to US17/932,076 priority patent/US20230003663A1/en
Priority to JP2023172856A priority patent/JP2023168548A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Definitions

  • the present invention relates to an inspection support device, a method and a program, and particularly to a technique for supporting the inspection of a structure.
  • Patent Document 1 the inner wall surface of the tunnel is photographed with a camera, and the captured image is image-processed to extract and quantify cracks in each subdivision of the inner wall surface, and crack information is displayed for each subdivision.
  • a crack detection method and a display method thereof are disclosed. For example, the cracks are displayed in different colors for each subdivision according to the degree of cracks in each subdivision, so that the degree of cracks can be easily grasped.
  • Patent Document 1 there is a description that cracks are displayed in different colors for each sub-category according to the degree of cracks in each sub-category, but there is a description that two or more types (multi-items) of damage are detected from a structure. There is no description on how to output the detection results of multi-item damage.
  • the present invention has been made in view of such circumstances, and when two or more types of damage are detected in a structure, and in particular, two or more types of damage are detected from the same or adjacent positions of the structure. It is an object of the present invention to provide an inspection support device, a method and a program capable of outputting damage detection results satisfactorily.
  • the invention according to the first aspect is an inspection support device including a processor, in which the processor acquires an image of a structure to be inspected, an image acquisition process, and the acquired image.
  • the damage detection process that detects damage to the structure based on the damage detection process
  • two or more types of damage from the same or adjacent positions among the two or more types of damage. It is a judgment process that determines whether or not the damage is detected, and an output process that outputs the damage detection result detected by the damage detection process.
  • an output process for outputting the damage detection result according to the priority of the damage type is performed.
  • two or more types of damage to the structure are detected based on an image of the structure to be inspected, and in particular, two or more types of damage are detected from the same or similar positions of the structure. If it is detected, the damage detection result is output according to the priority as the damage detection result. As a result, when two or more types of damage are detected from the same or close positions of the structure, the damage detection results are output according to the priority of the damage types, so that the damage detection results are output from the same or close positions of the structure. It is possible to deal with the case where two or more types of damage are detected. When two or more types of damage are not located at the same or close to each other in the structure, the two or more types of damage detection results can be output as they are.
  • the damage detection process detects the damaged area and the damage type for each damaged area based on the image, and the determination process is the same or adjacent damage area by the damage detection process. Determines whether or not two or more types of damage have been detected, and the output process is the same when it is determined by the determination process that two or more types of damage have been detected in the same or adjacent damage areas.
  • the adjacent positions are positions where the distance between two or more types of damage is equal to or less than the threshold value.
  • the damage detection process is executed by a trained model that outputs the damage area and the damage type for each damage area as a recognition result when an image is input.
  • the output process outputs different drawing patterns depending on whether the damage type is linear damage or the damage type is planar damage.
  • the output process outputs a damage diagram showing a line showing a line that does not close the linear damage when the damage type is linear damage, and when the damage type is planar damage. It is preferable to output a damage diagram showing a closed line surrounding the planar damage.
  • a damage diagram showing a line that does not close the linear damage is used, and if the damage type is planar damage, a closed line surrounding the planar damage is shown. It is a damage diagram.
  • the output process outputs a damage image in which at least the linear damage is filled when the damage type is linear damage, and at least a surface when the damage type is surface damage. It is preferable to output a damage image in which the shape damage is filled.
  • the output process outputs the damage detection result to the display and displays it, or saves the damage detection result as a file in the memory.
  • the priority of the damage type is preferably a preset priority according to the severity of the damage.
  • the linear free lime in the case of linear free lime and linear damage including cracks as damage types, the linear free lime has a higher priority than cracks.
  • the types of damage include exposure of reinforcing bars, peeling, and so on.
  • planar damage including rust juice, planar free lime, and water leakage
  • the priority is set in the order of reinforcing bar exposure, peeling, rust juice, planar free lime, and water leakage.
  • the processor performs a priority reception process for receiving the priority of the damage type of the structure from the operation unit operated by the user, and the priority of the damage type is determined by the user. This is the priority received via the operation unit.
  • the processor edits the damage detection result according to the edit instruction reception process for receiving the edit instruction of the damage detection result from the operation unit operated by the user and the received edit instruction. It is preferable to perform an editing process.
  • the damage detection result has items of damage identification information, damage type and size, and a damage quantity table in which information corresponding to each item is described for each detected damage. Is preferably included.
  • the invention according to the fifteenth aspect is an inspection support method for supporting inspection of a structure to be inspected by a processor, and each process of the processor includes a step of acquiring an image of the structure to be inspected and the acquisition.
  • the damage type is prioritized. It includes a step of outputting the damage detection result according to the order.
  • the invention according to the 16th aspect is an inspection support program for causing a computer to execute a method of performing inspection support for a structure to be inspected, wherein the method includes a step of acquiring an image of the structure to be inspected and acquisition. Whether or not two or more types of damage were detected from the same or adjacent positions among the two or more types of damage of the detected structure and the step of detecting two or more types of damage to the structure based on the obtained image. And a step to output the detected damage detection result. If it is determined by the determination step that two or more types of damage are detected from the same or adjacent positions, the damage type is determined. It includes a step of outputting the damage detection result according to the priority.
  • the damage detection result is satisfactorily output. Can be done.
  • FIG. 1 is a diagram showing an example of damage to a structure.
  • FIG. 2 is a diagram showing an example of linear free lime.
  • FIG. 3 is a diagram showing an example of planar free lime.
  • FIG. 4 is a diagram showing the types of damage expression methods according to the type of damage, FIG. 4 (A) shows an image including cracks, and FIG. 4 (B) shows a polyline along the cracks. It is a figure which shows the image which was made.
  • FIG. 5 is a diagram showing the types of damage expression methods according to the type of damage, FIG. 5 (A) shows an image including peeling and rebar exposure, and FIG. 5 (B) shows peeling and rebar exposure. It is a figure which shows the image in which the polygon surrounding the area of is drawn.
  • FIG. 5 shows an image including peeling and rebar exposure
  • FIG. 6 is a diagram showing the types of damage expression methods according to the type of damage
  • FIG. 6 (A) shows an image containing planar free lime
  • FIG. 6 (B) is a planar image. It is a figure which shows the image which the polygon surrounding the region of free lime is drawn.
  • FIG. 7 is a diagram showing each polyline when cracks and linear free lime, which are linear damages, are detected.
  • FIG. 8 is a diagram used for explaining the proximity determination between the crack which is the linear damage shown in FIG. 7 and the linear free lime.
  • FIG. 9 is a block diagram showing an example of the hardware configuration of the inspection support device according to the present invention.
  • FIG. 10 is a conceptual diagram showing an embodiment of a damage detection processing unit configured by a CPU or the like.
  • FIG. 10 is a conceptual diagram showing an embodiment of a damage detection processing unit configured by a CPU or the like.
  • FIG. 11 is a perspective view showing an example of a bridge to be inspected.
  • FIG. 12 is a diagram showing an example of an orthoimage corresponding to a coffer, which is one of the inspection units of a bridge.
  • FIG. 13 is a diagram showing an example of the damage detection result detected based on the ortho image shown in FIG.
  • FIG. 14 is a diagram showing an example of an ortho image on which a damage diagram corresponding to a coffer is superimposed.
  • FIG. 15 is a chart showing an example of a damage quantity table included in the damage detection result.
  • FIG. 16 is a schematic view showing an example of the damage detection result of cracks and linear free lime by the damage detection processing unit and the output processing thereof.
  • FIG. 17 is a schematic view showing the damage detection results of cracks and linear free lime by the damage detection processing unit and other examples of the output processing thereof.
  • FIG. 18 is a schematic view showing an example of the damage detection results of planar free lime and linear free lime by the damage detection processing unit and the output processing thereof.
  • FIG. 19 is a schematic view showing the damage detection results of planar free lime and linear free lime by the damage detection processing unit, and other examples of the output processing thereof.
  • FIG. 20 is a schematic view showing an example of the damage detection results of rust juice, planar free lime and water leakage by the damage detection processing unit, and the output processing thereof.
  • FIG. 21 is a schematic view showing the damage detection results of rust juice, planar free lime and water leakage by the damage detection processing unit, and other examples of the output processing thereof.
  • FIG. 22 is an image diagram showing a GUI showing a second embodiment of damage detection result output, and is a diagram showing an example of a screen displayed on the display unit.
  • FIG. 23 is an image diagram showing a GUI showing a second embodiment of damage detection result output, and is a diagram showing another example of a screen displayed on the display unit.
  • FIG. 24 is an image diagram of a GUI showing a third embodiment of damage detection result output, and FIG. 24A shows a case where “10” is set as the transparency of the fill color of the damage image.
  • FIG. 24 (B) is a diagram showing a composite image in which a damaged image having a transparency of “10” is superimposed and displayed on an image obtained by photographing the structure.
  • FIG. 25 is an image diagram of a GUI showing a third embodiment of damage detection result output, and FIG. 25 (A) shows a case where “50” is set as the transparency of the fill color of the damage image.
  • FIG. 25 (B) is a diagram showing a composite image in which a damaged image having a transparency of “50” is superimposed and displayed on an image obtained by photographing the structure.
  • FIG. 26 is an image diagram of a GUI showing a third embodiment of damage detection result output, and FIG. 26A shows a case where “100” is set as the transparency of the fill color of the damage image.
  • 26 (B) is a diagram showing a composite image in which a damaged image having a transparency of "100” is superimposed and displayed on an image obtained by photographing a structure.
  • FIG. 27 is a diagram showing a method of adding vertices to a polygon surrounding a damaged area.
  • FIG. 28 is a diagram showing a method of removing vertices from polygons surrounding a damaged area.
  • FIG. 29 is a flowchart showing an embodiment of the inspection support method according to the present invention.
  • FIG. 1 is a diagram showing an example of damage to a structure, and particularly shows damage to concrete members constituting the structure.
  • FIG. 1 (A) shows water leakage A, which is one of the phenomena caused by damage to the concrete member.
  • Leakage A is water leaking from the damaged portion due to damage to the concrete member (crack, crack at the joint, defective joint material, etc.).
  • FIG. 1B shows cracks B, free lime C 1 , and rust juice D generated in the concrete member.
  • Free lime C 1 is a phenomenon in which lime components flow out from the concrete member due to water leakage or the like and the lime component is exposed to the surface when the water evaporates.
  • the rust juice D refers to a product in which a steel material such as a reinforcing bar inside a concrete member is corroded and a brown corrosion product exudes to the concrete surface.
  • FIG. 1C shows the peeling E and the exposed reinforcing bar F generated in the concrete member.
  • the peeling E means a state in which the concrete piece in the floating state is peeled off
  • the reinforcing bar exposure F means a state in which the reinforcing bar in the concrete is exposed as a result of the peeling E.
  • FIG. 2 is a diagram showing an example of linear free lime
  • FIG. 3 is a diagram showing an example of planar free lime.
  • the linear free lime C 2 shown in FIGS. 2 (A) and 2 (B) is in a state where the cracks generated in the concrete member are clogged with the lime component. Therefore, the linear free lime C 2 and the crack have substantially the same shape, and the linear free lime C 2 is cracked at the same position (region) as the linear free lime C 2. There is.
  • planar free lime shown in FIG. 3 (A) spreads below the crack as water leaks from the crack extending in the horizontal direction.
  • the planar free lime C 1 shown in FIG. 3 (B) spreads around the cracks at the seams, and the planar free lime C 1 shown in FIG. 3 (C) spreads around the concrete cracks. There is.
  • One aspect of the present invention detects damage to a structure from an image of the structure to be inspected, and outputs a damage detection result according to the type of the detected damage.
  • FIGS. 4 to 6 are diagrams showing the types of damage expression methods according to the types of damage.
  • FIG. 5 when peeling E and reinforcing bar exposure F are detected (FIG. 5 (A)), as a method of expressing peeling E and reinforcing bar exposure F, a closed line (polygon) surrounding the area of planar damage is used. ) Is represented by the drawing pattern (FIG. 5 (B)). This is because it is necessary to quantify the area in the case of planar damage such as peeling E.
  • planar free lime C 1 when planar free lime C 1 is detected (FIG. 6 (A)), a closed line surrounding the area of planar damage is a way to represent planar free lime C 1. It is represented by a drawing pattern made of (polygons) (FIG. 6 (B)).
  • planar free lime C 1 , peeling E, and rebar exposed F are all planar damages, but since the types of damage are different, polygons with different line types (for example, colors) can be identified. It is preferable to express it.
  • the damage is expressed by a different drawing pattern according to the shape.
  • linear free lime is represented by polylines
  • planar free lime is represented by polygons.
  • two or more types of damage may be detected from the same or adjacent positions on the structure (image).
  • the adjacent position means a position where the distance between two or more types of damage is equal to or less than the threshold value.
  • the threshold may be set by default or set by the user.
  • FIG. 7 is a diagram showing each polyline when cracks and linear free lime, which are linear damages, are detected.
  • X is a polyline showing cracks
  • Y is a polyline showing linear free lime.
  • FIG. 8 is a diagram used to explain the proximity judgment between the crack which is the linear damage shown in FIG. 7 and the linear free lime.
  • the shortest distance between the point of interest P1 of the polyline X showing cracks (the first apex which is the end point of the polyline X) and the linear free lime polyline is L1.
  • the shortest distance between the point of interest P2 (second vertex) of the poly line X and the poly line Y is L2
  • the poly line X Let L3 be the shortest distance between the point of interest P3 (third vertex) and the polyline Y.
  • the shortest distances of the two polylines X and Y are L4, L5, and L6, respectively.
  • the shortest distance L4 is the shortest distance at the attention point 4 of the polyline Y (the apex which is the end point of the polyline Y)
  • the shortest distance L5 is the attention point 5 of the polylines X and Y (the attention point 4 and the attention point 6).
  • It is the shortest distance at the point of interest in the middle)
  • the shortest distance L6 is the shortest distance at the point of interest 6 of the polyline X (the apex which is another end point of the polyline X).
  • L1, L2, L3> threshold value is satisfied and L4, L5, L6 ⁇ threshold value is satisfied, it is determined that the two polylines Y and X (two damages) are “close” in the range of L4 to L6. do.
  • the number of points of interest P1 to P6 is not limited to the above example.
  • the distance between the two types of linear damage has been described, but the distance between the linear damage and the planar damage is also obtained by finding the shortest distance between each point of interest of the polyline and the polygon. , "Proximity" can be determined.
  • priority is defined according to the type of damage, and when two or more types of damage are detected from the same or adjacent positions, the damage is expressed according to the priority. .. The details of the method of expressing damage according to the priority will be described later.
  • FIG. 9 is a block diagram showing an example of the hardware configuration of the inspection support device according to the present invention.
  • the inspection support device 10 shown in FIG. 1 a personal computer or a workstation can be used.
  • the inspection support device 10 of this example mainly includes an image acquisition unit 12, an image database 14, a storage unit 16, an operation unit 18, a CPU (Central Processing Unit) 20, a RAM (Random Access Memory) 22, and a ROM. It is composed of (Read Only Memory) 24 and a display control unit 26.
  • the image acquisition unit 12 corresponds to an input / output interface, and in this example, acquires a photographed image or the like of a structure to be inspected.
  • the structures to be inspected include, for example, structures such as bridges and tunnels.
  • the image acquired by the image acquisition unit 12 is, for example, a drone (unmanned flying object) equipped with a camera, a robot, or a large number of images (photographed image group) obtained by manually photographing a structure. It is preferable that the captured image group covers the entire structure and the adjacent captured images are duplicated.
  • the captured image group acquired by the image acquisition unit 12 is stored in the image database 14.
  • the storage unit 16 is a memory composed of a hard disk device, a flash memory, and the like.
  • the storage unit 16 includes an operating system, an inspection support program, information indicating the priority of damage types, and a CAD (computer) indicating a structure. -aided design) Data and filed damage inspection results are stored.
  • the damage inspection result can be stored as damage information in different layers for each type of damage.
  • the damage information includes a damage diagram.
  • the CAD data if the CAD data of the structure to be inspected exists, it can be used. When the CAD data of the structure does not exist, it can be automatically created based on the captured image group stored in the image database 14.
  • the feature points between the captured images that overlap each other in the captured image group are extracted, and based on the extracted feature points, the feature points are extracted. It is possible to estimate the position and orientation of the camera mounted on the drone, and to generate a three-dimensional point cloud model in which the three-dimensional position of the feature point is estimated at the same time from the estimation result of the position and orientation of the camera.
  • Structure from Motion which tracks the movement of a large number of feature points from a group of captured images in which the shooting position of the camera is moved by the drone, and simultaneously estimates the three-dimensional structure (Structure) and camera posture (Motion) of the structure.
  • SfM three-dimensional structure
  • bundle adjustment has been developed, and it has become possible to output with high accuracy.
  • CAD data of the structure can be generated based on the generated 3D point cloud model.
  • the operation unit 18 includes a keyboard, a mouse, and the like that are connected to the computer by wire or wirelessly, and functions as an operation unit that gives normal operation instructions to the computer.
  • the operation unit 18 has a structure detected based on an image of the structure. It functions as an operation unit that edits the damage detection result of an object by user operation and sets the priority of a plurality of damage types of the structure by user operation. Details such as editing the damage detection result and setting the priority of the damage type will be described later.
  • the CPU 20 reads various programs stored in the storage unit 16 or the ROM 24 or the like, controls each unit in an integrated manner, and detects damage to the structure (damage of two or more types) based on an image obtained by photographing the structure. It performs detection processing, determination processing for determining whether or not two or more types of damage are detected from the same or adjacent positions, and output processing for outputting the damage detection result detected by the damage detection processing.
  • the damage detection process that detects two or more types of damage based on the captured image of the structure can be performed by artificial intelligence (AI).
  • AI artificial intelligence
  • a trained model by a convolutional neural network can be used.
  • CNN convolutional neural network
  • FIG. 10 is a conceptual diagram showing an embodiment of a damage detection processing unit configured by a CPU or the like.
  • the damage detection processing unit 21 is composed of a plurality of (three in this example) trained models 21A, 21B, and 21C corresponding to a plurality of types of damage.
  • Each trained model 21A, 21B, and 21C has an input layer, an intermediate layer, and an output layer, and each layer has a structure in which a plurality of "nodes" are connected by "edges".
  • Image 13 of the structure is input to the input layer of CNN.
  • the intermediate layer has a plurality of sets including a convolution layer and a pooling layer as one set, and is a portion for extracting features from an image input from an input layer.
  • the convolution layer filters nearby nodes in the previous layer (performs a convolution operation using the filter) and acquires a "feature map”.
  • the pooling layer reduces the feature map output from the convolution layer to a new feature map.
  • the "convolution layer” plays a role of feature extraction such as edge extraction from an image, and the “pooling layer” plays a role of imparting robustness so that the extracted features are not affected by translation or the like.
  • the output layer of CNN is the part that outputs the feature map showing the features extracted by the intermediate layer.
  • the output layers of the trained models 21A, 21B, and 21C of this example are, for example, region classification (segmentation) in units of pixels for each damage of the structure shown in the image, or in units of a group of several pixels.
  • the inference result is output as damage detection results 27A, 27B, 27C.
  • the trained model 21A is a trained model machine-learned to detect damage to water leakage, planar free lime, and rust juice, and is a damaged region and damage of each of water leakage, planar free lime, and rust juice.
  • the damage type for each area is output as a damage detection result (recognition result) 27A.
  • the trained model 21B is a trained model machine-learned to detect damage of peeling / reinforcing bar exposure, and outputs the damaged areas of peeling / reinforcing bar exposure and the damage type for each damaged area as a damage detection result 27B. do.
  • the trained model 21C is a trained model machine-learned to detect damage of cracks and linear free lime, and damage detection of each damaged region of cracks and linear free lime and the damage type for each damaged region. The result is output as 27C.
  • the damage detection processing unit 21 is not limited to the above embodiment, for example, has an individual trained model for each damage type, and each trained model has a damage detection result corresponding to each damage type. It may be configured to output as. In this case, the same number of trained models as the number of damage types to be inspected will be provided. Further, it may have one trained model capable of dealing with all damage types, and may be configured to output the damage area and the damage type for each damage area as a damage detection result.
  • the CPU 20 outputs the damage detection result detected by the damage detection process to the display unit (display) 30 via the display control unit 26 and displays it, or stores the damage detection result as a file. It is saved in the part (memory) 16.
  • the RAM 22 is used as a work area of the CPU 20, and is used as a storage unit for temporarily storing the read program and various data.
  • the display control unit 26 is a part that creates display data to be displayed on the display unit 30 and outputs it to the display unit 30.
  • the damage detection result detected by the CPU 20 is displayed on the display unit 30, and the operation unit is operated.
  • the display unit 30 displays a screen or the like for editing the damage detection result based on the user operation from 18.
  • the display unit 30 uses various displays such as a liquid crystal monitor that can be connected to a computer, and displays an image of a structure input from the display control unit 26 as well as a damage detection result detected from the image. , Used as part of the user interface together with the operating unit 18.
  • the processor including the CPU 20 of the inspection support device 10 having the above configuration performs each of the above processes by reading the inspection support program stored in the storage unit 16 or the ROM 24 and executing the inspection support program.
  • FIG. 11 is a perspective view showing an example of a bridge to be inspected.
  • the bridge 1 is provided in a direction orthogonal to the main girder 2 passed between the piers 7 and the main girder 2, and the horizontal girder 3 connecting the main girders and the main girder 2 are mutually connected. It is composed of various members including an anti-tilt structure 4 and a horizontal structure 5 connected to the main girder, and a floor slab 6 for traveling a vehicle or the like is placed on the upper part of the main girder or the like.
  • the floor slab 6 is generally made of reinforced concrete.
  • the floor slab 6 usually has a rectangular coffer defined by the main girder 2 and the cross girder 3 as a basic unit, and when inspecting damage to the floor slab (cracks, concrete peeling, etc.), the coffer It is done in units of intervals.
  • Each coffer of the floor slab is one of the members (inspection unit) that make up the structure (bridge).
  • the inspection unit of the bridge is the part / member classification (main girder 2, cross girder 3, anti-tilt structure 4, horizontal structure 5, pier 7 (column part, pillar)) that composes the structure. There are walls, beams, corners / joints)).
  • the CPU 20 of the inspection support device 10 the inspection support program stored in the storage unit 16, the RAM 22 and ROM 24, the display control unit 26, and the like constitute a processor, and the processor performs various processes shown below.
  • the processor performs an image acquisition process for acquiring an image of an inspection unit from a plurality of images of a structure (bridge 1) to be inspected stored in the image database 14.
  • FIG. 12 is a diagram showing an example of an ortho image corresponding to a coffer, which is one of the inspection units of a bridge.
  • the ortho image is an image of a structure (coffer) photographed and projected onto the surface of the coffer.
  • a plurality of images corresponding to the coffer are extracted from the captured image group stored in the image database 14, the extracted plurality of images are panoramicly combined, and the panoramic composite image is obtained. It can be created by projecting to a coffered surface.
  • the damage detection processing unit 21 shown in FIG. 10 inputs an ortho image (image 13) of the coffer, the damage detection processing unit 21 detects the damage in the coffer based on the input image 13 and outputs the damage detection results 27A to 27C. ..
  • FIG. 13 is a diagram showing an example of damage detection results detected based on the ortho image shown in FIG.
  • the damage detection result shown in FIG. 13 shows a damage diagram showing damage between the coffers to be inspected.
  • the damage diagram shown in FIG. 13 shows five cracks C1 to C5 and concrete peeling H1.
  • the damage diagram shown in FIG. 13 shows a drawing pattern with polylines along each of the cracks C1 to C5 (linear damage) detected on the ortho image, and a drawing pattern with polygons surrounding the region of peeling H1 (plane damage). Alternatively, it is represented by an image in which the inside of the polygon is filled.
  • FIG. 14 is a diagram showing an example of an ortho image on which a damage diagram corresponding to a coffer is superimposed.
  • the ortho image on which the damage diagram shown in FIG. 14 is superimposed can be created by superimposing the damage diagram shown in FIG. 13 on the ortho image shown in FIG. 12.
  • the damage diagram can be created by attaching a color corresponding to the type of damage to the damaged part, and by superimposing the damage diagram on the ortho image, the damaged part can be easily visually recognized.
  • FIG. 15 is a chart showing an example of a damage quantity table included in the damage detection result.
  • the damage quantity table shown in FIG. 15 has items of damage identification information (ID: identification), damage type, size (width), size (length), and size (area), and each item corresponds to each damage. Information to be done is described.
  • each crack C1 to C5 are quantified, and in the case of a peeling that is a planar damage, the area of the region of the peeling H1 is quantified. , This information is described in association with the damage ID.
  • FIG. 16 is a schematic view showing an example of the damage detection result of cracks and linear free lime by the damage detection processing unit and the output processing thereof.
  • FIG. 16 (A) an image 13 is input to the flaw detection processing unit 21 (learned model 21C) shown in FIG. 10, each of the damaged region of the cracks B and linear free lime C 2 by a learned model 21C And the case where the damage detection result indicating the damage type for each damage area is detected is shown.
  • the CPU 20 performs a determination process for determining whether or not these cracks B and the linear free lime C 2 are detected from the same or adjacent positions, respectively.
  • the crack B and the linear free lime C 2 are shown side by side for convenience, but the linear free lime C 2 is formed on the crack B generated in the concrete member. It is in a state of being clogged with lime components. Therefore, the linear free lime C 2 and the crack B have substantially the same shape, and the linear free lime C 2 has a crack B at the same position (region) as the linear free lime C 2. doing.
  • CPU 20 determines a free lime C 2 crack B and the line shape, to that detected from the same or adjacent locations . Then, when it is determined that the crack B and the linear free lime C 2 are detected from the same or adjacent positions, the CPU 20 performs an output process for outputting the damage detection result according to the priority of the damage type.
  • the priority of the linear free lime C 2 is set higher than that of the crack B, so that the CPU 20 has the linear free lime as shown in FIG. 16 (B).
  • the damage image in which the area of C 2 is filled is displayed on the display unit 30 via the display control unit 26, or the CAD data of the damage diagram showing the polyline of the linear free lime C 2 is output as a file. It is preferable that the CAD data file of the damage diagram is stored in the storage unit 16 in association with the image in which the damage is detected.
  • FIG. 17 is a schematic diagram showing the damage detection results of cracks and linear free lime by the damage detection processing unit and other examples of the output processing thereof.
  • the CPU 20 determines that a part of the crack B and a part of the linear free lime C 2 are detected from the same position. Then, the CPU 20 fills the area of the linear free lime C 2 with respect to the overlapping portion of the part of the crack B and the linear free lime C 2 as shown in FIG. 17 (B).
  • the damage image is displayed on the display unit 30 via the display control unit 26, or the CAD data of the damage diagram showing the polyline of the linear free lime C 2 is output as a file.
  • the CPU 20 causes the display unit 30 to display a damaged image in which the area of the crack B is filled as it is with the remaining portion of the crack B that does not overlap with the linear free lime C 2 via the display control unit 26.
  • the CAD data of the damage diagram showing the polyline of the crack B is output as a file.
  • the damage image and CAD data showing the crack B and the damage image and CAD data showing the linear free lime C 2 can be distinguished by changing the line type (for example, color), for example. ..
  • FIG. 18 is a schematic view showing an example of the damage detection results of planar free lime and linear free lime by the damage detection processing unit and the output processing thereof.
  • FIG. 18 damage detection processing unit 21 (trained model 21A, 21C) shown in FIG. 10 the image 13 respectively are inputted, the learned model 21A by planar free lime C 1 damaged region is detected is, the damaged region of the linear free lime C 2 is shown for when it is detected by the trained model 21C.
  • the CPU 20 determines whether or not these planar free lime C 1 and linear free lime C 2 are detected from the same or adjacent positions, respectively.
  • the CPU 20 and the planar free lime C 1 are generated. It is determined that the linear free lime C 2 is detected from the same or adjacent positions, respectively. Then, when it is determined that the planar free lime C 1 and the linear free lime C 2 are detected from the same or adjacent positions, the CPU 20 outputs the damage detection result according to the priority of the damage type. ..
  • the CPU 20 has a surface as shown in FIG. 18 (B).
  • the free lime C 1 planar give priority to the portion Jo of the free lime C 1 and linear free lime C 2 overlap, damaged images fill the damaged area of the planar free lime C1 a specific color Is displayed on the display unit 30 via the display control unit 26, and a damaged image in which a part of the non-overlapping linear free lime C 2 is filled is displayed on the display unit 30 via the display control unit 26.
  • the polygon CPU20 for the free lime C 1 and the linear portion and the free lime C 2 overlap the planar as shown in FIG. 18 (C), which surrounds the planar damaged region of the free lime C 1 together with the CAD data, the CAD data of a part of polyline linear free non-overlapping lime C 2 to file output.
  • FIG. 19 is a schematic view showing the damage detection results of planar free lime and linear free lime by the damage detection processing unit and other examples of the output processing thereof.
  • the CPU 20 When a part of the planar free lime C 1 and the linear free lime C 2 overlap each other as shown in FIG. 19 (A), the CPU 20 has a planar free lime as shown in FIG. 19 (B).
  • the damaged image in which the area of the linear free lime C 2 is filled is displayed with priority, and similarly, the linear free lime C 2 is displayed.
  • Priority is given to the CAD data of the polyline of, and the file is output. In this case, for the planar free lime C 1, so that the damage image also CAD data is also not output.
  • FIG. 20 is a schematic view showing an example of the damage detection results of rust juice, planar free lime and water leakage by the damage detection processing unit, and the output processing thereof.
  • FIG. 20 (A) an image 13 is input to the flaw detection processing unit 21 (learned model 21A) shown in FIG. 10, rust juice D by trained model 21A, the planar free lime C 1 and leakage A It shows the case where the damaged area is detected.
  • the CPU 20 determines whether or not these rust juice D, planar free lime C 1 and water leakage A are detected from the same or adjacent positions, respectively.
  • the CPU 20 determines that these damages are detected from the same or adjacent positions, respectively. Then, when it is determined that the rust juice D, the planar free lime C 1 and the leak A are detected from the same or adjacent positions, the CPU 20 outputs the damage detection result according to the priority of the damage type.
  • the CPU 20 since the priority is set to be lower in the order of rust juice D, planar free lime C 1 , and water leakage A, the CPU 20 has water leakage as shown in FIG. 20 (B). overlapping regions of free lime C 1 of planar over the a region, more overlapped regions of Sabijiru D on the surface of free lime C 1 regions, each region with a different color for each damage type The filled damage image is displayed on the display unit 30 via the display control unit 26. Further, as shown in FIG. 20C, the CPU 20 outputs CAD data of polygons surrounding each region of rust juice D, planar free lime C 1 , and water leakage A as a file.
  • FIG. 21 is a schematic view showing the damage detection results of rust juice, planar free lime and water leakage by the damage detection processing unit, and other examples of the output processing thereof.
  • the priorities of rust juice D, planar free lime C 1 , and water leakage A are set to be reversed as compared with the example shown in FIG.
  • the priority is set to be lower in the order of free lime C 1 and rust juice D.
  • the CPU 20 When all or part of the rust juice D, the planar free lime C 1 , and the leak A overlap each other as shown in FIG. 21 (A), the CPU 20 has a priority as shown in FIG. 21 (B). The damaged image that fills the area of water leakage A with the highest water leakage A is displayed with priority. In this case, rust juice D, planar free lime C 1 damage image existing in a region inside the leakage A is not displayed. Further, as shown in FIG. 21C, the CPU 20 gives priority to the CAD data of the polygon surrounding the region of the leak A having the highest priority and outputs the file. In this case, CAD data of rust juice D, a polygon surrounding the free lime C 1 planar present in the area inside the water leakage A will not be output.
  • the priority of the damage type is not limited to the above example, but it is preferable to set the priority according to the severity of the damage (the one in which the damage is more advanced). For example, in the case of linear free lime and linear damage including cracks as damage types, linear free lime has a higher priority than cracks. In the case of planar damage including exposed reinforcing bars, peeling, rust juice, planar free lime, and water leakage, the priority is given to reinforcing bar exposure, peeling, rust juice, planar free lime, and water leakage. Is set low.
  • the priority of the damage type may be appropriately set by the user using the operation unit 18.
  • the CPU 20 performs a priority reception process for receiving the priority of the damage type of the structure from the operation unit 18 operated by the user, stores the received priority in the storage unit 16 or the like, and if necessary.
  • the priority order can be read from the storage unit 16 and used.
  • FIG. 22 and 23 are image diagrams of a GUI (Graphical User Interface) showing a second embodiment of damage detection result output, respectively.
  • FIG. 22 is a diagram showing an example of the screen 40 displayed on the display unit 30.
  • a composite image in which a damaged image is superimposed on an image of a structure, a check box 42 for selecting a damage type to be displayed, and various icon buttons used for editing and the like are displayed.
  • the damage detection result for each damage type detected by the damage detection processing unit 21 based on the photographed image of the structure can be retained as CAD data of the layer structure indicating the damage area for each damage type.
  • the damage image corresponding to the damage type can be created by painting the damaged area with a color corresponding to the damage type based on the CAD data of the layer corresponding to the damage type.
  • a color according to the damage type a color set in advance according to the damage type or a color set by the user can be used.
  • FIG. 23 is a diagram showing another example of the screen 40 displayed on the display unit 30.
  • the damage image displayed on the screen 40 is different from the example shown in FIG. 22.
  • the screen 40 shown in FIG. 23 is different from the screen 40 shown in FIG. 22 in that the free lime and the damage image corresponding to the peeling are erased.
  • the user can select one or a plurality of desired damage types to display a damage image showing the damage of the selected damage type. It is preferable that the check box 42 displays only one or a plurality of damage types detected from the image. Further, the method of displaying the damaged area for each type of damage is not limited to the embodiments shown in FIGS. 22 and 23.
  • [Third embodiment of damage detection result output] 24 to 26 are GUI image diagrams showing a third embodiment of damage detection result output, respectively.
  • FIG. 24A is a diagram showing an example of a setting screen 44 for performing various settings.
  • a “tab” for setting a color such as damage is selected, and by using this setting screen, the user can respond to the damage type shown in FIG. 22 and the like. You can set the color of the damaged image.
  • the setting screen 44 shown in FIG. 24 (A) is provided with a knob 45A used for setting the transparency of the color (fill color) of the damaged image and a dialog box 45B for displaying the transparency.
  • FIG. 24B is a diagram showing a composite image in which a damaged image having a transparency of “10” is superimposed and displayed on an image of a structure.
  • the composite image shown in FIG. 24 (B) can be displayed by closing the setting screen after the transparency "10" is set on the setting screen shown in FIG. 24 (A).
  • FIG. 25 (A) shows a setting screen in which the transparency is set to “50”
  • FIG. 25 (B) is a composite image in which a damaged image having a transparency of “50” is superimposed and displayed on an image of a structure. It is a figure which shows.
  • FIG. 26A shows a setting screen in which the transparency is set to “100”
  • FIG. 26B shows a damaged image having the transparency “100” superimposed on the photographed image of the structure. It is a figure which shows the composite image.
  • the user can visually recognize the image (damage) of the structure covered by the damaged image.
  • the damaged area is classified in pixel units or in units of a group of several pixels, so it may lack accuracy. Further, it may be better to connect the cracks detected as two cracks as one crack. This is because it can be inferred that cracks are connected inside the concrete.
  • the CPU 20 performs an edit instruction reception process for receiving an edit instruction for the damage detection result through an operation with the operation unit 18 (for example, a mouse) operated by the user, and edits the damage detection result according to the received edit instruction. Perform processing.
  • the operation unit 18 for example, a mouse
  • the editing may be performed by measuring the distance between the end points of polylines of the same type of linear damage after the damage detection process, and if the measured distance is less than the threshold value, the end points may be automatically connected. It may be automatically connected according to the instruction of the user.
  • the threshold value may be a default value or may be user-configurable.
  • a threshold value for the length and width of linear damage and a threshold value for the area of planar damage may be set, and damage detection results smaller than the threshold value may be automatically deleted.
  • the damage detection result may be deleted automatically after the damage detection process, or may be deleted according to the user's instruction.
  • the threshold value may be a default value or may be user-configurable.
  • FIG 27 and 28 are diagrams showing an editing example of the damage detection result, respectively.
  • the transparency of the color that fills the damage image is set high, and the image of the structure is easily visible. Is preferable.
  • FIG. 27 is a diagram showing a method of adding vertices to the polygon surrounding the damaged area.
  • the polygon is drawn by connecting a plurality of vertices (vertices indicated by squares in FIG. 27) along the damaged area.
  • FIG. 28 is a diagram showing a method of deleting vertices from polygons surrounding a damaged area.
  • the entire polyline or polygon can be selected by clicking the line connecting the vertices, and the entire polyline or polygon can be deleted at once. Has a function to newly add.
  • FIG. 29 is a flowchart showing an embodiment of the inspection support method according to the present invention.
  • each step shown in FIG. 29 is performed by, for example, a processor configured by the CPU 20 of the inspection support device 10 shown in FIG.
  • the processor acquires an image of the structure to be inspected from the image acquisition unit 12, the image database 14, or the like (step S10).
  • the damage detection processing unit 21 detects damage to the structure based on the image acquired in step S10 (step S12).
  • the processor determines whether or not the damage is detected by the damage detection performed in step S12 (step S14), and if the damage is detected (in the case of “Yes”), two or more types of damage are detected. It is determined whether or not it has been detected (step S16).
  • step S16 When it is determined in step S16 that two or more types of damage are detected (in the case of "Yes"), the processor further damages two or more types of the two or more types of damage from the same or adjacent positions. Is determined (step S18).
  • the processor outputs the damage detection result according to the priority of the damage types. (Step S20).
  • the damage detection result is output, for example, by superimposing the damage image on the image, displaying the damage image alone on the display unit, or outputting the CAD data showing the damage diagram as a file.
  • step S16 when two or more types of damage are not detected in step S16 (in the case of "No"), that is, when only one type of damage is detected, or when two or more types of damage are detected in step S18, the same or close to each other. If it is determined that the damage has not been detected from the position (in the case of "No"), the process proceeds to step S22, and in step S22, one or two or more types of damage detection results are output as they are.
  • the hardware that realizes the inspection support device according to the present invention can be configured by various processors.
  • Various processors include CPUs (Central Processing Units), which are general-purpose processors that execute programs and function as various processing units, and FPGAs (Field Programmable Gate Arrays), which can change the circuit configuration after manufacturing. It includes a dedicated electric circuit which is a processor having a circuit configuration specially designed for executing a specific process such as a programmable logic device (PLD) and an ASIC (Application Specific Integrated Circuit).
  • One processing unit constituting the inspection support device may be composed of one of the above-mentioned various processors, or may be composed of two or more processors of the same type or different types.
  • one processing unit may be composed of a plurality of FPGAs or a combination of a CPU and an FPGA.
  • a plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client or a server.
  • a processor functions as a plurality of processing units.
  • SoC System On Chip
  • a processor that realizes the functions of the entire system including a plurality of processing units with one IC (Integrated Circuit) chip is used. be.
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • the hardware structure of these various processors is, more specifically, an electric circuit (circuitry) in which circuit elements such as semiconductor elements are combined.
  • the present invention also includes an inspection support program that causes the computer to function as an inspection support device according to the present invention by being installed in the computer, and a storage medium in which the inspection support program is recorded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

構造物から２種類以上の損傷が検出され、特に構造物の同一又は近似する位置から２種類以上の損傷が検出された場合に、その損傷検出結果を良好に出力することができる点検支援装置、方法及びプログラムを提供する。点検支援装置のプロセッサは、点検対象の構造物を撮影した画像を取得し、取得した画像に基づいて構造物の損傷を検出する。構造物の２種類以上の損傷（ひび割れＢと線状の遊離石灰Ｃ２）が検出された場合、プロセッサは、同一又は近接する位置から２種類以上の損傷が検出されたか否かを判定する。プロセッサは、損傷検出結果（損傷画像、損傷図等）を出力する際に、ひび割れＢと線状の遊離石灰Ｃ２とが同一又は近接する位置から検出されたことが判定されると、損傷種類の優先順位にしたがって線状の遊離石灰Ｃ２の損傷検出結果を優先させて出力する（図１４（Ｂ））。

Description

点検支援装置、方法及びプログラム
　本発明は点検支援装置、方法及びプログラムに係り、特に構造物の点検を支援する技術に関する。
　橋梁などの社会インフラ構造物は、維持管理及び補修を行うために定期点検する必要がある。
　特許文献１には、トンネルの内部壁面をカメラで撮影し、撮影した画像を画像処理することにより内部壁面の小区分毎にひび割れの抽出・定量化を行い、小区分毎にひび割れ情報を表示するひび割れ検出方法及びその表示方法が開示されている。例えば、小区分毎のひび割れの程度に応じて、小区分毎にひび割れを色分けして表示し、これにより、ひび割れの程度を把握しやすいようにしている。
特開２００２－１８８９９８号公報
　ところで、構造物の損傷には、ひび割れ以外にも多くの種類の損傷が存在する。例えば、構造物のコンクリート部位では、ひび割れの他に、漏水、遊離石灰、錆汁、剥離、鉄筋露出等の多項目の損傷があり、同様に構造物の鋼部材では、亀裂、腐食、防食機能の劣化等の多項目の損傷がある。
　特許文献１には、小区分毎のひび割れの程度に応じて、小区分毎にひび割れを色分けして表示する記載があるが、構造物から２種類以上（多項目）の損傷を検出する記載がなく、多項目の損傷の検出結果の出力方法についても記載されていない。
　本発明はこのような事情に鑑みてなされたもので、構造物から２種類以上の損傷が検出され、特に構造物の同一又は近接する位置から２種類以上の損傷が検出された場合に、その損傷検出結果を良好に出力することができる点検支援装置、方法及びプログラムを提供することを目的とする。
　上記目的を達成するために第１態様に係る発明は、プロセッサを備えた点検支援装置であって、プロセッサは、点検対象の構造物を撮影した画像を取得する画像取得処理と、取得した画像に基づいて構造物の損傷を検出する損傷検出処理と、損傷検出処理により構造物の２種類以上の損傷が検出された場合に、２種類以上の損傷のうち、同一又は近接する位置から２種類以上の損傷が検出されたか否かを判定する判定処理と、損傷検出処理により検出された損傷検出結果を出力する出力処理であって、判定処理により、同一又は近接する位置から２種類以上の損傷がされたことが判定されると、損傷種類の優先順位にしたがって損傷検出結果を出力する出力処理と、を行う。
　本発明の第１態様によれば、点検対象の構造物を撮影した画像に基づいて構造物の２種類以上の損傷が検出され、特に構造物の同一又は近似する位置から２種類以上の損傷が検出された場合には、損傷検出結果として優先順位にしたがって損傷検出結果を出力する。これにより、構造物の同一又は近接する位置から２種類以上の損傷が検出された場合には、損傷種類の優先順位にしたがって損傷検出結果を出力することで、構造物の同一又は近接する位置から２種類以上の損傷が検出された場合に対応することができる。尚、２種類以上の損傷が構造物の同一又は近接する位置にない場合には、２種類以上の損傷検出結果はそのまま出力することができる。
　本発明の第２態様に係る点検支援装置において、損傷検出処理は、画像に基づいて損傷領域及び損傷領域毎の損傷種類を検出し、判定処理は、損傷検出処理により、同一又は近接する損傷領域で２種類以上の損傷種類が検出されたか否かを判定し、出力処理は、判定処理により、同一又は近接する損傷領域で２種類以上の損傷種類が検出されたことが判定されると、同一又は近接する損傷領域の損傷検出結果として最も優先順位が高い損傷種類の損傷検出結果を出力することが好ましい。構造物の同一又は近接する位置から２種類以上の損傷が検出された場合、最も優先順位が高い損傷種類の損傷検出結果を出力し、ユーザ等に報知することが有効だからである。
　本発明の第３態様に係るにおいて、近接する位置は、２種類以上の損傷間の距離が閾値以下になる位置であることが好ましい。
　本発明の第４態様に係る点検支援装置において、損傷検出処理は、画像を入力すると、損傷領域及び損傷領域毎の損傷種類を認識結果として出力する学習済みモデルが実行することが好ましい。
　本発明の第５態様に係る点検支援装置において、出力処理は、損傷種類が線状損傷の場合と、損傷種類が面状損傷の場合とで、異なる描画パターンを出力することが好ましい。
　本発明の第６態様に係る点検支援装置において、出力処理は、損傷種類が線状損傷の場合、線状損傷を閉じない線を示す損傷図を出力し、損傷種類が面状損傷の場合、面状損傷を囲む閉じた線を示す損傷図を出力することが好ましい。線画の描画パターンで損傷図を出力する場合、線状損傷の場合、線状損傷を閉じない線を示す損傷図とし、損傷種類が面状損傷の場合、面状損傷を囲む閉じた線を示す損傷図とする。
　本発明の第７態様に係る点検支援装置において、出力処理は、損傷種類が線状損傷の場合、少なくとも線状損傷を塗り潰した損傷画像を出力し、損傷種類が面状損傷の場合、少なくとも面状損傷を塗り潰した損傷画像を出力することが好ましい。
　本発明の第８態様に係る点検支援装置において、出力処理は、損傷検出結果をディスプレイに出力して表示させ、又は損傷検出結果をファイルにしてメモリに保存させることが好ましい。
　本発明の第８態様に係る点検支援装置において、損傷種類の優先順位は、損傷の重大度に応じて予め設定された優先順位であることが好ましい。
　本発明の第９態様に係る点検支援装置において、損傷種類として、線状の遊離石灰、及びひび割れを含む線状損傷の場合、線状の遊離石灰は、ひび割れよりも優先順位が高い。
　本発明の第１０態様に係る点検支援装置において、損傷種類として、鉄筋露出、剥離、
錆汁、面状の遊離石灰、及び漏水を含む面状損傷の場合、鉄筋露出、剥離、錆汁、面状の遊離石灰、及び漏水の順に優先順位が低く設定される。
　本発明の第１２態様に係る点検支援装置において、プロセッサは、ユーザにより操作される操作部から構造物の損傷種類の優先順位を受け付ける優先順位受付処理を行い、損傷種類の優先順位は、ユーザから操作部を介して受け付けた優先順位である。
　本発明の第１３態様に係る点検支援装置において、プロセッサは、ユーザにより操作される操作部から損傷検出結果の編集指示を受け付ける編集指示受付処理と、受け付けた編集指示にしたがって損傷検出結果を編集する編集処理と、を行うことが好ましい。
　本発明の第１４態様に係る点検支援装置において、損傷検出結果は、損傷識別情報、損傷種類及びサイズの項目を有し、検出した損傷毎に各項目に対応する情報が記載された損傷数量表を含むことが好ましい。
　第１５態様に係る発明は、プロセッサにより点検対象の構造物の点検支援を行う点検支援方法であって、プロセッサの各処理は、点検対象の構造物を撮影した画像を取得するステップと、取得した画像に基づいて構造物の２種類以上の損傷を検出するステップと、検出された構造物の２種類以上の損傷のうち、同一又は近接する位置から２種類以上の損傷が検出されたか否かを判定するステップと、検出された損傷検出結果を出力するステップであって、判定するステップにより、同一又は近接する位置から２種類以上の損傷が検出されたことが判定されると、損傷種類の優先順位にしたがって損傷検出結果を出力するステップと、を含む。
　第１６態様に係る発明は、点検対象の構造物の点検支援を行う方法をコンピュータに実行させる点検支援プログラムであって、方法は、点検対象の構造物を撮影した画像を取得するステップと、取得した画像に基づいて構造物の２種類以上の損傷を検出するステップと、検出された構造物の２種類以上の損傷のうち、同一又は近接する位置から２種類以上の損傷が検出されたか否かを判定するステップと、検出された損傷検出結果を出力するステップであって、判定するステップにより、同一又は近接する位置から２種類以上の損傷が検出されたことが判定されると、損傷種類の優先順位にしたがって損傷検出結果を出力するステップと、を含む。
　本発明によれば、構造物から２種類以上の損傷が検出され、特に構造物の同一又は近接する位置から２種類以上の損傷が検出された場合に、その損傷検出結果を良好に出力することができる。
図１は、構造物の損傷の一例を示す図である。 図２は、線状の遊離石灰の一例を示す図である。 図３は、面状の遊離石灰の一例を示す図である。 図４は、損傷の種類に応じた損傷の表現方法の種類を示す図であり、図４（Ａ）は、ひび割れを含む画像を示し、図４（Ｂ）は、ひび割れに沿ったポリラインが描画された画像を示す図である。 図５は、損傷の種類に応じた損傷の表現方法の種類を示す図であり、図５（Ａ）は、剥離及び鉄筋露出を含む画像を示し、図５（Ｂ）は、剥離及び鉄筋露出の領域を囲むポリゴンが描画された画像を示す図である。 図６は、損傷の種類に応じた損傷の表現方法の種類を示す図であり、図６（Ａ）は、面状の遊離石灰を含む画像を示し、図６（Ｂ）は、面状の遊離石灰の領域を囲むポリゴンが描画された画像を示す図である。 図７は、線状損傷であるひび割れと線状の遊離石灰とが検出された場合の各々のポリラインを示す図である。 図８は、図７に示した線状損傷であるひび割れと線状の遊離石灰との近接判断を説明するために用いた図である。 図９は、本発明に係る点検支援装置のハードウエア構成の一例を示すブロック図である。 図１０は、ＣＰＵ等により構成された損傷検出処理部の実施形態を示す概念図である。 図１１は、点検対象の橋梁の一例を示す斜視図である。 図１２は、橋梁の点検単位の一つである格間に対応するオルソ画像の一例を示す図である。 図１３は、図１２に示したオルソ画像に基づいて検出された損傷検出結果の一例を示す図である。 図１４は、格間に対応する損傷図が重畳されたオルソ画像の一例を示す図である。 図１５は、損傷検出結果に含まれる損傷数量表の一例を示す図表である。 図１６は、損傷検出処理部によるひび割れ及び線状の遊離石灰の損傷検出結果と、その出力処理との一例を示す模式図である。 図１７は、損傷検出処理部によるひび割れ及び線状の遊離石灰の損傷検出結果と、その出力処理との他の例を示す模式図である。 図１８は、損傷検出処理部による面状の遊離石灰及び線状の遊離石灰の損傷検出結果と、その出力処理との一例を示す模式図である。 図１９は、損傷検出処理部による面状の遊離石灰及び線状の遊離石灰の損傷検出結果と、その出力処理との他の例を示す模式図である。 図２０は、損傷検出処理部による錆汁、面状の遊離石灰及び漏水の損傷検出結果と、その出力処理との一例を示す模式図である。 図２１は、損傷検出処理部による錆汁、面状の遊離石灰及び漏水の損傷検出結果と、その出力処理との他の例を示す模式図である。 図２２は、損傷検出結果出力の第２実施形態を示すＧＵＩを示すイメージ図であり、表示部に表示される画面の一例を示す図である。 図２３は、損傷検出結果出力の第２実施形態を示すＧＵＩを示すイメージ図であり、表示部に表示される画面の他の例を示す図である。 図２４は、損傷検出結果出力の第３実施形態を示すＧＵＩのイメージ図であり、図２４（Ａ）は、損傷画像の塗り潰し色の透明度として、「１０」が設定されている場合を示し、図２４（Ｂ）は、構造物を撮影した画像上に透明度「１０」の損傷画像が重畳表示された合成画像を示す図である。 図２５は、損傷検出結果出力の第３実施形態を示すＧＵＩのイメージ図であり、図２５（Ａ）は、損傷画像の塗り潰し色の透明度として、「５０」が設定されている場合を示し、図２５（Ｂ）は、構造物を撮影した画像上に透明度「５０」の損傷画像が重畳表示された合成画像を示す図である。 図２６は、損傷検出結果出力の第３実施形態を示すＧＵＩのイメージ図であり、図２６（Ａ）は、損傷画像の塗り潰し色の透明度として、「１００」が設定されている場合を示し、図２６（Ｂ）は、構造物を撮影した画像上に透明度「１００」の損傷画像が重畳表示された合成画像を示す図である。 図２７は、損傷の領域を囲むポリゴンに頂点を追加する方法を示す図である。 図２８は、損傷の領域を囲むポリゴンから頂点を削除する方法を示す図である。 図２９は、本発明係る点検支援方法の実施形態を示すフローチャートである。
　以下、添付図面に従って本発明に係る点検支援装置、方法及びプログラムの好ましい実施形態について説明する。
　［本発明の概要］
　図１は、構造物の損傷の一例を示す図であり、特に構造物を構成するコンクリート部材の損傷に関して示している。
　図１（Ａ）は、コンクリート部材の損傷が原因で発生した現象の一つである漏水Ａを示している。漏水Ａは、コンクリート部材の損傷（ひび割れ、打ち継ぎ目のひび割れ、目地材の不良等）が原因で、その損傷部分から水が漏れ出たものである。
　図１（Ｂ）は、コンクリート部材に発生したひび割れＢ、遊離石灰Ｃ１、及び錆汁Ｄを示している。遊離石灰Ｃ１とは、漏水等によりコンクリート部材内から流れ出し、水分が蒸発する際に石灰成分が表面に出る現象をいう。また、錆汁Ｄは、コンクリート部材の内部の鉄筋等の鋼材が腐食して、茶色の腐食生成物がコンクリート表面に滲み出たものをいう。
　図１（Ｃ）は、コンクリート部材に発生した剥離Ｅ及び鉄筋露出Ｆを示している。剥離Ｅとは、浮き状態にあったコンクリート片が剥がれ落ちた状態をいい、鉄筋露出Ｆとは、剥離Ｅの結果、コンクリート内の鉄筋が露出した状態をいう。
　また、図示しないが、構造物を構成する鋼部材の損傷としては、亀裂、腐食、破断、防食機能の劣化等の損傷の種類がある。
　図２は、線状の遊離石灰の一例を示す図であり、図３は、面状の遊離石灰の一例を示す図である。
　図２（Ａ）及び（Ｂ）に示す線状の遊離石灰Ｃ２は、コンクリート部材に発生したひび割れに石灰成分が詰まっている状態のものである。したがって、線状の遊離石灰Ｃ２とひび割れとは略同じ形状であり、線状の遊離石灰Ｃ２には、その線状の遊離石灰Ｃ２と同一の位置（領域）にひび割れが発生している。
　図３（Ａ）に示す面状の遊離石灰は、水平方向に延びるひび割れからの漏水にしたがってひび割れの下方に拡がっている。図３（Ｂ）に示す面状の遊離石灰Ｃ１は、打ち継ぎ目のひび割れを中心に拡がっており、図３（Ｃ）に示す面状の遊離石灰Ｃ１は、コンクリートひび割れを中心に拡がっている。
　本発明の一態様は、点検対象の構造物を撮影した画像から構造物の損傷を検出し、検出した損傷の種類にしたがって損傷検出結果を出力する。
　図４から図６は、損傷の種類に応じた損傷の表現方法の種類を示す図である。
　図４に示すように、ひび割れが検出された場合（図４（Ａ））、ひび割れを表現する方法として、ひび割れに沿った閉じない線（ポリライン）による描画パターンで表現する（図４（Ｂ））。ひび割れのように線状の損傷の場合、長さの定量化が必要だからである。
　したがって、図２に示したように線状の遊離石灰が検出された場合も、線状の遊離石灰を表現する方法としては、線状の遊離石灰に沿ったポリラインの描画パターンで出力する。また、ひび割れと線状の遊離石灰とは、いずれも線状の損傷であるが、損傷の種類が異なるため、線種（例えば、色）が異なるポリラインで識別可能に表現することが好ましい。
　図５に示すように、剥離Ｅ及び鉄筋露出Ｆが検出された場合（図５（Ａ））、剥離Ｅ及び鉄筋露出Ｆを表現する方法として、面状損傷の領域を囲む閉じた線（ポリゴン）による描画パターンで表現する（図５（Ｂ））。剥離Ｅ等の面状損傷の場合、面積の定量化が必要だからである。
　図６に示すように、面状の遊離石灰Ｃ１が検出された場合（図６（Ａ））、面状の遊離石灰Ｃ１を表現する方法として、面状損傷の領域を囲む閉じた線（ポリゴン）による描画パターンで表現する（図６（Ｂ））。
　尚、面状の遊離石灰Ｃ１、剥離Ｅ、及び鉄筋露出Ｆは、いずれも面状の損傷であるが、損傷の種類が異なるため、線種（例えば、色）が異なるポリゴンで識別可能に表現することが好ましい。
　本発明の一態様では、同じ損傷と分類されるものであっても、損傷の形状が異なる場合には損傷の種類が異なるものとし、その形状に応じて異なる描画パターンで表現する。例えば、線状の遊離石灰は、ポリラインで表現し、面状の遊離石灰は、ポリゴンで表現する。
　また、構造物（画像）上で、同一又は近接する位置から２種類以上の損傷が検出さる場合がある。ここで、近接する位置とは、２種類以上の損傷間の距離が閾値以下になる位置をいう。閾値は、デフォルトで決められていてもよいし、ユーザが設定してもよい。
　例えば、線状の遊離石灰の場合、線状の遊離石灰とコンクリートひび割れとが重なり、同一の位置に２つの損傷が検出されることになる。また、図５に示したように剥離Ｅと鉄筋露出Ｆの場合、鉄筋露出Ｆは、剥離Ｅ内に存在する。したがって、鉄筋露出Ｆと剥離Ｅの２つの損傷間の距離は閾値以下となり、両者は近接する位置の損傷である。
　図７は、線状損傷であるひび割れと線状の遊離石灰とが検出された場合の各々のポリラインを示す図である。
　図７において、Ｘは、ひび割れを示すポリラインであり、Ｙは、線状の遊離石灰を示すポリラインである。
　図８は、図７に示した線状損傷であるひび割れと線状の遊離石灰との近接判断を説明するために用いた図である。
　以下、図８を参照にして、ひび割れと線状の遊離石灰の２つの損傷の「近接」の判定例について説明する。
　図８（Ａ）に示すように、ひび割れを示すポリラインＸの注目点Ｐ１（ポリラインＸの端点である１番目の頂点）と、線状の遊離石灰のポリラインとの最短距離をＬ１とする。
　同様にして図８（Ｂ）に示すように、ポリラインＸの注目点Ｐ２（２番目の頂点）と、ポリラインＹとの最短距離をＬ２とし、図８（Ｃ）に示すように、ポリラインＸの注目点Ｐ３（３番目の頂点）と、ポリラインＹとの最短距離をＬ３とする。
　また、図８（Ｄ）～（Ｆ）に示すように、２つのポリラインＸ、Ｙにおける各最短距離をそれぞれＬ４，Ｌ５，Ｌ６とする。尚、最短距離Ｌ４は、ポリラインＹの注目点４（ポリラインＹの端点である頂点）における最短距離であり、最短距離Ｌ５は、ポリラインＸ、Ｙの注目点５（注目点４と注目点６の中間の注目点）における最短距離であり、最短距離Ｌ６は、ポリラインＸの注目点６（ポリラインＸの他の端点である頂点）における最短距離である。
　そして、Ｌ１，Ｌ２，Ｌ３＞閾値を満たし、Ｌ４，Ｌ５，Ｌ６≦閾値を満たす場合、Ｌ４～Ｌ６の範囲において、２つのポリラインＹ、Ｘ（２つの損傷）は「近接」していると判定する。尚、注目点Ｐ１～Ｐ６の個数は、上記の例に限らない。
　また、上記の例は、２種類の線状損傷の間の距離について説明したが、線状損傷と面状損傷と間の距離も同様にポリラインの各注目点とポリゴンとの最短距離を求めて、「近接」の判定を行うことができる。
　本発明の一態様では、損傷の種類に応じて優先順位を定義しておき、同一又は近接する位置から２種類以上の損傷が検出される場合には、優先順位にしたがった損傷の表現を行う。尚、優先順位にしたがった損傷の表現方法の詳細については、後述する。
　［点検支援装置のハードウエア構成］
　図９は、本発明に係る点検支援装置のハードウエア構成の一例を示すブロック図である。
　図１に示す点検支援装置１０としては、パーソナルコンピュータ又はワークステーションを使用することができる。本例の点検支援装置１０は、主として画像取得部１２と、画像データベース１４と、記憶部１６と、操作部１８と、ＣＰＵ（Central Processing Unit）２０と、ＲＡＭ(Random Access Memory)２２と、ＲＯＭ(Read Only Memory)２４と、表示制御部２６とから構成されている。
　画像取得部１２は、入出力インターフェースに相当し、本例では点検対象の構造物を撮影した撮影画像等を取得する。点検対象の構造物は、例えば、橋梁、トンネル等の構造物を含む。
　画像取得部１２が取得する画像は、例えば、カメラを搭載したドローン（無人飛行体）やロボット、又は人手により構造物を撮影した多数の画像（撮影画像群）である。撮影画像群は、構造物の全体を網羅するものであり、かつ隣接する各撮影画像は、重複していることが好ましい。
　画像取得部１２により取得した撮影画像群は、画像データベース１４に格納される。
　記憶部１６は、ハードディスク装置、フラッシュメモリ等から構成されるメモリであり、記憶部１６には、オペレーティングシステム、点検支援プログラムの他、損傷種類の優先順位を示す情報、構造物を示すＣＡＤ（computer-aided design）データ、及びファイル化された損傷点検結果等が記憶される。損傷点検結果は、損傷の種類毎に異なるレイアで損傷情報として記憶することができる。尚、損傷情報は、損傷図を含む。
　ＣＡＤデータは、点検対象の構造物のＣＡＤデータが存在する場合には、それを使用することができる。構造物のＣＡＤデータが存在しない場合には、画像データベース１４に保存された撮影画像群を元に自動的に作成することができる。
　画像データベース１４に格納された撮影画像群が、ドローンに搭載されたカメラで撮影されている場合、撮影画像群の互いに重複する撮影画像間の特徴点を抽出し、抽出した特徴点に基づいて、ドローンに搭載されたカメラの位置及び姿勢を推定し、また、カメラの位置及び姿勢の推定結果から同時に特徴点の３次元位置を推定した３次元点群モデルを生成することができる。
　ドローンによりカメラの撮影位置が動いていく撮影画像群の中から、多数の特徴点の動きをトラッキングし、構造物の３次元構造(Structure)とカメラ姿勢(Motion)とを同時に推定するStructure from Motion(ＳｆＭ)手法がある。近年、bundle adjustmentという最適化計算法が開発され、高精度な出力を出せるようになっている。
　尚、ＳｆＭ手法を適用する場合に必要なカメラのパラメータ（焦点距離、イメージセンサの画像サイズ、画素ピッチ等）は、記憶部１６に記憶させたものを使用することができる。また、生成した３次元点群モデルに基づいて構造物のＣＡＤデータを生成することができる。
　操作部１８は、コンピュータに有線接続又は無線接続されるキーボード及びマウス等を含み、コンピュータの通常の操作指示を行う操作部として機能する他に、構造物を撮影した画像に基づいて検出された構造物の損傷検出結果をユーザ操作により編集し、また、構造物の複数の損傷種類の優先順位をユーザ操作により設定する操作部として機能する。尚、損傷検出結果の編集及び損傷種類の優先順位の設定等の詳細については後述する。
　ＣＰＵ２０は、記憶部１６又はＲＯＭ２４等に記憶された各種のプログラムを読み出し、各部を統括制御するとともに、構造物を撮影した画像に基づいて構造物の損傷（２種類以上の損傷）を検出する損傷検出処理、同一又は近接する位置から２種類以上の損傷が検出されたか否かを判定する判定処理、及び損傷検出処理により検出された損傷検出結果を出力する出力処理等を行う。
　構造物を撮影した画像に基づいて２種類以上の損傷を検出する損傷検出処理は、人工知能（ＡＩ：artificial intelligence）により行うことができる。
　ＡＩとしては、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）による学習済みモデルを使用することができる。
　図１０は、ＣＰＵ等により構成された損傷検出処理部の実施形態を示す概念図である。
　図１０において、損傷検出処理部２１は、複数種類の損傷に対応した複数（本例では３つ）の学習済みモデル２１Ａ、２１Ｂ、及び２１Ｃから構成されている。
　各学習済みモデル２１Ａ、２１Ｂ、及び２１Ｃは、入力層と中間層と出力層とを備え、各層は複数の「ノード」が「エッジ」で結ばれる構造となっている。
　ＣＮＮの入力層には、構造物を撮影した画像１３が入力される。中間層は、畳み込み層とプーリング層とを１セットとする複数セットを有し、入力層から入力した画像から特徴を抽出する部分である。畳み込み層は、前の層で近くにあるノードにフィルタ処理し（フィルタを使用した畳み込み演算を行い）、「特徴マップ」を取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。「畳み込み層」は、画像からのエッジ抽出等の特徴抽出の役割を担い、「プーリング層」は抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。
　ＣＮＮの出力層は、中間層により抽出された特徴を示す特徴マップを出力する部分である。本例の学習済みモデル２１Ａ、２１Ｂ，２１Ｃの出力層は、例えば、画像に写っている構造物の損傷毎の領域をピクセル単位、もしくはいくつかのピクセルを一塊にした単位で領域分類（セグメンテーション）した推論結果を、損傷検出結果２７Ａ，２７Ｂ，２７Ｃとして出力する。
　例えば、学習済みモデル２１Ａは、漏水・面状遊離石灰・錆汁の損傷を検出するように機械学習された学習済みモデルであり、漏水・面状遊離石灰・錆汁のそれぞれの損傷領域及び損傷領域毎の損傷種類を損傷検出結果（認識結果）２７Ａとして出力する。学習済みモデル２１Ｂは、剥離・鉄筋露出の損傷を検出するように機械学習された学習済みモデルであり、剥離・鉄筋露出のそれぞれの損傷領域及び損傷領域毎の損傷種類を損傷検出結果２７Ｂとして出力する。学習済みモデル２１Ｃは、ひび割れ・線状遊離石灰の損傷を検出するように機械学習された学習済みモデルであり、ひび割れ・線状遊離石灰のそれぞれの損傷領域及び損傷領域毎の損傷種類を損傷検出結果２７Ｃとして出力する。
　尚、損傷検出処理部２１は、上記の実施形態に限らず、例えば、損傷種類毎に個別の学習済モデルを有し、各学習済みモデルがそれぞれの損傷種類に対応した損傷領域を損傷検出結果として出力するように構成してもよい。この場合、点検対象の損傷種類の数と同数の学習済みモデルを備えることになる。また、全損傷種類に対応できる一つの学習済モデルを有し、損傷領域と損傷領域ごとの損傷種類を損傷検出結果として出力するように構成してもよい。
　図９に戻って、ＣＰＵ２０は、損傷検出処理により検出された損傷検出結果を、表示制御部２６を介して表示部（ディスプレイ）３０に出力して表示させ、又は損傷検出結果をファイルにして記憶部（メモリ）１６に保存させる。
　ＲＡＭ２２は、ＣＰＵ２０の作業領域として使用され、読み出されたプログラムや各種のデータを一時的に記憶する記憶部として用いられる。
　表示制御部２６は、表示部３０に表示させる表示用データを作成し、表示部３０に出力する部分であり、本例ではＣＰＵ２０による検出された損傷検出結果を表示部３０に表示させ、操作部１８からのユーザ操作に基づく損傷検出結果の編集用の画面等を表示部３０に表示させる。
　表示部３０は、コンピュータに接続可能な液晶モニタ等の各種のディスプレイが用いられ、表示制御部２６から入力する構造物を撮影した画像とともに、画像から検出された損傷検出結果等を表示し、また、操作部１８とともにユーザインターフェースの一部として使用される。
　上記構成の点検支援装置１０のＣＰＵ２０を含むプロセッサは、記憶部１６又はＲＯＭ２４に記憶されている点検支援プログラムを読み出し、点検支援プログラムを実行することで、上記の各処理を行う。
　＜点検支援装置の作用＞
　次に、図９に示した点検支援装置１０の作用について、構造物として橋梁を例に説明する。
　図１１は、点検対象の橋梁の一例を示す斜視図である。
　図１１に示すように橋梁１は、橋脚７の間に渡された主桁２と、主桁２と直交する方向に設けられ、主桁間を連結する横桁３と、主桁２を相互に連結する対傾構４及び横構５とを含む各種の部材から構成され、主桁等の上部には、車輌等が走行するための床版６が打設されている。床版６は、鉄筋コンクリート製のものが一般的である。
　床版６は、通常、主桁２と横桁３とにより画成された矩形形状の格間が基本単位となっており、床版の損傷（ひび割れ、コンクリート剥離など）を点検する場合、格間単位で行われる。
　床版の各格間は、構造物（橋梁）を構成する部材（点検単位）の一つである。尚、橋梁の点検単位は、床版（格間）の他に、構造物を構成する部位・部材区分（主桁２、横桁３、対傾構４、横構５、橋脚７（柱部・壁部、梁部、隅角部・接合部））などがある。
　点検支援装置１０のＣＰＵ２０、記憶部１６に記憶された点検支援プログラム、ＲＡＭ２２及びＲＯＭ２４、表示制御部２６等はプロセッサを構成し、プロセッサは、以下に示す各種の処理を行う。
　プロセッサは、画像データベース１４に格納されている点検対象の構造物（橋梁１）を撮影した複数の画像の中から、点検単位の画像を取得する画像取得処理を行う。
　図１２は、橋梁の点検単位の一つである格間に対応するオルソ画像の一例を示す図である。
　オルソ画像は、構造物（格間）を撮影した画像を、格間の面に正射影された画像である。１つの格間のオルソ画像は、画像データベース１４に格納された撮影画像群から、その格間に対応する複数の画像を抽出し、抽出した複数の画像をパノラマ合成し、パノラマ合成した画像を、格間の面に射影変換することで作成することができる。
　図１０に示した損傷検出処理部２１は、格間のオルソ画像（画像１３）を入力すると、入力した画像１３に基づいて格間における損傷を検出し、その損傷検出結果２７Ａ～２７Ｃを出力する。
　図１３は、図１２に示したオルソ画像に基づいて検出された損傷検出結果の一例を示す図である。
　図１３に示す損傷検出結果は、点検対象の格間の損傷を示す損傷図を示している。
　図１３に示す損傷図には、５本のひび割れＣ１～Ｃ５、コンクリートの剥離Ｈ１が図示されている。
　図１３に示す損傷図は、オルソ画像上で検出された各ひび割れＣ１～Ｃ５（線状損傷）に沿ったポリラインによる描画パターンと、剥離Ｈ１（面状損傷）の領域を囲むポリゴンによる描画パターン、又はポリゴン内を塗り潰した画像で表現されている。
　図１４は、格間に対応する損傷図が重畳されたオルソ画像の一例を示す図である。
　図１４に示す損傷図が重畳されたオルソ画像は、図１２に示したオルソ画像に図１３に示した損傷図を重畳することで作成することができる。
　損傷図は、損傷種類に応じた色を損傷箇所に付して作成することができ、オルソ画像に損傷図を重畳することで、損傷箇所を容易に視認することができる。
　図１５は、損傷検出結果に含まれる損傷数量表の一例を示す図表である。
　図１５に示す損傷数量表には、損傷識別情報（ＩＤ：identification）、損傷種類、サイズ（幅）、サイズ（長さ）、サイズ（面積）の項目を有し、損傷毎に各項目に対応する情報が記載されている。
　線状損傷であるひび割れの場合、各ひび割れＣ１～Ｃ５の長さや幅の定量化を行い、面状損傷である剥離の場合、剥離Ｈ１の領域の面積の定量化を行い、損傷数量表には、これらの情報が、損傷ＩＤに関連付けられて記載される。
　［損傷検出結果出力の第１実施形態］
　図１６は、損傷検出処理部によるひび割れ及び線状の遊離石灰の損傷検出結果と、その出力処理との一例を示す模式図である。
　図１６（Ａ）は、図１０に示した損傷検出処理部２１（学習済みモデル２１Ｃ）に画像１３が入力され、学習済みモデル２１Ｃによりひび割れＢと線状の遊離石灰Ｃ２のそれぞれの損傷領域及び損傷領域毎の損傷種類を示す損傷検出結果が検出された場合に関して示している。この場合、ＣＰＵ２０は、これらのひび割れＢと線状の遊離石灰Ｃ２とが、それぞれ同一又は近接する位置から検出されたか否かを判定する判定処理を行う。
　図１６（Ａ）に示す例では、ひび割れＢと線状の遊離石灰Ｃ２とは、便宜上、並んで図示されているが、線状の遊離石灰Ｃ２は、コンクリート部材に発生したひび割れＢに石灰成分が詰まっている状態のものである。したがって、線状の遊離石灰Ｃ２とひび割れＢとは略同じ形状であり、線状の遊離石灰Ｃ２には、その線状の遊離石灰Ｃ２と同一の位置（領域）にひび割れＢが発生している。
　図１６（Ａ）に示すひび割れＢと線状の遊離石灰Ｃ２の場合、ＣＰＵ２０は、ひび割れＢと線状の遊離石灰Ｃ２とが、それぞれ同一又は近接する位置から検出されたものと判定する。そして、ひび割れＢと線状の遊離石灰Ｃ２とが、それぞれ同一又は近接する位置から検出されたもの判定すると、ＣＰＵ２０は、損傷種類の優先順位にしたがって損傷検出結果を出力する出力処理を行う。
　本例では、損傷種類の優先順位として、ひび割れＢよりも線状の遊離石灰Ｃ２の優先順位が高く設定されているため、ＣＰＵ２０は、図１６（Ｂ）に示すように線状の遊離石灰Ｃ２の領域を塗り潰した損傷画像を表示制御部２６を介して表示部３０に表示させ、あるいは線状の遊離石灰Ｃ２のポリラインを示す損傷図のＣＡＤデータをファイル出力する。損傷図のＣＡＤデータのファイルは、損傷が検出された画像と関連付けて、記憶部１６に記憶させることが好ましい。
　図１７は、損傷検出処理部によるひび割れ及び線状の遊離石灰の損傷検出結果と、その出力処理との他の例を示す模式図である。
　図１７（Ａ）に示す例では、ひび割れＢと線状の遊離石灰Ｃ２とが検出され、ひび割れＢの一部と線状の遊離石灰Ｃ２の一部とが、同一の位置に発生している。
　この場合、ＣＰＵ２０は、ひび割れＢの一部と線状の遊離石灰Ｃ２の一部とが、それぞれ同一位置から検出されたものと判定する。そして、ＣＰＵ２０は、ひび割れＢの一部と線状の遊離石灰Ｃ２との重複する部分については、ＣＰＵ２０は、図１７（Ｂ）に示すように線状の遊離石灰Ｃ２の領域を塗り潰した損傷画像を、表示制御部２６を介して表示部３０に表示させ、あるいは線状の遊離石灰Ｃ２のポリラインを示す損傷図のＣＡＤデータをファイル出力する。
　尚、ＣＰＵ２０は、線状の遊離石灰Ｃ２と重複していないひび割れＢの残りの部分は、そのままひび割れＢの領域を塗り潰した損傷画像を表示制御部２６を介して表示部３０に表示させ、あるいはひび割れＢのポリラインを示す損傷図のＣＡＤデータをファイル出力する。また、ひび割れＢを示す損傷画像及びＣＡＤデータと、線状の遊離石灰Ｃ２を示す損傷画像及びＣＡＤデータとは、例えば、線種（例えば、色）を変えて識別できるようにすることが好ましい。
　図１８は、損傷検出処理部による面状の遊離石灰及び線状の遊離石灰の損傷検出結果と、その出力処理との一例を示す模式図である。
　図１８（Ａ）は、図１０に示した損傷検出処理部２１（学習済みモデル２１Ａ，２１Ｃ）にそれぞれ画像１３が入力され、学習済みモデル２１Ａにより面状の遊離石灰Ｃ１の損傷領域が検出され、学習済みモデル２１Ｃにより線状の遊離石灰Ｃ２の損傷領域が検出された場合に関して示している。この場合、ＣＰＵ２０は、これらの面状の遊離石灰Ｃ１と線状の遊離石灰Ｃ２とが、それぞれ同一又は近接する位置から検出されたか否かを判定する。
　図１８（Ａ）に示す例では、面状の遊離石灰Ｃ１と線状の遊離石灰Ｃ２との一部が互いに重なって発生しているため、ＣＰＵ２０は、面状の遊離石灰Ｃ１と線状の遊離石灰Ｃ２とは、それぞれ同一又は近接する位置から検出されたものと判定する。そして、面状の遊離石灰Ｃ１と線状の遊離石灰Ｃ２とが、それぞれ同一又は近接する位置から検出されたもの判定すると、ＣＰＵ２０は、損傷種類の優先順位にしたがって損傷検出結果を出力する。
　図１８に示す例では、面状の遊離石灰Ｃ１、線状の遊離石灰Ｃ２の順に優先順位が低くなるように設定されているため、ＣＰＵ２０は、図１８（Ｂ）に示すように面状の遊離石灰Ｃ１と線状の遊離石灰Ｃ２とが重複する部分については面状の遊離石灰Ｃ１を優先させ、面状の遊離石灰Ｃ１の損傷領域を特定の色で塗り潰した損傷画像を、表示制御部２６を介して表示部３０に表示させるとともに、重複していない線状の遊離石灰Ｃ２の一部の領域を塗り潰した損傷画像を、表示制御部２６を介して表示部３０に表示させる。また、ＣＰＵ２０は、図１８（Ｃ）に示すように面状の遊離石灰Ｃ１と線状の遊離石灰Ｃ２とが重複する部分については、面状の遊離石灰Ｃ１の損傷領域を囲むポリゴンのＣＡＤデータとともに、重複していない線状の遊離石灰Ｃ２の一部のポリラインのＣＡＤデータをファイル出力する。
　図１９は、損傷検出処理部による面状の遊離石灰及び線状の遊離石灰の損傷検出結果と、その出力処理との他の例を示す模式図である。
　図１９に示す例は、図１８に示した例と比較して、面状の遊離石灰Ｃ１の優先順位と線状の遊離石灰Ｃ２の優先順位との順番が逆転して設定されており、線状の遊離石灰Ｃ２の優先順位が面状の遊離石灰Ｃ１の優先順位よりも高くなっている。
　図１９（Ａ）に示すように面状の遊離石灰Ｃ１と線状の遊離石灰Ｃ２との一部が互いに重なっている場合、ＣＰＵ２０は、図１９（Ｂ）に示すように面状の遊離石灰Ｃ１と線状の遊離石灰Ｃ２とが重複する部分については、線状の遊離石灰Ｃ２の領域を塗り潰した損傷画像を優先させて表示させ、同様に線状の遊離石灰Ｃ２のポリラインのＣＡＤデータを優先させてファイル出力する。この場合、面状の遊離石灰Ｃ１については、損傷画像もＣＡＤデータも出力されないことになる。
　図２０は、損傷検出処理部による錆汁、面状の遊離石灰及び漏水の損傷検出結果と、その出力処理との一例を示す模式図である。
　図２０（Ａ）は、図１０に示した損傷検出処理部２１（学習済みモデル２１Ａ）に画像１３が入力され、学習済みモデル２１Ａにより錆汁Ｄ、面状の遊離石灰Ｃ１及び漏水Ａの損傷領域が検出された場合に関して示している。この場合、ＣＰＵ２０は、これらの錆汁Ｄ、面状の遊離石灰Ｃ１及び漏水Ａが、それぞれ同一又は近接する位置から検出されたか否かを判定する。
　図２０（Ａ）に示す例では、漏水Ａの領域の内側に面状の遊離石灰Ｃ１が発生し、面状の遊離石灰Ｃ１の内側に錆汁Ｄが発生しているため、これらの損傷は、損傷の全部又は一部が互いに重なっている。
　図２０（Ａ）に示す錆汁Ｄ、面状の遊離石灰Ｃ１及び漏水Ａの場合、ＣＰＵ２０は、これらの損傷は、それぞれ同一又は近接する位置から検出されたものと判定する。そして、錆汁Ｄ、面状の遊離石灰Ｃ１及び漏水Ａが、それぞれ同一又は近接する位置から検出されたもの判定すると、ＣＰＵ２０は、損傷種類の優先順位にしたがって損傷検出結果を出力する。
　図２０に示す例では、錆汁Ｄ、面状の遊離石灰Ｃ１、及び漏水Ａの順に優先順位が低くなるように設定されているため、ＣＰＵ２０は、図２０（Ｂ）に示すように漏水Ａの領域の上に面状の遊離石灰Ｃ１の領域を重ね、更に面状の遊離石灰Ｃ１の領域の上に錆汁Ｄの領域を重ね、それぞれ損傷種類毎に異なる色で各領域を塗り潰した損傷画像を、表示制御部２６を介して表示部３０に表示させる。また、ＣＰＵ２０は、図２０（Ｃ）に示すように錆汁Ｄ、面状の遊離石灰Ｃ１、及び漏水Ａの各領域を囲むポリゴンのＣＡＤデータをファイル出力する。
　図２１は、損傷検出処理部による錆汁、面状の遊離石灰及び漏水の損傷検出結果と、その出力処理との他の例を示す模式図である。
　図２１に示す例は、図２０に示した例と比較して、錆汁Ｄ、面状の遊離石灰Ｃ１、及び漏水Ａの優先順位が逆転して設定されており、漏水Ａ、面状の遊離石灰Ｃ１、及び錆汁Ｄの順に優先順位が低くなるように設定されている。
　図２１（Ａ）に示すように錆汁Ｄ、面状の遊離石灰Ｃ１、及び漏水Ａの全部又は一部が互いに重なっている場合、ＣＰＵ２０は、図２１（Ｂ）に示すように優先順位が最も高い漏水Ａの領域を塗り潰した損傷画像を優先させて表示させる。この場合、漏水Ａの領域の内側に存在する錆汁Ｄ、面状の遊離石灰Ｃ１の損傷画像は表示されなくなる。また、ＣＰＵ２０は、図２１（Ｃ）に示すように優先順位が最も高い漏水Ａの領域を囲むポリゴンのＣＡＤデータを優先させてファイル出力する。この場合、漏水Ａの領域の内側に存在する錆汁Ｄ、面状の遊離石灰Ｃ１を囲むポリゴンのＣＡＤデータは出力されないことになる。
　尚、損傷種類の優先順位は、上記の例に限定されないが、損傷の重大度（より損傷が進行しているもの）に応じて優先順位を設定することが好ましい。例えば、損傷種類として、線状の遊離石灰、及びひび割れを含む線状損傷の場合、線状の遊離石灰は、ひび割れよりも優先順位を高くする。また、損傷種類として、鉄筋露出、剥離、錆汁、面状の遊離石灰、及び漏水を含む面状損傷の場合、鉄筋露出、剥離、錆汁、面状の遊離石灰、及び漏水の順に優先順位を低く設定する。
　また、損傷種類の優先順位は、操作部１８を使用してユーザが適宜設定できるようにしてもよい。この場合、ＣＰＵ２０は、ユーザにより操作される操作部１８から構造物の損傷種類の優先順位を受け付ける優先順位受付処理を行い、受け付けた優先順位を記憶部１６等に保存しておき、必要に応じて記憶部１６から優先順位を読み出して使用することができる。
　［損傷検出結果出力の第２実施形態］
　図２２及び図２３は、それぞれ損傷検出結果出力の第２実施形態を示すＧＵＩ（Graphical User Interface）のイメージ図である。
　図２２は、表示部３０に表示される画面４０の一例を示す図である。
　この画面４０には、構造物を撮影した画像上に損傷画像を重畳した合成画像、表示させる損傷種類を選択するためのチェックボックス４２、及び編集等に使用する種々のアイコンボタン類が表示されている。尚、構造物を撮影した画像に基づいて損傷検出処理部２１により検出された損傷種類毎の損傷検出結果は、損傷種類毎の損傷領域を示すレイヤー構造のＣＡＤデータとして保持することができる。
　図２２に示す例では、チェックボックス４２において、漏水、遊離石灰、錆汁、剥離、及び鉄筋露出の５つの損傷種類の全てにチェックが入っている（５つの損傷種類が選択されている）ため、画面４０に表示される構造物の画像上には、上記５つの損傷種類の損傷画像が重畳表示される。
　ここで、損傷種類に対応する損傷画像は、その損傷種類に対応するレイヤーのＣＡＤデータに基づいて損傷領域を損傷種類に応じた色で塗り潰して作成することができる。損傷種類に応じた色は、予め損傷種類に応じて設定された色、又はユーザが設定した色を使用することができる。
　図２３は、表示部３０に表示される画面４０の他の例を示す図である。
　図２３に示す例では、図２２に示した例と比較して、画面４０に表示する損傷画像が異なっている。
　図２３に示す画面４０では、チェックボックス４２において、漏水、錆汁、及び鉄筋露出の３つの損傷種類にチェックが入っているため、画面４０に表示される構造物の画像上には、上記３つの損傷種類の損傷画像が重畳表示される。
　したがって、図２３に示す画面４０では、図２２に示した画面４０と比較して、遊離石灰及び剥離に対応する損傷画像が消去されている点で相違する。
　上記の損傷検出結果出力の第２実施形態によれば、ユーザが所望の１乃至複数の損傷種類を選択することで、選択した損傷種類の損傷を示す損傷画像を表示させることができる。尚、チェックボックス４２には、画像から検出された１乃至複数の損傷種類のみを表示することが好ましい。また、損傷種類毎の損傷領域の表示方法は、図２２及び図２３に示した実施形態に限定されない。
　［損傷検出結果出力の第３実施形態］
　図２４から図２６は、それぞれ損傷検出結果出力の第３実施形態を示すＧＵＩのイメージ図である。
　図２４（Ａ）は、各種の設定を行う設定画面４４の一例を示す図である。
　図２４（Ａ）に示す設定画面４４では、損傷等の色を設定する「タブ」が選択されており、この設定画面を使用することで、ユーザは、図２２等に示した損傷種類に応じた損傷画像の色を設定することができる。
　また、図２４（Ａ）に示す設定画面４４には、損傷画像の色（塗り潰し色）の透明度を設定する場合に使用するつまみ４５Ａと、透明度を表示するダイアログボックス４５Ｂとが設けられている。
　図２４（Ａ）に示す例では、損傷画像の塗り潰し色の透明度として、「１０」が設定されている。尚、本例では、不透明の場合の透明度は「０」であり、完全な透明の場合の透明度は「１００」である。
　図２４（Ｂ）は、構造物を撮影した画像上に透明度「１０」の損傷画像が重畳表示された合成画像を示す図である。
　図２４（Ｂ）に示す合成画像は、図２４（Ａ）に示す設定画面にて透明度「１０」が設定された後、設定画面を閉じることで表示することができる。
　図２５（Ａ）は、透明度が「５０」に設定された設定画面を示し、図２５（Ｂ）は、構造物を撮影した画像上に透明度「５０」の損傷画像が重畳表示された合成画像を示す図である。
　また、図２６（Ａ）は、透明度が「１００」に設定された設定画面を示し、図２６（Ｂ）は、構造物を撮影した画像上に透明度「１００」の損傷画像が重畳表示された合成画像を示す図である。
　尚、図２６（Ｂ）では、塗り潰し色の透明度が「１００」であるため、塗り潰し色は、完全に透明であるが、損傷種類毎の損傷領域を囲む閉じたポリゴンは、損傷種類に応じて設定された色で表示されている。
　このようにして損傷画像を塗り潰す色の透明度を設定して損傷画像を表示することで、ユーザは、損傷画像により覆われている構造物の画像（損傷）を視認することができる。
　尚、損傷検出結果出力の第２実施形態と第３実施形態とは組み合わせて使用することができる。
　［損傷検出結果の編集］
　図１０に示した損傷検出処理部２１は、構造物を撮影した画像１３を入力すると、損傷種類及び損傷種類毎の損傷領域を損傷検出結果として出力するが、損傷検出結果は、誤って検出され、又は不正確に検出される場合がある。
　例えば、損傷領域は、ピクセル単位、もしくはいくつかのピクセルを一塊にした単位で領域分類されるため、正確性に欠ける場合がある。また、２本のひび割れとして検出されたひび割れは、１本のひび割れとして連結した方がよい場合がある。コンクリート内部でひび割れが繋がっていると類推できる場合があるからである。
　そこで、ＣＰＵ２０は、ユーザにより操作される操作部１８（例えば、マウス）での操作を通じて損傷検出結果の編集指示を受け付ける編集指示受付処理を行い、受け付けた編集指示にしたがって損傷検出結果を編集する編集処理を行う。
　損傷検出結果の編集例としては、同じ種類の線状損傷で、ポリラインの端点同士が近い線状損傷の場合には、端点同士を連結する編集が考えられる。この場合の編集は、損傷検出処理後に同じ種類の線状損傷のポリラインの端点同士の距離を測定し、測定した距離が閾値以下の場合には、端点同士を自動で連結してもよいし、ユーザの指示により自動で連結してもよい。閾値は、デフォルトの値を使用してもよいし、ユーザが設定できるようにしてもよい。
　また、線状損傷の長さや幅に対する閾値や、面状損傷の面積に対する閾値を設けて、閾値より小さい損傷検出結果を自動で削除するようにしてもよい。この損傷検出結果の削除は、損傷検出処理後に自動で削除してもよいし、ユーザの指示により削除してもよい。閾値は、デフォルトの値を使用してもよいし、ユーザが設定できるようにしてもよい。
　図２７及び図２８は、それぞれ損傷検出結果の編集例を示す図である。尚、損傷検出結果の編集を行う場合には、損傷検出結果出力の第３実施形態で示したように、損傷画像を塗り潰す色の透明度を高く設定し、構造物の画像が視認し易い状態にすることが好ましい。
　図２７は、損傷の領域を囲むポリゴンに頂点を追加する方法を示す図である。
　ポリゴンは、損傷の領域に沿った複数の頂点（図２７では、四角で示した頂点）を結んで描画されている。
　このポリゴンに頂点を追加する場合には、図２７（Ａ）に示すように頂点を追加したいポリゴンの線上にマウスのカーソルを合わせ、マウスを右クリックし、コンテキストメニューで［追加］を選択する。これにより、図２７（Ｂ）に示すようにポリゴンの線上に新たな頂点を追加することができる。
　そして、追加した頂点をドラッグし、本来の損傷の領域のエッジに移動させることで、損傷の領域を囲むポリゴンを編集することができる。
　図２８は、損傷の領域を囲むポリゴンから頂点を削除する方法を示す図である。
　このポリゴンから頂点を削除する場合には、図２８（Ａ）に示すように削除したい頂点にマウスのカーソルを合わせ、マウスで右クリックし（頂点を選択状態にし）、コンテキストメニューで［削除］を選択する。これにより、図２８（Ｂ）に示すようにポリゴンから頂点を削除することができる。
　図２８（Ｂ）に示すようにポリゴンから頂点が削除されると、削除された頂点の前後の頂点の間でポリゴンの線が結ばれ、これにより損傷の領域を囲むポリゴンが編集される。
　上記の編集例は、面状損傷のポリゴンにおける頂点の追加、削除等の編集について説明したが、線状損傷のポリラインにおける頂点の追加、削除等の編集も同様に行うことができる。
　また、編集機能として、ポリラインまたはポリゴン全体を、頂点を結ぶ線をクリックする等により選択状態にし、ポリラインまたはポリゴンの全体の一括削除する機能や、損傷の検出漏れ箇所に対し、手動でポリラインまたはポリゴンを新たに追加する機能等を有する。
　［点検支援方法］
　図２９は、本発明係る点検支援方法の実施形態を示すフローチャートである。
　図２９に示す各ステップの処理は、例えば、図９に示した点検支援装置１０のＣＰＵ２０等により構成されるプロセッサにより行われる。
　図２９において、プロセッサは、点検対象の構造物を撮影した画像を画像取得部１２又は画像データベース１４等から取得する（ステップＳ１０）。
　損傷検出処理部２１（図１０）は、ステップＳ１０で取得した画像に基づいて構造物の損傷を検出する（ステップＳ１２）。
　プロセッサは、ステップＳ１２で行われる損傷検出により、損傷が検出されたか否かを判別し（ステップＳ１４）、損傷が検出されている場合（「Yes」の場合）には、２種類以上の損傷が検出されたか否かを判別する（ステップＳ１６）。
　ステップＳ１６により２種類以上の損傷が検出されたことが判別されると（「Yes」の場合）、プロセッサは、更にその２種類以上の損傷のうち、同一又は近接する位置から２種類以上の損傷が検出されたか否かを判定する（ステップＳ１８）。
　そして、ステップＳ１８により、同一又は近接する位置から２種類以上の損傷が検出されたことが判定されると（「Yes」の場合）、プロセッサは、損傷種類の優先順位にしたがって損傷検出結果を出力する（ステップＳ２０）。損傷検出結果の出力は、例えば、画像上に損傷画像を重畳し、又は損傷画像単独で表示部に表示し、又は損傷図を示すＣＡＤデータをファイル出力することにより行われる。
　一方、ステップＳ１６で２種類以上の損傷が検出されない場合（「No」の場合）、即ち、１種類の損傷のみが検出された場合、あるいはステップＳ１８で２種類以上の損傷が、同一又は近接する位置から検出されていないと判定された場合（「No」の場合）には、ステップＳ２２に遷移し、ステップＳ２２では、１乃至２種類以上の損傷検出結果をそのまま出力する。
　［その他］
　本発明に係る点検支援装置を実現するハードウエアは、各種のプロセッサ（processor）で構成できる。各種プロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device；ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。点検支援装置を構成する１つの処理部は、上記各種プロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip；ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウエア的な構造として、上記各種プロセッサを１つ以上用いて構成される。更に、これらの各種のプロセッサのハードウエア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　また、本発明は、コンピュータにインストールされることにより、コンピュータを本発明に係る点検支援装置として機能させる点検支援プログラム、及びこの点検支援プログラムが記録された記憶媒体を含む。
　更にまた、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１　橋梁
２　主桁
３　横桁
４　対傾構
５　横構
６　床版
７　橋脚
１０　点検支援装置
１２　画像取得部
１３　画像
１４　画像データベース
１６　記憶部
１８　操作部
２０　ＣＰＵ
２１　損傷検出処理部
２１Ａ　学習済みモデル
２２　ＲＡＭ
２４　ＲＯＭ
２６　表示制御部
２７Ａ～２７Ｃ　損傷検出結果
３０　表示部
４０　画面
４２　チェックボックス
４４　設定画面
４５Ａ　つまみ
４５Ｂ　ダイアログボックス
Ａ　漏水
Ｂ、Ｃ１～Ｃ５　ひび割れ
Ｃ１　遊離石灰（面状）
Ｃ２　遊離石灰（線状）
Ｄ　錆汁
Ｅ　剥離
Ｆ　鉄筋露出
Ｈ１　剥離
Ｌ１～Ｌ６　最短距離
Ｐ１～Ｐ６　注目点
Ｓ１０～Ｓ２２　ステップ
Ｘ，Ｙ　ポリライン

Claims (16)

  1. 　プロセッサを備えた点検支援装置であって、
    　前記プロセッサは、
    　点検対象の構造物を撮影した画像を取得する画像取得処理と、
    　前記取得した画像に基づいて前記構造物の損傷を検出する損傷検出処理と、
    　前記損傷検出処理により前記構造物の２種類以上の損傷が検出された場合に、前記２種類以上の損傷のうち、同一又は近接する位置から２種類以上の損傷が検出されたか否かを判定する判定処理と、
    　前記損傷検出処理により検出された損傷検出結果を出力する出力処理であって、前記判定処理により、前記同一又は近接する位置から２種類以上の損傷が検出されたことが判定されると、損傷種類の優先順位にしたがって損傷検出結果を出力する出力処理と、
    　を行う点検支援装置。
  2. 　前記損傷検出処理は、前記画像に基づいて損傷領域及び損傷領域毎の損傷種類を検出し、
    　前記判定処理は、同一又は近接する損傷領域で２種類以上の損傷種類が検出されたか否かを判定し、
    　前記出力処理は、前記判定処理により、同一又は近接する損傷領域で２種類以上の損傷種類が検出されたことが判定されると、前記同一又は近接する損傷領域の損傷検出結果として最も優先順位が高い損傷種類の損傷検出結果を出力する、
    　請求項１に記載の点検支援装置。
  3. 　前記近接する位置は、前記２種類以上の損傷間の距離が閾値以下になる位置である、請求項１又は２に記載の点検支援装置。
  4. 　前記損傷検出処理は、前記画像を入力すると、損傷領域及び損傷領域毎の損傷種類を認識結果として出力する学習済みモデルが実行する、
    　請求項１から３のいずれか１項に記載の点検支援装置。
  5. 　前記出力処理は、前記損傷種類が線状損傷の場合と、前記損傷種類が面状損傷の場合とで、異なる描画パターンを出力する、
    　請求項１から４のいずれか１項に記載の点検支援装置。
  6. 　前記出力処理は、前記損傷種類が線状損傷の場合、前記線状損傷を閉じない線を示す損傷図を出力し、前記損傷種類が面状損傷の場合、前記面状損傷を囲む閉じた線を示す損傷図を出力する、
    　請求項５に記載の点検支援装置。
  7. 　前記出力処理は、前記損傷種類が線状損傷の場合、少なくとも前記線状損傷を塗り潰した損傷画像を出力し、前記損傷種類が面状損傷の場合、少なくとも前記面状損傷を塗り潰した損傷画像を出力する、
    　請求項５に記載の点検支援装置。
  8. 　前記出力処理は、前記損傷検出結果をディスプレイに出力して表示させ、又は前記損傷検出結果をファイルにしてメモリに保存させる、
    　請求項１から７のいずれか１項に記載の点検支援装置。
  9. 　前記損傷種類の優先順位は、損傷の重大度に応じて予め設定された優先順位である、請求項１から８のいずれか１項に記載の点検支援装置。
  10. 　前記損傷種類として、線状の遊離石灰、及びひび割れを含む線状損傷の場合、線状の遊離石灰は、ひび割れよりも優先順位が高い、
    　請求項９に記載の点検支援装置。
  11. 　前記損傷種類として、鉄筋露出、剥離、錆汁、面状の遊離石灰、及び漏水を含む面状損傷の場合、鉄筋露出、剥離、錆汁、面状の遊離石灰、及び漏水の順に優先順位が低く設定される、
    　請求項９又は１０に記載の点検支援装置。
  12. 　前記プロセッサは、ユーザにより操作される操作部から構造物の損傷種類の優先順位を受け付ける優先順位受付処理を行い、
    　前記損傷種類の優先順位は、ユーザから前記操作部を介して受け付けた優先順位である、
    　請求項１から１１のいずれか１項に記載の点検支援装置。
  13. 　前記プロセッサは、
    　ユーザにより操作される操作部から前記損傷検出結果の編集指示を受け付ける編集指示受付処理と、
    　前記受け付けた編集指示にしたがって前記損傷検出結果を編集する編集処理と、を行う、
    　請求項１から１２のいずれか１項に記載の点検支援装置。
  14. 　前記損傷検出結果は、損傷識別情報、損傷種類及びサイズの項目を有し、前記検出した損傷毎に各項目に対応する情報が記載された損傷数量表を含む、
    　請求項１から１３のいずれか１項に記載の点検支援装置。
  15. 　プロセッサにより点検対象の構造物の点検支援を行う点検支援方法であって、
    　前記プロセッサの各処理は、
    　前記点検対象の構造物を撮影した画像を取得するステップと、
    　前記取得した画像に基づいて前記構造物の損傷を検出するステップと、
    　前記検出された前記構造物の２種類以上の損傷のうち、同一又は近接する位置から２種類以上の損傷が検出されたか否かを判定するステップと、
    　前記検出された損傷検出結果を出力するステップであって、前記判定するステップにより、前記同一又は近接する位置から２種類以上の損傷が検出されたことが判定されると、損傷種類の優先順位にしたがって損傷検出結果を出力するステップと、
    　を含む点検支援方法。
  16. 　点検対象の構造物の点検支援を行う方法をコンピュータに実行させる点検支援プログラムであって、前記方法は、
    　前記点検対象の構造物を撮影した画像を取得するステップと、
    　前記取得した画像に基づいて前記構造物の損傷を検出するステップと、
    　前記検出された前記構造物の２種類以上の損傷のうち、同一又は近接する位置から２種類以上の損傷が検出されたか否かを判定するステップと、
    　前記検出された損傷検出結果を出力するステップであって、前記判定するステップにより、前記同一又は近接する位置から２種類以上の損傷が検出されたことが判定されると、損傷種類の優先順位にしたがって損傷検出結果を出力するステップと、
    　を含む点検支援プログラム。
PCT/JP2021/007649 2020-03-31 2021-03-01 点検支援装置、方法及びプログラム WO2021199830A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2022511672A JP7364786B2 (ja) 2020-03-31 2021-03-01 点検支援装置、方法及びプログラム
EP21781590.1A EP4131157A4 (en) 2020-03-31 2021-03-01 INSPECTION AUXILIARY DEVICE, METHOD AND PROGRAM
CN202180022542.7A CN115315625A (zh) 2020-03-31 2021-03-01 检修辅助装置、方法及程序
US17/932,076 US20230003663A1 (en) 2020-03-31 2022-09-14 Inspection support device, inspection support method, and inspection support program
JP2023172856A JP2023168548A (ja) 2020-03-31 2023-10-04 点検支援装置、方法及びプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020064083 2020-03-31
JP2020-064083 2020-03-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/932,076 Continuation US20230003663A1 (en) 2020-03-31 2022-09-14 Inspection support device, inspection support method, and inspection support program

Publications (1)

Publication Number Publication Date
WO2021199830A1 true WO2021199830A1 (ja) 2021-10-07

Family

ID=77927742

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/007649 WO2021199830A1 (ja) 2020-03-31 2021-03-01 点検支援装置、方法及びプログラム

Country Status (5)

Country Link
US (1) US20230003663A1 (ja)
EP (1) EP4131157A4 (ja)
JP (2) JP7364786B2 (ja)
CN (1) CN115315625A (ja)
WO (1) WO2021199830A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7401478B2 (ja) * 2021-03-12 2023-12-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US20230222643A1 (en) * 2022-01-11 2023-07-13 Bentley Systems, Incorporated Semantic deep learning and rule optimization for surface corrosion detection and evaluation
CN117095294B (zh) * 2023-08-24 2024-06-25 中建安装集团黄河建设有限公司 一种预制楼板施工质量诊断方法、介质及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002188998A (ja) 2001-10-03 2002-07-05 Keisoku Kensa Kk トンネルの内部壁面のひび割れ検出方法及びその表示方法
JP2006112127A (ja) * 2004-10-15 2006-04-27 Hitachi Ltd 道路管理システム
JP2006170871A (ja) * 2004-12-17 2006-06-29 Nippon Steel Corp 帯状体又は柱状体の表面疵検査方法およびその装置
WO2017056930A1 (ja) * 2015-09-30 2017-04-06 富士フイルム株式会社 画像登録装置及び画像登録方法及び画像登録システム及び撮像端末
WO2017130699A1 (ja) * 2016-01-26 2017-08-03 富士フイルム株式会社 ひび割れ情報検出装置、ひび割れ情報検出方法およびひび割れ情報検出プログラム
WO2018165753A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4515627B2 (ja) * 2000-12-08 2010-08-04 オリンパス株式会社 撮像装置
JP6833366B2 (ja) * 2016-07-06 2021-02-24 キヤノン株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
CN108122801B (zh) * 2017-12-12 2021-07-09 武汉新芯集成电路制造有限公司 晶圆标记方法及晶圆标记系统
JP2019132637A (ja) * 2018-01-30 2019-08-08 株式会社日立ハイテクノロジーズ 欠陥観察装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002188998A (ja) 2001-10-03 2002-07-05 Keisoku Kensa Kk トンネルの内部壁面のひび割れ検出方法及びその表示方法
JP2006112127A (ja) * 2004-10-15 2006-04-27 Hitachi Ltd 道路管理システム
JP2006170871A (ja) * 2004-12-17 2006-06-29 Nippon Steel Corp 帯状体又は柱状体の表面疵検査方法およびその装置
WO2017056930A1 (ja) * 2015-09-30 2017-04-06 富士フイルム株式会社 画像登録装置及び画像登録方法及び画像登録システム及び撮像端末
WO2017130699A1 (ja) * 2016-01-26 2017-08-03 富士フイルム株式会社 ひび割れ情報検出装置、ひび割れ情報検出方法およびひび割れ情報検出プログラム
WO2018165753A1 (en) * 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms

Also Published As

Publication number Publication date
JP7364786B2 (ja) 2023-10-18
JPWO2021199830A1 (ja) 2021-10-07
EP4131157A1 (en) 2023-02-08
CN115315625A (zh) 2022-11-08
JP2023168548A (ja) 2023-11-24
EP4131157A4 (en) 2023-06-14
US20230003663A1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
WO2021199830A1 (ja) 点検支援装置、方法及びプログラム
Kim et al. Automated dimensional quality assessment for formwork and rebar of reinforced concrete components using 3D point cloud data
Ribeiro et al. Remote inspection of RC structures using unmanned aerial vehicles and heuristic image processing
Miao et al. Cost-effective system for detection and quantification of concrete surface cracks by combination of convolutional neural network and image processing techniques
Pantoja-Rosero et al. Damage-augmented digital twins towards the automated inspection of buildings
JP7146013B2 (ja) サーバ装置、画像処理方法、及びプログラム
Perera et al. Cycle graph analysis for 3D roof structure modelling: Concepts and performance
Kong et al. Preserving our heritage: A photogrammetry-based digital twin framework for monitoring deteriorations of historic structures
JP7547069B2 (ja) 情報処理装置、情報処理装置の情報処理方法およびプログラム
JP7385942B2 (ja) コンテキストアウェアな意味的コンピュータ視覚技術を使用して公共基幹施設の異常を検出するシステム及び方法
JP2021196705A (ja) 画像処理装置、画像処理方法およびプログラム
JPWO2019021719A1 (ja) 損傷データ編集装置、損傷データ編集方法、およびプログラム
JP6894361B2 (ja) コンクリート表面上のひび割れ方向特定方法、ひび割れ方向特定装置、ひび割れ方向特定システム及びプログラム
US20230260098A1 (en) Structure inspection assistance apparatus, structure inspection assistance method, and program
Kim et al. Automated damage localization and quantification in concrete bridges using point cloud-based surface-fitting strategy
Kim et al. 3D reconstruction of large-scale scaffolds with synthetic data generation and an upsampling adversarial network
JP2024012527A (ja) 情報表示装置、方法及びプログラム
JP2022062915A (ja) 情報処理装置、情報処理方法及びプログラム
US20220406018A1 (en) Three-dimensional display device, three-dimensional display method, and three-dimensional display program
Wójcik et al. Asesment of state-of-the-art methods for bridge inspection: case study
JP7429774B2 (ja) 損傷評価装置、方法及びプログラム
WO2020116279A1 (ja) 構造物の点検支援装置及び方法
Merkle et al. Semi-automatic 3D crack map generation and width evaluation for structural monitoring of reinforced concrete structures.
Wu et al. Deep learning-based defect detection and assessment for engineering structures
Wang et al. Automatic Quality Inspection of Rebar Spacing Using Vision-Based Deep Learning with RGBD Camera

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21781590

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022511672

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021781590

Country of ref document: EP

Effective date: 20221031