WO2020121917A1 - 損傷図作成支援装置、損傷図作成支援方法、損傷図作成支援プログラム及び損傷図作成支援システム - Google Patents

損傷図作成支援装置、損傷図作成支援方法、損傷図作成支援プログラム及び損傷図作成支援システム Download PDF

Info

Publication number
WO2020121917A1
WO2020121917A1 PCT/JP2019/047474 JP2019047474W WO2020121917A1 WO 2020121917 A1 WO2020121917 A1 WO 2020121917A1 JP 2019047474 W JP2019047474 W JP 2019047474W WO 2020121917 A1 WO2020121917 A1 WO 2020121917A1
Authority
WO
WIPO (PCT)
Prior art keywords
damage
color
marking
damage diagram
image
Prior art date
Application number
PCT/JP2019/047474
Other languages
English (en)
French (fr)
Inventor
修平 堀田
雅文 友野
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2020559982A priority Critical patent/JP7429648B2/ja
Priority to CN201980082671.8A priority patent/CN113196041B/zh
Priority to EP19897404.0A priority patent/EP3896435A4/en
Publication of WO2020121917A1 publication Critical patent/WO2020121917A1/ja
Priority to US17/324,377 priority patent/US11959862B2/en
Priority to JP2023156246A priority patent/JP2023164699A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8803—Visual inspection
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01D—CONSTRUCTION OF BRIDGES, ELEVATED ROADWAYS OR VIADUCTS; ASSEMBLY OF BRIDGES
    • E01D22/00—Methods or apparatus for repairing or strengthening existing bridges ; Methods or apparatus for dismantling bridges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N17/00—Investigating resistance of materials to the weather, to corrosion, or to light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G01N2021/8864—Mapping zones of defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/888—Marking defects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Definitions

  • the present invention relates to a damage map creation support device, a damage map creation support method, a damage map creation support program, and a damage map creation support system, and in particular, a damage map creation support for creating a damage map based on the inspection result of a structure.
  • the present invention relates to a device, a damage map creation support method, a damage map creation support program, and a damage map creation support system.
  • the inspection work is divided into external work (on-site work) and internal work (office work).
  • an inspection engineer goes to the site and carries out a close visual inspection of the inspection site (a close visual inspection up to a distance of touching the site of interest) (so-called close visual inspection).
  • the inspection technician based on the result of visual confirmation, makes marking (work to draw a line with chalk along damage (also called deformation) (also called choking)), sketches and photographs (of the local situation photo). Work such as shooting).
  • a report is created based on the sketches and photographs obtained at the site.
  • the report includes damage diagrams (also referred to as deformation diagrams), and the inspection engineer uses the sketches and photographs to show the drawings of damage points at each inspection point (for example, CAD (Computer-Aided Design) industry). Create a damage diagram by writing in the data drawing).
  • damage diagrams also referred to as deformation diagrams
  • the inspection engineer uses the sketches and photographs to show the drawings of damage points at each inspection point (for example, CAD (Computer-Aided Design) industry). Create a damage diagram by writing in the data drawing).
  • the conventional inspection work carried out in such a procedure has a problem that the inspection engineer has a heavy burden and that mistakes (for example, omission of writing) are likely to occur in the creation of the damage drawing.
  • Patent Document 1 proposes a technology for automatically detecting markings, cracks, and the like from an image of the surface of a concrete structure.
  • Patent Document 2 proposes a technique for facilitating detection of a marking portion from a photographed image by spraying a water retention agent on the surface of a concrete structure after marking.
  • marking is generally performed using chalk, but at that time, the inspection engineer may make markings by using different chalk colors. For example, different colors may be used depending on the degree of damage, the type of damage, the inspection period, and the like. On the other hand, since there is no particular agreement on the color of the chalk used, it is said that if a third party tries to create a damage drawing based on the results of field work, the information on the marking color cannot be used. There was a flaw.
  • the present invention has been made in view of the above circumstances, and a damage map creation support device, a damage map creation support method, a damage map creation support program, and a damage tool that can efficiently create a damage map by using a color of a marking.
  • the purpose is to provide a diagram creation support system.
  • the means to solve the above problems are as follows.
  • an image acquisition unit that acquires an image of the surface of the structure in color
  • a marking detection unit that analyzes the image and detects the marking on the damaged surface of the structure for each color
  • a damage map creation support device including a damage map creation unit that creates a damage map based on the detection result of the marking.
  • the storage device further includes a storage unit that stores information determined for each marking color, and the damage diagram creation unit creates a damage diagram by referring to the information stored in the storage unit. Damage map creation support device.
  • the storage unit stores information on the degree of cracking determined for each marking color, and the damage diagram creation unit creates a damage diagram that classifies the degree of cracking.
  • the storage unit stores information on the degree of peeling and/or rebar exposure determined for each color of the marking, and the damage diagram creation unit creates a damage diagram that classifies the degree of peeling and/or rebar exposure.
  • the damage diagram creation support device according to any one of (3) to (5) above.
  • the storage unit stores information on the types of damage determined for each marking color, and the damage diagram creation unit refers to the information stored in the storage unit to classify the types of damage.
  • the damage diagram creation support device according to any one of (2) to (6) above, which creates a diagram.
  • the storage unit stores information on the inspection time determined for each marking color, and the damage diagram creation unit refers to the information stored in the storage unit and classifies the inspection time.
  • the damage diagram creation support device according to any one of (2) to (7) above.
  • the storage unit stores information on the inspection timing determined for each marking color, and the damage diagram creation unit refers to the information stored in the storage unit to display damage diagrams for each inspection period.
  • the damage diagram creation support device according to any one of (2) to (7) above.
  • the storage unit stores at least one piece of information about the degree of cracking, the degree of corrosion, and the degree of deterioration of the anticorrosion function of the steel member determined for each color of the marking. Referring to the information stored in, a damage diagram is created that classifies at least one of the degree of cracking, the degree of corrosion, and the degree of deterioration of the anticorrosion function of the steel member, any of (2) to (9) above. Kaichi's damage map creation support device.
  • a damage map creation support method including a step of creating a damage map based on the result.
  • a damage diagram creation support program that enables a computer to create a damage diagram creation function based on the results.
  • a damage diagram creation support system including a user terminal and a server, wherein the user terminal transmits a color image of a surface of a structure to a terminal side image input unit and a terminal side transmission to transmit the image to the server. And a terminal-side receiving unit that receives a damage diagram created based on the image from the server, and the server analyzes the image and the server-side receiving unit that receives the image from the user terminal.
  • a marking detection unit that detects the markings on the surface of the damaged part for each color
  • a damage diagram creation unit that creates a damage diagram based on the detection result of the marking for each color, and sends the damage diagram to the user terminal
  • a damage diagram creation support system including a server-side transmission unit.
  • a marking color can be detected from an image obtained by color-capturing the surface of a structure, image analysis can be performed, and a damage diagram can be efficiently created.
  • System configuration diagram showing an embodiment of a damage diagram creation support system Block diagram showing an example of the hardware configuration of the user terminal Block diagram of main functions of user terminal Block diagram showing an example of the hardware configuration of the server Block diagram of main functions of the server Perspective view of the bridge from below Diagram showing an example of marking Figure showing an example of the shooting procedure of the floor slab Figure showing an example of the shooting procedure in one room
  • Diagram showing marking detection results
  • Diagram showing an example of damage diagram Block diagram of main functions of a user terminal of the damage diagram creation support system according to the present embodiment
  • Block diagram of main functions of the server of the damage diagram creation support system according to the present embodiment Diagram showing an example of damage diagrams classified according to the degree of cracking Table showing an example of evaluation criteria for cracking Diagram showing an example of damage diagram classified according to the degree of water leakage Diagram showing an example of damage map classified according to the degree of free lime Table showing an example of evaluation criteria for
  • FIG. 1 is a system configuration diagram showing an embodiment of a damage diagram creation support system.
  • the damage diagram creation support system 10 includes a user terminal 20 that performs front-end processing and a server 30 that performs back-end processing.
  • the user terminal 20 and the server 30 are connected via a network 40 so that they can communicate with each other.
  • the Internet is used for the network 40, for example.
  • the user terminal 20 is composed of, for example, a general-purpose computer such as a personal computer, a tablet computer, or a smartphone.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the user terminal.
  • the user terminal 20 includes a CPU (Central Processing Unit) 21, a RAM (Random Access Memory) 22, a ROM (Read Only Memory) 23, an HDD (Hard Disk Drive) 24, and a communication IF (Interface) 25.
  • the HDD 24 stores a program necessary for performing the front end processing and various data necessary for the processing.
  • the input device 26 is composed of, for example, a keyboard, a mouse, a touch panel, and the like.
  • the output device 27 includes, for example, a display and a printer.
  • the user terminal 20 is connected to the network 40 via the communication IF 25.
  • 3 is a block diagram of main functions of the user terminal.
  • the user terminal 20 receives the input of the image of the structure of the inspection object, transmits (uploads) the input image to the server 30, and receives (downloads) the processing result of the server 30. ), a process of outputting the received process result, a process of recording the received process result, and the like. Therefore, as shown in FIG. 3, the user terminal 20 receives a processing result from the terminal side image input unit 20A that receives an image input, the terminal side transmission unit 20B that transmits the input image to the server 30, and the server 30. It has the functions of a terminal-side receiving unit 20C, a terminal-side output unit 20D that outputs the received processing result, and a terminal-side recording unit 20E that records the received processing result. These functions are realized by the computer constituting the user terminal 20 executing a predetermined program.
  • the terminal-side image input unit 20A performs a process of accepting an input of an image of the inspection target.
  • the terminal-side image input unit 20A inputs an image from an external device such as a digital camera via the communication IF 25.
  • This image is a color image of the surface of the structure to be inspected. Therefore, it is a color image. Specifically, it is an image (so-called RGB image) having intensity values (luminance values) of R (red; red), G (green; green) and B (blue; blue) in pixel units.
  • the terminal side transmission unit 20B performs processing for transmitting (uploading) the input image to the server 30.
  • the terminal-side transmitter 20B transmits an image to the server 30 via the network 40.
  • the terminal-side receiving unit 20C performs processing for receiving the processing result from the server 30.
  • the terminal-side receiver 20C receives the processing result from the server 30 via the network 40.
  • the server 30 creates a damage diagram (also referred to as a transformation diagram) based on the image transmitted from the user terminal 20.
  • the created damage diagram is transmitted to the user terminal 20 as a processing result.
  • the terminal-side receiver 20C receives (downloads) the damage diagram transmitted from the server 30.
  • the terminal-side output unit 20D performs processing for outputting the processing result. Specifically, the damage diagram as the processing result is output to the display which is the output device 27. Moreover, the input image is output to the display which is the output device 27 as needed.
  • the terminal-side recording unit 20E performs a process of recording the processing result. Specifically, the damage diagram as the processing result is recorded in the HDD 24. At this time, the original image is associated and recorded.
  • the server 30 is composed of a general server computer.
  • the server 30 substantially constitutes a damage map creation support device.
  • FIG. 4 is a block diagram showing an example of the hardware configuration of the server.
  • the server 30 includes a CPU 31, a RAM 32, a ROM 33, an HDD 34, a communication IF 35, an input device 36, an output device 37, an optical disk drive 38, and the like.
  • the HDD 34 stores programs necessary for performing back-end processing and various data required for the processing.
  • the input device 36 includes, for example, a keyboard, a mouse, a touch panel, and the like.
  • the output device 37 includes, for example, a display and a printer.
  • the server 30 is connected to the network 40 via the communication IF 35.
  • FIG. 5 is a block diagram of the main functions of the server.
  • the server 30 performs, as back-end processing, processing for receiving an image transmitted from the user terminal 20, processing for panoramic composition of divided image groups when an image captured by dividing inspection points is received, and image analysis. Then, a process of detecting the marking on the surface of the structure for each color, a process of creating a damage diagram based on the detection result of the marking, a process of transmitting the created damage diagram to the user terminal 20 as a process result, and the like. carry out. Therefore, as shown in FIG. 5, the server 30 includes a server-side receiving unit 30A that receives an image from the user terminal 20, a panorama combining unit 30B that panorama-combines the divided image groups, and a marking detection that detects marking from the image.
  • the unit 30C has functions such as a damage diagram creation unit 30D that creates a damage diagram based on the marking detection result, and a server-side transmission unit 30E that sends the created damage diagram to the user terminal 20. These functions are realized by the computer constituting the server 30 executing a predetermined program. This program substantially constitutes a damage map creation support program.
  • the server-side receiving unit 30A performs a process of receiving an image transmitted from the user terminal 20.
  • the server-side receiver 30A receives an image from the user terminal 20 via the network 40.
  • the server side reception unit 30A is an example of an image acquisition unit.
  • the received image is stored in the HDD 34.
  • the image can also be acquired as an image captured by dividing the inspection location. In this case, panorama composition is performed in the next panorama composition unit 30B.
  • the panorama synthesizing unit 30B performs a panorama synthesizing process of the divided image groups when an image captured by dividing the inspection location is received. Since panorama synthesis itself is a known technique, its detailed description is omitted.
  • the panorama synthesizing unit 30B detects corresponding points between the images and synthesizes the divided image groups. At this time, the panorama synthesizing unit 30B performs correction such as expansion/contraction correction, tilt correction, and rotation correction on each image as necessary.
  • the marking detection unit 30C analyzes the image and detects the marking for each color. For example, when marking is performed in two colors of white and red, the marking detection unit 30C detects the marking for each color of white and red from the image.
  • Various methods can be used to detect the marking. For example, it is possible to employ a method of detecting the marking for each color by using a learned model in which an image including markings of a plurality of colors is machine-learned as learning data.
  • the type of machine learning algorithm is not particularly limited, and for example, a neural network such as RNN (Recurrent Neural Network), CNN (Convolutional Neural Network) or MLP (Multilayer Perceptron). An algorithm using can be used.
  • a method of detecting the marking for each color based on the luminance distribution and the RGB value distribution of the image can be adopted. Since the marked area has a different brightness distribution and RGB value distribution than the other areas, the marking can be detected for each color from the image by searching for changes in the brightness value and the RGB value.
  • the damage diagram creation unit 30D performs a process of creating a damage diagram based on the marking detection result.
  • the damage diagram is created as a diagram in which the markings detected from the image are traced, and is classified and created for each color. For example, it is created with a layer structure for each color.
  • the server-side transmission unit 30E performs a process of transmitting the created damage diagram to the user terminal 20.
  • the server-side transmission unit 30E transmits the damage diagram to the user terminal 20 via the network 40.
  • FIG. 6 is a perspective view of the bridge as seen from below.
  • the bridge 1 shown in the figure has a three-dimensional structure including a main girder 2, a horizontal girder 3, an anti-tilt structure 4, a lateral structure 5, and a floor slab 6, and these members are connected by bolts, rivets, welding, or the like.
  • a structured structure including a main girder 2, a horizontal girder 3, an anti-tilt structure 4, a lateral structure 5, and a floor slab 6, and these members are connected by bolts, rivets, welding, or the like.
  • a floor slab 6 for driving vehicles etc. is placed above the main girders 2 etc.
  • the floor slab 6 is generally made of reinforced concrete.
  • the main girder 2 is a member that is passed between abutments or piers to support the load of a vehicle or the like on the floor slab 6.
  • the main girder 2 has a surface (vertical surface) orthogonal to the surface (horizontal surface) of the floor slab 6.
  • the lateral girders 3 are members that connect the main girders 2.
  • the cross girders 3 are provided to support the load on the plurality of main girders 2.
  • the anti-tilt structure 4 and the lateral structure 5 are members that connect the main girders 2 to each other.
  • the anti-tilt structure 4 and the lateral structure 5 are provided to resist wind and seismic lateral loads, respectively.
  • the inspection of the floor slab 6 is carried out in units of spaces.
  • the space is a section divided by the main girder 2 and the horizontal girder 3 in the floor slab 6.
  • the work of marking and taking a picture is performed on-site as an external work (field work). Then, based on the photograph (image) obtained by the outside business, the damage diagram is created as the inside business (office work).
  • Marking is the work of drawing a line with chalk along with damage (also called deformation) such as cracks (also called choking).
  • FIG. 7 is a diagram showing an example of marking. The figure shows an example of marking a crack appearing on the surface of a structure.
  • marking is performed by drawing a line M with a choke along the crack appearing on the surface of the structure.
  • damage such as water leak, free lime, peeling, and exposed reinforcing bars is performed by drawing a line along the outer edge of the damaged area.
  • information (characters, symbols, etc.) indicating the state of damage and the like is attached as necessary.
  • FIG. 8 is a diagram illustrating an example of a floor slab imaging procedure.
  • FIG. 8 shows a state in which each space GO is photographed while sequentially moving in the y direction and the x direction (the arrow in the drawing indicates the moving direction).
  • the longitudinal direction of 6 (the direction of the main girder 2) is x
  • the direction orthogonal to x in the plane of the floor slab 6 is y
  • the direction orthogonal to the floor slab 6 (vertical downward direction) is z. I am trying.
  • FIG. 9 is a diagram showing an example of a shooting procedure in one room.
  • the frame indicated by reference symbol A is a frame indicating a single shooting range.
  • the example shown in FIG. 9 shows a state in which each region in the space GO is photographed while sequentially moving in the y direction and the x direction (the arrow in the figure indicates the moving direction).
  • the photographer faces the floor slab, which is the surface to be inspected, and shoots from a certain distance.
  • images are taken so as to partially overlap each other in the adjacent imaging regions (for example, images are taken so as to overlap each other by 30% or more).
  • the shooting is done using a digital camera capable of color shooting.
  • FIG. 10 is a flowchart showing a procedure for creating a damage diagram using the damage diagram creation support system according to the present embodiment.
  • an image is input on the user terminal 20 (step S1).
  • one space GO is divided into a plurality of images and photographed, all the photographed images are input.
  • the input image is transmitted (uploaded) to the server 30 (step S2).
  • the server 30 When one single GO is divided into a plurality of images and photographed, for example, all the photographed images are stored in one folder and transmitted.
  • the server 30 receives the image transmitted from the user terminal 20 (step S3).
  • the received image is stored in the HDD 34.
  • the server 30 determines whether or not panorama composition is necessary based on the received image (step S4). If multiple images are received, it is determined that panoramic composition is required.
  • the server 30 executes the panorama composition process (step S5).
  • the server 30 executes the panorama composition process (step S5).
  • panorama synthesis a single image of the extraordinary GO is obtained.
  • the server 30 detects the marking from the captured image of the space GO (step S6).
  • the markings are detected color by color.
  • FIG. 11 is a diagram showing an example of a photographed image of a space marked with chalk of plural colors.
  • the GO is marked by using two-color chokes according to the degree of damage. Specifically, cracks with a crack width of less than 0.2 mm are marked with white chalk, and cracks with a crack width of 0.2 mm or more are marked with red chalk.
  • the symbol MR indicates a marking made with red chalk.
  • Reference numeral MW indicates a marking made with white chalk.
  • the server 30 analyzes the image I and detects the marking for each color.
  • FIG. 12 is a diagram showing a marking detection result.
  • the figure shows the detected marking as a traced line.
  • reference numeral LR indicates a line tracing the marking detected as the red marking.
  • the symbol LW indicates a line tracing the marking detected as the white marking.
  • the line LR tracing the red marking is shown as a thick line and the line LW tracing the white marking is shown as a thin line for convenience.
  • the server 30 creates a damage diagram based on the detection result as shown in FIG. 10 (step S7).
  • the damage map is created as a trace of the markings detected from the image.
  • a damage diagram having a layer structure classified by color is created.
  • FIG. 13 is a diagram showing an example of a damage diagram.
  • the figure shows an example of the damage diagram of a space marked in two colors, white and red.
  • the damage diagram DF including the first layer L1 and the second layer L2 is created.
  • the first layer L1 is composed of a damage diagram obtained by tracing a white marking.
  • the second layer L2 is composed of a damage diagram obtained by tracing the red marking.
  • the damage diagram DF is composed of a diagram in which the first layer L1 and the second layer L2 are superimposed.
  • the damage diagram DF By constructing the damage diagram DF with a layer structure for each color in this way, it is possible to check the markings made at the inspection points (gap in this example) for each color.
  • the server 30 After creating the damage diagram, the server 30 transmits the created damage diagram to the user terminal 20 as shown in FIG. 10 (step S8).
  • the user terminal 20 receives (downloads) the damage diagram transmitted from the server 30 as a processing result (step S9). Then, the received damage map is output to the output device 27 (step S10). Specifically, it is displayed on the display which is the output device 27. Further, the received damage map is recorded in the HDD 34 (step S11). At this time, the user terminal 20 records the damage drawing in association with the photo data from which the damage drawing was created.
  • the process of creating a damage diagram based on the captured image is completed through the above series of steps.
  • the user creates a report of inspection results based on the acquired damage diagram.
  • the data of the damage diagram for each color of the marking is obtained, so that the report or the like can be efficiently prepared when the meaning is given for each color of the marking.
  • damage diagrams can be obtained individually according to the degree of damage (by switching layers, damage diagrams for each degree of damage can be obtained). Can be obtained.).
  • the marking may change the color of the chalk used depending on the color of the concrete.
  • a chalk having a color that is conspicuous to the color of concrete is selected and marked (for example, a red chalk is used on whitish concrete, a white chalk or the like is used on dark concrete, and marking is performed. ).
  • a damage diagram in which each layer is overlaid This makes it possible to create a damage diagram without being affected by color.
  • the marking work can be performed efficiently without being affected by the color of the concrete.
  • the marking can be detected with high accuracy.
  • the meaning information of each color of the color-coded marking is acquired from the user, and the damage information in which the damage information is classified is created using the meaning information of each color. ..
  • FIG. 14 is a block diagram of main functions of a user terminal of the damage diagram creation support system according to the present embodiment.
  • the user terminal 20 of the present embodiment is different from the user terminal 20 in the damage diagram creation support system 10 of the first embodiment in that it further has the function of the marking color information input unit 20F. To do. Therefore, only the differences will be described here.
  • the marking color information input unit 20F performs a process of accepting input of information on the meaning of the color of each marking (marking color information) when the markings are color-coded.
  • the marking color information input unit 20F inputs information on the meaning of the color of each marking via the input device 26. For example, if a crack with a crack width of less than 0.2 mm is marked with white chalk and a crack with a crack width of 0.2 mm or more is marked with a red chalk, "white” means “crack width less than 0.2 mm.” "Cracks" and “red” are "cracks with a crack width of 0.2 mm or more".
  • the terminal-side transmission unit 20B when transmitting the input image to the server 30, simultaneously transmits the marking color information to the server 30.
  • FIG. 15 is a block diagram of main functions of the server of the damage diagram creation support system according to the present embodiment.
  • the server 30 (damage diagram creation device) of the present embodiment further includes the function of the marking color information storage unit 30F, which is the same as the damage diagram creation support system 10 of the first embodiment. Different from the server 30. Therefore, only the differences will be described here.
  • the marking color information transmitted from the user terminal 20 is received by the server side receiving unit 30A and stored in the marking color information storage unit 30F.
  • the marking color information storage unit 30F includes, for example, the HDD 34.
  • the damage diagram creating unit 30D creates a damage diagram that classifies damage information by referring to the information stored in the marking color information storage unit 30F.
  • Example of creating a damage diagram (1) When the marking color is used properly according to the degree of damage In this case, a damage diagram classified according to the degree of damage is created.
  • the user inputs information on the degree of damage for each color (marking color information) to the user terminal 20.
  • the input marking color information is transmitted to the server 30 and stored in the marking color information storage unit 30F of the server 30.
  • the server 30 refers to the marking color information and creates a damage diagram classified according to the degree of damage.
  • the color of the chalk to be used is properly used according to the degree of cracking.
  • a crack having a crack width of less than 0.2 mm is marked with a white chalk
  • a crack having a crack width of 0.2 mm or more is marked with a red chalk.
  • the user inputs into the user terminal 20 the color of the used chalk (color of the marking) and the meaning information for each color (information about the degree of cracking). For example, information that "white” is "crack having a crack width of less than 0.2 mm” and “red” is "crack having a crack width of 0.2 mm or more" is input to the user terminal 20.
  • the server 30 creates a damage diagram based on the marking detection result for each color and the information on the marking color.
  • a damage diagram of a layer structure is created that is classified according to the degree of damage.
  • FIG. 16 is a diagram showing an example of damage diagrams classified according to the degree of cracking.
  • the figure shows an example of a damage diagram in which cracks with a crack width of less than 0.2 mm are marked with white chalk, and cracks with a crack width of 0.2 mm or greater are marked with red chalk.
  • the damage diagram DF including the first layer L1 and the second layer L2 is created.
  • the first layer L1 is composed of a damage diagram in which a crack having a crack width of less than 0.2 mm is marked.
  • the damage diagram is composed of traces of white markings.
  • the second layer L2 is composed of a damage diagram in which a crack having a crack width of 0.2 mm or more is marked.
  • the damage map is composed of traces of red markings.
  • the damage diagram DF is composed of a diagram in which the first layer L1 and the second layer L2 are superimposed.
  • Each layer is labeled with classified damage information.
  • the first layer L1 is provided with information If1 indicating that the crack width is less than 0.2 mm.
  • the second layer L2 is provided with information If2 indicating that it is the result of detection of a crack having a crack width of 0.2 mm or more.
  • the damage diagram DF in which the first layer L1 and the second layer L2 are overlapped is provided with information If0 indicating that it is the detection result of all cracks.
  • damage information classified by the degree of cracking can be created automatically by using the color information of the marking. Thereby, the inspection report can be efficiently created.
  • damage can be evaluated according to a predetermined evaluation standard, and marking can be performed using different colors according to the evaluation.
  • marking can be performed using different colors according to the evaluation.
  • the damage map classified by the evaluation standard is automatically created. Can be created.
  • the judgment criteria in addition to the criteria defined by itself, criteria defined by the national government, local governments, companies, etc. can be used. For example, regarding the inspection of the bridge, the standard stipulated by the Ministry of Land, Infrastructure, Transport and Tourism in the Bridge Regular Inspection Procedure can be used.
  • FIG. 17 is a table showing an example of a crack evaluation standard.
  • the degree of damage of cracks is classified into five levels (a, small, and large) by combining the degree of focusing on the maximum crack width (large, medium, and small) and the degree of focusing on the minimum crack interval (large, small). , B, c, d, e).
  • the color of the chalk to be used is properly used according to the degree of water leakage.
  • a normal leak point is marked with white chalk
  • a leak point with rust juice is marked with red chalk.
  • the user inputs to the user terminal 20 the color of the chalk used (color of the marking) and the meaning information for each color (information about the degree of water leakage). For example, information that "white” is "normal water leak” and “red” is "water leak with rust juice” is input to the user terminal 20.
  • the server 30 creates a damage diagram of the layer structure classified by the degree of water leakage based on the marking detection result for each color and the information on the marking color.
  • FIG. 18 is a diagram showing an example of a damage diagram classified according to the degree of water leakage.
  • the figure shows an example of a damage diagram in which normal leakage points are marked with white chalk and leakage points with rust juice are marked with red chalk.
  • the damage diagram DF including the first layer L1 and the second layer L2 is created.
  • the first layer L1 is composed of a damage diagram in which normal water leakage points are marked.
  • the damage diagram is composed of traces of white markings.
  • the second layer L2 is composed of a damage diagram in which a water leak location accompanied by rust juice is marked.
  • the damage map is composed of traces of red markings.
  • the damage diagram DF is composed of a diagram in which the first layer L1 and the second layer L2 are superimposed.
  • Each layer is labeled with classified damage information. For example, information If1 indicating normal water leakage is attached to the first layer L1.
  • the second layer L2 is provided with information If2 indicating that it is water leakage accompanied by rust juice.
  • the damage diagram DF in which the first layer L1 and the second layer L2 are overlapped with each other is attached with off-IF0 indicating that the result is the detection result of all water leakage points.
  • the marking color when used properly according to the degree of water leakage, it is possible to automatically create damage diagrams classified by the degree of water leakage using the information on the color of the marking. Thereby, the inspection report can be efficiently created.
  • the color of the chalk to be used is properly used according to the degree of free lime.
  • the color of the chalk to be used is properly used according to the degree of free lime.
  • normal free lime is marked with white chalk
  • free lime with rust juice and icicle-like free lime is marked with red chalk.
  • the user inputs to the user terminal 20 the color of the chalk used (color of the marking) and information on the meaning of each color (information about the degree of free lime). For example, information that “white” is “normal free lime” and “red” is “free lime with rust juice and icicle-like free lime” is input to the user terminal 20.
  • the server 30 creates a damage diagram of the layer structure classified according to the degree of free lime based on the marking detection result for each color and the information on the marking color.
  • FIG. 19 is a diagram showing an example of a damage diagram classified according to the degree of free lime.
  • the damage diagram DF including the first layer L1 and the second layer L2 is created.
  • the first layer L1 is composed of a damage diagram in which normal free lime is marked.
  • the damage diagram is composed of traces of white markings.
  • the second layer L2 is composed of a damage diagram in which free lime with rust juice and icicle-shaped free lime are marked.
  • the damage map is composed of traces of red markings.
  • the damage diagram DF is composed of a diagram in which the first layer L1 and the second layer L2 are superimposed.
  • Each layer is labeled with classified damage information. For example, the information If1 indicating that the first layer L1 is normal free lime is attached. Further, the second layer L2 is provided with information If2 indicating that it is free lime accompanied by rust juice and icicle-shaped free lime. In addition, the damage diagram DF in which the first layer L1 and the second layer L2 are overlapped with each other is attached with off-IF0 indicating that the detection result is total free lime.
  • the inspection report can be efficiently created.
  • damage can be evaluated according to a predetermined evaluation standard, and marking can be performed using different colors according to the evaluation.
  • marking can be performed using different colors according to the evaluation.
  • the damage map classified by the evaluation standard is automatically created. Can be created.
  • FIG. 20 is a table showing an example of evaluation criteria for water leakage and free lime.
  • the degree of damage is evaluated on a scale of 5 (a, b, c, d, e) according to the occurrence of water leakage and free lime.
  • a white chalk is used for the section c
  • a yellow chalk is used for the section d
  • a red chalk is used for the section e to mark the damaged portion.
  • the color of the chalk to be used is properly used according to the degree of peeling and rebar exposure.
  • the color of the chalk to be used is properly used according to the degree of peeling and rebar exposure.
  • normal rebar exposed areas are marked with white chalk
  • rebar exposed areas with severe rust are marked with red chalk.
  • the user inputs to the user terminal 20 the color of the used chalk (marking color) and information on the meaning of each color (information about the degree of rebar exposure). For example, information that "white” is "normal rebar exposure” and “red” is "reinforcing bar exposure with severe rust" is input to the user terminal 20.
  • the server 30 creates a damage diagram of the layer structure classified according to the degree of rebar exposure based on the marking detection result for each color and the marking color information.
  • FIG. 21 is a diagram showing an example of damage diagrams classified according to the degree of rebar exposure.
  • the figure shows an example of a damage diagram in which normal rebar exposed areas are marked with white chalk, and rebar exposed areas with severe rust are marked with red chalk.
  • the damage diagram DF including the first layer L1 and the second layer L2 is created.
  • the first layer L1 is composed of a damage diagram in which normal rebar exposed portions are marked.
  • the damage diagram is composed of traces of white markings.
  • the second layer L2 is composed of a damage diagram in which the exposed portions of the reinforcing bar accompanied by severe rust are marked.
  • the damage map is composed of traces of red markings.
  • the damage diagram DF is composed of a diagram in which the first layer L1 and the second layer L2 are superimposed.
  • Each layer is labeled with classified damage information.
  • the first layer L1 is provided with information If1 indicating that the rebar is normally exposed.
  • the second layer L2 is provided with information If2 indicating that the reinforcing bar is exposed with severe rust.
  • the damage diagram DF in which the first layer L1 and the second layer L2 are overlapped with each other is attached with the off-IF0 indicating that the result is the detection result of the total rebar exposure.
  • the damage color information can be automatically classified according to the degree of rebar exposure using the marking color information. Thereby, the inspection report can be efficiently created.
  • damage can be evaluated according to a predetermined evaluation standard, and marking can be performed using different colors according to the evaluation.
  • marking can be performed using different colors according to the evaluation.
  • the damage map classified by the evaluation standard is automatically created. Can be created.
  • FIG. 22 is a table showing an example of evaluation criteria for peeling and rebar exposure.
  • the degree of damage is evaluated on a scale of 5 (a, b, c, d, e) according to the occurrence of peeling and rebar exposure.
  • a white chalk is used for the section c
  • a yellow chalk is used for the section d
  • a red chalk is used for the section e to mark the damaged portion.
  • a damage diagram classified according to the type of damage is created.
  • the user inputs damage type information (marking color information) for each color into the user terminal 20.
  • the input marking color information is transmitted to the server 30 and stored in the marking color information storage unit 30F of the server 30.
  • the server 30 refers to the marking color information and creates a damage diagram classified according to the type of damage.
  • cracks are white, leakage is blue, free lime is green, peeling is yellow, and rebar exposure is marked with red chalk.
  • the user inputs the color of the used chalk (marking color) and the damage type information for each color into the user terminal 20. For example, information that "white” is “cracked”, “blue” is “leaked”, “green” is “free lime”, “yellow” is “peeled”, and “red” is "rebar exposed” is displayed on the user terminal 20. input.
  • the server 30 creates a damage diagram based on the marking detection result for each color and the marking color information.
  • the damage map creates a damage map with a layer structure classified by the degree of damage.
  • FIG. 23 is a diagram showing an example of the structure of a damage diagram.
  • a damage diagram DF including five layers (first layer L1 to fifth layer L5) is created.
  • the first layer L1 is composed of a damage diagram in which cracks are marked.
  • the damage diagram is composed of traces of white markings.
  • the second layer L2 is composed of a damage diagram in which water leakage is marked.
  • This damage map is composed of traces of blue markings.
  • the third layer L3 is composed of a damage diagram marking free lime.
  • the damage map is composed of traces of green markings.
  • the fourth layer L4 is composed of a damage diagram in which peeling is marked.
  • This damage map is composed of traces of yellow markings.
  • the fifth layer L5 is composed of a damage diagram marking the exposed reinforcing bars.
  • the damage map is composed of traces of red markings.
  • the entire damage diagram DF is composed of a diagram in which all layers are superimposed.
  • classified damage information is attached to each layer.
  • the lines that trace the markings preferably use different line types and/or different colors so that they can be distinguished from each other when the layers are overlaid. For example, the same color as the detected color can be used. Alternatively, it may be displayed according to a preset display rule.
  • FIG. 24 is a diagram showing an example of a display mode of damage on the damage diagram.
  • the display mode on the damage diagram is set for each type of damage, and the damage is displayed on the damage diagram according to the setting. For example, when a water leak marking (blue marking in this example) is detected, the marking location is displayed by hatching on the damage diagram.
  • the legend may be displayed or attached on the damage map.
  • FIG. 25 is a diagram showing an example of a damage diagram classified by types of damage.
  • a damage diagram is created from an image of a space where cracks, water leakage and free lime have occurred.
  • a white marking applied to the cracked portion a blue marking applied to the leaked portion, and a green marking applied to the free lime portion are detected.
  • a first layer L1 that is a damage diagram of cracks a first layer L1 that is a damage diagram of cracks
  • a second layer L2 that is a damage diagram of water leakage
  • a third layer L3 that is a damage diagram of free lime are created (a damage diagram of peeling).
  • the fourth layer L4 and the fifth layer L5, which is a damage diagram of the exposed reinforcing bars are blank (transparent) layers.).
  • the overall damage diagram DF is a diagram in which all damages are displayed.
  • the marking color when the marking color is properly used according to the type of damage, it is possible to use the color information of the marking to automatically create a damage diagram classified by damage type. Thereby, the inspection report can be efficiently created.
  • Different marking colors are used according to the time of inspection For example, a white chalk is used for the first inspection, a red chalk is used for the next inspection, and a blue chalk is used for the next inspection. Change the color of the chalk each time you inspect it, such as by using chalk.
  • damage diagrams classified according to the inspection time (times) are created.
  • the user inputs information (marking color information) on the inspection time (times) for each color into the user terminal 20.
  • the input marking color information is transmitted to the server 30 and stored in the marking color information storage unit 30F of the server 30.
  • the server 30 refers to the marking color information and creates a damage diagram classified according to the time of inspection.
  • As the damage diagram for example, a damage diagram having a layer structure is created. That is, a damage diagram of a structure in which the structures are classified and laminated for each inspection time (times) is created.
  • FIG. 26 is a diagram showing an example of the structure of a damage diagram classified by inspection time.
  • the figure shows an example of a damage diagram when three inspections have been performed so far.
  • the white chalk marks the damaged portion
  • the second inspection (December 1, 2013)
  • the red chalk marks the damaged portion
  • the third inspection In the inspection (December 1, 2018), the damaged part is marked with blue chalk.
  • a damage diagram DF including three layers (first layer L1 to third layer L3) is created.
  • the first layer L1 is composed of a damage diagram of the first inspection.
  • the damage diagram is composed of traces of white markings.
  • the second layer L2 is composed of a damage diagram of the second inspection.
  • the damage map is composed of traces of red markings.
  • the third layer L3 is composed of a damage diagram of the third inspection. This damage map is composed of traces of blue markings.
  • the entire damage diagram DF is composed of a diagram in which all layers are superimposed.
  • damage information is automatically classified for each inspection time (times) by using the information of the marking color. Can be created. Thereby, the inspection report can be efficiently created. Further, by creating such a damage map, the difference between the past inspection and the present inspection (damage progress) can be confirmed.
  • the marking color is selected according to the degree of cracking of the steel member, the degree of corrosion, the degree of deterioration of the anticorrosion function, the degree of loosening of the bolt, and the like.
  • cracks (1) when cracks in the coating film can be confirmed at a sudden change in cross section, a welded joint, and the like, and although cracks occur, they are not linear, or even if they are linear, their length is extremely long. If the number is short and the number is small, mark with white chalk. (2) If there is a linear crack or a coating crack that cannot be ruled out that there is a crack directly underneath, it is red. Mark with chalk.
  • the depth of damage is small (when rust is superficial and a significant reduction in plate thickness is not visible), and the area of damage is small (the area of the damaged portion is small and the local area is small). Is marked with white chalk, and (2) the depth of damage is small and the area of damage is large (loss is generated on the entire area of interest or the area of interest is spread). If there are multiple rust spots), mark with blue chalk, and (3) the depth of damage is large (the steel surface is significantly expanded or a clear reduction in plate thickness can be visually recognized) and damage If the area is large, mark with yellow chalk. (4) If the depth of damage is large and the area of damage is large, mark with red chalk.
  • the deterioration of the anticorrosion function in the case of coating, for example, (1) if the outermost anticorrosion coating film is discolored or if there is local bruising, mark it with white chalk, and (2) If the anticorrosion coating is partially peeled off and the undercoat is exposed, mark it with yellow chalk. (3) If the corrosion protection coating has a wide deterioration range and rust has occurred, the red coating Mark with chalk.
  • the deterioration of anticorrosion function in the case of plating and metal spraying, (1) if the anticorrosion film is locally deteriorated and spot rust occurs, mark it with white chalk, and (2) If the deterioration range is wide and spot rust occurs, mark with red chalk.
  • the size of rust is about 1 to 5 mm, and if it is rough, mark it with white chalk, and (2) the size of rust is about 5 to 25 mm. If it is scaly, mark it with yellow chalk. (3) If there is rust delamination, mark it with red chalk.
  • the looseness of bolts (1) If the number of bolts is loose or missing and the number is small (less than 5% of the number per group), mark with white chalk and (2) bolt. If there is a lot of loosening or falling off, and the number is large (5% or more of the number per group), mark with red chalk.
  • the damage diagram is created according to the detection result for each color of the marking detected from the image. That is, a damage diagram is created in which damages are classified according to the degree of cracking, the degree of corrosion, and the degree of deterioration of the anticorrosion function of the detected steel member.
  • the present invention is configured as a damage diagram creation support system by a so-called client-server type system, but the present invention may be realized by a so-called standalone computer as damage diagram creation support. it can.
  • the user inputs the information for each color of the marking to the user terminal 20, but when the information for each color of the marking is predetermined (for example, the inspection engineer determines it in advance).
  • the server 30 may hold the information (in the HDD 34 (storage unit) or the like) and refer to the information to create the damage diagram.
  • a damage diagram of a layer structure that can be separated for each color of marking is created, but the structure of the damage diagram is not limited to this. Damage diagrams may be created for each marking color. Alternatively, it may be created in a form that can be separated for each color of markings in one damage diagram (for example, it is possible to group by each color of markings and display/hide each color of markings). Yes.).
  • the hardware that realizes the damage diagram creation support device of the present invention can be configured by various processors.
  • the various processors are processors whose circuit configurations can be changed after manufacturing a general-purpose processor (CPU (Central Processing Unit), FPGA (Field Programmable Gate Array), etc.) that executes programs to function as various processing units.
  • a dedicated electric circuit which is a processor having a circuit configuration specifically designed to execute a specific process such as a programmable logic device (PLD) and an ASIC (Application Specific Integrated Circuit), is included.
  • One processing unit configuring the inspection support device may be configured by one of the various processors described above, or may be configured by two or more processors of the same type or different types.
  • one processing unit may be configured by a plurality of FPGAs or a combination of CPU and FPGA.
  • the plurality of processing units may be configured by one processor.
  • a processor As an example of configuring a plurality of processing units by one processor, firstly, as represented by a computer such as a client or a server, one processor is configured by a combination of one or more CPUs and software. There is a form in which the processor functions as a plurality of processing units.
  • SoC system on chip
  • the various processing units are configured by using one or more of the various processors as a hardware structure. Further, the hardware structure of these various processors is, more specifically, an electrical circuit in which circuit elements such as semiconductor elements are combined.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Processing Or Creating Images (AREA)
  • Instructional Devices (AREA)

Abstract

マーキングの色を利用して、効率よく損傷図を作成できる損傷図作成支援装置、損傷図作成支援方法、損傷図作成支援プログラム及び損傷図作成支援システムを提供する。構造物の表面をカラー撮影した画像を取得するステップと、取得した画像を解析し、構造物の表面の損傷箇所に施されたマーキングを色ごとに検出するステップと、色ごとのマーキングの検出結果に基づいて、損傷図を作成するステップと、を含む。損傷図は、マーキングをトレースした図で構成され、色別のレイヤー構造を有する。

Description

損傷図作成支援装置、損傷図作成支援方法、損傷図作成支援プログラム及び損傷図作成支援システム
　本発明は、損傷図作成支援装置、損傷図作成支援方法、損傷図作成支援プログラム及び損傷図作成支援システムに係り、特に、構造物の点検結果に基づく損傷図の作成を支援する損傷図作成支援装置、損傷図作成支援方法、損傷図作成支援プログラム及び損傷図作成支援システムに関する。
　橋梁などの構造物は、定期的に点検が行われる。点検作業は、外業（現場作業）と内業（事務所作業）とに分けて行われる。外業では、点検技術者が、現場に赴き、点検箇所を近接目視（着目部位に触れる程度の距離まで接近して目視）する作業が行われる（いわゆる近接目視点検）。この際、点検技術者は、目視による確認結果に基づいて、マーキング（損傷（変状ともいう）に沿ってチョークで線を引く作業（チョーキングともいう））、スケッチ及び写真撮影（現地状況写真の撮影）等の作業を行う。内業では、現場で得られたスケッチ及び写真を基に、報告書を作成する作業が行われる。報告書には損傷図（変状図ともいう）が含まれ、点検技術者は、スケッチ及び写真を基に、損傷箇所を点検箇所ごとの図面（たとえば、ＣＡＤ（Computer-Aided Design）等の工業データの図面）に書き込んで、損傷図を作成する。
　しかし、このような手順で行われる従来の点検作業は、点検技術者の負担が大きく、また、損傷図の作成にもミス（たとえば、書き漏れ等）が発生しやすいという問題があった。
　そこで、特許文献１には、コンクリート構造物の表面を撮影した画像から自動的にマーキング、ひび割れ等を検出する技術が提案されている。また、特許文献２には、マーキング後にコンクリート構造物の表面に保水剤を散布することにより、撮影画像からマーキング箇所を検出しやすくする技術が提案されている。
特開２０１４－６２２２号公報 特開２００２－３４０８０５号公報
　ところで、マーキングは、一般にチョークを用いて行われるが、その際、点検技術者は、チョークの色を使い分けてマーキングする場合がある。たとえば、損傷の程度、損傷の種類、点検時期などに応じて、色を使い分ける場合がある。一方、使用するチョークの色については、特に取り決めがないため、第三者が、現場作業の結果に基づいて、損傷図の作成等をしようとした場合、マーキングの色の情報を活用できない、という欠点があった。
　本発明は、このような事情に鑑みてなされたもので、マーキングの色を利用して、効率よく損傷図を作成できる損傷図作成支援装置、損傷図作成支援方法、損傷図作成支援プログラム及び損傷図作成支援システムを提供することを目的とする。
　上記課題を解決するための手段は、次のとおりである。
　（１）構造物の表面をカラー撮影した画像を取得する画像取得部と、画像を解析し、構造物の表面の損傷箇所に施されたマーキングを色ごとに検出するマーキング検出部と、色ごとのマーキングの検出結果に基づいて、損傷図を作成する損傷図作成部と、を備えた損傷図作成支援装置。
　（２）マーキングの色ごとに定められた情報を記憶する記憶部を更に備え、損傷図作成部は、記憶部に記憶された情報を参照して、損傷図を作成する、上記（１）の損傷図作成支援装置。
　（３）記憶部には、マーキングの色ごとに定められた損傷の程度の情報が記憶され、損傷図作成部は、記憶部に記憶された情報を参照して、損傷の程度を分類した損傷図を作成する、上記（２）の損傷図作成支援装置。
　（４）記憶部には、マーキングの色ごとに定められたひび割れの程度の情報が記憶され、損傷図作成部は、ひび割れの程度を分類した損傷図を作成する、上記（３）の損傷図作成支援装置。
　（５）記憶部には、マーキングの色ごとに定められた漏水及び／又は遊離石灰の程度の情報が記憶され、損傷図作成部は、漏水及び／又は遊離石灰の程度を分類した損傷図を作成する、上記（３）又は（４）の損傷図作成支援装置。
　（６）記憶部には、マーキングの色ごとに定められた剥離及び／又は鉄筋露出の程度の情報が記憶され、損傷図作成部は、剥離及び／又は鉄筋露出の程度を分類した損傷図を作成する、上記（３）から（５）のいずれか一の損傷図作成支援装置。
　（７）記憶部には、マーキングの色ごとに定められた損傷の種類の情報が記憶され、損傷図作成部は、記憶部に記憶された情報を参照して、損傷の種類を分類した損傷図を作成する、上記（２）から（６）のいずれか一の損傷図作成支援装置。
　（８）記憶部には、マーキングの色ごとに定められた点検の時期の情報が記憶され、損傷図作成部は、記憶部に記憶された情報を参照し、点検の時期を分類した損傷図を作成する、上記（２）から（７）のいずれか一の損傷図作成支援装置。
　（９）記憶部には、マーキングの色ごとに定められた点検の時期の情報が記憶され、損傷図作成部は、記憶部に記憶された情報を参照し、点検の時期ごとの損傷図を作成する、上記（２）から（７）のいずれか一の損傷図作成支援装置。
　（１０）記憶部には、マーキングの色ごとに定められた鋼部材の亀裂の程度、腐食の程度及び防食機能の劣化の程度の少なくとも一つの情報が記憶され、損傷図作成部は、記憶部に記憶された情報を参照して、鋼部材の亀裂の程度、腐食の程度及び防食機能の劣化の程度の少なくとも一つを分類した損傷図を作成する、上記（２）から（９）のいずれか一の損傷図作成支援装置。
　（１１）構造物の表面をカラー撮影した画像を取得するステップと、画像を解析し、構造物の表面の損傷箇所に施されたマーキングを色ごとに検出するステップと、色ごとのマーキングの検出結果に基づいて、損傷図を作成するステップと、を含む損傷図作成支援方法。
　（１２）構造物の表面をカラー撮影した画像を取得する機能と、画像を解析し、構造物の表面の損傷箇所に施されたマーキングを色ごとに検出する機能と、色ごとのマーキングの検出結果に基づいて、損傷図を作成する機能と、をコンピュータに実現させる損傷図作成支援プログラム。
　（１３）ユーザ端末及びサーバを含む損傷図作成支援システムであって、ユーザ端末は、構造物の表面をカラー撮影した画像を入力する端末側画像入力部と、画像をサーバに送信する端末側送信部と、画像に基づいて作成された損傷図をサーバから受信する端末側受信部と、を備え、サーバは、ユーザ端末から画像を受信するサーバ側受信部と、画像を解析し、構造物の表面の損傷箇所に施されたマーキングを色ごとに検出するマーキング検出部と、色ごとのマーキングの検出結果に基づいて、損傷図を作成する損傷図作成部と、損傷図をユーザ端末に送信するサーバ側送信部と、を備えた損傷図作成支援システム。
　本発明によれば、構造物の表面をカラー撮影した画像からマーキングの色を検出し、画像解析して、効率よく損傷図を作成できる。
損傷図作成支援システムの一実施形態を示すシステム構成図 ユーザ端末のハードウェア構成の一例を示すブロック図 ユーザ端末が有する主な機能のブロック図 サーバのハードウェア構成の一例を示すブロック図 サーバが有する主な機能のブロック図 橋梁を下から見た斜視図 マーキングの一例を示す図 床版の撮影手順の一例を示す図 一つの格間での撮影手順の一例を示す図 本実施の形態の損傷図作成支援システムを使用した損傷図の作成の処理手順を示すフローチャート 複数色のチョークでマーキングされた格間の撮影画像の一例を示す図 マーキングの検出結果を示す図 損傷図の一例を示す図 本実施の形態の損傷図作成支援システムのユーザ端末が有する主な機能のブロック図 本実施の形態の損傷図作成支援システムのサーバが有する主な機能のブロック図 ひび割れの程度に応じて分類した損傷図の一例を示す図 ひび割れの評価基準の一例を示す表 漏水の程度に応じて分類した損傷図の一例を示す図 遊離石灰の程度に応じて分類した損傷図の一例を示す図 漏水及び遊離石灰の評価基準の一例を示す表 鉄筋露出の程度に応じて分類した損傷図の一例を示す図 剥離及び鉄筋露出の評価基準の一例を示す表 損傷図の構成の一例を示す図 損傷図上で損傷の表示態様の一例を示す図 損傷の種類別に分類した損傷図の一例を示す図 点検の時期ごとに分類した損傷図の構成の一例を示す図
　以下、添付図面に従って本発明の好ましい実施の形態について詳説する。
　《第１の実施の形態》
　［損傷図作成支援システムのシステム構成］
　図１は、損傷図作成支援システムの一実施形態を示すシステム構成図である。
　本実施の形態の損傷図作成支援システム１０は、フロントエンド処理を行うユーザ端末２０と、バックエンド処理を行うサーバ３０と、で構成される。ユーザ端末２０及びサーバ３０は、ネットワーク４０を介して、相互に通信可能に接続される。ネットワーク４０には、たとえば、インターネットが利用される。
　［ユーザ端末］
　ユーザ端末２０は、たとえば、パーソナルコンピュータ、タブレット型コンピュータ、スマートフォン等の汎用のコンピュータで構成される。
　図２は、ユーザ端末のハードウェア構成の一例を示すブロック図である。同図に示すように、ユーザ端末２０は、ＣＰＵ（Central Processing Unit）２１、ＲＡＭ（Random Access Memory）２２、ＲＯＭ（Read Only Memory）２３、ＨＤＤ（Hard Disk Drive）２４、通信ＩＦ（Interface）２５、入力装置２６、出力装置２７及び光学ディスクドライブ２８等を備えて構成される。ＨＤＤ２４には、フロントエンド処理を行うために必要なプログラム及びその処理に必要な各種データが記憶される。入力装置２６は、たとえば、キーボード、マウス、タッチパネル等で構成される。出力装置２７は、たとえば、ディスプレイ、プリンタ等で構成される。ユーザ端末２０は、通信ＩＦ２５を介して、ネットワーク４０に接続される。
　図３は、ユーザ端末が有する主な機能のブロック図である。
　ユーザ端末２０は、フロントエンド処理として、点検対象の構造物を撮影した画像の入力を受け付ける処理、入力された画像をサーバ３０に送信（アップロード）する処理、サーバ３０での処理結果を受信（ダウンロード）する処理、受信した処理結果を出力する処理及び受信した処理結果を記録する処理等を実施する。このため、ユーザ端末２０は、図３に示すように、画像の入力を受け付ける端末側画像入力部２０Ａ、入力された画像をサーバ３０に送信する端末側送信部２０Ｂ、サーバ３０から処理結果を受信する端末側受信部２０Ｃ、受信した処理結果を出力する端末側出力部２０Ｄ、及び、受信した処理結果を記録する端末側記録部２０Ｅの機能を有する。これらの機能は、ユーザ端末２０を構成するコンピュータが、所定のプログラムを実行することにより実現される。
　端末側画像入力部２０Ａは、点検対象を撮影した画像の入力を受け付ける処理を行う。端末側画像入力部２０Ａは、通信ＩＦ２５を介して、デジタルカメラ等の外部機器から画像を入力する。この画像は、点検対象である構造物の表面をカラー撮影した画像である。したがって、カラー画像である。具体的には、画素単位でＲ（red；赤）、Ｇ（green；緑）及びＢ（blue；青）の各強度値（輝度値）を有する画像（いわゆるＲＧＢ画像）である。
　端末側送信部２０Ｂは、入力された画像をサーバ３０に送信（アップロード）する処理を行う。端末側送信部２０Ｂは、ネットワーク４０を介して、サーバ３０に画像を送信する。
　端末側受信部２０Ｃは、サーバ３０から処理結果を受信する処理を行う。端末側受信部２０Ｃは、ネットワーク４０を介して、サーバ３０から処理結果を受信する。後述するように、サーバ３０は、ユーザ端末２０から送信された画像に基づいて、損傷図（変状図ともいう）を作成する。作成した損傷図は、処理結果として、ユーザ端末２０に送信される。端末側受信部２０Ｃは、このサーバ３０から送信される損傷図を受信（ダウンロード）する。
　端末側出力部２０Ｄは、処理結果を出力する処理を行う。具体的には、処理結果である損傷図を出力装置２７であるディスプレイに出力する。また、必要に応じて、入力された画像を出力装置２７であるディスプレイに出力する。
　端末側記録部２０Ｅは、処理結果を記録する処理を行う。具体的には、処理結果である損傷図をＨＤＤ２４に記録する。この際、元となった画像を関連付けて記録する。
　［サーバ］
　サーバ３０は、一般的なサーバコンピュータで構成される。サーバ３０は、実質的に損傷図作成支援装置を構成する。
　図４は、サーバのハードウェア構成の一例を示すブロック図である。同図に示すように、サーバ３０は、ＣＰＵ３１、ＲＡＭ３２、ＲＯＭ３３、ＨＤＤ３４、通信ＩＦ３５、入力装置３６、出力装置３７及び光学ディスクドライブ３８等を備えて構成される。ＨＤＤ３４には、バックエンド処理を行うために必要なプログラム及びその処理に必要な各種データが記憶される。入力装置３６は、たとえば、キーボード、マウス、タッチパネル等で構成される。出力装置３７は、たとえば、ディスプレイ、プリンタ等で構成される。サーバ３０は、通信ＩＦ３５を介して、ネットワーク４０に接続される。
　図５は、サーバが有する主な機能のブロック図である。
　サーバ３０は、バックエンド処理として、ユーザ端末２０から送信される画像を受信する処理、点検箇所を分割して撮影した画像を受信した場合に分割された画像群をパノラマ合成する処理、画像を解析して構造物の表面に施されたマーキングを色ごとに検出する処理、マーキングの検出結果に基づいて損傷図を作成する処理、作成した損傷図を処理結果としてユーザ端末２０に送信する処理等を実施する。このため、サーバ３０は、図５に示すように、ユーザ端末２０から画像を受信するサーバ側受信部３０Ａ、分割された画像群をパノラマ合成するパノラマ合成部３０Ｂ、画像からマーキングを検出するマーキング検出部３０Ｃ、マーキングの検出結果に基づいて、損傷図を作成する損傷図作成部３０Ｄ、作成した損傷図をユーザ端末２０に送信するサーバ側送信部３０Ｅ等の機能を有する。これらの機能は、サーバ３０を構成するコンピュータが、所定のプログラムを実行することにより実現される。このプログラムは、実質的に損傷図作成支援プログラムを構成する。
　サーバ側受信部３０Ａは、ユーザ端末２０から送信される画像を受信する処理を行う。サーバ側受信部３０Ａは、ネットワーク４０を介して、ユーザ端末２０から画像を受信する。サーバ側受信部３０Ａは、画像取得部の一例である。受信した画像はＨＤＤ３４に格納される。画像は、点検箇所を分割して撮影した画像として取得することもできる。この場合、次のパノラマ合成部３０Ｂでパノラマ合成される。
　パノラマ合成部３０Ｂは、点検箇所を分割して撮影した画像を受信した場合に、分割された画像群をパノラマ合成する処理を行う。パノラマ合成自体は、公知の技術であるので、その詳細についての説明は省略する。パノラマ合成部３０Ｂは、たとえば、画像同士の対応点を検出して、分割された画像群を合成する。この際、パノラマ合成部３０Ｂは、必要に応じて、各画像に拡縮補正、あおり補正及び回転補正等の補正を施す。
　なお、点検箇所を分割して撮影する場合、撮影者（点検技術者）は、隣接する画像が互いに重複するように撮影する。
　マーキング検出部３０Ｃは、画像を解析し、マーキングを色ごとに検出する処理を行う。たとえば、白色及び赤色の二色でマーキングが施されている場合、マーキング検出部３０Ｃは、画像から白色及び赤色の色ごとにマーキングを検出する。マーキングの検出には、種々の手法を採用できる。たとえば、複数の色のマーキングを含む画像を学習用データとして機械学習した学習済みモデルを用いて、マーキングを色ごとに検出する手法を採用できる。機械学習アルゴリズムの種類については、特に限定されず、たとえば、ＲＮＮ（Recurrent Neural Network；再帰型ニューラルネットワーク）、ＣＮＮ（Convolutional Neural Network；畳み込みニューラルネットワーク）又はＭＬＰ（Multilayer Perceptron；多層パーセプトロン）等のニューラルネットワークを用いたアルゴリズムを用いることができる。また、たとえば、画像の輝度分布及びＲＧＢ値分布に基づいて、色ごとにマーキングを検出する手法を採用することもできる。マーキングが施されている領域は、他の領域とは異なる輝度分布及びＲＧＢ値分布となるため、輝度値及びＲＧＢ値の変化を探索することにより、画像からマーキングを色ごとに検出できる。
　損傷図作成部３０Ｄは、マーキングの検出結果に基づいて、損傷図を作成する処理を行う。損傷図は、画像から検出されたマーキングをトレースした図として作成され、色ごとに分類して作成される。たとえば、色別のレイヤー構造で作成される。
　サーバ側送信部３０Ｅは、作成した損傷図をユーザ端末２０に送信する処理を行う。サーバ側送信部３０Ｅは、ネットワーク４０を介して、ユーザ端末２０に損傷図を送信する。
　［損傷図の作成方法］
　次に、本実施の形態の損傷図作成支援システム１０を使用した損傷図の作成方法（損傷図作成支援方法）について説明する。ここでは、橋梁、特に、橋梁の床版を点検する場合を例に説明する。
　［橋梁］
　図６は、橋梁を下から見た斜視図である。
　同図に示す橋梁１は、主桁２、横桁３、対傾構４、横構５及び床版６を備えた立体的構造を有し、これらの部材が、ボルト、リベット、溶接等で連結された構造を有する。
　主桁２等の上部には、車輌等が走行するための床版６が打設されている。床版６は、鉄筋コンクリート製のものが一般的である。主桁２は、橋台又は橋脚の間に渡されて、床版６上の車輌等の荷重を支える部材である。主桁２は、床版６の面（水平面）と直交する面（鉛直方向の面）を有する。横桁３は、主桁２を連結する部材である。横桁３は、荷重を複数の主桁２で支持するために備えられる。対傾構４及び横構５は、主桁２を相互に連結する部材である。対傾構４及び横構５は、それぞれ風及び地震の横荷重に抵抗するために備えられる。
　［橋梁の点検］
　一般に床版６の点検は、格間単位で実施される。格間は、床版６において、主桁２及び横桁３によって区分けされる一区画である。
　本実施の形態の損傷図作成支援システム１０を使用した点検では、外業（現場作業）として、現地でマーキング及び写真撮影の作業が行われる。そして、その外業で得られた写真（画像）を基に、内業（事務所作業）として、損傷図の作成が行われる。
　［マーキング］
　マーキングは、ひび割れ等の損傷（変状ともいう）に沿ってチョークで線を引く作業である（チョーキングともいう）。
　図７は、マーキングの一例を示す図である。同図は、構造物の表面に現れたひび割れに対して、マーキングする場合の例を示している。
　図７に示すように、マーキングは、構造物の表面に現れたひび割れに沿ってチョークで線Ｍを引くことによって行われる。この他、漏水、遊離石灰、剥離、鉄筋露出等の損傷については、損傷が発生している領域の外縁に沿って線を引くことによって行われる。また、必要に応じて、損傷の状態等を示す情報（文字及び記号等）が付される。
　［写真撮影］
　図８は、床版の撮影手順の一例を示す図である。
　上記のように、床版の点検は、格間単位で行われる。格間ＧＯは、主桁２及び横桁３で区分けされる区画の一区画である。したがって、撮影も格間ＧＯごとに行われる。図８は、ｙ方向及びｘ方向に順次移動しながら、各格間ＧＯを撮影する様子を示している（図中の矢印は、移動方向を示している。）なお、図８では、床版６の長手方向（主桁２の方向）をｘ、床版６の面内でｘと直交する方向（横桁３の方向）をｙ、床版６と直交する方向（垂直下方向）をｚとしている。
　図９は、一つの格間での撮影手順の一例を示す図である。
　一回の撮影で格間ＧＯの全領域を撮影できない場合、あるいは、撮影できる場合であっても高解像度の画像が得られない場合などには、撮影領域を分割し、複数回に分けて撮影する。図９において、符号Ａで示す枠は、一回の撮影範囲を示す枠である。図９に示す例では、ｙ方向及びｘ方向に順次移動しながら、格間ＧＯ内の各領域を撮影する様子を示している（図中の矢印は、移動方向を示している。）。
　撮影者（点検技術者）は、点検対象の面である床版に対して正対し、一定距離から撮影を行う。また、隣り合う撮影領域において、互いに一部が重なり合うように撮影する（たとえば、３０％以上重複させて撮影する。）。これにより、パノラマ合成する際に、高精度に合成できる。
　なお、撮影は、カラー撮影が可能なデジタルカメラを用いて行う。
　［損傷図の作成］
　ここでは、一つの格間ＧＯについて、損傷図を作成する場合を例に説明する。
　図１０は、本実施の形態の損傷図作成支援システムを使用した損傷図の作成の処理手順を示すフローチャートである。
　まず、ユーザ端末２０において、画像の入力が行われる（ステップＳ１）。一つの格間ＧＯを複数に分割して撮影した場合は、撮影したすべての画像を入力する。
　次に、入力した画像をサーバ３０に送信（アップロード）する（ステップＳ２）。一つの格間ＧＯを複数に分割して撮影した場合は、たとえば、撮影したすべての画像を一つのフォルダに格納して送信する。
　サーバ３０は、ユーザ端末２０から送信された画像を受信する（ステップＳ３）。受信した画像は、ＨＤＤ３４に格納される。
　サーバ３０は、受信した画像に基づいて、パノラマ合成の要否を判定する（ステップＳ４）。複数の画像が受信されている場合、パノラマ合成が必要と判定する。
　サーバ３０は、パノラマ合成が必要と判定すると、パノラマ合成の処理を実施する（ステップＳ５）。パノラマ合成により、格間ＧＯを撮影した一枚の画像が得られる。
　次に、サーバ３０は、格間ＧＯの撮影画像からマーキングを検出する（ステップＳ６）。マーキングは、色ごとに検出される。
　図１１は、複数色のチョークでマーキングされた格間の撮影画像の一例を示す図である。
　同図に示す画像Ｉの格間ＧＯは、損傷の程度に応じて二色のチョークを使い分けてマーキングしている。具体的には、ひび割れ幅が０．２ｍｍ未満のひび割れを白色のチョークでマーキングし、ひび割れ幅が０．２ｍｍ以上のひび割れを赤色のチョークでマーキングしている。図１１において、符号ＭＲは、赤色のチョークで施されたマーキングを示している。また、符号ＭＷは、白色のチョークで施されたマーキングを示している。サーバ３０は、画像Ｉを解析し、色ごとにマーキングを検出する。
　図１２は、マーキングの検出結果を示す図である。
　同図は、検出したマーキングを線でトレースした図として表現している。同図において、符号ＬＲは、赤色のマーキングとして検出されたマーキングをトレースした線を示している。また、符号ＬＷは、白色のマーキングとして検出されたマーキングをトレースした線を示している。なお、同図では、両者を区別しやすくするため、便宜上、赤色のマーキングをトレースした線ＬＲを太線、白色のマーキングをトレースした線ＬＷを細線で示している。
　マーキングの検出後、図１０に示すように、サーバ３０は、その検出結果に基づいて、損傷図を作成する（ステップＳ７）。損傷図は、画像から検出されたマーキングをトレースした図として作成される。本実施の形態では、色ごとに分類したレイヤー構造の損傷図を作成する。
　図１３は、損傷図の一例を示す図である。
　同図は、白色及び赤色の二色でマーキングされた格間の損傷図の一例を示している。この場合、第１レイヤーＬ１と第２レイヤーＬ２とを備えた損傷図ＤＦが作成される。第１レイヤーＬ１は、白色のマーキングをトレースした損傷図で構成される。第２レイヤーＬ２は、赤色のマーキングをトレースした損傷図で構成される。損傷図ＤＦは、第１レイヤーＬ１及び第２レイヤーＬ２を重ね合わせた図で構成される。
　なお、各レイヤーにおいて、マーキングのトレースする線は、レイヤー同士を重ね合わせた際に互いに区別できるように、異なる線種及び／又は異なる色を使用することが好ましい。たとえば、検出した色と同じ色を使用できる。
　このように損傷図ＤＦを色ごとのレイヤー構造で構成することにより、点検箇所（本例では格間）に施されたマーキングを色ごとに確認できる。
　損傷図の作成後、図１０に示すように、サーバ３０は、作成した損傷図をユーザ端末２０に送信する（ステップＳ８）。
　ユーザ端末２０は、処理結果として、サーバ３０から送信された損傷図を受信（ダウンロード）する（ステップＳ９）。そして、受信した損傷図を出力装置２７に出力する（ステップＳ１０）。具体的には、出力装置２７であるディスプレイに表示する。また、受信した損傷図をＨＤＤ３４に記録する（ステップＳ１１）。この際、ユーザ端末２０は、損傷図の作成元となった写真データに関連付けて損傷図を記録する。
　以上一連の工程で撮影画像に基づく損傷図の作成処理が終了する。ユーザ（点検技術者）は、取得した損傷図を基に点検結果の報告書を作成する。この際、マーキングの色ごとの損傷図のデータが得られるので、マーキングの色ごとに意味付けがなされている場合には、効率よく報告書等を作成できる。たとえば、損傷の程度に応じて、使用するチョークの色を分けてマーキングしていた場合、損傷の程度に応じた損傷図を個別に得られる（レイヤーを切り換えることにより、損傷の程度ごとの損傷図を得られる。）。一方、マーキングは、コンクリートの色に応じて、使用するチョークの色を変える場合もある。たとえば、コンクリートの色に対し目立つ色のチョークを選択してマーキングする場合がある（たとえば、白っぽいコンクリート上では赤色のチョークを使用し、黒っぽいコンクリート上では白色のチョーク等を使用して、マーキングする。）。このような場合は、各レイヤーを重ねた損傷図を使用する。これにより、色の影響を受けずに損傷図を作成できる。一方、マーキングの際には、コンクリートの色の影響を受けずに、効率よくマーキングの作業を実施できる。また、画像からマーキングを検出する際には、精度よくマーキングを検出できる。
　《第２の実施の形態》
　本実施の形態では、マーキングの色の情報を利用して、損傷を自動的に分離した損傷図を作成する場合について説明する。
　本実施の形態の損傷図作成支援システムでは、色分けされたマーキングの各色の意味の情報をユーザから取得し、その各色の意味の情報を利用して、損傷の情報を分類した損傷図を作成する。
　［ユーザ端末］
　図１４は、本実施の形態の損傷図作成支援システムのユーザ端末が有する主な機能のブロック図である。
　同図に示すように、本実施の形態のユーザ端末２０は、マーキング色情報入力部２０Ｆの機能を更に有する点で上記第１の実施の形態の損傷図作成支援システム１０におけるユーザ端末２０と相違する。したがって、ここでは、相違点についてのみ説明する。
　マーキング色情報入力部２０Ｆは、マーキングが色分けされている場合において、各マーキングの色の意味の情報（マーキング色情報）の入力を受け付ける処理を行う。マーキング色情報入力部２０Ｆは、入力装置２６を介して、各マーキングの色の意味の情報を入力する。たとえば、ひび割れ幅が０．２ｍｍ未満のひび割れを白色のチョークでマーキングし、ひび割れ幅が０．２ｍｍ以上のひび割れを赤色のチョークでマーキングしている場合、「白色」が「ひび割れ幅０．２ｍｍ未満のひび割れ」、「赤色」が「ひび割れ幅０．２ｍｍ以上のひび割れ」という情報を入力する。
　端末側送信部２０Ｂは、入力された画像をサーバ３０に送信する際、同時にマーキング色情報もサーバ３０に送信する。
　［サーバ］
　図１５は、本実施の形態の損傷図作成支援システムのサーバが有する主な機能のブロック図である。
　同図に示すように、本実施の形態のサーバ３０（損傷図作成装置）は、マーキング色情報記憶部３０Ｆの機能を更に有する点で上記第１の実施の形態の損傷図作成支援システム１０のサーバ３０と相違する。したがって、ここでは、相違点についてのみ説明する。
　ユーザ端末２０から送信されたマーキング色情報は、サーバ側受信部３０Ａで受信され、マーキング色情報記憶部３０Ｆに記憶される。マーキング色情報記憶部３０Ｆは、たとえば、ＨＤＤ３４で構成される。
　損傷図作成部３０Ｄは、損傷図を作成する際、マーキング色情報記憶部３０Ｆに記憶された情報を参照して、損傷の情報を分類した損傷図を作成する。
　［損傷図の作成例］
　（１）損傷の程度に応じてマーキングの色を使い分けた場合
　この場合、損傷の程度に応じて分類した損傷図が作成される。ユーザは、色ごとの損傷の程度の情報（マーキング色情報）をユーザ端末２０に入力する。入力されたマーキング色情報は、サーバ３０に送信され、サーバ３０のマーキング色情報記憶部３０Ｆに記憶される。サーバ３０は、そのマーキング色情報を参照して、損傷の程度に応じて分類した損傷図を作成する。
　（Ａ）ひび割れの程度に応じてマーキングの色を使い分けた場合
　この場合、ひび割れの程度に応じて使用するチョークの色が使い分けられる。たとえば、ひび割れ幅が０．２ｍｍ未満のひび割れを白色のチョークでマーキングし、ひび割れ幅が０．２ｍｍ以上のひび割れを赤色のチョークでマーキングする、等である。ユーザは、使用したチョークの色（マーキングの色）と、その色ごとの意味の情報（ひび割れの程度の情報）をユーザ端末２０に入力する。たとえば、ユーザ端末２０に「白色」が「ひび割れ幅０．２ｍｍ未満のひび割れ」、「赤色」が「ひび割れ幅０．２ｍｍ以上のひび割れ」という情報を入力する。
　上記のように、マーキングは色ごとに検出される。サーバ３０は、色ごとのマーキングの検出結果と、マーキングの色の情報とに基づいて、損傷図を作成する。損傷図は、たとえば、損傷の程度ごとに分類したレイヤー構造の損傷図を作成する。
　図１６は、ひび割れの程度に応じて分類した損傷図の一例を示す図である。
　同図は、ひび割れ幅が０．２ｍｍ未満のひび割れを白色のチョークでマーキングし、ひび割れ幅が０．２ｍｍ以上のひび割れを赤色のチョークでマーキングした格間の損傷図の一例を示している。この場合、第１レイヤーＬ１と第２レイヤーＬ２とを備えた損傷図ＤＦが作成される。第１レイヤーＬ１は、ひび割れ幅が０．２ｍｍ未満のひび割れをマーキングした損傷図で構成される。この損傷図は、白色のマーキングをトレースした損傷図で構成される。第２レイヤーＬ２は、ひび割れ幅が０．２ｍｍ以上のひび割れをマーキングした損傷図で構成される。この損傷図は、赤色のマーキングをトレースした損傷図で構成される。損傷図ＤＦは、第１レイヤーＬ１及び第２レイヤーＬ２を重ね合わせた図で構成される。
　各レイヤーには、分類した損傷の情報が付される。たとえば、第１レイヤーＬ１には、ひび割れ幅が０．２ｍｍ未満のひび割れの検出結果であることを示す情報Ｉｆ１が付される。また、第２レイヤーＬ２には、ひび割れ幅が０．２ｍｍ以上のひび割れの検出結果であることを示す情報Ｉｆ２が付される。また、第１レイヤーＬ１及び第２レイヤーＬ２を重ねた損傷図ＤＦには、全ひび割れの検出結果であることを示す情報Ｉｆ０が付される。
　なお、各レイヤーにおいて、マーキングをトレースする線は、レイヤー同士を重ね合わせた際に互いに区別できるように、異なる線種及び／又は異なる色を使用することが好ましい。たとえば、検出した色と同じ色を使用できる。
　本例によれば、ひび割れの程度に応じてマーキングの色を使い分けた場合に、そのマーキングの色の情報を利用して、自動的にひび割れの程度ごとに分類した損傷図を作成できる。これにより、効率よく点検の報告書を作成できる。
　ひび割れについては、この他、あらかじめ定められた評価基準に従って損傷を評価し、その評価に従って色を使い分けてマーキングすることもできる。この場合、色ごとに検出したマーキングの検出結果に基づいて、色ごとに分類した損傷図（色ごとにレイヤー化した損傷図）を作成することにより、評価基準に従って分類した損傷図を自動的に作成できる。判定基準には、独自に定めた基準の他、国、自治体及び企業等が定めた基準を利用できる。たとえば、橋梁の点検に関して国土交通省が規定する橋梁定期点検要領に定められた基準を利用できる。
　図１７は、ひび割れの評価基準の一例を示す表である。
　同図に示す例では、最大ひび割れ幅に着目した程度（大、中、小）と、最小ひび割れ間隔に着目した程度（大、小）とを組み合わせて、ひび割れの損傷の程度を５段階（ａ、ｂ、ｃ、ｄ、ｅ）で評価している。
　マーキングする場合は、評価区分（ａ、ｂ、ｃ、ｄ、ｅ）に応じて、チョークの色を使い分ける。たとえば、区分ｂは白色のチョーク、区分ｃは青色のチョーク、区分ｄは黄色のチョーク、区分ｅは赤色のチョークを使用して、損傷箇所をマーキングする。
　損傷図を作成する場合は、マーキングの色ごとに分類した損傷図を作成する。これにより、損傷の評価区分ごとに分類した損傷図を自動的に作成できる。
　（Ｂ）漏水の程度に応じてマーキングの色を使い分けた場合
　この場合、漏水の程度に応じて使用するチョークの色が使い分けられる。たとえば、通常の漏水箇所については、白色のチョークでマーキングし、さび汁を伴う漏水箇所については、赤色のチョークでマーキングする、等である。ユーザは、使用したチョークの色（マーキングの色）と、その色ごとの意味の情報（漏水の程度の情報）をユーザ端末２０に入力する。たとえば、ユーザ端末２０に「白色」が「通常の漏水」、「赤色」が「さび汁を伴う漏水」という情報を入力する。
　サーバ３０は、色ごとのマーキングの検出結果と、マーキングの色の情報とに基づいて、漏水の程度ごとに分類したレイヤー構造の損傷図を作成する。
　図１８は、漏水の程度に応じて分類した損傷図の一例を示す図である。
　同図は、通常の漏水箇所を白色のチョークでマーキングし、さび汁を伴う漏水箇所を赤色のチョークでマーキングした格間の損傷図の一例を示している。この場合、第１レイヤーＬ１と第２レイヤーＬ２とを備えた損傷図ＤＦが作成される。第１レイヤーＬ１は、通常の漏水箇所をマーキングした損傷図で構成される。この損傷図は、白色のマーキングをトレースした損傷図で構成される。第２レイヤーＬ２は、さび汁を伴う漏水箇所をマーキングした損傷図で構成される。この損傷図は、赤色のマーキングをトレースした損傷図で構成される。損傷図ＤＦは、第１レイヤーＬ１及び第２レイヤーＬ２を重ね合わせた図で構成される。
　各レイヤーには、分類した損傷の情報が付される。たとえば、第１レイヤーＬ１には、通常の漏水であることを示す情報Ｉｆ１が付される。また、第２レイヤーＬ２には、さび汁を伴う漏水であることを示す情報Ｉｆ２が付される。また、第１レイヤーＬ１及び第２レイヤーＬ２を重ねた損傷図ＤＦには、全漏水箇所の検出結果であることを示す上オフＩＦ０が付される。
　本例によれば、漏水の程度に応じてマーキングの色を使い分けた場合に、そのマーキングの色の情報を利用して、自動的に漏水の程度ごとに分類した損傷図を作成できる。これにより、効率よく点検の報告書を作成できる。
　（Ｃ）遊離石灰の程度に応じてマーキングの色を使い分けた場合
　この場合、遊離石灰の程度に応じて使用するチョークの色が使い分けられる。たとえば、通常の遊離石灰の箇所については、白色のチョークでマーキングし、さび汁を伴う遊離石灰及びつらら状の遊離石灰の箇所については、赤色のチョークでマーキングする、等である。ユーザは、使用したチョークの色（マーキングの色）と、その色ごとの意味の情報（遊離石灰の程度の情報）をユーザ端末２０に入力する。たとえば、ユーザ端末２０に「白色」が「通常の遊離石灰」、「赤色」が「さび汁を伴う遊離石灰及びつらら状の遊離石灰」という情報を入力する。
　サーバ３０は、色ごとのマーキングの検出結果と、マーキングの色の情報とに基づいて、遊離石灰の程度ごとに分類したレイヤー構造の損傷図を作成する。
　図１９は、遊離石灰の程度に応じて分類した損傷図の一例を示す図である。
　同図は、通常の遊離石灰の箇所を白色のチョークでマーキングし、さび汁を伴う遊離石灰及びつらら状の遊離石灰の箇所を赤色のチョークでマーキングした格間の損傷図の一例を示している。この場合、第１レイヤーＬ１と第２レイヤーＬ２とを備えた損傷図ＤＦが作成される。第１レイヤーＬ１は、通常の遊離石灰の箇所をマーキングした損傷図で構成される。この損傷図は、白色のマーキングをトレースした損傷図で構成される。第２レイヤーＬ２は、さび汁を伴う遊離石灰及びつらら状の遊離石灰の箇所をマーキングした損傷図で構成される。この損傷図は、赤色のマーキングをトレースした損傷図で構成される。損傷図ＤＦは、第１レイヤーＬ１及び第２レイヤーＬ２を重ね合わせた図で構成される。
　各レイヤーには、分類した損傷の情報が付される。たとえば、第１レイヤーＬ１には、通常の遊離石灰であることを示す情報Ｉｆ１が付される。また、第２レイヤーＬ２には、さび汁を伴う遊離石灰及びつらら状の遊離石灰であることを示す情報Ｉｆ２が付される。また、第１レイヤーＬ１及び第２レイヤーＬ２を重ねた損傷図ＤＦには、全遊離石灰の検出結果であることを示す上オフＩＦ０が付される。
　本例によれば、遊離石灰の程度に応じてマーキングの色を使い分けた場合に、そのマーキングの色の情報を利用して、自動的に遊離石灰の程度ごとに分類した損傷図を作成できる。これにより、効率よく点検の報告書を作成できる。
　漏水及び遊離石灰についても、あらかじめ定められた評価基準に従って損傷を評価し、その評価に従って色を使い分けてマーキングすることもできる。この場合、色ごとに検出したマーキングの検出結果に基づいて、色ごとに分類した損傷図（色ごとにレイヤー化した損傷図）を作成することにより、評価基準に従って分類した損傷図を自動的に作成できる。
　図２０は、漏水及び遊離石灰の評価基準の一例を示す表である。
　同図に示す例では、漏水及び遊離石灰の発生状況に応じて、損傷の程度を５段階（ａ、ｂ、ｃ、ｄ、ｅ）で評価している。
　マーキングする場合は、評価区分（ａ、ｂ、ｃ、ｄ、ｅ）に応じて、チョークの色を使い分ける。たとえば、区分ｃは白色のチョーク、区分ｄは黄色のチョーク、区分ｅは赤色のチョークを使用して、損傷箇所をマーキングする。
　損傷図を作成する場合は、マーキングの色ごとに分類した損傷図を作成する。これにより、損傷の評価区分ごとに分類した損傷図を自動的に作成できる。
　（Ｄ）剥離及び鉄筋露出の程度に応じてマーキングの色を使い分けた場合
　この場合、剥離及び鉄筋露出の程度に応じて使用するチョークの色が使い分けられる。たとえば、通常の鉄筋露出の箇所については、白色のチョークでマーキングし、ひどい錆を伴う鉄筋露出の箇所については、赤色のチョークでマーキングする、等である。ユーザは、使用したチョークの色（マーキングの色）と、その色ごとの意味の情報（鉄筋露出の程度の情報）をユーザ端末２０に入力する。たとえば、ユーザ端末２０に「白色」が「通常の鉄筋露出」、「赤色」が「ひどい錆を伴う鉄筋露出」という情報を入力する。
　サーバ３０は、色ごとのマーキングの検出結果と、マーキングの色の情報とに基づいて、鉄筋露出の程度ごとに分類したレイヤー構造の損傷図を作成する。
　図２１は、鉄筋露出の程度に応じて分類した損傷図の一例を示す図である。
　同図は、通常の鉄筋露出の箇所を白色のチョークでマーキングし、ひどい錆を伴う鉄筋露出の箇所を赤色のチョークでマーキングした格間の損傷図の一例を示している。この場合、第１レイヤーＬ１と第２レイヤーＬ２とを備えた損傷図ＤＦが作成される。第１レイヤーＬ１は、通常の鉄筋露出の箇所をマーキングした損傷図で構成される。この損傷図は、白色のマーキングをトレースした損傷図で構成される。第２レイヤーＬ２は、ひどい錆を伴う鉄筋露出の箇所をマーキングした損傷図で構成される。この損傷図は、赤色のマーキングをトレースした損傷図で構成される。損傷図ＤＦは、第１レイヤーＬ１及び第２レイヤーＬ２を重ね合わせた図で構成される。
　各レイヤーには、分類した損傷の情報が付される。たとえば、第１レイヤーＬ１には、通常の鉄筋露出であることを示す情報Ｉｆ１が付される。また、第２レイヤーＬ２には、ひどい錆を伴う鉄筋露出であることを示す情報Ｉｆ２が付される。また、第１レイヤーＬ１及び第２レイヤーＬ２を重ねた損傷図ＤＦには、全鉄筋露出の検出結果であることを示す上オフＩＦ０が付される。
　本例によれば、鉄筋露出の程度に応じてマーキングの色を使い分けた場合に、そのマーキングの色の情報を利用して、自動的に鉄筋露出の程度ごとに分類した損傷図を作成できる。これにより、効率よく点検の報告書を作成できる。
　剥離及び鉄筋露出についても、あらかじめ定められた評価基準に従って損傷を評価し、その評価に従って色を使い分けてマーキングすることもできる。この場合、色ごとに検出したマーキングの検出結果に基づいて、色ごとに分類した損傷図（色ごとにレイヤー化した損傷図）を作成することにより、評価基準に従って分類した損傷図を自動的に作成できる。
　図２２は、剥離及び鉄筋露出の評価基準の一例を示す表である。
　同図に示す例では、剥離及び鉄筋露出の発生状況に応じて、損傷の程度を５段階（ａ、ｂ、ｃ、ｄ、ｅ）で評価している。
　マーキングする場合は、評価区分（ａ、ｂ、ｃ、ｄ、ｅ）に応じて、チョークの色を使い分ける。たとえば、区分ｃは白色のチョーク、区分ｄは黄色のチョーク、区分ｅは赤色のチョークを使用して、損傷箇所をマーキングする。
　損傷図を作成する場合は、マーキングの色ごとに分類した損傷図を作成する。これにより、損傷の評価区分ごとに分類した損傷図を自動的に作成できる。
　（２）損傷の種類に応じてマーキングの色を使い分けた場合
　この場合、損傷の種類に応じて分類した損傷図が作成される。ユーザは、色ごとの損傷の種類の情報（マーキング色情報）をユーザ端末２０に入力する。入力されたマーキング色情報はサーバ３０に送信され、サーバ３０のマーキング色情報記憶部３０Ｆに記憶される。サーバ３０は、そのマーキング色情報を参照して、損傷の種類に応じて分類した損傷図を作成する。
　たとえば、ひび割れは白色、漏水は青色、遊離石灰は緑色、剥離は黄色、鉄筋露出は赤色のチョークでマーキングする、等である。ユーザは、使用したチョークの色（マーキングの色）と、その色ごとの損傷の種類の情報をユーザ端末２０に入力する。たとえば、ユーザ端末２０に「白色」が「ひび割れ」、「青色」が「漏水」、「緑色」が「遊離石灰」、「黄色」が「剥離」、「赤色」が「鉄筋露出」という情報を入力する。
　サーバ３０は、色ごとのマーキングの検出結果と、マーキングの色の情報とに基づいて、損傷図を作成する。損傷図は、損傷の程度ごとに分類したレイヤー構造の損傷図を作成する。
　図２３は、損傷図の構成の一例を示す図である。
　同図は、ひび割れの箇所を白色のチョークでマーキングし、漏水の箇所を青色のチョークでマーキングし、遊離石灰の箇所を緑色のチョークでマーキングし、剥離の箇所を黄色のチョークでマーキングし、鉄筋露出の箇所を赤色のチョークでマーキングした場合の損傷図の構成の一例を示している。この場合、５つのレイヤー（第１レイヤーＬ１～第５レイヤーＬ５）を備えた損傷図ＤＦが作成される。第１レイヤーＬ１は、ひび割れをマーキングした損傷図で構成される。この損傷図は、白色のマーキングをトレースした損傷図で構成される。第２レイヤーＬ２は漏水をマーキングした損傷図で構成される。この損傷図は、青色のマーキングをトレースした損傷図で構成される。第３レイヤーＬ３は、遊離石灰の箇所をマーキングした損傷図で構成される。この損傷図は、緑色のマーキングをトレースした損傷図で構成される。第４レイヤーＬ４は、剥離をマーキングした損傷図で構成される。この損傷図は、黄色のマーキングをトレースした損傷図で構成される。第５レイヤーＬ５は、鉄筋露出をマーキングした損傷図で構成される。この損傷図は、赤色のマーキングをトレースした損傷図で構成される。全体の損傷図ＤＦは、すべてのレイヤーを重ね合わせた図で構成される。
　上記同様に、各レイヤーには、分類した損傷の情報が付される。また、各レイヤーにおいて、マーキングをトレースする線は、レイヤー同士を重ね合わせた際に互いに区別できるように、異なる線種及び／又は異なる色を使用することが好ましい。たとえば、検出した色と同じ色を使用できる。あるいは、あらかじめ設定した表示規則に従って表示してもよい。
　図２４は、損傷図上で損傷の表示態様の一例を示す図である。
　同図に示すように、損傷の種類ごとに損傷図上での表示態様を設定し、その設定に従って損傷図上に損傷を表示する。たとえば、漏水のマーキング（本例では青色のマーキング）を検出した場合、損傷図上では、マーキングの箇所をハッチングで表示する。
　また、このようにあらかじめ設定した表示規則に従って損傷図上に損傷を表わした場合には、その凡例を損傷図上に表示あるいは添付してもよい。
　図２５は、損傷の種類別に分類した損傷図の一例を示す図である。
　同図に示す例では、ひび割れ、漏水及び遊離石灰が生じた格間を撮影した画像から損傷図を作成した場合の例を示している。この場合、同図に示すように、ひび割れの箇所に施した白色のマーキング、漏水の箇所に施した青色のマーキング、及び、遊離石灰の箇所に施した緑色のマーキングが検出される。損傷図は、ひび割れの損傷図である第１レイヤーＬ１と、漏水の損傷図である第２レイヤーＬ２と、遊離石灰の損傷図である第３レイヤーＬ３が作成される（剥離の損傷図である第４レイヤーＬ４及び鉄筋露出の損傷図である第５レイヤーＬ５は白紙（透明）のレイヤーとなる。）。全体の損傷図ＤＦは、すべての損傷が表示された図となる。
　本例によれば、損傷の種類に応じてマーキングの色を使い分けた場合に、そのマーキングの色の情報を利用して、自動的に損傷の種類ごとに分類した損傷図を作成できる。これにより、効率よく点検の報告書を作成できる。
　（３）点検の時期に応じてマーキングの色を使い分けた場合
　たとえば、最初の点検では、白色のチョークを使用し、次の点検では、赤色のチョークを使用し、その次の点検では、青色のチョークを使用する等、点検のたびにチョークの色を変えてマーキングする。この場合、点検の時期（回）に応じて分類した損傷図が作成される。ユーザは、色ごとの点検の時期（回）の情報（マーキング色情報）をユーザ端末２０に入力する。入力されたマーキング色情報はサーバ３０に送信され、サーバ３０のマーキング色情報記憶部３０Ｆに記憶される。サーバ３０は、そのマーキング色情報を参照して、点検の時期に応じて分類した損傷図を作成する。損傷図は、たとえば、レイヤー構造の損傷図が作成される。すなわち、点検の時期（回）ごとに分類されて積層された構造の損傷図が作成される。
　図２６は、点検の時期ごとに分類した損傷図の構成の一例を示す図である。
　同図は、これまでに３回の点検を実施した場合の損傷図の一例を示している。１回目（２００８年１２月１日）の点検では、白色のチョークで損傷箇所をマーキングし、２回目（２０１３年１２月１日）の点検では、赤色のチョークで損傷箇所をマーキングし、３回目（２０１８年１２月１日）の点検では、青色のチョークで損傷箇所をマーキングしている。この場合、３つのレイヤー（第１レイヤーＬ１～第３レイヤーＬ３）を備えた損傷図ＤＦが作成される。第１レイヤーＬ１は、第１回目の点検の損傷図で構成される。この損傷図は、白色のマーキングをトレースした損傷図で構成される。第２レイヤーＬ２は、第２回目の点検の損傷図で構成される。この損傷図は、赤色のマーキングをトレースした損傷図で構成される。第３レイヤーＬ３は、第３回目の点検の損傷図で構成される。この損傷図は、青色のマーキングをトレースした損傷図で構成される。全体の損傷図ＤＦは、すべてのレイヤーを重ね合わせた図で構成される。
　本例によれば、点検の時期（回）に応じてマーキングの色を使い分けた場合に、そのマーキングの色の情報を利用して、自動的に点検の時期（回）ごとに分類した損傷図を作成できる。これにより、効率よく点検の報告書を作成できる。また、このような損傷図を作成することにより、過去と今回の点検の差分（損傷の進展）を確認できる。
　《その他の実施の形態及び変形例》
　［点検対象］
　上記実施の形態では、橋梁を点検する場合を例に説明したが、本発明の適用は、これに限定されるものではない。この他、たとえば、トンネル、ダム、建築物などの構造物を点検する場合にも同様に適用できる。また、点検対象の構造物は、コンクリート構造物に限らず、他の構造物の点検にも適用できる。また、点検箇所の表面構造は、コンクリートに限らず、タイル等で構成されていてもよい。更に、構造物の鋼部材を点検対象とする場合にも、本発明を適用できる。構造物の鋼部材を点検対象に含める場合、たとえば、鋼部材の亀裂の程度、腐食の程度、防食機能の劣化の程度及びボルトのゆるみの程度等に応じてマーキングの色を使い分ける。たとえば、亀裂に関して、（１）断面急変部、溶接接合部などに塗膜われが確認できる場合、及び、亀裂が生じているものの、線状でないか、線状であってもその長さが極めて短く、更に数が少ない場合は、白色のチョークでマーキングし、（２）線状の亀裂が生じている又は直下に亀裂が生じている疑いを否定できない塗膜われが生じている場合は、赤色のチョークでマーキングする。また、たとえば、腐食に関して、（１）損傷の深さが小さく（錆は表面的であり、著しい板厚減少等は視認できない場合）、かつ、損傷の面積が小さい（損傷箇所の面積が小さく局部的である）は、白色のチョークでマーキングし、（２）損傷の深さが小さく、かつ、損傷の面積が大きい（損着目部分の全体に錆が生じている又は着目部分に拡がりのある発錆箇所が複数ある）場合は、青色のチョークでマーキングし、（３）損傷の深さが大きく（鋼材表面に著しい膨張が生じている又は明らかな板厚減少等が視認できる）、かつ、損傷の面積が大きい場合は、黄色のチョークでマーキングし、（４）損傷の深さが大きく、かつ、損傷の面積が大きい場合は、赤色のチョークでマーキングする。また、防食機能の劣化に関して、塗装の場合、たとえば、（１）最外層の防食塗膜に変色が生じたり、局所的なうきが生じている場合は、白色のチョークでマーキングし、（２）部分的に防食塗膜が剥離し、下塗りが露出している場合は、黄色のチョークでマーキングし、（３）防食塗膜の劣化範囲が広く、点錆が発生している場合は、赤色のチョークでマーキングする。また、防食機能の劣化に関して、めっき及び金属溶射の場合、（１）局所的に防食皮膜が劣化し、点錆が発生している場合は、白色のチョークでマーキングし、（２）防食皮膜の劣化範囲が広く、点錆が発生している場合は、赤色のチョークでマーキングする。また、防食機能の劣化に関して、耐候性鋼材の場合、（１）錆の大きさは１～５mm程度で粗い場合は、白色のチョークでマーキングし、（２）錆の大きさは５～２５mm程度のうろこ状である場合は、黄色のチョークでマーキングし、（３）錆の層状剥離がある場合は、赤色のチョークでマーキングする。また、ボルトのゆるみに関して、（１）ボルトにゆるみや脱落が生じており、その数が少ない（一群あたり本数の５％未満である。）場合は、白色のチョークでマーキングし、（２）ボルトにゆるみ及び脱落等が生じており、その数が多い（一群あたり本数の５％以上である。）場合は、赤色のチョークでマーキングする。損傷図を作成する際は、画像から検出したマーキングの色ごとの検出結果に従って損傷図を作成する。すなわち、検出した鋼部材の亀裂の程度、腐食の程度及び防食機能の劣化の程度等に応じて、損傷を分類した損傷図を作成する。
　［システム構成］
　上記実施の形態では、本発明を損傷図作成支援システムとして、いわゆるクライアントサーバ型のシステムで構成しているが、本発明は、たとえば、損傷図作成支援として、いわゆるスタンドアローンコンピュータで実現することもできる。
　［マーキング作業］
　上記実施の形態では、チョークを用いてマーキングする場合を例に説明したが、マーキングの作業は、フェルトペン（マーキングペン）等のマーカーを使用して行うこともできる。色の使い分けができればよい。
　また、上記実施の形態では、ひび割れ、漏水、遊離石灰、剥離及び鉄筋露出等の点検及びマーキングを個別に行う場合を例に説明したが、これらの作業は複合的に行うことができる。たとえば、ひび割れ及び漏水の点検及びマーキングを同時に実施できる。この場合、ひび割れの程度及び漏水の程度に応じてチョークの色を使い分けてマーキングすることもできる。また、同時に損傷の種類に応じてチョークの色を使い分けてマーキングすることもできる。これにより、損傷の程度及び損傷の種類ごとに分類した損傷図を作成できる。
　［マーキング色情報の入力］
　上記実施の形態では、マーキングの色ごとの情報をユーザがユーザ端末２０に入力する構成としているが、マーキングの色ごとの情報が、あらかじめ定められている場合（たとえば、点検技術者が、あらかじめ定められた色の使用規則に従ってマーキングする場合など）は、当該情報をサーバ３０が保持し（ＨＤＤ３４（記憶部）等に保持）、その情報を参照して、損傷図を作成する構成としてもよい。
　［損傷図の構成］
　上記実施の形態では、マーキングの色ごとに分離可能なレイヤー構造の損傷図を作成しているが、損傷図の構成は、これに限定されるものではない。マーキングの色ごとに個別に損傷図を作成してもよい。あるいは、一つの損傷図の中でマーキングの色ごとに分離可能な形態で作成してもよい（たとえば、マーキングの色ごとにグループ化して、マーキングの色ごとに表示及び非表示を切り換えられるようにする。）。
　［ハードウェア構成の変形例］
　本発明の損傷図作成支援装置を実現するハードウェアは、各種のプロセッサ（processor）で構成できる。各種プロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device；ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。点検支援装置を構成する１つの処理部は、上記各種プロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。たとえば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ（System On Chip；ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種プロセッサを１つ以上用いて構成される。更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
１　橋梁
２　主桁
３　横桁
４　対傾構
５　横構
６　床版
１０　損傷図作成支援システム
２０　ユーザ端末
２０Ａ　端末側画像入力部
２０Ｂ　端末側送信部
２０Ｃ　端末側受信部
２０Ｄ　端末側出力部
２０Ｅ　端末側記録部
２０Ｆ　マーキング色情報入力部
２１　ＣＰＵ（Central Processing Unit）
２２　ＲＡＭ（Random Access Memory）
２３　ＲＯＭ（Read Only Memory）
２４　ＨＤＤ（Hard Disk Drive）
２５　通信ＩＦ（Interface）
２６　入力装置
２７　出力装置
２８　光学ディスクドライブ
３０　サーバ
３０Ａ　サーバ側受信部
３０Ｂ　パノラマ合成部
３０Ｃ　マーキング検出部
３０Ｄ　損傷図作成部
３０Ｅ　サーバ側送信部
３０Ｆ　マーキング色情報記憶部
３１　ＣＰＵ（Central Processing Unit）
３２　ＲＡＭ（Random Access Memory）
３３　ＲＯＭ（Read Only Memory）
３４　ＨＤＤ（Hard Disk Drive）
３５　通信ＩＦ（Interface）
３６　入力装置
３７　出力装置
３８　光学ディスクドライブ
４０　ネットワーク
ＤＦ　損傷図
ＧＯ　格間
Ｉ　画像
Ｉｆ０　情報
Ｉｆ１　情報
Ｉｆ２　情報
Ｌ１　第１レイヤー
Ｌ２　第２レイヤー
Ｌ３　第３レイヤー
Ｌ４　第４レイヤー
Ｌ５　第５レイヤー
Ｓ１～Ｓ１１　損傷図の作成の処理手順

Claims (14)

  1. 　構造物の表面をカラー撮影した画像を取得する画像取得部と、
    　前記画像を解析し、前記構造物の表面の損傷箇所に施されたマーキングを色ごとに検出するマーキング検出部と、
    　色ごとの前記マーキングの検出結果に基づいて、損傷図を作成する損傷図作成部と、
    　を備えた損傷図作成支援装置。
  2. 　前記マーキングの色ごとに定められた情報を記憶する記憶部を更に備え、
    　前記損傷図作成部は、前記記憶部に記憶された情報を参照して、前記損傷図を作成する、
    　請求項１に記載の損傷図作成支援装置。
  3. 　前記記憶部には、前記マーキングの色ごとに定められた損傷の程度の情報が記憶され、
    　前記損傷図作成部は、前記記憶部に記憶された情報を参照して、損傷の程度を分類した前記損傷図を作成する、
    　請求項２に記載の損傷図作成支援装置。
  4. 　前記記憶部には、前記マーキングの色ごとに定められたひび割れの程度の情報が記憶され、
    　前記損傷図作成部は、ひび割れの程度を分類した前記損傷図を作成する、
    　請求項３に記載の損傷図作成支援装置。
  5. 　前記記憶部には、前記マーキングの色ごとに定められた漏水及び／又は遊離石灰の程度の情報が記憶され、
    　前記損傷図作成部は、漏水及び／又は遊離石灰の程度を分類した前記損傷図を作成する、
    　請求項３又は４に記載の損傷図作成支援装置。
  6. 　前記記憶部には、前記マーキングの色ごとに定められた剥離及び／又は鉄筋露出の程度の情報が記憶され、
    　前記損傷図作成部は、剥離及び／又は鉄筋露出の程度を分類した前記損傷図を作成する、
    　請求項３から５のいずれか１項に記載の損傷図作成支援装置。
  7. 　前記記憶部には、前記マーキングの色ごとに定められた損傷の種類の情報が記憶され、
    　前記損傷図作成部は、前記記憶部に記憶された情報を参照して、損傷の種類を分類した前記損傷図を作成する、
    　請求項２から６のいずれか１項に記載の損傷図作成支援装置。
  8. 　前記記憶部には、前記マーキングの色ごとに定められた点検の時期の情報が記憶され、
    　前記損傷図作成部は、前記記憶部に記憶された情報を参照し、点検の時期を分類した前記損傷図を作成する、
    　請求項２から７のいずれか１項に記載の損傷図作成支援装置。
  9. 　前記記憶部には、前記マーキングの色ごとに定められた点検の時期の情報が記憶され、
    　前記損傷図作成部は、前記記憶部に記憶された情報を参照し、点検の時期ごとの前記損傷図を作成する、
    　請求項２から７のいずれか１項に記載の損傷図作成支援装置。
  10. 　前記記憶部には、前記マーキングの色ごとに定められた鋼部材の亀裂の程度、腐食の程度及び防食機能の劣化の程度の少なくとも一つの情報が記憶され、
    　前記損傷図作成部は、前記記憶部に記憶された情報を参照して、前記鋼部材の亀裂の程度、腐食の程度及び防食機能の劣化の程度の少なくとも一つを分類した前記損傷図を作成する、
    　請求項２から９のいずれか１項に記載の損傷図作成支援装置。
  11. 　構造物の表面をカラー撮影した画像を取得するステップと、
    　前記画像を解析し、前記構造物の表面の損傷箇所に施されたマーキングを色ごとに検出するステップと、
    　色ごとの前記マーキングの検出結果に基づいて、損傷図を作成するステップと、
    　を含む損傷図作成支援方法。
  12. 　構造物の表面をカラー撮影した画像を取得する機能と、
    　前記画像を解析し、前記構造物の表面の損傷箇所に施されたマーキングを色ごとに検出する機能と、
    　色ごとの前記マーキングの検出結果に基づいて、損傷図を作成する機能と、
    　をコンピュータに実現させる損傷図作成支援プログラム。
  13. 　ユーザ端末及びサーバを含む損傷図作成支援システムであって、
    　前記ユーザ端末は、
    　構造物の表面をカラー撮影した画像を入力する端末側画像入力部と、
    　前記画像を前記サーバに送信する端末側送信部と、
    　前記画像に基づいて作成された損傷図を前記サーバから受信する端末側受信部と、
    　を備え、
    　前記サーバは、
    　前記ユーザ端末から前記画像を受信するサーバ側受信部と、
    　前記画像を解析し、前記構造物の表面の損傷箇所に施されたマーキングを色ごとに検出するマーキング検出部と、
    　色ごとの前記マーキングの検出結果に基づいて、損傷図を作成する損傷図作成部と、
    　前記損傷図を前記ユーザ端末に送信するサーバ側送信部と、
    　を備えた損傷図作成支援システム。
  14. 　非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に、
    　構造物の表面をカラー撮影した画像を取得する機能と、
    　前記画像を解析し、前記構造物の表面の損傷箇所に施されたマーキングを色ごとに検出する機能と、
    　色ごとの前記マーキングの検出結果に基づいて、損傷図を作成する機能と、
    　を含む損傷図作成支援機能をコンピュータに実行させる記録媒体。
PCT/JP2019/047474 2018-12-13 2019-12-04 損傷図作成支援装置、損傷図作成支援方法、損傷図作成支援プログラム及び損傷図作成支援システム WO2020121917A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020559982A JP7429648B2 (ja) 2018-12-13 2019-12-04 損傷図作成支援装置、損傷図作成支援方法、損傷図作成支援プログラム及び損傷図作成支援システム
CN201980082671.8A CN113196041B (zh) 2018-12-13 2019-12-04 损伤图制作辅助装置、损伤图制作辅助方法、损伤图制作辅助程序及损伤图制作辅助系统
EP19897404.0A EP3896435A4 (en) 2018-12-13 2019-12-04 DEVICE FOR DAMAGE GENERATING ASSISTANT, METHOD FOR DAMAGE GENERATING SUPPORT, DAMAGE GENERATING SUPPORT PROGRAM AND DAMAGE GENERATING SUPPORT SYSTEM
US17/324,377 US11959862B2 (en) 2018-12-13 2021-05-19 Damage figure creation supporting apparatus, damage figure creation supporting method, damage figure creation supporting program, and damage figure creation supporting system
JP2023156246A JP2023164699A (ja) 2018-12-13 2023-09-21 損傷図作成支援装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018233657 2018-12-13
JP2018-233657 2018-12-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/324,377 Continuation US11959862B2 (en) 2018-12-13 2021-05-19 Damage figure creation supporting apparatus, damage figure creation supporting method, damage figure creation supporting program, and damage figure creation supporting system

Publications (1)

Publication Number Publication Date
WO2020121917A1 true WO2020121917A1 (ja) 2020-06-18

Family

ID=71076928

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/047474 WO2020121917A1 (ja) 2018-12-13 2019-12-04 損傷図作成支援装置、損傷図作成支援方法、損傷図作成支援プログラム及び損傷図作成支援システム

Country Status (5)

Country Link
US (1) US11959862B2 (ja)
EP (1) EP3896435A4 (ja)
JP (2) JP7429648B2 (ja)
CN (1) CN113196041B (ja)
WO (1) WO2020121917A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220099588A1 (en) * 2020-09-29 2022-03-31 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and non-transitory computer-readable storage medium

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11132961A (ja) * 1997-10-29 1999-05-21 Nikon Corp 構造物用検査装置
JP2002340805A (ja) 2001-05-18 2002-11-27 Sho Bond Constr Co Ltd コンクリート構造物の損傷部の計測方法
JP2010266202A (ja) * 2009-04-13 2010-11-25 Itt:Kk 写真計測用画像処理装置、それを用いた現場記録システム、荷物記録システム並びにレーザ加工システム
JP2013250058A (ja) * 2012-05-30 2013-12-12 Railway Technical Research Institute コンクリート表面の線状変状検出方法
JP2014006222A (ja) 2012-06-27 2014-01-16 Railway Technical Research Institute コンクリート表面の変状検出方法及び装置
JP2014134470A (ja) * 2013-01-10 2014-07-24 Takenaka Komuten Co Ltd 壁面診断結果記録システム、壁面診断結果記録方法、及び壁面診断結果記録プログラム
WO2017130477A1 (ja) * 2016-01-29 2017-08-03 富士フイルム株式会社 欠陥検査装置、方法およびプログラム
WO2017221706A1 (ja) * 2016-06-24 2017-12-28 富士フイルム株式会社 損傷図編集装置及び損傷図編集方法
WO2018037689A1 (ja) * 2016-08-22 2018-03-01 富士フイルム株式会社 画像処理装置及び画像処理方法
JP2018197692A (ja) * 2017-05-23 2018-12-13 株式会社ソーシャル・キャピタル・デザイン 損傷状況処理システム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001305075A (ja) * 2000-04-21 2001-10-31 Sharp Corp 外観検査装置
JP2002228642A (ja) * 2000-11-29 2002-08-14 Nkk Corp コンクリート構造物の検査方法、評価装置及び補修方法
CA2605802A1 (fr) 2005-04-28 2006-11-02 Roboplanet Outil, capteur et dispositif de controle non destructif de paroi
EP3348986A4 (en) 2015-09-10 2018-10-17 FUJIFILM Corporation Damage information extraction device, damage information extraction method and damage information extraction program
JP2018185146A (ja) * 2015-09-25 2018-11-22 富士フイルム株式会社 損傷図作成装置及び損傷図作成方法
CN107040709A (zh) * 2015-11-12 2017-08-11 精工爱普生株式会社 图像处理装置、机器人系统、机器人以及图像处理方法
WO2017110278A1 (ja) 2015-12-25 2017-06-29 富士フイルム株式会社 情報処理装置及び情報処理方法
EP3396359B1 (en) 2015-12-25 2021-04-28 FUJIFILM Corporation Damage information processing device and damage information processing method
EP3407054A4 (en) 2016-01-22 2019-01-02 Fujifilm Corporation Crack information editing device, crack information editing method, and crack information editing program
WO2017130699A1 (ja) * 2016-01-26 2017-08-03 富士フイルム株式会社 ひび割れ情報検出装置、ひび割れ情報検出方法およびひび割れ情報検出プログラム
US9805261B1 (en) * 2017-02-27 2017-10-31 Loveland Innovations, LLC Systems and methods for surface and subsurface damage assessments, patch scans, and visualization

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11132961A (ja) * 1997-10-29 1999-05-21 Nikon Corp 構造物用検査装置
JP2002340805A (ja) 2001-05-18 2002-11-27 Sho Bond Constr Co Ltd コンクリート構造物の損傷部の計測方法
JP2010266202A (ja) * 2009-04-13 2010-11-25 Itt:Kk 写真計測用画像処理装置、それを用いた現場記録システム、荷物記録システム並びにレーザ加工システム
JP2013250058A (ja) * 2012-05-30 2013-12-12 Railway Technical Research Institute コンクリート表面の線状変状検出方法
JP2014006222A (ja) 2012-06-27 2014-01-16 Railway Technical Research Institute コンクリート表面の変状検出方法及び装置
JP2014134470A (ja) * 2013-01-10 2014-07-24 Takenaka Komuten Co Ltd 壁面診断結果記録システム、壁面診断結果記録方法、及び壁面診断結果記録プログラム
WO2017130477A1 (ja) * 2016-01-29 2017-08-03 富士フイルム株式会社 欠陥検査装置、方法およびプログラム
WO2017221706A1 (ja) * 2016-06-24 2017-12-28 富士フイルム株式会社 損傷図編集装置及び損傷図編集方法
WO2018037689A1 (ja) * 2016-08-22 2018-03-01 富士フイルム株式会社 画像処理装置及び画像処理方法
JP2018197692A (ja) * 2017-05-23 2018-12-13 株式会社ソーシャル・キャピタル・デザイン 損傷状況処理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
FUJITA, YUSUKE ET AL.: "AUTOMATIC AND EXACT CRACK EXTRACTION FROM CONCRETE SURFACES USING IMAGE PROCESSING TECHNIQUES", DOBOKU GAKKAI RONBUNSHUU F, vol. 66, no. 3, September 2010 (2010-09-01), pages 459 - 470, XP055810823 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220099588A1 (en) * 2020-09-29 2022-03-31 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US11898966B2 (en) * 2020-09-29 2024-02-13 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and non-transitory computer-readable storage medium

Also Published As

Publication number Publication date
US11959862B2 (en) 2024-04-16
JP2023164699A (ja) 2023-11-10
JPWO2020121917A1 (ja) 2020-06-18
EP3896435A4 (en) 2022-01-26
EP3896435A1 (en) 2021-10-20
JP7429648B2 (ja) 2024-02-08
CN113196041A (zh) 2021-07-30
CN113196041B (zh) 2024-06-11
US20210270748A1 (en) 2021-09-02

Similar Documents

Publication Publication Date Title
Omer et al. Use of gaming technology to bring bridge inspection to the office
Prasanna et al. Automated crack detection on concrete bridges
JP4848532B2 (ja) 路面画像作成方法および路面画像作成装置
WO2017051633A1 (ja) 損傷図作成装置及び損傷図作成方法
Lee et al. Application and validation of simple image-mosaic technology for interpreting cracks on tunnel lining
JP7372536B2 (ja) 演算プログラム、演算装置及び演算方法
WO2018034057A1 (ja) 欠陥検査装置、欠陥検査方法、およびプログラム
US11263739B2 (en) Repair length determination method and repair length determination apparatus
JP2018004541A (ja) 情報処理装置、情報処理方法及びプログラム
JP6805351B2 (ja) 損傷データ編集装置、損傷データ編集方法、およびプログラム
WO2020110560A1 (ja) コンクリート構造物の点検支援装置、点検支援方法及び点検支援プログラム
JP5726472B2 (ja) アライメント方法及び検出装置
JP2009133085A (ja) トンネル覆工のひび割れ検査装置
WO2017130477A1 (ja) 欠陥検査装置、方法およびプログラム
JP2023164699A (ja) 損傷図作成支援装置
US11544839B2 (en) System, apparatus and method for facilitating inspection of a target object
Shah et al. Condition assessment of ship structure using robot assisted 3D-reconstruction
WO2021241535A1 (ja) 構造物の検査方法及び検査システム
WO2019003796A1 (ja) 画像合成方法、画像合成装置、及び記録媒体
JP2004318790A (ja) 構造物用検査装置及び検査方法、並びに記録媒体
JP6842819B2 (ja) 道路構造物の点検情報管理システム
JP2023063324A (ja) 画像処理装置、画像処理方法及びプログラム
JP2003065959A (ja) 非破壊検査装置
JP6350988B2 (ja) 橋梁の損傷診断用カメラ
KR102378411B1 (ko) 휴대용 전자장치를 이용한 외관조사망도 작성 및 시각화 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19897404

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2020559982

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019897404

Country of ref document: EP

Effective date: 20210713