WO2021241537A1 - 損傷図作成支援方法及び装置 - Google Patents

損傷図作成支援方法及び装置 Download PDF

Info

Publication number
WO2021241537A1
WO2021241537A1 PCT/JP2021/019704 JP2021019704W WO2021241537A1 WO 2021241537 A1 WO2021241537 A1 WO 2021241537A1 JP 2021019704 W JP2021019704 W JP 2021019704W WO 2021241537 A1 WO2021241537 A1 WO 2021241537A1
Authority
WO
WIPO (PCT)
Prior art keywords
damage
cracks
visible light
damage diagram
image
Prior art date
Application number
PCT/JP2021/019704
Other languages
English (en)
French (fr)
Inventor
直史 笠松
誠 與那覇
那緒子 吉田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2022526556A priority Critical patent/JP7353485B2/ja
Publication of WO2021241537A1 publication Critical patent/WO2021241537A1/ja
Priority to US18/050,846 priority patent/US20230075504A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30132—Masonry; Concrete

Definitions

  • the present invention relates to a damage diagram creation support method and an apparatus, and more particularly to a damage diagram creation support method and an apparatus for supporting the creation of a damage diagram based on a structure inspection result.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to provide a damage diagram creation support method and an apparatus capable of appropriately recording the detection result of cracks automatically detected from an image.
  • a step of acquiring information on an area having damage inside the structure in the inspection target area a step of acquiring a visible light image of the inspection target area taken by a visible light camera, and a structure in the visible light image.
  • the step of detecting the cracks appearing on the surface of the object and the step of creating a damage diagram tracing the cracks detected in the visible light image, and the area other than the area having the internal damage has the first width.
  • a damage diagram creation support method including a step of tracing cracks above a threshold and creating a damage diagram by tracing cracks above a second threshold whose width is smaller than the first threshold for an area having internal damage. ..
  • the visible light image is an image taken with a pixel resolution capable of detecting cracks having a width of at least 0.1 mm, the first threshold value is 0.2 mm, and the second threshold value is 0.1 mm.
  • the damage diagram creation support method of (1) which further includes a step of measuring the internal state of the inspection target area in a non-destructive manner and detecting an area having damage inside.
  • the damage diagram creation support method of (4) which takes an image that visualizes the internal state of the inspection target area using electromagnetic waves or ultrasonic waves.
  • the damage diagram creation support method of (5) which takes an image that visualizes the internal state of the inspection target area using millimeter waves, microwaves, or terahertz waves.
  • Damage map creation support method of (2) that measures the internal state of the inspection target area by the non-contact acoustic exploration method.
  • a damage diagram creation support method according to any one of (1) to (7), which detects a floating area as an area having damage inside the structure.
  • a damage diagram creation support device that assists in the creation of a damage diagram that records cracks that appear on the surface of a structure.
  • the processor has a processor, and the processor causes damage to the inside of the structure within the inspection target area.
  • the process of acquiring information on the area to be inspected the process of acquiring a visible light image of the area to be inspected with a visible light camera, the process of detecting cracks appearing on the surface of a structure in the visible light image, and the process of detecting visible light.
  • the area other than the area with internal damage traces the cracks whose width is equal to or greater than the first threshold, and the area with internal damage is.
  • a damage diagram creation support device that traces cracks having a width smaller than the first threshold and is equal to or greater than the second threshold, and creates a damage diagram.
  • the visible light image is an image taken with a pixel resolution capable of detecting cracks having a width of at least 0.1 mm, the first threshold value is 0.2 mm, and the second threshold value is 0.1 mm.
  • the detection result of cracks automatically detected from an image can be appropriately recorded.
  • Block diagram showing an example of the hardware configuration of the damage diagram creation support device Block diagram of the main functions of the damage diagram creation support device
  • Block diagram of the main functions of the damage diagram creation support device The figure which shows an example of the display of the screen which specifies an internal damage area.
  • Plan view showing the schematic configuration of the deck Flowchart showing the procedure from inspection to creation of damage diagram
  • the figure which shows an example of the shooting method of split shooting A flowchart showing the procedure for creating a damage diagram by the damage diagram creation support device.
  • a diagram showing an example of a damage diagram created by the damage diagram creation support device A diagram showing an example of a damage diagram generated by separating layers for each type of crack.
  • FIG. 1 is a block diagram showing an example of a hardware configuration of a damage diagram creation support device.
  • the damage diagram creation support device 10 includes a CPU (Central Processing Unit) 11, a RAM (Random Access Memory) 12, a ROM (Read Only Memory) 13, an HDD (Hard Disk Drive) 14, and an operation unit 15. , Display unit 16, input / output interface (Interface, IF) 17, communication interface 18, and the like. That is, the damage diagram creation support device 10 is composed of a computer, and the computer functions as the damage diagram creation support device 10 by executing a predetermined program. As the computer constituting the damage diagram creation support device 10, a general-purpose computer such as a personal computer can be used.
  • the CPU 11 is an example of a processor. The program executed by the CPU 11 and various data are stored in the ROM 13 and / or the HDD 14.
  • the operation unit 15 is composed of, for example, a keyboard, a mouse, and the like.
  • the display unit 16 is composed of, for example, a liquid crystal display (Liquid Crystal Display, LCD), an organic EL display (Organic Light Emitting Display Display, OLED display), or the like.
  • FIG. 2 is a block diagram of the main functions of the damage diagram creation support device.
  • the damage diagram creation support device 10 has functions such as an image data acquisition unit 10A, a crack detection unit 10B, a panorama synthesis unit 10C, an internal damage area information acquisition unit 10D, and a damage diagram creation unit 10E. Have. These functions are realized by the CPU 11 executing a predetermined program.
  • the image data acquisition unit 10A acquires image data of a visible light image obtained by photographing the inspection target area.
  • the image data acquisition unit 10A acquires image data of a visible light image via the input / output interface 17 or the communication interface 18.
  • the image data of the acquired visible light image is stored in the HDD 14.
  • the crack detection unit 10B analyzes the visible light image and detects cracks appearing on the surface of the structure.
  • Various methods can be adopted for detecting cracks.
  • a method of detecting cracks can be adopted by using a trained model machine-learned using an image containing cracks as training data.
  • the type of machine learning algorithm is not particularly limited, and is, for example, RNN (Recurrent Neural Network / Recurrent Neural Network), CNN (Convolutional Neural Network / Convolutional Neural Network), MLP (Multilayer Perceptron), or the like.
  • An algorithm using the above can be used.
  • a method of detecting cracks based on the luminance distribution and the RGB value distribution of the image can be adopted. Since the region having cracks has a luminance distribution and an RGB value distribution different from those of other regions, the cracks can be detected from the image by searching for changes in the luminance value and the RGB value.
  • the crack detection unit 10B measures the width of the detected crack at the same time as the crack is detected.
  • Known image measurement techniques can be used to measure the width of cracks.
  • the panorama compositing unit 10C generates one image by panoramic compositing when the image data group of the visible light image taken separately is acquired.
  • the split photography is a method of dividing an inspection target area into a plurality of areas and taking a picture for each area. When shooting, a part of the adjacent area is overlapped and shot.
  • the panorama synthesizing unit 10C joins the images of each area to generate one image. Since the panoramic composition itself is a known technique, the details thereof will be omitted.
  • the panorama composition unit 10C performs a panorama composition process by applying corrections such as scaling correction, tilt correction, and rotation correction to each image as necessary. It should be noted that the crack detection can be configured to be performed on the image after the panoramic composition.
  • the internal damage area information acquisition unit 10D acquires information on the area (internal damage area) in which the structure is damaged inside the inspection target area.
  • information on the internally damaged area is acquired by using a visible light image obtained by capturing the inspection target area.
  • the visible light image obtained by capturing the inspection target area is displayed on the display unit 16, and the information on the internal damage area is acquired by accepting the designation of the internal damage area on the screen.
  • FIG. 3 is a diagram showing an example of a screen display for designating an internal damage area. It should be noted that the figure shows an example in which one coffer of a deck slab in a bridge is photographed. That is, an example is shown in which one coffer of the deck is used as the inspection target area.
  • the visible light image IM in which the inspection target area is photographed is displayed on the screen 16A of the display unit 16.
  • the panoramic composite image is displayed on the display unit 16.
  • FIG. 3 shows an example when a panoramic composite image is displayed. The user operates the pointer P via the operation unit 15 to specify the position and range of the internal damage area on the screen 16A of the display unit 16.
  • FIG. 3 shows an example in which the internal damage area is designated by being surrounded by a rectangular frame F.
  • Reference numeral W schematically indicates internal damage.
  • the damage diagram creation unit 10E creates a damage diagram in which information on cracks is recorded.
  • a crack is traced on a visible light image obtained by photographing the inspection target area to create a damage diagram. Therefore, the damage diagram creation unit 10E creates a damage diagram based on the crack detection result by the crack detection unit 10B. Further, when the damage diagram creation unit 10E creates the damage diagram, the damage diagram is created based on the information of the internal damage area acquired by the internal damage area information acquisition unit 10D.
  • the region other than the internal damage region traces cracks having a width equal to or larger than the first threshold value.
  • the internal damage region traces cracks having a width equal to or larger than the second threshold value.
  • the relationship between the first threshold value and the second threshold value is that the first threshold value> the second threshold value. That is, the second threshold value is set to a value smaller than the first threshold value.
  • the first threshold is set to 0.2 mm and the second threshold is set to 0.1 mm. Therefore, in the area other than the internal damage area, cracks having a width of 0.2 mm or more are traced, and in the internal damage area, cracks having a width of 0.1 mm or more are traced, and a damage diagram is created.
  • the created damage diagram is displayed on the display unit 16. Further, it is recorded in the HDD 14 according to an instruction from the user. When recording on the HDD 14, the image data of the visible light image is also recorded. The image data of the visible light image is associated with the damage diagram and recorded in the HDD 14.
  • a bridge is an example of a structure.
  • the floor slab is an example of a structure made of reinforced concrete.
  • FIG. 4 is a plan view showing a schematic configuration of the floor slab.
  • each coffer 2, 2, ... is set in the inspection target area.
  • the coffer 2 is a section divided by the main girder 3 and the cross girder 4 in the deck 1.
  • the longitudinal direction of the deck 1 (direction of the main girder 3) is the x direction
  • the direction orthogonal to the x direction is the y direction.
  • the direction orthogonal to the floor slab 1 (vertical downward direction) is defined as the z direction.
  • FIG. 5 is a flowchart showing the procedure from inspection to creation of a damage diagram.
  • step S1 the internal state of the inspection target area is inspected non-destructively (step S1).
  • step S2 the inspection target area is photographed with a visible light camera (step S2).
  • step S3 the captured visible light image is taken into the damage diagram creation support device 10 to create a damage diagram.
  • an image (millimeter wave image) that visualizes the internal state of the inspection target area is taken by using a millimeter wave camera (millimeter wave imaging device).
  • a millimeter wave camera for example, an active millimeter wave camera can be used.
  • An active millimeter-wave camera irradiates a subject with millimeter waves, receives the reflected waves, and generates an image that visualizes the internal state of the subject.
  • the millimeter wave is an electromagnetic wave having a wavelength of 1 to 10 mm and a frequency of 30 to 300 GHz.
  • a millimeter-wave camera for example, electronically or mechanically scans a millimeter-wave beam to create a two-dimensional image of the internal state of a subject within an angle of view.
  • a plurality of transmitting antennas and a plurality of receiving antennas By using a plurality of transmitting antennas and a plurality of receiving antennas, shooting can be speeded up.
  • a plurality of receiving antennas can be arranged in one direction and scanned in a direction orthogonal to the arrangement direction to form a two-dimensional image.
  • the resolution can be improved by adopting so-called MIMO (Multiple Input Multipple Output) radar technology.
  • MIMO Multiple Input Multipple Output
  • MIMO Multiple Input Multipple Output
  • Floating concrete means that the area near the surface of concrete is floating.
  • Floating concrete means that the concrete near the surface is losing its integrity with the concrete inside due to continuous cracking inside the concrete.
  • a visible light camera is a camera that photographs a subject with sensitivity in the wavelength band of visible light (generally 380 nm to 780 nm).
  • the visible light camera is a general digital camera (portable terminal, etc.) equipped with a CMOS image sensor (complementary metal-oxide semiconductor device image sensor), a CCD image sensor (charge coupled device image sensor), etc. Including) can be used.
  • CMOS image sensor complementary metal-oxide semiconductor device image sensor
  • CCD image sensor charge coupled device image sensor
  • Including can be used.
  • a digital camera capable of color photography is used. Therefore, a color image is taken as a visible light image.
  • the color image is an image (so-called RGB image) having each intensity value (brightness value) of R (red; red), G (green; green), and B (blue; blue) in pixel units.
  • FIG. 6 is a diagram showing an example of a shooting method for split shooting.
  • the frame of the broken line indicated by the reference numeral A is a frame indicating one shooting range (field of view of the visible light camera).
  • the coffer 2 which is the inspection target area is photographed while sequentially moving in the y direction and the x direction.
  • the arrow a in the figure indicates the moving direction.
  • the photographer faces the floor slab and shoots from a certain distance. Also, in the adjacent shooting areas, the pictures are taken so that some of them overlap each other. For example, the images are taken so as to overlap by 30% or more. As a result, the images can be appropriately combined when the panorama is combined.
  • the captured visible light image is photographed with a pixel resolution capable of detecting cracks having a width of at least the second threshold value or more.
  • the second threshold value is 0.1 mm
  • the captured visible light image is photographed with a pixel resolution capable of detecting cracks having a width of at least 0.1 mm or more.
  • the crack detection unit 10B of the damage diagram creation support device 10 takes a picture with a pixel resolution capable of detecting a crack having a width of 0.1 mm or more.
  • pixel resolution refers to the size of the field of view per pixel of the image sensor mounted on the visible light camera.
  • the pixel resolution represents how many mm one pixel of the image sensor corresponds to.
  • the unit is "mm / pixel”.
  • Pixel resolution is determined by the field size and the number of pixels.
  • the "field of view size” is the range (shooting range) in which the inspection object is photographed.
  • the relationship between the pixel resolution, the visual field size and the number of pixels is expressed by the following equation.
  • the captured visible light image is captured with a pixel resolution capable of detecting cracks having a width of up to 0.1 mm.
  • the pixel resolution capable of detecting cracks having a width of at least 0.1 mm from the captured visible light image is, for example, 0.3 [mm / pixel].
  • the number of pixels of the image sensor mounted on the visible light camera to be used is 3000 pixels in the vertical direction and 4000 pixels in the horizontal direction.
  • the field of view size for shooting under the condition of pixel resolution of 0.3 [mm / pixel] is set as follows.
  • S3 Creation of damage diagram
  • the damage diagram is created by using the damage diagram creation support device 10.
  • the user inputs a visible light image of the inspection target area taken by the visible light camera to the damage diagram creation support device 10, and causes the user (inspection engineer) to create a damage diagram.
  • FIG. 7 is a flowchart showing the procedure for creating a damage diagram by the damage diagram creation support device.
  • the image data of the visible light image obtained by capturing the inspection target area is captured (step S31).
  • the image data is input to the damage diagram creation support device 10 via the input / output interface 17 or the communication interface 18.
  • step S32 When the image data is input, cracks are detected (step S32). In this embodiment, cracks having a width of at least 0.1 mm or more are detected.
  • step S33 the panoramic composition process is performed (step S33). It should be noted that this processing is performed only when the divided shot image is input.
  • step S34 the information of the internally damaged area is acquired (step S34).
  • the visible light image obtained by capturing the inspection target area is displayed on the display unit 16, and the user receives the designation of the internal damage area.
  • the user specifies the internal damage area based on the result of the internal condition inspection.
  • a damage diagram is created based on the crack detection result and the information of the internal damage area (step S35).
  • the damage diagram is created by tracing cracks on a visible light image of the area to be inspected. At that time, the region other than the internal damage region traces cracks having a width of 0.2 mm or more, and the internal damage region traces cracks having a width of 0.1 mm or more to create a damage diagram.
  • FIG. 8 is a diagram showing an example of a damage diagram created when all cracks detected on a visible light image are traced.
  • the thick line L1 shows a line that traces a crack having a width of 0.2 mm or more.
  • the thin line L2 shows a line tracing a crack of 0.1 mm or more and less than 0.2 mm.
  • the rectangular frame F indicates an internal damage region.
  • FIG. 9 is a diagram showing an example of a damage diagram created by the damage diagram creation support device of the present embodiment.
  • cracks having a width of 0.1 mm or more are displayed only in the internal damage region. That is, as a whole, cracks having a width of 0.2 mm or more are displayed, and cracks having a width of 0.1 mm or more are displayed only for the internally damaged area.
  • the created damage diagram is displayed on the display unit 16. Further, it is recorded in the HDD 14 according to an instruction from the user. Image data of a visible light image obtained by photographing the inspection target area is also recorded in the HDD 14. The image data of the visible light image is associated with the damage diagram and recorded in the HDD 14.
  • the damage diagram creation support device 10 of the present embodiment it is possible to appropriately create a damage diagram in which cracks are recorded according to the application. That is, the detection result of fine cracks (cracks of less than 0.2 mm) is displayed only in the region where the surface properties need to be confirmed in detail. This makes it possible to create a damage diagram that is easy to check.
  • cracks having a width of 0.1 mm or more are detected in all the regions to be inspected, but the internal damage region and the region other than the internal damage region are detected. It may be configured to detect cracks separately from the above. In this case, a crack having a width of 0.1 mm or more is detected in the internal damage region, and a crack having a width of 0.2 mm or more is detected in a region other than the internal damage region.
  • a damage diagram (see FIG. 8) in which cracks having a width of 0.1 mm or more are recorded in all areas to be inspected may be separately prepared. This makes it possible to display a damage diagram recording all cracks, if necessary. In addition, a damage diagram may be created in which layers are separated for each type of crack.
  • FIG. 10 is a diagram showing an example of a damage diagram generated by separating layers for each type of crack.
  • the figure shows an example in which the damage diagram is composed of three layers (first layer Ly1 to third layer Ly3).
  • the first layer Ly1 is composed of a layer in which cracks having a width of 0.2 mm or more are recorded.
  • the second layer Ly2 is composed of a layer in which cracks having a width of 0.1 mm or more and less than 0.2 mm are recorded.
  • the third layer Ly3 is composed of a layer in which cracks having a width of 0.1 mm or more and less than 0.2 mm are recorded only in the internally damaged area. According to the damage diagram having such a configuration, for example, by selecting and displaying the first layer Ly1 and the third layer Ly3, cracks having a width of 0.1 mm or more are displayed in the internal damage region.
  • a damage diagram showing cracks having a width of 0.2 mm or more is displayed. Further, by selecting and displaying the first layer Ly1 and the second layer Ly2, a damage diagram showing cracks having a width of 0.1 mm or more in all areas is displayed.
  • the detected cracks may be individually numbered, and the width information may be managed for each crack.
  • an image in which the internal state of the structure is visualized is taken by a millimeter-wave camera, and the internal state of the structure is measured nondestructively.
  • the means and methods for measuring the internal state of the structure in a non-destructive manner are not limited to this.
  • a device that visualizes the internal state using electromagnetic waves such as microwaves and terahertz waves (microwave imaging device, terahertz imaging, etc.) can be used to measure the internal state of the structure (electromagnetic waves). Radar method).
  • a device that visualizes the internal state using ultrasonic waves can be used to measure the internal state of the structure (so-called ultrasonic method).
  • known non-destructive exploration methods such as infrared photography, X-ray contrast imaging, and non-contact acoustic exploration can be adopted to measure the internal state of the structure.
  • the user manually inputs the internal damage area, but the method for acquiring the information of the internal damage area is not limited to this.
  • a region having internal damage may be indicated by a chalk or the like, and the region indicated by the chalk or the like may be automatically recognized from the visible light image to acquire information on the internally damaged region.
  • the photographed image data may be acquired and the information of the internal damage area may be acquired. can. In this case, the image that visualizes the internal state of the structure is analyzed, the damaged area is detected, and the information of the internal damaged area is automatically acquired.
  • the present invention works particularly effectively when inspecting reinforced concrete structures such as bridges, tunnels, dams and buildings.
  • the application of the present invention is not limited to this.
  • the same can be applied when inspecting a structure whose surface is composed of tiles, bricks, or the like.
  • shooting with a visible light camera can be performed by mounting the visible light camera on an unmanned aerial vehicle (so-called drone), an unmanned traveling vehicle, or the like.
  • unmanned aerial vehicle so-called drone
  • unmanned traveling vehicle or the like.
  • a visible light camera when mounted on an unmanned aerial vehicle or the like to shoot an inspection target, it can be configured to shoot automatically. For example, it may be configured to automatically fly a predetermined route and photograph the inspection target.
  • a camera imaging device
  • an unmanned aerial vehicle an unmanned vehicle, etc. be able to.
  • the damage diagram creation support device is realized by a so-called stand-alone computer, but it can also be realized by a client-server type system.
  • the functions of the crack detection unit 10B, the panorama synthesis unit 10C, the internal damage area information acquisition unit 10D, the damage diagram creation unit 10E, and the like may be configured to be realized by the server.
  • the client terminal is provided with a function of transmitting an image to the server, a function of receiving a result (panoramic composite image, damage diagram data, etc.) from the server, and the like.
  • the hardware that realizes the damage diagram creation support device can be configured with various processors.
  • the circuit configuration can be changed after manufacturing CPU and / or GPU (Graphic Processing Unit), FPGA (Field Programmable Gate Array), which are general-purpose processors that execute programs and function as various processing units. Includes a dedicated electric circuit, which is a processor having a circuit configuration specially designed for executing a specific process such as a programmable logic device (Programmable Logic Device, PLD), an ASIC (Application Specific Integrated Circuit), etc. Is done.
  • One processing unit constituting the inspection support device may be composed of one of the above-mentioned various processors, or may be composed of two or more processors of the same type or different types.
  • one processing unit may be configured by a plurality of FPGAs or a combination of a CPU and an FPGA.
  • a plurality of processing units may be configured by one processor.
  • one processor is configured by a combination of one or more CPUs and software, as represented by a computer such as a client or a server.
  • the processor functions as a plurality of processing units.
  • the various processing units are configured by using one or more of the above-mentioned various processors as a hardware-like structure.
  • the hardware-like structure of these various processors is, more specifically, an electric circuit (cyclery) in which circuit elements such as semiconductor elements are combined.
  • Damage diagram creation support device 10A Image data acquisition unit 10B Crack detection unit 10C Panorama composition unit 10D Internal damage area information acquisition unit 10E Damage diagram creation unit 11 CPU 12 RAM 13 ROM 14 HDD 15 Operation unit 16 Display unit 16A Display unit screen 17 Input / output interface 18 Communication interface a Shooting movement direction F Frame surrounding the internal damage area IM Visible light image L1 Line L2 that traces cracks with a width of 0.2 mm or more Line tracing cracks of 0.1 mm or more and less than 0.2 mm Ly1 First layer of damage diagram Ly2 Second layer of damage diagram Ly3 Third layer of damage diagram P Pointer W Damage inside the structure S1 to S3 Procedure from inspection to creation of damage diagram S31 to S35 Procedure for creating damage diagram by damage diagram creation support device

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Abstract

画像から自動で検出したひび割れの検出結果を適切に記録できる損傷図作成支援方法及び装置を提供する。検査対象領域内で構造物の内部に損傷を有する領域の情報を取得するステップと、検査対象領域を可視光カメラで撮影した可視光画像を取得するステップと、可視光画像内で構造物の表面に現れたひび割れを検出するステップと、可視光画像内で検出されたひび割れをトレースした損傷図を作成するステップと、を含む。損傷図を作成するステップでは、内部に損傷を有する領域以外の領域は、幅が第１閾値以上のひび割れをトレースし、内部に損傷を有する領域は、幅が第１閾値よりも小さい第２閾値以上のひび割れをトレースして、損傷図を作成する。

Description

損傷図作成支援方法及び装置
　本発明は、損傷図作成支援方法及び装置に係り、特に、構造物の検査結果に基づく損傷図の作成を支援する損傷図作成支援方法及び装置に関する。
　構造物の表面を撮影した画像に対し、画像処理によってひび割れ等の損傷（変状）を自動検出し、表示する技術が知られている（たとえば、特許文献１等）。
特開2014-6222号公報
　しかしながら、従来、この種の損傷の自動検出技術では、検出された損傷が一律に表示されるため、必要以上の情報が表示される問題があった。たとえば、近年、ひび割れについては、検出精度の向上により、より細かなひび割れの検出が可能になっているが、要求されるレベル以上のひび割れが表示されると、却って結果の確認がしづらくなるという問題がある。一方、同じ検査対象領域内であっても場所によっては、細かなひび割れも確認したい場合もある。たとえば、内部に損傷がある領域については、表面の状態を細かに確認する必要がある。
　本発明は、このような事情に鑑みてなされたもので、画像から自動で検出したひび割れの検出結果を適切に記録できる損傷図作成支援方法及び装置を提供することを目的とする。
　（１）検査対象領域内で構造物の内部に損傷を有する領域の情報を取得するステップと、検査対象領域を可視光カメラで撮影した可視光画像を取得するステップと、可視光画像内で構造物の表面に現れたひび割れを検出するステップと、可視光画像内で検出されたひび割れをトレースした損傷図を作成するステップであって、内部に損傷を有する領域以外の領域は、幅が第１閾値以上のひび割れをトレースし、内部に損傷を有する領域は、幅が第１閾値よりも小さい第２閾値以上のひび割れをトレースして、損傷図を作成するステップと、を含む損傷図作成支援方法。
　（２）可視光画像は、少なくとも幅が０．１ｍｍまでのひび割れを検出できる画素分解能で撮影した画像であり、第１閾値は、０．２ｍｍであり、第２閾値は、０．１ｍｍである、（１）の損傷図作成支援方法。
　（３）検査対象領域の内部状態を非破壊で計測して、内部に損傷を有する領域を検出するステップを更に含む、（１）の損傷図作成支援方法。
　（４）検査対象領域の内部状態を可視化した画像を撮影して、検査対象領域の内部状態を非破壊で計測する、（３）の損傷図作成支援方法。
　（５）電磁波又は超音波を用いて検査対象領域の内部状態を可視化した画像を撮影する、（４）の損傷図作成支援方法。
　（６）ミリ波、マイクロ波又はテラヘルツ波を用いて検査対象領域の内部状態を可視化した画像を撮影する、（５）の損傷図作成支援方法。
　（７）検査対象領域の内部状態を非接触音響探査法で計測する、（２）の損傷図作成支援方法。
　（８）構造物の内部に損傷を有する領域として、浮きの領域を検出する、（１）から（７）のいずれか一の損傷図作成支援方法。
　（９）構造物の表面に現れたひび割れを記録した損傷図の作成を支援する損傷図作成支援装置であって、プロセッサを有し、プロセッサは、検査対象領域内で構造物の内部に損傷を有する領域の情報を取得する処理と、検査対象領域を可視光カメラで撮影した可視光画像を取得する処理と、可視光画像内で構造物の表面に現れたひび割れを検出する処理と、可視光画像内で検出されたひび割れをトレースした損傷図を作成する処理であって、内部に損傷を有する領域以外の領域は、幅が第１閾値以上のひび割れをトレースし、内部に損傷を有する領域は、幅が第１閾値よりも小さい第２閾値以上のひび割れをトレースして、損傷図を作成する処理と、を実行する損傷図作成支援装置。
　（１０）可視光画像は、少なくとも幅が０．１ｍｍまでのひび割れを検出できる画素分解能で撮影した画像であり、第１閾値は、０．２ｍｍであり、第２閾値は、０．１ｍｍである、（９）の損傷図作成支援装置。
　本発明によれば、画像から自動で検出したひび割れの検出結果を適切に記録できる。
損傷図作成支援装置のハードウェア構成の一例を示すブロック図 損傷図作成支援装置が有する主な機能のブロック図 内部損傷領域の指定を行う画面の表示の一例を示す図 床版の概略構成を示す平面図 検査から損傷図の作成までの手順を示すフローチャート 分割撮影の撮影手法の一例を示す図 損傷図作成支援装置による損傷図の作成の手順を示すフローチャート 可視光画像上で検出されたすべてのひび割れをトレースした場合に作成される損傷図の一例を示す図 損傷図作成支援装置で作成される損傷図の一例を示す図 ひび割れの種類ごとにレイヤを分けて生成した損傷図の一例を示す図
　以下、添付図面に従って本発明の好ましい実施の形態について説明する。
　［損傷図作成支援装置］
　図１は、損傷図作成支援装置のハードウェア構成の一例を示すブロック図である。
　同図に示すように、損傷図作成支援装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１２、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１４、操作部１５、表示部１６、入出力インターフェース（Ｉｎｔｅｒｆａｃｅ，ＩＦ）１７、通信インターフェース１８等を備えて構成される。すなわち、損傷図作成支援装置１０は、コンピュータで構成され、コンピュータが、所定のプログラムを実行することで、損傷図作成支援装置１０として機能する。損傷図作成支援装置１０を構成するコンピュータには、たとえば、パーソナルコンピュータ等の汎用のコンピュータを使用できる。ＣＰＵ１１は、プロセッサの一例である。ＲＯＭ１３及び／又はＨＤＤ１４には、ＣＰＵ１１が実行するプログラム及び各種データが記憶される。操作部１５は、たとえば、キーボード、マウス等で構成される。表示部１６は、たとえば、液晶ディスプレイ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ，ＬＣＤ）、有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ　ｄｉｓｐｌａｙ，ＯＬＥＤ　ｄｉｓｐｌａｙ）等で構成される。
　図２は、損傷図作成支援装置が有する主な機能のブロック図である。
　同図に示すように、損傷図作成支援装置１０は、画像データ取得部１０Ａ、ひび割れ検出部１０Ｂ、パノラマ合成部１０Ｃ、内部損傷領域情報取得部１０Ｄ、及び、損傷図作成部１０Ｅ等の機能を有する。これらの機能は、ＣＰＵ１１が、所定のプログラムを実行することにより実現される。
　画像データ取得部１０Ａは、検査対象領域を撮影した可視光画像の画像データを取得する。画像データ取得部１０Ａは、入出力インターフェース１７又は通信インターフェース１８を介して、可視光画像の画像データを取得する。取得した可視光画像の画像データは、ＨＤＤ１４に格納される。
　ひび割れ検出部１０Ｂは、可視光画像を解析して、構造物の表面に現れたひび割れを検出する。ひび割れの検出には、種々の手法を採用できる。たとえば、ひび割れを含む画像を学習用データとして機械学習した学習済みモデルを用いて、ひび割れを検出する手法を採用できる。機械学習アルゴリズムの種類については、特に限定されず、たとえば、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ／再帰型ニューラルネットワーク）、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ　Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ／畳み込みニューラルネットワーク）又はＭＬＰ（Ｍｕｌｔｉｌａｙｅｒ　Ｐｅｒｃｅｐｔｒｏｎ／多層パーセプトロン）等のニューラルネットワークを用いたアルゴリズムを用いることができる。また、たとえば、画像の輝度分布及びＲＧＢ値分布に基づいて、ひび割れを検出する手法を採用することもできる。ひび割れを有する領域は、他の領域と異なる輝度分布及びＲＧＢ値分布となるため、輝度値及びＲＧＢ値の変化を探索することにより、画像からひび割れを検出できる。
　ひび割れ検出部１０Ｂは、ひび割れの検出と同時に、検出したひび割れの幅を計測する。ひび割れの幅の計測には、公知の画像計測の技術を採用できる。
　パノラマ合成部１０Ｃは、分割撮影した可視光画像の画像データ群を取得した場合に、パノラマ合成して１枚の画像を生成する。分割撮影とは、検査対象領域を複数の領域に分割し、領域ごとに撮影する手法である。撮影の際は、隣接する領域の一部を重複させて撮影する。パノラマ合成部１０Ｃは、各領域を撮影した画像を繋ぎ合わせて、１枚の画像を生成する。パノラマ合成自体は、公知の技術であるので、その詳細についての説明は省略する。パノラマ合成部１０Ｃは、必要に応じて、各画像に拡縮補正、あおり補正及び回転補正等の補正を施して、パノラマ合成の処理を行う。なお、ひび割れの検出は、パノラマ合成後の画像に対して行う構成とすることもできる。
　内部損傷領域情報取得部１０Ｄは、検査対象領域内で構造物の内部に損傷を有する領域（内部損傷領域）の情報を取得する。本実施の形態では、検査対象領域を撮影した可視光画像を利用して、内部損傷領域の情報を取得する。具体的には、検査対象領域を撮影した可視光画像を表示部１６に表示し、画面上で内部損傷領域の指定を受け付けることにより、内部損傷領域の情報を取得する。
　 図３は、内部損傷領域の指定を行う画面の表示の一例を示す図である。なお、同図は、橋梁における床版の１つの格間を撮影した場合の例を示している。すなわち、床版の１つの格間を検査対象領域とした場合の例を示している。
　同図に示すように、表示部１６の画面１６Ａに検査対象領域を撮影した可視光画像ＩＭが表示される。なお、検査対象領域を分割撮影した場合は、パノラマ合成した画像が表示部１６に表示される。図３は、パノラマ合成した画像を表示した場合の例を示している。ユーザは、操作部１５を介してポインタPを操作し、表示部１６の画面１６Ａ上で内部損傷領域の位置及び範囲を指定する。図３は、内部損傷領域を矩形の枠Ｆで囲んで指定する場合の例を示している。符号Ｗは、内部の損傷を模式的に示している。
　損傷図作成部１０Ｅは、ひび割れの情報を記録した損傷図を作成する。本実施の形態では、検査対象領域を撮影した可視光画像上でひび割れをトレースして損傷図を作成する。したがって、損傷図作成部１０Ｅは、ひび割れ検出部１０Ｂによるひび割れの検出結果に基づいて、損傷図を作成する。また、損傷図作成部１０Ｅは、損傷図を作成する際、内部損傷領域情報取得部１０Ｄで取得された内部損傷領域の情報に基づいて、損傷図を作成する。具体的には、内部損傷領域以外の領域は、幅が第１閾値以上のひび割れをトレースする。一方、内部損傷領域は、幅が第２閾値以上のひび割れをトレースする。第１閾値及び第２閾値の関係は、第１閾値＞第２閾値である。すなわち、第２閾値は、第１閾値よりも小さい値に設定される。本実施の形態では、第１閾値が０．２ｍｍに設定され、第２閾値が０．１ｍｍに設定される。したがって、内部損傷領域以外の領域は、幅が０．２ｍｍ以上のひび割れがトレースされ、内部損傷領域は、幅が０．１ｍｍ以上のひび割れがトレースされて、損傷図が作成される。
　作成された損傷図は、表示部１６に表示される。また、ユーザからの指示に応じて、ＨＤＤ１４に記録される。ＨＤＤ１４に記録する際は、可視光画像の画像データも記録される。可視光画像の画像データは、損傷図に関連付けられて、ＨＤＤ１４に記録される。
　［検査から損傷図の作成までの手順（損傷図作成支援方法）］
　ここでは、橋梁、特に、橋梁の床版を検査（点検）する場合を例に説明する。橋梁は、構造物の一例である。また、床版は、鉄筋コンクリート製の構造物の一例である。
　図４は、床版の概略構成を示す平面図である。
　一般に床版１の検査は、格間単位で実施される。したがって、各格間２、２、…が、検査対象領域に設定される。格間２は、床版１において、主桁３及び横桁４によって区分けされる一区画である。なお、図４では、床版１の面内で、床版１の長手方向（主桁３の方向）をｘ方向、ｘ方向と直交する方向（横桁４の方向）をｙ方向としている。また、床版１と直交する方向（垂直下方向）をｚ方向としている。
　図５は、検査から損傷図の作成までの手順を示すフローチャートである。
　まず、検査対象領域の内部状態を非破壊で検査する（ステップＳ１）。次に、検査対象領域を可視光カメラで撮影する（ステップＳ２）。次に、撮影した可視光画像を損傷図作成支援装置１０に取り込み、損傷図を作成する（ステップＳ３）。以下、各工程を詳細に説明する。
　（１）Ｓ１：内部状態の検査
　本実施の形態では、検査対象領域の内部状態を可視化した画像を撮影して、検査対象領域の内部状態を非破壊で計測する。
　本実施の形態では、ミリ波カメラ（ミリ波イメージング装置）を用いて、検査対象領域の内部状態を可視化した画像（ミリ波画像）を撮影する。ミリ波カメラには、たとえば、能動型（アクティブ）のミリ波カメラを使用できる。能動型のミリ波カメラは、ミリ波を被写体に照射し、その反射波を受信して、被写体の内部状態を可視化した画像を生成する。ミリ波とは、波長が１～１０ｍｍ、周波数が３０～３００ＧＨｚの電磁波である。ミリ波カメラは、たとえば、ミリ波ビームを電子的又は機械的に走査して、画角内の被写体の内部状態を二次元画像化する。複数の送信アンテナと複数の受信アンテナを使用することで、撮影を高速化することができる。たとえば、複数の受信アンテナを一方向に配列し、配列方向と直交する方向に走査して、二次元画像化することができる。複数の送信アンテナと複数の受信アンテナを使用する場合は、いわゆるＭＩＭＯ（Ｍｕｌｔｉｐｌｅ　Ｉｎｐｕｔ　Ｍｕｌｔｉｐｌｅ　Ｏｕｔｐｕｔ）レーダ技術を採用することで、分解能を向上できる。ＭＩＭＯは、複数アンテナから信号を送信することで、実装されている受信アンテナ数以上の仮想受信アンテナを生み出す技術である。
　１回の撮影で検査対象領域のすべてを撮影できない場合は、撮影個所をずらしつつ複数回に分けて撮影する。すなわち、分割撮影を実施する。
　ミリ波画像を撮影することにより、外観からは検出できない内部の損傷を検出できる。本実施の形態では、とくに、内部の損傷として、コンクリートの浮きを検出する。コンクリートの浮きとは、コンクリートの表面付近が浮いた状態のことをいう。コンクリートの浮きは、コンクリートの内部でひび割れが連続するなどして、表面付近のコンクリートが、内部のコンクリートと一体性を失いつつある状態を意味する。
　（２）Ｓ２：可視光画像の撮影
　可視光画像の撮影は、可視光カメラを用いて行われる。可視光カメラは、可視光の波長帯域（一般に３８０ｎｍから７８０ｎｍ）に感度をもって被写体を撮影するカメラである。可視光カメラには、ＣＭＯＳイメージセンサ（ｃｏｍｐｌｅｍｅｎｔａｒｙ　ｍｅｔａｌ－ｏｘｉｄｅ　ｓｅｍｉｃｏｎｄｕｃｔｏｒ　ｄｅｖｉｃｅ　ｉｍａｇｅ　ｓｅｎｓｏｒ）、ＣＣＤイメージセンサ（ｃｈａｒｇｅ　ｃｏｕｐｌｅｄ　ｄｅｖｉｃｅ　ｉｍａｇｅ　ｓｅｎｓｏｒ）等を搭載した一般的なデジタルカメラ（携帯端末等に搭載されているものを含む）を使用できる。本実施の形態では、カラー撮影が可能なデジタルカメラが使用される。したがって、可視光画像として、カラー画像が撮影される。カラー画像は、画素単位でＲ（ｒｅｄ；赤）、Ｇ（ｇｒｅｅｎ；緑）及びＢ（ｂｌｕｅ；青）の各強度値（輝度値）を有する画像（いわゆるＲＧＢ画像）である。
　１回の撮影で検査対象領域のすべてを撮影できない場合は、撮影個所をずらしつつ、複数回に分けて撮影する。すなわち、分割撮影を実施する。
　図６は、分割撮影の撮影手法の一例を示す図である。
　同図において、符号Ａで示す破線の枠は、１回の撮影範囲（可視光カメラの視野）を示す枠である。同図に示す例では、ｙ方向及びｘ方向に順次移動しながら、検査対象領域である格間２を撮影する様子を示している。図中の矢印ａは、移動方向を示している。
　撮影者（検査技術者）は、床版に対して正対し、一定距離から撮影する。また、隣り合う撮影領域において、互いに一部が重なり合うように撮影する。たとえば、３０％以上重複するように撮影する。これにより、パノラマ合成する際に適切に画像を合成できる。
　撮影は、所定の画素分解能で実施する。撮影した可視光画像から少なくとも幅が第２閾値以上のひび割れを検出できる画素分解能で撮影する。本実施の形態では、第２閾値が０．１ｍｍであるので、撮影した可視光画像から少なくとも幅が０．１ｍｍ以上のひび割れを検出できる画素分解能で撮影する。より具体的には、損傷図作成支援装置１０のひび割れ検出部１０Ｂにおいて、幅が０．１ｍｍ以上のひび割れを検出できる画素分解能で撮影する。
　ここで、「画素分解能」とは、可視光カメラに搭載されるイメージセンサの１画素当たりの視野の大きさのことをいう。画素分解能は、イメージセンサの１画素が何ｍｍに相当するかを表す。単位は「ｍｍ／画素」である。
　画素分解能は、視野サイズ及び画素数によって定まる。「視野サイズ」は、検査対象物を撮影する範囲（撮影範囲）である。画素分解能、視野サイズ及び画素数の関係は、次の式で表される。
　垂直方向の画素分解能＝垂直方向の視野サイズ（ｍｍ）÷イメージセンサの垂直方向の画素数
　水平方向の画素分解能＝水平方向の視野サイズ（ｍｍ）÷イメージセンサの水平方向の画素数
　イメージセンサの画素が、正方画素の場合、垂直方向の画素分解能と水平方向の画素分解能は同じになる。
　上記のように、本実施の形態では、撮影された可視光画像から幅が０．１ｍｍまでのひび割れを検出できる画素分解能で撮影される。撮影された可視光画像から少なくとも幅が０．１ｍｍまでのひび割れを検出できる画素分解能としては、たとえば、０．３［ｍｍ／画素］である。
　一例として、使用する可視光カメラに搭載されたイメージセンサの画素数が、垂直方向に３０００画素、水平方向に４０００画素であるとする。この場合、画素分解能０．３［ｍｍ／画素］の条件で撮影するための視野サイズは、次のように設定される。
　垂直方向の視野サイズ：０．３ｍｍ×３０００画素＝９００［ｍｍ］
　水平方向の視野サイズ：０．３ｍｍ×４０００画素＝１２００［ｍｍ］
　（３）Ｓ３：損傷図の作成
　損傷図の作成は、損傷図作成支援装置１０を用いて行われる。ユーザ（検査技術者）は、可視光カメラで撮影した検査対象領域の可視光画像を損傷図作成支援装置１０に入力し、損傷図を作成させる。
　図７は、損傷図作成支援装置による損傷図の作成の手順を示すフローチャートである。
　まず、検査対象領域を撮影した可視光画像の画像データを取り込む（ステップＳ３１）。画像データは、入出力インターフェース１７又は通信インターフェース１８を介して、損傷図作成支援装置１０に入力される。
　画像データが入力されると、ひび割れの検出が行われる（ステップＳ３２）。本実施の形態では、少なくとも幅が０．１ｍｍ以上のひび割れが検出される。
　ひび割れの検出が完了すると、パノラマ合成の処理が行われる（ステップＳ３３）。なお、この処理は、分割撮影された画像が入力された場合だけである。
　次に、内部損傷領域の情報を取得する（ステップＳ３４）。上記のように、本実施の形態では、検査対象領域を撮影した可視光画像を表示部１６に表示して、ユーザから内部損傷領域の指定を受け付ける。ユーザは、内部状態の検査の結果に基づいて、内部損傷領域を指定する。
　次に、ひび割れの検出結果、及び、内部損傷領域の情報に基づいて、損傷図を作成する（ステップＳ３５）。損傷図は、検査対象領域を撮影した可視光画像上でひび割れをトレースして作成する。その際、内部損傷領域以外の領域は、幅が０．２ｍｍ以上のひび割れをトレースし、内部損傷領域は、幅が０．１ｍｍ以上のひび割れをトレースして、損傷図を作成する。
　図８は、可視光画像上で検出されたすべてのひび割れをトレースした場合に作成される損傷図の一例を示す図である。
　同図において、太線Ｌ１は、幅が０．２ｍｍ以上のひび割れをトレースした線を示している。一方、細線Ｌ２は、０．１ｍｍ以上、０．２ｍｍ未満のひび割れをトレースした線を示している。また、同図において、矩形の枠Ｆは、内部損傷領域を示している。
　図９は、本実施の形態の損傷図作成支援装置で作成される損傷図の一例を示す図である。
　同図に示すように、本実施の形態の損傷図作成支援装置１０で作成される損傷図では、幅が０．１ｍｍ以上のひび割れは、内部損傷領域においてのみ表示される。すなわち、全体として、幅が０．２ｍｍ以上のひび割れが表示され、内部損傷領域についてのみ、幅が０．１ｍｍ以上のひび割れが表示される。
　作成された損傷図は、表示部１６に表示される。また、ユーザからの指示に応じて、ＨＤＤ１４に記録される。ＨＤＤ１４には、検査対象領域を撮影した可視光画像の画像データも記録される。可視光画像の画像データは、損傷図に関連付けられて、ＨＤＤ１４に記録される。
　以上説明したように、本実施の形態の損傷図作成支援装置１０によれば、用途に応じて適切にひび割れを記録した損傷図を作成できる。すなわち、表面の性状を詳細に確認する必要がある領域についてのみ、微細なひび割れ（０．２ｍｍ未満のひび割れ）の検出結果が表示される。これにより、確認しやすい損傷図を作成できる。
　［変形例］
　［ひび割れの検出］
　上記実施の形態では、検査対象領域のすべての領域において、幅が０．１ｍｍ以上のひび割れ（第２閾値以上のひび割れ）を検出する構成としているが、内部損傷領域と、内部損傷領域以外の領域とを分けて、ひび割れを検出する構成としてもよい。この場合、内部損傷領域では、幅が０．１ｍｍ以上のひび割れを検出し、内部損傷領域以外の領域では、幅が０．２ｍｍ以上のひび割れを検出する。
　［損傷図の作成］
　検査対象領域のすべての領域で幅が０．１ｍｍ以上のひび割れを記録した損傷図（図８参照）を別途作成してもよい。これにより、必要に応じて、全ひび割れを記録した損傷図を表示させることができる。また、ひび割れの種類ごとにレイヤを分けた損傷図を作成してもよい。
　図１０は、ひび割れの種類ごとにレイヤを分けて生成した損傷図の一例を示す図である。
　同図は、損傷図が３つのレイヤ（第１レイヤＬｙ１～第３レイヤＬｙ３））で構成される場合の例を示している。第１レイヤＬｙ１は、幅が０．２ｍｍ以上のひび割れを記録したレイヤで構成される。第２レイヤＬｙ２は、幅が０．１ｍｍ以上、０．２ｍｍ未満のひび割れを記録したレイヤで構成される。第３レイヤＬｙ３は、内部損傷領域についてのみ幅が０．１ｍｍ以上、０．２ｍｍ未満のひび割れを記録したレイヤで構成される。このような構成の損傷図によれば、たとえば、第１レイヤＬｙ１と第３レイヤＬｙ３とを選択して表示させることにより、内部損傷領域については、幅が０．１ｍｍ以上のひび割れが表示され、その他の領域は、幅が０．２ｍｍ以上のひび割れが表示された損傷図が表示される。また、第１レイヤＬｙ１と第２レイヤＬｙ２とを選択して表示させることにより、すべての領域で幅が０．１ｍｍ以上のひび割れが表示された損傷図が表示される。
　また、検出されたひび割れについては、たとえば、個別にナンバリングし、ひび割れごとに幅の情報を管理するようにしてもよい。
　［検査対象領域の内部状態を非破壊で計測する手段］
　上記実施の形態では、ミリ波カメラにより構造物の内部状態を可視化した画像を撮影して、構造物の内部状態を非破壊で計測する構成としている。構造物の内部状態を非破壊で計測する手段及び方法は、これに限定されるものではない。たとえば、マイクロ波、テラヘルツ波等の電磁波を用いて内部状態を可視化する装置（マイクロ波イメージング装置、テラヘルツイメージング等）を使用して、構造物の内部状態を計測する構成とすることもできる（電磁波レーダ法）。また、超音波を用いて内部状態を可視化する装置（超音波イメージング装置等）を使用して、構造物の内部状態を計測する構成とすることもできる（いわゆる、超音波法）。この他、赤外線写真法、Ｘ線造影撮影法、非接触音響探査法等の公知の非破壊探査法を採用して、構造物の内部状態を計測する構成とすることができる。
　［内部損傷領域の情報を取得する手段］
　上記実施の形態では、内部損傷領域をユーザが手動で入力する構成としているが、内部損傷領域の情報を取得する手法は、これに限定されるものではない。たとえば、内部に損傷を有する領域をチョーク等で示し、可視光画像からチョーク等で示された領域を自動認識して、内部損傷領域の情報を取得する構成とすることもできる。また、内部損傷領域の情報が記録された損傷図の情報を取得して、内部損傷領域の情報を取得する構成とすることもできる。更に、構造物の内部状態を可視化した画像を撮影して、構造物の内部状態を計測する場合には、撮影した画像データを取得して、内部損傷領域の情報を取得する構成とすることもできる。この場合、構造物の内部状態を可視化した画像を解析して、損傷領域を検出し、内部損傷領域の情報を自動で取得する。
　［検査対象］
　本発明は、橋梁、トンネル、ダム、建築物などの鉄筋コンクリート製の構造物を検査する場合に特に有効に作用する。ただし、本発明の適用は、これに限定されるものではない。この他、たとえば、表面がタイル、レンガ等で構成された構造物を検査する場合にも同様に適用できる。
　また、上記実施の形態では、構造物の内部の損傷として、コンクリートの浮きを検査する場合を例に説明したが、検査対象とする内部の損傷の種類は、これに限定されるものではない。
　［撮影手法］
　可視光カメラによる撮影は、たとえば、可視光カメラを無人航空機（いわゆるドローン）、無人走行車等に搭載して行うこともできる。
　また、可視光カメラを無人航空機等に搭載して検査対象を撮影する場合は、自動で撮影する構成とすることもできる。たとえば、あらかじめ定められたルートを自動で飛行し、検査対象を撮影する構成としてもよい。
　構造物の内部状態を可視化した画像を撮影して、構造物の内部状態を非破壊で計測する場合についても同様に、カメラ（イメージング装置）を無人航空機、無人走行車等に搭載して撮影することができる。
　［システム構成］
　上記実施の形態では、損傷図作成支援装置が、いわゆるスタンドアローンコンピュータで実現されているが、クライアントサーバ型のシステムで実現することもできる。たとえば、ひび割れ検出部１０Ｂ、パノラマ合成部１０Ｃ、内部損傷領域情報取得部１０Ｄ、及び、損傷図作成部１０Ｅ等の機能については、サーバが実現する構成としてもよい。この場合、クライアント端末には、サーバに対して画像を送信する機能、サーバから結果（パノラマ合成した画像、損傷図のデータ等）を受信する機能等が備えられる。
　また、損傷図作成支援装置を実現するハードウェアは、各種のプロセッサで構成できる。各種プロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ及び／又はＧＰＵ（Ｇｒａｐｈｉｃ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Ｐｒｏｇｒａｍｍａｂｌｅ　Ｌｏｇｉｃ　Ｄｅｖｉｃｅ，ＰＬＤ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。点検支援装置を構成する１つの処理部は、上記各種プロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサで構成されてもよい。たとえば、１つの処理部は、複数のＦＰＧＡ、あるいは、ＣＰＵとＦＰＧＡの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ（Ｓｙｓｔｅｍ　ｏｎ　Ｃｈｉｐ，ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種プロセッサを１つ以上用いて構成される。更に、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（ｃｉｒｃｕｉｔｒｙ）である。
１　床版
２　格間
３　主桁
４　横桁
１０　損傷図作成支援装置
１０Ａ　画像データ取得部
１０Ｂ　ひび割れ検出部
１０Ｃ　パノラマ合成部
１０Ｄ　内部損傷領域情報取得部
１０Ｅ　損傷図作成部
１１　ＣＰＵ
１２　ＲＡＭ
１３　ＲＯＭ
１４　ＨＤＤ
１５　操作部
１６　表示部
１６Ａ　表示部の画面
１７　入出力インターフェース
１８　通信インターフェース
ａ　撮影の移動方向
Ｆ　内部損傷領域を囲う枠
ＩＭ　可視光画像
Ｌ１　幅が０．２ｍｍ以上のひび割れをトレースした線
Ｌ２　幅が０．１ｍｍ以上、０．２ｍｍ未満のひび割れをトレースした線
Ｌｙ１　損傷図の第１レイヤ
Ｌｙ２　損傷図の第２レイヤ
Ｌｙ３　損傷図の第３レイヤ
P　ポインタ
Ｗ　構造物の内部の損傷
Ｓ１～Ｓ３　検査から損傷図の作成までの手順
Ｓ３１～Ｓ３５　損傷図作成支援装置による損傷図の作成の手順

Claims (10)

  1. 　検査対象領域内で構造物の内部に損傷を有する領域の情報を取得するステップと、
    　前記検査対象領域を可視光カメラで撮影した可視光画像を取得するステップと、
    　前記可視光画像内で前記構造物の表面に現れたひび割れを検出するステップと、
    　前記可視光画像内で検出されたひび割れをトレースした損傷図を作成するステップであって、内部に損傷を有する領域以外の領域は、幅が第１閾値以上のひび割れをトレースし、内部に損傷を有する領域は、幅が前記第１閾値よりも小さい第２閾値以上のひび割れをトレースして、前記損傷図を作成するステップと、
    　を含む損傷図作成支援方法。
  2. 　前記可視光画像は、少なくとも幅が０．１ｍｍまでのひび割れを検出できる画素分解能で撮影した画像であり、
    　前記第１閾値は、０．２ｍｍであり、
    　前記第２閾値は、０．１ｍｍである、
    　請求項１に記載の損傷図作成支援方法。
  3. 　前記検査対象領域の内部状態を非破壊で計測して、内部に損傷を有する領域を検出するステップを更に含む、
    　請求項１に記載の損傷図作成支援方法。
  4. 　前記検査対象領域の内部状態を可視化した画像を撮影して、前記検査対象領域の内部状態を非破壊で計測する、
    　請求項３に記載の損傷図作成支援方法。
  5. 　電磁波又は超音波を用いて前記検査対象領域の内部状態を可視化した画像を撮影する、
    　請求項４に記載の損傷図作成支援方法。
  6. 　ミリ波、マイクロ波又はテラヘルツ波を用いて前記検査対象領域の内部状態を可視化した画像を撮影する、
    　請求項５に記載の損傷図作成支援方法。
  7. 　前記検査対象領域の内部状態を非接触音響探査法で計測する、
    　請求項２に記載の損傷図作成支援方法。
  8. 　前記構造物の内部に損傷を有する領域として、浮きの領域を検出する、
    　請求項１から７のいずれか１項に記載の損傷図作成支援方法。
  9. 　構造物の表面に現れたひび割れを記録した損傷図の作成を支援する損傷図作成支援装置であって、
    　プロセッサを有し、
    　前記プロセッサは、
    　検査対象領域内で前記構造物の内部に損傷を有する領域の情報を取得する処理と、
    　前記検査対象領域を可視光カメラで撮影した可視光画像を取得する処理と、
    　前記可視光画像内で前記構造物の表面に現れたひび割れを検出する処理と、
    　前記可視光画像内で検出されたひび割れをトレースした損傷図を作成する処理であって、内部に損傷を有する領域以外の領域は、幅が第１閾値以上のひび割れをトレースし、内部に損傷を有する領域は、幅が前記第１閾値よりも小さい第２閾値以上のひび割れをトレースして、前記損傷図を作成する処理と、
    　を実行する損傷図作成支援装置。
  10. 　前記可視光画像は、少なくとも幅が０．１ｍｍまでのひび割れを検出できる画素分解能で撮影した画像であり、
    　前記第１閾値は、０．２ｍｍであり、
    　前記第２閾値は、０．１ｍｍである、
    　請求項９に記載の損傷図作成支援装置。
PCT/JP2021/019704 2020-05-29 2021-05-25 損傷図作成支援方法及び装置 WO2021241537A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022526556A JP7353485B2 (ja) 2020-05-29 2021-05-25 損傷図作成支援方法及び装置
US18/050,846 US20230075504A1 (en) 2020-05-29 2022-10-28 Damage diagram creation support method and damage diagram creation support device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020094329 2020-05-29
JP2020-094329 2020-05-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/050,846 Continuation US20230075504A1 (en) 2020-05-29 2022-10-28 Damage diagram creation support method and damage diagram creation support device

Publications (1)

Publication Number Publication Date
WO2021241537A1 true WO2021241537A1 (ja) 2021-12-02

Family

ID=78744424

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/019704 WO2021241537A1 (ja) 2020-05-29 2021-05-25 損傷図作成支援方法及び装置

Country Status (3)

Country Link
US (1) US20230075504A1 (ja)
JP (1) JP7353485B2 (ja)
WO (1) WO2021241537A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095294B (zh) * 2023-08-24 2024-06-25 中建安装集团黄河建设有限公司 一种预制楼板施工质量诊断方法、介质及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002257744A (ja) * 2001-03-02 2002-09-11 Takenaka Komuten Co Ltd コンクリートの欠陥検査方法およびコンクリートの欠陥検査装置
JP2008145298A (ja) * 2006-12-11 2008-06-26 Tohoku Electric Power Engineering & Construction Co Ltd 水車構造物の三次元欠陥検査装置
JP2013250059A (ja) * 2012-05-30 2013-12-12 Railway Technical Research Institute コンクリート表面の変状管理方法
KR101492336B1 (ko) * 2013-09-24 2015-02-11 서울여자대학교 산학협력단 금속품의 크랙 자동 검출 시스템 및 그 검출 방법
WO2017119154A1 (ja) * 2016-01-07 2017-07-13 三菱電機株式会社 検出装置および検出方法
JP2018185228A (ja) * 2017-04-26 2018-11-22 三菱電機株式会社 移動型探傷装置
WO2020059706A1 (ja) * 2018-09-20 2020-03-26 富士フイルム株式会社 学習用データ収集装置、学習用データ収集方法、及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002257744A (ja) * 2001-03-02 2002-09-11 Takenaka Komuten Co Ltd コンクリートの欠陥検査方法およびコンクリートの欠陥検査装置
JP2008145298A (ja) * 2006-12-11 2008-06-26 Tohoku Electric Power Engineering & Construction Co Ltd 水車構造物の三次元欠陥検査装置
JP2013250059A (ja) * 2012-05-30 2013-12-12 Railway Technical Research Institute コンクリート表面の変状管理方法
KR101492336B1 (ko) * 2013-09-24 2015-02-11 서울여자대학교 산학협력단 금속품의 크랙 자동 검출 시스템 및 그 검출 방법
WO2017119154A1 (ja) * 2016-01-07 2017-07-13 三菱電機株式会社 検出装置および検出方法
JP2018185228A (ja) * 2017-04-26 2018-11-22 三菱電機株式会社 移動型探傷装置
WO2020059706A1 (ja) * 2018-09-20 2020-03-26 富士フイルム株式会社 学習用データ収集装置、学習用データ収集方法、及びプログラム

Also Published As

Publication number Publication date
US20230075504A1 (en) 2023-03-09
JPWO2021241537A1 (ja) 2021-12-02
JP7353485B2 (ja) 2023-09-29

Similar Documents

Publication Publication Date Title
WO2021241535A1 (ja) 構造物の検査方法及び検査システム
US9292925B2 (en) Imaging system and control method thereof
JP2001124522A (ja) 画像処理を用いたひび割れ評価装置
US20230111766A1 (en) Structure inspection method and structure inspection system
JP2007322162A (ja) ３次元形状測定装置及び３次元形状測定方法
WO2021241537A1 (ja) 損傷図作成支援方法及び装置
CN113281343B (zh) 一种对多层透明材料进行缺陷检测的系统及方法
JP2005016991A (ja) 赤外線構造物診断システム
JP2005037366A (ja) 赤外線構造物診断システム及び赤外線構造物診断方法
WO2019003796A1 (ja) 画像合成方法、画像合成装置、及び記録媒体
JPWO2021241535A5 (ja)
TWI401698B (zh) Appearance inspection device and appearance inspection method
KR100803043B1 (ko) 디스플레이 장치의 결함검사 장치 및 방법
JP2005016995A (ja) 赤外線構造物診断方法
Lachat et al. First experiences with the Trimble SX10 Scanning Total Station for building facade survey
JP2008011467A (ja) 表示パネルの撮像方法及び表示パネルの撮像装置
JP2022151763A (ja) 航空機構造体の損傷の自動評価
WO2020121917A1 (ja) 損傷図作成支援装置、損傷図作成支援方法、損傷図作成支援プログラム及び損傷図作成支援システム
JP2003111073A (ja) 画像検査方法
JP7159624B2 (ja) 表面性状検査方法及び表面性状検査装置
WO2021241533A1 (ja) 撮影システム、撮影方法、撮影プログラム、及び情報取得方法
CN112703725A (zh) 合成处理系统、合成处理装置以及合成处理方法
JP4206393B2 (ja) パターン検査方法
JPH1114334A (ja) 網入りガラスの欠陥検出方法および装置
JP2010175283A (ja) 面画像生成装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21813979

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022526556

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21813979

Country of ref document: EP

Kind code of ref document: A1