WO2021176621A1 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

画像処理装置、画像処理方法、および画像処理プログラム Download PDF

Info

Publication number
WO2021176621A1
WO2021176621A1 PCT/JP2020/009273 JP2020009273W WO2021176621A1 WO 2021176621 A1 WO2021176621 A1 WO 2021176621A1 JP 2020009273 W JP2020009273 W JP 2020009273W WO 2021176621 A1 WO2021176621 A1 WO 2021176621A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
detection
detection target
unit
image
Prior art date
Application number
PCT/JP2020/009273
Other languages
English (en)
French (fr)
Inventor
高之 天見
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2020544680A priority Critical patent/JP6793896B1/ja
Priority to PCT/JP2020/009273 priority patent/WO2021176621A1/ja
Publication of WO2021176621A1 publication Critical patent/WO2021176621A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and an image processing program that masks an area of an image of a structure that does not detect deformation of a detection target.
  • a technique for detecting a deformation occurring in a structure from an image of a structure has been known. May be detected.
  • the image of the tunnel includes areas other than cracks, such as lighting, cables, free lime marks, dirt, or formwork marks. , These areas may be mistakenly detected as cracks.
  • Patent Document 1 proposes a technique for generating an image in which a crack non-detection region, which is a region in which cracks are not detected, is masked in an image of a structure.
  • the technique described in Patent Document 1 uses features such as an illumination area, a cable area, a free lime area, a dirt area, or a formwork mark area, and a set threshold value or a numerical range to image a tunnel.
  • the crack non-detection region is determined from the inside.
  • the technique described in Patent Document 1 masks the determined crack non-detection region in the tunnel image, and detects the crack from the masked tunnel image.
  • the present disclosure has been made in view of the above, and is an image processing capable of masking a non-detection region which is a region in which a deformation of a detection target is not detected without adjusting a threshold value or a numerical range.
  • the purpose is to obtain the device.
  • the image processing apparatus of the present disclosure includes an acquisition unit, a non-detection target detection unit, and a masking unit.
  • the acquisition unit acquires information on the image of the structure.
  • the non-detection target detection unit has a structure acquired by the acquisition unit using one or more detection models that detect a region of the non-detection target that is generated by machine learning and is a target different from the deformation of the detection target from the image.
  • the non-detection target area is detected from the image of the object.
  • the masking unit masks the non-detection target area detected by the non-detection target detection unit in the image of the structure.
  • the non-detection region which is the region where the deformation of the detection target is not detected, without adjusting the threshold value or the numerical range.
  • FIG. 1 is a diagram showing an example of an image processing method executed by the image processing apparatus according to the first embodiment.
  • the image processing device 1 shown in FIG. 1 detects a specific type of deformation occurring in the structure from the image of the structure as a detection target.
  • the image processing device 1 detects a non-detection region, which is a region in the image of the structure that does not detect deformation of the detection target, using the detection model generated by machine learning, and masks the detected non-detection region. do.
  • the image processing device 1 detects a specific type of deformation as a detection target from the image of the structure in which the non-detection region is masked.
  • the image of the structure processed by the image processing device 1 is, for example, a developed image of the inner wall surface of a tunnel, an image of the surface of a bridge, an image of the surface of a road, or an image of the surface of a building.
  • the structure whose image is processed by the image processing device 1 may be a structure other than a tunnel, a bridge, a road, and a building. In the following, the image of the structure processed by the image processing device 1 will be described as an image of the inner wall surface of the tunnel.
  • the specific type of deformation detected as a detection target by the image processing device 1 is a crack, but in addition to the crack, leaked water or the like may be included.
  • the masked non-detection area is, for example, an illumination area, a bolt area, a cable area, a free lime area, a dirty area, a formwork mark area, or a repair mark area.
  • each of lighting, bolts, cables, free lime, dirt, formwork marks, and repair marks may be described as non-detection targets.
  • the image processing method executed by the image processing device 1 will be described with reference to FIG.
  • information on an image of a structure is input to the image processing device 1.
  • the image of such a structure is a developed image of the inner wall surface of the tunnel when it is assumed that the surface of the inner wall surface of the tunnel is developed in a two-dimensional plane.
  • the developed image of the inner wall surface of the tunnel is, for example, an image obtained by pasting together images taken multiple times by each of the plurality of cameras while a measuring vehicle equipped with a plurality of cameras is traveling in the tunnel. Is.
  • the developed image of the tunnel shown in FIG. 1 includes images of repair marks, lighting, and cracks.
  • the developed image of the tunnel is a monochrome image represented by brightness, but may be a color image.
  • the image processing device 1 performs detection processing on the image of the structure.
  • a detection process is a process for detecting a non-detection target area to be masked, and is a process executed by using a detection model generated by machine learning.
  • the detection model is a calculation model generated by machine learning and detecting a non-detection target area from an image, and when an image of a structure is input, information on the non-detection target area is output.
  • the output of the detection model includes information indicating that there is no non-detection target region.
  • Such a detection model is generated by, for example, deep learning.
  • the image processing device 1 detects the non-detection target area by using the detection model generated for each type of the non-detection target. For example, the image processing device 1 detects an illumination area using a detection model for detecting illumination, detects a bolt area using a detection model for detecting bolts, and detects a cable. Detect the area of the cable using a detection model. Further, the image processing apparatus 1 detects a free lime region using a detection model for detecting free lime, detects a stain region using a detection model for detecting stains, and creates formwork marks. The area of the formwork mark is detected using a detection model for detection.
  • the image processing device 1 detects the area of the repair mark by using the detection model for detecting the repair mark.
  • the image processing device 1 may be configured to detect each non-detection target using a detection model common to all non-detection targets, and may use a detection model common to two or more non-detection targets. It may be configured to detect the detection target.
  • the image processing device 1 detects the non-detection target area by the detection process, and then masks the non-detection target area in the image of the structure as the non-detection area.
  • Masking by the image processing device 1 is performed, for example, by replacing a non-detection target area in the image of the structure with a preset image.
  • the preset image is, for example, a monochromatic image such as a black image or a white image.
  • the preset image may be an image in which the deformation of the detection target is not detected, and is not limited to a monochromatic image.
  • the masking by the image processing device 1 can also be performed by associating the information indicating the non-detection target region in the image of the structure with the information of the image of the structure.
  • the image processing device 1 performs deformation detection processing for detecting a specific type of deformation from an image of a masked structure.
  • the image processing device 1 associates the information indicating the non-detection target area with the information of the image of the structure, the image processing device 1 refers to the area other than the non-detection target area based on the information indicating the non-detection target area. Performs processing to detect a specific type of deformation.
  • the image processing device 1 detects the non-detection target region in the image of the structure by using the detection model generated by machine learning. Therefore, the image processing device 1 can mask the non-detection target area without adjusting the threshold value or the numerical range, and can accurately detect a specific type of deformation.
  • the image processing apparatus 1 will be described in more detail.
  • FIG. 2 is a diagram showing an example of the configuration of the image processing apparatus according to the first embodiment.
  • the image processing device 1 according to the first embodiment includes a communication unit 10, an input unit 11, a storage unit 12, and a processing unit 13.
  • the communication unit 10 is connected to a network such as a LAN (Local Area Network) or a WAN (Wide Area Network), and transmits / receives information to and from an external device via the network.
  • the input unit 11 is, for example, a mouse, a keyboard, or a touch panel, and is operated by the user of the image processing device 1.
  • the storage unit 12 includes an image information storage area 20, a non-detection target information storage area 21, a deformed information storage area 22, and a learning information storage area 23.
  • the image information storage area 20 stores information on the structure image, which is an image of the structure acquired by the processing unit 13 from the external device via the communication unit 10.
  • FIG. 3 is a diagram showing an example of a structure image according to the first embodiment.
  • the structure image 2 also includes formwork marks.
  • repair marks 9 1, 9 2, 9 3, 9 4, 9 if each of 5 are shown without individually distinguished, may be referred to as repair marks 9.
  • the non-detection target information storage area 21 stores the non-detection target information which is the information of the non-detection target detected from the structure image 2 by the processing unit 13.
  • deformation information which is information of a specific type of deformation detected from the structure image 2 by the processing unit 13 is stored.
  • the learning information storage area 23 stores learning information for generating a detection model for detecting a non-detection target area in the structure image 2.
  • the learning information includes a plurality of images of the non-detection target and a plurality of images other than the non-detection target for each non-detection target.
  • the learning information includes a plurality of images of the illumination 4 and a plurality of images other than the illumination 4 as information for generating a detection model for detecting the illumination 4.
  • the learning information includes a plurality of images of the repair mark 9 and a plurality of images other than the repair mark 9 as information for generating a detection model for detecting the repair mark 9.
  • the image of the non-detection target is, for example, an image of an area surrounded by a circumscribed rectangle which is a rectangle circumscribing the non-detection target while surrounding the non-detection target.
  • the image to be undetected does not have to be an image of an area surrounded by an extrinsic rectangle, and may be, for example, an image of an area surrounded by a frame other than a rectangle.
  • the learning information of each non-detection target includes information on a plurality of images of the non-detection target for each of the color of the inner wall surface of the tunnel, the type of tunnel construction method, and the presence or absence of a panel provided on the inner wall of the tunnel. Information on a plurality of images other than the non-detection target is included.
  • the processing unit 13 includes an acquisition unit 30, a learning unit 31, an information receiving unit 32, a non-detection target detection unit 33, a masking unit 34, and a deformation detection unit 35.
  • the acquisition unit 30 acquires the information transmitted from the external device (not shown) and received by the communication unit 10 from the communication unit 10, and stores the acquired information in the storage unit 12.
  • the acquisition unit 30 acquires the information of the structure image 2 transmitted from the external device (not shown) and received by the communication unit 10 from the communication unit 10, and the acquired information of the structure image 2 is stored in the image information storage area 20. To memorize. Further, the acquisition unit 30 acquires the learning information transmitted from the external device (not shown) and received by the communication unit 10 from the communication unit 10, and stores the acquired learning information in the learning information storage area 23.
  • the learning unit 31 reads learning information from the learning information storage area 23 of the storage unit 12, and uses a detection model that detects each non-detection target based on the read learning information, such as the surface color of the structure and the structure. It is generated for each of the method of construction and the presence or absence of a panel in the structure. Hereinafter, it is assumed that the structure is a tunnel.
  • the non-detection target is lighting 4, bolt 5, cable 6, free lime 7, dirt 8, formwork mark, or repair mark 9, but other targets may be non-detection targets, and some of them may be non-detection targets. It may be a non-detection target.
  • the tunnel will be repaired with wire mesh or filler. When the tunnel is repaired with wire mesh, the repair mark 9 is a wire mesh, and when the tunnel is repaired with a filler, the repair mark 9 is a filler.
  • the learning unit 31 uses each of the detection models of lighting 4, bolt 5, cable 6, free lime 7, dirt 8, formwork mark, or repair mark 9 as the color of the inner wall surface of the tunnel, the type of tunnel construction method, and the tunnel construction method. Generated for each presence or absence of panels provided on the inner wall of the tunnel.
  • each of the detection model of the illumination 4, the detection model of the bolt 5, the detection model of the cable 6, the detection model of the free lime 7, the detection model of the dirt 8, the detection model of the mold mark, and the detection model of the repair mark 9. Is generated for each of the color of the inner wall of the tunnel, the type of construction method of the tunnel, and the presence or absence of panels provided on the inner wall of the tunnel.
  • the color of the inner wall surface of the tunnel is an example of the surface color of the structure
  • the construction method of the tunnel is an example of the construction method of the structure
  • the panel provided on the inner wall of the tunnel is an example of the panel in the structure.
  • the detection model for detecting each non-detection target is generated for any one or two of the information on the surface color of the structure, the information on the construction method of the structure, and the information on the presence or absence of the panel in the structure. May be good. Further, the detection model for detecting each non-detection target may be one without being divided according to the information on the surface color of the structure, the information on the construction method of the structure, and the information on the presence or absence of the panel in the structure.
  • the learning unit 31 can also generate a detection model common to all non-detection targets.
  • the type of color of the inner wall surface of the tunnel is, for example, light gray, gray, or dark gray.
  • the type of color of the inner wall surface of the tunnel may be two or four or more. Since the detection model is generated for each color of the inner wall surface of the tunnel, the non-detection target detection unit 33 can accurately detect the non-detection target.
  • the type of construction method for the structure is, for example, a shield method, a TBM (Tunnel Boring Machine) method, or a mountain method. Deformation that occurs in the structure may differ depending on the type of construction method. Since the learning unit 31 generates a detection model for each construction method of the structure, the non-detection target detection unit 33 can accurately detect the non-detection target.
  • the types of construction methods for structures may include construction methods other than these construction methods.
  • the panel in the structure is, for example, an interior panel provided on the inner wall surface of the tunnel. Further, on the surface of the interior panel, for example, a reflective member such as a reflector or a reflective tape that reflects light is provided. Since the learning unit 31 generates a detection model when there is a panel provided on the inner wall of the tunnel and a detection model when there is no panel provided on the inner wall of the tunnel, the non-detection target detection unit 33 accurately determines the non-detection target. It can be detected well.
  • the above-mentioned repair mark 9 detection model includes, for example, a wire mesh detection model and a filler detection model.
  • the wire mesh detection model is a detection model that detects the area repaired by the wire mesh.
  • the filler detection model is a detection model that detects the area repaired by the filler.
  • the detection model generated by the learning unit 31 is a calculation model that detects a non-detection target region that is generated by machine learning and is a target different from the detection target crack 3 from the image, and is generated by, for example, deep learning.
  • the detection model is a neural network such as a convolutional neural network, but may be a calculation model generated by a learning algorithm such as linear regression or logistic regression, or may be a calculation model such as a support vector machine. good.
  • the detection model of the non-detection target generated by the learning unit 31 outputs the information of the detected non-detection target area, and in addition to the information of the detected non-detection target area, the detected non-detection target area. It may be configured to output a label.
  • the label of the non-detection target is information indicating the type of the non-detection target. For example, in the case of the detection model of the illumination 4, the information indicating that the non-detection target is the illumination 4.
  • the information reception unit 32 receives structure information, which is information about the structure. For example, the information receiving unit 32 receives the structure information by the operation of the input unit 11 by the user. Further, the information receiving unit 32 receives the structure information transmitted from an external device (not shown) and received by the communication unit 10.
  • the structure information includes, for example, at least one of information on the surface color of the structure, information on the construction method of the structure, and information on the presence or absence of a panel in the structure.
  • the structure information may include information on the repair method of the structure. Types of repair methods include repair with wire mesh and repair with filler.
  • the non-detection target detection unit 33 uses a plurality of detection models corresponding to the structure information received by the information reception unit 32 among the plurality of detection models generated by machine learning and detecting the non-detection target region from the image. Then, the non-detection target area is detected from the structure image 2.
  • the non-detection target detection unit 33 detects the non-detection target region from the structure image 2 by using a plurality of detection models associated with the combination of light gray, the shield method, and the presence of the panel.
  • the non-detection target detection unit 33 uses a detection model corresponding to the specified tunnel repair method included in the structure information to form a structure. The area of the repair mark 9 in the object image 2 is detected.
  • the non-detection target detection unit 33 detects the area of the repair mark 9, which is the area repaired by the wire mesh, by using the wire mesh detection model. .. Further, when the repair method included in the structure information is repair by the filler, the non-detection target detection unit 33 uses the filler detection model to use the filler detection model to repair the region of the repair mark 9 which is the region repaired by the filler. Is detected.
  • the non-detection target detection unit 33 is a detection model capable of detecting both the region repaired by the wire mesh and the region repaired by the filler when the structure information does not include information on the tunnel repair method. Can be used to detect the area of the repair mark 9. Such a detection model is also generated by the learning unit 31 for each of the types of tunnel construction methods and the presence or absence of panels provided on the inner wall of the tunnel.
  • the plurality of detection models corresponding to the structure information are the detection model of lighting 4, the detection model of bolt 5, the detection model of cable 6, the detection model of free lime 7, the detection model of dirt 8, the detection model of formwork marks, and the like. And includes a detection model for repair marks 9.
  • the non-detection target detection unit 33 uses the corresponding detection model among the plurality of detection models to detect each region of the illumination 4, the bolt 5, the cable 6, the free lime 7, the dirt 8, the formwork mark 9, and the repair mark 9. To detect.
  • the non-detection target detection unit 33 outputs the non-detection target information, which is the detected non-detection target information, to the masking unit 34, and further stores the non-detection target information in the non-detection target information storage area 21.
  • the non-detection target information includes information on the detected non-detection target ID (Identifier), information indicating the type of the detected non-detection target, and coordinates of the structure image 2 in which the detected non-detection target region exists. Including information.
  • the ID of the non-detection target is an ID assigned by the deformation detection unit 35, and is a different ID for each non-detection target.
  • the coordinates are, for example, the coordinates of an orthogonal coordinate system having one of the four corners of the structure image 2 as the origin.
  • the non-detection target area is, for example, a rectangular area
  • the coordinate information in which the non-detection target area exists is, for example, information on the coordinates of two diagonal coordinates of the four corners of the rectangle, or a rectangle. It is the information of the coordinates of the four corners of.
  • the non-detection target detection unit 33 detects the illumination 4, the non-detection target ID, the information indicating that the non-detection target is the illumination 4, and the region of the illumination 4 in the structure image 2 exist.
  • the non-detection target information including the information of the coordinates to be used is output to the masking unit 34 and stored in the non-detection target information storage area 21.
  • the non-detection target detection unit 33 detects the repair mark 9, the ID of the non-detection target, the information indicating that the non-detection target is the repair mark 9, and the repair mark 9 in the structure image 2
  • the non-detection target information including the information of the coordinates where the area exists is output to the masking unit 34 and stored in the non-detection target information storage area 21.
  • FIG. 4 is a diagram showing an example of each non-detection target region detected by the image processing apparatus according to the first embodiment.
  • the non-detection target detection unit 33 includes a region 41 of the illumination 4, a region 42 of the bolt 5, a region 43 of the cable 6, a region 44 of the free lime 7, and a region 45 of the dirt 8.
  • the region 46 of the repair mark 9 is detected.
  • Each of the areas 41, 42, 43, 44, 45, and 46 detected by the non-detection target detection unit 33 is a rectangular area.
  • the non-detection target detection unit 33 detects, for example, a region surrounded by a rectangle circumscribing the non-detection target while surrounding the non-detection target as a non-detection target region. In the example shown in FIG. 4, the area of the formwork mark is not shown, but the non-detection target detection unit 33 also detects the area of the formwork mark.
  • the non-detection target detection unit 33 acquires the color information of the inner wall surface of the tunnel from the structure information, but detects the color of the inner wall surface of the tunnel from the structure image 2 and detects the tunnel. It is also possible to detect a non-detection target by using a plurality of detection models corresponding to the color of the inner wall surface of the tunnel.
  • the structure information includes information indicating the type of tunnel construction method, but the structure information may be information indicating the shape of the tunnel.
  • the non-detection target detection unit 33 determines the type of tunnel construction method from the information indicating the shape of the tunnel, and detects the non-detection target using a plurality of detection models corresponding to the determined type of tunnel construction method. do.
  • the masking unit 34 reads the structure image information which is the information of the structure image 2 from the image information storage area 20 of the storage unit 12, and the read structure image information and the non-detection target detected by the non-detection target detection unit 33.
  • the non-detection target area of the structure image 2 is masked based on the information of.
  • Masking by the masking unit 34 is performed, for example, by replacing the non-detection target area in the structure image 2 with a preset image.
  • the preset image is, for example, a monochromatic image such as a black image or a white image.
  • the preset image may be an image in which the deformation of the detection target is not detected, and is not limited to a monochromatic image.
  • masking by the masking unit 34 can also be performed by associating the non-detection target information, which is information indicating the non-detection target region of the structure image 2, with the information of the structure image 2.
  • the masking unit 34 performs masking by associating the ID of the structure image 2 with the ID of each non-detection target.
  • the deformation detection unit 35 detects the crack 3 as a specific type of deformation from the masked structure image 2.
  • the deformation detection unit 35 detects the coordinates, length, and width of the detected crack 3.
  • the deformation detection unit 35 stores the deformation information including the coordinate, length, and width information of the detected crack 3 and the ID information of the detected crack 3 in the deformation information storage area 22.
  • the ID of the crack 3 is an ID assigned by the deformation detection unit 35, and is a different ID for each of the cracks 3.
  • the deformation detected by the deformation detection unit 35 may include leaked water or the like in addition to cracks.
  • the detection model is generated by the image processing device 1, but the detection model used by the non-detection target detection unit 33 of the image processing device 1 is performed by a learning device different from the image processing device 1. May be good.
  • the acquisition unit 30 of the image processing device 1 can acquire a plurality of detection models generated by a learning device different from the image processing device 1 from the learning device via the communication unit 10.
  • the acquisition unit 30 outputs a plurality of acquired detection models to the non-detection target detection unit 33.
  • the non-detection target detection unit 33 detects the non-detection target region from the structure image 2 based on the plurality of detection models output from the acquisition unit 30.
  • FIG. 5 is a flowchart showing an example of processing by the processing unit of the image processing apparatus according to the first embodiment.
  • the processing unit 13 of the image processing device 1 repeatedly executes the processing shown in FIG.
  • the processing unit 13 performs a learning process (step S1).
  • the learning process of step S1 is the process of steps S10 to S15 shown in FIG. 6, which will be described in detail later.
  • the processing unit 13 performs a crack detection process (step S2).
  • the crack detection process in step S2 is the process of steps S20 to S29 shown in FIG. 7, which will be described in detail later.
  • FIG. 6 is a flowchart showing an example of learning processing by the processing unit of the image processing apparatus according to the first embodiment.
  • the acquisition unit 30 of the processing unit 13 determines whether or not the learning information has been acquired from an external device (not shown) (step S10).
  • the acquisition unit 30 determines that the learning information has been acquired (step S10: Yes)
  • the acquisition unit 30 stores the acquired learning information in the storage unit 12 (step S11).
  • the learning unit 31 of the processing unit 13 determines whether or not the learning timing has been reached when the processing of step S11 is completed or when the acquisition unit 30 determines that the learning information has not been acquired (step S10: No). Determine (step S12). In the process of step S12, the learning unit 31 of the processing unit 13 reaches the learning timing when, for example, the learning information is stored in the storage unit 12, or when there is a learning request due to an operation on the input unit 11.
  • step S12 determines that the learning timing has come (step S12: Yes)
  • the learning unit 31 acquires learning information from the storage unit 12 (step S13).
  • the learning unit 31 generates a detection model for each non-detection target based on the learning information acquired in step S13 (step S14).
  • the learning unit 31 outputs the generated detection model information for each non-detection target to the non-detection target detection unit 33 (step S15).
  • step S15 the learning unit 31 generates a plurality of detection models for each of, for example, the color of the inner wall surface of the tunnel, the type of the tunnel construction method, and the presence or absence of the panel provided on the inner wall of the tunnel.
  • the processing unit 13 ends the processing shown in FIG. 6 when the processing in step S15 is completed or when it is determined that the learning timing has not been reached (step S12: No).
  • FIG. 7 is a flowchart showing an example of crack detection processing by the processing unit of the image processing apparatus according to the first embodiment.
  • the acquisition unit 30 of the processing unit 13 determines whether or not the information of the structure image 2 has been acquired from an external device (not shown) (step S20).
  • the acquisition unit 30 determines that the information of the structure image 2 has been acquired (step S20: Yes)
  • the acquisition unit 30 stores the acquired information of the structure image 2 in the storage unit 12 (step S21).
  • step S21 Whether or not the information receiving unit 32 of the processing unit 13 has received the structure information when the processing of step S21 is completed or when it is determined that the information of the structure image 2 has not been acquired (step S20: No). Is determined (step S22). In the process of step S22, when the operation to the input unit 11 by the user is the input operation of the structure information, the information receiving unit 32 determines that the structure information has been received.
  • step S22 When the non-detection target detection unit 33 of the processing unit 13 determines that the structure information has been received by the information reception unit 32 (step S22: Yes), a plurality of non-detection target detection units 33 according to the structure information received by the information reception unit 32. A detection model is selected (step S23). The non-detection target detection unit 33 detects a non-detection target region in the structure image 2 by using a plurality of selected detection models (step S24).
  • the non-detection target detection unit 33 of the processing unit 13 stores the detected information of each non-detection target in the storage unit 12 (step S25).
  • the masking unit 34 of the processing unit 13 masks the non-detection target area of the structure image 2 based on the detected information of each non-detection target (step S26).
  • the deformation detection unit 35 of the processing unit 13 detects the region of the crack 3 from the masked structure image 2 (step S27).
  • the deformation detection unit 35 detects the coordinates, length, and width of the detected crack 3 (step S28), and stores the detected information of the crack 3 in the storage unit 12 (step S29).
  • step S28 the process of step S29 is completed, or when the information receiving unit 32 determines that the structure information is not received (step S22: No), the processing unit 13 ends the process shown in FIG. 7.
  • FIG. 8 is a diagram showing an example of the hardware configuration of the image processing device according to the first embodiment.
  • the image processing device 1 includes a computer including a processor 101, a memory 102, an input device 103, and a communication device 104.
  • the processor 101, the memory 102, the input device 103, and the communication device 104 can send and receive information to and from each other by, for example, the bus 105.
  • the communication unit 10 is realized by the communication device 104.
  • the input unit 11 is realized by the input device 103.
  • the storage unit 12 is realized by the memory 102.
  • the processor 101 reads and executes the acquisition unit 30, the learning unit 31, the information reception unit 32, the non-detection target detection unit 33, the masking unit 34, the deformation detection unit 35, and the like. Perform the function of.
  • the processor 101 is, for example, an example of a processing circuit, and includes one or more of a CPU (Central Processing Unit), a DSP (Digital Signal Processor), and a system LSI (Large Scale Integration).
  • the memory 102 is one or more of RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Only Memory), and EEPROM (registered trademark) (Electrically Erasable Programmable Read Only Memory). include.
  • the memory 102 also includes a recording medium on which a computer-readable program is recorded. Such recording media include one or more of non-volatile or volatile semiconductor memories, magnetic disks, flexible memories, optical disks, compact disks, and DVDs (Digital Versatile Discs).
  • the image processing device 1 may include integrated circuits such as an ASIC (Application Specific Integrated Circuit) and an FPGA (Field Programmable Gate Array).
  • the image processing device 1 includes an acquisition unit 30, a non-detection target detection unit 33, and a masking unit 34.
  • the acquisition unit 30 acquires the information of the structure image 2.
  • the non-detection target detection unit 33 is acquired by the acquisition unit 30 using one or more detection models that detect a region of the non-detection target that is generated by machine learning and is a target different from the deformation of the detection target from the image.
  • a non-detection target area is detected from the structure image 2.
  • the masking unit 34 masks the non-detection target area detected by the non-detection target detection unit 33 in the structure image 2.
  • the image processing apparatus 1 can mask the non-detection region without adjusting the threshold value or the numerical range.
  • the image processing device 1 includes an information receiving unit 32 that receives structure information, which is information about the structure.
  • the non-detection target detection unit 33 uses one or more detection models corresponding to the structure information received by the information reception unit 32 among the plurality of detection models generated by machine learning and detecting the non-detection target region from the image. It is used to detect a non-detection target region from the structure image 2. As a result, the image processing device 1 can narrow down a more appropriate detection model based on the structure information, and can accurately detect the non-detection target region.
  • the structure information includes at least one of information on the surface color of the structure, information on the construction method of the structure, and information on the presence or absence of a panel in the structure.
  • the image processing apparatus 1 can narrow down an appropriate detection model with at least one of the information on the surface color of the structure, the information on the construction method of the structure, and the information on the presence or absence of the panel, and the non-detection target. The area can be detected accurately.
  • the structure information includes information on how to repair the structure.
  • the non-detection target detection unit 33 uses one or more detection models that detect a region repaired by the structure repair method specified by the structure information among a plurality of detection models as a non-detection target, and uses a non-detection target. Detect the area of. As a result, the image processing device 1 can use an appropriate detection model according to the repair method, and can accurately detect the region of the repair mark 9.
  • the image processing device 1 includes a learning unit 31 that generates one or more detection models by machine learning based on learning information. As a result, the image processing device 1 can generate a detection model.
  • Embodiment 2 The image processing apparatus according to the second embodiment outputs information on the drawing of the structure including information indicating the position of the detected non-detection target area, and when the position of the non-detection target area is changed, the image processing apparatus outputs the information of the drawing of the structure. It differs from the image processing apparatus 1 according to the first embodiment in that the detection model is relearned.
  • components having the same functions as those of the first embodiment are designated by the same reference numerals and description thereof will be omitted, and the differences from the image processing device 1 of the first embodiment will be mainly described.
  • FIG. 9 is a diagram showing an example of the configuration of the image processing apparatus according to the second embodiment.
  • the image processing device 1A according to the second embodiment includes a display unit 14, and also includes a storage unit 12A and a processing unit 13A in place of the storage unit 12 and the processing unit 13. It is different from the processing device 1.
  • the display unit 14 is, for example, an LCD (Liquid Crystal Display), an OLED (Organic Electro-Luminescence Display), or an IELD (Inorganic Electro-Luminescence Display).
  • LCD Liquid Crystal Display
  • OLED Organic Electro-Luminescence Display
  • IELD Inorganic Electro-Luminescence Display
  • the storage unit 12A is different from the storage unit 12 in that it further has a drawing information storage area 25.
  • Information on the drawing of the structure is stored in the drawing information storage area 25.
  • the information of the drawing of the structure is, for example, the information of the development drawing of the tunnel.
  • the processing unit 13A is different from the processing unit 13 in that it includes a learning unit 31A instead of the learning unit 31, and further includes a drawing information generation unit 36, a drawing information output unit 37, and a drawing information changing unit 38.
  • the drawing information generation unit 36 generates the structure drawing information which is the information of the structure drawing when the user of the image processing device 1A requests the drawing display by the input operation to the input unit 11.
  • the structure drawing information is information on the drawing of the structure including information indicating the position of each non-detection target area detected by the non-detection target detection unit 33 and information indicating the type of the non-detection target.
  • the information indicating the type of the non-detection target includes, for example, information indicating the name of the lighting 4, information indicating the name of the bolt 5, information indicating the name of the cable 6, information indicating the name of the free lime 7, and the name of the dirt 8.
  • the drawing information generation unit 36 acquires information indicating the position and type of each non-detection target area detected by the non-detection target detection unit 33 from the non-detection target information storage area 21, and provides information on the drawing of the structure. Is acquired from the drawing information storage area 25.
  • the drawing information generation unit 36 generates structure drawing information by superimposing information indicating each of the positions and types of each non-detection target area on the drawing of the structure, for example.
  • the drawing information output unit 37 outputs the structure drawing information generated by the drawing information generation unit 36 to the display unit 14, and causes the display unit 14 to display the structure drawing.
  • FIG. 10 is a diagram showing an example of a structure drawing displayed on a display unit of the image processing apparatus according to the second embodiment.
  • the structure drawing 50 shown in FIG. 10 shows an image of a rectangular frame showing an area of each non-detection target detected by the non-detection target detection unit 33, and a name of each non-detection target associated with each frame. Contains information.
  • the structure drawing 50 shown in FIG. 10 includes an image and a name of a rectangular frame showing the positions of the lighting 4, the bolt 5, the cable 6, the free lime 7, the dirt 8, and the repair mark 9.
  • the structure drawing information generated by the drawing information generation unit 36 may be image information obtained by superimposing the structure image 2 and the image shown in FIG. 10 on the drawing of the structure.
  • the user of the image processing device 1A can change the position of the non-detection target area included in the structure drawing 50 displayed on the display unit 14 by the input operation to the input unit 11.
  • the drawing information changing unit 38 changes the position of the non-detection target area detected by the non-detection target detection unit 33 when there is a request to change the position of the non-detection target area included in the structure drawing 50. do.
  • the drawing information changing unit 38 receives a request to change the position of the non-detection target area included in the structure drawing 50. Judge that there was.
  • the position of the non-detection target area is changed by changing the non-detection target information stored in the non-detection target information storage area 21.
  • the drawing information changing unit 38 indicates the position of the cable 6 among the non-detection target information stored in the non-detection target information storage area 21. Change the non-detection target information including.
  • the drawing information changing unit 38 extracts the image of the position of the changed non-detection target area from the structure image 2. Then, the extracted image is added to the learning information corresponding to the non-detection target changed as the correct image. For example, when the position of the cable 6 is changed, the drawing information changing unit 38 extracts an image of the changed position of the cable 6 from the structure image 2, and detects the cable 6 by using the extracted image of the cable 6 as the correct image. Add to the training information to generate the model.
  • the learning unit 31A can relearn the detection model using the learning information updated by the drawing information changing unit 38. As a result, the image processing device 1A can improve the accuracy of the detection model.
  • the drawing information generation unit 36 uses, for example, information indicating the position of the deformed region detected by the deformation detection unit 35 and information indicating the position of each non-detection target region as information on the drawing of the structure. By superimposing, the structure drawing information can also be generated. In this case, the drawing information generation unit 36 acquires the deformation information from the deformation information storage area 22. Then, the drawing information changing unit 38 detects cracks detected by the deformation detecting unit 35 when, for example, there is a request to change the coordinates, length, and width of the crack to be detected included in the structure drawing 50. Change the coordinates, length, and width of.
  • FIG. 11 is a flowchart showing an example of processing by the processing unit of the image processing apparatus according to the second embodiment.
  • the processing unit 13A of the image processing device 1A repeatedly executes the processing shown in FIG. Since the processes of steps S30 and S31 shown in FIG. 11 are the same as the processes of steps S1 and S2 shown in FIG. 5, the description thereof will be omitted.
  • step S32 the processing unit 13A of the image processing device 1A performs a drawing correction process (step S32).
  • step S32 is the process of steps S40 to S44 shown in FIG. 12, which will be described in detail later.
  • the processing unit 13A performs a re-learning process (step S33).
  • step S33 is the process of steps S50 to S52 shown in FIG. 13, which will be described in detail later.
  • the processing unit 13A ends the process shown in FIG.
  • FIG. 12 is a flowchart showing an example of drawing correction processing by the processing unit of the image processing apparatus according to the second embodiment.
  • the processing unit 13A of the image processing device 1A determines whether or not there is a drawing display request from the user of the image processing device 1A (step S40).
  • the processing unit 13A determines that there is a drawing display request (step S40: Yes)
  • the processing unit 13A generates the structure drawing information, and causes the display unit 14 to display the structure drawing 50 based on the generated structure drawing information. (Step S41).
  • step S41 determines whether or not there is a drawing correction request from the user of the image processing device 1A (step S40: No).
  • step S42 determines whether or not there is a drawing correction request from the user of the image processing device 1A (step S40: No).
  • step S42 determines that there is a drawing correction request (step S42: Yes)
  • step S43 the processing unit 13A updates the non-detection target information based on the drawing correction request
  • step S44 updates the learning information based on the updated non-detection target information.
  • step S44 When the processing in step S44 is completed or when it is determined that there is no drawing correction request (step S42: No), the processing unit 13A ends the processing shown in FIG.
  • FIG. 13 is a flowchart showing an example of the re-learning process by the processing unit of the image processing device according to the second embodiment.
  • the processing unit 13A of the image processing device 1A determines whether or not the re-learning timing has come (step S50).
  • the processing unit 13A determines that the re-learning timing has come when the learning information is updated in the process of step S44.
  • the processing unit 13A may determine that the re-learning timing has come when it is determined that the re-learning request has been made by the user's operation on the input unit 11 instead of the timing for updating the learning information. can.
  • step S50 determines that the re-learning timing has come (step S50: Yes)
  • the processing unit 13A acquires the updated learning information from the storage unit 12A (step S51), and does not detect it based on the acquired learning information.
  • a target detection model is generated (step S52).
  • step S52 When the process of step S52 is completed or when it is determined that the re-learning timing has not been reached (step S50: No), the processing unit 13A ends the process shown in FIG.
  • the hardware configuration example of the image processing device 1A according to the second embodiment is the same as the hardware configuration of the image processing device 1 shown in FIG.
  • the processor 101 reads and executes the acquisition unit 30, the learning unit 31A, the information reception unit 32, the non-detection target detection unit 33, the masking unit 34, the deformation detection unit 35, and the drawing.
  • the functions of the information generation unit 36, the drawing information output unit 37, and the drawing information change unit 38 can be executed.
  • the image processing device 1A includes a drawing information generation unit 36, a drawing information output unit 37, and a drawing information changing unit 38.
  • the drawing information generation unit 36 generates the structure drawing information which is the information of the structure drawing 50 including the information indicating the position of the non-detection target area detected by the non-detection target detection unit 33.
  • the drawing information output unit 37 outputs the structure drawing information generated by the drawing information generation unit 36.
  • the drawing information changing unit 38 changes the position of the non-detection target area detected by the non-detection target detection unit 33 when there is a request to change the position of the non-detection target area included in the structure drawing information. do.
  • the learning unit 31A relearns one or more detection models based on the information of the image of the non-detection target area changed by the drawing information changing unit 38 in the structure image 2. As a result, the image processing device 1A can improve the accuracy of the detection model.
  • the configuration shown in the above embodiments is an example, and can be combined with another known technique, can be combined with each other, and does not deviate from the gist. It is also possible to omit or change a part of the configuration.
  • 1,1A image processing apparatus 2 building image, 3,3 1, 3 2, 3 3, 3 4, 3 5 cracks, 4,4 1, 4 2, 4 3, 4 4, 4 5, 4 6, 4 7 , 4 8 Lighting, 5, 5 1 , 5 2 Volts, 6 Cables, 7 Free lime, 8 Dirt, 9, 9 1 , 9 2 , 9 3 , 9 4 , 9 5 Repair marks, 10 Communication parts, 11 Input unit, 12, 12A storage unit, 13, 13A processing unit, 14 display unit, 20 image information storage area, 21 non-detection target information storage area, 22 deformation information storage area, 23 learning information storage area, 25 drawing information Storage area, 30 Acquisition unit, 31, 31A Learning unit, 32 Information reception unit, 33 Non-detection target detection unit, 34 Masking unit, 35 Deformity detection unit, 36 Drawing information generation unit, 37 Drawing information output unit, 38 Drawing information Changes, 41, 42, 43, 44, 45, 46 areas, 50 structure drawings.

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

画像処理装置（１）は、取得部（３０）と、非検出対象検出部（３３）と、マスキング部（３４）と、を備える。取得部（３０）は、構造物の画像の情報を取得する。非検出対象検出部（３３）は、機械学習によって生成され且つ画像から検出対象の変状とは異なる対象である非検出対象の領域を検出する１以上の検出モデルを用いて、取得部（３０）で取得された構造物の画像から非検出対象の領域を検出する。マスキング部（３４）は、構造物の画像のうち非検出対象検出部（３３）によって検出された非検出対象の領域をマスキングする。

Description

画像処理装置、画像処理方法、および画像処理プログラム
　本開示は、構造物の画像のうち検出対象の変状を検出しない領域をマスキングする画像処理装置、画像処理方法、および画像処理プログラムに関する。
　従来、トンネルまたは橋梁などの構造物の画像から構造物に生じている変状を検出する技術が知られているが、かかる技術において、変状が生じている領域以外の領域を変状として誤って検出してしまう場合がある。例えば、変状としてひび割れを検出する対象がトンネルである場合、トンネルの画像には、ひび割れ以外に、例えば、照明、ケーブル、遊離石灰跡、汚れ、または型枠痕などの領域が含まれており、これらの領域が誤ってひび割れとして検出される場合がある。
　そこで、特許文献１には、構造物の画像のうちひび割れを検出しない領域であるひび割れ非検出領域をマスキングした画像を生成する技術が提案されている。特許文献１に記載の技術は、照明領域、ケーブル領域、遊離石灰領域、汚れ領域、または型枠痕領域などの特徴量と、設定されたしきい値または数値範囲とを用いて、トンネルの画像の中からひび割れ非検出領域を判定する。そして、特許文献１に記載の技術は、トンネルの画像のうち判定したひび割れ非検出領域をマスキングし、マスキング後のトンネルの画像からひび割れを検出する。
特開２０１６－１２１９５３号公報
　しかしながら、上記特許文献１に記載の技術では、トンネルの画像の輝度などによって特徴量が変化するため、複数のトンネルに共通のしきい値または数値範囲を設定することが難しく、トンネル毎にしきい値または数値範囲の調整が必要になる。このことは、トンネルに限らず、橋梁またはビルなどの他の構造物の画像でも同様である。
　本開示は、上記に鑑みてなされたものであって、しきい値または数値範囲の調整を行うことなく、検出対象の変状を検出しない領域である非検出領域をマスキングすることができる画像処理装置を得ることを目的とする。
　上述した課題を解決し、目的を達成するために、本開示の画像処理装置は、取得部と、非検出対象検出部と、マスキング部と、を備える。取得部は、構造物の画像の情報を取得する。非検出対象検出部は、機械学習によって生成され且つ画像から検出対象の変状とは異なる対象である非検出対象の領域を検出する１以上の検出モデルを用いて、取得部で取得された構造物の画像から非検出対象の領域を検出する。マスキング部は、構造物の画像のうち非検出対象検出部によって検出された非検出対象の領域をマスキングする。
　本開示によれば、しきい値または数値範囲の調整を行うことなく、検出対象の変状を検出しない領域である非検出領域をマスキングすることができる、という効果を奏する。
実施の形態１にかかる画像処理装置によって実行される画像処理方法の一例を示す図 実施の形態１にかかる画像処理装置の構成の一例を示す図 実施の形態１にかかる構造物画像の一例を示す図 実施の形態１にかかる画像処理装置によって検出される各非検出対象の領域の一例を示す図 実施の形態１にかかる画像処理装置の処理部による処理の一例を示すフローチャート 実施の形態１にかかる画像処理装置の処理部による学習処理の一例を示すフローチャート 実施の形態１にかかる画像処理装置の処理部によるひび割れ検出処理の一例を示すフローチャート 実施の形態１にかかる画像処理装置のハードウェア構成の一例を示す図 実施の形態２にかかる画像処理装置の構成の一例を示す図 実施の形態２にかかる画像処理装置の表示部に表示される構造物図面の一例を示す図 実施の形態２にかかる画像処理装置の処理部による処理の一例を示すフローチャート 実施の形態２にかかる画像処理装置の処理部による図面修正処理の一例を示すフローチャート 実施の形態２にかかる画像処理装置の処理部による再学習処理の一例を示すフローチャート
　以下に、実施の形態にかかる画像処理装置、画像処理方法、および画像処理プログラムを図面に基づいて詳細に説明する。
実施の形態１．
　図１は、実施の形態１にかかる画像処理装置によって実行される画像処理方法の一例を示す図である。図１に示す画像処理装置１は、構造物の画像から構造物に生じている特定種類の変状を検出対象として検出する。かかる画像処理装置１は、機械学習によって生成された検出モデルを用いて、構造物の画像のうち検出対象の変状を検出しない領域である非検出領域を検出し、検出した非検出領域をマスキングする。そして、画像処理装置１は、非検出領域をマスキングした構造物の画像から特定種類の変状を検出対象として検出する。
　画像処理装置１によって処理される構造物の画像は、例えば、トンネルの内壁面の展開画像、橋梁の表面の画像、道路の表面の画像、または建物の表面の画像である。なお、画像処理装置１によって画像が処理される構造物は、トンネル、橋梁、道路、および建物以外の構造物であってもよい。以下においては、画像処理装置１によって処理される構造物の画像は、トンネルの内壁面の画像であるものとして説明する。
　また、画像処理装置１によって検出対象として検出される特定種類の変状は、ひび割れであるが、ひび割れに加え、漏れ水などを含んでいてもよい。また、マスキングされる非検出領域は、例えば、照明の領域、ボルトの領域、ケーブルの領域、遊離石灰の領域、汚れがある領域、型枠痕の領域、または補修痕の領域である。以下、照明、ボルト、ケーブル、遊離石灰、汚れ、型枠痕、および補修痕の各々を非検出対象と記載する場合がある。
　図１を参照して、画像処理装置１によって実行される画像処理方法を説明する。図１に示すように、画像処理装置１には、構造物の画像の情報が入力される。かかる構造物の画像は、トンネルの内壁の表面を２次元平面に展開したと仮定した場合におけるトンネルの内壁面の展開画像である。かかるトンネルの内壁面の展開画像は、例えば、複数のカメラを搭載する計測車両がトンネル内を走行している状態で複数のカメラの各々によって複数回撮像された画像を貼り合わせることで得られる画像である。図１に示すトンネルの展開画像には、補修痕、照明、およびひび割れの画像が含まれる。トンネルの展開画像は、輝度で表されるモノクロ画像であるが、カラー画像であってもよい。
　画像処理装置１は、構造物の画像に対して検出処理を行う。かかる検出処理は、マスキングされる非検出対象の領域を検出するための処理であり、機械学習によって生成される検出モデルを用いて実行される処理である。検出モデルは、機械学習によって生成され且つ画像から非検出対象の領域を検出する計算モデルであり、構造物の画像が入力されると、非検出対象の領域の情報を出力する。なお、構造物の画像に非検出対象の領域が含まれない場合、検出モデルの出力には、非検出対象の領域がないことを示す情報が含まれる。かかる検出モデルは、例えば、ディープラーニングによって生成される。
　画像処理装置１は、非検出対象の種類毎に生成された検出モデルを用いて、非検出対象の領域を検出する。例えば、画像処理装置１は、照明を検出するための検出モデルを用いて照明の領域を検出し、ボルトを検出するための検出モデルを用いてボルトの領域を検出し、ケーブルを検出するための検出モデルを用いてケーブルの領域を検出する。また、画像処理装置１は、遊離石灰を検出するための検出モデルを用いて遊離石灰の領域を検出し、汚れを検出するための検出モデルを用いて汚れの領域を検出し、型枠痕を検出するための検出モデルを用いて型枠痕の領域を検出する。
　また、画像処理装置１は、補修痕を検出するための検出モデルを用いて補修痕の領域を検出する。なお、画像処理装置１は、全ての非検出対象に共通の検出モデルを用いて各非検出対象を検出する構成であってもよく、２以上の非検出対象に共通の検出モデルを用いて非検出対象を検出する構成であってもよい。
　画像処理装置１は、検出処理によって非検出対象の領域を検出した後、構造物の画像のうち非検出対象の領域を非検出領域としてマスキングする。画像処理装置１によるマスキングは、例えば、構造物の画像のうち非検出対象の領域を予め設定された画像に置き換えることによって行う。予め設定された画像は、例えば、黒画像または白画像などの単色の画像である。なお、予め設定された画像は、検出対象の変状が検出されない画像であればよく、単色の画像に限定されない。また、画像処理装置１によるマスキングは、構造物の画像のうち非検出対象の領域を示す情報を構造物の画像の情報に関連付けることによって行うこともできる。
　画像処理装置１は、マスキングを施した構造物の画像から特定種類の変状を検出する変状検出処理を行う。画像処理装置１は、非検出対象の領域を示す情報を構造物の画像の情報に関連付けている場合、非検出対象の領域を示す情報に基づいて、非検出対象の領域以外の領域に対して特定種類の変状を検出する処理を行う。
　このように、画像処理装置１は、機械学習によって生成される検出モデルを用いて構造物の画像のうち非検出対象の領域を検出する。そのため、画像処理装置１は、しきい値または数値範囲の調整を行うことなく、非検出対象の領域をマスキングすることができ、特定種類の変状を精度よく検出することができる。以下、画像処理装置１についてさらに詳細に説明する。
　図２は、実施の形態１にかかる画像処理装置の構成の一例を示す図である。図２に示すように、実施の形態１にかかる画像処理装置１は、通信部１０と、入力部１１と、記憶部１２と、処理部１３とを備える。
　通信部１０は、例えば、ＬＡＮ（Local　Area　Network）またはＷＡＮ（Wide　Area　Network）などのネットワークに接続され、外部装置とネットワークを介して情報の送受信を行う。入力部１１は、例えば、マウス、キーボード、またはタッチパネルであり、画像処理装置１のユーザによって操作される。
　記憶部１２は、画像情報記憶領域２０と、非検出対象情報記憶領域２１と、変状情報記憶領域２２と、学習用情報記憶領域２３とを含む。画像情報記憶領域２０には、通信部１０を介して外部装置から処理部１３によって取得された構造物の画像である構造物画像の情報が記憶される。
　図３は、実施の形態１にかかる構造物画像の一例を示す図である。図３に示す構造物画像２には、ひび割れ３１，３２，３３，３４，３５の画像と、照明４１，４２，４３，４４，４５，４６，４７，４８の画像と、ボルト５１，５２の画像と、ケーブル６の画像と、遊離石灰７の画像と、汚れ８の画像と、補修痕９１，９２，９３，９４，９５の画像とが含まれる。なお、図３には示していないが、構造物画像２には、型枠痕も含まれる。
　以下、ひび割れ３１，３２，３３，３４，３５の各々を個別に区別せずに示す場合、ひび割れ３と記載する場合がある。また、照明４１，４２，４３，４４，４５，４６，４７，４８の各々を個別に区別せずに示す場合、照明４と記載する場合がある。また、ボルト５１，５２の各々を個別に区別せずに示す場合、ボルト５と記載する場合がある。また、補修痕９１，９２，９３，９４，９５の各々を個別に区別せずに示す場合、補修痕９と記載する場合がある。
　図２に戻って、記憶部１２の説明を続ける。非検出対象情報記憶領域２１には、処理部１３によって構造物画像２から検出された非検出対象の情報である非検出対象情報が記憶される。変状情報記憶領域２２には、処理部１３によって構造物画像２から検出された特定種類の変状の情報である変状情報が記憶される。学習用情報記憶領域２３には、構造物画像２のうち非検出対象の領域を検出する検出モデルを生成するための学習用情報が記憶される。
　学習用情報は、非検出対象の複数の画像と非検出対象以外の複数の画像とを非検出対象毎に含む。例えば、学習用情報は、照明４を検出するための検出モデルを生成するための情報として、照明４の複数の画像と照明４以外の複数の画像とを含む。また、学習用情報は、補修痕９を検出するための検出モデルを生成するための情報として、補修痕９の複数の画像と補修痕９以外の複数の画像とを含む。
　非検出対象の画像は、例えば非検出対象を囲みつつ非検出対象に外接する矩形である外接矩形で囲まれる領域の画像である。なお、非検出対象の画像は、外接矩形で囲まれる領域の画像でなくてもよく、例えば、矩形以外の枠で囲まれる領域の画像であってもよい。
　また、各非検出対象の学習用情報には、トンネルの内壁面の色、トンネルの工法の種類、およびトンネルの内壁に設けられるパネルの有無の各々について、非検出対象の複数の画像の情報と非検出対象以外の複数の画像の情報とが含まれる。
　処理部１３は、取得部３０と、学習部３１と、情報受付部３２と、非検出対象検出部３３と、マスキング部３４と、変状検出部３５とを備える。取得部３０は、不図示の外部装置から送信され通信部１０で受信された情報を通信部１０から取得し、取得した情報を記憶部１２に記憶させる。
　例えば、取得部３０は、不図示の外部装置から送信され通信部１０で受信された構造物画像２の情報を通信部１０から取得し、取得した構造物画像２の情報を画像情報記憶領域２０に記憶させる。また、取得部３０は、不図示の外部装置から送信され通信部１０で受信された学習用情報を通信部１０から取得し、取得した学習用情報を学習用情報記憶領域２３に記憶させる。
　学習部３１は、記憶部１２の学習用情報記憶領域２３から学習用情報を読み出し、読み出した学習用情報に基づいて、各非検出対象を検出する検出モデルを、構造物の表面色、構造物の工法、および構造物におけるパネルの有無の各々について生成する。以下、構造物がトンネルであるものとして説明する。
　非検出対象は、照明４、ボルト５、ケーブル６、遊離石灰７、汚れ８、型枠痕、または補修痕９であるが、これら以外の対象を非検出対象としてもよく、これらの一部を非検出対象としてもよい。トンネルは、金網または充填剤で補修される。トンネルが金網で補修される場合、補修痕９は金網であり、トンネルが充填剤で補修される場合、補修痕９は充填剤である。
　学習部３１は、照明４、ボルト５、ケーブル６、遊離石灰７、汚れ８、型枠痕、または補修痕９の各々の検出モデルを、トンネルの内壁面の色、トンネルの工法の種類、およびトンネルの内壁に設けられるパネルの有無の各々について生成する。これにより、照明４の検出モデル、ボルト５の検出モデル、ケーブル６の検出モデル、遊離石灰７の検出モデル、汚れ８の検出モデル、型枠痕の検出モデル、および補修痕９の検出モデルの各々が、トンネルの内壁面の色、トンネルの工法の種類、およびトンネルの内壁に設けられるパネルの有無の各々について生成される。
　トンネルの内壁面の色は、構造物の表面色の一例であり、トンネルの工法は、構造物の工法の一例であり、トンネルの内壁に設けられるパネルは、構造物におけるパネルの一例である。なお、各非検出対象を検出する検出モデルは、構造物の表面色の情報、構造物の工法の情報、および構造物におけるパネルの有無の情報のうちいずれか１つまたは２つについて生成されてもよい。また、各非検出対象を検出する検出モデルは、構造物の表面色の情報、構造物の工法の情報、および構造物におけるパネルの有無の情報によって分けずに、１つであってもよい。また、学習部３１は、全ての非検出対象に共通の検出モデルを生成することもできる。
　トンネルの内壁面の色の種類は、例えば、ライトグレー、グレー、またはダークグレーなどである。なお、トンネルの内壁面の色の種類は、２つであってもよく、４つ以上であってもよい。トンネルの内壁面の色毎に検出モデルが生成されるため、非検出対象検出部３３は、非検出対象を精度よく検出することができる。
　構造物の工法の種類は、例えば、シールド工法、ＴＢＭ（Tunnel　Boring　Machine）工法、または山岳工法である。工法の種類によって構造物に発生する変状が異なる場合がある。学習部３１において構造物の工法毎に検出モデルが生成されるため、非検出対象検出部３３は、非検出対象を精度よく検出することができる。なお、構造物の工法の種類は、これらの工法以外の工法を含んでいてもよい。
　構造物におけるパネルは、例えば、トンネルの内壁面に設けられる内装パネルである。また、かかる内装パネルの表面には、例えば、光を反射する反射板または反射テープなどの反射部材が設けられている。学習部３１においてトンネルの内壁に設けられるパネルがある場合の検出モデルとトンネルの内壁に設けられるパネルがない場合の検出モデルと生成されるため、非検出対象検出部３３は、非検出対象を精度よく検出することができる。
　なお、上述した補修痕９の検出モデルには、例えば、金網の検出モデルと、充填剤の検出モデルとが含まれる。金網の検出モデルは、金網で補修された領域を検出する検出モデルである。充填剤の検出モデルは、充填剤で補修された領域を検出する検出モデルである。
　学習部３１によって生成される検出モデルは、機械学習によって生成され且つ画像から検出対象のひび割れ３とは異なる対象である非検出対象の領域を検出する計算モデルであり、例えば、ディープラーニングによって生成される。なお、検出モデルは、畳み込みニューラルネットワークなどのニューラルネットワークであるが、線形回帰、またはロジスティック回帰などの学習アルゴリズムで生成される計算モデルであってもよく、サポートベクターマシンなどの計算モデルであってもよい。
　なお、学習部３１によって生成される非検出対象の検出モデルは、検出した非検出対象の領域の情報を出力するが、検出した非検出対象の領域の情報に加えて、検出した非検出対象のラベルを出力する構成であってもよい。非検出対象のラベルは、非検出対象の種別を示す情報であり、例えば、照明４の検出モデルの場合、非検出対象が照明４であることを示す情報である。
　情報受付部３２は、構造物に関する情報である構造物情報を受け付ける。例えば、情報受付部３２は、ユーザによる入力部１１への操作によって、構造物情報を受け付ける。また、情報受付部３２は、不図示の外部装置から送信され通信部１０で受信される構造物情報を受け付ける。構造物情報は、例えば、構造物の表面色の情報、構造物の工法の情報、および構造物におけるパネルの有無の情報のうち少なくとも１つの情報を含む。また、構造物情報は、構造物の補修方法の情報を含む場合がある。補修方法の種類には、金網による補修と、充填剤による補修とが含まれる。
　非検出対象検出部３３は、機械学習によって生成され且つ画像から非検出対象の領域を検出する複数の検出モデルのうち情報受付部３２によって受け付けられた構造物情報に対応する複数の検出モデルを用いて、構造物画像２から非検出対象の領域を検出する。
　例えば、情報受付部３２によって受け付けられた構造物情報に、トンネルの内壁面の色がライトグレーであることを示す情報、トンネルの工法がシールド工法であることを示す情報、トンネルを構成する構成物としてパネルがあることを示す情報が含まれているとする。この場合、非検出対象検出部３３は、ライトグレー、シールド工法、およびパネルありの組み合わせに対応付けられた複数の検出モデルを用いて、構造物画像２から非検出対象の領域を検出する。
　また、非検出対象検出部３３は、構造物情報にトンネルの補修方法の情報が含まれている場合、構造物情報に含まれる特定されるトンネルの補修方法に対応する検出モデルを用いて、構造物画像２のうち補修痕９の領域を検出する。
　例えば、非検出対象検出部３３は、構造物情報に含まれる補修方法が金網による補修である場合、金網の検出モデルを用いて、金網によって補修された領域である補修痕９の領域を検出する。また、非検出対象検出部３３は、構造物情報に含まれる補修方法が充填剤による補修である場合、充填剤の検出モデルを用いて、充填剤によって補修された領域である補修痕９の領域を検出する。
　なお、非検出対象検出部３３は、構造物情報にトンネルの補修方法の情報が含まれていない場合、金網によって補修された領域と充填剤によって補修された領域とをいずれも検出可能な検出モデルを用いて、補修痕９の領域を検出することができる。かかる検出モデルも学習部３１によってトンネルの工法の種類、およびトンネルの内壁に設けられるパネルの有無の各々について生成される。
　構造物情報に対応する複数の検出モデルは、照明４の検出モデル、ボルト５の検出モデル、ケーブル６の検出モデル、遊離石灰７の検出モデル、汚れ８の検出モデル、型枠痕の検出モデル、および補修痕９の検出モデルを含む。
　非検出対象検出部３３は、照明４、ボルト５、ケーブル６、遊離石灰７、汚れ８、型枠痕、および補修痕９の各々の領域を複数の検出モデルのうち対応する検出モデルを用いて検出する。非検出対象検出部３３は、検出した非検出対象の情報である非検出対象情報をマスキング部３４へ出力し、さらに、非検出対象情報を非検出対象情報記憶領域２１に記憶させる。
　非検出対象情報は、検出した非検出対象のＩＤ（Identifier）の情報と、検出した非検出対象の種類を示す情報と、構造物画像２のうち検出した非検出対象の領域が存在する座標の情報とを含む。非検出対象のＩＤは、変状検出部３５によって付されるＩＤであり、非検出対象毎に異なるＩＤである。座標は、例えば、構造物画像２の４つの隅のうちの１つを原点とする直交座標系の座標である。非検出対象の領域は、例えば、矩形の領域であり、非検出対象の領域が存在する座標の情報は、例えば、矩形の４つの角のうち対向する２つの対角の座標の情報、または矩形の４つの角の座標の情報である。
　例えば、非検出対象検出部３３は、照明４を検出した場合、非検出対象のＩＤと、非検出対象が照明４であることを示す情報と、構造物画像２のうち照明４の領域が存在する座標の情報とを含む非検出対象情報をマスキング部３４へ出力し且つ非検出対象情報記憶領域２１に記憶させる。また、非検出対象検出部３３は、補修痕９を検出した場合、非検出対象のＩＤと、非検出対象が補修痕９であることを示す情報と、構造物画像２のうち補修痕９の領域が存在する座標の情報とを含む非検出対象情報をマスキング部３４へ出力し且つ非検出対象情報記憶領域２１に記憶させる。
　図４は、実施の形態１にかかる画像処理装置によって検出される各非検出対象の領域の一例を示す図である。図４に示すように、非検出対象検出部３３は、照明４の領域４１と、ボルト５の領域４２と、ケーブル６の領域４３と、遊離石灰７の領域４４と、汚れ８の領域４５と、補修痕９の領域４６とを検出する。非検出対象検出部３３が検出する領域４１，４２，４３，４４，４５，４６の各々は矩形の領域である。非検出対象検出部３３は、例えば、非検出対象を囲みつつ非検出対象に外接する矩形で囲まれる領域を非検出対象の領域として検出する。なお、図４に示す例では、型枠痕の領域が図示されていないが、非検出対象検出部３３は、型枠痕の領域も同様に検出する。
　なお、上述した例では、非検出対象検出部３３は、構造物情報からトンネルの内壁面の色の情報を取得するが、構造物画像２からトンネルの内壁面の色を検出し、検出したトンネルの内壁面の色に対応する複数の検出モデルを用いて、非検出対象を検出することもできる。
　また、上述した例では、構造物情報には、トンネルの工法の種類を示す情報が含まれるが、構造物情報は、トンネルの形状を示す情報であってもよい。この場合、非検出対象検出部３３は、トンネルの形状を示す情報からトンネルの工法の種類を判定し、判定したトンネルの工法の種類に対応する複数の検出モデルを用いて、非検出対象を検出する。
　マスキング部３４は、記憶部１２の画像情報記憶領域２０から構造物画像２の情報である構造物画像情報を読み出し、読み出した構造物画像情報と非検出対象検出部３３で検出された非検出対象の情報とに基づいて、構造物画像２のうち非検出対象の領域をマスキングする。
　マスキング部３４によるマスキングは、例えば、構造物画像２のうち非検出対象の領域を予め設定された画像に置き換えることによって行う。予め設定された画像は、例えば、黒画像または白画像などの単色の画像である。なお、予め設定された画像は、検出対象の変状が検出されない画像であればよく、単色の画像に限定されない。また、マスキング部３４によるマスキングは、構造物画像２のうち非検出対象の領域を示す情報である非検出対象情報を構造物画像２の情報に関連付けることによって行うこともできる。例えば、マスキング部３４は、構造物画像２のＩＤと各非検出対象のＩＤとを関連付けることによってマスキングを行う。
　変状検出部３５は、マスキングを施した構造物画像２から特定種類の変状としてひび割れ３を検出する。変状検出部３５は、検出したひび割れ３の座標、長さ、および幅を検出する。変状検出部３５は、検出したひび割れ３の座標、長さ、および幅の情報と、検出したひび割れ３のＩＤの情報とを含む変状情報を変状情報記憶領域２２に記憶させる。ひび割れ３のＩＤは、変状検出部３５によって付されるＩＤであり、ひび割れ３毎に異なるＩＤである。なお、変状検出部３５によって検出される変状は、ひび割れに加え、漏れ水などを含んでいてもよい。
　なお、上述した例では、画像処理装置１によって検出モデルを生成するが、画像処理装置１の非検出対象検出部３３で用いられる検出モデルは、画像処理装置１とは異なる学習装置で行われてもよい。この場合、画像処理装置１の取得部３０は、画像処理装置１とは異なる学習装置が生成した複数の検出モデルを、かかる学習装置から通信部１０を介して取得することができる。取得部３０は、取得した複数の検出モデルを非検出対象検出部３３へ出力する。非検出対象検出部３３は、取得部３０から出力された複数の検出モデルに基づいて、構造物画像２から非検出対象の領域を検出する。
　つづいて、フローチャートを用いて画像処理装置１の処理部１３による処理を説明する。図５は、実施の形態１にかかる画像処理装置の処理部による処理の一例を示すフローチャートである。画像処理装置１の処理部１３は、図５に示す処理を繰り返し実行する。
　図５に示すように、処理部１３は、学習処理を行う（ステップＳ１）。ステップＳ１の学習処理は、図６に示すステップＳ１０～Ｓ１５の処理であり、後で詳述する。また、処理部１３は、ひび割れ検出処理を行う（ステップＳ２）。ステップＳ２のひび割れ検出処理は、図７に示すステップＳ２０～Ｓ２９の処理であり、後で詳述する。処理部１３は、ステップＳ１，Ｓ２の処理が終了した場合、図５に示す処理を終了する。
　図６は、実施の形態１にかかる画像処理装置の処理部による学習処理の一例を示すフローチャートである。図６に示すように、処理部１３の取得部３０は、不図示の外部装置から学習用情報を取得したか否かを判定する（ステップＳ１０）。取得部３０は、学習用情報を取得したと判定した場合（ステップＳ１０：Ｙｅｓ）、取得した学習用情報を記憶部１２に記憶させる（ステップＳ１１）。
　処理部１３の学習部３１は、ステップＳ１１の処理が終了した場合、または取得部３０が学習用情報を取得していないと判定した場合（ステップＳ１０：Ｎｏ）、学習タイミングになったか否かを判定する（ステップＳ１２）。ステップＳ１２の処理において、処理部１３の学習部３１は、例えば、記憶部１２に学習用情報が記憶された場合、入力部１１への操作などによって学習要求があった場合に、学習タイミングになったと判定する。
　学習部３１は、学習タイミングになったと判定した場合（ステップＳ１２：Ｙｅｓ）、記憶部１２から学習用情報を取得する（ステップＳ１３）。学習部３１は、ステップＳ１３で取得した学習用情報に基づいて、非検出対象毎の検出モデルを生成する（ステップＳ１４）。学習部３１は、生成した非検出対象毎の検出モデルの情報を非検出対象検出部３３へ出力する（ステップＳ１５）。ステップＳ１５の処理において、学習部３１は、例えば、トンネルの内壁面の色、トンネルの工法の種類、およびトンネルの内壁に設けられるパネルの有無の各々について複数の検出モデルを生成する。
　処理部１３は、ステップＳ１５の処理が終了した場合、または学習タイミングになっていないと判定した場合（ステップＳ１２：Ｎｏ）、図６に示す処理を終了する。
　図７は、実施の形態１にかかる画像処理装置の処理部によるひび割れ検出処理の一例を示すフローチャートである。図７に示すように、処理部１３の取得部３０は、不図示の外部装置から構造物画像２の情報を取得したか否かを判定する（ステップＳ２０）。取得部３０は、構造物画像２の情報を取得したと判定した場合（ステップＳ２０：Ｙｅｓ）、取得した構造物画像２の情報を記憶部１２に記憶させる（ステップＳ２１）。
　処理部１３の情報受付部３２は、ステップＳ２１の処理が終了した場合、または構造物画像２の情報を取得していないと判定した場合（ステップＳ２０：Ｎｏ）、構造物情報を受け付けたか否かを判定する（ステップＳ２２）。ステップＳ２２の処理において、情報受付部３２は、ユーザによる入力部１１への操作が構造物情報の入力操作である場合、構造物情報を受け付けたと判定する。
　処理部１３の非検出対象検出部３３は、情報受付部３２によって構造物情報が受け付けられたと判定した場合（ステップＳ２２：Ｙｅｓ）、情報受付部３２によって受け付けられた構造物情報に応じた複数の検出モデルを選択する（ステップＳ２３）。非検出対象検出部３３は、選択した複数の検出モデルを用いて、構造物画像２のうち非検出対象の領域を検出する（ステップＳ２４）。
　処理部１３の非検出対象検出部３３は、検出した各非検出対象の情報を記憶部１２に記憶させる（ステップＳ２５）。処理部１３のマスキング部３４は、検出された各非検出対象の情報に基づいて、構造物画像２のうち非検出対象の領域をマスキングする（ステップＳ２６）。処理部１３の変状検出部３５は、マスキングを施した構造物画像２からひび割れ３の領域を検出する（ステップＳ２７）。
　変状検出部３５は、検出したひび割れ３の座標、長さ、および幅を検出し（ステップＳ２８）、検出したひび割れ３の情報を記憶部１２に記憶させる（ステップＳ２９）。処理部１３は、ステップＳ２９の処理を終了した場合、または情報受付部３２によって構造物情報が受け付けられていないと判定した場合（ステップＳ２２：Ｎｏ）、図７に示す処理を終了する。
　図８は、実施の形態１にかかる画像処理装置のハードウェア構成の一例を示す図である。図８に示すように、画像処理装置１は、プロセッサ１０１と、メモリ１０２と、入力装置１０３と、通信装置１０４とを備えるコンピュータを含む。
　プロセッサ１０１、メモリ１０２、入力装置１０３、および通信装置１０４は、例えば、バス１０５によって互いに情報の送受信が可能である。通信部１０は、通信装置１０４で実現される。入力部１１は、入力装置１０３によって実現される。記憶部１２は、メモリ１０２によって実現される。プロセッサ１０１は、メモリ１０２に記憶されたプログラムを読み出して実行することによって、取得部３０、学習部３１、情報受付部３２、非検出対象検出部３３、マスキング部３４、および変状検出部３５などの機能を実行する。プロセッサ１０１は、例えば、処理回路の一例であり、ＣＰＵ（Central　Processing　Unit）、ＤＳＰ（Digital　Signal　Processor）、およびシステムＬＳＩ（Large　Scale　Integration）のうち一つ以上を含む。
　メモリ１０２は、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable　Programmable　Read　Only　Memory）、およびＥＥＰＲＯＭ（登録商標）（Electrically　Erasable　Programmable　Read　Only　Memory）のうち一つ以上を含む。また、メモリ１０２は、コンピュータが読み取り可能なプログラムが記録された記録媒体を含む。かかる記録媒体は、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルメモリ、光ディスク、コンパクトディスク、およびＤＶＤ（Digital　Versatile　Disc）のうち一つ以上を含む。なお、画像処理装置１は、ＡＳＩＣ（Application　Specific　Integrated　Circuit）およびＦＰＧＡ（Field　Programmable　Gate　Array）などの集積回路を含んでいてもよい。
　以上のように、実施の形態１にかかる画像処理装置１は、取得部３０と、非検出対象検出部３３と、マスキング部３４とを備える。取得部３０は、構造物画像２の情報を取得する。非検出対象検出部３３は、機械学習によって生成され且つ画像から検出対象の変状とは異なる対象である非検出対象の領域を検出する１以上の検出モデルを用いて、取得部３０で取得された構造物画像２から非検出対象の領域を検出する。マスキング部３４は、構造物画像２のうち非検出対象検出部３３によって検出された非検出対象の領域をマスキングする。これにより、画像処理装置１は、しきい値または数値範囲の調整を行うことなく、非検出領域をマスキングすることができる。
　また、画像処理装置１は、構造物に関する情報である構造物情報を受け付ける情報受付部３２を備える。非検出対象検出部３３は、機械学習によって生成され且つ画像から非検出対象の領域を検出する複数の検出モデルのうち情報受付部３２によって受け付けられた構造物情報に対応する１以上の検出モデルを用いて、構造物画像２から非検出対象の領域を検出する。これにより、画像処理装置１は、構造物情報によってより適切な検出モデルを絞り込むことができ、非検出対象の領域を精度よく検出することができる。
　また、構造物情報は、構造物の表面色の情報、構造物の工法の情報、および構造物におけるパネルの有無の情報のうち少なくとも１つの情報を含む。これにより、画像処理装置１は、構造物の表面色の情報、構造物の工法の情報、およびパネルの有無の情報のうち少なくとも１つで適切な検出モデルを絞り込むことができ、非検出対象の領域を精度よく検出することができる。
　また、構造物情報は、構造物の補修方法の情報を含む。非検出対象検出部３３は、複数の検出モデルのうち構造物情報で特定される構造物の補修方法で補修された領域を非検出対象として検出する１以上の検出モデルを用いて、非検出対象の領域を検出する。これにより、画像処理装置１は、補修方法に応じた適切な検出モデルを用いることができ、補修痕９の領域を精度よく検出することができる。
　また、画像処理装置１は、学習用情報に基づいて、１以上の検出モデルを機械学習によって生成する学習部３１を備える。これにより、画像処理装置１は、検出モデルを生成することができる。
実施の形態２．
　実施の形態２にかかる画像処理装置は、検出された非検出対象の領域の位置を示す情報を含む構造物の図面の情報を出力し、非検出対象の領域の位置が変更された場合に、検出モデルの再学習を行う点で、実施の形態１にかかる画像処理装置１と異なる。以下においては、実施の形態１と同様の機能を有する構成要素については同一符号を付して説明を省略し、実施の形態１の画像処理装置１と異なる点を中心に説明する。
　図９は、実施の形態２にかかる画像処理装置の構成の一例を示す図である。図９に示すように、実施の形態２にかかる画像処理装置１Ａは、表示部１４を備えるとともに、記憶部１２および処理部１３に代えて、記憶部１２Ａおよび処理部１３Ａを備える点で、画像処理装置１と異なる。
　表示部１４は、例えば、ＬＣＤ（Liquid　Crystal　Display）、ＯＥＬＤ（Organic　Electro-Luminescence　Display）、またはＩＥＬＤ（Inorganic　Electro-Luminescence　Display）である。
　記憶部１２Ａは、図面情報記憶領域２５をさらに有する点で、記憶部１２と異なる。図面情報記憶領域２５には、構造物の図面の情報が記憶される。構造物の図面の情報は、例えば、トンネルの展開図の情報である。
　処理部１３Ａは、学習部３１に代えて学習部３１Ａを備え、さらに、図面情報生成部３６と、図面情報出力部３７と、図面情報変更部３８とを備える点で、処理部１３と異なる。図面情報生成部３６は、入力部１１への入力操作によって画像処理装置１Ａのユーザから図面表示要求があった場合、構造物図面の情報である構造物図面情報を生成する。
　構造物図面情報は、非検出対象検出部３３によって検出された各非検出対象の領域の位置を示す情報と非検出対象の種別を示す情報を含む構造物の図面の情報である。非検出対象の種別を示す情報は、例えば、照明４の名称を示す情報、ボルト５の名称を示す情報、ケーブル６の名称を示す情報、遊離石灰７の名称を示す情報、汚れ８の名称を示す情報、型枠痕の名称を示す情報、または補修痕９の名称を示す情報である。
　図面情報生成部３６は、非検出対象検出部３３によって検出された各非検出対象の領域の位置および種別の各々を示す情報を非検出対象情報記憶領域２１から取得し、構造物の図面の情報を図面情報記憶領域２５から取得する。図面情報生成部３６は、例えば、各非検出対象の領域の位置および種別の各々を示す情報を構造物の図面に重畳することによって、構造物図面情報を生成する。
　図面情報出力部３７は、図面情報生成部３６によって生成された構造物図面情報を表示部１４へ出力し、表示部１４に構造物図面を表示させる。図１０は、実施の形態２にかかる画像処理装置の表示部に表示される構造物図面の一例を示す図である。図１０に示す構造物図面５０には、非検出対象検出部３３によって検出された各非検出対象の領域を示す矩形枠の画像と、各枠に対応付けられた各非検出対象の名称を示す情報とが含まれる。
　図１０に示す構造物図面５０には、照明４、ボルト５、ケーブル６、遊離石灰７、汚れ８、および補修痕９の各々の位置を示す矩形枠の画像と名称とが含まれている。なお、図面情報生成部３６によって生成される構造物図面情報は、構造物の図面に構造物画像２と図１０に示す画像とを重畳した画像の情報であってもよい。
　画像処理装置１Ａのユーザは、入力部１１への入力操作によって、表示部１４に表示されている構造物図面５０に含まれる非検出対象の領域の位置を変更することができる。図面情報変更部３８は、構造物図面５０に含まれる非検出対象の領域の位置を変更する要求があった場合に、非検出対象検出部３３によって検出された非検出対象の領域の位置を変更する。図面情報変更部３８は、入力部１１への入力操作によって画像処理装置１Ａのユーザから図面修正要求があった場合に、構造物図面５０に含まれる非検出対象の領域の位置を変更する要求があったと判定する。
　非検出対象の領域の位置の変更は、非検出対象情報記憶領域２１に記憶された非検出対象情報を変更することによって行われる。例えば、図面情報変更部３８は、構造物図面５０においてケーブル６の位置を変更する要求がある場合、非検出対象情報記憶領域２１に記憶された非検出対象情報のうちケーブル６の位置を示す情報を含む非検出対象情報を変更する。
　また、図面情報変更部３８は、非検出対象検出部３３によって検出された非検出対象の領域の位置を変更した場合、構造物画像２から変更後の非検出対象の領域の位置の画像を抽出し、抽出した画像を正解画像として変更した非検出対象に対応する学習用情報に追加する。例えば、図面情報変更部３８は、ケーブル６の位置を変更した場合、構造物画像２から変更後のケーブル６の位置の画像を抽出し、抽出したケーブル６の画像を正解画像としてケーブル６の検出モデルを生成するための学習用情報に追加する。
　学習部３１Ａは、図面情報変更部３８によって更新された学習用情報を用いて検出モデルの再学習を行うことができる。これにより、画像処理装置１Ａは、検出モデルの精度を向上させることができる。
　なお、図面情報生成部３６は、例えば、変状検出部３５によって検出された変状の領域の位置を示す情報と各非検出対象の領域の位置を示す情報とを構造物の図面の情報に重畳することによって、構造物図面情報を生成することもできる。この場合、図面情報生成部３６は、変状情報を変状情報記憶領域２２から取得する。そして、図面情報変更部３８は、例えば、構造物図面５０に含まれる検出対象のひび割れの座標、長さ、および幅を変更する要求があった場合に、変状検出部３５によって検出されたひび割れの座標、長さ、および幅を変更する。
　つづいて、フローチャートを用いて画像処理装置１Ａの処理部１３Ａによる処理を説明する。図１１は、実施の形態２にかかる画像処理装置の処理部による処理の一例を示すフローチャートである。画像処理装置１Ａの処理部１３Ａは、図１１に示す処理を繰り返し実行する。図１１に示すステップＳ３０，Ｓ３１の処理は、図５に示すステップＳ１，Ｓ２の処理と同じであるため、説明を省略する。
　図１１に示すように、画像処理装置１Ａの処理部１３Ａは、図面修正処理を行う（ステップＳ３２）。ステップＳ３２の処理は、図１２に示すステップＳ４０～Ｓ４４の処理であり、後で詳述する。また、処理部１３Ａは、再学習処理を行う（ステップＳ３３）。ステップＳ３３の処理は、図１３に示すステップＳ５０～Ｓ５２の処理であり、後で詳述する。処理部１３Ａは、ステップＳ３３の処理が終了した場合、図１１に示す処理を終了する。
　図１２は、実施の形態２にかかる画像処理装置の処理部による図面修正処理の一例を示すフローチャートである。図１２に示すように、画像処理装置１Ａの処理部１３Ａは、画像処理装置１Ａのユーザから図面表示要求があるか否かを判定する（ステップＳ４０）。処理部１３Ａは、図面表示要求があると判定した場合（ステップＳ４０：Ｙｅｓ）、構造物図面情報を生成し、生成した構造物図面情報に基づいて、構造物図面５０を表示部１４に表示させる（ステップＳ４１）。
　処理部１３Ａは、ステップＳ４１の処理が終了した場合、または図面表示要求がないと判定した場合（ステップＳ４０：Ｎｏ）、画像処理装置１Ａのユーザから図面修正要求があるか否かを判定する（ステップＳ４２）。処理部１３Ａは、図面修正要求があると判定した場合（ステップＳ４２：Ｙｅｓ）、図面修正要求に基づいて、非検出対象情報を更新する（ステップＳ４３）。また、処理部１３Ａは、更新した非検出対象情報に基づいて学習用情報を更新する（ステップＳ４４）。
　処理部１３Ａは、ステップＳ４４の処理が終了した場合、または、図面修正要求がないと判定した場合（ステップＳ４２：Ｎｏ）、図１２に示す処理を終了する。
　図１３は、実施の形態２にかかる画像処理装置の処理部による再学習処理の一例を示すフローチャートである。図１３に示すように、画像処理装置１Ａの処理部１３Ａは、再学習タイミングになったか否かを判定する（ステップＳ５０）。ステップＳ５０の処理において、処理部１３Ａは、ステップＳ４４の処理で学習用情報が更新されている場合に、再学習タイミングになったと判定する。なお、処理部１３Ａは、学習用情報の更新でのタイミングに代えて、入力部１１へのユーザの操作によって、再学習要求があったと判定した場合に、再学習タイミングになったと判定することもできる。
　処理部１３Ａは、再学習タイミングになったと判定した場合（ステップＳ５０：Ｙｅｓ）、更新された学習用情報を記憶部１２Ａから取得し（ステップＳ５１）、取得した学習用情報に基づいて、非検出対象の検出モデルを生成する（ステップＳ５２）。処理部１３Ａは、ステップＳ５２の処理が終了した場合、または再学習タイミングになっていないと判定した場合（ステップＳ５０：Ｎｏ）、図１３に示す処理を終了する。
　実施の形態２にかかる画像処理装置１Ａのハードウェア構成例は、図８に示す画像処理装置１のハードウェア構成と同じである。プロセッサ１０１は、メモリ１０２に記憶されたプログラムを読み出して実行することによって、取得部３０、学習部３１Ａ、情報受付部３２、非検出対象検出部３３、マスキング部３４、変状検出部３５、図面情報生成部３６、図面情報出力部３７、および図面情報変更部３８の機能を実行することができる。
　以上のように、実施の形態２にかかる画像処理装置１Ａは、図面情報生成部３６と、図面情報出力部３７と、図面情報変更部３８とを備える。図面情報生成部３６は、非検出対象検出部３３によって検出された非検出対象の領域の位置を示す情報を含む構造物図面５０の情報である構造物図面情報を生成する。図面情報出力部３７は、図面情報生成部３６によって生成された構造物図面情報を出力する。図面情報変更部３８は、構造物図面情報に含まれる非検出対象の領域の位置を変更する要求があった場合に、非検出対象検出部３３によって検出された非検出対象の領域の位置を変更する。学習部３１Ａは、構造物画像２のうち図面情報変更部３８によって変更された非検出対象の領域の画像の情報に基づいて、１以上の検出モデルの再学習を行う。これにより、画像処理装置１Ａは、検出モデルの精度を向上させることができる。
　以上の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、実施の形態同士を組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。
　１，１Ａ　画像処理装置、２　構造物画像、３，３１，３２，３３，３４，３５　ひび割れ、４，４１，４２，４３，４４，４５，４６，４７，４８　照明、５，５１，５２　ボルト、６　ケーブル、７　遊離石灰、８　汚れ、９，９１，９２，９３，９４，９５　補修痕、１０　通信部、１１　入力部、１２，１２Ａ　記憶部、１３，１３Ａ　処理部、１４　表示部、２０　画像情報記憶領域、２１　非検出対象情報記憶領域、２２　変状情報記憶領域、２３　学習用情報記憶領域、２５　図面情報記憶領域、３０　取得部、３１，３１Ａ　学習部、３２　情報受付部、３３　非検出対象検出部、３４　マスキング部、３５　変状検出部、３６　図面情報生成部、３７　図面情報出力部、３８　図面情報変更部、４１，４２，４３，４４，４５，４６　領域、５０　構造物図面。

Claims (8)

  1. 　構造物の画像の情報を取得する取得部と、
    　機械学習によって生成され且つ画像から検出対象の変状とは異なる対象である非検出対象の領域を検出する１以上の検出モデルを用いて、前記取得部で取得された前記構造物の画像から前記非検出対象の領域を検出する非検出対象検出部と、
    　前記構造物の画像のうち前記非検出対象検出部によって検出された前記非検出対象の領域をマスキングするマスキング部と、を備える
    　ことを特徴とする画像処理装置。
  2. 　前記構造物に関する情報である構造物情報を受け付ける情報受付部を備え、
    　前記非検出対象検出部は、
    　機械学習によって生成され且つ画像から前記非検出対象の領域を検出する複数の検出モデルのうち前記情報受付部によって受け付けられた前記構造物情報に対応する１以上の検出モデルを用いて、前記構造物の画像から前記非検出対象の領域を検出する
    　ことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記構造物情報は、
    　前記構造物の表面色の情報、前記構造物の工法の情報、および前記構造物におけるパネルの有無の情報のうち少なくとも１つの情報を含む
    　ことを特徴とする請求項２に記載の画像処理装置。
  4. 　前記構造物情報は、
    　前記構造物の補修方法の情報を含み、
    　前記非検出対象検出部は、
    　前記複数の検出モデルのうち前記構造物情報で特定される前記構造物の補修方法で補修された領域を前記非検出対象として検出する１以上の検出モデルを用いて、前記非検出対象の領域を検出する
    　ことを特徴とする請求項２または３に記載の画像処理装置。
  5. 　学習用情報に基づいて、前記１以上の検出モデルを機械学習によって生成する学習部を備える
    　ことを特徴とする請求項１から４のいずれか１つに記載の画像処理装置。
  6. 　前記非検出対象検出部によって検出された前記非検出対象の領域の位置を示す情報を含む前記構造物の図面の情報である構造物図面情報を生成する図面情報生成部と、
    　前記図面情報生成部によって生成された前記構造物図面情報を出力する図面情報出力部と、
    　前記構造物図面情報に含まれる前記非検出対象の領域の位置を変更する要求があった場合に、前記非検出対象検出部によって検出された前記非検出対象の領域の位置を変更する図面情報変更部と、を備え、
    　前記学習部は、
    　前記構造物の画像のうち前記図面情報変更部によって変更された前記非検出対象の領域の画像の情報に基づいて、前記１以上の検出モデルの再学習を行う
    　ことを特徴とする請求項５に記載の画像処理装置。
  7. 　コンピュータが実行する画像処理方法であって、
    　構造物の画像の情報を取得する第１のステップと、
    　機械学習によって生成され且つ画像から検出対象の変状とは異なる対象である非検出対象の領域を検出する１以上の検出モデルを用いて、前記第１のステップで取得された前記構造物の画像から前記非検出対象の領域を検出する第２のステップと、
    　前記構造物の画像のうち前記第２のステップによって検出された前記非検出対象の領域をマスキングする第３のステップと、を含む
    　ことを特徴とする画像処理方法。
  8. 　構造物の画像の情報を取得する第１のステップと、
    　機械学習によって生成され且つ画像から検出対象の変状とは異なる対象である非検出対象の領域を検出する１以上の検出モデルを用いて、前記第１のステップで取得された前記構造物の画像から前記非検出対象の領域を検出する第２のステップと、
    　前記構造物の画像のうち前記第２のステップによって検出された前記非検出対象の領域をマスキングする第３のステップと、をコンピュータに実行させる
    　ことを特徴とする画像処理プログラム。
PCT/JP2020/009273 2020-03-04 2020-03-04 画像処理装置、画像処理方法、および画像処理プログラム WO2021176621A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020544680A JP6793896B1 (ja) 2020-03-04 2020-03-04 画像処理装置、画像処理方法、および画像処理プログラム
PCT/JP2020/009273 WO2021176621A1 (ja) 2020-03-04 2020-03-04 画像処理装置、画像処理方法、および画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/009273 WO2021176621A1 (ja) 2020-03-04 2020-03-04 画像処理装置、画像処理方法、および画像処理プログラム

Publications (1)

Publication Number Publication Date
WO2021176621A1 true WO2021176621A1 (ja) 2021-09-10

Family

ID=73544674

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/009273 WO2021176621A1 (ja) 2020-03-04 2020-03-04 画像処理装置、画像処理方法、および画像処理プログラム

Country Status (2)

Country Link
JP (1) JP6793896B1 (ja)
WO (1) WO2021176621A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7344620B1 (ja) 2022-07-22 2023-09-14 株式会社 Sai 建屋内構造物認識システム及び建屋内構造物認識方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023129993A (ja) * 2022-03-07 2023-09-20 オムロン株式会社 外観検査システム、外観検査方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016121953A (ja) * 2014-12-25 2016-07-07 西日本高速道路エンジニアリング四国株式会社 トンネル覆工面画像のひび割れ領域抽出のための画像処理方法
WO2019053842A1 (ja) * 2017-09-14 2019-03-21 三菱電機株式会社 変状検出装置
WO2019163329A1 (ja) * 2018-02-21 2019-08-29 富士フイルム株式会社 画像処理装置及び画像処理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109374631B (zh) * 2018-09-30 2021-06-29 中国铁道科学研究院集团有限公司铁道建筑研究所 一种隧道状态评测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016121953A (ja) * 2014-12-25 2016-07-07 西日本高速道路エンジニアリング四国株式会社 トンネル覆工面画像のひび割れ領域抽出のための画像処理方法
WO2019053842A1 (ja) * 2017-09-14 2019-03-21 三菱電機株式会社 変状検出装置
WO2019163329A1 (ja) * 2018-02-21 2019-08-29 富士フイルム株式会社 画像処理装置及び画像処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7344620B1 (ja) 2022-07-22 2023-09-14 株式会社 Sai 建屋内構造物認識システム及び建屋内構造物認識方法
WO2024018642A1 (ja) * 2022-07-22 2024-01-25 株式会社 Sai 建屋内構造物認識システム及び建屋内構造物認識方法

Also Published As

Publication number Publication date
JP6793896B1 (ja) 2020-12-02
JPWO2021176621A1 (ja) 2021-09-10

Similar Documents

Publication Publication Date Title
WO2021176621A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
US6040911A (en) Reference image forming method and pattern inspection apparatus
US20200318975A1 (en) Map data update apparatus, map data update method, and computer readable medium
JPH0835936A (ja) プリント回路基板の自動光学検査装置における歪み補正方法及び装置
US6883160B2 (en) Pattern inspection apparatus
JP2004045066A (ja) 検査装置及び検査方法
JP7118277B2 (ja) 検査装置、検査方法及びプログラム
US20070055467A1 (en) Workpiece inspection apparatus assisting device, workpiece inspection method and computer-readable recording media storing program therefor
US20080205743A1 (en) Mask defect analysis
US7627164B2 (en) Pattern inspection method and apparatus with high-accuracy pattern image correction capability
JP6188860B1 (ja) オブジェクト検出装置
US6603873B1 (en) Defect detection using gray level signatures
JP2002181520A (ja) 三次元形状の欠陥検査方法
JP5566257B2 (ja) データ生成方法および画像検査方法
JP2021117155A (ja) 検査装置、検査方法、及び検査プログラム
TW202141967A (zh) 影像感測系統以及缺陷感光元件偵測以及修正方法
JP2009294027A (ja) パターン検査装置及び方法
JP4629086B2 (ja) 画像欠陥検査方法および画像欠陥検査装置
CN113345017B (zh) 一种使用标志辅助视觉slam的方法
JPH0667726A (ja) 無人走行車の絶対位置取得方法
JP2007206487A (ja) パターン寸法測定方法及び寸法測定装置
WO2021152855A1 (ja) 変状管理装置、変状管理方法、および変状管理プログラム
KR20180061511A (ko) 표시 결함 보상 방법과 이를 이용한 액정 표시 장치
JP5245509B2 (ja) パターンデータの処理方法、及び電子デバイスの製造方法
JP2005181932A (ja) 基板露光方法、基板露光装置、表示パネルの製造方法および表示装置。

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020544680

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20922948

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20922948

Country of ref document: EP

Kind code of ref document: A1