WO2023171293A1 - 画像検査装置、機械学習装置、画像検査方法、画像検査プログラム - Google Patents

画像検査装置、機械学習装置、画像検査方法、画像検査プログラム Download PDF

Info

Publication number
WO2023171293A1
WO2023171293A1 PCT/JP2023/005470 JP2023005470W WO2023171293A1 WO 2023171293 A1 WO2023171293 A1 WO 2023171293A1 JP 2023005470 W JP2023005470 W JP 2023005470W WO 2023171293 A1 WO2023171293 A1 WO 2023171293A1
Authority
WO
WIPO (PCT)
Prior art keywords
inspection
image
illumination
unit
illumination condition
Prior art date
Application number
PCT/JP2023/005470
Other languages
English (en)
French (fr)
Inventor
基文 福井
Original Assignee
住友重機械工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 住友重機械工業株式会社 filed Critical 住友重機械工業株式会社
Publication of WO2023171293A1 publication Critical patent/WO2023171293A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination

Definitions

  • the present invention relates to an image inspection device for an object to be inspected.
  • Patent Document 1 discloses a technique for inspecting a civil engineering structure for damage based on an inspection image thereof.
  • Illumination devices are sometimes used to clearly photograph the object to be inspected, but depending on the lighting conditions, damage may become difficult to see.
  • the present invention has been made in view of these circumstances, and it is an object of the present invention to provide an image inspection apparatus and the like that can properly image inspect an object to be inspected regardless of illumination conditions.
  • an image inspection apparatus includes an inspection image acquisition unit that acquires an inspection image of an illuminated inspection target object, and an inspection image acquisition unit that acquires an inspection image of an illuminated inspection object, and a and an image inspection model selection unit that selects an image inspection model that matches the lighting condition estimated by the lighting condition estimation unit from among a plurality of image inspection models respectively corresponding to a plurality of predetermined lighting conditions. and an image inspection section that inspects the inspection image based on the image inspection model selected by the image inspection model selection section.
  • the illumination conditions at the time the inspection image was taken are estimated, and the inspection image is inspected based on the image inspection model that matches it, so that the inspection target can be image-inspected appropriately regardless of the illumination conditions at the time the inspection image was taken. .
  • Another aspect of the present invention is an image inspection device.
  • This device includes an inspection image acquisition unit that acquires a plurality of inspection images taken of an inspection object illuminated under different lighting conditions, and an inspection image acquisition unit that acquires a plurality of inspection images taken of an inspection object illuminated under different lighting conditions, and an inspection image acquisition unit that acquires a plurality of inspection images taken of an inspection object illuminated under different lighting conditions.
  • an estimation unit that estimates probability and damage for each of the plurality of inspection images acquired by the inspection image acquisition unit, based on an estimation model that outputs a probability that matches each of them and outputs damage to the inspection object; and a damage detection unit that detects damage to the inspection object by integrating the damage estimation results based on the probability estimation results.
  • Yet another aspect of the present invention is a machine learning device.
  • This device outputs the illumination conditions at the time of photography for the input inspection image by machine learning using training data that includes an inspection image taken of the inspection object illuminated by the illumination device and the lighting conditions of the illumination device. It includes a machine learning unit that generates a lighting condition estimation model.
  • Yet another aspect of the present invention is an image inspection method.
  • This method includes an inspection image acquisition step of acquiring an inspection image of an illuminated inspection object, an illumination condition estimation step of estimating the illumination conditions at the time of photography based on the inspection image, and a plurality of predetermined illumination conditions.
  • an image inspection model selection step that selects an image inspection model that matches the illumination conditions estimated in the illumination condition estimation step from among a plurality of image inspection models respectively corresponding to the image inspection models selected in the image inspection model selection step; and an image inspection step of inspecting the inspection image based on.
  • the present invention also encompasses any combination of the above components and the conversion of these expressions into methods, devices, systems, recording media, computer programs, etc.
  • an image of an object to be inspected can be appropriately inspected regardless of illumination conditions.
  • FIG. 2 is a partially cutaway perspective view showing a water pipe wall in a furnace of a boiler.
  • FIG. 2 is a side view schematically showing an in-coke oven observation device.
  • FIG. 2 is a diagram schematically showing the inside of a coke oven.
  • FIG. 1 is a functional block diagram of an image inspection apparatus according to a first embodiment. Processing in the illumination condition estimation section and the image inspection model selection section is schematically shown. An example of a screen of a display device is shown.
  • FIG. 3 is a functional block diagram of an image inspection apparatus according to a second embodiment. The processing in the estimator is schematically shown.
  • the image inspection apparatus and the like of the present invention can be used to inspect any object to be inspected. Therefore, although the object to be inspected is not particularly limited, in this embodiment, an example in which the water tube wall of a boiler furnace or the furnace wall of a coke oven is the object to be inspected will be mainly described. Other examples of the inspection target will be described later.
  • FIG 1 shows the overall configuration of a power generation facility equipped with a CFB (Circulating Fluidized Bed) boiler. Note that instead of the CFB boiler, any other combustion equipment such as a BFB (Bubbling Fluidized Bed) boiler or a rotary kiln may be provided in the power generation equipment.
  • CFB Circulating Fluidized Bed
  • a CFB boiler includes a combustion section 1 that supplies and burns a fuel such as fossil fuel such as coal into a furnace 11 in which a fluidized material such as silica sand flows, and a steam generator that generates steam from water using the heat generated in the combustion section 1.
  • the generation part 2 the fluidized material circulation part 3 as a circulation part that collects the fluidized material that has come out of the furnace 11 and returns it into the furnace 11, and the water supplied to the steam generation part 2, which is generated in the steam generation part 2.
  • a heat transfer section 4 heats the steam generated by the combustion section 1 using high-temperature exhaust gas, an exhaust treatment device 5 separates and collects soot and dust in the exhaust from the heat transfer section 4, and the exhaust treatment device 5 cleans the steam.
  • a chimney 6 is provided for discharging the oxidized exhaust gas into the atmosphere.
  • the combustion section 1 includes a furnace 11 as a combustion chamber.
  • the furnace 11 has a vertically elongated cylindrical shape, and has a tapered bottom in order to increase the density of solid fuel such as coal or fluid material and enable efficient combustion.
  • the area indicated by "A" at the bottom of the furnace 11 indicates a fluidized bed (also called a fluidized bed or sand bed) formed by a high-density fluidized material.
  • a fluidized bed also called a fluidized bed or sand bed
  • powdered, particulate, or lumpy fluidized materials such as silica sand are fluidized by fluidized fluid supplied from the bottom of the furnace 11 .
  • the solid fuel such as coal put into the fluidized bed A is efficiently combusted by repeatedly contacting the high-temperature fluidized material while being stirred within the fluidized bed A.
  • a perforated plate (also called a dispersion plate) 121 is provided at the bottom of the furnace 11 as a fluid permeable portion made of a porous material that allows gas to permeate therethrough.
  • the wind box 122 which is a space directly under the perforated plate 121, supplies flowing fluid supplied from the first blower 71 as an air blower via the first flow rate control valve 71A into the furnace 11 via the perforated plate 121. It constitutes a flowing fluid supply section.
  • the gas supplied to the bottom of the furnace 11 by the wind box 122 is used to flow the fluidized material to form the fluidized bed A, and to burn the fuel in the fluidized bed A or the freeboard B.
  • a second blower 72 provided in addition to the first blower 71 is an exhaust treatment device for promoting fuel combustion in the freeboard B and suppressing the generation of harmful substances such as dioxins and carbon monoxide due to incomplete combustion. 5 is supplied into the freeboard B via the second flow control valve 72A. In this way, the first blower 71 and the second blower 72 circulate at least a portion of the exhaust gas containing carbon dioxide generated by combustion in the furnace 11 from the exhaust treatment device 5 to the furnace 11 .
  • an external circulation mechanism 13 having a circulation path outside the furnace 11 is provided.
  • the external circulation mechanism 13 includes an extraction pipe 131 that communicates with the bottom of the furnace 11 and can extract a part of the fluid material in the fluidized bed A, and controls opening and closing of the extraction pipe 131 to control the flow rate of the fluid material, that is, the extraction pipe. 131, a fluid material conveyor 133 such as a bucket conveyor that conveys the fluid material extracted by the extraction pipe 131 upward, and a fluid material conveyor 133 corresponding to the upper part of the fluidized bed A.
  • a fluid material silo 134 provided on the outer periphery of the furnace 11 receives the fluid material conveyed by the fluid material conveyor 133, and a fluid material re-injection section 135 that reinjects the fluid material stored in the fluid material silo 134 into the furnace 11. Be prepared.
  • the furnace wall which is a side wall of the furnace 11, includes a material supply section 14 that supplies fuel and other materials into the furnace 11, and a fluid material supply section 15 that supplies a fluid material for forming the fluidized bed A into the furnace 11.
  • a starting unit 16 for starting the CFB boiler is provided.
  • the material supply section 14 includes a funnel-shaped hopper 141 that stores materials, a crushing section 142 that crushes the material discharged from the bottom of the hopper 141 into particles, and supplies the material crushed by the crushing section 142 into the furnace 11.
  • a feeder 143 is provided.
  • the material supply unit 14 supplies carbon-containing fuel containing carbon into the furnace 11 .
  • Carbon-containing fuels are not particularly limited, and include, for example, various types of coal such as anthracite, bituminous coal, and brown coal, biomass fuel, sludge, and waste wood. These carbon-containing fuels generate carbon dioxide when burned in the furnace 11. However, biomass fuel is a carbon-neutral fuel with little or no net carbon dioxide emissions.
  • the crushing unit 142 in the material supply unit 14 crushes the material into particles before being supplied to the furnace 11 . The required amount of the granular material crushed by the crushing section 142 is fed into the furnace 11 by a feeder 143 whose rotation speed can be controlled.
  • the fluid supply unit 15 that supplies the fluid for forming the fluidized bed A includes a funnel-shaped fluid hopper 151 that stores the fluid and the fluid that is discharged from the bottom of the fluid hopper 151 into the furnace 11.
  • a fluid material feeder 152 is provided. By controlling the rotation speed of the fluid material feeder 152, a required amount of fluid material is fed into the furnace 11.
  • the starting section 16 that starts the CFB boiler includes a starting fuel storage section 161, a starting fuel control valve 162, and a starting burner 163.
  • the startup fuel storage section 161 stores heavy oil as carbon-containing fuel.
  • the starting fuel control valve 162 controls the amount of heavy oil supplied from the starting fuel storage section 161 to the starting burner 163. Specifically, the startup fuel control valve 162 is opened when the CFB boiler is started, and the heavy oil stored in the startup fuel storage section 161 is supplied to the startup burner 163.
  • the starting burner 163 heats the fluidized material in the fluidized bed A with flame generated by combustion of heavy oil supplied from the starting fuel control valve 162 .
  • the starting burner 163 Since the starting burner 163 is provided to be inclined downward, the surface of the fluidized bed A formed by the fluidized material is directly heated, and the temperature of the fluidized bed A and the inside of the furnace 11 is efficiently raised. In this way, the starting burner 163 heats the sand-like fluidized bed A from above, so it is also called an over-sand burner.
  • starting fuel control is performed.
  • the valve 162 is closed and the supply of heavy oil to the starting burner 163 is stopped.
  • fuel supplied from the material supply section 14 is burned in the high-temperature furnace 11.
  • the combustion section 1 of the CFB boiler has been described in detail above. Next, the configuration of the CFB boiler other than the combustion section 1 will be explained.
  • the steam generation unit 2 includes a drum 21 that stores water for generating steam, a water supply pipe 22 that supplies water to the drum 21, and a water pipe 23 that guides water in the drum 21 into the high-temperature furnace 11 and heats it.
  • a steam pipe 24 is provided for discharging steam generated from water heated in the water pipe 23 from the drum 21 as the output of the CFB boiler. The steam output from the steam pipe 24 rotates the steam turbine of the generator 25, so that the power generation equipment generates electricity.
  • the water supply pipe 22 constitutes an economizer that preheats the water supply by meandering through the heat transfer section 4 through which the high temperature exhaust gas from the combustion section 1 passes, and the steam pipe 24 constitutes a heat transfer section through which the high temperature exhaust gas from the combustion section 1 passes. 4 constitutes a superheater that superheats steam.
  • the fluid material circulation unit 3 includes a cyclone 31 that separates and collects granular fluid material from the exhaust gas discharged from the upper part of the furnace 11, and a seal pot 32 that returns the fluid material collected by the cyclone 31 into the furnace 11. Equipped with The cyclone 31 is a cyclone-type powder separator having a substantially cylindrical upper part and a substantially conical lower part, and generates an airflow that descends spirally along the inner wall. The granular fluidized material contained in the exhaust gas from the furnace 11 comes into contact with the inner wall of the cyclone 31 when descending spirally along the airflow and is collected.
  • a seal pot 32 provided below the cyclone 31 is filled with a fluid material to prevent unburned gas, etc. from flowing back from the furnace 11 to the cyclone 31.
  • the granular fluidized material filled in the seal pot 32 is gradually returned to the furnace 11 as it is pushed out by the weight of the fluidized material newly collected by the cyclone 31.
  • the exhaust treatment device 5 separates and collects soot and dust in the exhaust from the heat transfer section 4.
  • FIG. 2 is a partially cutaway perspective view showing a water pipe wall 80 that constitutes the inner wall of a furnace 11 such as a CFB boiler or a BFB boiler, which is an example of an object to be inspected.
  • the water tube wall 80 of the furnace 11 is composed of a plurality of pipes 82 extending in the vertical direction and fins 84 connecting each adjacent pipe 82. Water, other liquids, and their vapors pass through each pipe 82 . Since the water tube wall 80 faces the high-temperature furnace 11, it may be damaged by heat. Furthermore, there is a possibility that fuel such as coal or ash burned in the furnace 11 collides with or adheres to the water pipe wall 80, leading to damage.
  • a camera 30 (not shown in FIG. 2) as a photographing device for photographing an inspection image of the water tube wall 80 of the furnace 11 is a moving body that moves the camera 30, for example, a slide mechanism such as the extrusion device 200 shown in FIG. , attached to a drone, robot, elevator, etc. that can move along the water pipe wall 80.
  • the camera 30 continuously photographs the furnace wall 91 while moving along the water pipe wall 80 inside the furnace 11 together with the moving body.
  • the camera 30 may be a still camera that continuously takes still images, or a video camera that takes moving images.
  • FIG. 3 is a side view schematically showing an in-furnace observation device in which the image inspection device of this embodiment is used.
  • This furnace interior observation device is used to observe the inside of a coke oven carbonization chamber (hereinafter also simply referred to as a coke oven).
  • FIG. 4 is a diagram schematically showing the inside of the coke oven.
  • the coke oven 90 is a narrow oven with a pair of brick oven walls 91 facing each other.
  • Each oven wall 91 extends from an oven inlet 92 on one side of the coke oven 90 to an oven outlet 93 on the other side, and has a total length of, for example, more than ten meters.
  • the distance between the opposing furnace walls 91 is, for example, several tens of centimeters.
  • the height from the bottom 95 to the ceiling 94 of the coke oven 90 is, for example, several meters.
  • the extrusion device 200 shown in FIG. 3 repeatedly moves back and forth within the coke oven 90. On the outward journey, the extrusion device 200 is inserted into the coke oven 90 from the oven inlet 92 and pushes out the coke C generated by carbonization in the coke oven 90 to the oven outlet 93. On the return trip, the extrusion device 200 returns inside the coke oven 90 from the oven outlet 93 to the oven inlet 92.
  • the extrusion device 200 includes a push plate 210 and a beam 220, and the beam 220 connects the push plate 210 to a drive device (not shown). This driving device allows the push plate 210 to move between the furnace inlet 92 and the furnace outlet 93 of the coke oven 90. Since the push plate 210 has substantially the same cross-sectional shape as the coke oven 90, the movement of the push plate 210 pushes the coke C toward the oven outlet 93.
  • a camera 30 as a photographing device for photographing an inspection image is attached to an extrusion device 200 as a movable body for moving the camera 30, and moves together with the extrusion device 200 within the coke oven 90 between the furnace inlet 92 and the furnace outlet 93.
  • the furnace wall 91 is continuously photographed.
  • the camera 30 may be a still camera that continuously takes still images, or a video camera that takes moving images.
  • the camera 30 is attached to the back surface of the push plate 210 (the right side in FIG. 3) or to a support stand (not shown) installed behind the push plate 210.
  • one or more illumination devices that illuminate the furnace wall 91 as the object to be inspected can be used to illuminate the camera 30 itself as an imaging device, a support stand as a support member that supports the camera 30, and a moving body that moves the camera 30. It may be provided in a coke oven 90 or the like as a housing space that movably houses the extrusion device 200 and the camera 30.
  • the camera 30 may include two cameras attached to the left and right furnace walls 91, respectively, and captures front-view images of the left and right furnace walls 91. In order to photograph the entire left and right furnace walls 91, the two cameras may photograph while changing the angle in the vertical direction. Note that the camera 30 may be mounted so as to face in the opposite direction (to the right in FIG. 3) to the direction in which the coke C is extruded by the extrusion device 200 so that the view is not obstructed by the push plate 210 or the coke C. The camera 30 in this case is installed directly facing the furnace inlet 92 and can take perspective images of the furnace walls 91 on both the left and right sides. As a heat measure to protect the camera 30 from the high-temperature environment (eg, 1000° C. or higher) inside the coke oven 90, the camera 30 may be housed in a heat-resistant housing or a cooling box, for example.
  • a heat-resistant housing or a cooling box for example.
  • FIG. 5 is a functional block diagram of the image inspection apparatus 300 according to the first embodiment.
  • the image inspection apparatus 300 includes an inspection image acquisition section 310, an illumination condition estimation section 320, a machine learning section 330, an image inspection model selection section 340, and an image inspection section 350.
  • These functional blocks are realized through the collaboration of hardware resources such as the computer's central processing unit, memory, input devices, output devices, and peripheral devices connected to the computer, and the software that is executed using them. . Regardless of the type of computer or installation location, each of the above functional blocks may be realized using the hardware resources of a single computer, or may be realized by combining hardware resources distributed across multiple computers. .
  • the camera 30 and the inspection image storage unit 302 have an image input unit that inputs inspection images of the water tube wall 80 of the furnace 11 and the furnace wall 91 of the coke oven, which are the surfaces to be inspected of the inspection object, into the image inspection apparatus 300.
  • the display device 40 displays the processing contents of the image inspection device 300 and the like.
  • the operation unit 50 is configured with an input device such as a touch panel integrated with the display device 40 or a keyboard and a mouse separate from the display device 40, and generates various control information for the image inspection apparatus 300 in response to user operations.
  • the computer may be programmed to autonomously perform some or all of the operations performed by the operation unit 50.
  • the inspection image storage unit 302 stores a group of inspection images of the water pipe wall 80 and the furnace wall 91 taken by the camera 30.
  • the inspection image storage section 302 may be the built-in memory of the camera 30, or may be a general-purpose removable medium such as a memory card. Alternatively, storage outside the boiler or outside the coke oven 90 that can communicate with the camera 30 by wire or wirelessly may be used.
  • the image inspection apparatus 300 performs various processes described below on the inspection image group stored in the inspection image storage unit 302.
  • the inspection image storage unit 302 can be unnecessary or have a small capacity.
  • the illumination parameters of the illumination device 301 for example, luminous flux (lumens), luminous intensity (candela), illuminance (lux), brightness (luminous intensity per light source area) , color (hue, saturation, brightness), illumination range, illumination angle, etc. may be stored in the inspection image storage unit 302 together with the inspection image data as metadata of the inspection image data.
  • the illumination device 301 may be provided on the camera 30 itself as a photographing device, may be provided on a support member that supports the camera 30, or may be provided on a moving body that moves the camera 30 (the extrusion device 200 in FIG.
  • the inspection object may be illuminated not only by the illumination device 301 but also by natural light such as sunlight.
  • the inspection image acquisition unit 310 acquires an inspection image of the inspection object illuminated by the illumination device 301, natural light, etc. from the camera 30 or the inspection image storage unit 302.
  • the inspection image acquisition unit 310 acquires an inspection image from the inspection image storage unit 302
  • the user uses the operation unit 50 to input the shooting date and time of the inspection image to be acquired, the shooting position, and the lighting parameters of the illumination device 301 at the time of shooting. can be specified.
  • the inspection image acquisition unit 310 searches the inspection image storage unit 302 for an inspection image that matches the conditions specified by the operation unit 50, and extracts one or more pieces of hit inspection image data with some or all metadata. It is also acquired from the inspection image storage unit 302.
  • the illumination condition estimating unit 320 estimates the illumination condition at the time of photography for the inspection image acquired by the inspection image acquisition unit 310, based on the illumination condition estimation model 331 that outputs the illumination condition at the time of photography for the input inspection image.
  • the image inspection model selection unit 340 selects an image inspection model that matches the illumination condition estimated by the illumination condition estimation unit 320 from among the plurality of image inspection models 332 that respectively correspond to a plurality of predetermined illumination conditions.
  • the image inspection model 332 is, for example, a damage detection model that detects damage to the inspection object in the inspection image acquired by the inspection image acquisition unit 310.
  • FIG. 6 schematically shows the processing in the illumination condition estimation section 320 and the image inspection model selection section 340.
  • an image of the oven wall 91 of the coke oven 90 is shown schematically as an example of an inspection image for convenience, but the explanation regarding these will be given to other inspection objects, especially in the furnace 11 of the boiler. It can be similarly applied to image inspection of the water tube wall 80.
  • the illumination condition estimation unit 320 or the illumination condition estimation model 331 uses the inspection image data 42 provided from the inspection image acquisition unit 310 and, if available, the illumination parameters 41 of the illumination device 301 (metadata of the inspection image data 42). As input, the illumination conditions at the time of photographing the inspection image data 42 are estimated. In the illustrated example, the illumination conditions as the output of the illumination condition estimation unit 320 or the illumination condition estimation model 331 are classified into a plurality of illumination categories I 1 to I 6 . Each illumination category I 1 to I 6 is a typology of the influence of illumination that appears on the inspection image data 42.
  • the lighting category may be, for example, a classification of lighting parameters such as luminous flux, luminous intensity, illuminance, brightness, color, lighting range, lighting angle, etc. using a method such as clustering.
  • each illumination category I 1 to I 6 has a correlation with the illumination parameter 41 of the illumination device 301, but even if the illumination parameter 41 is the same, the structure and optical characteristics of the object to be inspected, and the illumination device
  • the influence of illumination appearing on the inspection image data 42 may vary depending on the influence of natural light other than 301 and external light. Therefore, although the lighting parameters 41 of the lighting device 301 are useful information for estimating the lighting conditions (each lighting category I 1 to I 6 ), they are not absolute data that can uniquely determine the lighting conditions. Therefore, regardless of whether the lighting parameters 41 of the lighting device 301 are available, it is important to construct the lighting condition estimation model 331 for estimating the lighting conditions with high accuracy.
  • the illumination condition estimation unit 320 or the illumination condition estimation model 331 calculates the probability p that the illumination conditions at the time of photographing the inspection image data 42 provided from the inspection image acquisition unit 310 correspond to each of the plurality of illumination categories I 1 to I 6 . 1 to p 6 are output.
  • the image inspection model selection unit 340 selects one or more image inspection models that match the illumination condition estimated by the illumination condition estimation unit 320 from among the plurality of image inspection models M 1 to M 6 corresponding to the plurality of illumination categories I 1 to I 6 respectively. Select multiple image inspection models.
  • the image inspection model selection unit 340 selects one image inspection model, the image inspection models M 1 to I 6 corresponding to the illumination categories I 1 to I 6 with the maximum probabilities p 1 to p 6 output by the illumination condition estimation unit 320 are selected. Select M6 .
  • the image inspection model selection unit 340 that selects one image inspection model selects the image inspection model M 1 corresponding to the illumination category I 1 with the maximum probability p 1 (0.4) output by the illumination condition estimation unit 320. do.
  • the image inspection section 350 (FIG. 5) inspects the inspection image data 42 based on the image inspection model M1 selected by the image inspection model selection section 340. For example, the image inspection unit 350 detects damage to the inspection object in the inspection image data 42 based on the image inspection model M1 .
  • the image inspection model selection unit 340 may select a plurality of image inspection models. For example, the image inspection model selection unit 340 selects the image inspection models M 1 to M 6 that match the illumination categories I 1 to I 6 for which the probabilities p 1 to p 6 output by the illumination condition estimation unit 320 are equal to or greater than a predetermined value.
  • a predetermined value for the probability is set to "0.25", for example. .
  • the probability p 1 (0.4 ), p 4 (0.3) may be set to the same value (for example, the average of both "0.35"), and the final inspection result or damage detection result J may be calculated.
  • the illumination conditions (illumination categories I 1 to I 6 ) at the time of photographing the inspection image data 42 are estimated by the illumination condition estimating unit 320, and the inspection is performed based on the image inspection models M 1 to M 6 that match the illumination conditions. Since the image is inspected by the image inspection section 350, the inspection object can be image inspected appropriately regardless of the illumination conditions at the time the inspection image data 42 was photographed.
  • the illumination condition estimation model 331 and/or the image inspection model 332 are generated by a machine learning unit 330 that constitutes a machine learning device.
  • the machine learning unit 330 preferably uses inspection image data 42 obtained by photographing an inspection object illuminated by the illumination device 301 with known illumination parameters 41, and the inspection image data 42 artificially or using a labeling tool or an annotation tool.
  • An illumination condition estimation model 331 is generated that outputs the probabilities p 1 to p 6 of the illumination conditions (illumination categories I 1 to I 6 ), etc.
  • the machine learning unit 330 includes each inspection image data 42 photographed under lighting conditions corresponding to each of the lighting categories I 1 to I 6 and the respective inspection image data 42 that are assigned artificially or through a labeling tool or an annotation tool.
  • Illumination categories I 1 to I Image inspection models M 1 to M 6 that output inspection results or damage detection results J 1 to J 6 of the inspection object are generated for the inspection image data 42 classified into 6 .
  • the inspection image data 42 photographed under illumination conditions corresponding to the k- th illumination category Ik, and the k-th inspection result or k-th labeled for each inspection image data 42
  • the k-th inspection result of the inspection object is determined for the inspection image data 42 classified into the k-th illumination category Ik by the illumination condition estimation unit 320.
  • the machine learning unit 330 generates the k-th image inspection model Mk that outputs the k-th damage detection result Jk .
  • the training data for the machine learning unit 330 to generate the illumination condition estimation model 331 is provided using known illumination parameters 41 of the illumination device 301 and inspection image data 42 artificially or through a labeling tool or an annotation tool. It may also include the inspection results or damage detection results J (corresponding to the above-mentioned J 1 , J 4 , etc.) of the inspection object (labeled).
  • the training data for the machine learning unit 330 to generate the illumination condition estimation model 331 is provided using known illumination parameters 41 of the illumination device 301 and inspection image data 42 artificially or through a labeling tool or an annotation tool. It may also include the inspection results or damage detection results J (corresponding to the above-mentioned J 1 , J 4 , etc.) of the inspection object (labeled).
  • the illumination condition estimation model 331 or the illumination condition estimation unit 320 which is co-learned with the inspection result J of the inspection object as training data, can also output the inspection result J by inputting the inspection image data 42 (not shown in FIG. 6; 9). Therefore, the illumination condition estimation model 331 or the illumination condition estimation section 320 can also function as the image inspection section 350. Therefore, the image inspection model 332, the image inspection model selection section 340, and the image inspection section 350 are not provided, and the inspection image acquisition section 310, the illumination condition estimation section 320, and the machine learning section 330 (the illumination condition estimation model 331) alone are used to image the image. It is also possible to configure the inspection device 300. Note that in a second embodiment (FIG. 9) to be described later, another image inspection method or damage detection method using the inspection result J output by the illumination condition estimation model 331 will be described.
  • FIG. 7 shows an example screen of the display device 40.
  • inspection image data 42 as an inspection target is displayed.
  • various metadata accompanying the inspection image data 42 specifically, the photographing date and time, the photographing position, etc., are displayed. Note that when the previous button 55 is pressed using the operation unit 50, the inspection image data 42 is switched to the previous image, and when the next button 56 is pressed using the operation unit 50, the inspection image data 42 is switched to the next image.
  • the similar illumination condition image display area 45 other images under illumination conditions similar to the inspection image data 42 are displayed automatically or by pressing the execution button 52 using the operation unit 50. Specifically, one or more images having similar illumination categories I 1 to I 6 and/or probabilities p 1 to p 6 estimated by the illumination condition estimation unit 320 for the inspection image data 42 are displayed in the similar illumination condition image display area 45. will be displayed.
  • the image in the similar illumination condition image display area 45 is taken from the same part of the same inspection object as the inspection image data 42, but the image displayed in the similar illumination condition image display area 45 is The image may be a photograph of a different object to be inspected and/or a different part from the inspection image data 42. By comparing these groups of images with similar illumination conditions on the screen, it is possible to judge at a glance whether or not the result of estimating the illumination conditions for the inspection image data 42 by the illumination condition estimation unit 320 is appropriate.
  • the selection results of the image inspection models M 1 to M 6 by the image inspection model selection unit 340 are displayed with corresponding weights.
  • each image examination is The models M 1 to M 6 are applied to the inspection image data 42 to obtain inspection results or damage detection results 43 of the inspection object.
  • J as the damage detection result 43 is ⁇ k p It is expressed as k J k .
  • 431 to 433 in the damage detection result 43 schematically represent damage to the oven wall 91 of the coke oven 90 as the object to be inspected.
  • Deterioration of the joints of the constituent bricks corresponds to damage 431 to 433.
  • damage, defects, and abnormalities occurring in the water tube wall 80 in the furnace 11 of the boiler, which serves as the inspection surface of the inspection object include damage caused by the heat of the high-temperature furnace 11 and damage caused by combustion in the furnace 11, as described above.
  • each weight (p 1 , p 2 , p 3 , p 4 , p 5 , p 6 ) in the image inspection model weight area 51 can be changed using the operation unit. It can be changed by 50.
  • the user of the image inspection apparatus 300 checks each weight (p 1 , p 2 , p 3 , p 4 , p 5 , p 6 ) in the image inspection model weight area 51 while checking the damage detection result 43 on the screen. ) can be optimized. The content of this optimization becomes extremely useful training data for the illumination condition estimation model 331, and is therefore fed back to the machine learning unit 330 and used for updating the illumination condition estimation model 331.
  • FIG. 8 is a functional block diagram of an image inspection apparatus 300 according to the second embodiment. Components similar to those in the first embodiment are denoted by the same reference numerals, and redundant explanation will be omitted.
  • the image inspection apparatus 300 includes an inspection image acquisition section 310, an estimation section 320 similar to the illumination condition estimation section 320 in the first embodiment, a machine learning section 330, and an image inspection section 350.
  • the inspection image acquisition unit 310 acquires, from the camera 30 or the inspection image storage unit 302, a plurality of inspection images taken of the inspection object illuminated under different lighting conditions.
  • different lighting conditions can be realized by changing the lighting parameters 41 (FIG. 9) of the lighting device 301.
  • the manner in which the illumination parameters 41 are changed may be regular or irregular.
  • the illumination parameters 41 may be saved in the inspection image storage unit 302 each time they are changed, or may not be saved or recorded at all.
  • the estimating unit 320 calculates the probability p 1 to p that the illumination conditions at the time of imaging (illumination parameters 41, etc.) match each of the plurality of illumination categories I 1 to I 6 for the input inspection image. Based on the estimation model 331 that outputs the damage detection result J of the inspection object, the probabilities p 1 to p 6 and damage ( detection result ) J respectively. As the estimation model 331, the illumination condition estimation model 331 in the first embodiment shown in FIG. 6 can be used.
  • the damage detection unit 150 integrates damage estimation results J for a plurality of inspection image data 42 taken under different lighting conditions based on the estimation results of probabilities p 1 to p 6 and determines the inspection target. Detect damage. Specifically, for example, if the maximum value of the probabilities p 1 to p 6 estimated for each inspection image data 42 is greater than or equal to a predetermined value (for example, "75%"), the estimated result of the illumination condition of the inspection image data 42 is is reliable enough. Therefore, the damage estimation results J obtained at the same time as the probabilities p 1 to p 6 are also sufficiently reliable.
  • a predetermined value for example, "75%
  • the boiler and the coke oven 90 were exemplified as the objects to be inspected by the image inspection apparatus 300, but the objects to be inspected are not limited thereto.
  • the inspection target may be various industrial machines such as construction machinery (including boilers and coke ovens), social infrastructure such as bridges, various industrial structures such as environmental plants and water treatment facilities, or other industrial equipment.
  • the surface to be inspected may be an internal or external surface of such industrial equipment.
  • a camera that takes a group of images of the surface to be inspected can be attached to a moving body of any configuration that can move along the surface to be inspected.
  • the camera may be attached to a flying vehicle such as a so-called drone.
  • each device described in the embodiments can be realized by hardware resources or software resources, or by cooperation between hardware resources and software resources.
  • a processor, ROM, RAM, and other LSIs can be used as hardware resources.
  • Programs such as operating systems and applications can be used as software resources.
  • the present invention relates to an image inspection device for an object to be inspected.

Landscapes

  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

画像検査装置３００は、照明装置３０１によって照明された検査対象物を撮影した検査画像を取得する検査画像取得部３１０と、検査画像に基づいて、撮影時の照明条件を推定する照明条件推定部３２０と、所定の複数の照明条件にそれぞれ対応する複数の画像検査モデル３３２の中から、照明条件推定部３２０が推定した照明条件に合う画像検査モデル３３２を選択する画像検査モデル選択部３４０と、画像検査モデル選択部３４０が選択した画像検査モデル３３２に基づいて、検査画像を検査する画像検査部３５０と、を備える。

Description

画像検査装置、機械学習装置、画像検査方法、画像検査プログラム
　本発明は検査対象物の画像検査装置等に関する。
　検査対象物を検査する際、検査対象物を撮影した検査画像を利用する技術が知られている。例えば、特許文献１は、土木構造物を検査対象物として、その検査画像に基づいて損傷を検査する技術を開示する。
特開２０１６－２１７２５号公報 特開平９－２１８９３５号公報 特開２００７－７２８２４号公報 特開２０１３－２０５３０号公報 特開２０２０－７７３２６号公報
　検査対象物を明瞭に撮影するために照明装置が利用されることがあるが、その照明条件によっては逆に損傷が視認しづらくなってしまう恐れもある。
　本発明はこうした状況に鑑みてなされたものであり、照明条件によらずに適切に検査対象物を画像検査できる画像検査装置等を提供することを目的とする。
　上記課題を解決するために、本発明のある態様の画像検査装置は、照明された検査対象物を撮影した検査画像を取得する検査画像取得部と、検査画像に基づいて、撮影時の照明条件を推定する照明条件推定部と、所定の複数の照明条件にそれぞれ対応する複数の画像検査モデルの中から、照明条件推定部が推定した照明条件に合う画像検査モデルを選択する画像検査モデル選択部と、画像検査モデル選択部が選択した画像検査モデルに基づいて、検査画像を検査する画像検査部と、を備える。
　この態様では、検査画像の撮影時の照明条件が推定され、それに合う画像検査モデルに基づいて検査画像が検査されるため、撮影時の照明条件によらずに適切に検査対象物を画像検査できる。
　本発明の別の態様も、画像検査装置である。この装置は、異なる照明条件で照明された検査対象物を撮影した複数の検査画像を取得する検査画像取得部と、入力された検査画像について、撮影時の照明条件が所定の複数の照明条件のそれぞれに合う確率を出力すると共に、検査対象物の損傷を出力する推定モデルに基づいて、検査画像取得部が取得した複数の検査画像について確率および損傷をそれぞれ推定する推定部と、複数の検査画像についての損傷の推定結果を、確率の推定結果を踏まえて総合して検査対象物の損傷を検出する損傷検出部と、を備える。
　本発明の更に別の態様は、機械学習装置である。この装置は、照明装置によって照明された検査対象物を撮影した検査画像と、当該照明装置の照明条件の組を含む訓練データによる機械学習によって、入力される検査画像について撮影時の照明条件を出力する照明条件推定モデルを生成する機械学習部を備える。
　本発明の更に別の態様は、画像検査方法である。この方法は、照明された検査対象物を撮影した検査画像を取得する検査画像取得ステップと、検査画像に基づいて、撮影時の照明条件を推定する照明条件推定ステップと、所定の複数の照明条件にそれぞれ対応する複数の画像検査モデルの中から、照明条件推定ステップで推定された照明条件に合う画像検査モデルを選択する画像検査モデル選択ステップと、画像検査モデル選択ステップで選択された画像検査モデルに基づいて、検査画像を検査する画像検査ステップと、を備える。
　なお、以上の構成要素の任意の組合せや、これらの表現を方法、装置、システム、記録媒体、コンピュータプログラム等に変換したものも、本発明に包含される。
　本発明によれば、照明条件によらずに適切に検査対象物を画像検査できる。
ＣＦＢボイラを備える発電設備の全体的な構成を示す。 ボイラの火炉における水管壁を示す一部破断斜視図である。 コークス炉の炉内観察装置を模式的に示す側面図である。 コークス炉の内部を模式的に示す図である。 第１実施形態に係る画像検査装置の機能ブロック図である。 照明条件推定部および画像検査モデル選択部における処理を模式的に示す。 表示装置の画面例を示す。 第２実施形態に係る画像検査装置の機能ブロック図である。 推定部における処理を模式的に示す。
　以下では、図面を参照しながら、本発明を実施するための形態（以下では実施形態ともいう）について詳細に説明する。説明および／または図面においては、同一または同等の構成要素、部材、処理等に同一の符号を付して重複する説明を省略する。図示される各部の縮尺や形状は、説明の簡易化のために便宜的に設定されており、特に言及がない限り限定的に解釈されるものではない。実施形態は例示であり、本発明の範囲を何ら限定するものではない。実施形態に記載される全ての特徴やそれらの組合せは、必ずしも本発明の本質的なものであるとは限らない。
　本発明の画像検査装置等は、任意の検査対象物の検査に利用できる。従って、検査対象物が特に限定されるものではないが、本実施形態ではボイラの火炉の水管壁やコークス炉の炉壁を検査対象物とする例を中心に説明する。検査対象物の他の例については後述する。
　図１は、ＣＦＢ（Circulating Fluidized Bed：循環流動層）ボイラを備える発電設備の全体的な構成を示す。なお、ＣＦＢボイラの代わりにＢＦＢ（Bubbling Fluidized Bed：気泡型流動床）ボイラやロータリーキルン等の他の任意の燃焼設備を発電設備に設けてもよい。
　ＣＦＢボイラは、珪砂等の流動材が流動する火炉１１内に石炭等の化石燃料等の燃料を供給して燃焼させる燃焼部１と、燃焼部１で発生した熱によって水から蒸気を発生させる蒸気発生部２と、火炉１１外に出た流動材を捕集して火炉１１内に戻す循環部としての流動材循環部３と、蒸気発生部２に供給される水、蒸気発生部２で発生する蒸気を燃焼部１の高温の排気によって加熱する伝熱部４と、伝熱部４からの排気中の煤や粉塵を分離して捕集する排気処理装置５と、排気処理装置５によって清浄化された排気を大気に放出する煙突６を備える。
　燃焼部１は燃焼室としての火炉１１を備える。火炉１１は鉛直方向に長尺の筒状であり、石炭等の固形燃料や流動材の密度を高めて効率的な燃焼を可能とするため底部が先細り形状となっている。火炉１１の底部の「Ａ」で示される領域は、高密度の流動材によって形成される流動層（流動床や砂層とも呼ばれる）を示す。流動層Ａでは、珪砂等の粉末状、粒子状、塊状の流動材が、火炉１１の底部から供給される流動流体によって流動している。流動層Ａに投入された石炭等の固形燃料は、流動層Ａ内で撹拌されるように高温の流動材と繰り返し接触することで効率的に燃焼される。
　火炉１１の底部には、ガスを透過させる多孔質材料で構成された流体透過部としての多孔板（分散板とも呼ばれる）１２１が設けられる。多孔板１２１の直下の空間である風箱１２２は、送風機としての第１ブロワ７１から第１流量制御バルブ７１Ａを介して供給される流動流体を、多孔板１２１を介して火炉１１内に供給する流動流体供給部を構成する。風箱１２２によって火炉１１の底部に供給されたガスは、流動材を流動させて流動層Ａを形成すると共に、流動層ＡまたはフリーボードＢにおける燃料の燃焼に使われる。
　第１ブロワ７１に加えて設けられる第２ブロワ７２は、フリーボードＢにおける燃料の燃焼を促進して不完全燃焼によるダイオキシンや一酸化炭素等の有害物質の発生を抑制するために、排気処理装置５からの二酸化炭素を含む排気を第２流量制御バルブ７２Ａを介してフリーボードＢ内に供給する。このように、第１ブロワ７１および第２ブロワ７２は、火炉１１における燃焼によって発生した二酸化炭素を含む排気の少なくとも一部を排気処理装置５から火炉１１に環流させる。
　流動層Ａにおける流動材を循環させるために、火炉１１外の循環経路を有する外部循環機構１３が設けられる。外部循環機構１３は、火炉１１の底部に連通して流動層Ａにおける流動材の一部を抜き出し可能な抜出管１３１と、抜出管１３１を開閉制御して流動材の流量すなわち抜出管１３１による流動材の抜き出し量を調節可能な開閉弁１３２と、抜出管１３１で抜き出された流動材を上方に搬送するバケットコンベア等の流動材コンベア１３３と、流動層Ａの上部に対応する火炉１１の外周に設けられ流動材コンベア１３３によって搬送された流動材を受け入れる流動材サイロ１３４と、流動材サイロ１３４に貯蔵された流動材を火炉１１内に再投入する流動材再投入部１３５を備える。
　火炉１１の側壁である炉壁には、燃料その他の材料を火炉１１内に供給する材料供給部１４と、流動層Ａを形成するための流動材を火炉１１内に供給する流動材供給部１５と、ＣＦＢボイラを起動する起動部１６が設けられる。材料供給部１４は、材料を貯留する漏斗状のホッパ１４１と、ホッパ１４１の底部から排出された材料を粒状に粉砕する粉砕部１４２と、粉砕部１４２で粉砕された材料を火炉１１内に供給するフィーダ１４３を備える。
　材料供給部１４は、炭素を含有する炭素含有燃料を火炉１１内に供給する。炭素含有燃料は特に限定されるものではないが、例えば、無煙炭、瀝青炭、褐炭等の各種の石炭、バイオマス燃料、スラッジ、廃材が挙げられる。これらの炭素含有燃料は火炉１１での燃焼時に二酸化炭素を発生させる。但し、バイオマス燃料は正味の二酸化炭素排出量が少ないまたは零のカーボンニュートラルな燃料である。材料供給部１４における粉砕部１４２は、火炉１１に供給される前の材料を粒状に粉砕する。粉砕部１４２で粉砕された粒状の材料は、回転数を制御可能なフィーダ１４３によって必要量が火炉１１内に投入される。
　流動層Ａを形成するための流動材を供給する流動材供給部１５は、流動材を貯留する漏斗状の流動材ホッパ１５１と、流動材ホッパ１５１の底部から排出される流動材を火炉１１内に供給する流動材フィーダ１５２を備える。流動材フィーダ１５２の回転数を制御することで、必要量の流動材が火炉１１内に投入される。
　ＣＦＢボイラを起動する起動部１６は、起動燃料貯留部１６１と、起動燃料制御バルブ１６２と、起動バーナ１６３を備える。起動燃料貯留部１６１は、炭素含有燃料としての重油を貯留する。起動燃料制御バルブ１６２は、起動燃料貯留部１６１から起動バーナ１６３への重油の供給量を制御する。具体的には、起動燃料制御バルブ１６２はＣＦＢボイラの起動時に開状態となり、起動燃料貯留部１６１に貯留された重油を起動バーナ１６３に供給する。起動バーナ１６３は、起動燃料制御バルブ１６２から供給された重油の燃焼による炎で流動層Ａにおける流動材を加熱する。起動バーナ１６３は下方に傾斜して設けられるため、流動材によって形成される流動層Ａの表面が直接加熱され、流動層Ａおよび火炉１１内が効率的に昇温する。このように起動バーナ１６３は砂状の流動層Ａを上方から加熱するため砂上バーナとも呼ばれる。
　流動層Ａおよび火炉１１内が十分に昇温したＣＦＢボイラの起動後、具体的には流動層Ａにおいて材料供給部１４から供給された燃料または材料の燃焼が可能となった後、起動燃料制御バルブ１６２は閉状態となって起動バーナ１６３への重油の供給を停止する。以降の通常運転状態では、材料供給部１４から供給される燃料が高温の火炉１１内で燃焼される。
　以上、ＣＦＢボイラの燃焼部１について詳細に説明した。続いて、ＣＦＢボイラの燃焼部１以外の構成を説明する。蒸気発生部２は、蒸気を発生させる水を貯留するドラム２１と、ドラム２１に水を供給する給水管２２と、ドラム２１内の水を高温の火炉１１内に導いて加熱する水管２３と、水管２３で加熱された水から発生した蒸気をＣＦＢボイラの出力としてドラム２１から排出する蒸気管２４を備える。蒸気管２４から出力された蒸気によって発電機２５の蒸気タービンが回転することで発電設備が発電する。給水管２２は燃焼部１の高温の排気が通る伝熱部４内を蛇行することで給水を予熱する節炭器を構成し、蒸気管２４は燃焼部１の高温の排気が通る伝熱部４内を蛇行することで蒸気を過熱する過熱器を構成する。
　流動材循環部３は、火炉１１の上部から排出された排気から粒状の流動材を分離して捕集するサイクロン３１と、サイクロン３１で捕集された流動材を火炉１１内に戻すシールポット３２を備える。サイクロン３１は、上部が略円筒状および下部が略円錐状に形成されたサイクロン式粉体分離器であり、内壁に沿って螺旋状に降下する気流を発生させる。火炉１１からの排気に含まれる粒状の流動材は、気流に沿って螺旋状に降下する際にサイクロン３１の内壁に接触して落下することで捕集される。
　サイクロン３１の下方に設けられるシールポット３２は流動材で充填されており、火炉１１からサイクロン３１への未燃ガス等の逆流を防止する。シールポット３２に充填された粒状の流動材は、サイクロン３１が新たに捕集する流動材の重みによって押し出される形で、徐々に火炉１１内に戻される。排気処理装置５は、伝熱部４からの排気中の煤や粉塵を分離して捕集する。
　図２は、検査対象物の一例であるＣＦＢボイラやＢＦＢボイラ等の火炉１１における内壁を構成する水管壁８０を示す一部破断斜視図である。火炉１１の水管壁８０は、鉛直方向に延びる複数のパイプ８２と、隣接する各パイプ８２の間を連結するフィン８４によって構成される。各パイプ８２には、水その他の液体や、それらの蒸気が通っている。水管壁８０は高温の火炉１１に面しているため、熱によって損傷を受ける可能性がある。また、火炉１１内で燃焼された石炭等の燃料や灰等が、水管壁８０に衝突または付着することで損傷に繋がる可能性もある。更に、高温環境下で高圧になったパイプ８２内の水や水蒸気が、パイプ８２内から水管壁８０を損傷させる可能性もある。後述するように、本実施形態に係る画像検査装置３００によれば、このような水管壁８０における損傷を効率的に診断できる。
　火炉１１の水管壁８０の検査画像を撮影する撮影装置としてのカメラ３０（図２では不図示）は、カメラ３０を移動させる移動体、例えば、図３に示す押出装置２００のようなスライド機構、水管壁８０に沿って移動可能なドローン、ロボット、昇降機等に取り付けられる。カメラ３０は、移動体と共に火炉１１内を水管壁８０に沿って移動しながら連続的に炉壁９１を撮影する。カメラ３０は、静止画を連続的に撮影するスチルカメラでもよいし、動画を撮影するビデオカメラでもよい。
　図３は、本実施形態の画像検査装置が用いられる炉内観察装置を模式的に示す側面図である。この炉内観察装置は、コークス炉の炭化室（以下では単にコークス炉ともいう）の内部を観察するために使用される。図４は、コークス炉の内部を模式的に示す図である。
　コークス炉９０は、一対のレンガ造りの炉壁９１が互いに対向して設けられた狭窄な炉である。各炉壁９１は、コークス炉９０の一方側の炉入口９２から他方側の炉出口９３に延び、その全長は例えば十数メートルに及ぶ。対向する炉壁９１の間隔は、例えば数十センチメートルである。コークス炉９０の底９５から天井９４までの高さは、例えば数メートルである。
　図３に示される押出装置２００は、コークス炉９０内を反復的に往復移動する。往路において、押出装置２００は、コークス炉９０内に炉入口９２から挿入され、コークス炉９０内の乾留によって生成されたコークスＣを炉出口９３へと押し出す。復路において、押出装置２００は、コークス炉９０内を炉出口９３から炉入口９２へ戻る。押出装置２００は押板２１０とビーム２２０を備え、ビーム２２０が押板２１０を図示しない駆動装置に接続する。この駆動装置によって、押板２１０がコークス炉９０の炉入口９２と炉出口９３の間を移動できる。押板２１０がコークス炉９０と略同じ断面形状をしているため、押板２１０の移動によってコークスＣが炉出口９３に向かって押し出される。
　検査画像を撮影する撮影装置としてのカメラ３０は、カメラ３０を移動させる移動体としての押出装置２００に取り付けられ、コークス炉９０内を炉入口９２と炉出口９３の間で押出装置２００と共に移動しながら連続的に炉壁９１を撮影する。カメラ３０は、静止画を連続的に撮影するスチルカメラでもよいし、動画を撮影するビデオカメラでもよい。カメラ３０は、押板２１０の背面（図３における右側の面）または押板２１０の後方に設置される不図示の支持台に取り付けられる。また、検査対象物としての炉壁９１を照明する一または複数の照明装置が、撮影装置としてのカメラ３０自体、カメラ３０を支持する支持部材としての支持台、カメラ３０を移動させる移動体としての押出装置２００、カメラ３０を移動可能に収容する収容空間としてのコークス炉９０等に設けられてもよい。
　カメラ３０は、左右の炉壁９１それぞれに向けて取り付けられる二つのカメラを含んでもよく、左右両側の炉壁９１の正面視画像を撮影する。左右の炉壁９１全体を撮影するために、二つのカメラは上下方向に角度を変化させながら撮影してもよい。なお、カメラ３０は、押板２１０やコークスＣに視界を阻まれないように、押出装置２００によるコークスＣの押出方向と逆方向（図３の右方向）を向くように取り付けられてもよい。この場合のカメラ３０は炉入口９２に正対して設置され、左右両側の炉壁９１を斜視画像として撮影できる。コークス炉９０内の高温環境（たとえば1000℃以上）からカメラ３０を保護するための熱対策として、例えば耐熱ハウジングまたは冷却ボックスにカメラ３０を収納してもよい。
　図５は、第１実施形態に係る画像検査装置３００の機能ブロック図である。画像検査装置３００は、検査画像取得部３１０と、照明条件推定部３２０と、機械学習部３３０と、画像検査モデル選択部３４０と、画像検査部３５０を備える。これらの機能ブロックは、コンピュータの中央演算処理装置、メモリ、入力装置、出力装置、コンピュータに接続される周辺機器等のハードウェア資源と、それらを用いて実行されるソフトウェアの協働により実現される。コンピュータの種類や設置場所は問わず、上記の各機能ブロックは、単一のコンピュータのハードウェア資源で実現してもよいし、複数のコンピュータに分散したハードウェア資源を組み合わせて実現してもよい。
　カメラ３０および検査画像格納部３０２は、検査対象物の被検査面としての火炉１１の水管壁８０やコークス炉の炉壁９１を撮影した検査画像を画像検査装置３００に入力する画像入力部を構成する。表示装置４０は、画像検査装置３００の処理内容等を表示する。操作部５０は、表示装置４０と一体のタッチパネルや表示装置４０と別体のキーボードやマウス等の入力デバイスで構成され、ユーザの操作に応じて画像検査装置３００に対する各種の制御情報を生成する。操作部５０による操作の一部または全部をコンピュータが自律的に行うようにプログラミングしてもよい。
　検査画像格納部３０２は、カメラ３０が撮影した水管壁８０や炉壁９１の検査画像群を保存する。検査画像格納部３０２は、カメラ３０の内蔵メモリでもよいし、メモリーカード等の汎用のリムーバブルメディアでもよい。また、有線または無線でカメラ３０と通信可能なボイラ外やコークス炉９０外のストレージでもよい。画像検査装置３００は、検査画像格納部３０２に保存された検査画像群に対して、後述する各処理を実行する。ここで、カメラ３０と画像検査装置３００が有線または無線で通信可能で、画像検査装置３００がカメラ３０の撮影した検査画像をリアルタイムで取得して処理できる場合は、必ずしも全ての検査画像を検査画像格納部３０２に保存する必要はなく、検査画像格納部３０２は不要または小容量とできる。
　カメラ３０によって撮影される検査対象物が照明装置３０１によって照明される場合、照明装置３０１の照明パラメータ、例えば、光束（ルーメン）、光度（カンデラ）、照度（ルクス）、輝度（光源面積当たり光度）、色（色相、彩度、明度）、照明範囲、照明角度等が、検査画像データのメタデータとして検査画像データと共に検査画像格納部３０２に格納されてもよい。照明装置３０１は、撮影装置としてのカメラ３０自体に設けられるものでもよいし、カメラ３０を支持する支持部材に設けられるものでもよいし、カメラ３０を移動させる移動体（図３における押出装置２００、ドローン、ロボット、昇降機等）に設けられるものでもよいし、カメラ３０の周囲の空間（図１における火炉１１、図３におけるコークス炉９０、建物や部屋の天井、内部、外部、内壁、外壁等）に設けられるものでもよい。また、検査対象物は、照明装置３０１に限らず太陽光等の自然光によって照明されてもよい。
　検査画像取得部３１０は、カメラ３０または検査画像格納部３０２から、照明装置３０１や自然光等によって照明された検査対象物を撮影した検査画像を取得する。ここで、検査画像取得部３１０が検査画像格納部３０２から検査画像を取得する場合、ユーザは操作部５０によって、取得すべき検査画像の撮影日時、撮影位置、撮影時の照明装置３０１の照明パラメータを指定できる。この場合、検査画像取得部３１０は、操作部５０によって指定された条件に合致する検査画像を検査画像格納部３０２において検索し、ヒットした一または複数の検査画像データを一部または全部のメタデータと共に検査画像格納部３０２から取得する。
　照明条件推定部３２０は、入力された検査画像について撮影時の照明条件を出力する照明条件推定モデル３３１に基づいて、検査画像取得部３１０が取得した検査画像について撮影時の照明条件を推定する。画像検査モデル選択部３４０は、所定の複数の照明条件にそれぞれ対応する複数の画像検査モデル３３２の中から、照明条件推定部３２０が推定した照明条件に合う画像検査モデルを選択する。画像検査モデル３３２は、例えば、検査画像取得部３１０が取得した検査画像において検査対象物の損傷を検出する損傷検出モデルである。図６は、照明条件推定部３２０および画像検査モデル選択部３４０における処理を模式的に示す。なお、本図および後続の図では、検査画像の例としてコークス炉９０の炉壁９１の画像を便宜的かつ模式的に示すが、これらに関する説明は他の検査対象物、特にボイラの火炉１１における水管壁８０の画像検査にも同様に適用できる。
　照明条件推定部３２０または照明条件推定モデル３３１は、検査画像取得部３１０から提供される検査画像データ４２と、利用可能な場合は照明装置３０１の照明パラメータ４１（検査画像データ４２のメタデータ）を入力として、当該検査画像データ４２の撮影時の照明条件を推定する。図示の例では、照明条件推定部３２０または照明条件推定モデル３３１の出力としての照明条件が、複数の照明カテゴリＩ１～Ｉ６に分類されている。各照明カテゴリＩ１～Ｉ６は、検査画像データ４２に現れる照明の影響を類型化したものである。照明カテゴリは、例えば、光束、光度、照度、輝度、色、照明範囲、照明角度等の照明パラメータをクラスタリング等の手法によって分類したものでもよい。
　典型的には、各照明カテゴリＩ１～Ｉ６は照明装置３０１の照明パラメータ４１と相関を持つが、照明パラメータ４１が同一の場合であっても、検査対象物の構造や光学特性、照明装置３０１以外の自然光や外光の影響によって、検査画像データ４２に現れる照明の影響は異なりうる。従って、照明装置３０１の照明パラメータ４１は、照明条件（各照明カテゴリＩ１～Ｉ６）を推定する上で有力な情報ではあるが、照明条件を一意的に確定できる絶対的なデータではない。このため、照明装置３０１の照明パラメータ４１が利用できるか否かによらず、照明条件を高精度に推定するための照明条件推定モデル３３１を構築することが重要である。
　照明条件推定部３２０または照明条件推定モデル３３１は、検査画像取得部３１０から提供される検査画像データ４２の撮影時の照明条件が、複数の照明カテゴリＩ１～Ｉ６のそれぞれに対応する確率ｐ１～ｐ６を出力する。画像検査モデル選択部３４０は、複数の照明カテゴリＩ１～Ｉ６のそれぞれに対応する複数の画像検査モデルＭ１～Ｍ６の中から、照明条件推定部３２０が推定した照明条件に合う一または複数の画像検査モデルを選択する。
　画像検査モデル選択部３４０が一つの画像検査モデルを選択する場合、照明条件推定部３２０が出力した確率ｐ１～ｐ６が最大の照明カテゴリＩ１～Ｉ６に対応する画像検査モデルＭ１～Ｍ６を選択する。以下では、ｐ１＋ｐ２＋ｐ３＋ｐ４＋ｐ５＋ｐ６＝１、となるように正規化された確率ベクトルＰが、Ｐ＝（ｐ１，ｐ２，ｐ３，ｐ４，ｐ５，ｐ６）＝（0.4, 0, 0, 0.3, 0.2, 0.1）、である例について説明する。この場合、一つの画像検査モデルを選択する画像検査モデル選択部３４０は、照明条件推定部３２０が出力した最大の確率ｐ１（0.4）の照明カテゴリＩ１に対応する画像検査モデルＭ１を選択する。画像検査部３５０（図５）は、画像検査モデル選択部３４０が選択した画像検査モデルＭ１に基づいて、検査画像データ４２を検査する。例えば、画像検査部３５０は画像検査モデルＭ１に基づいて、検査画像データ４２において検査対象物の損傷を検出する。
　画像検査モデル選択部３４０は、複数の画像検査モデルを選択してもよい。例えば、画像検査モデル選択部３４０は、照明条件推定部３２０が出力した確率ｐ１～ｐ６が所定値以上の照明カテゴリＩ１～Ｉ６に合う画像検査モデルＭ１～Ｍ６を選択する。Ｐ＝（ｐ１，ｐ２，ｐ３，ｐ４，ｐ５，ｐ６）＝（0.4, 0, 0, 0.3, 0.2, 0.1）の例において、確率に対する所定値を例えば「0.25」とする。この場合、画像検査モデル選択部３４０は、照明条件推定部３２０が出力した確率ｐ１～ｐ６が「0.25」以上の複数の照明カテゴリＩ１（ｐ１＝0.4）、Ｉ４（ｐ４＝0.3）に合う複数の画像検査モデルＭ１、Ｍ４を選択する。画像検査部３５０（図５）は、画像検査モデル選択部３４０が選択した複数の画像検査モデルＭ１、Ｍ４に基づく検査結果または損傷検出結果Ｊ１、Ｊ４を、対応する確率ｐ１（0.4）、ｐ４（0.3）に応じて重み付けする。例えば、正規化除数ｐ０＝ｐ１＋ｐ４（0.7）を用いて、Ｊ＝（ｐ１Ｊ１＋ｐ４Ｊ４）／ｐ０、が最終的な検査結果または損傷検出結果となる。なお、照明条件推定部３２０が出力した確率ｐ１～ｐ６が所定値以上の照明カテゴリＩ１～Ｉ６（上記の例ではＩ１、Ｉ４）を抽出した後は、確率ｐ１（0.4）、ｐ４（0.3）を同一の値（例えば両者の平均の「0.35」）として、最終的な検査結果または損傷検出結果Ｊを演算してもよい。
　本実施形態によれば、検査画像データ４２の撮影時の照明条件（照明カテゴリＩ１～Ｉ６）が照明条件推定部３２０によって推定され、それに合う画像検査モデルＭ１～Ｍ６に基づいて検査画像が画像検査部３５０によって検査されるため、検査画像データ４２の撮影時の照明条件によらずに適切に検査対象物を画像検査できる。
　照明条件推定モデル３３１および／または画像検査モデル３３２は、機械学習装置を構成する機械学習部３３０によって生成される。機械学習部３３０は、好ましくは照明パラメータ４１が既知の照明装置３０１によって照明された検査対象物を撮影した検査画像データ４２と、当該検査画像データ４２について人為的に、または、ラベリングツールやアノテーションツールを通じて付与された（ラベリングされた）照明条件（照明カテゴリＩ１～Ｉ６）の多数の組を含む網羅的な訓練データによるニューラルネットワーク等における機械学習によって、入力される検査画像データ４２について撮影時の照明条件（照明カテゴリＩ１～Ｉ６）の確率ｐ１～ｐ６等を出力する照明条件推定モデル３３１を生成する。
　機械学習部３３０は、各照明カテゴリＩ１～Ｉ６に対応する照明条件で撮影された各検査画像データ４２と、当該各検査画像データ４２について人為的に、または、ラベリングツールやアノテーションツールを通じて付与された（ラベリングされた）検査結果または損傷検出結果Ｊ１～Ｊ６の多数の組を含む網羅的な訓練データによるニューラルネットワーク等における機械学習によって、照明条件推定部３２０によって照明カテゴリＩ１～Ｉ６に分類された検査画像データ４２について検査対象物の検査結果または損傷検出結果Ｊ１～Ｊ６を出力する画像検査モデルＭ１～Ｍ６を生成する。具体的には、ｋ＝１～６として、第ｋ照明カテゴリＩｋに対応する照明条件で撮影された検査画像データ４２と、当該各検査画像データ４２についてラベリングされた第ｋ検査結果または第ｋ損傷検出結果Ｊｋの多数の組を含む網羅的な訓練データによる機械学習によって、照明条件推定部３２０によって第ｋ照明カテゴリＩｋに分類された検査画像データ４２について検査対象物の第ｋ検査結果または第ｋ損傷検出結果Ｊｋを出力する第ｋ画像検査モデルＭｋが機械学習部３３０によって生成される。
　機械学習部３３０が照明条件推定モデル３３１を生成するための訓練データは、照明装置３０１の既知の照明パラメータ４１や、検査画像データ４２について人為的に、または、ラベリングツールやアノテーションツールを通じて付与された（ラベリングされた）検査対象物の検査結果または損傷検出結果Ｊ（前述のＪ１、Ｊ４等に相当する）を含んでもよい。これらの各種の利用可能なデータを訓練データとする共学習によって、照明条件推定モデル３３１による照明条件の推定精度、ひいては、画像検査部３５０による損傷等の検出精度を向上させることができる。この共学習によって、検査画像データ４２を入力として、照明条件（照明カテゴリＩ１～Ｉ６）および損傷検出結果Ｊを同時に出力する推定モデル３３１を生成できる。詳細については図９において後述する。
　なお、検査対象物の検査結果Ｊを訓練データとして共学習した照明条件推定モデル３３１または照明条件推定部３２０は、検査画像データ４２を入力として検査結果Ｊも出力できる（図６では不図示、図９を参照）。従って、照明条件推定モデル３３１または照明条件推定部３２０は、画像検査部３５０としても機能しうる。このため、画像検査モデル３３２、画像検査モデル選択部３４０、画像検査部３５０を設けずに、検査画像取得部３１０、照明条件推定部３２０、機械学習部３３０（照明条件推定モデル３３１）のみで画像検査装置３００を構成することも可能である。なお、後述する第２実施形態（図９）において、照明条件推定モデル３３１が出力する検査結果Ｊを利用した他の画像検査方法または損傷検出方法について説明する。
　図７は、表示装置４０の画面例を示す。左上には、検査対象としての検査画像データ４２が表示される。その下の付随情報表示領域４４には、検査画像データ４２に付随する各種のメタデータ、具体的には、撮影日時、撮影位置等が表示される。なお、操作部５０によって前ボタン５５を押下すると、検査画像データ４２が前の画像に切り替わり、操作部５０によって次ボタン５６を押下すると、検査画像データ４２が次の画像に切り替わる。
　類似照明条件画像表示領域４５には、検査画像データ４２と類似する照明条件の他の画像が自動的に、または、操作部５０によって実行ボタン５２を押下することで表示される。具体的には、検査画像データ４２について照明条件推定部３２０が推定した照明カテゴリＩ１～Ｉ６および／または確率ｐ１～ｐ６が類似する一または複数の画像が類似照明条件画像表示領域４５に表示される。なお、図７では便宜的に類似照明条件画像表示領域４５の画像を検査画像データ４２と同一の検査対象物の同一部位を撮影したものとしているが、類似照明条件画像表示領域４５に表示される画像は検査画像データ４２と異なる検査対象物および／または異なる部位を撮影したものでよい。これらの照明条件が類似する画像群を画面上で対比することで、検査画像データ４２についての照明条件推定部３２０による照明条件の推定結果の適否を一目で判断できる。
　画像検査モデル重み領域５１には、画像検査モデル選択部３４０による画像検査モデルＭ１～Ｍ６の選択結果が、対応する重みによって表示されている。図示の例では、照明条件推定部３２０によって出力された確率ベクトルＰ＝（ｐ１，ｐ２，ｐ３，ｐ４，ｐ５，ｐ６）＝（0.4, 0, 0, 0.3, 0.2, 0.1）の各要素が、そのまま重みとして画像検査モデル重み領域５１によって採用されている。この状態で操作部５０によって実行ボタン５２を押下すると、画像検査モデル重み領域５１で設定された重み（ｐ１，ｐ２，ｐ３，ｐ４，ｐ５，ｐ６）に応じて各画像検査モデルＭ１～Ｍ６が検査画像データ４２に適用されて検査対象物の検査結果または損傷検出結果４３が得られる。ここで、各画像検査モデルＭ１～Ｍ６を検査画像データ４２に適用して得られる検査結果または損傷検出結果をＪ１～Ｊ６とすれば、損傷検出結果４３としてのＪはΣｋｐｋＪｋと表される。
　損傷検出結果４３における４３１～４３３は、検査対象物としてのコークス炉９０の炉壁９１の損傷を模式的に表す。具体的には、炉壁９１のひびや穴、急熱や急冷による歪みで炉壁９１が破壊するスポーリング、コークスの原料の石炭に由来するカーボンの炉壁９１への付着、炉壁９１を構成するレンガの目地の劣化等が損傷４３１～４３３に該当する。また、検査対象物の被検査面としてのボイラの火炉１１における水管壁８０に生じる損傷、欠陥、異常としては、前述したように、高温の火炉１１の熱による損傷、火炉１１内で燃焼された石炭等の燃料や灰等が衝突または付着することによる損傷、高温環境下で高圧になった水や水蒸気によるパイプ８２内からの損傷が例示される。なお、所期の損傷検出結果４３が得られない場合等には、画像検査モデル重み領域５１における各重み（ｐ１，ｐ２，ｐ３，ｐ４，ｐ５，ｐ６）を、操作部５０によって変更できる。このように、画像検査装置３００のユーザは画面上で損傷検出結果４３を確認しながら、画像検査モデル重み領域５１における各重み（ｐ１，ｐ２，ｐ３，ｐ４，ｐ５，ｐ６）を最適化できる。この最適化の内容は照明条件推定モデル３３１にとって極めて有益な訓練データとなるため、機械学習部３３０にフィードバックされて照明条件推定モデル３３１の更新に利用される。
　図７の画面の右下部に設けられる画像保存ボタン５３を操作部５０によって押下すると、画面上で生成された損傷検出結果４３が画像検査モデル重み領域５１における各重み（ｐ１，ｐ２，ｐ３，ｐ４，ｐ５，ｐ６）と共に検査画像格納部３０２その他のデータベースに保存される。また、補修フラグ５４を操作部５０によって押下すると、損傷検出結果４３で検出された損傷４３１～４３３について、早期の補修が必要であるとの所見が記録されると共に、補修を担当する組織や人員に報知される。
　図８は、第２実施形態に係る画像検査装置３００の機能ブロック図である。第１実施形態と同様の構成要素には同一の符号を付して重複した説明を省略する。画像検査装置３００は、検査画像取得部３１０と、第１実施形態における照明条件推定部３２０と類似の推定部３２０と、機械学習部３３０と、画像検査部３５０を備える。
　検査画像取得部３１０は、カメラ３０または検査画像格納部３０２から、異なる照明条件で照明された検査対象物を撮影した複数の検査画像を取得する。ここで、照明装置３０１の照明パラメータ４１（図９）を変更することで異なる照明条件を実現できる。照明パラメータ４１の変更の態様は規則的でもよいし不規則的でもよい。また、照明パラメータ４１は変更の都度、検査画像格納部３０２に保存されてもよいし、全く保存または記録されなくてもよい。
　図９に示されるように、推定部３２０は、入力された検査画像について、撮影時の照明条件（照明パラメータ４１等）が複数の照明カテゴリＩ１～Ｉ６のそれぞれに合う確率ｐ１～ｐ６を出力すると共に、検査対象物の損傷検出結果Ｊを出力する推定モデル３３１に基づいて、検査画像取得部３１０が取得した複数の検査画像データ４２について確率ｐ１～ｐ６および損傷（検出結果）Ｊをそれぞれ推定する。推定モデル３３１としては、図６の第１実施形態における照明条件推定モデル３３１を使用できる。
　損傷検出部１５０（図８）は、異なる照明条件で撮影された複数の検査画像データ４２についての損傷の推定結果Ｊを、確率ｐ１～ｐ６の推定結果を踏まえて総合して検査対象物の損傷を検出する。具体的には、例えば、検査画像データ４２毎に推定される確率ｐ１～ｐ６の最大値が所定値（例えば「75%」）以上の場合、当該検査画像データ４２の照明条件の推定結果は十分に信頼できる。このため、当該確率ｐ１～ｐ６と同時に得られた損傷の推定結果Ｊも十分に信頼できる。このように、異なる照明条件で撮影された複数の検査画像データ４２のうち、照明条件の推定結果ｐ１～ｐ６および損傷の推定結果Ｊが十分に信頼できるもののみが抽出される。そして、抽出された推定結果Ｊを例えば平均することで、精度の高い損傷の推定結果Ｊが得られる。この手法は、例えば、照明装置３０１の照明パラメータ４１をランダムに変化させながら連続的に撮影された検査画像データ４２群にも適用できるため、照明条件に依存しないロバストな損傷検出手法になっている。
　以上、本発明を実施形態に基づいて説明した。実施形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
　前述の実施形態では、画像検査装置３００の検査対象物としてボイラとコークス炉９０を例示したが、検査対象物はこれに限定されない。例えば、検査対象物は、建設機械など各種の産業機械（ボイラとコークス炉を含む）、橋梁などの社会インフラ、環境プラントや水処理施設など各種の産業構造物、またはその他の産業設備でもよく、被検査面は、このような産業設備の内部または外部の被検査面でもよい。また、これらの被検査面の画像群を撮影するカメラは、被検査面に沿って移動可能な任意の構成の移動体に取り付けることができる。例えば、カメラはいわゆるドローンなどの飛行体に取り付けてもよい。
　なお、実施形態で説明した各装置の機能構成はハードウェア資源またはソフトウェア資源により、あるいはハードウェア資源とソフトウェア資源の協働により実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション等のプログラムを利用できる。
　本発明は検査対象物の画像検査装置等に関する。
　１１　火炉、３０　カメラ、４０　表示装置、４１　照明パラメータ、４２　検査画像データ、４３　損傷検出結果、４５　類似照明条件画像表示領域、５０　操作部、５１　画像検査モデル重み領域、８０　水管壁、９０　コークス炉、９１　炉壁、３００　画像検査装置、３０１　照明装置、３０２　検査画像格納部、３１０　検査画像取得部、３２０　照明条件推定部、３３０　機械学習部、３３１　照明条件推定モデル、３３２　画像検査モデル、３４０　画像検査モデル選択部、３５０　画像検査部。

Claims (9)

  1. 　照明された検査対象物を撮影した検査画像を取得する検査画像取得部と、
    　前記検査画像に基づいて、撮影時の照明条件を推定する照明条件推定部と、
    　所定の複数の照明条件にそれぞれ対応する複数の画像検査モデルの中から、前記照明条件推定部が推定した照明条件に合う画像検査モデルを選択する画像検査モデル選択部と、
    　前記画像検査モデル選択部が選択した画像検査モデルに基づいて、前記検査画像を検査する画像検査部と、
    　を備える画像検査装置。
  2. 　前記照明条件推定部は、入力された検査画像について撮影時の照明条件を出力する照明条件推定モデルに基づいて、前記検査画像取得部が取得した検査画像について撮影時の照明条件を推定する、請求項１に記載の画像検査装置。
  3. 　前記画像検査モデルは、前記検査画像において前記検査対象物の損傷を検出する損傷検出モデルである、請求項１または２に記載の画像検査装置。
  4. 　前記照明条件推定部は、前記検査画像の撮影時の照明条件が、前記所定の複数の照明条件のそれぞれに合う確率を出力し、
    　前記画像検査モデル選択部は、前記照明条件推定部が出力した確率が所定値以上の照明条件に合う画像検査モデルを選択し、
    　前記画像検査部は、前記画像検査モデル選択部が選択した画像検査モデルに基づく検査結果を、対応する前記確率に応じて重み付けする、
    　請求項１から３のいずれかに記載の画像検査装置。
  5. 　異なる照明条件で照明された検査対象物を撮影した複数の検査画像を取得する検査画像取得部と、
    　入力された検査画像について、撮影時の照明条件が所定の複数の照明条件のそれぞれに合う確率を出力すると共に、検査対象物の損傷を出力する推定モデルに基づいて、前記検査画像取得部が取得した複数の検査画像について前記確率および前記損傷をそれぞれ推定する推定部と、
    　前記複数の検査画像についての前記損傷の推定結果を、前記確率の推定結果を踏まえて総合して前記検査対象物の損傷を検出する損傷検出部と、
    　を備える画像検査装置。
  6. 　照明装置によって照明された検査対象物を撮影した検査画像と、当該照明装置の照明条件の組を含む訓練データによる機械学習によって、入力される検査画像について撮影時の照明条件を出力する照明条件推定モデルを生成する機械学習部を備える機械学習装置。
  7. 　前記機械学習部は、前記検査画像、前記照明条件、当該検査画像における前記検査対象物の損傷の組を含む訓練データによる機械学習によって、入力される検査画像について撮影時の照明条件および前記検査対象物の損傷を出力する前記照明条件推定モデルを生成する、請求項６に記載の機械学習装置。
  8. 　照明された検査対象物を撮影した検査画像を取得する検査画像取得ステップと、
    　前記検査画像に基づいて、撮影時の照明条件を推定する照明条件推定ステップと、
    　所定の複数の照明条件にそれぞれ対応する複数の画像検査モデルの中から、前記照明条件推定ステップで推定された照明条件に合う画像検査モデルを選択する画像検査モデル選択ステップと、
    　前記画像検査モデル選択ステップで選択された画像検査モデルに基づいて、前記検査画像を検査する画像検査ステップと、
    　を備える画像検査方法。
  9. 　照明された検査対象物を撮影した検査画像を取得する検査画像取得ステップと、
    　前記検査画像に基づいて、撮影時の照明条件を推定する照明条件推定ステップと、
    　所定の複数の照明条件にそれぞれ対応する複数の画像検査モデルの中から、前記照明条件推定ステップで推定された照明条件に合う画像検査モデルを選択する画像検査モデル選択ステップと、
    　前記画像検査モデル選択ステップで選択された画像検査モデルに基づいて、前記検査画像を検査する画像検査ステップと、
    　をコンピュータに実行させる画像検査プログラム。
PCT/JP2023/005470 2022-03-10 2023-02-16 画像検査装置、機械学習装置、画像検査方法、画像検査プログラム WO2023171293A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-037017 2022-03-10
JP2022037017 2022-03-10

Publications (1)

Publication Number Publication Date
WO2023171293A1 true WO2023171293A1 (ja) 2023-09-14

Family

ID=87936782

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/005470 WO2023171293A1 (ja) 2022-03-10 2023-02-16 画像検査装置、機械学習装置、画像検査方法、画像検査プログラム

Country Status (2)

Country Link
TW (1) TW202336705A (ja)
WO (1) WO2023171293A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200126226A1 (en) * 2014-05-12 2020-04-23 Healthy.Io Ltd. Utilizing personal communications devices for medical testing
JP2020148643A (ja) * 2019-03-14 2020-09-17 セイコーエプソン株式会社 検査装置、検査方法、及びプログラム
US20200302684A1 (en) * 2019-03-21 2020-09-24 Adobe Inc. Estimating lighting parameters for positions within augmented-reality scenes
JP2021057489A (ja) * 2019-09-30 2021-04-08 キヤノン株式会社 情報処理装置、判定方法、インプリント装置、リソグラフィシステム、物品の製造方法及びプログラム
WO2022044673A1 (ja) * 2020-08-27 2022-03-03 マクセルフロンティア株式会社 画像処理装置、検査システムおよび検査方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200126226A1 (en) * 2014-05-12 2020-04-23 Healthy.Io Ltd. Utilizing personal communications devices for medical testing
JP2020148643A (ja) * 2019-03-14 2020-09-17 セイコーエプソン株式会社 検査装置、検査方法、及びプログラム
US20200302684A1 (en) * 2019-03-21 2020-09-24 Adobe Inc. Estimating lighting parameters for positions within augmented-reality scenes
JP2021057489A (ja) * 2019-09-30 2021-04-08 キヤノン株式会社 情報処理装置、判定方法、インプリント装置、リソグラフィシステム、物品の製造方法及びプログラム
WO2022044673A1 (ja) * 2020-08-27 2022-03-03 マクセルフロンティア株式会社 画像処理装置、検査システムおよび検査方法

Also Published As

Publication number Publication date
TW202336705A (zh) 2023-09-16

Similar Documents

Publication Publication Date Title
JP6239747B2 (ja) 熱精算及び設計プログラムと運転者の運転形態分析を通じる焼却施設と固形燃料ボイラーの診断と制御及び設備生涯周期管理システム及び方法
JP6824859B2 (ja) 炉内状態量推定装置、推定モデル作成装置、それらのプログラムおよび方法
JP7051792B2 (ja) 燃焼設備の状態特定装置、状態特定方法およびプログラム
WO2023171293A1 (ja) 画像検査装置、機械学習装置、画像検査方法、画像検査プログラム
WO2019225457A1 (ja) モデル作成方法、プラントの運転支援方法及びモデル作成装置
CA2863911C (en) A method for controlling a combustion and/or gasification device
JP7193231B2 (ja) ストーカ炉の燃焼制御装置及び方法、並びに、燃料移動量の検出装置及び方法
JP2022161065A (ja) ごみ質予測装置、焼却炉の燃焼制御装置、ごみ質予測方法、ごみ質予測モデルの学習方法およびごみ質予測モデルプログラム
WO2023171398A1 (ja) 画像検査装置、機械学習装置、画像検査方法、画像検査プログラム
JP7308016B2 (ja) ごみ質推定システム及び方法、並びに、ごみ貯蔵設備
JP6782203B2 (ja) 発熱量推定方法、発熱量推定装置、及びごみ貯蔵設備
TW202323728A (zh) 控制裝置
TWI819707B (zh) 焚化爐設備之控制裝置
JP7180093B2 (ja) 炉内監視装置及び炉内監視方法
JP7445058B1 (ja) 燃焼設備用システムおよび燃焼制御方法
JP4187604B2 (ja) 被燃焼物における放射エネルギーの計測方法および計測装置
JP3467751B2 (ja) ごみ焼却炉における燃焼位置、燃え切り点位置の検出方式
Xie et al. Real-time diagnosis of circulation stability for CFB combustion optimization using a novel image trajectory method
JP7478297B1 (ja) 情報処理システム、情報処理方法、学習システム、および学習方法
Pan et al. Flame Combustion State Identification Based on CNN in Municipal Solid Waste Incineration Process
JP7243491B2 (ja) 炉内監視装置及び炉内監視方法
WO2024106008A1 (ja) 崩落検知システム、および崩落検知方法
JP2024021223A (ja) ごみの攪拌方法及びごみの攪拌システム
CN114746698A (zh) 燃烧设备、运算方法及程序
Salmi Developing computer vision-based soft sensor for municipal solid waste burning grate boiler: A practical application for flame front and area detection

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23766473

Country of ref document: EP

Kind code of ref document: A1