WO2021250986A1 - 検査装置、検査方法、および検査プログラム - Google Patents

検査装置、検査方法、および検査プログラム Download PDF

Info

Publication number
WO2021250986A1
WO2021250986A1 PCT/JP2021/014383 JP2021014383W WO2021250986A1 WO 2021250986 A1 WO2021250986 A1 WO 2021250986A1 JP 2021014383 W JP2021014383 W JP 2021014383W WO 2021250986 A1 WO2021250986 A1 WO 2021250986A1
Authority
WO
WIPO (PCT)
Prior art keywords
inspection
image
defect
region
ultrasonic
Prior art date
Application number
PCT/JP2021/014383
Other languages
English (en)
French (fr)
Inventor
貴裕 和田
良太 井岡
薫 篠田
猛 片山
Original Assignee
日立造船株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立造船株式会社 filed Critical 日立造船株式会社
Priority to CN202180041906.6A priority Critical patent/CN115836218A/zh
Priority to US18/008,632 priority patent/US20230221286A1/en
Publication of WO2021250986A1 publication Critical patent/WO2021250986A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/06—Visualisation of the interior, e.g. acoustic microscopy
    • G01N29/0654—Imaging
    • G01N29/069—Defect imaging, localisation and sizing using, e.g. time of flight diffraction [TOFD], synthetic aperture focusing technique [SAFT], Amplituden-Laufzeit-Ortskurven [ALOK] technique
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/04—Analysing solids
    • G01N29/11—Analysing solids by measuring attenuation of acoustic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/023—Solids
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/028—Material parameters
    • G01N2291/0289—Internal structure, e.g. defects, grain size, texture
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/26—Scanned objects
    • G01N2291/263—Surfaces
    • G01N2291/2636—Surfaces cylindrical from inside
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/26—Scanned objects
    • G01N2291/267—Welds
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/26—Scanned objects
    • G01N2291/267—Welds
    • G01N2291/2675—Seam, butt welding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Definitions

  • the present invention relates to an inspection device or the like for determining the presence or absence of defects from an image of an inspection object.
  • Non-destructive inspection has been widely applied in defect inspections performed before shipment or at the time of inspection of industrial products.
  • defects in a test piece are automatically detected by a method called an ultrasonic flaw detection test.
  • the ultrasonic flaw detection test is a test in which a signal caused by a defective portion of a test piece is selected from the measured ultrasonic signals to identify the position of the defective portion.
  • the signal caused by the defective portion of the test piece is detected based on the difference between the waveform obtained by the analysis and the waveform obtained by the measurement.
  • Patent Document 1 that analyzes based on the waveform of an ultrasonic signal
  • defect inspection using an ultrasonic image of waveform data has recently been performed. There is. Also, in the radiation transmission test (RT), the presence or absence of defects in the inspection object is determined from the image (radiation transmission photograph).
  • One aspect of the present invention is to realize an inspection device or the like that can automatically determine the presence or absence of defects whose positions, sizes, shapes, etc. in an image are indefinite.
  • the inspection device is input to an inspection image acquisition unit that acquires an inspection image which is an image for determining the presence or absence of a defect inside the inspection object.
  • the above inspection image is added to the generation model constructed by machine learning to generate a new image having the same characteristics as the image, and the image of the inspection target without defects is used as training data.
  • a defect presence / absence determination unit for determining the presence / absence of a defect in the inspection object is provided by using the restored image generated by inputting.
  • the inspection method is an inspection method using an inspection device in order to solve the above-mentioned problems, and is an image for determining the presence or absence of defects inside the inspection object.
  • An inspection image acquisition step to acquire an inspection image, and a generation model constructed by machine learning to generate a new image with the same characteristics as the input image, and is a super-defect-free inspection object. It includes a defect presence / absence determination step for determining the presence / absence of defects in the inspection target using the restored image generated by inputting the inspection image into the generation model constructed using the sound sound image as training data.
  • FIG. 1 It is a block diagram which shows an example of the main part structure of the inspection apparatus which concerns on Embodiment 1 of this invention. It is a figure which shows the outline of the inspection system including the said inspection apparatus. It is a figure which shows the outline of the inspection by the said inspection apparatus. It is a figure which shows the distribution example of the pixel value in the difference image generated based on the ultrasonic image of a defect
  • FIG. 2 is a diagram showing an outline of the inspection system 100.
  • the inspection system 100 is a system for inspecting the presence or absence of defects in the inspection object from an image of the inspection object, and includes an inspection device 1 and an ultrasonic flaw detection device 7.
  • the pipe end welded portion is a portion where a plurality of metal pipes constituting the heat exchanger and a metal pipe plate for bundling the pipes are welded together.
  • the defect in the pipe end welded portion is a defect in which a gap is generated inside the pipe end welded portion.
  • the pipe and the pipe plate may be made of a non-ferrous metal such as aluminum or a resin. Further, according to the inspection system 100, it is possible to inspect the presence or absence of defects in the welded portion (root welded portion) of the pipe base and the pipe of the boiler equipment used in, for example, a waste incineration facility.
  • the inspection site is not limited to the welded portion, and the inspection target is not limited to the heat exchanger.
  • an abnormal site detected by using an ultrasonic waveform or an ultrasonic image is called a "scratch”.
  • Such "scratches” are also included in the above-mentioned "defects” category.
  • the above-mentioned "defects” include defects and cracks.
  • a probe coated with a contact medium is inserted from the tube end, and the probe propagates ultrasonic waves from the inner wall surface side of the tube toward the tube end weld. And measure the echo of the ultrasonic wave.
  • an echo from the void is measured, and the defect can be detected by using this.
  • the ultrasonic wave indicated by the arrow L3 propagates to a portion of the pipe end weld where there is no void. Therefore, the echo of the ultrasonic wave indicated by the arrow L3 is not measured.
  • the ultrasonic wave indicated by the arrow L2 propagates toward a portion having a gap in the pipe end welded portion, the echo of the ultrasonic wave reflected in this gap is measured.
  • the echo of the ultrasonic waves propagated to the peripheral edge is also measured.
  • the ultrasonic wave indicated by the arrow L1 propagates toward the pipe end side of the pipe end welded portion, it does not hit the pipe end welded portion and is reflected on the pipe surface on the pipe end side of the pipe end welded portion. Therefore, the echo from the surface of the tube is measured by the ultrasonic wave indicated by the arrow L1. Further, since the ultrasonic wave indicated by the arrow L4 is reflected on the pipe surface on the inner side of the pipe at the pipe end welded portion, the echo is measured.
  • the probe may be an array probe composed of a plurality of array elements.
  • the array probe by arranging the array elements so that the arrangement direction of the array elements coincides with the stretching direction of the pipe, it is possible to efficiently inspect the welded portion at the end of the pipe having a width in the stretching direction of the pipe.
  • the array probe may be a matrix array probe in which a plurality of array elements are arranged vertically and horizontally.
  • the ultrasonic flaw detector 7 generates an ultrasonic image that is an image of an ultrasonic echo propagated to a pipe and a welded portion at the end of a pipe by using data showing a measurement result by a probe.
  • FIG. 2 shows an ultrasonic image 111, which is an example of an ultrasonic image generated by the ultrasonic flaw detector 7.
  • the inspection device 1 may be configured to generate the ultrasonic image 111. In this case, the ultrasonic flaw detector 7 transmits data indicating the measurement result by the probe to the inspection device 1.
  • the measured echo intensity is represented as a pixel value of each pixel.
  • the image regions of the ultrasonic image 111 include a pipe region ar1 corresponding to the pipe, a welded region ar2 corresponding to the pipe end welded portion, and peripheral echo regions ar3 and ar4 in which echoes from the periphery of the pipe end welded portion appear. It can be divided into.
  • the ultrasonic wave propagated from the probe in the direction indicated by the arrow L1 is reflected on the pipe surface on the pipe end side of the pipe end welded portion. This ultrasonic wave is also reflected on the inner surface of the tube, and these reflections occur repeatedly. Therefore, repeated echoes a1 to a4 appear in the peripheral echo region ar3 along the arrow L1 in the ultrasonic image 111. Further, the ultrasonic wave propagated from the probe in the direction indicated by the arrow L4 is also repeatedly reflected on the outer surface of the tube and the inner surface of the tube. Therefore, repeated echoes a6 to a9 appear in the peripheral echo region ar4 along the arrow L4 in the ultrasonic image 111. These echoes appearing in the peripheral echo regions ar3 and ar4 are also called bottom echoes.
  • the inspection device 1 analyzes such an ultrasonic image 111 and inspects whether or not there is a defect in the pipe end welded portion. Further, when the inspection device 1 determines that there is a defect, the inspection device 1 automatically determines the type of the defect.
  • FIG. 1 is a block diagram showing an example of the configuration of a main part of the inspection device 1.
  • the inspection device 1 includes a control unit 10 that controls and controls each part of the inspection device 1, and a storage unit 11 that stores various data used by the inspection device 1.
  • the inspection device 1 includes an input unit 12 for receiving an input operation for the inspection device 1 and an output unit 13 for the inspection device 1 to output data.
  • the control unit 10 includes an inspection target area extraction unit 101, an inspection image generation unit 102, an inspection image acquisition unit 103, a restored image generation unit 104, a defect presence / absence determination unit 105, a heat map generation unit 106, a defect type determination unit 107, and integration.
  • a detection unit 108 and a defect length calculation unit 109 are included.
  • the storage unit 11 stores the ultrasonic image 111 and the inspection result data 112.
  • the inspection target area extraction unit 101 extracts the inspection target area from the ultrasonic image 111.
  • the inspection target region is a region sandwiched between two peripheral echo regions in which echoes from the peripheral portion of the inspection target portion of the inspection target repeatedly appear.
  • the inspection target area extraction unit 101 can extract the inspection target area using the extraction model constructed by machine learning. Then, the inspection target area extraction unit 101 generates extraction area information indicating the position and range occupied by the extracted inspection target area in the ultrasonic image 111.
  • the inspection image generation unit 102 cuts out a part of the inspection target area indicated by the extraction area information from the ultrasonic image 111, and generates an inspection image for determining the presence or absence of a defect inside the inspection target object.
  • the inspection image acquisition unit 103 acquires an inspection image. Since the inspection device 1 includes the inspection target area extraction unit 101 and the inspection image generation unit 102 as described above, the inspection image acquisition unit 103 acquires the inspection image generated by the inspection image generation unit 102. The inspection image may be generated by another device. In this case, the inspection image acquisition unit 103 acquires an inspection image generated by another device.
  • the restored image generation unit 104 generates a new image having the same characteristics as the input inspection image by inputting the inspection image acquired by the inspection image acquisition unit 103 into the generation model.
  • the image generated by the restored image generation unit 104 is referred to as a restored image.
  • the generative model used to generate the restored image is also called an autoencoder, and is constructed by machine learning using an image of a defect-free inspection object as training data.
  • the "feature" is arbitrary information obtained from the image, and for example, the distribution state and dispersion of pixel values in the image are also included in the "feature".
  • the defect presence / absence determination unit 105 determines the presence / absence of defects in the inspection target using the restored image generated by the restored image generation unit 104. Specifically, the defect presence / absence determination unit 105 determines that the inspection object has a defect when the variance of the pixel value of each pixel constituting the difference image between the inspection image and the restored image exceeds a predetermined threshold value. .. The details of this determination method will be described later.
  • the heat map generation unit 106 generates a heat map in which the pixel values of the pixels constituting the difference image are represented by colors or shades. Further, the heat map generation unit 106 may perform threshold processing on the generated heat map. Details of the heat map and threshold processing will be described later.
  • the defect type determination unit 107 determines the type of defect reflected in the inspection image of the inspection image determined by the defect presence / absence determination unit 105 to have a defect. More specifically, the defect type determination unit 107 determines the type of defect based on the output value obtained by inputting the heat map generated by the heat map generation unit 106 into the type determination model.
  • This type determination model is constructed by machine learning using a heat map of a difference image generated from an inspection image of an inspection object having a defect of a known type as teacher data.
  • the integrated detection unit 108 determines that the plurality of ultrasonic waves are defective.
  • the defect reflected in the image 111 is detected as one defect. Details of defect integration will be described later.
  • the defect length calculation unit 109 calculates the length of the defect integrated by the integrated detection unit 108. The method of calculating the length of the defect will be described later.
  • the ultrasonic image 111 is an image obtained by imaging the echo of the ultrasonic wave propagated to the inspection object as described above, and is generated by the ultrasonic flaw detector 7.
  • the inspection result data 112 is data showing the result of defect inspection by the inspection device 1.
  • the presence or absence of defects determined by the defect presence / absence determination unit 105 is recorded for each inspection image acquired by the inspection image acquisition unit 103. Further, for the inspection image determined to have a defect, the determination result of the defect type by the defect type determination unit 107 is recorded in the inspection result data 112. Further, in the inspection result data 112, the defects integrated by the integrated detection unit 108 are recorded, and the length of the integrated defects calculated by the defect length calculation unit 109 is recorded.
  • the inspection device 1 includes an inspection image acquisition unit 103 that acquires an inspection image for determining the presence or absence of a defect inside the inspection object. Further, the inspection device 1 includes a defect presence / absence determination unit 105 for determining the presence / absence of a defect in the inspection target using the restored image generated by the restored image generation unit 104. Then, as the restored image, the inspection image is applied to a generation model constructed by using an ultrasonic image of a defect-free inspection target as training data so as to generate a new image having the same characteristics as the input image. It was generated by inputting.
  • the above generative model was constructed by machine learning using images of inspection objects without defects as training data. Therefore, when an inspection image of an inspection object having no defects is input to this generative model, there is a high possibility that a new image having the same characteristics as the inspection image will be output as a restored image.
  • the restored image is an inspection image regardless of the position of the inspection image and the defect of any shape and size. It is likely that they will have different characteristics.
  • the restored image generated from the inspection image showing the defects and the restored image generated from the inspection image without the defects show whether the inspection image input to the generative model is restored correctly or not correctly. There is a difference in whether it will be restored.
  • FIG. 3 is a diagram showing an outline of inspection by the inspection device 1. Note that FIG. 3 shows the processing after the ultrasonic image 111 generated by the ultrasonic flaw detector 7 is stored in the storage unit 11 of the inspection device 1.
  • the inspection target area extraction unit 101 inputs the ultrasonic image 111 to the extraction model, and generates the extraction area information based on the output value.
  • the extraction area information indicates an area of the image area of the ultrasonic image 111 to be extracted as an inspection image.
  • the inspection image generation unit 102 cuts out the region indicated by the extraction region information from the ultrasonic image 111 to generate the inspection image 111A. The method of generating the extraction model will be described with reference to FIG.
  • the inspection image generation unit 102 extracts the region indicated by the extraction region information from the ultrasonic image 111 as the inspection target region, and generates the inspection image 111A.
  • This inspection target region is a region sandwiched between two peripheral echo regions (peripheral echo regions ar3 and ar4 in the example of FIG. 2) in which echoes from the peripheral portion of the inspection target portion of the inspection target repeatedly appear. Then, the inspection image acquisition unit 103 acquires the inspection image 111A.
  • predetermined echoes due to the shape of the peripheral portion and the like are repeatedly observed on the peripheral portion of the inspection target portion in the ultrasonic image 111 (echoes a1 to a4 and a6 to a9). Therefore, it is possible to specify the region corresponding to the inspection target portion in the ultrasonic image 111 from the positions of the peripheral echo regions ar3 and ar4 where such echoes repeatedly appear. That is, according to the above configuration, the inspection image 111A can be automatically generated. It should be noted that the appearance of a predetermined echo on the peripheral edge of the inspection target portion is not limited to the ultrasonic image 111 of the pipe end welded portion. Therefore, the configuration of extracting the region surrounded by the peripheral echo region as the inspection target region can be applied to inspections other than the pipe end welded portion.
  • the inspection image acquisition unit 103 sends the acquired inspection image 111A to the restoration image generation unit 104.
  • the restored image generation unit 104 inputs the inspection image 111A into the generation model, and generates the restored image 111B based on the output value.
  • the method of generating the generation model will be described with reference to FIG.
  • the inspection image acquisition unit 103 removes the peripheral echo region from the inspection image 111A to generate the removed image 111C, and removes the peripheral echo region from the restored image 111B to generate the removed image (restored) 111D.
  • the position and size of the peripheral echo region reflected in the inspection image 111A are substantially constant if the inspection objects are the same. Therefore, the inspection image acquisition unit 103 may remove a predetermined range in the inspection image 111A as a peripheral echo region. Further, the inspection image acquisition unit 103 may analyze the inspection image 111A to detect the peripheral echo region, and remove the peripheral echo region based on the detection result.
  • the defect presence / absence determination unit 105 determines the presence / absence of defects in the remaining image region excluding the peripheral echo region from the image region of the restored image 111B. Become. As a result, the presence or absence of a defect can be determined without being affected by the echo from the peripheral portion, and the accuracy of determining the presence or absence of a defect can be improved.
  • the defect presence / absence determination unit 105 determines the presence / absence of a defect. Specifically, the defect presence / absence determination unit 105 first calculates the difference between the removed image 111C and the removed image (restored) 111D in pixel units. Next, the defect presence / absence determination unit 105 calculates the variance of the calculated difference. Then, the defect presence / absence determination unit 105 determines the presence / absence of a defect depending on whether or not the calculated dispersion value exceeds a predetermined threshold value.
  • the defect type is determined based on the difference value in each pixel calculated by the defect presence / absence determination unit 105. Since the difference value in each pixel indicates the difference between the removed image 111C and the removed image (restored) 111D, those values are also referred to as a difference image.
  • the timing for removing the peripheral echo region is not limited to the above example.
  • a difference image between the inspection image 111A and the restored image 111B may be generated, and the peripheral echo region may be removed from the difference image.
  • FIG. 4 shows an example of the distribution of pixel values in the difference image generated based on the ultrasonic image 111 of the defective portion and the distribution example of the pixel values in the difference image generated based on the ultrasonic image 111 of the defective portion. It is a figure which shows.
  • the difference image is also the same size as these images.
  • the value of each pixel constituting the difference image is equal to the difference between the pixel values of the removed image 111C and the removed image (restored) 111D.
  • the variance of the pixel values in this difference image is as small as 20.
  • the pixel value in the difference image generated based on the ultrasonic image 111 of the defective portion has many values of about 0 to 20 as shown in the figure, but it is more than that as shown in the frame in the figure. There are also many large values.
  • the pixel corresponding to the echo caused by the defect is a pixel having such a large value. Therefore, the variance of the pixel values in this difference image is as large as 70.
  • the pixel value of the pixel in the defective region becomes a large value as compared with the pixel value in the other region, and therefore the dispersion of the pixel value becomes large.
  • the difference image of the part without defects there may be a part where the pixel value becomes large to some extent due to the influence of noise etc., but it is unlikely that the part where the pixel value is extremely large occurs, and the dispersion of the pixel value is It becomes relatively small. That is, the large variance of the pixel values in the difference image is a characteristic phenomenon when the inspection object has a defect.
  • the defect presence / absence determination unit 105 determines that there is a defect when the variance of the pixel value of each pixel constituting the difference image exceeds a predetermined threshold value, the presence / absence of the defect can be appropriately determined. can.
  • FIG. 5 is a diagram showing an example in which a heat map is generated from an ultrasonic image and the generated heat map is subjected to threshold processing. More specifically, the upper part of FIG. 5 shows an example of the ultrasonic image 111-a of the defective part in the pipe end weld, and the lower part of FIG. 5 shows the defect-free part in the pipe end weld. An example of the ultrasonic image 111-b is shown.
  • the removed image 111C-a and the removed image (restored) 111D-a are generated from the ultrasonic image 111-a, and the removed image 111C-a and the removed image (restored) 111D-a are generated.
  • a difference image is generated.
  • the heat map generation unit 106 generates a heat map in which each pixel in the difference image is expressed by a color or a shade corresponding to the pixel value.
  • FIG. 5 shows a heat map 111E-a in which the lower limit to the upper limit of the pixel value are represented by shades of color from black to white.
  • the region corresponding to the defect is the region where pixels close to white are gathered. Therefore, in the heat map 111E-a, the region corresponding to the defect can be easily visually recognized.
  • the heat map generation unit 106 performs threshold processing on the generated heat map to correct the pixel value in the region where the pixel value is large due to noise or the like. For example, the heat map generation unit 106 may set the pixel value equal to or less than a predetermined threshold value in the heat map 111E-a to zero (black). As a result, the heat map 111F-a from which the noise component is removed is generated. According to the heat map 111F-a, the region corresponding to the defect can be recognized more clearly.
  • the ultrasonic image 111-b of the portion without defects and the removed image 111C-b and the removed image (restored) 111D-b are generated from the ultrasonic image 111-b, and the removed image 111C-b and the removed image 111C-b are removed.
  • a difference image is generated from the image (restoration) 111D-b.
  • the heat map generation unit 106 generates the heat map 111E-b of the difference image, and performs the threshold value processing on the heat map 111E-b to generate the heat map 111F-b.
  • defects in the welded portion at the end of the pipe include, for example, poor penetration of the first layer, poor fusion between welding paths, undercut, blow hole, and the like.
  • the poor penetration of the first layer is caused by unwelding in the vicinity of the tube plate and the generation of voids.
  • the poor fusion between welding paths is that unwelding occurs and voids are generated when welding is performed a plurality of times.
  • Undercut is a defect in which the end of the weld bead is hollowed out in a notch shape.
  • Blow holes are formed by spherical cavities in the weld metal.
  • the ultrasonic image 111 it is possible to determine the type of defect from the position where the echo caused by the defect appears. Similarly, it is also possible to determine the type of defect from the position of the defect region in the heat map (preferably after the threshold value processing) generated based on the ultrasonic image 111.
  • the defect region is a region in which the echo caused by the defect is captured, and the pixel value is larger than that of the other regions.
  • FIG. 6 is a diagram illustrating the relationship between the position of the defect, the ultrasonic image, and the heat map.
  • the left end of the first stage of FIG. 6 shows the cut surface of the pipe end welded portion where the initial layer penetration failure has occurred.
  • the left side in FIG. 6 is the pipe end side, and the right side is the pipe back side. That is, the pipe extends in the left-right direction of FIG.
  • the tube plate is below the outer surface of the tube.
  • a scale is applied to the inner wall surface (inner surface) of the pipe so that the width of the welded portion at the pipe end can be known.
  • the region shown by the broken line is the penetration region of the pipe plate generated during welding, and the inverted triangular region on the left side of the penetration region is the region made of weld metal.
  • the combined region of these regions is the pipe end weld.
  • a gap is formed in the portion marked with a circle in the welded portion at the end of the pipe. This gap is near the surface of the pipe and is located near the inner end of the pipe end welded portion.
  • the left end of the second stage in FIG. 6 shows the cut surface of the pipe end weld where fusion failure occurs between the welding paths. There are gaps in the circled areas. This gap is near the surface of the pipe and is located near the center of the welded portion at the end of the pipe in the thickness direction.
  • the left end of the third stage in FIG. 6 shows the state of the pipe end welded portion where the undercut is generated as viewed from the pipe end side. There are gaps in the circled areas. This gap is near the surface of the pipe and is located at the end of the pipe end weld on the pipe end side.
  • the left end of the fourth stage in FIG. 6 shows the cut surface of the pipe end welded portion where the blow hole is generated. There are gaps in the circled areas. This gap is located on the inner side of the pipe end welded portion with respect to the surface of the pipe, and its left-right position is near the center of the pipe end welded portion in the width direction.
  • a type determination model for determining the type of defect from the heat map 111F.
  • Such a type determination model can be constructed by machine learning using a heat map of a difference image generated from an inspection image of an inspection object having a defect of a known type as teacher data. Then, the defect type determination unit 107 can determine the type of defect based on the output value obtained by inputting the heat map generated by the heat map generation unit 106 into such a determination model.
  • the heat map in which the pixel value of each pixel constituting the difference image is represented by color or shading reflects the difference in the types of defects appearing in the inspection image on which the difference image is based. Therefore, according to the above configuration, it is possible to appropriately and automatically determine the type of defect.
  • a large number of heat maps such as the heat map 111F-c of FIG. 6 generated from the ultrasonic image 111 at the location where the initial layer penetration failure has occurred may be prepared and used as teacher data.
  • a type judgment model that outputs the probability of corresponding to various types of defects can be constructed. Can be done.
  • the defect type determination unit 107 can determine the type of defect from the output value obtained by inputting the heat map into such a type determination model. For example, the defect type determination unit 107 may determine that a defect of the type corresponding to the highest probability value has occurred among the probability values corresponding to the various defects output from the type determination model.
  • the integrated detection unit 108 integrates the defects reflected in the plurality of ultrasonic images 111 and detects them as one defect. More specifically, when the integrated detection unit 108 determines that the defect presence / absence determination unit 105 has a defect in a plurality of ultrasonic image 111s that are a part of the pipe end welded portion and correspond to the portions adjacent to each other. , The defect reflected in the plurality of ultrasonic images is detected as one defect. This enables appropriate detection along the substance of the defect.
  • FIG. 7 is a diagram illustrating a method of integrating defects reflected in a plurality of ultrasonic images 111 and detecting them as one defect.
  • the upper left of FIG. 7 shows a cross section of the pipe and the pipe end welded portion. Further, in the lower left of FIG. 7, a vertical cross section of the pipe, the pipe end welded portion, and the pipe plate is shown.
  • a wide range of welding defects occur along the outer wall surface of the pipe.
  • the echo from the welding defect is reflected in the measurement result in the range where the welding defect occurs.
  • echoes caused by the above welding defects appear in the ultrasonic images 111g to 111i generated based on the above measurement results. Therefore, in the determination of the presence / absence of defects based on these ultrasonic images 111g to 111i, the defect presence / absence determination unit 105 determines that there is a defect.
  • the ultrasonic images 111g to 111i are a part of the pipe end welded portion, and correspond to the portions adjacent to each other. Therefore, the integrated detection unit 108 detects the defects reflected in these ultrasonic images 111g to 111i determined by the defect presence / absence determination unit 105 as one defect.
  • the integrated detection unit 108 may integrate the defects on condition that the positions of the defects detected from the ultrasonic images 111g to 111i are the same or close to each other. Further, as described above, the positions of the defects are different depending on the type. Therefore, the integrated detection unit 108 may integrate the defects on condition that the same type of defects are detected from the ultrasonic images 111g to 111i. According to these configurations, the accuracy of defect integration can be improved.
  • the defect length calculation unit 109 calculates the length of the defect integrated by the above processing. For example, the defect length calculation unit 109 may calculate the defect length by multiplying the defect length per ultrasonic image 111 by the number of defects integrated by the integrated detection unit 108.
  • the defect length calculation unit 109 sets the defect length to (outer diameter of the tube) ⁇ ⁇ ⁇ 3 ⁇ 1/360. It may be calculated. Note that ⁇ is the pi.
  • Example of inspection result output The determination result of the presence or absence of defects in the inspection object by the inspection device 1 is output via the output unit 13.
  • an output example of the inspection result will be described with reference to FIG.
  • FIG. 8 is a diagram showing an output example of inspection results.
  • the defect map 300 is shown in the upper left of FIG.
  • the defect map 300 is a drawing of a line segment 302 indicating a detected defect in a donut-shaped region 301 indicating a pipe end welded portion as seen from the pipe end side. According to the defect map 300, the distribution of defects in the pipe end weld can be easily recognized.
  • the pipe plate map 400 is shown in the upper right of FIG.
  • the pipe plate map 400 schematically shows a state of a heat exchanger in which a large number of pipes are welded to the pipe plate as shown in FIG. 2 as viewed from the pipe end side.
  • the inspection result is shown by drawing a figure showing the result of the defect inspection at the pipe end welded portion of the pipe at the position of each pipe.
  • a white circle is drawn at the position of the tube where no defect is detected as a result of the inspection, and a black circle is drawn at the position of the tube where a flaw (defect) is detected.
  • a flaw defect
  • a triangular mark is drawn at the position of the tube that has not been inspected, and a square mark is drawn at the position of the tube that is not subject to inspection. In this way, various information regarding inspection may be included in the tube plate map 400.
  • the ultrasound image set 500 includes three ultrasound images (501-503).
  • the ultrasonic image 501 is obtained by a tube end side sector scan
  • the ultrasonic image 502 is obtained by a linear scan
  • the ultrasonic image 503 is obtained by a tube back side sector scan.
  • the linear scan is a scan in the flaw detection direction perpendicular to the central axis of the tube.
  • the above-mentioned ultrasonic image 111 is also obtained by linear scanning.
  • the tube end side sector scan is a scan in which ultrasonic waves are propagated in the flaw detection direction inclined from the direction perpendicular to the central axis of the tube toward the inner side of the tube.
  • the sector scan on the back side of the tube is a scan in which ultrasonic waves are propagated in the flaw detection direction inclined from the direction perpendicular to the central axis of the tube toward the end side of the tube.
  • the reflected echo corresponding to the detected defect is marked.
  • the position of a defect or the like can be easily recognized.
  • the ultrasonic images 501 to 503 are all images obtained by scanning the same position at the pipe end welded portion, but since the flaw detection direction is different, the appearance of the defect is also different. Therefore, the inspection device 1 determines the presence or absence of defects in the plurality of ultrasonic images 111 having different flaw detection directions, and if it is determined that there is a defect in any of the flaw detection directions, the other flaw detection directions. Even if it is determined that there is no defect in the above, the final determination result may be determined to be defective. This makes it possible to reduce the probability that a defect will not be detected. Further, the inspection device 1 may determine the presence or absence of a defect in a composite image obtained by synthesizing an ultrasonic image obtained by linear scanning and an ultrasonic image obtained by sector scanning.
  • the inspection device 1 may output all of the defect map 300, the tube plate map 400, and the ultrasonic image set 500 as inspection results, or may output only a part of them. Further, the inspection device 1 may also output information or the like indicating the determination result of the type of defect as the inspection result. Of course, these are merely examples, and the inspection device 1 may output the determination result in an arbitrary manner so that the content thereof can be recognized by a person.
  • FIG. 9 is a diagram showing an example of a process of constructing various models used in an inspection and determining a threshold value. It should be noted that these processes may be performed by the inspection device 1 or another computer.
  • an extraction model is built.
  • the extraction model is constructed by machine learning using the teacher data associated with the extraction area information as the correct answer data for the ultrasonic image 111.
  • This extraction area information may be generated based on, for example, displaying an ultrasonic image 111 on a display device, having an operator input an area to be extracted, and inputting the input contents.
  • the extraction model can be constructed with any learning model suitable for region extraction from images.
  • an extraction model may be constructed by YOLO (You Only Look Once), which is excellent in extraction accuracy and processing speed.
  • the region to be extracted may be any region including the pipe end welded portion, which is the inspection target site. Further, it is preferable that the region to be extracted includes at least a part of the region where the echo from the peripheral portion is captured. This is because if there is no defect in the inspection target site, feature points that can be machine-learned may not be observed in the site in the ultrasonic image 111, and in such a case, it is difficult to construct an extraction model. Is. For example, in the ultrasonic image 111 shown in FIG. 2, a region including a part of echoes a1, a2, a6, and a7 may be set as a region to be extracted. This makes it possible to construct an extraction model that extracts a region that includes a pipe end welded portion and also includes an echo from the peripheral portion.
  • the inspection image generation unit 102 extracts the inspection target region using this extraction model. do. Since the echo from the peripheral portion of the inspection target site has a feature that machine learning can be performed as shown in FIG. 2, according to this configuration, the inspection target site can be automatically extracted with high accuracy.
  • the ultrasonic image 111 of the inspection target without defects and more specifically, the image of the inspection target region extracted from the ultrasonic image 111 by the extraction model constructed in S1 was used as training data. It is done by machine learning.
  • the generative model may be an autoencoder.
  • the generative model may be a model obtained by improving or modifying the autoencoder.
  • a variational autoencoder or the like may be applied as a generative model.
  • the echo from the peripheral portion is also generated in the training data used for constructing the generative model.
  • the area to be reflected will be included.
  • the inspection target area does not contain echoes and there are few feature points to be machine-learned. It becomes possible to build a reasonable generative model.
  • a test image is input to the generated model built in S2 to build a restored image.
  • An image generated by extracting an inspection target area from 111 and an image are included. Further, the test images generated from the ultrasonic image 111 of the defective inspection object are classified according to the type of the defect.
  • a threshold value for determining the presence or absence of a defect is determined. Specifically, for the test image and the restored image generated in S3, the difference between the images is calculated in pixel units, and the variance of the difference is calculated. Then, the value of each variance calculated for the plurality of test images generated from the ultrasonic image 111 of the inspection object without defects, and the plurality of test images generated from the ultrasonic image 111 of the inspection object having defects. A threshold is determined so that the value of each variance calculated for can be divided.
  • a type determination model is constructed using heat maps generated from test images of various defects as teacher data. As described with reference to FIG. 6, features appear in the heat map according to the type of defect. Therefore, a type determination model can be constructed by performing machine learning using this heat map as teacher data.
  • the type determination model can be constructed with any learning model suitable for image classification.
  • a type determination model may be constructed by a convolutional neural network or the like having excellent image classification accuracy.
  • FIG. 10 is a diagram showing an example of an inspection method using the inspection device 1.
  • the ultrasonic image 111 which is an image of the echo from the pipe end welded portion and the peripheral portion thereof measured while rotating the probe, is stored in the storage portion 11.
  • the inspection target area extraction unit 101 acquires one of the ultrasonic images 111 stored in the storage unit 11 and inputs it to the extraction model, and generates extraction area information based on the output value. Then, the inspection image generation unit 102 extracts the region indicated by the extraction region information from the ultrasonic image 111 and generates the inspection image 111A.
  • the inspection image acquisition unit 103 acquires the inspection image 111A generated in S11. Then, the inspection image acquisition unit 103 duplicates the acquired inspection image 111A, sends one of them to the restored image generation unit 104, and sends the other one to the defect presence / absence determination unit 105.
  • the inspection image acquisition unit 103 may transmit the removal image 111C from which the peripheral echo region is removed from the inspection image 111A to the defect presence / absence determination unit 105.
  • the restored image generation unit 104 inputs the inspection image 111A acquired in S12 into the generation model, and generates the restored image 111B based on the output value. Further, when the inspection image acquisition unit 103 is configured to send the removed image 111C to the defect presence / absence determination unit 105, the restored image generation unit 104 generates a removed image (restored) 111D from the generated restored image 111B, and defects are generated. It is preferable to transmit to the presence / absence determination unit 105.
  • the removal image 111C and the removal image (restoration) 111D may be generated by the defect presence / absence determination unit 105.
  • the defect presence / absence determination unit 105 calculates the difference for each pixel between the inspection image 111A generated in S12 and the restored image 111B generated in S13.
  • the defect presence / absence determination unit 105 calculates the difference between these images.
  • the defect presence / absence determination unit 105 calculates the variance of the difference calculated in S14. Then, in S16 (defect presence / absence determination step), the defect presence / absence determination unit 105 determines whether or not there is a defect based on the dispersion value calculated in S15. Specifically, the defect presence / absence determination unit 105 determines that there is a defect if the dispersion value exceeds a predetermined threshold value, and determines that there is no defect if the dispersion value is equal to or less than the predetermined threshold value.
  • the process proceeds to S17.
  • the defect presence / absence determination unit 105 records the determination result of S16, that is, that the inspection object has a defect in the inspection result data 112. After that, the process proceeds to S18, and the defect type determination process is performed. The details of the defect type determination process will be described later with reference to FIG.
  • the process proceeds to S19.
  • the defect presence / absence determination unit 105 records the determination result of S16, that is, that the inspection object has no defect in the inspection result data 112. After this, the process proceeds to S20.
  • the inspection target area extraction unit 101 determines whether all the ultrasonic image 111s to be inspected have been processed. If it is determined that there is an unprocessed ultrasonic image 111 (NO in S20), the process returns to S11, and the inspection target area extraction unit 101 reads the unprocessed ultrasonic image 111 from the storage unit 11 and extracts the extraction area information. To generate. On the other hand, if it is determined that there is no unprocessed ultrasonic image 111 (YES in S20), the process proceeds to S21.
  • the integrated detection unit 108 integrates the defects detected by the defect presence / absence determination unit 105. Then, the integrated detection unit 108 records the integrated result in the inspection result data 112. Since the method of integrating defects is as described with reference to FIG. 7, the description will not be repeated here. If there is no defect to be integrated, the processing of S21 and S22 is not performed and the processing of FIG. 10 is completed.
  • the defect length calculation unit 109 calculates the length of the defect integrated by the integrated detection unit 108.
  • the defect length calculation unit 109 may calculate the defect length by multiplying the defect length per ultrasonic image 111 by the number of defects integrated by the integrated detection unit 108. Then, the defect length calculation unit 109 records the calculation result in the inspection result data 112. This ends the process of FIG.
  • FIG. 11 is a flowchart showing an example of the defect type determination process.
  • the heat map generation unit 106 generates a heat map using the difference value calculated in S14 of FIG.
  • the heat map generation unit 106 performs threshold processing on the heat map generated in S31. Since the threshold processing is as described with reference to FIG. 5, the description is not repeated here.
  • the defect type determination unit 107 determines the type of defect using the type determination model. Specifically, the defect type determination unit 107 inputs the heat map subjected to the threshold value processing in S32 into the type determination model, and determines the type of defect based on the output value. For example, if the type determination model outputs a numerical value indicating the possibility of corresponding to the type of the defect for each of the types of defects, the defect type determination unit 107 determines the type having the largest numerical value as the type of the defect. It may be determined that.
  • the defect type determination unit 107 records the determination result of S33 in the inspection result data 112. This ends the defect type determination process.
  • FIG. 12 is a block diagram showing an example of the main configuration of the inspection device 2.
  • the inspection device 2 is different from the inspection device 1 shown in FIG. 1 in that the control unit 10 is changed to the control unit 20.
  • the control unit 20 does not include the heat map generation unit 106 and the defect type determination unit 107 that were included in the control unit 10, but instead includes the defect region detection unit 201 and the defect type determination unit 202. ..
  • the defect area detection unit 201 detects an area consisting of a plurality of pixels whose pixel value is equal to or greater than a threshold value in the difference image as a defect area. Then, the defect type determination unit 202 determines the type of the defect related to the defect region from the position where the defect region is detected in the image region of the difference image. Details of the detection of the defect region and the determination of the type of defect based on the position of the defect region will be described below.
  • FIG. 13 is a diagram illustrating a method of detecting a defective region.
  • FIG. 13 shows an example of detecting a defect region using a heat map, it is not essential to generate a heat map as described below.
  • FIG. 13 shows a heat map 111E generated from an ultrasonic image 111 of a defective inspection object, and a heat map 111F obtained by subjecting the heat map 111E to a threshold value. Further, FIG. 13 also shows an enlarged view of the upper left end portion of the heat map 111F, and in this enlarged view, the pixel value is described for each pixel of the heat map 111F.
  • the defect region detection unit 201 detects the pixel having the maximum pixel value in the heat map 111F. In the example of FIG. 13, since the maximum pixel value is 104, this pixel is detected. Next, the defect region detection unit 201 detects a pixel adjacent to the detected pixel and having a pixel value equal to or larger than a predetermined threshold value (threshold value larger than the threshold value used for the threshold value processing in S32 of FIG. 11).
  • the defect area detection unit 201 repeats such a process until adjacent pixels having a pixel value equal to or larger than the threshold value are no longer detected.
  • the defect region detection unit 201 can detect a continuous region composed of pixels having a pixel value equal to or higher than a predetermined threshold value as a defect region.
  • the defect region detection unit 201 may detect the rectangular region ar5 including the defect region detected as described above as the defect region.
  • the above processing can be performed if there is data showing the difference value for each pixel of the inspection image 111A and the restored image 111B, that is, the difference image. That is, the defect region can be detected by repeating the process of detecting the pixel having the maximum pixel value in the difference image and detecting the pixel having the pixel value equal to or higher than a predetermined threshold value adjacent to the pixel. Therefore, as described above, it is not always necessary to generate the heat map 111E and the heat map 111F for detecting the defect region.
  • the defect region detection unit 201 detects a region consisting of a plurality of pixels whose pixel value is equal to or greater than the threshold value in the difference image as a defect region.
  • the pixel value of the pixel in the defect region is larger than the pixel value in the other region. Therefore, according to this configuration, a valid defect region can be automatically detected.
  • the defect type determination unit 202 utilizes this to determine the type of defect related to the defect region from the position where the defect region is detected in the image region of the difference image. This makes it possible to automatically determine the type of defect.
  • the defect type determination unit 202 determines the type of defect depending on which region contains the defect region detected by the defect region detection unit 201. Can be determined.
  • FIG. 14 is a diagram showing an example of a region set for each type of defect.
  • the region AR1 corresponding to the undercut is in the upper left corner of the heat map 111F
  • the region AR2 corresponding to the fusion defect between the welding paths is in the center of the upper end
  • the region AR3 corresponding to the initial layer penetration defect is in the upper right corner. Is set.
  • the area AR4 corresponding to the blow hole is set at a position slightly above the center.
  • Such a region may be set in advance by analyzing a difference image or a heat map based on inspection images of various defective parts.
  • the defect type determination unit 202 determines that this defect is a defect due to the initial layer penetration defect.
  • a part of the region AR4 corresponding to the blow hole overlaps with a part of the regions AR1 to AR3.
  • a region for determining the type of defect may be set so that a part thereof overlaps with another region.
  • the defect type determination unit 202 may use all the types corresponding to each of the areas as the determination result of the defect type. For example, when a defect region is detected in the superimposed region of the regions AR1 and AR4, the defect type determination unit 202 may output both the undercut and the blowhole as the determination result.
  • the defect type determination unit 202 may narrow down the defect type determination result depending on whether or not the conditions peculiar to each defect type are satisfied. For example, if the defect has a characteristic shape, a condition related to the shape may be set, and if the defect has a characteristic size, a condition related to the size may be set.
  • a blow hole is a defect in which a spherical cavity is generated, and its diameter is generally 2 mm or less. Therefore, when one ultrasonic image 111 covers a range of about 1 mm in width of the inspection object, one blow hole fits in about 2 to 3 ultrasonic images 111. Therefore, when a defect is continuously detected in a plurality of ultrasonic images 111 corresponding to adjacent portions of an inspection object, if the number of the ultrasonic images 111 is 3 or less, the defect is a blow hole. May be. On the other hand, if the number of ultrasonic images 111 in which defects are continuously detected is four or more, it is highly possible that the defects are not blow holes.
  • the defect type determination unit 202 has the number of ultrasonic images 111 in which the defect is continuously detected is equal to or less than the threshold value (for example, 3).
  • the type of defect may be determined to be a blow hole, provided that the defect is present.
  • the defect type determination unit 202 determines that the type of defect is a blow hole if the number of ultrasonic images 111 in which defects are continuously detected is equal to or less than the threshold value, and if the number exceeds the threshold value, the interval between welding paths is reached. It may be determined that the fusion is poor.
  • the blow holes are spherical, when one blow hole is detected across a plurality of ultrasonic images 111, the peak value of the echo caused by the blow holes in each ultrasonic image 111 is obtained. Is often different. Such a difference in peak value appears as a difference in pixel value in the ultrasonic image 111. For example, suppose that one blow hole is detected across three ultrasonic images 111. In this case, assuming that the peak value of the echo caused by the blow hole in the central ultrasonic image 111 among the three ultrasonic images 111 is 50%, the echo caused by the blow hole in the ultrasonic images 111 before and after that is set to 50%. The peak value is lower than that, such as 30%.
  • the defect type determination unit 202 has a difference in the pixel value of the defect region in each ultrasonic image 111 in which the defect is continuously detected.
  • the type of the defect may be determined as a blow hole.
  • the defect type determination unit 202 calculates the average value of the pixel values of each pixel included in the defect region of each ultrasonic image 111, and determines that there is a difference when the difference between the average values is equal to or greater than the threshold value. May be good.
  • FIG. 15 is a flowchart showing an example of the defect type determination process executed by the inspection device 2.
  • the defect area detection unit 201 performs threshold processing on the difference value calculated in S14 of FIG. Then, in S42, the defect region detection unit 201 detects the defect region from the difference value after the threshold value processing. Since the method for detecting the defective region is as described with reference to FIG. 13, the description will not be repeated here.
  • the defect type determination unit 202 determines the type of defect from the position of the defect region specified in S42. For example, the defect type determination unit 202 may determine the type of defect depending on which of the regions AR1 to AR4 shown in FIG. 14 includes the defect region detected in S42.
  • the defect type determination unit 202 records the determination result of S43 in the inspection result data 112. This ends the defect type determination process.
  • inspection devices 1 and 2 can also be applied to determine the presence or absence of a defect from another image.
  • inspection devices 1 and 2 can be applied to an inspection for determining the presence or absence of a defect in an inspection object.
  • the image of the defect is detected from the image data obtained by using an electronic device such as an imaging plate.
  • S11 generation of inspection image
  • S13 generation of restored image
  • S18 determination of defect type
  • S21 integration of defects
  • S22 calculation of defect length
  • the functions of the inspection devices 1 and 2 can be realized by various system configurations. Further, when constructing a system including a plurality of information processing devices, some information processing devices may be arranged on the cloud. That is, the function of the inspection device 1 can also be realized by using one or a plurality of information processing devices that perform information processing online.
  • control blocks of the inspection devices 1 and 2 may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or by software. You may.
  • the inspection devices 1 and 2 include a computer that executes an instruction of an inspection program, which is software that realizes each function.
  • the computer comprises, for example, one or more processors and a computer-readable recording medium that stores the inspection program. Then, in the computer, the processor reads the inspection program from the recording medium and executes it, thereby achieving the object of the present invention.
  • the processor for example, a CPU (Central Processing Unit) can be used.
  • the inspection devices 1 and 2 may include a GPU (Graphics Processing Unit) in addition to a processor such as a CPU. By using the GPU, it becomes possible to perform calculations and the like using the above-mentioned various models at high speed.
  • the recording medium in addition to a “non-temporary tangible medium” such as a ROM (Read Only Memory), a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used. Further, a RAM (RandomAccessMemory) for expanding the above program may be further provided. Further, the program may be supplied to the computer via any transmission medium (communication network, radio wave, etc.) capable of transmitting the program. It should be noted that one aspect of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the above program is embodied by electronic transmission.
  • Inspection device 102 Inspection image generation unit 103 Inspection image acquisition unit 105 Defect presence / absence determination unit 106 Heat map generation unit 107 Defect type determination unit 108 Integrated detection unit 111 Ultrasonic image 2 Inspection device 201 Defect area detection unit 202 Defect type determination unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)

Abstract

画像における位置、サイズ、形状等が不定の欠陥の有無の判定の自動化。検査装置（１）は、検査対象物の内部欠陥の有無を判定するための検査画像を取得する検査画像取得部（１０３）と、欠陥のない検査対象物の画像を訓練データとした機械学習により、入力された画像と同様の特徴を有する新たな画像を生成するように構築された生成モデルに検査画像を入力して生成された復元画像を用いて欠陥の有無を判定する欠陥有無判定部（１０５）と、を備える。

Description

検査装置、検査方法、および検査プログラム
　本発明は、検査対象物の画像から欠陥の有無を判定する検査装置等に関する。
　工業製品等の出荷前あるいは点検時等に行われる欠陥検査においては、非破壊検査が従来から広く適用されている。例えば、下記の特許文献１には、超音波探傷試験という手法で試験体の欠陥を自動で検出している。超音波探傷試験とは、測定された超音波信号の中から、試験体の欠陥部に起因する信号を選別して欠陥部の位置を特定する試験である。特許文献１の技術では、解析で求めた波形と測定で得られた波形との差に基づいて試験体欠陥部に起因する信号を検出している。
　ただし、超音波信号の波形に基づいて解析を行う特許文献１のような手法は直感的に理解しにくいため、近時では波形データを画像化した超音波画像を用いた欠陥検査も行われている。また、放射線透過試験（ＲＴ）においても、画像（放射線透過写真）から検査対象物の欠陥の有無を判定している。
日本国公開特許公報「特開２００３－２３２７７９号公報」
　しかしながら、位置、サイズ、および形状等が不定の欠陥の検査においては、画像から自動で欠陥の有無を判定することは難しい。このため、検査員が目視で欠陥の有無を判定しているのが現状である。そして、目視検査は、作業時間が長い、多大な労力を有する、検査員の熟練度に応じて検査結果がばらつく等の課題を有する。
　本発明の一態様は、画像中における位置、サイズ、および形状等が不定の欠陥の有無の判定を自動で行うことを可能にする検査装置等を実現することを目的とする。
　上記の課題を解決するために、本発明の一態様に係る検査装置は、検査対象物の内部における欠陥の有無を判定するための画像である検査画像を取得する検査画像取得部と、入力された画像と同様の特徴を有する新たな画像を生成するように機械学習により構築された生成モデルであって、欠陥のない検査対象物の画像を訓練データとして構築された生成モデルに上記検査画像を入力することにより生成された復元画像を用いて、上記検査対象物の欠陥の有無を判定する欠陥有無判定部と、を備える。
　また、本発明の一態様に係る検査方法は、上記の課題を解決するために、検査装置を用いた検査方法であって、検査対象物の内部における欠陥の有無を判定するための画像である検査画像を取得する検査画像取得ステップと、入力された画像と同様の特徴を有する新たな画像を生成するように機械学習して構築された生成モデルであって、欠陥のない検査対象物の超音波画像を訓練データとして構築された生成モデルに上記検査画像を入力することにより生成された復元画像を用いて、上記検査対象物の欠陥の有無を判定する欠陥有無判定ステップと、を含む。
　本発明の一態様によれば、画像中における位置、サイズ、および形状等が不定の欠陥の有無の判定を自動で行うことが可能になる。
本発明の実施形態１に係る検査装置の要部構成の一例を示すブロック図である。 上記検査装置を含む検査システムの概要を示す図である。 上記検査装置による検査の概要を示す図である。 欠陥がある部位の超音波画像を基に生成した差分画像におけるピクセル値の分布例と、欠陥がない部位の超音波画像を基に生成した差分画像におけるピクセル値の分布例とを示す図である。 超音波画像からヒートマップを生成し、生成したヒートマップに閾値処理を施した例を示す図である。 欠陥の位置と超音波画像とヒートマップの関係を説明する図である。 複数の超音波画像に写る欠陥を統合して１つの欠陥として検出する方法を説明する図である。 検査結果の出力例を示す図である。 検査で使用する各種モデルを構築し、閾値を決定する処理の一例を示す図である。 上記検査装置を用いた検査方法の一例を示す図である。 欠陥種類判定処理の一例を示すフローチャートである。 本発明の実施形態２に係る検査装置の要部構成の一例を示すブロック図である。 欠陥領域の検出方法を説明する図である。 欠陥の種類ごとに設定した領域の例を示す図である。 上記検査装置が実行する欠陥種類判定処理の一例を示すフローチャートである。
　〔実施形態１〕
　（システムの概要）
　本発明の一実施形態に係る検査システムの概要を図２に基づいて説明する。図２は、検査システム１００の概要を示す図である。検査システム１００は、検査対象物の画像から、その検査対象物の欠陥の有無を検査するシステムであり、検査装置１と超音波探傷装置７を含む。
　本実施形態では、検査システム１００により、熱交換器の管端溶接部における欠陥の有無を検査する例を説明する。なお、管端溶接部とは、熱交換器を構成する複数の金属製の管と、それらの管を束ねる金属製の管板とを溶接した部分である。また、管端溶接部における欠陥とは、当該管端溶接部の内部に空隙が生じる欠陥である。なお、上記管および管板は、アルミニウム等の非鉄金属製であってもよいし、樹脂製であってもよい。また、検査システム１００によれば、例えばごみ焼却施設などで利用されるボイラ設備の管台と管の溶接部（付け根溶接部）における欠陥の有無の検査も行うことができる。無論、検査部位は溶接部に限られず、検査対象は熱交換器に限られない。また、一般に、非破壊検査の分野では、超音波波形や超音波画像を用いて検出された異常部位は「きず」と呼ばれる。このような「きず」も上記「欠陥」の範疇に含まれる。また、上記「欠陥」には欠損やひび割れ等も含まれる。
　検査の際には、図２に示すように、接触媒質を塗布した探触子を管端から挿入し、この探触子により管の内壁面側から管端溶接部に向けて超音波を伝搬させ、その超音波のエコーを計測する。管端溶接部内に空隙が生じる欠陥が発生していた場合、その空隙からのエコーが計測されるので、これを利用して欠陥を検出することができる。
　例えば、図２の左下に示す探触子周辺の拡大図において、矢印Ｌ３で示す超音波は管端溶接部内の空隙のない部位に伝搬している。このため、矢印Ｌ３で示す超音波のエコーは計測されない。一方、矢印Ｌ２で示す超音波は、管端溶接部内の空隙のある部位に向けて伝搬しているため、この空隙で反射した超音波のエコーが計測される。
　また、管端溶接部の周縁部でも超音波が反射するので、周縁部に伝搬した超音波のエコーも計測される。例えば、矢印Ｌ１で示す超音波は、管端溶接部よりも管端側に伝搬しているから、管端溶接部には当たらず、管端溶接部の管端側の管表面で反射する。よって、矢印Ｌ１で示す超音波により、管の表面からのエコーが計測される。また、矢印Ｌ４で示す超音波は、管端溶接部の管奥側の管表面で反射するので、そのエコーが計測される。
　管端溶接部は、管の周囲３６０度にわたって存在するため、所定角度（例えば１度）ずつ探触子を回転させながら繰り返し計測を行う。そして、探触子による計測結果を示すデータは超音波探傷装置７に送信される。例えば、探触子は、複数のアレイ素子からなるアレイ探触子であってもよい。アレイ探触子であれば、アレイ素子の配列方向が管の延伸方向と一致するように配置することにより、管の延伸方向に幅のある管端溶接部を効率よく検査することができる。なお、上記アレイ探触子は、アレイ素子が縦横それぞれに複数配列されたマトリクスアレイ探触子であってもよい。
　超音波探傷装置７は、探触子による計測結果を示すデータを用いて、管および管端溶接部に伝搬させた超音波のエコーを画像化した超音波画像を生成する。図２には、超音波探傷装置７が生成する超音波画像の一例である超音波画像１１１を示している。なお、検査装置１が超音波画像１１１を生成する構成としてもよい。この場合、超音波探傷装置７は、探触子による計測結果を示すデータを検査装置１に送信する。
　超音波画像１１１においては、計測されたエコーの強度が各ピクセルのピクセル値として表されている。また、超音波画像１１１の画像領域は、管に対応する管領域ａｒ１と、管端溶接部に対応する溶接領域ａｒ２と、管端溶接部の周囲からのエコーが現れる周縁エコー領域ａｒ３およびａｒ４とに分けることができる。
　上述のように、探触子から矢印Ｌ１で示す方向に伝搬された超音波は、管端溶接部の管端側の管表面で反射する。また、この超音波は、管内面でも反射し、これらの反射は繰り返し生じる。このため、超音波画像１１１における矢印Ｌ１に沿った周縁エコー領域ａｒ３には、繰り返しのエコーａ１～ａ４が現れている。また、探触子から矢印Ｌ４で示す方向に伝搬された超音波も管外面と管内面で繰り返し反射する。このため、超音波画像１１１における矢印Ｌ４に沿った周縁エコー領域ａｒ４には、繰り返しのエコーａ６～ａ９が現れている。周縁エコー領域ａｒ３およびａｒ４に現れるこれらのエコーは底面エコーとも呼ばれる。
　探触子から矢印Ｌ３で示す方向に伝搬された超音波は、これを反射するものがないため、超音波画像１１１における矢印Ｌ３に沿った領域にはエコーが現れない。一方、探触子から矢印Ｌ２で示す方向に伝搬された超音波は、管端溶接部内の空隙すなわち欠陥部位で反射し、これにより超音波画像１１１における矢印Ｌ２に沿った領域にはエコーａ５が現れている。
　詳細は以下で説明するが、検査装置１は、このような超音波画像１１１を解析して、管端溶接部に欠陥があるか否かを検査する。また、検査装置１は、欠陥があると判定した場合には、その欠陥の種類についても自動で判定する。
　（検査装置の構成）
　検査装置１の構成について図１に基づいてする。図１は、検査装置１の要部構成の一例を示すブロック図である。図１に示すように、検査装置１は、検査装置１の各部を統括して制御する制御部１０と、検査装置１が使用する各種データを記憶する記憶部１１とを備えている。また、検査装置１は、検査装置１に対する入力操作を受け付ける入力部１２と、検査装置１がデータを出力するための出力部１３とを備えている。
　制御部１０には、検査対象領域抽出部１０１、検査画像生成部１０２、検査画像取得部１０３、復元画像生成部１０４、欠陥有無判定部１０５、ヒートマップ生成部１０６、欠陥種類判定部１０７、統合検出部１０８、および欠陥長算出部１０９が含まれている。また、記憶部１１には、超音波画像１１１と検査結果データ１１２が記憶されている。
　検査対象領域抽出部１０１は、超音波画像１１１から検査対象領域を抽出する。詳細は後述するが、検査対象領域は、検査対象物における検査対象部位の周縁部からのエコーが繰り返し現れる２つの周縁エコー領域に挟まれた領域である。検査対象領域抽出部１０１は、機械学習により構築された抽出モデルを用いて検査対象領域を抽出することができる。そして、検査対象領域抽出部１０１は、抽出した検査対象領域が超音波画像１１１に占める位置および範囲を示す抽出領域情報を生成する。
　検査画像生成部１０２は、上記抽出領域情報が示す検査対象領域の部分を超音波画像１１１から切り出して、検査対象物の内部における欠陥の有無を判定するための検査画像を生成する。
　検査画像取得部１０３は、検査画像を取得する。検査装置１は、上記のとおり検査対象領域抽出部１０１と検査画像生成部１０２を備えているから、検査画像取得部１０３は、検査画像生成部１０２が生成した検査画像を取得する。なお、検査画像は、他の装置で生成してもよい。この場合、検査画像取得部１０３は他の装置が生成した検査画像を取得する。
　復元画像生成部１０４は、検査画像取得部１０３が取得した検査画像を生成モデルに入力することによって、入力した検査画像と同様の特徴を有する新たな画像を生成する。以下では、復元画像生成部１０４が生成する画像を復元画像と呼ぶ。詳細は後述するが、復元画像の生成に用いる生成モデルは、オートエンコーダとも呼ばれるものであり、欠陥のない検査対象物の画像を訓練データとした機械学習により構築される。なお、上記「特徴」とは、画像から得られる任意の情報であり、例えば画像中のピクセル値の分布状態や分散なども上記「特徴」に含まれる。
　欠陥有無判定部１０５は、復元画像生成部１０４が生成した復元画像を用いて検査対象物の欠陥の有無を判定する。具体的には、欠陥有無判定部１０５は、検査画像と復元画像との差分画像を構成する各ピクセルのピクセル値の分散が所定の閾値を超える場合に、検査対象物に欠陥があると判定する。この判定方法の詳細は後述する。
　ヒートマップ生成部１０６は、上記差分画像を構成する各ピクセルのピクセル値を色または濃淡で表したヒートマップを生成する。また、ヒートマップ生成部１０６は、生成したヒートマップに閾値処理を施してもよい。ヒートマップと閾値処理の詳細については後述する。
　欠陥種類判定部１０７は、欠陥有無判定部１０５が欠陥ありと判定した検査画像について、当該検査画像に写る欠陥の種類を判定する。より詳細には、欠陥種類判定部１０７は、ヒートマップ生成部１０６が生成したヒートマップを種類判定モデルに入力して得られる出力値に基づいて欠陥の種類を判定する。この種類判定モデルは、種類が既知の欠陥がある検査対象物の検査画像から生成された差分画像のヒートマップを教師データとした機械学習で構築されたものである。
　統合検出部１０８は、欠陥有無判定部１０５が、検査対象物の一部分であって、互いに隣接する部分にそれぞれ対応する複数の超音波画像１１１について欠陥ありと判定した場合に、当該複数の超音波画像１１１に写る欠陥を１つの欠陥として検出する。欠陥の統合の詳細については後述する。
　欠陥長算出部１０９は、統合検出部１０８が統合した欠陥の長さを算出する。欠陥の長さの算出方法については後述する。
　超音波画像１１１は、上述のように、検査対象物に伝搬させた超音波のエコーを画像化することにより得られる画像であり、超音波探傷装置７によって生成される。
　検査結果データ１１２は、検査装置１による欠陥検査の結果を示すデータである。検査結果データ１１２には、検査画像取得部１０３が取得した各検査画像について、欠陥有無判定部１０５が判定した欠陥の有無が記録される。また、欠陥ありと判定された検査画像については、欠陥種類判定部１０７による欠陥の種類の判定結果が検査結果データ１１２に記録される。さらに、検査結果データ１１２には、統合検出部１０８により統合された欠陥が記録されると共に、欠陥長算出部１０９により算出された、統合された欠陥の長さが記録される。
　以上のように、検査装置１は、検査対象物の内部における欠陥の有無を判定するための検査画像を取得する検査画像取得部１０３を備えている。また、検査装置１は、復元画像生成部１０４が生成した復元画像を用いて検査対象物の欠陥の有無を判定する欠陥有無判定部１０５を備えている。そして、上記復元画像は、入力された画像と同様の特徴を有する新たな画像を生成するように、欠陥のない検査対象物の超音波画像を訓練データとして構築された生成モデルに上記検査画像を入力することにより生成されたものである。
　上記生成モデルは、欠陥のない検査対象物の画像を訓練データとした機械学習により構築されたものである。このため、欠陥がない検査対象物の検査画像をこの生成モデルに入力した場合、その検査画像と同様の特徴を有する新たな画像が復元画像として出力される可能性が高い。
　一方、欠陥がある検査対象物の検査画像をこの生成モデルに入力した場合、検査画像のどのような位置にどのような形状およびサイズの欠陥が写っていたとしても、復元画像は検査画像とは異なる特徴を有するものとなる可能性が高い。
　このように、欠陥が写っている検査画像から生成された復元画像と、欠陥が写っていない検査画像から生成された復元画像とには、生成モデルに入力した検査画像が正しく復元されないか、正しく復元されるかという差異が生じる。
　したがって、上記生成モデルにより生成された復元画像を用いて欠陥の有無を判定する上記の構成によれば、検査対象物の画像を用いて、位置、サイズ、および形状等が不定の欠陥の有無の判定を自動で行うことが可能になる。
　（検査の概要）
　検査装置１による検査の概要を図３に基づいて説明する。図３は、検査装置１による検査の概要を示す図である。なお、図３では、超音波探傷装置７によって生成された超音波画像１１１が検査装置１の記憶部１１に記憶された後の処理を示している。
　まず、検査対象領域抽出部１０１が超音波画像１１１を抽出モデルに入力し、その出力値に基づいて抽出領域情報を生成する。抽出領域情報は、上述のように、超音波画像１１１の画像領域のうち、検査画像として抽出すべき領域を示す。検査画像生成部１０２は、この抽出領域情報が示す領域を超音波画像１１１から切り出して検査画像１１１Ａを生成する。なお、抽出モデルの生成方法については図９に基づいて説明する。
　このように、検査画像生成部１０２は、抽出領域情報が示す領域を検査対象領域として超音波画像１１１から抽出して検査画像１１１Ａを生成する。この検査対象領域は、検査対象物における検査対象部位の周縁部からのエコーが繰り返し現れる２つの周縁エコー領域（図２の例における周縁エコー領域ａｒ３とａｒ４）に挟まれた領域である。そして、検査画像取得部１０３はこの検査画像１１１Ａを取得する。
　図２に示したように、超音波画像１１１における検査対象部位の周縁部には、当該周縁部の形状等に起因する所定のエコーが繰り返し観察される（エコーａ１～ａ４およびａ６～ａ９）。よって、このようなエコーが繰り返し現れる周縁エコー領域ａｒ３およびａｒ４の位置から、超音波画像１１１における検査対象部位に対応する領域を特定することができる。すなわち、上記の構成によれば、検査画像１１１Ａを自動で生成することができる。なお、検査対象部位の周縁部に所定のエコーが現れるのは管端溶接部の超音波画像１１１に限られない。このため、周縁エコー領域に囲まれた領域を検査対象領域として抽出する構成は管端溶接部以外の検査においても適用可能である。
　次に、検査画像取得部１０３は、取得した検査画像１１１Ａを復元画像生成部１０４に送る。復元画像生成部１０４は、検査画像１１１Ａを生成モデルに入力し、その出力値に基づいて復元画像１１１Ｂを生成する。なお、生成モデルの生成方法については図９に基づいて説明する。
　そして、検査画像取得部１０３は、検査画像１１１Ａから周縁エコー領域を除去して除去画像１１１Ｃを生成すると共に、復元画像１１１Ｂから周縁エコー領域を除去して除去画像（復元）１１１Ｄを生成する。なお、検査画像１１１Ａに写る周縁エコー領域の位置およびサイズは、検査対象物が同じであれば概ね一定となる。このため、検査画像取得部１０３は、検査画像１１１Ａにおける所定の範囲を周縁エコー領域として除去してもよい。また、検査画像取得部１０３は、検査画像１１１Ａを解析して周縁エコー領域を検出し、その検出結果に基づいて周縁エコー領域を除去してもよい。
　以上のようにして周縁エコー領域を除去することにより、欠陥有無判定部１０５は、復元画像１１１Ｂの画像領域から、周縁エコー領域を除いた残りの画像領域を対象として欠陥の有無を判定することになる。これにより、周縁部からのエコーの影響を受けることなく欠陥の有無を判定することができ、欠陥の有無の判定精度を向上させることができる。
　次に、欠陥有無判定部１０５が、欠陥の有無を判定する。具体的には、欠陥有無判定部１０５は、まず、除去画像１１１Ｃと除去画像（復元）１１１Ｄについて、ピクセル単位で差分を計算する。次に、欠陥有無判定部１０５は、計算した差分の分散を算出する。そして、欠陥有無判定部１０５は、算出した分散の値が所定の閾値を超えるか否かにより、欠陥の有無を判定する。
　ここで、欠陥ありと判定された場合、欠陥有無判定部１０５が計算した、各ピクセルにおける差分の値に基づいて欠陥種類の判定が行われる。なお、各ピクセルにおける差分の値は、除去画像１１１Ｃと除去画像（復元）１１１Ｄの差分を示すから、それらの値を差分画像とも呼ぶ。
　なお、周縁エコー領域を除去するタイミングは上記の例に限られない。例えば、検査画像１１１Ａと復元画像１１１Ｂの差分画像を生成して、この差分画像から周縁エコー領域を除去してもよい。
　（ピクセル単位で算出した差分の分散と欠陥の有無との関係）
　ピクセル単位で算出した差分の分散と欠陥の有無との関係について図４に基づいて説明する。図４は、欠陥がある部位の超音波画像１１１を基に生成した差分画像におけるピクセル値の分布例と、欠陥がない部位の超音波画像１１１を基に生成した差分画像におけるピクセル値の分布例と、を示す図である。
　なお、除去画像１１１Ｃと除去画像（復元）１１１Ｄは同サイズの画像であるから、差分画像もこれらの画像と同サイズである。差分画像を構成する各ピクセルの値は、除去画像１１１Ｃと除去画像（復元）１１１Ｄのピクセル値の差分に等しい。
　欠陥がない部位の超音波画像１１１を基に生成した差分画像におけるピクセル値は、図示のように、０～２０程度の値が大半を占めており、それより大きい値はほぼゼロである。このため、この差分画像におけるピクセル値の分散は２０という小さい値になっている。
　一方、欠陥がある部位の超音波画像１１１を基に生成した差分画像におけるピクセル値は、図示のように、０～２０程度の値が多いものの、同図に枠囲みで示すように、それより大きい値も多数存在している。欠陥に起因するエコーに対応するピクセルが、このような値の大きいピクセルとなる。このため、この差分画像におけるピクセル値の分散は７０という大きい値になっている。
　このように、欠陥がある部位の差分画像においては、欠陥領域のピクセルのピクセル値が、それ以外の領域のピクセル値と比べて大きな値となり、それゆえピクセル値の分散も大きくなる。一方、欠陥がない部位の差分画像においては、ノイズ等の影響である程度ピクセル値が大きな値となる箇所が生じ得るが、極端にピクセル値が大きな箇所が生じる可能性は低く、ピクセル値の分散は相対的に小さくなる。つまり、差分画像におけるピクセル値の分散が大きくなるのは、検査対象物に欠陥がある場合に特徴的な事象である。
　したがって、欠陥有無判定部１０５が、差分画像を構成する各ピクセルのピクセル値の分散が所定の閾値を超える場合に欠陥があると判定する構成とすれば、欠陥の有無を適切に判定することができる。
　（ヒートマップと閾値処理）
　上述のように、欠陥の種類の判定にはヒートマップが用いられる。ここでは、ヒートマップ生成部１０６が生成するヒートマップと、生成したヒートマップに対して行われる閾値処理について図５に基づいて説明する。図５は、超音波画像からヒートマップを生成し、生成したヒートマップに閾値処理を施した例を示す図である。より詳細には、図５の上段には、管端溶接部における欠陥のある部位の超音波画像１１１－ａについての例を示し、図５の下段には管端溶接部における欠陥のない部位の超音波画像１１１－ｂについての例を示している。
　図３に基づいて説明したように、超音波画像１１１－ａから除去画像１１１Ｃ－ａと除去画像（復元）１１１Ｄ－ａが生成され、除去画像１１１Ｃ－ａと除去画像（復元）１１１Ｄ－ａから差分画像が生成される。ヒートマップ生成部１０６は、この差分画像における各ピクセルを、そのピクセル値に応じた色または濃淡で表現したヒートマップを生成する。
　図５には、ピクセル値の下限値から上限値までを、黒から白までの色の濃淡で表したヒートマップ１１１Ｅ－ａを示している。ヒートマップ１１１Ｅ－ａ中に白抜き矢印で示すように、欠陥に対応する領域（ピクセル値が大きいピクセルが集まっている領域）は、白に近いピクセルが集まる領域となる。よって、ヒートマップ１１１Ｅ－ａでは、欠陥に対応する領域が視覚的に容易に認識できる。
　ただし、ヒートマップ１１１Ｅ－ａには、ノイズ等に起因してピクセル値が大きくなっている領域もある。このため、ヒートマップ生成部１０６は、生成したヒートマップに対して閾値処理を行い、ノイズ等に起因してピクセル値が大きくなっている領域のピクセル値を補正することが好ましい。例えば、ヒートマップ生成部１０６は、ヒートマップ１１１Ｅ－ａにおける所定の閾値以下のピクセル値をゼロ（黒色）にしてもよい。これにより、ノイズ成分が除去されたヒートマップ１１１Ｆ－ａが生成される。ヒートマップ１１１Ｆ－ａによれば、欠陥に対応する領域がより明瞭に認識できる。
　欠陥のない部位の超音波画像１１１－ｂについても同様であり、この超音波画像１１１－ｂから除去画像１１１Ｃ－ｂと除去画像（復元）１１１Ｄ－ｂが生成され、除去画像１１１Ｃ－ｂと除去画像（復元）１１１Ｄ－ｂから差分画像が生成される。そして、ヒートマップ生成部１０６は、この差分画像のヒートマップ１１１Ｅ－ｂを生成し、ヒートマップ１１１Ｅ－ｂに対して閾値処理を施してヒートマップ１１１Ｆ－ｂを生成する。ヒートマップ１１１Ｆ－ａとヒートマップ１１１Ｆ－ｂを見比べれば、欠陥の有無が明瞭に判別できることがわかる。また、ヒートマップ１１１Ｆ－ａにおいては、欠陥の位置についても明瞭に判別できるようになっていることがわかる。
　（欠陥の種類と超音波画像とヒートマップ）
　管端溶接部における欠陥としては、例えば、初層溶込み不良、溶接パス間の融合不良、アンダカット、およびブローホール等が知られている。初層溶込み不良は、管板付近で未溶着が生じて空隙が発生したものである。溶接パス間の融合不良は、複数回の溶着を行う際に未溶着が生じて空隙が発生したものである。アンダカットは、溶接ビードの端部がノッチ状にえぐれる欠陥である。ブローホールは、溶接金属内に球状の空洞が発生したものである。
　これらの欠陥は、その発生する位置が相違している。このため、超音波画像１１１において、欠陥に起因するエコーが現れる位置から、欠陥の種類を判定することが可能である。同様に、超音波画像１１１を基に生成されたヒートマップ（閾値処理後のものであることが好ましい）における欠陥領域の位置から、欠陥の種類を判定することも可能である。なお、上述のように、欠陥領域は、欠陥に起因するエコーが写る領域であり、他の領域と比べてピクセル値が大きい。
　欠陥領域の位置に基づく欠陥種類の判定について、図６に基づいて説明する。図６は、欠陥の位置と超音波画像とヒートマップの関係を説明する図である。図６の一段目の左端には、初層溶込み不良が生じている管端溶接部の切断面を示している。図６における左側が管端側であり、右側が管奥側である。つまり、図６の左右方向に管が延伸している。そして、管の外表面に対して下側にあるのが管板である。また、管端溶接部の幅が分かるように、管の内壁面（内表面）にスケールを当てている。
　図６の一段目左端の図において、破線で示す領域が溶接の際に生じた管板の溶込み領域であり、溶込み領域の左側の逆三角形状の領域が溶接金属からなる領域であり、これらの領域を合せた領域が管端溶接部である。この管端溶接部において丸印を付した箇所に空隙が生じている。この空隙は、管の表面付近であり、管端溶接部の管奥側端部寄りに位置している。
　図６の一段目中央に示すように、上記の空隙が存在する部位の超音波画像１１１－ｃには、この空隙に起因するエコーが現れる。そして、図６の一段目右端に示すように、この超音波画像１１１－ｃを基に生成されたヒートマップ１１１Ｆ－ｃにおいても、図中に白抜き矢印で示すように、上記の空隙に対応する領域が現れる。
　図６の二段目の左端には、溶接パス間の融合不良が生じている管端溶接部の切断面を示している。丸印を付した箇所に空隙が生じている。この空隙は、管の表面付近であり、管端溶接部の厚さ方向の中心部付近に位置している。
　図６の二段目中央に示すように、この空隙が存在する部位の超音波画像１１１－ｄには、この空隙に起因するエコーが現れる。そして、図６の二段目右端に示すように、この超音波画像１１１－ｄを基に生成されたヒートマップ１１１Ｆ－ｄにおいても、図中に白抜き矢印で示すように、上記の空隙に対応する領域が現れる。この領域は、一段目のヒートマップ１１１Ｆ－ｃと比べて左側に位置している。
　図６の三段目の左端には、アンダカットが生じている管端溶接部を管端側から見た様子を示している。丸印を付した箇所に空隙が生じている。この空隙は、管の表面付近であり、管端溶接部における管端側の端部に位置している。
　図６の三段目中央に示すように、この空隙が存在する部位の超音波画像１１１－ｅには、この空隙に起因するエコーが現れる。そして、図６の三段目右端に示すように、この超音波画像１１１－ｅを基に生成されたヒートマップ１１１Ｆ－ｅにおいても、図中に白抜き矢印で示すように、上記の空隙に対応する領域が現れる。この領域は、二段目のヒートマップ１１１Ｆ－ｄと比べて左側に位置している。
　図６の四段目の左端には、ブローホールが生じている管端溶接部の切断面を示している。丸印を付した箇所に空隙が生じている。この空隙は、管の表面よりも管端溶接部の内部側に位置しており、その左右方向の位置は管端溶接部の幅方向の中心付近である。
　図６の四段目中央に示すように、この空隙が存在する部位の超音波画像１１１－ｆには、この空隙に起因するエコーが現れる。そして、図６の四段目右端に示すように、この超音波画像１１１－ｆを基に生成されたヒートマップ１１１Ｆ－ｆにおいても、図中に白抜き矢印で示すように、上記の空隙に対応する領域が現れる。この領域は、左右方向の位置は二段目のヒートマップ１１１Ｆ－ｄと近いが、上下方向の位置がより下方側となっている。
　以上のように、欠陥の種類とヒートマップ１１１Ｆの外観との間には相関がある。よって、この相関に基づいて、ヒートマップ１１１Ｆから欠陥の種類を判定する種類判定モデルを構築することができる。このような種類判定モデルは、種類が既知の欠陥がある検査対象物の検査画像から生成された差分画像のヒートマップを教師データとした機械学習で構築することができる。そして、欠陥種類判定部１０７は、このような判定モデルに、ヒートマップ生成部１０６が生成したヒートマップを入力して得られる出力値に基づいて欠陥の種類を判定することができる。
　上述のように、差分画像を構成する各ピクセルのピクセル値を色または濃淡で表したヒートマップには、その差分画像の基になった検査画像に写る欠陥の種類の違いが反映される。よって、上記の構成によれば、欠陥の種類を適切に自動で判定することが可能になる。
　例えば、初層溶込み不良が発生している箇所の超音波画像１１１から生成された、図６のヒートマップ１１１Ｆ－ｃのようなヒートマップを多数用意し、それらを教師データとしてもよい。これにより、欠陥の種類が初層溶込み不良である確率を出力する種類判定モデルを構築することができる。同様に、他の種類の欠陥が発生している箇所の超音波画像１１１から生成されたヒートマップを教師データとして機械学習すれば、各種欠陥に該当する確率を出力する種類判定モデルを構築することができる。
　よって、欠陥種類判定部１０７は、このような種類判定モデルにヒートマップを入力して得られる出力値から、欠陥の種類を判定することができる。例えば、欠陥種類判定部１０７は、種類判定モデルから出力される各種欠陥に該当する確率値のうち、最も高い確率値に対応する種類の欠陥が発生していると判定してもよい。
　（欠陥の統合）
　管端溶接部は、管の周囲３６０度にわたって存在する。このため、上述のように、管内で探触子を所定角度ずつ回転させながら、管端溶接部の各部分の超音波画像１１１を生成し、各超音波画像１１１から欠陥の検出を行う。このような場合、１つの連続した欠陥が複数の超音波画像に跨って写り、実体としては１つの欠陥であるのに、それが複数の欠陥として検出されてしまうことがあり得る。
　そこで、統合検出部１０８は、複数の超音波画像１１１に写る欠陥を統合して１つの欠陥として検出する。より詳細には、統合検出部１０８は、欠陥有無判定部１０５が、管端溶接部の一部分であって、互いに隣接する部分にそれぞれ対応する複数の超音波画像１１１について欠陥ありと判定した場合に、当該複数の超音波画像に写る欠陥を１つの欠陥として検出する。これにより、欠陥の実体に沿った適切な検出が可能になる。
　欠陥の統合方法について図７に基づいて説明する。図７は、複数の超音波画像１１１に写る欠陥を統合して１つの欠陥として検出する方法を説明する図である。図７の左上には、管と管端溶接部の横断面を示している。また、図７の左下には、管と管端溶接部と管板の縦断面を示している。
　図７の例では、管の外壁面に沿って広範囲にわたる溶接欠陥が発生している。管の内壁面に沿って探触子を所定角度ずつ回転させながらエコーの計測を行うと、溶接欠陥が発生している範囲における計測結果には溶接欠陥からのエコーが反映される。これにより、図７の右側に示すように、上記の測定結果に基づいて生成された超音波画像１１１ｇ～１１１ｉには上記の溶接欠陥に起因するエコーが現れる。よって、これらの超音波画像１１１ｇ～１１１ｉに基づく欠陥有無の判定においては、欠陥有無判定部１０５が欠陥ありと判定する。
　ここで、超音波画像１１１ｇ～１１１ｉは、管端溶接部の一部分であって、互いに隣接する部分にそれぞれ対応している。このため、統合検出部１０８は、欠陥有無判定部１０５が欠陥ありと判定したこれらの超音波画像１１１ｇ～１１１ｉに写る欠陥を１つの欠陥として検出する。
　なお、統合検出部１０８は、超音波画像１１１ｇ～１１１ｉから検出された欠陥の位置が同じであるか近い位置であることを条件として、それらの欠陥を統合してもよい。また、上述のように欠陥は、種類に応じて位置が相違している。このため、統合検出部１０８は、超音波画像１１１ｇ～１１１ｉから同じ種類の欠陥が検出されたことを条件として、それらの欠陥を統合してもよい。これらの構成によれば、欠陥統合の精度を高めることができる。
　また、欠陥長算出部１０９は、以上のような処理により統合された欠陥の長さを算出する。例えば、欠陥長算出部１０９は、１つの超音波画像１１１あたりの欠陥の長さに、統合検出部１０８が統合した欠陥の数を乗じて、欠陥の長さを算出してもよい。
　例えば、管の周囲３６０度に形成された管端溶接部について、探触子を管の内壁面に沿って管の中心軸回りに１度ずつ移動させながら３６０回のエコー計測を行い、その結果、３６０枚の超音波画像１１１が生成されたとする。この場合、１つの超音波画像１１１に写る欠陥の長さは概ね、（管の外径）×π×１／３６０となる。このため、図７のように３つの超音波画像１１１ｇ～１１１ｉの欠陥を統合した場合、欠陥長算出部１０９は、欠陥の長さを（管の外径）×π×３×１／３６０と算出してもよい。なお、πは円周率である。
　（検査結果の出力例）
　検査装置１による検査対象物の欠陥の有無の判定結果は、出力部１３を介して出力される。ここでは、検査結果の出力例を図８に基づいて説明する。図８は、検査結果の出力例を示す図である。
　図８の左上には、欠陥マップ３００を示している。欠陥マップ３００は、管端側から見た管端溶接部を示すドーナツ状の領域３０１に、検出した欠陥を示す線分３０２を描画したものである。欠陥マップ３００によれば、管端溶接部における欠陥の分布を容易に認識させることができる。
　また、図８の右上には、管板マップ４００を示している。管板マップ４００は、図２に示したような、管板に多数の管が溶接された熱交換器を管端側から見た様子を模式的に示したものである。管板マップ４００では、各管の位置にその管の管端溶接部における欠陥検査の結果を示す図形を描画することにより、検査結果を示している。
　具体的には、検査の結果、欠陥が検出されなかった管の位置には白丸印を描画し、きず（欠陥）が検出された管の位置には黒丸印を描画している。これにより、欠陥が生じた管端溶接部の分布を容易に認識させることができる。また、管板マップ４００では、検査を未実施の管の位置には三角印、検査対象外の管の位置には四角印を描画している。このように、検査に関する各種情報も管板マップ４００に含めてもよい。
　また、図８の下側には、超音波画像セット５００を示している。超音波画像セット５００には、３つの超音波画像（５０１～５０３）が含まれている。超音波画像５０１は管端側セクタスキャンにより得られ、超音波画像５０２はリニアスキャンにより得られ、超音波画像５０３は管奥側セクタスキャンにより得られる。
　なお、リニアスキャンは、管の中心軸に垂直な探傷方向のスキャンである。上述の超音波画像１１１もリニアスキャンにより得られたものである。管端側セクタスキャンは、管の中心軸に垂直な方向から管奥側に傾斜させた探傷方向に超音波を伝搬させるスキャンである。また、管奥側セクタスキャンは、管の中心軸に垂直な方向から管端側に傾斜させた探傷方向に超音波を伝搬させるスキャンである。
　これらの超音波画像では、検出した欠陥に対応する反射エコーにマーキングしている。このように、マーキングした超音波画像を検査結果として表示することにより、欠陥の位置などを容易に認識させることができる。
　ここで、超音波画像５０１～５０３は、何れも管端溶接部における同じ位置をスキャンすることにより得られた画像であるが、探傷方向が異なるため、欠陥の現れ方も異なっている。このため、検査装置１は、このような探傷方向が異なる複数の超音波画像１１１について欠陥の有無の判定を行い、何れかの探傷方向で欠陥ありと判定された場合には、他の探傷方向で欠陥なしと判定されていても、最終的な判定結果を欠陥ありとしてもよい。これにより、欠陥の検出漏れが生じる確率を低減することができる。また、検査装置１は、リニアスキャンにより得られた超音波画像とセクタスキャンにより得られた超音波画像とを合成した合成画像を対象として欠陥の有無の判定を行ってもよい。
　なお、検査装置１は、欠陥マップ３００、管板マップ４００、および超音波画像セット５００の全てを検査結果として出力してもよいし、一部のみを出力してもよい。また、検査装置１は、欠陥の種類の判定結果を示す情報等も検査結果として出力してもよい。無論、これらは例示に過ぎず、検査装置１は、判定結果を、その内容を人が認識できるような任意の態様で出力すればよい。
　（検査前に行われる処理の流れ）
　検査装置１による欠陥検査を行う前に、検査で使用する各種モデルや閾値を用意しておく必要がある。ここでは、検査で使用する各種モデルを構築し、閾値を決定する処理の流れを図９に基づいて説明する。図９は、検査で使用する各種モデルを構築し、閾値を決定する処理の一例を示す図である。なお、これらの処理は、検査装置１で行ってもよいし、他のコンピュータで行ってもよい。
　Ｓ１では、抽出モデルを構築する。抽出モデルの構築は、超音波画像１１１に対して正解データとして抽出領域情報を対応付けた教師データを用いた機械学習により行う。この抽出領域情報は、例えば超音波画像１１１を表示装置に表示させて、抽出すべき領域をオペレータに入力させ、その入力内容を基に生成されたものであってもよい。
　抽出モデルは、画像からの領域抽出に適した任意の学習モデルで構築することができる。例えば、抽出精度や処理速度に優れたＹＯＬＯ（You Only Look Once）等により抽出モデルを構築してもよい。
　抽出すべき領域は、検査対象部位である管端溶接部を含む領域であればよい。また、抽出すべき領域は、その周縁部からのエコーが写る領域の少なくとも一部についても含んでいることが好ましい。これは、検査対象部位に欠陥がない場合、超音波画像１１１における当該部位には機械学習できるような特徴点が観察されない場合があり、このような場合には抽出モデルを構築することが難しいためである。例えば、図２に示す超音波画像１１１においては、エコーａ１、ａ２、ａ６、およびａ７の一部を含む領域を抽出すべき領域とすればよい。これにより、管端溶接部を含み、かつ周縁部からのエコーも含む領域を抽出する抽出モデルを構築することができる。
　Ｓ１において、周縁部からのエコーが写る領域を含む領域を正解データとした機械学習により構築された抽出モデルを構築した場合、検査画像生成部１０２は、この抽出モデルを用いて検査対象領域を抽出する。検査対象部位の周縁部からのエコーには、図２に示したように機械学習し得る特徴があるので、この構成によれば検査対象部位を自動で高精度に抽出することが可能になる。
　Ｓ２では、生成モデルを構築する。生成モデルの構築は、欠陥のない検査対象物の超音波画像１１１、より詳細には、その超音波画像１１１から、Ｓ１において構築された抽出モデルで抽出した検査対象領域の画像を訓練データとした機械学習により行う。上述のように、生成モデルはオートエンコーダであってもよい。また、生成モデルは、オートエンコーダを改良あるいは改変したモデルであってもよい。例えば、生成モデルとして変分オートエンコーダ等を適用してもよい。
　なお、Ｓ１において、周縁部からのエコーが写る領域を含む領域を正解データとした機械学習により構築された抽出モデルを構築した場合、生成モデルの構築に用いる訓練データにも周縁部からのエコーが写る領域が含まれることになる。欠陥のない検査対象物の超音波画像１１１では、検査対象領域にエコーが含まれず、機械学習すべき特徴点に乏しいが、周縁部からのエコーが写る領域が含まれる訓練データを用いることにより、妥当な生成モデルを構築することが可能になる。
　Ｓ３では、Ｓ２で構築した生成モデルにテスト画像を入力して復元画像を構築する。テスト画像には、Ｓ１で構築した抽出モデルを用いて、欠陥のない検査対象物の超音波画像１１１から検査対象領域を抽出することにより生成した画像と、欠陥のある検査対象物の超音波画像１１１から検査対象領域を抽出することにより生成した画像と、が含まれる。また、欠陥のある検査対象物の超音波画像１１１から生成されたテスト画像は、その欠陥の種類ごとに分類しておく。
　Ｓ４では、欠陥の有無の判定用の閾値を決定する。具体的には、テスト画像とＳ３で生成された復元画像について、ピクセル単位でそれら画像の差分を計算し、その差分の分散を算出する。そして、欠陥のない検査対象物の超音波画像１１１から生成された複数のテスト画像について算出された各分散の値と、欠陥のある検査対象物の超音波画像１１１から生成された複数のテスト画像について算出された各分散の値を区分できるように閾値を決定する。
　Ｓ５では、各種欠陥のテスト画像からそれぞれ生成されたヒートマップを教師データとして種類判定モデルを構築する。ヒートマップには、図６に基づいて説明したように、欠陥の種類に応じた特徴が現れるので、このヒートマップを教師データとして機械学習を行うことにより、種類判定モデルを構築することができる。
　種類判定モデルは、画像の分類に適した任意の学習モデルで構築することができる。例えば、画像の分類精度に優れた畳み込みニューラルネットワーク等により種類判定モデルを構築してもよい。
　（検査における処理の流れ）
　検査における処理の流れを図１０に基づいて説明する。図１０は、検査装置１を用いた検査方法の一例を示す図である。なお、以下では、探触子を回転させながら計測した管端溶接部とその周縁部からのエコーを画像化した超音波画像１１１が記憶部１１に記憶されているものとして説明する。
　Ｓ１１では、検査対象領域抽出部１０１が、記憶部１１に記憶されている超音波画像１１１の１つを取得して抽出モデルに入力し、その出力値に基づいて抽出領域情報を生成する。そして、検査画像生成部１０２が、上記抽出領域情報が示す領域を超音波画像１１１から抽出して検査画像１１１Ａを生成する。
　Ｓ１２（検査画像取得ステップ）では、検査画像取得部１０３が、Ｓ１１で生成された検査画像１１１Ａを取得する。そして、検査画像取得部１０３は、取得した検査画像１１１Ａを複製し、その１つを復元画像生成部１０４に送り、他の１つを欠陥有無判定部１０５に送る。なお、検査画像取得部１０３は、欠陥有無判定部１０５には検査画像１１１Ａから周縁エコー領域を除去した除去画像１１１Ｃを送信してもよい。
　Ｓ１３では、復元画像生成部１０４が、Ｓ１２で取得された検査画像１１１Ａを生成モデルに入力し、その出力値に基づいて復元画像１１１Ｂを生成する。また、検査画像取得部１０３が除去画像１１１Ｃを欠陥有無判定部１０５に送る構成とした場合、復元画像生成部１０４は、生成した復元画像１１１Ｂから除去画像（復元）１１１Ｄを生成し、これを欠陥有無判定部１０５に送信することが好ましい。なお、除去画像１１１Ｃおよび除去画像（復元）１１１Ｄの生成は、欠陥有無判定部１０５が行う構成としてもよい。
　Ｓ１４では、欠陥有無判定部１０５が、Ｓ１２で生成された検査画像１１１Ａと、Ｓ１３で生成された復元画像１１１Ｂについて、ピクセルごとの差分を計算する。なお、除去画像１１１Ｃおよび除去画像（復元）１１１Ｄが生成されている場合、欠陥有無判定部１０５はこれらの画像の差分を算出する。
　Ｓ１５では、欠陥有無判定部１０５は、Ｓ１４で算出した差分の分散を計算する。そして、Ｓ１６（欠陥有無判定ステップ）では、欠陥有無判定部１０５は、Ｓ１５で算出した分散の値に基づいて欠陥があるか否かを判定する。具体的には、欠陥有無判定部１０５は、分散の値が所定の閾値を超えていれば欠陥があると判定し、分散の値が所定の閾値以下であれば欠陥はないと判定する。
　Ｓ１６で欠陥ありと判定された場合（Ｓ１６でＹＥＳ）にはＳ１７の処理に進む。Ｓ１７では、欠陥有無判定部１０５は、Ｓ１６の判定結果、すなわち検査対象物に欠陥があることを検査結果データ１１２に記録する。この後、処理はＳ１８に進み、欠陥種類判定処理が行われる。なお、欠陥種類判定処理の詳細は図１１に基づいて後述する。
　一方、Ｓ１６において欠陥なしと判定された場合（Ｓ１６でＮＯ）にはＳ１９の処理に進む。Ｓ１９では、欠陥有無判定部１０５は、Ｓ１６の判定結果、すなわち検査対象物に欠陥がないことを検査結果データ１１２に記録する。この後、処理はＳ２０に進む。
　Ｓ２０では、検査対象領域抽出部１０１が、検査対象となっている全ての超音波画像１１１を処理済みであるかを判定する。ここで未処理の超音波画像１１１があると判定した場合（Ｓ２０でＮＯ）にはＳ１１に戻り、検査対象領域抽出部１０１が未処理の超音波画像１１１を記憶部１１から読み出して抽出領域情報を生成する。一方、未処理の超音波画像１１１はないと判定した場合（Ｓ２０でＹＥＳ）にはＳ２１の処理に進む。
　Ｓ２１では、統合検出部１０８が、欠陥有無判定部１０５が検出した欠陥を統合する。そして、統合検出部１０８は、統合結果を検査結果データ１１２に記録する。欠陥の統合方法は、図７に基づいて説明したとおりであるから、ここでは説明を繰り返さない。なお、統合すべき欠陥がなければＳ２１およびＳ２２の処理は行われることなく図１０の処理が終了する。
　Ｓ２２では、欠陥長算出部１０９が、統合検出部１０８により統合された欠陥の長さを算出する。例えば、欠陥長算出部１０９は、１つの超音波画像１１１あたりの欠陥の長さに、統合検出部１０８が統合した欠陥の数を乗じて、欠陥の長さを算出してもよい。そして、欠陥長算出部１０９は、算出結果を検査結果データ１１２に記録する。これにより図１０の処理は終了する。
　（欠陥種類判定処理の流れ）
　図１０のＳ１８で行われる欠陥種類判定処理の流れを図１１に基づいて説明する。図１１は、欠陥種類判定処理の一例を示すフローチャートである。Ｓ３１では、ヒートマップ生成部１０６が、図１０のＳ１４で算出された差分値を用いてヒートマップを生成する。そして、Ｓ３２では、ヒートマップ生成部１０６は、Ｓ３１で生成したヒートマップに対して閾値処理を施す。閾値処理については図５に基づいて説明した通りであるからここでは説明を繰り返さない。
　Ｓ３３では、欠陥種類判定部１０７が、種類判定モデルを用いて欠陥の種類を判定する。具体的には、欠陥種類判定部１０７は、Ｓ３２にて閾値処理が施されたヒートマップを種類判定モデルに入力し、その出力値に基づいて欠陥の種類を判定する。例えば、種類判定モデルが、欠陥の種類のそれぞれについて、当該種類に該当する可能性を示す数値を出力するものであれば、欠陥種類判定部１０７は、その数値が最も大きい種類をその欠陥の種類であると判定してもよい。
　Ｓ３４では、欠陥種類判定部１０７は、Ｓ３３の判定結果を検査結果データ１１２に記録する。これにより欠陥種類判定処理は終了する。
　〔実施形態２〕
　本発明の他の実施形態について、以下に説明する。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。本実施形態では、上記実施形態とは異なる方法で欠陥の種類を判定する例を説明する。
　（検査装置の構成）
　本実施形態に係る検査装置２の構成を図１２に基づいて説明する。図１２は、検査装置２の要部構成の一例を示すブロック図である。検査装置２は、図１に示した検査装置１と比べて、制御部１０が制御部２０に変わっている点で相違している。制御部２０には、制御部１０に含まれていたヒートマップ生成部１０６と欠陥種類判定部１０７が含まれておらず、代わりに欠陥領域検出部２０１と欠陥種類判定部２０２が含まれている。
　欠陥領域検出部２０１は、差分画像においてピクセル値が閾値以上である複数のピクセルからなる領域を欠陥領域として検出する。そして、欠陥種類判定部２０２は、差分画像の画像領域における上記欠陥領域が検出された位置から、当該欠陥領域に係る欠陥の種類を判定する。欠陥領域の検出および欠陥領域の位置に基づく欠陥の種類の判定の詳細について以下説明する。
　（欠陥領域の検出）
　欠陥領域検出部２０１による欠陥領域の検出方法について図１３に基づいて説明する。図１３は、欠陥領域の検出方法を説明する図である。なお、図１３では、ヒートマップを用いて欠陥領域を検出する例を示しているが、以下説明するようにヒートマップの生成は必須ではない。
　図１３には、欠陥のある検査対象物の超音波画像１１１から生成されたヒートマップ１１１Ｅと、このヒートマップ１１１Ｅに閾値処理を施したヒートマップ１１１Ｆを示している。また、図１３には、ヒートマップ１１１Ｆの左上端部分の拡大図についても示しており、この拡大図ではヒートマップ１１１Ｆの各ピクセルにそのピクセル値を記載している。
　欠陥領域の検出において、まず、欠陥領域検出部２０１は、ヒートマップ１１１Ｆにおいて、ピクセル値が最大のピクセルを検出する。図１３の例では、最大のピクセル値が１０４であるからこのピクセルを検出する。次に、欠陥領域検出部２０１は、検出したピクセルに隣接する、ピクセル値が所定の閾値（図１１のＳ３２の閾値処理に用いた閾値よりも大きい閾値）以上のピクセルを検出する。
　欠陥領域検出部２０１は、このような処理を、閾値以上のピクセル値を有する隣接ピクセルが検出されなくなるまで繰り返す。これにより、欠陥領域検出部２０１は、所定の閾値以上のピクセル値を有するピクセルからなる連続領域を欠陥領域として検出することができる。なお、欠陥領域検出部２０１は、上記のようにして検出した欠陥領域を含む矩形領域ａｒ５を欠陥領域として検出してもよい。
　以上の処理は、検査画像１１１Ａと復元画像１１１Ｂのピクセルごとの差分値を示すデータすなわち差分画像があれば行うことができる。すなわち、差分画像においてピクセル値が最大のピクセルを検出し、そのピクセルに隣接する所定の閾値以上のピクセル値のピクセルを検出する処理を繰り返すことにより、欠陥領域を検出することができる。よって、上述のように、欠陥領域の検出のためにヒートマップ１１１Ｅやヒートマップ１１１Ｆを必ずしも生成する必要はない。
　以上のように、欠陥領域検出部２０１は、差分画像においてピクセル値が閾値以上である複数のピクセルからなる領域を欠陥領域として検出する。差分画像においては、欠陥領域のピクセルのピクセル値がそれ以外の領域のピクセル値と比べて大きな値となるから、この構成によれば、妥当な欠陥領域を自動で検出することができる。
　（位置に基づく欠陥種類の判定）
　図６に基づいて説明したとおり、溶接箇所における欠陥には、初層溶込み不良や溶接パス間の融合不良など様々な種類のものが知られており、このような欠陥の種類の違いは、超音波画像において位置の差として表れる。欠陥種類判定部２０２は、このことを利用して、差分画像の画像領域における欠陥領域が検出された位置から、当該欠陥領域に係る欠陥の種類を判定する。これにより、欠陥の種類を自動で判定することができる。
　例えば、差分画像に各種類の欠陥に対応する領域を予め設定しておけば、欠陥種類判定部２０２は、欠陥領域検出部２０１が検出した欠陥領域が何れの領域に含まれるかによって欠陥の種類を判定することができる。
　図１４は、欠陥の種類ごとに設定した領域の例を示す図である。図１４の例では、ヒートマップ１１１Ｆの左上隅にアンダカットに対応する領域ＡＲ１、上端中央に溶接パス間の融合不良に対応する領域ＡＲ２、そして右上隅に初層溶込み不良に対応する領域ＡＲ３を設定している。また、中央からやや上の位置にブローホールに対応する領域ＡＲ４を設定している。このような領域は、各種欠陥部位の検査画像に基づく差分画像やヒートマップを解析する等して予め設定しておけばよい。図１４の例では、領域ＡＲ３に、白抜き矢印で示す欠陥領域が検出されているため、欠陥種類判定部２０２は、この欠陥は初層溶込み不良による欠陥であると判定する。
　図１４の例では、ブローホールに対応する領域ＡＲ４の一部は、領域ＡＲ１～ＡＲ３の一部と重なっている。このように、欠陥の種類を判定するための領域を、その一部が他の領域と重畳するように設定してもよい。
　この場合、欠陥種類判定部２０２は、複数の領域が重畳する領域に欠陥領域が検出されたときには、それらの各領域に対応する種類全てを欠陥種類の判定結果としてもよい。例えば、領域ＡＲ１とＡＲ４の重畳領域に欠陥領域が検出されたときには、欠陥種類判定部２０２は、アンダカットとブローホールの両方を判定結果として出力してもよい。
　また、欠陥種類判定部２０２は、欠陥の種類毎に特有の条件を満たすか否かによって欠陥種類の判定結果を絞り込んでもよい。例えば、形状に特徴のある欠陥であれば、形状に関する条件を設定しておけばよく、サイズに特徴のある欠陥であれば、サイズに関する条件を設定しておけばよい。
　具体例を挙げれば、ブローホールは、球状の空洞が発生する欠陥であり、その直径は一般に２ｍｍ以下である。このため、１枚の超音波画像１１１が検査対象物の幅１ｍｍ程度の範囲をカバーする場合、１つのブローホールは２～３枚程度の超音波画像１１１に収まる。よって、検査対象物の隣接する部分にそれぞれ対応する複数の超音波画像１１１に連続して欠陥が検出された場合に、その超音波画像１１１の枚数が３枚以下であればその欠陥がブローホールである可能性がある。一方、欠陥が連続して検出された超音波画像１１１の枚数が４枚以上であれば、その欠陥はブローホールではない可能性が高い。
　よって、欠陥種類判定部２０２は、領域ＡＲ４と他の領域との重畳領域に欠陥領域が検出された場合、欠陥が連続して検出された超音波画像１１１の枚数が閾値（例えば３）以下であることを条件として、その欠陥の種類をブローホールと判定してもよい。
　例えば、図１４の例において、領域ＡＲ４とＡＲ２との重畳領域に欠陥領域が検出されたとする。この場合、欠陥種類判定部２０２は、欠陥が連続して検出された超音波画像１１１の枚数が閾値以下であれば欠陥の種類をブローホールと判定し、閾値を超えていれば溶接パス間の融合不良と判定すればよい。
　また、上述のように、ブローホールは球状であるから、１つのブローホールが複数の超音波画像１１１にまたがって検出された場合、各超音波画像１１１におけるそのブローホールに起因するエコーのピーク値が相違することが多い。このようなピーク値の相違は、超音波画像１１１においてはピクセル値の相違として表れる。例えば、１つのブローホールが３枚の超音波画像１１１にまたがって検出されたとする。この場合、３枚の超音波画像１１１のうち中央の超音波画像１１１におけるそのブローホールに起因するエコーのピーク値を５０％とすると、その前後の超音波画像１１１におけるブローホールに起因するエコーのピーク値はそれよりも低い３０％といった値になる。
　よって、欠陥種類判定部２０２は、領域ＡＲ４と他の領域との重畳領域に欠陥領域が検出された場合、欠陥が連続して検出された各超音波画像１１１における欠陥領域のピクセル値に差異があることを条件として、その欠陥の種類をブローホールと判定してもよい。例えば、欠陥種類判定部２０２は、各超音波画像１１１の欠陥領域に含まれる各ピクセルのピクセル値の平均値を算出し、その平均値の差が閾値以上である場合に差異ありと判定してもよい。
　（欠陥種類判定処理の流れ）
　検査装置２による欠陥検査は、検査装置１と同様に図１０に示したフローチャートの流れで行われる。ただし、Ｓ１８で行われる欠陥種類判定処理の内容が相違している。ここでは、図１０のＳ１８で検査装置２により行われる欠陥種類判定処理の流れを図１５に基づいて説明する。図１５は、検査装置２が実行する欠陥種類判定処理の一例を示すフローチャートである。
　Ｓ４１では、欠陥領域検出部２０１が、図１０のＳ１４で算出された差分値に閾値処理を施す。そして、Ｓ４２では、欠陥領域検出部２０１は、閾値処理後の差分値から欠陥領域を検出する。欠陥領域の検出方法は図１３に基づいて説明した通りであるからここでは説明を繰り返さない。
　Ｓ４３では、欠陥種類判定部２０２が、Ｓ４２で特定された欠陥領域の位置から欠陥の種類を判定する。例えば、欠陥種類判定部２０２は、Ｓ４２で検出された欠陥領域が、図１４に示した領域ＡＲ１～ＡＲ４の何れに含まれるかによって欠陥の種類を判定してもよい。
　Ｓ４４では、欠陥種類判定部２０２は、Ｓ４３の判定結果を検査結果データ１１２に記録する。これにより欠陥種類判定処理は終了する。
　〔応用例〕
　上述の各実施形態では、超音波画像を用いて欠陥の有無を判定する例を説明したが、検査装置１および２は、他の画像からの欠陥の有無の判定に適用することもできる。例えば、放射線透過試験（ＲＴ）において、検査対象物の欠陥の有無を判定する検査に検査装置１および２を適用することもできる。この場合、放射線透過写真の代わりに、イメージングプレートなどの電子デバイスを用いて得られた画像データから欠陥の像を検出することになる。
　〔変形例〕
　上記各実施形態で説明した各処理の実行主体は適宜変更することが可能である。例えば、図１０のフローチャートにおける、Ｓ１１（検査画像の生成）、Ｓ１３（復元画像の生成）、Ｓ１８（欠陥種類判定）、Ｓ２１（欠陥の統合）、およびＳ２２（欠陥長の算出）を他の情報処理装置に実行させてもよい。また、この場合、他の情報処理装置は、１つであってもよいし、複数であってもよい。このように、検査装置１および２の機能は、多様なシステム構成で実現することが可能である。また、複数の情報処理装置を含むシステムを構築する場合、一部の情報処理装置はクラウド上に配置されていてもよい。つまり、検査装置１の機能は、オンライン上で情報処理を行う１または複数の情報処理装置を利用して実現することもできる。
　〔ソフトウェアによる実現例〕
　検査装置１および２の制御ブロック（特に制御部１０および２０に含まれる各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。
　後者の場合、検査装置１および２は、各機能を実現するソフトウェアである検査プログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記検査プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記検査プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。また、検査装置１および２は、ＣＰＵ等のプロセッサに加えてＧＰＵ（Graphics Processing Unit）を備えていてもよい。ＧＰＵを用いることにより、上述の各種モデルを用いた演算等を高速で行うことが可能になる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや電波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
１　　　検査装置
１０２　検査画像生成部
１０３　検査画像取得部
１０５　欠陥有無判定部
１０６　ヒートマップ生成部
１０７　欠陥種類判定部
１０８　統合検出部
１１１　超音波画像
２　　　検査装置
２０１　欠陥領域検出部
２０２　欠陥種類判定部

Claims (11)

  1. 　検査対象物の内部における欠陥の有無を判定するための画像である検査画像を取得する検査画像取得部と、
    　入力された画像と同様の特徴を有する新たな画像を生成するように機械学習により構築された生成モデルであって、欠陥のない検査対象物の画像を訓練データとして構築された生成モデルに上記検査画像を入力することにより生成された復元画像を用いて、上記検査対象物の欠陥の有無を判定する欠陥有無判定部と、を備えた検査装置。
  2. 　上記欠陥有無判定部は、上記検査画像と上記復元画像との差分画像を構成する各ピクセルのピクセル値の分散が所定の閾値を超える場合に、上記検査対象物に欠陥があると判定する、請求項１に記載の検査装置。
  3. 　上記検査装置は、上記検査対象物に伝搬させた超音波のエコーを画像化した超音波画像から、上記検査対象物における検査対象部位の周縁部からのエコーが繰り返し現れる２つの周縁エコー領域に挟まれた領域を検査対象領域として抽出して上記検査画像を生成する検査画像生成部を備え、
    　上記検査画像取得部は、上記検査画像生成部が生成した上記検査画像を取得する、請求項１または２に記載の検査装置。
  4. 　上記検査画像生成部は、上記検査対象部位と、該検査対象部位の周縁部からのエコーが写る領域の少なくとも一部と、を含む領域を正解データとした機械学習により構築された、検査対象領域の抽出モデルに、上記超音波画像を入力して得られる出力値に基づいて上記検査対象領域を抽出する、請求項３に記載の検査装置。
  5. 　上記欠陥有無判定部は、上記復元画像の画像領域から、上記検査対象部位の周縁部からのエコーが写る領域を除いた残りの画像領域を対象として、上記検査対象物の欠陥の有無を判定する、請求項４に記載の検査装置。
  6. 　上記差分画像においてピクセル値が閾値以上である複数のピクセルからなる領域を欠陥領域として検出する欠陥領域検出部を備える、請求項２に記載の検査装置。
  7. 　上記欠陥は、上記検査対象物の溶接箇所における欠陥であり、
    　上記検査装置は、上記差分画像の画像領域における上記欠陥領域が検出された位置から、当該欠陥領域に係る欠陥の種類を判定する欠陥種類判定部を備える、請求項６に記載の検査装置。
  8. 　上記欠陥有無判定部が、上記検査対象物の一部分であって、互いに隣接する部分にそれぞれ対応する複数の超音波画像について欠陥ありと判定した場合に、当該複数の超音波画像に写る欠陥を１つの欠陥として検出する統合検出部を備える、請求項１から７の何れか１項に記載の検査装置。
  9. 　上記差分画像を構成する各ピクセルのピクセル値を色または濃淡で表したヒートマップを生成するヒートマップ生成部と、
    　種類が既知の欠陥がある検査対象物の検査画像から生成された差分画像のヒートマップを教師データとした機械学習で構築された種類判定モデルに、上記ヒートマップ生成部が生成したヒートマップを入力して得られる出力値に基づいて欠陥の種類を判定する欠陥種類判定部を備える、請求項２に記載の検査装置。
  10. 　検査装置を用いた検査方法であって、
    　検査対象物の内部における欠陥の有無を判定するための画像である検査画像を取得する検査画像取得ステップと、
    　入力された画像と同様の特徴を有する新たな画像を生成するように機械学習して構築された生成モデルであって、欠陥のない検査対象物の超音波画像を訓練データとして構築された生成モデルに上記検査画像を入力することにより生成された復元画像を用いて、上記検査対象物の欠陥の有無を判定する欠陥有無判定ステップと、を含む検査方法。
  11. 　請求項１に記載の検査装置としてコンピュータを機能させるための検査プログラムであって、上記検査画像取得部および上記欠陥有無判定部としてコンピュータを機能させるための検査プログラム。
PCT/JP2021/014383 2020-06-10 2021-04-02 検査装置、検査方法、および検査プログラム WO2021250986A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180041906.6A CN115836218A (zh) 2020-06-10 2021-04-02 检查装置、检查方法、以及检查程序
US18/008,632 US20230221286A1 (en) 2020-06-10 2021-04-02 Inspection device, inspection method, and inspection program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-101123 2020-06-10
JP2020101123A JP7385529B2 (ja) 2020-06-10 2020-06-10 検査装置、検査方法、および検査プログラム

Publications (1)

Publication Number Publication Date
WO2021250986A1 true WO2021250986A1 (ja) 2021-12-16

Family

ID=78845498

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/014383 WO2021250986A1 (ja) 2020-06-10 2021-04-02 検査装置、検査方法、および検査プログラム

Country Status (4)

Country Link
US (1) US20230221286A1 (ja)
JP (1) JP7385529B2 (ja)
CN (1) CN115836218A (ja)
WO (1) WO2021250986A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115932864A (zh) * 2023-02-24 2023-04-07 深圳市博铭维技术股份有限公司 管道缺陷检测方法和管道缺陷检测装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023047685A (ja) * 2021-09-27 2023-04-06 日立造船株式会社 情報処理装置、判定領域の設定方法、および判定領域設定プログラム
CN116778348B (zh) * 2023-08-28 2023-12-01 广东中科慧据科技有限公司 基于机器视觉的外墙脱落监测方法、装置、设备及介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08110326A (ja) * 1994-10-11 1996-04-30 Komatsu Ltd ニューラルネットワークシステムにおけるパターン生成方法
JP2010243375A (ja) * 2009-04-08 2010-10-28 National Maritime Research Institute 進展亀裂検出方法、装置およびプログラム
JP2018054354A (ja) * 2016-09-27 2018-04-05 株式会社東芝 超音波探傷装置、データ処理装置および超音波探傷方法
WO2019103772A1 (en) * 2017-11-22 2019-05-31 Siemens Aktiengesellschaft Detection and root cause analysis of welding defects
US20190290246A1 (en) * 2018-03-23 2019-09-26 China Medical University Hospital Assisted detection model of breast tumor, assisted detection system thereof, and method for assisted detecting breast tumor
JP2019197007A (ja) * 2018-05-10 2019-11-14 東京瓦斯株式会社 超音波探傷の判定装置、判定プログラム及び判定方法
JP2020503509A (ja) * 2017-03-29 2020-01-30 富士通株式会社 超音波スキャン・データを用いた欠陥検出
JP2020028679A (ja) * 2018-08-24 2020-02-27 富士通株式会社 異常判別プログラム、異常判別方法および異常判別装置
JP2020058800A (ja) * 2018-10-10 2020-04-16 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08110326A (ja) * 1994-10-11 1996-04-30 Komatsu Ltd ニューラルネットワークシステムにおけるパターン生成方法
JP2010243375A (ja) * 2009-04-08 2010-10-28 National Maritime Research Institute 進展亀裂検出方法、装置およびプログラム
JP2018054354A (ja) * 2016-09-27 2018-04-05 株式会社東芝 超音波探傷装置、データ処理装置および超音波探傷方法
JP2020503509A (ja) * 2017-03-29 2020-01-30 富士通株式会社 超音波スキャン・データを用いた欠陥検出
WO2019103772A1 (en) * 2017-11-22 2019-05-31 Siemens Aktiengesellschaft Detection and root cause analysis of welding defects
US20190290246A1 (en) * 2018-03-23 2019-09-26 China Medical University Hospital Assisted detection model of breast tumor, assisted detection system thereof, and method for assisted detecting breast tumor
JP2019197007A (ja) * 2018-05-10 2019-11-14 東京瓦斯株式会社 超音波探傷の判定装置、判定プログラム及び判定方法
JP2020028679A (ja) * 2018-08-24 2020-02-27 富士通株式会社 異常判別プログラム、異常判別方法および異常判別装置
JP2020058800A (ja) * 2018-10-10 2020-04-16 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115932864A (zh) * 2023-02-24 2023-04-07 深圳市博铭维技术股份有限公司 管道缺陷检测方法和管道缺陷检测装置

Also Published As

Publication number Publication date
CN115836218A (zh) 2023-03-21
US20230221286A1 (en) 2023-07-13
JP2021196205A (ja) 2021-12-27
JP7385529B2 (ja) 2023-11-22

Similar Documents

Publication Publication Date Title
WO2021250986A1 (ja) 検査装置、検査方法、および検査プログラム
WO2021251064A1 (ja) 情報処理装置、判定方法、および情報処理プログラム
JP5392731B2 (ja) 超音波探傷検査の判定支援装置、判定支援方法、判定支援プログラム、及び該判定支援プログラムを記録したコンピュータ読取可能な記録媒体
US11010890B2 (en) Method for the non-destructive testing of the volume of a test object and testing device configured for carrying out such a method
US9207639B2 (en) Transforming A-scan data samples into a three-dimensional space for facilitating visualization of flaws
Tyystjärvi et al. Automated defect detection in digital radiography of aerospace welds using deep learning
CN104655658A (zh) 一种大型高温叶片内部缺陷三维无损检测方法
KR20150108872A (ko) 초음파 검사를 사용한 회전자 구성요소들의 내장된 결함의 식별, 그룹화 및 사이징을 위한 방법 및 시스템
JP5156707B2 (ja) 超音波検査方法及び装置
KR20090116127A (ko) 디지털 방사선 촬영을 이용한 용접부 결함 검출 방법
WO2015001624A1 (ja) 超音波探傷方法、超音波探傷装置ならびにパネル構造体の溶接部検査方法
Febrianti et al. Analysis of non-destructive testing ultrasonic signal for detection of defective materials based on the Simulink Matlab Mathematica computation method
KR100967084B1 (ko) 균열 모니터링 시스템, 균열 모니터링 방법 및 균열모니터링 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체
JP4364031B2 (ja) 超音波探傷画像処理装置及びその処理方法
KR102105503B1 (ko) 용접 품질 자동 평가 방법 및 용접 품질 자동 평가 장치
WO2022209169A1 (ja) 情報処理装置、判定方法、および判定プログラム
Aoki et al. Intelligent image processing for abstraction and discrimination of defect image in radiographic film
JPH08110326A (ja) ニューラルネットワークシステムにおけるパターン生成方法
JP2006329898A (ja) 表面歪の測定方法および測定装置
JP7142825B1 (ja) 画像判定方法及び画像判定システム
CN213041783U (zh) 超声波检测技术中的异形与异形孔试块
CN117218145A (zh) 微电子封装中焊点超声显微图像特征提取方法及系统
JP2024021726A (ja) 欠陥解析装置、欠陥解析方法、プログラムおよび学習装置
JP2024008670A (ja) 機械学習装置
JPS62262180A (ja) 画質検査方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21822913

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21822913

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 522441661

Country of ref document: SA