WO2019059011A1 - 教師データ作成方法及び装置並びに欠陥検査方法及び装置 - Google Patents

教師データ作成方法及び装置並びに欠陥検査方法及び装置 Download PDF

Info

Publication number
WO2019059011A1
WO2019059011A1 PCT/JP2018/033341 JP2018033341W WO2019059011A1 WO 2019059011 A1 WO2019059011 A1 WO 2019059011A1 JP 2018033341 W JP2018033341 W JP 2018033341W WO 2019059011 A1 WO2019059011 A1 WO 2019059011A1
Authority
WO
WIPO (PCT)
Prior art keywords
defect
image
teacher data
frequency band
unit
Prior art date
Application number
PCT/JP2018/033341
Other languages
English (en)
French (fr)
Inventor
康彦 金子
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2019543553A priority Critical patent/JP6810505B2/ja
Priority to CN201880060564.0A priority patent/CN111108368B/zh
Publication of WO2019059011A1 publication Critical patent/WO2019059011A1/ja
Priority to US16/822,663 priority patent/US11386542B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/40—Imaging
    • G01N2223/401—Imaging image processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/628—Specific applications or type of materials tubes, pipes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Definitions

  • the present invention relates to a teacher data creation method and apparatus, and a defect inspection method and apparatus, and in particular, a teacher data creation method and apparatus for creating teacher data used for learning of a defect inspection apparatus, and a defect involving learning using teacher data.
  • the present invention relates to an inspection method and apparatus.
  • Patent Document 1 discloses a defect inspection apparatus for inspecting the presence or absence of a defect of an object.
  • a specific frequency component is detected through a band pass filter in an artificial defect image, and the artificial defect image is learned by a neural network unit to compensate for the lack of samples of the learning pattern ([0031] From [0032]).
  • Patent Document 2 discloses a defect inspection apparatus for an object having a repetitive pattern.
  • a spatial frequency filter is used to repeatedly remove a pattern from Fourier-transformed light ([0008]).
  • Patent Document 3 discloses a defect inspection method for determining the quality of an inspection object based on an inspection image acquired by illuminating and imaging the inspection object.
  • a highly accurate defect inspection is performed with less teacher data by using a neural network having a generalization ability ([0040]).
  • JP 2004-354251 A Japanese Patent Application Laid-Open No. 09-021757 JP, 2004-191112, A
  • Equipment such as piping used for transportation of oil will cause serious social damage once an accident occurs.
  • Such facilities such as piping are difficult to disassemble and inspect.
  • the inspection of equipment such as piping is performed by nondestructive inspection involving irradiation of light or radiation to the piping to be inspected.
  • an image reader such as a pipe or the like obtained by irradiating a pipe or the like to be inspected with a light beam or a radiation is subjected to an inspection of a defect by an image reader.
  • Types of defects include stains, cracks, defects, defects caused by inclusion of foreign matter and foreign metals, and defects caused by inclusion of air in a mold during casting.
  • the defects are individually different in shape and size, and a large number of defects may be detected from one image. For this reason, it takes a considerable amount of time to inspect flaws in an image without omission.
  • the image obtained by imaging an object to be inspected (hereinafter referred to as an inspection object) such as piping is an image obtained by imaging a defect of the same type because the luminance differs depending on the shape, thickness and material of the object to be inspected Also, the shading may differ depending on the location of the defect. For this reason, in order to ensure inspection accuracy in inspection of defects using machine learning, it is necessary to collect many sample images of defects corresponding to various gradation variations for each type of defect.
  • the present invention has been made in view of the above circumstances, and it is possible to secure the accuracy of defect inspection even if the number of defect samples used to create teacher data is small. And apparatus and defect inspection method and apparatus.
  • the teacher data creation method concerning the 1st mode of the present invention is the reflected light from the to-be-inspected object obtained by irradiating a ray or radiation to the to-be-inspected object which has a defect.
  • a training image acquisition step for acquiring a training image including a light reception image created based on light, a frequency distribution analysis step for performing frequency distribution analysis on the training image, and parameters for specifying a frequency band Showing a defect with respect to an image corresponding to the frequency band signal, an input step of accepting the input of the frequency band selection step of selecting the frequency band signal from the analysis result of the frequency distribution analysis according to the frequency band specified by the parameter;
  • the science of a defect inspection system for acquiring defect information and inspecting a defect of an object under inspection based on the defect information Creating teacher data for use in and a teacher data creating step.
  • the frequency distribution analysis is performed on the training image, and by selecting the frequency band signal from the analysis result of the frequency distribution analysis, the shading is standardized corresponding to the selected frequency band signal. Can obtain an image. By using the image in which the density is standardized, it is possible to ensure the accuracy of defect inspection even if the number of images for training used for creating teacher data, that is, the images of defect samples is small. It will be possible.
  • the teacher data creation method further comprises, in the first aspect, a display step of displaying an image corresponding to the frequency band signal selected in the frequency band selection step on a display unit, In the step, in the image corresponding to the frequency band signal displayed on the display unit, an input of an instruction indicating whether it is defective or non-defective is received, and teacher data is created based on the instruction.
  • the second aspect is to create teacher data based on an instruction input from a reader of an image corresponding to a frequency band signal.
  • the training image acquiring step defect information indicating a defect of the object to be inspected included in the training image is associated with the training image.
  • defect information stored in association with the training image is acquired, and training data is created based on the defect information.
  • defect information including at least one of the type of defect of the inspection object and the position of the defect is acquired It is intended to
  • the third and fourth aspects create teacher data based on defect information attached to the training image.
  • the teacher data creation method receives registration of a plurality of band pass filters corresponding to the material of the inspection object and defects in the inspection object in any of the first to fourth aspects.
  • the method further comprises the step of: at the input step, receiving an input of a parameter for specifying the band pass filter to be used for selecting the frequency band signal among the plurality of band pass filters; at the frequency band selection step, the band specified by the parameter A pass filter is used to select a frequency band signal.
  • a band pass filter used for selecting a frequency band signal is designated according to the material of the test object It is
  • the band pass filter by designating the band pass filter according to the material and defect of the object to be inspected, it is possible to obtain an image in which the density is standardized for each material and defect of the object to be inspected. Can.
  • a teacher including a frequency band signal selected from a training image and defect information. It is intended to create data.
  • a defect inspection method performs learning in a defect inspection apparatus using teacher data created by the teacher data creation method according to any of the first to seventh aspects. Acquiring an inspection object image created based on reflected light or transmitted light from the inspection object to be inspected obtained by irradiating the inspection object to be inspected with a light beam or radiation; And a defect inspection step of detecting a defect in the inspection object image by the defect inspection apparatus which has performed the inspection.
  • the eighth aspect by using an image whose density is standardized, it is possible to ensure the accuracy of defect inspection even when the number of training image samples used to create teacher data is small. Becomes possible.
  • the defect inspection step executes a frequency distribution analysis on the inspection object image, and an analysis result of the frequency distribution analysis on the inspection object image. And selecting the frequency band signal from the frequency band signal selected from the analysis result of the frequency distribution analysis for the inspection object image, and detecting a defect in the inspection object image based on the teacher data.
  • the accuracy of the defect inspection can be secured by normalizing the density of the inspection target image.
  • the teacher data creation device is a light reception device created based on reflected light or transmitted light from a test object obtained by irradiating a light beam or radiation to a test object having a defect.
  • a training image acquisition unit that acquires a training image including an image, a frequency distribution analysis unit that performs frequency distribution analysis on the training image, an input unit that receives input of parameters for specifying a frequency band;
  • a frequency band selection unit that selects a frequency band signal from an analysis result of frequency distribution analysis according to a frequency band specified by a parameter, and defect information acquisition that acquires defect information indicating defects in an image corresponding to the frequency band signal
  • teacher data used for learning defect inspection equipment to inspect defects of the inspection object based on And a teacher that data creation unit.
  • the defect inspection apparatus is the teacher data creation apparatus according to the tenth aspect, and an inspection object to be inspected obtained by irradiating the inspection object to be inspected with a light beam or radiation. Learning is performed using the inspection target image acquisition unit that acquires the inspection target image created based on the reflected light or transmitted light from the image, and the teacher data created by the teacher data creation device, and a defect in the inspection subject image is detected And a defect inspection unit.
  • the frequency distribution analysis is performed on the training image, and by selecting the frequency band signal from the analysis result of the frequency distribution analysis, the shading is standardized corresponding to the selected frequency band signal. You can get an image. By using the image in which the density is standardized, it is possible to ensure the accuracy of defect inspection even if the number of images for training used for creating teacher data, that is, the images of defect samples is small. It will be possible.
  • FIG. 1 is a block diagram showing a defect inspection system according to a first embodiment of the present invention.
  • FIG. 2 is a block diagram showing a teacher data creation device according to the first embodiment of the present invention.
  • FIG. 3 is a block diagram showing a defect inspection apparatus according to the first embodiment of the present invention.
  • FIG. 4 is a block diagram extracting and showing a configuration related to creation of teacher data and learning using the teacher data in the defect inspection system according to the first embodiment of the present invention.
  • FIG. 5 is a diagram showing an example of a training image.
  • FIG. 6 is a diagram showing an example of an image after conversion.
  • FIG. 7 is a diagram showing an image of defects in the training image and an image of defects in the image after conversion in comparison.
  • FIG. 8 is an explanatory diagram regarding frequency distribution analysis.
  • FIG. 9 is an explanatory diagram regarding a band pass filter.
  • FIG. 10 is a diagram illustrating a first example of an image to which a band pass filter is applied.
  • FIG. 11 is a diagram illustrating a second example of the image to which the band pass filter is applied.
  • FIG. 12 is a diagram illustrating a third example of an image to which a band pass filter is applied.
  • FIG. 13 schematically shows teacher data.
  • FIG. 14 is a diagram showing teacher data in a simplified manner.
  • FIG. 15 is a block diagram showing an example of an imaging system.
  • FIG. 16 is a flowchart showing a flow of processing of creating teacher data according to the first embodiment of the present invention and learning of a defect determiner using the created teacher data.
  • FIG. 16 is a flowchart showing a flow of processing of creating teacher data according to the first embodiment of the present invention and learning of a defect determiner using the created teacher data.
  • FIG. 16 is a flowchart showing a flow of processing of creating teacher
  • FIG. 17 is a flowchart showing a process flow in the frequency band selection step of FIG.
  • FIG. 18 is a flowchart showing the flow of processing in the defect information acquisition step of FIG.
  • FIG. 19 is a flowchart showing another example of the process flow in the defect information acquisition step of FIG.
  • FIG. 20 is a flowchart showing the flow of processing in the defect inspection method according to the first embodiment of the present invention.
  • FIG. 21 is a block diagram showing a defect inspection system according to a second embodiment of the present invention.
  • FIG. 1 is a block diagram showing a defect inspection system according to a first embodiment of the present invention.
  • a defect inspection system 10 is for inspecting a defect involving machine learning on an object to be inspected (hereinafter referred to as an inspection object) such as an industrial product. And includes the teacher data creation device 100 and the defect inspection device 200.
  • the teacher data creation apparatus 100 receives the input of the training image P10, and based on the training image P10, the teacher data (see FIGS. 13 and 14) to be used for learning the defect determiner 126 (see FIG. 4). create.
  • the training image P10 is an image including a sample of occurrence of a defect, and is an image obtained by imaging an industrial product or the like identical to or similar to the inspection object OBJ to be inspected by the defect inspection apparatus 200. It is.
  • the training image P10 may be an image obtained by capturing an image of a test object on which a defect naturally occurs during use of the test object, or an image obtained by capturing an image of a test object to which a defect is artificially added. It is also good.
  • the training image P10 for example, one provided as a sample from a designer or operator of a facility or the like to which a test subject is attached can be used.
  • the teacher data creation device 100 transfers the defect determiner 222 (see FIG. 4) after learning to the defect inspection device 200 as a learning result.
  • the imaging system 300 captures an image of the inspection object OBJ to be inspected by the defect inspection apparatus 200.
  • the imaging system 300 emits radiation to the subject OBJ, and picks up an image of the subject OBJ based on reflected light reflected by the subject OBJ or transmitted light transmitted through the subject OBJ. .
  • defect inspection apparatus 200 includes a defect in inspection object image P30 which is an image of inspection object OBJ captured by imaging system 300 or the like using defect determiner 222 after learning (see FIG. 4) To check if.
  • the defect inspection apparatus 200 specifies the position and type of the defect using the defect determiner 222 (see FIG. 4) after learning.
  • FIG. 2 is a block diagram showing the teacher data creation device 100. As shown in FIG.
  • the teacher data creation apparatus 100 includes a control unit 102, an operation unit 104, a memory 106, a recording unit 108, a display unit 110, a communication interface (communication I / F: interface) 112, A training image acquisition unit 114, a frequency distribution analysis unit 116, a frequency band selection unit 118, a defect information acquisition unit 120, a teacher data creation unit 122, and a learning unit 124 are provided.
  • the control unit 102 includes a CPU (Central Processing Unit) that controls the operation of each unit of the teacher data creation device 100.
  • the control unit 102 can transmit and receive control signals and data to and from each unit of the teacher data creation device 100 via the bus B10.
  • the control unit 102 receives an operation input from the operator via the operation unit 104, transmits a control signal corresponding to the operation input via the bus B10 to each unit of the teacher data creation device 100, and controls the operation of each unit. .
  • CPU Central Processing Unit
  • the operation unit 104 is an input device that receives an operation input from an operator, and is a keyboard for character input and the like, a pointer displayed on the display unit 110, a pointing device for operating icons and the like (for example, a mouse, a trackball Etc.). Note that as the operation unit 104, a touch panel may be provided on the surface of the display unit 110 instead of or in addition to the keyboard and the pointing device.
  • the memory 106 is used as a RAM (Random Access Memory) used as a work area for various calculations performed by the control unit 102 and the like, and as an area for temporarily storing image data output to the display unit 110. It includes VRAM (Video Random Access Memory).
  • RAM Random Access Memory
  • VRAM Video Random Access Memory
  • the recording unit 108 stores data including the training image P10 and a control program used by the control unit 102.
  • a device including a magnetic disk such as a hard disk drive (HDD), a device including a flash memory such as an embedded multi media card (eMMC) or a solid state drive (SSD), or the like can be used as the recording unit 108.
  • HDD hard disk drive
  • eMMC embedded multi media card
  • SSD solid state drive
  • the display unit 110 is a device for displaying an image.
  • a liquid crystal monitor can be used as the display unit 110 .
  • the communication I / F 112 is a means for performing communication with an external device via a network.
  • Wired communication or wireless communication for example, LAN (Local Area Network), WAN (Wide Area Network), Internet connection, etc.
  • LAN Local Area Network
  • WAN Wide Area Network
  • Internet connection etc.
  • the training image acquisition unit 114 can receive an input of the training image P10 through the communication I / F 112.
  • the method for inputting the training image P10 to the teacher data creation device 100 is not limited to communication via a network.
  • a USB (Universal Serial Bus) cable, Bluetooth (registered trademark), infrared communication, etc. may be used, and the training image P10 can be attached to and detached from and read from the teacher data creation device 100 (for example, a memory card) , And the training image acquisition unit 114 may receive an input of the training image P10 via the recording medium.
  • the frequency distribution analysis unit 116 performs frequency distribution analysis on the training image P10.
  • the frequency distribution analysis unit 116 subjects the training image P10 to a Fourier transform, for example, FFT (Fast Fourier Transform) or discrete cosine transform (DCT) to separate the training image P10 for each frequency component.
  • a Fourier transform for example, FFT (Fast Fourier Transform) or discrete cosine transform (DCT)
  • DCT discrete cosine transform
  • the frequency distribution analysis unit 116 removes, from the frequency band signal acquired from the training image P10, the change in the distribution of global gradation, for example, the gradation of low frequency, and references the difference in density due to defects. Normalize to a density difference centered on the concentration (for example, 50% gray).
  • the frequency band selection unit 118 generates teacher data from the analysis result by the frequency distribution analysis unit 116 according to the material of the inspection object included in the training image P10 and the type of defect to be inspected in the inspection object. Select the frequency band signal to be used.
  • the defect information acquisition unit 120 acquires defect information indicating a defect included in the image corresponding to the frequency band signal selected by the frequency band selection unit 118.
  • the teacher data creation unit 122 cuts out the images P20-1, P20-2, P20-3,..., P20-n of individual defects from the image P20 after conversion based on the defect information. Then, the teacher data creation unit 122 creates teacher data in which the type of defect is output, with the images P20-1, P20-2, P20-3,..., P20-n of individual defects as input.
  • the learning unit 124 uses the teacher data created by the teacher data creation unit 122 to cause the defect determiner 126 (see FIG. 4) to perform learning.
  • the learning unit 124 transfers the defect determiner 222 (see FIG. 4) after learning to the defect inspection apparatus 200.
  • the training image acquisition unit 114 the frequency distribution analysis unit 116, the frequency band selection unit 118, the defect information acquisition unit 120, the teacher data creation unit 122, and the learning unit 124 are implemented by dedicated electric circuits. It may be constructed, or may be constructed as a function realized by the CPU of the control unit 102.
  • FIG. 3 is a block diagram showing the defect inspection apparatus 200. As shown in FIG.
  • the defect inspection apparatus 200 includes a control unit 202, an operation unit 204, a memory 206, a recording unit 208, a display unit 210, a communication interface (communication I / F: interface) 212, and an inspection.
  • a target image acquisition unit 214, a frequency distribution analysis unit 216, a frequency band selection unit 218, and a defect inspection unit 220 are provided.
  • the control unit 202 includes a CPU (Central Processing Unit) that controls the operation of each unit of the defect inspection apparatus 200.
  • the control unit 202 controls the defect inspection apparatus 200 via the bus B20. It is possible to transmit and receive control signals and data with each part of
  • the control unit 202 receives an operation input from the operator via the operation unit 204, transmits a control signal corresponding to the operation input via the bus B20 to each unit of the defect inspection apparatus 200, and controls the operation of each unit.
  • the operation unit 204 is an input device that receives an operation input from an operator, and is a keyboard for character input and the like, a pointer displayed on the display unit 210, a pointing device for operating icons and the like (for example, a mouse, a trackball Etc.). Note that as the operation unit 204, a touch panel may be provided on the surface of the display unit 210 instead of or in addition to the keyboard and the pointing device.
  • the memory 206 is used as a RAM (Random Access Memory) used as a work area for various operations performed by the control unit 202 and the like, and as an area for temporarily storing image data output to the display unit 210. It includes VRAM (Video Random Access Memory).
  • RAM Random Access Memory
  • VRAM Video Random Access Memory
  • the recording unit 208 stores data including an inspection object image P30 obtained by imaging an inspection object OBJ to be inspected and a control program used by the control unit 202.
  • a device including a magnetic disk such as a hard disk drive (HDD)
  • a device including a flash memory such as an embedded multi media card (eMMC) or a solid state drive (SSD), or the like can be used.
  • eMMC embedded multi media card
  • SSD solid state drive
  • the display unit 210 is a device for displaying an image.
  • a liquid crystal monitor can be used as the display unit 210.
  • the communication I / F 212 is a means for performing communication with an external device via a network.
  • Wired communication or wireless communication for example, LAN (Local Area Network), WAN (Wide Area Network), Internet connection, etc.
  • LAN Local Area Network
  • WAN Wide Area Network
  • Internet connection etc.
  • the inspection target image acquisition unit 214 receives, via the communication I / F 212, an input of an inspection object image P30 which is an image of the inspection object OBJ captured by the imaging system 300 or the like.
  • the method of inputting the inspection object image P30 into the defect inspection apparatus 200 is not limited to communication via the network.
  • a USB (Universal Serial Bus) cable, Bluetooth (registered trademark), infrared communication, or the like may be used, and a recording medium (for example, a memory card) in which the inspection object image P30 can be attached to and detached from the defect inspection device 200 ) And the inspection object image P30 may be input to the defect inspection apparatus 200 via this recording medium.
  • the frequency distribution analysis unit 216 performs frequency distribution analysis on the inspection object image P30.
  • the frequency distribution analysis unit 216 performs Fourier transform, for example, Fast Fourier Transform (FFT) or Discrete Cosine Transform (DCT) on the test object image P30 to generate the test object image P30 in frequency. Decomposition into frequency band signals for each component. Then, the frequency distribution analysis unit 216 removes the change of the global density distribution, for example, the low frequency density, from the frequency band signal acquired from the inspection object image P30, and the density difference due to the defect can be Normalize to a difference in density centered on a reference density (for example, 50% gray).
  • FFT Fast Fourier Transform
  • DCT Discrete Cosine Transform
  • the frequency band selection unit 218 selects a frequency band signal from the analysis result by the frequency distribution analysis unit 216 according to the material of the inspection object included in the inspection object image P30 and the type of defect to be inspected in the inspection object. Do.
  • the defect inspection unit 220 uses the defect determiner 222 (see FIG. 4) transferred from the learning unit 124 of the teacher data creation device 100 to determine the presence or absence (defect or nondefect) and type of defect.
  • the defect inspection unit 220 causes the display unit 210 to display the result of the defect inspection.
  • all or part of the functions of the inspection target image acquisition unit 214, the frequency distribution analysis unit 216, the frequency band selection unit 218, and the defect inspection unit 220 may be configured by a dedicated electric circuit, or the control unit 202. It may be constructed as a function realized by the CPU of
  • FIG. 4 is a block diagram extracting and showing a configuration related to creation of teacher data and learning using the teacher data in the defect inspection system 10.
  • the frequency distribution analysis unit 116 applies FFT to the training image P10 acquired by the training image acquisition unit 114. Then, the frequency distribution analysis unit 116 removes, from the frequency band signal acquired from the training image P10, the change in the distribution of global gradation, for example, the gradation of low frequency, and references the difference in density due to defects. Normalize to a density difference centered on the concentration (for example, 50% gray).
  • the frequency band selection unit 118 generates teacher data from the analysis result by the frequency distribution analysis unit 116 according to the material of the inspection object included in the training image P10 and the type of defect to be inspected in the inspection object. Select the frequency band signal to be used.
  • the defect information acquisition unit 120 acquires defect information indicating a defect included in the image corresponding to the frequency band signal selected by the frequency band selection unit 118.
  • FIG. 5 is a diagram showing an example of the training image P10
  • FIG. 6 is a diagram showing an example of the image P20 after conversion
  • FIG. 7 is a diagram showing the image of the defect in the training image P10 and the image of the defect in the image P20 after conversion in comparison.
  • the image of the training image P10 shown in FIG. 5 is an image in which X-rays are transmitted through the subject, and includes a difference in luminance due to the shape, thickness, material, and the like of the subject. For this reason, as shown in FIG. 7, in the images P10-1, P10-2, P10-3,..., P10-n of the defects cut out from the training image P10, changes in density due to the defects are not It is changing under the influence of the difference in luminance due to the shape, thickness and material of the sample.
  • the frequency distribution analysis unit 116 converts the training image P10 into an image with a gradation difference of 256 gradations using 50% gray as a reference density in one example.
  • the shading is standardized, and the influence of the difference in luminance due to the shape, thickness, material and the like of the object is removed.
  • P20-1, P20-2, P20-3,..., P20-n of the defect cut out from the image P20 after conversion under the standardized shading, There is a change in shading due to defects.
  • FIG. 8 is an explanatory diagram regarding frequency distribution analysis.
  • the horizontal axis indicates the frequency
  • the vertical axis indicates the signal intensity.
  • FIG. 8A shows an original training image P10.
  • the distribution of global shading such as the change of the low frequency shading, that is, the difference in luminance due to the shape, thickness, material and the like of the object appears.
  • the frequency distribution analysis unit 116 applies FFT to the intensity distribution of FIG. 8A to remove changes in low-frequency intensity.
  • FIG. 8B the influence of the difference in luminance due to the shape, thickness and material of the subject is removed from the intensity distribution of FIG. 8A.
  • the frequency distribution analysis unit 116 adjusts the maximum value and the minimum value in the intensity distribution of FIG. 8 (b).
  • the frequency distribution analysis unit 116 converts the intensity distribution, for example, such that the difference between the maximum value and the minimum value is 256 tones.
  • the transformation of the intensity distribution may be performed by linear transformation in which the intensity distribution in FIG. 8B is scaled in the vertical axis direction.
  • a non-linear conversion may be performed to leave a minute density change. Specifically, while reducing the reduction rate of the portion where there is a minute density change, increase the reduction rate of the portion where there is no minute density change, that is, there is no density change or a monotonous portion. It is also good.
  • the frequency distribution analysis unit 116 shifts the intensity distribution in FIG. 8C in the direction of the vertical axis to set the maximum value of gray level to 255 and the minimum value to 0.
  • FIG. 8 (d) an image of 256 shades of gray is standardized in which the density distribution is standardized.
  • the frequency band selection unit 118 selects a frequency band from the image of the gradation difference of 256 gradations according to the material of the inspection object and the type of defect.
  • the frequency band selection unit 118 includes a band pass filter for selecting a frequency band in accordance with the material of the object to be inspected and the type of defect.
  • FIG. 9 is an explanatory diagram regarding a band pass filter.
  • the horizontal axis indicates frequency (cycle / mm), and the vertical axis indicates relative intensity (pass intensity or pass rate) of the signal to be passed.
  • characteristic 1, characteristic 2,..., Characteristic n are characteristic curves (LUT: Look-Up Table) in which frequency bands to be passed are mutually different.
  • the frequency band selection unit 118 selects a band pass filter represented by these characteristic curves in accordance with the material of the inspection object and the type of defect. The operator can select a band pass filter by inputting a parameter for specifying the band pass filter by an operation input from the operation unit 104.
  • the frequency band selection unit 118 applies the selected band pass filter to the image of the gradation difference of 256 gradations to create the converted image P20 used for creating the teacher data.
  • the frequency band selection unit 118 may store in advance information on a frequency band suitable for detecting a defect in accordance with the material of the inspection object and the type of the defect.
  • the frequency band selection unit 118 causes the display unit 110 to display a screen (GUI: Graphical User Interface) for receiving an input of the material of the inspection object and the type of defect.
  • GUI Graphical User Interface
  • the frequency band selection unit 118 detects the defect according to the input material of the inspection object and the type of defect.
  • the appropriate frequency band is identified, and a band pass filter for passing the signal of the identified frequency band is selected.
  • a converted image P20 used to create teacher data is created.
  • FIG. 10 to 12 are diagrams showing examples of images to which a band pass filter is applied.
  • the size of the image of the individual defect may be, for example, 30 mm ⁇ 30 mm.
  • FIG. 10 shows an example of emphasizing 0.5 times (divided by 2) frequency in the image of a defect using the band pass filter of the characteristic 2 of FIG.
  • FIG. 11 shows an example of emphasizing 0.25 times (divided by 4) frequency in an image of a defect using the band pass filter of the characteristic 1 of FIG.
  • FIG. 12 simultaneously emphasizes the 0.25 ⁇ (divided by 4) frequency and the 0.5 ⁇ (divided by 2) frequency in the image of the defect using the band pass filters of characteristic 1 and characteristic 2 of FIG.
  • An example is shown.
  • an image for teacher data suitable for detecting the defect is obtained. Can be created.
  • the teacher data creation unit 122 obtains the converted image P20 from the frequency band selection unit 118.
  • the teacher data creation unit 122 acquires, from the defect information acquisition unit 120, information on the position and type of the defect in the training image P10.
  • a method of acquiring defect information a method (1) of acquiring by receiving an input from an operator and a method (2) of acquiring from defect information of the training image P10 can be considered.
  • Method (1) is a method of acquiring defect information based on the input of information from the operator.
  • the defect information acquisition unit 120 causes the display unit 110 to display an image corresponding to the frequency band signal selected by the frequency band selection unit 118 (hereinafter, referred to as a converted image P20). Then, the defect information acquisition unit 120 receives input of defect information including information on the position and type of the defect included in the converted image P20 displayed on the display unit 110 through the operation unit 104 (see FIG. 18). ).
  • the training image P10 provided as a sample from a designer or operator of a facility or the like to which the object to be inspected is attached is associated with defect information including information on the position and type of the defect as attached information. Being recorded.
  • the training image acquisition unit 114 acquires the defect information along with the training image P10, and the defect information acquisition unit 120 reads out information on the position and type of the defect in the training image P10 from the defect information (see FIG. 19).
  • the teacher data creation unit 122 cuts out the images P20-1, P20-2, P20-3,..., P20-n of individual defects from the image P20 after conversion based on the defect information. Further, the teacher data creation unit 122 analyzes the density of the image to obtain feature amounts in the defect images P20-1, P20-2, P20-3,..., P20-n. Then, the teacher data creation unit 122 receives the individual defect images P20-1, P20-2, P20-3,..., P20-n and the feature quantities in the individual defect images as input, and outputs the type of defect as an output. Create teacher data.
  • FIG. 13 is a diagram schematically showing teacher data
  • FIG. 14 is a diagram schematically showing teacher data.
  • the teacher data includes data of defect images P20-1, P20-2, P20-3,..., P20-n, feature quantities and defect types in the defect image acquired from the defect image. Contains information indicating.
  • the size of P20-1, P20-2, P20-3,..., P20-n of the image of the defect can be, for example, 30 mm ⁇ 30 mm.
  • the teacher data includes the feature amounts in the images P20-1, P20-2, P20-3,..., P20-n of the individual defects as “input” and the images of the individual defects, “ And “information indicating the type of defect” as “output”.
  • the "output" in the teacher data may be called a teacher signal, a teaching signal, correct data, or a label.
  • illustration of the feature amount is omitted.
  • the images P20-1 and P20-2 of defects correspond to defects caused by mixing of metals (different metals) different from the material of the inspection object at the time of casting the inspection object.
  • the image P20-3 of the defect corresponds to the defect caused by the mixing of air at the time of casting of the object to be inspected.
  • the learning unit 124 causes the defect determination unit 126 to perform learning using the teacher data created by the teacher data creation unit 122.
  • the learning unit 124 transfers the defect determiner 222 after learning to the defect inspection apparatus 200.
  • the defect judging units 126 and 222 for example, those using neural networks, deep learning (deep learning), decision trees, linear classifiers, SVM (support vector machine), discriminant analysis and the like can be used. .
  • the defect image read from the teacher data and the feature amount in the defect image are input to the defect determination unit 126 before learning, and the type of defect included in the input defect image in the teacher data Learning is performed so as to obtain the same output as the information indicating.
  • the feature amount in the image of the defect for example, the average of lightness or luminance in the image P20 after conversion, the area of the defect, the peripheral length and flatness, and the length of the major axis when the defect is approximated to an ellipse And the inclination etc. of the long axis to the feature point (for example, the end face of a to-be-tested object, central axis, etc.) of a to-be-tested object are adopted.
  • the learning unit 124 transfers the learning result, that is, the defect determination unit 222 after learning to the defect inspection unit 220 of the defect inspection apparatus 200.
  • the defect determiner 222 is specifically data used for defect inspection in the defect inspection unit 220 including information indicating the structure of the defect determiner 222 and values of variables.
  • the defect inspection unit 220 performs defect inspection on the inspection object image P30 using the defect determination unit 222 transferred from the learning unit 124 of the teacher data creation device 100.
  • FIG. 15 is a block diagram showing an example of the imaging system 300. As shown in FIG.
  • the imaging system 300 is for imaging a subject OBJ placed in the imaging room R10.
  • an imaging control unit 302 an imaging operation unit 304, an image recording unit 306, a display unit 308, a communication interface (communication I / F: interface) 310, AD and DA (analog to digital and digital to analog)
  • a conversion unit 312, a stage 314, a stage drive unit 316, a camera 318 and radiation sources 320 and 322 are provided.
  • the imaging control unit 302 includes a CPU (Central Processing Unit) that controls the operation of each unit of the imaging system 300, and is connected to each unit of the imaging system 300 via the bus B30.
  • the imaging control unit 302 receives an operation input from an operator (imager) via the imaging operation unit 304, transmits a control signal corresponding to the operation input to each unit of the imaging system 300, and controls the operation of each unit.
  • the imaging operation unit 304 is an input device that receives an operation input from an operator, and is a keyboard for character input, a pointer displayed on the display unit 308, a pointing device for operating icons and the like (for example, a mouse, a trackball Etc.).
  • the operator inputs information on the object OBJ via the imaging operation unit 304, and inputs an instruction to execute imaging to the camera 318 (for example, imaging conditions such as exposure time, focal length, aperture, imaging angle, imaging location, etc.
  • Setting the radiation source 320 and 322 for example, including setting of irradiation start time, irradiation duration time, irradiation angle, irradiation intensity, etc.
  • An instruction to record in 306 can be input.
  • the image recording unit 306 records an image of the inspection object OBJ (inspection object image P30) captured by the camera 318.
  • information for specifying a subject OBJ is recorded in association with image data.
  • the display unit 308 is a device for displaying an image.
  • a liquid crystal monitor can be used as the display unit 308, for example.
  • the communication I / F 310 is a means for communicating with an external device via a network or the like.
  • the inspection object image P30 captured by the imaging system 300 can be transferred to the defect inspection apparatus 200 via the communication I / F 310.
  • the AD and DA conversion unit 312 converts the digital control signal output from the imaging control unit 302 into an analog signal and transmits it to each unit in the imaging room R10, for example, the stage drive unit 316 and the radiation sources 320 and 322. Do.
  • the AD and DA conversion unit 312 converts an analog signal (for example, a signal indicating the position of the stage 314 detected by the stage drive unit 316) output from each unit in the imaging room R10 into a digital signal and performs imaging It is transmitted to the control unit 302.
  • the imaging control unit 302 can display, for example, the movable range of the stage 314 on the display unit 308 based on the signal indicating the position of the stage 314.
  • the camera 318 and the radiation sources 320 and 322 are disposed inside the imaging room R10.
  • the radiation sources 320 and 322 are, for example, X-ray sources, and the partition wall and entrance / exit between the imaging room R10 and the outside are X-ray protected by an X-ray protective material (eg, lead, concrete, etc.) There is.
  • the radiation sources 320 and 322 are not limited to X-ray sources, and may be, for example, electron beam sources or visible light sources. In the case where imaging is performed by irradiating the inspection object OBJ with visible light, it is not necessary to use the protected imaging room R10.
  • the radiation sources 320 and 322 irradiate the radiation to the inspection object OBJ placed on the stage 314 in the imaging room R10 according to the instruction from the imaging control unit 302.
  • the camera 318 irradiates the object OBJ with radiation from the radiation source 320 and reflects the object OBJ, or irradiates the object OBJ with the radiation source 322 according to the imaging execution instruction from the imaging control unit 302 Then, the radiation transmitted through the inspection object OBJ is received to image the inspection object OBJ.
  • the inspection object OBJ is placed on the stage 314.
  • the stage drive unit 316 includes an actuator or a motor for moving the stage 314, and can move the stage 314.
  • the camera 318 and the radiation sources 320 and 322 are movably mounted in the imaging room R10. The operator can control the relative position, distance, and angle of the object to be inspected OBJ, the camera 318, and the radiation sources 320 and 322 via the imaging control unit 302, and can pick up an arbitrary part of the object to be inspected OBJ It has become.
  • the radiation sources 320 and 322 finish the irradiation of the radiation to the object OBJ in synchronization with the end of the execution of the imaging by the camera 318.
  • the camera 318 is disposed inside the imaging room R10, but may be disposed outside.
  • one camera 318 and two radiation sources 320 and 322 are provided, but the number of cameras and radiation sources is not limited to this. For example, a plurality of cameras and radiation sources may be provided, or one may be provided.
  • imaging is performed in a state where the inspection object OBJ is placed on the stage 314 in the imaging room R10, but the present invention is not limited to this.
  • an X-ray nondestructive inspection apparatus comprising a portable X-ray generator and an X-ray imaging apparatus that can be carried by the operator It is also possible to use the image of the inspection object P30.
  • FIG. 16 is a flowchart showing a flow of processing of creating teacher data according to the first embodiment of the present invention and learning of a defect determiner using the created teacher data.
  • the training image acquisition unit 114 acquires a training image P10 (step S10: training image acquisition step).
  • the training image P10 may be provided as a sample of a defect image from a designer or operator of a facility or the like to which the test object is attached, or an image of the test object in which a defect occurs is It may be an image captured by the imaging system 300.
  • the frequency distribution analysis unit 116 performs frequency distribution analysis on the training image P10, and from the frequency band signal acquired from the training image P10, changes in the global gray level distribution, for example, low frequency gray level changes.
  • step S20 frequency distribution analysis step.
  • the training image P10 may be subjected to Fourier transformation, for example, FFT (Fast Fourier Transform) or discrete cosine transformation (DCT).
  • FFT Fast Fourier Transform
  • DCT discrete cosine transformation
  • the frequency band selection unit 118 selects a frequency band signal used to create teacher data from the analysis result by the frequency distribution analysis unit 116 (step S30: frequency band selection step).
  • FIG. 17 is a flowchart showing a process flow in the frequency band selection step of FIG.
  • the frequency band selection unit 118 receives specification of a band pass filter having characteristics according to the material of the object to be inspected and the type of defect to be inspected via the operation unit 104 (step S32: input step).
  • the frequency band selection unit 118 selects the band pass filter specified in step S32 (step S34: frequency band selection step).
  • the frequency band selection unit 118 causes the display unit 110 to display a screen (GUI: Graphical User Interface) for receiving an input of the material of the inspection object and the type of defect, and the operation unit 104 , Accepts an input of the material of the inspection object and the type of defect.
  • GUI Graphical User Interface
  • the frequency band selection unit 118 specifies a frequency band suitable for defect detection according to the input material of the inspection object and the type of defect, and passes a signal in the specified frequency band. Select a filter
  • the frequency band selection unit 118 converts the training image P10 into a frequency band signal corresponding to the frequency band selected in step S30 (step S40).
  • the defect information acquisition unit 120 acquires defect information for the image corresponding to the frequency band selected in step S30 (step S50: defect information acquisition step of the teacher data creation step).
  • the teacher data creation unit 122 creates teacher data based on the image corresponding to the selected frequency band and the defect information (step S60: teacher data creation step).
  • step S70 learning step.
  • the defect determiner 222 after learning in step S70 is transferred from the teacher data creation device 100 to the defect inspection device 200.
  • FIG. 18 is a flowchart showing the flow of processing in the defect information acquisition step of FIG.
  • the defect information acquisition unit 120 causes the display unit 110 to display an image corresponding to the frequency band selected in step S30 (step S52: display step).
  • the defect information acquisition unit 120 receives input of defect information including information on the position and type of the defect included in the image displayed on the display unit 110 via the operation unit 104 (step S54).
  • FIG. 19 is a flowchart showing another example of the process flow in the defect information acquisition step of FIG.
  • the defect information acquisition unit 120 acquires defect information including information on the position and type of the defect included in the training image P10 from the attached information of the training image P10 (step S56).
  • the defect information acquisition unit 120 associates and stores the information on the position and type of the defect included in the defect information, the image of the defect in the image P20 after conversion, and the coordinates indicating the position (step S58).
  • Information on the position and type of defect included in the training image P10 is input to the teacher data creation device 100 by the process described in FIG. 18 or FIG.
  • FIG. 20 is a flowchart showing the flow of processing in the defect inspection method according to the first embodiment of the present invention.
  • the inspection object image acquisition unit 214 acquires the inspection object image P30 from the imaging system 300 or the like (step S100: inspection object image acquisition step).
  • the frequency distribution analysis unit 216 performs frequency distribution analysis on the inspection object image P30 (step S102).
  • the frequency distribution analysis in step S102 may be performed by the same method as the frequency distribution analysis (step S20 in FIG. 16) in the teacher data creation device 100.
  • step S104 information on the material of the inspection object OBJ of the inspection object image P30 is acquired.
  • the information on the material of the inspection object OBJ may be acquired, for example, by receiving an input from the operator via the operation unit 204, or may be added in advance as attached information to the inspection object image P30. .
  • the frequency band selection unit 218 receives specification of the type of defect to be inspected (step S106).
  • the frequency band selection unit 218 may receive, for example, a designation input of the type of defect from the operator via the operation unit 204.
  • the frequency band selection unit 218 selects a frequency band signal according to the information on the material of the object OBJ acquired in step S104 and the type of defect specified in step S106 (step S108).
  • the frequency band selection unit 218 specifies a frequency band suitable for detecting a defect according to the input material of the inspection object and the type of the defect, and uses a band pass filter for passing the signal of the specified frequency band. It may be selected.
  • the frequency band selection unit 218 converts the test object image P30 into a frequency band signal corresponding to the frequency band selected in step S108 (step S110).
  • the inspection object image after the conversion in step S110 is an image with a gradation difference of 256 gradations in which the gradation is normalized, as in the case of the image P20 after conversion used to create teacher data.
  • the defect inspection unit 220 executes defect inspection on the image corresponding to the frequency band selected in step S108 using the defect judgment unit 222 after learning (step S112: defect inspection step).
  • the defect inspection unit 220 causes the display unit 210 to display the result of the defect inspection in step S112 (step S114).
  • step S116 determines whether the defect inspection has ended for all types of defects.
  • the control unit 202 ends the defect inspection for all types of defects in addition to the display of the result of the defect inspection in step S114. Is displayed on the display unit 210 (step S118), and the process proceeds to step S120.
  • the defect inspection has not been completed for all types of defects (No in step S116)
  • the process proceeds to step S120.
  • step S120 when an instruction to end defect inspection is input through the operation unit 204 (Yes in step S120), the process is ended. On the other hand, when the instruction to end the defect inspection is not input (No in step S120), the display of the result of the defect inspection in step S114 is continued. Then, in accordance with the operation input from the operation unit 204, the process may return to inspection of other types of defects (step S106).
  • step S112 the defect inspection unit 220 cuts out an image of an individual defect from the inspection object image after conversion in step S110. Then, in step S114, the defect inspection unit 220 may display the image of the individual defect and the position and type of the defect as a result of the defect inspection on the display unit 210.
  • teacher data is created using as input the images of the individual defects extracted from the image of the inspected object after conversion and the feature amounts obtained from the images, and the type of defects as output, and using this teacher data
  • the defect determiner 222 may perform learning.
  • FIG. 21 is a block diagram showing a defect inspection system according to a second embodiment of the present invention.
  • the teacher data creation device 100 and the defect inspection device 200 are independent devices, the teacher data creation device 100 and the defect inspection device 200 may be configured as one device. .
  • a defect inspection system 10A includes an inspection target image acquisition unit 214 and a defect inspection unit 220 in addition to the configuration of the teacher data creation device 100 shown in FIGS. ing.
  • the control unit 102, the operation unit 104, the memory 106, the recording unit 108, the display unit 110, and the communication I / F 112 are commonly used in both the teacher data creation and defect inspection processes.
  • the frequency distribution analysis unit 116 and the frequency band selection unit 118 are also used for the processing of the inspection object image P30 in addition to the processing of the training image P10.
  • the entire system including the imaging system 300 may be controllable via the same control unit, operation unit, and display unit.
  • each embodiment of the present invention is not limited to defect inspection using an image obtained by imaging an installation such as piping.
  • the present embodiment can also be applied to, for example, inspection of paint defects in automobiles and the like, and automatic defect classification (ADC) using SEM (Scanning Electron Microscope) images performed in a semiconductor manufacturing process. is there.
  • ADC automatic defect classification
  • the present invention can also be realized as a program (teacher data creation program defect inspection program) for causing a computer to realize the above processing, or as a non-transitory recording medium or program product storing such a program.
  • a program teacher data creation program defect inspection program
  • a non-transitory recording medium or program product storing such a program.
  • the training image acquisition unit 114, the frequency distribution analysis unit 116, the frequency band selection unit 118, the defect information acquisition unit 120, the teacher data creation unit 122 and the learning unit 124, and the inspection target image acquisition unit 214 The hardware-like structure of the processing unit (processing unit) that executes various processes such as the frequency distribution analysis unit 216, the frequency band selection unit 218, and the defect inspection unit 220 is realized as various processors as shown below. It is possible.
  • the circuit configuration can be changed after manufacturing a central processing unit (CPU), an FPGA (field programmable gate array) that is a general-purpose processor that functions as various processing units by executing software (programs) for various processors.
  • Logic circuits Programmable Logic Devices: PLDs
  • ASICs Application Specific Integrated Circuits
  • One processing unit may be configured by one of these various processors, or may be configured by two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of a CPU and an FPGA). May be In addition, a plurality of processing units may be configured by one processor. As an example in which a plurality of processing units are configured by one processor, first, one processor is configured by a combination of one or more CPUs and software as represented by computers such as clients and servers. There is a form in which a processor functions as a plurality of processing units.
  • SoC system on chip
  • IC integrated circuit
  • circuitry circuitry

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

教師データの作成に使用する欠陥のサンプルの数が少ない場合であっても、欠陥検査の精度を確保することが可能な教師データ作成方法及び装置並びに欠陥検査方法及び装置を提供する。教師データ作成方法は、欠陥を有する被検査体に光線又は放射線を照射することにより得られた前記被検査体からの反射光又は透過光に基づいて作成された受光画像を含むトレーニング用画像を取得し、前記トレーニング用画像に対して周波数分布解析を実行し、周波数帯域を指定するためのパラメータの入力を受け付け、前記パラメータにより指定された前記周波数帯域に従って、前記周波数分布解析の解析結果から周波数帯域信号を選択し、前記周波数帯域信号に対応する画像に対して、欠陥を示す欠陥情報を取得し、前記欠陥情報に基づいて、前記被検査体の欠陥を検査するための欠陥検査装置の学習に使用される教師データを作成する。

Description

教師データ作成方法及び装置並びに欠陥検査方法及び装置
　本発明は教師データ作成方法及び装置並びに欠陥検査方法及び装置に係り、特に欠陥検査装置の学習に使用される教師データを作成する教師データ作成方法及び装置、並びに教師データを用いた学習を伴う欠陥検査方法及び装置に関する。
　特許文献１には、被検物の欠陥の有無を検査する欠陥検査装置が開示されている。特許文献１では、人工欠陥画像にバンドパスフィルタを通して特定の周波数成分を検出し、人工欠陥画像をニューラルネットワーク部に学習させることにより、学習パターンのサンプル不足を補うようになっている（［００３１］から［００３２］）。
　特許文献２には、繰り返しパターンを有する物体の欠陥検査装置が開示されている。特許文献２では、フーリエ変換された光から空間周波数フィルタにより繰り返しパターンを除去するようになっている（［０００８］）。
　特許文献３には、被検査物を照明して撮像することにより取得した検査画像に基づいて被検査物の良否を判定する欠陥検査方法が開示されている。特許文献３では、汎化能力を持つニューラルネットワークを利用することにより、より少ない教師データで高精度な欠陥検査を行うようになっている（［００４０］）。
特開２００４－３５４２５１号公報 特開平０９－０２１７５７号公報 特開２００４－１９１１１２号公報
　石油の輸送等に用いられる配管等の設備は、一度事故が発生すると社会に重大なダメージを与える。このような配管等の設備は分解して検査することが困難である。このため、このような配管等の設備に対する検査は、検査対象の配管等に対する光線又は放射線の照射を伴う非破壊検査によって行われる。非破壊検査においては、検査対象の配管等に光線又は放射線を照射することにより得られた配管等の画像を読影者が読影することにより欠陥の検査を行う。
　欠陥の種類としては、シミ、ヒビ、欠け、異物及び異種金属の混入に起因する欠陥、鋳造時の鋳型への空気の混入に起因する欠陥等がある。欠陥は、個別に形状及びサイズが異なっており、かつ、一画像から多数の欠陥が検出されることがある。このため、画像中の欠陥を漏れなく検査するためにはかなりの時間がかかる。
　画像を用いた欠陥の検査を効率化するために、機械学習（Machine Learning）を利用することが考えられる。
　配管等の検査対象の物体（以下、被検査体という。）を撮像した画像では、被検査体の形状、肉厚及び材質等によって輝度が異なるため、同じ種類の欠陥を撮像した画像であっても、欠陥の発生箇所に応じて濃淡が異なる場合がある。このため、機械学習を利用した欠陥の検査において検査の精度を確保するためには、欠陥の種類ごとに、多様な濃淡のバリエーションに対応する欠陥のサンプル画像を多数収集する必要がある。
　しかしながら、例えば、発生頻度が低い欠陥の場合、又は検査対象の物体が機密に属する場合等には、欠陥のサンプル画像を多数入手することが困難である。欠陥の中には、発生頻度は低いものの、一部品の欠陥により設備全体に重大な影響が生じ得るものもある。このため、欠陥のサンプル画像を十分に入手することができない場合であっても、欠陥を漏れなく発見することが求められる。
　本発明はこのような事情に鑑みてなされたもので、教師データの作成に使用する欠陥のサンプルの数が少ない場合であっても、欠陥検査の精度を確保することが可能な教師データ作成方法及び装置並びに欠陥検査方法及び装置を提供することを目的とする。
　上記課題を解決するために、本発明の第１の態様に係る教師データ作成方法は、欠陥を有する被検査体に光線又は放射線を照射することにより得られた被検査体からの反射光又は透過光に基づいて作成された受光画像を含むトレーニング用画像を取得するトレーニング用画像取得ステップと、トレーニング用画像に対して周波数分布解析を実行する周波数分布解析ステップと、周波数帯域を指定するためのパラメータの入力を受け付ける入力ステップと、パラメータにより指定された周波数帯域に従って、周波数分布解析の解析結果から周波数帯域信号を選択する周波数帯域選択ステップと、周波数帯域信号に対応する画像に対して、欠陥を示す欠陥情報を取得し、欠陥情報に基づいて、被検査体の欠陥を検査するための欠陥検査装置の学習に使用される教師データを作成する教師データ作成ステップとを備える。
　第１の態様によれば、トレーニング用画像に対して周波数分布解析を実行し、周波数分布解析の解析結果から周波数帯域信号を選択することにより、選択した周波数帯域信号に対応して濃淡が規格化された画像を得ることができる。この濃淡が規格化された画像を用いることにより、教師データの作成に使用するトレーニング用画像、すなわち、欠陥のサンプルの画像の数が少ない場合であっても、欠陥検査の精度を確保することが可能になる。
　本発明の第２の態様に係る教師データ作成方法は、第１の態様において、周波数帯域選択ステップにおいて選択した周波数帯域信号に対応する画像を表示部に表示する表示ステップを更に備え、教師データ作成ステップでは、表示部に表示された周波数帯域信号に対応する画像に対して、欠陥か非欠陥かを示す指示の入力を受け付け、指示に基づいて教師データを作成するようにしたものである。
　第２の態様は、周波数帯域信号に対応する画像の読影者からの指示入力に基づいて、教師データを作成するものである。
　本発明の第３の態様に係る教師データ作成方法は、第１の態様において、トレーニング用画像取得ステップでは、トレーニング用画像に含まれる被検査体の欠陥を示す欠陥情報がトレーニング用画像と関連づけられて記憶部に格納され、教師データ作成ステップでは、トレーニング用画像と関連づけられて格納された欠陥情報を取得して、欠陥情報に基づいて教師データを作成するようにしたものである。
　本発明の第４の態様に係る教師データ作成方法は、第３の態様において、教師データ作成ステップでは、被検査体の欠陥の種類及び欠陥の位置のうちの少なくとも１つを含む欠陥情報を取得するようにしたものである。
　第３及び第４の態様は、トレーニング用画像に付属していた欠陥情報に基づいて、教師データを作成するものである。
　本発明の第５の態様に係る教師データ作成方法は、第１から第４の態様のいずれかにおいて、被検査体の材質及び被検査体における欠陥に対応する複数のバンドパスフィルタの登録を受け付けるステップを更に備え、入力ステップでは、複数のバンドパスフィルタの中から、周波数帯域信号の選択に使用するバンドパスフィルタを指定するパラメータの入力を受け付け、周波数帯域選択ステップでは、パラメータにより指定されたバンドパスフィルタを用いて周波数帯域信号を選択するようにしたものである。
　本発明の第６の態様に係る教師データ作成方法は、第５の態様において、入力ステップでは、被検査体の材質に応じて周波数帯域信号の選択に使用するバンドパスフィルタが指定されるようにしたものである。
　第５及び第６の態様によれば、被検査体の材質及び欠陥に応じてバンドパスフィルタを指定することにより、被検査体の材質及び欠陥ごとに、濃淡が規格化された画像を得ることができる。
　本発明の第７の態様に係る教師データ作成方法は、第１から第６の態様のいずれかにおいて、教師データ作成ステップでは、トレーニング用画像から選択された周波数帯域信号と、欠陥情報を含む教師データが作成されるようにしたものである。
　本発明の第８の態様に係る欠陥検査方法は、第１から第７の態様のうちのいずれかの態様に係る教師データ作成方法により作成された教師データを用いて欠陥検査装置における学習を行うステップと、検査対象の被検査体に光線又は放射線を照射することにより得られた検査対象の被検査体からの反射光又は透過光に基づいて作成された検査対象画像を取得するステップと、学習を行った欠陥検査装置により検査対象画像における欠陥を検出する欠陥検査ステップとを備える。
　第８の態様によれば、濃淡が規格化された画像を用いることにより、教師データの作成に使用するトレーニング用画像のサンプルの数が少ない場合であっても、欠陥検査の精度を確保することが可能になる。
　本発明の第９の態様に係る欠陥検査方法は、第８の態様において、欠陥検査ステップが、検査対象画像に対して周波数分布解析を実行するステップと、検査対象画像に対する周波数分布解析の解析結果から周波数帯域信号を選択するステップと、検査対象画像に対する周波数分布解析の解析結果から選択された周波数帯域信号と、教師データに基づいて、検査対象画像における欠陥を検出するステップとを備える。
　第９の態様によれば、トレーニング用画像と同様に、検査対象画像の濃淡を規格化することにより、欠陥検査の精度を確保することが可能になる。
　本発明の第１０の態様に係る教師データ作成装置は、欠陥を有する被検査体に光線又は放射線を照射することにより得られた被検査体からの反射光又は透過光に基づいて作成された受光画像を含むトレーニング用画像を取得するトレーニング用画像取得部と、トレーニング用画像に対して周波数分布解析を実行する周波数分布解析部と、周波数帯域を指定するためのパラメータの入力を受け付ける入力部と、パラメータにより指定された周波数帯域に従って、周波数分布解析の解析結果から周波数帯域信号を選択する周波数帯域選択部と、周波数帯域信号に対応する画像に対して、欠陥を示す欠陥情報を取得する欠陥情報取得部と、欠陥情報に基づいて、被検査体の欠陥を検査するための欠陥検査装置の学習に使用される教師データを作成する教師データ作成部とを備える。
　本発明の第１１の態様に係る欠陥検査装置は、第１０の態様に係る教師データ作成装置と、検査対象の被検査体に光線又は放射線を照射することにより得られた検査対象の被検査体からの反射光又は透過光に基づいて作成された検査対象画像を取得する検査対象画像取得部と、教師データ作成装置により作成された教師データを用いて学習を行い、検査対象画像における欠陥を検出する欠陥検査部とを備える。
　本発明によれば、トレーニング用画像に対して周波数分布解析を実行し、周波数分布解析の解析結果から周波数帯域信号を選択することにより、選択した周波数帯域信号に対応して濃淡が規格化された画像を得ることができる。この濃淡が規格化された画像を用いることにより、教師データの作成に使用するトレーニング用画像、すなわち、欠陥のサンプルの画像の数が少ない場合であっても、欠陥検査の精度を確保することが可能になる。
図１は、本発明の第１の実施形態に係る欠陥検査システムを示すブロック図である。 図２は、本発明の第１の実施形態に係る教師データ作成装置を示すブロック図である。 図３は、本発明の第１の実施形態に係る欠陥検査装置を示すブロック図である。 図４は、本発明の第１の実施形態に係る欠陥検査システムのうち教師データの作成及び教師データを用いた学習に係る構成を抽出して示すブロック図である。 図５は、トレーニング用画像の例を示す図である。 図６は、変換後の画像の例を示す図である。 図７は、トレーニング用画像中の欠陥の画像と変換後の画像中の欠陥の画像とを対比して示す図である。 図８は、周波数分布解析に関する説明図である。 図９は、バンドパスフィルタに関する説明図である。 図１０は、バンドパスフィルタを適用した画像の第１の例を示す図である。 図１１は、バンドパスフィルタを適用した画像の第２の例を示す図である。 図１２は、バンドパスフィルタを適用した画像の第３の例を示す図である。 図１３は、教師データを模式的に示す図である。 図１４は、教師データを簡略化して示す図である。 図１５は、撮像システムの例を示すブロック図である。 図１６は、本発明の第１の実施形態に係る教師データの作成、及び作成した教師データを用いた欠陥判定器の学習の処理の流れを示すフローチャートである。 図１７は、図１６の周波数帯域選択ステップにおける処理の流れを示すフローチャートである。 図１８は、図１６の欠陥情報取得ステップにおける処理の流れを示すフローチャートである。 図１９は、図１６の欠陥情報取得ステップにおける処理の流れの別の例を示すフローチャートである。 図２０は、本発明の第１の実施形態に係る欠陥検査方法における処理の流れを示すフローチャートである。 図２１は、本発明の第２の実施形態に係る欠陥検査システムを示すブロック図である。
　以下、添付図面に従って本発明に係る教師データ作成方法及び装置並びに欠陥検査方法及び装置の実施の形態について説明する。
　［第１の実施形態］
　［欠陥検査システムの構成］
　図１は、本発明の第１の実施形態に係る欠陥検査システムを示すブロック図である。
　図１に示すように、本実施形態に係る欠陥検査システム１０は、工業製品等の検査対象の物体（以下、被検査体という。）に対して、機械学習を伴う欠陥の検査を行うものであり、教師データ作成装置１００と、欠陥検査装置２００とを備える。
　教師データ作成装置１００は、トレーニング用画像Ｐ１０の入力を受け付けて、トレーニング用画像Ｐ１０に基づいて、欠陥判定器１２６（図４参照）の学習に使用する教師データ（図１３及び図１４参照）を作成する。ここで、トレーニング用画像Ｐ１０とは、欠陥の発生のサンプルを含む画像であり、欠陥検査装置２００により検査すべき被検査体ＯＢＪと、同一又は類似する工業製品等を撮像して得られた画像である。トレーニング用画像Ｐ１０は、被検査体の使用中に自然に欠陥が発生した被検査体を撮像した画像であってもよいし、人工的に欠陥を付加した被検査体を撮像した画像であってもよい。トレーニング用画像Ｐ１０としては、例えば、被検査体が取り付けられる施設等の設計者又は運営者からサンプルとして提供されるものを用いることができる。
　教師データ作成装置１００は、学習後の欠陥判定器２２２（図４参照）を、学習結果として欠陥検査装置２００に転送する。
　撮像システム３００は、欠陥検査装置２００により検査すべき被検査体ＯＢＪの画像を撮像する。撮像システム３００は、被検査体ＯＢＪに対して放射線を照射し、被検査体ＯＢＪによって反射された反射光又は被検査体ＯＢＪを透過した透過光に基づいて、被検査体ＯＢＪの画像を撮像する。
　欠陥検査装置２００は、学習後の欠陥判定器２２２（図４参照）を用いて、撮像システム３００等によって撮像された被検査体ＯＢＪの画像である被検査体画像Ｐ３０に欠陥が含まれているかどうかを検査する。欠陥検査装置２００は、被検査体画像Ｐ３０に欠陥が含まれている場合に、学習後の欠陥判定器２２２（図４参照）を用いて、その欠陥の位置及び種類を特定する。
　［教師データ作成装置の構成］
　次に、本実施形態に係る教師データ作成装置１００について、図２を参照して説明する。図２は、教師データ作成装置１００を示すブロック図である。
　図２に示すように、本実施形態に係る教師データ作成装置１００は、制御部１０２、操作部１０４、メモリ１０６、記録部１０８、表示部１１０、通信インターフェース（通信Ｉ／Ｆ：interface）１１２、トレーニング用画像取得部１１４、周波数分布解析部１１６、周波数帯域選択部１１８、欠陥情報取得部１２０、教師データ作成部１２２及び学習部１２４を備える。
　制御部１０２は、教師データ作成装置１００の各部の動作を制御するＣＰＵ（Central Processing Unit）を含んでいる。制御部１０２は、バスＢ１０を介して、教師データ作
成装置１００の各部との間で制御信号及びデータの送受信が可能となっている。制御部１０２は、操作部１０４を介してオペレータからの操作入力を受け付け、バスＢ１０を介してこの操作入力に応じた制御信号を教師データ作成装置１００の各部に送信して各部の動作を制御する。
　操作部１０４は、オペレータからの操作入力を受け付ける入力装置であり、文字入力等のためのキーボード、表示部１１０に表示されるポインタ及びアイコン等を操作するためのポインティングデバイス（例えば、マウス、トラックボール等）を含んでいる。なお、操作部１０４としては、キーボード及びポインティングデバイスに代えて、又は、キーボード及びポインティングデバイスに加えて、表示部１１０の表面にタッチパネルを設けてもよい。
　メモリ１０６は、制御部１０２等により行われる各種演算のための作業領域として使用されるＲＡＭ（Random Access Memory）、及び表示部１１０に出力される画像データを一時記憶するための領域として使用されるＶＲＡＭ（Video Random Access Memory）を含んでいる。
　記録部１０８は、トレーニング用画像Ｐ１０及び制御部１０２が使用する制御プログラム等を含むデータを格納する。記録部１０８としては、例えば、ＨＤＤ（Hard Disk Drive）等の磁気ディスクを含む装置、ｅＭＭＣ（embedded Multi Media Card）、ＳＳＤ（Solid State Drive）等のフラッシュメモリを含む装置等を用いることができる。
　表示部１１０は、画像を表示するための装置である。表示部１１０としては、例えば、液晶モニタを用いることができる。
　通信Ｉ／Ｆ１１２は、ネットワークを介して外部装置との間で通信を行うための手段である。教師データ作成装置１００と外部装置との間のデータの送受信方法としては、有線通信又は無線通信（例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット接続等）を用いることができる。
　トレーニング用画像取得部１１４は、通信Ｉ／Ｆ１１２を介してトレーニング用画像Ｐ１０の入力を受け付けることが可能となっている。なお、トレーニング用画像Ｐ１０を教師データ作成装置１００に入力する方法は、ネットワークを介した通信に限定されるものではない。例えば、ＵＳＢ（Universal Serial Bus）ケーブル、Bluetooth（登録商標）、赤外線通信等を用いてもよいし、トレーニング用画像Ｐ１０を、教師データ作成装置１００に着脱及び読取可能な記録媒体（例えば、メモリカード）に格納し、トレーニング用画像取得部１１４は、この記録媒体を介してトレーニング用画像Ｐ１０の入力を受け付けるようにしてもよい。
　周波数分布解析部１１６は、トレーニング用画像Ｐ１０に対して周波数分布解析を実行する。周波数分布解析部１１６は、トレーニング用画像Ｐ１０に対して、フーリエ変換、例えば、ＦＦＴ（Fast Fourier Transform）、又は離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を施して、トレーニング用画像Ｐ１０を周波数成分ごとの周波数帯域信号に分解する。そして、周波数分布解析部１１６は、トレーニング用画像Ｐ１０から取得した周波数帯域信号から、大域的な濃淡の分布、例えば、低周波の濃淡の変化を除去して、欠陥に起因する濃淡差を、基準濃度（例えば、グレー５０％）を中心とした濃淡差に規格化する。
　周波数帯域選択部１１８は、トレーニング用画像Ｐ１０に含まれる被検査体の材質と、被検査体において検査すべき欠陥の種類に応じて、周波数分布解析部１１６による解析結果から、教師データの作成に使用する周波数帯域信号を選択する。
　欠陥情報取得部１２０は、周波数帯域選択部１１８により選択された周波数帯域信号に対応する画像に含まれる欠陥を示す欠陥情報を取得する。
　教師データ作成部１２２は、欠陥情報に基づいて、変換後の画像Ｐ２０から個別の欠陥の画像Ｐ２０－１、Ｐ２０－２、Ｐ２０－３、…、Ｐ２０－ｎを切り出す。そして、教師データ作成部１２２は、個別の欠陥の画像Ｐ２０－１、Ｐ２０－２、Ｐ２０－３、…、Ｐ２０－ｎを入力とし、欠陥の種類を出力とする教師データを作成する。
　学習部１２４は、教師データ作成部１２２により作成された教師データを用いて欠陥判定器１２６（図４参照）に学習を行わせる。学習部１２４は、学習後の欠陥判定器２２２（図４参照）を欠陥検査装置２００に転送する。
　なお、トレーニング用画像取得部１１４、周波数分布解析部１１６、周波数帯域選択部１１８、欠陥情報取得部１２０、教師データ作成部１２２及び学習部１２４の機能の全部又は一部は、専用の電気回路により構築されていてもよいし、制御部１０２のＣＰＵにより実現される機能として構築されていてもよい。
　［欠陥検査装置の構成］
　次に、本実施形態に係る欠陥検査装置２００について、図３を参照して説明する。図３は、欠陥検査装置２００を示すブロック図である。
　図３に示すように、本実施形態に係る欠陥検査装置２００は、制御部２０２、操作部２０４、メモリ２０６、記録部２０８、表示部２１０、通信インターフェース（通信Ｉ／Ｆ：interface）２１２、検査対象画像取得部２１４、周波数分布解析部２１６、周波数帯域選択部２１８及び欠陥検査部２２０を備える。
　制御部２０２は、欠陥検査装置２００の各部の動作を制御するＣＰＵ（Central Processing Unit）を含んでいる。制御部２０２は、バスＢ２０を介して、欠陥検査装置２００
の各部との間で、制御信号及びデータの送受信が可能となっている。制御部２０２は、操作部２０４を介してオペレータからの操作入力を受け付け、バスＢ２０を介してこの操作入力に応じた制御信号を欠陥検査装置２００の各部に送信して各部の動作を制御する。
　操作部２０４は、オペレータからの操作入力を受け付ける入力装置であり、文字入力等のためのキーボード、表示部２１０に表示されるポインタ及びアイコン等を操作するためのポインティングデバイス（例えば、マウス、トラックボール等）を含んでいる。なお、操作部２０４としては、キーボード及びポインティングデバイスに代えて、又は、キーボード及びポインティングデバイスに加えて、表示部２１０の表面にタッチパネルを設けてもよい。
　メモリ２０６は、制御部２０２等により行われる各種演算のための作業領域として使用されるＲＡＭ（Random Access Memory）、及び表示部２１０に出力される画像データを一時記憶するための領域として使用されるＶＲＡＭ（Video Random Access Memory）を含んでいる。
　記録部２０８は、検査対象の被検査体ＯＢＪを撮像して得られた被検査体画像Ｐ３０及び制御部２０２が使用する制御プログラム等を含むデータを格納する。記録部２０８としては、例えば、ＨＤＤ（Hard Disk Drive）等の磁気ディスクを含む装置、ｅＭＭＣ（embedded Multi Media Card）、ＳＳＤ（Solid State Drive）等のフラッシュメモリを含む装置等を用いることができる。
　表示部２１０は、画像を表示するための装置である。表示部２１０としては、例えば、液晶モニタを用いることができる。
　通信Ｉ／Ｆ２１２は、ネットワークを介して外部装置との間で通信を行うための手段である。欠陥検査装置２００と外部装置との間のデータの送受信方法としては、有線通信又は無線通信（例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット接続等）を用いることができる。
　検査対象画像取得部２１４は、通信Ｉ／Ｆ２１２を介して、撮像システム３００等によって撮像された被検査体ＯＢＪの画像である被検査体画像Ｐ３０の入力を受け付ける。なお、被検査体画像Ｐ３０を欠陥検査装置２００に入力する方法は、ネットワークを介した通信に限定されるものではない。例えば、ＵＳＢ（Universal Serial Bus）ケーブル、Bluetooth（登録商標）、赤外線通信等を用いてもよいし、被検査体画像Ｐ３０を、欠陥検査装置２００に着脱及び読取可能な記録媒体（例えば、メモリカード）に格納して、この記録媒体を介して欠陥検査装置２００に被検査体画像Ｐ３０を入力するようにしてもよい。
　周波数分布解析部２１６は、被検査体画像Ｐ３０に対して周波数分布解析を実行する。周波数分布解析部２１６は、被検査体画像Ｐ３０に対して、フーリエ変換、例えば、ＦＦＴ（Fast Fourier Transform）、又は離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を施して、被検査体画像Ｐ３０を周波数成分ごとの周波数帯域信号に分解する。そして、周波数分布解析部２１６は、被検査体画像Ｐ３０から取得した周波数帯域信号から、大域的な濃淡の分布、例えば、低周波の濃淡の変化を除去して、欠陥に起因する濃淡差を、基準濃度（例えば、グレー５０％）を中心とした濃淡差に規格化する。
　周波数帯域選択部２１８は、被検査体画像Ｐ３０に含まれる被検査体の材質と、被検査体において検査すべき欠陥の種類に応じて、周波数分布解析部２１６による解析結果から周波数帯域信号を選択する。
　欠陥検査部２２０は、教師データ作成装置１００の学習部１２４から転送された欠陥判定器２２２（図４参照）を用いて欠陥の有無（欠陥又は非欠陥）及び種類の判定を行う。欠陥検査部２２０は、欠陥検査の結果を表示部２１０に表示させる。
　なお、検査対象画像取得部２１４、周波数分布解析部２１６、周波数帯域選択部２１８及び欠陥検査部２２０の機能の全部又は一部は、専用の電気回路により構築されていてもよいし、制御部２０２のＣＰＵにより実現される機能として構築されていてもよい。
　［教師データ作成及び学習に係る構成］
　次に、教師データの作成及び教師データを用いた学習について、図４から図１４を参照して説明する。
　図４は、欠陥検査システム１０のうち教師データの作成及び教師データを用いた学習に係る構成を抽出して示すブロック図である。
　周波数分布解析部１１６は、トレーニング用画像取得部１１４により取得したトレーニング用画像Ｐ１０に対してＦＦＴを施す。そして、周波数分布解析部１１６は、トレーニング用画像Ｐ１０から取得した周波数帯域信号から、大域的な濃淡の分布、例えば、低周波の濃淡の変化を除去して、欠陥に起因する濃淡差を、基準濃度（例えば、グレー５０％）を中心とした濃淡差に規格化する。
　周波数帯域選択部１１８は、トレーニング用画像Ｐ１０に含まれる被検査体の材質と、被検査体において検査すべき欠陥の種類に応じて、周波数分布解析部１１６による解析結果から、教師データの作成に使用する周波数帯域信号を選択する。
　欠陥情報取得部１２０は、周波数帯域選択部１１８により選択された周波数帯域信号に対応する画像に含まれる欠陥を示す欠陥情報を取得する。
　図５は、トレーニング用画像Ｐ１０の例を示す図であり、図６は、変換後の画像Ｐ２０の例を示す図である。図７は、トレーニング用画像Ｐ１０中の欠陥の画像と変換後の画像Ｐ２０中の欠陥の画像とを対比して示す図である。
　図５に示すトレーニング用画像Ｐ１０の画像は、被検査体にＸ線を透過させた画像であり、被検体の形状、肉厚及び材質等に起因する輝度の差を含んでいる。このため、図７に示すように、トレーニング用画像Ｐ１０から切り出した欠陥の画像Ｐ１０－１、Ｐ１０－２、Ｐ１０－３、…、Ｐ１０－ｎにおいては、欠陥に起因する濃淡の変化が、被検体の形状、肉厚及び材質等に起因する輝度の差の影響を受けて変化している。したがって、トレーニング用画像Ｐ１０から切り出した欠陥の画像Ｐ１０－１、Ｐ１０－２、Ｐ１０－３、…、Ｐ１０－ｎを用いて学習を行う場合、欠陥検査の精度を確保するためには、欠陥の種類ごとに、多様な濃淡のバリエーションに対応する欠陥のサンプル画像を多数収集する必要が生じる。
　これに対して、本実施形態に係る周波数分布解析部１１６は、トレーニング用画像Ｐ１０を、一例でグレー５０％を基準濃度とした２５６階調の濃淡差の画像に変換する。図６に示す変換後の画像Ｐ２０では、濃淡が規格化されており、被検体の形状、肉厚及び材質等に起因する輝度の差の影響が除去されている。このため、図７に示すように、変換後の画像Ｐ２０から切り出した欠陥の画像Ｐ２０－１、Ｐ２０－２、Ｐ２０－３、…、Ｐ２０－ｎにおいては、規格化された濃淡の下で、欠陥に起因する濃淡の変化が表れている。
　本実施形態では、濃淡差が規格化された画像を用いることにより、教師データの作成に使用するトレーニング用画像Ｐ１０の数を削減しつつ、欠陥検査の精度を確保することが可能になる。
　図８は、周波数分布解析に関する説明図である。図８（ａ）から図８（ｄ）において、横軸は周波数を示し、縦軸は信号の強度を示している。
　図８（ａ）は、オリジナルのトレーニング用画像Ｐ１０を示す図である。図８（ａ）では、低周波の濃淡の変化等の大域的な濃淡の分布、すなわち、被検体の形状、肉厚及び材質等に起因する輝度の差が表れている。
　まず、周波数分布解析部１１６は、図８（ａ）の強度分布にＦＦＴをかけて、低周波の濃淡の変化を除去する。これにより、図８（ｂ）に示すように、図８（ａ）の強度分布から、被検体の形状、肉厚及び材質等に起因する輝度の差の影響が除去される。
　次に、周波数分布解析部１１６は、図８（ｂ）の強度分布において最大値及び最小値を調整する。周波数分布解析部１１６は、例えば、最大値と最小値との間の差が２５６階調となるように、強度分布の変換が行われる。この強度分布の変換は、図８（ｂ）の強度分布を縦軸方向に拡縮する線形変換により行ってもよい。
　なお、線形変換では、最大値と最小値との間の微小な濃淡の変化に関する情報が失われてしまう場合には、非線形変換を行って、微小な濃淡の変化を残すようにしてもよい。具体的には、微小な濃淡の変化がある部分の縮小率を下げる一方、微小な濃淡の変化がない部分、すなわち、濃淡の変化がないか、又は単調な部分の縮小率を上げるようにしてもよい。
　次に、周波数分布解析部１１６は、図８（ｃ）の強度分布を縦軸方向にシフトさせて、濃淡の最大値を２５５とし、かつ最小値を０とする。これにより、図８（ｄ）に示すように、濃淡の分布が規格化された２５６階調の濃淡差の画像が作成される。
　周波数帯域選択部１１８は、２５６階調の濃淡差の画像から、被検査体の材質及び欠陥の種類に応じて周波数帯域を選択する。周波数帯域選択部１１８は、被検査体の材質及び欠陥の種類に応じて周波数帯域を選択するためのバンドパスフィルタを備えている。
　図９は、バンドパスフィルタに関する説明図である。図９において、横軸は周波数（cycle/mm）、縦軸は通過させる信号の相対的な強度（通過強度又は通過率）を示している。
　図９に示すように、特性１、特性２、…、特性ｎは、通過させる周波数帯域が相互に異なる特性曲線（ＬＵＴ：Look-Up Table）である。周波数帯域選択部１１８は、これらの特性曲線により表されるバンドパスフィルタを、被検査体の材質及び欠陥の種類に応じて選択する。オペレータは、操作部１０４からの操作入力により、バンドパスフィルタを指定するパラメータを入力することで、バンドパスフィルタを選択することができる。周波数帯域選択部１１８は、選択されたバンドパスフィルタを、２５６階調の濃淡差の画像にかけることにより、教師データの作成に使用する変換後の画像Ｐ２０を作成する。
　周波数帯域選択部１１８は、被検査体の材質及び欠陥の種類に応じて、欠陥の検出に適した周波数帯域に関する情報をあらかじめ記憶しておいてもよい。この場合、周波数帯域選択部１１８は、被検査体の材質及び欠陥の種類の入力を受け付けるための画面（ＧＵＩ：Graphical User Interface）を表示部１１０に表示させる。操作部１０４からの操作入力により、被検査体の材質及び欠陥の種類が入力されると、周波数帯域選択部１１８は、入力された被検査体の材質及び欠陥の種類に応じて、欠陥の検出に適した周波数帯域を特定し、特定した周波数帯域の信号を通過させるバンドパスフィルタを選択する。これにより、教師データの作成に使用する変換後の画像Ｐ２０が作成される。
　図１０から図１２は、バンドパスフィルタを適用した画像の例を示す図である。ここで、個別の欠陥の画像のサイズは、一例で３０ｍｍ×３０ｍｍとすることができる。図１０は、図９の特性２のバンドパスフィルタを用いて、欠陥の画像において０．５倍（２分周）周波数を強調した例を示している。図１１は、図９の特性１のバンドパスフィルタを用いて、欠陥の画像において０．２５倍（４分周）周波数を強調した例を示している。図１２は、図９の特性１及び特性２のバンドパスフィルタを用いて、欠陥の画像において０．２５倍（４分周）周波数と０．５倍（２分周）周波数とを同時に強調した例を示している。このように、トレーニング用画像Ｐ１０中の被検査体の材質、及び検出すべき欠陥の種類に応じて、バンドパスフィルタを準備しておくことにより、欠陥の検出に適した教師データ用の画像を作成することができる。
　教師データ作成部１２２は、周波数帯域選択部１１８から変換後の画像Ｐ２０を取得する。
　さらに、教師データ作成部１２２は、欠陥情報取得部１２０から、トレーニング用画像Ｐ１０中の欠陥の位置及び種類に関する情報を取得する。欠陥情報の取得方法については、オペレータからの入力を受け付けることにより取得する方法（１）と、トレーニング用画像Ｐ１０の付属情報から取得する方法（２）が考えられる。
　方法（１）は、オペレータからの情報の入力に基づいて欠陥情報を取得する方法である。方法（１）の場合、欠陥情報取得部１２０は、周波数帯域選択部１１８により選択された周波数帯域信号に対応する画像（以下、変換後の画像Ｐ２０という。）を表示部１１０に表示させる。そして、欠陥情報取得部１２０は、操作部１０４を介して、表示部１１０に表示された変換後の画像Ｐ２０に含まれる欠陥の位置及び種類に関する情報を含む欠陥情報の入力を受け付ける（図１８参照）。
　方法（２）の場合、被検査体が取り付けられる施設等の設計者又は運営者からサンプルとして提供されるトレーニング用画像Ｐ１０には、欠陥の位置及び種類に関する情報を含む欠陥情報が付属情報として関連づけられて記録されている。トレーニング用画像取得部１１４は、トレーニング用画像Ｐ１０とともに、この欠陥情報を取得し、欠陥情報取得部１２０は、この欠陥情報から、トレーニング用画像Ｐ１０中の欠陥の位置及び種類に関する情報を読み出す（図１９参照）。
　教師データ作成部１２２は、欠陥情報に基づいて、変換後の画像Ｐ２０から個別の欠陥の画像Ｐ２０－１、Ｐ２０－２、Ｐ２０－３、…、Ｐ２０－ｎを切り出す。さらに、教師データ作成部１２２は、画像の濃淡の解析を行って、欠陥の画像Ｐ２０－１、Ｐ２０－２、Ｐ２０－３、…、Ｐ２０－ｎにおける特徴量をそれぞれ求める。そして、教師データ作成部１２２は、個別の欠陥の画像Ｐ２０－１、Ｐ２０－２、Ｐ２０－３、…、Ｐ２０－ｎ及び個別の欠陥の画像における特徴量を入力とし、欠陥の種類を出力とする教師データを作成する。
　図１３は、教師データを模式的に示す図であり、図１４は、教師データを簡略化して示す図である。
　図１３に示すように、教師データは、欠陥の画像Ｐ２０－１、Ｐ２０－２、Ｐ２０－３、…、Ｐ２０－ｎのデータ、欠陥の画像から取得した欠陥の画像における特徴量及び欠陥の種類を示す情報を含んでいる。ここで、欠陥の画像のＰ２０－１、Ｐ２０－２、Ｐ２０－３、…、Ｐ２０－ｎのサイズは、一例で３０ｍｍ×３０ｍｍとすることができる。
　図１４に示すように、教師データは、「入力」としての個別の欠陥の画像Ｐ２０－１、Ｐ２０－２、Ｐ２０－３、…、Ｐ２０－ｎ及び個別の欠陥の画像における特徴量と、「出力」としての欠陥の種類を示す情報とを含んでいる。教師データにおける「出力」については、教師信号、教示信号、正解データ、又はラベルと呼ばれることもある。なお、図１４では、特徴量の図示は省略している。
　図１４に示す例では、欠陥の画像Ｐ２０－１及びＰ２０－２が、被検査体の鋳造時において被検査体の材料とは別の金属（異種金属）の混入に起因する欠陥に対応しており、欠陥の画像Ｐ２０－３が、被検査体の鋳造時における空気の混入に起因する欠陥に対応している。
　学習部１２４は、教師データ作成部１２２により作成された教師データを用いて欠陥判定器１２６に学習を行わせる。学習部１２４は、学習後の欠陥判定器２２２を欠陥検査装置２００に転送する。ここで、欠陥判定器１２６及び２２２としては、例えば、ニューラルネットワーク、深層学習（Deep Learning）、決定木、線形分類器、ＳＶＭ（Support Vector Machine）、判別分析等を利用するものを用いることができる。
　学習部１２４では、教師データから読み出された欠陥の画像及び欠陥の画像における特徴量が学習前の欠陥判定器１２６に入力され、教師データにおいて、入力された欠陥の画像に含まれる欠陥の種類を示す情報と同じ出力が得られるように学習が行われる。ここで、欠陥の画像における特徴量としては、例えば、変換後の画像Ｐ２０における明度又は輝度の平均、欠陥の面積、周囲長及び扁平度、並びに欠陥を楕円に近似した場合の長軸の長さ及び被検査体の特徴点（例えば、被検査体の端面、中心軸等）に対する長軸の傾き等が採用される。
　学習部１２４は、学習結果、すなわち、学習後の欠陥判定器２２２を欠陥検査装置２００の欠陥検査部２２０に転送する。ここで、欠陥判定器２２２とは、具体的には、欠陥判定器２２２の構造及び変数の値を示す情報を含む、欠陥検査部２２０における欠陥検査に用いられるデータである。
　欠陥検査部２２０は、教師データ作成装置１００の学習部１２４から転送された欠陥判定器２２２を用いて、被検査体画像Ｐ３０に対する欠陥検査を行う。
　［撮像システムの構成］
　次に、被検査体ＯＢＪの画像を撮像するための撮像システム３００について、図１５を参照して説明する。図１５は、撮像システム３００の例を示すブロック図である。
　撮像システム３００は、撮像室Ｒ１０内に置かれた被検査体ＯＢＪを撮像するためのものである。図１５に示すように、撮像制御部３０２、撮像操作部３０４、画像記録部３０６、表示部３０８、通信インターフェース（通信Ｉ／Ｆ：interface）３１０、ＡＤ及びＤＡ（analog to digital及びdigital to analog）変換部３１２、ステージ３１４、ステージ駆動部３１６、カメラ３１８並びに放射線源３２０及び３２２を備えている。
　撮像制御部３０２は、撮像システム３００の各部の動作を制御するＣＰＵ（Central Processing Unit）を含んでおり、バスＢ３０を介して撮像システム３００の各部と接続されている。撮像制御部３０２は、撮像操作部３０４を介してオペレータ（撮像者）からの操作入力を受け付け、この操作入力に応じた制御信号を撮像システム３００の各部に送信して各部の動作を制御する。
　撮像操作部３０４は、オペレータからの操作入力を受け付ける入力装置であり、文字入力のためのキーボード、表示部３０８に表示されるポインタ、アイコン等を操作するためのポインティングデバイス（例えば、マウス、トラックボール等）を含んでいる。オペレータは、撮像操作部３０４を介して、被検査体ＯＢＪに関する情報の入力、カメラ３１８に対する撮像実行の指示の入力（例えば、露出時間、焦点距離、絞り等の撮像条件、撮像角度、撮像箇所等の設定を含む）、放射線源３２０及び３２２に対する放射線の照射の指示の入力（例えば、照射開始時間、照射継続時間、照射角度、照射強度等の設定を含む）、取得した画像データを画像記録部３０６に記録する指示の入力を行うことができる。
　画像記録部３０６は、カメラ３１８によって撮像された被検査体ＯＢＪの画像（被検査体画像Ｐ３０）を記録する。画像記録部３０６には、被検査体ＯＢＪを特定するための情報が画像データと関連付けられて記録される。
　表示部３０８は、画像を表示するための装置である。表示部３０８としては、例えば、液晶モニタを用いることができる。
　通信Ｉ／Ｆ３１０は、ネットワーク等を介して外部装置との間で通信を行うための手段である。撮像システム３００において撮像された被検査体画像Ｐ３０は、通信Ｉ／Ｆ３１０を介して、欠陥検査装置２００に転送することが可能である。
　ＡＤ及びＤＡ変換部３１２は、撮像制御部３０２から出力されるデジタルの制御信号をアナログの信号に変換して、撮像室Ｒ１０内の各部、例えば、ステージ駆動部３１６、放射線源３２０及び３２２に伝達する。
　ＡＤ及びＤＡ変換部３１２は、撮像室Ｒ１０内の各部から出力されるアナログの信号（例えば、ステージ駆動部３１６によって検出されたステージ３１４の位置を示す信号）をデジタルの信号に変換して、撮像制御部３０２に伝達する。撮像制御部３０２は、ステージ３１４の位置を示す信号に基づいて、例えば、ステージ３１４の移動可能範囲を表示部３０８に表示させることが可能になる。
　カメラ３１８、放射線源３２０及び３２２は、撮像室Ｒ１０の内部に配置されている。放射線源３２０及び３２２は、例えば、Ｘ線源であり、撮像室Ｒ１０と外部との間の隔壁及び出入口には、Ｘ線防護材料（例えば、鉛、コンクリート等）によりＸ線防護が施されている。ここで、放射線源３２０及び３２２は、Ｘ線源に限定されるものではなく、例えば、電子線源又は可視光光源であってもよい。なお、被検査体ＯＢＪに可視光を照射して撮像を行う場合には、防護を施した撮像室Ｒ１０を用いる必要はない。
　放射線源３２０及び３２２は、撮像制御部３０２からの指示に従って、撮像室Ｒ１０内のステージ３１４に載置された被検査体ＯＢＪに放射線を照射する。
　カメラ３１８は、撮像制御部３０２からの撮像実行の指示にしたがって、放射線源３２０から被検査体ＯＢＪに照射されて被検査体ＯＢＪにより反射された放射線、又は放射線源３２２から被検査体ＯＢＪに照射されて被検査体ＯＢＪを透過した放射線を受光して被検査体ＯＢＪを撮像する。
　被検査体ＯＢＪは、ステージ３１４に載置されている。ステージ駆動部３１６は、ステージ３１４を移動させるためのアクチュエータ又はモータ等を含んでおり、ステージ３１４を移動させることが可能となっている。また、カメラ３１８、放射線源３２０及び３２２は、撮像室Ｒ１０内において移動可能に取り付けられている。オペレータは、撮像制御部３０２を介して、被検査体ＯＢＪ、カメラ３１８、放射線源３２０及び３２２の相対位置、距離及び角度を制御可能となっており、被検査体ＯＢＪの任意の箇所を撮像可能となっている。
　放射線源３２０及び３２２は、カメラ３１８による撮像の実行の終了に同期して、被検査体ＯＢＪに対する放射線の照射を終了する。
　図１５に示す例では、カメラ３１８は、撮像室Ｒ１０の内部に配置されているが、外部に配置されていてもよい。
　また、図１５に示す例では、カメラ３１８が１台、放射線源３２０及び３２２が２台設けられているが、カメラ及び放射線源の台数はこれに限定されるものではない。例えば、カメラ及び放射線源は、それぞれ複数台あってもよいし、１つずつであってもよい。
　なお、図１５に示す例では、被検査体ＯＢＪを撮像室Ｒ１０内のステージ３１４に載置した状態で撮像を行っているが、本発明はこれに限定されるものではない。被検査体ＯＢＪが撮像室Ｒ１０内に搬送することが困難なものである場合には、オペレータが携行可能なポータブル型のＸ線発生装置とＸ線撮像装置とを備えるＸ線非破壊検査装置を用いて、被検査体画像Ｐ３０を撮像することも可能である。
　［教師データ作成方法及び教師データを用いた学習］
　次に、本実施形態に係る教師データ作成方法及び教師データを用いた学習について、図１６から図１９を参照して説明する。
　図１６は、本発明の第１の実施形態に係る教師データの作成、及び作成した教師データを用いた欠陥判定器の学習の処理の流れを示すフローチャートである。
　まず、トレーニング用画像取得部１１４は、トレーニング用画像Ｐ１０を取得する（ステップＳ１０：トレーニング用画像取得ステップ）。ここで、トレーニング用画像Ｐ１０は、被検査体が取り付けられる施設等の設計者又は運営者から欠陥画像のサンプルとして提供されたものであってもよいし、欠陥が発生した被検査体の画像を撮像システム３００によって撮像した画像であってもよい。
　次に、周波数分布解析部１１６は、トレーニング用画像Ｐ１０に対して周波数分布解析を施し、トレーニング用画像Ｐ１０から取得した周波数帯域信号から、大域的な濃淡の分布、例えば、低周波の濃淡の変化を除去して、欠陥に起因する濃淡差を、基準濃度（例えば、グレー５０％）を中心とした濃淡差に規格化する（ステップＳ２０：周波数分布解析ステップ）。ステップＳ２０では、トレーニング用画像Ｐ１０に対して、フーリエ変換、例えば、ＦＦＴ（Fast Fourier Transform）、又は離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）を施すようにしてもよい。
　次に、周波数帯域選択部１１８は、周波数分布解析部１１６による解析結果から、教師データの作成に使用する周波数帯域信号を選択する（ステップＳ３０：周波数帯域選択ステップ）。
　図１７は、図１６の周波数帯域選択ステップにおける処理の流れを示すフローチャートである。まず、周波数帯域選択部１１８は、操作部１０４を介して、被検査体の材質及び検査対象の欠陥の種類に応じた特性を有するバンドパスフィルタの指定を受け付ける（ステップＳ３２：入力ステップ）。次に、周波数帯域選択部１１８は、ステップＳ３２において指定されたバンドパスフィルタを選択する（ステップＳ３４：周波数帯域選択ステップ）。
　ステップＳ３２では、例えば、周波数帯域選択部１１８は、被検査体の材質及び欠陥の種類の入力を受け付けるための画面（ＧＵＩ：Graphical User Interface）を表示部１１０に表示させ、操作部１０４を介して、被検査体の材質及び欠陥の種類の入力を受け付ける。ステップＳ３４では、周波数帯域選択部１１８は、入力された被検査体の材質及び欠陥の種類に応じて、欠陥の検出に適した周波数帯域を特定し、特定した周波数帯域の信号を通過させるバンドパスフィルタを選択する。
　次に、周波数帯域選択部１１８は、トレーニング用画像Ｐ１０を、ステップＳ３０において選択した周波数帯域に対応する周波数帯域信号に変換する（ステップＳ４０）。
　次に、欠陥情報取得部１２０は、ステップＳ３０において選択した周波数帯域に対応する画像について欠陥情報を取得する（ステップＳ５０：教師データ作成ステップのうち欠陥情報取得ステップ）。
　次に、教師データ作成部１２２は、選択した周波数帯域に対応する画像と欠陥情報に基づいて教師データを作成する（ステップＳ６０：教師データ作成ステップ）。
　次に、学習部１２４は、ステップＳ６０において作成した教師データを用いて、欠陥判定器１２６の学習を行う（ステップＳ７０：学習ステップ）。ステップＳ７０の学習後の欠陥判定器２２２は、教師データ作成装置１００から欠陥検査装置２００に転送される。
　図１８は、図１６の欠陥情報取得ステップにおける処理の流れを示すフローチャートである。
　まず、欠陥情報取得部１２０は、ステップＳ３０において選択した周波数帯域に対応する画像を表示部１１０に表示させる（ステップＳ５２：表示ステップ）。
　次に、欠陥情報取得部１２０は、操作部１０４を介して、表示部１１０に表示された画像に含まれる欠陥の位置及び種類に関する情報を含む欠陥情報の入力を受け付ける（ステップＳ５４）。
　図１９は、図１６の欠陥情報取得ステップにおける処理の流れの別の例を示すフローチャートである。
　まず、欠陥情報取得部１２０は、トレーニング用画像Ｐ１０の付属情報から、トレーニング用画像Ｐ１０に含まれる欠陥の位置及び種類に関する情報を含む欠陥情報を取得する（ステップＳ５６）。
　次に、欠陥情報取得部１２０は、欠陥情報に含まれる欠陥の位置及び種類に関する情報と、変換後の画像Ｐ２０における欠陥の画像及びその位置を示す座標とを関連づけて保存する（ステップＳ５８）。
　図１８又は図１９に記載のプロセスにより、トレーニング用画像Ｐ１０に含まれる欠陥の位置及び種類に関する情報が教師データ作成装置１００に入力される。
　［欠陥の検査］
　次に、本実施形態に係る欠陥検査方法について、図２０を参照して説明する。図２０は、本発明の第１の実施形態に係る欠陥検査方法における処理の流れを示すフローチャートである。
　まず、検査対象画像取得部２１４は、撮像システム３００等から被検査体画像Ｐ３０を取得する（ステップＳ１００：検査対象画像取得ステップ）。
　次に、周波数分布解析部２１６は、被検査体画像Ｐ３０に対して周波数分布解析を施す（ステップＳ１０２）。ステップＳ１０２における周波数分布解析は、教師データ作成装置１００における周波数分布解析（図１６のステップＳ２０）と同様の方法で行ってもよい。
　次に、被検査体画像Ｐ３０の被検査体ＯＢＪの材質に関する情報を取得する（ステップＳ１０４）。被検査体ＯＢＪの材質に関する情報は、例えば、操作部２０４を介して、オペレータからの入力を受け付けることにより取得してもよいし、あらかじめ被検査体画像Ｐ３０に付属情報として付加されていてもよい。
　次に、周波数帯域選択部２１８は、検査対象の欠陥の種類の指定を受け付ける（ステップＳ１０６）。ステップＳ１０６では、周波数帯域選択部２１８は、例えば、操作部２０４を介して、欠陥の種類の指定入力をオペレータから受け付けてもよい。
　次に、周波数帯域選択部２１８は、ステップＳ１０４において取得した被検査体ＯＢＪの材質に関する情報と、ステップＳ１０６において指定された欠陥の種類に応じて周波数帯域信号を選択する（ステップＳ１０８）。ここで、周波数帯域選択部２１８は、教師データ作成装置１００における周波数帯域選択部１１８と同様に、被検査体の材質及び欠陥の種類に応じて、欠陥の検出に適した周波数帯域に関する情報をあらかじめ記憶しておいてもよい。そして、周波数帯域選択部２１８は、入力された被検査体の材質及び欠陥の種類に応じて、欠陥の検出に適した周波数帯域を特定し、特定した周波数帯域の信号を通過させるバンドパスフィルタを選択するようにしてもよい。
　次に、周波数帯域選択部２１８は、被検査体画像Ｐ３０を、ステップＳ１０８において選択した周波数帯域に対応する周波数帯域信号に変換する（ステップＳ１１０）。ステップＳ１１０の変換後の被検査体画像は、教師データの作成に使用する変換後の画像Ｐ２０と同様に、濃淡が規格化された２５６階調の濃淡差の画像となる。
　次に、欠陥検査部２２０は、学習後の欠陥判定器２２２を用いて、ステップＳ１０８において選択した周波数帯域に対応する画像に対して欠陥検査を実行する（ステップＳ１１２：欠陥検査ステップ）。
　次に、欠陥検査部２２０は、ステップＳ１１２における欠陥検査の結果を表示部２１０に表示させる（ステップＳ１１４）。
　次に、制御部２０２は、すべての種類の欠陥について欠陥検査が終了したかどうかを判断する（ステップＳ１１６）。すべての種類の欠陥について欠陥検査が終了した場合には（ステップＳ１１６のＹｅｓ）、制御部２０２は、ステップＳ１１４における欠陥検査の結果の表示に加えて、すべての種類の欠陥について欠陥検査が終了したことを示す表示を表示部２１０に表示させ（ステップＳ１１８）、ステップＳ１２０に進む。一方、すべての種類の欠陥について欠陥検査が終了していない場合には（ステップＳ１１６のＮｏ）、ステップＳ１２０に進む。
　次に、操作部２０４を介して、欠陥検査の終了の指示が入力された場合には（ステップＳ１２０のＹｅｓ）、プロセスを終了する。一方、欠陥検査の終了の指示が入力されない場合には（ステップＳ１２０のＮｏ）、ステップＳ１１４における欠陥検査の結果の表示が継続される。そして、操作部２０４からの操作入力に応じて、ほかの種類の欠陥の検査（ステップＳ１０６）に戻るようにしてもよい。
　ステップＳ１１２では、欠陥検査部２２０は、ステップＳ１１０における変換後の被検査体画像から個別の欠陥の画像を切り出す。そして、ステップＳ１１４において、欠陥検査部２２０は、個別の欠陥の画像と、欠陥検査の結果としての欠陥の位置及び種類とを並べて表示部２１０に表示させるようにしてもよい。
　さらに、変換後の被検査体画像から切り出した個別の欠陥の画像と、この画像から求められた特徴量を入力とし、欠陥の種類を出力とする教師データを作成して、この教師データを用いて欠陥判定器２２２に学習を行わせるようにしてもよい。
　［第２の実施形態］
　図２１は、本発明の第２の実施形態に係る欠陥検査システムを示すブロック図である。
　第１の実施形態では、教師データ作成装置１００と欠陥検査装置２００とをそれぞれ独立した装置としたが、教師データ作成装置１００と欠陥検査装置２００とは、１つの装置として構成されていてもよい。
　図２１に示すように、本実施形態に係る欠陥検査システム１０Ａは、図２及び図４に示した教師データ作成装置１００の構成に加えて、検査対象画像取得部２１４及び欠陥検査部２２０を備えている。本実施形態では、制御部１０２、操作部１０４、メモリ１０６、記録部１０８、表示部１１０及び通信Ｉ／Ｆ１１２は、教師データ作成と欠陥検査の両プロセスにおいて共通して用いられる。また、周波数分布解析部１１６及び周波数帯域選択部１１８は、トレーニング用画像Ｐ１０に対する処理に加えて、被検査体画像Ｐ３０に対する処理にも用いられる。
　なお、教師データ作成装置１００及び欠陥検査装置２００に加えて、撮像システム３００を含むシステム全体を、同一の制御部、操作部及び表示部を介して制御可能としてもよい。
　なお、本発明の各実施形態の適用範囲は、配管等の設備を撮像して得られた画像を用いた欠陥検査に限定されるものではない。本実施形態は、例えば、自動車等の塗装の欠陥の検査、及び半導体製造プロセスにおいて行われるＳＥＭ（Scanning Electron Microscope）画像を用いた自動欠陥分類（ＡＤＣ：Automatic Defect Classification）に適用することも可能である。
　本発明は、コンピュータに上記の処理を実現させるプログラム（教師データ作成プログラム欠陥検査プログラム）、又は、このようなプログラムを格納した非一時的な記録媒体又はプログラムプロダクトとして実現することも可能である。このようなプログラムをコンピュータに適用することにより、コンピュータの演算手段、記録手段等に、本実施形態に係る教師データ作成方法及び欠陥検査方法の各ステップに対応する機能を実現させることが可能になる。
　各実施形態において、例えば、トレーニング用画像取得部１１４、周波数分布解析部１１６、周波数帯域選択部１１８、欠陥情報取得部１２０、教師データ作成部１２２及び学習部１２４、並びに検査対象画像取得部２１４、周波数分布解析部２１６、周波数帯域選択部２１８及び欠陥検査部２２０といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）として実現することが可能である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　１０、１０Ａ　欠陥検査システム
　１００　教師データ作成装置
　１０２　制御部
　１０４　操作部
　１０６　メモリ
　１０８　記録部
　１１０　表示部
　１１２　通信インターフェース
　１１４　トレーニング用画像取得部
　１１６　周波数分布解析部
　１１８　周波数帯域選択部
　１２０　欠陥情報取得部
　１２２　教師データ作成部
　１２４　学習部
　１２６　学習前の欠陥判定器
　２００　欠陥検査装置
　２０２　制御部
　２０４　操作部
　２０６　メモリ
　２０８　記録部
　２１０　表示部
　２１２　通信インターフェース
　２１４　検査対象画像取得部
　２１６　周波数分布解析部
　２１８　周波数帯域選択部
　２２０　欠陥検査部
　２２２　学習後の欠陥判定器
　Ｐ１０　トレーニング用画像
　Ｐ１０－１、Ｐ１０－２、Ｐ１０－３、…、Ｐ１０－ｎ　トレーニング用画像中の欠陥の画像
　Ｐ２０　変換後のトレーニング用画像
　Ｐ２０－１、Ｐ２０－２、Ｐ２０－３、…、Ｐ２０－ｎ　変換後のトレーニング用画像中の欠陥の画像
　Ｐ３０　被検査体画像
　３００　撮像システム
　３０２　撮像制御部
　３０４　撮像操作部
　３０６　画像記録部
　３０８　表示部
　３１０　通信インターフェース
　３１２　ＡＤ及びＤＡ変換部
　３１４　ステージ
　３１６　ステージ駆動部
　３１８　カメラ
　３２０、３２２　放射線源
　ＯＢＪ　被検査体
　Ｓ１０～Ｓ７０　教師データ作成方法の各工程
　Ｓ１００～Ｓ１２０　欠陥検査方法の各工程

Claims (11)

  1. 　欠陥を有する被検査体に光線又は放射線を照射することにより得られた前記被検査体からの反射光又は透過光に基づいて作成された受光画像を含むトレーニング用画像を取得するトレーニング用画像取得ステップと、
    　前記トレーニング用画像に対して周波数分布解析を実行する周波数分布解析ステップと、
    　周波数帯域を指定するためのパラメータの入力を受け付ける入力ステップと、
    　前記パラメータにより指定された前記周波数帯域に従って、前記周波数分布解析の解析結果から周波数帯域信号を選択する周波数帯域選択ステップと、
    　前記周波数帯域信号に対応する画像に対して、欠陥を示す欠陥情報を取得し、前記欠陥情報に基づいて、前記被検査体の欠陥を検査するための欠陥検査装置の学習に使用される教師データを作成する教師データ作成ステップと、
    　を備える教師データ作成方法。
  2. 　前記周波数帯域選択ステップにおいて選択した前記周波数帯域信号に対応する画像を表示部に表示する表示ステップを更に備え、
    　前記教師データ作成ステップでは、前記表示部に表示された前記周波数帯域信号に対応する画像に対して、欠陥か非欠陥かを示す指示の入力を受け付け、前記指示に基づいて前記教師データを作成する、請求項１記載の教師データ作成方法。
  3. 　前記トレーニング用画像取得ステップでは、前記トレーニング用画像に含まれる前記被検査体の欠陥を示す欠陥情報が前記トレーニング用画像と関連づけられて記憶部に格納され、
    　前記教師データ作成ステップでは、前記トレーニング用画像と関連づけられて格納された前記欠陥情報を取得して、前記欠陥情報に基づいて前記教師データを作成する、請求項１記載の教師データ作成方法。
  4. 　前記教師データ作成ステップでは、前記被検査体の欠陥の種類及び欠陥の位置のうちの少なくとも１つを含む欠陥情報を取得する、請求項３記載の教師データ作成方法。
  5. 　前記被検査体の材質及び前記被検査体における欠陥に対応する複数のバンドパスフィルタの登録を受け付けるステップを更に備え、
    　前記入力ステップでは、前記複数のバンドパスフィルタの中から、前記周波数帯域信号の選択に使用するバンドパスフィルタを指定するパラメータの入力を受け付け、
    　前記周波数帯域選択ステップでは、前記パラメータにより指定されたバンドパスフィルタを用いて前記周波数帯域信号を選択する、請求項１から４のいずれか１項記載の教師データ作成方法。
  6. 　前記入力ステップでは、前記被検査体の材質に応じて前記周波数帯域信号の選択に使用するバンドパスフィルタが指定される、請求項５記載の教師データ作成方法。
  7. 　前記教師データ作成ステップでは、前記トレーニング用画像から選択された前記周波数帯域信号と、前記欠陥情報を含む教師データが作成される、請求項１から６のいずれか１項記載の教師データ作成方法。
  8. 　請求項１から７のいずれか１項記載の教師データ作成方法により作成された教師データを用いて欠陥検査装置における学習を行うステップと、
    　検査対象の被検査体に光線又は放射線を照射することにより得られた前記検査対象の被検査体からの反射光又は透過光に基づいて作成された検査対象画像を取得するステップと、
    　前記学習を行った前記欠陥検査装置により前記検査対象画像における欠陥を検出する欠陥検査ステップと、
    　を備える欠陥検査方法。
  9. 　前記欠陥検査ステップは、
    　前記検査対象画像に対して周波数分布解析を実行するステップと、
    　前記検査対象画像に対する前記周波数分布解析の解析結果から周波数帯域信号を選択するステップと、
    　前記検査対象画像に対する前記周波数分布解析の解析結果から選択された周波数帯域信号と、前記教師データに基づいて、前記検査対象画像における欠陥を検出するステップと、
    　を備える請求項８記載の欠陥検査方法。
  10. 　欠陥を有する被検査体に光線又は放射線を照射することにより得られた前記被検査体からの反射光又は透過光に基づいて作成された受光画像を含むトレーニング用画像を取得するトレーニング用画像取得部と、
    　前記トレーニング用画像に対して周波数分布解析を実行する周波数分布解析部と、
    　周波数帯域を指定するためのパラメータの入力を受け付ける入力部と、
    　前記パラメータにより指定された前記周波数帯域に従って、前記周波数分布解析の解析結果から周波数帯域信号を選択する周波数帯域選択部と、
    　前記周波数帯域信号に対応する画像に対して、欠陥を示す欠陥情報を取得する欠陥情報取得部と、
    　前記欠陥情報に基づいて、前記被検査体の欠陥を検査するための欠陥検査装置の学習に使用される教師データを作成する教師データ作成部と、
    　を備える教師データ作成装置。
  11. 　請求項１０記載の教師データ作成装置と、
    　検査対象の被検査体に光線又は放射線を照射することにより得られた前記検査対象の被検査体からの反射光又は透過光に基づいて作成された検査対象画像を取得する検査対象画像取得部と、
    　前記教師データ作成装置により作成された教師データを用いて学習を行い、前記検査対象画像における欠陥を検出する欠陥検査部と、
    　を備える欠陥検査装置。
PCT/JP2018/033341 2017-09-19 2018-09-10 教師データ作成方法及び装置並びに欠陥検査方法及び装置 WO2019059011A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019543553A JP6810505B2 (ja) 2017-09-19 2018-09-10 教師データ作成方法及び装置並びに欠陥検査方法及び装置
CN201880060564.0A CN111108368B (zh) 2017-09-19 2018-09-10 教学数据制作方法及装置以及缺陷检查方法及装置
US16/822,663 US11386542B2 (en) 2017-09-19 2020-03-18 Training data creation method and device, and defect inspection method and device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-179377 2017-09-19
JP2017179377 2017-09-19

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/822,663 Continuation US11386542B2 (en) 2010-10-29 2020-03-18 Training data creation method and device, and defect inspection method and device

Publications (1)

Publication Number Publication Date
WO2019059011A1 true WO2019059011A1 (ja) 2019-03-28

Family

ID=65810334

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/033341 WO2019059011A1 (ja) 2017-09-19 2018-09-10 教師データ作成方法及び装置並びに欠陥検査方法及び装置

Country Status (4)

Country Link
US (1) US11386542B2 (ja)
JP (1) JP6810505B2 (ja)
CN (1) CN111108368B (ja)
WO (1) WO2019059011A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109378277A (zh) * 2018-09-25 2019-02-22 武汉华星光电半导体显示技术有限公司 一种基板图案阵列的完整性检测方法
JP2021056044A (ja) * 2019-09-27 2021-04-08 豊田合成株式会社 熱抵抗予測方法及び特性検査機
KR20210123824A (ko) * 2020-04-06 2021-10-14 인하대학교 산학협력단 딥러닝 성능향상을 위한 주파수 도메인에서의 데이터 증강 방법 및 장치
WO2022014019A1 (ja) * 2020-07-16 2022-01-20 日揮グローバル株式会社 検査システム、判定処理装置、及び検査方法
JP2022526473A (ja) * 2020-03-11 2022-05-25 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 情報を取得するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム
WO2022137748A1 (ja) * 2020-12-23 2022-06-30 株式会社前川製作所 対象検出装置、機械学習実行装置、対象検出プログラム及び機械学習実行プログラム
KR20230000766A (ko) * 2021-06-25 2023-01-03 주식회사 브레이크앤컴퍼니 인쇄된 카드의 그레이딩 장치 및 방법
WO2023053727A1 (ja) * 2021-09-30 2023-04-06 富士フイルム株式会社 画像処理装置、処理システム、画像表示方法及びプログラム
WO2023095520A1 (ja) * 2021-11-29 2023-06-01 富士フイルム株式会社 教師データ生成装置、教師データ生成方法、プログラム及び欠陥検査装置
WO2024080148A1 (ja) * 2022-10-10 2024-04-18 株式会社デンソー 半導体装置の製造方法および製造装置
WO2024101099A1 (ja) * 2022-11-09 2024-05-16 株式会社Ihi 複合材料におけるボイドを識別可能な学習モデルを生成する情報処理方法、情報処理装置、及び情報処理プログラム
US12105033B2 (en) 2020-07-16 2024-10-01 Jgc Corporation Inspection system, determination processing apparatus, and inspection method

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11029359B2 (en) * 2018-03-09 2021-06-08 Pdf Solutions, Inc. Failure detection and classsification using sensor data and/or measurement data
JP6857332B2 (ja) * 2018-03-13 2021-04-14 オムロン株式会社 演算装置、演算方法、及びそのプログラム
JP7144244B2 (ja) * 2018-08-31 2022-09-29 株式会社日立ハイテク パターン検査システム
WO2020070876A1 (ja) * 2018-10-05 2020-04-09 日本電気株式会社 教師データ拡張装置、教師データ拡張方法およびプログラム
US10963990B2 (en) 2019-01-28 2021-03-30 Applied Materials, Inc. Automated image measurement for process development and optimization
US10963753B2 (en) 2019-01-28 2021-03-30 Applied Materials, Inc. Automated image measurement for process development and optimization
US11893482B2 (en) * 2019-11-14 2024-02-06 Microsoft Technology Licensing, Llc Image restoration for through-display imaging
TWI762271B (zh) * 2020-08-13 2022-04-21 日商名南製作所股份有限公司 板狀木材的缺陷檢測系統、缺陷檢測方法以及缺陷檢測用程式
JP2023141721A (ja) * 2022-03-24 2023-10-05 株式会社Ｓｃｒｅｅｎホールディングス 検査システム、教師データ生成装置、教師データ生成方法およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016115331A (ja) * 2014-12-12 2016-06-23 キヤノン株式会社 識別器生成装置、識別器生成方法、良否判定装置、良否判定方法、プログラム
JP2017107313A (ja) * 2015-12-08 2017-06-15 株式会社Ｓｃｒｅｅｎホールディングス 教師データ作成支援方法、画像分類方法、教師データ作成支援装置および画像分類装置
US20170236013A1 (en) * 2016-02-15 2017-08-17 Nvidia Corporation System and method for procedurally synthesizing datasets of objects of interest for training machine-learning models

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3225179B2 (ja) 1995-07-04 2001-11-05 シャープ株式会社 パターン欠陥検査装置
JP2001343336A (ja) * 2000-05-31 2001-12-14 Nidek Co Ltd 欠陥検査方法及び欠陥検査装置
US7421090B2 (en) * 2002-06-20 2008-09-02 Lockheed Martin Corporation Target detection system using trained and untrained detection and methods therefor
JP2004191112A (ja) 2002-12-10 2004-07-08 Ricoh Co Ltd 欠陥検査方法
JP2004354251A (ja) 2003-05-29 2004-12-16 Nidek Co Ltd 欠陥検査装置
JP2008107311A (ja) * 2006-09-29 2008-05-08 Hitachi Chem Co Ltd 欠陥検査方法及び欠陥検査装置
JP5075070B2 (ja) * 2008-09-19 2012-11-14 大日本スクリーン製造株式会社 教師データ作成方法、並びに、画像分類方法および画像分類装置
JP2011158373A (ja) * 2010-02-02 2011-08-18 Dainippon Screen Mfg Co Ltd 自動欠陥分類のための教師データ作成方法、自動欠陥分類方法および自動欠陥分類装置
CN103329167B (zh) * 2010-07-30 2016-08-17 克拉-坦科股份有限公司 基于区域的虚拟傅里叶滤波器
CA2773925A1 (en) * 2012-04-10 2013-10-10 Robert Kendall Mcconnell Method and systems for computer-based selection of identifying input for class differentiation
CN102749290B (zh) * 2012-07-02 2014-12-03 浙江大学 一种樱桃树冠层树枝生长状态的检测方法
JP6059486B2 (ja) * 2012-09-28 2017-01-11 株式会社Ｓｃｒｅｅｎホールディングス 教師データ検証装置、教師データ作成装置、画像分類装置、教師データ検証方法、教師データ作成方法および画像分類方法
JP6075084B2 (ja) * 2013-01-25 2017-02-08 富士通株式会社 画像変換装置、画像変換方法、生体認証装置及び生体認証方法ならびに画像変換用コンピュータプログラム
JP2014178229A (ja) * 2013-03-15 2014-09-25 Dainippon Screen Mfg Co Ltd 教師データ作成方法、画像分類方法および画像分類装置
KR101463354B1 (ko) * 2013-10-22 2014-11-18 영남대학교 산학협력단 초분광 영상의 특이영역 검출 장치 및 그 방법
US10365617B2 (en) * 2016-12-12 2019-07-30 Dmo Systems Limited Auto defect screening using adaptive machine learning in semiconductor device manufacturing flow

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016115331A (ja) * 2014-12-12 2016-06-23 キヤノン株式会社 識別器生成装置、識別器生成方法、良否判定装置、良否判定方法、プログラム
JP2017107313A (ja) * 2015-12-08 2017-06-15 株式会社Ｓｃｒｅｅｎホールディングス 教師データ作成支援方法、画像分類方法、教師データ作成支援装置および画像分類装置
US20170236013A1 (en) * 2016-02-15 2017-08-17 Nvidia Corporation System and method for procedurally synthesizing datasets of objects of interest for training machine-learning models

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109378277B (zh) * 2018-09-25 2020-11-24 武汉华星光电半导体显示技术有限公司 一种基板图案阵列的完整性检测方法
CN109378277A (zh) * 2018-09-25 2019-02-22 武汉华星光电半导体显示技术有限公司 一种基板图案阵列的完整性检测方法
JP2021056044A (ja) * 2019-09-27 2021-04-08 豊田合成株式会社 熱抵抗予測方法及び特性検査機
JP7226230B2 (ja) 2019-09-27 2023-02-21 豊田合成株式会社 熱抵抗予測方法及び特性検査機
JP2022526473A (ja) * 2020-03-11 2022-05-25 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 情報を取得するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム
KR102486795B1 (ko) * 2020-04-06 2023-01-10 인하대학교 산학협력단 딥러닝 성능향상을 위한 주파수 도메인에서의 데이터 증강 방법 및 장치
KR20210123824A (ko) * 2020-04-06 2021-10-14 인하대학교 산학협력단 딥러닝 성능향상을 위한 주파수 도메인에서의 데이터 증강 방법 및 장치
WO2022014019A1 (ja) * 2020-07-16 2022-01-20 日揮グローバル株式会社 検査システム、判定処理装置、及び検査方法
US12105033B2 (en) 2020-07-16 2024-10-01 Jgc Corporation Inspection system, determination processing apparatus, and inspection method
WO2022137748A1 (ja) * 2020-12-23 2022-06-30 株式会社前川製作所 対象検出装置、機械学習実行装置、対象検出プログラム及び機械学習実行プログラム
KR20230000766A (ko) * 2021-06-25 2023-01-03 주식회사 브레이크앤컴퍼니 인쇄된 카드의 그레이딩 장치 및 방법
KR102691582B1 (ko) * 2021-06-25 2024-08-05 주식회사 브레이크앤컴퍼니 인쇄된 카드의 그레이딩 장치 및 방법
WO2023053727A1 (ja) * 2021-09-30 2023-04-06 富士フイルム株式会社 画像処理装置、処理システム、画像表示方法及びプログラム
WO2023095520A1 (ja) * 2021-11-29 2023-06-01 富士フイルム株式会社 教師データ生成装置、教師データ生成方法、プログラム及び欠陥検査装置
WO2024080148A1 (ja) * 2022-10-10 2024-04-18 株式会社デンソー 半導体装置の製造方法および製造装置
WO2024101099A1 (ja) * 2022-11-09 2024-05-16 株式会社Ihi 複合材料におけるボイドを識別可能な学習モデルを生成する情報処理方法、情報処理装置、及び情報処理プログラム

Also Published As

Publication number Publication date
JPWO2019059011A1 (ja) 2020-11-05
US20200219248A1 (en) 2020-07-09
US11386542B2 (en) 2022-07-12
CN111108368B (zh) 2022-06-28
JP6810505B2 (ja) 2021-01-06
CN111108368A (zh) 2020-05-05

Similar Documents

Publication Publication Date Title
JP6810505B2 (ja) 教師データ作成方法及び装置並びに欠陥検査方法及び装置
JP4250898B2 (ja) 回路パターンの検査方法及びその装置
US11029255B2 (en) Defect inspection device, defect inspection method, and program
JP6078234B2 (ja) 荷電粒子線装置
US8660336B2 (en) Defect inspection system
JP6556266B2 (ja) 欠陥検査装置、方法およびプログラム
JP2020502490A (ja) 空気試料の自動分析を実行するためのシステム及び方法
WO2020003917A1 (ja) 欠陥表示装置及び方法
US8204291B2 (en) Method and system for identifying defects in a radiographic image of a scanned object
WO2017130477A1 (ja) 欠陥検査装置、方法およびプログラム
TWI813871B (zh) 圖像處理程式、圖像處理裝置及圖像處理方法
JP4262269B2 (ja) パターンマッチング方法及び装置
US10957035B2 (en) Defect classification by fitting optical signals to a point-spread function
CN111579572A (zh) 一种材料表面拓扑结构分级定量分析方法及应用
JP2008026072A (ja) 欠陥検査装置及び欠陥検査方法
EP4411355A1 (en) Image processing device, processing system, image display method, and program
WO2023095520A1 (ja) 教師データ生成装置、教師データ生成方法、プログラム及び欠陥検査装置
WO2023053768A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN118541599A (zh) 信息处理装置、信息处理方法及信息处理程序
JP2006329928A (ja) Ｔｆｔアレイ検査装置
JP2008058032A (ja) 画像処理装置、検査装置、画像処理方法および検査方法
JP2006308364A (ja) 外観検査装置及び外観検査方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18859513

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019543553

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18859513

Country of ref document: EP

Kind code of ref document: A1