WO2023095520A1 - 教師データ生成装置、教師データ生成方法、プログラム及び欠陥検査装置 - Google Patents

教師データ生成装置、教師データ生成方法、プログラム及び欠陥検査装置 Download PDF

Info

Publication number
WO2023095520A1
WO2023095520A1 PCT/JP2022/039841 JP2022039841W WO2023095520A1 WO 2023095520 A1 WO2023095520 A1 WO 2023095520A1 JP 2022039841 W JP2022039841 W JP 2022039841W WO 2023095520 A1 WO2023095520 A1 WO 2023095520A1
Authority
WO
WIPO (PCT)
Prior art keywords
data generation
image
defect
teacher data
generation device
Prior art date
Application number
PCT/JP2022/039841
Other languages
English (en)
French (fr)
Inventor
遼 池田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to CN202280078905.3A priority Critical patent/CN118355267A/zh
Priority to JP2023563569A priority patent/JPWO2023095520A5/ja
Priority to EP22898304.5A priority patent/EP4443146A1/en
Publication of WO2023095520A1 publication Critical patent/WO2023095520A1/ja
Priority to US18/674,762 priority patent/US20240311994A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/04—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and forming images of the material
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/02—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material
    • G01N23/06—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by transmitting the radiation through the material and measuring the absorption
    • G01N23/18—Investigating the presence of flaws defects or foreign matter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Definitions

  • the present invention relates to a training data generation device, a training data generation method, a program, and a defect inspection device.
  • defects such as air bubbles, foreign matter, and cracks generated in the product are detected by visual observation of the image of the product to be inspected, and the product is determined to be good or bad. Deciding.
  • Patent Document 1 a technique for adjusting the number of data for each type to be detected is applied in order to improve recognition accuracy.
  • the present invention has been made in view of such circumstances, and aims to provide a training data generation device, a training data generation method, a program, and a defect inspection device that are not easily affected by the size of an inspection object.
  • the processor extracts a region of 2px or more including the defective pixel to be detected from the inspection target image including the inspection target as a region of interest, and extracts the region of interest as A patch image with a patch size including the above is extracted as training data.
  • the attention area is a pixel area acquired according to a specific rule, and as a result of determining whether or not each pixel area contains a defective pixel corresponding to a defect, This is an area determined to contain defective pixels.
  • the specific rule is to scan the image to be inspected in random order or exhaustive order to obtain a pixel range of fixed size.
  • the specific rule is that the detection target range is limited in advance to a part of the inspection target image, and the range is scanned in random order or exhaustive order, fixed Get a pixel range of size.
  • the processor extracts patch images of patch size containing pixels to be distinguished from the detection target as training data from the inspection target image.
  • the region of interest is determined by specifying one detection target including the detection target pixels and acquiring a certain number of pixel regions including the detection target pixels.
  • the patch size is the size determined by the input of the machine learning device that creates the learning model using the training data.
  • the size of the attention area is determined based on the size of the defect to be detected or the distance between the defects.
  • the processor determines whether or not each attention area includes a defective pixel based on the ground truth data based on the image to be inspected.
  • the distance between adjacent attention areas is equal to or less than the patch size.
  • the processor determines for each defect type when determining whether or not each attention area includes a defective pixel.
  • the processor adjusts the number of training data for each defect type.
  • the image to be inspected is an X-ray transmission image.
  • the image to be inspected is an X-ray transmission image of a cast metal part, a forged metal part, or a welded metal part.
  • a region of 2px or more including the defective pixel to be detected is extracted as the target region from the inspection target image including the inspection target. and extracting a patch image of a patch size including the region of interest as teacher data.
  • an area of 2px or more including the defective pixel to be detected is set as the attention area in the inspection target image including the inspection target. Extracting and extracting a patch size patch image including the region of interest as teacher data are executed.
  • the defect inspection apparatus of the seventeenth aspect performs learning using teacher data created by the above-described teacher data generation device, an inspection target image acquisition unit that acquires an inspection target image, and the teacher data generation device. a defect inspection unit that detects defects in the image.
  • training data generation device training data generation method, program, and defect inspection device of the present invention, it is possible to generate training data that is not easily affected by the size of the detection target, and to suppress a decrease in the accuracy of the defect detection rate.
  • FIG. 1 is a block diagram showing a defect inspection system.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the training data generation device.
  • FIG. 3 is a block diagram showing processing functions implemented by a CPU.
  • FIG. 4 is a block diagram showing an example of a machine learning device.
  • FIG. 5 is a flowchart showing a teaching data generation method using the teaching data generation device of the first embodiment.
  • FIG. 6 is a diagram explaining the image acquisition step.
  • FIG. 7 is a diagram for explaining the attention area extraction step.
  • FIG. 8 is a diagram for explaining the defective pixel determination step.
  • FIG. 9 is a diagram for explaining the teacher data extraction step.
  • FIG. 10 is a diagram explaining a modification of the first embodiment.
  • FIG. 10 is a diagram explaining a modification of the first embodiment.
  • FIG. 11 is a diagram for explaining the region extraction step, defective pixel determination step, and teacher data extraction step of the second embodiment.
  • FIG. 12 is a diagram for explaining the region extraction step, defective pixel determination step, and teacher data extraction step of the third embodiment.
  • FIG. 13 is a diagram for explaining the defective pixel determination step when multiple types of defects are included.
  • FIG. 14 is a diagram explaining the teacher data extraction step in the case of FIG.
  • FIG. 15 is a block diagram showing a configuration example of a defect inspection device.
  • FIG. 16 is a block diagram showing a configuration example of an imaging system.
  • FIG. 17 conceptually shows the average Gas, FMLD, and FMMD sizes.
  • FIG. 1 is a block diagram showing a defect inspection system.
  • the defect inspection system 10 performs defect inspections involving machine learning on inspection objects (hereinafter also referred to as inspected objects) such as industrial products, for example. It includes a generation device 100 and a defect inspection device 200 .
  • the training data generation device 100 receives an input of a training image P10, which is an inspection target image obtained by photographing an inspection target, and based on the training image P10, generates a teacher used for learning by the machine learning device 140 (see FIG. 4).
  • the training image P10 is an image including a sample of defects to be detected, and is an industrial product or the like identical or similar to the object to be inspected OBJ (see FIG. 16) to be inspected by the defect inspection apparatus 200. It is an image obtained by imaging.
  • the training image P10 may be an image of an object to be inspected in which a defect naturally occurs during use of the object, or an image of an object to be inspected to which defects are artificially added. good too.
  • the training image P10 for example, one provided as a sample by the designer or operator of the facility where the object to be inspected is installed can be used.
  • the training image P10 is, for example, an X-ray transmission image.
  • this X-ray transmission image is, for example, an X-ray transmission image of a cast metal part, a forged metal part, or a welded metal part.
  • the learning model learned by the machine learning device 140 is used in the defect inspection device 200.
  • a learning model can be incorporated into the defect inspection apparatus 200 .
  • the defect inspection system 200 can utilize built-in learning models.
  • the learning model can be installed in a server on the network connected to the defect inspection apparatus 200.
  • FIG. The defect inspection device 200 can use the learning model of the server via the network.
  • the defect inspection apparatus 200 can use a learning model learned for each industrial product to be inspected.
  • FIG. 2 is a block diagram showing an example of the hardware configuration of the training data generation device 100 according to the present invention.
  • a computer or workstation can be used as the training data generation device 100 shown in FIG.
  • the training data generation device 100 of this example mainly includes an input/output interface 112, a storage unit 116, an operation unit 118, a CPU (Central Processing Unit) 120, a RAM (Random Access Memory) 122, and a ROM (Read Only Memory) 124. , and a display control unit 126 .
  • a display device 130 constituting a display is connected to the training data generation device 100 , and display is performed on the display device 130 under the control of the display control section 126 under the command of the CPU 120 .
  • the input/output interface 112 can input various data (information) to the training data generation device 100 .
  • data stored in storage unit 116 is input via input/output interface 112 .
  • the input/output interface 112 can communicate with external devices via a network. Wired communication or wireless communication (for example, LAN (Local Area Network), WAN (Wide Area Network), Internet connection, etc.) can be used as a method for transmitting and receiving data between the training data generation device 100 and an external device. .
  • Wired communication or wireless communication for example, LAN (Local Area Network), WAN (Wide Area Network), Internet connection, etc.
  • the CPU 120 reads out various programs including the teacher data generation program of the embodiment stored in the storage unit 116, ROM 124, or the like, develops them in RAM 122, and performs calculations, thereby controlling each unit in an integrated manner. Also, the CPU 120 reads programs stored in the storage unit 116 or the ROM 124 , performs calculations using the RAM 122 , and performs various processes of the teacher data generating apparatus 100 . The CPU 120 receives an operation input from the operator via the operation unit 118, transmits a control signal corresponding to the operation input to each unit of the teacher data generation device 100, and controls the operation of each unit.
  • the storage unit (memory) 116 is a memory configured by a hard disk device, eMMC (embedded Multi Media Card), flash memory such as SSD (Solid State Drive), and the like.
  • the storage unit 116 stores data and programs for operating the teaching data generation device 100, such as an operating system and a program for executing the teaching data generation method.
  • the storage unit 116 also stores information and the like used in the embodiments described below.
  • the operation unit 118 includes a keyboard and mouse, and the user can cause the teacher data generation device 100 to perform necessary processing via these devices.
  • the display device 130 may also function as an operation unit.
  • the display device 130 is, for example, a device such as a liquid crystal display, and can display various information.
  • FIG. 3 is a diagram showing an example of a block diagram showing processing functions realized by the CPU 120. As shown in FIG.
  • the CPU 120 includes an image acquisition unit 151, an area extraction unit 152, a defective pixel determination unit 153, a teacher data extraction unit 154, and the like.
  • the image acquiring unit 151, the area extracting unit 152, the defective pixel determining unit 153, the teacher data extracting unit 154, etc. are part of the CPU 120, and the CPU 120 executes the processing of each unit.
  • the image acquisition unit 151 executes processing for acquiring the training image P10 via the input/output interface 112.
  • the image acquisition unit 151 can acquire the training image P10 through communication via a network, for example.
  • a USB (Universal Serial Bus) cable, Bluetooth (registered trademark), infrared communication, etc. may be used, and the training image P10 may be attached to and detached from the teacher data generation device 100 and a readable storage medium (for example, memory card), and the image acquisition unit 151 may acquire the training image P10 via this storage medium.
  • the training image P10 can be stored in the storage unit 116 of the training data generation device 100, and the image acquisition unit 151 can acquire the training image P10 from the storage unit 116 via the input/output interface 112.
  • the region extraction unit 152 executes processing for extracting a plurality of regions from the training image P10 acquired by the image acquisition unit 151.
  • the area is a pixel area of 2px or more.
  • the region may be of fixed size in this process.
  • the area extraction unit 152 sets a virtual frame having a size corresponding to a region of interest, which will be described later, and scans this frame over the training image P10 while extracting an image within the frame (one of the training images P10). A plurality of regions are extracted by cutting out the part).
  • the region extracting unit 152 can arbitrarily set the slide width for scanning the frame and the order of scanning, and this arbitrary setting can be used as a specific rule. For example, it is preferable that the slide width of the frame is equal to or less than a patch size, which will be described later, and as a result, it is preferable that the distance between adjacent regions be equal to or less than the patch size.
  • the defective pixel determining unit 153 determines whether or not each of the plurality of regions extracted by the region extracting unit 152 includes at least some defective pixels corresponding to defects.
  • the defective pixel determining unit 153 extracts a region including at least a part of defective pixels as a region of interest. That is, the region of interest is a pixel region obtained by the region extraction unit 152 according to a specific rule, and the defective pixel determination unit 153 determines whether or not each pixel region includes a defective pixel corresponding to a defect. This is an area determined to include defective pixels to be detected.
  • the defective pixel determining unit 153 acquires information for extracting a region including at least a part of defective pixels as a region of interest.
  • the defective pixel determination unit 153 preferably acquires ground truth data corresponding to the training image P10 when determining whether or not the region includes defective pixels corresponding to defects.
  • the ground truth data includes position information in units of one pixel (1px) corresponding to the entire image (all pixels) of the training image P10, information such as whether or not it is a defect area, and defect type.
  • the teacher data extracting unit 154 refers to the ground truth data and extracts a patch image with a patch size including defective pixels from the region of interest as teacher data.
  • the teacher data extraction unit 154 extracts the patch image of the patch size extracted from the region of interest and the correct data as one set as teacher data.
  • the correct data is, for example, a mask image in which the defect area existing in the patch size is filled.
  • FIG. 4 is a block diagram showing an example of a machine learning device 140 that uses teacher data.
  • the machine learning device 140 shown in FIG. 4 is composed of a learning model (a convolution neural network (CNN: Convolution Neural Network) 142, which is one of the learning models), a loss value calculator 144, and a parameter controller 146.
  • a learning model a convolution neural network (CNN: Convolution Neural Network) 142, which is one of the learning models
  • CNN Convolution Neural Network
  • This machine learning device 140 uses the teacher data generated by the teacher data generation device 100 to cause the CNN 142 to perform machine learning.
  • the teacher data generated by the teacher data generation device 100 is stored in the memory 148, for example.
  • the CNN 142 is a part for inferring the region of the defect captured in the input image when the patch image of the patch size extracted from the region of interest is used as the input image.
  • a weight parameter is a filter coefficient of a filter called a kernel used for convolution calculation in a convolution layer.
  • the patch size of the image extracted from the region of interest matches the patch size (for example, m ⁇ n:m, where n is an integer) determined by the input used for the machine learning device 140 in the neural network.
  • the CNN 142 can change from an unlearned learning model to a learned learning model by updating the weight parameter from the initial value to the optimum value.
  • This CNN 142 comprises an input layer 142A, an intermediate layer 142B having multiple sets of convolution layers and pooling layers, and an output layer 142C, each layer having a structure in which multiple "nodes" are connected by “edges.” It's becoming
  • a learning image which is a learning target, is input to the input layer 142A as an input image.
  • the learning image is a patch-sized patch image among the teacher data (a pair of patch-sized patch image and correct data) stored in the memory 148 .
  • the intermediate layer 142B has multiple sets of convolution layers and pooling layers, and is a part that extracts features from the image input from the input layer 142A.
  • the convolutional layer filters (convolves with filters) the nodes that are nearby in the previous layer to get a "feature map”.
  • the pooling layer reduces the feature map output from the convolution layer to a new feature map.
  • the “convolution layer” plays a role of extracting features such as edge extraction from an image, and the “pooling layer” plays a role of providing robustness so that the extracted features are not affected by translation or the like.
  • the intermediate layer 142B is not limited to the case where the convolution layer and the pooling layer are set as one set, and may include a case where convolution layers are continuous, an activation process by an activation function, and a normalization layer.
  • the output layer 142C is a part that outputs a feature map indicating features extracted by the intermediate layer 142B.
  • the output layer 142C outputs an inference result obtained by, for example, region classification (segmentation) of defects appearing in the input image in units of pixels or in units of clusters of several pixels.
  • Arbitrary initial values are set for the filter coefficients and offset values applied to each convolution layer of the CNN 142 before learning.
  • the loss value calculation unit 144 functioning as a learning control unit and the loss value calculation unit 144 out of the parameter control unit 146 obtains the feature map output from the output layer 142C of the CNN 142 and the correct answer for the input image (patch size patch image).
  • the mask image (correct data read out from the memory 148) is compared with the data, and the error (loss value, which is the value of the loss function) between the two is calculated.
  • Loss value calculation methods include, for example, softmax cross entropy and sigmoid.
  • the parameter control unit 146 adjusts the weighting parameters of the CNN 142 by error backpropagation based on the loss value calculated by the loss value calculation unit 144.
  • the error is backpropagated in order from the last layer, the stochastic gradient descent method is performed in each layer, and parameter update is repeated until the error converges.
  • This weight parameter adjustment process is repeated, and learning is repeated until the difference between the output of the CNN 142 and the correct data becomes small.
  • the machine learning device 140 repeats machine learning using the learning data stored in the memory 148, so that the CNN 142 becomes a trained model.
  • R-CNN (Regions with Convolutional Neural Networks) can be applied.
  • R-CNN a bounding box whose size is changed is slid in the photographed image to detect the area of the bounding box containing the defect. Defects are then detected by evaluating (extracting CNN features) only the image portion within the bounding box.
  • R-CNN Fast R-CNN, Faster R-CNN, Mask R-CNN, etc. can be used instead of R-CNN.
  • the inference result of the learned learning model configured in this way is used in the defect inspection apparatus 200 as shown in FIG.
  • the teacher data generation method includes, for example, a step of acquiring an image including an inspection target (step S1), a step of extracting a plurality of regions (step S2), and a defect in the extracted region. It comprises a step of determining whether or not a corresponding defective pixel is included (step S3), and a step of extracting a patch image of a patch size including the defective pixel as teacher data (step S4).
  • step S1 an image including an inspection target is acquired.
  • the image acquisition unit 151 of the CPU 120 acquires an image (training image P10) including an inspection target (step S1).
  • FIG. 6 is a diagram explaining the image acquisition step (step S1).
  • the training image P10 includes a plurality of defects D, one of which is a large-sized defect D1 and another of which is a smaller-sized defect D2.
  • the training image P10 is, for example, an image of an inspected object in which a defect naturally occurs during use of the inspected object.
  • step S2 a plurality of regions are extracted from the training image P10.
  • the area extraction unit 152 of the CPU 120 extracts a plurality of areas (pixel areas of 2px or more) from the training image P10 (step S2).
  • FIG. 7 is a diagram explaining the region extraction step (step S2).
  • the area extraction unit 152 sets a virtual frame F having a size corresponding to the area AR in order to extract the area AR.
  • the area AR is a pixel area of 2px or more and has a fixed size
  • the frame F corresponding to the area AR also has a fixed size.
  • This virtual frame F is scanned on the training image P10, and the area surrounded by the frame F is extracted as the area AR.
  • the regions surrounded by the frame F are extracted as a plurality of regions AR from the entire region of the training image P10. be done.
  • the frame F is scanned with a predetermined slide width. For example, at 0700B, frame F is scanned at the slide width of frame F (one times frame F).
  • the area extraction unit 152 scans the frame F over the entire area of the training image P10 to extract the area AR.
  • the area AR for example, 32 areas AR are extracted.
  • the frame F when acquiring the area AR from the training image P10, the frame F is scanned starting from the left end of the first stage and toward the right end, and acquisition of the area AR of the first stage is completed. Next, scanning is performed from the left end to the right end in the second stage, and acquisition of the area AR in the second stage is completed. Similar scanning is repeated until the final stage. In the final stage, scanning is performed from the left end to the right side, and acquisition of the area AR in the final stage is completed. Therefore, a particular rule is to scan the training image P10 in exhaustive order and obtain an area AR that is a fixed-size pixel range for the entire area of the training image P10.
  • the slide width for scanning the frame F can be arbitrarily set.
  • the training image P10 is scanned in random order to obtain an area AR, which is a fixed size pixel range for the entire area of the training image P10.
  • the frame F is scanned in random order to obtain an area AR, which is a fixed size pixel range for the entire area of the training image P10.
  • the area AR may be obtained not only for the entire area of the training image P10 but also for a part of the training image P10. .
  • the number of areas AR extracted from the training image P10 can be increased by reducing the distance between adjacent areas AR.
  • the number of the attention areas IR including defective pixels are extracted from the area AR, the number of the attention areas IR to be extracted can be increased by increasing the number of the areas AR. Considering the number of areas AR, the distance between adjacent areas AR may be determined.
  • step S3 it is determined whether or not each area AR contains a defective pixel corresponding to a defect.
  • the defective pixel determining unit 153 of the CPU 120 determines whether or not the area AR includes defective pixels corresponding to the defect D (including the defect D1 and the defect D2) (step S3).
  • the areas AR are set as the attention areas IR, and the attention areas IR are extracted in step S3.
  • FIG. 8 is a diagram explaining the defective pixel determination step (step S3).
  • the defective pixel determination unit 153 acquires information of ground truth data GT (correct data) that serves as a reference for determining the presence or absence of defective pixels.
  • ground truth data GT correct data
  • the ground truth data GT defines correct answers such as defect, background (no defect), defect type, etc., in units of pixels for each region with respect to the training image P10 of 0800A.
  • the definition of correct answer can be predetermined by the user and can be changed.
  • the types of defects are distinguished and labeled.
  • the "flaw” or "defect” may be distinguished in advance by a "flaw” label or a "defect” label.
  • the size, shape, and distribution may be used to distinguish between a "flaw” and a “defect” later (by looking at the detection results). .
  • the learning model also detects the type of "gas defect".
  • defects peculiar to weld metal include (1) spatter, (2) undercut, (3) slag entrainment, and (4) poor penetration.
  • the defective pixel determination unit 153 determines whether defective pixels are included in the plurality of areas AR obtained in step S2 shown in 0800C based on the ground truth data GT. In step S3, the defective pixel determining unit 153 determines whether or not each pixel area includes a defective pixel corresponding to a defect from the area AR, which is a pixel area acquired according to a specific rule. A region determined to include a defective pixel (defect D1 or D2) is extracted as a region of interest IR. At 0800C, four regions of interest IR including part of the defect D1 are extracted, and four regions of interest IR including part of the defect D2 are extracted.
  • step S4 a patch image IM having a patch size including the attention area IR is extracted as teacher data TD for the attention area IR in which the defective pixel Dp exists.
  • the teacher data extraction unit 154 of the CPU 120 extracts a patch image IM having a patch size including the attention area IR as the teacher data TD in the case of the area AR including the defective pixel Dp.
  • a patch image IM having a patch size including the attention area IR is extracted as the training data TD, it is preferable that the distance between the adjacent attention areas IR is equal to or less than the patch size. It is possible to reliably extract teacher data from the training image P10.
  • the size of the region of interest IR is preferably determined based on the size of defects or the distance between defects. By setting the attention area IR to an appropriate size, it is possible to avoid including different defects in one attention area IR. Also, the imbalance in the number of extracted defects D1 and D2 can be corrected.
  • the size of the defect is, for example, about 100 ⁇ m or more and 15 mm or less. At this time, if the resolution of the image is 100 ⁇ m/px, the size of the attention area IR is 192 px, and the patch size described later can be 128 px.
  • the size of the attention area IR can be determined.
  • these numerical values are examples and are not limited to these numerical values.
  • FIG. 9 is a diagram explaining the teacher data extraction step (step S4).
  • four regions of interest IR including the defective pixel Dp of the large-sized defect D1 are extracted from the training image P10.
  • Patch images IM each having a patch size (m ⁇ n) each containing a defective pixel Dp are extracted from the four attention areas IR, and pairs of four correct data CD corresponding to the four patch images IM are training data. extracted as TD.
  • the patch image IM of the patch size from a plurality of attention areas IR of 2px or more is used as the training data TD. more people) can be mitigated. Areas containing minute defects are equally extracted as training data TD in the same manner as areas containing other large defects.
  • a patch image IM having a patch size including defective pixels is extracted as teacher data TD1.
  • a patch image IM having a patch size including pixels is extracted as teacher data TD2.
  • FIG. 10 is a diagram explaining the teacher data extraction step (step S4) of the modified example.
  • four regions of interest IR including defective pixels Dp (not shown) of a large-sized defect D1 are extracted from the training image P10.
  • Patch images IM each having a patch size including the defective pixel Dp are extracted from the four attention areas IR for the defect D1. extracted.
  • patches of interest IR including the defective pixel Dp of the defect D2 are extracted from the training image P10.
  • Patch images IM each having a patch size including the defective pixel Dp are extracted from the four attention areas IR for the defect D1. extracted.
  • FIG. 11 is a diagram for explaining the region extraction step (step S2), the defective pixel determination step (step S3), and the teacher data extraction step (step S4) in another mode.
  • one inspection object including the pixel to be detected here, the defect D1 or the defect D2 is specified as one inspection object, and one pixel area including the pixel to be detected is specified as one inspection object.
  • a fixed number is acquired and focused area IR is performed.
  • a certain number of areas of interest IR are extracted from one inspection target, and teacher data TD is extracted from the area of interest IR, so a certain number of teacher data TD including the detection target can be extracted from one inspection target. Therefore, as a result, the teacher data TD can be equally extracted from the area containing the minute defect D2 and the area containing the other large defect D1.
  • the area extraction unit 152 sets a virtual frame F to extract the area AR from the training image P10, and extracts the area surrounded by the frame F as the area AR. .
  • the defect D1 is divided into four by vertical and horizontal lines passing through the barycentric coordinates of the defect D1 so as to include the pixel region of the defect D1 to be detected. interest regions IR are extracted.
  • the defect D2, which is a detection target is divided into four by vertical and horizontal lines passing through the barycentric coordinates, and four regions of interest IR are extracted.
  • the defect D1 or the defect D2 is specified as one inspection target as a continuous area.
  • an external open source library can be used to extract from the moment of the figure, and further the center of gravity can be estimated. If a simple-looking "central point" is acceptable, it is also possible to obtain a bounding rectangle and use its central coordinates. Note that the method of obtaining the center-of-gravity position is not limited to these.
  • a teacher data extraction step step S4
  • patch images IM having a patch size are extracted so as to include defective pixels Dp present in each attention area IR that divides the defect D into four.
  • D1 and D2) can extract four teacher data TD. Therefore, the same number of teacher data TD is extracted for both the area containing a small defect and the area containing other large defects.
  • the learning accuracy of the machine learning device 140 can be improved.
  • FIG. 12 is a diagram for explaining the region extraction step (step S2) and defective pixel determination step (step S3).
  • step S2 region extraction step
  • step S3 defective pixel determination step
  • the area extraction unit 152 sets a virtual frame F to extract the area AR from the training image P10, and extracts the area surrounded by the frame F as the area AR.
  • the training image P10 shows, for example, the case of learning to detect defects occurring on the weld line WL.
  • a plurality of areas AR are extracted by scanning the frame F while giving a restriction that the welding line WL (straight line with a one-dimensional width in the horizontal direction) is included in part.
  • the detection target range is limited in advance to a part of the inspection target image, and is limited to one dimension in the horizontal direction here. Within this range, the frame F is scanned in random or exhaustive order to obtain an area AR, which is a fixed size pixel range.
  • step S3 it is determined whether or not the area AR includes the defect D (defects D1 and D2) to be detected, and the area AR is extracted as the attention area IR.
  • step S4 a patch image IM (not shown) having a patch size is extracted so as to include the defective pixel Dp present in the attention area IR, thereby extracting the teacher data TD). be able to.
  • patch images of a patch size are extracted from the attention area IR, so the same number of teacher data TD are extracted for areas containing small defects and areas containing other large defects.
  • a mask is used to separate the area where the subject is shown from the content that is only the background, and the background part that is not shown is treated as a "normal area".
  • a plurality of regions of interest IR are extracted so that they are not treated equally.
  • the teacher data TD can be extracted only from the area where the part exists, and the learning accuracy of the machine learning device 140 can be improved.
  • FIG. 13 is a diagram explaining the defective pixel determination step (step S3) including a plurality of types of defects.
  • training image P10 contains four defects D1, D2, D3 and D4.
  • Defects D1 and D2 are defects classified into the same type and have different sizes.
  • Defects D3 and D4 are defects classified into the same type, but have different sizes.
  • the defects D1 and D2 and the defects D3 and D4 are defects of different types.
  • the defective pixel determination unit 153 acquires information of ground truth data GT (correct data) that serves as a reference for determining the presence or absence of defective pixels.
  • the ground truth data GT defines correct answers such as defects in pixel units in each region, background (no defects), and types of defects for the training image P10 in 1300A.
  • the definition of the correct answer for each area can be defined in advance by the user.
  • Defects D1 and D2 are defined as defect type A
  • defects D3 and D4 are defined as defect type B in 1300B.
  • step S3 the defective pixel determining unit 153 determines whether or not the plurality of areas AR obtained in step S2 shown in 1300C includes defective pixels based on the ground truth data GT. extracted.
  • FIG. 14 is a diagram explaining the teacher data extraction step (step S4). As shown in FIG. 14, it is determined whether or not a plurality of attention areas IR includes a defective pixel, and patch images IM each having a patch size of each of the four attention areas IR are extracted for the defect D1. Patch images IM each having a patch size are extracted for each of the four attention areas IR for the defect D2. Four patch images IM are extracted from the defect D1, and four patch images IM are extracted from the defect D2. Patch images IM each having a patch size are extracted for each of the four attention areas IR for the defect D3. Patch images IM each having a patch size are extracted for each of the two attention areas IR for the defect D4. Four patch images IM are extracted from defect D3, and two patch images IM are extracted from defect D4. In order to facilitate understanding, the correct data CD is omitted.
  • patch images IM are extracted for defect type A
  • six patch images IM belonging to defect type B are extracted.
  • the patch images IM of the two defects D4 are extracted.
  • the number of extracted patch images IM is different for defect type A and defect type B, which are different types. In order to equalize the learning accuracy between defect types A and B, it is preferable to apply oversampling and adjust the number of teacher data TD to be extracted so that the defect types are equal.
  • the number of each type may be adjusted to a predetermined number.
  • the number of teacher data TD extracted from defect types A and B is 20.
  • the number of teacher data TD for defect type A and defect type B is twenty.
  • the number of other types may be adjusted so that it is the maximum number in each type.
  • the defect type A has eight teaching data TD.
  • defect type B has six teacher data TD. Eight of the defect type A is the maximum number among the types. Therefore, from defect type B, two additional teacher data TD are extracted. The number of teacher data TD for defect type A and defect type B is eight.
  • the number of extracted teacher data TD can be adjusted to be the same among the types, and the imbalance in the number of samples caused by the defect type can be improved.
  • a computer or workstation can be used as the defect inspection apparatus 200 shown in FIG.
  • the defect inspection apparatus 200 of this example mainly includes an input/output interface 212 , a storage section 216 , an operation section 218 , a CPU 220 , a RAM 222 , a ROM 224 and a display control section 226 .
  • a display device 230 constituting a display is connected to the defect inspection apparatus 200 , and display is performed on the display device 230 under the control of the display control section 226 under the command of the CPU 220 .
  • the input/output interface 212 can input various data (information) to the defect inspection apparatus 200 .
  • data stored in the storage unit 216 is input via the input/output interface 212 .
  • the input/output interface 212 can communicate with external devices via a network. Wired communication or wireless communication (for example, LAN (Local Area Network), WAN (Wide Area Network), Internet connection, etc.) can be used as a method of transmitting and receiving data between the defect inspection apparatus 200 and an external device.
  • Wired communication or wireless communication for example, LAN (Local Area Network), WAN (Wide Area Network), Internet connection, etc.
  • the CPU (processor) 220 reads out various programs including the defect inspection program of the embodiment stored in the storage unit 216 or the ROM 224 or the like, develops them in the RAM 222 and performs calculations, thereby centrally controlling each unit. Further, the CPU 220 reads programs stored in the storage unit 216 or the ROM 224 , performs calculations using the RAM 222 , and performs various processes of the defect inspection apparatus 200 . The CPU 220 receives an operation input from the operator via the operation unit 218 and transmits a control signal corresponding to the operation input to each unit of the defect inspection apparatus 200 to control the operation of each unit.
  • the storage unit 216 is a memory composed of a hard disk device, flash memory such as eMMC, SSD, or the like.
  • the storage unit 216 stores data and programs for operating the defect inspection apparatus 200, such as an operating system and a program for executing defect inspection.
  • the storage unit 216 also stores information and the like used in the embodiments described below.
  • the operation unit 218 includes a keyboard and mouse, and the user can cause the defect inspection apparatus 200 to perform necessary processing via these devices.
  • the display device 230 also functions as an operation unit.
  • the display device 230 is, for example, a device such as a liquid crystal display, and can display various information.
  • the CPU 220 includes an inspection target image acquisition unit 240 and a defect inspection unit 242 .
  • the inspection object image acquiring unit 240 acquires an inspection object image P30, which is an image of the object to be inspected OBJ captured by the imaging system 300 or the like, via the input/output interface 212 .
  • the defect inspection unit 242 inspects the inspection object image P30 for defects.
  • the inspection target image P30 is acquired by the imaging system 300, which will be described later.
  • the defect inspection unit 242 uses a learning model learned by the machine learning device 140 (see FIG. 4) to determine the presence or absence of a defect (defect or non-defect) and the type of defect.
  • the result of defect inspection by the defect inspection section 242 is displayed on the display device 230 .
  • the learning model is learned by the teacher data TD generated by the teacher data generation device 100.
  • FIG. Also, the learning model is updated according to the situation.
  • FIG. 16 is a block diagram schematically showing a configuration example of the imaging system 300.
  • the imaging system 300 is for imaging an object to be inspected OBJ placed in an imaging room 314, and includes an imaging control unit 302, an imaging operation unit 304, an image storage unit 306, a camera 308, and radiation sources 310 and 312. I have it.
  • a shooting control unit 302 includes a CPU that controls the operation of each unit of the shooting system 300 .
  • An imaging control unit 302 receives an operation input from an operator (photographer) via an imaging operation unit 304, and transmits a control signal corresponding to the operation input to each unit of the imaging system 300 to control the operation of each unit.
  • the imaging operation unit 304 includes an input device that receives operation inputs from the operator. Via the imaging operation unit 304, the operator inputs information about the object to be inspected OBJ, inputs instructions for imaging conditions to the camera 308 and instructions to execute imaging, inputs instructions for radiation irradiation conditions for the radiation sources 310 and 312, It is possible to input an instruction to store an inspection object image P30 (not shown) obtained by imaging in the image storage unit 306, or the like.
  • the shooting conditions include, for example, shooting conditions such as exposure time and focal length, shooting angle, shooting location, and the like.
  • Radiation irradiation conditions include irradiation start time, irradiation duration, irradiation angle, irradiation intensity, and the like.
  • conditions related to irradiation intensity include tube current and tube voltage.
  • the image storage unit 306 stores an inspection target image P30 (received light image data) of the object to be inspected OBJ photographed by the camera 308 .
  • Information for specifying the object to be inspected OBJ is stored in the image storage unit 306 in association with the image data.
  • the camera 308, for example, a method (DDA: Digital Detector Array, digital detector) or IP (Imaging Plate) to store signals and digitize them with an external reader (CR: computed radiography).
  • a camera 308 and radiation sources 310 and 312 are arranged inside an imaging room 314 .
  • the radiation sources 310 and 312 are, for example, X-ray sources, and the partition walls and entrances between the imaging room 314 and the outside are X-ray protected by X-ray protective materials (for example, lead, concrete, etc.). there is In the case of irradiating the object OBJ with visible light for imaging, it is not necessary to use the protected imaging room 314 .
  • the radiation sources 310 and 312 irradiate the subject OBJ placed in the imaging room 314 with radiation according to the instructions from the imaging control unit 302 .
  • the camera 308 irradiates the object to be inspected OBJ from the radiation source 310 and is reflected by the object to be inspected OBJ from the radiation source 310 or the radiation emitted from the radiation source 312 to the object to be inspected OBJ in accordance with the instruction to execute imaging from the imaging control unit 302 .
  • the object to be inspected OBJ is held in an imaging room 314 by a holding member (for example, a manipulator, a mounting table, or a movable mounting table) (not shown).
  • the distance and angle to 312 are adjustable. The operator can control the relative positions of the object to be inspected OBJ, the camera 308, and the radiation sources 310 and 312 via the imaging control unit 302, so that a desired portion of the object to be inspected OBJ can be imaged. .
  • the radiation sources 310 and 312 finish irradiating the object to be inspected OBJ with radiation in synchronization with the end of the execution of imaging by the camera 308 .
  • the number of cameras and radiation sources is not limited to this.
  • the imaging control unit 302, the imaging operation unit 304, and the image storage unit 306 can be implemented using a combination of computer hardware and software.
  • the defect inspection apparatus 200 may be communicably connected to the imaging system 300 , or the defect inspection apparatus 200 may function as an imaging control section 302 , an imaging operation section 304 and an image storage section 306 of the imaging system 300 . may
  • the average number of samples (the number of training data) before and after the training data generation method of the embodiment is applied to images containing defects was calculated.
  • the average number of samples was calculated by using 261 aluminum casting images as the training image P10, and dividing the number of samples extracted from the 261 aluminum casting images by the total number of defects for each defect size.
  • the aluminum casting image contained defects of different sizes: FMMD, FMLD and Gas.
  • FIG. 17 is a diagram conceptually showing the average Gas, FMLD and FMMD sizes. Assuming that the length of Gas is 1, FMLD is about 2 to 6 times longer, and FMMD is about 30 to 50 times longer. For FMMD, FMLD, and Gas, the average number of samples extracted as teacher data before and after applying the teacher data generation method of the embodiment was calculated. Table 1 shows the results. No. 1 is the average number of samples for each FMMD, FMLD and Gas before application; 2 indicates the average number of samples after application for each FMMD, FMLD and Gas.
  • the hardware structure of the processing unit that executes various processes is various processors as shown below.
  • the circuit configuration can be changed after manufacturing such as CPU (Central Processing Unit), which is a general-purpose processor that executes software (program) and functions as various processing units, FPGA (Field Programmable Gate Array), etc.
  • Programmable Logic Device PLD
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be composed of one of these various processors, or may be composed of two or more processors of the same type or different types (eg, multiple FPGAs, or combinations of CPUs and FPGAs).
  • a plurality of processing units can be configured by one processor.
  • a processor functions as multiple processing units.
  • SoC System On Chip
  • SoC System On Chip
  • the various processing units are configured using one or more of the above various processors as a hardware structure.
  • the hardware structure of these various processors is, more specifically, an electrical circuit that combines circuit elements such as semiconductor elements.
  • Each configuration and function described above can be appropriately realized by arbitrary hardware, software, or a combination of both.
  • a program that causes a computer to execute the processing steps (procedures) described above a computer-readable storage medium (non-temporary storage medium) storing such a program, or a computer capable of installing such a program
  • the present invention can be applied.
  • defect inspection system 100 teacher data generation device 112 input/output interface 116 storage unit 118 operation unit 120 CPU 126 display control unit 130 display device 140 machine learning device 142 learning model 142A input layer 142B intermediate layer 142C output layer 144 loss value calculation unit 146 parameter control unit 148 memory 151 image acquisition unit 152 area extraction unit 153 defective pixel determination unit 154 teacher data Extraction unit 200 Defect inspection device 212 Input/output interface 216 Storage unit 218 Operation unit 220 CPU 226 display control unit 230 display device 240 inspection target image acquisition unit 242 defect inspection unit 300 imaging system 302 imaging control unit 304 imaging operation unit 306 image storage unit 308 camera 310 radiation source 312 radiation source 314 imaging room A defect type B defect type AR Region CD Correct data D, D1, D2, D3, D4 Defect Dp Defect pixel F Frame GT Ground truth data IM Patch image IR Region of interest OBJ Object to be inspected P10 Training image P30 Inspection target image Px Pixel S1 Step S2 Step S3 Step S4 Steps TD,

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

検出対象物の大きさに影響を受け難い、教師データ生成装置、教師データ生成方法、プログラム及び欠陥検査装置を提供する。プロセッサを備える教師データ生成装置において、プロセッサは、検査対象を含む検査対象画像に対して、検出対象となる欠陥画素を含む２ｐｘ以上の領域を、注目領域として抽出し、注目領域を含む、パッチサイズのパッチ画像を、教師データとして抽出する。

Description

教師データ生成装置、教師データ生成方法、プログラム及び欠陥検査装置
　本発明は、教師データ生成装置、教師データ生成方法、プログラム及び欠陥検査装置に関する。
　Ｘ線透過画像等を利用した工業製品の非破壊検査では、検査対象の製品を透過撮影した画像の目視により、製品に発生した気泡や異物、ひび割れ等の欠陥を検出し、良品又は不良品を判断している。
　近年、良品又は不良品を判断する際に、機械学習で学習された学習モデルを使用して、判断することが検討されている。機械学習させる際、検査対象画像から教師データを抽出し、抽出された教師データを使用し、学習モデルを機械学習で学習させている。
　この様な機械学習では、例えば、認識精度を向上させるため検出する種別ごとのデータの数を調整する技術が適用されている（特許文献１）。
特開２０２１－０４７８２６号公報
　ところで、検査対象画像から教師データを抽出する際、検出対象の欠陥である各画素を起点に教師データの抽出を行うと，大きなサイズの欠陥ほど抽出される教師データの数が多くなる。同じ種別に属する欠陥であっても、教師データに不均衡が生じ、微小欠陥の学習が相対的に遅れるため、検出率が向上しない原因となる。
　本発明はこのような事情に鑑みてなされたもので、検査対象の大きさに影響を受け難い、教師データ生成装置、教師データ生成方法、プログラム及び欠陥検査装置を提供することを目的とする。
　第１態様のプロセッサを備える教師データ生成装置において、プロセッサは、検査対象を含む検査対象画像に対して、検出対象となる欠陥画素を含む２ｐｘ以上の領域を、注目領域として抽出し、注目領域を含む、パッチサイズのパッチ画像を、教師データとして抽出する。
　第２態様の教師データ生成装置において、注目領域は、特定の規則により取得された画素領域であって、画素領域ごとに欠陥に対応する欠陥画素を含むか否かを判定した結果、検出対象となる欠陥画素を含むと判定された領域である。
　第３態様の教師データ生成装置において、特定の規則は、ランダムな順または網羅的な順に検査対象画像を走査して、固定のサイズの画素範囲を取得することである。
　第４態様の教師データ生成装置において、特定の規則は、検出対象の範囲があらかじめ検査対象画像の一部に制限されており、範囲内において、ランダムな順または網羅的な順に走査して、固定サイズの画素範囲を取得する。
　第５態様の教師データ生成装置において、プロセッサは、検査対象画像に対して、検出対象と区別すべき画素を含む、パッチサイズのパッチ画像を、教師データとして抽出する。
　第６態様の教師データ生成装置において、注目領域は、検出対象の画素を含む一の検出対象を特定し、検出対象の画素を含む画素領域を一定数取得することで定める。
　第７態様の教師データ生成装置において、パッチサイズは、教師データを使用して学習モデルを作成する機械学習装置の入力で定まるサイズである。
　第８態様の教師データ生成装置において、注目領域の大きさは、検出対象の欠陥の大きさ、又は欠陥の間の距離に基づいて決定される。
　第９態様の教師データ生成装置において、プロセッサは、検査対象画像に基づくグランドトゥルースデータに基づいて、各注目領域に欠陥画素を含むか否かを判定する。
　第１０態様の教師データ生成装置において、隣接する注目領域の距離はパッチサイズ以下である。
　第１１態様の教師データ生成装置において、プロセッサは、各注目領域に欠陥画素を含むか否かを判定する際、欠陥の種別ごとに判定する。
　第１２態様の教師データ生成装置において、プロセッサは、欠陥の種別ごとの教師データの数を調整する。
　第１３態様の教師データ生成装置において、検査対象画像は、Ｘ線透過画像である。
　第１４態様の教師データ生成装置において、検査対象画像は、鋳造された金属部品、鍛造された金属部品、又は、溶接された金属部品に対するＸ線透過画像である。
　第１５態様のプロセッサを備える教師データ生成装置が実行する教師データ生成方法において、検査対象を含む検査対象画像に対して、検出対象となる欠陥画素を含む２ｐｘ以上の領域を、注目領域として抽出するステップと、注目領域を含む、パッチサイズのパッチ画像を、教師データとして抽出するステップと、を含む。
　第１６態様のプロセッサを備える教師データ生成装置により教師データ生成方法を実行するプログラムにおいて、検査対象を含む検査対象画像に対して、検出対象となる欠陥画素を含む２ｐｘ以上の領域を、注目領域として抽出するステップと、注目領域を含む、パッチサイズのパッチ画像を、教師データとして抽出するステップと、を実行させる。
　第１７態様の欠陥検査装置は、既述の教師データ生成装置と、検査対象画像を取得する検査対象画像取得部と、教師データ生成装置により作成された教師データを用いて学習を行い、検査対象画像における欠陥を検出する欠陥検査部と、を備える。
　本発明の教師データ生成装置、教師データ生成方法、プログラム及び欠陥検査装置によれば、検出対象の大きさに影響を受け難い教師データの生成を可能とし、欠陥検出率の精度低下を抑制できる。
図１は、欠陥検査システムを示すブロック図である。 図２は、教師データ生成装置のハードウェア構成の一例を示すブロック図である。 図３は、ＣＰＵで実現される処理機能を示すブロック図である。 図４は、機械学習装置の一例を示すブロック図である。 図５は、第１実施形態の教師データ生成装置を使用した教師データ生成方法を示すフロー図である。 図６は、画像取得ステップを説明する図である。 図７は、注目領域抽出ステップを説明する図である。 図８は、欠陥画素判定ステップを説明する図である。 図９は、教師データ抽出ステップを説明する図である。 図１０は、第１実施形態の変形例を説明する図である。 図１１は、第２実施形態の領域抽出ステップ、欠陥画素判定ステップ及び教師データ抽出ステップを説明する図である。 図１２は、第３実施形態の領域抽出ステップ、欠陥画素判定ステップ及び教師データ抽出ステップを説明する図である。 図１３は、複数の種別の欠陥を含む場合の欠陥画素判定ステップついて説明する図である。 図１４は、図１３の場合における、教師データ抽出ステップを説明する図である。 図１５は、欠陥検査装置の構成例を示すブロック図である。 図１６は、撮影システムの構成例を示すブロック図である。 図１７は、平均的なＧａｓ、ＦＭＬＤ及びＦＭＭＤの大きさを概念的に示す図である。
　以下、添付図面に従って本発明に係る教師データ生成装置、教師データ生成方法、プログラム及び欠陥検査装置の実施の形態について説明する。
　［欠陥検査システムの構成］
　図１は、欠陥検査システムを示すブロック図である。
　図１に示すように、欠陥検査システム１０は、例えば、工業製品等の検査対象（以下、被検査体ともいう。）に対して、機械学習を伴う欠陥の検査を行うものであり、教師データ生成装置１００と、欠陥検査装置２００とを備える。
　教師データ生成装置１００は、検査対象を撮影した検査対象画像であるトレーニング用画像Ｐ１０の入力を受け付けて、トレーニング用画像Ｐ１０に基づいて、機械学習装置１４０（図４参照）の学習に使用する教師データを作成する。ここで、トレーニング用画像Ｐ１０とは、検出対象となる欠陥のサンプルを含む画像であり、欠陥検査装置２００により検査すべき被検査体ＯＢＪ（図１６参照）と、同一又は類似する工業製品等を撮像して得られた画像である。トレーニング用画像Ｐ１０は、被検査体の使用中に自然に欠陥が発生した被検査体を撮像した画像であってもよいし、人工的に欠陥を付加した被検査体を撮像した画像であってもよい。トレーニング用画像Ｐ１０としては、例えば、被検査体が取り付けられる施設等の設計者又は運営者からサンプルとして提供されるものを用いることができる。トレーニング用画像Ｐ１０は、例えば、Ｘ線透過画像である。また、このＸ線透過画像は、例えば、鋳造された金属部品、鍛造された金属部品、又は、溶接された金属部品に対するＸ線透過画像である。
　機械学習装置１４０により学習された学習モデルが、欠陥検査装置２００で利用される。学習モデルは、欠陥検査装置２００に組み込むことができる。欠陥検査装置２００は、組み込まれた学習モデルを利用できる。また、学習モデルは、欠陥検査装置２００に接続されたネットワーク上のサーバに組み込むことができる。欠陥検査装置２００はネットワークを介してサーバの学習モデルを利用できる。欠陥検査装置２００は、検査対象となる工業製品ごとに学習された学習モデルを利用できる。
　＜教師データ生成装置の構成＞
　次に、実施形態に係る教師データ生成装置１００について、図２を参照して説明する。図２は、本発明に係る教師データ生成装置１００のハードウェア構成の一例を示すブロック図である。
　図２に示す教師データ生成装置１００としては、コンピュータ又はワークステーションを使用することができる。本例の教師データ生成装置１００は、主として入出力インターフェイス１１２、記憶部１１６、操作部１１８、ＣＰＵ（Central Processing Unit）１２０と、ＲＡＭ(Random Access Memory)１２２と、ＲＯＭ(Read Only Memory)１２４と、表示制御部１２６とから構成されている。教師データ生成装置１００には、ディスプレイを構成する表示装置１３０が接続され、ＣＰＵ１２０の指令の下、表示制御部１２６の制御により表示装置１３０に表示が行われる。
　入出力インターフェイス１１２は、教師データ生成装置１００に様々なデータ（情報）を入力することができる。例えば、記憶部１１６に記憶されるデータが入出力インターフェイス１１２を介して入力される。さらに、入出力インターフェイス１１２は、ネットワークを介して外部装置との間で通信を行うことができる。教師データ生成装置１００と外部装置との間のデータの送受信方法としては、有線通信又は無線通信（例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット接続等）を用いることができる。
　ＣＰＵ（プロセッサ）１２０は、記憶部１１６、又はＲＯＭ１２４等に記憶された実施形態の教師データ生成プログラムを含む各種のプログラムを読み出し、ＲＡＭ１２２に展開して計算を行うことにより、各部を統括制御する。また、ＣＰＵ１２０は、記憶部１１６、又はＲＯＭ１２４に記憶されているプログラムを読み出して、ＲＡＭ１２２を使用して計算を行い教師データ生成装置１００の各種処理を行う。ＣＰＵ１２０は、操作部１１８を介してオペレータからの操作入力を受け付け、この操作入力に応じた制御信号を教師データ生成装置１００の各部に送信して各部の動作を制御する。
　記憶部（メモリ）１１６は、ハードディスク装置、ｅＭＭＣ（embedded Multi Media Card）、ＳＳＤ（Solid State Drive）等のフラッシュメモリ等から構成されるメモリである。記憶部１１６には、オペレーティングシステム、教師データ生成方法を実行させるプログラム等、教師データ生成装置１００を動作させるデータ及びプログラムが記憶されている。また記憶部１１６は、以下で説明する実施形態で使用する情報等を記憶する。
　操作部１１８はキーボード及びマウスを含み、ユーザはこれらのデバイスを介して、教師データ生成装置１００に必要な処理を行わせることができる。タッチパネル型のデバイスを用いることにより、表示装置１３０が操作部としても機能してもよい。
　表示装置１３０は、例えば、液晶ディスプレイ等のデバイスであり、各種情報を表示できる。
　図３は、ＣＰＵ１２０で実現される処理機能を示すブロック図の一例を示す図である。
　ＣＰＵ１２０は、画像取得部１５１、領域抽出部１５２、欠陥画素判定部１５３、教師データ抽出部１５４等を備える。画像取得部１５１、領域抽出部１５２、欠陥画素判定部１５３、教師データ抽出部１５４等はＣＰＵ１２０の一部であり、ＣＰＵ１２０が各部の処理を実行する。
　画像取得部１５１は、入出力インターフェイス１１２を介してトレーニング用画像Ｐ１０の取得する処理を実行する。なお、画像取得部１５１がトレーニング用画像Ｐ１０を取得する方法は、例えば、ネットワークを介した通信を介して取得できる。また、例えば、ＵＳＢ（Universal Serial Bus）ケーブル、Bluetooth（登録商標）、赤外線通信等を用いてもよいし、トレーニング用画像Ｐ１０を、教師データ生成装置１００に着脱及び読取可能な記憶媒体（例えば、メモリカード）に格納し、画像取得部１５１は、この記憶媒体を介してトレーニング用画像Ｐ１０を取得してもよい。また、トレーニング用画像Ｐ１０は教師データ生成装置１００の記憶部１１６に記憶させることができ、画像取得部１５１は、記憶部１１６から入出力インターフェイス１１２を介してトレーニング用画像Ｐ１０を取得できる。
　領域抽出部１５２は、画像取得部１５１が取得したトレーニング用画像Ｐ１０から複数の領域を抽出する処理を実行する。領域は２ｐｘ以上の画素領域である。この処理において領域は固定サイズであってもよい。領域抽出部１５２は、例えば、後述する注目領域に相当する大きさの仮想の枠を設定し、この枠をトレーニング用画像Ｐ１０の上を走査させながら、枠内の画像（トレーニング用画像Ｐ１０の一部）を切り出すことにより複数の領域を抽出する。領域抽出部１５２は、枠を走査させるスライド幅、走査する順を任意に設定でき、この任意の設定を特定の規則とできる。例えば、枠のスライド幅は後述するパッチサイズ以下であることが好ましく、その結果、隣接する複数の領域の距離はパッチサイズ以下であることが好ましい。
　欠陥画素判定部１５３は、領域抽出部１５２が抽出した複数の領域の各領域に欠陥に対応する欠陥画素を一部でも含むか否かを判定する。欠陥画素判定部１５３は、欠陥画素を一部でも含む領域を注目領域して抽出する。すなわち、注目領域は、領域抽出部１５２により特定の規則により取得された画素領域であって、欠陥画素判定部１５３により画素領域ごとに欠陥に対応する欠陥画素を含むか否かを判定した結果、検出対象となる欠陥画素を含むと判定された領域となる。欠陥画素判定部１５３は、欠陥画素が一部でも含まれている領域を注目領域して抽出するための情報を取得する。欠陥画素判定部１５３は、例えば、領域に欠陥に対応する欠陥画素を含むか否かを判定する際、トレーニング用画像Ｐ１０に対応するグランドトゥルースデータを取得することが好ましい。グランドトゥルースデータは、トレーニング用画像Ｐ１０の画像全体（全画素）に対応する、１画素単位（１ｐｘ）での位置情報、欠陥の領域であるか否か、及び欠陥の種別などの情報を含む。
　教師データ抽出部１５４は、例えば、グランドトゥルースデータを参照し、注目領域から欠陥画素を含むパッチサイズのパッチ画像を教師データとして抽出する。教師データ抽出部１５４は、注目領域から抽出したパッチサイズのパッチ画像と、正解データとを１セットとして、教師データとして抽出する。正解データは、例えば、パッチサイズに存在する欠陥の領域を塗りつぶしたマスク画像である。
　図４は教師データを利用する機械学習装置１４０の一例を示すブロック図である。
　図４に示す機械学習装置１４０は、学習モデル（学習モデルの一つである畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）１４２と、損失値算出部１４４と、パラメータ制御部１４６とから構成される。
　この機械学習装置１４０は、教師データ生成装置１００により生成された、教師データを使用し、ＣＮＮ１４２を機械学習させる。教師データ生成装置１００により生成された教師データは、例えば、メモリ１４８に記憶される。
　ＣＮＮ１４２は、注目領域から抽出したパッチサイズのパッチ画像を入力画像とした場合、その入力画像に撮影されている欠陥の領域を推論する部分であり、複数のレイヤ構造を有し、複数の重みパラメータを保持している。重みパラメータは、畳み込み層での畳み込み演算に使用されるカーネルと呼ばれるフィルタのフィルタ係数などである。ここで、注目領域から抽出される画像のパッチサイズは、ニューラルネットワークでの機械学習装置１４０に用いる入力で定まるパッチサイズ（例えばｍ×ｎ：ｍ、ｎは整数）に一致する。
　ＣＮＮ１４２は、重みパラメータが初期値から最適値に更新されることで、未学習の学習モデルから学習済みの学習モデルに変化しうる。
　このＣＮＮ１４２は、入力層１４２Ａと、畳み込み層とプーリング層から構成された複数セットを有する中間層１４２Ｂと、出力層１４２Ｃとを備え、各層は複数の「ノード」が「エッジ」で結ばれる構造となっている。
　入力層１４２Ａには、学習対象である学習用画像が入力画像として入力される。学習用画像は、メモリ１４８に記憶されている教師データ（パッチサイズのパッチ画像と正解データとのペア）のうちのパッチサイズのパッチ画像である。
　中間層１４２Ｂは、畳み込み層とプーリング層とを１セットとする複数セットを有し、入力層１４２Ａから入力した画像から特徴を抽出する部分である。畳み込み層は、前の層で近くにあるノードにフィルタ処理し（フィルタを使用した畳み込み演算を行い）、「特徴マップ」を取得する。プーリング層は、畳み込み層から出力された特徴マップを縮小して新たな特徴マップとする。「畳み込み層」は、画像からのエッジ抽出等の特徴抽出の役割を担い、「プーリング層」は抽出された特徴が、平行移動などによる影響を受けないようにロバスト性を与える役割を担う。
　なお、中間層１４２Ｂには、畳み込み層とプーリング層とを１セットとする場合に限らず、畳み込み層が連続する場合や活性化関数による活性化プロセス、正規化層も含まれ得る。
　出力層１４２Ｃは、中間層１４２Ｂにより抽出された特徴を示す特徴マップを出力する部分である。また、出力層１４２Ｃは、学習済みＣＮＮ５２では、例えば、入力画像に写っている欠陥をピクセル単位、もしくはいくつかのピクセルを一塊にした単位で領域分類（セグメンテーション）した推論結果を出力する。
　学習前のＣＮＮ１４２の各畳み込み層に適用されるフィルタの係数やオフセット値は、任意の初期値がセットされる。
　学習制御部として機能する損失値算出部１４４及びパラメータ制御部１４６のうちの損失値算出部１４４は、ＣＮＮ１４２の出力層１４２Ｃから出力される特徴マップと、入力画像（パッチサイズのパッチ画像）に対する正解データであるマスク画像（メモリ１４８から読み出される正解データ）とを比較し、両者間の誤差（損失関数の値である損失値）を計算する。損失値の計算方法は、例えばソフトマックスクロスエントロピー、シグモイドなどが考えられる。
　パラメータ制御部１４６は、損失値算出部１４４により算出された損失値を元に、誤差逆伝播法によりＣＮＮ１４２の重みパラメータを調整する。誤差逆伝播法では、誤差を最終レイヤから順に逆伝播させ、各レイヤにおいて確率的勾配降下法を行い、誤差が収束するまでパラメータの更新を繰り返す。
　この重みパラメータの調整処理を繰り返し行い、ＣＮＮ１４２の出力と正解データとの差が小さくなるまで繰り返し学習を行う。
　機械学習装置１４０は、メモリ１４８に記憶された学習データを使用した機械学習を繰り返すことで、ＣＮＮ１４２が学習済みモデルとなる。
　なお、ＣＮＮ１４２としては、Ｒ－ＣＮＮ（Regions with Convolutional Neural Networks）を適用することができる。Ｒ－ＣＮＮでは、撮影画像内において、大きさを変えたバウンディングボックスをスライドさせ、欠陥が入るバウンディングボックスの領域を検出する。そして、バウンディングボックスの中の画像部分だけを評価（ＣＮＮ特徴量を抽出）することで、欠陥を検出する。また、Ｒ－ＣＮＮに代えて、Ｆａｓｔ　Ｒ-ＣＮＮ、Ｆａｓｔｅｒ　Ｒ－ＣＮＮ、Ｍａｓｋ　Ｒ－ＣＮＮ等を使用することができる。
　このようにして構成される学習済の学習モデルの推論結果は、図１に示すように、欠陥検査装置２００において利用される。
　＜第１実施形態＞
　次に、教師データ生成装置１００を使用した第１実施形態の教師データ生成方法を図５に示すフロー図を参照して説明する。
　図５に示すように、教師データ生成方法は、一例として、検査対象を含む画像を取得するステップ（ステップＳ１）と、複数の領域を抽出するステップ（ステップＳ２）と、抽出した領域に欠陥に対応する欠陥画素を含むか否かを判定するステップ（ステップＳ３）と、欠陥画素を含むパッチサイズのパッチ画像を教師データとして抽出するステップ（ステップＳ４）と、を備える。
　ステップＳ１では、検査対象を含む画像を取得する。ＣＰＵ１２０の画像取得部１５１が、検査対象を含む画像（トレーニング用画像Ｐ１０）を取得する（ステップＳ１）。
　図６は、画像取得ステップ（ステップＳ１）を説明する図である。実施形態では、図６に示すように、トレーニング用画像Ｐ１０は、複数の欠陥Ｄを含んでおり、一つはサイズの大きい欠陥Ｄ１であり、他は欠陥Ｄ１よりサイズの小さい欠陥Ｄ２である。既述したようにトレーニング用画像Ｐ１０は、例えば、被検査体の使用中に自然に欠陥が発生した被検査体を撮像した画像である。
　ステップＳ２では、トレーニング用画像Ｐ１０から複数の領域を抽出する。ＣＰＵ１２０の領域抽出部１５２が、トレーニング用画像Ｐ１０から、複数の領域（２ｐｘ以上の画素領域）を抽出する（ステップＳ２）。
　図７は、領域抽出ステップ（ステップＳ２）を説明する図である。図７の０７００Ａに示すように、領域抽出部１５２は、領域ＡＲを抽出するため、領域ＡＲに相当するサイズの仮想の枠Ｆを設定する。実施形態において、領域ＡＲは２ｐｘ以上の画素領域で、固定サイズであり、領域ＡＲに対応する枠Ｆも固定サイズである。この仮想の枠Ｆがトレーニング用画像Ｐ１０の上で走査され、枠Ｆに囲われた領域が領域ＡＲとして抽出される。
　０７００Ｂに示すように、枠Ｆをトレーニング用画像Ｐ１０の上を矢印で示す方向に走査することで、トレーニング用画像Ｐ１０の全体の領域から、枠Ｆに囲われた領域が複数の領域ＡＲとして抽出される。枠Ｆは、予め決められたスライド幅で走査する。例えば、０７００Ｂにおいて、枠Ｆは、枠Ｆのスライド幅（枠Ｆの１倍）で走査される。
　０７００Ｃに示すように、領域抽出部１５２は枠Ｆをトレーニング用画像Ｐ１０の上を全領域に亘って走査し、領域ＡＲを抽出する。０７００Ｃでは、例えば、３２個の領域ＡＲが抽出される。
　この例では、トレーニング用画像Ｐ１０から領域ＡＲを取得する際、枠Ｆを第１段目の左端から始め、右端に向けて走査し、第１段目の領域ＡＲの取得を終了する。次いで、第２段目の左端から右端に向けて走査し、第２段目の領域ＡＲの取得を終了する。同様の走査を最終段まで繰り返す。最終段では、左端から右側に走査し、最終段目の領域ＡＲの取得を終了する。したがって、特定の規則は、トレーニング用画像Ｐ１０を網羅的な順で走査し、トレーニング用画像Ｐ１０の全領域に対して固定サイズの画素範囲である領域ＡＲを取得する。なお、枠Ｆを走査させるスライド幅を任意に設定できる。
　特定の規則は、この例に限定されず、トレーニング用画像Ｐ１０をランダムな順で走査し、トレーニング用画像Ｐ１０の全領域に対して固定サイズの画素範囲である領域ＡＲを取得する。ランダムな順では、網羅的な順とは異なり、枠Ｆを順不同で走査し、トレーニング用画像Ｐ１０の全領域に対して固定サイズの画素範囲である領域ＡＲを取得する。
　なお、特定の規則において、トレーニング用画像Ｐ１０の全領域に対して領域ＡＲを取得する場合だけでなく、トレーニング用画像Ｐ１０の一部の領域に対して領域ＡＲを取得する場合であってもよい。
　ランダムな順または網羅的な順にであっても、隣接する領域ＡＲの間の距離を小さくすることにより、トレーニング用画像Ｐ１０から抽出される領域ＡＲの数を多くできる。後述するように、領域ＡＲから欠陥画素を含む注目領域ＩＲが抽出されるので、領域ＡＲの数を多くすることで、抽出される注目領域ＩＲの数を多くできる。領域ＡＲの数を考慮して、隣接する領域ＡＲの間の距離を決定してもよい。
　ステップＳ３では、各領域ＡＲに欠陥に対応する欠陥画素を含むか否かを判定する。ＣＰＵ１２０の欠陥画素判定部１５３が、領域ＡＲに欠陥Ｄ（欠陥Ｄ１、欠陥Ｄ２を含む）に対応する欠陥画素を含むか否かを判定する（ステップＳ３）。領域ＡＲの中で、欠陥画素判定部１５３が欠陥画素を含むと判定した領域ＡＲが注目領域ＩＲとされ、ステップＳ３では注目領域ＩＲが抽出される。
　図８は、欠陥画素判定ステップ（ステップＳ３）を説明する図である。欠陥画素判定部１５３は、欠陥画素の有無を判定するため基準となるグランドトゥルースデータＧＴ（正解データ）の情報を取得する。０８００Ａに示すように、トレーニング用画像Ｐ１０の画像全体（全画素）に対して、１画素（ｐｘ）の単位で、位置情報、欠陥Ｄ（欠陥Ｄ１、Ｄ２）の領域であるか否か、及び欠陥の種別などの情報が取得される。０８００Ｂに示すように、グランドトゥルースデータＧＴは、０８００Ａのトレーニング用画像Ｐ１０に対し、領域ごとの画素単位で、欠陥あり、背景（欠陥なし）、欠陥の種別等の正解の定義がなされている。正解の定義は利用者が予め決定でき、また変更できる。
　以下、定義の一例について説明する。グランドトゥルースデータＧＴにおいては、欠陥（傷も含む）の種別が区別されて、ラベル付けされる。なお、「傷」又は「欠陥」であるかの区別については、「傷」のラベル、又は「欠陥」のラベルにより予め区別されていてもよい。また、「傷」が、「欠陥」の程度が弱いもの、という定義される場合、サイズや形状、分布によって「傷」か「欠陥」かを、後から（検出結果をみて）区別してもよい。
　例えば、ガス欠陥と発生原因は同じであって、サイズが基準以下であるため「傷」というカテゴリーに該当する箇所は、ラベルとしては「ガス欠陥」というラベル付けされる。したがって、学習モデルも「ガス欠陥」という種別で検出が行われる。
　欠陥の種別として、（１）Ｐｏｒｏｓｉｔｙ（微小な気泡の集団）、（２）Ｇａｓ　Ｈｏｌｅ（ガス）、（３）ＦＭＭＤ：Ｆｏｒｅｉｇｎ　Ｍａｔｅｒｉａｌ　Ｍｏｒｅ　Ｄｅｎｓｅ（高密度の異物）、（４）ＦＭＬＤ：Ｆｏｒｅｉｇｎ　Ｍａｔｅｒｉａｌ　Ｌｅｓｓ　Ｄｅｎｓｅ（低密度の異物）、（５）Ｅｘｃｅｓｓ　Ｍｅｔａｌ　（≒余盛り）、（６）クラック（ひび割れ）、（７）Ｓａｗ　Ｃｕｔ　（のこぎり状、筋状のキズ）、（８）Ｓｕｒｆａｃｅ　Ｄａｍａｇｅ（表面の「欠け」などその他のキズ）、などが挙げられる。
　また、溶接金属に特有の不良として、（１）スパッタ、（２）アンダーカット、（３）スラグ巻き込み、（４）溶け込み不良、などが挙げられる。
　欠陥画素判定部１５３は、グランドトゥルースデータＧＴに基づいて、０８００Ｃに示すステップＳ２で取得された複数の領域ＡＲに対して欠陥画素を含むか否かを判定する。ステップＳ３において、欠陥画素判定部１５３は、特定の規則により取得された画素領域である領域ＡＲの中から、画素領域ごとに欠陥に対応する欠陥画素を含むか否かを判定した結果、検出対象（欠陥Ｄ１又はＤ２）となる欠陥画素を含むと判定された領域を注目領域ＩＲとして抽出する。０８００Ｃでは、欠陥Ｄ１の一部を含む４個の注目領域ＩＲが抽出され、欠陥Ｄ２の一部を含む４個の注目領域ＩＲが抽出される。ステップＳ４では、欠陥画素Ｄｐが存在する注目領域ＩＲに対し、注目領域ＩＲを含むパッチサイズのパッチ画像ＩＭを教師データＴＤとして抽出する。ＣＰＵ１２０の教師データ抽出部１５４は、欠陥画素Ｄｐを含む領域ＡＲに場合、注目領域ＩＲを含むパッチサイズのパッチ画像ＩＭを教師データＴＤとして抽出する。
　教師データＴＤとして注目領域ＩＲを含むパッチサイズのパッチ画像ＩＭが抽出されるので、隣接する注目領域ＩＲの距離はパッチサイズ以下であることが好ましい。トレーニング用画像Ｐ１０から確実に教師データを抽出することが可能となる。
　注目領域ＩＲの大きさは、欠陥の大きさ、又は欠陥の間の距離に基づいて決定することが好ましい。注目領域ＩＲを適正な大きさとすることで、一つの注目領域ＩＲに異なる欠陥が含まれることを回避できる。また、欠陥Ｄ１と欠陥Ｄ２とで、抽出される数の不均衡を是正できる。
　欠陥の大きさとしては、例えば、１００μｍ以上１５ｍｍ以下程度である。このとき、画像の分解能が１００μｍ／ｐｘであれば、注目領域ＩＲの大きさは１９２ｐｘであり、後述するパッチサイズは１２８ｐｘとすることができる。
　欠陥の間の距離は、欠陥サイズにも依存する。例えば、数ｐｘ（＝数百μｍ）の欠陥であれば、その微小間隔で密集することがあるため、最小は２００μｍ以上からとなる。また、数ｍｍ以上（＝例えば、２０ｐｘ以上）の中程度から大程度欠陥は、頻繁に発生することが、比較的少ない。そのため、欠陥の間の距離は、欠陥長（欠陥サイズ）の１倍から２倍（４０ｐｘ程度）以上は離れている。
　こられの数値に基づいて、注目領域ＩＲの大きさを決定できる。ただし、これらの数値は、一例であり、こられの数値に限定されない。
　図９は、教師データ抽出ステップ（ステップＳ４）を説明する図である。０９００Ａに示すように、トレーニング用画像Ｐ１０からサイズの大きい欠陥Ｄ１の欠陥画素Ｄｐを含む４個の注目領域ＩＲが抽出されている。４個の注目領域ＩＲから、それぞれ欠陥画素Ｄｐを含むパッチサイズ（ｍ×ｎ）のパッチ画像ＩＭが抽出され、４個のパッチ画像ＩＭに対応する４個の正解データＣＤとのペアが教師データＴＤとして抽出される。
　同様に、０９００Ｂに示すように、トレーニング用画像Ｐ１０から欠陥Ｄ２の欠陥画素Ｄｐを含む４個の注目領域ＩＲが抽出されている。４個の注目領域ＩＲから、それぞれ欠陥画素Ｄｐを含むパッチサイズ（ｍ×ｎ）のパッチ画像ＩＭが抽出され、４個のパッチ画像ＩＭに対応する４個の正解データＣＤとのペアが教師データＴＤとして抽出される。図９においては、欠陥の大きさに拘わらず同数（４個）の教師データＴＤが抽出される。
　既述したように、複数の２ｐｘ以上の注目領域ＩＲからパッチサイズのパッチ画像ＩＭを教師データＴＤとするので、欠陥Ｄの大きさに比例して教師データＴＤの数が多くなる（学習機会が多くなる）という不均衡を緩和することができる。微小な欠陥を含む領域も，他の大きな欠陥を含む領域と同程度に均等に教師データＴＤとして抽出される。
　第１実施形態の変形例について説明する。第１実施形態の変形例では、教師データ抽出ステップ（ステップＳ４）において、欠陥画素を含むパッチサイズのパッチ画像ＩＭを教師データＴＤ１として抽出することの他、検出対象である欠陥Ｄと区別すべき画素を含む、パッチサイズのパッチ画像ＩＭを、教師データＴＤ２として抽出する。
　図１０は、変形例の教師データ抽出ステップ（ステップＳ４）を説明する図である。図１０に示すように、トレーニング用画像Ｐ１０からサイズの大きい欠陥Ｄ１の欠陥画素Ｄｐ（不図示）を含む４個の注目領域ＩＲが抽出されている。欠陥Ｄ１に対する４個の注目領域ＩＲから、それぞれ欠陥画素Ｄｐを含むパッチサイズのパッチ画像ＩＭが抽出され、４個のパッチ画像ＩＭに対応する４個の正解データＣＤとのペアが教師データＴＤ１として抽出される。
　同様に、トレーニング用画像Ｐ１０から欠陥Ｄ２の欠陥画素Ｄｐを含む４個の注目領域ＩＲが抽出されている。欠陥Ｄ１に対する４個の注目領域ＩＲから、それぞれ欠陥画素Ｄｐを含むパッチサイズのパッチ画像ＩＭが抽出され、４個のパッチ画像ＩＭに対応する４個の正解データＣＤとのペアが教師データＴＤ１として抽出される。
　さらに、トレーニング用画像Ｐ１０に対して、検出対象である欠陥Ｄと区別すべき画素、すなわち欠陥Ｄを含まない画素含む、４個のパッチ画像ＩＭを、教師データＴＤ２として抽出する。図１０においては、トレーニング用画像Ｐ１０の右下の、欠陥Ｄを含まない４個の領域ＡＲから４個のパッチ画像ＩＭに対応する４個の正解データＣＤとのペアが教師データＴＤ２として抽出される。これにより、トレーニング用画像Ｐ１０の中で欠陥Ｄのない、いわゆる「正常な領域」を教師データとすることができる。
　＜第２実施形態＞
　次に、第２実施形態の注目領域ＩＲの抽出及び教師データＴＤの抽出について説明する。図１１は、別の態様の領域抽出ステップ（ステップＳ２）、欠陥画素判定ステップ（ステップＳ３）及び教師データ抽出ステップ（ステップＳ４）を説明する図である。図１１の注目領域ＩＲの抽出においては、検出対象の画素を含む１つの検査対象、ここでは欠陥Ｄ１又は欠陥Ｄ２をそれぞれ１つの検査対象として特定し、検出対象の画素を含む１つの画素領域を一定数取得し、注目領域ＩＲする。
　１つの検査対象から一定数の注目領域ＩＲを抽出し、注目領域ＩＲから教師データＴＤを抽出するので、１つの検査対象から検出対象を含む一定数の教師データＴＤを抽出できる。したがって、その結果、微小な欠陥Ｄ２を含む領域と，他の大きな欠陥Ｄ１を含む領域と、に対して均等に教師データＴＤを抽出できる。
　１１００Ａにおいて、図７の０７００Ａと同様に、領域抽出部１５２は、トレーニング用画像Ｐ１０から領域ＡＲを抽出するため、仮想の枠Ｆを設定し、枠Ｆに囲われた領域を領域ＡＲとして抽出する。
　１１００Ｂに示すように、注目領域ＩＲの抽出においては、例えば、欠陥Ｄ１が、検出対象である欠陥Ｄ１の画素領域を含むように、欠陥Ｄ１の重心座標を通る縦横の線で４分割され、４個の注目領域ＩＲが抽出される。同様に、欠陥Ｄ２が、検出対象である欠陥Ｄ２が重心座標を通る縦横の線で４分割され、４個の注目領域ＩＲが抽出される。
　第２実施形態では、欠陥Ｄ１又は欠陥Ｄ２を連続する領域として、それぞれ１つの検査対象として特定している。グランドトゥルースデータＧＴから欠陥Ｄの連続領域を抽出する手法として、例えば、外部のオープンソースライブラリを用いて図形のモーメントから抽出でき、さらに重心を推定できる。単純な見た目の「中心点」でもよい場合、外接矩形を求めてその中心座標を用いることもできる。なお、重心位置の求め方はこれらに限定されない。
　次に、教師データ抽出ステップ（ステップＳ４）では、欠陥Ｄを４分割する各注目領域ＩＲに存在する欠陥画素Ｄｐを含むようにパッチサイズのパッチ画像ＩＭを抽出することで、各欠陥Ｄ（欠陥Ｄ１及びＤ２）から４個の教師データＴＤを抽出することができる。したがって、微小な欠陥を含む領域も，他の大きな欠陥を含む領域も同数の教師データＴＤが抽出される。この教師データＴＤを利用することで、機械学習装置１４０の学習精度を向上できる。
　＜第３実施形態＞
　次に、第３実施形態の注目領域ＩＲの抽出及び教師データＴＤ（不図示）の抽出について説明する。図１２は、領域抽出ステップ（ステップＳ２）及び欠陥画素判定ステップ（ステップＳ３）を説明する図である。図１２の複数の注目領域ＩＲの抽出においては、トレーニング用画像Ｐ１０からの特定の領域のみが注目領域ＩＲとして抽出され、その注目領域ＩＲから教師データＴＤ（不図示）が抽出される。
　１２００Ａにおいて、図７の０７００Ａと同様に、領域抽出部１５２は、トレーニング用画像Ｐ１０から領域ＡＲを抽出するため、仮想の枠Ｆを設定し、枠Ｆに囲われた領域を領域ＡＲとして抽出する。トレーニング用画像Ｐ１０は、例えば、溶接線ＷＬの上に生じた欠陥の検出を学習させる場合を示している。
　この場合、溶接線ＷＬに沿って１次元上に検出対象の欠陥が分布することが事前に分かっている。そのため、その外側は、背景の領域も含めて教師データＴＤとして抽出する必要はない。逆に、外側の背景の領域を含めてしまうと、溶接線ＷＬの外に生じた、精査されていない欠陥を、正常領域として学習してしまうため、精度悪化の原因となるため、望ましくない場合がある。
　そこで、１２００Ｂに示すように、溶接線ＷＬ（横方向の１次元の幅を持った直線）を一部に含むような制約を与えつつ、枠Ｆを走査し、複数の領域ＡＲを抽出する。検出対象の範囲があらかじめ検査対象画像の一部に制限されており、ここでは横方向の１次元に制限される。この範囲内において、ランダムな順または網羅的な順に枠Ｆを走査して、固定サイズの画素範囲である領域ＡＲを取得する。
　次に、欠陥画素判定ステップ（ステップＳ３）では、領域ＡＲの中で検出対象の欠陥Ｄ（欠陥Ｄ１及びＤ２）を含むかを判定し、注目領域ＩＲとして抽出する。次いで、教師データ抽出ステップ（ステップＳ４）では、注目領域ＩＲに存在する欠陥画素Ｄｐを含むようにパッチサイズのパッチ画像ＩＭ（不図示）を抽出することで、教師データＴＤ不図示）を抽出することができる。この例においても、注目領域ＩＲからパッチサイズのパッチ画像を抽出するので、微小な欠陥を含む領域も，他の大きな欠陥を含む領域も同数の教師データＴＤが抽出される。
　また、例えば、複雑な形状を持つ鋳造部品であっても、被写体が写っている範囲と、背景でしかない内容を、分離するマスクを用いて、写っていない背景部分を、「正常領域」と同等には扱わないように複数の注目領域ＩＲを抽出する。これにより、部品の存在する領域のみから、教師データＴＤを抽出することができ、機械学習装置１４０の学習精度を向上できる。
　次に、トレーニング用画像Ｐ１０が複数の種別の欠陥を含む場合について説明する。
　図１３は、複数の種別の欠陥を含む欠陥画素判定ステップ（ステップＳ３）を説明する図である。１３００Ａに示すように、トレーニング用画像Ｐ１０は４個の欠陥Ｄ１、Ｄ２、Ｄ３及びＤ４を含んでいる。欠陥Ｄ１とＤ２とは同じ種別に分類される欠陥で、大きさが異なる。また、欠陥Ｄ３とＤ４とは同じ種別に分類される欠陥で、大きさが異なる。一方で、欠陥Ｄ１及びＤ２と、欠陥Ｄ３及びＤ４とは種別の異なる欠陥である。欠陥画素判定部１５３は、欠陥画素の有無を判定するため基準となるグランドトゥルースデータＧＴ（正解データ）の情報を取得する。
　１３００Ａに示すように、トレーニング用画像Ｐ１０の画像全体（全画素）に対して、１画素Ｐｘの単位で、位置情報、欠陥（欠陥Ｄ１、Ｄ２、Ｄ３及びＤ４）の領域であるか否か、及び欠陥の種別などの情報が取得される。１３００Ｂに示すように、グランドトゥルースデータＧＴは、１３００Ａのトレーニング用画像Ｐ１０に対し、領域ごとの画素単位で欠陥あり、背景（欠陥なし）、欠陥の種別等の正解の定義がなされている。領域ごとの正解の定義は利用者が予め定義することができる。１３００Ｂでは欠陥Ｄ１及びＤ２は欠陥種Ａと定義され、欠陥Ｄ３及びＤ４では欠陥種Ｂと定義されている。
　ステップＳ３において、欠陥画素判定部１５３は、グランドトゥルースデータＧＴに基づいて、１３００Ｃに示すステップＳ２で取得された複数の領域ＡＲに対して欠陥画素を含むか否かを判定され、注目領域ＩＲが抽出される。
　図１４は、教師データ抽出ステップ（ステップＳ４）を説明する図である。図１４に示すように、複数の注目領域ＩＲに対して欠陥画素を含むか否かが判定され、欠陥Ｄ１に対して４個の注目領域ＩＲのそれぞれパッチサイズのパッチ画像ＩＭが抽出される。欠陥Ｄ２に対して４個の注目領域ＩＲのそれぞれパッチサイズのパッチ画像ＩＭが抽出される。欠陥Ｄ１から４個のパッチ画像ＩＭが、欠陥Ｄ２から４個のパッチ画像ＩＭが抽出される。欠陥Ｄ３に対して４個の注目領域ＩＲのそれぞれパッチサイズのパッチ画像ＩＭが抽出される。欠陥Ｄ４に対して２個の注目領域ＩＲのそれぞれパッチサイズのパッチ画像ＩＭが抽出される。欠陥Ｄ３から４個のパッチ画像ＩＭが、欠陥Ｄ４から２個のパッチ画像ＩＭが抽出される。なお、理解を容易にするため正解データＣＤは省略している。
　図１４に示すように、欠陥種Ａに対して８個（欠陥Ｄ１の４個と欠陥Ｄ２の４個）のパッチ画像ＩＭが抽出され、欠陥種Ｂに属する６個（欠陥Ｄ３の４個と欠陥Ｄ４の２個）のパッチ画像ＩＭが抽出される。種別の異なる欠陥種Ａと欠陥種Ｂとで抽出されるパッチ画像ＩＭの数が異なっている。欠陥種Ａと欠陥種Ｂの種別間での学習精度を同等とするため、オーバーサンプリングを適用し、抽出される教師データＴＤの数を欠陥の種別間で同等となるよう調整することが好ましい。
　例えば、各種別の数を予め定めた数に調整してもよい。実施形態では欠陥種Ａ及び欠陥種Ｂから抽出される教師データＴＤの数を２０個とする場合である。欠陥種Ａから、さらに１２個の教師データＴＤを抽出し、欠陥種Ｂから、さらに１４個の教師データＴＤを抽出する。欠陥種Ａ及び欠陥種Ｂとの教師データＴＤの数は２０個となる。
　また、各種別の中の最大数となるよう他の種別の数を調整してもよい。実施形態では欠陥種Ａは８個の教師データＴＤの数を有している。一方、欠陥種Ｂは６個の教師データＴＤの数を有している。欠陥種Ａの８個が種別間の最大の数となる。そこで、欠陥種Ｂから、さらに２個の教師データＴＤを抽出する。欠陥種Ａ及び欠陥種Ｂとの教師データＴＤの数は８個となる。
　抽出される教師データＴＤの数を種別間で同等となるよう調整することができ、欠陥の種別に起因するサンプル数の不均衡を改善できる。
　次に、図１に示した欠陥検査装置２００及び撮影システム３００の構成について説明する。
　図１５に示す欠陥検査装置２００としては、コンピュータ又はワークステーションを使用することができる。本例の欠陥検査装置２００は、主として入出力インターフェイス２１２、記憶部２１６、操作部２１８、ＣＰＵ２２０と、ＲＡＭ２２２と、ＲＯＭ２２４と、表示制御部２２６とから構成されている。欠陥検査装置２００には、ディスプレイを構成する表示装置２３０が接続され、ＣＰＵ２２０の指令の下、表示制御部２２６の制御により表示装置２３０に表示が行われる。
　入出力インターフェイス２１２は、欠陥検査装置２００に様々なデータ（情報）を入力することができる。例えば、記憶部２１６に記憶されるデータが入出力インターフェイス２１２を介して入力される。さらに、入出力インターフェイス２１２は、ネットワークを介して外部装置との間で通信を行うことができる。欠陥検査装置２００と外部装置との間のデータの送受信方法としては、有線通信又は無線通信（例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット接続等）を用いることができる。
　ＣＰＵ（プロセッサ）２２０は、記憶部２１６、又はＲＯＭ２２４等に記憶された実施形態の欠陥検査プログラムを含む各種のプログラムを読み出し、ＲＡＭ２２２に展開して計算を行うことにより、各部を統括制御する。また、ＣＰＵ２２０は、記憶部２１６、又はＲＯＭ２２４に記憶されているプログラムを読み出して、ＲＡＭ２２２を使用して計算を行い欠陥検査装置２００の各種処理を行う。ＣＰＵ２２０は、操作部２１８を介してオペレータからの操作入力を受け付け、この操作入力に応じた制御信号を欠陥検査装置２００の各部に送信して各部の動作を制御する。
　記憶部２１６は、ハードディスク装置、ｅＭＭＣ、ＳＳＤ等のフラッシュメモリ等から構成されるメモリである。記憶部２１６には、オペレーティングシステム、欠陥検査を実行させるプログラム等、欠陥検査装置２００を動作させるデータ及びプログラムが記憶されている。また記憶部２１６は、以下で説明する実施形態で使用する情報等を記憶する。
　操作部２１８はキーボード及びマウスを含み、ユーザはこれらのデバイスを介して、欠陥検査装置２００に必要な処理を行わせることができる。タッチパネル型のデバイスを用いることにより、表示装置２３０は操作部としても機能する。表示装置２３０は、例えば、液晶ディスプレイ等のデバイスであり、各種情報を表示できる。
　ＣＰＵ２２０は、検査対象画像取得部２４０と欠陥検査部２４２とを備える。検査対象画像取得部２４０は、入出力インターフェイス２１２を介して、撮影システム３００等によって撮像された被検査体ＯＢＪの画像である検査対象画像Ｐ３０を取得する。欠陥検査部２４２は検査対象画像Ｐ３０に対する欠陥検査を行う。検査対象画像Ｐ３０は、後述する撮影システム３００により取得される。欠陥検査部２４２は、機械学習装置１４０（図４参照）で学習された学習モデルを用いて欠陥の有無（欠陥又は非欠陥）及び種類の判定を行う。ＣＰＵ２２０の制御により、欠陥検査部２４２の欠陥検査の結果が表示装置２３０に表示される。既述したように、学習モデルは教師データ生成装置１００により生成された教師データＴＤにより学習されている。また、学習モデルは、状況に応じて更新される。
　次に、被検査体ＯＢＪの画像を撮影するための撮影システム３００の例について説明する。図１６は、撮影システム３００の構成例を概略的に示すブロック図である。撮影システム３００は、撮影室３１４内に置かれた被検査体ＯＢＪを撮影するためのものであり、撮影制御部３０２、撮影操作部３０４、画像記憶部３０６、カメラ３０８及び放射線源３１０、３１２を備えている。
　撮影制御部３０２は、撮影システム３００の各部の動作を制御するＣＰＵを含む。撮影制御部３０２は、撮影操作部３０４を介してオペレータ（撮影者）からの操作入力を受け付け、この操作入力に応じた制御信号を撮影システム３００の各部に送信して各部の動作を制御する。
　撮影操作部３０４は、オペレータからの操作入力を受け付ける入力装置を含む。オペレータは、撮影操作部３０４を介して、被検査体ＯＢＪに関する情報の入力、カメラ３０８に対する撮影条件の指示及び撮影実行の指示の入力、放射線源３１０及び３１２に対する放射線の照射条件の指示の入力、撮影により得られた検査対象画像Ｐ３０（不図示）を画像記憶部３０６に記憶する指示の入力などを行うことができる。撮影条件には、例えば、露出時間、焦点距離等の撮影条件、撮影角度及び撮影箇所等が含まれる。放射線の照射条件には、照射開始時間、照射継続時間、照射角度及び照射強度等が含まれる。さらに照射強度に関する条件として、管電流と管電圧とが含まれる。
　画像記憶部３０６は、カメラ３０８によって撮影された被検査体ＯＢＪの検査対象画像Ｐ３０（受光画像データ）を記憶する。画像記憶部３０６には、被検査体ＯＢＪを特定するための情報が画像データと関連付けられて記憶される。カメラ３０８は、例えば、受光センサが平面に配置された、パネル（板状の形状）状のＦＰＤ（フラットパネルディテクタ：Flat Panel Detector）により直接デジタル値に変換して取得する方式（ＤＤＡ: Digital Detector Array,デジタル検出器）、又はＩＰ（イメージングプレート:Imaging Plate）に信号を記憶させて、外部の読み取り装置でデジタル化する方式（CR: computed radiography）で構成される。
　カメラ３０８、放射線源３１０及び３１２は、撮影室３１４の内部に配置されている。放射線源３１０及び３１２は、例えば、Ｘ線源であり、撮影室３１４と外部との間の隔壁及び出入口には、Ｘ線防護材料（例えば、鉛又はコンクリート等）によりＸ線防護が施されている。なお、被検査体ＯＢＪに可視光を照射して撮影を行う場合には、防護を施した撮影室３１４を用いる必要はない。
　放射線源３１０及び３１２は、撮影制御部３０２からの指示に従って、撮影室３１４内に置かれた被検査体ＯＢＪに放射線を照射する。
　カメラ３０８は、撮影制御部３０２からの撮影実行の指示に従って、放射線源３１０から被検査体ＯＢＪに照射されて被検査体ＯＢＪにより反射された放射線、又は放射線源３１２から被検査体ＯＢＪに照射されて被検査体ＯＢＪを透過した放射線を受光して被検査体ＯＢＪを撮影する。被検査体ＯＢＪは、不図示の保持部材（例えば、マニピュレーター、載置台又は可動式の載置台など）によって撮影室３１４内に保持されており、被検査体ＯＢＪは、カメラ３０８、放射線源３１０及び３１２に対する距離及び角度が調整可能となっている。オペレータは、撮影制御部３０２を介して、被検査体ＯＢＪ、カメラ３０８、放射線源３１０及び３１２の相対位置を制御可能となっており、被検査体ＯＢＪの所望の箇所を撮影可能となっている。
　放射線源３１０及び３１２は、カメラ３０８による撮影の実行の終了に同期して、被検査体ＯＢＪに対する放射線の照射を終了する。
　図１６に示す例では、カメラ３０８が１台、放射線源３１０及び３１２が２台設けられているが、カメラ及び放射線源の台数はこれに限定されるものではない。例えば、カメラ及び放射線源は、それぞれ複数台あってもよいし、１つずつであってもよい。撮影制御部３０２、撮影操作部３０４及び画像記憶部３０６は、コンピュータのハードウェアとソフトウェアとの組み合わせを用いて実現できる。
　欠陥検査装置２００は、撮影システム３００と通信可能に接続されてもよいし、欠陥検査装置２００が撮影システム３００の撮影制御部３０２、撮影操作部３０４及び画像記憶部３０６として機能するように構成されてもよい。
　＜実施例＞
　欠陥を含む画像に対し、実施形態の教師データ生成方法が適用される前と、適用された後における、平均サンプル数（教師データの数）を算出した。平均サンプル数は、トレーニング用画像Ｐ１０として２６１個のアルミ鋳造画像を用い、２６１個のアルミ鋳造画像から抽出されるサンプル数と、その値を欠陥サイズごとの欠陥総数で割ることにより算出した。アルミ鋳造画像には、サイズの異なる欠陥であるＦＭＭＤ、ＦＭＬＤ及びＧａｓを含んでいた。欠陥サイズを「平均的に大きい欠陥が存在する集団＝ＦＭＭＤ」、「平均的に小さい欠陥のみが存在する集団＝Ｇａｓ」、「平均的にＦＭＭＤとＧａｓの間の大きさ欠陥が存在する集団＝ＦＭＬＤ」に分類した。
　図１７は、平均的なＧａｓ、ＦＭＬＤ及びＦＭＭＤの大きさを概念的に示す図である。Ｇａｓの長さを１の長さとすると、ＦＭＬＤは２倍から６倍程度の長さであり、ＦＭＭＤは３０倍から５０倍程度の長さである。ＦＭＭＤ、ＦＭＬＤ及びＧａｓについて、実施形態の教師データ生成方法が適用される前と、適用された後における、教師データとして抽出される平均サンプル数を算出した。表１は、その結果を示す。Ｎｏ．１は適用前のＦＭＭＤ、ＦＭＬＤ及びＧａｓごとの平均サンプル数であり、Ｎｏ．２はＦＭＭＤ、ＦＭＬＤ及びＧａｓごとの適用後の平均サンプル数を示す。
Figure JPOXMLDOC01-appb-T000001
　表１のＮｏ．１に示すように、適用前のＦＭＭＤでは、少数存在する巨大欠陥の影響を受けて、欠陥１個あたり１７４．６個のサンプリング数が算出された。また、ＦＭＬＤでは、欠陥１個あたり３６．４個のサンプリング数が算出された。また、Ｇａｓでは、欠陥１個あたり２１．８個のサンプリング数が算出された。適用前においては、Ｇａｓを１とした場合、ＦＭＭＤ：ＦＭＬＤ：Ｇａｓ＝８：１．７：１であり、ＦＭＭＤ、ＦＭＬＤ及びＧａｓの間で平均サンプル数に大きな不均衡が確認された。Ｇａｓは１０ｐｘ以下の欠陥がほとんどであるのに対して、ＦＭＬＤとＦＭＭＤは少数の巨大欠陥の影響を受けていたことが理解できる。
　一方、表１のＮｏ．２に示すように、適用後のＦＭＭＤでは、欠陥１個あたり３．１個のサンプリング数が算出された。また、ＦＭＬＤでは、欠陥１個あたり２．３個のサンプリング数が算出された。また、Ｇａｓでは、欠陥１個あたり３．８個のサンプリング数が算出された。Ｇａｓを１とした場合、ＦＭＭＤ：ＦＭＬＤ：Ｇａｓ＝０．８：０．６：１であり、ＦＭＬＤとＦＭＭＤは少数の巨大欠陥から受ける影響が緩和されていることが確認された。適用後においては、平均面積が大きな欠陥群からも、平均面積が小さな欠陥群からも、欠陥１個あたりからの平均サンプル数が望ましい割合となっていることが理解できる。学習精度を同等にすることが可能となる。
　＜その他＞
　上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部は１つのプロセッサで構成できる。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記憶したコンピュータ読み取り可能な記憶媒体（非一時的記憶媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
　以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の趣旨を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
１０　欠陥検査システム
１００　教師データ生成装置
１１２　入出力インターフェイス
１１６　記憶部
１１８　操作部
１２０　ＣＰＵ
１２６　表示制御部
１３０　表示装置
１４０　機械学習装置
１４２　学習モデル
１４２Ａ　入力層
１４２Ｂ　中間層
１４２Ｃ　出力層
１４４　損失値算出部
１４６　パラメータ制御部
１４８　メモリ
１５１　画像取得部
１５２　領域抽出部
１５３　欠陥画素判定部
１５４　教師データ抽出部
２００　欠陥検査装置
２１２　入出力インターフェイス
２１６　記憶部
２１８　操作部
２２０　ＣＰＵ
２２６　表示制御部
２３０　表示装置
２４０　検査対象画像取得部
２４２　欠陥検査部
３００　撮影システム
３０２　撮影制御部
３０４　撮影操作部
３０６　画像記憶部
３０８　カメラ
３１０　放射線源
３１２　放射線源
３１４　撮影室
Ａ　欠陥種
Ｂ　欠陥種
ＡＲ　領域
ＣＤ　正解データ
Ｄ、Ｄ１、Ｄ２、Ｄ３、Ｄ４　欠陥
Ｄｐ　欠陥画素
Ｆ　枠
ＧＴ　グランドトゥルースデータ
ＩＭ　パッチ画像
ＩＲ　注目領域
ＯＢＪ　被検査体
Ｐ１０　トレーニング用画像
Ｐ３０　検査対象画像
Ｐｘ　画素
Ｓ１　ステップ
Ｓ２　ステップ
Ｓ３　ステップ
Ｓ４　ステップ
ＴＤ、ＴＤ１、ＴＤ２　教師データ
ＷＬ　溶接線

Claims (18)

  1. 　プロセッサを備える教師データ生成装置であって、
    　前記プロセッサは、
    　検査対象を含む検査対象画像に対して、検出対象となる欠陥画素を含む２ｐｘ以上の領域を、注目領域として抽出し、
    　前記注目領域を含む、パッチサイズのパッチ画像を、教師データとして抽出する、
    　教師データ生成装置。
  2. 　前記注目領域は、
    　特定の規則により取得された画素領域であって、
    　前記画素領域ごとに欠陥に対応する欠陥画素を含むか否かを判定した結果、前記検出対象となる前記欠陥画素を含むと判定された領域である、
    　請求項１に記載の教師データ生成装置。
  3. 　前記特定の規則は、
    　ランダムな順または網羅的な順に前記検査対象画像を走査して、固定のサイズの画素範囲を取得することである、
    　請求項２に記載の教師データ生成装置。
  4. 　前記特定の規則は、
    　前記検出対象の範囲があらかじめ前記検査対象画像の一部に制限されており、
    　前記範囲内において、ランダムな順または網羅的な順に走査して、
    　固定サイズの画素範囲を取得する、
    　請求項２又は３に記載の教師データ生成装置。
  5. 　前記プロセッサは、
    　前記検査対象画像に対して、前記検出対象と区別すべき画素を含む、パッチサイズのパッチ画像を、教師データとして抽出する、請求項１から４のいずれか一項に記載の教師データ生成装置。
  6. 　前記注目領域は、
    　前記検出対象の画素を含む一の検出対象を特定し、
    　前記検出対象の画素を含む画素領域を一定数取得することで定める、
    　請求項１から５のいずれか一項に記載の教師データ生成装置。
  7. 　前記パッチサイズは、前記教師データを使用して学習モデルを作成する機械学習装置の入力で定まるサイズである、請求項１から６のいずれか一項に記載の教師データ生成装置。
  8. 　前記注目領域の大きさは、前記検出対象の欠陥の大きさ、又は欠陥の間の距離に基づいて決定される、請求項１から７のいずれか一項に記載の教師データ生成装置。
  9. 　前記プロセッサは、前記検査対象画像に基づくグランドトゥルースデータに基づいて、各前記注目領域に前記欠陥画素を含むか否かを判定する、請求項１から８のいずれか一項に記載の教師データ生成装置。
  10. 　隣接する前記注目領域の距離は前記パッチサイズ以下である、請求項１から９のいずれか一項に記載の教師データ生成装置。
  11. 　前記プロセッサは、各前記注目領域に前記欠陥画素を含むか否かを判定する際、欠陥の種別ごとに判定する、請求項１から１０のいずれか一項に記載の教師データ生成装置。
  12. 　前記プロセッサは、前記欠陥の種別ごとの前記教師データの数を調整する、請求項１１に記載の教師データ生成装置。
  13. 　前記検査対象画像は、Ｘ線透過画像である、
    　請求項１から１２のいずれか一項に記載の教師データ生成装置。
  14. 　前記検査対象画像は、鋳造された金属部品、鍛造された金属部品、又は、溶接された金属部品に対するＸ線透過画像である、
    　請求項１から１３のいずれか一項に記載の教師データ生成装置。
  15. 　プロセッサを備える教師データ生成装置が実行する教師データ生成方法であって、
    　検査対象を含む検査対象画像に対して、検出対象となる欠陥画素を含む２ｐｘ以上の領域を、注目領域として抽出するステップと、
    　前記注目領域を含む、パッチサイズのパッチ画像を、教師データとして抽出するステップと、
    　を含む、教師データ生成方法。
  16. 　プロセッサを備える教師データ生成装置により教師データ生成方法を実行するプログラムであって、
    　検査対象を含む検査対象画像に対して、検出対象となる欠陥画素を含む２ｐｘ以上の領域を、注目領域として抽出するステップと、
    　前記注目領域を含む、パッチサイズのパッチ画像を、教師データとして抽出するステップと、
    　を実行させるプログラム。
  17. 　非一時的かつコンピュータ読取可能な記録媒体であって、請求項１６に記載のプログラムが記録された記録媒体。
  18. 　請求項１から１４のいずれか一項に記載の教師データ生成装置と、
    　検査対象画像を取得する検査対象画像取得部と、
    　前記教師データ生成装置により作成された教師データを用いて学習を行い、前記検査対象画像における欠陥を検出する欠陥検査部と、
    　を備える欠陥検査装置。
PCT/JP2022/039841 2021-11-29 2022-10-26 教師データ生成装置、教師データ生成方法、プログラム及び欠陥検査装置 WO2023095520A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202280078905.3A CN118355267A (zh) 2021-11-29 2022-10-26 教师数据生成装置、教师数据生成方法、程序及缺陷检查装置
JP2023563569A JPWO2023095520A5 (ja) 2022-10-26 教師データ生成装置、教師データ生成方法、プログラム、欠陥検査装置及び記録媒体
EP22898304.5A EP4443146A1 (en) 2021-11-29 2022-10-26 Training data generation device, training data generation method, program, and defect inspection device
US18/674,762 US20240311994A1 (en) 2021-11-29 2024-05-24 Training data generation device, training data generation method, program, and defect test device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021193104 2021-11-29
JP2021-193104 2021-11-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/674,762 Continuation US20240311994A1 (en) 2021-11-29 2024-05-24 Training data generation device, training data generation method, program, and defect test device

Publications (1)

Publication Number Publication Date
WO2023095520A1 true WO2023095520A1 (ja) 2023-06-01

Family

ID=86539360

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/039841 WO2023095520A1 (ja) 2021-11-29 2022-10-26 教師データ生成装置、教師データ生成方法、プログラム及び欠陥検査装置

Country Status (4)

Country Link
US (1) US20240311994A1 (ja)
EP (1) EP4443146A1 (ja)
CN (1) CN118355267A (ja)
WO (1) WO2023095520A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230162349A1 (en) * 2021-11-23 2023-05-25 Perkinelmer Health Sciences, Inc. Three-Dimensional Luminescence Imaging

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012123631A (ja) * 2010-12-08 2012-06-28 Canon Inc 注目領域検出方法、注目領域検出装置、及びプログラム
WO2019059011A1 (ja) * 2017-09-19 2019-03-28 富士フイルム株式会社 教師データ作成方法及び装置並びに欠陥検査方法及び装置
JP2020173547A (ja) * 2019-04-09 2020-10-22 富士通株式会社 画像検査システム、画像検査装置及び画像検査プログラム
JP2021047826A (ja) 2019-09-20 2021-03-25 キヤノン株式会社 データ処理装置、データ処理方法
JP2021152489A (ja) * 2020-03-24 2021-09-30 株式会社 システムスクエア 教師データ生成装置、検査装置及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012123631A (ja) * 2010-12-08 2012-06-28 Canon Inc 注目領域検出方法、注目領域検出装置、及びプログラム
WO2019059011A1 (ja) * 2017-09-19 2019-03-28 富士フイルム株式会社 教師データ作成方法及び装置並びに欠陥検査方法及び装置
JP2020173547A (ja) * 2019-04-09 2020-10-22 富士通株式会社 画像検査システム、画像検査装置及び画像検査プログラム
JP2021047826A (ja) 2019-09-20 2021-03-25 キヤノン株式会社 データ処理装置、データ処理方法
JP2021152489A (ja) * 2020-03-24 2021-09-30 株式会社 システムスクエア 教師データ生成装置、検査装置及びプログラム

Also Published As

Publication number Publication date
EP4443146A1 (en) 2024-10-09
CN118355267A (zh) 2024-07-16
JPWO2023095520A1 (ja) 2023-06-01
US20240311994A1 (en) 2024-09-19

Similar Documents

Publication Publication Date Title
JP6810505B2 (ja) 教師データ作成方法及び装置並びに欠陥検査方法及び装置
Gobert et al. Application of supervised machine learning for defect detection during metallic powder bed fusion additive manufacturing using high resolution imaging.
US11494891B2 (en) Method of inspecting and evaluating coating state of steel structure and system therefor
US11010890B2 (en) Method for the non-destructive testing of the volume of a test object and testing device configured for carrying out such a method
US20100220910A1 (en) Method and system for automated x-ray inspection of objects
TWI845781B (zh) 半導體缺陷偵測及分類的方法及系統，以及非暫時性電腦可讀儲存媒體
US20240311994A1 (en) Training data generation device, training data generation method, program, and defect test device
US20220244194A1 (en) Automated inspection method for a manufactured article and system for performing same
TWI826632B (zh) 用於半導體缺陷檢測及檢視之方法、系統及非暫時性電腦可讀儲存媒體
KR20010081097A (ko) 비파괴 테스트용 컴퓨터 단층 촬영법 및 장치
Chu et al. Detection of laser-induced optical defects based on image segmentation
CN115713622A (zh) 一种基于三维模型和探伤图像的铸件缺陷检测方法及系统
JP2832269B2 (ja) 三次元粒子検出方法及び装置
JP5557271B2 (ja) 放射線検査装置、放射線検査方法および放射線検査プログラム
JP2001209798A (ja) 外観検査方法及び検査装置
WO2019131945A1 (ja) 食品検査装置、食品検査方法及び食品検査装置の食品再構成ニューラルネットワークの学習方法
JP2006105794A (ja) Ｘ線検査装置、ｘ線検査方法およびｘ線検査プログラム
JP2007198761A (ja) 欠陥検出方法および装置
WO2023053768A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP4431591B2 (ja) 試料検査装置、及び試料検査方法
US20230394718A1 (en) Segmentation of computed tomography voxel data using machine learning
WO2023248583A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
WO2023053728A1 (ja) 表示処理装置、表示処理方法、及び、表示処理プログラム
WO2023053727A1 (ja) 画像処理装置、処理システム、画像表示方法及びプログラム
Hena et al. Exploring the Frontiers of Synthetic Image-Based Deep Learning Training in Digital X-ray Radiography.

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22898304

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023563569

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022898304

Country of ref document: EP

Effective date: 20240701