WO2023139688A1 - 欠陥診断モデル作成装置、欠陥診断モデル作成方法及び欠陥診断モデル作成プログラム - Google Patents

欠陥診断モデル作成装置、欠陥診断モデル作成方法及び欠陥診断モデル作成プログラム Download PDF

Info

Publication number
WO2023139688A1
WO2023139688A1 PCT/JP2022/001787 JP2022001787W WO2023139688A1 WO 2023139688 A1 WO2023139688 A1 WO 2023139688A1 JP 2022001787 W JP2022001787 W JP 2022001787W WO 2023139688 A1 WO2023139688 A1 WO 2023139688A1
Authority
WO
WIPO (PCT)
Prior art keywords
defect
image
diagnosis model
images
pseudo
Prior art date
Application number
PCT/JP2022/001787
Other languages
English (en)
French (fr)
Inventor
翔太 石井
篤憲 横田
Original Assignee
三菱重工エンジン&ターボチャージャ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱重工エンジン&ターボチャージャ株式会社 filed Critical 三菱重工エンジン&ターボチャージャ株式会社
Priority to PCT/JP2022/001787 priority Critical patent/WO2023139688A1/ja
Publication of WO2023139688A1 publication Critical patent/WO2023139688A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Definitions

  • the present disclosure relates to a defect diagnosis model creation device, a defect diagnosis model creation method, and a defect diagnosis model creation program for creating a defect diagnosis model.
  • a known technique is to determine the presence or absence of defects in a target product by inputting an image of the target product and using a trained defect diagnosis model that outputs determination results regarding the presence or absence of defects in the target product.
  • Some of these defect diagnosis models are composed of neural networks generated by learning teacher data such as images of actual target products.
  • Patent Document 1 discloses a restorer (learned model) that generates a defect for a specified defect area (mask) by performing machine learning using a defective product image and a mask image of the defect area.
  • a restorer By inputting an image (non-defective mask image) in which a defect candidate area predetermined to correspond to a site where a defect occurs is set as a predetermined area to this restorer, a pseudo defect image (restored image) is generated by generating a defect in the defect candidate area.
  • the pseudo defect images generated by the restorer are used as teacher data for deep learning of neural networks.
  • the restorer described in Patent Document 1 uses a large number of defect images for its learning, there is a risk that the restorer will smooth out the features of defects and can only output pseudo defect images that generate plausible defects in defect candidate areas. That is, the restorer may not be able to generate images of rare defects that occur infrequently.
  • a defect diagnosis model (neural network) trained on the pseudo defect images generated by the restorer may have low accuracy in determining the presence/absence of rare defects.
  • the proportion of rare defect images in the training data is small, so there is a risk that the accuracy of determining the presence or absence of rare defects may be low.
  • the defect diagnosis model learned from the pseudo defect images generated by the restorer described in Patent Document 1 may have low accuracy in determining the presence or absence of defects.
  • an object of at least one embodiment of the present invention is to provide a defect diagnosis model creation apparatus, a defect diagnosis model creation method, and a defect diagnosis model creation program capable of creating a defect diagnosis model capable of improving the accuracy of determining the presence or absence of defects.
  • a defect diagnosis model creation device includes: A defect diagnosis model creation device for creating a defect diagnosis model for determining the presence or absence of a defect in a target product from an image of the target product, an image acquisition unit that acquires a plurality of defect images including at least one base image in which a product identical or similar to the target product is photographed, and a plurality of defect images in which defects occurring in the product are photographed, and at least one rare defect image in which a defect having a probability of occurrence of a predetermined value or less is photographed; a pseudo defect image generation unit that generates a pseudo defect image by inputting a composite image in which the defect image is pasted to a part of the base image into at least one restorer that has learned the features of the base image in advance; a teacher data acquisition unit for acquiring teacher data including a pseudo defect image group composed of a plurality of the pseudo defect images; and a defect diagnosis model creation unit that creates a defect diagnosis model by learning the teacher data.
  • a defect diagnosis model creation method includes: A defect diagnosis model creation method for creating a defect diagnosis model for determining the presence or absence of a defect in a target product from an image of the target product, comprising: an image acquisition step of acquiring a plurality of defect images including at least one base image in which a product identical or similar to the target product is photographed, and a plurality of defect images in which defects occurring in the product are photographed, and at least one rare defect image in which defects having a probability of occurrence of a predetermined value or less are photographed; a pseudo defect image generating step of generating a pseudo defect image by inputting a synthesized image in which the defect image is pasted to a part of the base image into at least one restorer that has learned the features of the base image in advance; a teacher data acquisition step of acquiring teacher data including a pseudo defect image group composed of a plurality of the pseudo defect images; and a defect diagnosis model creation step of creating a defect diagnosis model by learning the teacher data.
  • a defect diagnosis model creation program includes: A defect diagnosis model creation program for creating a defect diagnosis model for determining the presence or absence of a defect in a target product from an image of the target product, an image acquisition step of acquiring a plurality of defect images including at least one base image in which a product identical or similar to the target product is photographed, and a plurality of defect images in which defects occurring in the product are photographed, and at least one rare defect image in which defects having a probability of occurrence of a predetermined value or less are photographed; a pseudo defect image generating step of generating a pseudo defect image by inputting a synthesized image in which the defect image is pasted to a part of the base image into at least one restorer that has learned the features of the base image in advance; a teacher data acquisition step of acquiring teacher data including a pseudo defect image group composed of a plurality of the pseudo defect images; and a defect diagnosis model creating step of creating a defect diagnosis model by learning the teacher data.
  • a defect diagnosis model creation apparatus capable of creating a defect diagnosis model capable of improving the accuracy of determining the presence or absence of defects.
  • FIG. 1 is a schematic configuration diagram schematically showing the configuration of a defect diagnosis system including a defect diagnosis model creation device according to one embodiment
  • FIG. FIG. 2 is an explanatory diagram for explaining a convolutional neural network used in one embodiment
  • FIG. FIG. 4 is an explanatory diagram for explaining a restorer in one embodiment
  • FIG. 4 is an explanatory diagram for explaining a generative adversarial network used in one embodiment
  • 1 is a schematic configuration diagram schematically showing the configuration of a defect diagnosis model creation device according to one embodiment
  • FIG. 1 is a schematic configuration diagram schematically showing the configuration of a defect diagnosis model creation device according to one embodiment
  • FIG. 11 is an explanatory diagram for explaining an evaluation result output by a first goodness-of-fit evaluation model in one embodiment
  • FIG. 11 is an explanatory diagram for explaining evaluation results output by a second goodness-of-fit evaluation model in one embodiment
  • 1 is a schematic configuration diagram schematically showing the configuration of a defect diagnosis model creation device according to one embodiment
  • FIG. 1 is a flow diagram of a defect diagnosis model creation method according to one embodiment
  • FIG. 1 is a schematic configuration diagram schematically showing the configuration of a defect diagnosis system including a defect diagnosis model creation device according to one embodiment.
  • a defect diagnosis model 11 according to some embodiments is installed in the defect diagnosis system 10 .
  • the defect diagnosis model creation device 1 is a device for creating a defect diagnosis model 11 for judging whether or not there is a defect in the target product from the image of the target product.
  • the defect diagnosis system 10, as shown in FIG. 1, includes a defect diagnosis model creation device 1 and a defect diagnosis device 2 that determines whether or not a target product has a defect using a learned defect diagnosis model 11 created by the defect diagnosis model creation device 1.
  • the defect diagnosis apparatus 2 includes a defect diagnosis model storage unit 21 that stores the learned defect diagnosis model 11 created by the defect diagnosis model creation unit 1, a target product image acquisition unit 22 that acquires a target product image that is a photographed image of the target product to be inspected for defect diagnosis, a defect diagnosis unit 23 that determines whether or not the target product image has a defect using the defect diagnosis model 11 and acquires a determination result, and a determination result that outputs the determination result acquired by the defect diagnosis unit 23. and an output unit 24 .
  • a defect diagnosis model storage unit 21 that stores the learned defect diagnosis model 11 created by the defect diagnosis model creation unit 1
  • a target product image acquisition unit 22 that acquires a target product image that is a photographed image of the target product to be inspected for defect diagnosis
  • a defect diagnosis unit 23 that determines whether or not the target product image has a defect using the defect diagnosis model 11 and acquires a determination result
  • a determination result that outputs the determination result acquired by the defect diagnosis unit 23.
  • FIG. 2 is an explanatory diagram for explaining the convolutional neural network used in one embodiment.
  • the defect diagnosis model 11 stored in the defect diagnosis model storage unit 21 is a learned model in which defect features have been learned in advance by machine learning (including deep learning), and is configured to output a determination result indicating whether or not the target product image (target product) has a defect by inputting the target product image.
  • the defect diagnosis model 11 may be generated by learning processing for a learning model including a convolutional neural network (neural network) configured including an input layer, one or more intermediate layers, and an output layer, as shown in FIG. In the embodiment shown in FIG.
  • the convolutional neural network includes a plurality of sets of intermediate layers each including a combination of a convolution layer 101 that acquires a feature map (two-dimensional data) by applying a filter that extracts image features to an input image input to the input layer, and a pooling layer 102 that compresses the size of the feature map acquired by the convolution layer 101; a layer and the output layer.
  • the output layer may be configured to output a determination probability as the determination result.
  • the target product image acquisition unit 22 is configured to acquire target product images from outside the defect diagnosis device 2 .
  • the target product image acquisition unit 22 may be, for example, an information communication device such as an input interface or a communication interface, or may be a photographing device. Note that the corresponding product image may be an image obtained by photographing a part of the target product.
  • the defect diagnosis unit 23 is configured to input the target product image (inspection image) acquired by the target product image acquisition unit 22 into the defect diagnosis model 11 stored in the defect diagnosis model storage unit 21, and acquire the determination result output by the defect diagnosis model 11.
  • the determination result output unit 24 is configured to output the determination result acquired by the defect diagnosis unit 23 .
  • the determination result output unit 24 may be, for example, an output interface that outputs the determination result to a display device such as a display or a printing device such as a printer, or a communication interface that outputs the determination result to an information terminal external to the defect diagnosis device 2.
  • Various products can be applied to the target product.
  • the target product may be, for example, a supercharger such as a turbocharger, or may be an impeller or a housing that is a part of the supercharger.
  • the defect diagnosis model creation device 1 includes an image acquisition unit 3, a pseudo defect image generation unit 4, a teacher data acquisition unit 5, and a defect diagnosis model creation unit 6.
  • the image acquisition unit 3 is configured to acquire at least one base image BI in which a product identical or similar to the target product is photographed, and a plurality of defect images DI in which defects occurring in the product are photographed.
  • the product similar to the target product may be a product whose correlation coefficient with respect to the feature amount extracted from the target product or the captured image of the target product is a predetermined value or more, or may be a product designated by the user of the defect diagnosis model creation apparatus 1.
  • the feature quantity is a number that quantitatively represents the features of the product such as color, texture, and structure.
  • the image acquisition unit 3 may be an information communication device such as an input interface or a communication interface that acquires at least one base image BI and a plurality of defect images DI from outside the defect diagnosis model creation apparatus 1 . Further, when the defect diagnosis model creation apparatus 1 is provided with an image database 31 storing at least one base image BI and a plurality of defect images DI as shown in FIG. The images stored in the image database 31 are associated with labels indicating the presence or absence of defects in the images.
  • the pseudo defect image generation unit 4 is configured to generate a pseudo defect image PDI by inputting a synthesized image CI obtained by pasting a defect image DI to a part of the base image BI to at least one restorer 7 that has learned the features of the base image BI in advance.
  • the pseudo defect image generation unit 4 includes a composite image generation unit 41 configured to generate a composite image CI from the base image BI and the defect image DI acquired by the image acquisition unit 3; a restorer storage unit 42 storing at least one restorer 7; and a pseudo defect image storage unit 44 for storing.
  • the base image BI is a photographed image of a product that is identical or similar to the target product and has no defects.
  • the defect image DI is an image in which defects occurring in the product are photographed.
  • the defects included in the defect image DI may be not only defects visible from the outside of the product, such as cracks, but also defects invisible from the outside of the product, such as inner surface thinning.
  • the composite image creating unit 41 creates a composite image CI including a defect by pasting a defect image DI including a defect onto a part of the image area of the base image BI not including a defect.
  • At least one restorer 7 stored in the restorer storage unit 42 has already learned the features of the base image BI in advance by machine learning (including deep learning), and is configured to output a pseudo defect image PDI, which is an image subjected to image processing for blending the defect image DI in the composite image CI with the base image BI surrounding the defect image DI, by inputting the composite image CI.
  • Image processing by the restorer 7 is performed not only on the image area pasted with the defect image DI, but also on the image area of the base image BI surrounding the defect image DI, among the image areas of the composite image CI.
  • the pseudo defect image PDI includes the defect image DI subjected to the above image processing.
  • the image generation unit 43 is configured to input the composite image CI created by the composite image creation unit 41 to at least one restorer 7 stored in the restorer storage unit 42, and to acquire the pseudo defect image PDI output by the at least one restorer 7.
  • the pseudo defect image PDI generated by the image generating section 43 is stored in the pseudo defect image storage section 44 .
  • a restorer 7 associated with the base image BI that is, a restorer 7 that has already learned the features of the base image BI is generated.
  • the image generator 43 preferably inputs the composite image CI to the restorer 7 associated with the base image BI included in the composite image CI.
  • FIG. 3 is an explanatory diagram for explaining the restorer in one embodiment.
  • FIG. 4 is an explanatory diagram for explaining a generative adversarial network used in one embodiment.
  • the at least one restorer 7 may be generated by a learning process for a hostile generation network including a generator G that extracts features in an actual image and generates a false image from the extracted features, and a discriminator D that identifies whether the false image generated by the generator G is genuine.
  • the at least one restorer 7 includes the generator G in the adversarial generation network and does not include the discriminator D in the adversarial generation network.
  • the adversarial generation network includes multiple layers of generators G (G0, G1, G2, G3, .
  • the generator G3 of the third layer simultaneously learns the generators G of the second layer G2, which is the previous layer, and the generators G of the first layer G1, which is the layer before the previous one.
  • the learning rate of the generator G of the previous layer G2 (Gn-1) is a fractional multiple (1/10 in the illustrated example) of the learning rate of the generator G of the layer G3 (Gn)
  • the generator G of the layer G1 (Gn-2) before the previous layer is a fractional multiple (1/10 of the illustrated example) of the generator G of the previous layer G2 (Gn-1).
  • the sizes of the images to be discriminated increase in the layers of the later layers.
  • the teacher data acquiring unit 5 is configured to acquire teacher data TD including a pseudo defect image group PDIG composed of a plurality of pseudo defect images PDI.
  • the teacher data acquisition section 5 acquires a plurality of pseudo defect images PDI stored in the pseudo defect image storage section 44 .
  • a group of pseudo defect images PDIG composed of a plurality of pseudo defect images PDI acquired by the teacher data acquisition unit 5 becomes teacher data TD.
  • the image database 31 may store actual photographed images ASI, which are images obtained by photographing products that are the same as or similar to the target product.
  • the actually photographed images ASI stored in the image database 31 may include not only images photographed of the defective product, but also images photographed of the product free of defects.
  • the teacher data acquiring unit 5 may be configured to acquire not only the group of pseudo defect images PDIG but also at least one actually photographed image ASI stored in the image database 31 as the teacher data TD.
  • the defect diagnosis model creation unit 6 is configured to create the defect diagnosis model 11 by learning the teacher data TD.
  • the defect diagnosis model creation unit 6 may generate the defect diagnosis model 11 by learning processing for a learning model including the above-described convolutional neural network (neural network).
  • the defect diagnosis model 11 created by the defect diagnosis model creation unit 6 is stored in the defect diagnosis model storage unit 21 described above.
  • the defect diagnosis model creation device 1 includes the image acquisition unit 3 described above, the pseudo defect image generation unit 4 described above, the teacher data acquisition unit 5 described above, and the defect diagnosis model creation unit 6 described above.
  • the plurality of defect images DI described above includes at least one rare defect image RDI in which a defect having a probability of occurrence of a predetermined value or less is photographed.
  • the ranges set based on the normal distribution obtained by approximating the distribution of the occurrence probabilities of a plurality of pre-sampled defects the range of the standard deviation ⁇ or more (+ ⁇ or more or ⁇ or less) calculated from the sampled defect occurrence probabilities.
  • Defects belonging to are rare defects.
  • a defect belonging to a range of 2 ⁇ or more (+2 ⁇ or more or ⁇ 2 ⁇ or less) is preferably regarded as a rare defect.
  • the defect image DI intentionally combined with the base image BI can be harmonized with the base image BI to generate the pseudo defect image PDI without discomfort.
  • the composite image CI can be generated by pasting the defect image DI to a part of the base image BI, when generating the composite image CI, it is easy to process defects in the defect image DI (enlargement/reduction, rotation, aspect ratio change, flip, skew, etc.), change the positions of defects in the composite image CI, and change the types of defects included in the composite image CI.
  • the defect diagnosis model creation device 1 can generate a composite image CI having rare defects and a pseudo defect image PDI by including a rare defect image RDI having a rare defect shape in the defect image DI that is the base of the composite image CI, and can use the generated pseudo defect image PDI having a rare defect as training data TD.
  • the defect diagnosis model creation apparatus 1 can cause the defect diagnosis model 11 to learn the teacher data TD that considers the range (variation) of the possibility of actually occurring a defect, so it is possible to create the defect diagnosis model 11 that can accurately determine not only the presence or absence of frequently occurring defects but also the presence or absence of rare defects.
  • FIG. 5 is a schematic configuration diagram schematically showing the configuration of the defect diagnosis model creation device according to one embodiment.
  • the above-described defect diagnosis model creation device 1 further includes an image combination adjustment unit 8 configured to adjust the ratio of rare defect images RDI included in the plurality of defect images DI in the pseudo defect image group PDIG, as shown in FIG.
  • Each of the plurality of pseudo defect images PDI forming the pseudo defect image group PDIG includes a defect image DI.
  • the image combination adjustment unit 8 adjusts the ratio of pseudo defect images PDI including rare defect images RDI among the pseudo defect image group PDIG (a plurality of pseudo defect images PDI) acquired by the teacher data acquisition unit 5 so that the ratio is within a predetermined upper and lower limit range.
  • the combination adjustment unit of the image is a pseudo defect image containing a rare defect image RDI if the percentage of pseudo -defective image PDI, including a rare defect image RDI, is less than the lower limit threshold, out of the pseudo -defective image group PDIG obtained by the teacher's data acquisition unit 5.
  • the above upper and lower limit ranges (upper limit threshold and lower limit threshold) in the image combination adjustment unit 8 may be set manually, or may be automatically set by a ratio determination unit 82 described later.
  • the image combination adjustment unit 8 increases the ratio of the rare defect images RDI (including the pseudo defect images PDI) included in the pseudo defect image group PDIG, thereby increasing the ratio of the rare defect images RDI to the teacher data TD.
  • the image combination adjustment unit 8 described above includes a detection accuracy evaluation unit 81 that evaluates the detection accuracy of the defect diagnosis model 11, and a ratio determination unit 82 that determines the ratio of rare defect images RDI so that the detection accuracy of the defect diagnosis model 11 is equal to or higher than a predetermined detection accuracy based on the evaluation result of the detection accuracy evaluation unit 81.
  • the detection accuracy evaluation unit 81 quantitatively evaluates whether the defect diagnosis model 11 is outputting an appropriate determination result when an image (image associated with the label) in which the presence or absence of a defect is known in advance, such as the actually photographed image ASI stored in the image database 31 and the pseudo defect image PDI stored in the pseudo defect image storage unit 44, is input to the defect diagnosis model 11, and outputs the evaluation result as the detection accuracy.
  • the detection accuracy evaluation unit 81 may output, for example, the correct answer rate of the determination result of the defect diagnosis model 11 as the detection accuracy.
  • the detection accuracy evaluation unit 81 may output the detection accuracy for each type of defect included in the defect image DI (rare defect image RDI).
  • the ratio determination unit 82 determines the ratio of the rare defect image RDI to the teacher data TD so that the detection accuracy of the defect diagnosis model 11 output as the evaluation result of the detection accuracy evaluation unit 81 is equal to or higher than a predetermined detection accuracy.
  • the detection accuracy evaluation unit 81 may be configured to separately output the evaluation results of the rare defect image RDI and the defect image DI that is not the rare defect image RDI.
  • the ratio determination unit 82 may determine the ratio of the rare defect image RDI so that the detection accuracy of the defect diagnostic model 11 with respect to the rare defect image RDI output by the detection accuracy evaluation unit 81 is equal to or higher than a predetermined detection accuracy. Further, the ratio determination unit 82 may determine the ratio of the rare defect images RDI so that both the detection accuracy of the defect diagnosis model 11 for the rare defect image RDI output by the detection accuracy evaluation unit 81 and the detection accuracy of the defect diagnosis model 11 for the defect image DI that is not the rare defect image RDI are equal to or higher than a predetermined detection accuracy.
  • the ratio of the rare defect image RDI may be determined so that the detection accuracy of the defect diagnosis model 11 for all types of defects is equal to or higher than a predetermined detection accuracy. Specifically, the detection accuracy evaluation unit 81 increases the ratio of the rare defect image RDI when the rare defect detection accuracy is poor. Further, the detection accuracy evaluation unit 81 increases the ratio of rare defect images RDI, thereby decreasing the ratio of rare defect images RDI when the detection accuracy of non-rare defects is poor.
  • the ratio determination unit 82 determines the ratio of the rare defect images RDI based on the evaluation result of the detection accuracy evaluation unit 81 so that the detection accuracy of the defect diagnosis model 11 is equal to or higher than a predetermined detection accuracy, so that the ratio of the rare defect images RDI to the teacher data TD can be adjusted so that the detection accuracy of the defect diagnosis model 11 can be improved.
  • the at least one restorer 7 described above includes a first restorer 7A pre-trained on the features of the first base image BI1, and a second restorer 7B pre-trained on the features of the second base image BI2 that differ in features from the first base image BI1.
  • the fact that the characteristics of the base images BI are different means that the user of the defect diagnosis model generating apparatus 1 can judge that the base images BI are different.
  • the correlation coefficient indicating the strength of the relationship between the feature amount extracted from the second base image BI2 and the feature amount extracted from the first base image BI1 to be compared is less than a predetermined value, it may be determined that the second base image BI2 has different features from the first base image BI1.
  • the second base image BI2 may be a photographed image of the same product as the first base image BI1.
  • a visual inspection of a product after use there is a difference in color tone of the surface and a characteristic change in shape compared to the product before use, depending on the conditions of use of the product (under the environment in which it is used).
  • the image database 31 stores a plurality of base images BI (BI1, BI2, BI3), and the image acquisition unit 3 may acquire a plurality of base images BI (BI1, BI2, BI3) from the image database 31.
  • the image generation unit 43 generates the pseudo defect images PDI corresponding to the input composite images CI by the number of the composite images CI input to each restorer 7 (7A, 7B).
  • the image generation unit 43 is configured to input the synthesized image CI created based on the first base image BI1 to the first restorer 7A that has already learned the features of the first base image BI1, and to input the synthesized image CI created based on the second base image BI2 to the second restorer 7B that has learned the features of the second base image BI2 in advance.
  • the defect diagnosis model creation device 1 is provided with a plurality of restorers 7 (first restorer 7A, second restorer 7B) that have learned in advance the features of the base images BI1 and BI2 with different features, so that the pseudo defect images PDI corresponding to the base images BI1 and BI2 with different features can be generated.
  • the types of pseudo defect images PDI that can be generated by the defect diagnosis model generation device 1 can be increased, and the teacher data TD can have a wider range, so that the defect identification accuracy of the defect diagnosis model 11 can be improved.
  • the at least one restorer 7 (in the illustrated example, plural) is configured to learn the features of the reduced reduced base image RBI by reducing the base image BI.
  • a reduced base image RBI is used as training data for the restorer 7 .
  • the above-described defect diagnosis model creation apparatus 1 further includes a pixel reduction processing unit 12 configured to perform pixel reduction processing on at least one of the combination of the base image BI and the defect image DI or the composite image CI, and a pixel increase processing unit 13 configured to perform pixel increase processing on the pseudo defect image PDI.
  • the pixel reduction processing unit 12 performs pixel reduction processing on at least one of the combination of the base image BI and the defect image DI, or the composite image CI so that the image size (number of pixels) is the same as or similar to the image size (number of pixels) of the reduced base image RBI.
  • the image size (the number of pixels) of the reduced base image RBI is defined as IS1
  • the image size (the number of pixels) of the base image BI or the composite image CI subjected to pixel reduction processing is defined as IS2
  • the condition IS1 ⁇ 0.9 ⁇ IS2 ⁇ IS1 ⁇ 1.1 is satisfied. It is preferable that the pixel reduction processing unit 12 sets a lower limit for pixel reduction in order to avoid disappearance or deterioration of defects.
  • the reduction ratio (the above lower limit) is determined by the image size (memory capacity of the GPU (graphic card)) that can be processed by the decompressor 7 and the base image BI.
  • Pixel reduction processing methods in the pixel reduction processing unit 12 include area average method (average pixel method), nearest neighbor method (nearest neighbor interpolation), bilinear method (linear interpolation), bicubic method, Lanczos3, and the like.
  • the pixel-enhancement processing unit 13 performs the pixel-enhancement (super-resolution) processing on the pseudo defect image PDI generated from the combination of the base image BI and the defect image DI subjected to the pixel-reduction processing, or the composite image CI subjected to the pixel-reduction processing.
  • the pixel-enhancement processing unit 13 performs the pixel-enhancement process so that the image size (number of pixels) of the pseudo defect image PDI is the same as or similar to the image size (number of pixels) of the inspection image.
  • the defect diagnosis model 11 can cope with the inspection with high pixels.
  • the pixel-enhancement processing method in the pixel-enhancement processing unit 13 includes SRCNN (Super-Resolution Convolutional Neural Network), FSRCNN (Fast Super-Resolution Convolutional Neural Network), and the like.
  • At least one restorer 7 learns the features of the reduced base image RBI, so compared to the case of learning the features of the base image BI before reduction processing, the performance required for the hardware used for learning can be suppressed. Since the image size that can be generated as the pseudo defect image PDI depends on the image size learned by the restorer 7, the pixel reduction processing unit 12 performs the pixel reduction process on the composite image CI input to the restorer 7 or the combination of the base image BI and the defect image DI that is the source of the composite image CI. For a product with a large size and a small defect, it is desirable to inspect the product with a large number of pixels.
  • the pixel-enhancing processing unit 13 performs a pixel-enhancing process on the pseudo defect image PDI that serves as the teacher data TD of the defect diagnosis model 11.
  • the pixel reduction processing unit 12 and the pixel increase processing unit 13 it is possible to generate a pseudo defect image PDI of a product that cannot be applied due to hardware performance (specifically, a product with a large image size and a small defect. In other words, a product that cannot be photographed unless the image size is increased), and the number of products to which the defect diagnosis model creation apparatus 1 can be applied.
  • At least one restorer 7 (a plurality in the illustrated example) described above may be configured to learn the features of the base image BI directly from the base image BI.
  • a base image BI is used as training data for the restorer 7 .
  • the defect diagnosis model creating apparatus 1 described above does not have to include the pixel reduction processing unit 12 and the pixel increase processing unit 13 .
  • FIG. 6 is a schematic configuration diagram schematically showing the configuration of the defect diagnosis model creation device according to one embodiment.
  • the defect diagnosis model creation apparatus 1 described above further includes a first conformity evaluation unit 14 including a first conformity evaluation model 15 and a first unconforming image removal unit 16, as shown in FIG.
  • the first fitness evaluation model 15 consists of a trained model that has been trained in advance with training data for fitness evaluation GFE, which includes defective images of the above products with defects (products identical or similar to the target product) and non-defect images of the above products without defects.
  • the first goodness-of-fit evaluation model 15 has already learned goodness-of-fit evaluation training data GFE including actually photographed images (images with defects and images without defects).
  • the first fitness evaluation model 15 quantitatively evaluates the degree of similarity between the inputted pseudo defect images PDI and the actually photographed images, and outputs the evaluation result as the fitness.
  • the first fitness evaluation model 15 may be generated by learning processing for a learning model including a convolutional neural network (neural network) configured including an input layer, one or more intermediate layers, and an output layer, as shown in FIG.
  • a convolutional neural network neural network
  • FIG. 7 is an explanatory diagram for explaining evaluation results output by the first goodness-of-fit evaluation model in one embodiment.
  • the evaluation result (goodness of fit) output by the first goodness-of-fit evaluation model 15 is a numerical value within the range of 0 (lower limit) to 1 (upper limit).
  • the first non-conforming image removing unit 16 is configured to exclude, from among the pseudo defect images PDI for which the pixel-increasing processing has been executed by the pixel-increasing processing unit 13 described above, those pseudo defect images PDI whose goodness of fit (first goodness of fit DC1) in the first goodness-of-fit evaluation model 15 is less than the first threshold value FT, from the candidates for the teacher data TD.
  • a pseudo defect image PDI in which the first degree of conformity DC1 is less than the first threshold value FT is an abnormal output in the restorer 7, the pixel-enhancement processing unit 13, etc., and is not suitable as the teacher data TD.
  • each of the plurality of pseudo defect images PDI included in the training data TD satisfies the condition that the first degree of conformity DC1 is equal to or greater than the first threshold FT.
  • the first non-conforming image removing unit 16 can exclude the pseudo defect images PDI for which the degree of conformity in the first degree of conformity evaluation model 15 is insufficient (less than the first threshold value FT) from candidates for the training data TD.
  • the defect diagnosis model 11 from learning the pseudo defect image PDI including the physically unrealistic defect image DI as the teacher data TD and reducing the defect diagnosis accuracy.
  • the first threshold FT is too high, there is a risk that the first nonconforming image removal unit 16 will exclude rare defect images RDI with a low occurrence frequency from the candidates for the teaching data TD. In this case, since the defect diagnosis model 11 cannot learn the rare defect image RDI, the detection accuracy of the defect diagnosis model 11 for the rare defect image RDI may be lowered. Also, if the first threshold FT is too low, there is a risk that the first unqualified image removal unit 16 will not exclude unrealistic defect images DI from candidates for the training data TD. In this case, the defect diagnosis model 11 may learn an unrealistic defect image DI and reduce the accuracy of defect diagnosis. Therefore, optimization of the first threshold FT is required. Note that the first threshold FT may be set manually, or may be set automatically by the first threshold adjustment unit 91 or the like, which will be described later.
  • the above-described defect diagnosis model generation device 1 further includes a first threshold adjustment unit 91 configured to adjust the above-described first threshold FT in consideration of the detection accuracy of the above-described defect diagnosis model 11.
  • the defect diagnosis unit 23 and the determination result output unit 24 described above output the determination result of the presence/absence of a defect by the defect diagnosis model 11 .
  • the defect diagnosis model creation device 1 examines the pseudo defect images PDI and images with defects (actually photographed images ASI) that are close to images with insufficient accuracy in the detection accuracy evaluation unit 81, which exist in the defect diagnosis model creation device 1 and the defect diagnosis device 2 (such as the image database 31), and determine images to be added to the training data TD. After that, after the first threshold adjustment unit 91 changes the first threshold FT, the pseudo defect image PDI is generated and added to the teacher data TD, and the defect diagnosis model 11 is reconstructed. Determination of the presence or absence of a defect is performed using the reconstructed defect diagnosis model 11 .
  • the first threshold adjusting unit 91 may be configured to prepare a plurality of first thresholds FT having different numerical values, compare the detection accuracies of the defect diagnosis model 11 obtained by setting the plurality of first thresholds FT (for example, the evaluation result output by the detection accuracy evaluation unit 81), and obtain the optimum value of the first threshold FT that increases the detection accuracy of the defect diagnosis model 11.
  • the first threshold adjustment unit 91 may be configured to repeatedly obtain the optimum value of the first threshold FT a plurality of times.
  • the first threshold adjustment unit 91 adjusts the first threshold FT in consideration of the detection accuracy of the defect diagnosis model 11, so that the first nonconforming image removal unit 16 can accurately remove the pseudo defect images PDI including the unrealistic defect images DI from the candidates for the teaching data TD while leaving the pseudo defect images PDI including the rare defect images RDI as candidates for the teaching data TD.
  • the detection accuracy of the defect diagnosis model 11 can be improved.
  • the defect diagnosis model creation device 1 described above further includes a second conformity evaluation section 17 including a second conformity evaluation model 18 and a second unconforming image removal section 19, as shown in FIG.
  • the second fitness evaluation model 18 consists of a trained model that has been trained in advance with training data for fitness evaluation GFE, which includes defective images of the above products with defects (products that are the same or similar to the target product) and non-defect images of the above products without defects.
  • the fitness evaluation training data GFE is stored in the image database 31 .
  • the second goodness-of-fit evaluation model 18 has already learned goodness-of-fit evaluation teacher data GFE including actually captured images (images with defects and images without defects).
  • the second fitness evaluation model 18 quantitatively evaluates the degree of similarity between the input composite image CI and an actually photographed image, and outputs the evaluation result as the fitness. The higher the similarity of the composite image CI input to the second fitness evaluation model 18 to the actually photographed image, the higher the fitness output from the second fitness evaluation model 18 .
  • FIG. 8 is an explanatory diagram for explaining the evaluation results output by the second goodness-of-fit evaluation model in one embodiment.
  • the evaluation result (goodness of fit) output by the second goodness-of-fit evaluation model 18 is a numerical value within the range of 0 (lower limit) to 1 (upper limit).
  • the second unsuitable image removing unit 19 is configured to exclude synthetic images CI whose goodness of fit (second goodness of fit DC2) in the second goodness of fit evaluation model 18 is less than the second threshold value ST from the candidates for the teacher data TD.
  • the composite image CI input to the second fitness evaluation model 18 may be the composite image CI before the pixel reduction processing in the pixel reduction processing unit 12 is performed, as indicated by the solid line in FIG. 6, or the composite image CI after the pixel reduction processing in the pixel reduction processing unit 12 is performed, as indicated by the dotted line in FIG.
  • a synthesized image CI whose second matching degree DC2 is less than the second threshold value ST is an abnormal output in the synthesized image creating unit 41, the pixel reduction processing unit 12, etc., and is not suitable as the teacher data TD.
  • each of the plurality of pseudo defect images PDI included in the training data TD satisfies the condition that the second degree of conformity DC2 is equal to or greater than the second threshold value ST.
  • the second non-conforming image removing unit 19 can exclude synthetic images CI (for example, synthetic images having defects in areas that do not actually occur) for which the degree of conformity in the second degree of conformity evaluation model 18 is insufficient (less than the second threshold) from the candidates for the training data TD.
  • synthetic images CI for example, synthetic images having defects in areas that do not actually occur
  • the defect diagnosis model 11 from learning the pseudo defect image PDI including the physically unrealistic defect image DI as the teacher data TD and reducing the defect diagnosis accuracy.
  • the second threshold ST is too high, there is a risk that the second nonconforming image removing unit 19 will exclude rare defect images RDI with low frequency of occurrence from candidates for the teaching data TD. In this case, since the defect diagnosis model 11 cannot learn the rare defect image RDI, the detection accuracy of the defect diagnosis model 11 for the rare defect image RDI may be lowered. Also, if the second threshold value ST is too low, there is a possibility that the second nonconforming image removing unit 19 will not exclude unrealistic defect images DI from candidates for the training data TD. In this case, the defect diagnosis model 11 may learn an unrealistic defect image DI and reduce the accuracy of defect diagnosis. Therefore, optimization of the second threshold value ST is required.
  • the second threshold value ST may be manually set, or may be automatically set by the second threshold value adjustment unit 92 or the like, which will be described later.
  • the above-described defect diagnostic model generation device 1 further includes a second threshold adjuster 92 configured to adjust the second threshold ST in consideration of the detection accuracy of the defect diagnostic model 11, as shown in FIG.
  • the defect diagnosis model creation device 1 investigates the pseudo defect images PDI and images with defects (actually photographed images ASI) that are close to images with insufficient accuracy in the detection accuracy evaluation unit 81, which exist in the defect diagnosis model creation device 1 and the defect diagnosis device 2 (image database 31, etc.), and determine images to be added to the teacher data TD.
  • the second threshold adjustment unit 92 changes the second threshold ST
  • the pseudo defect image PDI is generated and added to the teacher data TD, and the defect diagnosis model 11 is reconstructed. Determination of the presence or absence of a defect is performed using the reconstructed defect diagnosis model 11 .
  • the second threshold adjustment unit 92 may be configured to prepare a plurality of second thresholds ST having different numerical values, compare the detection accuracy of the defect diagnosis model 11 obtained by setting the plurality of second thresholds ST (e.g., the evaluation result output by the detection accuracy evaluation unit 81), and obtain the optimum value of the second threshold ST that increases the detection accuracy of the defect diagnosis model 11.
  • the second threshold adjustment section 92 may be configured to repeatedly obtain the optimum value of the second threshold ST multiple times.
  • the second threshold adjusting unit 92 adjusts the second threshold ST in consideration of the detection accuracy of the defect diagnosis model 11, so that the second nonconforming image removing unit 19 can accurately remove the synthesized image CI including the unrealistic defect image DI from the candidates for the teaching data TD while leaving the synthesized image CI including the rare defect image RDI as a candidate for the teaching data TD.
  • the detection accuracy of the defect diagnosis model 11 can be improved.
  • the above-described defect diagnostic model generating apparatus 1 further includes a re-learning unit 93 that adds an image similar to a defective image whose detection accuracy of the defect diagnostic model 11 is equal to or less than a predetermined value to the fitness evaluation teacher data GFE.
  • the re-learning unit 93 examines the pseudo defect images PDI and images with defects (actually photographed images ASI) that are close to images whose accuracy is insufficient in the detection accuracy evaluation unit 81 (images stored in the image database 31, pseudo defect images PDI that satisfy the degree of conformity of the first fitness evaluation model 15 and the second fitness evaluation model 18 acquired by the teacher data acquisition unit, etc.) existing in the defect diagnosis model creation device 1 and the defect diagnosis device 2.
  • the relearning unit 93 adds the pseudo defect image PDI and the defective image (actually photographed image ASI) that are close to the image with insufficient accuracy in the detection accuracy evaluation unit 81 to the fitness evaluation teacher data GFE of the first fitness evaluation model 15 and the second fitness evaluation model 18, and re-learns the first fitness evaluation model 15 and the second fitness evaluation model 18.
  • the first unsuitable image removing unit 16 and the second unsuitable image removing unit 19 use the re-learned first goodness-of-fit evaluation model 15 and second goodness-of-fit evaluation model 18 .
  • the first non-conforming image removal unit 16 removes the pseudo defect images PDI whose conformity in the first conformity evaluation model 15 is less than the first threshold FT from candidates for the training data TD.
  • the detection accuracy of the defect diagnosis model 11 for the defect diagnosis model 11 with respect to the defect diagnosis model 11 may be reduced because the pseudo defect images PDI, which are similar to the defect images whose detection accuracy of the defect diagnosis model 11 is equal to or less than a predetermined value, are excluded from the training data TD candidates in the first nonconforming image removal unit 16, and the number of the pseudo defect images PDI included in the training data TD is reduced.
  • the re-learning unit 93 adds an image similar to the defect image to the fitness evaluation training data GFE of the first fitness evaluation model 15 and causes the first fitness evaluation model 15 to re-learn, thereby suppressing the pseudo defect image PDI similar to the defect image from being excluded from the training data TD candidates in the first non-conforming image removal unit 16. can improve the detection accuracy of
  • the second unsuitable image removing unit 19 excludes the synthesized images CI whose matching in the second matching evaluation model 18 is less than the second threshold value ST from candidates for the training data TD.
  • the detection accuracy of the defect diagnosis model 11 with respect to the defect diagnosis model 11 may be degraded by excluding the synthetic image CI similar to the defective image in which the detection accuracy of the defect diagnosis model 11 is equal to or less than a predetermined value from the training data TD candidates in the second nonconforming image removal unit 19 and reducing the number of the images included in the training data TD.
  • the re-learning unit 93 adds an image similar to the defective image to the fitness evaluation training data GFE of the second fitness evaluation model 18 and makes the second fitness evaluation model 18 re-learn, thereby suppressing the synthetic image CI similar to the defective image from being excluded from the training data TD candidates in the second unsuitable image removing unit 19, and increasing the number included in the training data TD, thereby detecting the defect diagnosis model 11 for the image identical or similar to the defective image. Can improve accuracy.
  • the first goodness of fit evaluation model 15 and the second goodness of fit evaluation model 18 can learn the image that the defect diagnosis model 11 needs to learn (the image of which the defect diagnosis model 11 has low detection accuracy), and the first goodness of fit evaluation model for the similar image (the image whose detection accuracy of the defect diagnosis model 11 is low). 15 and the second fitness evaluation model 18 can be improved.
  • the defect diagnosis model 11 By improving the evaluation accuracy of the degree of conformity in the first degree-of-conformity evaluation model 15 and the second degree-of-conformity evaluation model 18, it is possible to prevent images that require learning by the defect diagnosis model 11 from being excluded from candidates for the training data TD in the first and second unconforming image removing units 16 and 19. This allows the defect diagnosis model 11 to learn images (teaching data TD) that the defect diagnosis model 11 needs to learn, so that the detection accuracy of the defect diagnosis model 11 can be improved.
  • FIG. 9 is a schematic configuration diagram schematically showing the configuration of the defect diagnosis model creation device according to one embodiment.
  • the defect diagnosis model creation device 1 described above further includes a defect image processing unit 94 configured to perform image processing for changing the features of the defects included in the defect image DI into features similar to the defects.
  • the image processing in the defect image processing unit 94 includes at least one of enlarging, reducing, rotating, skewing (tilting the defect obliquely), inverting (vertical inverting, horizontal inverting), or changing the aspect ratio of the defect included in the defect image DI.
  • the image acquiring section 3 described above may acquire the defect image DI that has undergone image processing in the defect image processing section 94 .
  • the image processing of the defect image DI in the defect image processing unit 94 may be executed when the defect image DI is pasted on a part of the base image BI, or may be executed after the defect image DI is pasted on a part of the base image BI.
  • the defect diagnosis model creation device 1 does not have to pass all the defect images DI through the defect image processing unit 94 .
  • the defect diagnosis model creation apparatus 1 may input the defect image DI, which has not been subjected to image processing in the defect image processing section 94, to the restorer 7 or a pasting position determination section 95, which will be described later.
  • the defect image DI that has passed through the defect image processing section 94 may be input to the pasting position determination section 95 .
  • the defect image processing unit 94 performs image processing for changing the feature of the defect included in the defect image DI to a feature similar to the defect, thereby increasing the number of synthesized images CI to be created and generating the pseudo defect images PDI for the created synthesized images CI.
  • the defect diagnosis model generation apparatus 1 can increase the number of pseudo defect images PDI and allow the defect diagnosis model 11 to learn a large amount of teaching data TD.
  • the defect image DI generated by the defect image processing unit 94 may include an unrealistic defect image DI that does not physically occur, but the composite image CI and the pseudo defect image PDI that include an unrealistic defect image DI that does not physically occur can be removed by the first unsuitable image removing unit 16 and the second unsuitable image removing unit 19 described above.
  • the above-described defect diagnosis model creation device 1 further includes a pasting position determination unit 95 that randomly determines the pasting position of the defect image DI to the base image BI, as shown in FIG.
  • the composite image creation unit 41 described above pastes the defect image DI at the paste position of the base image BI determined by the paste position determination unit 95 .
  • the pasting position determination unit 95 may be configured to randomly determine the pasting position of the defect image DI with respect to the base image BI within a preset range.
  • the defect diagnosis model generation apparatus 1 can increase the number of pseudo defect images PDI by providing the pasting position determination unit 95, and can make the defect diagnosis model 11 learn a large amount of teaching data TD, so that the defect diagnosis model 11 can be determined with higher accuracy.
  • the composite image CI in which the defect image DI is pasted at the pasting position determined by the pasting position determination unit 95 may include an unrealistic defect image DI that does not physically occur, or the composite image CI itself may be an unrealistic image that does not physically occur, such as the pasting position of the realistic defect image DI being unrealistic.
  • the pseudo defect image PDI can be removed by the above-described first non-conforming image removing section 16 and the above-described second non-conforming image removing section 19 .
  • Each of the defect diagnosis model creation device 1 and the defect diagnosis device 2 described above includes a computer configured to be able to implement a predetermined function according to the processing described in the program, but the general configuration and control will be omitted as appropriate.
  • Each of the defect diagnosis model creation device 1 and the defect diagnosis device 2 is configured as a microcomputer including a CPU (processor) (not shown), memories such as ROM and RAM, storage devices such as external storage devices, I/O interfaces, communication interfaces, and the like.
  • the CPU operates (for example, data calculation, etc.) according to the instructions of the program loaded in the main storage device of the memory, thereby realizing the control of each unit described above.
  • FIG. 10 is a flowchart of a defect diagnosis model creation method according to one embodiment.
  • a defect diagnosis model creation method 100 is a method for creating the defect diagnosis model 11 described above.
  • the defect diagnostic model creation method 100 includes, as shown in FIG. 10, an image acquisition step S1, a pseudo defect image generation step S2, a teacher data acquisition step S3, and a defect diagnostic model creation step S4.
  • the image acquisition step S1 acquisition of at least one base image BI and a plurality of defect images DI described above is performed.
  • the plurality of defect images DI described above includes at least one rare defect image RDI in which a defect having a probability of occurrence of a predetermined value or less is photographed.
  • a pseudo defect image PDI is generated by inputting a composite image CI obtained by pasting a defect image DI to a part of the base image BI to at least one restorer 7 that has previously learned the features of the base image BI.
  • a restorer 7 associated with the base image BI that is, a restorer 7 that has already learned the features of the base image BI is generated.
  • teacher data TD including a pseudo defect image group PDIG composed of a plurality of pseudo defect images PDI is acquired.
  • defect diagnosis model creation step S4 the defect diagnosis model 11 is created by learning the teacher data TD.
  • a composite image CI having rare defects and a pseudo defect image PDI can be generated, and the generated pseudo defect image PDI having rare defects can be used as teacher data TD.
  • the defect diagnosis model 11 can be made to learn the teacher data TD that considers the range (variation) of the possibility that defects will actually occur. Therefore, it is possible to create the defect diagnosis model 11 that can accurately determine not only the presence or absence of frequently occurring defects but also the presence or absence of rare defects.
  • the defect diagnosis model creation program 100A is a program for creating the defect diagnosis model 11 described above.
  • the defect diagnosis model creation program 100A is a program for causing a computer to execute the above-described image acquisition step S1, the above-described pseudo defect image generation step S2, the above-described teacher data acquisition step S3, and the above-described defect diagnosis model creation step S4, as shown in FIG.
  • the defect diagnosis model creation program 100A includes a program for realizing the function of each part in the defect diagnosis model creation device 1.
  • the defect diagnosis model creation program 100A may be stored in a computer-readable recording medium (for example, flash memory).
  • a composite image CI having rare defects and a pseudo defect image PDI can be generated, and the generated pseudo defect image PDI having rare defects can be used as teacher data TD.
  • the defect diagnosis model 11 can be made to learn the teaching data TD that considers the range (variation) of the possibility of actually occurring a defect. Therefore, it is possible to create the defect diagnosis model 11 that can accurately determine not only the presence or absence of frequently occurring defects but also the presence or absence of rare defects.
  • expressions representing shapes such as a square shape and a cylindrical shape not only represent a shape such as a square shape and a cylindrical shape in a geometrically strict sense, but also represent a shape including an uneven portion, a chamfered portion, etc., to the extent that the same effect can be obtained.
  • the expressions “comprising”, “including”, or “having” one component are not exclusive expressions excluding the presence of other components.
  • a defect diagnosis model creation device (1) for creating a defect diagnosis model (11) for determining the presence or absence of a defect in a target product from an image of the target product, an image acquisition unit (3) for acquiring a plurality of defect images (DI) including at least one base image (BI) in which a product identical or similar to the target product is photographed, and a plurality of defect images (DI) in which defects occurring in the product are photographed, and at least one rare defect image (RDI) in which defects having a probability of occurrence of a predetermined value or less are photographed;
  • the at least one restorer (7) learns in advance the features (color, texture, structure, etc.) of the base image (BI), it is possible to generate a pseudo defect image (PDI) in which the defect image (DI) intentionally combined with the base image (BI) is harmoniously blended with the base image (BI).
  • PDI pseudo defect image
  • the composite image (CI) can be generated by pasting the defect image (DI) to a part of the base image (BI), when generating the composite image (CI), it is easy to process defects in the defect image (DI), change the position of the defect in the composite image (CI), and change the type of defect included in the composite image (CI).
  • the defect diagnosis model creation device (1) includes a rare defect image (RDI) having a rare defect shape in a defect image (DI) that is the base of the composite image (CI), thereby generating a composite image (CI) having a rare defect and a pseudo defect image (PDI), and using the generated pseudo defect image (PDI) having a rare defect as training data (TD).
  • RDI rare defect image
  • DI defect image
  • PDI pseudo defect image
  • TD pseudo defect image
  • the defect diagnosis model creation device (1) can cause the defect diagnosis model (11) to learn the training data (TD) that considers the range (variation) of the possibility of actually occurring a defect. Therefore, it is possible to create a defect diagnosis model (11) that can accurately determine not only the presence or absence of frequently occurring defects, but also the presence or absence of rare defects.
  • the defect diagnostic modeling device (1) according to 1) above, The defect diagnosis model creation device (1) An image combination adjustment unit (8) configured to adjust a ratio of the rare defect images (RDI) included in the plurality of defect images (DI) in the pseudo defect image group (8).
  • RDI rare defect images
  • the image combination adjustment unit (8) by increasing the ratio of rare defect images (RDI) included in the pseudo defect image group by the image combination adjustment unit (8), the ratio of the rare defect images (RDI) to the teaching data (TD) can be increased, so that the identification accuracy of the defect diagnosis model (11) for the rare defect images (RDI) can be improved.
  • the image combination adjustment unit (8) a detection accuracy evaluation unit (81) for evaluating the detection accuracy of the defect diagnosis model (11); a ratio determination unit (82) that determines the ratio of the rare defect images (RDI) so that the detection accuracy of the defect diagnosis model (11) is equal to or higher than a predetermined detection accuracy based on the evaluation result of the detection accuracy evaluation unit (81).
  • the ratio determination unit (82) determines the ratio of the rare defect images (DI) so that the detection accuracy of the defect diagnosis model (11) is equal to or higher than a predetermined detection accuracy based on the evaluation result of the detection accuracy evaluation unit (81). can be improved.
  • the at least one restorer (7) includes a first restorer (7A) pre-trained on features of a first base image (BI1), and a second restorer (7B) pre-trained on features of a second base image (BI2) different in features from the first base image (BI1).
  • the defect diagnosis model creation device (1) is equipped with a plurality of restorers (first restorer 7A, second restorer 7B) that have learned in advance the features of the base images (BI1, BI2) with individually different features, so that a pseudo defect image (PDI) corresponding to the base images (BI1, BI2) with individually different features can be generated.
  • first restorer 7A, second restorer 7B a plurality of restorers that have learned in advance the features of the base images (BI1, BI2) with individually different features
  • a pseudo defect image (PDI) corresponding to the base images (BI1, BI2) with individually different features can be generated.
  • the types of pseudo defect images (PDI) that can be generated by the defect diagnosis model creation device (1) can be increased, and the teaching data (TD) can have a wider range, so that the defect identification accuracy of the defect diagnosis model (11) can be improved.
  • the defect diagnosis model creation device (1) according to any one of 1) to 4) above,
  • the at least one restorer (7) is configured to learn features of a reduced reduced base image (RBI) by reducing the base image (BI),
  • the defect diagnosis model creation device (1) a pixel reduction processing unit (12) configured to perform pixel reduction processing on at least one of the combination of the base image (BI) and the defect image (DI), or the composite image (CI);
  • a pixel-enhancement processor (13) configured to perform a pixel-enhancement process on the pseudo defect image (PDI).
  • At least one restorer (7) learns the features of the reduced base image (RBI), so compared to the case of learning the features of the base image (BI) before reduction processing, the performance required for the hardware used for learning can be suppressed. Since the image size that can be generated as a pseudo defect image (PDI) depends on the image size learned by the restorer (7), the pixel reduction processing unit (12) performs pixel reduction processing on the composite image (CI) input to the restorer (7) or the combination of the base image (BI) and the defect image (DI) that is the basis of the composite image (CI). For a product with a large size and a small defect, it is desirable to inspect the product with a large number of pixels.
  • a pixel-enhancing processing unit (13) performs a pixel-enhancing process on a pseudo defect image (PDI) that serves as teacher data (TD) for a defect diagnosis model (11).
  • PDI pseudo defect image
  • TD teacher data
  • a pixel-enhancing processing unit (13) performs a pixel-enhancing process on a pseudo defect image (PDI) that serves as teacher data (TD) for a defect diagnosis model (11).
  • the defect diagnosis model creation device (1) according to 5) above, A first fitness evaluation model (15) pre-learned with training data (GFE) for fitness evaluation including a defective image photographed of the product with a defect and a non-defect image photographed of the product without a defect; (PDI) from candidates for the training data (TD).
  • GFE training data
  • PDI non-defect image photographed of the product without a defect
  • the first non-conforming image removal unit (16) can exclude pseudo defect images (PDI) for which the degree of conformity in the first degree of conformity evaluation model (15) is insufficient (less than the first threshold value FT) from the candidates for the training data (TD).
  • PDI pseudo defect images
  • the defect diagnosis model creation device (1) according to any one of 1) to 6) above, a second conformity evaluation model (18) trained in advance with conformity evaluation training data (GFE) including defective images photographed of the product with defects and non-defect images photographed of the product without defects; It further comprises a second suitability evaluation unit (17) including:
  • the quality of the composite image (CI) can be evaluated by the second goodness-of-fit evaluation model (18) pre-learned with goodness-of-fit evaluation teacher data (GFE) including images with defects and images without defects.
  • the second unsuitable image removing unit (19) can exclude synthetic images (CI, for example, synthetic images having defects in areas that do not actually occur) for which the second fitness evaluation model (18) lacks the fitness (less than the second threshold) from candidates for training data (TD).
  • the defect diagnosis model (11) from learning a pseudo defect image (PDI) including an unrealistic defect image (DI) that does not occur physically as teacher data (TD) and lowering the defect diagnosis accuracy.
  • a first threshold adjuster (91) configured to adjust the first threshold (FT) in consideration of detection accuracy of the defect diagnosis model (11) is further provided.
  • the first threshold adjustment unit (91) adjusts the first threshold value (FT) in consideration of the detection accuracy of the defect diagnosis model (11), so that the first unsuitable image removal unit (16) leaves the pseudo defect images (PDI) including the rare defect images (RDI) as candidates for the training data (TD), while accurately removing the pseudo defect images (PDI) including the unrealistic defect images (DI) from the training data (TD) candidates. I can. As a result, the detection accuracy of the defect diagnosis model (11) can be improved.
  • a second threshold adjuster (92) configured to adjust the second threshold (ST) in consideration of the detection accuracy of the defect diagnosis model (11) is further provided.
  • the second threshold adjustment unit (92) adjusts the second threshold (ST) in consideration of the detection accuracy of the defect diagnosis model (11), so that the second unsuitable image removal unit (19) can accurately remove the synthetic image (CI) including the unrealistic defect image (DI) from the teaching data (TD) candidates while leaving the synthetic image (CI) including the rare defect image (RDI) as a candidate for the teaching data (TD).
  • the detection accuracy of the defect diagnosis model (11) can be improved.
  • a re-learning unit (93) is further provided for adding an image similar to the defective image whose detection accuracy of the defect diagnosis model (11) is equal to or less than a predetermined value to the training data for goodness of fit evaluation (GFE).
  • the re-learning unit (93) by adding an image similar to the defective image in which the detection accuracy of the defect diagnosis model (11) is less than a predetermined level to the training data (GFE) for goodness of fit evaluation, the image that the defect diagnosis model (11) needs to learn (image with low detection accuracy of the defect diagnosis model) can be learned by the first goodness-of-fit evaluation model (15) and the second goodness-of-fit evaluation model (18), and the similar image (detection accuracy of the defect diagnosis model It is possible to improve the accuracy of evaluating the fitness in the first fitness evaluation model (15) and the second fitness evaluation model (18) for images with low image quality.
  • the defect diagnosis model (11) By improving the evaluation accuracy of the degree of conformity in the first degree of conformity evaluation model (15) and the second degree of conformity evaluation model (18), it is possible to prevent images that require learning by the defect diagnosis model (11) from being excluded from candidates for teacher data (TD) in the first unconforming image removing unit (16) and the second unconforming image removing unit (19). This allows the defect diagnosis model (11) to learn images (teaching data TD) that the defect diagnosis model (11) needs to learn, so that detection accuracy of the defect diagnosis model (11) can be improved.
  • the defect diagnosis model creation device (1) according to any one of 1) to 10) above, It further comprises a defect image processing unit (94) configured to perform image processing for changing the feature of the defect included in the defect image (DI) to a feature similar to the defect.
  • a defect image processing unit (94) configured to perform image processing for changing the feature of the defect included in the defect image (DI) to a feature similar to the defect.
  • the defect image processing unit (94) performs image processing for changing the features of the defects included in the defect images (DI) into features similar to the defects, thereby increasing the number of synthesized images (CI) to be created and generating pseudo defect images (PDI) for the number of created synthesized images (CI).
  • the defect diagnosis model creation apparatus (1) can increase the number of pseudo defect images (PDI) by providing the defect image processing unit (94), and can make the defect diagnosis model (11) learn a large amount of teaching data (TD), thereby improving the accuracy of determining the presence/absence of a defect in the defect diagnosis model (11).
  • a pasting position determination unit (95) for randomly determining a pasting position of the defective image (DI) to the base image (BI) is further provided.
  • the defect diagnosis model creation device (1) can increase the number of pseudo defect images (PDI) by providing the pasting position determination unit (95), and can make the defect diagnosis model (11) learn a large amount of teacher data (TD), so that the accuracy of determining the presence or absence of defects in the defect diagnosis model (11) can be improved.
  • a defect diagnosis model creation method (100) comprising: A defect diagnosis model creation method (100) for creating a defect diagnosis model (11) for determining the presence or absence of a defect in a target product from an image of the target product, comprising: an image acquisition step (S1) of acquiring a plurality of defect images (DI) including at least one base image (BI) in which a product identical or similar to the target product is photographed, and a plurality of defect images (DI) in which defects occurring in the product are photographed, and at least one rare defect image (RDI) in which defects having a probability of occurrence of a predetermined value or less are photographed; A pseudo defect image generation step (S2) of generating a pseudo defect image (PDI) by inputting a composite image (CI) in which the defect image (DI) is pasted to a part of the base image (BI) into at least one restorer (7) that has learned the features of the base image (BI) in advance; a teacher data acquisition step (S3)
  • a composite image (CI) having a rare defect and a pseudo defect image (PDI) can be generated, and the generated pseudo defect image (PDI) having a rare defect can be used as training data (TD).
  • the defect diagnosis model (11) can be made to learn teacher data (TD) considering the range (variation) of the possibility of actually occurring a defect. Therefore, it is possible to create a defect diagnosis model (11) that can accurately determine not only the presence or absence of frequently occurring defects but also the presence or absence of rare defects.
  • a defect diagnosis model creation program (100A) for creating a defect diagnosis model (11) for determining the presence or absence of a defect in a target product from an image of the target product, an image acquisition step (S1) of acquiring a plurality of defect images (DI) including at least one base image (BI) in which a product identical or similar to the target product is photographed, and a plurality of defect images (DI) in which defects occurring in the product are photographed, and at least one rare defect image (RDI) in which defects having a probability of occurrence of a predetermined value or less are photographed;
  • a composite image (CI) having a rare defect and a pseudo defect image (PDI) can be generated, and the generated pseudo defect image (PDI) having a rare defect can be used as training data (TD).
  • the defect diagnosis model (11) can be made to learn the teaching data (TD) that considers the range (variation) of the possibility of actually occurring a defect. Therefore, it is possible to create the defect diagnosis model (11) that can accurately determine not only the presence or absence of frequently occurring defects but also the presence or absence of rare defects.
  • defect diagnosis model creation device 1 defect diagnosis model creation device 2 defect diagnosis device 3 image acquisition unit 4 pseudo defect image generation unit 5 teacher data acquisition unit 6 defect diagnosis model creation units 7, 7A, 7B restorer 8 image combination adjustment unit 10 defect diagnosis system 11 defect diagnosis model 12 low pixel processing unit 13 high pixel processing unit 14 first conformity evaluation unit 15 first conformity evaluation model 16 first unconforming image elimination unit 17 second conformity evaluation unit 18 second conformity evaluation Model 19 Second non-conforming image removal unit 21 Defect diagnosis model storage unit 22 Target product image acquisition unit 23 Defect diagnosis unit 24 Judgment result output unit 31 Image database 41 Synthetic image creation unit 42 Restorer storage unit 43 Image generation unit 44 Pseudo defect image storage unit 81 Detection accuracy evaluation unit 82 Ratio determination unit 91 First threshold adjustment unit 92 Second threshold adjustment unit 93 Re-learning unit 94 Defect image processing unit 95 Pasting position determination unit 10 0 Defect diagnosis model creation method 100A Defect diagnosis model creation program ASI Actual photographed images BI, BI1, BI2, BI3 Base image CI Synthetic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

対象製品の画像から対象製品の欠陥の有無を判定する欠陥診断モデルを作成するための欠陥診断モデル作成装置であって、対象製品と同一又は類似した製品が撮影されたベース画像、及び上記製品に発生した欠陥が撮影された複数の欠陥画像であって、稀な欠陥画像を含む複数の欠陥画像を取得する画像取得部と、上記ベース画像の一部に上記欠陥画像が貼り付けられた合成画像を、上記ベース画像の特徴を予め学習済みの復元器に入力することで疑似欠陥画像を生成する疑似欠陥画像生成部と、上記疑似欠陥画像の複数から構成される疑似欠陥画像群を含む教師データを取得する教師データ取得部と、上記教師データを学習させることで欠陥診断モデルを作成する欠陥診断モデル作成部と、を備える。

Description

欠陥診断モデル作成装置、欠陥診断モデル作成方法及び欠陥診断モデル作成プログラム
 本開示は、欠陥診断モデルを作成するための欠陥診断モデル作成装置、欠陥診断モデル作成方法及び欠陥診断モデル作成プログラムに関する。
 対象製品の画像を入力することで、上記対象製品における欠陥の有無の判定結果を出力する学習済みの欠陥診断モデルを用いて、対象製品の欠陥の有無を判定する技術が知られている。この欠陥診断モデルには、実際の対象製品の画像などの教師データを学習することで生成されるニューラルネットワークにより構成されたものがある。
 欠陥診断モデル(ニューラルネットワーク)に学習させるための教師データとして、様々な欠陥が写っている様々な画像を多量に用意する必要があるが発生頻度が低い欠陥(稀な欠陥)に対応した画像を多量に用意することは困難であるという問題がある。
 特許文献1には、不良品画像と欠陥領域のマスク画像を用いて機械学習させることで、指定した欠陥領域(マスク)に対して欠陥を生成する復元器(学習済みモデル)が開示されている。この復元器に、欠陥が発生する部位に対応するよう予め決められた欠陥候補領域を所定の領域とした画像(良品マスク画像)を入力することで、欠陥候補領域に欠陥を生成させた疑似欠陥画像(復元画像)が生成される。復元器により生成された疑似欠陥画像を、ニューラルネットワークの深層学習用の教師データとして利用する。
特開2021-43816号公報
 特許文献1に記載の復元器は、その学習に多数の欠陥画像を用いるため、復元器において欠陥の特徴が均され、欠陥候補領域に尤もらしい欠陥を生成した疑似欠陥画像しか出力できない虞がある。すなわち、上記復元器は、発生頻度が低い稀な欠陥の画像を生成できない虞がある。上記復元器が生成した疑似欠陥画像を学習させた欠陥診断モデル(ニューラルネットワーク)は、稀な欠陥に対する欠陥の有無の判定精度が低い虞がある。また、欠陥診断モデル(ニューラルネットワーク)に実際の欠陥を撮影した画像を学習させた場合でも、教師データにおける稀な欠陥画像が占める割合が小さいため、稀な欠陥に対する欠陥の有無の判定精度が低い虞がある。これにより、特許文献1に記載の復元器が生成した疑似欠陥画像を学習させた欠陥診断モデルは、欠陥の有無の判定精度が低い虞がある。
 上述の事情に鑑みて、本発明の少なくとも一実施形態は、欠陥の有無の判定精度を向上できる欠陥診断モデルを作成できる欠陥診断モデル作成装置、欠陥診断モデル作成方法及び欠陥診断モデル作成プログラムを提供することを目的とする。
 本発明の少なくとも一実施形態にかかる欠陥診断モデル作成装置は、
 対象製品の画像から前記対象製品における欠陥の有無を判定する欠陥診断モデルを作成するための欠陥診断モデル作成装置であって、
 前記対象製品と同一又は類似した製品が撮影された少なくとも1つのベース画像、及び前記製品に発生した欠陥が撮影された複数の欠陥画像であって、発生確率が所定以下である欠陥が撮影された少なくとも1つの稀な欠陥画像を含む複数の欠陥画像を取得する画像取得部と、
 前記ベース画像の一部に前記欠陥画像が貼り付けられた合成画像を、前記ベース画像の特徴を予め学習済みの少なくとも1つの復元器に入力することで疑似欠陥画像を生成する疑似欠陥画像生成部と、
 前記疑似欠陥画像の複数から構成される疑似欠陥画像群を含む教師データを取得する教師データ取得部と、
 前記教師データを学習させることで欠陥診断モデルを作成する欠陥診断モデル作成部と、を備える。
 本発明の少なくとも一実施形態にかかる欠陥診断モデル作成方法は、
 対象製品の画像から前記対象製品における欠陥の有無を判定する欠陥診断モデルを作成するための欠陥診断モデル作成方法であって、
 前記対象製品と同一又は類似した製品が撮影された少なくとも1つのベース画像、及び前記製品に発生した欠陥が撮影された複数の欠陥画像であって、発生確率が所定以下である欠陥が撮影された少なくとも1つの稀な欠陥画像を含む複数の欠陥画像を取得する画像取得ステップと、
 前記ベース画像の一部に前記欠陥画像が貼り付けられた合成画像を、前記ベース画像の特徴を予め学習済みの少なくとも1つの復元器に入力することで疑似欠陥画像を生成する疑似欠陥画像生成ステップと、
 前記疑似欠陥画像の複数から構成される疑似欠陥画像群を含む教師データを取得する教師データ取得ステップと、
 前記教師データを学習させることで欠陥診断モデルを作成する欠陥診断モデル作成ステップと、を備える。
 本発明の少なくとも一実施形態にかかる欠陥診断モデル作成プログラムは、
 対象製品の画像から前記対象製品における欠陥の有無を判定する欠陥診断モデルを作成するための欠陥診断モデル作成プログラムであって、
 前記対象製品と同一又は類似した製品が撮影された少なくとも1つのベース画像、及び前記製品に発生した欠陥が撮影された複数の欠陥画像であって、発生確率が所定以下である欠陥が撮影された少なくとも1つの稀な欠陥画像を含む複数の欠陥画像を取得する画像取得ステップと、
 前記ベース画像の一部に前記欠陥画像が貼り付けられた合成画像を、前記ベース画像の特徴を予め学習済みの少なくとも1つの復元器に入力することで疑似欠陥画像を生成する疑似欠陥画像生成ステップと、
 前記疑似欠陥画像の複数から構成される疑似欠陥画像群を含む教師データを取得する教師データ取得ステップと、
 前記教師データを学習させることで欠陥診断モデルを作成する欠陥診断モデル作成ステップと、をコンピュータに実行させるためのものである。
 本発明の少なくとも一実施形態によれば、欠陥の有無の判定精度を向上できる欠陥診断モデルを作成できる欠陥診断モデル作成装置、欠陥診断モデル作成方法及び欠陥診断モデル作成プログラムが提供される。
一実施形態に係る欠陥診断モデル作成装置を含む欠陥診断システムの構成を概略的に示す概略構成図である。 一実施形態において用いられる畳み込みニューラルネットワークを説明するための説明図である。 一実施形態における復元器を説明するための説明図である。 一実施形態において用いられる敵対的生成ネットワークを説明するための説明図である。 一実施形態に係る欠陥診断モデル作成装置の構成を概略的に示す概略構成図である。 一実施形態に係る欠陥診断モデル作成装置の構成を概略的に示す概略構成図である。 一実施形態における第1適合度評価モデルが出力する評価結果を説明するための説明図である。 一実施形態における第2適合度評価モデルが出力する評価結果を説明するための説明図である。 一実施形態に係る欠陥診断モデル作成装置の構成を概略的に示す概略構成図である。 一実施形態に係る欠陥診断モデル作成方法のフロー図である。
 以下、添付図面を参照して本発明の幾つかの実施形態について説明する。ただし、実施形態として記載されている又は図面に示されている構成部品の寸法、材質、形状、その相対的配置等は、本発明の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。
(欠陥診断システム)
 図1は、一実施形態に係る欠陥診断モデル作成装置を含む欠陥診断システムの構成を概略的に示す概略構成図である。幾つかの実施形態に係る欠陥診断モデル11は、欠陥診断システム10に搭載される。欠陥診断モデル作成装置1は、対象製品の画像から上記対象製品における欠陥の有無を判定する欠陥診断モデル11を作成するための装置である。欠陥診断システム10は、図1に示されるように、欠陥診断モデル作成装置1と、欠陥診断モデル作成装置1が作成した学習済みの欠陥診断モデル11を用いて対象製品の欠陥の有無を判定する欠陥診断装置2と、を含む。
(欠陥診断装置)
 欠陥診断装置2は、図1に示されるように、欠陥診断モデル作成装置1が作成した学習済みの欠陥診断モデル11を記憶する欠陥診断モデル記憶部21と、欠陥診断の検査対象である対象製品を撮影した画像である対象製品画像を取得する対象製品画像取得部22と、欠陥診断モデル11を用いて対象製品画像に欠陥があるか否かを判定し、判定結果を取得する欠陥診断部23と、欠陥診断部23が取得した判定結果を出力する判定結果出力部24と、を備える。
 図2は、一実施形態において用いられる畳み込みニューラルネットワークを説明するための説明図である。欠陥診断モデル記憶部21に記憶された欠陥診断モデル11は、予め機械学習(深層学習を含む)により欠陥の特徴を学習済みの学習済みモデルであり、対象製品画像を入力することで、該対象製品画像(対象製品)に欠陥があるか否かを示す判定結果を出力するように構成されている。欠陥診断モデル11は、図2に示されるような、入力層、1層以上の中間層及び出力層を含んで構成される畳み込みニューラルネットワーク(ニューラルネットワーク)を含む学習モデルに対する学習処理により生成されたものであってもよい。図2に示される実施形態では、畳み込みニューラルネットワークは、入力層に入力された入力画像に画像の特徴を抽出するフィルタを適用して特徴マップ(二次元データ)を取得する畳み込み層101、及び畳み込み層101が取得した特徴マップのサイズを圧縮するプーリング層102の組み合わせからなる複数組の中間層と、上記複数組の中間層を通して特徴部分が取り出された画像データを一つのノードに結合する全結合層103と、上記入力層と、上記出力層と、を含む。上記出力層は、上記判定結果として判定確率を出力するように構成されていてもよい。
 対象製品画像取得部22は、欠陥診断装置2の外部から対象製品画像を取得するように構成されている。対象製品画像取得部22は、例えば、入力インターフェースや通信インターフェースなどの情報通信機器であってもよいし、撮影装置などであってもよい。なお、対応製品画像は、対象製品の一部を撮影した画像であってもよい。
 欠陥診断部23は、対象製品画像取得部22が取得した対象製品画像(検査用画像)を、欠陥診断モデル記憶部21に記憶された欠陥診断モデル11に入力し、欠陥診断モデル11が出力する上記判定結果を取得するように構成されている。判定結果出力部24は、欠陥診断部23が取得した判定結果を出力するように構成されている。判定結果出力部24は、例えば、ディスプレイなどの表示装置やプリンタなどの印刷装置に上記判定結果を出力する出力インターフェースや、欠陥診断装置2の外部の情報端末に上記判定結果を出力する通信インターフェースなどであってもよい。上記対象製品は、種々の製品が適用可能である。上記対象製品は、例えば、ターボチャージャなど過給機であってもよいし、過給機の部品であるインペラやハウジングであってもよい。
(欠陥診断モデル作成装置)
 欠陥診断モデル作成装置1は、図1に示されるように、画像取得部3と、疑似欠陥画像生成部4と、教師データ取得部5と、欠陥診断モデル作成部6と、を備える。
(画像取得部)
 画像取得部3は、対象製品と同一又は類似した製品が撮影された少なくとも1つのベース画像BI、及び上記製品に発生した欠陥が撮影された複数の欠陥画像DIを取得するように構成されている。対象製品に類似した製品とは、該製品又は該製品を撮影した撮影画像から抽出される特徴量が、対象製品又は対象製品を撮影した撮影画像から抽出される特徴量に対して相関係数が所定値以上の製品であってもよいし、欠陥診断モデル作成装置1の利用者が指定した製品であってもよい。上記特徴量は、色合い、テクスチャ、構造など製品の特徴を定量的に表した数字である。画像取得部3は、少なくとも1つのベース画像BI及び複数の欠陥画像DIを欠陥診断モデル作成装置1の外部から取得する入力インターフェースや通信インターフェースなどの情報通信機器であってもよい。また、欠陥診断モデル作成装置1が図1に示されるような少なくとも1つのベース画像BI及び複数の欠陥画像DIを記憶する画像データベース31を備える場合には、画像取得部3は、画像データベース31から少なくとも1つのベース画像BI及び複数の欠陥画像DIを取得してもよい。画像データベース31に記憶された画像は、画像中の欠陥の有無を示すラベルが関連付けられている。
(疑似欠陥画像生成部)
 疑似欠陥画像生成部4は、ベース画像BIの一部に欠陥画像DIが貼り付けられた合成画像CIを、ベース画像BIの特徴を予め学習済みの少なくとも1つの復元器7に入力することで疑似欠陥画像PDIを生成するように構成されている。図1に示される実施形態では、疑似欠陥画像生成部4は、画像取得部3が取得したベース画像BI及び欠陥画像DIから合成画像CIを作成するように構成された合成画像作成部41と、少なくとも1つの復元器7を記憶する復元器記憶部42と、少なくとも1つの復元器7を用いて合成画像CIから疑似欠陥画像PDIを生成するように構成された画像生成部43と、画像生成部43において生成された疑似欠陥画像PDIを記憶する疑似欠陥画像記憶部44と、を含む。
 ベース画像BIは、対象製品と同一又は類似した製品であって、欠陥が発生していない上記製品が撮影された画像である。欠陥画像DIは、上記製品に発生した欠陥が撮影された画像である。なお、欠陥画像DI中に含まれる欠陥は、き裂などの上記製品の外部から目視可能な欠陥だけでなく、内面減肉などの上記製品の外部から目視不能な欠陥であってもよい。合成画像作成部41は、欠陥を含まないベース画像BIの画像領域のうちの一部の画像領域に、欠陥を含む欠陥画像DIを貼り付けることで、欠陥を含む合成画像CIを作成する。
 復元器記憶部42に記憶された少なくとも1つの復元器7は、予め機械学習(深層学習を含む)によりベース画像BIの特徴を学習済みであり、合成画像CIを入力することで、合成画像CI中の欠陥画像DIを欠陥画像DIの周囲のベース画像BIに馴染ませる画像処理が施された画像である疑似欠陥画像PDIを出力するように構成されている。復元器7による画像処理は、合成画像CIの画像領域のうち、欠陥画像DIが貼り付けられた画像領域だけでなく、欠陥画像DIの周囲のベース画像BIの画像領域に対しても行われる。疑似欠陥画像PDIは、上記画像処理が施された欠陥画像DIを含む。
 画像生成部43は、合成画像作成部41が作成した合成画像CIを、復元器記憶部42に記憶された少なくとも1つの復元器7に入力し、少なくとも1つの復元器7が出力する疑似欠陥画像PDIを取得するように構成されている。画像生成部43において生成された疑似欠陥画像PDIは、疑似欠陥画像記憶部44に記憶される。なお、ベース画像BIごとに該ベース画像BIに関連付けられた復元器7、すなわち、該ベース画像BIの特徴を学習済みの復元器7が生成される。画像生成部43は、合成画像CIに含まれるベース画像BIに関連付けられた復元器7に、上記合成画像CIを入力することが好ましい。
 図3は、一実施形態における復元器を説明するための説明図である。図4は、一実施形態において用いられる敵対的生成ネットワークを説明するための説明図である。上記少なくとも1つの復元器7は、実際の画像における特徴を抽出し、抽出した特徴から偽画像を生成する生成器Gと、生成器Gが生成した偽画像が本物か否かを識別する識別器Dと、を含んで構成される敵対的生成ネットワークに対する学習処理により生成されたものであってもよい。上記少なくとも1つの復元器7は、敵対的生成ネットワークにおける生成器Gを含み、敵対的生成ネットワークにおける識別器Dを含まないものである。
 図4に示される実施形態では、敵対的生成ネットワークは、複数層の生成器G(G0、G1、G2、G3、・・・、Gn)と複数層(生成器Gと同数)の識別器Dとを含み、複数層の生成器G(Gn)の夫々は、前層(Gn-1)及び前々層(Gn-2)の生成器Gを同時に学習するように構成されている。例えば、第3層の生成器G3は、前層である第2層G2及び前々層である第1層G1の生成器Gを同時に学習する。この際に、前層G2(Gn-1)の生成器Gの学習率は、その層G3(Gn)の生成器Gの学習率に対して分数倍(図示例では、1/10)になっており、前々層G1(Gn-2)の生成器Gは、前層G2(Gn-1)の生成器Gの学習率に対して分数倍(図示例では、1/10)になっている。複数層の識別器Dは、後層になるに連れて識別する画像(識別器Dと同じ層の生成器Gが生成した偽画像及び実際の画像)のサイズが大きくなっている。
(教師データ取得部)
 教師データ取得部5は、疑似欠陥画像PDIの複数から構成される疑似欠陥画像群PDIGを含む教師データTDを取得するように構成されている。教師データ取得部5は、疑似欠陥画像記憶部44に記憶された複数の疑似欠陥画像PDIを取得する。教師データ取得部5が取得した複数の疑似欠陥画像PDIからなる疑似欠陥画像群PDIGが教師データTDとなる。
 なお、画像データベース31は、対象製品と同一又は類似した製品が撮影された画像である実撮影画像ASIを記憶していてもよい。画像データベース31に記憶された実撮影画像ASIは、欠陥が発生している上記製品が撮影された画像だけでなく、欠陥が発生していない上記製品が撮影された画像を含んでいてもよい。教師データ取得部5は、疑似欠陥画像群PDIGだけでなく、画像データベース31に記憶された少なくとも1つの実撮影画像ASIを教師データTDとして取得するように構成されていてもよい。
(欠陥診断モデル作成部)
 欠陥診断モデル作成部6は、教師データTDを学習させることで欠陥診断モデル11を作成するように構成されている。欠陥診断モデル作成部6は、上述した畳み込みニューラルネットワーク(ニューラルネットワーク)を含む学習モデルに対する学習処理により欠陥診断モデル11を生成してもよい。欠陥診断モデル作成部6において作成された欠陥診断モデル11は、上述した欠陥診断モデル記憶部21に記憶される。
 幾つかの実施形態に係る欠陥診断モデル作成装置1は、図1に示されるように、上述した画像取得部3と、上述した疑似欠陥画像生成部4と、上述した教師データ取得部5と、上述した欠陥診断モデル作成部6と、を備える。上述した複数の欠陥画像DIは、発生確率が所定以下である欠陥が撮影された少なくとも1つの稀な欠陥画像RDIを含む。予めサンプリングされた複数の欠陥の発生確率の分布を近似して得られる正規分布に基づいて設定される範囲のうち、上記サンプリングされた欠陥の発生確率から算出される標準偏差σ以上の範囲(+σ以上又は-σ以下)に属する欠陥を稀な欠陥としてもよい。2σ以上の範囲(+2σ以上又は-2σ以下)に属する欠陥を稀な欠陥とすることが好ましい。
 上記の構成によれば、上記少なくとも1つの復元器7は、ベース画像BIの特徴(色合い、テクスチャ、構造など)を予め学習しているため、ベース画像BIに意図的に合成した欠陥画像DIを該ベース画像BIに違和感なく調和させた疑似欠陥画像PDIを生成できる。合成画像CIは、ベース画像BIの一部に欠陥画像DIを貼り付けることで生成できるので、合成画像CIを生成する際に、欠陥画像DIの欠陥の加工(拡大・縮小、回転、アスペクト比変更、フリップ、スキューなど)や、合成画像CIにおける欠陥の位置の変更、合成画像CIに含まれる欠陥の種類の変更が容易である。欠陥診断モデル作成装置1は、合成画像CIの素となる欠陥画像DIに欠陥の形状が稀である稀な欠陥画像RDIを含ませることで、稀な欠陥を有する合成画像CIや疑似欠陥画像PDIを生成でき、生成した稀な欠陥を有する疑似欠陥画像PDIを教師データTDとして使用できる。これにより、欠陥診断モデル作成装置1は、実際に欠陥が発生する可能性の幅(バラツキ)を考慮した教師データTDを欠陥診断モデル11に学習させることができるため、発生頻度が高い欠陥の有無だけでなく、稀な欠陥の有無も精度良く判定可能な欠陥診断モデル11を作成できる。
 図5は、一実施形態に係る欠陥診断モデル作成装置の構成を概略的に示す概略構成図である。幾つかの実施形態では、上述した欠陥診断モデル作成装置1は、図5に示されるように、疑似欠陥画像群PDIGにおける複数の欠陥画像DIに含まれる稀な欠陥画像RDIの割合を調整するように構成された画像の組み合わせ調整部8をさらに備える。
 疑似欠陥画像群PDIGを構成する複数の疑似欠陥画像PDIの夫々は、欠陥画像DIを含む。或る実施形態では、画像の組み合わせ調整部8は、教師データ取得部5が取得する疑似欠陥画像群PDIG(複数の疑似欠陥画像PDI)のうち、稀な欠陥画像RDIを含む疑似欠陥画像PDIの占める割合が予め設定された所定の上下限範囲内に収まるように調整する。具体的には、画像の組み合わせ調整部8は、教師データ取得部5が取得する疑似欠陥画像群PDIGのうち、稀な欠陥画像RDIを含む疑似欠陥画像PDIの占める割合が下限閾値に満たない場合に、稀な欠陥画像RDIを含む疑似欠陥画像PDIの占める割合を増加させ、稀な欠陥画像RDIを含む疑似欠陥画像PDIの占める割合が上限閾値を超える場合に、稀な欠陥画像RDIを含む疑似欠陥画像PDIの占める割合を減少させる。なお、画像の組み合わせ調整部8における上記上下限範囲(上限閾値及び下限閾値)は、手動で設定されるようになっていてもよいし、後述する割合決定部82などにより自動で設定されるようになっていてもよい。
 上記の構成によれば、画像の組み合わせ調整部8により、疑似欠陥画像群PDIGに含まれる稀な欠陥画像RDI(を含む疑似欠陥画像PDI)の割合を増やすことで、稀な欠陥画像RDIが教師データTDに占める割合を増やすことができるため、欠陥診断モデル11の稀な欠陥画像RDIに対する識別精度を向上させることができる。
 幾つかの実施形態では、上述した画像の組み合わせ調整部8は、欠陥診断モデル11の検出精度を評価する検出精度評価部81と、検出精度評価部81の評価結果に基づいて、欠陥診断モデル11の検出精度が所定以上の検出精度になるように稀な欠陥画像RDIの割合を決定する割合決定部82と、を含む。
 検出精度評価部81は、画像データベース31に記憶された実撮影画像ASIや疑似欠陥画像記憶部44に記憶された疑似欠陥画像PDIなどの欠陥の有無が予め判明している画像(上記ラベルが関連付けられた画像)が欠陥診断モデル11に入力された際に、欠陥診断モデル11が適切な判定結果を出力しているかを定量的に評価し、評価結果を検出精度として出力する。検出精度評価部81は、例えば、欠陥診断モデル11の判定結果の正答率を検出精度として出力してもよい。検出精度評価部81は、欠陥画像DI(稀な欠陥画像RDI)に含まれる欠陥の種類ごとに検出精度を出力してもよい。割合決定部82は、検出精度評価部81の評価結果として出力する欠陥診断モデル11の検出精度が、所定以上の検出精度になるように稀な欠陥画像RDIが教師データTDに占める割合を決定する。
 検出精度評価部81は、稀な欠陥画像RDIと稀な欠陥画像RDIではない欠陥画像DIの評価結果を別々に出力するように構成されていてもよい。割合決定部82は、検出精度評価部81が出力する稀な欠陥画像RDIに対する欠陥診断モデル11の検出精度が、所定以上の検出精度になるように稀な欠陥画像RDIの上記割合を決定してもよい。また、割合決定部82は、検出精度評価部81が出力する稀な欠陥画像RDIに対する欠陥診断モデル11の検出精度及び稀な欠陥画像RDIではない欠陥画像DIに対する欠陥診断モデル11の検出精度の両方が、所定以上の検出精度になるように稀な欠陥画像RDIの上記割合を決定してもよい。検出精度評価部81が、欠陥画像DI(稀な欠陥画像RDI)に含まれる欠陥の種類ごとに検出精度を出力する場合には、全ての種類の欠陥に対する欠陥診断モデル11の検出精度が、所定以上の検出精度になるように稀な欠陥画像RDIの上記割合を決定してもよい。具体的には、検出精度評価部81は、稀な欠陥の検出精度が悪い場合には、稀な欠陥画像RDIの割合を増やす。また、検出精度評価部81は、稀な欠陥画像RDIの割合を増やすことで、稀ではない欠陥の検出精度が悪くなっている場合には、稀な欠陥画像RDIの割合を減らす。
 上記の構成によれば、割合決定部82が、検出精度評価部81の評価結果に基づいて、欠陥診断モデル11の検出精度が所定以上の検出精度になるように稀な欠陥画像RDIの割合を決定することで、欠陥診断モデル11の検出精度を向上できるように、稀な欠陥画像RDIが教師データTDに占める割合を調整できるため、欠陥診断モデル11の稀な欠陥に対する識別精度を向上させることができる。
(複数の復元器)
 幾つかの実施形態では、図1に示されるように、上述した少なくとも1つの復元器7は、第1ベース画像BI1の特徴を予め学習済みの第1復元器7Aと、第1ベース画像BI1とは特徴が異なる第2ベース画像BI2の特徴を予め学習済みの第2復元器7Bと、を含む。ここで、ベース画像BIの特徴が異なるとは、欠陥診断モデル作成装置1の利用者が異なるベース画像BIであると判断できる程度のものを意味する。第2ベース画像BI2から抽出される特徴量と、比較対象である第1ベース画像BI1から抽出される特徴量との間の関係の強さを示す相関係数が所定値未満の場合に、第2ベース画像BI2は第1ベース画像BI1とは特徴が異なると判断してもよい。
 第2ベース画像BI2は、第1ベース画像BI1と同一の上記製品を撮影した撮影画像であってもよい。使用後の製品に対する目視検査では、製品の使用条件(使用する環境下)により、使用前の製品に比べて、表面の色合いの違いや、特徴的な形状変化があるため、製品の使用条件に対応したベース画像BIの特徴を学習済みの復元器7を用意することが好ましい。また、対象製品に品質のバラツキが生じる場合には、各バラツキに対応できるように複数の復元器7を用意することが好ましい。
 画像データベース31は、複数のベース画像BI(BI1、BI2、BI3)を記憶しており、画像取得部3は、画像データベース31から複数のベース画像BI(BI1、BI2、BI3)を取得してもよい。画像生成部43は、各復元器7(7A、7B)に入力した合成画像CIの数だけ、入力した合成画像CIに対応する疑似欠陥画像PDIを生成する。画像生成部43は、第1ベース画像BI1を元に作成した合成画像CIを、第1ベース画像BI1の特徴を予め学習済みの第1復元器7Aに入力し、且つ第2ベース画像BI2を元に作成した合成画像CIを、第2ベース画像BI2の特徴を予め学習済みの第2復元器7Bに入力するように構成されている。
 上記の構成によれば、欠陥診断モデル作成装置1は、個々に特徴が異なるベース画像BI1、BI2の特徴を予め学習した複数の復元器7(第1復元器7A、第2復元器7B)を備えるので、個々に特徴が異なるベース画像BI1、BI2に対応した疑似欠陥画像PDIを生成できる。これにより、欠陥診断モデル作成装置1が生成できる疑似欠陥画像PDIの種類を増やし、教師データTDに幅を持たせることができるため、欠陥診断モデル11の欠陥識別精度を向上させることができる。
(低画素化処理部、高画素化処理部)
 幾つかの実施形態では、図1に示されるように、上述した少なくとも1つの復元器7(図示例では、複数)は、ベース画像BIを縮小化処理することにより縮小化した縮小ベース画像RBIの特徴を学習するように構成されている。復元器7の教師データとして縮小ベース画像RBIが用いられる。上述した欠陥診断モデル作成装置1は、ベース画像BI及び欠陥画像DIの組み合わせ、又は合成画像CIの少なくとも一方に対して低画素化処理を実行するように構成された低画素化処理部12と、疑似欠陥画像PDIに対して高画素化処理を実行するように構成された高画素化処理部13と、をさらに備える。
 低画素化処理部12は、ベース画像BI及び欠陥画像DIの組み合わせ、又は合成画像CIの少なくとも一方に対して、その画像サイズ(画素数)が、縮小ベース画像RBIの画像サイズ(画素数)に対して同一又は類似する画像サイズ(画素数)になるように低画素化処理を実行する。或る実施形態では、縮小ベース画像RBIの画像サイズ(画素数)をIS1と定義し、低画素化処理が行われたベース画像BI又は合成画像CIの画像サイズ(画素数)をIS2と定義したときに、IS1×0.9≦IS2≦IS1×1.1の条件を満たす。低画素化処理部12は、欠陥の消失や劣化を回避するために、低画素化の下限制限を設けることが好ましい。復元器7で処理できる画像サイズ(GPU(グラフィックカード)のメモリ容量)とベース画像BIとで縮小率(上記下限制限)が決定される。低画素化処理部12における低画素化処理方法としては、面積平均法(平均画素法)、二アレストネイバー法(最近傍補間)、バイリニア法(線形補間)、バイキュービック法、Lanczos3などが挙げられる。
 高画素化処理部13は、低画素化処理が行われたベース画像BI及び欠陥画像DIの組み合わせ、又は低画素化処理が行われた合成画像CIから生成された疑似欠陥画像PDIに対して高画素化(超解像化)処理を実行する。高画素化処理部13は、疑似欠陥画像PDIの画像サイズ(画素数)が、検査用画像の画像サイズ(画素数)に対して同一又は類似する画像サイズ(画素数)になるように高画素化処理を実行する。高画素化処理部13により高画素化処理された疑似欠陥画像PDIを含む教師データTDとして欠陥診断モデル11を作成することで、欠陥診断モデル11が高画素での検査に対応できるようになる。高画素化処理部13における高画素化処理方法としては、SRCNN(Super-Resolution Convolutional Neural Network)、FSRCNN(Fast Super-Resolution Convolutional Neural Network)などが挙げられる。
 上記の構成によれば、少なくとも1つの復元器7は、縮小ベース画像RBIの特徴を学習するので、縮小化処理される前のベース画像BIの特徴を学習する場合に比べて、学習に用いるハードウェアに要求される性能を抑えることができる。疑似欠陥画像PDIとして生成できる画像サイズは、復元器7が学習した画像サイズに依存するので、低画素化処理部12において、復元器7に入力される合成画像CI又は合成画像CIの素となるベース画像BIと欠陥画像DIの組み合わせに対して低画素化処理が行われる。対象製品のサイズが大きく欠陥が小さい製品については、高画素での検査が望ましいので、高画素での検査に対応できるように、高画素化処理部13において、欠陥診断モデル11の教師データTDとなる疑似欠陥画像PDIに対する高画素化処理が行われる。上記の構成によれば、低画素化処理部12及び高画素化処理部13を設けることで、ハードウェアの性能により適用できない製品(具体的には、画像サイズが大きく、欠陥が小さい製品。つまり、画像サイズを上げないと撮影できない製品)の疑似欠陥画像PDIの生成が可能になり、欠陥診断モデル作成装置1が適用可能な製品を増やすことができる。
 なお、低画素化処理部12における低画素化の下限制限を設けることで、画像サイズが大きい対象製品に小さな欠陥が生じた場合でも、疑似欠陥画像PDIの生成時における欠陥の消失や劣化を回避しつつ、生成される疑似欠陥画像PDIの品質の維持が出来るようになる。
 幾つかの実施形態では、上述した少なくとも1つの復元器7(図示例では、複数)は、ベース画像BIから直接的に、ベース画像BIの特徴を学習するように構成されていてもよい。復元器7の教師データとしてベース画像BIが用いられる。この場合には、上述した欠陥診断モデル作成装置1は、低画素化処理部12と、高画素化処理部13と、を備えていなくてもよい。
(第1適合度評価部)
 図6は、一実施形態に係る欠陥診断モデル作成装置の構成を概略的に示す概略構成図である。幾つかの実施形態では、上述した欠陥診断モデル作成装置1は、図6に示されるように、第1適合度評価モデル15及び第1不適合画像除去部16を含む第1適合度評価部14をさらに備える。
 第1適合度評価モデル15は、欠陥が発生した上記製品(対象製品と同一又は類似した製品)が撮影された欠陥あり画像、及び欠陥が発生していない上記製品が撮影された欠陥なし画像を含む適合度評価用教師データGFEを予め学習させた学習済みモデルからなる。第1適合度評価モデル15は、実際に撮影された画像(欠陥あり画像及び欠陥なし画像)を含む適合度評価用教師データGFEを学習済みであり、疑似欠陥画像PDIを入力することで、入力された疑似欠陥画像PDIの実際に撮影された画像との類似度を定量的に評価し、評価結果を適合度として出力する。第1適合度評価モデル15に入力された疑似欠陥画像PDIの実際に撮影された画像に対する類似度が高い程、第1適合度評価モデル15において出力される適合度が高くなる。
 第1適合度評価モデル15は、図2に示されるような、入力層、1層以上の中間層及び出力層を含んで構成される畳み込みニューラルネットワーク(ニューラルネットワーク)を含む学習モデルに対する学習処理により生成されたものであってもよい。
 図7は、一実施形態における第1適合度評価モデルが出力する評価結果を説明するための説明図である。図示される実施形態では、第1適合度評価モデル15が出力する評価結果(適合度)は、0(下限値)以上1(上限値)以下の範囲に含まれる数値であり、第1適合度評価モデル15に入力された疑似欠陥画像PDIの実際に撮影された画像に対する類似度が高い程、上記適合度(第1適合度DC1)は、上限値である1に近づくようになっている。
 第1不適合画像除去部16は、上述した高画素化処理部13によって高画素化処理が実行された疑似欠陥画像PDIの内、第1適合度評価モデル15における適合度(第1適合度DC1)が第1閾値FTに満たない疑似欠陥画像PDIを教師データTDの候補から除外するように構成されている。第1適合度DC1が第1閾値FTに満たない疑似欠陥画像PDIは、復元器7や高画素化処理部13などにおいて異常な出力となっており、教師データTDとして適切でないので、第1不適合画像除去部16において教師データTDの候補から取り除かれる。これにより、教師データTDに含まれる複数の疑似欠陥画像PDIの夫々は、第1適合度DC1が第1閾値FT以上の条件を満たすものになっている。
 上記の構成によれば、欠陥あり画像及び欠陥なし画像を含む適合度評価用教師データGFEを予め学習させた第1適合度評価モデル15により、復元器7から出力されて高画素化処理が実行された疑似欠陥画像PDIの品質(疑似欠陥画像PDIが物理的に発生しうる現実に即した画像であるか否か)を評価することができる。第1不適合画像除去部16により、第1適合度評価モデル15における適合度が不足する(第1閾値FTに満たない)疑似欠陥画像PDIを教師データTDの候補から除外できる。これにより、欠陥診断モデル11が物理的に発生しない非現実的な欠陥画像DIを含む疑似欠陥画像PDIを教師データTDとして学習して欠陥の診断精度を低下させることを抑制できる。
 仮に第1閾値FTが高すぎると、第1不適合画像除去部16において発生頻度が低い稀な欠陥画像RDIが教師データTDの候補から除外される虞がある。この場合には、欠陥診断モデル11が上記稀な欠陥画像RDIを学習できなくなるので、上記稀な欠陥画像RDIに対する欠陥診断モデル11の検出精度が低下する虞がある。また、第1閾値FTが低すぎると、第1不適合画像除去部16において非現実的な欠陥画像DIが教師データTDの候補から除外されない虞がある。この場合には、欠陥診断モデル11が非現実的な欠陥画像DIを学習して、欠陥の診断精度を低下させる虞がある。このため、第1閾値FTの最適化が求められる。なお、第1閾値FTは、手動で設定されるようになっていてもよいし、後述する第1閾値調整部91などにより自動で設定されるようになっていてもよい。
(第1閾値調整部)
 幾つかの実施形態では、上述した欠陥診断モデル作成装置1は、図6に示されるように、上述した欠陥診断モデル11の検出精度を考慮して、上述した第1閾値FTを調整するように構成された第1閾値調整部91をさらに備える。
 上述した欠陥診断部23及び判定結果出力部24により、欠陥診断モデル11による欠陥の有無の判定結果が出力される。欠陥診断モデル作成装置1は、欠陥診断モデル作成装置1や欠陥診断装置2(画像データベース31など)に存在する、検出精度評価部81において精度が不足している画像に近い疑似欠陥画像PDI及び欠陥あり画像(実撮影画像ASI)を調査し、教師データTDに追加する画像を決定する。その後、第1閾値調整部91による第1閾値FTの変更が行われた後に、疑似欠陥画像PDIの生成及び教師データTDへの追加が行われ、欠陥診断モデル11が再構成される。再構成された欠陥診断モデル11を用いて、欠陥の有無の判定が行われる。
 或る実施形態では、第1閾値調整部91は、各々数値が異なる複数の第1閾値FTを用意し、複数の第1閾値FTを設定することで得られる欠陥診断モデル11の検出精度(例えば、検出精度評価部81が出力する評価結果)を比較し、欠陥診断モデル11の検出精度が高くなる第1閾値FTの最適値を求めるように構成されていてもよい。第1閾値調整部91は、第1閾値FTの最適値を複数回に亘り繰り返し求めるように構成されていてもよい。
 上記の構成によれば、第1閾値調整部91において、欠陥診断モデル11の検出精度を考慮して第1閾値FTを調整することで、第1不適合画像除去部16において、教師データTDの候補として稀な欠陥画像RDIを含む疑似欠陥画像PDIを残しつつ、非現実的な欠陥画像DIを含む疑似欠陥画像PDIを教師データTDの候補から精度良く除去できる。これにより、欠陥診断モデル11の検出精度の向上が図れる。
(第2適合度評価部)
 幾つかの実施形態では、上述した欠陥診断モデル作成装置1は、図6に示されるように、第2適合度評価モデル18及び第2不適合画像除去部19を含む第2適合度評価部17をさらに備える。
 第2適合度評価モデル18は、欠陥が発生した上記製品(対象製品と同一又は類似した製品)が撮影された欠陥あり画像、及び欠陥が発生していない上記製品が撮影された欠陥なし画像を含む適合度評価用教師データGFEを予め学習させた学習済みモデルからなる。適合度評価用教師データGFEは、画像データベース31に記憶されている。第2適合度評価モデル18は、実際に撮影された画像(欠陥あり画像及び欠陥なし画像)を含む適合度評価用教師データGFEを学習済みであり、合成画像CIを入力することで、入力された合成画像CIの実際に撮影された画像との類似度を定量的に評価し、評価結果を適合度として出力する。第2適合度評価モデル18に入力された合成画像CIの実際に撮影された画像に対する類似度が高い程、第2適合度評価モデル18において出力される適合度が高くなる。
 図8は、一実施形態における第2適合度評価モデルが出力する評価結果を説明するための説明図である。図示される実施形態では、第2適合度評価モデル18が出力する評価結果(適合度)は、0(下限値)以上1(上限値)以下の範囲に含まれる数値であり、第2適合度評価モデル18に入力された合成画像CIの実際に撮影された画像に対する類似度が高い程、上記適合度(第2適合度DC2)は、上限値である1に近づくようになっている。
 第2不適合画像除去部19は、第2適合度評価モデル18における適合度(第2適合度DC2)が第2閾値STに満たない合成画像CIを教師データTDの候補から除外するように構成されている。第2適合度評価モデル18に入力される合成画像CIは、図6中実線で示されるような、低画素化処理部12における低画素化処理が行われる前の合成画像CIであってもよいし、図6中点線で示されるような、低画素化処理部12における低画素化処理が行われた後の合成画像CIであってもよい。第2適合度DC2が第2閾値STに満たない合成画像CIは、合成画像作成部41や低画素化処理部12などにおいて異常な出力となっており、教師データTDとして適切でないので、第2不適合画像除去部19において教師データTDの候補から取り除かれる。これにより、教師データTDに含まれる複数の疑似欠陥画像PDIの夫々は、第2適合度DC2が第2閾値ST以上の条件を満たすものになっている。
 上記の構成によれば、欠陥あり画像及び欠陥なし画像を含む適合度評価用教師データGFEを予め学習させた第2適合度評価モデル18により、合成画像CIの品質(合成画像CI又は疑似欠陥画像PDIが物理的に発生しうる現実に即した画像であるか否か)を評価することができる。第2不適合画像除去部19により、第2適合度評価モデル18における適合度が不足する(第2閾値に満たない)合成画像CI(例えば、実際に発生しない部位に欠陥がある合成画像)を教師データTDの候補から除外できる。これにより、欠陥診断モデル11が物理的に発生しない非現実的な欠陥画像DIを含む疑似欠陥画像PDIを教師データTDとして学習して欠陥の診断精度を低下させることを抑制できる。
 仮に第2閾値STが高すぎると、第2不適合画像除去部19において発生頻度が低い稀な欠陥画像RDIが教師データTDの候補から除外される虞がある。この場合には、欠陥診断モデル11が上記稀な欠陥画像RDIを学習できなくなるので、上記稀な欠陥画像RDIに対する欠陥診断モデル11の検出精度が低下する虞がある。また、第2閾値STが低すぎると、第2不適合画像除去部19において非現実的な欠陥画像DIが教師データTDの候補から除外されない虞がある。この場合には、欠陥診断モデル11が非現実的な欠陥画像DIを学習して、欠陥の診断精度を低下させる虞がある。このため、第2閾値STの最適化が求められる。なお、第2閾値STは、手動で設定されるようになっていてもよいし、後述する第2閾値調整部92などにより自動で設定されるようになっていてもよい。
(第2閾値調整部)
 幾つかの実施形態では、上述した欠陥診断モデル作成装置1は、図6に示されるように、欠陥診断モデル11の検出精度を考慮して、第2閾値STを調整するように構成された第2閾値調整部92をさらに備える。
 上述したように、欠陥診断モデル作成装置1は、欠陥診断モデル作成装置1や欠陥診断装置2(画像データベース31など)に存在する、検出精度評価部81において精度が不足している画像に近い疑似欠陥画像PDI及び欠陥あり画像(実撮影画像ASI)を調査し、教師データTDに追加する画像を決定する。その後、第2閾値調整部92による第2閾値STの変更が行われた後に、疑似欠陥画像PDIの生成及び教師データTDへの追加が行われ、欠陥診断モデル11が再構成される。再構成された欠陥診断モデル11を用いて、欠陥の有無の判定が行われる。
 或る実施形態では、第2閾値調整部92は、各々数値が異なる複数の第2閾値STを用意し、複数の第2閾値STを設定することで得られる欠陥診断モデル11の検出精度(例えば、検出精度評価部81が出力する評価結果)を比較し、欠陥診断モデル11の検出精度が高くなる第2閾値STの最適値を求めるように構成されていてもよい。第2閾値調整部92は、第2閾値STの最適値を複数回に亘り繰り返し求めるように構成されていてもよい。
 上記の構成によれば、第2閾値調整部92において、欠陥診断モデル11の検出精度を考慮して第2閾値STを調整することで、第2不適合画像除去部19において、教師データTDの候補として稀な欠陥画像RDIを含む合成画像CIを残しつつ、非現実的な欠陥画像DIを含む合成画像CIを教師データTDの候補から精度良く除去できる。これにより、欠陥診断モデル11の検出精度の向上が図れる。
(再学習部)
 幾つかの実施形態では、上述した欠陥診断モデル作成装置1は、図6に示されるように、欠陥診断モデル11の検出精度が所定以下となる欠陥あり画像に類似した画像を適合度評価用教師データGFEに追加する再学習部93をさらに備える。
 再学習部93は、欠陥診断モデル作成装置1や欠陥診断装置2に存在する(画像データベース31に記憶された画像や、教師データ取得部が取得した第1適合度評価モデル15や第2適合度評価モデル18の適合度を満たした疑似欠陥画像PDIなど)、検出精度評価部81において精度が不足している画像に近い疑似欠陥画像PDI及び欠陥あり画像(実撮影画像ASI)を調査する。再学習部93は、調査結果に基づいて、検出精度評価部81において精度が不足している画像に近い疑似欠陥画像PDI及び欠陥あり画像(実撮影画像ASI)を、第1適合度評価モデル15や第2適合度評価モデル18の適合度評価用教師データGFEに追加し、第1適合度評価モデル15や第2適合度評価モデル18に再学習させる。第1不適合画像除去部16や第2不適合画像除去部19では、再学習した第1適合度評価モデル15や第2適合度評価モデル18が用いられる。
 第1不適合画像除去部16により、第1適合度評価モデル15における適合度が第1閾値FTに満たない疑似欠陥画像PDIが教師データTDの候補から除外される。欠陥診断モデル11の検出精度が所定以下となる欠陥あり画像に類似した疑似欠陥画像PDIが、第1不適合画像除去部16において教師データTDの候補から除外されて、教師データTDに含まれる数が少なくなることで、上記欠陥あり画像に対する欠陥診断モデル11の検出精度が低下している可能性がある。再学習部93は、第1適合度評価モデル15の適合度評価用教師データGFEに、上記欠陥あり画像に類似した画像を追加して第1適合度評価モデル15に再学習させることで、上記欠陥あり画像に類似した疑似欠陥画像PDIが、第1不適合画像除去部16において教師データTDの候補から除外されるのを抑制し、教師データTDに含まれる数を増やすことで、上記欠陥あり画像に同一又は類似した画像に対する欠陥診断モデル11の検出精度を向上できる。
 第2不適合画像除去部19により、第2適合度評価モデル18における適合度が第2閾値STに満たない合成画像CIが教師データTDの候補から除外される。欠陥診断モデル11の検出精度が所定以下となる欠陥あり画像に類似した合成画像CIが、第2不適合画像除去部19において教師データTDの候補から除外されて教師データTDに含まれる数が少なくなることで、上記欠陥あり画像に対する欠陥診断モデル11の検出精度が低下している可能性がある。再学習部93は、第2適合度評価モデル18の適合度評価用教師データGFEに、上記欠陥あり画像に類似した画像を追加して第2適合度評価モデル18に再学習させることで、上記欠陥あり画像に類似した合成画像CIが、第2不適合画像除去部19において教師データTDの候補から除外されるのを抑制し、教師データTDに含まれる数を増やすことで、上記欠陥あり画像に同一又は類似した画像に対する欠陥診断モデル11の検出精度を向上できる。
 上記の構成によれば、再学習部93において、欠陥診断モデル11の検出精度が所定以下となる欠陥あり画像に類似した画像を適合度評価用教師データGFEに追加することで、欠陥診断モデル11が学習を必要とする画像(欠陥診断モデル11の検出精度が低い画像)を第1適合度評価モデル15や第2適合度評価モデル18に学習させることができ、上記類似した画像(欠陥診断モデル11の検出精度が低い画像)に対する第1適合度評価モデル15や第2適合度評価モデル18における適合度の評価精度を向上できる。第1適合度評価モデル15や第2適合度評価モデル18における適合度の評価精度を向上させることで、欠陥診断モデル11が学習を必要とする画像が、第1不適合画像除去部16や第2不適合画像除去部19において教師データTDの候補から除外されることを抑制できる。これにより、欠陥診断モデル11が学習を必要とする画像(教師データTD)を欠陥診断モデル11に学習させることができるため、欠陥診断モデル11の検出精度を向上できる。
 図9は、一実施形態に係る欠陥診断モデル作成装置の構成を概略的に示す概略構成図である。幾つかの実施形態では、上述した欠陥診断モデル作成装置1は、図9に示されるように、欠陥画像DIに含まれる欠陥の特徴を上記欠陥に類似した特徴に変更する画像加工処理を施すように構成された欠陥画像加工部94をさらに備える。
 欠陥画像加工部94における画像加工処理により、1つの欠陥画像DIから該欠陥画像DIに含まれる欠陥の特徴に類似した特徴の欠陥を含む複数の欠陥画像DIを生成できる。或る実施形態では、欠陥画像加工部94における画像加工処理は、欠陥画像DIに含まれる欠陥の拡大、縮小、回転、スキュー(欠陥を斜めに傾かせる)、反転(上下反転、左右反転)又はアスペクト比の変更の少なくとも一つを含む。或る実施形態では、上述した画像取得部3は、欠陥画像加工部94において画像加工処理が施された欠陥画像DIを取得してもよい。また、或る実施形態では、欠陥画像加工部94における欠陥画像DIに対する画像加工処理は、ベース画像BIの一部に欠陥画像DIを貼り付けるときに実行してもよいし、ベース画像BIの一部に欠陥画像DIが貼り付けられた後に実行してもよい。なお、欠陥診断モデル作成装置1は、全ての欠陥画像DIを欠陥画像加工部94に通さなくてもよい。欠陥診断モデル作成装置1は、図9に示されるように、欠陥画像加工部94における画像加工処理が施されていない欠陥画像DIを復元器7や後述する貼り付け位置決定部95に入力してもよい。また、欠陥画像加工部94を通過した欠陥画像DIを貼り付け位置決定部95に入力してもよい。
 上記の構成によれば、欠陥画像加工部94により、欠陥画像DIに含まれる欠陥の特徴を欠陥に類似した特徴に変更する画像加工処理を施すことで、作成される合成画像CIの数を増加でき、作成した合成画像CIの分だけ疑似欠陥画像PDIを生成できる。欠陥診断モデル作成装置1は、欠陥画像加工部94を備えることで、疑似欠陥画像PDIを増加でき、多量の教師データTDを欠陥診断モデル11に学習させることができるため、欠陥診断モデル11の欠陥の有無の判定精度を向上できる。
 なお、欠陥画像加工部94において生成される欠陥画像DIは、物理的に発生しない非現実的な欠陥画像DIを含むことがあるが、物理的に発生しない非現実的な欠陥画像DIを含む合成画像CIや疑似欠陥画像PDIは、上述した第1不適合画像除去部16や上述した第2不適合画像除去部19において除去できる。
 幾つかの実施形態では、上述した欠陥診断モデル作成装置1は、図9に示されるように、欠陥画像DIのベース画像BIへの貼り付け位置をランダムに決定する貼り付け位置決定部95をさらに備える。上述した合成画像作成部41は、貼り付け位置決定部95が決定したベース画像BIの貼り付け位置に欠陥画像DIを貼り付ける。なお、貼り付け位置決定部95は、予め設定された範囲内において、ベース画像BIに対する欠陥画像DIの貼り付け位置をランダムに決定するように構成されていてもよい。
 上記の構成によれば、貼り付け位置決定部95において、欠陥画像DIのベース画像BIへの貼り付け位置をランダムに決定することで、作成される合成画像CIの数を増加でき、作成した合成画像CIの分だけ疑似欠陥画像PDIを生成できる。欠陥診断モデル作成装置1は、貼り付け位置決定部95を備えることで、疑似欠陥画像PDIを増加でき、多量の教師データTDを欠陥診断モデル11に学習させることができるため、欠陥診断モデル11の欠陥の有無の判定精度を向上できる。
 なお、貼り付け位置決定部95が決定した貼り付け位置に欠陥画像DIが貼り付けられた合成画像CIは、物理的に発生しない非現実的な欠陥画像DIを含むことや、現実的な欠陥画像DIの貼り付け位置が非現実であるというような、合成画像CI自体が物理的に発生しない非現実的な画像であることがあるが、物理的に発生しない非現実的な欠陥画像DIを含む合成画像CIや物理的に発生しない非現実的な合成画像CI、又はこれらの合成画像CIから生成された疑似欠陥画像PDIは、上述した第1不適合画像除去部16や上述した第2不適合画像除去部19において除去できる。
 上述した欠陥診断モデル作成装置1及び欠陥診断装置2の夫々は、プログラムに記述された処理に応じて所定の機能を実現可能に構成されたコンピュータを含んでいるが、一般的な構成および制御については適宜割愛することとする。欠陥診断モデル作成装置1及び欠陥診断装置2の夫々は、図示しないCPU(プロセッサ)や、ROMやRAMといったメモリ、外部記憶装置などの記憶装置、I/Oインターフェース、通信インターフェースなどからなるマイクロコンピュータとして構成されている。欠陥診断モデル作成装置1や欠陥診断装置2は、例えば上記メモリの主記憶装置にロードされたプログラムの命令に従ってCPUが動作(例えばデータの演算など)することで、上述した各部における制御を実現してもよい。
 図10は、一実施形態に係る欠陥診断モデル作成方法のフロー図である。幾つかの実施形態に係る欠陥診断モデル作成方法100は、上述した欠陥診断モデル11を作成するための方法である。欠陥診断モデル作成方法100は、図10に示されるように、画像取得ステップS1と、疑似欠陥画像生成ステップS2と、教師データ取得ステップS3と、欠陥診断モデル作成ステップS4と、を備える。
 画像取得ステップS1では、上述した少なくとも1つのベース画像BI及び上述した複数の欠陥画像DIを取得することが行われる。上述した複数の欠陥画像DIは、発生確率が所定以下である欠陥が撮影された少なくとも1つの稀な欠陥画像RDIを含む。疑似欠陥画像生成ステップS2では、ベース画像BIの一部に欠陥画像DIが貼り付けられた合成画像CIを、ベース画像BIの特徴を予め学習済みの少なくとも1つの復元器7に入力することで疑似欠陥画像PDIを生成することが行われる。なお、ベース画像BIごとに該ベース画像BIに関連付けられた復元器7、すなわち、該ベース画像BIの特徴を学習済みの復元器7が生成される。疑似欠陥画像生成ステップS2では、合成画像CIに含まれるベース画像BIに関連付けられた復元器7に、上記合成画像CIを入力することが好ましい。
 教師データ取得ステップS3では、疑似欠陥画像PDIの複数から構成される疑似欠陥画像群PDIGを含む教師データTDを取得することが行われる。欠陥診断モデル作成ステップS4では、教師データTDを学習させることで欠陥診断モデル11を作成することが行われる。
 欠陥診断モデル作成方法100によれば、稀な欠陥を有する合成画像CIや疑似欠陥画像PDIを生成でき、生成した稀な欠陥を有する疑似欠陥画像PDIを教師データTDとして使用できる。欠陥診断モデル作成方法100によれば、実際に欠陥が発生する可能性の幅(バラツキ)を考慮した教師データTDを欠陥診断モデル11に学習させることができるため、発生頻度が高い欠陥の有無だけでなく、稀な欠陥の有無も精度良く判定可能な欠陥診断モデル11を作成できる。
 幾つかの実施形態に係る欠陥診断モデル作成プログラム100Aは、上述した欠陥診断モデル11を作成するためのプログラムである。欠陥診断モデル作成プログラム100Aは、図10に示されるような、上述した画像取得ステップS1と、上述した疑似欠陥画像生成ステップS2と、上述した教師データ取得ステップS3と、上述した欠陥診断モデル作成ステップS4と、をコンピュータに実行させるためのプログラムである。欠陥診断モデル作成プログラム100Aは、欠陥診断モデル作成装置1における各部の機能を実現させるためのプログラムを含むものである。欠陥診断モデル作成プログラム100Aは、コンピュータに読み取り可能な記録媒体(例えば、フラッシュメモリ)に記憶されていてもよい。
 欠陥診断モデル作成プログラム100Aによれば、稀な欠陥を有する合成画像CIや疑似欠陥画像PDIを生成でき、生成した稀な欠陥を有する疑似欠陥画像PDIを教師データTDとして使用できる。欠陥診断モデル作成プログラム100Aによれば、実際に欠陥が発生する可能性の幅(バラツキ)を考慮した教師データTDを欠陥診断モデル11に学習させることができるため、発生頻度が高い欠陥の有無だけでなく、稀な欠陥の有無も精度良く判定可能な欠陥診断モデル11を作成できる。
 本明細書において、「ある方向に」、「ある方向に沿って」、「平行」、「直交」、「中心」、「同心」或いは「同軸」等の相対的或いは絶対的な配置を表す表現は、厳密にそのような配置を表すのみならず、公差、若しくは、同じ機能が得られる程度の角度や距離をもって相対的に変位している状態も表すものとする。
 例えば、「同一」、「等しい」及び「均質」等の物事が等しい状態であることを表す表現は、厳密に等しい状態を表すのみならず、公差、若しくは、同じ機能が得られる程度の差が存在している状態も表すものとする。
 また、本明細書において、四角形状や円筒形状等の形状を表す表現は、幾何学的に厳密な意味での四角形状や円筒形状等の形状を表すのみならず、同じ効果が得られる範囲で、凹凸部や面取り部等を含む形状も表すものとする。
 また、本明細書において、一の構成要素を「備える」、「含む」、又は、「有する」という表現は、他の構成要素の存在を除外する排他的な表現ではない。
 本開示は上述した実施形態に限定されることはなく、上述した実施形態に変形を加えた形態や、これらの形態を適宜組み合わせた形態も含む。
 上述した幾つかの実施形態に記載の内容は、例えば以下のように把握されるものである。
1)本開示の少なくとも一実施形態にかかる欠陥診断モデル作成装置(1)は、
 対象製品の画像から前記対象製品における欠陥の有無を判定する欠陥診断モデル(11)を作成するための欠陥診断モデル作成装置(1)であって、
 前記対象製品と同一又は類似した製品が撮影された少なくとも1つのベース画像(BI)、及び前記製品に発生した欠陥が撮影された複数の欠陥画像(DI)であって、発生確率が所定以下である欠陥が撮影された少なくとも1つの稀な欠陥画像(RDI)を含む複数の欠陥画像(DI)を取得する画像取得部(3)と、
 前記ベース画像(BI)の一部に前記欠陥画像(DI)が貼り付けられた合成画像(CI)を、前記ベース画像(BI)の特徴を予め学習済みの少なくとも1つの復元器(7)に入力することで疑似欠陥画像(PDI)を生成する疑似欠陥画像生成部(4)と、
 前記疑似欠陥画像(PDI)の複数から構成される疑似欠陥画像群を含む教師データ(TD)を取得する教師データ取得部(5)と、
 前記教師データ(TD)を学習させることで欠陥診断モデル(11)を作成する欠陥診断モデル作成部(6)と、を備える。
 上記1)の構成によれば、上記少なくとも1つの復元器(7)は、ベース画像(BI)の特徴(色合い、テクスチャ、構造など)を予め学習しているため、ベース画像(BI)に意図的に合成した欠陥画像(DI)を該ベース画像(BI)に違和感なく調和させた疑似欠陥画像(PDI)を生成できる。合成画像(CI)は、ベース画像(BI)の一部に欠陥画像(DI)を貼り付けることで生成できるので、合成画像(CI)を生成する際に、欠陥画像(DI)の欠陥の加工や、合成画像(CI)における欠陥の位置の変更、合成画像(CI)に含まれる欠陥の種類の変更が容易である。欠陥診断モデル作成装置(1)は、合成画像(CI)の素となる欠陥画像(DI)に欠陥の形状が稀である稀な欠陥画像(RDI)を含ませることで、稀な欠陥を有する合成画像(CI)や疑似欠陥画像(PDI)を生成でき、生成した稀な欠陥を有する疑似欠陥画像(PDI)を教師データ(TD)として使用できる。これにより、欠陥診断モデル作成装置(1)は、実際に欠陥が発生する可能性の幅(バラツキ)を考慮した教師データ(TD)を欠陥診断モデル(11)に学習させることができるため、発生頻度が高い欠陥の有無だけでなく、稀な欠陥の有無も精度良く判定可能な欠陥診断モデル(11)を作成できる。
2)幾つかの実施形態では、上記1)に記載の欠陥診断モデル作成装置(1)であって、
 前記欠陥診断モデル作成装置(1)は、
 前記疑似欠陥画像群における複数の欠陥画像(DI)に含まれる前記稀な欠陥画像(RDI)の割合を調整するように構成された画像の組み合わせ調整部(8)をさらに備える。
 上記2)の構成によれば、画像の組み合わせ調整部(8)により、疑似欠陥画像群に含まれる稀な欠陥画像(RDI)の割合を増やすことで、稀な欠陥画像(RDI)が教師データ(TD)に占める割合を増やすことができるため、欠陥診断モデル(11)の稀な欠陥画像(RDI)に対する識別精度を向上させることができる。
3)幾つかの実施形態では、上記2)に記載の欠陥診断モデル作成装置(1)であって、
 前記画像の組み合わせ調整部(8)は、
 前記欠陥診断モデル(11)の検出精度を評価する検出精度評価部(81)と、
 前記検出精度評価部(81)の評価結果に基づいて、前記欠陥診断モデル(11)の検出精度が所定以上の検出精度になるように前記稀な欠陥画像(RDI)の割合を決定する割合決定部(82)と、を含む。
 上記3)の構成によれば、割合決定部(82)が、検出精度評価部(81)の評価結果に基づいて、欠陥診断モデル(11)の検出精度が所定以上の検出精度になるように稀な欠陥画像(DI)の割合を決定することで、欠陥診断モデル(11)の検出精度を向上できるように、稀な欠陥画像(RDI)が教師データ(TD)に占める割合を調整できるため、欠陥診断モデル(11)の稀な欠陥に対する識別精度を向上させることができる。
4)幾つかの実施形態では、上記1)から上記3)までの何れかに記載の欠陥診断モデル作成装置(1)であって、
 前記少なくとも1つの復元器(7)は、第1ベース画像(BI1)の特徴を予め学習済みの第1復元器(7A)と、前記第1ベース画像(BI1)とは特徴が異なる第2ベース画像(BI2)の特徴を予め学習済みの第2復元器(7B)と、を含む。
 上記4)の構成によれば、欠陥診断モデル作成装置(1)は、個々に特徴が異なるベース画像(BI1、BI2)の特徴を予め学習した複数の復元器(第1復元器7A、第2復元器7B)を備えるので、個々に特徴が異なるベース画像(BI1、BI2)に対応した疑似欠陥画像(PDI)を生成できる。これにより、欠陥診断モデル作成装置(1)が生成できる疑似欠陥画像(PDI)の種類を増やし、教師データ(TD)に幅を持たせることができるため、欠陥診断モデル(11)の欠陥識別精度を向上させることができる。
5)幾つかの実施形態では、上記1)から上記4)までの何れかに記載の欠陥診断モデル作成装置(1)であって、
 前記少なくとも1つの復元器(7)は、前記ベース画像(BI)を縮小化処理することにより縮小化した縮小ベース画像(RBI)の特徴を学習するように構成され、
 前記欠陥診断モデル作成装置(1)は、
 前記ベース画像(BI)及び前記欠陥画像(DI)の組み合わせ、又は前記合成画像(CI)の少なくとも一方に対して低画素化処理を実行するように構成された低画素化処理部(12)と、
 前記疑似欠陥画像(PDI)に対して高画素化処理を実行するように構成された高画素化処理部(13)と、をさらに備える。
 上記5)の構成によれば、少なくとも1つの復元器(7)は、縮小ベース画像(RBI)の特徴を学習するので、縮小化処理される前のベース画像(BI)の特徴を学習する場合に比べて、学習に用いるハードウェアに要求される性能を抑えることができる。疑似欠陥画像(PDI)として生成できる画像サイズは、復元器(7)が学習した画像サイズに依存するので、低画素化処理部(12)において、復元器(7)に入力される合成画像(CI)又は合成画像(CI)の基となるベース画像(BI)と欠陥画像(DI)の組み合わせに対して低画素化処理が行われる。対象製品のサイズが大きく欠陥が小さい製品については、高画素での検査が望ましいので、高画素での検査に対応できるように、高画素化処理部(13)において、欠陥診断モデル(11)の教師データ(TD)となる疑似欠陥画像(PDI)に対する高画素化処理が行われる。上記5)の構成によれば、低画素化処理部(12)及び高画素化処理部(13)を設けることで、ハードウェアの性能により適用できない製品(具体的には、画像サイズが大きく、欠陥が小さい製品。つまり、画像サイズを上げないと撮影できない製品)の疑似欠陥画像(PDI)の生成が可能になり、欠陥診断モデル作成装置(1)が適用可能な製品を増やすことができる。
6)幾つかの実施形態では、上記5)に記載の欠陥診断モデル作成装置(1)であって、
 欠陥が発生した前記製品が撮影された欠陥あり画像、及び欠陥が発生していない前記製品が撮影された欠陥なし画像を含む適合度評価用教師データ(GFE)を予め学習させた第1適合度評価モデル(15)、及び
 前記高画素化処理部(13)によって前記高画素化処理が実行された前記疑似欠陥画像(PDI)の内、前記第1適合度評価モデル(15)における適合度が第1閾値(FT)に満たない前記疑似欠陥画像(PDI)を前記教師データ(TD)の候補から除外するように構成された第1不適合画像除去部(16)と、を含む第1適合度評価部(14)をさらに備える。
 上記6)の構成によれば、欠陥あり画像及び欠陥なし画像を含む適合度評価用教師データ(GFE)を予め学習させた第1適合度評価モデル(15)により、復元器(7)から出力されて高画素化処理が実行された疑似欠陥画像(PDI)の品質を評価することができる。第1不適合画像除去部(16)により、第1適合度評価モデル(15)における適合度が不足する(第1閾値FTに満たない)疑似欠陥画像(PDI)を教師データ(TD)の候補から除外できる。これにより、欠陥診断モデル(11)が物理的に発生しない非現実的な欠陥画像(DI)を教師データ(TD)として学習して欠陥の診断精度を低下させることを抑制できる。
7)幾つかの実施形態では、上記1)から上記6)までの何れかに記載の欠陥診断モデル作成装置(1)であって、
 欠陥が発生した前記製品が撮影された欠陥あり画像、及び欠陥が発生していない前記製品が撮影された欠陥なし画像を含む適合度評価用教師データ(GFE)を予め学習させた第2適合度評価モデル(18)、及び
 前記第2適合度評価モデル(18)における適合度が第2閾値(ST)に満たない前記合成画像(CI)を前記教師データ(TD)の候補から除外するように構成された第2不適合画像除去部(19)、を含む第2適合度評価部(17)をさらに備える。
 上記7)の構成によれば、欠陥あり画像及び欠陥なし画像を含む適合度評価用教師データ(GFE)を予め学習させた第2適合度評価モデル(18)により、合成画像(CI)の品質を評価することができる。第2不適合画像除去部(19)により、第2適合度評価モデル(18)における適合度が不足する(第2閾値に満たない)合成画像(CI、例えば、実際に発生しない部位に欠陥がある合成画像)を教師データ(TD)の候補から除外できる。これにより、欠陥診断モデル(11)が物理的に発生しない非現実的な欠陥画像(DI)を含む疑似欠陥画像(PDI)を教師データ(TD)として学習して欠陥の診断精度を低下させることを抑制できる。
8)幾つかの実施形態では、上記6)に記載の欠陥診断モデル作成装置(1)であって、
 前記欠陥診断モデル(11)の検出精度を考慮して、前記第1閾値(FT)を調整するように構成された第1閾値調整部(91)をさらに備える。
 上記8)の構成によれば、第1閾値調整部(91)において、欠陥診断モデル(11)の検出精度を考慮して第1閾値(FT)を調整することで、第1不適合画像除去部(16)において、教師データ(TD)の候補として稀な欠陥画像(RDI)を含む疑似欠陥画像(PDI)を残しつつ、非現実的な欠陥画像(DI)を含む疑似欠陥画像(PDI)を教師データ(TD)の候補から精度良く除去できる。これにより、欠陥診断モデル(11)の検出精度の向上が図れる。
9)幾つかの実施形態では、上記7)に記載の欠陥診断モデル作成装置(1)であって、
 前記欠陥診断モデル(11)の検出精度を考慮して、前記第2閾値(ST)を調整するように構成された第2閾値調整部(92)をさらに備える。
 上記9)の構成によれば、第2閾値調整部(92)において、欠陥診断モデル(11)の検出精度を考慮して第2閾値(ST)を調整することで、第2不適合画像除去部(19)において、教師データ(TD)の候補として稀な欠陥画像(RDI)を含む合成画像(CI)を残しつつ、非現実的な欠陥画像(DI)を含む合成画像(CI)を教師データ(TD)の候補から精度良く除去できる。これにより、欠陥診断モデル(11)の検出精度の向上が図れる。
10)幾つかの実施形態では、上記6)から上記9)までの何れかに記載の欠陥診断モデル作成装置(1)であって、
 前記欠陥診断モデル(11)の検出精度が所定以下となる前記欠陥あり画像に類似した画像を前記適合度評価用教師データ(GFE)に追加する再学習部(93)をさらに備える。
 上記10)の構成によれば、再学習部(93)において、欠陥診断モデル(11)の検出精度が所定以下となる欠陥あり画像に類似した画像を適合度評価用教師データ(GFE)に追加することで、欠陥診断モデル(11)が学習を必要とする画像(欠陥診断モデルの検出精度が低い画像)を第1適合度評価モデル(15)や第2適合度評価モデル(18)に学習させることができ、上記類似した画像(欠陥診断モデルの検出精度が低い画像)に対する第1適合度評価モデル(15)や第2適合度評価モデル(18)における適合度の評価精度を向上できる。第1適合度評価モデル(15)や第2適合度評価モデル(18)における適合度の評価精度を向上させることで、欠陥診断モデル(11)が学習を必要とする画像が、第1不適合画像除去部(16)や第2不適合画像除去部(19)において教師データ(TD)の候補から除外されることを抑制できる。これにより、欠陥診断モデル(11)が学習を必要とする画像(教師データTD)を欠陥診断モデル(11)に学習させることができるため、欠陥診断モデル(11)の検出精度を向上できる。
11)幾つかの実施形態では、上記1)から上記10)までの何れかに記載の欠陥診断モデル作成装置(1)であって、
 前記欠陥画像(DI)に含まれる前記欠陥の特徴を前記欠陥に類似した特徴に変更する画像加工処理を施すように構成された欠陥画像加工部(94)をさらに備える。
 上記11)の構成によれば、欠陥画像加工部(94)により、欠陥画像(DI)に含まれる欠陥の特徴を欠陥に類似した特徴に変更する画像加工処理を施すことで、作成される合成画像(CI)の数を増加でき、作成した合成画像(CI)の分だけ疑似欠陥画像(PDI)を生成できる。欠陥診断モデル作成装置(1)は、欠陥画像加工部(94)を備えることで、疑似欠陥画像(PDI)を増加でき、多量の教師データ(TD)を欠陥診断モデル(11)に学習させることができるため、欠陥診断モデル(11)の欠陥の有無の判定精度を向上できる。
12)幾つかの実施形態では、上記1)から上記11)までの何れかに記載の欠陥診断モデル作成装置(1)であって、
 前記欠陥画像(DI)の前記ベース画像(BI)への貼り付け位置をランダムに決定する貼り付け位置決定部(95)をさらに備える。
 上記12)の構成によれば、貼り付け位置決定部(95)において、欠陥画像(DI)のベース画像(BI)への貼り付け位置をランダムに決定することで、作成される合成画像(CI)の数を増加でき、作成した合成画像(CI)の分だけ疑似欠陥画像(PDI)を生成できる。欠陥診断モデル作成装置(1)は、貼り付け位置決定部(95)を備えることで、疑似欠陥画像(PDI)を増加でき、多量の教師データ(TD)を欠陥診断モデル(11)に学習させることができるため、欠陥診断モデル(11)の欠陥の有無の判定精度を向上できる。
13)本開示の少なくとも一実施形態にかかる欠陥診断モデル作成方法(100)は、
 対象製品の画像から前記対象製品における欠陥の有無を判定する欠陥診断モデル(11)を作成するための欠陥診断モデル作成方法(100)であって、
 前記対象製品と同一又は類似した製品が撮影された少なくとも1つのベース画像(BI)、及び前記製品に発生した欠陥が撮影された複数の欠陥画像(DI)であって、発生確率が所定以下である欠陥が撮影された少なくとも1つの稀な欠陥画像(RDI)を含む複数の欠陥画像(DI)を取得する画像取得ステップ(S1)と、
 前記ベース画像(BI)の一部に前記欠陥画像(DI)が貼り付けられた合成画像(CI)を、前記ベース画像(BI)の特徴を予め学習済みの少なくとも1つの復元器(7)に入力することで疑似欠陥画像(PDI)を生成する疑似欠陥画像生成ステップ(S2)と、
 前記疑似欠陥画像(PDI)の複数から構成される疑似欠陥画像群を含む教師データ(TD)を取得する教師データ取得ステップ(S3)と、
 前記教師データ(TD)を学習させることで欠陥診断モデル(11)を作成する欠陥診断モデル作成ステップ(S4)と、を備える。
 上記13)に記載の欠陥診断モデル作成方法(100)によれば、稀な欠陥を有する合成画像(CI)や疑似欠陥画像(PDI)を生成でき、生成した稀な欠陥を有する疑似欠陥画像(PDI)を教師データ(TD)として使用できる。欠陥診断モデル作成方法(100)によれば、実際に欠陥が発生する可能性の幅(バラツキ)を考慮した教師データ(TD)を欠陥診断モデル(11)に学習させることができるため、発生頻度が高い欠陥の有無だけでなく、稀な欠陥の有無も精度良く判定可能な欠陥診断モデル(11)を作成できる。
14)本開示の少なくとも一実施形態にかかる欠陥診断モデル作成プログラム(100A)は、
 対象製品の画像から前記対象製品における欠陥の有無を判定する欠陥診断モデル(11)を作成するための欠陥診断モデル作成プログラム(100A)であって、
 前記対象製品と同一又は類似した製品が撮影された少なくとも1つのベース画像(BI)、及び前記製品に発生した欠陥が撮影された複数の欠陥画像(DI)であって、発生確率が所定以下である欠陥が撮影された少なくとも1つの稀な欠陥画像(RDI)を含む複数の欠陥画像(DI)を取得する画像取得ステップ(S1)と、
 前記ベース画像(BI)の一部に前記欠陥画像(DI)が貼り付けられた合成画像(CI)を、前記ベース画像(BI)の特徴を予め学習済みの少なくとも1つの復元器(7)に入力することで疑似欠陥画像(PDI)を生成する疑似欠陥画像生成ステップ(S2)と、
 前記疑似欠陥画像(PDI)の複数から構成される疑似欠陥画像群を含む教師データ(TD)を取得する教師データ取得ステップ(S3)と、
 前記教師データ(TD)を学習させることで欠陥診断モデル(11)を作成する欠陥診断モデル作成ステップ(S4)と、をコンピュータに実行させるためのプログラムである。
 上記14)の記載の欠陥診断モデル作成プログラム(100A)によれば、稀な欠陥を有する合成画像(CI)や疑似欠陥画像(PDI)を生成でき、生成した稀な欠陥を有する疑似欠陥画像(PDI)を教師データ(TD)として使用できる。欠陥診断モデル作成プログラム(100A)によれば、実際に欠陥が発生する可能性の幅(バラツキ)を考慮した教師データ(TD)を欠陥診断モデル(11)に学習させることができるため、発生頻度が高い欠陥の有無だけでなく、稀な欠陥の有無も精度良く判定可能な欠陥診断モデル(11)を作成できる。
1     欠陥診断モデル作成装置
2     欠陥診断装置
3     画像取得部
4     疑似欠陥画像生成部
5     教師データ取得部
6     欠陥診断モデル作成部
7,7A,7B 復元器
8     画像の組み合わせ調整部
10    欠陥診断システム
11    欠陥診断モデル
12    低画素化処理部
13    高画素化処理部
14    第1適合度評価部
15    第1適合度評価モデル
16    第1不適合画像除去部
17    第2適合度評価部
18    第2適合度評価モデル
19    第2不適合画像除去部
21    欠陥診断モデル記憶部
22    対象製品画像取得部
23    欠陥診断部
24    判定結果出力部
31    画像データベース
41    合成画像作成部
42    復元器記憶部
43    画像生成部
44    疑似欠陥画像記憶部
81    検出精度評価部
82    割合決定部
91    第1閾値調整部
92    第2閾値調整部
93    再学習部
94    欠陥画像加工部
95    貼り付け位置決定部
100   欠陥診断モデル作成方法
100A  欠陥診断モデル作成プログラム
ASI   実撮影画像
BI,BI1,BI2,BI3 ベース画像
CI    合成画像
DI    欠陥画像
FT    第1閾値
GFE   適合度評価用教師データ
PDI   疑似欠陥画像
PDIG  疑似欠陥画像群
RBI   縮小ベース画像
RDI   稀な欠陥画像
S1    画像取得ステップ
S2    疑似欠陥画像生成ステップ
S3    教師データ取得ステップ
S4    欠陥診断モデル作成ステップ
ST    第2閾値
TD    教師データ

Claims (14)

  1.  対象製品の画像から前記対象製品における欠陥の有無を判定する欠陥診断モデルを作成するための欠陥診断モデル作成装置であって、
     前記対象製品と同一又は類似した製品が撮影された少なくとも1つのベース画像、及び前記製品に発生した欠陥が撮影された複数の欠陥画像であって、発生確率が所定以下である欠陥が撮影された少なくとも1つの稀な欠陥画像を含む複数の欠陥画像を取得する画像取得部と、
     前記ベース画像の一部に前記欠陥画像が貼り付けられた合成画像を、前記ベース画像の特徴を予め学習済みの少なくとも1つの復元器に入力することで疑似欠陥画像を生成する疑似欠陥画像生成部と、
     前記疑似欠陥画像の複数から構成される疑似欠陥画像群を含む教師データを取得する教師データ取得部と、
     前記教師データを学習させることで欠陥診断モデルを作成する欠陥診断モデル作成部と、を備える、
    欠陥診断モデル作成装置。
  2.  前記欠陥診断モデル作成装置は、
     前記疑似欠陥画像群における複数の欠陥画像に含まれる前記稀な欠陥画像の割合を調整するように構成された画像の組み合わせ調整部をさらに備える、
    請求項1に記載の欠陥診断モデル作成装置。
  3.  前記画像の組み合わせ調整部は、
     前記欠陥診断モデルの検出精度を評価する検出精度評価部と、
     前記検出精度評価部の評価結果に基づいて、前記欠陥診断モデルの検出精度が所定以上の検出精度になるように前記稀な欠陥画像の割合を決定する割合決定部と、を含む、
    請求項2に記載の欠陥診断モデル作成装置。
  4.  前記少なくとも1つの復元器は、第1ベース画像の特徴を予め学習済みの第1復元器と、前記第1ベース画像とは特徴が異なる第2ベース画像の特徴を予め学習済みの第2復元器と、を含む、
    請求項1乃至3の何れか1項に記載の欠陥診断モデル作成装置。
  5.  前記少なくとも1つの復元器は、前記ベース画像を縮小化処理することにより縮小化した縮小ベース画像の特徴を学習するように構成され、
     前記欠陥診断モデル作成装置は、
     前記ベース画像及び前記欠陥画像の組み合わせ、又は前記合成画像の少なくとも一方に対して低画素化処理を実行するように構成された低画素化処理部と、
     前記疑似欠陥画像に対して高画素化処理を実行するように構成された高画素化処理部と、をさらに備える、
    請求項1乃至4の何れか1項に記載の欠陥診断モデル作成装置。
  6.  欠陥が発生した前記製品が撮影された欠陥あり画像、及び欠陥が発生していない前記製品が撮影された欠陥なし画像を含む適合度評価用教師データを予め学習させた第1適合度評価モデル、及び
     前記高画素化処理部によって前記高画素化処理が実行された前記疑似欠陥画像の内、前記第1適合度評価モデルにおける適合度が第1閾値に満たない前記疑似欠陥画像を前記教師データの候補から除外するように構成された第1不適合画像除去部と、を含む第1適合度評価部をさらに備える、
    請求項5に記載の欠陥診断モデル作成装置。
  7.  欠陥が発生した前記製品が撮影された欠陥あり画像、及び欠陥が発生していない前記製品が撮影された欠陥なし画像を含む適合度評価用教師データを予め学習させた第2適合度評価モデル、及び
     前記第2適合度評価モデルにおける適合度が第2閾値に満たない前記合成画像を前記教師データの候補から除外するように構成された第2不適合画像除去部、を含む第2適合度評価部をさらに備える、
    請求項1乃至6の何れか1項に記載の欠陥診断モデル作成装置。
  8.  前記欠陥診断モデルの検出精度を考慮して、前記第1閾値を調整するように構成された第1閾値調整部をさらに備える、
    請求項6に記載の欠陥診断モデル作成装置。
  9.  前記欠陥診断モデルの検出精度を考慮して、前記第2閾値を調整するように構成された第2閾値調整部をさらに備える、
    請求項7に記載の欠陥診断モデル作成装置。
  10.  前記欠陥診断モデルの検出精度が所定以下となる前記欠陥あり画像に類似した画像を前記適合度評価用教師データに追加する再学習部をさらに備える、
    請求項6乃至9の何れか1項に記載の欠陥診断モデル作成装置。
  11.  前記欠陥画像に含まれる前記欠陥の特徴を前記欠陥に類似した特徴に変更する画像加工処理を施すように構成された欠陥画像加工部をさらに備える、
    請求項1乃至10の何れか1項に記載の欠陥診断モデル作成装置。
  12.  前記欠陥画像の前記ベース画像への貼り付け位置をランダムに決定する貼り付け位置決定部をさらに備える、
     請求項1乃至11の何れか1項に記載の欠陥診断モデル作成装置。
  13.  対象製品の画像から前記対象製品における欠陥の有無を判定する欠陥診断モデルを作成するための欠陥診断モデル作成方法であって、
     前記対象製品と同一又は類似した製品が撮影された少なくとも1つのベース画像、及び前記製品に発生した欠陥が撮影された複数の欠陥画像であって、発生確率が所定以下である欠陥が撮影された少なくとも1つの稀な欠陥画像を含む複数の欠陥画像を取得する画像取得ステップと、
     前記ベース画像の一部に前記欠陥画像が貼り付けられた合成画像を、前記ベース画像の特徴を予め学習済みの少なくとも1つの復元器に入力することで疑似欠陥画像を生成する疑似欠陥画像生成ステップと、
     前記疑似欠陥画像の複数から構成される疑似欠陥画像群を含む教師データを取得する教師データ取得ステップと、
     前記教師データを学習させることで欠陥診断モデルを作成する欠陥診断モデル作成ステップと、を備える、
    欠陥診断モデル作成方法。
  14.  対象製品の画像から前記対象製品における欠陥の有無を判定する欠陥診断モデルを作成するための欠陥診断モデル作成プログラムであって、
     前記対象製品と同一又は類似した製品が撮影された少なくとも1つのベース画像、及び前記製品に発生した欠陥が撮影された複数の欠陥画像であって、発生確率が所定以下である欠陥が撮影された少なくとも1つの稀な欠陥画像を含む複数の欠陥画像を取得する画像取得ステップと、
     前記ベース画像の一部に前記欠陥画像が貼り付けられた合成画像を、前記ベース画像の特徴を予め学習済みの少なくとも1つの復元器に入力することで疑似欠陥画像を生成する疑似欠陥画像生成ステップと、
     前記疑似欠陥画像の複数から構成される疑似欠陥画像群を含む教師データを取得する教師データ取得ステップと、
     前記教師データを学習させることで欠陥診断モデルを作成する欠陥診断モデル作成ステップと、をコンピュータに実行させるための、欠陥診断モデル作成プログラム。
PCT/JP2022/001787 2022-01-19 2022-01-19 欠陥診断モデル作成装置、欠陥診断モデル作成方法及び欠陥診断モデル作成プログラム WO2023139688A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/001787 WO2023139688A1 (ja) 2022-01-19 2022-01-19 欠陥診断モデル作成装置、欠陥診断モデル作成方法及び欠陥診断モデル作成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/001787 WO2023139688A1 (ja) 2022-01-19 2022-01-19 欠陥診断モデル作成装置、欠陥診断モデル作成方法及び欠陥診断モデル作成プログラム

Publications (1)

Publication Number Publication Date
WO2023139688A1 true WO2023139688A1 (ja) 2023-07-27

Family

ID=87348173

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/001787 WO2023139688A1 (ja) 2022-01-19 2022-01-19 欠陥診断モデル作成装置、欠陥診断モデル作成方法及び欠陥診断モデル作成プログラム

Country Status (1)

Country Link
WO (1) WO2023139688A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020027424A (ja) * 2018-08-10 2020-02-20 東京エレクトロンデバイス株式会社 学習データ生成装置、判別モデル生成装置、及びプログラム
JP2020106469A (ja) * 2018-12-28 2020-07-09 オムロン株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020027424A (ja) * 2018-08-10 2020-02-20 東京エレクトロンデバイス株式会社 学習データ生成装置、判別モデル生成装置、及びプログラム
JP2020106469A (ja) * 2018-12-28 2020-07-09 オムロン株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Similar Documents

Publication Publication Date Title
US11361428B1 (en) Technology for analyzing images depicting vehicles according to base image models
CN106846316B (zh) 一种gis内部典型缺陷图像自动识别方法
CN113793333B (zh) 应用于工业质检的缺陷图片生成方法及装置
US20210390282A1 (en) Training data increment method, electronic apparatus and computer-readable medium
Chen et al. Perceptual quality assessment of cartoon images
CN116228780B (zh) 基于计算机视觉的硅片缺陷检测方法及系统
WO2021181749A1 (ja) 学習装置、画像検査装置、学習済みパラメータ、学習方法、および画像検査方法
CN114596290A (zh) 缺陷检测方法及其装置、存储介质、程序产品
CN115311235A (zh) 基于图像识别的微观缺陷处理方法、装置及计算机设备
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
CN114943708A (zh) 图像缺陷检测方法、装置、设备、存储介质和程序产品
Chen et al. Joint demosaicking and denoising in the wild: The case of training under ground truth uncertainty
CN114913148A (zh) 基于无监督学习的丝印疵点检测方法、装置及存储介质
CN114399505A (zh) 工业检测中的检测方法、检测装置
JP7459697B2 (ja) 異常検知システム、学習装置、異常検知プログラム、学習プログラム、異常検知方法、および学習方法
WO2023139688A1 (ja) 欠陥診断モデル作成装置、欠陥診断モデル作成方法及び欠陥診断モデル作成プログラム
TWI818367B (zh) 用於增強經積層製造產品之2d影像序列之影像解析度之方法、電子裝置及非暫時性電腦可讀儲存媒體
CN116977190A (zh) 图像处理方法、装置、设备、存储介质及程序产品
JP2018116672A (ja) 情報処理装置、情報処理方法およびプログラム
KR20230036650A (ko) 영상 패치 기반의 불량 검출 시스템 및 방법
JP7070308B2 (ja) 推定器生成装置、検査装置、推定器生成方法、及び推定器生成プログラム
US20150085327A1 (en) Method and apparatus for using an enlargement operation to reduce visually detected defects in an image
CN113628089A (zh) 图像处理方法、装置、存储介质及计算机设备
US20240020822A1 (en) Teacher data preparation method and preparation device
CN115795370B (zh) 基于重采样痕迹的电子数字信息取证方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22921847

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023574941

Country of ref document: JP

Kind code of ref document: A