WO2021229901A1 - 画像検査装置、画像検査方法及び学習済みモデル生成装置 - Google Patents

画像検査装置、画像検査方法及び学習済みモデル生成装置 Download PDF

Info

Publication number
WO2021229901A1
WO2021229901A1 PCT/JP2021/008956 JP2021008956W WO2021229901A1 WO 2021229901 A1 WO2021229901 A1 WO 2021229901A1 JP 2021008956 W JP2021008956 W JP 2021008956W WO 2021229901 A1 WO2021229901 A1 WO 2021229901A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
inspection
divided
restored
divided image
Prior art date
Application number
PCT/JP2021/008956
Other languages
English (en)
French (fr)
Inventor
泰之 池田
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Publication of WO2021229901A1 publication Critical patent/WO2021229901A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an image inspection device, an image inspection method, and a trained model generation device.
  • Patent Document 1 in order to reconstruct normal image data from feature quantities extracted from a normal image data group in an abnormality determination device that determines an abnormality based on input determination target image data.
  • Reconstruction image data is generated from the feature amount of the judgment target image data using the reconstruction parameter of, and abnormality judgment is performed based on the difference information between the generated reconstructed image data and the judgment target image data.
  • Those having a process execution means for executing an abnormality determination process are described.
  • the abnormality determination device of Patent Document 1 When the image data to be determined includes image data of a plurality of channels, the abnormality determination device of Patent Document 1 generates reconstructed image data for each channel from the feature amount of the image data of each channel using the reconstruction parameter. Abnormality determination is performed based on the difference information between each generated reconstructed image data and the image data of each channel of the determination target image data.
  • Patent Document 1 a reconstructed image is generated from a judgment target image by using a trained autoencoder which is a trained model.
  • a trained autoencoder which is a trained model.
  • the special pattern is restored in the image generated by the trained model. There was something I could't do. In this case, there is a risk that the image of the inspection target, which is a non-defective product, may be erroneously determined to be defective.
  • the pattern of the non-defective product at one position or part is defective at another position or part, the pattern of the defective product is generated in the image generated by the trained model. , I sometimes overlooked the inspection target of defective products.
  • one of the objects of the present invention is to provide an image inspection device, an image inspection method, and a trained model generation device that can restore a special pattern and suppress the generation of a defective pattern. do.
  • the image inspection apparatus is trained to output a restored divided image by inputting a non-defective product divided image which is an image obtained by dividing an image of a non-defective product inspection object and label information of the non-defective product divided image.
  • a divided image generation unit that generates a restored divided image by inputting label information of an inspection divided image and an inspection divided image, which are images obtained by dividing an image of an inspection object into a completed model, and a divided image generation unit generated by the divided image generation unit. It is provided with an inspection unit that inspects the inspection target object based on the restored divided image.
  • the inspection divided image contains a special pattern at a specific position, the special pattern can be restored. Further, even when the inspection divided image partially contains the pattern of the defective product, the restored divided image including the pattern of the good product can be generated, so that the generation of the pattern of the defective product is suppressed.
  • the divided image generation unit inputs a plurality of input data sets each composed of the inspection divided image and the label information of the inspection divided image into the trained model, generates a plurality of restored divided images, and inspects them.
  • the unit may inspect the inspection object based on a plurality of restored divided images.
  • a restored image generation unit that generates a restored image by synthesizing a plurality of restored divided images is further provided, and the inspection unit is based on the difference between the image of the inspection object and the restored image. An inspection may be performed.
  • the difference between the image of the inspection target and the restored image becomes clear, and the inspection of the inspection target can be performed more accurately.
  • the trained model is a neural network including a plurality of layers including an input layer
  • the divided image generation unit inputs the inspection divided image to the input layer and the label information is lower than the dimension of the input layer. It may be input to a layer having a dimension.
  • the label information when the label information is input to a layer lower than the dimension of the input layer in the neural network, the label information contributes more to the output of the trained model than the label information is input to the input layer. do. As a result, it becomes possible to generate a restored divided image more appropriately.
  • the divided image generation unit inputs the label information of the first inspection divided image and the second inspection divided image into the trained model. You may.
  • the inspection unit may determine the quality of the inspection target.
  • the inspection of the inspection target can be performed in more detail.
  • the inspection unit may detect a defect in the inspection object.
  • the inspection of the inspection target can be performed in more detail.
  • an image pickup unit that captures an image of an inspection object may be further provided.
  • an image of an inspection target can be easily acquired.
  • a division portion for dividing the image of the inspection object into a plurality of inspection division images may be further provided.
  • the image inspection method is an image inspection method using a computer including a processor, in which the processor is an image obtained by dividing an image of a non-defective product to be inspected.
  • a restored divided image is generated by inputting the inspection divided image and the label information of the inspection divided image, which are images obtained by dividing the image of the inspection object, into the trained model trained to output the restored divided image by inputting the information. Inspecting the object to be inspected based on the generated restored divided image.
  • the inspection divided image contains a special pattern at a specific position, the special pattern can be restored. Further, even when the inspection divided image partially contains the pattern of the defective product, the restored divided image including the pattern of the good product can be generated, so that the generation of the pattern of the defective product is suppressed.
  • the trained model generator uses a plurality of training data sets each composed of a combination of a non-defective product divided image obtained by dividing an image of a non-defective product inspection object and label information of the non-defective product divided image. It is provided with a model generation unit that performs learning processing and generates a trained model that outputs a restored divided image by inputting a non-defective divided image and label information.
  • the inspection divided image contains a special pattern at a specific position, the special pattern can be restored. Further, even when the inspection divided image partially contains the pattern of the defective product, the restored divided image including the pattern of the good product can be generated, so that the generation of the pattern of the defective product is suppressed.
  • an image inspection device an image inspection method, and a trained model generation device that can restore a special pattern and suppress the generation of a defective pattern.
  • FIG. 1 is a schematic configuration diagram of an image inspection system 1 according to an embodiment of the present invention.
  • the image inspection system 1 includes an image inspection device 20 and a lighting 25.
  • the illumination 25 irradiates the inspection object 30 with light L.
  • the image inspection device 20 photographs the reflected light R and inspects the inspection object 30 based on the image of the inspection object 30 (hereinafter, also referred to as “inspection image”).
  • the image inspection device 20 is connected to the trained model generation device 10 via the communication network 15.
  • the trained model generation device 10 generates a trained model used by the image inspection device 20 to inspect the inspection object 30.
  • FIG. 2 is a functional block diagram showing the configuration of the trained model generation device 10 according to the present embodiment.
  • the trained model generation device 10 includes a storage unit 100, a learning data generation unit 110, a model generation unit 120, and a communication unit 130.
  • the storage unit 100 stores various types of information.
  • the storage unit 100 includes a non-defective image DB 102, a learning data DB 104, and a learned model DB 106.
  • a plurality of non-defective product images are stored in the non-defective product image DB 102.
  • a non-defective product image is an image of a non-defective product to be inspected.
  • the learning data DB 104 stores a plurality of learning data sets each composed of a combination of the divided good product image obtained by dividing the good product image and the label information of the good product divided image.
  • the trained model DB 106 stores a trained model generated by the trained model generation device 10 described later.
  • the learning data generation unit 110 can generate a learning data set used by the model generation unit 120 to perform learning processing.
  • the learning data set generated by the learning data generation unit 110 will be described with reference to FIG.
  • the learning data generation unit 110 acquires a non-defective product image from the non-defective product image DB 102 and divides the non-defective product image 40 to generate a plurality of non-defective product divided images. In the present embodiment, the learning data generation unit 110 generates a total of 16 non-defective product divided images by dividing the non-defective product image 40 into four vertically and horizontally, respectively.
  • the non-defective product image 40 may be divided into 2 to 15 non-defective product divided images, or may be divided into 17 or more non-defective product divided images. Further, the shape of the non-defective product divided image is not limited to a rectangle, and may be any shape.
  • the learning data generation unit 110 assigns label information to each of the plurality of non-defective product divided images, and generates a plurality of learning data sets each composed of the non-defective product divided image and the assigned label information.
  • the learning data generation unit 110 may add label information to the non-defective product divided image based on a predetermined algorithm, or may add label information to the non-defective product divided image based on the user's operation.
  • a non-defective product divided image is generated for each of a plurality of non-defective product images that are different from each other.
  • the same label information is given to all the non-defective product divided images having the same position in the non-defective product image.
  • the label information given to each of the two non-defective product divided images similar to each other may be the same label information or may be different label information.
  • the determination as to whether or not the two non-defective product divided images are similar may be performed based on, for example, whether or not the degree of matching between the two non-defective product divided images is equal to or greater than a predetermined threshold value.
  • the learning data generation unit 110 may store the information indicating which label information is given to the good product divided image at which position in the trained model DB 106.
  • the label information (A) is attached to the first non-defective product divided image 400, and the first non-defective product divided image 400 and the label information (A) constitute one learning data set.
  • the learning data generation unit 110 has 16 learning data sets such as the second non-defective product divided image 402 and the learning data set of the label information (B), and the third non-defective product divided image 404 and the learning data set of the label information (C). Generate a training data set based on each of the non-defective divided images.
  • FIG. 4 is a diagram showing an example of a non-defective product image 300.
  • the non-defective image 300 shown in FIG. 4 includes four patterns (first pattern 302, second pattern 304, third pattern 306, and fourth pattern 308).
  • the good product image 300 shown in FIG. 4 is divided into four vertically and horizontally, respectively, like the good product image 40 shown in FIG. 3, and is divided into a total of 16 good product divided images.
  • FIGS. 5 to 7 is a diagram showing an example of label information given to each of the 16 non-defective product divided images.
  • the four patterns shown in FIG. 4 are omitted.
  • the numbers shown in the non-defective product divided images of FIGS. 5 to 7 represent label information.
  • label information is added to each of the 16 non-defective product divided images in the order of raster scan. That is, in the non-defective product image 300 shown in FIG. 5, label information of 0 to 15 is given to each of the 16 non-defective product divided images in the order indicated by the arrows. For example, each of the four non-defective product divided images in the top row is given label information of 0 to 3 in order from the leftmost non-defective product divided image 320. Further, label information of 4 to 7 is given to each of the four non-defective product divided images in the second row from the top in order from the leftmost non-defective product divided image 322. Further, label information of 8 to 15 is given in the order of arrows to each of the four non-defective divided images in the third and fourth rows from the top.
  • the non-defective product division image 320 at the upper left end is described as a non-defective product division image at the start where the label information becomes 0, but any non-defective product division image may be the start non-defective product division image. good.
  • the numerical value of the label information is not limited to the order of raster scan, and may be given to the non-defective product divided image in any order.
  • label information is given to each of the 16 non-defective product divided images in the form of a (X, Y) orthogonal coordinate system indicating a set of integers X and Y.
  • X indicates a column number
  • Y indicates a row number.
  • X is set to 0 in the leftmost column, and increases by 1 as it goes to the right.
  • Y is set to 0 in the top row and increases by 1 as it goes down. Therefore, (X, Y) indicates a non-defective product divided image located at the (Y-1) th position from the top of the (X-1) th column from the left end.
  • the label information of (1,3) is given to the non-defective product divided image 346 located at the fourth position from the top of the second column from the left end.
  • the values of X and Y are not limited to the above-mentioned numerical values, and may be any numerical value as long as the position (that is, the row and column) of the non-defective product divided image can be specified. .. Further, in the above example, the label information is described as being represented in the format of the (X, Y) orthogonal coordinate system, but the format of the label information is not limited to this, and for example, ( ⁇ , ⁇ ). It may be in the form of a polar coordinate system.
  • each of the 16 non-defective product divided images is given label information according to the category to which the non-defective product divided image belongs. Specifically, each of the 16 non-defective product divided images is classified into categories according to the degree of similarity between the non-defective product divided images, and label information according to the category is given to each non-defective product divided image. More specifically, each of a plurality of similar non-defective divided images is classified into the same category. At this time, the same label information is given to the non-defective product divided images belonging to the same category.
  • the three non-defective product divided images 320, 322, and 326 are similar. Therefore, each of these three non-defective divided images 320, 322, and 326 is classified into the same category. Further, each of the three non-defective product divided images 320, 322, and 326 is given label information of 0 as the same label information. Similarly, of the four non-defective product divided images in the second column from the left end, the three non-defective product divided images 340, 342 and 346 are similar. Therefore, each of these three non-defective product divided images 340, 342, and 346 is given the label information of 1 as the same label information.
  • the label information of 3 is given as the label information different from the label information of the other non-defective product divided images. Has been done. Further, the non-defective product divided image that does not include the pattern is given the label information of 2 as the same label information.
  • each of the plurality of non-defective divided images included in the non-defective image includes a smartphone display area (hereinafter referred to as "first area") and an area other than the display (hereinafter, this area is referred to as "first area"). It shall be classified as "2 areas").
  • first area smartphone display area
  • first area an area other than the display
  • second area an area other than the display
  • 2 areas the good product divided image classified into the category of the first region
  • the good product divided image classified into the category of the second region may be given the label information of 2.
  • the learning data generation unit 110 stores the generated learning data set in the learning data DB 104.
  • the learning data generation unit 110 stores the learning data set generated for a plurality of non-defective images in the learning data DB 104.
  • the model generation unit 120 performs learning processing using a plurality of training data sets, and generates a trained model that outputs a restored divided image by inputting a non-defective product divided image and label information.
  • the restored divided image is an image for restoring a non-defective divided image.
  • FIG. 8 is a diagram for explaining a model trained by the model generation unit 120 according to the present embodiment.
  • the model generation unit 120 trains the model by simultaneously inputting the non-defective product divided image and the label information into the model.
  • a technique for learning a neural network by simultaneously inputting an image and its additional information into the neural network is described in, for example, Reference 1. (Reference 1) Murase, Hirakawa, Yamashita, Fujiyoshi, "Higher accuracy of automatic operation control by CNN with self-state", PRMU2017-82, vol. 117, no. 238, pp. 85-90
  • FIG. 8 shows a model 50 that is a target of learning processing by the model generation unit 120.
  • the model 50 includes a neural network having a plurality of layers including an input layer. More specifically, the model 50 is an autoencoder and is composed of an input layer 500, an output layer 508, and a plurality of layers arranged between the input layer 500 and the output layer 508.
  • the input data is input to the input layer 500, the input data is compressed into a feature vector in the intermediate layer 504, and the output data is output from the output layer 508.
  • the model used to construct the trained model is not limited to the autoencoder. Further, the number of layers constituting the neural network is not limited to five layers.
  • the model generation unit 120 inputs a non-defective product division image and label information into the model 50.
  • a non-defective product divided image is to input each of a plurality of pixel values included in the non-defective product divided image.
  • the image is output as output data from the output layer 508 of the model 50.
  • the model generation unit 120 trains the model 50 by updating the weighting parameters between the layers included in the model 50 so that the output data becomes the data for restoring the non-defective product divided image.
  • the model generation unit 120 generates a trained model by inputting a plurality of training data sets into the model 50 and updating the weighting parameters.
  • the model generation unit 120 stores the generated trained model in the trained model DB 106.
  • the model generation unit 120 inputs the non-defective product divided image into the input layer 500 of the model 50, and inputs the label information to the intermediate layer 504 having a dimension lower than the dimension of the input layer.
  • the label information contributes to learning more than the pixels of the non-defective divided image, and it becomes possible to generate a more appropriate trained model.
  • the label information may be input to a layer different from the intermediate layer 504.
  • the label information may be input to the input layer 500, for example.
  • at least one of the non-defective product divided image and the label information input to the model 50 may be weighted as necessary before being input to the model 50. As a result, the model 50 can be learned more appropriately.
  • the communication unit 130 included in the trained model generator 10 will be described.
  • the communication unit 130 can transmit and receive various types of information.
  • the communication unit 130 can transmit the trained model to the image inspection device 20 via the communication network 15.
  • information indicating which label information is given to the non-defective product divided image at which position in the non-defective product image is also transmitted to the image inspection device 20.
  • FIG. 9 is a functional block diagram showing the configuration of the image inspection device 20 according to the present embodiment.
  • the image inspection device 20 includes a communication unit 200, a storage unit 210, an image pickup unit 220, and a processing unit 230.
  • the communication unit 200 can send and receive various information.
  • the communication unit 200 can receive the trained model from the trained model generator 10 via the communication network 15. Further, the communication unit 200 can store the trained model and the like in the storage unit 210.
  • the storage unit 210 stores various types of information.
  • the storage unit 210 includes a trained model DB 106.
  • the trained model DB 106 stores the trained model. Further, the trained model DB 106 also stores information indicating which label information is given to the non-defective product divided image at which position in the non-defective product image.
  • Various information stored in the storage unit 210 is referred to by the processing unit 230 as necessary.
  • the imaging unit 220 includes various known imaging devices and captures an image of the inspection object 30.
  • the image pickup unit 220 receives the reflected light R from the inspection target object 30 and captures an image of the inspection target object 30.
  • the image pickup unit 220 transmits the captured image to the processing unit 230.
  • the processing unit 230 can perform various processes on the image of the inspection target object and inspect the inspection target object.
  • FIG. 10 is a functional block diagram showing the configuration of the processing unit 230 according to the present embodiment.
  • the processing unit 230 includes a pre-processing unit 231, a division unit 232, a label information addition unit 233, a division image generation unit 234, a restored image generation unit 235, a post-processing unit 236, and an inspection unit 237.
  • the pretreatment unit 231 performs various pretreatments on the image of the inspection target.
  • the preprocessing unit 231 can, for example, perform a process of correcting the positional deviation on the image of the inspection target.
  • the pre-processing unit 231 transmits the pre-processed image to the division unit 232.
  • the division unit 232 can divide the image of the inspection object and generate a plurality of inspection division images.
  • the division unit 232 divides the image of the inspection object by the same method as the division of the good product image in the trained model generation device 10. Specifically, the division unit 232 divides the image of the inspection object into four vertically and horizontally to generate 16 inspection division images. The division unit 232 transmits the generated inspection division image to the label information addition unit 233.
  • the label information adding unit 233 assigns label information to the inspection divided image.
  • the label information assigning unit 233 refers to the trained model DB 212, and refers to the information indicating which label information is assigned to the non-defective product divided image at which position in the non-defective product image when the trained model is generated.
  • the label information of the non-defective product divided image at the corresponding position is added to the inspection divided image.
  • the set of the inspection divided image and the given label information becomes an input data set.
  • the label information giving unit 233 assigns label information to each of the plurality of inspection divided images to generate a plurality of input data sets, and transmits the plurality of input data sets to the divided image generation unit 234.
  • the divided image generation unit 234 can generate a restored divided image by inputting an input data set (a set of inspection divided images and label information) into the trained model.
  • the trained model is a trained model generated by the trained model generator 10 so as to output a restored divided image by inputting a non-defective divided image and label information.
  • the divided image generation unit 234 inputs a plurality of input data sets each composed of the inspection divided image and the label information into the trained model, and generates a plurality of restored divided images.
  • Each of the generated restored split images corresponds to each of the plurality of input datasets.
  • the restored divided image is an image obtained by restoring a non-defective divided image. Therefore, when the inspection divided image contains a defect or the like, the image from which the defect is removed is output from the trained model as a restored divided image.
  • the divided image generation unit 234 generates a restored divided image for each of the 16 inspection divided images generated based on the inspection image, and the generated 16 restored divided images are used in the restored image generation unit 235. introduce.
  • the restored image generation unit 235 generates a restored image by synthesizing a plurality of restored divided images.
  • the restored image generation unit 235 generates a restored image by synthesizing 16 restored divided images generated by the divided image generation unit 234.
  • the restored image generation unit 235 generates a restored image by arranging each of the generated 16 restored divided images at the positions of the corresponding inspection divided images and synthesizing them.
  • the restored image is an image obtained by restoring a non-defective image. Therefore, if the inspection image contains defects, an image from which the defects have been removed is generated as a restored image.
  • the division unit 232 divides the inspection image 42 into four vertically and horizontally, respectively, and generates 16 inspection division images.
  • the label information adding unit 233 assigns label information to each of the 16 inspection division images generated. For example, the label information (A) is given to the first inspection divided image 420, the label information (B) is given to the second inspection divided image 422, and the label information (C) is given to the third inspection divided image 424. Granted.
  • the set of inspection division image and label information is the input data set.
  • the same label information may be given to similar inspection divided images. Therefore, for example, when the first inspection divided image 420 and the second inspection divided image 422 are similar to each other, the label information (B) of the second inspection divided image 422 is given to the first inspection divided image 420. You may. Alternatively, the label information (A) of the first inspection divided image may be added to the second inspection divided image 422.
  • the divided image generation unit 234 inputs the generated 16 input data sets into the trained model, respectively, and generates 16 restored divided images.
  • the first restored divided image 440 is generated based on the first inspection divided image 420
  • the second restored divided image 442 is generated based on the second inspection divided image 422
  • the third restored divided image 444 is the third inspection divided image. It is generated based on 424.
  • the restored image generation unit 235 generates the restored image 44 by synthesizing the generated 16 restored divided images.
  • the post-processing unit 236 can perform post-processing on the restored image.
  • the post-processing unit 236 can calculate the difference between the restored image and the inspection image and generate the difference image.
  • the post-processing unit 236 can generate a difference image by calculating the difference between the corresponding pixel values of the inspection image from each of the plurality of pixel values constituting the restored image.
  • FIG. 12 is a diagram showing an example of an image 60 of the inspection object 30 according to the present embodiment.
  • FIG. 13 is a diagram showing an example of the restored image 62 generated based on the image 60.
  • FIG. 14 is a diagram showing a difference image 64, which is a difference between the image 60 of the inspection object and the restored image 62.
  • the image 60 includes a linear defect image 600.
  • the defect image is an image of the defect of the inspection object.
  • the difference image 64 showing the difference between the image 60 of the inspection object and the restored image 62 mainly includes the defect image 640.
  • the inspection target is inspected based on the difference image 64 including the defect image 640.
  • the inspection unit 237 can inspect the inspection target 30 based on the restored divided image generated by the divided image generation unit 234. In the present embodiment, the inspection unit 237 inspects the inspection object 30 based on the plurality of restored divided images.
  • the inspection unit 237 inspects the inspection object based on the difference between the inspection image and the restored image. Specifically, the inspection unit 237 inspects the inspection target object based on the difference image generated by the post-processing unit 236.
  • the inspection unit 237 can detect a defect in the inspection object 30.
  • the inspection unit 237 can detect the defect of the inspection object 30 by detecting the defect image 640 included in the difference image 64 shown in FIG.
  • the inspection unit 237 may determine the quality of the inspection target 30.
  • the inspection unit 237 may determine the quality of the inspection target 30 based on the size of the defect image included in the difference image 64. More specifically, the inspection unit 237 can determine that the inspection target is a defective product when the size of the defective image included in the difference image 64 exceeds a predetermined threshold value.
  • FIG. 15 is a diagram showing the physical configurations of the trained model generation device 10 and the image inspection device 20 according to the present embodiment.
  • the trained model generation device 10 and the image inspection device 20 include a CPU (Central Processing Unit) 10a corresponding to a calculation unit, a RAM (Random Access Memory) 10b corresponding to a storage unit, and a ROM (Read only) corresponding to the storage unit. It has a Memory) 10c, a communication unit 10d, an input unit 10e, and a display unit 10f. Each of these configurations is connected to each other via a bus so that data can be transmitted and received.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read only
  • each of the trained model generation device 10 and the image inspection device 20 will be described as being composed of one computer, but each of the trained model generation device 10 and the image inspection device 20 will be described. It may be realized by combining a plurality of computers. Further, the image inspection device 20 and the trained model generation device 10 may be configured by one computer. Further, the configuration shown in FIG. 15 is an example, and the trained model generation device 10 and the image inspection device 20 may have configurations other than these, or may not have a part of these configurations. good.
  • the CPU 10a is a calculation unit that controls execution of a program stored in the RAM 10b or ROM 10c, calculates data, and processes data.
  • the CPU 10a included in the trained model generation device 10 is a calculation unit that executes a learning process using the training data and executes a program (learning program) for generating the trained model.
  • the CPU 10a included in the image inspection device 20 is a calculation unit that executes a program (image inspection program) for inspecting the inspection object using an image of the inspection object.
  • the CPU 10a receives various data from the input unit 10e and the communication unit 10d, displays the calculation result of the data on the display unit 10f, and stores the data in the RAM 10b.
  • the RAM 10b is a storage unit in which data can be rewritten, and may be composed of, for example, a semiconductor storage element.
  • the RAM 10b may store data such as a program executed by the CPU 10a, training data, and a trained model. It should be noted that these are examples, and data other than these may be stored in the RAM 10b, or a part of these may not be stored.
  • the ROM 10c is a storage unit capable of reading data, and may be composed of, for example, a semiconductor storage element.
  • the ROM 10c may store, for example, an image inspection program, a learning program, and data that is not rewritten.
  • the communication unit 10d is an interface for connecting the image inspection device 20 to another device.
  • the communication unit 10d may be connected to a communication network such as the Internet.
  • the input unit 10e receives data input from the user, and may include, for example, a keyboard and a touch panel.
  • the input unit 10e may accept, for example, input of label information of a non-defective product divided image or an inspection divided image.
  • the display unit 10f visually displays the calculation result by the CPU 10a, and may be configured by, for example, an LCD (Liquid Crystal Display).
  • the display unit 10f may display, for example, the inspection result of the inspection object.
  • the image inspection program may be stored in a storage medium readable by a computer such as RAM 10b or ROM 10c and provided, or may be provided via a communication network connected by the communication unit 10d.
  • the CPU 10a executes the learning program to realize various operations described with reference to FIGS. 2 and the like.
  • the CPU 10a executes the image inspection program to realize various operations described with reference to FIGS. 9 and 10. It should be noted that these physical configurations are examples and do not necessarily have to be independent configurations.
  • each of the trained model generation device 10 and the image inspection device 20 may include an LSI (Large-Scale Integration) in which the CPU 10a, the RAM 10b, and the ROM 10c are integrated.
  • LSI Large-Scale Integration
  • FIG. 16 is a flowchart showing an example of a flow in which the trained model generation device 10 generates a trained model.
  • the learning data generation unit 110 divides the non-defective product image stored in the non-defective product image DB 102 into a plurality of non-defective product divided images (step S101). At this time, when a plurality of non-defective product images are stored in the non-defective product image DB 102, the learning data generation unit 110 divides each of the plurality of non-defective product images and generates a non-defective product divided image corresponding to each non-defective product image. You may.
  • the learning data generation unit 110 assigns label information to each of the non-defective product divided images generated in step S103, and generates a plurality of learning data sets (step S103).
  • the learning data generation unit 110 stores the generated learning data set in the learning data DB 104.
  • the model generation unit 120 executes a learning process using a plurality of learning data sets stored in the learning data DB 104, and outputs a trained model that outputs a restored divided image by inputting a non-defective product divided image and label information. Generate (step S105). The model generation unit 120 stores the generated trained model in the trained model DB 106.
  • the communication unit 130 transmits the trained model generated in step S105 to the image inspection device 20 (step S107).
  • the image inspection device 20 can use the trained model generated by the trained model generation device 10.
  • FIG. 17 is a flowchart showing an example of a flow in which the image inspection device 20 inspects an inspection object using a trained model based on an image of the inspection object.
  • the image pickup unit 220 included in the image inspection device 20 captures an image of the inspection object (step S201).
  • the image pickup unit 220 transmits the captured image to the processing unit 230.
  • the pre-processing unit 231 included in the processing unit 230 performs pre-processing on the image captured in step S201 (step S203).
  • the division unit 232 divides the inspection image subjected to the preprocessing in step S203 to generate a plurality of inspection division images (step S205).
  • the label information adding unit 233 assigns label information to each of the plurality of inspection divided images generated in step S205, and generates a plurality of input data sets (step S207).
  • the divided image generation unit 234 inputs the plurality of input data sets generated in step S207 into the trained model, respectively, and generates a plurality of restored divided images (step S209).
  • the restored image generation unit 235 generates a restored image by synthesizing a plurality of restored divided images generated in step S209 (step S211).
  • the post-processing unit 236 calculates the difference between the inspection image captured in step S201 and the restored image generated in step S211 to generate a difference image (step S213).
  • the inspection unit 237 inspects the inspection target object based on the difference image generated in step S213 (step S215).
  • the restored divided image is generated according to the label information of the inspection divided image. Therefore, even if a special pattern is partially included, the special pattern can be restored. Further, even if a pattern that is a good product at a certain position or part is a defective product at another position or part, the pattern of a good product can be appropriately restored. As a result, it is possible to suppress the generation of defective product patterns.
  • FIG. 18 is a diagram showing an example of the inspection image 70.
  • the inspection image 70 is divided into six inspection division images 700, 702, 704, 706, 708 and 710. Among these six inspection division images, the inspection division images 702, 706 and 708 are assumed to be similar to each other. Further, the inspection divided image 704 contains a special pattern different from other inspection divided images.
  • the image inspection device 20 uses label information in addition to the inspection divided image. Therefore, it is possible to generate the inspection divided image and the restored divided image according to the position of the inspection divided image. As a result, even if the inspection divided image contains a special pattern at a specific position, the special pattern can be restored. For example, even an inspection-divided image showing a special pattern such as the inspection-divided image 704 can be appropriately restored.
  • a pattern that is a non-defective product at one position or part may be a defective product at another position or part.
  • the image inspection apparatus 20 according to the present embodiment since the restored divided image of the good product can be generated from the inspection divided image including the pattern of the defective product, the pattern of the defective product may be generated. It is suppressed. As a result, it is possible to prevent overlooking defective products.
  • the image of the inspection target (30) is added to the trained model trained to output the restored divided image by inputting the label information of the non-defective divided image and the non-defective divided image, which are the divided images of the inspection target of the non-defective product.
  • the divided image generation unit (234) that generates the restored divided image by inputting the inspection divided image and the label information of the inspection divided image, which are the divided images.
  • An inspection unit (237) that inspects the inspection object based on the restored divided image generated by the divided image generation unit (234), and (20).
  • third good product divided image 420 ... first inspection Divided image, 422 ... Second inspection divided image, 424 ... Third inspection divided image, 440 ... First restored divided image, 442 ... Second restored divided image, 444 ... Third restored divided image, 500 ... Input layer, 504 ... Intermediate layer, 508 ... Output layer, 600 ... Defect image

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

特殊パターンを復元することができるとともに、不良品のパターンの生成を抑制することのできる画像検査装置、画像検査方法及び学習済みモデル生成装置を提供する。良品の検査対象物の画像を分割した画像である良品分割画像及び良品分割画像のラベル情報を入力として復元分割画像を出力するように学習させた学習済みモデルに、検査対象物３０の画像を分割した画像である検査分割画像及び検査分割画像のラベル情報を入力して、復元分割画像を生成する分割画像生成部２３４と、分割画像生成部２３４により生成された復元分割画像に基づいて検査対象物の検査を行う検査部２３７と、を備える画像検査装置２０。

Description

画像検査装置、画像検査方法及び学習済みモデル生成装置
　本発明は、画像検査装置、画像検査方法及び学習済みモデル生成装置に関する。
　従来、対象物を撮影した画像に基づいて、当該対象物の検査を行う画像検査装置が知られている。
　例えば、特許文献１には、入力される判定対象画像データに基づいて異常を判定する異常判定を行う異常判定装置において、正常画像データ群から抽出される特徴量から正常画像データを再構成するための再構成用パラメータを用いて、判定対象画像データの特徴量から再構成画像データを生成し、生成した再構成画像データと該判定対象画像データとの差異情報に基づいて異常判定を行うための異常判定処理を実行する処理実行手段を有するものが記載されている。
　特許文献１の異常判定装置は、判定対象画像データが複数チャネルの画像データを含む場合、再構成用パラメータを用いて各チャネルの画像データの特徴量から再構成画像データをチャネルごとに生成し、生成した各再構成画像データと該判定対象画像データの各チャネルの画像データとの差異情報に基づいて異常判定を行っている。
特開２０１８－５７７３号公報
　特許文献１では、学習済みモデルである学習したオートエンコーダを用い、判定対象画像から再構成画像を生成している。ここで、例えば、良品の検査対象物の画像に局所的に特殊なパターンが存在する場合、学習済みモデルの表現能力が低いと、当該学習済みモデルの生成する画像において、特殊パターンを復元することができないことがあった。この場合、良品である検査対象物の画像を誤って不良であると判定してしまうおそれがあった。
　また、良品の検査対象物の画像において、ある位置又は部分で良品であるパターンが別の位置又は部分では不良品である場合、学習済みモデルが生成した画像において不良品のパターンが生成されてしまい、不良品の検査対象物を見逃してしまうことがあった。
　そこで、本発明は、特殊パターンを復元することができるとともに、不良品のパターンの生成を抑制することのできる画像検査装置、画像検査方法及び学習済みモデル生成装置を提供することを目的の１つとする。
　本発明の一態様に係る画像検査装置は、良品の検査対象物の画像を分割した画像である良品分割画像及び良品分割画像のラベル情報を入力として復元分割画像を出力するように学習させた学習済みモデルに、検査対象物の画像を分割した画像である検査分割画像及び検査分割画像のラベル情報を入力して、復元分割画像を生成する分割画像生成部と、分割画像生成部により生成された復元分割画像に基づいて検査対象物の検査を行う検査部と、を備える。
　この態様によれば、検査分割画像とその検査分割画像のラベル情報に応じた復元分割画像を生成することができる。このため、その検査分割画像が特定の位置に特殊パターンを含む場合には、その特殊パターンを復元することが可能となる。さらに、その検査分割画像が部分的に不良品のパターンを含む場合であっても、良品のパターンを含む復元分割画像を生成できるため、不良品のパターンが生成されることが抑制される。
　上記態様において、分割画像生成部は、検査分割画像及び検査分割画像のラベル情報からそれぞれ構成される複数の入力データセットを学習済みモデルにそれぞれ入力して、複数の復元分割画像を生成し、検査部は、複数の復元分割画像に基づいて検査対象物の検査を行ってもよい。
　この態様によれば、複数の復元分割画像に基づいた検査を行うことができるため、より正確に検査対象物の検査を行うことが可能になる。
　上記態様において、複数の復元分割画像を合成することにより復元画像を生成する復元画像生成部をさらに備え、検査部は、検査対象物の画像と復元画像との差分に基づいて、検査対象物の検査を行ってもよい。
　この態様によれば、検査対象物の画像と復元画像との差分が明確となり、より精度よく検査対象物の検査を行うことが可能になる。
　上記態様において、学習済みモデルは、入力層を含む複数の層を備えたニューラルネットワークであり、分割画像生成部は、検査分割画像を入力層に入力し、ラベル情報を入力層の次元よりも低い次元を有する層に入力してもよい。
　この態様によれば、ラベル情報がニューラルネットワークにおける入力層の次元よりも低い次元の層に入力されると、ラベル情報が入力層に入力されるよりも学習済みモデルの出力にラベル情報が大きく寄与する。この結果、より適切に復元分割画像を生成することが可能になる。
　上記態様において、分割画像生成部は、第１検査分割画像が第２検査分割画像と類似している場合には、第１検査分割画像及び第２検査分割画像のラベル情報を学習済みモデルに入力してもよい。
　この態様によれば、類似した検査分割画像について、同一のラベル情報を使用することが可能になる。
　上記態様において、検査部は、検査対象物の良否判定を行ってもよい。
　この態様によれば、検査対象物の検査をより詳細に行うことができる。
　上記態様において、検査部は、検査対象物の欠陥を検出してもよい。
　この態様によれば、検査対象物の検査をより詳細に行うことができる。
　上記態様において、検査対象物の画像を撮像する撮像部をさらに備えてもよい。
　この態様によれば、検査対象物の画像を簡便に取得することができる。
　上記態様において、検査対象物の画像を複数の検査分割画像に分割する分割部をさらに備えてもよい。
　この態様によれば、検査対象物の画像が予め分割されていなくとも、検査対象物の検査を行うことが可能になる。
　本発明の他の態様に係る画像検査方法は、プロセッサを備えるコンピュータによる画像検査方法であって、プロセッサが、良品の検査対象物の画像を分割した画像である良品分割画像及び良品分割画像のラベル情報を入力として復元分割画像を出力するように学習させた学習済みモデルに、検査対象物の画像を分割した画像である検査分割画像及び検査分割画像のラベル情報を入力し、復元分割画像を生成することと、生成された復元分割画像に基づいて検査対象物の検査を行うことと、を含む。
　この態様によれば、検査分割画像とその検査分割画像のラベル情報に応じた復元分割画像を生成することができる。このため、その検査分割画像が特定の位置に特殊パターンを含む場合には、その特殊パターンを復元することが可能となる。さらに、その検査分割画像が部分的に不良品のパターンを含む場合であっても、良品のパターンを含む復元分割画像を生成できるため、不良品のパターンが生成されることが抑制される。
　本発明の他の態様に係る学習済みモデル生成装置は、良品の検査対象物の画像を分割した良品分割画像及び良品分割画像のラベル情報の組み合わせによりそれぞれ構成される複数の学習データセットを用いて学習処理を実施し、良品分割画像及びラベル情報を入力として復元分割画像を出力する学習済みモデルを生成するモデル生成部、を備える。
　この態様によれば、検査分割画像とその検査分割画像のラベル情報に応じた復元分割画像を生成することができる。このため、その検査分割画像が特定の位置に特殊パターンを含む場合には、その特殊パターンを復元することが可能となる。さらに、その検査分割画像が部分的に不良品のパターンを含む場合であっても、良品のパターンを含む復元分割画像を生成できるため、不良品のパターンが生成されることが抑制される。
　本発明によれば、特殊パターンを復元することができるとともに、不良品のパターンの生成を抑制することのできる画像検査装置、画像検査方法及び学習済みモデル生成装置を提供することができる。
本発明の一実施形態に係る画像検査システムの概略構成図である。 同実施形態に係る学習済みモデル生成装置の構成を示す機能ブロック図である。 学習データ生成部が生成する学習データセットについて説明する図である。 良品画像の一例を示す図である。 図４の良品画像に含まれる複数の良品分割画像のそれぞれに付与されるラベル情報の一例を示す図である。 図４の良品画像に含まれる複数の良品分割画像のそれぞれに付与されるラベル情報の一例を示す図である。 図４の良品画像に含まれる複数の良品分割画像のそれぞれに付与されるラベル情報の一例を示す図である。 本発明の一実施形態に係るモデル生成部が学習させるモデルを説明するための図である。 同実施形態に係る画像検査装置の構成を示す機能ブロック図である。 同実施形態に係る処理部の構成を示す機能ブロック図である。 処理部が検査画像に基づいて復元画像を生成するまでの処理を説明するための図である。 検査画像の一例を示す図である。 検査画像に基づき生成された復元画像の一例を示す図である。 検査画像と復元画像の差である差分画像を示す図である。 本実施形態に係る画像検査装置及び学習済みモデル生成装置の物理的構成を示す図である。 学習済みモデル生成装置が学習済みモデルを生成する流れの一例を示すフローチャートである。 画像検査装置が、検査対象物の画像に基づき、学習済みモデルを用いて検査対象物の検査を実行する流れの一例を示すフローチャートである。 検査画像の一例を示す図である。
　添付図面を参照して、本発明の好適な実施形態について説明する。
　図１は、本発明の一実施形態に係る画像検査システム１の概略構成図である。画像検査システム１は、画像検査装置２０及び照明２５を含む。照明２５は、検査対象物３０に光Ｌを照射する。画像検査装置２０は、反射光Ｒを撮影し、検査対象物３０の画像（以下、「検査画像」とも称する。）に基づいて、検査対象物３０の検査を行う。画像検査装置２０は、通信ネットワーク１５を介して、学習済みモデル生成装置１０に接続されている。学習済みモデル生成装置１０は、画像検査装置２０が検査対象物３０の検査を行うために用いる学習済みモデルを生成する。
　図２は、本実施形態に係る学習済みモデル生成装置１０の構成を示す機能ブロック図である。学習済みモデル生成装置１０は、記憶部１００、学習データ生成部１１０、モデル生成部１２０及び通信部１３０を備える。
　記憶部１００は、各種の情報を記憶する。本実施形態では、記憶部１００は、良品画像ＤＢ１０２、学習用データＤＢ１０４及び学習済みモデルＤＢ１０６を備える。良品画像ＤＢ１０２には、複数の良品画像が格納されている。良品画像は、良品の検査対象物の画像である。また、学習用データＤＢ１０４には、良品画像を分割した分割良品画像及び良品分割画像のラベル情報の組み合わせによりそれぞれ構成される、複数の学習データセットが格納されている。さらに、学習済みモデルＤＢ１０６には、後述する学習済みモデル生成装置１０により生成された学習済みモデルが格納されている。
　学習データ生成部１１０は、モデル生成部１２０が学習処理を行うために用いられる学習データセットを生成することができる。図３を参照して、学習データ生成部１１０が生成する学習データセットについて説明する。
　学習データ生成部１１０は、良品画像ＤＢ１０２から良品画像を取得して、良品画像４０を分割することにより複数の良品分割画像を生成する。本実施形態では、学習データ生成部１１０は、良品画像４０を縦及び横にそれぞれ４分割することにより、計１６個の良品分割画像を生成する。なお、良品画像４０は、２～１５個の良品分割画像に分割されてもよいし、１７個以上の良品分割画像に分割されてもよい。また、良品分割画像の形状は矩形に限定されるものではなく、いかなる形状であって良い。
　また、学習データ生成部１１０は、複数の良品分割画像のそれぞれにラベル情報を付与して、良品分割画像及び付与されたラベル情報によりそれぞれ構成される複数の学習データセットを生成する。学習データ生成部１１０は、予め指定されたアルゴリズムに基づきラベル情報を良品分割画像に付与してもよいし、ユーザの操作に基づいてラベル情報を良品分割画像に付与してもよい。
　例えば、互いに異なる複数の良品画像のそれぞれについて、良品分割画像が生成されているとする。この場合、生成された良品分割画像のうち、良品画像における位置が同一である良品分割画像のすべてには、同一のラベル情報が付与される。
　また、良品画像における位置が互いに異なるものの、互いに類似する２つの良品分割画像のそれぞれに付与されるラベル情報は、同一のラベル情報であって良いし、異なるラベル情報であってもよい。ここで、２つの良品分割画像が類似しているか否かの判定は、例えば、２つの良品分割画像の一致度が所定の閾値以上であるか否かに基づいて行われてもよい。
　学習データ生成部１１０は、良品分割画像にラベル情報を付与すると、どの位置の良品分割画像にどのラベル情報を付与したのかを表す情報を、学習済みモデルＤＢ１０６に格納してもよい。
　例えば、第１良品分割画像４００には、ラベル情報（Ａ）が付与されており、第１良品分割画像４００及びラベル情報（Ａ）が１つの学習データセットを構成している。同様にして、学習データ生成部１１０は、第２良品分割画像４０２及びラベル情報（Ｂ）の学習データセット、及び第３良品分割画像４０４及びラベル情報（Ｃ）の学習データセット等、１６個の良品分割画像のそれぞれに基づく学習データセットを生成する。
　ここで、図４～図７を参照して、学習データ生成部１１０が良品分割画像に付与するラベル情報の具体例を説明する。図４は、良品画像３００の一例を示す図である。図４に示す良品画像３００は、４つのパターン（第１パターン３０２、第２パターン３０４、第３パターン３０６及び第４パターン３０８）が含まれている。また、図４に示す良品画像３００は、図３に示した良品画像４０と同様に、縦及び横にそれぞれ４分割されており、合計１６個の良品分割画像に分割される。
　図５～図７のそれぞれは、１６個の良品分割画像のそれぞれに付与されるラベル情報の一例を示す図である。なお、図５～図７では、図４に示した４つのパターンを省略して示している。また、図５～図７の良品分割画像に示されている数字は、ラベル情報を表しているものとする。
　図５に示す良品画像３００では、ラスタスキャンの順番で、１６個の良品分割画像のそれぞれにラベル情報が付与されている。すなわち、図５に示す良品画像３００では、矢印で示した順番に、１６個の良品分割画像のそれぞれに、０～１５のラベル情報が付与されている。例えば、一番上の行の４つの良品分割画像のそれぞれには、左端の良品分割画像３２０から順番に、０～３のラベル情報が付与されている。また、一番上から２番目の行の４つの良品分割画像のそれぞれには、一番左側の良品分割画像３２２から順番に、４～７のラベル情報が付与されている。さらに、一番上から３番目及び４番目の行のそれぞれの４つの良品分割画像には、８～１５のラベル情報が矢印の順番で付与されている。
　なお、ここでは、一番上の左端の良品分割画像３２０をラベル情報が０となる開始の良品分割画像であるものとして説明したが、いずれの良品分割画像が開始の良品分割画像であってもよい。また、ラベル情報の数値は、ラスタスキャンの順番に限らず、いかなる順番で良品分割画像に付与されてもよい。
　図６に示す良品画像３００では、１６個の良品分割画像のそれぞれに、整数Ｘ及びＹの組みを示す（Ｘ，Ｙ）の直交座標系の形式でラベル情報が付与されている。ここで、Ｘは、列の番号を示しており、Ｙは、行の番号を示している。また、Ｘは、左端の列の番号を０として、右側に行くにつれて１ずつ大きくなる。さらに、Ｙは、一番上の行の番号を０として、下側に行くにつれて１ずつ大きくなる。したがって、（Ｘ，Ｙ）は、左端から（Ｘ－１）番目の列の一番上から（Ｙ－１）番目に位置する良品分割画像を示している。例えば、左端から２番目の列の一番上から４番目に位置する良品分割画像３４６には、（１，３）のラベル情報が付与されている。
　なお、Ｘ及びＹの値は、上述した数値に限定されるものではなく、良品分割画像の位置（すなわち、行および列）を特定することができる数値であれば、いかなる数値であってもよい。また、上述の例では、ラベル情報が、（Ｘ，Ｙ）の直交座標系の形式で表されるものとして説明したが、ラベル情報の形式はこれに限らず、例えば、（ρ，θ）の極座標系の形式であってもよい。
　図７では、１６個の良品分割画像のそれぞれには、良品分割画像が属するカテゴリに応じたラベル情報が付与されている。具体的には、１６個の良品分割画像のそれぞれは、良品分割画像同士の類似度に応じてカテゴリに分類され、それぞれの良品分割画像にはカテゴリに応じたラベル情報が付与されている。より具体的には、類似する複数の良品分割画像のそれぞれは、同一のカテゴリに分類される。このとき、同一のカテゴリに属する良品分割画像には、同一のラベル情報が付与されている。
　例えば、図４に示すように、左端の４つの良品分割画像のうち、３つの良品分割画像３２０，３２２及び３２６は類似している。このため、これらの３つの良品分割画像３２０，３２２及び３２６のそれぞれは、同一のカテゴリに分類される。また、３つの良品分割画像３２０，３２２及び３２６のそれぞれには、同一のラベル情報として、０のラベル情報が付与されている。同様に、左端から２番目の列の４つの良品分割画像のうち、３つの良品分割画像３４０，３４２及び３４６も類似している。このため、これらの３つの良品分割画像３４０，３４２及び３４６のそれぞれには、同一のラベル情報として、１のラベル情報が付与されている。また、左端の列の上から３番目の良品分割画像３２４は、他の良品分割画像のいずれとも類似しないため、他の良品分割画像のラベル情報とは異なるラベル情報として、３のラベル情報が付与されている。さらに、パターンを含まない良品分割画像には、同一のラベル情報として、２のラベル情報が付与されている。
　ここでは、良品分割画像同士の類似度に基づいて、ラベル情報が生成されるものとして説明したが、ラベル情報の生成方法はこれに限られない。例えば、良品画像が複数の部位を含んでいる場合には、それぞれの部位ごとにラベル情報が付与されてもよい。一例として、スマートフォンが検査対象物として外観検査される場合について説明する。この場合、良品画像に含まれる複数の良品分割画像のそれぞれが、スマートフォンのディスプレイの領域（以下、「第１領域」と称する。）と、ディスプレイ以外の部分の領域（以下、この領域を「第２領域」と称する。）とに分類されるものとする。例えば、第１領域のカテゴリに分類される良品分割画像には１のラベル情報が付与され、第２領域のカテゴリに分類される良品分割画像には２のラベル情報が付与されてもよい。
　学習データ生成部１１０は、生成した学習データセットを学習用データＤＢ１０４に格納する。本実施形態では、学習データ生成部１１０は、複数の良品画像について生成した学習データセットを学習用データＤＢ１０４に格納するものとする。
　モデル生成部１２０は、複数の学習データセットを用いて学習処理を実施し、良品分割画像及びラベル情報を入力として復元分割画像を出力する学習済みモデルを生成する。ここで、復元分割画像は、良品分割画像を復元する画像である。
　図８は、本実施形態に係るモデル生成部１２０が学習させるモデルを説明するための図である。本実施形態では、モデル生成部１２０は、モデルに良品分割画像及びラベル情報を同時に入力することにより、モデルを学習させる。画像とその付加情報をニューラルネットワークに同時に入力することによりニューラルネットワークを学習させる技術は、例えば参考文献１に記載されている。
（参考文献１）村瀬, 平川, 山下, 藤吉, 「自己状態を付与したCNNによる自動運転制御の高精度化」, PRMU2017-82, vol. 117, no. 238, pp. 85-90
　図８には、モデル生成部１２０による学習処理の対象となるモデル５０が示されている。本実施形態では、モデル５０は、入力層を含む複数の層を備えたニューラルネットワークを含む。より具体的には、モデル５０は、オートエンコーダであり、入力層５００、出力層５０８及び入力層５００と出力層５０８との間に配置されている複数の層から構成されている。入力層５００に入力データが入力されると、入力データは中間層５０４において特徴ベクトルに圧縮され、出力層５０８から出力データが出力される。なお、学習済みモデルを構築するために用いられるモデルは、オートエンコーダに限定されるものではない。また、ニューラルネットワークを構成する層の数は、５層に限定されるものではない。
　モデル生成部１２０は、モデル５０に良品分割画像及びラベル情報を入力する。良品分割画像を入力することは、良品分割画像に含まれる複数の画素値のそれぞれを入力することである。これにより、モデル５０の出力層５０８から画像が出力データとして出力される。モデル生成部１２０は、出力データが良品分割画像を復元するデータとなるように、モデル５０に含まれる各層の間の重みづけパラメータを更新することにより、モデル５０を学習させる。まとめると、モデル生成部１２０は、複数の学習データセットをモデル５０にそれぞれ入力して、重みづけパラメータを更新することにより、学習済みモデルを生成する。モデル生成部１２０は、生成した学習済みモデルを学習済みモデルＤＢ１０６に格納する。
　なお、本実施形態では、モデル生成部１２０は、モデル５０の入力層５００に良品分割画像を入力し、ラベル情報を入力層の次元よりも低い次元を有する中間層５０４に入力する。これにより、ラベル情報が、良品分割画像の画素よりも大きく学習に寄与するようになり、より適切な学習済みモデルを生成することが可能になる。
　なお、ラベル情報は、中間層５０４とは異なる層に入力されてもよい。ラベル情報は、例えば入力層５００に入力されてもよい。また、モデル５０に入力される良品分割画像及びラベル情報の少なくともいずれかは、モデル５０に入力される前に、必要に応じて重みづけがされていてもよい。これにより、より適切にモデル５０が学習され得る。
　図２に戻って、学習済みモデル生成装置１０が備える通信部１３０について説明する。通信部１３０は、各種の情報を送受信することができる。例えば、通信部１３０は、通信ネットワーク１５を介して、学習済みモデルを画像検査装置２０に送信することができる。このとき、良品画像におけるどの位置の良品分割画像にどのラベル情報が付与されたのかを表す情報も、画像検査装置２０に送信される。
　図９は、本実施形態に係る画像検査装置２０の構成を示す機能ブロック図である。画像検査装置２０は、通信部２００、記憶部２１０、撮像部２２０及び処理部２３０を備える。
　通信部２００は、各種の情報を送受信することができる。例えば、通信部２００は、通信ネットワーク１５を介して、学習済みモデル生成装置１０から学習済みモデルを受信することができる。また、通信部２００は、学習済みモデルなどを記憶部２１０に格納することができる。
　記憶部２１０は、各種の情報を記憶している。本実施形態では、記憶部２１０は、学習済みモデルＤＢ１０６を備える。学習済みモデルＤＢ１０６には、学習済みモデルが格納されている。また、学習済みモデルＤＢ１０６には、良品画像におけるどの位置の良品分割画像にどのラベル情報が付与されたのかを表す情報も格納されている。記憶部２１０に記憶されている各種の情報は、必要に応じて処理部２３０により参照される。
　撮像部２２０は、各種の公知の撮像装置を含み、検査対象物３０の画像を撮像する。本実施形態では、撮像部２２０は、検査対象物３０からの反射光Ｒを受光し、検査対象物３０の画像を撮像する。撮像部２２０は、撮像した画像を処理部２３０に伝達する。
　処理部２３０は、各種の処理を検査対象物の画像に施し、検査対象物の検査を行うことができる。図１０は、本実施形態に係る処理部２３０の構成を示す機能ブロック図である。処理部２３０は、前処理部２３１、分割部２３２、ラベル情報付与部２３３、分割画像生成部２３４、復元画像生成部２３５、後処理部２３６及び検査部２３７を備える。
　前処理部２３１は、検査対象物の画像に各種の前処理を施す。前処理部２３１は、例えば、検査対象物の画像に位置ずれを補正する処理を施すことができる。前処理部２３１は、前処理を施した画像を分割部２３２に伝達する。
　分割部２３２は、検査対象物の画像を分割して、複数の検査分割画像を生成することができる。本実施形態では、分割部２３２は、学習済みモデル生成装置１０における良品画像の分割と同様の方法により、検査対象物の画像を分割する。具体的には、分割部２３２は、検査対象物の画像を、縦及び横にそれぞれ４分割して、１６個の検査分割画像を生成する。分割部２３２は、生成した検査分割画像をラベル情報付与部２３３に伝達する。
　ラベル情報付与部２３３は、検査分割画像にラベル情報を付与する。ラベル情報付与部２３３は、学習済みモデルＤＢ２１２を参照して、学習済みモデルの生成の際に、良品画像におけるどの位置の良品分割画像にどのラベル情報が付与されたのかを表す情報を参照し、検査分割画像に、対応する位置の良品分割画像のラベル情報を付与する。検査分割画像及び付与されたラベル情報の組みは、入力データセットとなる。ラベル情報付与部２３３は、複数の検査分割画像のそれぞれにラベル情報を付与して複数の入力データセットを生成し、複数の入力データセットを分割画像生成部２３４に伝達する。
　分割画像生成部２３４は、学習済みモデルに入力データセット（検査分割画像及びラベル情報の組み）を入力して、復元分割画像を生成することができる。学習済みモデルは、学習済みモデル生成装置１０により生成された、良品分割画像及びラベル情報を入力として復元分割画像を出力するように学習させた学習済みモデルである。
　本実施形態では、分割画像生成部２３４は、検査分割画像及びラベル情報からそれぞれ構成される複数の入力データセットを学習済みモデルにそれぞれ入力して、複数の復元分割画像を生成する。生成される複数の復元分割画像のそれぞれは、複数の入力データセットのそれぞれに対応している。復元分割画像は、良品分割画像を復元した画像である。このため、検査分割画像に欠陥などが含まれている場合には、欠陥が除去された画像が復元分割画像として学習済みモデルから出力される。本実施形態では、分割画像生成部２３４は、検査画像に基づき生成された１６個の検査分割画像のそれぞれについて復元分割画像を生成し、生成した１６個の復元分割画像を復元画像生成部２３５に伝達する。
　復元画像生成部２３５は、複数の復元分割画像を合成することにより復元画像を生成する。本実施形態では、復元画像生成部２３５は、分割画像生成部２３４により生成された１６個の復元分割画像を合成することにより、復元画像を生成する。具体的には、復元画像生成部２３５は、生成した１６個の復元分割画像のそれぞれを対応する検査分割画像の位置に配置して合成することにより、復元画像を生成する。復元画像は、良品画像を復元した画像である。このため、検査画像に欠陥が含まれている場合には欠陥が除去された画像が復元画像として生成される。
　図１１を参照して、処理部２３０が検査画像４２に基づいて復元画像４４を生成するまでの処理の一例を説明する。
　分割部２３２は、検査画像４２を縦及び横にそれぞれ４分割し、１６個の検査分割画像を生成する。ラベル情報付与部２３３は、生成された１６個の検査分割画像のそれぞれにラベル情報を付与する。例えば、第１検査分割画像４２０にはラベル情報（Ａ）が付与され、第２検査分割画像４２２にはラベル情報（Ｂ）が付与され、第３検査分割画像４２４にはラベル情報（Ｃ）が付与される。検査分割画像とラベル情報の組みが入力データセットとなる。
　なお、上述したように類似している検査分割画像には同一のラベル情報が付与されていてもよい。このため、例えば、第１検査分割画像４２０及び第２検査分割画像４２２が互いに類似している場合には、第１検査分割画像４２０に第２検査分割画像４２２のラベル情報（Ｂ）が付与されてもよい。あるいは、第２検査分割画像４２２に第１検査分割画像のラベル情報（Ａ）が付与されてもよい。
　分割画像生成部２３４は、生成された１６個の入力データセットを学習済みモデルにそれぞれ入力し、１６個の復元分割画像を生成する。例えば、第１復元分割画像４４０は第１検査分割画像４２０に基づき生成され、第２復元分割画像４４２は第２検査分割画像４２２に基づき生成され、第３復元分割画像４４４は第３検査分割画像４２４に基づき生成されている。復元画像生成部２３５は、生成された１６個の復元分割画像を合成することにより復元画像４４を生成する。
　図１０に戻って、後処理部２３６について説明する。後処理部２３６は、復元画像に後処理を施すことができる。例えば、後処理部２３６は、復元画像と検査画像との差分を算出して、差分画像を生成することができる。具体的には、後処理部２３６は、復元画像を構成する複数の画素値のそれぞれから、検査画像のそれぞれ対応する画素値の差分を算出することにより差分画像を生成することができる。
　図１２～図１４を参照して、後処理部２３６が生成する差分画像について説明する。図１２は、本実施形態に係る検査対象物３０の画像６０の一例を示す図である。また、図１３は、画像６０に基づき生成された復元画像６２の一例を示す図である。さらに、図１４は、検査対象物の画像６０と復元画像６２との差分である差分画像６４を示す図である。図１２に示すように、画像６０には、線状の欠陥画像６００が含まれている。欠陥画像は、検査対象物の欠陥の画像である。一方、図１３に示すように、復元画像６２では、欠陥画像が除去されている。このため、検査対象物の画像６０と復元画像６２との差分を示す差分画像６４には、主に欠陥画像６４０が含まれている。本実施形態では、この欠陥画像６４０を含む差分画像６４に基づき、検査対象物の検査が行われる。
　図１０に戻って、検査部２３７について説明する。検査部２３７は、分割画像生成部２３４により生成された復元分割画像に基づいて、検査対象物３０の検査を行うことができる。本実施形態では、検査部２３７は、複数の復元分割画像に基づいて検査対象物３０の検査を行う。
　本実施形態では、検査部２３７は、検査画像と復元画像との差分に基づいて、検査対象物を検査する。具体的には、検査部２３７は、後処理部２３６により生成された差分画像に基づいて検査対象物の検査を行う。
　また、検査部２３７は、検査対象物３０の欠陥を検出することができる。例えば、検査部２３７は、図１４に示した差分画像６４に含まれる欠陥画像６４０を検出することにより、検査対象物３０の欠陥を検出することができる。あるいは、検査部２３７は、検査対象物３０の良否判定を行ってもよい。具体的には、検査部２３７は、差分画像６４に含まれる欠陥画像の大きさに基づいて、検査対象物３０の良否判定を行ってもよい。より具体的には、検査部２３７は、差分画像６４に含まれる欠陥画像の大きさが所定の閾値を超える場合には、検査対象物が不良品であることを判定することができる。
　図１５は、本実施形態に係る学習済みモデル生成装置１０及び画像検査装置２０の物理的構成を示す図である。学習済みモデル生成装置１０及び画像検査装置２０は、演算部に相当するＣＰＵ（Central Processing Unit）１０ａと、記憶部に相当するＲＡＭ（Random Access Memory）１０ｂと、記憶部に相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆと、を有する。これらの各構成は、バスを介して相互にデータ送受信可能に接続される。
　なお、本例では、学習済みモデル生成装置１０及び画像検査装置２０のそれぞれが、一台のコンピュータで構成されるものとして説明するが、学習済みモデル生成装置１０及び画像検査装置２０のそれぞれは、複数のコンピュータが組み合わされて実現されてもよい。また、画像検査装置２０及び学習済みモデル生成装置１０が一台のコンピュータで構成されてもよい。また、図１５で示す構成は一例であり、学習済みモデル生成装置１０及び画像検査装置２０は、これら以外の構成を有してもよいし、これらの構成のうち一部を有さなくてもよい。
　ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う演算部である。学習済みモデル生成装置１０が備えるＣＰＵ１０ａは、学習データを用いて学習処理を実施して、学習済みモデルを生成するプログラム（学習プログラム）を実行する演算部である。また、画像検査装置２０が備えるＣＰＵ１０ａは、検査対象物の画像を用いて、検査対象物の検査を行うプログラム（画像検査プログラム）を実行する演算部である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々のデータを受け取り、データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂに格納したりする。
　ＲＡＭ１０ｂは、記憶部のうちデータの書き換えが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するプログラム、学習データ、学習済みモデルといったデータを記憶してよい。なお、これらは例示であって、ＲＡＭ１０ｂには、これら以外のデータが記憶されていてもよいし、これらの一部が記憶されていなくてもよい。
　ＲＯＭ１０ｃは、記憶部のうちデータの読み出しが可能なものであり、例えば半導体記憶素子で構成されてよい。ＲＯＭ１０ｃは、例えば画像検査プログラム、学習プログラム及び書き換えが行われないデータを記憶してよい。
　通信部１０ｄは、画像検査装置２０を他の機器に接続するインターフェースである。通信部１０ｄは、インターネット等の通信ネットワークに接続されてよい。
　入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード及びタッチパネルを含んでよい。入力部１０ｅは、例えば良品分割画像又は検査分割画像のラベル情報等の入力を受け付けてもよい。
　表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成されてよい。表示部１０ｆは、例えば、検査対象物の検査結果等を表示してよい。
　画像検査プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。学習済みモデル生成装置１０では、ＣＰＵ１０ａが学習プログラムを実行することにより、図２等を用いて説明した様々な動作が実現される。また、画像検査装置２０では、ＣＰＵ１０ａが画像検査プログラムを実行することにより、図９及び図１０等を用いて説明した様々な動作が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、学習済みモデル生成装置１０及び画像検査装置２０のそれぞれは、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。
　図１６は、学習済みモデル生成装置１０が学習済みモデルを生成する流れの一例を示すフローチャートである。
　まず、学習データ生成部１１０が、良品画像ＤＢ１０２に格納されている良品画像を、複数の良品分割画像に分割する（ステップＳ１０１）。このとき、良品画像ＤＢ１０２に複数の良品画像が格納されている場合には、学習データ生成部１１０は、複数の良品画像のそれぞれを分割して、それぞれの良品画像に対応する良品分割画像を生成してもよい。
　次いで、学習データ生成部１１０は、ステップＳ１０３において生成した良品分割画像のそれぞれにラベル情報を付与し、複数の学習データセットを生成する（ステップＳ１０３）。学習データ生成部１１０は、生成した学習データセットを学習用データＤＢ１０４に格納する。
　次いで、モデル生成部１２０は、学習用データＤＢ１０４に格納されている複数の学習データセットを用いて学習処理を実行し、良品分割画像及びラベル情報を入力として復元分割画像を出力する学習済みモデルを生成する（ステップＳ１０５）。モデル生成部１２０は、生成した学習済みモデルを学習済みモデルＤＢ１０６に格納する。
　次いで、通信部１３０は、ステップＳ１０５において生成された学習済みモデルを画像検査装置２０に送信する（ステップＳ１０７）。これにより、画像検査装置２０は、学習済みモデル生成装置１０により生成された学習済みモデルを使用できるようになる。
　図１７は、画像検査装置２０が、検査対象物の画像に基づき、学習済みモデルを用いて検査対象物の検査を行う流れの一例を示すフローチャートである。
　まず、画像検査装置２０が備える撮像部２２０が、検査対象物の画像を撮像する（ステップＳ２０１）。撮像部２２０は、撮像した画像を処理部２３０に伝達する。
　次いで、処理部２３０が備える前処理部２３１が、ステップＳ２０１において撮像された画像に前処理を施す（ステップＳ２０３）。次いで、分割部２３２が、ステップＳ２０３において前処理を施された検査画像を分割して、複数の検査分割画像を生成する（ステップＳ２０５）。次いで、ラベル情報付与部２３３は、ステップＳ２０５において生成された複数の検査分割画像のそれぞれにラベル情報を付与し、複数の入力データセットを生成する（ステップＳ２０７）。
　次いで、分割画像生成部２３４は、ステップＳ２０７において生成された複数の入力データセットを学習済みモデルにそれぞれ入力して、複数の復元分割画像を生成する（ステップＳ２０９）。次いで、復元画像生成部２３５は、ステップＳ２０９において生成された複数の復元分割画像を合成することにより、復元画像を生成する（ステップＳ２１１）。次いで、後処理部２３６は、ステップＳ２０１において撮像された検査画像と、ステップＳ２１１において生成された復元画像との差分を算出して差分画像を生成する（ステップＳ２１３）。
　次いで、検査部２３７は、ステップＳ２１３において生成された差分画像に基づいて検査対象物の検査を行う（ステップＳ２１５）。
　本実施形態によれば、検査分割画像のラベル情報に応じて、復元分割画像が生成される。このため、部分的に特殊パターンが含まれている場合であっても、特殊パターンを復元することができると。また、ある位置又は部分で良品であるパターンが別の位置又は部分では不良品であっても、良品のパターンを適切に復元することができる。この結果、不良品のパターンの生成を抑制することができる。
　図１８を参照して、本実施形態の効果についてより具体的に説明する。図１８は、検査画像７０の一例を示す図である。検査画像７０は、６個の検査分割画像７００、７０２、７０４、７０６、７０８及び７１０に分割される。この６個の検査分割画像の中で、検査分割画像７０２、７０６及び７０８は互いに類似しているものとする。また、検査分割画像７０４は、他の検査分割画像と異なる特殊パターンを含んでいる。
　仮にラベル情報を用いずに、これら６個の検査分割画像を学習データとして学習済みモデルを生成したとする。この学習済みモデルに検査分割画像７０４を入力すると、学習済みモデルの表現能力が低い場合には、検査分割画像７０２、７０４又は７０８が出力され、特殊パターンが復元されない可能性がある。
　一方、本実施形態に係る画像検査装置２０は、検査分割画像に加えてラベル情報を用いる。このため、検査分割画像とその検査分割画像の位置に応じた復元分割画像を生成することができる。その結果、その検査分割画像が特定の位置に特殊パターンを含む場合であっても、特殊パターンを復元することが可能となる。例えば、検査分割画像７０４のように特殊なパターンを示す検査分割画像であっても、適切に復元することが可能になる。
　また、良品の検査対象物の画像において、ある位置又は部分で良品であるパターンが別の位置又は部分では不良品である場合がある。このような場合にも、本実施形態に係る画像検査装置２０によれば、不良品のパターンを含む検査分割画像を良品の復元分割画像を生成できるため、不良品のパターンが生成されることが抑制される。この結果、不良品の見逃しを抑制することができる。
　以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素及びその配置、材料、条件、形状、サイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
　［附記］
　良品の検査対象物の画像を分割した画像である良品分割画像及び良品分割画像のラベル情報を入力として復元分割画像を出力するように学習させた学習済みモデルに、検査対象物（３０）の画像を分割した画像である検査分割画像及び検査分割画像のラベル情報を入力して、復元分割画像を生成する分割画像生成部（２３４）と、
　分割画像生成部（２３４）により生成された復元分割画像に基づいて検査対象物の検査を行う検査部（２３７）と、
　を備える画像検査装置（２０）。
　１…画像検査システム、１０…学習済みモデル生成装置、１１０…学習データ生成部、１２０…モデル生成部、２０…画像検査装置、２１０…記憶部、２２０…撮像部、２３０…処理部、２３１…前処理部、２３２…分割部、２３３…ラベル情報付与部、２３４…分割画像生成部、２３５…復元画像生成部、２３６…後処理部、２３７…検査部、２５…照明、３０…検査対象物、４０…良品画像、４２…検査画像、６２…復元画像、６４…差分画像、４００…第１良品分割画像、４０２…第２良品分割画像、４０４…第３良品分割画像、４２０…第１検査分割画像、４２２…第２検査分割画像、４２４…第３検査分割画像、４４０…第１復元分割画像、４４２…第２復元分割画像、４４４…第３復元分割画像、５００…入力層、５０４…中間層、５０８…出力層、６００…欠陥画像

Claims (11)

  1. 　良品の検査対象物の画像を分割した画像である良品分割画像及び前記良品分割画像のラベル情報を入力として復元分割画像を出力するように学習させた学習済みモデルに、検査対象物の画像を分割した画像である検査分割画像及び前記検査分割画像のラベル情報を入力して、前記復元分割画像を生成する分割画像生成部と、
    　前記分割画像生成部により生成された復元分割画像に基づいて前記検査対象物の検査を行う検査部と、
    　を備える画像検査装置。
  2. 　前記分割画像生成部は、前記検査分割画像及び前記検査分割画像のラベル情報からそれぞれ構成される複数の入力データセットを前記学習済みモデルにそれぞれ入力して、複数の前記復元分割画像を生成し、
    　前記検査部は、前記複数の復元分割画像に基づいて前記検査対象物の検査を行う、
    　請求項１に記載の画像検査装置。
  3. 　前記複数の復元分割画像を合成することにより復元画像を生成する復元画像生成部をさらに備え、
    　前記検査部は、前記検査対象物の画像と前記復元画像との差分に基づいて、前記検査対象物の検査を行う、
    　請求項２に記載の画像検査装置。
  4. 　前記学習済みモデルは、入力層を含む複数の層を備えたニューラルネットワークであり、
    　前記分割画像生成部は、前記検査分割画像を前記入力層に入力し、前記ラベル情報を前記入力層の次元よりも低い次元を有する層に入力する、
    　請求項１から３のいずれか１項に記載の画像検査装置。
  5. 　分割画像生成部は、第１検査分割画像が第２検査分割画像と類似している場合には、前記第１検査分割画像及び前記第２検査分割画像のラベル情報を前記学習済みモデルに入力する、
    　請求項１から４のいずれか１項に記載の画像検査装置。
  6. 　前記検査部は、前記検査対象物の良否判定を行う、
    　請求項１から５のいずれか１項に記載の画像検査装置。
  7. 　前記検査部は、前記検査対象物の欠陥を検出する、
    　請求項１から６のいずれか１項に記載の画像検査装置。
  8. 　前記検査対象物の画像を撮像する撮像部をさらに備える、
    請求項１から７のいずれか１項に記載の画像検査装置。
  9. 　前記検査対象物の画像を複数の前記検査分割画像に分割する分割部をさらに備える、
    請求項１から８のいずれか１項に記載の画像検査装置。
  10. 　プロセッサを備えるコンピュータによる画像検査方法であって、
    　良品の検査対象物の画像を分割した画像である良品分割画像及び前記良品分割画像のラベル情報を入力として復元分割画像を出力するように学習させた学習済みモデルに、検査対象物の画像を分割した画像である検査分割画像及び前記検査分割画像のラベル情報を入力し、前記復元分割画像を生成することと、
    　前記生成された復元分割画像に基づいて前記検査対象物の検査を行うことと、
    　を含む画像検査方法。
  11. 　良品の検査対象物の画像を分割した良品分割画像及び前記良品分割画像のラベル情報の組み合わせによりそれぞれ構成される複数の学習データセットを用いて学習処理を実施し、前記良品分割画像及び前記ラベル情報を入力として復元分割画像を出力する学習済みモデルを生成するモデル生成部、
    　を備える、学習済みモデル生成装置。
PCT/JP2021/008956 2020-05-15 2021-03-08 画像検査装置、画像検査方法及び学習済みモデル生成装置 WO2021229901A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020085943A JP2021179902A (ja) 2020-05-15 2020-05-15 画像検査装置、画像検査方法及び学習済みモデル生成装置
JP2020-085943 2020-05-15

Publications (1)

Publication Number Publication Date
WO2021229901A1 true WO2021229901A1 (ja) 2021-11-18

Family

ID=78511634

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/008956 WO2021229901A1 (ja) 2020-05-15 2021-03-08 画像検査装置、画像検査方法及び学習済みモデル生成装置

Country Status (2)

Country Link
JP (1) JP2021179902A (ja)
WO (1) WO2021229901A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002023480A1 (fr) * 2000-09-18 2002-03-21 Olympus Optical Co., Ltd. Systeme et procede de gestion de fichiers de donnees d'image
JP2018205163A (ja) * 2017-06-06 2018-12-27 株式会社デンソー 外観検査装置、変換データ生成装置、及びプログラム
JP2019133303A (ja) * 2018-01-30 2019-08-08 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 情報処理装置、情報処理プログラム及び情報処理方法
WO2019186915A1 (ja) * 2018-03-29 2019-10-03 三菱電機株式会社 異常検査装置および異常検査方法
WO2020065908A1 (ja) * 2018-09-28 2020-04-02 日本電気株式会社 パターン認識装置、パターン認識方法およびパターン認識プログラム
JP2020052520A (ja) * 2018-09-25 2020-04-02 エヌ・ティ・ティ・コムウェア株式会社 判定装置、判定方法、およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002023480A1 (fr) * 2000-09-18 2002-03-21 Olympus Optical Co., Ltd. Systeme et procede de gestion de fichiers de donnees d'image
JP2018205163A (ja) * 2017-06-06 2018-12-27 株式会社デンソー 外観検査装置、変換データ生成装置、及びプログラム
JP2019133303A (ja) * 2018-01-30 2019-08-08 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 情報処理装置、情報処理プログラム及び情報処理方法
WO2019186915A1 (ja) * 2018-03-29 2019-10-03 三菱電機株式会社 異常検査装置および異常検査方法
JP2020052520A (ja) * 2018-09-25 2020-04-02 エヌ・ティ・ティ・コムウェア株式会社 判定装置、判定方法、およびプログラム
WO2020065908A1 (ja) * 2018-09-28 2020-04-02 日本電気株式会社 パターン認識装置、パターン認識方法およびパターン認識プログラム

Also Published As

Publication number Publication date
JP2021179902A (ja) 2021-11-18

Similar Documents

Publication Publication Date Title
JP6924413B2 (ja) データ生成装置、データ生成方法及びデータ生成プログラム
WO2019117065A1 (ja) データ生成装置、データ生成方法及びデータ生成プログラム
JP7004145B2 (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
JP2019095217A (ja) 外観検査装置
JP2006030518A (ja) パターン検査方法
KR20190042384A (ko) 딥러닝과 노이즈 제거 기술을 이용한 표면 결함 검출 장치 및 방법
US20220076404A1 (en) Defect management apparatus, method and non-transitory computer readable medium
JP2020085583A (ja) 検査装置及び検査方法
KR102569285B1 (ko) 병리 슬라이드 이미지 내의 이상 영역을 검출하기 위한 기계학습 모델을 학습시키는 방법 및 시스템
KR20210086303A (ko) 딥러닝 기반 패턴 검사 장치 및 그 장치를 이용한 검사 방법
WO2021161853A1 (ja) 分析装置及び分析方法
WO2021229901A1 (ja) 画像検査装置、画像検査方法及び学習済みモデル生成装置
KR102178238B1 (ko) 회전 커널을 이용한 머신러닝 기반 결함 분류 장치 및 방법
Kumar et al. Fault detection on the 3-D printed objective surface by using the SVM algorithm
JP6425468B2 (ja) 教師データ作成支援方法、画像分類方法、教師データ作成支援装置および画像分類装置
WO2021229905A1 (ja) 画像検査装置、画像検査方法及び学習済みモデル生成装置
JP7070308B2 (ja) 推定器生成装置、検査装置、推定器生成方法、及び推定器生成プログラム
JP2021174194A (ja) 学習用データ処理装置、学習装置、学習用データ処理方法、およびプログラム
JPWO2020158630A1 (ja) 検出装置、学習器、コンピュータプログラム、検出方法及び学習器の生成方法
US11361424B2 (en) Neural network-type image processing device, appearance inspection apparatus and appearance inspection method
WO2022172468A1 (ja) 画像検査装置、画像検査方法及び学習済みモデル生成装置
WO2022201968A1 (ja) 情報処理装置、制御プログラム、および制御方法
JP2023104488A (ja) 機械学習装置、機械学習方法、機械学習プログラム、検査装置、検査方法、および検査プログラム
WO2022172469A1 (ja) 画像検査装置、画像検査方法、及び学習済みモデル生成装置
WO2022172475A1 (ja) 画像検査装置、画像検査方法、及び学習済みモデル生成装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21804593

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21804593

Country of ref document: EP

Kind code of ref document: A1