WO2022130814A1 - 指標選択装置、情報処理装置、情報処理システム、検査装置、検査システム、指標選択方法、および指標選択プログラム - Google Patents

指標選択装置、情報処理装置、情報処理システム、検査装置、検査システム、指標選択方法、および指標選択プログラム Download PDF

Info

Publication number
WO2022130814A1
WO2022130814A1 PCT/JP2021/040525 JP2021040525W WO2022130814A1 WO 2022130814 A1 WO2022130814 A1 WO 2022130814A1 JP 2021040525 W JP2021040525 W JP 2021040525W WO 2022130814 A1 WO2022130814 A1 WO 2022130814A1
Authority
WO
WIPO (PCT)
Prior art keywords
index
defective product
index selection
score
input data
Prior art date
Application number
PCT/JP2021/040525
Other languages
English (en)
French (fr)
Inventor
高基 舘
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to US18/037,820 priority Critical patent/US20240005477A1/en
Priority to JP2022569759A priority patent/JPWO2022130814A1/ja
Publication of WO2022130814A1 publication Critical patent/WO2022130814A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Definitions

  • the present invention relates to an index selection device, an information processing device, an information processing system, an inspection device, an inspection system, an index selection method, and an index selection program.
  • An inspection device equipped with an image processing function for judging the quality / defect of a work by using an input image obtained by photographing a production object (work) on a production line is known.
  • an image processing algorithm is used to extract the feature amount of the input image, and the quality / defect of the work is determined based on the threshold value for separating the non-defective product / the defective product.
  • Patent Document 1 in order to improve the inspection accuracy, rules and threshold values (inspection logic) that specify a method for determining whether the work is good or bad are dynamically set according to changes in the production environment. It is disclosed to do.
  • the present invention has been made to solve such a problem, and has improved the accuracy of defect detection, such as an index selection device, an information processing device, an information processing system, an inspection device, an inspection system, an index selection method, and an index selection device.
  • the purpose is to provide an indicator selection program.
  • a score calculation unit that calculates an abnormal score of a non-defective product and a defective product based on a plurality of input data of a non-defective product and a defective product and a reference data corresponding to the input data, and the non-defective product and the non-defective product.
  • An index selection device comprising an index selection unit for selecting any one of the plurality of indexes according to an abnormality score of a defective product.
  • the abnormality score is the difference between the result of calculating the index using the input data and the result of calculating the index using the reference data for each of the non-defective product and the defective product.
  • the index selection device according to 1).
  • the index selection unit selects an index having the largest difference between the distribution of the abnormal score of the good product and the distribution of the abnormal score of the defective product with respect to the plurality of input data and the reference data.
  • the index selection device according to 1) or (2).
  • the index selection unit uses the feature amount of a plurality of input data of the non-defective product and the defective product as an explanatory variable, and the difference between the distribution of the abnormal score of the non-defective product and the distribution of the abnormal score of the defective product as the objective variable.
  • the index according to any one of (1) to (4) above, wherein one of the plurality of indexes is selected by using the trained model trained so as to have the largest difference. Selection device.
  • the input data is color image data
  • the index selection unit calculates an abnormal score based on hue and / or saturation as the index, whichever is 1 of (1) to (5) above.
  • the index selection device described in 1.
  • the input data acquisition unit for acquiring input data, the input data acquired by the input data acquisition unit, the reference data corresponding to the input data, and any one of claims 1 to 6.
  • An information processing device having a score calculation unit that calculates an abnormal score based on an index selected by the index selection device.
  • An inspection device having a determination unit for determining a non-defective product or a defective product based on the abnormality score output by the information processing apparatus according to (7) above.
  • An information processing system including the information processing device according to (7) above and a display device for displaying an abnormal score by the score calculation unit.
  • An inspection system including the inspection device according to (8) above and a display device for displaying a determination result by the determination unit.
  • An index selection method comprising a step (b) of selecting any one of the plurality of indexes according to an abnormality score of a non-defective product and a defective product.
  • the abnormality score is the difference between the result of calculating the index using the input data and the result of calculating the index using the reference data for each of the non-defective product and the defective product.
  • step (b) the index having the largest difference between the distribution of the abnormal score of the good product and the distribution of the abnormal score of the defective product with respect to the plurality of input data and the reference data is selected.
  • the above (11) to (14) further include a step (c) of generating reconstruction data as reference data based on the input data by a generation model learned using input data of a plurality of non-defective products.
  • the index selection method according to any one of 13).
  • the feature amount of the plurality of input data of the non-defective product and the defective product is used as an explanatory variable, and the difference between the distribution of the abnormal score of the non-defective product and the distribution of the abnormal score of the defective product is used as the objective variable.
  • the input data is color image data, and in step (b), any one of the above (11) to (15) for calculating an abnormality score due to hue and / or saturation as the index.
  • An index selection program for causing a computer to execute a process included in the index selection method according to any one of (11) to (16) above.
  • the index selection device of the present invention one of a plurality of indexes is selected according to the abnormal score of the non-defective product and the defective product, so that an index effective for separating the non-defective product / the defective product can be obtained.
  • the information processing device calculates the abnormality score using the index selected by the index selection device, so that the user can confirm the position and area of the abnormality to be inspected from the abnormality score map displayed on the display. Further, the inspection device can improve the determination accuracy of the non-defective product / defective product to be inspected based on the abnormality score calculated by the information processing device.
  • the index selection device the information processing device, the information processing system, the inspection device, the inspection system, the index selection method, and the index selection program according to the embodiment of the present invention will be described with reference to the drawings.
  • the same elements are designated by the same reference numerals, and duplicate description will be omitted.
  • FIG. 1 is a schematic block diagram illustrating a hardware configuration of an information processing apparatus 100 according to an embodiment
  • FIG. 2 illustrates a main function of a control unit 110 when the information processing apparatus 100 functions as an index selection apparatus. It is a functional block diagram.
  • FIG. 3 is a schematic block diagram illustrating the function of the control unit 110 shown in FIG. 2
  • FIG. 4 is a schematic diagram for explaining the calculation of the abnormal score by the score calculation unit 230 shown in FIG.
  • FIG. 5 is a schematic diagram illustrating the calculation results of the abnormal scores 1 to N by the index parameters 1 to N.
  • the information processing apparatus 100 calculates an abnormality score based on a plurality of index parameters (indexes) based on a plurality of input images and a plurality of reference images corresponding to these input images, and a plurality of indexes according to the abnormality score. It functions as an index selection device that selects any one of the parameters.
  • the input image is labeled as a good product (normal inspection target) or a defective product (inspection target including abnormalities such as defects), and by learning the index parameters (deep learning or machine learning), it is not good or bad.
  • Index parameters that are effective in separating from non-defective products are selected.
  • the index parameters can be set, for example, individually or in combination of hue, saturation, density, object shape, size, and the like, which are color attributes of the input image and the reconstructed image. .. The details of the calculation method of the abnormal score will be described later.
  • the inspection target is not particularly limited, but examples thereof include parts used in industrial products. Inspection includes detection of abnormalities such as breaks, bends, chips, scratches, and stains. Further, the information processing apparatus 100 acquires a plurality of non-defective input images (hereinafter, also referred to as "normal input images"), learns these images as correct image, and generates a reconstructed image from the input image. Deep learning. Generate a model (generative model). The reference image can be a reconstructed image of the input image.
  • the information processing apparatus 100 has a control unit 110, a communication unit 120, and an operation display unit 130. These components are connected to each other via the bus 101.
  • the information processing device 100 may be, for example, a computer such as a personal computer or a server.
  • the control unit 110 includes a CPU (Central Processing Unit) 111, a RAM (Random Access Memory) 112, a ROM (Read Only Memory) 113, and an auxiliary storage unit 114.
  • CPU Central Processing Unit
  • RAM Random Access Memory
  • ROM Read Only Memory
  • the CPU 111 executes programs such as an OS (Operating System), an index selection program, and an inspection program developed in the RAM 112, and controls the operation of the information processing apparatus 100.
  • the index selection program and the inspection program are stored in the ROM 113 or the auxiliary storage unit 114 in advance.
  • the RAM 112 stores data or the like temporarily generated by the processing of the CPU 111.
  • the ROM 113 stores a program executed by the CPU 111, data used for executing the program, parameters, and the like.
  • the auxiliary storage unit 114 has, for example, an HDD (Hard Disk Drive), an SSD (Solid State Drive), or the like.
  • control unit 110 functions as an image acquisition unit 210, an image reconstruction unit 220, a score calculation unit 230, and an index selection unit 240 by executing an index selection program by the CPU 111.
  • the image acquisition unit 210 functions as an input data acquisition unit and acquires an input image (input data) by cooperating with the communication unit 120.
  • the image reconstruction unit 220 functions as a data reconstruction unit, and is used as reference data based on the input image acquired by the image acquisition unit 210 by the generation model learned by using the input images of a plurality of non-defective products related to the same inspection target. Generates a reconstructed image (reconstructed data) of. More specifically, the image reconstruction unit 220 extracts a feature amount from the input image by the trained first neural network, and reconstructs (restores) the input image based on the extracted feature amount. Generate a reconstructed image.
  • the first neural network has a multi-layered convolutional neural network, and is pre-learned by supervised learning so that the difference between the reconstructed image and the input image disappears or becomes as small as possible at the time of learning.
  • the first neural network functions as a generative model having an encoder / decoder structure, for example.
  • an autoencoder AE: AutoEncoder
  • VAE Variational AutoEncoder
  • AE and VAE are known techniques, detailed description thereof will be omitted.
  • the image reconstruction unit 220 has, for example, a VAE including an encoder 221 and a decoder 222 as a generative model.
  • VAE extracts only the essential elements of the input image by extracting the features of the input image, and reconstructs them using the extracted features to exclude the non-essential elements of the input image. Generates and outputs a reconstructed image. That is, since VAE learns only with a normal input image, it is configured so that a corresponding feature amount can be generated with respect to the normal input image, and is an inspection target including a defective product, that is, an abnormality such as a defect or a scratch. For the input image (hereinafter, also referred to as "abnormal input image”), the feature amount corresponding to the abnormality cannot be generated, and the reproducibility is not obtained.
  • the input image includes an image of the member M1 as an inspection target.
  • the member M1 originally has a linear texture T1. Further, when the member M1 is a defective product, for example, the member M1 includes a scratch S1 generated in the middle of the manufacturing process.
  • the reconstructing process of the input image is executed, the reconstructed image obtained by reconstructing the image of the member M1 is output.
  • the reconstructed image is an image in which only essential elements are left from the image of the member M1 of the input image and unnecessary elements are removed. Since the texture T1 is originally provided by the member M1 (essential element), it is reconstructed. On the other hand, the wound S1 is abnormal (not an essential element) and is not reconstructed.
  • the image reconstruction unit 220 generates and outputs a reconstruction image in which non-essential elements in the input image are excluded. Therefore, in the case of a defective product rather than a good product, the input image and the reconstruction image are combined. The difference becomes large.
  • a predetermined image related to the same inspection target can be used as the reference image instead of the reconstructed image.
  • the predetermined image may be, for example, a typical non-defective image for the same inspection subject that is not used for the input image.
  • it is necessary to perform correction processing for the position shift or size it is necessary to perform correction processing for the position shift or size.
  • the above correction process is not necessary.
  • the score calculation unit 230 calculates an abnormality score based on a plurality of index parameters based on a plurality of input images of non-defective products and defective products and a plurality of reconstructed images corresponding to the input images. As shown in FIG. 4, the score calculation unit 230 is an index based on, for example, a plurality of input images labeled as non-defective products or defective products, and a plurality of reconstructed images corresponding to these input images. Anomalous scores 1 to N for non-defective products and defective products are calculated according to parameters 1 to N.
  • the anomaly score may be the difference between the result of calculating the index parameter value using the input image and the result of calculating the index parameter value using the reconstructed image for each of the non-defective product and the defective product.
  • hue and saturation can be used as index parameters.
  • FIG. 5 shows the normalized anomaly score and the anomaly score for good and defective products in Cartesian coordinates with the number of samples (input images) used to select the indicator parameters on the horizontal and vertical axes, respectively.
  • the distribution of the values of is illustrated.
  • the abnormal scores due to the index parameters 1 to N correspond to the abnormal scores 1 to N, respectively.
  • the good sample is distributed in a region where the normalized abnormal score is relatively small, and the defective sample is distributed in a region where the normalized abnormal score is relatively large.
  • the data of the abnormality scores 1 to N are stored in the auxiliary storage unit 114.
  • the index selection unit 240 selects any one of the index parameters 1 to N according to the abnormality scores 1 to N of the non-defective product and the defective product.
  • the abnormal score of the non-defective product the shaded area in the figure
  • the abnormal score of the defective product the gray part in the figure
  • the index selection unit 240 selects the index parameter N having the largest difference between the distribution of the abnormal score of the non-defective product and the distribution of the abnormal score of the defective product.
  • the selection of index parameters is selected by performing deep learning.
  • the index selection unit 240 has, for example, a multi-layered convolutional neural network (second neural network), and deep learning (deep learning) of index parameters for a plurality of input images of good and defective products related to the same inspection target. Or machine learning). By inputting a plurality of input images of the same inspection target, an abnormality score is accumulated for each pair of the input image and the reference image, and the learning of the index parameter is deepened.
  • second neural network second neural network
  • deep learning deep learning
  • the index selection unit 240 uses the feature quantities of a plurality of input images of the non-defective product and the defective product as explanatory variables, and the difference between the distribution of the abnormal score of the non-defective product and the distribution of the abnormal score of the defective product (that is, the abnormality of the non-defective product). With the distance between the statistic of the score and the statistic of the abnormal score of the defective product as the objective variable, the second neural network is trained so that the above difference (distance) is the largest, and a trained model is generated. ..
  • the statistic can be, for example, a histogram.
  • it may be configured to learn index parameters so that the false positive rate of non-defective products is reduced.
  • index parameter may be selected so that (distance) is the largest.
  • the index selection unit 240 selects one of a plurality of index parameters (index parameter N in the example of FIG. 5) for one inspection target using the trained model.
  • the communication unit 120 is an interface circuit (for example, a LAN card or the like) for communicating with an external device via a network.
  • an interface circuit for example, a LAN card or the like
  • the operation display unit 130 has an input unit and an output unit.
  • the input unit is provided with, for example, a keyboard, a mouse, etc., and is used for the user to perform various instructions (inputs) such as character input by the keyboard, mouse, etc., and various settings.
  • the output unit includes a display (display device) and displays an input image or the like.
  • the inspection target is photographed by an image pickup device such as a camera, for example.
  • the image pickup apparatus transmits the captured image data of the inspection target to the information processing apparatus 100.
  • the information processing apparatus 100 acquires image data as an input image. Further, the images to be inspected taken in advance by the imaging device are stored in a storage device outside the information processing device 100, and the information processing device 100 stores a predetermined number of images to be inspected stored in the storage device. It can also be configured to be sequentially acquired as an input image.
  • the image pickup device when the inspection target is a part of an industrial product, the image pickup device is installed in the inspection process, takes a picture of a shooting range including the inspection target, and outputs image data including the inspection target.
  • the image pickup apparatus outputs, for example, data of a black-and-white image or a color image to be inspected of a predetermined pixel (for example, 128 pixels ⁇ 128 pixels).
  • FIG. 6 is a functional block diagram illustrating the main functions of the control unit 110 when the information processing device 100 functions as an information processing device. Further, FIG. 7 is a schematic block diagram illustrating the function of the control unit 110 shown in FIG. 6, and FIG. 8 is a functional block diagram illustrating the function of the score calculation unit 330 shown in FIG. 7.
  • control unit 110 functions as an image acquisition unit 310, an image reconstruction unit 320, and a score calculation unit 330 by executing an inspection program by the CPU 111.
  • the image acquisition unit 310 functions as an input data acquisition unit and acquires an input image (input data) by cooperating with the communication unit 120.
  • the image reconstruction unit 320 functions as a data reconstruction unit, and is based on the input image acquired by the image acquisition unit 310 by the generation model learned using the input images of a plurality of non-defective products. Generate a reconstructed image (reconstructed data) as reference data. More specifically, the image reconstruction unit 320 extracts a feature amount from the input image by the trained first neural network, and reconstructs (restores) the input image based on the extracted feature amount. Generate a reconstructed image.
  • the determination unit 340 determines whether the product is non-defective or defective, but if the input image contains noise, the abnormality score may not be calculated appropriately due to the noise.
  • the filter can be a denoising filter (eg, a low pass filter, a high pass filter, or a band pass filter). With such a configuration, the influence of noise on the abnormal score is alleviated, and it is possible to prevent or suppress the deterioration of the determination performance (separation performance) of the non-defective product / defective product due to the noise.
  • the score calculation unit 330 calculates an abnormal score between the input image acquired by the image acquisition unit 310 and the reconstructed image reconstructed by the image reconstruction unit 320. As shown in FIG. 8, the score calculation unit 330 has a calculation processing unit 331. The arithmetic processing unit 331 uses at least one of the index parameters 1 to N to calculate the abnormal score as the output of the score calculation unit 330.
  • the score calculation unit 330 calculates the value of the index parameter used by the arithmetic processing unit 331 among the index parameters 1 to N, and calculates the abnormal score based on the value of the index parameter. For example, when the score calculation unit 330 is set so that only the abnormal score of the index parameter 1 (luminance in the figure) is used, the value of the index parameter 1 and the abnormal score thereof are used for the input image and the reconstructed image. Is calculated. In this case, the arithmetic processing unit 331 calculates the abnormal score as the output of the score calculation unit 330 based only on the abnormal score of the index parameter 1.
  • the abnormality score of the index parameter 1 may be, for example, the difference between the luminance value of the input image and the luminance value of the reconstructed image.
  • the abnormality score of the index parameter 2 may be, for example, a difference between the result of calculating the index parameter 2 using the input image and the result of calculating the index parameter 2 using the reconstructed image. The same applies to the method of calculating the abnormal score of other index parameters.
  • the arithmetic processing unit 331 can set use / non-use for each index parameter 1 to N abnormality score based on the index parameter selected by the index selection device and stored in the RAM 212.
  • the arithmetic processing unit 331 has the abnormality score of the index parameter 1. Based on the abnormal scores of both the index and the abnormal score of the index parameter 2, the abnormal score as the output of the score calculation unit 330 is calculated.
  • the abnormal score of the score calculation unit 330 can be calculated by weighting the abnormal score of the index parameter 1 and the abnormal score of the index parameter 2 with predetermined coefficients and adding them together.
  • the operation display unit 130 displays an abnormal score (abnormal score map) calculated by the score calculation unit 330 on the display. As a result, the user can confirm the position and area of the abnormality to be inspected from the abnormality score map displayed on the display.
  • the control unit 110 and the operation display unit 130 constitute an information processing system.
  • FIG. 9 is a functional block diagram illustrating the main functions of the control unit when the information processing apparatus functions as an inspection apparatus.
  • the control unit 110 has a determination unit 340 in addition to the image acquisition unit 310, the image reconstruction unit 320, and the score calculation unit 330.
  • the determination unit 340 determines whether the inspection target is a non-defective product or a defective product based on the abnormal score calculated by the score calculation unit 330. For example, when the determination unit 340 is set so that only the abnormal score of the index parameter 1 is used in the score calculation unit 330, the maximum value of the abnormal score (abnormal score map) of the luminance is set to a predetermined value set in advance. If it is equal to or less than the first threshold value, it can be determined that the inspection target is a non-defective product, and if it exceeds the first threshold value, it can be determined that the inspection target is a defective product.
  • the region exceeding the first threshold value is presumed to be a defect region such as a scratch in the inspection target.
  • the first threshold can be determined experimentally by the user, for example, based on anomalous score maps calculated for a plurality of images to be inspected, including non-defective and defective products.
  • the determination unit 340 can determine a non-defective product / a defective product by using only the abnormal brightness score, but for example, when it is difficult to detect the defective region only by the abnormal brightness score, the brightness of the index parameter 1 A good product / defective product can be determined using the abnormal score and the abnormal score calculated based on the abnormal score of the hue of the index parameter 2. Alternatively, the determination unit 340 can determine a non-defective product / a defective product by using only the abnormal score of the index parameter 2.
  • the determination unit 340 presets a second threshold value for separating the non-defective product and the defective product for each index parameter based on the distribution of the abnormal scores of the non-defective product and the defective product calculated by the score calculation unit 230 of the index selection device. do.
  • the determination unit 340 determines that the inspection target is a non-defective product and sets the second threshold value. If it exceeds, it can be determined that the inspection target is a defective product. Therefore, in the abnormality score map, the region exceeding the second threshold value is presumed to be a defect region such as a scratch in the inspection target.
  • the second threshold value is calculated for, for example, a plurality of images to be inspected including non-defective products and defective products. It can be determined experimentally by the user based on the anomaly score.
  • the determination result is stored in the RAM 112. Further, the determination result may be displayed on the display of the operation display unit 130.
  • the information processing device 100 constitutes an inspection system.
  • FIG. 10 is a flowchart illustrating the processing procedure of the index selection method of the present embodiment.
  • the processing of the flowchart of FIG. 10 is realized by the CPU 111 executing the index selection program.
  • the input image is acquired (step S101).
  • the image acquisition unit 210 acquires a plurality of input images to be inspected from, for example, an external image pickup device or storage device of the information processing device 100. These input images are pre-labeled as non-defective or defective.
  • the image acquisition unit 210 transmits a plurality of input images to the image reconstruction unit 220 and the score calculation unit 230.
  • the image reconstruction unit 220 generates a plurality of reconstructed images corresponding to the plurality of input images by the generation model based on the plurality of input images acquired by the image acquisition unit 210.
  • the score calculation unit 230 calculates anomalous scores 1 to N according to index parameters 1 to N based on a plurality of input images of non-defective products and defective products and a plurality of reconstructed images corresponding to the input images.
  • the index selection unit 240 selects any one of the index parameters 1 to N according to the abnormality scores 1 to N of the non-defective product and the defective product. More specifically, the index selection unit 240 learns index parameters for a plurality of input images of non-defective products and defective products, and from index parameters 1 to N, distribution of abnormal scores of non-defective products and abnormal scores of defective products. Select the index parameter that has the largest difference from the distribution.
  • FIG. 11 is a flowchart illustrating the processing procedure of the inspection method of the present embodiment.
  • the processing of the flowchart of FIG. 11 is realized by the CPU 111 executing the inspection program.
  • FIG. 12 is a schematic diagram for explaining prevention of over-detection.
  • an input image is acquired (step S201).
  • the image acquisition unit 310 acquires an input image to be inspected from, for example, an external image pickup device or storage device of the information processing device 100.
  • the input image is an image to be inspected (unknown) for which a non-defective product / defective product has not been determined.
  • the image acquisition unit 310 transmits the input image to the image reconstruction unit 320 and the score calculation unit 330.
  • the image reconstruction unit 320 generates a reconstruction image corresponding to the input image by the generation model based on the input image acquired by the image acquisition unit 310.
  • the score calculation unit 330 calculates an abnormal luminance score based on the input image and the reconstructed image corresponding to the input image. Further, the score calculation unit 330 calculates an abnormality score based on the index parameter based on the input image, the reconstructed image corresponding to the input image, and the index parameter selected in step S104 of the index selection method. The index parameters are selected for each inspection target.
  • the determination unit 340 determines whether the inspection target is a non-defective product or a defective product based on the abnormality score of the luminance calculated by the score calculation unit 330 and the abnormality score by the index parameter. In the example shown in FIG. 7, since the region corresponding to the scratch S1 exceeds the second threshold value in the abnormality score map based on the index parameter, it is determined that the inspection target is a defective product.
  • defect detection can be performed for the difference between the luminance value of the input image and the luminance value of the reconstructed image.
  • the input image IM1 contains a linear defect F added in the manufacturing process in addition to the linear feature C originally provided in the non-defective product.
  • the reconstructed image IM2 corresponding to the input image IM1 the feature C of the input image IM1 is reconstructed, but the defect F is not reconstructed. Therefore, the difference image IM3 is generated by subtracting the brightness value of the reconstructed image IM2 from the brightness value of the input image IM1, and the defect F is left in the difference image IM3.
  • the linear defect F can be detected by, for example, a linear defect detection algorithm or the like.
  • the input image IM1 includes the feature C of a good product and the linear defect F even if the linear defect detection algorithm is used. Therefore, not only the defect F but also the feature C may be detected as a defect.
  • a detection algorithm when performing defect detection, a detection algorithm can be used for the difference between the luminance value of the input image and the luminance value of the reconstructed image. Therefore, even when the characteristics of the non-defective product and the characteristics of the defect match or are similar to each other, over-detection of the non-defective product can be more effectively prevented or suppressed as compared with the prior art.
  • the index selection device According to the index selection device, the information processing device, and the inspection device of the present embodiment described above, the following effects can be obtained.
  • the index selection device selects one of a plurality of indexes according to the abnormal score of the non-defective product and the defective product, an index effective for separating the non-defective product / the defective product can be obtained.
  • the information processing device calculates the abnormality score using the index selected by the index selection device, so that the user can confirm the position and area of the abnormality to be inspected from the abnormality score map displayed on the display.
  • the inspection device can improve the determination accuracy of the non-defective product / defective product to be inspected based on the abnormality score calculated by the information processing device. Further, it is possible to improve the robustness and the accuracy of defect detection for various inspection targets and defect types.
  • the index selection device, the information processing device, the information processing system, the inspection device, the inspection system, the index selection method, and the index selection program described above have described the main configurations in explaining the features of the above-described embodiment.
  • the configuration is not limited to the above, and various modifications can be made within the scope of the claims. Further, it does not exclude the configuration provided in a general inspection device or the like.
  • the case where the information processing device 100 also serves as the index selection device, the information processing device, and the inspection device has been described, but the case is not limited to such a case, and the index selection device, the information processing device, and the information processing device, and The inspection device may be implemented on separate hardware.
  • the means and methods for performing various processes in the above-mentioned device can be realized by either a dedicated hardware circuit or a programmed computer.
  • the program may be provided by a computer-readable recording medium such as a USB memory or a DVD (Digital Versaille Disc) -ROM, or may be provided online via a network such as the Internet.
  • the program recorded on the computer-readable recording medium is usually transferred to and stored in a storage unit such as a hard disk.
  • the above program may be provided as a single application software, or may be incorporated into software of a device such as an index selection device or an information processing device as one function.
  • 100 information processing equipment 110 Control unit, 111 CPU, 112 RAM, 113 ROM, 114 Auxiliary storage, 120 communication unit, 130 operation display unit, 210 Image acquisition department, 220 Image Reconstruction Unit, 221 encoder, 222 decoder, 230 Score Calculator, 240 Index selection unit, 310 image acquisition unit, 320 Image Reconstruction Department, 321 encoder, 322 Decoder, 330 Score Calculator, 331 arithmetic processing unit, 340 Judgment unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】欠陥検出の精度を向上させた指標選択装置、情報処理装置、情報処理システム、検査装置、検査システム、指標選択方法、および指標選択プログラムを提供する。 【解決手段】指標選択装置は、スコア算出部２３０および指標選択部２４０を有する。スコア算出部２３０は、良品および不良品の複数の入力データと、入力データに対応する複数の参照データと、に基づいて、複数の指標による良品および不良品の異常スコアを算出する。指標選択部２４０は、良品および不良品の異常スコアに応じて、複数の指標のうちのいずれか１つを選択する。

Description

指標選択装置、情報処理装置、情報処理システム、検査装置、検査システム、指標選択方法、および指標選択プログラム
　本発明は、指標選択装置、情報処理装置、情報処理システム、検査装置、検査システム、指標選択方法、および指標選択プログラムに関する。
　生産ラインにおける生産対象物（ワーク）を撮影した入力画像を用いてワークの良／不良を判定する画像処理機能を備えた検査装置が知られている。このような検査装置では、画像処理アルゴリズムを利用して、入力画像の特徴量を抽出し、良品／不良品を分離する閾値に基づいて、ワークの良／不良を判定する。
　これに関連して、下記特許文献１には、検査精度を向上させるため、ワークの良／不良の判定方法を規定するルールや閾値（検査ロジック）を生産環境の変動に応じて動的に設定することが開示されている。
特開２００７－３２７８４８号公報
　しかし、特許文献１の技術では、入力画像に対して画像処理を直接実施することにより特徴を抽出し、抽出された特徴に基づいてワークの良／不良を判定している。このため、ワークに欠陥があり、この欠陥の特徴が、良品のワークが元々備えている構造的な特徴と類似している場合には、抽出された特徴が欠陥であるのか、あるいは構造的な特徴であるのかを区別できず、欠陥検出の精度が低いという問題がある。
　本発明は、このような問題を解決するためになされたものであり、欠陥検出の精度を向上させた指標選択装置、情報処理装置、情報処理システム、検査装置、検査システム、指標選択方法、および指標選択プログラムを提供することを目的とする。
　本発明の上記課題は、以下の手段によって解決される。
　（１）良品および不良品の複数の入力データと、前記入力データに対応する参照データと、に基づいて、複数の指標による良品および不良品の異常スコアを算出するスコア算出部と、前記良品および不良品の異常スコアに応じて、前記複数の指標のうちのいずれか１つを選択する指標選択部と、を有する、指標選択装置。
　（２）前記異常スコアは、良品および不良品の各々について、前記入力データを用いて前記指標を算出した結果と、前記参照データを用いて前記指標を算出した結果との差分である、上記（１）に記載の指標選択装置。
　（３）前記指標選択部は、前記複数の入力データおよび前記参照データに対する、前記良品の異常スコアの分布と前記不良品の異常スコアの分布との差異が最も大きくなる指標を選択する、上記（１）または（２）に記載の指標選択装置。
　（４）複数の良品の入力データを用いて学習した生成モデルにより、前記入力データに基づいて、前記参照データとしての再構成データを生成するデータ再構成部をさらに有する、上記（１）～（３）のいずれか１つに記載の指標選択装置。
　（５）前記指標選択部は、良品および不良品の複数の入力データの特徴量を説明変数とし、前記良品の異常スコアの分布と前記不良品の異常スコアの分布の差異を目的変数として、前記差異が最も大きくなるように学習された学習済みモデルを使用して、前記複数の指標のうちのいずれか１つを選択する、上記（１）～（４）のいずれか１つに記載の指標選択装置。
　（６）前記入力データは、カラーの画像データであり、前記指標選択部は、前記指標として色相、および／または彩度による異常スコアを算出する、上記（１）～（５）のいずれか１つに記載の指標選択装置。
　（７）入力データを取得する入力データ取得部と、前記入力データ取得部によって取得された入力データと、前記入力データに対応する参照データと、請求項１～６のいずれか１項に記載の指標選択装置によって選択された指標と、に基づいて異常スコアを算出するスコア算出部を有する、情報処理装置。
　（８）上記（７）に記載の情報処理装置の出力した異常スコアに基づいて、良品または不良品の判定を行う判定部を有する検査装置。
　（９）上記（７）に記載の情報処理装置と、前記スコア算出部による異常スコアを表示する表示装置と、を有する情報処理システム。
　（１０）上記（８）に記載の検査装置と、前記判定部による判定結果を表示する表示装置と、を有する検査システム。
　（１１）良品および不良品の複数の入力データと、前記入力データに対応する複数の参照データと、に基づいて複数の指標による良品および不良品の異常スコアを算出するステップ（ａ）と、前記良品および不良品の異常スコアに応じて、前記複数の指標のうちのいずれか１つを選択するステップ（ｂ）と、を有する、指標選択方法。
　（１２）前記異常スコアは、良品および不良品の各々について、前記入力データを用いて前記指標を算出した結果と、前記参照データを用いて前記指標を算出した結果との差分である、上記（１１）に記載の指標選択方法。
　（１３）前記ステップ（ｂ）において、複数の前記入力データおよび前記参照データに対する、前記良品の異常スコアの分布と前記不良品の異常スコアの分布との差異が最も大きくなる指標を選択する、上記（１１）または（１２）に記載の指標選択方法。
　（１４）複数の良品の入力データを用いて学習した生成モデルにより、前記入力データに基づいて、前記参照データとしての再構成データを生成するステップ（ｃ）をさらに有する、上記（１１）～（１３）のいずれか１つに記載の指標選択方法。
　（１５）前記ステップ（ｂ）において、良品および不良品の複数の入力データの特徴量を説明変数とし、前記良品の異常スコアの分布と前記不良品の異常スコアの分布との差異を目的変数として、前記差異が最も大きくなるように学習された学習済みモデルを使用して、前記複数の指標のうちのいずれか１つを選択する、上記（１１）～（１４）のいずれか１つに記載の指標選択方法。
　（１６）前記入力データは、カラーの画像データであり、前記ステップ（ｂ）において、前記指標として色相、および／または彩度による異常スコアを算出する、上記（１１）～（１５）のいずれか１つに記載の指標選択方法。
　（１７）上記（１１）～（１６）のいずれか１つに記載の指標選択方法が含む処理をコンピューターに実行させるための指標選択プログラム。
　本発明の指標選択装置によれば、良品および不良品の異常スコアに応じて、複数の指標のうちのいずれか１つを選択するので、良品／不良品の分離に有効な指標が得られる。これにより、情報処理装置は、指標選択装置によって選択された指標を用いて異常スコアを算出するので、ユーザーは、ディスプレイに表示された異常スコアマップから検査対象の異常の位置や領域を確認できる。さらに、検査装置は、情報処理装置によって算出された異常スコアに基づいて、検査対象の良品／不良品の判定精度を向上させることができる。
一実施形態に係る情報処理装置のハードウェア構成を例示する概略ブロック図である。 情報処理装置が指標選択装置として機能する場合における制御部の主要な機能を例示する機能ブロック図である。 図２に示す制御部の機能を例示する概略ブロック図である。 図２に示すスコア算出部による異常スコアの算出を説明するための模式図である。 指標パラメーター１～Ｎによる異常スコア１～Ｎの算出結果を例示する模式図である。 情報処理装置が情報処理装置として機能する場合における制御部の主要な機能を例示する機能ブロック図である。 図６に示す制御部の機能を例示する概略ブロック図である。 図７に示すスコア算出部の機能を例示する機能ブロック図である。 情報処理装置が検査装置として機能する場合における制御部の主要な機能を例示する機能ブロック図である。 一実施形態の指標選択方法の処理手順を例示するフローチャートである。 一実施形態の検査方法の処理手順を例示するフローチャートである。 過検出の防止について説明するための模式図である。
　以下、図面を参照して、本発明の実施形態に係る指標選択装置、情報処理装置、情報処理システム、検査装置、検査システム、指標選択方法、および指標選択プログラムについて説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。
　図１は一実施形態に係る情報処理装置１００のハードウェア構成を例示する概略ブロック図であり、図２は情報処理装置１００が指標選択装置として機能する場合における制御部１１０の主要な機能を例示する機能ブロック図である。また、図３は図２に示す制御部１１０の機能を例示する概略ブロック図であり、図４は図２に示すスコア算出部２３０による異常スコアの算出を説明するための模式図である。また、図５は、指標パラメーター１～Ｎによる異常スコア１～Ｎの算出結果を例示する模式図である。
　＜指標選択装置の構成＞
　情報処理装置１００は、複数の入力画像と、これらの入力画像に対応する複数の参照画像とに基づいて、複数の指標パラメーター（指標）による異常スコアを算出し、異常スコアに応じて複数の指標パラメーターのうちのいずれか１つを選択する指標選択装置として機能する。入力画像は、良品（正常な検査対象）または不良品（欠陥等の異常を含む検査対象）のラベルが付けられており、指標パラメーターを学習（深層学習または機械学習）することにより、良品と不良品とを分離するのに有効な指標パラメーターが選択される。指標パラメーターは、例えば、入力画像および再構成画像の色の属性である色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、濃度、オブジェクトの形状、大きさ等を各々単独、あるいはそれらを組み合わせとして設定されうる。異常スコアの算出方法の詳細については後述する。
　また、検査対象は、特に限定されるものではないが、例えば、工業製品に使用される部品等が挙げられる。検査には、折れ、曲げ、欠け、傷、および汚れ等の異常の検出が含まれる。また、情報処理装置１００は、良品の入力画像（以下、「正常入力画像」ともいう）を複数枚取得し、これらの画像を正解画像として学習し、入力画像から再構成画像を生成する深層学習モデル（生成モデル）を生成する。参照画像は、入力画像の再構成画像でありうる。
　図１に示すように、情報処理装置１００は、制御部１１０、通信部１２０、および操作表示部１３０を有する。これらの構成要素は、バス１０１を介して互いに接続される。情報処理装置１００は、例えば、パーソナルコンピューター、サーバー等のコンピューターでありうる。
　制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１１１、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１１２、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１１３、および補助記憶部１１４を有する。
　ＣＰＵ１１１は、ＲＡＭ１１２に展開されたＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）、指標選択プログラム、検査プログラム等のプログラムを実行し、情報処理装置１００の動作制御を行う。指標選択プログラムおよび検査プログラムは、ＲＯＭ１１３または補助記憶部１１４に予め保存されている。また、ＲＡＭ１１２は、ＣＰＵ１１１の処理によって一時的に生じたデータ等を格納する。ＲＯＭ１１３は、ＣＰＵ１１１によって実行されるプログラムや、プログラムの実行に使用されるデータ、パラメーター等を記憶する。補助記憶部１１４は、例えばＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等を有する。
　図２に示すように、制御部１１０は、ＣＰＵ１１１が指標選択プログラムを実行することにより、画像取得部２１０、画像再構成部２２０、スコア算出部２３０、および指標選択部２４０として機能する。画像取得部２１０は、入力データ取得部として機能し、通信部１２０と協働することにより、入力画像（入力データ）を取得する。
　画像再構成部２２０は、データ再構成部として機能し、同じ検査対象に関する複数の良品の入力画像を用いて学習した生成モデルにより、画像取得部２１０で取得した入力画像に基づいて、参照データとしての再構成画像（再構成データ）を生成する。より具体には、画像再構成部２２０は、学習済みの第１のニューラルネットワークによって、入力画像から特徴量を抽出し、抽出された特徴量に基づいて、入力画像を再構成（復元）して再構成画像を生成する。
　第１のニューラルネットワークは、多層の畳み込みニューラルネットワークを有し、学習時において、再構成画像と入力画像との差が無くなる、または限りなく小さくなるように、教師あり学習によって予め学習されている。
　第１のニューラルネットワークは、例えば、エンコーダー・デコーダー構造を有する生成モデルとして機能する。本実施形態では、生成モデルとして、例えば、オートエンコーダー（ＡＥ：ＡｕｔｏＥｎｃｏｄｅｒ）、または変分オートエンコーダー（ＶＡＥ：Ｖａｒｉａｔｉｏｎａｌ　ＡｕｔｏＥｎｃｏｄｅｒ）が好適に使用されうる。ＡＥおよびＶＡＥに関しては公知の技術であるので、詳細な説明を省略する。
　図３に示すように、画像再構成部２２０は、生成モデルとして、例えば、エンコーダー２２１およびデコーダー２２２を含むＶＡＥを有する。ＶＡＥは、入力画像の特徴を抽出することにより、入力画像が有する本質的な要素のみを抜き出し、抽出された特徴量を用いて再構成することにより、入力画像における本質的ではない要素が除外された再構成画像を生成して出力する。すなわち、ＶＡＥは、正常入力画像のみで学習するため、正常入力画像に対して、対応する特徴量が生成可能なように構成されており、不良品、すなわち欠陥や傷等の異常を含む検査対象の入力画像（以下、「異常入力画像」ともいう）に対しては、異常に対応する特徴量を生成できず、再現性を有しない。
　図３に示す例では、入力画像は、検査対象としての部材Ｍ１の画像を含んでいる。部材Ｍ１は、線状のテクスチャーＴ１を元々備えている。また、部材Ｍ１は、不良品である場合、例えば、製造工程の途中で発生した傷Ｓ１を含む。入力画像の再構成処理が実行されると、部材Ｍ１の画像が再構成された再構成画像が出力される。再構成画像は、入力画像の部材Ｍ１の画像から本質的な要素のみが残され、不要な要素が除去された画像となる。テクスチャーＴ１は、部材Ｍ１が元々備えているもの（本質的な要素）なので再構成される。一方で、傷Ｓ１は、異常な（本質的な要素ではない）ので再構成されない。
　このように、画像再構成部２２０は、入力画像における本質的ではない要素が除外された再構成画像を生成して出力するので、良品よりも不良品の場合に入力画像と再構成画像との差異が大きくなる。
　また、入力画像の再構成画像を参照画像として使用する場合について例示して説明したが、同じ検査対象に関する所定の画像を再構成画像の代わりに参照画像として使用することもできる。所定の画像は、例えば、入力画像に使用されない、同じ検査対象に関する典型的な良品の画像でありうる。ただし、入力画像と所定の画像との間において位置ずれや、大きさ（倍率）に違いがある場合は、位置ずれや大きさに対する補正処理を行うことが必要である。これに対して、再構成画像を参照画像として使用する場合は、上記補正処理の必要はない。
　スコア算出部２３０は、良品および不良品の複数の入力画像と、入力画像に対応する複数の再構成画像と、に基づいて、複数の指標パラメーターによる異常スコアを算出する。図４に示すように、スコア算出部２３０は、例えば、良品または不良品のラベルが付けられた複数の入力画像と、これらの入力画像に対応する複数の再構成画像と、に基づいて、指標パラメーター１～Ｎによる、良品および不良品の異常スコア１～Ｎを算出する。異常スコアは、良品および不良品の各々について、入力画像を用いて指標パラメーターの値を算出した結果と、再構成画像を用いて指標パラメーターの値を算出した結果との差分でありうる。
上述のように、本実施形態では、色相、彩度を指標パラメーターとして使用しうる。これにより、例えば、検出対象が、輝度値のみでは検出することが困難な微細な色の変化を含む欠陥を有する場合であっても、欠陥領域を検出できる。
　図５には、正規化された異常スコア、および指標パラメーターの選択に利用されたサンプル（入力画像）の数を各々横軸および縦軸にとった直交座標における、良品および不良品についての異常スコアの値の分布が例示されている。指標パラメーター１～Ｎによる異常スコアは、各々異常スコア１～Ｎに対応する。良品のサンプルは、正規化された異常スコアが比較的小さい領域に多く分布し、不良品のサンプルは、正規化された異常スコアが比較的大きい領域に多く分布している。異常スコア１～Ｎのデータは、補助記憶部１１４に保存される。
　指標選択部２４０は、良品および不良品の異常スコア１～Ｎに応じて、指標パラメーター１～Ｎのうちのいずれか１つを選択する。図５に示す例では、異常スコア１、２では、良品の異常スコア（同図の斜線の部分）と不良品の異常スコア（同図のグレーの部分）とが重なっており、両者を分離しにくい。一方、異常スコアＮでは、良品の異常スコアと不良品の異常スコアとの重なりが少ないので、両者を分離しやすい。したがって、指標選択部２４０は、良品の異常スコアの分布と不良品の異常スコアの分布との差異が最も大きくなる指標パラメーターＮを選択する。本実施形態では、指標パラメーターの選択は、深層学習を行うことによって選択される。
　より具体的には、指標選択部２４０は、例えば、多層の畳み込みニューラルネットワーク（第２のニューラルネットワーク）を有し、同じ検査対象に関する良品および不良品の複数の入力画像について指標パラメーターを深層学習（または機械学習）する。同じ検査対象の入力画像が複数入力されることにより、入力画像および参照画像のペア毎に異常スコアが蓄積され、指標パラメーターの学習が深まる。
　本実施形態では、指標選択部２４０は、良品および不良品の複数の入力画像の特徴量を説明変数とし、良品の異常スコアの分布と不良品の異常スコアの分布との差異（すなわち良品の異常スコアの統計量と不良品の異常スコアの統計量との間の距離）を目的変数として、上記差異（距離）が最も大きくなるように第２のニューラルネットワークを学習し、学習済みモデルを生成する。統計量は、例えばヒストグラム等でありうる。
　また、良品の誤検知率が小さくなるように指標パラメーターを学習するように構成してもよい。
　また、指標パラメーターを深層学習する場合を例示して説明したが、このような場合に限定されず、深層学習する場合と同様に説明変数および目的変数を設定した上で回帰分析を行い、上記差異（距離）が最も大きくなるように指標パラメーターを選択してもよい。
　そして、指標選択部２４０は、１つの検査対象について、学習済みモデルを使用して、複数の指標パラメーターのうちのいずれか１つ（図５の例では指標パラメーターＮ）を選択する。
　通信部１２０は、ネットワークを介して、外部の装置と通信するためのインターフェース回路（例えばＬＡＮカード等）である。
　操作表示部１３０は、入力部および出力部を有する。入力部は、例えば、キーボード、マウス等を備え、キーボード、マウス等による文字入力、各種設定等の各種指示（入力）をユーザーが行うために利用される。また、出力部は、ディスプレイ（表示装置）を備え、入力画像等を表示する。
　また、図示を省略しているが、検査対象は、例えば、カメラ等の撮像装置によって撮影される。撮像装置は、撮影された検査対象の画像データを情報処理装置１００に送信する。情報処理装置１００は、画像データを入力画像として取得する。また、撮像装置によって予め撮影された検査対象の画像は、情報処理装置１００の外部にある記憶装置に保存され、情報処理装置１００は、記憶装置に保存されている所定枚数の検査対象の画像を入力画像として順次取得するように構成することもできる。
　撮像装置は、例えば、検査対象が工業製品の部品である場合、検査工程に設置され、検査対象を包含する撮影範囲を撮影し、検査対象が含まれる画像のデータを出力する。撮像装置は、例えば、所定ピクセル（例えば、１２８ピクセル×１２８ピクセル）の検査対象の白黒画像またはカラー画像のデータを出力する。
　＜情報処理装置、情報処理システムの構成＞
　図６は情報処理装置１００が情報処理装置として機能する場合における制御部１１０の主要な機能を例示する機能ブロック図である。また、図７は図６に示す制御部１１０の機能を例示する概略ブロック図であり、図８は図７に示すスコア算出部３３０の機能を例示する機能ブロック図である。
　図６に示すように、制御部１１０は、ＣＰＵ１１１が検査プログラムを実行することにより、画像取得部３１０、画像再構成部３２０、およびスコア算出部３３０として機能する。
　画像取得部３１０は、入力データ取得部として機能し、通信部１２０と協働することにより、入力画像（入力データ）を取得する。
　図７に示すように、画像再構成部３２０は、データ再構成部として機能し、複数の良品の入力画像を用いて学習した生成モデルにより、画像取得部３１０で取得した入力画像に基づいて、参照データとしての再構成画像（再構成データ）を生成する。より具体には、画像再構成部３２０は、学習済みの第１のニューラルネットワークによって、入力画像から特徴量を抽出し、抽出された特徴量に基づいて、入力画像を再構成（復元）して再構成画像を生成する。
　なお、後述するように、判定部３４０において良品／不良品の判定を行うが、入力画像がノイズを含んでいる場合、ノイズに起因して異常スコアが適切に算出されない可能性がある。これに対処するため、入力画像および再構成画像に対して予めフィルター処理を施すように構成することもできる。フィルターは、ノイズ除去フィルター（例えば、ローパスフィルター、ハイパスフィルター、またはバンドパスフィルター）でありうる。このように構成することにより、異常スコアに対するノイズによる影響が緩和され、良品／不良品の判定性能（分離性能）がノイズに起因して低下することを防止または抑制できる。
　スコア算出部３３０は、画像取得部３１０によって取得された入力画像と、画像再構成部３２０によって再構成された再構成画像との間において異常スコアを算出する。図８に示すように、スコア算出部３３０は、演算処理部３３１を有する。演算処理部３３１は、指標パラメーター１～Ｎのうちの少なくともいずれかの異常スコアを使用して、スコア算出部３３０の出力としての異常スコアを算出する。
　スコア算出部３３０は、指標パラメーター１～Ｎのうち、演算処理部３３１によって使用される指標パラメーターの値を算出し、指標パラメーターの値に基づいて異常スコアを算出する。例えば、スコア算出部３３０は、指標パラメーター１（同図では輝度）の異常スコアのみが使用されるように設定された場合、入力画像および再構成画像について指標パラメーター１の値と、その異常スコアとを算出する。この場合、演算処理部３３１は、指標パラメーター１の異常スコアのみに基づいて、スコア算出部３３０の出力としての異常スコアを算出する。指標パラメーター１の異常スコアは、例えば、入力画像の輝度値と再構成画像の輝度値との差分でありうる。
　また、指標パラメーター２～Ｎのうちいずれかが単独で使用される場合についても同様である。指標パラメーター２の異常スコアは、例えば、入力画像を用いて指標パラメーター２を算出した結果と、再構成画像を用いて指標パラメーター２を算出した結果との差分でありうる。また、他の指標パラメーターの異常スコアの算出方法も同様である。
　演算処理部３３１は、指標選択装置によって選択されＲＡＭ２１２に記憶されている指標パラメーターに基づいて、各々の指標パラメーター１～Ｎの異常スコアについて使用／不使用を設定しうる。
　また、例えば、指標パラメーター１の異常スコアに加えて、指標パラメーター２（同図では色相）の異常スコアが使用されるように設定された場合、演算処理部３３１は、指標パラメーター１の異常スコア、および指標パラメーター２の異常スコアの両方の指標の異常スコアに基づいて、スコア算出部３３０の出力としての異常スコアを算出する。例えば、スコア算出部３３０の異常スコアは、指標パラメーター１の異常スコアと、指標パラメーター２の異常スコアとに、各々所定係数で重み付けし、足し合わせることによって算出されうる。
　操作表示部１３０は、スコア算出部３３０によって算出された異常スコア（異常スコアマップ）をディスプレイに表示する。これにより、ユーザーは、ディスプレイに表示された異常スコアマップから検査対象の異常の位置や領域を確認できる。制御部１１０および操作表示部１３０は、情報処理システムを構成する。
　＜検査装置、検査システムの構成＞
　図９は、情報処理装置が検査装置として機能する場合における制御部の主要な機能を例示する機能ブロック図である。制御部１１０は、画像取得部３１０、画像再構成部３２０、およびスコア算出部３３０に加えて、判定部３４０を有する。
　判定部３４０は、スコア算出部３３０によって算出された異常スコアに基づいて、検査対象が良品であるか、あるいは不良品であるかを判定する。例えば、判定部３４０は、スコア算出部３３０において指標パラメーター１の異常スコアのみが使用されるように設定された場合、輝度の異常スコア（異常スコアマップ）の最大値が、予め設定された所定の第１閾値以下である場合、検査対象が良品であると判定し、第１閾値を超える場合、検査対象が不良品であると判定しうる。したがって、異常スコアマップにおいて、第１閾値を超える領域は、検査対象における傷等の欠陥領域であると推定される。第１閾値は、例えば、良品および不良品を含む複数の検査対象の画像について算出した異常スコアマップに基づいて、ユーザーによって実験的に決定されうる。
　また、判定部３４０は、輝度の異常スコアのみを使用して良品／不良品を判定できるが、例えば、輝度の異常スコアのみで欠陥領域の検出が困難である場合は、指標パラメーター１の輝度の異常スコアと、指標パラメーター２の色相の異常スコアに基づいて算出された異常スコアを使用して良品／不良品を判定できる。あるいは、判定部３４０は、指標パラメーター２の異常スコアのみを使用して良品／不良品を判定することもできる。
　判定部３４０は、指標選択装置のスコア算出部２３０で算出された良品および不良品の異常スコアの分布に基づいて、指標パラメーター毎に良品と不良品とを分離するための第２閾値を予め設定する。判定部３４０は、スコア算出部３３０によって算出された指標パラメーターによる異常スコア（異常スコアマップ）の最大値が、第２閾値以下である場合、検査対象は良品であると判定し、第２閾値を超えている場合、検査対象は不良品であると判定しうる。したがって、異常スコアマップにおいて、第２閾値を超える領域は、検査対象における傷等の欠陥領域であると推定される。また、スコア算出部３３０が出力する異常スコアが複数の指標パラメーターの異常スコアに基づいて算出されている場合、第２閾値は、例えば、良品および不良品を含む複数の検査対象の画像について算出した異常スコアに基づいて、ユーザーによって実験的に決定されうる。判定結果は、ＲＡＭ１１２に保存される。また、操作表示部１３０のディスプレイに判定結果が表示されうる。情報処理装置１００は、検査システムを構成する。
　＜指標選択方法＞
　図１０は、本実施形態の指標選択方法の処理手順を例示するフローチャートである。図１０のフローチャートの処理は、ＣＰＵ１１１が指標選択プログラムを実行することにより実現される。
　まず、入力画像を取得する（ステップＳ１０１）。画像取得部２１０は、例えば、情報処理装置１００の外部の撮像装置または記憶装置から、検査対象の複数の入力画像を取得する。これらの入力画像には、予め良品または不良品のラベルが付されている。画像取得部２１０は、画像再構成部２２０、およびスコア算出部２３０に複数の入力画像を送信する。
　次に、再構成画像を生成する（ステップＳ１０２）。画像再構成部２２０は、画像取得部２１０で取得した複数の入力画像に基づいて、生成モデルにより、複数の入力画像に対応する複数の再構成画像を生成する。
　次に、良品および不良品の異常スコアを算出する（ステップＳ１０３）。スコア算出部２３０は、良品および不良品の複数の入力画像と、入力画像に対応する複数の再構成画像と、に基づいて、指標パラメーター１～Ｎによる異常スコア１～Ｎを算出する。
　次に、指標パラメーターを選択する（ステップＳ１０４）。指標選択部２４０は、良品および不良品の異常スコア１～Ｎに応じて、指標パラメーター１～Ｎのうちのいずれか１つを選択する。より具体的には、指標選択部２４０は、例えば、良品および不良品の複数の入力画像について指標パラメーターを学習し、指標パラメーター１～Ｎから、良品の異常スコアの分布と不良品の異常スコアの分布との差異が最も大きくなる指標パラメーターを選択する。
　＜検査方法＞
　図１１は、本実施形態の検査方法の処理手順を例示するフローチャートである。図１１のフローチャートの処理は、ＣＰＵ１１１が検査プログラムを実行することにより実現される。また、図１２は、過検出の防止について説明するための模式図である。
　まず、図９に示すように、入力画像を取得する（ステップＳ２０１）。画像取得部３１０は、例えば、情報処理装置１００の外部の撮像装置または記憶装置から検査対象の入力画像を取得する。入力画像は、良品／不良品が判定されていない（未知の）検査対象の画像である。画像取得部３１０は、画像再構成部３２０、およびスコア算出部３３０に入力画像を送信する。
　次に、再構成画像を生成する（ステップＳ２０２）。画像再構成部３２０は、画像取得部３１０により取得した入力画像に基づいて、生成モデルにより、入力画像に対応する再構成画像を生成する。
　次に、異常スコアを算出する（ステップＳ２０３）。スコア算出部３３０は、入力画像と、入力画像に対応する再構成画像と、に基づいて、輝度の異常スコアを算出する。また、スコア算出部３３０は、入力画像と、入力画像に対応する再構成画像と、上記指標選択方法のステップＳ１０４において選択された指標パラメーターと、に基づいて、指標パラメーターによる異常スコアを算出する。指標パラメーターは、検査対象毎に選択されている。
　次に、検査対象の良／不良を判定する（ステップＳ２０４）。判定部３４０は、スコア算出部３３０によって算出された輝度の異常スコアと、指標パラメーターによる異常スコアとに基づいて、検査対象が良品であるか、あるいは不良品であるかを判定する。図７に示す例では、指標パラメーターによる異常スコアマップにおいて、傷Ｓ１に対応する領域が第２閾値を超えているので、検査対象は不良品であると判定される。
　また、本実施形態では、入力画像の輝度値と、再構成画像の輝度値との差分に対して、欠陥検出を行うことができる。図１０に示すように、例えば、入力画像ＩＭ１が、良品が元々備えている線状の特徴Ｃに加えて、製造工程において付加された線状の欠陥Ｆを含んでいる場合について想定する。入力画像ＩＭ１に対応する再構成画像ＩＭ２においては、入力画像ＩＭ１の特徴Ｃについては再構成されているが、欠陥Ｆについては再構成されていない。したがって、入力画像ＩＭ１の輝度値から再構成画像ＩＭ２の輝度値を差し引くことにより、差分画像ＩＭ３が生成され、差分画像ＩＭ３には欠陥Ｆが残される。
　差分画像ＩＭ３には、良品の特徴Ｃが含まれていないので、例えば、線状欠陥検知アルゴリズム等により、線状の欠陥Ｆを検知できる。これに対して、入力画像ＩＭ１に対して画像処理を直接実施する従来技術では、線状欠陥検知アルゴリズムを使用しても、入力画像ＩＭ１には良品の特徴Ｃおよび線状の欠陥Ｆが含まれているため、欠陥Ｆだけではなく、特徴Ｃについても欠陥として検出するおそれがある。
　このように、本実施形態では、欠陥検出を行う際に、入力画像の輝度値と再構成画像の輝度値との差分に対して、検出アルゴリズムを使用できる。したがって、良品の特徴と欠陥の特徴とが一致、または類似している場合であっても、従来技術と比較して、良品の過検出をより効果的に防止または抑制できる。
　以上で説明した本実施形態の指標選択装置、情報処理装置、および検査装置によれば、下記の効果を奏することができる。
　指標選択装置は、良品および不良品の異常スコアに応じて、複数の指標のうちのいずれか１つを選択するので、良品／不良品の分離に有効な指標が得られる。これにより、情報処理装置は、指標選択装置によって選択された指標を用いて異常スコアを算出するので、ユーザーは、ディスプレイに表示された異常スコアマップから検査対象の異常の位置や領域を確認できる。さらに、検査装置は、情報処理装置によって算出された異常スコアに基づいて、検査対象の良品／不良品の判定精度を向上させることができる。また、様々な検査対象や欠陥種に対して、ロバスト性、および欠陥検出の精度を向上させることができる。
　上述した指標選択装置、情報処理装置、情報処理システム、検査装置、検査システム、指標選択方法、および指標選択プログラムは、上述の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上述の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な検査装置等が備える構成を排除するものではない。
　例えば、上述したフローチャートは、一部のステップを省略してもよく、他のステップが追加されてもよい。また各ステップの一部は同時に実行されてもよく、一つのステップが複数のステップに分割されて実行されてもよい。
　また、上述した実施形態では、情報処理装置１００が指標選択装置、情報処理装置、および検査装置を兼ねる場合について説明したが、このような場合に限定されず、指標選択装置、情報処理装置、および検査装置を別々のハードウェア上で実現してもよい。
　また、上述した装置における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）－ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、一機能として指標選択装置、情報処理装置等の装置のソフトウエアに組み込まれてもよい。
　本出願は、２０２０年１２月１６日に出願された日本国特許出願番号２０２０－２０８４７６号に基づいており、その開示内容は、参照により全体として組み入れられている。
１００　情報処理装置、
１１０　制御部、
１１１　ＣＰＵ、
１１２　ＲＡＭ、
１１３　ＲＯＭ、
１１４　補助記憶部、
１２０　通信部、
１３０　操作表示部、
２１０　画像取得部、
２２０　画像再構成部、
２２１　エンコーダー、
２２２　デコーダー、
２３０　スコア算出部、
２４０　指標選択部、
３１０　画像取得部、
３２０　画像再構成部、
３２１　エンコーダー、
３２２　デコーダー、
３３０　スコア算出部、
３３１　演算処理部、
３４０　判定部。

Claims (17)

  1. 　良品および不良品の複数の入力データと、前記入力データに対応する複数の参照データと、に基づいて、複数の指標による良品および不良品の異常スコアを算出するスコア算出部と、
    　前記良品および不良品の異常スコアに応じて、前記複数の指標のうちのいずれか１つを選択する指標選択部と、を有する、指標選択装置。
  2. 　前記異常スコアは、良品および不良品の各々について、前記入力データを用いて前記指標を算出した結果と、前記参照データを用いて前記指標を算出した結果との差分である、請求項１に記載の指標選択装置。
  3. 　前記指標選択部は、前記複数の入力データおよび前記複数の参照データに対する、前記良品の異常スコアの分布と前記不良品の異常スコアの分布との差異が最も大きくなる指標を選択する、請求項１または２に記載の指標選択装置。
  4. 　複数の良品の入力データを用いて学習した生成モデルにより、前記入力データに基づいて、前記参照データとしての再構成データを生成するデータ再構成部をさらに有する、請求項１～３のいずれか１項に記載の指標選択装置。
  5. 　前記指標選択部は、
    　良品および不良品の複数の入力データの特徴量を説明変数とし、前記良品の異常スコアの分布と前記不良品の異常スコアの分布との差異を目的変数として、前記差異が最も大きくなるように学習された学習済みモデルを使用して、前記複数の指標のうちのいずれか１つを選択する、請求項１～４のいずれか１項に記載の指標選択装置。
  6. 　前記入力データは、カラーの画像データであり、
    　前記指標選択部は、前記指標として色相、および／または彩度による異常スコアを算出する、請求項１～５のいずれか１項に記載の指標選択装置。
  7. 　入力データを取得する入力データ取得部と、
    　前記入力データ取得部によって取得された入力データと、前記入力データに対応する参照データと、請求項１～６のいずれか１項に記載の指標選択装置によって選択された指標と、に基づいて異常スコアを算出するスコア算出部を有する、情報処理装置。
  8. 　請求項７に記載の情報処理装置の出力した異常スコアに基づいて、良品または不良品の判定を行う判定部を有する検査装置。
  9. 　請求項７に記載の情報処理装置と、
    　前記スコア算出部による異常スコアを表示する表示装置と、を有する情報処理システム。
  10. 　請求項８に記載の検査装置と、
    　前記判定部による判定結果を表示する表示装置と、を有する検査システム。
  11. 　良品および不良品の複数の入力データと、前記入力データに対応する複数の参照データと、に基づいて複数の指標による良品および不良品の異常スコアを算出するステップ（ａ）と、
    　前記良品および不良品の異常スコアに応じて、前記複数の指標のうちのいずれか１つを選択するステップ（ｂ）と、を有する、指標選択方法。
  12. 　前記異常スコアは、良品および不良品の各々について、前記入力データを用いて前記指標を算出した結果と、前記参照データを用いて前記指標を算出した結果との差分である、請求項１１に記載の指標選択方法。
  13. 　前記ステップ（ｂ）において、前記複数の入力データおよび前記複数の参照データに対する、前記良品の異常スコアの分布と前記不良品の異常スコアの分布との差異が最も大きくなる指標を選択する、請求項１１または１２に記載の指標選択方法。
  14. 　複数の良品の入力データを用いて学習した生成モデルにより、前記入力データに基づいて、前記参照データとしての再構成データを生成するステップ（ｃ）をさらに有する、請求項１１～１３のいずれか１項に記載の指標選択方法。
  15. 　前記ステップ（ｂ）において、良品および不良品の複数の入力データの特徴量を説明変数とし、前記良品の異常スコアの分布と前記不良品の異常スコアの分布との差異を目的変数として、前記差異が最も大きくなるように学習された学習済みモデルを使用して、前記複数の指標のうちのいずれか１つを選択する、請求項１１～１４のいずれか１項に記載の指標選択方法。
  16. 　前記入力データは、カラーの画像データであり、
    　前記ステップ（ｂ）において、前記指標として色相、および／または彩度による異常スコアを算出する、請求項１１～１５のいずれか１項に記載の指標選択方法。
  17. 　請求項１１～１６のいずれか１項に記載の指標選択方法が含む処理をコンピューターに実行させるための指標選択プログラム。
PCT/JP2021/040525 2020-12-16 2021-11-04 指標選択装置、情報処理装置、情報処理システム、検査装置、検査システム、指標選択方法、および指標選択プログラム WO2022130814A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/037,820 US20240005477A1 (en) 2020-12-16 2021-11-04 Index selection device, information processing device, information processing system, inspection device, inspection system, index selection method, and index selection program
JP2022569759A JPWO2022130814A1 (ja) 2020-12-16 2021-11-04

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-208476 2020-12-16
JP2020208476 2020-12-16

Publications (1)

Publication Number Publication Date
WO2022130814A1 true WO2022130814A1 (ja) 2022-06-23

Family

ID=82057553

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/040525 WO2022130814A1 (ja) 2020-12-16 2021-11-04 指標選択装置、情報処理装置、情報処理システム、検査装置、検査システム、指標選択方法、および指標選択プログラム

Country Status (3)

Country Link
US (1) US20240005477A1 (ja)
JP (1) JPWO2022130814A1 (ja)
WO (1) WO2022130814A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230368372A1 (en) * 2021-12-03 2023-11-16 Contemporary Amperex Technology Co., Limited Fast anomaly detection method and system based on contrastive representation distillation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017049974A (ja) * 2015-09-04 2017-03-09 キヤノン株式会社 識別器生成装置、良否判定方法、およびプログラム
JP2020173496A (ja) * 2019-04-08 2020-10-22 国立大学法人岐阜大学 異常品判定方法
CN111833300A (zh) * 2020-06-04 2020-10-27 西安电子科技大学 一种基于生成对抗学习的复合材料构件缺陷检测方法和装置
JP2020187657A (ja) * 2019-05-16 2020-11-19 株式会社キーエンス 画像検査装置
JP2020187655A (ja) * 2019-05-16 2020-11-19 株式会社キーエンス 画像検査装置
JP2020197797A (ja) * 2019-05-31 2020-12-10 株式会社東芝 画像処理装置及び画像処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017049974A (ja) * 2015-09-04 2017-03-09 キヤノン株式会社 識別器生成装置、良否判定方法、およびプログラム
JP2020173496A (ja) * 2019-04-08 2020-10-22 国立大学法人岐阜大学 異常品判定方法
JP2020187657A (ja) * 2019-05-16 2020-11-19 株式会社キーエンス 画像検査装置
JP2020187655A (ja) * 2019-05-16 2020-11-19 株式会社キーエンス 画像検査装置
JP2020197797A (ja) * 2019-05-31 2020-12-10 株式会社東芝 画像処理装置及び画像処理方法
CN111833300A (zh) * 2020-06-04 2020-10-27 西安电子科技大学 一种基于生成对抗学习的复合材料构件缺陷检测方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230368372A1 (en) * 2021-12-03 2023-11-16 Contemporary Amperex Technology Co., Limited Fast anomaly detection method and system based on contrastive representation distillation

Also Published As

Publication number Publication date
US20240005477A1 (en) 2024-01-04
JPWO2022130814A1 (ja) 2022-06-23

Similar Documents

Publication Publication Date Title
WO2020031984A1 (ja) 部品の検査方法及び検査システム
KR20230124713A (ko) 결함 검출 방법, 장치 및 시스템
JP7393313B2 (ja) 欠陥分類装置、欠陥分類方法及びプログラム
JP2013224833A (ja) 外観検査装置、外観検査方法及びコンピュータプログラム
KR20190042384A (ko) 딥러닝과 노이즈 제거 기술을 이용한 표면 결함 검출 장치 및 방법
KR20210141060A (ko) 머신러닝 기반의 이미지 이상 탐지 시스템
WO2022130814A1 (ja) 指標選択装置、情報処理装置、情報処理システム、検査装置、検査システム、指標選択方法、および指標選択プログラム
CN112767331B (zh) 基于零样本学习的图像异常检测方法
JP7459697B2 (ja) 異常検知システム、学習装置、異常検知プログラム、学習プログラム、異常検知方法、および学習方法
US7646892B2 (en) Image inspecting apparatus, image inspecting method, control program and computer-readable storage medium
JP7240199B2 (ja) パラメータ決定方法、パラメータ決定装置、及びプログラム
CN113935966B (zh) 金属物料的渣点检测方法、装置、设备和存储介质
JP7460391B2 (ja) 学習装置、画像検査装置、プログラム、および学習方法
US11120541B2 (en) Determination device and determining method thereof
KR20230036650A (ko) 영상 패치 기반의 불량 검출 시스템 및 방법
JP2021174194A (ja) 学習用データ処理装置、学習装置、学習用データ処理方法、およびプログラム
WO2022201968A1 (ja) 情報処理装置、制御プログラム、および制御方法
JP2023008416A (ja) 異常検知システムおよび異常検知方法
JP7459696B2 (ja) 異常検知システム、学習装置、異常検知プログラム、学習プログラム、異常検知方法、および学習方法演算装置の学習方法
JP7436752B2 (ja) 検知装置および検知方法
US20230005120A1 (en) Computer and Visual Inspection Method
JP2022029262A (ja) 画像処理装置、画像処理方法、画像処理プログラム、および学習装置
JP7372072B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および画像検査システム
WO2023243202A1 (ja) 画像生成方法及び外観検査装置
JP7386287B1 (ja) 検査方法及び検査装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21906178

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022569759

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18037820

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21906178

Country of ref document: EP

Kind code of ref document: A1