WO2022024245A1 - 検査システム、学習方法、検査方法、及び記憶媒体 - Google Patents

検査システム、学習方法、検査方法、及び記憶媒体 Download PDF

Info

Publication number
WO2022024245A1
WO2022024245A1 PCT/JP2020/028998 JP2020028998W WO2022024245A1 WO 2022024245 A1 WO2022024245 A1 WO 2022024245A1 JP 2020028998 W JP2020028998 W JP 2020028998W WO 2022024245 A1 WO2022024245 A1 WO 2022024245A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
abnormal
inspection
learning
output
Prior art date
Application number
PCT/JP2020/028998
Other languages
English (en)
French (fr)
Inventor
隼一 古賀
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2020/028998 priority Critical patent/WO2022024245A1/ja
Priority to JP2022539856A priority patent/JP7499337B2/ja
Publication of WO2022024245A1 publication Critical patent/WO2022024245A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to an inspection system, a learning method, an inspection method, and a storage medium.
  • An autoencoder (AE: AutoEncorder) is known as a typical example of a trained model in which unsupervised learning is performed.
  • learning is performed using only the image of the normal inspection target at the time of learning, so that only the features of the image of the normal inspection target are extracted. Therefore, when the image of the normal inspection target is input, the image of the normal inspection target is output, and when the image of the abnormal inspection target is input, the abnormal part is not restored (normal). It can be said that it is an image to be inspected) is output.
  • the difference between the image of the inspection target input to the autoencoder and the image output from the autoencoder is taken, and the presence or absence of an abnormality of the inspection target is determined based on the difference. It is judged. For example, when the difference is large, it is determined that the inspection target has an abnormality (it is an abnormal inspection target).
  • the visual inspection apparatus described in Patent Document 1 As a technique for visual inspection using an autoencoder, for example, the visual inspection apparatus described in Patent Document 1 is known. In this visual inspection apparatus, learning is performed using a pseudo-defect image in which an image showing a defect is combined with a non-defective image.
  • the image in which the abnormal part is not restored should be output.
  • the restored image may be output even in the abnormal part.
  • the abnormal part is a scratch part or a low contrast part.
  • the difference between the image input to the autoencoder and the image output from the autoencoder becomes almost 0, so it should be judged as an abnormal inspection target (abnormal), but it is normal. It is erroneously determined that the inspection target is normal (no abnormality), and it is not possible to accurately determine the abnormality of the inspection target.
  • One aspect of the present invention is an inspection system, comprising a memory for storing a trained model, a processor, and an input interface for inputting a processing target image, which is an image captured by the inspection target, to the processor.
  • the trained model is a multi-layer neural network, and has an encoder structure that extracts the feature amount of the processed target image by encoding the processed target image, and the same number of pixels as the processed target image using the feature amount.
  • the decoder structure that generates a pixel-sized image, and is deeply trained to output the normal image when a normal image is input during training, and when the first abnormal image is input, the first is It is a trained model deeply trained to output the abnormal image of 2, the normal image is an image in which a normal inspection target is captured, and the first abnormal image has an abnormal portion.
  • the image to be inspected is an image captured or an image based on the image, and the second abnormal image is an abnormal region in the first abnormal image, which is a region including at least a region corresponding to the abnormal portion.
  • the processor inputs the processed image into the trained model at the time of inspection, acquires the feature amount extracted by the encoder structure, and uses the feature amount as the feature amount. Based on this, it is determined whether or not the processing target image contains an abnormality, or the output image output to the input of the processing target image is acquired, and the processing target image and the output image are used. It is characterized in that the degree of difference between the pixel values of the above is calculated, and the abnormality of the image to be processed is detected according to the degree of difference.
  • Another aspect of the present invention is a learning method for deep-learning a learning model, the step of deep-learning the learning model so as to output the normal image when a normal image is input, and the first step.
  • the normal image includes a step of deeply learning the training model so as to output a second abnormal image when the abnormal image of 1 is input, and the normal image is an image in which a normal inspection target is captured.
  • the first abnormal image is an image captured by an inspection target having an abnormal portion, or an image based on the image
  • the second abnormal image is the abnormality in the first abnormal image.
  • the image is characterized in that the pixel value of the abnormal region, which is a region including at least the region corresponding to the portion, is changed to a different pixel value.
  • the trained model in which the training model is deep-learned by the learning method is a multi-layer neural network, and has an encoder structure for extracting the feature amount of the processing target image by encoding the processing target image and the feature. It may have a decoder structure that generates an image having the same number of pixels and pixel size as the image to be processed by using the amount.
  • Another aspect of the present invention is an inspection method, in which a step of inputting a processing target image, which is an image captured by the inspection target, into a trained model deeply trained by the learning method of the above aspect, and the above-mentioned.
  • the feature amount extracted by the encoder structure of the trained model is acquired, and it is determined whether or not the processed target image contains an abnormality based on the feature amount, or the input of the processed target image is performed. It includes a step of acquiring an output image, calculating the degree of difference in pixel values between the processing target image and the output image, and detecting an abnormality in the processing target image according to the difference. It is a feature.
  • Another aspect of the present invention is a non-temporary computer-readable storage medium that stores a program that causes a computer to execute a learning process that causes a computer to perform deep learning of a learning model.
  • a normal image is input.
  • the step of deeply learning the learning model so as to output the normal image when the normal image is output, and the deep layer of the learning model so as to output the second abnormal image when the first abnormal image is input.
  • the normal image includes a step of learning, and the normal image is an image in which a normal inspection target is captured, and the first abnormal image is an image in which an inspection target having an abnormal portion is captured or the image.
  • the second abnormal image is an image in which the pixel value of the abnormal region, which is a region including at least the region corresponding to the abnormal portion in the first abnormal image, is changed to a different pixel value. It is characterized by that.
  • FIG. 1 is a diagram illustrating the configuration of an inspection system according to an embodiment.
  • the inspection system 1 exemplified in FIG. 1 is a system used for visual inspection of manufactured parts manufactured at a manufacturing site, and is an industrial microscope device 10 and an inspection device connected to the microscope device 10.
  • 20 includes a keyboard 30, a mouse 40, and a display device 50 connected to the inspection device 20.
  • the microscope device 10 includes a stage 11 on which an inspection target (for example, a manufacturing component S) is placed, an objective lens 12 that collects light from the inspection target, a revolver 13 that switches an objective lens arranged on an optical path, and an image pickup.
  • a device 14 is provided.
  • the image pickup apparatus 14 is, for example, a digital camera including an image sensor that converts incident observation light into an electric signal.
  • the image pickup apparatus 14 takes an image of the inspection target and generates an inspection target image.
  • the inspection target image is output from the imaging device 14 to the inspection device 20 as, for example, a processing target image.
  • the inspection device 20 performs an inspection process for visually inspecting the inspection target based on the processing target image input from the microscope device 10 (imaging device 14).
  • the trained model is used to determine the presence or absence of an abnormality in the inspection target, detect an abnormality in the inspection target, and the like.
  • the inspection device 20 also performs a learning process of deep learning a learning model (pre-learning model) in order to generate a trained model used for the inspection process.
  • the keyboard 30 and the mouse 40 input signals to the inspection device 20 according to the input operation of the user.
  • the display device 50 is, for example, an LCD (Liquid Crystal Display), and displays a determination result, a detection result, and the like of the inspection device 20.
  • the inspection system 1 may further include a touch panel connected to the inspection device 20.
  • the touch panel may be provided on the display screen of the display device 50.
  • the inspection system 1 may further include a speaker connected to the inspection device 20. In this case, the speaker may output the determination result, the detection result, and the like of the inspection device 20 by voice.
  • FIG. 2 is a diagram illustrating the hardware configuration of the inspection device.
  • the hardware configuration illustrated in FIG. 2 also illustrates the hardware configuration of a computer, and in this way, the inspection device 20 may be realized by a computer.
  • the inspection device 20 illustrated in FIG. 2 includes a processor 21, a memory 22, a storage device 23, an input / output interface 24, a portable storage medium drive device 25, and a communication interface 26, each of which is connected to a bus 27. It is possible to send and receive signals (data) to each other.
  • the processor 21 is configured to include a CPU (Central Processing Unit), and by executing an OS (Operating System) program or an application program (including a program for performing inspection processing and learning processing), the inspection device 20 causes the inspection device 20 to execute. Control various processes (including inspection process and learning process) to be performed.
  • the processor 21 may be further configured to include a GPU (Graphics Processing Unit) or the like.
  • the memory 22 includes a RAM (RandomAccessMemory) and a ROM (ReadOnlyMemory).
  • the RAM temporarily stores a part of the program executed by the processor 21, or is used as a working storage area of the processor 21.
  • the ROM stores a program executed by the processor 21, various data necessary for executing the program, a trained model, and the like.
  • the ROM is a mask ROM, an EPROM (ErasableProgrammableROM), an EEPROM (ElectricallyEPROM), a flash memory, or the like.
  • the storage device 23 is an HDD (Hard Disk Drive), an SSD (Solid State Drive), or the like.
  • the storage device 23 may store a program executed by the processor 21, various data necessary for executing the program, a trained model, and the like.
  • the input / output interface 24 is an interface between an input device and an output device.
  • the input device is a microscope device 10, a keyboard 30, a mouse 40, a touch panel, and the like.
  • the keyboard 30, mouse 40, touch panel, and the like are examples of a user interface that outputs a signal according to a user's input operation.
  • the input / output interface 24, for example, inputs a processing target image output by the microscope device 10 (imaging device 14) to the processor 21, or inputs a signal output by the user interface to the processor 21.
  • the output device is a display device 50, a speaker, or the like.
  • the portable storage medium driving device 25 drives the portable storage medium 25a and accesses the stored contents.
  • the portable storage medium 25a may store a program executed by the processor 21, various data necessary for executing the program, a trained model, and the like.
  • the portable storage medium 25a is a memory device, a flexible disk, an optical disk, an optical magnetic disk, or the like, and includes a CD-ROM (Compact Disc Read Only Memory), a DVD (Digital Versatile Disc), a Blu-ray disk, and a USB (Universal Serial Bus) memory. Etc. are also included.
  • the memory 22, the storage device 23, and the portable storage medium 25a are examples of non-temporary computer-readable storage media. Further, the storage device 23 and the portable storage medium 25a can also be referred to as a memory.
  • the communication interface 26 is an interface for connecting to a network (not shown) and communicating with an external device (server device or the like) connected to the network.
  • the inspection device 20 is not limited to the hardware configuration illustrated in FIG. 2, and may be configured to include one or a plurality of each component illustrated in FIG. 2, or may not include some components. It may be configured.
  • the present invention is not limited to one processor 21, and a plurality of processors may be provided. Further, the processing may be executed by one processor, or the processing may be executed simultaneously, sequentially, or by another method by one or more processors.
  • the inspection device 20 includes hardware such as a microprocessor, a digital signal processor (DSP: Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), a PLD (Programmable Logic Device), and an FPGA (Field Programmable Gate Array). It may be configured.
  • the processor 21 may be implemented using at least one of these hardware.
  • the trained model used for the inspection process is a multi-layer neural network having an encoder structure and a decoder structure.
  • the encoder structure extracts the feature amount of the processing target image by encoding the processing target image input to the trained model.
  • the decoder structure uses the feature amount extracted by the encoder structure to generate an image having the same number of pixels and pixel size as the input image to be processed. That is, this trained model has a structure similar to that of an autoencoder.
  • FIG. 3 is a flowchart illustrating the flow of the learning process performed by the processor. It should be noted that this flowchart also exemplifies the learning method.
  • the processor 21 first deeply trains the learning model so as to output the input normal image when the normal image is input (step S11).
  • the normal image is an image in which a normal inspection target is captured, for example, an image in which the normal inspection target is captured by the imaging device 14 of the microscope device 10.
  • step S11 deep learning is performed using a plurality of such normal images.
  • the processor 21 further deep-learns the learning model so as to output the second abnormal image when the first abnormal image is input (step S12).
  • the first abnormal image is an image in which an inspection target having an abnormal portion is captured, for example, an image in which the inspection target having an abnormal portion is captured by the imaging device 14 of the microscope device 10.
  • the first abnormal image is an image based on an image captured by an inspection target having an abnormal portion, for example, an image captured by an inspection target having an abnormal portion is rotated, reduced, enlarged, or the like. It is an image.
  • the abnormal portion is, for example, a scratch portion and / or a low contrast portion, and is an abnormal portion that is difficult to detect by a conventional visual inspection using an autoencoder.
  • the low-contrast portion is a portion where the contrast is low with respect to the periphery or a portion where the contrast is low with respect to the corresponding portion of a normal inspection target.
  • the second abnormal image is an image in which the pixel value of the abnormal region, which is a region including at least the region corresponding to the abnormal portion to be inspected, is changed to a different pixel value in the first abnormal image.
  • Changing the pixel value in the abnormal region to a different pixel value means, for example, changing the pixel value in the abnormal region to a pixel value in which the difference from the pixel value is the maximum or a predetermined value or more, or the pixel in the abnormal region. It means to invert the value in brightness.
  • deep learning is performed using a plurality of such pairs of the first abnormal image and the second abnormal image.
  • a trained model used for the inspection process is generated. Then, the generated trained model is stored in, for example, the ROM of the memory 22.
  • the second abnormal image used in step S12 may be generated by the processor 21 in response to a user input operation using, for example, a user interface (keyboard 30, mouse 40, touch panel, etc.).
  • the processor 21 inputs a signal corresponding to the input operation of the user using the user interface, and performs mask processing according to the signal to identify the abnormal region in the first abnormal image and perform the abnormality.
  • a second abnormal image may be generated by changing the pixel value of the region to a different pixel value.
  • FIG. 4 is a diagram schematically showing an example of generating a second abnormal image performed by the processor.
  • the abnormal region (the region including at least the region 61a corresponding to the scratched portion) of the first abnormal image 61, which is an image captured by the inspection target having the scratched portion, uses the user interface.
  • the second abnormal image 62 is generated by being specified by mask processing (annotation by the user) according to the input operation of the existing user and the pixel value of the abnormal region being inverted in brightness. Due to this luminance inversion, the second abnormal image 62 becomes an image in which the abnormal region of the first abnormal image 61 is emphasized.
  • FIG. 5 is a flowchart illustrating the flow of the inspection process performed by the processor. It should be noted that this inspection process also exemplifies an inspection method.
  • the processor 21 first acquires an inspection target image, which is an image of the inspection target captured by the imaging device 14, from the microscope device 10 as a processing target image (step S21).
  • the processor 21 reads, for example, the trained model stored in the ROM of the memory 22, and inputs the processed target image acquired in step S21 into the trained model (step S22).
  • the processor 21 performs an abnormality presence / absence determination process and / or an abnormality detection process (step S23).
  • the processor 21 acquires the feature amount of the processing target image extracted by the encoder structure of the trained model, and determines whether or not the processing target image contains an abnormality based on the feature amount. do. In this determination, for example, the degree of difference between the acquired feature amount and the reference feature amount is calculated, and whether or not the processed image contains an abnormality depending on whether or not the degree of difference is equal to or greater than a predetermined threshold value is determined. You may judge.
  • the reference feature amount is a feature amount that can be extracted by the encoder structure when an image captured by a normal inspection target is input to the trained model, and it is determined that the processed target image does not contain any abnormality. It is also a feature amount to be obtained.
  • step S23 in the abnormality detection process, the output image output from the trained model is acquired with respect to the input of the process target image in step S22, and the degree of difference in the pixel values between the process target image and the output image is determined. It is calculated and an abnormality (abnormal area) of the image to be processed is detected according to the degree of difference. In this detection, a region in which the degree of difference in pixel values is equal to or greater than a predetermined threshold value may be detected as an abnormality. Further, the degree of difference in pixel values may be calculated by acquiring a difference image between the image to be processed and the output image.
  • the processor 21 displays the processing result of the abnormality presence / absence determination processing and / or the abnormality detection processing in step S23 on the display device 50 (step S24). Specifically, in the display of the processing result of the abnormality presence / absence determination processing, the determination result of whether or not the processing target image contains an abnormality (that is, the inspection when the inspection target image as the processing target image is captured). Judgment result of whether or not the target contains an abnormal part) is displayed. In the display of the processing result of the abnormality detection processing, the detection result of the abnormality in the processing target image (that is, the detection result of the abnormal portion in the inspection target when the inspection target image as the processing target image is captured) is displayed. In this display, if an abnormal area is not detected in the image to be processed, a display to that effect is displayed, and if an abnormal area is detected, the abnormal area is displayed so as to be distinguishable from other areas. May be good.
  • FIG. 6 is diagrams schematically illustrating a processing target image and an output image of a trained model when the processing target image is input.
  • FIG. 6 exemplifies a processing target image 71 which is an inspection target image in which a normal inspection target is captured, and an output image 73 of the trained model 72 when the processing target image 71 is input.
  • the output image 73 is the same image as the processing target image 71, there is no region where the degree of difference in the pixel values is equal to or greater than the predetermined threshold value with respect to the processing target image 71, and the processing target image 71 is abnormal. Not detected.
  • FIG. 7 shows an inspection target image 74, which is an inspection target image in which an inspection target (abnormal inspection target) having a scratch portion is captured, and an output of a trained model 72 when the processing target image 74 is input.
  • Image 75 is illustrated.
  • the output image 75 is an image in which the region (abnormal region) including at least the region 74a corresponding to the scratch portion in the processing target image 74 is emphasized, so that the degree of difference in pixel values with respect to the processing target image 74 is high.
  • the degree of difference in the pixel values in this case is calculated, for example, by acquiring the difference image 76 between the processing target image 74 and the output image 75.
  • FIG. 8 shows a processing target image 77, which is an inspection target image in which an inspection target (abnormal inspection target) having a low contrast portion is captured, and an output image of the trained model 72 when the processing target image 77 is input. 78 is illustrated.
  • the output image 78 is an image in which the region (abnormal region) including at least the region 77a corresponding to the low contrast portion in the processing target image 77 is emphasized, so that the pixel value is different from that of the processing target image 77.
  • the inspection system for example, by using the trained model deep-learned by the learning process illustrated in FIG. 3 and performing the visual inspection of the inspection target by the inspection process exemplified in FIG. 5, conventionally. It is possible to detect abnormal parts (for example, scratch parts and low-contrast parts) that are difficult to detect by visual inspection using the autoencoder of the above, and it is possible to accurately detect abnormalities of the inspection target.
  • abnormal parts for example, scratch parts and low-contrast parts
  • the inspection system 1 may be configured as follows.
  • the user confirms the processing result displayed in S24 for the image to be processed for which the abnormality detection process has been performed in step S23 of the inspection process exemplified in FIG. 5, and the undetected abnormality portion is found.
  • a second abnormal image to be used at the time of additional learning or re-learning of the trained model may be generated from the processed target image (corresponding to the first abnormal image) having an undetected abnormal portion.
  • the processor 21 identifies an area including at least an undetected abnormal part in the image to be processed as an abnormal area by mask processing according to a user's input operation using the user interface, and the pixel value of the abnormal area.
  • the change of the pixel value in this case is also the same as that described in step S12 of FIG. 3, by changing the pixel value in the abnormal region to a pixel value in which the difference from the pixel value is the maximum or a predetermined value or more.
  • the pixel value in the abnormal region may be inverted in brightness.
  • the trained model used for the inspection process performed by the processor 21 may be generated by an external device (server device or the like).
  • a trained model generated by an external device that executes a process similar to the learning process illustrated in FIG. 3 may be stored in the ROM of the memory 22 via a network and a communication interface 26 (not shown). .. Further, in this case, the external device may also generate the second abnormal image as illustrated in FIG.
  • the inspection system 1 is not limited to use in the field of manufacturing industry, but may be used in fields other than manufacturing industry such as biology and medical treatment.
  • the inspection system 1 may include a biological microscope device with an imaging device instead of the industrial microscope device 10.
  • the inspection system 1 is not limited to the configuration exemplified in FIG. 1, and may be configured without including a part of the inspection device 20 as long as it includes at least the inspection device 20, or may be further configured to include other devices. May be done.
  • the present invention is not limited to the above embodiment as it is, and at the implementation stage, the components can be modified and embodied within a range that does not deviate from the gist thereof.
  • various inventions can be formed by an appropriate combination of the plurality of components disclosed in the above-described embodiment. For example, some components of all the components shown in the embodiment may be deleted. In addition, components across different embodiments may be combined as appropriate.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

検査システムは、学習済みモデルに処理対象画像を入力して、その出力画像を取得し、処理対象画像と出力画像との画素値の相違度に応じて処理対象画像の異常の検出等を行う。学習済みモデルは、正常画像が入力された場合に正常画像を出力するように深層学習され、第１の異常画像が入力された場合に第２の異常画像を出力するように深層学習されたものである。正常画像は、正常な検査対象が撮像された画像である。第１の異常画像は、異常箇所を有する検査対象が撮像された画像等である。第２の異常画像は、第１の異常画像における、異常箇所に対応する領域を少なくとも含む領域である異常領域の画素値を異なる画素値に変更した画像である。

Description

検査システム、学習方法、検査方法、及び記憶媒体
　本発明は、検査システム、学習方法、検査方法、及び記憶媒体に関する。
　近年、製造業等においては、深層学習（Deep Learning）を活用した外観検査が行われている。具体的には、深層学習させた学習済みモデルを用いて検査対象（製造部品等）の外観検査が行われている。
　この場合の深層学習では、正常な検査対象の画像のみを用いた教師なし学習が行われる。その理由は、製造現場等では、正常な検査対象の発生数に比べて、異常な検査対象（外観上にキズ等の異常を有する検査対象）の発生数が遥かに少ないために、異常な検査対象の画像を多く収集することができないからである。また、検査対象に生じ得る異常（外観上のキズ等）が未知であるからである。
　教師なし学習が行われた学習済みモデルの代表例として、オートエンコーダ（ＡＥ：AutoEncorder）が知られている。外観検査に用いられるオートエンコーダでは、学習時に正常な検査対象の画像のみを用いて学習が行われるために、正常な検査対象の画像の特徴のみが抽出される。そのため、正常な検査対象の画像が入力された場合には、その正常な検査対象の画像が出力され、異常な検査対象の画像が入力された場合には、異常箇所が復元されない画像（正常な検査対象の画像ともいえる）が出力される。そして、オートエンコーダを用いた外観検査では、例えば、オートエンコーダに入力した検査対象の画像と、オートエンコーダから出力された画像との差分をとり、その差分に基づいて、検査対象の異常の有無が判定される。例えば、その差分が大きい場合には、検査対象に異常有り（異常な検査対象である）と判定される。
　オートエンコーダを用いた外観検査に関する技術として、その他、例えば、特許文献１に記載の外観検査装置が知られている。この外観検査装置では、良品画像に欠陥を表す画像を合成した擬似欠陥画像を用いて学習が行われている。
国際公開第２０１８／２２５７４５号
　上述の、正常な検査対象の画像のみを用いて学習が行われたオートエンコーダでは、異常な検査対象の画像が入力された場合に、本来ならば、異常箇所が復元されない画像が出力されるべきところ、その異常箇所も復元された画像が出力されてしまう場合がある。例えば、異常箇所が、スクラッチ箇所や低コントラスト箇所といった場合である。この場合は、オートエンコーダに入力された画像とオートエンコーダから出力された画像との差分がほぼ０になってしまうことから、本来は異常な検査対象（異常有り）と判定されるべきところ、正常な検査対象（異常なし）と誤判定されてしまい、検査対象の正確な異常判定を行うことができない。
　一方、上述の特許文献１に記載の外観検査装置では、良品画像に合成される欠陥が、現実に生じ得る欠陥と乖離する場合が多いことから、検査対象の正確な異常判定を行うことができるとは言い難い。
　本発明は、上記実状に鑑み、検査対象の正確な異常判定を行うことができる検査システム、学習方法、検査方法、及び記憶媒体を提供することを目的とする。
　本発明の一態様は、検査システムであって、学習済みモデルを記憶するメモリと、プロセッサと、検査対象が撮像された画像である処理対象画像を前記プロセッサに入力する入力インタフェースと、を備え、前記学習済みモデルは、多層ニューラルネットワークであって、前記処理対象画像をエンコードすることにより前記処理対象画像の特徴量を抽出するエンコーダ構造と、前記特徴量を用いて前記処理対象画像と同じ画素数及び画素サイズの画像を生成するデコーダ構造とを有し、学習時に、正常画像が入力された場合に前記正常画像を出力するように深層学習され、第１の異常画像が入力された場合に第２の異常画像を出力するように深層学習された学習済みモデルであって、前記正常画像は、正常な検査対象が撮像された画像であって、前記第１の異常画像は、異常箇所を有する検査対象が撮像された画像、又は当該画像に基づく画像であって、前記第２の異常画像は、前記第１の異常画像における、前記異常箇所に対応する領域を少なくとも含む領域である異常領域の画素値を異なる画素値に変更した画像であって、前記プロセッサは、検査時に、前記学習済みモデルに前記処理対象画像を入力し、前記エンコーダ構造が抽出した特徴量を取得し、当該特徴量に基づいて前記処理対象画像に異常が含まれているか否かを判定すること、及び又は、前記処理対象画像の入力に対して出力された出力画像を取得し、前記処理対象画像と前記出力画像との画素値の相違度を算出し、当該相違度に応じて前記処理対象画像の異常を検出すること、を行うことを特徴とする。
　本発明の他の一態様は、学習用モデルを深層学習させる学習方法であって、正常画像が入力された場合に前記正常画像を出力するように前記学習用モデルを深層学習させるステップと、第１の異常画像が入力された場合に第２の異常画像を出力するように前記学習用モデルを深層学習させるステップと、を含み、前記正常画像は、正常な検査対象が撮像された画像であって、前記第１の異常画像は、異常箇所を有する検査対象が撮像された画像、又は当該画像に基づく画像であって、前記第２の異常画像は、前記第１の異常画像における、前記異常箇所に対応する領域を少なくとも含む領域である異常領域の画素値を異なる画素値に変更した画像であることを特徴とする。当該学習方法により前記学習用モデルを深層学習させた学習済みモデルは、多層ニューラルネットワークであって、前記処理対象画像をエンコードすることにより前記処理対象画像の特徴量を抽出するエンコーダ構造と、前記特徴量を用いて前記処理対象画像と同じ画素数及び画素サイズの画像を生成するデコーダ構造と、を有してもよい。
　本発明の他の一態様は、検査方法であって、上記一態様の学習方法により深層学習させた学習済みモデルに、検査対象が撮像された画像である処理対象画像を入力するステップと、前記学習済みモデルのエンコーダ構造により抽出された特徴量を取得し、当該特徴量に基づいて前記処理対象画像に異常が含まれているか否かを判定すること、及び又は、前記処理対象画像の入力に対する出力画像を取得し、前記処理対象画像と前記出力画像との画素値の相違度を算出し、当該相違度に応じて前記処理対象画像の異常を検出すること、を行うステップとを含むことを特徴とする。
　本発明の他の一態様は、学習用モデルを深層学習させる学習処理をコンピュータに実行させるプログラムを記憶した非一時的なコンピュータ読取可能な記憶媒体であって、前記学習処理は、正常画像が入力された場合に前記正常画像を出力するように前記学習用モデルを深層学習させるステップと、第１の異常画像が入力された場合に第２の異常画像を出力するように前記学習用モデルを深層学習させるステップと、を含み、前記正常画像は、正常な検査対象が撮像された画像であって、前記第１の異常画像は、異常箇所を有する検査対象が撮像された画像、又は当該画像に基づく画像であって、前記第２の異常画像は、前記第１の異常画像における、前記異常箇所に対応する領域を少なくとも含む領域である異常領域の画素値を異なる画素値に変更した画像であることを特徴とする。
　本発明に依れば、検査対象の正確な異常判定を行うことができる。
一実施の形態に係る検査システムの構成を例示する図である。 検査装置のハードウェア構成を例示する図である。 プロセッサが行う学習処理の流れを例示するフローチャートである。 プロセッサが行う第２の異常画像の生成例を模式的に示す図である。 プロセッサが行う検査処理の流れを例示するフローチャートである。 処理対象画像と、当該処理対象画像が入力された場合の学習済みモデルの出力画像とを模式的に例示する図（その１）である。 処理対象画像と、当該処理対象画像が入力された場合の学習済みモデルの出力画像とを模式的に例示する図（その２）である。 処理対象画像と、当該処理対象画像が入力された場合の学習済みモデルの出力画像とを模式的に例示する図（その３）である。
　以下、図面を参照しながら、本発明の実施の形態について説明する。
　図１は、一実施の形態に係る検査システムの構成を例示する図である。
　図１に例示した検査システム１は、製造現場にて製造される製造部品等の外観検査に使用されるシステムであって、工業用の顕微鏡装置１０と、当該顕微鏡装置１０に接続された検査装置２０と、当該検査装置２０に接続されたキーボード３０、マウス４０、及び表示装置５０とを含む。
　顕微鏡装置１０は、検査対象（例えば製造部品Ｓ）が載置されるステージ１１と、検査対象からの光を集光する対物レンズ１２と、光路上に配置する対物レンズを切り替えるレボルバ１３と、撮像装置１４とを備える。撮像装置１４は、例えば、入射した観察光を電気信号に変換するイメージセンサを含むデジタルカメラである。撮像装置１４は、検査対象を撮像して、検査対象画像を生成する。検査対象画像は、例えば処理対象画像として、撮像装置１４から検査装置２０へ出力される。
　検査装置２０は、顕微鏡装置１０（撮像装置１４）から入力された処理対象画像に基づいて、検査対象の外観検査を行う検査処理を行う。この検査処理では、学習済みモデルを用いて、検査対象の異常有無判定や、検査対象の異常検出等が行われる。また、検査装置２０は、検査処理に用いられる学習済みモデルを生成するために、学習用モデル（学習前モデル）を深層学習させる学習処理等も行う。
　キーボード３０及びマウス４０は、ユーザの入力操作に応じた信号を検査装置２０に入力する。表示装置５０は、例えばＬＣＤ（Liquid Crystal Display）であり、検査装置２０の判定結果や検出結果等を表示する。
　なお、検査システム１は、更に、検査装置２０に接続されるタッチパネルを備えてもよい。この場合、タッチパネルは、表示装置５０の表示画面上に設けられてもよい。また、検査システム１は、更に、検査装置２０に接続されるスピーカを備えてもよい。この場合、スピーカは、検査装置２０の判定結果や検出結果等を音声により出力してもよい。
　図２は、検査装置のハードウェア構成を例示する図である。なお、図２に例示したハードウェア構成は、コンピュータのハードウェア構成を例示するものでもあり、このように、検査装置２０は、コンピュータにより実現されてもよい。
　図２に例示した検査装置２０は、プロセッサ２１、メモリ２２、記憶装置２３、入出力インタフェース２４、可搬型記憶媒体駆動装置２５、及び通信インタフェース２６を備え、その各々は、バス２７に接続されて互いに信号（データ）の送受信が可能である。
　プロセッサ２１は、ＣＰＵ（Central Processing Unit）を含んで構成され、ＯＳ（Operating System）のプログラムやアプリケーションプログラム（検査処理や学習処理を行うためのプログラムを含む）を実行することにより、検査装置２０が行う各種処理（検査処理や学習処理を含む）を制御する。なお、プロセッサ２１は、更に、ＧＰＵ（Graphics Processing Unit）等を含んで構成されてもよい。
　メモリ２２は、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）を含む。ＲＡＭは、プロセッサ２１が実行するプログラムの一部が一時的に格納されたり、プロセッサ２１の作業用記憶領域として使用されたりする。ＲＯＭは、プロセッサ２１が実行するプログラム、プログラムの実行に必要な各種データ、及び学習済みモデル等が記憶される。ＲＯＭは、マスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）、又はフラッシュメモリ等である。
　記憶装置２３は、ＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）等である。記憶装置２３には、プロセッサ２１が実行するプログラム、プログラムの実行に必要な各種データ、及び学習済みモデル等が記憶されてもよい。
　入出力インタフェース２４は、入力装置及び出力装置との間のインタフェースである。入力装置は、顕微鏡装置１０、キーボード３０、マウス４０、及びタッチパネル等である。キーボード３０、マウス４０、及びタッチパネル等は、ユーザの入力操作に応じた信号を出力するユーザインタフェースの一例である。入出力インタフェース２４は、例えば、顕微鏡装置１０（撮像装置１４）が出力した処理対象画像をプロセッサ２１に入力したり、ユーザインタフェースが出力した信号をプロセッサ２１に入力したりする。出力装置は、表示装置５０、及びスピーカ等である。
　可搬型記憶媒体駆動装置２５は、可搬型記憶媒体２５ａを駆動し、その記憶内容にアクセスする。可搬型記憶媒体２５ａには、プロセッサ２１が実行するプログラム、プログラムの実行に必要な各種データ、及び学習済みモデル等が記憶されてもよい。可搬型記憶媒体２５ａは、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等であり、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク、ＵＳＢ（Universal Serial Bus）メモリ等も含まれる。
　なお、メモリ２２、記憶装置２３、及び可搬型記憶媒体２５ａは、非一時的なコンピュータ読取可能な記憶媒体の一例である。また、記憶装置２３及び可搬型記憶媒体２５ａは、メモリとも称し得る。
　通信インタフェース２６は、図示しないネットワークに接続され、当該ネットワークに接続された外部装置（サーバ装置等）との間で通信を行うためのインタフェースである。
　なお、検査装置２０は、図２に例示したハードウェア構成に限らず、図２に例示した各構成要素を１つ又は複数備えて構成されてもよいし、一部の構成要素を備えずに構成されてもよい。例えば、１つのプロセッサ２１に限らず、複数のプロセッサを備えてもよい。また、処理は、１つのプロセッサにより実行されてもよいし、処理が同時に、逐次的に、又は他の方式で、１以上のプロセッサにより実行されてもよい。
　また、検査装置２０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital　Signal　Processor）、ＡＳＩＣ（Application　Specific　Integrated　Circuit）、ＰＬＤ（Programmable　Logic　Device）、ＦＰＧＡ（Field　Programmable　Gate　Array）等のハードウェアを含んで構成されてもよい。例えば、プロセッサ２１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。
　次に、検査装置２０が行う検査処理に用いられる学習済みモデルについて説明する。
　検査処理に用いられる学習済みモデルは、多層ニューラルネットワークであって、エンコーダ構造とデコーダ構造とを有する。エンコーダ構造は、学習済みモデルに入力された処理対象画像をエンコードすることにより、その処理対象画像の特徴量を抽出する。デコーダ構造は、エンコーダ構造が抽出した特徴量を用いて、入力された処理対象画像と同じ画素数及び画素サイズの画像を生成する。すなわち、この学習済みモデルは、オートエンコーダと同様の構造を有する。
　また、検査処理に用いられる学習済みモデルは、例えば、検査装置２０のプロセッサ２１が行う学習処理により生成される。
　図３は、プロセッサが行う学習処理の流れを例示するフローチャートである。なお、このフローチャートは、学習方法を例示するものでもある。
　図３に例示した学習処理では、プロセッサ２１は、まず、正常画像が入力された場合に、入力された正常画像を出力するように、学習用モデルを深層学習させる（ステップＳ１１）。ここで、正常画像は、正常な検査対象が撮像された画像、例えば、正常な検査対象が顕微鏡装置１０の撮像装置１４により撮像された画像である。ステップＳ１１では、このような正常画像を複数用いて深層学習が行われる。
　次に、プロセッサ２１は、第１の異常画像が入力された場合に、第２の異常画像を出力するように、学習用モデルを更に深層学習させる（ステップＳ１２）。ここで、第１の異常画像は、異常箇所を有する検査対象が撮像された画像、例えば、異常箇所を有する検査対象が顕微鏡装置１０の撮像装置１４により撮像された画像である。又は、第１の異常画像は、異常箇所を有する検査対象が撮像された画像に基づく画像、例えば、異常箇所を有する検査対象が撮像された画像を回転、縮小、拡大等の１つ以上をさせた画像である。異常箇所とは、例えば、スクラッチ箇所及び又は低コントラスト箇所のことであり、従来の、オートエンコーダを用いた外観検査では、検出することが困難な異常箇所のことである。低コントラスト箇所とは、周辺に対してコントラストが低い箇所、又は、正常な検査対象の対応箇所に対してコントラストが低い箇所のことである。第２の異常画像は、第１の異常画像における、検査対象の異常箇所に対応する領域を少なくとも含む領域である異常領域の画素値を異なる画素値に変更した画像である。異常領域の画素値を異なる画素値に変更するとは、例えば、異常領域の画素値を、当該画素値との差分が最大又は所定値以上になる画素値へ変更すること、又は、異常領域の画素値を輝度反転すること、のことである。ステップＳ１２では、このような第１の異常画像と第２の異常画像のペアを複数用いて深層学習が行われる。
　このような図３に例示した学習処理により、検査処理に用いられる学習済みモデルが生成される。そして、生成された学習済みモデルは、例えば、メモリ２２のＲＯＭに記憶される。
　なお、ステップＳ１２で用いられる第２の異常画像は、例えば、ユーザインタフェース（キーボード３０、マウス４０、タッチパネル等）を用いたユーザの入力操作に応じて、プロセッサ２１が生成してもよい。この場合、プロセッサ２１は、ユーザインタフェースを用いたユーザの入力操作に応じた信号が入力され、当該信号に応じてマスク処理を行うことにより、第１の異常画像における異常領域を特定し、当該異常領域の画素値を異なる画素値に変更することにより第２の異常画像を生成してもよい。
　図４は、プロセッサが行う第２の異常画像の生成例を模式的に示す図である。
　図４に示した生成例は、スクラッチ箇所を有する検査対象が撮像された画像である第１の異常画像６１の異常領域（スクラッチ箇所に対応する領域６１ａを少なくとも含む領域）が、ユーザインタフェースを用いたユーザの入力操作に応じたマスク処理（ユーザによるアノテーション）により特定され、その異常領域の画素値が輝度反転されることにより、第２の異常画像６２が生成された例である。この輝度反転により、第２の異常画像６２は、第１の異常画像６１の異常領域が強調された画像となる。
　次に、検査装置２０のプロセッサ２１が行う検査処理について説明する。
　図５は、プロセッサが行う検査処理の流れを例示するフローチャートである。なお、この検査処理は、検査方法を例示するものでもある。
　図５に例示した検査処理では、プロセッサ２１は、まず、顕微鏡装置１０から、撮像装置１４により検査対象が撮像された画像である検査対象画像を、処理対象画像として取得する（ステップＳ２１）。
　次に、プロセッサ２１は、例えばメモリ２２のＲＯＭに記憶されている学習済みモデルを読み出し、当該学習済みモデルに、ステップＳ２１で取得した処理対象画像を入力する（ステップＳ２２）。
　次に、プロセッサ２１は、異常有無判定処理及び又は異常検出処理を行う（ステップＳ２３）。異常有無判定処理では、プロセッサ２１は、学習済みモデルのエンコーダ構造が抽出した処理対象画像の特徴量を取得し、当該特徴量に基づいて、処理対象画像に異常が含まれているか否かを判定する。この判定では、例えば、取得した特徴量と基準特徴量との相違度を算出し、当該相違度が所定閾値以上であるか否かに応じて処理対象画像に異常が含まれているか否かを判定してもよい。基準特徴量は、正常な検査対象が撮像された画像が学習済みモデルに入力された場合にエンコーダ構造が抽出し得る特徴量であり、また、処理対象画像に異常が含まれていないと判定され得る特徴量でもある。
　また、ステップＳ２３において、異常検出処理では、ステップＳ２２での処理対象画像の入力に対して学習済みモデルから出力された出力画像を取得し、処理対象画像と出力画像との画素値の相違度を算出し、当該相違度に応じて処理対象画像の異常（異常領域）を検出する。この検出では、画素値の相違度が所定閾値以上の領域を異常として検出してもよい。また、画素値の相違度を、処理対象画像と出力画像との差分画像を取得することにより、算出してもよい。
　次に、プロセッサ２１は、ステップＳ２３での異常有無判定処理及び又は異常検出処理の処理結果を表示装置５０に表示する（ステップＳ２４）。具体的には、異常有無判定処理の処理結果の表示では、処理対象画像に異常が含まれているか否かの判定結果（即ち、処理対象画像とされた検査対象画像が撮像されたときの検査対象に異常箇所が含まれているか否かの判定結果）を表示する。異常検出処理の処理結果の表示では、処理対象画像における異常の検出結果（即ち、処理対象画像とされた検査対象画像が撮像されたときの検査対象における異常箇所の検出結果）を表示する。この表示では、処理対象画像において、異常領域が検出されなかった場合にはその旨の表示を行い、異常領域が検出された場合には、その異常領域を他の領域と区別可能に表示してもよい。
　図６、図７、及び図８は、処理対象画像と、当該処理対象画像が入力された場合の学習済みモデルの出力画像とを模式的に例示する図である。
　図６は、正常な検査対象が撮像された検査対象画像である処理対象画像７１と、当該処理対象画像７１が入力された場合の学習済みモデル７２の出力画像７３とを例示する。この場合、出力画像７３は、処理対象画像７１と同一の画像となるので、処理対象画像７１に対して画素値の相違度が所定閾値以上の領域が存在せず、処理対象画像７１の異常は検出されない。
　一方、図７は、スクラッチ箇所を有する検査対象（異常な検査対象）が撮像された検査対象画像である処理対象画像７４と、当該処理対象画像７４が入力された場合の学習済みモデル７２の出力画像７５とを例示する。この場合、出力画像７５は、処理対象画像７４における、スクラッチ箇所に対応する領域７４ａを少なくとも含む領域（異常領域）が強調された画像となるので、処理対象画像７４に対して画素値の相違度が所定閾値以上となる領域が存在することとなり、処理対象画像７４の異常が検出される。なお、この場合の画素値の相違度は、例えば、処理対象画像７４と出力画像７５との差分画像７６を取得することにより、算出される。
　図８は、低コントラスト箇所を有する検査対象（異常な検査対象）が撮像された検査対象画像である処理対象画像７７と、当該処理対象画像７７が入力された場合の学習済みモデル７２の出力画像７８とを例示する。この場合、出力画像７８は、処理対象画像７７における、低コントラスト箇所に対応する領域７７ａを少なくとも含む領域（異常領域）が強調された画像となるので、処理対象画像７７に対して画素値の相違度が所定閾値以上となる領域が存在することとなり、処理対象画像７７の異常が検出される。
　以上のとおり、検査システム１によれば、例えば、図３に例示した学習処理により深層学習させた学習済みモデルを用いて図５に例示した検査処理により検査対象の外観検査を行うことにより、従来のオートエンコーダを用いた外観検査では検出することが困難な異常箇所（例えばスクラッチ箇所や低コントラスト箇所）の検出が可能となり、検査対象の正確な異常検出が可能になる。
　なお、検査システム１は、次のように構成されてもよい。
　例えば、プロセッサ２１は、図５に例示した検査処理のステップＳ２３にて、異常検出処理を行った処理対象画像について、Ｓ２４にて表示された処理結果をユーザが確認し、未検出の異常箇所があった場合、未検出の異常箇所のある当該処理対象画像（第１の異常画像に相当）から、学習済みモデルの追加学習時又は再学習時に用いる第２の異常画像を生成してもよい。この場合、プロセッサ２１は、当該処理対象画像において未検出の異常箇所を少なくとも含む領域を、ユーザインタフェースを用いたユーザの入力操作に応じたマスク処理により異常領域として特定し、当該異常領域の画素値を異なる画素値に変更することにより、第２の異常画像を生成してもよい。この場合の画素値の変更も、図３のステップＳ１２で説明したものと同様に、異常領域の画素値を、当該画素値との差分が最大又は所定値以上になる画素値へ変更することでもよいし、異常領域の画素値を輝度反転することでもよい。上記の追加学習又は再学習により検査性能が向上する。
　また、プロセッサ２１が行う検査処理に用いられる学習済みモデルは、外部装置（サーバ装置等）が生成したものであってもよい。この場合は、図３に例示した学習処理と同様の処理を実行する外部装置が生成した学習済みモデルが、図示しないネットワーク及び通信インタフェース２６を経由して、メモリ２２のＲＯＭに記憶されてもよい。また、この場合は、図４に例示したような第２の異常画像の生成も、外部装置が行ってもよい。
　また、検査システム１は、製造業の分野での使用に限らず、生物や医療等、製造業以外の分野で使用されてもよい。例えば、生物の分野にて使用される場合、検査システム１は、工業用の顕微鏡装置１０の代わりに、撮像装置を備えた生物用顕微鏡装置を含んでもよい。
　また、検査システム１は、図１に例示した構成に限らず、少なくとも検査装置２０を含んでいれば、一部の装置を備えずに構成されてもよいし、他の装置を更に含んで構成されてもよい。
　以上、本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせに依り、様々の発明を形成できる。例えば、実施形態に示される全構成要素のいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
１　　　　　検査システム
１０　　　　顕微鏡装置
１１　　　　ステージ
１２　　　　対物レンズ
１３　　　　レボルバ
１４　　　　撮像装置
２０　　　　検査装置
２１　　　　プロセッサ
２２　　　　メモリ
２３　　　　記憶装置
２４　　　　入出力インタフェース
２５　　　　可搬型記憶媒体駆動装置
２５ａ　　　可搬型記憶媒体
２６　　　　通信インタフェース
２７　　　　バス
３０　　　　キーボード
４０　　　　マウス
５０　　　　表示装置
６１　　　　第１の異常画像
６１ａ　　　領域
６２　　　　第２の異常画像
７１　　　　処理対象画像
７２　　　　学習済みモデル
７３　　　　出力画像
７４　　　　処理対象画像
７４ａ　　　領域
７５　　　　出力画像
７６　　　　差分画像
７７　　　　処理対象画像
７７ａ　　　領域
７８　　　　出力画像
 
 

Claims (14)

  1. 　学習済みモデルを記憶するメモリと、
    　プロセッサと、
    　検査対象が撮像された画像である処理対象画像を前記プロセッサに入力する入力インタフェースと、
    　を備え、
    　前記学習済みモデルは、
    　　多層ニューラルネットワークであって、
    　　前記処理対象画像をエンコードすることにより前記処理対象画像の特徴量を抽出するエンコーダ構造と、
    　　前記特徴量を用いて前記処理対象画像と同じ画素数及び画素サイズの画像を生成するデコーダ構造とを有し、
    　　学習時に、
    　　正常画像が入力された場合に前記正常画像を出力するように深層学習され、
    　　第１の異常画像が入力された場合に第２の異常画像を出力するように深層学習された学習済みモデルであって、
    　前記正常画像は、正常な検査対象が撮像された画像であって、
    　前記第１の異常画像は、異常箇所を有する検査対象が撮像された画像、又は当該画像に基づく画像であって、
    　前記第２の異常画像は、前記第１の異常画像における、前記異常箇所に対応する領域を少なくとも含む領域である異常領域の画素値を異なる画素値に変更した画像であって、
    　前記プロセッサは、
    　　検査時に、
    　　前記学習済みモデルに前記処理対象画像を入力し、
    　　前記エンコーダ構造が抽出した特徴量を取得し、当該特徴量に基づいて前記処理対象画像に異常が含まれているか否かを判定すること、及び又は、前記処理対象画像の入力に対して出力された出力画像を取得し、前記処理対象画像と前記出力画像との画素値の相違度を算出し、当該相違度に応じて前記処理対象画像の異常を検出すること、を行う
    　ことを特徴とする検査システム。
  2. 　前記プロセッサは、前記相違度が所定閾値以上の領域を異常として検出することを特徴とする請求項１に記載の検査システム。
  3. 　前記プロセッサは、前記処理対象画像と前記出力画像との差分画像を取得することにより、前記相違度を算出することを特徴とする請求項１に記載の検査システム。
  4. 　前記第２の異常画像は、前記第１の異常画像における前記異常領域の画素値を、当該画素値との差分が最大又は所定値以上になる画素値へ変更した画像であることを特徴とする請求項１に記載の検査システム。
  5. 　前記第２の異常画像は、前記第１の異常画像における前記異常領域の画素値を輝度反転した画像であることを特徴とする請求項１に記載の検査システム。
  6. 　ユーザの入力操作に応じた信号を出力するユーザインタフェースを更に備え、
    　前記プロセッサは、前記ユーザインタフェースが出力した前記信号が入力され、当該信号に応じてマスク処理を行うことにより、前記第１の異常画像における前記異常領域を特定することを特徴とする請求項１に記載の検査システム。
  7. 　前記異常箇所は、スクラッチ箇所であることを特徴とする請求項１に記載の検査システム。
  8. 　前記異常箇所は、低コントラスト箇所であることを特徴とする請求項１に記載の検査システム。
  9. 　撮像装置を有する顕微鏡装置を更に備え、
    　前記正常画像、前記異常箇所を有する検査対象が撮像された画像である前記第１の異常画像、及び前記処理対象画像は、前記顕微鏡装置が取得した画像であることを特徴とする請求項１に記載の検査システム。
  10. 　前記プロセッサは、前記処理対象画像の異常を検出することに係る処理を行った後、前記処理対象画像における未検出の異常を少なくとも含む領域に対するユーザの入力操作に応じて前記ユーザインタフェースが出力した信号が入力され、当該信号に応じてマスク処理を行うことにより、前記処理対象画像における異常領域を特定し、前記処理対象画像から、前記学習済みモデルの追加学習時又は再学習時に用いる第２の異常画像を生成することを特徴とする請求項６に記載の検査システム。
  11. 　学習用モデルを深層学習させる学習方法であって、
    　正常画像が入力された場合に前記正常画像を出力するように前記学習用モデルを深層学習させるステップと、
    　第１の異常画像が入力された場合に第２の異常画像を出力するように前記学習用モデルを深層学習させるステップと、
    　を含み、
    　前記正常画像は、正常な検査対象が撮像された画像であって、
    　前記第１の異常画像は、異常箇所を有する検査対象が撮像された画像、又は当該画像に基づく画像であって、
    　前記第２の異常画像は、前記第１の異常画像における、前記異常箇所に対応する領域を少なくとも含む領域である異常領域の画素値を異なる画素値に変更した画像である
    　ことを特徴とする学習方法。
  12. 　前記学習方法により前記学習用モデルを深層学習させた学習済みモデルは、
    　多層ニューラルネットワークであって、
    　前記処理対象画像をエンコードすることにより前記処理対象画像の特徴量を抽出するエンコーダ構造と、
    　前記特徴量を用いて前記処理対象画像と同じ画素数及び画素サイズの画像を生成するデコーダ構造と、
    　を有することを特徴とする請求項１１に記載の学習方法。
  13. 　請求項１２に記載の学習方法により深層学習させた学習済みモデルに、検査対象が撮像された画像である処理対象画像を入力するステップと、
    　前記学習済みモデルのエンコーダ構造が抽出した特徴量を取得し、当該特徴量に基づいて前記処理対象画像に異常が含まれているか否かを判定すること、及び又は、前記処理対象画像の入力に対する出力画像を取得し、前記処理対象画像と前記出力画像との画素値の相違度を算出し、当該相違度に応じて前記処理対象画像の異常を検出すること、を行うステップと
    　を含むことを特徴とする検査方法。
  14. 　学習用モデルを深層学習させる学習処理をコンピュータに実行させるプログラムを記憶した非一時的なコンピュータ読取可能な記憶媒体であって、
    　前記学習処理は、
    　正常画像が入力された場合に前記正常画像を出力するように前記学習用モデルを深層学習させるステップと、
    　第１の異常画像が入力された場合に第２の異常画像を出力するように前記学習用モデルを深層学習させるステップと、
    　を含み、
    　前記正常画像は、正常な検査対象が撮像された画像であって、
    　前記第１の異常画像は、異常箇所を有する検査対象が撮像された画像、又は当該画像に基づく画像であって、
    　前記第２の異常画像は、前記第１の異常画像における、前記異常箇所に対応する領域を少なくとも含む領域である異常領域の画素値を異なる画素値に変更した画像である
    　ことを特徴とする記憶媒体。
     
PCT/JP2020/028998 2020-07-29 2020-07-29 検査システム、学習方法、検査方法、及び記憶媒体 WO2022024245A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2020/028998 WO2022024245A1 (ja) 2020-07-29 2020-07-29 検査システム、学習方法、検査方法、及び記憶媒体
JP2022539856A JP7499337B2 (ja) 2020-07-29 2020-07-29 検査システム、学習方法、検査方法、及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/028998 WO2022024245A1 (ja) 2020-07-29 2020-07-29 検査システム、学習方法、検査方法、及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2022024245A1 true WO2022024245A1 (ja) 2022-02-03

Family

ID=80035445

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/028998 WO2022024245A1 (ja) 2020-07-29 2020-07-29 検査システム、学習方法、検査方法、及び記憶媒体

Country Status (2)

Country Link
JP (1) JP7499337B2 (ja)
WO (1) WO2022024245A1 (ja)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017094267A1 (ja) * 2015-12-01 2017-06-08 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法
JP2018101317A (ja) * 2016-12-21 2018-06-28 ホーチキ株式会社 異常監視システム
JP2018116672A (ja) * 2017-01-18 2018-07-26 株式会社リコー 情報処理装置、情報処理方法およびプログラム
JP2018120300A (ja) * 2017-01-23 2018-08-02 株式会社リコー 情報処理装置、情報処理方法およびプログラム
JP2019009919A (ja) * 2017-06-26 2019-01-17 株式会社東芝 巡視点検支援システム及び巡視点検支援制御プログラム
US20190287230A1 (en) * 2018-03-19 2019-09-19 Kla-Tencor Corporation Semi-supervised anomaly detection in scanning electron microscope images
WO2020031984A1 (ja) * 2018-08-08 2020-02-13 Ｂｌｕｅ Ｔａｇ株式会社 部品の検査方法及び検査システム
JP2020035097A (ja) * 2018-08-28 2020-03-05 株式会社モルフォ 画像識別装置、画像識別方法及び画像識別プログラム
JP2020067865A (ja) * 2018-10-25 2020-04-30 株式会社アルム 画像処理装置、画像処理システム、および画像処理プログラム
JP2020071808A (ja) * 2018-11-02 2020-05-07 株式会社Ihi 学習装置及び学習方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6792842B2 (ja) 2017-06-06 2020-12-02 株式会社デンソー 外観検査装置、変換データ生成装置、及びプログラム
JP7476194B2 (ja) 2018-08-10 2024-04-30 レイドス・セキュリティ・ディテクション・アンド・オートメーション・インコーポレイテッド 画像処理のためのシステムおよび方法
EP3739513A1 (en) 2019-05-13 2020-11-18 Fujitsu Limited Surface defect identification method and apparatus

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017094267A1 (ja) * 2015-12-01 2017-06-08 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 異常検出システム、異常検出方法、異常検出プログラム及び学習済モデル生成方法
JP2018101317A (ja) * 2016-12-21 2018-06-28 ホーチキ株式会社 異常監視システム
JP2018116672A (ja) * 2017-01-18 2018-07-26 株式会社リコー 情報処理装置、情報処理方法およびプログラム
JP2018120300A (ja) * 2017-01-23 2018-08-02 株式会社リコー 情報処理装置、情報処理方法およびプログラム
JP2019009919A (ja) * 2017-06-26 2019-01-17 株式会社東芝 巡視点検支援システム及び巡視点検支援制御プログラム
US20190287230A1 (en) * 2018-03-19 2019-09-19 Kla-Tencor Corporation Semi-supervised anomaly detection in scanning electron microscope images
WO2020031984A1 (ja) * 2018-08-08 2020-02-13 Ｂｌｕｅ Ｔａｇ株式会社 部品の検査方法及び検査システム
JP2020035097A (ja) * 2018-08-28 2020-03-05 株式会社モルフォ 画像識別装置、画像識別方法及び画像識別プログラム
JP2020067865A (ja) * 2018-10-25 2020-04-30 株式会社アルム 画像処理装置、画像処理システム、および画像処理プログラム
JP2020071808A (ja) * 2018-11-02 2020-05-07 株式会社Ihi 学習装置及び学習方法

Also Published As

Publication number Publication date
JPWO2022024245A1 (ja) 2022-02-03
JP7499337B2 (ja) 2024-06-13

Similar Documents

Publication Publication Date Title
JP4399494B2 (ja) 欠陥検出装置、欠陥検出方法、イメージセンサデバイスおよびイメージセンサモジュール
KR100846633B1 (ko) 패턴 결함 검출 방법 및 장치
JP4982213B2 (ja) 欠陥検査装置及び欠陥検査方法
JP2013224833A (ja) 外観検査装置、外観検査方法及びコンピュータプログラム
JP2007285754A (ja) 欠陥検出方法および欠陥検出装置
JP7393313B2 (ja) 欠陥分類装置、欠陥分類方法及びプログラム
JP2006284471A (ja) パターン検査方法及びパターン検査装置並びにパターン検査用プログラム
CN115937147B (zh) 缺陷检测参数的确定方法、装置、设备及存储介质
JP5088165B2 (ja) 欠陥検出方法および欠陥検出装置
JP7453813B2 (ja) 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット
WO2022024245A1 (ja) 検査システム、学習方法、検査方法、及び記憶媒体
JP7360092B2 (ja) 検査装置、検査方法、及び検査プログラム
KR20160097651A (ko) 유효화 영상처리기법을 이용한 시료의 패턴 검사 장치 및 방법, 그리고 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
WO2022130814A1 (ja) 指標選択装置、情報処理装置、情報処理システム、検査装置、検査システム、指標選択方法、および指標選択プログラム
JP7414629B2 (ja) 学習用データ処理装置、学習装置、学習用データ処理方法、およびプログラム
JP2010091360A (ja) 画像検査方法および画像検査装置
JP5239275B2 (ja) 欠陥検出方法および欠陥検出装置
JP2008244637A (ja) 検査装置、固体撮像装置、並びに検査方法
JP2007104296A (ja) 解像度測定方法、装置及びプログラム
JP2006135700A (ja) 画像検査装置、画像検査方法、制御プログラムおよび可読記憶媒体
JP6185539B2 (ja) 光コネクタのフェルール端面検査装置および検査用のプログラム
TW201514474A (zh) 一種檢測具週期性結構光學薄膜的瑕疵檢測方法及其檢測裝置
WO2022168216A1 (ja) 推定装置、顕微鏡システム、処理方法、及び記憶媒体
TWI789669B (zh) 電子裝置及其影像處理方法
WO2023243202A1 (ja) 画像生成方法及び外観検査装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20947234

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022539856

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20947234

Country of ref document: EP

Kind code of ref document: A1