WO2023032549A1 - 欠陥検査装置、欠陥検査方法および予測モデル生成方法 - Google Patents

欠陥検査装置、欠陥検査方法および予測モデル生成方法 Download PDF

Info

Publication number
WO2023032549A1
WO2023032549A1 PCT/JP2022/029449 JP2022029449W WO2023032549A1 WO 2023032549 A1 WO2023032549 A1 WO 2023032549A1 JP 2022029449 W JP2022029449 W JP 2022029449W WO 2023032549 A1 WO2023032549 A1 WO 2023032549A1
Authority
WO
WIPO (PCT)
Prior art keywords
normal
defect
labels
product
possibility
Prior art date
Application number
PCT/JP2022/029449
Other languages
English (en)
French (fr)
Inventor
元樹 岡崎
Original Assignee
株式会社エフ・シー・シー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社エフ・シー・シー filed Critical 株式会社エフ・シー・シー
Priority to CN202280051969.4A priority Critical patent/CN117795321A/zh
Publication of WO2023032549A1 publication Critical patent/WO2023032549A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a defect inspection device, a defect inspection method, and a predictive model generation method, and is particularly suitable for use in a device and method for inspecting defects using a learning model generated by machine learning.
  • Patent Documents 1 and 2 there is known a system that uses a learning model generated by machine learning to determine the presence or absence of a defect based on a photographed image of an object to be inspected (see Patent Documents 1 and 2, for example).
  • a learning model generated by machine learning to determine the presence or absence of a defect based on a photographed image of an object to be inspected.
  • one or more defect candidates are extracted based on a predetermined feature amount in a photographed image of an object to be inspected, and a determination region containing the extracted defect candidates is constructed by machine learning.
  • the presence or absence of a defect is judged using the learned model.
  • it When it is determined that there is a defect in any of the determination areas, it outputs a signal indicating that there is a defect. output a signal indicating
  • the image evaluation apparatus described in Patent Document 2 determines not only the presence or absence of defects but also the types of defects.
  • the learning model described in Patent Document 1 uses a large amount of teacher data obtained by assigning a correct label of "defective" to an image containing a defect and assigning a correct label of "no defect” to an image not containing a defect. generated by supervised learning. By inputting the photographed image of the object to be inspected into the learning model generated in this manner, information indicating presence/absence of defects is obtained as an output from the learning model.
  • the learning model described in Patent Literature 2 is generated by supervised learning using a large amount of teacher data obtained by assigning defect types to images with known defect types as correct labels.
  • the captured image of the inspected object is the same as the image used as the training data.
  • the photographed image of the object to be inspected is not exactly the same as the image used as the teacher data.
  • the inspection is always correct. results are not guaranteed.
  • a classification device that generates teacher data by adding confidence level information, and uses the teacher data thus generated to determine the type of defect contained in the defect area extracted from the image of the object to be inspected. known (see, for example, Patent Document 3).
  • This patent document 3 also discloses giving a plurality of defect types as correct categories to one defect area and assigning weights to each correct category according to its confidence level.
  • the classification device described in Patent Document 3 generates training data in which weights are set for the defect types, so it is possible to improve the accuracy of classifying which defect type it is.
  • teacher data in a table format is generated for defect regions extracted by image analysis of an inspection image, and defect types are classified by matching with the teacher data.
  • the classification device described in Patent Document 3 does not determine the type of defect, including determining whether the product is normal or defective, based on a machine-learned learning model. Therefore, even if the technique described in Patent Literature 3 is used, it is not possible to reduce false negative misconceptions that a defective product is determined to be a normal product when defect inspection is performed based on a learning model.
  • the present invention has been made to solve such problems.
  • the purpose is to be able to reduce negative misperceptions as much as possible.
  • an inspection image which is a photographed image of an object to be inspected
  • a prediction model that has been trained using teacher data
  • the normal product correct label that does not include the label that indicates the possibility that it corresponds to the defective product but only the normal label that indicates the possibility that it corresponds to the normal product is given.
  • FIG. 1 is a block diagram showing a functional configuration example of a defect inspection apparatus according to this embodiment
  • FIG. FIG. 4 is a diagram schematically showing an inspection image to be processed in the present embodiment
  • FIG. 4 is a diagram schematically showing a correct label for a normal product and a correct label for a defective product according to the embodiment
  • It is a block diagram which shows the functional structural example of the prediction model production
  • It is a flow chart which shows an example of operation of a predictive model generation device by this embodiment.
  • FIG. 1 is a block diagram showing a functional configuration example of a defect inspection apparatus according to this embodiment.
  • the defect inspection apparatus of this embodiment includes an inspection image acquisition unit 1, a product area extraction unit 2, and a prediction unit 3 as functional configurations. Further, the defect inspection apparatus of this embodiment includes a prediction model storage unit 10 as a storage medium.
  • Each of the above functional blocks 1 to 3 can be configured by hardware, DSP (Digital Signal Processor), or software.
  • DSP Digital Signal Processor
  • each functional block 1 to 3 is actually configured with a computer CPU, RAM, ROM, etc., and a program stored in a recording medium such as RAM, ROM, hard disk, or semiconductor memory. is realized by the operation of A GPU (Graphics Processing Unit), FPGA (Field Programmable Gate Array), ASIC (Application Specific Integrated Circuit), or the like may be used instead of or in addition to the CPU.
  • a GPU Graphics Processing Unit
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • the inspection image acquisition unit 1 acquires a photographed image of an object to be inspected (hereinafter referred to as an inspection image).
  • An object to be inspected is an object to be inspected for the presence or absence of defects and the type of defects, such as a specific product. Before shipping a product manufactured in a factory or the like, it is required to determine whether or not the product has a defect, and if there is a defect, to specify the type of defect. A product to be inspected in such a case is the inspected object of the present embodiment.
  • a photographed image of an object to be inspected is an image of the object to be inspected taken by a camera from a predetermined position under predetermined photographing conditions.
  • the object to be inspected is moved to a predetermined photographing position by a conveying mechanism such as a belt conveyor, and the object to be inspected is photographed by a camera installed at the photographing position.
  • An inspection image acquisition unit 1 acquires inspection images captured by a camera for each of a plurality of products at any time.
  • FIG. 2 is a diagram schematically showing an inspection image to be processed in this embodiment.
  • An inspection image 21 shown in FIG. 2 shows a state in which a circular product in a front view is photographed from the front, and includes a product area 22 and a background area 23 other than the product.
  • the product region extraction unit 2 extracts the product region 22 from the inspection image 21 acquired by the inspection image acquisition unit 1.
  • a known method can be used to extract the product area 22 .
  • the product region extraction unit 2 can extract a closed region surrounded by the contour as the product region 22 by analyzing the inspection image 21 and extracting the contour of the object. Since the shape of the product to be inspected is fixed (circular in the case of FIG. 2), it suffices to extract the contour of the predetermined shape. It should be noted that the larger the difference between the product area 22 and the background area 23, the more likely it is that the contour will be extracted accurately.
  • the image of the product area 22 extracted by the product area extraction unit 2 is input to the prediction unit 3.
  • the inspection image does not mean the entire inspection image 21 shown in FIG.
  • the prediction unit 3 applies the inspection image acquired by the inspection image acquisition unit 1 and the product region 22 extracted by the product region extraction unit 2 to a prediction model that has been trained using teacher data, and determines whether the object to be inspected is a normal product. Prediction is made as to whether or not the object to be inspected is defective, and the type of defect is predicted. A learned prediction model is stored in advance in the prediction model storage unit 10 .
  • This embodiment is characterized by the teacher data used when machine learning the prediction model.
  • correct labels indicating the correct answers regarding the presence or absence of defects and the types of defects are attached to the photographed images of products for which the presence or absence of defects and the types of defects are known (hereinafter referred to as learning images).
  • the data consists of
  • the training data used in the present embodiment includes a correct label assigned to a learning image of a normal product without defects and a correct label assigned to a learning image of a defective product having any type of defect.
  • the correct label is given differently depending on the label. That is, the method of assigning correct labels to learning images of normal products and the method of assigning correct labels to learning images of defective products are made asymmetrical.
  • FIG. 3 schematically shows a correct label given to a learning image of a normal product (FIG. 3A) and a correct label given to a learning image of a defective product (FIG. 3B).
  • FIG. 3( a ) the training data for the normal product does not include a label indicating the possibility that the learning image of the normal product corresponds to the defective product, and indicates the possibility that the normal product corresponds to the normal product. It consists of giving a normal product correct label containing only a normal label.
  • the product is a normal product, while any defect type A A correct label that does not include any defect type label indicating the possibility of having a defect of ⁇ E is given as a normal product correct label.
  • the training data for defective products does not include normal labels indicating the possibility of corresponding to normal products for learning images of defective products.
  • a plurality of defect type labels indicating the possibility of being applicable to E and defective product correct labels containing weights for each defect type label are given. That is, with respect to the learning images of defective products, by assigning a plurality of defect type labels to which weights smaller than the maximum weight are set, it is possible that the product is a defective product having defects of any of the defect types A to E.
  • a correct label indicating the possibility of a normal product is given as a correct label for a defective product while indicating the possibility that the product is normal.
  • the weight values assigned to a plurality of defect type labels are set, for example, so that their total value becomes the maximum weight (1.0).
  • FIG. 4 is a block diagram showing a functional configuration example of a predictive model generation device that generates a predictive model using the teacher data configured as shown in FIG.
  • the prediction model generation device of this embodiment includes a teacher data input unit 11 and a prediction model generation unit 12 as functional configurations. These functional blocks 11 and 12 can also be configured by any of hardware, DSP, and software, as in FIG.
  • FIG. 5 is a flow chart showing an operation example when a prediction model is generated by the prediction model generation device shown in FIG. A method of generating a prediction model will be described below with reference to FIGS. 4 and 5.
  • FIG. 4 is a block diagram showing a functional configuration example of a predictive model generation device that generates a predictive model using the teacher data configured as shown in FIG.
  • the prediction model generation device of this embodiment includes a teacher data input unit 11 and a prediction model generation unit 12 as functional configurations. These functional blocks 11 and 12 can also be configured by any of hardware, DSP, and software, as in FIG.
  • FIG. 5 is a flow chart showing
  • the teacher data input unit 11 inputs a plurality of teacher data to which correct labels are assigned as shown in FIG. 3 (step S1).
  • the plurality of teacher data to be input here are teacher data relating to a plurality of normal products to which the correct label for the normal product shown in FIG. It is a data set containing training data on defective products.
  • the predictive model generation unit 12 performs machine learning processing using the teacher data input by the teacher data input unit 11, so that when an inspection image that is a photographed image of an object to be inspected is input, the object to be inspected is A prediction model is generated for outputting a result of predicting whether the product is normal and the type of defect when the product to be inspected is defective (step S2).
  • the prediction results output by the prediction model are the probabilities indicating the possibility that the inspected object is a normal product or that it has defects of defect types A to E (0 to 1 for each normal product and defect types A to E). 0).
  • the prediction model generation unit 12 calculates a loss value from the result predicted from the learning image of the teacher data and the correct label (either normal product correct label or defective product correct label) attached to the learning image. Then, various parameters of the prediction model are updated so that the loss value is minimized.
  • the product region 22 is extracted from the learning image in the same manner as the product region extraction unit 2, and prediction is performed with the image of the product region 22 as the target.
  • the prediction model generation unit 12 stores the prediction models thus generated in the prediction model storage unit 10 .
  • one of the defect types is determined to be the correct one (one of the defect).
  • the loss value when predicting a defective product of a defect type other than the correct answer from the learning image of the defective product to which the correct label for the defective product is assigned (where the largest weight is set for the species)
  • the loss value is greater when predicting a normal product from the assigned learning image of the defective product. Since the prediction model is machine-learned so as to minimize the loss value, it is possible to construct a prediction model that is less likely to mistake a defective product for a normal product.
  • the form of the prediction model generated in this embodiment can be any one of a regression model, a tree model, a neural network model, a Bayesian model, a clustering model, and the like.
  • the form of the prediction model mentioned here is only an example, and is not limited to this.
  • FIG. 6 is a flow chart showing an operation example when performing defect inspection of an object to be inspected by the defect inspection apparatus shown in FIG.
  • the inspection image acquisition unit 1 acquires an inspection image that is a photographed image of an object to be inspected (step S11).
  • the product region extraction unit 2 extracts the product region 22 from the inspection image 21 acquired by the inspection image acquisition unit 1 (step S12).
  • the prediction unit 3 applies the inspection image of the product region 22 extracted by the product region extraction unit 2 to the learned prediction model stored in the prediction model storage unit 10, so that the object to be inspected is a normal product. and the kind of defect in the case where the inspected object is defective (step S13).
  • normal product correct answers containing only normal labels indicating the possibility of corresponding to normal products are used for learning images of normal products.
  • Defective product correct answer containing only multiple defect type labels with weights that indicate the possibility of corresponding to multiple defect types for training data for normal products with labels and defective product learning images It is designed to use the teacher data for defective items with labels attached.
  • the loss value when predicting a defective product of a defect type other than the correct one from the learning image of the defective product to which the correct defective product label is assigned The loss value when predicting a normal product from the same learning image is larger than that. Since the prediction model is machine-learned so as to minimize this loss value, it is possible to further reduce the possibility of erroneously predicting a defective product as a normal product. As a result, according to the present embodiment, in a defect inspection apparatus that inspects defects using a prediction model generated by machine learning, it is possible to reduce misidentification of false negatives as possible when determining a defective product as a normal product. can.
  • the predictive model may include a preprocessor that detects feature information from the input image.

Abstract

予測モデルの生成に用いる教師データとして、正常品の学習用画像に対して、正常品に該当する可能性を示す正常ラベルのみを含んだ正常品正解ラベルを付与して成る正常品用の教師データと、欠陥品の学習用画像に対して、複数の欠陥種に該当する可能性を示す重み付きの複数の欠陥種ラベルのみを含んだ欠陥品正解ラベルを付与して成る欠陥品用の教師データとを用いることにより、機械学習の際に、欠陥品正解ラベルが付与されている欠陥品の学習用画像から正解以外の欠陥種の欠陥品と予測する場合の損失値よりも、同学習用画像から正常品と予測する場合の損失値の方が大きくなるようにし、欠陥品を正常品と誤って予測してしまう可能性がより低減された予測モデルによって欠陥検査を行うことができるようにする。

Description

欠陥検査装置、欠陥検査方法および予測モデル生成方法
　本発明は、欠陥検査装置、欠陥検査方法および予測モデル生成方法に関し、特に、機械学習によって生成される学習モデルを用いて欠陥の検査を行う装置および方法に用いて好適なものである。
　従来、機械学習によって生成される学習モデルを用いて、被検査物の撮影画像をもとに欠陥の有無を判定するシステムが知られている（例えば、特許文献１，２参照）。特許文献１に記載の検査装置では、被検査物の撮影画像において所定の特徴量に基づいて１つ以上の欠陥候補を抽出し、抽出された欠陥候補が含まれる判断領域について、機械学習によって構築される学習モデルを用いて欠陥の有無を判断する。そして、判断領域のいずれかに欠陥があると判断された場合は、欠陥があることを示す信号を出力する一方、判断領域の全てに欠陥がないと判断された場合は、欠陥がないことを示す信号を出力する。特許文献２に記載の画像評価装置では、欠陥の有無だけでなく、欠陥の種類も判定する。
　特許文献１に記載の学習モデルは、欠陥を含む画像に「欠陥あり」の正解ラベルを付与し、欠陥を含まない画像に「欠陥なし」の正解ラベルを付与してなる多数の教師データを用いた教師あり学習によって生成される。そして、このようにして生成された学習モデルに被検査物の撮影画像を入力することにより、欠陥のあり／なしを示す情報を学習モデルからの出力として得る。特許文献２に記載の学習モデルは、欠陥の種類が既知の画像に対してその欠陥の種類を正解ラベルとして付与して成る多数の教師データを用いた教師あり学習によって生成される。
　機械学習された学習モデルを用いて欠陥の検査を行う場合、被検査物の撮影画像が、教師データとして用いた画像と同じであれば、正しい検査結果を得ることが可能である。しかしながら、一般的に、被検査物の撮影画像が教師データとして用いた画像と全く同じであることはない。この場合、被検査物の撮影画像から抽出される特徴と、教師データから抽出された特徴（学習モデルに記録された特徴）との近似度に基づく確率計算によって判定が行われるため、常に正しい検査結果が得られるとは限らない。
欠陥検査の性質上、欠陥品を正常品であると判定する偽陰性（検査で陰性とされたものの、実際には陽性である場合）の誤認を極力減らすこと（偽陰性率を下げること、あるいは再現率（感度とも呼ばれる）を上げること）が求められる。つまり、学習モデルが「疑わしきは欠陥」として検出する能力を有していることが望まれる。しかしながら、特許文献１，２に記載の学習モデルでは、欠陥品を正常品であると判定する偽陰性の誤認も、正常品を欠陥品であると判定する偽陽性（検査で陽性とされたものの、実際には陰性である場合）の誤認も同程度に発生してしまう可能性があるという問題があった。
　なお、サンプル画像より抽出された欠陥領域（欠陥が存在するものとして推定された領域）に対して、当該欠陥領域が分類されるべき欠陥種類の正解カテゴリおよび当該正解カテゴリに対する妥当性の尺度である確信レベルの情報を付与することによって教師データを生成し、このようにして生成した教師データを用いて、被検査物の画像から抽出された欠陥領域に含まれる欠陥の種類を判定する分類装置も知られている（例えば、特許文献３参照）。この特許文献３には、１つの欠陥領域に対して、複数の欠陥種類を正解カテゴリとして与え、各正解カテゴリに対してその確信レベルに応じて重みを付与することも開示されている。
　この特許文献３に記載の分類装置では、欠陥の種類に対して重みを設定した教師データを生成しているため、どの欠陥種であるかを分類する精度を向上させることは可能である。しかしながら、特許文献３に記載の分類装置では、検査画像を画像解析することによって抽出した欠陥領域を対象としてテーブル形式の教師データを生成し、その教師データとの照合によって欠陥種の分類を行っている。すなわち、特許文献３に記載の分類装置は、機械学習された学習モデルに基づいて、正常品か欠陥品かの判定を含めて欠陥種の判定を行うものではない。そのため、特許文献３に記載の技術を用いても、学習モデルに基づいて欠陥検査を行う場合に欠陥品を正常品であると判定する偽陰性の誤認を減らすことはできない。
特開２０２１－１１０６２９号公報 特開２０２０－１１９１３５号公報 特許第４０５０２７３号公報
　本発明は、このような問題を解決するために成されたものであり、機械学習によって生成される学習モデルを用いて欠陥の検査を行うシステムにおいて、欠陥品を正常品であると判定する偽陰性の誤認を極力減らすことができるようにすることを目的とする。
　上記した課題を解決するために、本発明では、被検査物の撮影画像である検査画像を、教師データを用いて学習済みの予測モデルに適用することにより、被検査物が正常品であるか否かおよび被検査物が欠陥品である場合における欠陥の種類の予測を行う。教師データは、正常品の学習用画像に対して、欠陥品に該当する可能性を示すラベルを含まず、正常品に該当する可能性を示す正常ラベルのみを含んだ正常品正解ラベルを付与する一方、欠陥品の学習用画像に対して、正常品に該当する可能性を示す正常ラベルを含まず、複数の欠陥種に該当する可能性を示す複数の欠陥種ラベルおよび各欠陥種ラベルに対する重みを含んだ欠陥品正解ラベルを付与して成る。
　上記のように構成した教師データを用いて予測モデルの機械学習が行われることにより、欠陥品正解ラベルが付与されている欠陥品の学習用画像から正解以外の欠陥種の欠陥品と予測する場合の損失値よりも、同学習用画像から正常品と予測する場合の損失値の方が大きくなる。予測モデルは、この損失値を最小化するように機械学習されたものとなるため、欠陥品を正常品に誤って予測してしまう可能性をより低減することができる。以上により、本発明によれば、機械学習によって生成される学習モデルを用いて欠陥の検査を行うシステムにおいて、欠陥品を正常品であると判定する偽陰性の誤認を極力減らすことができる。
本実施形態による欠陥検査装置の機能構成例を示すブロック図である。 本実施形態において処理対象とする検査画像を模式的に示す図である。 本実施形態の正常品正解ラベルおよび欠陥品正解ラベルを模式的に示す図である。 本実施形態による予測モデル生成装置の機能構成例を示すブロック図である。 本実施形態による予測モデル生成装置の動作例を示すフローチャートである。 本実施形態による欠陥検査装置の動作例を示すフローチャートである。
　以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による欠陥検査装置の機能構成例を示すブロック図である。図１に示すように、本実施形態の欠陥検査装置は、機能構成として、検査画像取得部１、製品領域抽出部２および予測部３を備えて構成される。また、本実施形態の欠陥検査装置は、記憶媒体として、予測モデル記憶部１０を備えている。
　上記各機能ブロック１～３は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１～３は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。ＣＰＵに代えてまたは加えてＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit）などを用いてもよい。
　検査画像取得部１は、被検査物の撮影画像（以下、検査画像という）を取得する。被検査物は、欠陥の有無および欠陥の種類を検査する対象物であり、例えば特定の製品である。工場等において製造された製品を出荷する前に、その製品に欠陥があるか否かを判定するとともに、欠陥がある場合には欠陥の種類を特定することが求められる。このような場合に検査対象とされる製品が、本実施形態の被検査物である。
　被検査物の撮影画像は、被検査物を所定の位置から所定の撮影条件のもとでカメラにより撮影した画像である。例えば、ベルトコンベア等の搬送機構によって被検査物を所定の撮影位置に移動させ、当該撮影位置に設置されたカメラにおいて被検査物を撮影する。検査画像取得部１は、カメラにより複数の製品ごとに撮影された検査画像を随時取得する。図２は、本実施形態において処理対象とする検査画像を模式的に示す図である。図２に示す検査画像２１は、正面視が円形の製品を正面から撮影した状態を示しており、製品領域２２と、製品以外の背景領域２３とを含んでいる。
　製品領域抽出部２は、検査画像取得部１により取得された検査画像２１から製品領域２２を抽出する。製品領域２２の抽出には公知の方法を用いることが可能である。例えば、製品領域抽出部２は、検査画像２１を解析して物体の輪郭を抽出する処理を行うことにより、当該輪郭で囲まれる閉領域を製品領域２２として抽出することが可能である。検査対象とする製品の形状は固定（図２の場合は円形）であるから、所定形状の輪郭を抽出すればよい。なお、製品領域２２と背景領域２３との差が大きいほど輪郭が正確に抽出されやすくなるので、差が大きくなるような条件で被検査物の撮影を行うのが好ましい。
　製品領域抽出部２により抽出された製品領域２２の画像は、予測部３に入力される。なお、予測部３の説明において、検査画像というときは、図２に示す検査画像２１の全体のことではなく、製品領域抽出部２により抽出された製品領域２２の画像を意味する。
　予測部３は、検査画像取得部１により取得され製品領域抽出部２により製品領域２２が抽出された検査画像を、教師データを用いて学習済みの予測モデルに適用し、被検査物が正常品であるか否かおよび被検査物が欠陥品である場合における欠陥の種類の予測を行う。学習済みの予測モデルは、予測モデル記憶部１０にあらかじめ記憶されている。
　本実施形態では、予測モデルを機械学習するときに用いる教師データに特徴を有している。教師データは、欠陥の有無および欠陥の種類が判明している製品の撮影画像（以下、学習用画像という）に対して、欠陥の有無および欠陥の種類に関する正解を示した正解ラベルを付与して成るデータである。本実施形態において用いる教師データは、欠陥がない正常品の学習用画像に対して付与する正解ラベルと、何れかの種類の欠陥を有している欠陥品の学習用画像に対して付与する正解ラベルとで、正解ラベルの与え方を異ならせている。すなわち、正常品の学習用画像に対する正解ラベルの与え方と、欠陥品の学習用画像に対する正解ラベルの与え方とを非対称にしている。
　図３は、正常品の学習用画像に対して付与する正解ラベル（図３（ａ））と、欠陥品の学習用画像に対して付与する正解ラベル（図３（ｂ））とを模式的に示す図である。正常品に関する教師データは、図３（ａ）に示すように、正常品の学習用画像に対して、欠陥品に該当する可能性を示すラベルを含まず、正常品に該当する可能性を示す正常ラベルのみを含んだ正常品正解ラベルを付与して成る。すなわち、正常品の学習用画像に関しては、最大重み（例えば、１．０）の正常ラベルのみを付与することによって製品が正常品であることを断定的に示す一方で、何れかの欠陥種Ａ～Ｅの欠陥を有する可能性を示す欠陥種ラベルは一切含まない正解ラベルを正常品正解ラベルとして付与している。
　一方、欠陥品に関する教師データは、図３（ｂ）に示すように、欠陥品の学習用画像に対して、正常品に該当する可能性を示す正常ラベルを含まず、複数の欠陥種Ａ～Ｅに該当する可能性を示す複数の欠陥種ラベルおよび各欠陥種ラベルに対する重みを含んだ欠陥品正解ラベルを付与して成る。すなわち、欠陥品の学習用画像に関しては、最大重みよりも小さい重みが設定された複数の欠陥種ラベルを付与することによって製品が何れかの欠陥種Ａ～Ｅの欠陥を有する欠陥品である可能性を示す一方で、正常品である可能性を示す正常ラベルは含まない正解ラベルを欠陥品正解ラベルとして付与している。複数の欠陥種ラベルに付与される重みの値は、例えば、それらの合計値が最大重み（１．０）となるように設定される。
　図４は、図３に示した構成の教師データを用いて予測モデルを生成する予測モデル生成装置の機能構成例を示すブロック図である。図４に示すように、本実施形態の予測モデル生成装置は、機能構成として、教師データ入力部１１および予測モデル生成部１２を備えている。これらの機能ブロック１１～１２も図１と同様に、ハードウェア、ＤＳＰ、ソフトウェアの何れによっても構成することが可能である。図５は、図４に示す予測モデル生成装置により予測モデルを生成する際の動作例を示すフローチャートである。以下、図４および図５を用いて予測モデルの生成法を説明する。
　教師データ入力部１１は、図３のように正解ラベルが付与された複数の教師データを入力する（ステップＳ１）。ここで入力する複数の教師データは、図３（ａ）に示す正常品正解ラベルが付与された複数の正常品に関する教師データと、図３（ｂ）に示す欠陥品正解ラベルが付与された複数の欠陥品に関する教師データとを含むデータセットである。
　予測モデル生成部１２は、教師データ入力部１１により入力された教師データを用いて機械学習処理を行うことにより、被検査物の撮影画像である検査画像が入力された際に、被検査物が正常品であるか否かおよび被検査物が欠陥品である場合における欠陥の種類の予測結果を出力するための予測モデルを生成する（ステップＳ２）。予測モデルが出力する予測結果とは、被検査物が正常品である可能性または欠陥種Ａ～Ｅの欠陥を有する可能性を示す確率（正常品および欠陥種Ａ～Ｅごとに０～１．０の何れかの値）を含む情報である。
　予測モデル生成部１２は、教師データの学習用画像から予測した結果と、その学習用画像に付されている正解ラベル（正常品正解ラベルまたは欠陥品正解ラベルの何れか）とから損失値を計算し、その損失値が最小化されるように予測モデルの各種パラメータの更新を行う。ここで、学習用画像から予測を行う際にも、製品領域抽出部２と同様に学習用画像から製品領域２２を抽出し、製品領域２２の画像を対象として予測を行う。予測モデル生成部１２は、こうして生成した予測モデルを予測モデル記憶部１０に記憶する。
　本実施形態では、正常品の学習用画像と欠陥品の学習用画像とで非対称な正解ラベルが設定された教師データを用いているので、何れかの欠陥種を正解とする（何れかの欠陥種に最も大きな重みが設定された）欠陥品正解ラベルが付与されている欠陥品の学習用画像から正解以外の欠陥種の欠陥品と予測する場合の損失値よりも、同欠陥品正解ラベルが付与されている欠陥品の学習用画像から正常品と予測する場合の損失値の方が大きくなる。予測モデルは、損失値を最小化するように機械学習されたものとなるため、欠陥品を正常品と間違えて予測する可能性がより低い予測モデルを構築することが可能となる。
　なお、本実施形態において生成する予測モデルの形態は、回帰モデル、木モデル、ニューラルネットワークモデル、ベイズモデル、クラスタリングモデルなどのうち何れかとすることが可能である。ただし、ここに挙げた予測モデルの形態は一例に過ぎず、これに限定されるものではない。
　図６は、図１に示す欠陥検査装置により被検査物の欠陥検査を行う際の動作例を示すフローチャートである。まず、検査画像取得部１は、被検査物の撮影画像である検査画像を取得する（ステップＳ１１）。次いで、製品領域抽出部２は、検査画像取得部１により取得された検査画像２１から製品領域２２を抽出する（ステップＳ１２）。
　次に、予測部３は、製品領域抽出部２により抽出された製品領域２２の検査画像を、予測モデル記憶部１０に記憶されている学習済みの予測モデルに適用し、被検査物が正常品であるか否かおよび被検査物が欠陥品である場合における欠陥の種類の予測を行う（ステップＳ１３）。
　以上詳しく説明したように、本実施形態では、予測モデルの生成に用いる教師データとして、正常品の学習用画像に対して、正常品に該当する可能性を示す正常ラベルのみを含んだ正常品正解ラベルを付与して成る正常品用の教師データと、欠陥品の学習用画像に対して、複数の欠陥種に該当する可能性を示す重み付きの複数の欠陥種ラベルのみを含んだ欠陥品正解ラベルを付与して成る欠陥品用の教師データとを用いるようにしている。
　このように構成した教師データを用いて学習用画像から予測を行うと、欠陥品正解ラベルが付与されている欠陥品の学習用画像から正解以外の欠陥種の欠陥品と予測する場合の損失値よりも、同学習用画像から正常品と予測する場合の損失値の方が大きくなる。予測モデルは、この損失値を最小化するように機械学習されたものとなるため、欠陥品を正常品に誤って予測してしまう可能性をより低減することができる。これにより、本実施形態によれば、機械学習によって生成される予測モデルを用いて欠陥の検査を行う欠陥検査装置において、欠陥品を正常品であると判定する偽陰性の誤認を極力減らすことができる。
　なお、上記実施形態では、教師データの学習用画像を予測モデルに入力して機械学習を行い、学習済みの予測モデルに検査画像を適用して欠陥の有無および欠陥の種類の予測を行うものとして説明したが、予測モデルは、入力された画像から特徴情報を検出する前処理部を含むものであってもよい。
　その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
　１　検査画像取得部
　２　製品領域抽出部
　３　予測部
　１０　予測モデル記憶部
　１１　教師データ入力部
　１２　予測モデル生成部

Claims (4)

  1. 　被検査物の撮影画像である検査画像を取得する検査画像取得部と、
    　上記検査画像取得部により取得された上記検査画像を、教師データを用いて学習済みの予測モデルに適用し、上記被検査物が正常品であるか否かおよび上記被検査物が欠陥品である場合における欠陥の種類の予測を行う予測部とを備え、
    　上記教師データは、正常品の学習用画像に対して、欠陥品に該当する可能性を示すラベルを含まず、正常品に該当する可能性を示す正常ラベルのみを含んだ正常品正解ラベルを付与する一方、欠陥品の学習用画像に対して、正常品に該当する可能性を示す正常ラベルを含まず、複数の欠陥種に該当する可能性を示す複数の欠陥種ラベルおよび各欠陥種ラベルに対する重みを含んだ欠陥品正解ラベルを付与して成ることを特徴とする欠陥検査装置。
  2. 　上記教師データは、上記正常品正解ラベルの上記正常ラベルに対して最大重みを付与するとともに、上記欠陥品正解ラベルの上記複数の欠陥種ラベルに対して上記最大重みよりも小さい重みをそれぞれ付与して成ることを特徴とする請求項１に記載の欠陥検査装置。
  3. 　コンピュータの検査画像取得部が、被検査物の撮影画像である検査画像を取得する第１のステップと、
    　上記コンピュータの予測部が、上記検査画像取得部により取得された上記検査画像を、教師データを用いて学習済みの予測モデルに適用し、上記被検査物が正常品であるか否かおよび上記被検査物が欠陥品である場合における欠陥の種類の予測を行う第２のステップとを有し、
    　上記教師データは、正常品の学習用画像に対して、欠陥品に該当する可能性を示すラベルを含まず、正常品に該当する可能性を示す正常ラベルのみを含んだ正常品正解ラベルを付与する一方、欠陥品の学習用画像に対して、正常品に該当する可能性を示す正常ラベルを含まず、複数の欠陥種に該当する可能性を示す複数の欠陥種ラベルおよび各欠陥種ラベルに対する重みを含んだ欠陥品正解ラベルを付与して成ることを特徴とする欠陥検査方法。
  4. 　コンピュータの教師データ入力部が、正解ラベルが付与された教師データを入力する第１のステップと、
    　上記コンピュータの予測モデル生成部が、上記教師データ入力部により入力された上記教師データを用いて機械学習処理を行うことにより、被検査物の撮影画像である検査画像が入力された際に、上記被検査物が正常品であるか否かおよび上記被検査物が欠陥品である場合における欠陥の種類の予測結果を出力するための予測モデルを生成する第２のステップとを有し、
    　上記教師データは、正常品の学習用画像に対して、欠陥品に該当する可能性を示すラベルを含まず、正常品に該当する可能性を示す正常ラベルのみを含んだ正常品正解ラベルを付与する一方、欠陥品の学習用画像に対して、正常品に該当する可能性を示す正常ラベルを含まず、複数の欠陥種に該当する可能性を示す複数の欠陥種ラベルおよび各欠陥種ラベルに対する重みを含んだ欠陥品正解ラベルを付与して成ることを特徴とする予測モデル生成方法。
     
PCT/JP2022/029449 2021-09-01 2022-08-01 欠陥検査装置、欠陥検査方法および予測モデル生成方法 WO2023032549A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202280051969.4A CN117795321A (zh) 2021-09-01 2022-08-01 缺陷检查装置、缺陷检查方法以及预测模型生成方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021142656A JP7257470B2 (ja) 2021-09-01 2021-09-01 欠陥検査装置、欠陥検査方法および予測モデル生成方法
JP2021-142656 2021-09-01

Publications (1)

Publication Number Publication Date
WO2023032549A1 true WO2023032549A1 (ja) 2023-03-09

Family

ID=85410976

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/029449 WO2023032549A1 (ja) 2021-09-01 2022-08-01 欠陥検査装置、欠陥検査方法および予測モデル生成方法

Country Status (3)

Country Link
JP (1) JP7257470B2 (ja)
CN (1) CN117795321A (ja)
WO (1) WO2023032549A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006189915A (ja) * 2004-12-28 2006-07-20 Olympus Corp 分類装置及び分類方法
US20190073568A1 (en) * 2017-09-06 2019-03-07 Kla-Tencor Corporation Unified neural network for defect detection and classification
JP2019212073A (ja) * 2018-06-06 2019-12-12 アズビル株式会社 画像判別装置および方法
WO2020012523A1 (ja) * 2018-07-09 2020-01-16 富士通株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP2020013507A (ja) * 2018-07-20 2020-01-23 株式会社エヌテック ラベル付き画像データ作成方法、検査方法、プログラム、ラベル付き画像データ作成装置及び検査装置
JP2020077158A (ja) * 2018-11-07 2020-05-21 オムロン株式会社 画像処理装置及び画像処理方法
JP2020095709A (ja) * 2018-11-29 2020-06-18 株式会社神鋼エンジニアリング＆メンテナンス スクラップ等級判定システム、スクラップ等級判定方法、推定装置、学習装置、学習済みモデルの生成方法、及びプログラム
JP2020112456A (ja) * 2019-01-14 2020-07-27 株式会社デンケン 検査装置及び検査方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5027859B2 (ja) * 2009-10-26 2012-09-19 パナソニック デバイスＳｕｎｘ株式会社 信号識別方法および信号識別装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006189915A (ja) * 2004-12-28 2006-07-20 Olympus Corp 分類装置及び分類方法
US20190073568A1 (en) * 2017-09-06 2019-03-07 Kla-Tencor Corporation Unified neural network for defect detection and classification
JP2019212073A (ja) * 2018-06-06 2019-12-12 アズビル株式会社 画像判別装置および方法
WO2020012523A1 (ja) * 2018-07-09 2020-01-16 富士通株式会社 情報処理装置、情報処理方法及び情報処理プログラム
JP2020013507A (ja) * 2018-07-20 2020-01-23 株式会社エヌテック ラベル付き画像データ作成方法、検査方法、プログラム、ラベル付き画像データ作成装置及び検査装置
JP2020077158A (ja) * 2018-11-07 2020-05-21 オムロン株式会社 画像処理装置及び画像処理方法
JP2020095709A (ja) * 2018-11-29 2020-06-18 株式会社神鋼エンジニアリング＆メンテナンス スクラップ等級判定システム、スクラップ等級判定方法、推定装置、学習装置、学習済みモデルの生成方法、及びプログラム
JP2020112456A (ja) * 2019-01-14 2020-07-27 株式会社デンケン 検査装置及び検査方法

Also Published As

Publication number Publication date
JP7257470B2 (ja) 2023-04-13
JP2023035643A (ja) 2023-03-13
CN117795321A (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
US10885618B2 (en) Inspection apparatus, data generation apparatus, data generation method, and data generation program
TWI750553B (zh) 對樣本的缺陷檢測的方法及其系統
EP3800588A1 (en) System and method using knowledge distillation for training a machine learning classifier
US10636133B2 (en) Automated optical inspection (AOI) image classification method, system and computer-readable media
CN112534470A (zh) 用于基于图像的目标对象检验的系统及方法
KR20210038143A (ko) 인공지능(ai) 기반 대상물 검사 시스템 및 방법
CN114092387B (zh) 生成可用于检查半导体样本的训练数据
KR20220012217A (ko) 반도체 시편에서의 결함들의 기계 학습 기반 분류
JP2020198092A (ja) 教師なし異常検出及び高次元センサデータの多数決投票による原因説明のための方法及びシステム
KR20220022091A (ko) 검사 레시피의 자동 최적화
JP2017219529A (ja) 外観異常検査装置、方法、及びプログラム
JP7453813B2 (ja) 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット
CN111210412B (zh) 一种包装检测方法、装置、电子设备及存储介质
CN116542984A (zh) 五金件缺陷检测方法、装置、计算机设备及存储介质
Miao et al. Cost-sensitive Siamese network for PCB defect classification
CN116596875A (zh) 晶圆缺陷检测方法、装置、电子设备及存储介质
WO2023032549A1 (ja) 欠陥検査装置、欠陥検査方法および予測モデル生成方法
KR20210100028A (ko) 시편들을 검사하는 방법 및 그의 시스템
JP7075057B2 (ja) 画像判定装置、画像判定方法及び画像判定プログラム
JP2020077158A (ja) 画像処理装置及び画像処理方法
KR102298708B1 (ko) 검사 대상에 존재하는 결함을 검사하는 방법 및 이를 수행하는 장치들
KR20230036650A (ko) 영상 패치 기반의 불량 검출 시스템 및 방법
JP7241533B2 (ja) 画像判定装置、画像判定方法及び画像判定プログラム
US20220375067A1 (en) Automated part inspection system
KR102550853B1 (ko) 염색체 판독시스템 및 이를 포함하는 현미경 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22862383

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2401001299

Country of ref document: TH

NENP Non-entry into the national phase

Ref country code: DE