JP6401648B2

JP6401648B2 - Defect classification apparatus and defect classification method

Info

Publication number: JP6401648B2
Application number: JP2015070905A
Authority: JP
Inventors: 松村　明; 明松村
Original assignee: Screen Holdings Co Ltd
Current assignee: Screen Holdings Co Ltd
Priority date: 2015-03-31
Filing date: 2015-03-31
Publication date: 2018-10-10
Anticipated expiration: 2035-03-31
Also published as: JP2016191589A

Description

本発明は、欠陥分類装置および欠陥分類方法に関する。 The present invention relates to a defect classification device and a defect classification method.

半導体基板、ガラス基板、プリント配線基板等の基板の外観検査において、検出された欠陥の画像を自動的に分類する自動欠陥分類が従来より行われている。自動欠陥分類では、欠陥画像から算出される特徴量を用いて判別関数が推測される。このような特徴量の一つとして高次局所自己相関（Higher-oder Local Auto-Correlation：ＨＬＡＣ）特徴量が知られている。 In the appearance inspection of a substrate such as a semiconductor substrate, a glass substrate, or a printed wiring board, automatic defect classification for automatically classifying detected defect images has been conventionally performed. In automatic defect classification, a discriminant function is estimated using a feature amount calculated from a defect image. As one of such feature quantities, a higher-order local auto-correlation (HLAC) feature quantity is known.

特許文献１および２では、２次元画像に対するＨＬＡＣを用いた適応学習型汎用画像計測法が開示されている。ＨＬＡＣは画像認識において基本的な要請となる位置不変性と加法性を満たしており、計算量の少なさと高い認識性能が特徴である。ＨＬＡＣにおける相関の次数を二次までに限定すると、変位が８近傍の場合には、多値画像に対して３５通りのマスクパターン（変位パターン）が存在し、２値画像に対して２５通りのマスクパターンが存在する。各画素に対してマスクパターンに従った演算により得られる値を画像全体で足し合わせることにより、当該マスクパターンによるＨＬＡＣ特徴量が得られる。 Patent Documents 1 and 2 disclose an adaptive learning type general-purpose image measurement method using HLAC for a two-dimensional image. HLAC satisfies the position invariance and additivity that are basic requirements in image recognition, and is characterized by a small amount of calculation and high recognition performance. When the order of correlation in HLAC is limited to the second order, when the displacement is in the vicinity of 8, there are 35 mask patterns (displacement patterns) for the multi-valued image, and 25 for the binary image. There is a mask pattern. By adding the values obtained by the calculation according to the mask pattern for each pixel in the entire image, the HLAC feature value by the mask pattern can be obtained.

なお、動画像認識の分野では、ＨＬＡＣを３次元に拡張した立体高次局所自己相関（Cubic Higher-oder Local Auto-Correlation：ＣＨＬＡＣ）による特徴抽出が提案されており（例えば、特許文献３および４参照）、動作解析や異常行動の検出が試みられている。特許文献５では、ＨＬＡＣ特徴量やＣＨＬＡＣ特徴量を高速に抽出する演算手法が開示されている。 In the field of moving image recognition, feature extraction based on three-dimensional cubic higher-order local auto-correlation (CHLAC) has been proposed (for example, Patent Documents 3 and 4). See), motion analysis and detection of abnormal behavior. Patent Document 5 discloses a calculation method for extracting HLAC feature quantities and CHLAC feature quantities at high speed.

特許第２９８２８１４号公報Japanese Patent No. 2982814 特許第２８３４１５３号公報Japanese Patent No. 2834153 特許第４０６１３７７号公報Japanese Patent No. 4061377 特許第４３６８７６７号公報Japanese Patent No. 4368767 特許第５０８３８８８号公報Japanese Patent No. 5083888

ところで、欠陥画像の分類においてＨＬＡＣ特徴量を用いる場合、判別関数の予測精度が不十分なことがある。したがって、欠陥画像の分類を精度よく行うことが可能な手法が求められている。 By the way, when the HLAC feature amount is used in the defect image classification, the prediction accuracy of the discriminant function may be insufficient. Therefore, there is a need for a technique that can accurately classify defect images.

本発明は上記課題に鑑みなされたものであり、欠陥画像の分類を精度よく行うことを目的としている。 The present invention has been made in view of the above problems, and an object thereof is to classify defect images with high accuracy.

請求項１に記載の発明は、欠陥分類装置であって、欠陥を示す欠陥画像、または、前記欠陥画像を所定の参照画像と比較することにより得られる差分画像である第１画像、前記参照画像である第２画像、および、前記欠陥画像または前記参照画像に基づく第３画像を所定の順序にて時系列に並ぶ動画像として扱って、立体高次局所自己相関特徴量を求める特徴量算出部と、前記立体高次局所自己相関特徴量に基づいて前記欠陥画像を分類する分類器とを備える。 The invention according to claim 1 is a defect classification device, wherein a defect image indicating a defect, or a first image that is a difference image obtained by comparing the defect image with a predetermined reference image, the reference image The second image and the third image based on the defect image or the reference image are treated as moving images arranged in time series in a predetermined order, and a feature amount calculation unit for obtaining a three-dimensional higher-order local autocorrelation feature amount And a classifier that classifies the defect image based on the three-dimensional higher-order local autocorrelation feature.

請求項２に記載の発明は、請求項１に記載の欠陥分類装置であって、前記第３画像が、前記第１画像および前記第２画像と相違する。 A second aspect of the present invention is the defect classification device according to the first aspect, wherein the third image is different from the first image and the second image.

請求項３に記載の発明は、請求項１または２に記載の欠陥分類装置であって、前記特徴量算出部が、前記第１ないし第３画像において前記立体高次局所自己相関特徴量を求める領域を、前記欠陥画像における欠陥領域に対応する領域に制限する。 The invention according to claim 3 is the defect classification apparatus according to claim 1 or 2, wherein the feature amount calculation unit obtains the three-dimensional higher-order local autocorrelation feature amount in the first to third images. The area is limited to an area corresponding to the defect area in the defect image.

請求項４に記載の発明は、請求項１ないし３のいずれかに記載の欠陥分類装置であって、前記第１画像が前記欠陥画像であり、前記第３画像が前記差分画像である。 A fourth aspect of the present invention is the defect classification device according to any one of the first to third aspects, wherein the first image is the defect image, and the third image is the difference image.

請求項５に記載の発明は、欠陥分類方法であって、ａ）欠陥を示す欠陥画像、または、前記欠陥画像を所定の参照画像と比較することにより得られる差分画像である第１画像、前記参照画像である第２画像、および、前記欠陥画像または前記参照画像に基づく第３画像を所定の順序にて時系列に並ぶ動画像として扱って、立体高次局所自己相関特徴量を求める工程と、ｂ）前記立体高次局所自己相関特徴量に基づいて前記欠陥画像を分類する工程とを備える。 The invention according to claim 5 is a defect classification method, wherein a) a defect image indicating a defect, or a first image which is a difference image obtained by comparing the defect image with a predetermined reference image, Treating the second image, which is a reference image, and the third image based on the defect image or the reference image as a moving image arranged in time series in a predetermined order, and obtaining a three-dimensional higher-order local autocorrelation feature amount; B) classifying the defect image based on the three-dimensional higher-order local autocorrelation feature.

請求項６に記載の発明は、請求項５に記載の欠陥分類方法であって、前記第３画像が、前記第１画像および前記第２画像と相違する。 A sixth aspect of the present invention is the defect classification method according to the fifth aspect, wherein the third image is different from the first image and the second image.

請求項７に記載の発明は、請求項５または６に記載の欠陥分類方法であって、前記ａ）工程において、前記第１ないし第３画像において前記立体高次局所自己相関特徴量を求める領域が、前記欠陥画像における欠陥領域に対応する領域に制限される。 The invention according to claim 7 is the defect classification method according to claim 5 or 6, wherein, in the step a), the region for obtaining the three-dimensional higher-order local autocorrelation feature amount in the first to third images. Is limited to a region corresponding to the defect region in the defect image.

請求項８に記載の発明は、請求項５ないし７のいずれかに記載の欠陥分類方法であって、前記第１画像が前記欠陥画像であり、前記第３画像が前記差分画像である。 The invention according to claim 8 is the defect classification method according to any one of claims 5 to 7, wherein the first image is the defect image, and the third image is the difference image.

本発明によれば、欠陥画像の分類を精度よく行うことができる。 According to the present invention, it is possible to classify defect images with high accuracy.

欠陥分類装置の構成を示す図である。It is a figure which shows the structure of a defect classification device. 欠陥画像の分類の流れを示す図である。It is a figure which shows the flow of a classification | category of a defect image. ホストコンピュータの構成を示す図である。It is a figure which shows the structure of a host computer. ホストコンピュータが実現する機能構成を示すブロック図である。It is a block diagram which shows the function structure which a host computer implement | achieves. 分類器の構築の流れを示す図である。It is a figure which shows the flow of construction | assembly of a classifier. 教師画像セットを示す図である。It is a figure which shows a teacher image set. 教師画像セットを示す図である。It is a figure which shows a teacher image set. 分類器の性能評価結果を示す図である。It is a figure which shows the performance evaluation result of a classifier. 分類器の性能評価結果を示す図である。It is a figure which shows the performance evaluation result of a classifier. 分類器の性能評価結果を示す図である。It is a figure which shows the performance evaluation result of a classifier. 比較例の分類器の性能評価結果を示す図である。It is a figure which shows the performance evaluation result of the classifier of a comparative example.

図１は本発明の一の実施の形態に係る欠陥分類装置１の概略構成を示す図である。欠陥分類装置１では、半導体基板９（以下、単に「基板９」という。）上のパターンの欠陥を示す欠陥画像が取得され、当該欠陥画像の分類が行われる。欠陥分類装置１は基板９上の検査対象領域を撮像する撮像装置２、欠陥を自動分類する検査・分類装置４、および、ホストコンピュータ５を有する。検査・分類装置４は、撮像装置２からの画像データに基づいて欠陥検査を行い、欠陥が検出された場合に欠陥が属すべき欠陥クラス（欠陥の種別であり、「カテゴリ」等とも呼ばれる。）へと欠陥を分類する。ホストコンピュータ５は、欠陥分類装置１の全体動作を制御するとともに検査・分類装置４における欠陥の分類に利用される分類器４２２を生成する。基板９上に存在するパターンの欠陥のクラスは、例えば、欠損、突起、断線、ショート、異物である。撮像装置２は基板９の製造ラインに組み込まれ、欠陥分類装置１はいわゆるインライン型のシステムとなっている。欠陥分類装置１は、欠陥検査装置に自動欠陥分類の機能を付加した装置と捉えることもできる。 FIG. 1 is a diagram showing a schematic configuration of a defect classification apparatus 1 according to an embodiment of the present invention. In the defect classification apparatus 1, a defect image indicating a pattern defect on a semiconductor substrate 9 (hereinafter simply referred to as “substrate 9”) is acquired, and the defect image is classified. The defect classification device 1 includes an imaging device 2 that images an inspection target area on the substrate 9, an inspection / classification device 4 that automatically classifies defects, and a host computer 5. The inspection / classification device 4 performs a defect inspection based on the image data from the imaging device 2, and a defect class to which the defect should belong when a defect is detected (defect type, also called “category” or the like). Categorize defects. The host computer 5 controls the overall operation of the defect classification apparatus 1 and generates a classifier 422 used for defect classification in the inspection / classification apparatus 4. The defect class of the pattern existing on the substrate 9 is, for example, a defect, a protrusion, a disconnection, a short, or a foreign object. The imaging device 2 is incorporated in the production line of the substrate 9, and the defect classification device 1 is a so-called inline system. The defect classification apparatus 1 can also be regarded as an apparatus in which a function of automatic defect classification is added to a defect inspection apparatus.

撮像装置２は、撮像部２１、基板９を保持するステージ２２、および、撮像部２１に対してステージ２２を相対的に移動するステージ駆動部２３を有する。撮像部２１は、基板９上の検査対象領域を撮像して画像データを取得する。撮像部２１は、照明光を出射する照明部２１１、光学系２１２、および、撮像デバイス２１３を有する。光学系２１２は基板９に照明光を導き、基板９からの光は光学系２１２に入射する。撮像デバイス２１３は、光学系２１２により結像された基板９の像を電気信号に変換する。ステージ駆動部２３はボールねじ、ガイドレール、モータ等により構成される。ホストコンピュータ５がステージ駆動部２３および撮像部２１を制御することにより、基板９上の検査対象領域が撮像される。 The imaging apparatus 2 includes an imaging unit 21, a stage 22 that holds the substrate 9, and a stage driving unit 23 that moves the stage 22 relative to the imaging unit 21. The imaging unit 21 captures an inspection target area on the substrate 9 and acquires image data. The imaging unit 21 includes an illumination unit 211 that emits illumination light, an optical system 212, and an imaging device 213. The optical system 212 guides illumination light to the substrate 9, and the light from the substrate 9 enters the optical system 212. The imaging device 213 converts the image of the substrate 9 formed by the optical system 212 into an electrical signal. The stage drive unit 23 includes a ball screw, a guide rail, a motor, and the like. The host computer 5 controls the stage driving unit 23 and the imaging unit 21 so that the inspection target area on the substrate 9 is imaged.

検査・分類装置４は、欠陥検出部４１、および、欠陥画像を分類する分類制御部４２を有する。欠陥検出部４１は、検査対象領域の画像データを処理しつつ欠陥を検出する。欠陥検出部４１は検査対象領域の画像データを高速に処理する専用の電気的回路を有し、撮像された画像と欠陥が存在しない参照画像との比較や画像処理により検査対象領域の欠陥検査を行う。分類制御部４２は各種演算処理を行うＣＰＵや各種情報を記憶するメモリ等により構成され、特徴量算出部４２１と、分類器４２２とを含む。分類器４２２は、ニューラルネットワーク、決定木、判別分析等を利用して欠陥の分類、すなわち、欠陥画像の分類を実行する。 The inspection / classification apparatus 4 includes a defect detection unit 41 and a classification control unit 42 that classifies defect images. The defect detection unit 41 detects defects while processing the image data of the inspection target area. The defect detection unit 41 has a dedicated electric circuit for processing image data of the inspection target area at high speed, and performs defect inspection of the inspection target area by comparing the captured image with a reference image having no defect or by image processing. Do. The classification control unit 42 includes a CPU that performs various arithmetic processes, a memory that stores various types of information, and the like, and includes a feature amount calculation unit 421 and a classifier 422. The classifier 422 executes defect classification, that is, defect image classification, using a neural network, a decision tree, discriminant analysis, or the like.

図２は、欠陥分類装置１による欠陥画像の分類の流れを示す図である。まず、図１に示す撮像装置２が基板９を撮像することにより、検査・分類装置４の欠陥検出部４１が画像のデータを取得する（ステップＳ１）。次に、欠陥検出部４１が検査対象領域の欠陥検査を行い、欠陥が検出されると、欠陥部分の多値画像である欠陥画像が生成されて準備される（ステップＳ２）。本実施の形態における欠陥検出部４１では、基板９を撮像した多値画像と、当該多値画像と同じ領域（正常な領域）を示す参照画像とを比較することにより差分画像（典型的には、両画像の差の絶対値を示す画像）が得られ、当該差分画像に基づいて、異常部分である欠陥が検出される。したがって、欠陥画像と共に、参照画像および差分画像において欠陥画像と同じ領域を示す部分（以下、単に「参照画像」および「差分画像」という。）、並びに、欠陥の領域を示す２値の画像（例えば、差分画像を二値化して得られる画像であり、以下、「マスク画像」という。）も生成される。欠陥画像、参照画像、差分画像およびマスク画像の集合（以下、「画像セット」という。）のデータは分類制御部４２へと送信される。 FIG. 2 is a diagram showing a flow of defect image classification by the defect classification apparatus 1. First, when the imaging device 2 shown in FIG. 1 images the substrate 9, the defect detection unit 41 of the inspection / classification device 4 acquires image data (step S1). Next, when the defect detection unit 41 performs defect inspection of the inspection target region and a defect is detected, a defect image that is a multi-valued image of the defective portion is generated and prepared (step S2). In the defect detection unit 41 in the present embodiment, a difference image (typically, by comparing a multi-value image obtained by imaging the substrate 9 with a reference image indicating the same area (normal area) as the multi-value image. , An image showing the absolute value of the difference between the two images) is obtained, and a defect which is an abnormal part is detected based on the difference image. Accordingly, a portion indicating the same area as the defect image in the reference image and the difference image (hereinafter, simply referred to as “reference image” and “difference image”) and a binary image (for example, a defect area) (for example, , An image obtained by binarizing the difference image, hereinafter also referred to as a “mask image”). Data of a set of defect images, reference images, difference images, and mask images (hereinafter referred to as “image sets”) is transmitted to the classification control unit 42.

分類制御部４２の特徴量算出部４２１は、画像セットに含まれる欠陥画像、参照画像、差分画像およびマスク画像に基づいて、複数の特徴量の配列である特徴量ベクトルを算出する（ステップＳ３）。特徴量ベクトルの詳細については後述する。特徴量ベクトルは分類器４２２に入力され、分類結果が出力される。すなわち、分類器４２２を用いて欠陥画像が複数の欠陥クラスのいずれかに分類される（ステップＳ４）。欠陥分類装置１では、欠陥検出部４１にて欠陥が検出される毎に特徴量ベクトルの算出がリアルタイムにて行われ、多数の欠陥画像の自動分類が高速に行われる。 The feature amount calculation unit 421 of the classification control unit 42 calculates a feature amount vector that is an array of a plurality of feature amounts based on the defect image, reference image, difference image, and mask image included in the image set (step S3). . Details of the feature vector will be described later. The feature vector is input to the classifier 422, and the classification result is output. That is, the defect image is classified into one of a plurality of defect classes using the classifier 422 (step S4). In the defect classification device 1, every time a defect is detected by the defect detection unit 41, the feature amount vector is calculated in real time, and a large number of defect images are automatically classified at high speed.

次に、ホストコンピュータ５による分類器の構築（取得）について説明する。図３はホストコンピュータ５の構成を示す図である。ホストコンピュータ５は各種演算処理を行うＣＰＵ５１、基本プログラムを記憶するＲＯＭ５２、および、各種情報を記憶するＲＡＭ５３を含む一般的なコンピュータシステムの構成となっている。ホストコンピュータ５は、情報記憶を行う固定ディスク５４、画像等の各種情報の表示を行うディスプレイ５５、ユーザからの入力を受け付けるキーボード５６ａおよびマウス５６ｂ（以下、「入力部５６」と総称する。）、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体８から情報の読み取りを行う読取装置５７、並びに、欠陥分類装置１の他の構成との間で信号を送受信する通信部５８をさらに含む。 Next, the construction (acquisition) of the classifier by the host computer 5 will be described. FIG. 3 is a diagram showing the configuration of the host computer 5. The host computer 5 has a general computer system configuration including a CPU 51 that performs various arithmetic processes, a ROM 52 that stores basic programs, and a RAM 53 that stores various information. The host computer 5 includes a fixed disk 54 for storing information, a display 55 for displaying various information such as images, a keyboard 56a and a mouse 56b (hereinafter collectively referred to as “input unit 56”) for receiving input from the user. A reading device 57 that reads information from a computer-readable recording medium 8 such as an optical disk, a magnetic disk, a magneto-optical disk, and a communication unit 58 that transmits and receives signals to and from other components of the defect classification device 1 Including.

ホストコンピュータ５には、事前に読取装置５７を介して記録媒体８からプログラム８０が読み出され、固定ディスク５４に記憶される。そして、ＣＰＵ５１によりＲＡＭ５３および固定ディスク５４を利用しつつプログラム８０に従って演算処理が実行される。 The host computer 5 reads the program 80 from the recording medium 8 via the reader 57 in advance and stores it in the fixed disk 54. Then, the CPU 51 executes arithmetic processing according to the program 80 while using the RAM 53 and the fixed disk 54.

図４はホストコンピュータ５のＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、固定ディスク５４等により実現される、分類器を構築するための機能構成を示すブロック図である。図４には、検査・分類装置４も示している。ホストコンピュータ５は、特徴量算出部６１１および分類器６１２を含む分類制御部６１と、分類器６１２を学習させて構築する学習部６２とを備える。分類器６１２は、正確には、予め定められた記憶領域に分類を行うために必要な情報を格納することにより実現される機能構成である。検査・分類装置４の分類器４２２も同様である。 FIG. 4 is a block diagram showing a functional configuration for constructing a classifier realized by the CPU 51, ROM 52, RAM 53, fixed disk 54, etc. of the host computer 5. FIG. 4 also shows an inspection / classification device 4. The host computer 5 includes a classification control unit 61 including a feature amount calculation unit 611 and a classifier 612, and a learning unit 62 that learns and constructs the classifier 612. The classifier 612 is a functional configuration realized by storing information necessary for performing classification in a predetermined storage area. The same applies to the classifier 422 of the inspection / classification apparatus 4.

ホストコンピュータ５は、画像記憶部６４と、情報記憶部６５とをさらに備える。画像記憶部６４は、各欠陥画像、並びに、当該欠陥画像に対応する参照画像、差分画像およびマスク画像のデータを含む画像セットデータ８０１を記憶する。実際には、複数の欠陥画像に対する画像セットデータ８０１が画像記憶部６４に記憶される（情報記憶部６５における後述の教示欠陥クラス８１１において同様）。情報記憶部６５は、各欠陥画像に関連付けられた教示欠陥クラス８１１を記憶する。教示欠陥クラス８１１は、ユーザにより各欠陥画像に付与された欠陥クラスである。すなわち、教示欠陥クラス８１１は、異物の種類、傷の種類、パターン不良の種類等を各欠陥画像に関連付ける教示作業の結果を示す情報である。 The host computer 5 further includes an image storage unit 64 and an information storage unit 65. The image storage unit 64 stores image set data 801 including each defect image and reference image data, difference image data, and mask image data corresponding to the defect image. Actually, image set data 801 for a plurality of defect images is stored in the image storage unit 64 (the same applies to a later-described teaching defect class 811 in the information storage unit 65). The information storage unit 65 stores a teaching defect class 811 associated with each defect image. The teaching defect class 811 is a defect class assigned to each defect image by the user. That is, the teaching defect class 811 is information indicating the result of teaching work that associates the type of foreign matter, the type of scratch, the type of pattern defect, and the like with each defect image.

ホストコンピュータ５にて分類器６１２が構築されると、分類器６１２は検査・分類装置４の分類器４２２へと転送される。もちろん、ホストコンピュータ５の機能は、検査・分類装置４に含めることも可能である。 When the classifier 612 is constructed in the host computer 5, the classifier 612 is transferred to the classifier 422 of the inspection / classification apparatus 4. Of course, the function of the host computer 5 can be included in the inspection / classification apparatus 4.

図５は、ホストコンピュータ５による分類器の構築の流れを示す図である。分類器の構築とは、分類器が含むパラメータに値を付与したり、構造を決定すること等により分類器を生成することを意味する。 FIG. 5 is a diagram showing a flow of construction of a classifier by the host computer 5. Construction of a classifier means that a classifier is generated by assigning a value to a parameter included in the classifier or determining a structure.

分類器の構築の際には、事前準備として、検査・分類装置４にて検出された多数の欠陥画像の画像セットデータ８０１がホストコンピュータ５に入力され、画像記憶部６４に記憶される。続いて、ユーザにより、欠陥クラスの教示が行われる。欠陥クラスの教示では、複数の欠陥画像が、ホストコンピュータ５のディスプレイ５５に表示される。複数の欠陥画像は、例えば、基板上のレジストによるパターンの欠陥を示す。続いて、入力部５６がユーザからの教示入力を受け付けることにより、複数の欠陥画像のそれぞれに対して、複数の欠陥クラスのうちの一の欠陥クラスが関連付けられる。関連付けられた欠陥クラスは、教示欠陥クラス８１１として情報記憶部６５に記憶される。以上の処理により、複数の欠陥クラスのうちの一の欠陥クラスに属すると教示された欠陥画像（すなわち、教示欠陥クラス８１１が決定された欠陥画像）、並びに、当該欠陥画像に対応する参照画像、差分画像およびマスク画像の集合を教師画像セットとして、複数の教師画像セットが準備される（ステップＳ１１）。 At the time of construction of the classifier, as advance preparation, image set data 801 of a large number of defect images detected by the inspection / classification apparatus 4 is input to the host computer 5 and stored in the image storage unit 64. Subsequently, the user teaches the defect class. In the defect class teaching, a plurality of defect images are displayed on the display 55 of the host computer 5. The plurality of defect images indicate, for example, pattern defects caused by a resist on the substrate. Subsequently, when the input unit 56 receives a teaching input from the user, one defect class of the plurality of defect classes is associated with each of the plurality of defect images. The associated defect class is stored in the information storage unit 65 as a teaching defect class 811. Through the above processing, a defect image taught to belong to one defect class among a plurality of defect classes (that is, a defect image for which the taught defect class 811 is determined), a reference image corresponding to the defect image, A plurality of teacher image sets are prepared using a set of difference images and mask images as a teacher image set (step S11).

図６Ａおよび図６Ｂは、教師画像セットを示す図である。図６Ａおよび図６Ｂでは、欠陥画像７１、参照画像７２、差分画像７３およびマスク画像７４を示している。特徴量算出部６１１では、各教師画像セットに対して特徴量ベクトルが算出される（ステップＳ１２）。具体的には、欠陥画像７１、参照画像７２および差分画像７３を所定の順序にて時系列に並ぶ３フレームの動画像として扱って、立体高次局所自己相関（Cubic Higher-oder Local Auto-Correlation: ＣＨＬＡＣ）特徴量が求められる。 6A and 6B are diagrams showing a teacher image set. 6A and 6B show a defect image 71, a reference image 72, a difference image 73, and a mask image 74. The feature quantity calculation unit 611 calculates a feature quantity vector for each teacher image set (step S12). Specifically, the defect image 71, the reference image 72, and the difference image 73 are treated as three frames of moving images arranged in a time series in a predetermined order, and a cubic higher order local auto-correlation (Cubic Higher-oder Local Auto-Correlation : CHLAC) feature quantity is obtained.

ここで、ＣＨＬＡＣは、高次局所自己相関（Higher-oder Local Auto-Correlation: ＨＬＡＣ）を３次元に拡張したものであり、専ら動画像における動作解析や異常行動の検出に用いられる。例えば、ＣＨＬＡＣにおける相関の次数を二次までに限定すると、変位が２６近傍の場合には、多値画像に対して２７９通りのマスクパターン（変位パターン）が存在し、２値画像に対して２５１通りのマスクパターンが存在する。２次元画像（フレーム）が時系列に並ぶ動画像では、一の２次元画像の各画素に対してマスクパターンに従った演算により得られる値を、当該２次元画像の全体で足し合わせることにより、当該マスクパターンによるＣＨＬＡＣ特徴量が得られる。 Here, CHLAC is a three-dimensional extension of higher-order local auto-correlation (HLAC), and is used exclusively for motion analysis and detection of abnormal behavior in moving images. For example, when the order of correlation in CHLAC is limited to the second order, when the displacement is in the vicinity of 26, there are 279 mask patterns (displacement patterns) for the multi-valued image, and 251 for the binary image. There are street mask patterns. In a moving image in which two-dimensional images (frames) are arranged in time series, a value obtained by calculation according to a mask pattern for each pixel of one two-dimensional image is added to the whole of the two-dimensional image, A CHLAC feature value based on the mask pattern is obtained.

特徴量算出部６１１におけるＣＨＬＡＣ特徴量の算出において、例えば、欠陥画像７１、参照画像７２および差分画像７３を、この画像順序にて時系列に並ぶ動画像として扱う場合には、中央フレームである参照画像７２の各画素に対してマスクパターンに従った演算が行われる。当該演算では、参照画像７２の当該画素（ボクセルと捉えることもできる。）の２６近傍に位置する欠陥画像７１および差分画像７３の画素の値も、マスクパターンに応じて利用される。そして、参照画像７２の各画素に対してマスクパターンに従った演算により得られる値を画素演算値として、参照画像７２においてマスクパターンが適用可能な全ての画素の画素演算値の和を求めることにより、当該マスクパターンによるＣＨＬＡＣ特徴量が得られる。 In the calculation of the CHLAC feature amount in the feature amount calculation unit 611, for example, when the defect image 71, the reference image 72, and the difference image 73 are handled as moving images arranged in time series in this image order, the reference that is the center frame is used. An operation according to the mask pattern is performed on each pixel of the image 72. In this calculation, the values of the pixels of the defect image 71 and the difference image 73 located in the vicinity of the pixel 26 of the reference image 72 (which can also be regarded as a voxel) are also used according to the mask pattern. Then, a value obtained by calculation according to the mask pattern for each pixel of the reference image 72 is used as a pixel calculation value, and a sum of pixel calculation values of all pixels to which the mask pattern can be applied in the reference image 72 is obtained. Then, the CHLAC feature value by the mask pattern is obtained.

特徴量算出部６１１におけるより好ましい処理では、中央フレームである参照画像７２において、マスク画像７４が示す欠陥領域に含まれる画素のみに対して画素演算値が求められる。そして、当該欠陥領域に含まれる全ての画素の画素演算値の和が、当該マスクパターンによるＣＨＬＡＣ特徴量として求められる。このように、欠陥画像７１、参照画像７２および差分画像７３においてＣＨＬＡＣ特徴量を求める領域が、欠陥画像７１における欠陥領域に対応する領域に制限される。 In a more preferable process in the feature amount calculation unit 611, pixel calculation values are obtained only for pixels included in the defect area indicated by the mask image 74 in the reference image 72 that is the central frame. Then, the sum of the pixel calculation values of all the pixels included in the defective area is obtained as the CHLAC feature amount by the mask pattern. As described above, the area for obtaining the CHLAC feature amount in the defect image 71, the reference image 72, and the difference image 73 is limited to an area corresponding to the defect area in the defect image 71.

特徴量算出部６１１では、複数のマスクパターンが準備されており、各マスクパターンによるＣＨＬＡＣ特徴量が求められる。そして、複数（全て）のマスクパターンを用いてそれぞれ求められる複数のＣＨＬＡＣ特徴量の配列が、特徴量ベクトルとして取得される。なお、ＣＨＬＡＣ特徴量に加えて、欠陥の面積、周囲長、重心位置、モーメント量、階調値の平均、分散、最大、最小等の特徴量が特徴量ベクトルに含まれてもよい。 In the feature amount calculation unit 611, a plurality of mask patterns are prepared, and a CHLAC feature amount by each mask pattern is obtained. Then, an array of a plurality of CHLAC feature amounts respectively obtained using a plurality (all) of mask patterns is acquired as a feature amount vector. In addition to the CHLAC feature amount, feature amounts such as defect area, perimeter length, centroid position, moment amount, average of gradation values, variance, maximum, and minimum may be included in the feature amount vector.

各教師画像セットに対して特徴量ベクトルが取得されると、複数の教師画像セットの特徴量ベクトル、および、複数の教師画像セットに含まれる欠陥画像に関連付けられた教示欠陥クラス８１１を用いて分類器６１２が生成される（ステップＳ１３）。分類器６１２を生成する方法または機構としては、学習型（教示型）のものであれば様々なものが利用されてよい。例えば、最近傍法、最小距離法、部分空間法、決定木法、線形判別法、ファジーボーティング法、フレキシブルナイブベイズ法、ニューラルネットワーク、サポートベクターマシン（ＳＶＭ）等が採用可能である。 When the feature vector is acquired for each teacher image set, classification is performed using the feature vector of the plurality of teacher image sets and the teaching defect class 811 associated with the defect image included in the plurality of teacher image sets. A device 612 is generated (step S13). Various methods or mechanisms for generating the classifier 612 may be used as long as they are learning type (teaching type). For example, nearest neighbor method, minimum distance method, subspace method, decision tree method, linear discriminant method, fuzzy voting method, flexible naive Bayes method, neural network, support vector machine (SVM), etc. can be adopted.

既述のように、構築された分類器６１２は検査・分類装置４の分類器４２２へと転送される。また、ＣＨＬＡＣ特徴量を求める際における欠陥画像７１、参照画像７２および差分画像７３の画像順序を示す情報も、検査・分類装置４の特徴量算出部４２１へと転送される。既述のように、検査・分類装置４では、欠陥検出部４１にて欠陥画像が検出されると（図２：ステップＳ２）、図５のステップＳ１２と同様の処理により、特徴量算出部４２１において当該欠陥画像の画像セットから特徴量ベクトルが取得され（ステップＳ３）、分類器４２２により、特徴量ベクトルに基づいて当該欠陥画像の分類が行われる（ステップＳ４）。 As described above, the constructed classifier 612 is transferred to the classifier 422 of the inspection / classification apparatus 4. Information indicating the image order of the defect image 71, the reference image 72, and the difference image 73 when obtaining the CHLAC feature value is also transferred to the feature value calculation unit 421 of the inspection / classification device 4. As described above, in the inspection / classification apparatus 4, when a defect image is detected by the defect detection unit 41 (FIG. 2: step S <b> 2), the feature amount calculation unit 421 is performed by the same process as step S <b> 12 in FIG. 5. In step S3, a feature vector is acquired from the image set of the defect image (step S3), and the classifier 422 classifies the defect image based on the feature vector (step S4).

より好ましい分類器の構築では、欠陥画像７１、参照画像７２および差分画像７３のそれぞれを中央フレームとしてＣＨＬＡＣ特徴量が求められ、分類器６１２が構築される。すなわち、ＣＨＬＡＣ特徴量を算出する際の画像順序を欠陥画像７１、差分画像７３、参照画像７２として構築された分類器６１２、画像順序を欠陥画像７１、参照画像７２、差分画像７３として構築された分類器６１２、および、画像順序を参照画像７２、欠陥画像７１、差分画像７３として構築された分類器６１２が取得される。そして、３個の分類器６１２のうち、最も分類性能が良い分類器６１２、および、当該分類器６１２の構築の際における画像順序の情報が、検査・分類装置４に転送される。 In the construction of a more preferable classifier, the CHLAC feature amount is obtained using each of the defect image 71, the reference image 72, and the difference image 73 as a central frame, and the classifier 612 is constructed. That is, the image order for calculating the CHLAC feature amount is a defect class 71, a difference image 73, a classifier 612 constructed as a reference image 72, and the image order is constructed as a defect image 71, a reference image 72, and a difference image 73. A classifier 612 and a classifier 612 constructed with the image order as a reference image 72, a defect image 71, and a difference image 73 are acquired. Among the three classifiers 612, the classifier 612 having the best classification performance and the information on the image order when the classifier 612 is constructed are transferred to the inspection / classification device 4.

図７Ａないし図７Ｃは、判別分析により構築された分類器６１２の性能評価結果を示す図である。ここでは、ＣＨＬＡＣ特徴量を算出する際の画像順序を欠陥画像７１、差分画像７３、参照画像７２として構築された分類器６１２の性能評価結果を図７Ａに示し、画像順序を欠陥画像７１、参照画像７２、差分画像７３として構築された分類器６１２の性能評価結果を図７Ｂに示し、画像順序を参照画像７２、欠陥画像７１、差分画像７３として構築された分類器６１２の性能評価結果を図７Ｃに示している。また、性能評価では、学習結果として得られた分類器６１２に、欠陥クラスが教示された欠陥画像を分類させ（すなわち、当該欠陥画像を含む画像セットを利用して分類させ）、分類結果をまとめたコンフュージョンマトリクス（混同行列）を、性能評価結果として図７Ａないし図７Ｃに示している。以下、分類器６１２による分類結果における欠陥クラスを「分類欠陥クラス」という。 7A to 7C are diagrams illustrating the performance evaluation results of the classifier 612 constructed by discriminant analysis. Here, FIG. 7A shows the performance evaluation result of the classifier 612 constructed with the image order when calculating the CHLAC feature amount as the defect image 71, the difference image 73, and the reference image 72, and the image order as the defect image 71 and the reference. The performance evaluation result of the classifier 612 constructed as the image 72 and the difference image 73 is shown in FIG. 7B, and the performance evaluation result of the classifier 612 constructed as the reference image 72, the defect image 71, and the difference image 73 is shown in FIG. 7C. Further, in the performance evaluation, the classifier 612 obtained as a learning result classifies the defect image in which the defect class is taught (ie, classifies using the image set including the defect image), and summarizes the classification result. A confusion matrix (confusion matrix) is shown in FIG. 7A to FIG. 7C as a performance evaluation result. Hereinafter, the defect class in the classification result by the classifier 612 is referred to as “classification defect class”.

図７Ａないし図７Ｃでは、２個の教示欠陥クラスを「クラス１」、「クラス２」として行見出しに記し、２個の分類欠陥クラスを「クラス１」、「クラス２」として列見出しに記している。教示欠陥クラス「Ａ」に属する複数の欠陥画像のうち、分類欠陥クラス「Ｂ」に属すると判定された欠陥画像の個数は、「Ａ」の行と「Ｂ」の列との交差位置に示される。なお、見出しに「Ｓｕｍ」と記す行は、各分類欠陥クラスに分類された欠陥画像の個数（総数）を示し、見出しに「Ｐｕｒｉｔｙ」と記す行は、各分類欠陥クラスに分類された欠陥画像のうち、当該分類欠陥クラスと教示欠陥クラスとが一致する欠陥画像の個数（総正答数）が、当該分類欠陥クラスの「Ｓｕｍ」の個数に占める比率を示す（見出しに「Ｓｕｍ」、「Ａｃｃｕｒａｃｙ」と記す列において同様）。また、「Ｐｕｒｉｔｙ」の行と「Ａｃｃｕｒａｃｙ」の列との交差位置は、分類が行われた欠陥画像の総数のうち、教示欠陥クラスと分類欠陥クラスとが一致した欠陥画像の個数の比率（総正答率）を示す。 In FIG. 7A to FIG. 7C, two teaching defect classes are described in the row header as “class 1” and “class 2”, and two classification defect classes are described in the column header as “class 1” and “class 2”. ing. Of the plurality of defect images belonging to the teaching defect class “A”, the number of defect images determined to belong to the classification defect class “B” is indicated at the intersection of the row “A” and the column “B”. It is. Note that the line marked “Sum” in the heading indicates the number (total number) of defect images classified into each classified defect class, and the line marked “Purity” in the heading indicates a defect image classified into each classified defect class. Among these, the number of defect images in which the classification defect class and the teaching defect class match (the total number of correct answers) indicates the ratio of the classification defect class to the number of “Sum” (“Sum”, “Accuracy” in the heading) The same in the column marked ")." In addition, the intersection position of the “Purity” row and the “Accuracy” column is the ratio of the number of defect images in which the teaching defect class and the classification defect class match out of the total number of defect images classified (the total number). (Correct answer rate).

分類器６１２の学習および性能評価では、４９２個の欠陥画像が使用され、４７３個の欠陥画像が「クラス１」の教示欠陥クラスに教示され、１９個の欠陥画像が「クラス２」の教示欠陥クラスに教示されている。例えば、図７Ａでは、「クラス１」と教示した４７３個の欠陥画像のうち、正しく「クラス１」と分類されたものは４５２個である。誤って「クラス２」と分類されたものが２１個である。「クラス１」と教示した欠陥画像における分類の正答率（分類の正確さ）は９５．６％である。また、「クラス１」と分類された４５６個の欠陥画像のうち、「クラス１」と教示したものは４５２個であり、「クラス２」と教示したものは４個である。「クラス１」と分類された欠陥画像における分類の正答率（分類の信頼性）は９９．１％である。 In the learning and performance evaluation of the classifier 612, 492 defect images are used, 473 defect images are taught in the “class 1” teaching defect class, and 19 defect images are in the “class 2” teaching defect. Taught to class. For example, in FIG. 7A, among the 473 defect images taught as “class 1”, 452 were correctly classified as “class 1”. There are 21 items that are mistakenly classified as “class 2”. The correct answer rate of classification (accuracy of classification) in the defect image taught as “class 1” is 95.6%. Of the 456 defect images classified as “class 1”, 452 are taught as “class 1” and 4 are taught as “class 2”. The correct answer rate of classification (classification reliability) in the defect image classified as “class 1” is 99.1%.

図７Ａに示すように、欠陥画像７１、差分画像７３、参照画像７２の画像順序にて構築された分類器６１２による総正答率は９４．９％である。図７Ｂに示すように、欠陥画像７１、参照画像７２、差分画像７３の画像順序にて構築された分類器６１２による総正答率は９４．７％である。図７Ｃに示すように、参照画像７２、欠陥画像７１、差分画像７３の画像順序にて構築された分類器６１２による総正答率は９４．５％である。したがって、図７Ａないし図７Ｃの例では、欠陥画像７１、差分画像７３、参照画像７２の画像順序にて構築された分類器６１２、および、当該分類器６１２の構築の際における画像順序の情報が、検査・分類装置４に転送される。 As shown in FIG. 7A, the total correct answer rate by the classifier 612 constructed in the image order of the defect image 71, the difference image 73, and the reference image 72 is 94.9%. As shown in FIG. 7B, the total correct answer rate by the classifier 612 constructed in the image order of the defect image 71, the reference image 72, and the difference image 73 is 94.7%. As shown in FIG. 7C, the total correct answer rate by the classifier 612 constructed in the image order of the reference image 72, the defect image 71, and the difference image 73 is 94.5%. Therefore, in the example of FIGS. 7A to 7C, the classifier 612 constructed in the image order of the defect image 71, the difference image 73, and the reference image 72, and the image order information at the time of construction of the classifier 612 are included. And transferred to the inspection / classification device 4.

図８は、比較例の分類器の性能評価結果を示す図である。比較例の分類器は、各教師画像セットに含まれる欠陥画像、参照画像および差分画像のそれぞれから、マスク画像が示す欠陥領域における複数のＨＬＡＣ特徴量を算出し、これらの画像のＨＬＡＣ特徴量の全てを連結した特徴量ベクトルを用いて、分類器６１２と同じ学習アルゴリズムにて生成される。図８に示すように、比較例の分類器による総正答率は９３．５％である。 FIG. 8 is a diagram illustrating the performance evaluation result of the classifier of the comparative example. The classifier of the comparative example calculates a plurality of HLAC feature quantities in the defect area indicated by the mask image from each of the defect image, the reference image, and the difference image included in each teacher image set, and calculates the HLAC feature quantities of these images. It is generated by the same learning algorithm as that of the classifier 612 using the feature quantity vector obtained by connecting all of them. As shown in FIG. 8, the total correct answer rate by the classifier of the comparative example is 93.5%.

このように、ＣＨＬＡＣ特徴量を用いて生成される分類器６１２では、その構築の際における画像順序に依らず、比較例の分類器に比べて、分類性能が向上する。すなわち、欠陥分類装置１では、分類器４２２がＣＨＬＡＣ特徴量に基づいて欠陥画像を分類することにより、欠陥画像の分類を精度よく行うことができる。また、欠陥画像７１、参照画像７２および差分画像７３のそれぞれを中央フレームとして分類器６１２を構築し、最も分類性能が良い分類器６１２および画像順序を採用することにより、欠陥画像の分類をさらに精度よく行うことができる。 As described above, the classifier 612 generated using the CHLAC feature amount improves the classification performance as compared with the classifier of the comparative example regardless of the image order in the construction. That is, in the defect classification device 1, the classifier 422 classifies the defect image based on the CHLAC feature amount, so that the defect image can be classified with high accuracy. Further, the classifier 612 is constructed with each of the defect image 71, the reference image 72, and the difference image 73 as a central frame, and the classifier 612 having the best classification performance and the image order are adopted, thereby further classifying the defect images. Can be done well.

上記欠陥分類装置１では様々な変形が可能である。 The defect classification apparatus 1 can be variously modified.

特徴量算出部４２１，６１１では、欠陥画像７１、参照画像７２および差分画像７３をそれぞれ中央フレームとして算出されるＣＨＬＡＣ特徴量の全てを連結して特徴量ベクトルが取得され、当該特徴量ベクトルに基づいて、欠陥画像７１が分類されてもよい。 In the feature amount calculation units 421 and 611, all of the CHLAC feature amounts calculated using the defect image 71, the reference image 72, and the difference image 73 as the central frame are connected to obtain a feature amount vector, and based on the feature amount vector Thus, the defect image 71 may be classified.

ＣＨＬＡＣ特徴量の算出に用いられる３フレームの画像（３個の画像）として、２種類の画像のみが用いられてもよい。この場合、例えば、当該３フレームの画像に含まれる第１画像として差分画像７３が用いられ、第２画像として参照画像７２が用いられ、第３画像として差分画像７３または参照画像７２が用いられる。また、ＣＨＬＡＣ特徴量の算出の際における第１ないし第３画像の順序（中央フレーム）は任意に決定されてよい。 Only two types of images may be used as the three-frame images (three images) used for calculating the CHLAC feature amount. In this case, for example, the difference image 73 is used as the first image included in the three-frame image, the reference image 72 is used as the second image, and the difference image 73 or the reference image 72 is used as the third image. In addition, the order (center frame) of the first to third images when calculating the CHLAC feature value may be arbitrarily determined.

さらに、ＣＨＬＡＣ特徴量の算出に用いられる第１ないし第３画像の組合せは、所定の条件下にて任意に決定されてよい。ＣＨＬＡＣ特徴量は、欠陥の分類に利用されるため、欠陥の形状情報を含む欠陥画像７１または差分画像７３が第１画像であることが、当該条件の一つとなる。欠陥が分類されるクラスは、当該欠陥が位置する領域の種類（例えば、配線または背景）に依存するため、当該領域の種類を特定可能とする参照画像７２が第２画像であることが、当該条件の他の一つとなる。ＣＨＬＡＣ特徴量は、画像間の局所的な相関を示す特徴量を含むため、欠陥画像７１または参照画像７２に基づく画像が第３画像であることが、当該条件のさらに他の一つとなる。欠陥画像７１、参照画像７２および差分画像７３以外の第３画像としては、上記マスク画像７４、並びに、欠陥画像７１または参照画像７２の微分画像および（２値の）エッジ画像が例示される。また、欠陥画像７１または参照画像７２の各画素を中心とする所定サイズの領域における濃度勾配方向の分散を示す値が当該画素に付与された画像が、第３画像として用いられてよい。 Further, the combination of the first to third images used for calculating the CHLAC feature value may be arbitrarily determined under a predetermined condition. Since the CHLAC feature amount is used for defect classification, one of the conditions is that the defect image 71 or the difference image 73 including the defect shape information is the first image. Since the class into which the defect is classified depends on the type of the area where the defect is located (for example, wiring or background), the reference image 72 that can specify the type of the area is the second image. Another one of the conditions. Since the CHLAC feature amount includes a feature amount indicating a local correlation between images, it is still another condition that the image based on the defect image 71 or the reference image 72 is the third image. Examples of the third image other than the defect image 71, the reference image 72, and the difference image 73 include the mask image 74, a differential image of the defect image 71 or the reference image 72, and a (binary) edge image. In addition, an image in which a value indicating dispersion in the density gradient direction in a region of a predetermined size centered on each pixel of the defect image 71 or the reference image 72 is given to the pixel may be used as the third image.

以上のように、特徴量算出部４２１，６１１では、欠陥を示す欠陥画像７１、または、欠陥画像７１を参照画像７２と比較することにより得られる差分画像７３である第１画像、参照画像７２である第２画像、および、欠陥画像７１または参照画像７２に基づく第３画像が準備される。そして、第１ないし第３画像を所定の順序にて時系列に並ぶ動画像として扱って、中央フレームに対するＣＨＬＡＣ特徴量が求められる。既述のように、第３画像は、第１画像または第２画像と同じ画像であってよいが、ＣＨＬＡＣ特徴量の算出に用いられる３フレームの画像が示す情報量を増大するという観点では、第３画像が、第１画像および第２画像と相違することが好ましい。 As described above, the feature amount calculation units 421 and 611 use the defect image 71 indicating the defect or the first image and the reference image 72 that are the difference images 73 obtained by comparing the defect image 71 with the reference image 72. A second image and a third image based on the defect image 71 or the reference image 72 are prepared. Then, by treating the first to third images as moving images arranged in time series in a predetermined order, the CHLAC feature value for the center frame is obtained. As described above, the third image may be the same image as the first image or the second image, but in terms of increasing the information amount indicated by the three-frame image used for calculating the CHLAC feature amount, The third image is preferably different from the first image and the second image.

一方、欠陥検出部４１において欠陥画像７１、参照画像７２および差分画像７３（並びに、マスク画像７４）が生成される欠陥分類装置１では、これらの欠陥画像７１、参照画像７２および差分画像７３を用いてＣＨＬＡＣ特徴量を算出することにより、欠陥の分類を効率よく行うことが可能となる。 On the other hand, in the defect classification device 1 in which the defect detection unit 41 generates the defect image 71, the reference image 72, and the difference image 73 (and the mask image 74), the defect image 71, the reference image 72, and the difference image 73 are used. By calculating the CHLAC feature amount, it becomes possible to efficiently classify defects.

上記実施の形態では、第１ないし第３画像においてＣＨＬＡＣ特徴量を求める領域が、欠陥画像７１における欠陥領域に対応する領域に制限されることにより、欠陥画像７１の分類をさらに精度よく行うことが実現されるが、欠陥分類装置１において要求される分類性能によっては、中央フレームの画像の全体に対してＣＨＬＡＣ特徴量が求められてもよい。この場合、画像セットにおいてマスク画像７４を省略することができる。 In the above embodiment, the defect image 71 can be classified with higher accuracy by limiting the region for obtaining the CHLAC feature value in the first to third images to the region corresponding to the defect region in the defect image 71. Although realized, the CHLAC feature amount may be obtained for the entire image of the central frame depending on the classification performance required in the defect classification apparatus 1. In this case, the mask image 74 can be omitted from the image set.

欠陥画像７１は、半導体基板以外の基板のパターンの欠陥や異物等の欠陥を示すものであってもよい。当該基板として、ハードディスク基板等の薄膜デバイス、プラズマディスプレイや液晶ディスプレイ等の薄型ディスプレイに用いられるガラス基板、フォトマスク基板、フィルム基板、プリント配線基板等が例示される。 The defect image 71 may indicate a defect of a pattern of a substrate other than the semiconductor substrate or a defect such as a foreign substance. Examples of the substrate include thin film devices such as hard disk substrates, glass substrates used for thin displays such as plasma displays and liquid crystal displays, photomask substrates, film substrates, and printed wiring boards.

また、欠陥分類装置１が、太陽電池パネルを撮像した欠陥画像を分類する用途に用いられてもよい。例えば、太陽電池パネルのＥＬ（エレクトロ・ルミネッセンス）発光やＰＬ（フォト・ルミネッセンス）発光を撮像して得られる画像や、レーザーテラヘルツエミッション顕微鏡（ＬＴＥＭ）を用いて得られる太陽電池パネルの画像において、参照画像が示す正常な領域とは異なる領域を含む部分を欠陥画像として扱って、欠陥分類装置１において太陽電池パネルの欠陥が分類されてよい。このように、欠陥分類装置１は、様々な対象物における欠陥の分類に利用可能である。また、欠陥分類装置１では、レーザ光、電子線やＸ線等により撮像される画像が分類されてよい。 Moreover, the defect classification apparatus 1 may be used for the use which classifies the defect image which imaged the solar cell panel. For example, in an image obtained by imaging EL (electroluminescence) emission or PL (photoluminescence) emission of a solar cell panel, or an image of a solar cell panel obtained using a laser terahertz emission microscope (LTEM) A defect including the area different from the normal area indicated by the image may be handled as a defect image, and the defect classification apparatus 1 may classify the defect of the solar battery panel. As described above, the defect classification device 1 can be used for classification of defects in various objects. Further, the defect classification apparatus 1 may classify images picked up by laser light, electron beams, X-rays, or the like.

上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。 The configurations in the above-described embodiments and modifications may be combined as appropriate as long as they do not contradict each other.

１欠陥分類装置
７１欠陥画像
７２参照画像
７３差分画像
７４マスク画像
４２１，６１１特徴量算出部
４２２，６１２分類器
Ｓ１〜Ｓ４，Ｓ１１〜Ｓ１３ステップ DESCRIPTION OF SYMBOLS 1 Defect classification apparatus 71 Defect image 72 Reference image 73 Difference image 74 Mask image 421,611 Feature-value calculation part 422,612 Classifier S1-S4, S11-S13 Step

Claims

A defect classification device,
A defect image indicating a defect, or a first image that is a difference image obtained by comparing the defect image with a predetermined reference image, a second image that is the reference image, and the defect image or the reference image A feature amount calculation unit that treats the third image based as a moving image arranged in time series in a predetermined order and obtains a stereoscopic higher-order local autocorrelation feature amount;
A classifier for classifying the defect image based on the three-dimensional higher-order local autocorrelation feature;
A defect classification apparatus comprising:

The defect classification apparatus according to claim 1,
The defect classification apparatus, wherein the third image is different from the first image and the second image.

The defect classification apparatus according to claim 1 or 2,
The defect classification apparatus, wherein the feature amount calculation unit limits a region for obtaining the three-dimensional higher-order local autocorrelation feature amount in the first to third images to a region corresponding to the defect region in the defect image. .

The defect classification apparatus according to any one of claims 1 to 3,
The defect classification apparatus, wherein the first image is the defect image, and the third image is the difference image.

A defect classification method,
a) a defect image indicating a defect, or a first image that is a difference image obtained by comparing the defect image with a predetermined reference image, a second image that is the reference image, and the defect image or the reference Treating a third image based on the image as a moving image arranged in time series in a predetermined order, and obtaining a stereoscopic higher-order local autocorrelation feature;
b) classifying the defect image based on the three-dimensional higher-order local autocorrelation feature;
A defect classification method comprising:

The defect classification method according to claim 5,
The defect classification method, wherein the third image is different from the first image and the second image.

The defect classification method according to claim 5 or 6,
In the step a), in the first to third images, a region for obtaining the three-dimensional higher-order local autocorrelation feature is limited to a region corresponding to the defect region in the defect image. .

A defect classification method according to any one of claims 5 to 7,
The defect classification method, wherein the first image is the defect image and the third image is the difference image.