JP5718781B2 - Image classification apparatus and image classification method - Google Patents

Image classification apparatus and image classification method Download PDF

Info

Publication number
JP5718781B2
JP5718781B2 JP2011216148A JP2011216148A JP5718781B2 JP 5718781 B2 JP5718781 B2 JP 5718781B2 JP 2011216148 A JP2011216148 A JP 2011216148A JP 2011216148 A JP2011216148 A JP 2011216148A JP 5718781 B2 JP5718781 B2 JP 5718781B2
Authority
JP
Japan
Prior art keywords
classification
image
category
feature
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011216148A
Other languages
Japanese (ja)
Other versions
JP2013077127A (en
Inventor
松村 明
明 松村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Original Assignee
Screen Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd filed Critical Screen Holdings Co Ltd
Priority to JP2011216148A priority Critical patent/JP5718781B2/en
Publication of JP2013077127A publication Critical patent/JP2013077127A/en
Application granted granted Critical
Publication of JP5718781B2 publication Critical patent/JP5718781B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

この発明は、画像についてその特徴量を算出し、その値に基づいて当該画像を複数の分類カテゴリのいずれかに分類する画像分類装置および画像分類方法に関するものである。   The present invention relates to an image classification device and an image classification method for calculating a feature amount of an image and classifying the image into one of a plurality of classification categories based on the value.

半導体やプリント基板等の製造技術分野では、製品に含まれる欠陥を検出しこれを分析・評価するために、評価対象物を顕微鏡等を介して撮像し、得られた画像について複数種の特徴量を算出して自動分類を行うことが研究されている。例えば特許文献1に記載の技術では、画像から抽出されたN個の特徴量で表されるN次元特徴量空間内に、教師画像に基づく事例学習によって分類カテゴリ境界を示す超平面が設定され、未知の画像の特徴量ベクトルが特徴量空間内で超平面のどちら側にあるかによって、当該画像がどの分類カテゴリに属するかが判断される。   In the field of manufacturing technology such as semiconductors and printed circuit boards, in order to detect defects contained in products and to analyze and evaluate them, the object to be evaluated is imaged through a microscope, etc. Research is underway to calculate the automatic classification. For example, in the technique described in Patent Document 1, a hyperplane indicating a classification category boundary is set in an N-dimensional feature amount space represented by N feature amounts extracted from an image by case learning based on a teacher image, Which classification category the image belongs to is determined based on which side of the hyperplane in the feature quantity space the feature quantity vector of the unknown image is.

また、本願出願人が先に開示した特許文献2に記載の技術では、超平面に基づく分類ではなく、N個の特徴量のそれぞれごとに、当該特徴量の値が該当範囲に含まれる分類カテゴリに対して投票を行い、その得票が最も多い分類カテゴリを当該画像が属するべき分類カテゴリと判断することで、判断に係る演算処理を簡素化している。   Further, in the technique disclosed in Patent Document 2 previously disclosed by the applicant of the present application, the classification category in which the value of the feature amount is included in the corresponding range for each of the N feature amounts, not the classification based on the hyperplane. Is performed, and the classification category having the largest number of votes is determined as the classification category to which the image belongs, thereby simplifying the calculation processing related to the determination.

特開2003−317083号公報JP 2003-317083 A 特開2010−091401号公報JP 2010-091401 A

従来の画像分類技術においては、演算によって未知の画像がどの分類カテゴリに分類されたかの結果が提示されるが、その分類結果がどの程度確からしいかについての情報を提供することは想定されていない。すなわち、ある分類カテゴリに分類された画像が、明らかにその分類カテゴリに属すると言えるものなのか、他の分類カテゴリの特徴に近い要素をも含んだものなのか等については提示されない。   In the conventional image classification technique, a result indicating to which classification category an unknown image is classified by calculation is presented, but it is not assumed to provide information on how probable the classification result is. That is, it is not presented whether an image classified into a certain classification category clearly belongs to that classification category or whether it includes elements close to the characteristics of other classification categories.

このような情報は、例えば収集された画像から教師データを作成したり、新たなタイプの欠陥を分析したり、分類装置(または方法)自体を検証する際等において有用なものであり、そのような情報を提供する画像分類装置または画像分類方法の実現が望まれる。しかしながら、簡便な方法でこれを実現する技術については、これまでのところ確立されるに至っていない。   Such information is useful, for example, in creating teacher data from collected images, analyzing new types of defects, verifying the classification device (or method) itself, etc. Realization of an image classification device or an image classification method that provides accurate information is desired. However, a technology for realizing this by a simple method has not been established so far.

この発明は上記課題に鑑みなされたものであり、画像の特徴量に基づき分類を行う画像分類装置および画像分類方法において、簡便な方法で、分類結果の確からしさに関する情報を提示することのできる技術を提供することを目的とする。   SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and in the image classification apparatus and the image classification method for performing classification based on the feature amount of an image, a technique capable of presenting information on the accuracy of the classification result by a simple method. The purpose is to provide.

この発明にかかる画像分類装置は、上記目的を達成するため、画像の特徴を示す複数種の特徴量を算出する特徴量算出手段と、前記画像を、前記特徴量に基づいて複数の分類カテゴリのいずれかに分類する分類手段と、算出処理の対象となる前記画像である一の算出対象画像と、前記分類カテゴリのうち一の算出対象分類カテゴリとの組み合わせについて、当該算出対象画像が当該算出対象分類カテゴリに分類されるべき蓋然性の高さを指標する確度指標を算出する確度算出手段と、前記分類手段による分類結果と、前記確度算出手段による算出結果とを関連付けて報知出力する出力手段とを備えている。   In order to achieve the above object, an image classification device according to the present invention includes a feature amount calculation unit that calculates a plurality of types of feature amounts indicating image features, and the image is divided into a plurality of classification categories based on the feature amounts. For a combination of classification means for classifying, one calculation target image that is the image to be subjected to calculation processing, and one calculation target classification category among the classification categories, the calculation target image is the calculation target An accuracy calculating means for calculating an accuracy index for indicating a high probability of being classified into a classification category, an output means for associating and outputting the classification result by the classification means and the calculation result by the accuracy calculating means. I have.

そして、前記確度算出手段は、前記複数の分類カテゴリと前記複数種の特徴量との組み合わせの各々について、当該分類カテゴリにおける当該特徴量の典型的な値の範囲である典型範囲を記憶する記憶部と、前記算出対象画像を表す前記複数種の特徴量の各々について、当該特徴量の値が、前記算出対象分類カテゴリにおける当該特徴量の前記典型範囲内にあるか否かを判定する判定手段と、前記複数種の特徴量の種類数に対する、前記判定手段において値が前記典型範囲内にあると判定された前記特徴量の種類数の比を算出し、その比の値を前記確度指標として出力する演算部とを備えている。   And the said accuracy calculation means memorize | stores the typical range which is the range of the typical value of the said feature-value in the said classification category about each of the combination of the said several classification category and the said multiple types of feature-value. Determining means for determining, for each of the plurality of types of feature amounts representing the calculation target image, whether the value of the feature amount is within the typical range of the feature amount in the calculation target classification category; , Calculating a ratio of the number of types of the feature quantity that is determined by the determination means to be within the typical range with respect to the number of types of the plurality of types of feature quantities, and outputting the value of the ratio as the accuracy index And an arithmetic unit for performing.

このように構成された発明では、一の画像と一の分類カテゴリとの間で、当該画像を表す複数種の特徴量のうち、何種類あるかを示す比の値によって、当該画像が当該分類カテゴリに属する「確からしさ」が確度指標として定量的に示される。これにより、ユーザは単なる分類結果だけでなく、その結果の確からしさをも把握することができるので、これを分類結果の評価や分析に役立てることができる。   In the invention configured as described above, the image is classified according to the ratio value indicating the number of types of a plurality of feature amounts representing the image between the image and the classification category. “Probability” belonging to the category is quantitatively shown as an accuracy index. Thereby, since the user can grasp not only the classification result but also the certainty of the result, this can be used for evaluation and analysis of the classification result.

また、確度指標の算出は、当該画像を表す各特徴量が予め設定された典型範囲内にあるか否かを特徴量ごとに個別に判定し、その判定結果を集計することで行われるため、複雑な演算処理を用いることなく簡便な処理によって確度指標を算出することができる。   In addition, the calculation of the accuracy index is performed by individually determining whether each feature amount representing the image is within a preset typical range for each feature amount, and totaling the determination results. The accuracy index can be calculated by simple processing without using complicated arithmetic processing.

このように、この発明によれば、ユーザの作業支援に寄与する分類結果の確からしさに関する情報を、簡便な処理で算出し提示することが可能である。   As described above, according to the present invention, it is possible to calculate and present information regarding the probability of the classification result contributing to the user's work support by a simple process.

具体的には、例えば、複数種の特徴量でそれぞれ表される複数の教師画像を用いた事例学習により、複数の分類カテゴリに対応する学習データを作成する学習手段を備え、分類手段は、該学習データに基づき画像を分類するようにしてもよい。このような事例学習型の分類装置自体は従来から知られており、多様な特徴を有する画像を効率よく分類することが可能である。従来の装置では分類結果の妥当性について評価する手段がなかったが、本発明では、このような事例学習型の画像分類装置において分類結果とその確度とを合わせて利用することが可能となり、画像の分類や分析、また分類結果についての評価や分析をより効率よく行うことが可能である。   Specifically, for example, it comprises learning means for creating learning data corresponding to a plurality of classification categories by case learning using a plurality of teacher images each represented by a plurality of types of feature amounts, You may make it classify | categorize an image based on learning data. Such a case-learning type classification apparatus itself has been conventionally known, and can efficiently classify images having various features. In the conventional apparatus, there was no means for evaluating the validity of the classification result, but in the present invention, it is possible to use the classification result and its accuracy together in such a case learning type image classification apparatus. Classification and analysis, and evaluation and analysis of classification results can be performed more efficiently.

また、例えば、学習手段は、事例学習の結果に基づいて典型範囲を設定し記憶部に記憶させるようにしてもよい。教師画像から抽出された特徴に基づき設定された典型範囲を用いて判定を行うことで、実際の事例とよく対応した判定を行うことができ、算出される確度指標の精度を向上させることができる。   Further, for example, the learning means may set a typical range based on the result of the case learning and store it in the storage unit. By using the typical range set based on the feature extracted from the teacher image, it is possible to make a decision that corresponds well to the actual case, and to improve the accuracy of the calculated accuracy index .

この場合、例えば、学習手段は、複数の分類カテゴリと複数種の特徴量との組み合わせの各々について、当該分類カテゴリに属する全ての教師画像の当該特徴量の分散に基づいて、当該特徴量についての典型範囲を設定するようにしてもよい。こうすることで、各分類カテゴリに属する教師画像の特徴のばらつきを反映させた判定が可能となり、確度指標の精度をさらに向上させることができる。   In this case, for example, for each combination of a plurality of classification categories and a plurality of types of feature amounts, the learning unit calculates the feature amount based on the distribution of the feature amounts of all the teacher images belonging to the classification category. A typical range may be set. By doing so, it is possible to make a determination that reflects variations in the characteristics of the teacher images belonging to each classification category, and the accuracy of the accuracy index can be further improved.

あるいは例えば、学習手段は、複数の分類カテゴリと複数種の特徴量との組み合わせの各々について、当該分類カテゴリに属する全ての教師画像の当該特徴量の平均値と標準偏差とを求め、平均値を中心とする標準偏差に基づいて定めた範囲を、当該特徴量についての典型範囲とするようにしてもよい。こうすることで、設定された典型範囲には当該分類カテゴリに属する教師画像の平均的な特徴が反映されるので、確度指標の精度をさらに向上させることができる。   Alternatively, for example, the learning means obtains the average value and the standard deviation of the feature values of all the teacher images belonging to the classification category for each combination of a plurality of classification categories and a plurality of types of feature values, and calculates the average value. A range determined based on the standard deviation at the center may be set as a typical range for the feature amount. By doing so, the average characteristic of the teacher image belonging to the classification category is reflected in the set typical range, so that the accuracy of the accuracy index can be further improved.

これらの発明においては、例えば、出力手段は、分類手段が分類対象とする一の画像について、当該画像が分類された分類カテゴリと、当該画像と当該分類カテゴリとの組み合わせにおいて算出された確度指標とを関連付けて報知出力するようにしてもよい。こうすることで、ユーザに対して、画像がどの分類カテゴリに分類されたかの結果とともに、その確度がどの程度あるかを確認できる情報を提示することができる。   In these inventions, for example, the output means includes, for one image to be classified by the classification means, a classification category in which the image is classified, and an accuracy index calculated in a combination of the image and the classification category. May be output in association with each other. By doing so, it is possible to present to the user information that can confirm the degree of accuracy along with the result of which classification category the image is classified into.

また、例えば、画像を撮像する撮像手段をさらに備えるようにしてもよい。撮像手段を上記した画像分類装置に組み合わせることで、画像の撮像およびその分類、評価を一括して効率的に行うことが可能となる。   For example, you may make it further provide the imaging means which images an image. By combining the image pickup means with the above-described image classification device, it is possible to efficiently perform image pickup, classification and evaluation in a batch.

また、この発明にかかる画像分類方法は、教師画像を用いた事例学習を行う学習手段と、分類アルゴリズムを実行する分類手段と、ユーザへの報知出力を行う出力手段とを備えるコンピュータが、画像を分類する画像分類方法であって、上記目的を達成するため、前記コンピュータが、複数種の特徴量でそれぞれ表される複数の教師画像を用いた事例学習により、前記学習手段が複数の分類カテゴリに対応する学習データを作成する学習工程と、前記複数の分類カテゴリと前記複数種の特徴量との組み合わせの各々について、当該分類カテゴリにおける当該特徴量の典型的な値の範囲である典型範囲を、前記学習工程の結果に基づき設定する典型範囲設定工程と、前記画像について、前記複数種の特徴量を算出する特徴量算出工程と、算出された前記特徴量に基づいて、前記分類手段が前記画像を前記複数の分類カテゴリのいずれかに分類する分類工程と、前記画像について算出された前記複数種の特徴量の各々について、当該特徴量の値が、前記複数の分類カテゴリのうち一の算出対象分類カテゴリにおける当該特徴量の前記典型範囲内にあるか否かを判定する判定工程と、前記複数種の特徴量の種類数に対する、前記判定工程において値が前記典型範囲内にあると判定された前記特徴量の種類数の比を算出し、その比の値を当該画像が当該算出対象分類カテゴリに分類されるべき蓋然性の高さを指標する確度指標とする演算工程と、前記出力手段が前記分類工程における分類結果と、前記演算工程において算出された前記確度指標とを関連付けて報知出力する出力工程とを実行することを特徴としている。 Further, according to the image classification method of the present invention, there is provided a computer including a learning unit that performs case learning using a teacher image, a classification unit that executes a classification algorithm, and an output unit that performs notification output to a user. In order to achieve the above-described object, the computer classifies the learning means into a plurality of classification categories through case learning using a plurality of teacher images each represented by a plurality of types of feature amounts. For each of the learning step of creating corresponding learning data, and the combination of the plurality of classification categories and the plurality of types of feature quantities, a typical range that is a range of typical values of the feature quantities in the classification category, a typical range setting step of setting based on the result of the learning process, for the image, a feature amount calculating step for calculating a feature quantity of the plurality of kinds, calculator And on the basis of the feature value, a classification step of the classifying means for classifying the image into one of the plurality of classification categories for each of said plurality of kinds of feature amounts calculated for the image, of the feature quantity A determination step of determining whether or not a value is within the typical range of the feature quantity in one calculation target classification category of the plurality of classification categories, and the determination for the number of types of the plurality of types of feature quantities A ratio of the number of types of the feature quantities determined to be within the typical range in the process is calculated, and the value of the ratio is used as an index indicating a high probability that the image should be classified into the calculation target classification category. run a calculation step of a confidence indicator, the classification result in the output unit the classification step, and an output step of the calculated in association with certainty indicator informing outputted in the calculating step of It is characterized in that that.

このように構成された発明では、事例学習の結果に基づいて、画像が当該算出対象分類カテゴリに属する蓋然性が高いかを定量的に示すことができる。そのため、上記した画像分類装置と同様に、分類結果に対する評価や分析において利用しやすい情報をユーザに提供することができる。   In the invention configured as described above, it is possible to quantitatively indicate whether an image has a high probability of belonging to the calculation target classification category based on the result of the case learning. Therefore, as with the image classification device described above, it is possible to provide the user with information that can be easily used in evaluation and analysis on the classification result.

ここで、例えば、複数の分類カテゴリのうち、分類工程において当該画像が分類された分類カテゴリを算出対象分類カテゴリとするようにしてもよい。このようにすると、画像がどの分類カテゴリに分類されたかという分類結果とともに、その分類カテゴリに属する確からしさを定量的に示すことができる。   Here, for example, among the plurality of classification categories, the classification category in which the image is classified in the classification step may be set as the calculation target classification category. In this way, it is possible to quantitatively indicate the probability of belonging to the classification category together with the classification result indicating which classification category the image is classified into.

また、この発明にかかる画像分類方法では、例えば、基板の欠陥を撮像した複数の画像を収集する画像収集工程と、欠陥の種別を表す分類カテゴリごとに、収集された画像の少なくとも1つを当該分類カテゴリに対応する教師画像として設定する教師画像設定工程とをさらに備え、学習工程では、教師画像設定工程で設定された教師画像を用いて事例学習を行うようにしてもよい。   In the image classification method according to the present invention, for example, an image collection step for collecting a plurality of images obtained by imaging a defect on a substrate, and at least one of the collected images for each classification category representing the type of defect A teacher image setting step of setting as a teacher image corresponding to the classification category may be further provided, and in the learning step, case learning may be performed using the teacher image set in the teacher image setting step.

このように構成された発明は、基板の欠陥分類に本発明を適用したものであり、欠陥をその種別に応じて分類するとともに、分類結果の確からしさを確度指標として定量的に提示することができる。   The invention configured as described above applies the present invention to the defect classification of the substrate, and classifies the defects according to the classification, and quantitatively presents the certainty of the classification result as an accuracy index. it can.

この発明によれば、画像がどの分類カテゴリに分類されるかだけでなく、どの分類カテゴリにどの程度の確からしさで分類されるかを示す確度指標が定量的に提示されるので、ユーザにとっての利便性を向上させることができる。また、本発明の確度指標の算出処理は、比較的簡便な演算によって行うことが可能である。   According to the present invention, not only the classification category into which the image is classified, but also the accuracy index that indicates to which classification category and with a certain degree of probability is quantitatively presented. Convenience can be improved. Further, the accuracy index calculation process of the present invention can be performed by a relatively simple calculation.

この発明にかかる画像分類装置の一実施形態としての検査システムの概略構成を示す図である。It is a figure showing a schematic structure of an inspection system as one embodiment of an image classification device concerning this invention. この検査システムにおける自動欠陥分類処理を示すフローチャートである。It is a flowchart which shows the automatic defect classification | category process in this inspection system. この実施形態における学習処理を示すフローチャートである。It is a flowchart which shows the learning process in this embodiment. 典型範囲を説明するための図である。It is a figure for demonstrating a typical range. 確度算出処理の第1の態様を示すフローチャートである。It is a flowchart which shows the 1st aspect of an accuracy calculation process. 図5の処理の処理例を示す図である。It is a figure which shows the process example of the process of FIG. 確度算出処理の第2の態様を示すフローチャートである。It is a flowchart which shows the 2nd aspect of an accuracy calculation process. 図7の処理の処理例を示す図である。It is a figure which shows the process example of the process of FIG. この実施形態における表示内容の例を示す第1の図であるIt is a 1st figure which shows the example of the display content in this embodiment. この実施形態における表示内容の例を示す第2の図である。It is a 2nd figure which shows the example of the display content in this embodiment.

図1はこの発明にかかる画像分類装置の一実施形態としての検査システムの概略構成を示す図である。この検査システム1は、検査対象である半導体基板(以下「基板」という。)Sの外観に現れたピンホールや異物等の欠陥検査を行い、検出された欠陥の自動分類を行う検査システムである。検査システム1は、基板S上の検査対象領域を撮像する撮像装置2と、撮像装置2からの画像データに基づいて欠陥検査を行うとともに欠陥が検出された場合に欠陥が属すべきカテゴリへと欠陥を自動分類(ADC;automatic defect classification)する検査・分類機能および検査システム1の全体動作を制御する機能を有する制御部としてのホストコンピュータ5を有する。撮像装置2は基板Sの製造ラインに組み込まれ、検査システム1はいわゆるインライン型のシステムとなっている。   FIG. 1 is a diagram showing a schematic configuration of an inspection system as an embodiment of an image classification apparatus according to the present invention. This inspection system 1 is an inspection system that performs inspection of defects such as pinholes and foreign matters appearing on the appearance of a semiconductor substrate (hereinafter referred to as “substrate”) S to be inspected, and automatically classifies detected defects. . The inspection system 1 performs the defect inspection based on the image data from the image pickup device 2 and the image pickup device 2 that picks up the inspection target area on the substrate S, and when the defect is detected, the defect belongs to the category to which the defect should belong. And a host computer 5 as a control unit having an inspection / classification function for automatically classifying (ADC) automatic defect classification and a function for controlling the entire operation of the inspection system 1. The imaging device 2 is incorporated in the production line of the substrate S, and the inspection system 1 is a so-called inline system.

撮像装置2は、基板S上の検査対象領域を撮像することにより画像データを取得する撮像部21、基板Sを保持するステージ22、および、撮像部21に対してステージ22を相対的に移動させるステージ駆動部23を有し、撮像部21は、照明光を出射する照明部211、基板Sに照明光を導くとともに基板Sからの光が入射する光学系212、および、光学系212により結像された基板Sの像を電気信号に変換する撮像デバイス213を有する。ステージ駆動部23はボールねじ、ガイドレールおよびモータにより構成され、ホストコンピュータ5に設けられた装置制御部501がステージ駆動部23および撮像部21を制御することにより、基板S上の検査対象領域が撮像される。   The imaging device 2 moves the stage 22 relative to the imaging unit 21 that acquires image data by imaging the inspection target region on the substrate S, the stage 22 that holds the substrate S, and the imaging unit 21. The imaging unit 21 includes a stage driving unit 23, and an imaging unit 21 forms an image by an illumination unit 211 that emits illumination light, an optical system 212 that guides the illumination light to the substrate S and receives light from the substrate S, and an optical system 212. An imaging device 213 that converts the image of the substrate S thus converted into an electrical signal is included. The stage drive unit 23 includes a ball screw, a guide rail, and a motor. The apparatus control unit 501 provided in the host computer 5 controls the stage drive unit 23 and the imaging unit 21, so that the inspection target region on the substrate S is changed. Imaged.

ホストコンピュータ5は、予め読み込まれた制御プログラムを実行することにより、図1に示す各機能ブロックをソフトウェアにより実現する。ホストコンピュータ5は、上記の装置制御部501のほか、欠陥検出部502、欠陥分類部(ADC)503、特徴量算出部504、教示部505、判定部506、演算部507などの各機能ブロックを備えている。さらに、ホストコンピュータ5は、各種データを記憶するための記憶部510、ユーザからの操作入力を受け付けるキーボードおよびマウスなどの入力受付部511および操作手順や処理結果等のユーザ向け視覚情報を表示する表示部512などを備えている。また、図示を省略しているが、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体から情報の読み取りを行う読取装置を有し、検査システム1の他の構成との間で信号を送受信する通信部が、適宜、インターフェイス(I/F)を介する等して接続される。   The host computer 5 implements each functional block shown in FIG. 1 by software by executing a control program read in advance. In addition to the apparatus control unit 501, the host computer 5 includes functional blocks such as a defect detection unit 502, a defect classification unit (ADC) 503, a feature amount calculation unit 504, a teaching unit 505, a determination unit 506, and a calculation unit 507. I have. Further, the host computer 5 displays a storage unit 510 for storing various data, an input receiving unit 511 such as a keyboard and a mouse for receiving operation inputs from the user, and a display for displaying visual information for the user such as operation procedures and processing results. Part 512 and the like. Although not shown in the figure, a reading device for reading information from a computer-readable recording medium such as an optical disk, a magnetic disk, a magneto-optical disk, etc. Are suitably connected via an interface (I / F) or the like.

各機能ブロックの詳細については後に説明するが、ここでは各機能ブロックの機能について簡単に説明しておく。欠陥検出部502は、検査対象領域の画像データを処理しつつ、検査対象領域中の特異な領域を見出すことで欠陥検出を行う。欠陥検出部502が検査対象領域から欠陥を検出すると、欠陥の画像データや検査に利用された各種データが記憶装置510に一時的に保存される。   The details of each functional block will be described later, but here, the function of each functional block will be briefly described. The defect detection unit 502 performs defect detection by finding a unique area in the inspection target area while processing the image data of the inspection target area. When the defect detection unit 502 detects a defect from the inspection target area, image data of the defect and various data used for the inspection are temporarily stored in the storage device 510.

一方、欠陥分類部503は、検出された欠陥をSVM(サポート・ベクタ・マシン;Support Vector Machine)、ニューラルネットワーク、決定木、判別分析等の学習アルゴリズムを利用して分類する処理をソフトウェア的に実行する。特徴量算出部504は、検出された欠陥の画像データに基づいて、当該欠陥を特徴付ける特徴量を算出する。教示部505は欠陥分類部503に上記アルゴリズムを機械学習させるための教示データを与える。   On the other hand, the defect classification unit 503 performs, in software, a process of classifying detected defects using learning algorithms such as SVM (Support Vector Machine), neural network, decision tree, and discriminant analysis. To do. The feature amount calculation unit 504 calculates a feature amount that characterizes the defect based on the image data of the detected defect. A teaching unit 505 gives teaching data for causing the defect classification unit 503 to machine-learn the algorithm.

判定部506および演算部507はそれぞれ、欠陥分類部503によって分類された分類結果の妥当性を示す確度を算出するための処理を行う。具体的には、判定部506は欠陥画像の各特徴量の値が各分類カテゴリに適合するものであるか否かの判定を行う。また演算部507は判定部506の判定結果に基づき確度を算出する。   The determination unit 506 and the calculation unit 507 each perform processing for calculating the accuracy indicating the validity of the classification result classified by the defect classification unit 503. Specifically, the determination unit 506 determines whether or not each feature value of the defect image is appropriate for each classification category. The calculation unit 507 calculates the accuracy based on the determination result of the determination unit 506.

図2はこの検査システムにおける自動欠陥分類処理を示すフローチャートである。この処理は本発明の「画像分類方法」の一実施形態であり、まず検査対象物の画像を取得する(ステップS101)。具体的には、撮像装置2が検査対象となる基板S表面を撮像する。そして、欠陥検出部502は撮像された画像について欠陥検出を行う(ステップS102)。以下では、欠陥を含むとみなされる画像を「欠陥画像」と称することとする。   FIG. 2 is a flowchart showing an automatic defect classification process in this inspection system. This process is an embodiment of the “image classification method” of the present invention. First, an image of the inspection object is acquired (step S101). Specifically, the imaging device 2 images the surface of the substrate S to be inspected. Then, the defect detection unit 502 performs defect detection on the captured image (step S102). Hereinafter, an image regarded as including a defect is referred to as a “defect image”.

欠陥画像が検出されると、欠陥検出部502は検査対象領域の画像(欠陥画像)や検査処理の際に求められたデータ(当該検査対象領域の座標情報、差分画像、参照画像等のデータ)を出力し、これらのデータは欠陥分類部503に送られるほか、記憶部510にも書き込まれる。記憶部510に記憶された画像データに基づいて、特徴量算出部504が当該欠陥画像の特徴量を算出する(ステップS103)。   When the defect image is detected, the defect detection unit 502 displays an image of the inspection target area (defect image) and data obtained at the time of the inspection process (data such as coordinate information of the inspection target area, difference image, reference image, and the like). These data are sent to the defect classification unit 503 and also written to the storage unit 510. Based on the image data stored in the storage unit 510, the feature amount calculation unit 504 calculates the feature amount of the defect image (step S103).

続いて、検出された欠陥の自動分類が欠陥分類部503により行われる(ステップS104)。欠陥分類部503は、機械学習アルゴリズムを実行可能となっており、教示部505から与えられる教師データに基づいて予め行った事例学習の結果に基づいて、欠陥画像の分類を行う。具体的には、特徴量算出部504により求められた欠陥画像の特徴量に基づいて、欠陥の特徴に応じて予め設定されている複数の分類カテゴリのいずれに当該欠陥画像が該当するかを決定する。なお、特徴量とは、画素値を所定の規則にて演算処理することにより得られる値を指し、特徴量の多くは、画像に何らかのフィルタを作用させることにより得られる。例えば、画像の平均輝度、テクスチャ情報、所定の条件を満たす領域の大きさ、抽出されるエッジの量等のように画像の何らかの特徴を示す指標値が特徴量とされる。複数の自己相関フィルタを用いた特徴量を用いてもよい。   Subsequently, the automatic classification of the detected defect is performed by the defect classification unit 503 (step S104). The defect classification unit 503 can execute a machine learning algorithm, and classifies a defect image based on a result of case learning performed in advance based on teacher data given from the teaching unit 505. Specifically, based on the feature amount of the defect image obtained by the feature amount calculation unit 504, it is determined which of the plurality of classification categories set in advance according to the feature of the defect corresponds to the defect image. To do. Note that the feature amount refers to a value obtained by processing the pixel value according to a predetermined rule, and most of the feature amount is obtained by applying some kind of filter to the image. For example, an index value indicating some feature of the image such as the average luminance of the image, texture information, the size of an area satisfying a predetermined condition, the amount of an edge to be extracted, and the like is used as the feature amount. A feature amount using a plurality of autocorrelation filters may be used.

欠陥分類部503により行われた分類の結果については、判定部506および演算部507によってその確度が算出される(ステップS105)。この「確度」は、分類結果の「確からしさ」を定量的に示す指標であり、その値が大きいほど、分類結果の蓋然性が高く信頼できるものであることを表す。   The accuracy of the classification result performed by the defect classification unit 503 is calculated by the determination unit 506 and the calculation unit 507 (step S105). This “accuracy” is an index that quantitatively indicates the “probability” of the classification result. The larger the value, the higher the probability of the classification result and the more reliable it is.

分類の結果と確度の算出結果とは適宜の表示方法により互いに関連付けられて表示部512に表示され(ステップS106)、ユーザに提示される。検査システム1では、欠陥検出部502にて欠陥が検出される毎に図2のステップS103ないしS106に示す動作がリアルタイムにて行われ、欠陥を示す多量の画像の分類が高速に行われる。こうして検出された欠陥画像は対応する分類カテゴリに分類され、その分類結果の確度とともにユーザに提示されてゆく。   The classification result and the accuracy calculation result are displayed on the display unit 512 in association with each other by an appropriate display method (step S106) and presented to the user. In the inspection system 1, every time a defect is detected by the defect detection unit 502, the operations shown in steps S103 to S106 in FIG. 2 are performed in real time, and a large number of images indicating defects are classified at high speed. The defect images thus detected are classified into corresponding classification categories and presented to the user together with the accuracy of the classification results.

次に、欠陥分類部503による学習処理について説明する。この実施形態では、図2の欠陥分類処理に先立って、欠陥分類部503等が以下に説明する学習処理を行う。学習処理では、欠陥の種類に対応する分類カテゴリごとの典型的な欠陥画像についてユーザから教示を受け、そのような欠陥画像の典型例を教師データとして学習を行うことによって、新たに検出された未知の欠陥画像をその特徴に基づいていくつかの分類カテゴリに分類することが可能となっている。   Next, the learning process by the defect classification unit 503 will be described. In this embodiment, prior to the defect classification process of FIG. 2, the defect classification unit 503 and the like perform a learning process described below. In the learning process, a newly detected unknown is obtained by receiving a teaching from a user about a typical defect image for each classification category corresponding to the type of defect and learning as a typical example of such a defect image as teacher data. It is possible to classify the defect image into several classification categories based on the feature.

図3はこの実施形態における学習処理を示すフローチャートである。まず教師データとなる教師画像を取得する(ステップS201)。この画像は、撮像装置2によって例えばサンプル基板を撮像することで新たに取得してもよく、また欠陥画像の典型例としてライブラリ化された画像を外部装置から取り込むものであってもよい。そして、こうして取得した各教師画像の特徴量を、特徴量算出部504により算出する(ステップS202)。   FIG. 3 is a flowchart showing the learning process in this embodiment. First, a teacher image serving as teacher data is acquired (step S201). This image may be newly acquired by, for example, imaging a sample substrate by the imaging device 2, or may be an image obtained from a library as a typical example of a defect image from an external device. Then, the feature amount of each teacher image acquired in this way is calculated by the feature amount calculation unit 504 (step S202).

次に、欠陥画像を何通りの、またどのような分類カテゴリに分類するかをユーザに設定入力させ、教示部505はそれらに対応する分類カテゴリを作成する。そして、検出された欠陥画像を順次表示部512に表示させて、表示された欠陥がどの分類カテゴリに分類されるべきものかについてのユーザの教示入力を受け付ける(ステップS203)。教示入力により各分類カテゴリごとに少なくとも1つの欠陥画像が指定されると、教示部505は、その教示入力結果と各欠陥画像の特徴量とを欠陥分類部503に与え、欠陥分類部503はこれらに基づく学習作業を行う(ステップS204)。この際の学習プロセスとしては、例えばSVM(Support Vector Machine)や判別分析法、ニューラルネットワークによるものなど、公知のものを適用することができる。   Next, the user is caused to set and input how many and what classification categories the defect image is classified into, and the teaching unit 505 creates classification categories corresponding to them. Then, the detected defect images are sequentially displayed on the display unit 512, and a user's teaching input as to which classification category the displayed defects should be classified is received (step S203). When at least one defect image is designated for each classification category by the teaching input, the teaching unit 505 gives the teaching input result and the feature amount of each defect image to the defect classification unit 503, and the defect classification unit 503 A learning operation based on the above is performed (step S204). As a learning process at this time, for example, a well-known process such as an SVM (Support Vector Machine), a discriminant analysis method, or a neural network can be applied.

なお、こうして事例学習を行った結果に基づいて画像を分類すると、新たに提示される未知の欠陥画像についてもその特徴量の値に基づきいずれかの分類カテゴリへ分類することが可能となる。しかしながら、処理対象となる画像はそれぞれ異なった内容を有するものである。そのため、中には特徴が曖昧でどの分類カテゴリに属すべきものかが明確でないものや、既知の分類カテゴリのいずれとも大きく異なる特徴を有する新たな欠陥が含まれるもの等もあり、これらに起因する誤分類が不可避的に生じうる。   If the images are classified based on the result of the case learning in this way, it is possible to classify a newly presented unknown defect image into one of the classification categories based on the feature value. However, the images to be processed have different contents. For this reason, some of the features are ambiguous and it is not clear which classification category should belong to, and some of them contain new defects with features that are significantly different from any of the known classification categories. Misclassification can inevitably occur.

また、分類のためのアルゴリズムの検証や、ユーザが教師画像に対して付与した分類カテゴリ自体の妥当性を評価する必要がある場合もある。このため、分類結果とともにその確からしさが提示されると、ユーザにとっては便宜である。しかしながら、上記の分類方法では各画像がどの分類カテゴリに分類されたかについての結果が提示されるものの、その分類がどの程度確かなものであるかについては提示されない。   In some cases, it is necessary to verify an algorithm for classification or to evaluate the validity of a classification category itself given to a teacher image by a user. For this reason, it is convenient for the user if the certainty is presented together with the classification result. However, although the above classification method presents a result as to which classification category each image is classified into, it does not present how reliable the classification is.

そのため、このような確からしさ(確度)を検証するための方法として、例えば教師データの部分集合を使って生成した比較的高精度の学習器の多数決を採るなどの方法が試みられているが、このような高精度の学習器を複数構成するのには複雑な演算処理と膨大な時間が必要となり、実用化されるには至っていない。一方、この実施形態では、後述するように、より簡便な方法で分類結果の確度を定量的に表せるようにしている。   Therefore, as a method for verifying such a certainty (accuracy), for example, a method such as taking a majority vote of relatively high-precision learners generated using a subset of teacher data has been tried. In order to construct a plurality of such high-accuracy learners, complicated arithmetic processing and enormous time are required, and it has not been put into practical use. On the other hand, in this embodiment, as will be described later, the accuracy of the classification result can be expressed quantitatively by a simpler method.

これを可能とするために、事例学習の段階では、続いて後の確度算出に用いられる情報を算出する。具体的には、各分類カテゴリの各特徴量のそれぞれについて、当該カテゴリに属すると教示された各教師画像の有する当該特徴量の値の平均値と分散とを算出する(ステップS205)。分類カテゴリがM種類、特徴量がN種類ある場合、分類カテゴリと特徴量との組み合わせは(M×N)通りあり、これらの全ての組について、平均値と分散とが算出される。本実施形態の説明において示す例では、分類カテゴリを4種類(カテゴリA〜D)、特徴量の種類を8種類(V1〜V8)とするので、この場合は32組の数値が算出される。   In order to make this possible, in the case learning stage, information used for subsequent accuracy calculation is calculated. Specifically, for each feature quantity of each classification category, an average value and a variance of the feature quantity values of each teacher image taught to belong to the category are calculated (step S205). When there are M classification categories and N feature quantities, there are (M × N) combinations of classification categories and feature quantities, and the average value and variance are calculated for all of these combinations. In the example shown in the description of the present embodiment, there are four classification categories (categories A to D) and eight types of feature quantities (V1 to V8). In this case, 32 sets of numerical values are calculated.

そして、これらの組における各平均値を中心として大小方向にその標準偏差σの3倍までの数値範囲を、当該組の「典型範囲」として設定し記憶部510に記憶保存する(ステップS206)。詳しくは次に説明するが、この典型範囲は、当該分類カテゴリの特徴を有する典型的な画像において当該特徴量が示すであろう値の範囲を示すものである。つまり、ある画像の特徴量の値が1つのカテゴリにおける典型範囲内に含まれるとき、その画像は当該カテゴリの典型的な特徴を有するものであると言うことができる。逆に特徴量の値が典型範囲から離れているとき、当該特徴量により表現される特徴がその画像には明瞭に現れていないということが示唆される。   Then, a numerical range up to three times the standard deviation σ in the magnitude direction is set as the “typical range” of the set, centering on each average value in these sets, and stored in the storage unit 510 (step S206). As will be described in detail below, this typical range indicates a range of values that the feature amount will show in a typical image having the features of the classification category. That is, when the value of the feature amount of a certain image is included in the typical range in one category, it can be said that the image has typical features of the category. Conversely, when the value of the feature value is far from the typical range, it is suggested that the feature represented by the feature value does not appear clearly in the image.

ここまで述べたような事例学習を行うことによって、未分類の新たな欠陥画像に対して学習結果を用いた分類を行うことが可能となる。また、分類カテゴリごとに、各特徴量の典型範囲を設定することで、分類結果の妥当性を示す確度を算出することが可能となる。   By performing the case learning as described above, it is possible to perform classification using a learning result for a new defect image that has not been classified. In addition, by setting a typical range of each feature amount for each classification category, it is possible to calculate the accuracy indicating the validity of the classification result.

図4は典型範囲を説明するための図である。ここでは原理の理解を容易にするために2種の特徴量V1、V2のみを考慮した2次元の特徴量平面を用いて説明するが、実際の概念はこの基本原理を特徴量の種類数を次元とする超空間(特徴量空間)に拡張したものである。図は2つの特徴量V1、V2をそれぞれ座標軸とする平面内に、特徴量の値(V1,V2)を該座標平面内における座標値とみなして各教師画像をプロットしたものである。白丸印はカテゴリAに属すると教示された教師画像を、黒丸印はカテゴリBに属すると教示された教師画像をそれぞれ示している。同一カテゴリに属する画像は共通の特徴を有するので、平面上において比較的近接した位置に分布する。   FIG. 4 is a diagram for explaining a typical range. Here, in order to facilitate the understanding of the principle, a two-dimensional feature plane that takes into account only two types of feature quantities V1 and V2 will be described. However, the actual concept is based on the number of types of feature quantities. It is an extension to a super space (feature space) as a dimension. In the figure, each teacher image is plotted in a plane having two feature amounts V1 and V2 as coordinate axes, with the feature value (V1, V2) being regarded as a coordinate value in the coordinate plane. White circles indicate teacher images taught to belong to category A, and black circles indicate teacher images taught to belong to category B. Since images belonging to the same category have common features, they are distributed at relatively close positions on a plane.

カテゴリAに属する各教師画像の特徴量V1の平均値をV1aavgとし、その標準偏差をσ1aとする。このとき、平均値V1aavgを中心とする±3σ1aの範囲、すなわちV1amin(=V1aavg−3σ1a)ないしV1amax(=V1aavg+3σ1a)の範囲が、カテゴリAと特徴量V1との組み合わせにおける「典型範囲」である。同様に、カテゴリAと特徴量V2との組み合わせにおける典型範囲は、同カテゴリに属する各教師画像の特徴量V2の平均値V2aavgを中心とするV2aminないしV2amaxの範囲である。平均値(V1aavg,V2aavg)により表される座標位置(図において×印で示す)が当該カテゴリAの「中心」に相当する。   The average value of the feature values V1 of the teacher images belonging to category A is V1aavg, and its standard deviation is σ1a. At this time, a range of ± 3σ1a centered on the average value V1aavg, that is, a range of V1amin (= V1aavg−3σ1a) to V1amax (= V1aavg + 3σ1a) is a “typical range” in the combination of the category A and the feature amount V1. Similarly, the typical range in the combination of the category A and the feature amount V2 is a range from V2amin to V2amax centered on the average value V2aavg of the feature amounts V2 of the teacher images belonging to the category. The coordinate position (indicated by x in the figure) represented by the average value (V1aavg, V2aavg) corresponds to the “center” of the category A.

また、カテゴリBと特徴量V1との組み合わせにおける典型範囲は平均値V1bavgを中心とするV1bminないしV1bmaxの範囲であり、カテゴリBと特徴量V2との組み合わせにおける典型範囲は平均値V2bavgを中心とするV2bminないしV2bmaxの範囲である。   The typical range in the combination of the category B and the feature amount V1 is a range of V1bmin to V1bmax centered on the average value V1bavg, and the typical range in the combination of the category B and the feature amount V2 is centered on the average value V2bavg. It is in the range of V2bmin to V2bmax.

このように分類カテゴリごとに典型範囲を設定すると、当該カテゴリに対応する特徴が顕著な欠陥画像では、その特徴量の値が当該カテゴリの典型範囲内に入る蓋然性が高いと言える。例えばカテゴリAに分類すべき画像の多くは、それぞれ座標(V1amin,V2amin)、(V1amax,V2amax)で表される2点を結ぶ線分を対角線とする矩形の領域TRa内に分布すると予想される。またカテゴリBに分類すべき画像は、それぞれ座標(V1bmin,V2bmin)、(V1bmax,V2bmax)で表される2点を結ぶ線分を対角線とする矩形の領域TRb内に多くが分布すると予想される。特に典型範囲の広がりを平均値を中心とした標準偏差の3倍までとすることで、統計的には99%以上の画像が典型範囲に入るということができる。   When a typical range is set for each classification category in this way, it can be said that a defect image having a remarkable feature corresponding to the category has a high probability that the value of the feature amount falls within the typical range of the category. For example, most of the images to be classified into category A are expected to be distributed in a rectangular area TRa having a diagonal line connecting two points represented by coordinates (V1amin, V2amin) and (V1amax, V2amax). . Further, it is expected that many images to be classified into category B are distributed in a rectangular region TRb whose diagonal is a line connecting two points represented by coordinates (V1bmin, V2bmin) and (V1bmax, V2bmax). . In particular, by making the spread of the typical range up to three times the standard deviation centered on the average value, it can be statistically said that 99% or more of images fall within the typical range.

したがって、ある欠陥画像がいずれかの分類カテゴリに分類されたとき、その欠陥画像を表す複数種の特徴量のうち、当該カテゴリの各特徴量について設定された典型範囲内に入るものが多いほど、その画像が当該カテゴリに属する蓋然性が高い、つまり分類結果の妥当性が高いということができる。上記のような原理に基づき、この実施形態では次のようにして分類結果の確度を算出する。   Therefore, when a certain defect image is classified into one of the classification categories, the more the number of types of feature amounts representing the defect image, the more within the typical range set for each feature amount of the category, It can be said that the probability that the image belongs to the category is high, that is, the validity of the classification result is high. Based on the above principle, in this embodiment, the accuracy of the classification result is calculated as follows.

図5はこの実施形態における確度算出処理の第1の態様を示すフローチャートである。また、図6はその処理例を示す図である。図5は、図2のステップS105に示した処理内容をより具体的に記述したものである。ここでは、新たな欠陥画像Xについて分類を行った結果、カテゴリAに分類されたケースを想定する。まずV1〜V8で表される特徴量Vnを区別するための内部パラメータnの値を0にリセットし(ステップS301)、その値nを1つインクリメントしてから(ステップS302)、確度算出対象とする欠陥画像X(算出対象画像)に対応する1つの特徴量Vn(ここではV1)を選択する(ステップS303)。判定部506は、その特徴量Vnの値を、確度を算出すべき分類結果、すなわちカテゴリA(算出対象分類カテゴリ)についての当該特徴量Vnの典型範囲と比較判定する(ステップS304)。   FIG. 5 is a flowchart showing a first mode of the accuracy calculation processing in this embodiment. FIG. 6 is a diagram showing an example of the processing. FIG. 5 more specifically describes the processing content shown in step S105 of FIG. Here, it is assumed that a new defect image X has been classified into category A as a result of classification. First, the value of the internal parameter n for distinguishing the feature value Vn represented by V1 to V8 is reset to 0 (step S301), the value n is incremented by 1 (step S302), and the accuracy calculation target is determined. One feature quantity Vn (here, V1) corresponding to the defect image X (calculation target image) to be selected is selected (step S303). The determination unit 506 compares the value of the feature value Vn with the typical range of the feature value Vn for the classification result for which the accuracy is to be calculated, that is, the category A (calculation target classification category) (step S304).

判定部506は、画像Xの特徴量Vnの値がカテゴリAにおける当該特徴量Vnの典型範囲内にあれば当該分類カテゴリへの「投票」を行う一方、典型範囲外であれば投票しない。(ステップS305、S306)。ステップS302ないしS306の処理をn=8になるまで繰り返し(ステップS307)、全種類の特徴量について同様の比較を行う。   The determination unit 506 performs “voting” on the classification category if the value of the feature value Vn of the image X is within the typical range of the feature value Vn in the category A, but does not vote if the value is outside the typical range. (Steps S305 and S306). The processing in steps S302 to S306 is repeated until n = 8 (step S307), and the same comparison is performed for all types of feature amounts.

ここでは、特徴量の値が典型範囲に該当するか否かを判定し、該当するものが1つある度にその数をカウントしてゆく作業を「投票」と称している。図6の例において「○」印は投票を行い、「×」印は投票を行わなかったことを示している。すなわち、算出対象画像(X)と分類結果(カテゴリA)との組み合わせにおいては、画像Xの特徴量V1の値はカテゴリAにおけるその典型範囲(V1amin〜V1amax)内にあったものとする。同様に、特徴量V2(典型範囲:V2amin〜V2amax)、V4(典型範囲:V4amin〜V4amax)、V5(典型範囲:V5amin〜V5amax)、V7(典型範囲:V7amin〜V7amax)、V8(典型範囲:V8amin〜V8amax)についても、それぞれ画像Xの特徴量値が典型範囲内にあったものとする。これらについては投票が行われる。   Here, the operation of determining whether or not the value of the feature value falls within the typical range and counting the number of the corresponding items every time there is one is called “voting”. In the example of FIG. 6, “◯” indicates that voting is performed, and “X” indicates that voting is not performed. That is, in the combination of the calculation target image (X) and the classification result (category A), it is assumed that the value of the feature amount V1 of the image X is within its typical range (V1amin to V1amax) in the category A. Similarly, feature amounts V2 (typical range: V2amin to V2amax), V4 (typical range: V4amin to V4amax), V5 (typical range: V5amin to V5amax), V7 (typical range: V7amin to V7amax), V8 (typical range: As for V8amin to V8amax), it is assumed that the feature value of the image X is within the typical range. Voting will be held for these.

一方、特徴量V3(典型範囲:V3amin〜V3amax)、V6(典型範囲:V6amin〜V6amax)については、画像Xの特徴量の値が典型範囲外であるとして投票は行われなかったとする。   On the other hand, for the feature amounts V3 (typical range: V3amin to V3amax) and V6 (typical range: V6amin to V6amax), it is assumed that the voting is not performed because the value of the feature amount of the image X is outside the typical range.

このような例においては、8種の特徴量のうち6種で投票が行われ、その結果としての得票数は6となる。この結果は、8種の特徴量のうち6種までが分類結果を支持していることを意味しており、当該画像XをカテゴリAに分類した今回の分類結果の妥当性が高いと言える。このように、複数の特徴量のうち何種において投票が行われたか、つまり特徴量の数に対する得票数の比をもって、分類結果の妥当性を定量的に表すことが可能である。   In such an example, voting is performed with six of the eight feature quantities, and the resulting number of votes is six. This result means that up to 6 out of the 8 types of feature quantities support the classification result, and it can be said that the classification result of this time when the image X is classified into the category A is high. In this way, the validity of the classification result can be quantitatively expressed by the number of types of the plurality of feature quantities that have been voted, that is, the ratio of the number of votes obtained to the number of feature quantities.

そこで、演算部507は、判定部506による得票数(この例では6)の、特徴量の総数(この例では8)に対する比(この例では6/8)を算出し、これを当該分類結果の確度として出力する(ステップS308)。ユーザが結果を直感的に把握することができるように、確度は例えば%表示とするのが好ましい。この例では、66.7%(小数点以下第2位を四捨五入)という確度が得られる。   Therefore, the calculation unit 507 calculates the ratio (6/8 in this example) of the number of votes obtained by the determination unit 506 (6 in this example) to the total number of feature amounts (8 in this example), and this is the classification result. Is output as the accuracy (step S308). The accuracy is preferably displayed in%, for example, so that the user can intuitively grasp the result. In this example, an accuracy of 66.7% (rounded off to the second decimal place) is obtained.

このように、分類結果の確度が比較的高い場合にはその分類結果は妥当なものと言えるが、画像によっては、欠陥分類部503が分類したカテゴリの確度が低い(例えば50%未満)場合もあり得る。したがって、単に分類結果だけでなくその確度が提示されることで、ユーザは分類結果がどの程度信頼してよいかを把握して、必要に応じて分類を再検証する等の対応を取ることが可能となる。   As described above, when the accuracy of the classification result is relatively high, it can be said that the classification result is appropriate. However, depending on the image, the accuracy of the category classified by the defect classification unit 503 may be low (for example, less than 50%). possible. Therefore, not only the classification result but also its accuracy is presented, so that the user can grasp how much the classification result can be trusted and take measures such as re-verifying the classification as necessary. It becomes possible.

上記した第1の態様の確度算出処理では、画像の分類アルゴリズムについては特に制約がない。すなわち、任意の分類方法で行われた分類結果に対して、上記した分類結果についての確度算出処理を適用することが可能である。一方、本願出願人が先に開示した特許文献2(特開2010−091401号公報)に記載の分類方法と本発明にかかる確度算出処理とを組み合わせた場合、演算過程の共通化により処理の大幅な簡素化が可能である。このようにした場合の確度算出処理について、次に説明する。   In the accuracy calculation process of the first aspect described above, there is no particular restriction on the image classification algorithm. That is, it is possible to apply the accuracy calculation processing for the classification result described above to the classification result performed by an arbitrary classification method. On the other hand, when the classification method described in Patent Document 2 (Japanese Patent Laid-Open No. 2010-091401) previously disclosed by the applicant of the present application and the accuracy calculation processing according to the present invention are combined, the processing is greatly increased by sharing the calculation process. Simplification is possible. The accuracy calculation process in such a case will be described next.

図7はこの実施形態における確度算出処理の第2の態様を示すフローチャートである。また、図8はその処理例を示す図である。この処理では、図2にステップS104として記載した欠陥画像の分類と、ステップS105として記載した確度の算出とを平行して行う。すなわち、この処理の開始時点で分類結果は確定しておらず、全ての分類カテゴリについて上記した「投票」作業を行う。   FIG. 7 is a flowchart showing a second mode of the accuracy calculation processing in this embodiment. FIG. 8 is a diagram showing an example of the processing. In this process, the defect image classification described as step S104 in FIG. 2 and the accuracy calculation described as step S105 are performed in parallel. That is, the classification result is not fixed at the start of this process, and the above-described “voting” work is performed for all classification categories.

最初に、複数種の分類カテゴリから1つを選択する(ステップS401)。続くステップS402ないしS408は、第1の態様におけるステップS301ないしS307と同様の処理である。すなわち、内部パラメータnの値をリセットしてから(ステップS402)、その値を1つずつインクリメントしながら(ステップS403)、算出対象画像Xの特徴量Vnと先に選択された分類カテゴリにおける当該特徴量の典型範囲とを比較して(ステップS404、S405)、典型範囲内であれば当該分類カテゴリに投票を行う(ステップS406、S407)、という処理を全ての特徴量V1〜V8について行う(ステップS408)。   First, one is selected from a plurality of classification categories (step S401). Subsequent steps S402 to S408 are the same processes as steps S301 to S307 in the first mode. That is, after resetting the value of the internal parameter n (step S402), the value is incremented by 1 (step S403), and the feature amount Vn of the calculation target image X and the feature in the previously selected classification category. A comparison is made with the typical range of quantities (steps S404 and S405), and if it is within the typical range, a vote is performed for the classification category (steps S406 and S407) for all feature quantities V1 to V8 (steps). S408).

上記を全ての分類カテゴリについて繰り返すと(ステップS409)、4種の分類カテゴリA〜Dおよび8種の特徴量V1〜V8の全ての組み合わせについて判定が行われることになる。その結果の一例を図8に示すが、図6に示したものと同じ例であって、図6は図8に示す結果のうちカテゴリAに関する結果のみを抽出したものに相当する。図8においても、「○」は画像Xの特徴量の値が典型範囲内にあって投票が行われたことを示し、「×」は典型範囲外であったことを示す。   When the above is repeated for all the classification categories (step S409), determination is made for all combinations of the four classification categories A to D and the eight characteristic quantities V1 to V8. An example of the result is shown in FIG. 8, which is the same example as that shown in FIG. 6, and FIG. 6 corresponds to the result shown in FIG. Also in FIG. 8, “◯” indicates that the value of the feature amount of the image X is within the typical range and voting is performed, and “X” indicates that the value is out of the typical range.

前記したように、1つの分類カテゴリに対する得票数(○の数)が多いほど、画像Xが当該分類カテゴリに属する蓋然性が高いと考えられる。図8の例では、カテゴリA、B、CおよびDの得票数がそれぞれ6、2、3および1であるから、当該画像Xは最も得票数の多いカテゴリAに分類されるのが妥当と考えられる。すなわち、欠陥分類部503は判定部506による判定の結果、最も得票数の多い分類カテゴリに画像Xを分類する(ステップS410)。   As described above, it is considered that the probability that the image X belongs to the classification category is higher as the number of votes (number of ◯) for one classification category is larger. In the example of FIG. 8, the number of votes for categories A, B, C, and D is 6, 2, 3, and 1, respectively. Therefore, it is considered appropriate to classify the image X into category A with the largest number of votes. It is done. That is, the defect classification unit 503 classifies the image X into the classification category having the largest number of votes as a result of the determination by the determination unit 506 (step S410).

また、第1の態様と同様に、分類されたカテゴリにおける得票数の特徴量数に対する比を分類結果の確度とすることができるが(ステップS411)、この場合、分類されなかったカテゴリ(すなわちカテゴリB、C、D)についても得票数が判っているので、図8に示すように、それぞれその確度を算出することが可能である。   Similarly to the first aspect, the ratio of the number of votes to the number of features in the classified category can be used as the accuracy of the classification result (step S411). In this case, the category that is not classified (that is, the category) Since the number of votes is also known for B, C, and D), it is possible to calculate the accuracy of each as shown in FIG.

このようにすると、分類結果の妥当性だけでなく、当該画像が他の分類カテゴリに対してどの程度類似しているかが定量的に示されるので、例えば画像の撮像条件や教師画像へのカテゴリ付与、分類アルゴリズム等の妥当性を検証する等の場合に参考情報として役立てることが可能である。   In this way, not only the validity of the classification result, but also how much the image is similar to other classification categories is quantitatively shown. For example, the imaging conditions of the image and the category assignment to the teacher image It can be used as reference information in the case of verifying the validity of a classification algorithm or the like.

なお、本実施形態のような判定演算は、最近傍法による自動欠陥分類のアルゴリズムと似ているが、両者は以下の点で相違している。すなわち、最近傍法では特徴量空間における分類カテゴリの分布中心からの距離を当該分類カテゴリ内の分散で正規化したマハラノビス距離を用いて演算を行うため、高次の演算が必要である。また、判定にほとんど影響しない特徴量まで演算に含まれるため、特に特徴量の種類が多くなると処理時間が長大となる。これを回避するためには、事前に例えば分散分析によって判定に影響しない特徴量を排除しておく必要がある。   The determination calculation as in the present embodiment is similar to the automatic defect classification algorithm based on the nearest neighbor method, but both are different in the following points. That is, in the nearest neighbor method, since the calculation is performed using the Mahalanobis distance obtained by normalizing the distance from the distribution center of the classification category in the feature amount space by the variance in the classification category, a high-order calculation is necessary. In addition, since feature quantities that hardly affect the determination are included in the calculation, the processing time becomes long especially when the types of feature quantities increase. In order to avoid this, it is necessary to eliminate in advance the feature quantity that does not affect the determination by, for example, analysis of variance.

これに対し、本実施形態では各特徴量ごとの典型範囲との個別比較という処理で済むため、正規化処理や高次の演算が不要であり、短時間での処理が可能となっている。また、典型範囲から外れた特徴量が「投票」という処理で除外されるため、判定への影響の少ない特徴量が自動的に排除されることとなる。このように、この実施形態における確度算出処理では、簡素な演算処理によってユーザに有用な情報を算出することが可能である。   On the other hand, in the present embodiment, since the processing of individual comparison with the typical range for each feature amount is sufficient, normalization processing and higher-order calculations are unnecessary, and processing in a short time is possible. In addition, since feature quantities that deviate from the typical range are excluded by the process of “voting”, feature quantities that have little influence on determination are automatically excluded. Thus, in the accuracy calculation process in this embodiment, it is possible to calculate information useful to the user by a simple calculation process.

図9および図10はこの実施形態における表示内容の例を示す図である。より具体的には、図2のステップS106において表示部512に表示する画像内容の例を示す図である。図9は、図3に示す学習処理を行った上で該学習に用いた教師画像について再分類を行った結果を示している。   9 and 10 are diagrams showing examples of display contents in this embodiment. More specifically, FIG. 3 is a diagram illustrating an example of image content displayed on the display unit 512 in step S106 of FIG. FIG. 9 shows the result of performing the reclassification on the teacher image used for the learning after performing the learning process shown in FIG.

この例では、欠陥の分類カテゴリとして、「異物」、「不良黒」、「気泡」および「不良白」の4種類を用意し、図3に示す処理で教師画像に対するカテゴリ教示および事例学習を行う。そして、学習結果に基づく図2に示す処理によって、与えられた教師画像を改めて分類する作業を行っている。分類および確度算出については、図7に示す、全ての分類カテゴリについて角度を算出する処理を採用している。   In this example, four types of “foreign matter”, “defective black”, “bubble”, and “defective white” are prepared as defect classification categories, and category teaching and case learning for the teacher image are performed by the processing shown in FIG. . And the operation | work which classifies the given teacher image anew by the process shown in FIG. 2 based on a learning result is performed. As for classification and accuracy calculation, a process of calculating angles for all classification categories shown in FIG. 7 is adopted.

図において符号Aを付した枠内に示すように、使用されたそれぞれの教師画像には、画像ファイル名、ユーザによる教示作業で教示された分類カテゴリ、および、学習結果に基づき欠陥分類部503が再分類した分類結果が付されて表示される。符号Aの例は、当該教師画像についてユーザにより教示された分類カテゴリと欠陥分類部(ADC)503が再分類した分類結果とがともに「異物」カテゴリであったことを示している。   As shown in the frame labeled A in the figure, each used teacher image has a defect classification unit 503 based on the image file name, the classification category taught in the teaching work by the user, and the learning result. The reclassified classification result is added and displayed. The example of symbol A indicates that both the classification category taught by the user for the teacher image and the classification result reclassified by the defect classification unit (ADC) 503 are the “foreign matter” category.

一方、符号Bで示す例では、ユーザにより教示された欠陥が「気泡」カテゴリであったのに対して、欠陥分類部503が再分類した分類結果は「不良黒」であったことを示している。例えば教師画像についてのユーザの教示内容が不適切であった場合などに、このように教示結果と分類結果とが一致しないケースが生じる。   On the other hand, in the example indicated by the symbol B, the defect taught by the user is in the “bubble” category, whereas the classification result reclassified by the defect classification unit 503 is “bad black”. Yes. For example, when the teaching content of the user regarding the teacher image is inappropriate, there is a case where the teaching result and the classification result do not coincide with each other.

ここで、符号Cで示すように、カーソルをある教師画像に重ねると、当該画像について求められた各分類カテゴリごとの確度が表示される。この例では、各カテゴリごとの確度の値が図示された通りのものであり、そのうち最も確度の大きい「不良黒」カテゴリが欠陥分類部503による分類結果となっている。ただし、「異物」カテゴリにおける確度との差があまり大きくないことから、教師画像の収集や教示作業の仕方によっては「異物」カテゴリに分類されるケースもあり得る。   Here, as indicated by reference symbol C, when the cursor is superimposed on a certain teacher image, the accuracy for each classification category obtained for the image is displayed. In this example, the accuracy value for each category is as shown in the figure, and the “defective black” category having the highest accuracy is the classification result by the defect classification unit 503. However, since the difference with the accuracy in the “foreign matter” category is not so large, there is a case where it is classified into the “foreign matter” category depending on how teacher images are collected or taught.

なお、本実施形態における各分類カテゴリの確度は、欠陥画像がその分類カテゴリに属する蓋然性の高さを分類カテゴリごとの個別演算により数値として示すものであって、画像が各分類カテゴリに属する確率を表すものではない。この意味において、各分類カテゴリの確度を合計しても必ずしも100%にはならない。したがって、例えば2つ以上の分類カテゴリの特徴をいずれも具備する画像であれば確度の合計は100%を超えることがある一方、いずれの分類カテゴリの特徴とも類似しない画像であれば確度の合計は100%を大きく下回ることもある。このような数値が全て提示されることで、ユーザは分類結果がどの程度信じてよいかを把握することができ、例えば複数種類の欠陥が複合的に現れた画像や、既知の分類カテゴリのいずれにも属さない新たな欠陥を含む画像等を発見しやすくなる。   The accuracy of each classification category in the present embodiment indicates the probability that the defect image belongs to the classification category as a numerical value by individual calculation for each classification category, and the probability that the image belongs to each classification category. It does not represent. In this sense, even if the accuracy of each classification category is summed, it does not necessarily become 100%. Thus, for example, if the image has both features of two or more classification categories, the total accuracy may exceed 100%, whereas if the image does not resemble any of the classification category features, the total accuracy is It can be much less than 100%. By presenting all such numerical values, the user can grasp how much the classification result can be believed, for example, an image in which multiple types of defects appear in combination or a known classification category. This makes it easier to find images that contain new defects that do not belong to any of them.

また、符号Dで示す領域には、多数の教師画像についての教示および分類結果の集計結果が表示されている。このような表示により、教師画像のサンプル数やそのうち教示内容と分類結果とが一致したもの、一致しなかったものがどの程度あったか等の状況が把握しやすくなる。   In the area indicated by the symbol D, teaching and classification results for a large number of teacher images are displayed. Such a display makes it easy to grasp the number of samples of the teacher image, the situation in which the teaching content and the classification result coincide with each other, and the extent of the inconsistency.

このように、各画像について分類結果とともに各分類カテゴリごとの確度を表示させることにより、画像を分類するためのプロセス自体の評価を行うことが可能となり、したがってこのような表示は分類アルゴリズムや教示作業の最適化を図る際に、特に有用である。   In this way, by displaying the accuracy of each classification category together with the classification result for each image, it is possible to evaluate the process itself for classifying the image. This is particularly useful when optimizing the above.

これに対し図10は、こうして最適化された分類処理により実際に基板の評価(欠陥検出および分類)を行ったときの結果を示している。画面上部中央には、基板上で検出された欠陥の分布状況が表示されている。画面下部には検出された欠陥についてのより詳細な情報が表示されており、例えば符号Aで示す枠内には、検出された欠陥画像それぞれを識別するために付されたID番号が表示される。また符号Bで示す枠内には、当該欠陥画像の分類結果とその分類結果の確度とが表示されている。この場合の確度算出は、図5に示した処理によって行われる。   On the other hand, FIG. 10 shows a result when the evaluation (defect detection and classification) of the substrate is actually performed by the classification process thus optimized. In the upper center of the screen, the distribution status of defects detected on the substrate is displayed. More detailed information about the detected defect is displayed at the bottom of the screen. For example, an ID number assigned to identify each detected defect image is displayed in a frame indicated by reference symbol A. . Further, in the frame indicated by the symbol B, the classification result of the defect image and the accuracy of the classification result are displayed. The accuracy calculation in this case is performed by the processing shown in FIG.

このような表示を行うことによって、ユーザにとっては、検出された欠陥の種類やその分布状況が判るだけでなく、それぞれの欠陥画像の分類結果の確度が示されることで、分類の妥当性や誤検出の有無、未知の新たな欠陥の存在の可能性等を容易に認識することが可能となる。この場合、ユーザの関心は主として当該画像の分類結果とその確からしさにあるから、基本画面では該当する分類カテゴリについてのみ確度を表示し、非該当の分類カテゴリの確度についてはユーザからの要求操作があったときに表示することができるようにするのが好ましい。   By performing such display, the user not only knows the type of defect detected and its distribution, but also shows the accuracy of the classification result of each defect image, so that the validity and error of classification can be shown. It is possible to easily recognize the presence / absence of detection, the possibility of the existence of an unknown new defect, and the like. In this case, since the user's interest is mainly in the classification result of the image and its certainty, the accuracy is displayed only for the corresponding classification category on the basic screen, and the user's request operation is performed for the accuracy of the non-corresponding classification category. It is preferable to be able to display when there is.

以上説明したように、この実施形態では、撮像装置2が本発明の「撮像手段」として機能している。また、この実施形態では、特徴量算出部504および欠陥分類部503がそれぞれ本発明の「特徴量算出手段」および「分類手段」として機能している。また、教示部505と欠陥分類部503とが一体として本発明の「学習手段」として機能している。また、判定部506、演算部507および記憶部510が一体として、本発明の「確度算出手段」として機能する一方、表示部512が本発明の「出力手段」として機能している。また確度算出手段により算出される確度が、本発明の「確度指標」に相当している。   As described above, in this embodiment, the imaging device 2 functions as the “imaging unit” of the present invention. In this embodiment, the feature amount calculation unit 504 and the defect classification unit 503 function as the “feature amount calculation unit” and the “classification unit” of the present invention, respectively. In addition, the teaching unit 505 and the defect classification unit 503 function as a “learning unit” of the present invention. Further, the determination unit 506, the calculation unit 507, and the storage unit 510 together function as the “accuracy calculation unit” of the present invention, while the display unit 512 functions as the “output unit” of the present invention. Further, the accuracy calculated by the accuracy calculation means corresponds to the “accuracy index” of the present invention.

また、本実施形態においては、図2のステップS103、S104およびS106がそれぞれ本発明の「特徴量算出工程」、「分類工程」および「出力工程」に相当している。また、図3のステップS201、S202、S204およびS206がそれぞれ本発明の「画像収集工程」、「教師画像設定工程」、「学習工程」および「典型範囲設定工程」に相当している。また、図5のステップS304およびS308がそれぞれ本発明の「判定工程」および「演算工程」に相当している。   In the present embodiment, steps S103, S104, and S106 in FIG. 2 correspond to the “feature amount calculation step”, “classification step”, and “output step” of the present invention, respectively. Also, steps S201, S202, S204, and S206 in FIG. 3 correspond to the “image collection process”, “teacher image setting process”, “learning process”, and “typical range setting process” of the present invention, respectively. Further, steps S304 and S308 in FIG. 5 correspond to the “determination step” and “calculation step” of the present invention, respectively.

また、図5の確度算出処理においては、分類の結果によって画像が分類された分類カテゴリだけが本発明の「算出対象分類カテゴリ」に相当する一方、図7の確度算出処理においては全ての分類カテゴリが「算出対象分類カテゴリ」に相当している。   Further, in the accuracy calculation process of FIG. 5, only the classification category in which the image is classified according to the classification result corresponds to the “calculation target classification category” of the present invention, while in the accuracy calculation process of FIG. Corresponds to the “calculation target classification category”.

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記した表示画面は単なる1つの構成例を示したものにすぎず、分類結果とその確度とを組み合わせて表示する方法は上記に限定されない。また、その出力の態様は「表示」に限定されるものではない。   The present invention is not limited to the above-described embodiment, and various modifications other than those described above can be made without departing from the spirit of the present invention. For example, the above-described display screen is merely an example of the configuration, and the method of displaying the classification result and its accuracy in combination is not limited to the above. Further, the output mode is not limited to “display”.

例えば、図10に例示した任意の分類アルゴリズムによる分類によって行う基板検査処理に、全ての分類カテゴリを算出対象分類カテゴリとした本発明にかかる確度算出処理を組み合わせて次のようにしてもよい。すなわち、分類結果によらず全ての分類カテゴリについて確度を算出し、算出された確度が最も高い分類カテゴリと分類結果とが一致しないものがある場合、そのことを画像に表示するようにしてもよい。こうすることで、疑わしい分類結果についての確認をユーザに促すことができる。   For example, the accuracy calculation processing according to the present invention in which all the classification categories are the calculation target classification categories may be combined with the substrate inspection processing performed by the classification based on the arbitrary classification algorithm illustrated in FIG. 10 as follows. That is, the accuracy may be calculated for all classification categories regardless of the classification result, and if there is a classification result that does not match the classification category with the highest accuracy, the fact may be displayed on the image. . In this way, the user can be prompted to confirm the suspicious classification result.

また、上記実施形態では、各分類カテゴリごとの特徴量の典型範囲を、平均値から標準偏差の3倍までの範囲としているが、典型範囲の設定の仕方はこれに限定されない。例えば、一の特徴量について、教示された全ての教師画像の特徴量の最小値から最大値までの範囲を典型範囲としてもよい。   Moreover, in the said embodiment, although the typical range of the feature-value for every classification category is made into the range from an average value to 3 times the standard deviation, the method of setting a typical range is not limited to this. For example, for one feature quantity, a range from the minimum value to the maximum value of the feature quantities of all taught teacher images may be set as the typical range.

また、上記実施形態の検査システム1は、基板表面を撮像する本発明の「撮像手段」としての撮像装置2を含む画像分類装置であるが、撮像手段を含まず、例えば通信回線を介して他の撮像装置等から画像データを受け取って分類処理を行う画像分類装置に対しても、本発明を適用することが可能である。   The inspection system 1 of the above embodiment is an image classification device including the imaging device 2 as the “imaging unit” of the present invention that images the surface of the substrate, but does not include the imaging unit, for example, via a communication line. The present invention can also be applied to an image classification device that receives image data from the imaging device or the like and performs classification processing.

また、上記実施形態は半導体基板の欠陥を検査・分類する画像分類装置であるが、本発明の適用対象たる画像分類装置は、半導体基板を検査する装置だけでなく、他の対象物、例えばプリント基板やガラス基板等を検査する装置や、各種材料の表面状態を検査する表面検査装置、光学顕微鏡と組み合わせて生体細胞を観察するための装置であってもよい。   Moreover, although the said embodiment is an image classification apparatus which test | inspects and classifies the defect of a semiconductor substrate, the image classification apparatus which is an application object of this invention is not only the apparatus which test | inspects a semiconductor substrate, but another target object, for example, a print An apparatus for inspecting a substrate, a glass substrate, etc., a surface inspection apparatus for inspecting the surface state of various materials, or an apparatus for observing living cells in combination with an optical microscope may be used.

本発明は、対象物を撮像し画像に現れた特徴により画像を分類する各種の画像分類装置、特に事例学習型の画像分類装置に対して好適に適用することができる。対象物としては、半導体基板やプリント基板等の各種基板、生体細胞など種々のものが含まれうる。   The present invention can be suitably applied to various types of image classification devices that capture an image of an object and classify images based on features that appear in the image, particularly case-learning type image classification devices. The target object may include various substrates such as various substrates such as a semiconductor substrate and a printed circuit board, and biological cells.

1 検査システム(画像分類装置)
2 撮像装置(撮像手段)
503 欠陥分類部(分類手段、学習手段)
504 特徴量算出部(特徴量算出手段)
505 教示部(学習手段)
506 判定部(確度算出手段)
507 演算部(確度算出手段)
510 記憶部(確度算出手段)
512 表示部(出力手段)
S103 特徴量算出工程
S104 分類工程
S106 出力工程
S201 画像収集工程
S202 教師画像設定工程
S204 学習工程
S206 典型範囲設定工程
S304 判定工程
S308 演算工程
1 Inspection system (image classification device)
2 Imaging device (imaging means)
503 Defect classification unit (classification means, learning means)
504 feature amount calculation unit (feature amount calculation means)
505 Teaching part (learning means)
506 determination unit (accuracy calculation means)
507 Calculation unit (accuracy calculation means)
510 storage unit (accuracy calculation means)
512 Display section (output means)
S103 Feature amount calculation step S104 Classification step S106 Output step S201 Image collection step S202 Teacher image setting step S204 Learning step S206 Typical range setting step S304 Determination step S308 Calculation step

Claims (10)

画像の特徴を示す複数種の特徴量を算出する特徴量算出手段と、
前記画像を、前記特徴量に基づいて複数の分類カテゴリのいずれかに分類する分類手段と、
算出処理の対象となる前記画像である一の算出対象画像と、前記分類カテゴリのうち一の算出対象分類カテゴリとの組み合わせについて、当該算出対象画像が当該算出対象分類カテゴリに分類されるべき蓋然性の高さを指標する確度指標を算出する確度算出手段と、
前記分類手段による分類結果と、前記確度算出手段による算出結果とを関連付けて報知出力する出力手段と
を備え、
前記確度算出手段は、
前記複数の分類カテゴリと前記複数種の特徴量との組み合わせの各々について、当該分類カテゴリにおける当該特徴量の典型的な値の範囲である典型範囲を記憶する記憶部と、
前記算出対象画像を表す前記複数種の特徴量の各々について、当該特徴量の値が、前記算出対象分類カテゴリにおける当該特徴量の前記典型範囲内にあるか否かを判定する判定手段と、
前記複数種の特徴量の種類数に対する、前記判定手段において値が前記典型範囲内にあると判定された前記特徴量の種類数の比を算出し、その比の値を前記確度指標として出力する演算部と
を備えることを特徴とする画像分類装置。
A feature amount calculating means for calculating a plurality of types of feature amounts indicating the features of the image;
Classification means for classifying the image into any of a plurality of classification categories based on the feature amount;
For a combination of one calculation target image that is the target image of the calculation process and one calculation target classification category among the classification categories, the probability that the calculation target image should be classified into the calculation target classification category An accuracy calculation means for calculating an accuracy index for indexing the height;
An output means for associating and outputting the classification result by the classification means and the calculation result by the accuracy calculation means;
The accuracy calculation means includes:
For each combination of the plurality of classification categories and the plurality of types of feature amounts, a storage unit that stores a typical range that is a range of typical values of the feature amounts in the classification category;
For each of the plurality of types of feature amounts representing the calculation target image, a determination unit that determines whether a value of the feature amount is within the typical range of the feature amount in the calculation target classification category;
The ratio of the number of types of the feature quantity determined by the determination unit to the number of types of the plurality of types of feature quantities is calculated and the value of the ratio is output as the accuracy index. An image classification apparatus comprising: an arithmetic unit.
前記複数種の特徴量でそれぞれ表される複数の教師画像を用いた事例学習により、前記複数の分類カテゴリに対応する学習データを作成する学習手段を備え、
前記分類手段は、該学習データに基づき前記画像を分類する請求項1に記載の画像分類装置。
Learning means for creating learning data corresponding to the plurality of classification categories by case learning using a plurality of teacher images respectively represented by the plurality of types of feature amounts;
The image classification device according to claim 1, wherein the classification unit classifies the images based on the learning data.
前記学習手段は、前記事例学習の結果に基づいて前記典型範囲を設定し前記記憶部に記憶させる請求項2に記載の画像分類装置。   The image classification device according to claim 2, wherein the learning unit sets the typical range based on the result of the case learning and stores the typical range in the storage unit. 前記学習手段は、前記複数の分類カテゴリと前記複数種の特徴量との組み合わせの各々について、当該分類カテゴリに属する全ての前記教師画像の当該特徴量の分散に基づいて、当該特徴量についての前記典型範囲を設定する請求項3に記載の画像分類装置。   The learning means, for each combination of the plurality of classification categories and the plurality of types of feature quantities, based on the distribution of the feature quantities of all the teacher images belonging to the classification category, The image classification device according to claim 3, wherein a typical range is set. 前記学習手段は、前記複数の分類カテゴリと前記複数種の特徴量との組み合わせの各々について、当該分類カテゴリに属する全ての前記教師画像の当該特徴量の平均値と標準偏差とを求め、前記平均値を中心とする前記標準偏差に基づいて定めた範囲を、当該特徴量についての前記典型範囲とする請求項3または4に記載の画像分類装置。   The learning means obtains an average value and a standard deviation of the feature amounts of all the teacher images belonging to the classification category for each combination of the plurality of classification categories and the plurality of types of feature amounts, and calculates the average The image classification device according to claim 3 or 4, wherein a range determined based on the standard deviation centered on a value is the typical range for the feature amount. 前記出力手段は、前記分類手段が分類対象とする一の前記画像について、当該画像が分類された前記分類カテゴリと、当該画像と当該分類カテゴリとの組み合わせにおいて算出された前記確度指標とを関連付けて報知出力する請求項1ないし5のいずれかに記載の画像分類装置。   The output means associates, for the one image to be classified by the classification means, the classification category into which the image is classified and the accuracy index calculated in a combination of the image and the classification category. The image classification device according to claim 1, which outputs a notification. 前記画像を撮像する撮像手段を備える請求項1ないし6のいずれかに記載の画像分類装置。   The image classification apparatus according to claim 1, further comprising an imaging unit that captures the image. 教師画像を用いた事例学習を行う学習手段と、分類アルゴリズムを実行する分類手段と、ユーザへの報知出力を行う出力手段とを備えるコンピュータが、画像を分類する画像分類方法において、
前記コンピュータが、
複数種の特徴量でそれぞれ表される複数の教師画像を用いた事例学習により、前記学習手段が複数の分類カテゴリに対応する学習データを作成する学習工程と、
前記複数の分類カテゴリと前記複数種の特徴量との組み合わせの各々について、当該分類カテゴリにおける当該特徴量の典型的な値の範囲である典型範囲を、前記学習工程の結果に基づき設定する典型範囲設定工程と、
前記画像について、前記複数種の特徴量を算出する特徴量算出工程と、
算出された前記特徴量に基づいて、前記分類手段が前記画像を前記複数の分類カテゴリのいずれかに分類する分類工程と、
前記画像について算出された前記複数種の特徴量の各々について、当該特徴量の値が、前記複数の分類カテゴリのうち一の算出対象分類カテゴリにおける当該特徴量の前記典型範囲内にあるか否かを判定する判定工程と、
前記複数種の特徴量の種類数に対する、前記判定工程において値が前記典型範囲内にあると判定された前記特徴量の種類数の比を算出し、その比の値を当該画像が当該算出対象分類カテゴリに分類されるべき蓋然性の高さを指標する確度指標とする演算工程と、
前記出力手段が前記分類工程における分類結果と、前記演算工程において算出された前記確度指標とを関連付けて報知出力する出力工程と
実行することを特徴とする画像分類方法。
In an image classification method in which a computer including a learning unit that performs case learning using a teacher image, a classification unit that executes a classification algorithm, and an output unit that performs notification output to a user classifies images.
The computer is
A learning step in which the learning means creates learning data corresponding to a plurality of classification categories by case learning using a plurality of teacher images each represented by a plurality of types of feature amounts;
For each combination of the plurality of classification categories and the plurality of types of feature amounts, a typical range in which a typical range that is a typical value range of the feature amount in the classification category is set based on the result of the learning step. A setting process;
For the image, a feature amount calculating step for calculating a feature quantity of the plural kinds,
A classification step in which the classification unit classifies the image into one of the plurality of classification categories based on the calculated feature amount;
For each of the plurality of types of feature amounts calculated for the image, whether the value of the feature amount is within the typical range of the feature amount in one calculation target classification category of the plurality of classification categories A determination step of determining
A ratio of the number of types of feature quantities determined to be within the typical range in the determination step with respect to the number of types of the plurality of types of feature quantities is calculated, and the value of the ratio is calculated as the calculation target A calculation process as an accuracy index indicating the high probability of being classified into a classification category;
An image classification method, wherein the output means executes an output step of associating and outputting a classification result in the classification step and the accuracy index calculated in the calculation step.
前記複数の分類カテゴリのうち、前記分類工程において当該画像が分類された分類カテゴリを前記算出対象分類カテゴリとする請求項8に記載の画像分類方法。   The image classification method according to claim 8, wherein among the plurality of classification categories, a classification category in which the image is classified in the classification step is set as the calculation target classification category. 基板の欠陥を撮像した複数の画像を収集する画像収集工程と、
欠陥の種別を表す前記分類カテゴリごとに、収集された前記画像の少なくとも1つを当該分類カテゴリに対応する前記教師画像として設定する教師画像設定工程と
をさらに備え、
前記学習工程では、前記教師画像設定工程で設定された前記教師画像を用いて事例学習を行う請求項8または9に記載の画像分類方法。
An image collecting process for collecting a plurality of images obtained by imaging defects on the substrate;
A teacher image setting step for setting at least one of the collected images as the teacher image corresponding to the classification category for each classification category representing a type of defect;
The image classification method according to claim 8 or 9, wherein in the learning step, case learning is performed using the teacher image set in the teacher image setting step.
JP2011216148A 2011-09-30 2011-09-30 Image classification apparatus and image classification method Active JP5718781B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011216148A JP5718781B2 (en) 2011-09-30 2011-09-30 Image classification apparatus and image classification method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011216148A JP5718781B2 (en) 2011-09-30 2011-09-30 Image classification apparatus and image classification method

Publications (2)

Publication Number Publication Date
JP2013077127A JP2013077127A (en) 2013-04-25
JP5718781B2 true JP5718781B2 (en) 2015-05-13

Family

ID=48480550

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011216148A Active JP5718781B2 (en) 2011-09-30 2011-09-30 Image classification apparatus and image classification method

Country Status (1)

Country Link
JP (1) JP5718781B2 (en)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6291844B2 (en) * 2014-01-06 2018-03-14 日本電気株式会社 Data processing device
KR102309569B1 (en) * 2017-06-14 2021-10-07 캠텍 리미티드 Automatic fault classification
JP6854248B2 (en) * 2018-01-18 2021-04-07 株式会社日立製作所 Boundary search test support device and boundary search test support method
JP6757378B2 (en) * 2018-08-28 2020-09-16 株式会社モルフォ Image identification device, image identification method and image identification program
JP7322411B2 (en) * 2019-01-24 2023-08-08 カシオ計算機株式会社 Image classification device, image classification method and program
JP6792751B2 (en) * 2019-03-05 2020-12-02 株式会社医療情報技術研究所 Classification system
CN111930935A (en) * 2020-06-19 2020-11-13 普联国际有限公司 Image classification method, device, equipment and storage medium
JP6872214B1 (en) * 2020-08-20 2021-05-19 株式会社医療情報技術研究所 Classification system
JP7101349B1 (en) 2021-05-28 2022-07-15 株式会社医療情報技術研究所 Classification system
JP2022187070A (en) 2021-06-07 2022-12-19 株式会社日立ハイテク Image recognition system

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3346679B2 (en) * 1994-06-14 2002-11-18 日本電信電話株式会社 Image inspection / recognition method, reference data creation method used therefor, and these devices
JP2001156135A (en) * 1999-11-29 2001-06-08 Hitachi Ltd Method and device for sorting defective image and manufacturing method of semiconductor device using them
JP2002312769A (en) * 2001-04-16 2002-10-25 Matsushita Electric Ind Co Ltd Monitoring device and parameter setting method therefor
JP4387089B2 (en) * 2002-08-30 2009-12-16 株式会社日立製作所 Defect inspection apparatus and defect inspection method
JP2006236181A (en) * 2005-02-28 2006-09-07 Fuji Photo Film Co Ltd Image identification device and method therefor, and image identification program
JP4402004B2 (en) * 2005-04-15 2010-01-20 株式会社日立ハイテクノロジーズ Inspection device
JP5075083B2 (en) * 2008-10-08 2012-11-14 大日本スクリーン製造株式会社 Teacher data creation support method, image classification method, and image classification apparatus
JP2011158373A (en) * 2010-02-02 2011-08-18 Dainippon Screen Mfg Co Ltd Method for creation of teacher data for use in automatic defect classification, and method and apparatus for automatic defect classification
JP5556262B2 (en) * 2010-03-15 2014-07-23 オムロン株式会社 Image attribute discrimination device, attribute discrimination support device, image attribute discrimination method, control method for attribute discrimination support device, and control program

Also Published As

Publication number Publication date
JP2013077127A (en) 2013-04-25

Similar Documents

Publication Publication Date Title
JP5718781B2 (en) Image classification apparatus and image classification method
CN109934814B (en) Surface defect detection system and method thereof
CN109886928B (en) Target cell marking method, device, storage medium and terminal equipment
CN109946303A (en) Check device and method
US8290241B2 (en) Analyzing apparatus, program, defect inspection apparatus, defect review apparatus, analysis system, and analysis method
CN109977191B (en) Problem map detection method, device, electronic equipment and medium
CN108520514B (en) Consistency detection method for electronic elements of printed circuit board based on computer vision
JP2017049974A (en) Discriminator generator, quality determine method, and program
JPH11344450A (en) Instruction data forming method and defect classifying method and apparatus thereof
CN111242899B (en) Image-based flaw detection method and computer-readable storage medium
JP6544716B2 (en) DATA GENERATION APPARATUS, DATA GENERATION METHOD, AND DATA GENERATION PROGRAM
CN108955901B (en) Infrared temperature measurement method and system and terminal equipment
JP2011158373A (en) Method for creation of teacher data for use in automatic defect classification, and method and apparatus for automatic defect classification
CN110533654A (en) The method for detecting abnormality and device of components
CN109462999B (en) Visual inspection method based on learning through data balance and visual inspection device using same
TWI694250B (en) Surface defect detection system and method thereof
KR101782364B1 (en) Vision inspection method based on learning data
JP6596260B2 (en) Teaching support method and image classification method
CN115937555A (en) Industrial defect detection algorithm based on standardized flow model
JP2013205320A (en) Inspection condition determination method, inspection method, and inspection device
KR101782366B1 (en) Vision inspection method based on learning data using normalization of sample scale
JP2001134763A (en) Method for sorting defect on basis of picked-up image and method for displaying the result
CN113420772A (en) Defect detection method and device based on multi-classifier and SVDD (singular value decomposition and direct decomposition) cooperative algorithm
JP2014006613A (en) Neighborhood search method and similar image search method
JP2021148678A (en) Defect detection device and defect detection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150319

R150 Certificate of patent or registration of utility model

Ref document number: 5718781

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250