JPH11344450A - Instruction data forming method and defect classifying method and apparatus thereof - Google Patents

Instruction data forming method and defect classifying method and apparatus thereof

Info

Publication number
JPH11344450A
JPH11344450A JP10154865A JP15486598A JPH11344450A JP H11344450 A JPH11344450 A JP H11344450A JP 10154865 A JP10154865 A JP 10154865A JP 15486598 A JP15486598 A JP 15486598A JP H11344450 A JPH11344450 A JP H11344450A
Authority
JP
Japan
Prior art keywords
defect
teaching
category
image
defects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10154865A
Other languages
Japanese (ja)
Other versions
JP4132229B2 (en
Inventor
Atsushi Shimoda
篤 下田
Yuji Takagi
裕治 高木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP15486598A priority Critical patent/JP4132229B2/en
Publication of JPH11344450A publication Critical patent/JPH11344450A/en
Application granted granted Critical
Publication of JP4132229B2 publication Critical patent/JP4132229B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a defect classifying method and apparatus equipped with a learning function constituted so as to accurately classify the kind of a defect from the image signal of a detect, in order to estimate the generation cause of the defect by supporting the formation of accurate instruction data. SOLUTION: In an instruction data forming method for classifying the kind of a defect based on a defect image signal, a plurality of feature quantities are calculated with respect to a plurality of defect images for instruction and the classifying parameters shown by the discrimination function between categories in a feature space based on the calculated feature quantities, to diagnose the statistical significance showing the corresponding relation between a plurality of instruction defects and the category corresponding to the kind of the defects, and an instruction defect image having capacity lowering possibility is displayed on a screen to correct instruction data.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、半導体ウェハ等の
製造プロセスにおける欠陥検査で発見された欠陥を撮像
して得られた画像信号に基づいて欠陥の種類を分類して
欠陥の発生原因を推定可能にする欠陥分類方法およびそ
の装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method of classifying a defect type based on an image signal obtained by imaging a defect found in a defect inspection in a manufacturing process of a semiconductor wafer or the like and estimating a cause of the defect occurrence. The present invention relates to a defect classifying method and an apparatus therefor.

【0002】[0002]

【従来の技術】特開平8−21803号公報には、欠陥
種別判定装置が記載されている。これは、ニューロ処理
ユニットの入力として欠陥画像から抽出した欠陥情報
(面積、形状、位置、明るさ、等)を与え、出力として
欠陥種別を得る構成とし、欠陥種別に対応した欠陥情報
に対してそれぞれの欠陥種別が出現するように前記ニュ
ーロ処理ユニットを学習させておくものである。この結
果、分類対象画像から抽出した欠陥情報を前記ニューロ
処理ユニットに入力して、その出力から欠陥種別を判定
するものである。
2. Description of the Related Art Japanese Patent Laying-Open No. 8-21803 discloses a defect type judging device. In this configuration, defect information (area, shape, position, brightness, etc.) extracted from a defect image is given as an input of a neuro processing unit, and a defect type is obtained as an output. The neuro processing unit is trained so that each defect type appears. As a result, the defect information extracted from the classification target image is input to the neuro processing unit, and the defect type is determined from the output.

【0003】[0003]

【発明が解決しようとする課題】上記学習型欠陥分類装
置では、ユーザが提示する学習用データに矛盾したデー
タが含まれ易い問題がある。特に、画像の分類において
は、ユーザはあいまいな判定を行いやすいため、上記の
傾向は顕著である。しかし、上記従来技術では、ユーザ
が矛盾したデータを与えた場合でもシステムは汎用的に
対応しようとするため、全体としての性能を低下させる
恐れがあった。
The learning type defect classifying apparatus has a problem in that learning data presented by a user tends to include inconsistent data. In particular, in the classification of images, the above-mentioned tendency is remarkable because the user can easily make an ambiguous determination. However, in the above-described conventional technology, even when a user gives inconsistent data, the system tries to cope with it in a general-purpose manner, and there is a possibility that the performance as a whole may be reduced.

【0004】本発明の目的は、上記課題に鑑みて、欠陥
の発生原因を推定するために欠陥の画像信号から欠陥の
種類を分類するための正確な教示用データの作成を支援
できるようにした教示用データ作成方法を提供すること
にある。また、本発明の他の目的は、正確な教示用デー
タの作成を支援できることによって、欠陥の発生原因を
推定するために欠陥の画像信号から欠陥の種類を正確に
分類できるようにした学習機能を備えた欠陥分類方法お
よびその装置を提供することにある。
SUMMARY OF THE INVENTION In view of the above problems, it is an object of the present invention to support creation of accurate teaching data for classifying a defect type from a defect image signal in order to estimate the cause of the defect. An object of the present invention is to provide a teaching data creating method. Another object of the present invention is to provide a learning function capable of accurately classifying a defect type from a defect image signal in order to estimate a cause of the defect by being able to support creation of accurate teaching data. It is an object of the present invention to provide a defect classification method and an apparatus therefor.

【0005】[0005]

【課題を解決するための手段】上記目的を達成するため
に、本発明は、欠陥画像信号を元に欠陥の種類を分類す
るための教示用データ作成方法であって、複数の教示用
欠陥画像に対して欠陥の種類に対応するカテゴリを付与
することにより教示用データを作成し、前記教示用欠陥
画像の各々について複数の特徴量を算出し、前記付与さ
れたカテゴリと前記算出された特徴量とに基づき教示用
欠陥画像の特徴量空間におけるカテゴリ間の判別関数を
算出し、該判別関数を用いて教示用欠陥画像とカテゴリ
の対応からなる教示用データを診断し、少なくとも性能
を低下させる可能性がある教示用欠陥画像を画面に表示
して前記教示用データを修正することを特徴とする。ま
た、本発明は、予め複数の教示用欠陥を撮像して複数の
教示用欠陥画像を検出する教示用欠陥画像検出過程と、
該教示用欠陥画像検出過程で検出された複数の教示用欠
陥画像を表示手段に表示し、該表示された複数の教示用
欠陥画像に対してカテゴリを付与することにより教示用
欠陥画像とカテゴリとの対応を教示するカテゴリ教示過
程と、前記教示用欠陥画像検出過程で検出された複数の
教示用欠陥画像から複数の教示用欠陥の各々について所
望の複数の特徴量を算出し、前記付与されたカテゴリと
前記算出された特徴量に基づき教示用欠陥画像の特徴量
空間におけるカテゴリ間の判別関数を算出し、該判別関
数を用いて各教示用欠陥を分類してカテゴリを付与する
カテゴリ付与過程と、各教示用欠陥について前記カテゴ
リ教示過程で教示されたカテゴリと前記カテゴリ付与過
程で付与されたカテゴリとを比較して、両カテゴリが相
違する場合、少なくともその情報を表示手段に表示し、
該表示された情報を元に、教示用欠陥についてカテゴリ
を修正または教示用欠陥を除外して教示用欠陥とカテゴ
リとの対応を教示する修正または除外教示過程とを有
し、複数の教示用欠陥と欠陥の種類に対応するカテゴリ
との対応関係を示す教示用データを学習して取得する学
習工程と、被検査物に対して検査されて見付かった欠陥
について撮像して被検査対象の欠陥画像を検出し、該検
出された被検査対象の欠陥画像を元に、前記学習工程で
取得された教示用データから前記欠陥の種類を分類する
分類工程とを有することを特徴とする欠陥分類方法であ
る。
In order to achieve the above object, the present invention relates to a teaching data generating method for classifying the types of defects based on a defect image signal, comprising a plurality of teaching defect images. The teaching data is created by assigning a category corresponding to the type of defect to the teaching defect data, a plurality of feature amounts are calculated for each of the teaching defect images, and the assigned category and the calculated feature amount are calculated. The discriminant function between the categories in the feature space of the teaching defect image is calculated based on the above, and the teaching data including the correspondence between the teaching defect image and the category is diagnosed using the discrimination function, and at least the performance can be reduced. And displaying the defective teaching image on the screen and correcting the teaching data. Further, the present invention, a teaching defect image detecting step of detecting a plurality of teaching defect images by imaging a plurality of teaching defects in advance,
A plurality of teaching defect images detected in the teaching defect image detection process are displayed on a display means, and a category is assigned to the displayed plurality of teaching defect images, so that the teaching defect image and the category are displayed. A plurality of desired feature amounts for each of a plurality of teaching defects are calculated from a plurality of teaching defect images detected in the category teaching process for teaching the correspondence of the plurality of teaching defect images detected in the teaching defect image detecting process; A category providing step of calculating a discriminant function between categories in the feature amount space of the teaching defect image based on the category and the calculated feature amount, classifying each teaching defect using the discriminant function, and assigning a category; Comparing the category taught in the category teaching process with the category assigned in the category assigning process for each teaching defect, and if the two categories are different, Also displayed on the display means that information and,
A correction or exclusion teaching process for correcting the category of the teaching defect or excluding the teaching defect and teaching the correspondence between the teaching defect and the category based on the displayed information. And a learning step of learning and acquiring teaching data indicating a correspondence relationship between a defect and a category corresponding to a defect type, and a defect image of the inspection target by capturing an image of a defect found by inspection with respect to the inspection object. And a classifying step of classifying the type of the defect from the teaching data acquired in the learning step based on the detected defect image of the inspection object. .

【0006】また、本発明は、予め複数の教示用欠陥を
撮像して複数の教示用欠陥画像を検出する教示用欠陥画
像検出過程と、該教示用欠陥画像検出過程で検出された
複数の教示用欠陥画像を表示手段に表示し、該表示され
た複数の教示用欠陥画像に対してカテゴリを付与するこ
とにより教示用欠陥画像とカテゴリとの対応を教示する
カテゴリ教示過程と、前記教示用欠陥画像検出過程で検
出された複数の教示用欠陥画像から複数の教示用欠陥の
各々について所望の複数の特徴量を算出し、該算出され
た各教示用欠陥についての所望の複数の特徴量の関係か
ら各教示用欠陥を分類してカテゴリを付与するカテゴリ
付与過程と、各教示用欠陥について前記カテゴリ教示過
程で教示されたカテゴリと前記カテゴリ付与過程で付与
されたカテゴリとを比較して、両カテゴリが相違する場
合、少なくともその情報を表示手段に表示し、該表示さ
れた情報を元に、教示用欠陥についてカテゴリを修正ま
たは教示用欠陥を除外して教示用欠陥とカテゴリとの対
応を教示する修正または除外教示過程とを有し、複数の
教示用欠陥の特徴量と欠陥の種類に対応するカテゴリと
の対応関係を示す教示用データを学習して取得する学習
工程と、被検査物に対して検査されて見付かった欠陥に
ついて撮像して被検査対象の欠陥画像を検出し、該検出
された被検査対象の欠陥画像から欠陥の所望の特徴量を
算出し、該算出された欠陥の所望の特徴量を元に、前記
学習工程で取得された教示用データから前記欠陥の種類
を分類する分類工程とを有することを特徴とする欠陥分
類方法である。
Further, the present invention provides a teaching defect image detecting step of detecting a plurality of teaching defect images by imaging a plurality of teaching defects in advance, and providing a plurality of teaching defects detected in the teaching defect image detecting step. Displaying a defect image on the display means, assigning a category to the plurality of displayed defect images, and teaching the correspondence between the defect image and the category. A plurality of desired feature quantities are calculated for each of the plurality of teaching defects from the plurality of teaching defect images detected in the image detection process, and a relationship between the plurality of desired feature quantities for each of the calculated teaching defects is calculated. A category assigning step of classifying each teaching defect from and assigning a category, and a category taught in the category teaching step and a category assigned in the category assigning step for each teaching defect. In comparison, if the two categories are different, at least the information is displayed on the display means, and based on the displayed information, the teaching defect is corrected or the teaching defect is excluded and the teaching defect and the category are excluded. A learning step of learning and acquiring teaching data indicating a correspondence relationship between a feature amount of a plurality of teaching defects and a category corresponding to the type of the defect. Imaging a defect found by inspection of the inspection object, detecting a defect image of the inspection object, calculating a desired feature amount of the defect from the detected defect image of the inspection object, A classifying step of classifying the type of the defect from the teaching data acquired in the learning step based on a desired feature amount of the defect thus obtained.

【0007】また、本発明は、予め複数の教示用欠陥を
撮像して複数の教示用欠陥画像を検出する教示用欠陥画
像検出過程と、該教示用欠陥画像検出過程で検出された
複数の教示用欠陥画像を表示手段に表示し、該表示され
た複数の教示用欠陥画像に対してカテゴリを付与するこ
とにより教示用欠陥画像とカテゴリとの対応を教示する
カテゴリ教示過程と、前記教示用欠陥画像検出過程で検
出された複数の教示用欠陥画像から複数の教示用欠陥の
各々について所望の複数の特徴量を算出し、該算出され
た各教示用欠陥についての所望の複数の特徴量の関係か
らカテゴリを分類するためのパラメータを算出し、該算
出された分類パラメータに基づいて各教示用欠陥を分類
してカテゴリを付与するカテゴリ付与過程と、各教示用
欠陥について前記カテゴリ教示過程で教示されたカテゴ
リと前記カテゴリ付与過程で付与されたカテゴリとを比
較して、両カテゴリが相違する場合、少なくともその情
報を表示手段に表示し、該表示された情報を元に、教示
用欠陥についてカテゴリを修正または教示用欠陥を除外
して教示用欠陥とカテゴリとの対応を教示する修正また
は除外教示過程とを有し、複数の教示用欠陥の特徴量と
欠陥の種類に対応するカテゴリとの対応関係を示す教示
用データを学習して取得する学習工程と、被検査物に対
して検査されて見付かった欠陥について撮像して被検査
対象の欠陥画像を検出し、該検出された被検査対象の欠
陥画像から欠陥の所望の特徴量を算出し、該算出された
欠陥の所望の特徴量を元に、前記学習工程で取得された
教示用データから前記欠陥の種類を分類する分類工程と
を有することを特徴とする欠陥分類方法である。
Further, the present invention provides a teaching defect image detecting step of detecting a plurality of teaching defect images by imaging a plurality of teaching defects in advance, and a plurality of teaching defects detected in the teaching defect image detecting step. Displaying a defect image on the display means, assigning a category to the plurality of displayed defect images, and teaching the correspondence between the defect image and the category. A plurality of desired feature quantities are calculated for each of the plurality of teaching defects from the plurality of teaching defect images detected in the image detection process, and a relationship between the plurality of desired feature quantities for each of the calculated teaching defects is calculated. A category assigning step of calculating parameters for classifying the category from the above, classifying each teaching defect based on the calculated classification parameter and assigning a category; and Comparing the category taught in the category teaching process and the category given in the category giving process, when both categories are different, at least the information is displayed on the display means, based on the displayed information, A correction or exclusion teaching process for correcting the category of the teaching defect or excluding the teaching defect to teach the correspondence between the teaching defect and the category, and corresponding to a plurality of teaching defect feature amounts and defect types. A learning step of learning and acquiring teaching data indicating a correspondence relationship with a category to be inspected, and detecting a defect image of the inspection target by imaging a defect found by inspection with respect to the inspection object. A desired characteristic amount of the defect is calculated from the defect image of the inspection target, and the type of the defect is determined from the teaching data acquired in the learning step based on the calculated desired characteristic amount of the defect. A defect classification method characterized by having a classification step similar.

【0008】また、本発明は、前記欠陥分類方法の学習
工程におけるカテゴリ付与過程において、各教示用欠陥
についてカテゴリを分類する際、算出された特徴量の中
から所望の複数の特徴量を選択する特徴量選択過程を有
することを特徴とする。また、本発明は、予め複数の教
示用欠陥を撮像して複数の教示用欠陥画像を検出する教
示用欠陥画像検出過程と、該教示用欠陥画像検出過程で
検出された複数の教示用欠陥画像を表示手段に表示し、
該表示された複数の教示用欠陥画像に対してカテゴリを
付与することにより教示用欠陥画像とカテゴリとの対応
を教示するカテゴリ教示過程と、前記教示用欠陥画像検
出過程で検出された複数の教示用欠陥画像から複数の教
示用欠陥の各々について所望の複数の特徴量を算出し、
前記付与されたカテゴリと前記算出された特徴量に基づ
き教示用欠陥画像の特徴量空間におけるカテゴリ間の判
別関数を算出し、該判別関数を用いて各教示用欠陥を分
類するためのカテゴリ分類評価値を算出するカテゴリ分
類評価値算出過程と、各教示用欠陥について前記カテゴ
リ分類評価値算出過程で算出されたカテゴリ分類評価値
を表示手段に表示し、該表示されたカテゴリ分類評価値
を元に、教示用欠陥についてカテゴリを修正または教示
用欠陥を除外して教示用欠陥とカテゴリとの対応を教示
する修正または除外教示過程とを有し、複数の教示用欠
陥の特徴量と欠陥の種類に対応するカテゴリとの対応関
係を示す教示用データを学習して取得する学習工程と、
被検査物に対して検査されて見付かった欠陥について撮
像して被検査対象の欠陥画像を検出し、該検出された被
検査対象の欠陥画像から欠陥の所望の特徴量を算出し、
該算出された欠陥の所望の特徴量を元に、前記学習工程
で取得された教示用データから前記欠陥の種類を分類す
る分類工程とを有することを特徴とする欠陥分類方法で
ある。また、本発明は、前記欠陥分類方法の学習工程に
おけるカテゴリ分類評価値算出過程において、各教示用
欠陥を分類するカテゴリ分類評価値を算出する際、算出
された特徴量の中から所望の複数の特徴量を選択する特
徴量選択過程を有することを特徴とする。
Further, according to the present invention, when classifying a category for each teaching defect in the category assignment step in the learning step of the defect classification method, a plurality of desired feature quantities are selected from the calculated feature quantities. It is characterized by having a feature amount selecting step. According to the present invention, there is provided a teaching defect image detecting step of imaging a plurality of teaching defects in advance and detecting a plurality of teaching defect images, and a plurality of teaching defect images detected in the teaching defect image detecting step. Is displayed on the display means,
A category teaching process for teaching the correspondence between the teaching defect image and the category by assigning a category to the displayed teaching defect images; and a plurality of teachings detected in the teaching defect image detecting process. Calculating a plurality of desired feature amounts for each of the plurality of teaching defects from the defect image for use;
A category classification evaluation for calculating a discriminant function between categories in the feature amount space of the teaching defect image based on the assigned category and the calculated feature amount, and classifying each teaching defect using the discrimination function. A category classification evaluation value calculating step of calculating a value, and displaying the category classification evaluation value calculated in the category classification evaluation value calculation step for each teaching defect on the display means, based on the displayed category classification evaluation value. A correction or exclusion teaching process for correcting the category of the teaching defect or excluding the teaching defect and teaching the correspondence between the teaching defect and the category, and having a plurality of teaching defect feature amounts and defect types. A learning step of learning and acquiring teaching data indicating a correspondence relationship with a corresponding category;
Detecting a defect image of the inspection target by imaging a defect found by inspection with respect to the inspection target, calculating a desired feature amount of the defect from the detected defect image of the inspection target,
A classification step of classifying the type of the defect from the teaching data acquired in the learning step based on the calculated desired feature amount of the defect. Further, in the present invention, in the category classification evaluation value calculating step in the learning step of the defect classification method, when calculating the category classification evaluation value for classifying each teaching defect, a plurality of desired feature values are calculated from the calculated feature amounts. It is characterized by having a feature amount selecting step of selecting a feature amount.

【0009】また、本発明は、予め複数の教示用欠陥を
撮像して複数の教示用欠陥画像を検出する教示用欠陥画
像検出過程と、該教示用欠陥画像検出過程で検出された
複数の教示用欠陥画像から複数の教示用欠陥の各々につ
いて複数の特徴量を算出する特徴量算出過程と、該特徴
量算出過程で算出される複数の特徴量の関係に基づく特
徴量空間上に教示用欠陥を位置させて表示手段に表示
し、該表示された特徴量空間上における教示用欠陥の位
置に応じて該教示用欠陥に対してカテゴリを付与するこ
とにより教示用欠陥とカテゴリとの対応を教示するカテ
ゴリ教示過程とを有し、複数の教示用欠陥の特徴量と欠
陥の種類に対応するカテゴリとの対応関係を示す教示用
データを学習して取得する学習工程と、被検査物に対し
て検査されて見付かった欠陥について撮像して被検査対
象の欠陥画像を検出し、該検出された被検査対象の欠陥
画像から欠陥の所望の特徴量を算出し、該算出された欠
陥の所望の特徴量を元に、前記学習工程で取得された教
示用データから前記欠陥の種類を分類する分類工程とを
有することを特徴とする欠陥分類方法である。また、本
発明は、予め複数の教示用欠陥を撮像して複数の教示用
欠陥画像を検出する教示用欠陥画像検出過程と、該教示
用欠陥画像検出過程で検出された複数の教示用欠陥画像
から複数の教示用欠陥の各々について複数の特徴量を算
出する特徴量算出過程と、該特徴量算出過程で算出され
る特徴量の中から所望の複数の特徴量を選択する特徴量
選択過程と、該特徴量選択過程で選択された所望の複数
の特徴量の関係に基づく特徴量空間上に、前記特徴量算
出過程で算出する教示用欠陥を位置させて表示手段に表
示し、該表示された特徴量空間上における教示用欠陥の
位置に応じて該教示用欠陥に対してカテゴリを付与する
ことにより教示用欠陥とカテゴリとの対応を教示するカ
テゴリ教示過程とを有し、複数の教示用欠陥の特徴量と
欠陥の種類に対応するカテゴリとの対応関係を示す教示
用データを学習して取得する学習工程と、被検査物に対
して検査されて見付かった欠陥について撮像して被検査
対象の欠陥画像を検出し、該検出された被検査対象の欠
陥画像から欠陥の所望の特徴量を算出し、該算出された
欠陥の所望の特徴量を元に、前記学習工程で取得された
教示用データから前記欠陥の種類を分類する分類工程と
を有することを特徴とする欠陥分類方法である。
Further, the present invention provides a teaching defect image detecting step in which a plurality of teaching defects are imaged in advance and a plurality of teaching defect images are detected, and a plurality of teaching defects detected in the teaching defect image detecting step. Calculating a plurality of feature amounts for each of the plurality of teaching defects from the defect image for use, and providing the teaching defect in a feature space based on a relationship between the plurality of feature amounts calculated in the feature calculating process. Is displayed on the display means, and the correspondence between the teaching defect and the category is taught by assigning a category to the teaching defect according to the position of the teaching defect in the displayed feature amount space. A learning process of learning and acquiring teaching data indicating a correspondence relationship between a feature amount of a plurality of teaching defects and a category corresponding to the type of the defect, and Inspected and found The defect is imaged for the defect to be inspected, a defect image of the inspection target is detected, a desired characteristic amount of the defect is calculated from the detected defect image of the inspection target, and the desired characteristic amount of the defect is calculated based on the calculated desired characteristic amount. A classifying step of classifying the type of the defect from the teaching data acquired in the learning step. According to the present invention, there is provided a teaching defect image detecting step of imaging a plurality of teaching defects in advance and detecting a plurality of teaching defect images, and a plurality of teaching defect images detected in the teaching defect image detecting step. A feature amount calculating step of calculating a plurality of feature amounts for each of the plurality of teaching defects, and a feature amount selecting step of selecting a desired plurality of feature amounts from the feature amounts calculated in the feature amount calculating step. The teaching defect calculated in the feature amount calculating step is located on a feature amount space based on a relationship between a plurality of desired feature amounts selected in the feature amount selecting step, and is displayed on display means. And a category teaching process for teaching the correspondence between the teaching defect and the category by assigning a category to the teaching defect according to the position of the teaching defect in the feature amount space. Defect features and defect types A learning step of learning and acquiring teaching data indicating a correspondence relationship with the category corresponding to the category, and detecting a defect image of the inspection target by imaging a defect found by inspection with respect to the inspection object. A desired characteristic amount of the defect is calculated from the detected defect image of the inspection target, and based on the calculated desired characteristic amount of the defect, the type of the defect is determined from the teaching data acquired in the learning step. And a classifying step of classifying the defect.

【0010】また、本発明は、前記欠陥分類方法におい
て、更に、前記分類工程で分類された欠陥の種類に基づ
いて欠陥の発生原因を推定する欠陥の発生原因推定工程
とを有することを特徴とする。また、本発明は、被検査
物の欠陥検査で発見された欠陥を撮像して得られた画像
信号に基づいて欠陥の種類を分類する欠陥分類方法であ
って、ユーザが予め教示用欠陥画像にカテゴリAを付与
することにより教示用欠陥画像とカテゴリの対応を教示
する教示過程と、教示用欠陥画像の特徴量と付与された
カテゴリAを元に計算手段が分類してカテゴリBを付与
する付与過程と、カテゴリAとカテゴリBが一致しない
教示用欠陥画像を表示する表示過程と、前記表示された
教示用欠陥についてカテゴリAを修正または教示用画像
から除外する修正または除外過程とを含み、複数の教示
用欠陥と欠陥の種類に対応するカテゴリとの対応関係を
示す教示用データを取得する学習工程を有することを特
徴とする。また、本発明は、被検査物の欠陥検査で発見
された欠陥を撮像して得られた画像に基づいて欠陥種類
を分類する欠陥分類方法であって、ユーザが予め教示用
欠陥画像にカテゴリAを付与することにより教示用欠陥
画像とカテゴリの対応をシステムに教示する教示過程
と、教示用欠陥画像の各カテゴリに対する分類評価値
(連続量)を算出する算出過程と、該算出過程で算出さ
れた教示用欠陥画像の分類評価値を表示手段に表示し、
該表示結果に基づきカテゴリAを修正または教示用画像
から除外する修正または除外過程と、前記修正したカテ
ゴリAに基づき画像との対応をシステムに教示する過程
とを含み、複数の教示用欠陥と欠陥の種類に対応するカ
テゴリとの対応関係を示す教示用データを取得する学習
工程を有することを特徴とする。
The present invention is also characterized in that the defect classification method further comprises a defect occurrence cause estimation step of estimating a defect occurrence cause based on the type of the defect classified in the classification step. I do. Further, the present invention is a defect classification method for classifying a defect type based on an image signal obtained by imaging a defect found in a defect inspection of an inspection object, wherein a user previously classifies a defect image for teaching into a defect image. The teaching process of teaching the correspondence between the teaching defect image and the category by giving the category A, and the giving by which the calculation means classifies and gives the category B based on the feature amount of the teaching defect image and the given category A. A display step of displaying a teaching defect image in which the category A and the category B do not match, and a correction or exclusion step of correcting the category A or excluding the displayed teaching defect from the teaching image. And a learning step of acquiring teaching data indicating a correspondence between the teaching defect and the category corresponding to the type of the defect. The present invention also relates to a defect classification method for classifying a defect type based on an image obtained by imaging a defect found in a defect inspection of an inspection object. , A teaching process of teaching the correspondence between the teaching defect image and the category to the system, a calculation process of calculating a classification evaluation value (continuous amount) for each category of the teaching defect image, and a calculation process of the calculation process. Display the classification evaluation value of the teaching defect image on the display means,
A correction or exclusion process of correcting or excluding the category A from the image for teaching based on the display result; and a process of teaching a system to correspond to the image based on the corrected category A, wherein a plurality of teaching defects and defects are included. And a learning step of acquiring teaching data indicating a correspondence relationship with a category corresponding to the type.

【0011】また、本発明は、被検査物の欠陥検査で発
見された欠陥を撮像して得られた画像に基づいて欠陥種
類を分類する欠陥分類方法であって、教示用欠陥画像か
ら特徴量を抽出する過程と、該抽出された特徴量に基づ
く特徴量空間に各々の教示用欠陥画像を表示し、該表示
結果に基づきユーザが欠陥を選択し、該選択された教示
用欠陥画像を表示し、該表示結果に基づきユーザが教示
用欠陥画像にカテゴリAを付与するカテゴリ付与過程と
を含み、複数の教示用欠陥と欠陥の種類に対応するカテ
ゴリとの対応関係を示す教示用データを取得する学習工
程を有することを特徴とする。また、本発明は、予め複
数の教示用欠陥を撮像して複数の教示用欠陥画像を検出
する欠陥画像検出手段と、前記欠陥画像検出手段で検出
された複数の教示用欠陥画像に基づいて複数の教示用欠
陥の各々を分類してカテゴリを付与する計算手段と、前
記欠陥画像検出手段で検出された複数の教示用欠陥画像
と前記計算手段で複数の教示用欠陥に対して分類された
カテゴリとを表示する表示手段とを備え、複数の教示用
欠陥と欠陥の種類に対応するカテゴリとの対応関係を示
す教示用データを取得して記憶手段に格納する学習部
と、被検査物に対して検査されて見付かった欠陥につい
て撮像して被検査対象の欠陥画像を検出する欠陥画像検
出手段と、該欠陥画像検出手段で検出された被検査対象
の欠陥画像を元に、前記学習部の記憶手段に格納された
教示用データから前記欠陥の種類を分類する計算手段と
を備えた分類部とで構成することを特徴とする欠陥分類
装置である。
The present invention also relates to a defect classification method for classifying a defect type based on an image obtained by imaging a defect found in a defect inspection of an inspection object. And displaying each teaching defect image in a feature amount space based on the extracted feature amount, selecting a defect based on the display result, and displaying the selected teaching defect image. And acquiring a teaching data indicating a correspondence relationship between the plurality of teaching defects and the category corresponding to the type of the defect, including a category assigning step in which the user assigns a category A to the teaching defect image based on the display result. It is characterized by having a learning step to perform. Further, the present invention provides a defect image detecting means for capturing a plurality of teaching defects in advance and detecting a plurality of teaching defect images, and a plurality of defect images based on the plurality of teaching defect images detected by the defect image detecting means. Calculating means for classifying each of the teaching defects and assigning a category, a plurality of teaching defect images detected by the defect image detecting means, and a category classified by the calculating means for the plurality of teaching defects. A learning unit that obtains teaching data indicating a correspondence relationship between a plurality of teaching defects and a category corresponding to the type of the defect, and stores the teaching data in a storage unit. Image detecting means for picking up an image of a defect found by inspection and detecting the defect image of the inspection target, and storing the learning unit based on the defect image of the inspection target detected by the defect image detecting means. Stored in the means And a defect classification apparatus, characterized in that it consists of a classification unit with the teaching data and a calculation means for classifying a type of the defect.

【0012】また、本発明は、予め複数の教示用欠陥を
撮像して複数の教示用欠陥画像を検出する欠陥画像検出
手段と、該欠陥画像検出手段で検出された複数の教示用
欠陥画像から複数の教示用欠陥の各々について所望の複
数の特徴量を算出する計算手段と、該計算手段で算出さ
れた所望の複数の特徴量の関係に基づく特徴量空間上に
教示用欠陥を位置させて表示し、更に教示用欠陥に対し
て付与されたカテゴリを表示する表示手段とを備え、複
数の教示用欠陥の特徴量と欠陥の種類に対応するカテゴ
リとの対応関係を示す教示用データを取得して記憶手段
に格納する学習部と、被検査物に対して検査されて見付
かった欠陥について撮像して被検査対象の欠陥画像を検
出する欠陥画像検出手段と、該欠陥画像検出手段で検出
された被検査対象の欠陥画像から欠陥の所望の特徴量を
算出し、該算出された欠陥の所望の特徴量を元に、前記
学習部の記憶手段に格納された教示用データから前記欠
陥の種類を分類する分類部とで構成することを特徴とす
る欠陥分類装置である。また、本発明は、予め複数の教
示用欠陥を撮像して複数の教示用欠陥画像を検出する欠
陥画像検出手段と、該欠陥画像検出手段で検出された複
数の教示用欠陥画像から複数の教示用欠陥の各々につい
て所望の複数の特徴量を算出し、該算出された各教示用
欠陥についての所望の複数の特徴量の関係から各教示用
欠陥を分類するカテゴリ分類評価値を算出する計算手段
と、各教示用欠陥について前記計算手段で算出されたカ
テゴリ分類評価値を表示し、更に教示用欠陥に対して付
与されたカテゴリを表示する表示手段とを備え、複数の
教示用欠陥の特徴量と欠陥の種類に対応するカテゴリと
の対応関係を示す教示用データを取得して記憶手段に格
納する学習部と、被検査物に対して検査されて見付かっ
た欠陥について撮像して被検査対象の欠陥画像を検出
し、該検出された被検査対象の欠陥画像から欠陥の所望
の特徴量を算出し、該算出された欠陥の所望の特徴量を
元に、前記学習部の記憶手段に格納された教示用データ
から前記欠陥の種類を分類する分類部とで構成すること
を特徴とする欠陥分類装置である。
Further, the present invention provides a defect image detecting means for picking up a plurality of teaching defects and detecting a plurality of teaching defect images in advance, and a plurality of teaching defect images detected by the defect image detecting means. Calculating means for calculating a plurality of desired feature quantities for each of the plurality of teaching defects; and positioning the teaching defect on a feature quantity space based on a relationship between the plurality of desired feature quantities calculated by the calculating means. Display means for displaying, and further displaying a category assigned to the teaching defect, acquiring teaching data indicating a correspondence relationship between a feature amount of a plurality of teaching defects and a category corresponding to the defect type. A learning unit for storing the defect in the storage unit and storing the defect in the storage unit; a defect image detection unit for capturing an image of a defect found by inspection of the inspection object to detect a defect image of the inspection target; Inspected object A classifying unit that calculates a desired feature amount of the defect from the defect image, and classifies the type of the defect from the teaching data stored in the storage unit of the learning unit based on the calculated desired feature amount of the defect; And a defect classification apparatus characterized in that: Further, the present invention provides a defect image detecting means for detecting a plurality of teaching defect images by imaging a plurality of teaching defects in advance, and a plurality of teaching defects from the plurality of teaching defect images detected by the defect image detecting means. Calculating means for calculating a plurality of desired feature amounts for each of the teaching defects, and calculating a category classification evaluation value for classifying each teaching defect from the relationship between the calculated desired plurality of feature amounts for each of the teaching defects. And display means for displaying the category classification evaluation value calculated by the calculation means for each teaching defect, and further displaying a category assigned to the teaching defect, wherein a plurality of feature amounts of the teaching defects are provided. A learning unit that acquires teaching data indicating a correspondence relationship between the data and a category corresponding to the type of defect and stores the data in a storage unit; defect An image is detected, a desired feature amount of the defect is calculated from the detected defect image of the inspection target, and stored in the storage unit of the learning unit based on the calculated desired feature amount of the defect. A defect classification device configured to classify the type of the defect from teaching data.

【0013】また、本発明は、被検査物の欠陥検査で発
見された欠陥を撮像して得られた画像に基づいて欠陥種
類を分類する欠陥分類装置であって、教示用欠陥画像に
基づき分類パラメータを算出し、該算出された分類パラ
メータに基づき教示用欠陥画像にカテゴリを付与するカ
テゴリ付与手段と、該カテゴリ付与手段でカテゴリが付
与された教示用欠陥画像を表示する表示手段と、複数の
教示用欠陥と欠陥の種類に対応するカテゴリとの対応関
係を示す教示用データを取得して格納する記憶手段とを
備えたことを特徴とする。また、本発明は、被検査物の
欠陥検査で発見された欠陥を撮像して得られた画像に基
づいて欠陥種類を分類する欠陥分類装置であって、教示
用欠陥画像に基づき分類パラメータを算出し、該算出さ
れた分類パラメータに基づき教示用欠陥画像の各カテゴ
リに対する分類評価値(連続値)を算出する算出手段
と、該算出手段によって算出された教示用欠陥画像の各
カテゴリに対する分類評価値を表示する表示手段と、複
数の教示用欠陥と欠陥の種類に対応するカテゴリとの対
応関係を示す教示用データを取得して格納する記憶手段
とを備えたことを特徴とする。また、本発明は、被検査
物の欠陥検査で発見された欠陥を撮像して得られた画像
に基づいて欠陥種類を分類する欠陥分類装置であって、
教示用欠陥画像から特徴量を抽出する特徴量抽出手段
と、該特徴量抽出手段で抽出された特徴量に基づく特徴
空間に位置する教示用欠陥画像を表示する表示手段と、
複数の教示用欠陥と欠陥の種類に対応するカテゴリとの
対応関係を示す教示用データを取得して格納する記憶手
段とを備えたことを特徴とする。
The present invention also relates to a defect classifying apparatus for classifying a defect type based on an image obtained by imaging a defect found in a defect inspection of an object to be inspected. A category assigning means for calculating a parameter and assigning a category to the teaching defect image based on the calculated classification parameter; a display means for displaying the teaching defect image assigned a category by the category assigning means; Storage means for acquiring and storing teaching data indicating a correspondence relationship between the teaching defect and a category corresponding to the type of the defect; Further, the present invention is a defect classification apparatus for classifying a defect type based on an image obtained by imaging a defect found in a defect inspection of an inspection object, wherein a classification parameter is calculated based on a teaching defect image. Calculating means for calculating a classification evaluation value (continuous value) for each category of the teaching defect image based on the calculated classification parameter; and a classification evaluation value for each category of the teaching defect image calculated by the calculation means. Is displayed, and storage means for acquiring and storing teaching data indicating a correspondence relationship between a plurality of teaching defects and categories corresponding to the types of the defects. Further, the present invention is a defect classification device that classifies a defect type based on an image obtained by imaging a defect found in the defect inspection of the inspection object,
A feature amount extracting unit that extracts a feature amount from the teaching defect image; a display unit that displays a teaching defect image located in a feature space based on the feature amount extracted by the feature amount extracting unit;
Storage means for acquiring and storing teaching data indicating a correspondence relationship between a plurality of teaching defects and a category corresponding to the defect type;

【0014】以上説明したように、前記構成によれば、
学習型欠陥分類装置を用いて統計的に有意な教示用デー
タを効率的に作成可能となり、欠陥分類装置の性能を高
い次元で活用することができ、この結果、欠陥分類精度
が向上し、ひいては製造プロセスの異常原因を高精度に
推定することが可能となり、製造プロセスの異常改善に
効果を発揮することができる。
As described above, according to the above configuration,
Statistically significant teaching data can be efficiently created using the learning-type defect classifier, and the performance of the defect classifier can be utilized at a high level. As a result, the defect classification accuracy is improved, and The cause of the abnormality in the manufacturing process can be estimated with high accuracy, and the effect of improving the abnormality in the manufacturing process can be exerted.

【0015】[0015]

【発明の実施の形態】本発明に係る実施の形態につい
て、図面を用いて説明する。図1は、本発明に係る欠陥
分類方法およびその装置が半導体製造プロセスにおいて
果たす役割を説明するための図である。半導体素子の製
品は、ウエハ等の基板1に対して数百もの製造プロセス
工程1〜nを経て製造され、完成までに約百日もの期間
を要する場合がある。しかし、半導体素子の製品の良否
が判明するのは、ほぼ全ての製造プロセスが完了したプ
ローブ検査工程1tである。このため、歩留まりを向上
するためには途中の製造プロセス工程におけるプロセス
処理の良否を推定する手段が必須である。このために、
例えば、製造プロセス工程1においてプロセス処理され
た基板1に対して外観検査装置(光学的検査するものと
か、電子線を用いて検査するものとがある。)2による
外観検査が行われ、基板1に形成された配線パターンの
外観異常からプロセス処理の良否を判定することが行わ
れている。プロセス処理の異常が確認された場合、対策
を実施する必要があるが、このための情報収集手段とし
ての欠陥分類装置3は重要な役割を果たしている。すな
わち、外観検査装置2の検査結果4からは欠陥の場所と
数は把握できるが、その中身についての情報は得られな
い。このため、欠陥分類装置3において、外観検査装置
2から得られる欠陥の場所での画像5を基にして欠陥の
種類(異物なのか、パターン欠陥なのか、傷なのか、そ
の他なのか)を分類し、品質管理システム7において、
この分類された情報に基づいて不良モード別の発生頻度
6を表示手段を用いて表示させることにより、作業者が
対策候補絞り込み工程8(a)において対策候補を絞り
込むことができる。ところで、製造プロセス工程1とし
ては、成膜工程、レジスト塗布工程、露光・現像工程、
エッチング工程、およびレジスト剥離工程などから構成
され、様々なプロセス処理装置が設置される製造ライン
によって構成されることになる。従って、様々な種類
(カテゴリ)の欠陥を発生する様々なプロセス処理装置
が存在することになる。
Embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a diagram for explaining the role of a defect classification method and apparatus according to the present invention in a semiconductor manufacturing process. A semiconductor device product is manufactured on a substrate 1 such as a wafer through hundreds of manufacturing process steps 1 to n, and it may take about 100 days to complete. However, the quality of the semiconductor device product is determined in the probe inspection step 1t in which almost all the manufacturing processes are completed. For this reason, in order to improve the yield, means for estimating the quality of the process in the middle of the manufacturing process is indispensable. For this,
For example, the substrate 1 processed in the manufacturing process 1 is subjected to an external appearance inspection by an external inspection apparatus (an optical inspection apparatus or an inspection apparatus using an electron beam) 2, and the substrate 1 is processed. The quality of process processing is determined based on the appearance abnormality of the wiring pattern formed on the substrate. When an abnormality in the process processing is confirmed, it is necessary to take a countermeasure, but the defect classification device 3 as an information collecting means plays an important role. That is, although the location and number of defects can be grasped from the inspection result 4 of the visual inspection device 2, information about the contents cannot be obtained. Therefore, the defect classification device 3 classifies the type of the defect (whether it is a foreign substance, a pattern defect, a flaw, or other) based on the image 5 at the location of the defect obtained from the appearance inspection device 2. Then, in the quality management system 7,
By displaying the occurrence frequency 6 for each failure mode using the display means based on the classified information, the operator can narrow down the countermeasure candidates in the countermeasure candidate narrowing step 8 (a). By the way, as the manufacturing process step 1, a film forming step, a resist coating step, an exposure / developing step,
It comprises an etching step, a resist stripping step, and the like, and is constituted by a production line on which various processing apparatuses are installed. Therefore, there are various processing apparatuses that generate various types (categories) of defects.

【0016】図1に示す実施例では、パターン欠陥に比
べ異物の発生頻度が大きいため、異物発生防止対策を行
えば良いことが判る。即ち、作業者は、原因推定工程8
(b)において、発生頻度が高い欠陥を優先的に原因推
定し、対策工程9において、該推定された原因を基にプ
ロセス処理を実行するプロセス処理装置に対して対策を
施すことで、迅速に歩留まり向上が図れる。本発明に係
る欠陥分類装置3は、従来目視で行われていた欠陥分類
作業を自動化する装置であり、高い分類性能が要求され
る。次に、本発明に係る欠陥分類装置ならびに分類手順
について、図2〜図5を用いて説明する。図2は、本発
明に係る欠陥分類装置の一実施例を示す構成図である。
図3は、図2に示す欠陥分類装置で行う分類手順を説明
するための図である。図4は、教示用データ作成手順な
らびに画面ならびに教示用データの一実施例を示す図で
ある。図5は、学習の原理を説明するための図である。
説明は図3の分類手順に従って図2を参照して行う。該
当する箇所で図4、図5を参照する。
In the embodiment shown in FIG. 1, since the frequency of occurrence of foreign matters is higher than that of pattern defects, it can be seen that measures to prevent the occurrence of foreign matters should be taken. That is, the operator performs the cause estimation step 8
In (b), the cause of the defect having a high frequency of occurrence is preferentially estimated, and in the countermeasure step 9, a countermeasure is taken against a process processing apparatus that executes a process process based on the estimated cause, thereby quickly. The yield can be improved. The defect classification apparatus 3 according to the present invention is an apparatus that automates the defect classification work conventionally performed visually, and requires high classification performance. Next, a defect classification apparatus and a classification procedure according to the present invention will be described with reference to FIGS. FIG. 2 is a configuration diagram showing one embodiment of the defect classification device according to the present invention.
FIG. 3 is a diagram for explaining a classification procedure performed by the defect classification device shown in FIG. FIG. 4 is a diagram showing an example of a teaching data creation procedure, a screen, and teaching data. FIG. 5 is a diagram for explaining the principle of learning.
The description will be made with reference to FIG. 2 according to the classification procedure of FIG. Reference is made to FIGS. 4 and 5 where appropriate.

【0017】分類手順は、図3(a)に示す学習工程と
図3(b)に示す分類工程に分かれる。
The classification procedure is divided into a learning step shown in FIG. 3A and a classification step shown in FIG.

【0018】まず、本発明に係る欠陥分類装置において
実行する図3(a)に示す学習工程について説明する。
学習工程では、ステップS31において、次に具体的に
説明するように、教示用データを作成するための欠陥画
像が収集されて画像記録装置(画像記憶装置)20に格
納される。即ち、まず、図2に示す如く、基板搬送制御
部24で制御される基板搬送装置11により教示用デー
タを作成するための教示用欠陥が形成された基板12’
をステージ13上に搭載する。一方、ホストコンピュー
タ15は、外観検査装置2等で検査されて選択された教
示データ用の基板12’に対応する欠陥座標情報を上位
システムからネットワーク14を経由して受け取る。ホ
ストコンピュータ15は、受け取られた欠陥座標情報を
参照してステージ制御部16に指示を送り、ステージ1
3を移動して基板12’上の教示用欠陥を観察位置に移
動させる。そして、TVカメラ等の撮像装置18は、光
学系17を介して得られる欠陥の画像を撮像し、撮像さ
れた欠陥の画像信号を画像入力装置19を介して画像記
録装置20に記録させる。以上の処理を指定された欠陥
について繰り返すことによって、教示用データを作成す
るための教示用欠陥画像信号が画像記録装置20に蓄積
されて、教示用欠陥画像信号が収集させることになる。
以上説明したように、上記基板12’は、予め教示用デ
ータを作成するためのものである。
First, the learning step shown in FIG. 3A executed by the defect classification device according to the present invention will be described.
In the learning step, in step S31, defect images for creating teaching data are collected and stored in the image recording device (image storage device) 20, as will be specifically described below. That is, first, as shown in FIG. 2, the substrate 12 ′ on which a teaching defect for creating teaching data is formed by the substrate transport device 11 controlled by the substrate transport control unit 24.
Is mounted on the stage 13. On the other hand, the host computer 15 receives defect coordinate information corresponding to the teaching data substrate 12 ′ inspected and selected by the visual inspection device 2 or the like from the host system via the network 14. The host computer 15 sends an instruction to the stage controller 16 with reference to the received defect coordinate information,
3 to move the teaching defect on the substrate 12 'to the observation position. Then, the imaging device 18 such as a TV camera captures an image of the defect obtained via the optical system 17 and records an image signal of the captured defect on the image recording device 20 via the image input device 19. By repeating the above process for the designated defect, the teaching defect image signal for creating the teaching data is accumulated in the image recording device 20, and the teaching defect image signal is collected.
As described above, the substrate 12 'is for creating teaching data in advance.

【0019】次に、ステップS32において、ホストコ
ンピュータ15に対するオペレータの操作によって教示
用データ作成(カテゴリA付与)が行われる。即ち、図
4(a)は教示用データ作成のフローを示し、同図
(b)は教示用データ作成におけるモニタ23の画面を
示し、同図(c)は記憶装置25に記憶された教示用デ
ータの例である。図4(a)に示す如く、ステップS5
1において、オペレータがキーボード等の入力手段22
を用いて欠陥画像i=1を指定操作することにより、ホ
ストコンピュータ15は、ステップS52において、画
像記録装置(画像記憶装置)20に記録された教示用デ
ータ用の欠陥画像信号i=1を呼び出してモニタ23に
表示させる。同時に、オペレータは、教示用の欠陥画像
を順番に観察していく過程で、類似した欠陥画像を同一
カテゴリとして登録すべく、カテゴリと欠陥名(欠陥の
種類:異物、パターン欠陥、傷、その他)との対応関係
(カテゴリ一覧表)を入力手段22を用いてホストコン
ピュータ15に入力して記憶装置25に登録する。これ
によって、ホストコンピュータ15は、モニタ23の画
面に、カテゴリと欠陥名との対応関係を示すカテゴリ一
覧表32を表示することができる。ステップS53にお
いて、オペレータは、図4(b)に示すように、モニタ
23の画面に31として表示された教示用欠陥画像i=
1を観察し、カテゴリ一覧表(カテゴリと欠陥名との対
応関係)32を参照して教示用欠陥画像i=1に対して
入力手段22によりカテゴリA(モニタ23の画面にお
ける33)を入力して付与することにより、教示用欠陥
画像を示す欠陥番号i=1に対してカテゴリAが記憶装
置25に記憶される。ステップS54において、画像記
録装置20に収集記録されたすべての教示用欠陥につい
て処理が終わるまで、ステップS55において、オペレ
ータが入力手段22を用いて教示用欠陥画像i=i+1
の指定操作を繰り返すことにより、ホストコンピュータ
15は、ステップS52において、画像記録装置20に
記録された教示用欠陥画像信号i=i+1を順次呼び出
してモニタ23の画面に表示させることを繰り返すこと
になる。更に、ステップS53において、オペレータ
は、順次モニタ23に表示された教示用欠陥画像i=i
+1を観察し、モニタ23の画面に表示されたカテゴリ
一覧表(カテゴリと欠陥名との対応関係)32を参照し
て順次教示用欠陥画像i=i+1に対して入力手段22
によりカテゴリを入力して付与することにより、順次教
示用欠陥画像を示す欠陥番号i=i+1に対して記憶装
置25に記憶されることになる。
Next, in step S32, teaching data is created (category A is assigned) by an operation of the host computer 15 by an operator. 4A shows the flow of the teaching data creation, FIG. 4B shows the screen of the monitor 23 in the teaching data creation, and FIG. 4C shows the teaching data stored in the storage device 25. It is an example of data. As shown in FIG. 4A, step S5
1, the operator operates the input means 22 such as a keyboard.
, The host computer 15 calls the defect image signal i = 1 for the teaching data recorded in the image recording device (image storage device) 20 in step S52. To be displayed on the monitor 23. At the same time, in the process of sequentially observing the defect images for teaching, in order to register similar defect images as the same category, the category and defect name (type of defect: foreign matter, pattern defect, scratch, etc.) Is input to the host computer 15 using the input means 22 and registered in the storage device 25. Thereby, the host computer 15 can display the category list 32 indicating the correspondence between the category and the defect name on the screen of the monitor 23. In step S53, as shown in FIG. 4B, the operator displays the teaching defect image i = 31 displayed on the monitor 23 screen.
1 is observed, and the category A (33 on the screen of the monitor 23) is inputted by the input means 22 for the teaching defect image i = 1 with reference to the category list (correspondence relationship between the category and the defect name) 32. The category A is stored in the storage device 25 for the defect number i = 1 indicating the teaching defect image. Until the processing is completed for all the teaching defects collected and recorded in the image recording device 20 in step S54, the teaching defect image i = i + 1 using the input unit 22 by the operator in step S55.
In step S52, the host computer 15 repeatedly calls the teaching defect image signal i = i + 1 recorded in the image recording device 20 and displays it on the screen of the monitor 23 in step S52. . Further, in step S53, the operator sequentially displays the teaching defect images i = i displayed on the monitor 23.
+1 is observed, and referring to the category list (correspondence relationship between categories and defect names) 32 displayed on the screen of the monitor 23, the input means 22 is sequentially input to the teaching defect image i = i + 1.
By inputting and assigning a category, the storage device 25 sequentially stores defect numbers i = i + 1 indicating defect images for teaching.

【0020】即ち、図4(b)に示すように、モニタ2
3の画面には、教示用欠陥画像31とカテゴリ一覧表3
2とが表示されるので、オペレータは、教示用欠陥画像
31を観察しながら、一覧表32から該当するカテゴリ
番号を選択してカテゴリ番号入力部33を用いて入力す
る。ここで、カテゴリとは、欠陥の種類に与えられる番
号であり、欠陥の種類に対応して決められる。例えば異
物は1、パターン欠陥は2、傷は3、その他は4のよう
なものである。オペレータが入力手段22を用いて入力
されたカテゴリは、ホストコンピュータ15において教
示用データとして記憶装置25に記憶される。ここで、
カテゴリとは予め決められるものではなく、教示用欠陥
画像iを順番に観察していく過程で決まることに注意を
要する。すなわち、画像記録装置20に収集された教示
用欠陥画像の全体の傾向は未知であるため、順番に教示
用欠陥画像iを観察しながら類似した欠陥を同一カテゴ
リとして登録する必要がある。このため、教示用データ
は、矛盾したデータを含みやすい傾向にある。次に、ス
テップS33において、画像処理装置21は各教示用欠
陥画像iに対して各種特徴量34の抽出(特徴量選択も
含む。)を行ってホストコンピュータ15に提供し、カ
テゴリ35と対応させて図4(c)に示す教示用データ
として記憶装置25に記憶される。即ち、画像処理装置
21は、画像記録装置20に記憶された各教示用欠陥画
像信号iを読み出し、この読み出された各教示用欠陥画
像信号iに対して画像処理を実施して教示用欠陥画像i
の各種特徴量を抽出してホストコンピュータ15に提供
し、記憶装置25に記憶させる。ここで、欠陥画像の各
種特徴量とは、欠陥画像の色情報、形状、サイズ等であ
る。例えば、カテゴリ1の異物は暗く、円形に近いが、
カテゴリ2のパターン欠陥は周辺パターンと同一色で形
状が複雑であり、カテゴリ3の傷は面積が小さいが長さ
が長い性質、等の特徴がある。そこで、画像処理装置2
1は、予め決められた種類の特徴量1〜5(図4(c)
の例では5通り34)を計算してホストコンピュータ1
5に提供し、記憶装置25に教示用データとして欠陥番
号に対応して記憶する。ここで、分類に有効な特徴量は
一意に決められないということに注意を要する。欠陥分
類装置3が対象とする製品または工程によって欠陥は異
なる。このため、考えられる範囲で多数の特徴量(色情
報、形状、サイズ等)を用意しておき、収集された欠陥
の分類に有効な特徴量のみを選択して使用することが行
われる。特徴量の選択方法については後述する。図3
(a)に示すステップS33における特徴抽出には、特
徴量選択も含まれる。
That is, as shown in FIG.
3 shows a teaching defect image 31 and a category list 3
2 is displayed, the operator selects a corresponding category number from the list 32 and inputs the category number using the category number input unit 33 while observing the teaching defect image 31. Here, the category is a number given to the type of defect, and is determined according to the type of defect. For example, the number of foreign substances is 1, the number of pattern defects is 2, the number of scratches is 3, and the others are 4. The category input by the operator using the input unit 22 is stored in the storage device 25 as teaching data in the host computer 15. here,
It should be noted that the category is not determined in advance, but is determined in the process of sequentially observing the teaching defect image i. That is, since the overall tendency of the teaching defect images collected in the image recording device 20 is unknown, it is necessary to register similar defects as the same category while observing the teaching defect images i in order. For this reason, the teaching data tends to include inconsistent data. Next, in step S33, the image processing apparatus 21 extracts various feature amounts 34 (including feature amount selection) for each teaching defect image i and provides them to the host computer 15 to make them correspond to the category 35. 4C is stored in the storage device 25 as teaching data shown in FIG. That is, the image processing device 21 reads each of the teaching defect image signals i stored in the image recording device 20, performs image processing on each of the read teaching defect image signals i, and executes the teaching defect image signal. Image i
Are extracted and provided to the host computer 15 and stored in the storage device 25. Here, the various feature amounts of the defect image include color information, shape, size, and the like of the defect image. For example, category 1 foreign matter is dark and nearly circular,
Category 2 pattern defects have the same color as the peripheral patterns and are complex in shape, and category 3 flaws have a small area but a long length. Therefore, the image processing device 2
1 is a predetermined type of feature quantity 1 to 5 (FIG. 4C)
In the example, the host computer 1 calculates 5 ways 34).
5, and stored in the storage device 25 as teaching data corresponding to the defect number. Here, it should be noted that a feature amount effective for classification cannot be uniquely determined. Defects vary depending on the product or process targeted by the defect classification device 3. For this reason, a large number of feature amounts (color information, shape, size, etc.) are prepared in a conceivable range, and only the feature amounts effective for classification of collected defects are selected and used. The method of selecting the feature amount will be described later. FIG.
The feature extraction in step S33 shown in FIG.

【0021】次に、ステップS34において、ホストコ
ンピュータ15は、ステップS32においてカテゴリA
が付与された教示用データを基に学習(分類パラメータ
算出)が行われ、算出された分類パラメータ26を記憶
装置25に記憶される。図5(a)(b)は学習の原理
を説明するための図である。図5(a)はステップS3
2においてカテゴリAが付与された教示用データを特徴
量空間にプロットした図である。ここで、×42はカテ
ゴリ1であり、□43はカテゴリ2であり、X1は特徴
量1、X2は特徴量2を示す軸である。ホストコンピュ
ータ15において行う学習とは、ステップS32におい
て付与されたカテゴリ間の判別関数を計算することを意
味し、前記関数を分類パラメータ26と称する。判別関
数を図示すると、図5(b)に示す46は、カテゴリの
境界となる。判別関数の算出方法は多くの手法が知られ
ているが、本明細書では代表的手法である判別分析を例
に説明する。以後、判別分析を例に説明を進めるが、本
発明は他の手法においても同様に成り立つ。
Next, at step S34, the host computer 15 determines at step S32 that the category A
Learning (calculation of classification parameters) is performed based on the teaching data to which is added, and the calculated classification parameters 26 are stored in the storage device 25. FIGS. 5A and 5B are diagrams for explaining the principle of learning. FIG. 5A shows step S3.
3 is a diagram in which teaching data to which a category A is assigned in FIG. 2 is plotted in a feature amount space. Here, × 42 is category 1, □ 43 is category 2, X1 is a feature amount 1 and X2 is a feature amount 2 axis. Learning performed in the host computer 15 means calculating a discriminant function between the categories given in step S32, and the function is referred to as a classification parameter 26. When the discriminant function is illustrated, 46 shown in FIG. 5B is a category boundary. Many methods are known for calculating the discriminant function. In this specification, a discriminant analysis, which is a typical method, will be described as an example. Hereinafter, description will be made by taking discriminant analysis as an example, but the present invention can be similarly realized in other methods.

【0022】次に、複数の特徴量を基にして分類パラメ
ータ26であるカテゴリ間の判別関数を算出する方法で
ある判別分析について、図5(b)を用いて説明する。
同図において、点47はカテゴリ1の重心、点48はカ
テゴリ2の重心、楕円49は重心からの距離が等しい点
の集まりを表す。ここで距離とは特徴量空間におけるユ
ークリッド距離を、教示用データの分散で基準化したも
のでありマハラノビス距離と呼ばれる。境界線46はカ
テゴリ1およびカテゴリ2の重心から等距離にある点の
集合である。未知の点50(欠陥に対応)に対するカテ
ゴリ間の判別関数は次に示す(数1)式で与えられる。
Next, a discriminant analysis which is a method of calculating a discriminant function between categories, which is the classification parameter 26, based on a plurality of feature amounts will be described with reference to FIG.
In the figure, a point 47 represents a center of gravity of category 1, a point 48 represents a center of gravity of category 2, and an ellipse 49 represents a group of points having the same distance from the center of gravity. Here, the distance is a value obtained by standardizing the Euclidean distance in the feature amount space by the variance of the teaching data, and is called a Mahalanobis distance. The boundary line 46 is a set of points equidistant from the center of gravity of category 1 and category 2. The discriminant function between categories for the unknown point 50 (corresponding to a defect) is given by the following (Equation 1).

【0023】[0023]

【数1】Z1・2=D12−D22 但し、Z1・2:カテゴリ1とカテゴリ2との判別関数 D12:カテゴリ1の重心とのマハラノビス平方距離 D22:カテゴリ2の重心とのマハラノビス平方距離 このため、Z1・2に基づく下記(数2)式により分類
が可能である。
Z1 · 2 = D1 2 −D2 2 where Z1 · 2: Discriminant function between category 1 and category 2 D1 2 : Mahalanobis square distance from the center of gravity of category 1 D2 2 : Mahalanobis with the center of gravity of category 2 Square distance For this reason, classification can be performed by the following (Equation 2) based on Z1 · 2.

【0024】[0024]

【数2】Z1・2<0 → カテゴリ1に属する Z1・2>0 → カテゴリ2に属する ここで、図5(a)(b)では2つの特徴量を用いて説
明したが実際には多次元のベクトル空間が構成されるこ
とに注意を要する。
[Mathematical formula-see original document] Z1 * 2 <0 → belongs to category 1 Z1 / 2> 0 → belongs to category 2 Here, in FIG. 5 (a) and FIG. Note that a dimensional vector space is constructed.

【0025】次に、本発明に係る実際に所望のプロセス
処理工程に設置されたプロセス処理装置によってプロセ
ス処理された被検査対象基板(ウエハ)に対して基板単
位またはロット単位で抜き取られて外観検査装置2で検
査され、該外観検査装置2で欠陥と判定された基板単位
若しくはロット単位での被検査対象基板に対して欠陥分
類装置において実行する図3(b)に示す分類工程につ
いて説明する。分類工程では、ステップS41におい
て、次に具体的に説明するように、実際に所望のプロセ
ス処理工程においてプロセス処理装置によってプロセス
処理された被検査対象基板(ウエハ)に対して基板単位
またはロット単位で抜き取られて外観検査装置2で検査
され、該外観検査装置2で欠陥と判定された基板単位若
しくはロット単位での被検査対象基板の欠陥画像が収集
されて画像記録装置(画像記憶装置)20に格納され
る。即ち、まず、図2に示す如く、基板搬送制御部24
で制御される基板搬送装置11により外観検査装置2で
欠陥と判定された基板単位若しくはロット単位での被検
査対象基板12をステージ13上に搭載する。一方、ホ
ストコンピュータ15は、外観検査装置2等で基板単位
若しくはロット単位で検査されて欠陥が存在する被検査
対象基板12に対応する欠陥座標情報を上位システムか
らネットワーク14を経由して受け取る。ホストコンピ
ュータ15は、受け取られた欠陥座標情報を参照してス
テージ制御部16に指示を送り、ステージ13を移動し
て被検査対象基板12上の欠陥を観察位置に移動させ
る。そして、TVカメラ等の撮像装置18は、光学系1
7を介して得られる欠陥の画像を撮像し、撮像された欠
陥の画像信号を画像入力装置19を介して画像記録装置
20に記録させる。以上の処理を外観検査装置2によっ
て検査された欠陥について繰り返すことによって、カテ
ゴリを分類するための欠陥画像信号が分類対象の欠陥番
号に対応させて画像記録装置20に蓄積されて、分類対
象の欠陥画像信号が収集させることになる。
Next, the substrate to be inspected (wafer) processed by the processing apparatus installed in the actually desired processing step according to the present invention is extracted in a substrate unit or a lot unit, and the appearance inspection is performed. A description will be given of the classification process shown in FIG. 3B executed by the defect classification device for the substrate to be inspected in units of substrates or lots which are inspected by the device 2 and determined to be defective by the appearance inspection device 2. In the classification step, in step S41, as will be described in detail below, a substrate to be inspected (wafer) actually processed by a processing apparatus in a desired processing step is processed in units of a substrate or lot. A defect image of the substrate to be inspected is collected and inspected by the visual inspection device 2 and determined as a defect by the visual inspection device 2 for each substrate or lot, and is collected in the image recording device (image storage device) 20. Is stored. That is, first, as shown in FIG.
The substrate 12 to be inspected, which is determined as a defect by the appearance inspection device 2 by the substrate transfer device 11 controlled by the above, is mounted on the stage 13 in units of substrates or lots. On the other hand, the host computer 15 receives, via the network 14, defect coordinate information corresponding to the inspected substrate 12 in which defects have been inspected by the visual inspection device 2 or the like on a substrate or lot basis from the host system. The host computer 15 sends an instruction to the stage control unit 16 with reference to the received defect coordinate information, and moves the stage 13 to move the defect on the inspection target substrate 12 to the observation position. The imaging device 18 such as a TV camera includes the optical system 1
An image of the defect obtained through the image pickup device 7 is captured, and an image signal of the captured defect is recorded in the image recording device 20 through the image input device 19. By repeating the above processing for the defect inspected by the visual inspection device 2, the defect image signal for classifying the category is stored in the image recording device 20 in correspondence with the defect number to be classified, and the defect to be classified is An image signal will be collected.

【0026】次に、ステップS42において、画像処理
装置21は、分類対象の欠陥画像に対して各種特徴量の
抽出(特徴量選択も含む。)を行ってホストコンピュー
タ15に提供し、記憶装置25に記憶される。即ち、画
像処理装置21は、画像記録装置20に分類対象の欠陥
番号に対応させて記憶された分類対象の欠陥画像信号を
読み出し、この読み出された各欠陥画像信号に対して画
像処理を実施して欠陥画像の各種特徴量(分類データと
称する。)を抽出してホストコンピュータ15に提供
し、記憶装置25に記憶させる。ここで、欠陥画像の各
種特徴量とは、欠陥画像の色情報、形状、サイズ等であ
る。上記記憶装置25に記憶された分類データは、図4
(c)の教示用データと同様な形態であるが、カテゴリ
欄35は空欄となっている。そこで、ホストコンピュー
タ15は、ステップS43において、上記記憶装置25
に記憶された各欠陥ごとの分類データ(各種特徴量)
と、学習工程で算出されて上記記憶装置25に記憶され
た分類パラメータ(特徴量空間におけるカテゴリ間の判
別関数)26で示される教示用データとを用いてカテゴ
リ(欠陥の種類に対応する。)を推定する分類演算を行
って分類カテゴリB27を推定し、この推定された分類
カテゴリB(欠陥の種類に対応する。)27を上記分類
対象の欠陥番号に対応させて記憶装置25に記憶させ
る。
Next, in step S 42, the image processing device 21 extracts various feature amounts (including feature amount selection) from the defect image to be classified and provides the extracted images to the host computer 15. Is stored. That is, the image processing device 21 reads out the defect image signals to be classified stored in the image recording device 20 in association with the defect numbers to be classified, and performs image processing on each of the read defect image signals. Then, various characteristic amounts (referred to as classification data) of the defect image are extracted, provided to the host computer 15, and stored in the storage device 25. Here, the various feature amounts of the defect image include color information, shape, size, and the like of the defect image. The classification data stored in the storage device 25 is shown in FIG.
It has the same form as the teaching data of (c), but the category column 35 is blank. Therefore, in step S43, the host computer 15
Classification data (various feature amounts) for each defect stored in the
And the teaching data calculated by the learning process and indicated by the classification parameter (discrimination function between categories in the feature amount space) 26 stored in the storage device 25. The category (corresponding to the type of defect). Is performed to estimate the classification category B27, and the estimated classification category B (corresponding to the type of defect) 27 is stored in the storage device 25 in association with the defect number to be classified.

【0027】このように、記憶された分類カテゴリB2
7は、ネットワーク14を経由して上位システムである
品質管理システム7に転送され、品質管理システム7に
おいて図1に示すような不良モード(欠陥の種類に対応
する分類カテゴリB)について表示され、対策候補の絞
り込みや欠陥の発生原因の推定等の解析が行われる。以
上説明したような学習型分類システム(欠陥分類装置)
3では、教示用データ作成が最も重要である。オペレー
タが矛盾した教示用データしか作成することができない
と、システムの機能を十分に活用することができない。
例えば、図4(b)に示す画面において、オペレータが
教示用欠陥画像31に対して教示カテゴリ33について
入力ミスを犯すことが考えられる。このように入力ミス
を犯した場合、図5(c)に示すように、特徴量空間で
カテゴリ1およびカテゴリ2に分離したクラスタ52に
おいてノイズ53が混入した教示用データとなる。ま
た、図4(b)に示す画面において、オペレータが教示
用欠陥画像31を観察したとき、例えば、カテゴリ1と
カテゴリ2のどちらに属するか迷うことがある。このよ
うに迷って教示カテゴリ33を入力した場合、入力する
カテゴリに一貫性がなくなり、図5(d)に示すように
特徴空間での境界が交差した教示用データとなる。さら
に、オペレータが未熟で、教示用欠陥画像31に対して
教示カテゴリ33を入力した場合、カテゴリに一貫性が
なくなり、図5(e)に示すように異なるカテゴリが特
徴量空間に均一に分布した矛盾した教示用データを作成
するおそれがある。このような場合、システムが正常に
動作しなくなり欠陥分類性能が著しく低下する。従来の
システムでは、このような場合、オペレータが何をどの
ように改善して良いのかの指針を与えてくれなかった。
As described above, the stored classification category B2
7 is transferred to the quality management system 7 which is a higher-order system via the network 14, and is displayed in the quality management system 7 with respect to a failure mode (classification category B corresponding to the type of defect) as shown in FIG. Analysis such as narrowing down candidates and estimating the cause of occurrence of defects is performed. Learning type classification system (defect classification device) as described above
In 3, the teaching data creation is the most important. If the operator can only create inconsistent teaching data, the functions of the system cannot be fully utilized.
For example, on the screen shown in FIG. 4B, it is conceivable that the operator makes an input error in the teaching category 33 with respect to the teaching defect image 31. When an input error is made in this way, as shown in FIG. 5C, the data becomes teaching data in which the noise 53 is mixed in the cluster 52 separated into the category 1 and the category 2 in the feature amount space. Further, when the operator observes the teaching defect image 31 on the screen shown in FIG. 4B, for example, it may be confused whether the image belongs to category 1 or category 2. When the teaching category 33 is input by mistake as described above, the input category becomes inconsistent and becomes teaching data in which the boundary in the feature space intersects as shown in FIG. 5D. Further, when the operator is inexperienced and inputs the teaching category 33 for the teaching defect image 31, the categories become inconsistent and different categories are uniformly distributed in the feature amount space as shown in FIG. There is a possibility that inconsistent teaching data may be created. In such a case, the system does not operate normally and the defect classification performance is significantly reduced. In such a case, the conventional system does not provide a guide for what and how to improve the operator.

【0028】次に、本発明に係るオペレータが教示用デ
ータを作成する過程で、教示用データを診断・評価した
り、また作成支援する機能を提供することにより、未熟
なオペレータであっても高い分類性能で欠陥分類装置を
操作できる構成について、図6および図7を用いて説明
する。即ち、本発明に係る第1の実施例である教示用デ
ータ診断機能について、図6および図7を用いて説明す
る。図6は、教示用データ診断機能のフローチャートで
ある。図7は、教示用データ診断機能を実現する画面の
説明図である。以下で述べるオペレータの操作はキーボ
ード等の入力手段22を通して行われ、結果はモニタ2
3に表示される。また、オペレータの操作結果もモニタ
23に表示される。さらに、オペレータの操作に対する
処理はホストコンピュータ15で行われ、結果はホスト
コンピュータ15の記憶装置25等に格納されるもので
ある。
Next, in the process of creating teaching data by the operator according to the present invention, diagnosis / evaluation of teaching data and a function of supporting creation are provided, so that even an inexperienced operator can provide a high level of teaching data. A configuration in which the defect classification apparatus can be operated with the classification performance will be described with reference to FIGS. That is, the teaching data diagnosis function according to the first embodiment of the present invention will be described with reference to FIGS. FIG. 6 is a flowchart of the teaching data diagnosis function. FIG. 7 is an explanatory diagram of a screen for realizing the teaching data diagnosis function. The operation of the operator described below is performed through input means 22 such as a keyboard, and the result is displayed on the monitor 2.
3 is displayed. The operation result of the operator is also displayed on the monitor 23. Further, the processing for the operator's operation is performed by the host computer 15, and the result is stored in the storage device 25 or the like of the host computer 15.

【0029】ところで、図6に示す最終欠陥判定ステッ
プS54までは、図4(a)に示す教示用データ作成操
作フローと同じである。そして、特に、本発明において
は、前述したように1度作成された教示用データの診断
を行うことに特徴がある。以下に、この診断手順につい
て説明する。まず、ホストコンピュータ15は、ステッ
プS56において、ステップS54までに作成されて記
憶装置25に記憶された教示用データを用いて特徴量の
選択を行う。すなわち、ホストコンピュータ15は、予
め用意してある特徴量の内、教示用データを分類する上
で有効に機能する特徴量のみを選択する。特徴量の選択
手順は、例えば、判別分析における変数選択法として知
られている。変数選択法では変数を追加する前後の判別
効率(上記(数1)式で示される重心間のマハラノビス
平方距離)を比較することにより、統計的有意性を判定
するものである。
The operation up to the final defect determination step S54 shown in FIG. 6 is the same as the operation flow for creating teaching data shown in FIG. In particular, the present invention is characterized in that diagnosis of the teaching data created once as described above is performed. Hereinafter, this diagnostic procedure will be described. First, in step S56, the host computer 15 selects a feature amount using the teaching data created up to step S54 and stored in the storage device 25. That is, the host computer 15 selects only the feature amount that effectively functions in classifying the teaching data from the feature amounts prepared in advance. The procedure for selecting a feature amount is known as, for example, a variable selection method in discriminant analysis. In the variable selection method, the statistical significance is determined by comparing the discrimination efficiencies before and after adding a variable (the Mahalanobis square distance between the centroids represented by the above-mentioned (Equation 1)).

【0030】次に、ホストコンピュータ15は、ステッ
プS57において、選択された特徴量を用いて分類パラ
メータ(特徴量空間におけるカテゴリ間の判別関数)2
6を算出し、ステップS58において、該算出された分
類パラメータに基づいて教示用データの分類を実施す
る。
Next, in step S57, the host computer 15 uses the selected feature amount to classify the classification parameter (discrimination function between categories in the feature amount space) 2
6 is calculated, and in step S58, the teaching data is classified based on the calculated classification parameters.

【0031】ところで、良い教示用データが作成されて
いる場合、分類結果である分類カテゴリB27はオペレ
ータが予め付与したカテゴリAと完全に一致するはずで
ある。ここで、カテゴリAとBが一致しない(相違す
る)教示用データはユーザがミスを犯した可能性が高
い。このため、ホストコンピュータ15は、ステップS
59において、カテゴリAとBが一致しない(相違す
る)教示用データをモニタ23の画面に表示してオペレ
ータの確認を促す。図7(a)はカテゴリAとBが一致
しない教示用データを表示した例である。画面右隣の特
徴量空間59は説明のために図示したものである。画面
左端の画像はカテゴリAとBが1または2で一致した教
示用欠陥(例えば暗い丸い状欠陥および明るい星形状欠
陥)を参照するために表示してある。画面真ん中の画像
と左端の画像がカテゴリが不一致であった教示用欠陥
(例えば明るい丸い形状欠陥、明るい2種類の多角形状
欠陥、暗い星形状欠陥)である。画像の下の数字は→の
左側62がカテゴリAを、→の右側63がカテゴリBを
示す。図の例は、教示用欠陥60(a)、61(a)は
丸い形状をしておりオペレータは丸さに着目してカテゴ
リ1とし、教示用欠陥60(b)、61(c)は複雑な
形状をしておりオペレータは形状に着目してカテゴリ2
としたと推定される。ところが、ホストコンピュータ1
5は、教示用欠陥61(a)、60(b)をカテゴリ
2、教示用欠陥60(a)、61(c)をカテゴリ1と
判定した。これは、教示用データ作成の過程で、本来オ
ペレータは形状ではなく教示用欠陥の明るさに着目して
カテゴリを付与したためである。特徴量空間では、暗い
欠陥60(a)と明るい欠陥61(b)が分離したクラ
スタを形成しており、暗い欠陥のクラスタ60(a)に
明るい欠陥61(a)が、明るい欠陥のクラスタ60
(b)に暗い欠陥61(c)が混入している。これはユ
ーザがカテゴリ付けをする過程で分類基準を変更または
迷ったために生じたノイズである。このため、ホストコ
ンピュータ15はこれらのノイズ61(a)、61
(c)に影響されて本来の分類パラメータとはずれた値
を出力する。判別分析を例に説明すれば、ノイズの影響
で教示用データの分散が増加し、2群の分離度が低下
し、交差領域64が大きくなる。
By the way, when good teaching data is created, the classification category B27, which is the classification result, should exactly match the category A given in advance by the operator. Here, there is a high possibility that the user has made a mistake in the teaching data in which the categories A and B do not match (is different). For this reason, the host computer 15
At 59, the teaching data in which the categories A and B do not match (is different) is displayed on the screen of the monitor 23 to prompt the operator to confirm. FIG. 7A shows an example in which the teaching data in which the categories A and B do not match is displayed. The feature value space 59 on the right side of the screen is illustrated for explanation. The image at the left end of the screen is displayed to refer to teaching defects (for example, a dark round defect and a bright star defect) in which the categories A and B match 1 or 2. The image in the middle of the screen and the image at the left end are teaching defects (for example, bright round shape defects, two kinds of bright polygonal defects, and dark star shape defects) whose categories do not match. In the numbers below the image, the left side 62 of → indicates category A, and the right side 63 of → indicates category B. In the example shown in the figure, the teaching defects 60 (a) and 61 (a) have a round shape, and the operator pays attention to the roundness and sets the category to 1, and the teaching defects 60 (b) and 61 (c) are complicated. The operator pays attention to the shape and the category 2
It is estimated that However, the host computer 1
In No. 5, the teaching defects 61 (a) and 60 (b) were determined to be category 2, and the teaching defects 60 (a) and 61 (c) were determined to be category 1. This is because in the process of creating the teaching data, the operator originally assigned the category noting the shape but the brightness of the teaching defect. In the feature amount space, a dark defect 60 (a) and a bright defect 61 (b) form a separated cluster, and a dark defect cluster 60 (a) has a bright defect 61 (a) and a bright defect cluster 60.
A dark defect 61 (c) is mixed in (b). This is noise generated by the user changing or confusing the classification criteria in the process of categorizing. Therefore, the host computer 15 recognizes these noises 61 (a) and 61 (a).
A value that deviates from the original classification parameter under the influence of (c) is output. Taking the discriminant analysis as an example, the variance of the teaching data increases due to the influence of noise, the degree of separation between the two groups decreases, and the intersection area 64 increases.

【0032】そこで、ステップS60において、オペレ
ータは、図7(b)(d)に示すように、モニタ23の
画面を見ながら、ホストコンピュータ15に対して入力
手段22を用いてカテゴリAの修正または教示用データ
からの削除を行う。即ち、分類パラメータ(特徴量空間
におけるカテゴリ間の判別関数)を修正するために、図
7(b)に示すように、カテゴリAとBとが一致しない
欠陥61(a)、61(c)では、オペレータは入力手
段22を用いてカテゴリAを修正する。欠陥61(a)
のカテゴリを1から2に、欠陥61(c)のカテゴリを
2から1に修正した様子を示す。同図(c)は、これら
ノイズとなっている欠陥のカテゴリ65を修正して、再
度、ホストコンピュータ15が学習シーケンスを繰り返
した結果である。この結果、教示用データの分散が低下
し、2群の分離度が向上し、ひいては分類性能が向上し
た。
Therefore, in step S60, the operator corrects or corrects the category A using the input means 22 to the host computer 15 while looking at the screen of the monitor 23, as shown in FIGS. Delete from teaching data. That is, in order to correct the classification parameter (the discriminant function between categories in the feature space), as shown in FIG. 7B, in the defects 61 (a) and 61 (c) where the categories A and B do not match. The operator corrects the category A using the input means 22. Defect 61 (a)
Of the defect 61 (c) from 2 to 1, and the category of the defect 61 (c) from 1 to 2. FIG. 13C shows the result of correcting the category 65 of the defect which is a noise and repeating the learning sequence by the host computer 15 again. As a result, the variance of the teaching data was reduced, the degree of separation between the two groups was improved, and the classification performance was improved.

【0033】ホストコンピュータ15は、再度求めた分
類パラメータに従って教示用データを分類すると、欠陥
61(b)、61(d)がカテゴリAとBが一致しない
教示用データとしてモニタ23の画面に表示される。こ
れらは、欠陥の外観からどちらのカテゴリとも判別が難
しいものであり、教示用データとしてふさわしくない。
このため、オペレータは入力手段22を用いて、図7
(d)に示すようにこれら欠陥66を教示用データから
除外することで、曖昧な判定を低減し、明確な特徴を有
する欠陥のみを教示用データとして選別することが可能
となる。この結果、再度学習・分類を行った結果では、
図7(e)に示すように教示用データの分散はさらに低
下し、2群67が明瞭に分離して良好な分類パラメータ
を算出することができる。以上の操作を画面にカテゴリ
AとBが不一致となる欠陥画像が表示されなくなるまで
繰り返す。以上説明したように、上記実施例では、特定
の条件に該当する欠陥の画像のみを画面に表示すること
に特徴がある。即ち、教示用データとは人間が目視した
結果を真とするため、必ず欠陥画像をオペレータに提示
する必要があるのである。この際、分類に悪影響を与え
る恐れがある欠陥のみを選別して表示することで、ユー
ザは効率的に教示用データを修正することが可能とな
る。
When the host computer 15 classifies the teaching data according to the re-determined classification parameters, the defects 61 (b) and 61 (d) are displayed on the screen of the monitor 23 as teaching data in which the categories A and B do not match. You. These are difficult to discriminate in either category from the defect appearance, and are not suitable as teaching data.
For this reason, the operator uses the input unit 22 to
By excluding these defects 66 from the teaching data as shown in (d), it is possible to reduce ambiguous determination and to select only defects having clear features as teaching data. As a result, as a result of learning and classifying again,
As shown in FIG. 7E, the variance of the teaching data is further reduced, and the second group 67 is clearly separated, so that a good classification parameter can be calculated. The above operation is repeated until a defective image in which the categories A and B do not match is not displayed on the screen. As described above, the above embodiment is characterized in that only a defect image corresponding to a specific condition is displayed on the screen. In other words, the teaching data must be presented to the operator without fail in order to make the result of human observation true. At this time, by selecting and displaying only the defects that may adversely affect the classification, the user can efficiently correct the teaching data.

【0034】次に、本発明に係る第2の実施例である教
示用データ評価機能について、図8、図9を用いて説明
する。図8は、教示用データ評価機能のフローチャート
である。図9は、教示用データ評価機能を実現する画面
の説明図である。図8のフローチャートは図6と類似し
ており、図6との違いは分類評価値算出手順(ステップ
S61)が含まれることである。一般に、分類処理では
分類の信頼性を定量的に求められる場合が多い。例え
ば、判別分析法では、前述したように(数1)式で示さ
れる判別関数によりカテゴリへの帰属確率が定量的に出
力される。この結果、カテゴリ別に帰属確率を評価でき
ることになる。一般に、欠陥画像は明瞭にカテゴリを決
めることができない場合が多く、この場合、オペレータ
はホストコンピュータ(システム)15が算出する帰属
確率を拠り所にして教示用データを作成することが可能
となる。例えば、ある欠陥画像はカテゴリ1〜5の内、
カテゴリ1と3の距離が他より小さく、ほぼ同等である
とする。この結果、ユーザはカテゴリを5通りから選択
する代わりに前記2通りから選択することが指針として
得られる。
Next, a teaching data evaluation function according to a second embodiment of the present invention will be described with reference to FIGS. FIG. 8 is a flowchart of the teaching data evaluation function. FIG. 9 is an explanatory diagram of a screen for realizing the teaching data evaluation function. The flowchart of FIG. 8 is similar to that of FIG. 6, and the difference from FIG. 6 is that a classification evaluation value calculation procedure (step S61) is included. Generally, in the classification process, the reliability of the classification is often quantitatively required. For example, in the discriminant analysis method, as described above, the probability of belonging to a category is quantitatively output by the discriminant function represented by Expression (1). As a result, the membership probability can be evaluated for each category. In general, in many cases, the category of a defect image cannot be clearly determined. In this case, the operator can create teaching data based on the membership probability calculated by the host computer (system) 15. For example, a certain defect image is one of categories 1 to 5,
It is assumed that the distance between categories 1 and 3 is smaller than the others and is substantially equal. As a result, the user can select the category from the above two types as a guideline instead of selecting the category from the five types.

【0035】図9(a)は教示用データを分類した結果
を表示した画面の例である。同図の上段69(a)、6
9(b)、69(c)はオペレータが予め付与したカテ
ゴリAがカテゴリ1である欠陥の画像を、下段69
(d)、69(e)、69(f)はオペレータが予め付
与したカテゴリAがカテゴリ2である欠陥の画像が表示
されている。ここで、ステップS62において、上段に
は、ホストコンピュータ15が判別関数によりカテゴリ
の帰属確率として定量的に算出したカテゴリ1の分類評
価値70が小さい順(帰属確率が大きい順)に左から右
に並べて表示されていることに注意されたい。同様に、
ステップS62において、下段には、カテゴリ2の分類
評価値71が小さい順(帰属確率が大きい順)に左から
右に並べて表示されている。同図(a)より、欠陥69
(c)は分類評価値が大きく逆転しており(カテゴリ1
の評価値0.8に対してカテゴリ2の評価値0.2)教
示用データが正しくないことが定量的に把握できる。欠
陥69(b)についても分類評価値がカテゴリAに比べ
て逆転しているが、カテゴリ間の差が小さく明瞭に分離
できないことが判る。図9(b)〜図9(e)では、ス
テップS60において、図7と同様の順序でカテゴリを
修正して学習し直した過程を示している。図7と比較す
ると、分類評価値を参照することにより、カテゴリAの
修正を定量的に判定できる利点がある。また、図9
(a)と図9(e)の欠陥を比較すると、カテゴリ1の
帰属確率71(a)が向上しており、教示用データ修正
による効果を定量的に把握できる。
FIG. 9A is an example of a screen displaying the result of classifying the teaching data. The upper part 69 (a), 6 of the figure
9 (b) and 69 (c) show images of the defect whose category A is category 1 given in advance by the operator.
(D), 69 (e), and 69 (f) display images of defects in which category A is category 2, which is given in advance by the operator. Here, in step S62, in the upper part, the classification evaluation value 70 of category 1 calculated quantitatively as the belonging probability of the category by the discriminant function by the host computer 15 is from left to right in ascending order (in descending order of belonging probability). Note that they are displayed side by side. Similarly,
In step S62, the lower row displays the category evaluation values 71 of category 2 in ascending order (in descending order of membership probability) from left to right. As shown in FIG.
In (c), the classification evaluation values are greatly reversed (Category 1
It can be quantitatively grasped that the category 2 evaluation value 0.2) is incorrect for the evaluation value 0.8. Although the classification evaluation value of the defect 69 (b) is reversed as compared with that of the category A, the difference between the categories is so small that it cannot be clearly separated. FIGS. 9B to 9E show a process in which the categories are corrected in the same order as in FIG. 7 and re-learned in step S60. Compared with FIG. 7, there is an advantage that the correction of the category A can be quantitatively determined by referring to the classification evaluation value. FIG.
9 (e), the belonging probability 71 (a) of category 1 is improved, and the effect of the teaching data correction can be quantitatively grasped.

【0036】以上説明した第2の実施例では、ステップ
S62において、図9に示すように、欠陥の画像69
(a)〜69(f)が分類評価値70、71を参照して
モニタ23の画面に表示されることに特徴がある。即
ち、分類評価値が高い欠陥はオペレータが作成した教示
用データのカテゴリを代表する欠陥画像であり、分類評
価値が低い欠陥は教示用データとして曖昧な欠陥である
指針となる。このため、オペレータが予め付与したカテ
ゴリAとシステムが分類したカテゴリBがたまたま一致
した欠陥であっても、分類評価値が低い場合は教示用デ
ータとして相応しくないと判断できる。このように、第
1の実施例では欠陥画像の観察結果から判定せざるを得
なかった曖昧な欠陥画像に対しても、分類評価値を参照
することにより、正確な判定が可能となる。次に、本発
明に係る第3の実施例である教示用データ作成支援機能
を図10〜12を用いて説明する。前記第1、および第
2の実施例では、オペレータが予め教示用データへカテ
ゴリAを付与する必要があった。一度付与したカテゴリ
を診断機能または評価機能を用いて修正する方法であ
る。第3の実施例では、オペレータがカテゴリを付与す
る前に教示用データの傾向を示唆し、教示用データ作成
の助けにすることを目的としている。このことにより、
最初から曖昧な分類カテゴリを付与することを防止する
ことが可能となり、欠陥分類装置3の条件出しを効率的
に実施することが可能となる。図10は教示用データ作
成支援機能のフローチャートである。本第3の実施例で
は、図4に示す教示用データ作成を行う前に、ステップ
S63において、教示なしクラスタリング処理を実施す
ることに特徴がある。妥当な教示なしクラスタリングを
実施することで分類に有効に寄与する特徴量が選択でき
る効果がある。
In the second embodiment described above, in step S62, as shown in FIG.
Characteristically, (a) to 69 (f) are displayed on the screen of the monitor 23 with reference to the classification evaluation values 70 and 71. That is, a defect having a high classification evaluation value is a defect image representing the category of the teaching data created by the operator, and a defect having a low classification evaluation value is a guideline that is a vague defect as the teaching data. For this reason, even if a defect happens to coincide with the category A assigned by the operator in advance and the category B classified by the system, if the classification evaluation value is low, it can be determined that the defect is not appropriate as the teaching data. As described above, even in the case of the ambiguous defect image which had to be determined from the observation result of the defect image in the first embodiment, accurate determination can be performed by referring to the classification evaluation value. Next, a teaching data creation support function according to a third embodiment of the present invention will be described with reference to FIGS. In the first and second embodiments, the operator needs to assign the category A to the teaching data in advance. This is a method of correcting a once assigned category using a diagnosis function or an evaluation function. The third embodiment aims at suggesting the tendency of the teaching data before the operator assigns a category to assist the creation of the teaching data. This allows
It is possible to prevent assignment of an ambiguous classification category from the beginning, and it is possible to efficiently execute the condition setting of the defect classification device 3. FIG. 10 is a flowchart of the teaching data creation support function. The feature of the third embodiment is that the teaching-less clustering process is performed in step S63 before the creation of the teaching data shown in FIG. By performing the clustering without proper teaching, there is an effect that a feature amount that effectively contributes to the classification can be selected.

【0037】教示なしクラスタリングでは、特徴量選択
の指針がないことに加え、クラスタ数が未知であること
等から、最適クラスタリングの自動判定が難しい。この
ため、ユーザとの対話的な処理が実用的である。図11
に対話的な教示なしクラスタリングの処理手順の一実施
例を示す。ステップS111において、ホストコンピュ
ータ15は、記憶装置25に記憶された教示用データか
ら予め全特徴量(m個)を算出する。次に、ステップS
112において、オペレータが任意のクラスタ数をキー
ボード等の入力手段22を用いてホストコンピュータ1
5に入力する。次に、ステップS114において、入力
手段22を用いてi個を入力することによって、ホスト
コンピュータ15は、記憶された全特徴量(m個)から
i個の特徴量を選択してmCi通りの特徴量のグループ
を作成する。ホストコンピュータ15は、ステップS1
15において、各グループについて主成分分析を行いi
次元のベクトルをj次元に低減する。主成分分析はもと
のデータの線形変換を行うものであり、主成分の固有値
の占める割合が高ければ情報の損失を少なくしつつ次元
の低減が可能である。この結果、クラスタリングはj次
元のベクトルに対して実行されるため計算時間を短縮で
きる利点がある。
In the clustering without teaching, it is difficult to automatically determine the optimal clustering because there is no guideline for selecting the feature amount and the number of clusters is unknown. Therefore, interactive processing with the user is practical. FIG.
FIG. 1 shows an embodiment of a processing procedure of interactive clustering without teaching. In step S111, the host computer 15 calculates all feature amounts (m) in advance from the teaching data stored in the storage device 25. Next, step S
At 112, the operator inputs an arbitrary number of clusters to the host computer 1 using the input means 22 such as a keyboard.
Enter 5 Next, in step S114, the host computer 15 selects i features from among all the stored features (m) by inputting i features using the input means 22 to obtain mCi features. Create a quantity group. The host computer 15 determines in step S1
At 15, the principal component analysis is performed for each group, and i
Reduce the dimensional vector to j dimensions. Principal component analysis is to perform linear transformation of the original data. If the ratio of the eigenvalues of the principal components is high, the dimension can be reduced while reducing the loss of information. As a result, since clustering is performed on a j-dimensional vector, there is an advantage that the calculation time can be reduced.

【0038】次に、ホストコンピュータ15は、ステッ
プS116において、j次元の特徴量空間でクラスタリ
ング処理を実施する。このクラスタリング処理は一般的
な手法であり様々な方式が知られている(奥野、他、多
変量解析法、1971、日科技連出版社、pp391−
412)。クラスタリング処理によりmCi種類のクラ
スタリング結果が得られると、ホストコンピュータ15
は、ステップS117において、これらクラスタリング
結果の妥当性を評価して順位付けを行う。クラスタリン
グ妥当性の判定は次に示す(数3)式の評価値が小さい
ほど良いことが知られている。
Next, in step S116, the host computer 15 performs a clustering process in the j-dimensional feature space. This clustering process is a general method and various methods are known (Okuno et al., Multivariate Analysis Method, 1971, Nikkagirenren Shuppansha, pp391-
412). When mCi types of clustering results are obtained by the clustering process, the host computer 15
Evaluates the validity of these clustering results and ranks them in step S117. It is known that the evaluation of the clustering validity is better as the evaluation value of the following equation (3) is smaller.

【0039】[0039]

【数3】trW ここで、tr:行列のトレース W:各クラスタ内の分散の和 そして、ステップS119において、ホストコンピュー
タ15は、上記評価値の降順または昇順にクラスタリン
グ結果をモニタ23に表示する。ここで、ステップS1
18において、ホストコンピュータ15は、表示のため
j次元空間を2次元に主成分分析により次元を低減す
る。次に、ステップS120において、オペレータは、
表示されたクラスタリング結果を目視確認してクラスタ
の妥当性を判断する。判断の基準としては、図12に示
すように、特徴量空間で欠陥が分離したクラスタとして
表示されていること、および、各クラスタの代表的欠陥
をモニタに表示・観察して有意な分類が達成されている
ことである。そして、ステップS120において、クラ
スタが妥当でない不良の場合には、ステップS121に
おいて、特徴量選択数iが不適切(NO)と判断された
とき、ステップS123において、入力手段22を用い
てホストコンピュータ15に対して特徴量選択数iを変
更する。また、ステップS121において、特徴量選択
数iが適切(YES)と判断されても、ステップS12
2においてクラスタが妥当でない不良の場合には、S1
24において、入力手段22を用いてホストコンピュー
タ15に対してクラスタ数(例えばクラスタ数を2から
3へと)を変更して再度上記処理を繰り返す。
Where tr: trace of a matrix W: sum of variances in each cluster In step S119, the host computer 15 displays the clustering results on the monitor 23 in descending or ascending order of the evaluation values. Here, step S1
At 18, the host computer 15 reduces the dimensions of the j-dimensional space to two dimensions by principal component analysis for display. Next, in step S120, the operator
The displayed clustering result is visually checked to determine the validity of the cluster. As a criterion for judgment, as shown in FIG. 12, defects are displayed as separated clusters in the feature space, and significant defects are achieved by displaying and observing representative defects of each cluster on a monitor. That is being done. If it is determined in step S120 that the cluster is an invalid defect, in step S121, it is determined that the selected number of feature amounts i is inappropriate (NO). Is changed for the feature number selection number i. In addition, even if it is determined in step S121 that the feature amount selection number i is appropriate (YES), step S12 is performed.
In the case where the cluster is a bad defect in S2, S1
At 24, the number of clusters (for example, the number of clusters is changed from 2 to 3) is changed for the host computer 15 using the input unit 22, and the above process is repeated again.

【0040】以上説明したように、ステップS122に
おいて、妥当なクラスタが生成された場合、選択された
i個の特徴量は分類に寄与するものと推定される。従っ
て、ホストコンピュータ15は、選択されたi個の特徴
量を元に学習することになる。
As described above, when an appropriate cluster is generated in step S122, it is estimated that the selected i feature amounts contribute to the classification. Therefore, the host computer 15 learns based on the selected i feature amounts.

【0041】次に、教示用データ作成支援機能を実現す
る画面について、図12を用いて説明する。ホストコン
ピュータ15は、図11に示すフローで選択された特徴
量を基にして、図12に示すような特徴量空間を構成
し、教示用データをプロットする。ここで、教示用デー
タを画面に表示することにより、特徴量空間での距離に
応じてカテゴリAを付与する場合の指針となる。複数の
特徴空間を参照する目的は、統計的に有意な分類がオペ
レータが望むカテゴリと一致するとは限らないためであ
る。また、3個以上の特徴量が選択された場合は主成分
分析により、第1主成分と第2主成分による2次元の特
徴量空間を表示する。図12には2つの特徴量空間85
が表示されている。表示される特徴量空間の数はユーザ
が指定可能である。特徴量空間1の1つの点86(□、
欠陥に対応)を選択すると特徴量空間2の該当する欠陥
に□87が表示され、欠陥画像88が表示される。これ
をカテゴリ1(89)とする。次に、特徴量空間1の別
の点90(○)を選択すると特徴量空間2の該当する欠
陥に○91が表示され、欠陥画像92が表示される。□
(86、87)と○(90、91)は2つの特徴量空間
で別のクラスタに属するため、○(90、91)をカテ
ゴリ1とは別のカテゴリとすると良いことが判る。これ
をカテゴリ2(93)とする。この場合、△94は特徴
量空間2では2つのカテゴリの境界に位置しているが特
徴量空間1の△95は○90に近い。表示された欠陥画
像96を確認した上でカテゴリ2(97)とすることが
できる。
Next, a screen for realizing the teaching data creation support function will be described with reference to FIG. The host computer 15 configures a feature amount space as shown in FIG. 12 based on the feature amounts selected in the flow shown in FIG. 11, and plots teaching data. Here, displaying the teaching data on the screen serves as a guideline when the category A is assigned according to the distance in the feature amount space. The purpose of referring to a plurality of feature spaces is that the statistically significant classification does not always match the category desired by the operator. When three or more feature values are selected, a two-dimensional feature value space including the first principal component and the second principal component is displayed by principal component analysis. FIG. 12 shows two feature quantity spaces 85.
Is displayed. The number of displayed feature amount spaces can be specified by the user. One point 86 (□,
When (corresponding to a defect) is selected, □ 87 is displayed for the corresponding defect in the feature amount space 2 and a defect image 88 is displayed. This is referred to as category 1 (89). Next, when another point 90 (○) in the feature amount space 1 is selected, the corresponding defect in the feature amount space 2 is displayed as ○ 91 and the defect image 92 is displayed. □
Since (86, 87) and ((90, 91) belong to different clusters in the two feature amount spaces, it can be seen that ○ (90, 91) should be a different category from category 1. This is referred to as category 2 (93). In this case, $ 94 is located at the boundary between the two categories in the feature space 2, but $ 95 in the feature space 1 is close to 9090. After confirming the displayed defect image 96, it can be set to category 2 (97).

【0042】上記第3の実施例では、オペレータがカテ
ゴリを付与する以前にホストコンピュータ(システム)
15が統計的有意性を検証して特徴量空間を表示するこ
とに特徴がある。ここで、画面に表示される欠陥の画像
が特徴量空間の点に対応して画面に表示されることに注
意を要する。欠陥画像のみでは曖昧なカテゴリ付けを行
う場合であっても、特徴量空間の距離を参照すること
で、カテゴリへの帰属度を定性的に把握することがで
き、高い再現性で教示用データを作成することが可能と
なる。そして、前記したように作成された教示用データ
に基づいて学習することにより、高い分類性能で欠陥分
類が可能となる。
In the third embodiment, the host computer (system) before the operator assigns a category
15 is characterized by displaying the feature amount space by verifying the statistical significance. Here, it should be noted that the image of the defect displayed on the screen is displayed on the screen corresponding to a point in the feature amount space. Even in the case of performing ambiguous categorization using only defect images, the degree of belonging to the category can be qualitatively grasped by referring to the distance in the feature space, and the teaching data can be obtained with high reproducibility. It can be created. By learning based on the teaching data created as described above, defect classification can be performed with high classification performance.

【0043】[0043]

【発明の効果】本発明によれば、学習型欠陥分類装置を
用いて統計的に有意な教示用データを効率的に作成可能
となり、欠陥分類装置の性能を高い次元で活用すること
ができ、その結果、欠陥の分類精度が向上し、ひいては
製造プロセスの異常原因を高精度に推定することが可能
となり、製造プロセスの異常改善に効果を発揮すること
ができる。また、本発明によれば、欠陥の発生原因を推
定するために欠陥の画像信号から欠陥の種類を分類する
ための正確な教示用データを作成する際、ユーザが与え
る矛盾した教示用データを指摘することによって、正確
な教示用データを取得することができ、その結果、欠陥
の分類精度が向上し、ひいては製造プロセスの異常原因
を高精度に推定することが可能となる効果を奏する。
According to the present invention, statistically significant teaching data can be efficiently created using a learning-type defect classifier, and the performance of the defect classifier can be utilized at a high level. As a result, the accuracy of defect classification is improved, and the cause of the abnormality in the manufacturing process can be estimated with high accuracy, which is effective in improving the abnormality of the manufacturing process. Further, according to the present invention, when creating accurate teaching data for classifying a type of a defect from an image signal of the defect in order to estimate a cause of occurrence of the defect, inconsistent teaching data given by a user is pointed out. By doing so, it is possible to obtain accurate teaching data, and as a result, it is possible to improve the accuracy of classifying defects, and to more accurately estimate the cause of abnormality in the manufacturing process.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明に係る欠陥分類方法およびその装置が半
導体製造プロセスにおいて果たす役割を説明するための
図である。
FIG. 1 is a diagram for explaining the role of a defect classification method and apparatus according to the present invention in a semiconductor manufacturing process.

【図2】本発明に係る欠陥分類装置の一実施例を示す構
成図である。
FIG. 2 is a configuration diagram showing one embodiment of a defect classification device according to the present invention.

【図3】図2に示す欠陥分類装置が行う処理手順を説明
するための図である。
FIG. 3 is a diagram for explaining a processing procedure performed by the defect classification device shown in FIG. 2;

【図4】教示用データ作成手順ならびにモニタの画面な
らびに教示用データの例を示す図である。
FIG. 4 is a diagram illustrating an example of a teaching data creation procedure, a monitor screen, and teaching data.

【図5】学習工程における学習の原理を説明するための
図である。
FIG. 5 is a diagram for explaining the principle of learning in the learning process.

【図6】本発明に係る第1の実施例である教示用データ
診断機能を説明するフローチャート図である。
FIG. 6 is a flowchart illustrating a teaching data diagnosis function according to the first embodiment of the present invention.

【図7】本発明に係る第1の実施例である教示用データ
診断機能を実現するモニタ画面の説明図である。
FIG. 7 is an explanatory diagram of a monitor screen for realizing a teaching data diagnosis function according to the first embodiment of the present invention.

【図8】本発明の第2の実施例である教示用データ評価
機能を説明するフローチャート図である。
FIG. 8 is a flowchart illustrating a teaching data evaluation function according to a second embodiment of the present invention.

【図9】本発明の第2の実施例である教示用データ評価
機能を実現するモニタ画面の説明図である。
FIG. 9 is an explanatory diagram of a monitor screen for realizing a teaching data evaluation function according to a second embodiment of the present invention.

【図10】本発明の第3の実施例である教示用データ作
成支援機能を説明するフローチャート図である。
FIG. 10 is a flowchart illustrating a teaching data creation support function according to a third embodiment of the present invention.

【図11】対話的な教示なしクラスタリングの処理手順
の一実施例をの説明図である。
FIG. 11 is an explanatory diagram of an example of an interactive teachingless clustering processing procedure;

【図12】本発明の第3の実施例である教示用データ作
成支援機能を実現するモニタ画面の説明図である。
FIG. 12 is an explanatory diagram of a monitor screen that realizes a teaching data creation support function according to a third embodiment of the present invention.

【符号の説明】[Explanation of symbols]

1…基板、1t…プローブ検査工程、2…外観検査装
置、3…欠陥分類装置、4…外観検査結果、5…欠陥画
像、6…不良モード別の発生頻度、7…品質管理システ
ム、8(a)…対策候補の絞り込み、8(b)…原因推
定、9…対策(対策工程)、11…基板搬送装置、1
2、12’…基板、13…ステージ、14…ネットワー
ク、15…ホストコンピュータ、16…ステージ制御
部、17…光学系、18…TVカメラ、19…画像入力
装置、20…画像記録装置、21…画像処理装置、22
…キーボード、23…モニタ、25…記憶装置、26…
分類パラメータ、27…分類カテゴリB、31…欠陥画
像、32…カテゴリ一覧表、33…カテゴリ番号入力
部、34…5種特徴量、35…カテゴリ欄。
DESCRIPTION OF SYMBOLS 1 ... Substrate, 1t ... Probe inspection process, 2 ... Visual inspection device, 3 ... Defect classification device, 4 ... Visual inspection result, 5 ... Defect image, 6 ... Frequency of occurrence by failure mode, 7 ... Quality control system, 8 ( a) ... narrowing down of countermeasure candidates, 8 (b) ... estimation of cause, 9 ... countermeasure (countermeasure process), 11 ... board transfer device, 1
2, 12 ': substrate, 13: stage, 14: network, 15: host computer, 16: stage controller, 17: optical system, 18: TV camera, 19: image input device, 20: image recording device, 21 ... Image processing device, 22
... keyboard, 23 ... monitor, 25 ... storage device, 26 ...
Classification parameters, 27: Classification category B, 31: Defect image, 32: Category list, 33: Category number input unit, 34: Five kinds of feature values, 35: Category column.

Claims (13)

【特許請求の範囲】[Claims] 【請求項1】欠陥画像信号を元に欠陥の種類を分類する
ための教示用データ作成方法であって、 複数の教示用欠陥画像に対して欠陥の種類に対応するカ
テゴリを付与することにより教示用データを作成し、前
記教示用欠陥画像の各々について複数の特徴量を算出
し、前記付与されたカテゴリと前記算出された特徴量と
に基づき教示用欠陥画像の特徴量空間におけるカテゴリ
間の判別関数を算出し、該判別関数を用いて教示用欠陥
画像とカテゴリの対応からなる教示用データを診断し、
少なくとも性能を低下させる可能性がある教示用欠陥画
像を画面に表示して前記教示用データを修正することを
特徴とする教示用データ作成方法。
1. A teaching data creating method for classifying a defect type based on a defect image signal, wherein the teaching is performed by assigning a category corresponding to the defect type to a plurality of teaching defect images. Data for each of the teaching defect images, calculating a plurality of feature amounts for each of the teaching defect images, and discriminating between the categories in the feature amount space of the teaching defect image based on the assigned categories and the calculated feature amounts. Calculate the function, diagnose the teaching data consisting of the correspondence between the teaching defect image and the category using the discriminant function,
A teaching data creation method, characterized by displaying at least a teaching defect image having a possibility of deteriorating performance on a screen and correcting the teaching data.
【請求項2】予め複数の教示用欠陥を撮像して複数の教
示用欠陥画像を検出する教示用欠陥画像検出過程と、該
教示用欠陥画像検出過程で検出された複数の教示用欠陥
画像を表示手段に表示し、該表示された複数の教示用欠
陥画像に対してカテゴリを付与することにより教示用欠
陥画像とカテゴリとの対応を教示するカテゴリ教示過程
と、前記教示用欠陥画像検出過程で検出された複数の教
示用欠陥画像から複数の教示用欠陥の各々について所望
の複数の特徴量を算出し、前記付与されたカテゴリと前
記算出された特徴量に基づき教示用欠陥画像の特徴量空
間におけるカテゴリ間の判別関数を算出し、該判別関数
を用いて各教示用欠陥を分類してカテゴリを付与するカ
テゴリ付与過程と、各教示用欠陥について前記カテゴリ
教示過程で教示されたカテゴリと前記カテゴリ付与過程
で付与されたカテゴリとを比較して、両カテゴリが相違
する場合、少なくともその情報を表示手段に表示し、該
表示された情報を元に、教示用欠陥についてカテゴリを
修正または教示用欠陥を除外して教示用欠陥とカテゴリ
との対応を教示する修正または除外教示過程とを有し、
複数の教示用欠陥と欠陥の種類に対応するカテゴリとの
対応関係を示す教示用データを学習して取得する学習工
程と、 被検査物に対して検査されて見付かった欠陥について撮
像して被検査対象の欠陥画像を検出し、該検出された被
検査対象の欠陥画像を元に、前記学習工程で取得された
教示用データから前記欠陥の種類を分類する分類工程と
を有することを特徴とする欠陥分類方法。
2. A teaching defect image detecting step of detecting a plurality of teaching defect images by imaging a plurality of teaching defects in advance, and a plurality of teaching defect images detected in the teaching defect image detecting step. A category teaching step of displaying on the display means and assigning a category to the displayed plurality of teaching defect images to teach the correspondence between the teaching defect images and the categories; and a teaching defect image detecting step. A plurality of desired feature amounts are calculated for each of the plurality of teaching defects from the plurality of detected teaching defect images, and a feature amount space of the teaching defect image is calculated based on the assigned category and the calculated feature amounts. A discriminant function between categories is calculated, and each teaching defect is classified using the discriminant function to assign a category; and each teaching defect is taught in the category teaching process. Comparing the category with the category assigned in the category assigning process, and when the two categories are different, displaying at least the information on the display means, and, based on the displayed information, the category for the teaching defect is determined. Having a correction or exclusion teaching process of teaching the correspondence between the teaching defect and the category by excluding the correction or teaching defect,
A learning step of learning and acquiring teaching data indicating a correspondence relationship between a plurality of teaching defects and a category corresponding to the type of the defect; and capturing and inspecting a defect found by inspecting the inspection object. And a classifying step of classifying the type of the defect from the teaching data acquired in the learning step based on the detected defect image of the inspection target based on the detected defect image of the inspection target. Defect classification method.
【請求項3】予め複数の教示用欠陥を撮像して複数の教
示用欠陥画像を検出する教示用欠陥画像検出過程と、該
教示用欠陥画像検出過程で検出された複数の教示用欠陥
画像を表示手段に表示し、該表示された複数の教示用欠
陥画像に対してカテゴリを付与することにより教示用欠
陥画像とカテゴリとの対応を教示するカテゴリ教示過程
と、前記教示用欠陥画像検出過程で検出された複数の教
示用欠陥画像から複数の教示用欠陥の各々について所望
の複数の特徴量を算出し、該算出された各教示用欠陥に
ついての所望の複数の特徴量の関係から各教示用欠陥を
分類してカテゴリを付与するカテゴリ付与過程と、各教
示用欠陥について前記カテゴリ教示過程で教示されたカ
テゴリと前記カテゴリ付与過程で付与されたカテゴリと
を比較して、両カテゴリが相違する場合、少なくともそ
の情報を表示手段に表示し、該表示された情報を元に、
教示用欠陥についてカテゴリを修正または教示用欠陥を
除外して教示用欠陥とカテゴリとの対応を教示する修正
または除外教示過程とを有し、複数の教示用欠陥の特徴
量と欠陥の種類に対応するカテゴリとの対応関係を示す
教示用データを学習して取得する学習工程と、 被検査物に対して検査されて見付かった欠陥について撮
像して被検査対象の欠陥画像を検出し、該検出された被
検査対象の欠陥画像から欠陥の所望の特徴量を算出し、
該算出された欠陥の所望の特徴量を元に、前記学習工程
で取得された教示用データから前記欠陥の種類を分類す
る分類工程とを有することを特徴とする欠陥分類方法。
3. A teaching defect image detecting step of imaging a plurality of teaching defects in advance and detecting a plurality of teaching defect images, and a plurality of teaching defect images detected in the teaching defect image detecting step. A category teaching step of displaying on the display means and assigning a category to the displayed plurality of teaching defect images to teach the correspondence between the teaching defect images and the categories; and a teaching defect image detecting step. A plurality of desired feature amounts are calculated for each of the plurality of teaching defects from the detected plurality of teaching defect images, and each of the plurality of desired defect amounts is calculated based on a relationship between the calculated plurality of desired feature amounts for each of the calculated teaching defects. A category assigning step of classifying defects and assigning a category; and comparing a category taught in the category teaching step with a category assigned in the category assigning step for each teaching defect. If Gori are different, and displayed on the display means at least that information, based on the information the display,
A correction or exclusion teaching process for correcting the category of the teaching defect or excluding the teaching defect to teach the correspondence between the teaching defect and the category, and corresponding to a plurality of teaching defect feature amounts and defect types. A learning step of learning and acquiring teaching data indicating a correspondence relationship with a category to be inspected, and detecting a defect image of the inspection target by capturing an image of a defect found by inspection with respect to the inspection object. Calculating a desired feature amount of the defect from the defect image of the inspection target,
A classifying step of classifying the type of the defect from the teaching data acquired in the learning step based on the calculated desired feature amount of the defect.
【請求項4】予め複数の教示用欠陥を撮像して複数の教
示用欠陥画像を検出する教示用欠陥画像検出過程と、該
教示用欠陥画像検出過程で検出された複数の教示用欠陥
画像を表示手段に表示し、該表示された複数の教示用欠
陥画像に対してカテゴリを付与することにより教示用欠
陥画像とカテゴリとの対応を教示するカテゴリ教示過程
と、前記教示用欠陥画像検出過程で検出された複数の教
示用欠陥画像から複数の教示用欠陥の各々について所望
の複数の特徴量を算出し、該算出された各教示用欠陥に
ついての所望の複数の特徴量の関係からカテゴリを分類
するためのパラメータを算出し、該算出された分類パラ
メータに基づいて各教示用欠陥を分類してカテゴリを付
与するカテゴリ付与過程と、各教示用欠陥について前記
カテゴリ教示過程で教示されたカテゴリと前記カテゴリ
付与過程で付与されたカテゴリとを比較して、両カテゴ
リが相違する場合、少なくともその情報を表示手段に表
示し、該表示された情報を元に、教示用欠陥についてカ
テゴリを修正または教示用欠陥を除外して教示用欠陥と
カテゴリとの対応を教示する修正または除外教示過程と
を有し、複数の教示用欠陥の特徴量と欠陥の種類に対応
するカテゴリとの対応関係を示す教示用データを学習し
て取得する学習工程と、 被検査物に対して検査されて見付かった欠陥について撮
像して被検査対象の欠陥画像を検出し、該検出された被
検査対象の欠陥画像から欠陥の所望の特徴量を算出し、
該算出された欠陥の所望の特徴量を元に、前記学習工程
で取得された教示用データから前記欠陥の種類を分類す
る分類工程とを有することを特徴とする欠陥分類方法。
4. A teaching defect image detecting step of detecting a plurality of teaching defect images by capturing a plurality of teaching defects in advance, and a plurality of teaching defect images detected in the teaching defect image detecting step. A category teaching step of displaying on the display means and assigning a category to the displayed plurality of teaching defect images to teach the correspondence between the teaching defect images and the categories; and a teaching defect image detecting step. A plurality of desired feature amounts are calculated for each of the plurality of teaching defects from the detected plurality of teaching defect images, and a category is classified based on a relationship between the calculated plurality of desired feature amounts for each of the calculated teaching defects. A category assignment step of calculating parameters for performing the teaching, classifying each teaching defect based on the calculated classification parameter and assigning a category, and the category teaching step for each teaching defect. The instructed category is compared with the category assigned in the category assigning process. If the two categories are different, at least the information is displayed on the display means, and based on the displayed information, a defect for teaching is determined. A correction or exclusion teaching process for correcting the category or excluding the teaching defect and teaching the correspondence between the teaching defect and the category; and providing a feature amount of the plurality of teaching defects and a category corresponding to the defect type. A learning step of learning and acquiring teaching data indicating the correspondence, and detecting a defect image of the inspection target by imaging a defect found by inspection with respect to the inspection target, and detecting the defect image of the inspection target. Calculate the desired feature amount of the defect from the defect image of
A classifying step of classifying the type of the defect from the teaching data acquired in the learning step based on the calculated desired feature amount of the defect.
【請求項5】請求項3または4記載の学習工程における
カテゴリ付与過程において、各教示用欠陥についてカテ
ゴリを分類する際、算出された特徴量の中から所望の複
数の特徴量を選択する特徴量選択過程を有することを特
徴とする欠陥分類方法。
5. A feature amount for selecting a plurality of desired feature amounts from the calculated feature amounts when classifying a category for each teaching defect in the category assigning step in the learning step according to claim 3 or 4. A defect classification method comprising a selection step.
【請求項6】予め複数の教示用欠陥を撮像して複数の教
示用欠陥画像を検出する教示用欠陥画像検出過程と、該
教示用欠陥画像検出過程で検出された複数の教示用欠陥
画像を表示手段に表示し、該表示された複数の教示用欠
陥画像に対してカテゴリを付与することにより教示用欠
陥画像とカテゴリとの対応を教示するカテゴリ教示過程
と、前記教示用欠陥画像検出過程で検出された複数の教
示用欠陥画像から複数の教示用欠陥の各々について所望
の複数の特徴量を算出し、前記付与されたカテゴリと前
記算出された特徴量に基づき教示用欠陥画像の特徴量空
間におけるカテゴリ間の判別関数を算出し、該判別関数
を用いて各教示用欠陥を分類するためのカテゴリ分類評
価値を算出するカテゴリ分類評価値算出過程と、各教示
用欠陥について前記カテゴリ分類評価値算出過程で算出
されたカテゴリ分類評価値を表示手段に表示し、該表示
されたカテゴリ分類評価値を元に、教示用欠陥について
カテゴリを修正または教示用欠陥を除外して教示用欠陥
とカテゴリとの対応を教示する修正または除外教示過程
とを有し、複数の教示用欠陥の特徴量と欠陥の種類に対
応するカテゴリとの対応関係を示す教示用データを学習
して取得する学習工程と、 被検査物に対して検査されて見付かった欠陥について撮
像して被検査対象の欠陥画像を検出し、該検出された被
検査対象の欠陥画像から欠陥の所望の特徴量を算出し、
該算出された欠陥の所望の特徴量を元に、前記学習工程
で取得された教示用データから前記欠陥の種類を分類す
る分類工程とを有することを特徴とする欠陥分類方法。
6. A teaching defect image detecting step of detecting a plurality of teaching defect images by imaging a plurality of teaching defects in advance, and a plurality of teaching defect images detected in the teaching defect image detecting step. A category teaching step of displaying on the display means and assigning a category to the displayed plurality of teaching defect images to teach the correspondence between the teaching defect images and the categories; and a teaching defect image detecting step. A plurality of desired feature amounts are calculated for each of the plurality of teaching defects from the plurality of detected teaching defect images, and a feature amount space of the teaching defect image is calculated based on the assigned category and the calculated feature amounts. A category classification evaluation value calculating step of calculating a category classification evaluation value for classifying each teaching defect by using the classification function, and The category classification evaluation value calculated in the category classification evaluation value calculation process is displayed on the display means, and based on the displayed category classification evaluation value, the category is corrected for the teaching defect or the teaching defect is excluded by excluding the teaching defect. Has a correction or exclusion teaching process for teaching the correspondence between a defect and a category, and learns and acquires teaching data indicating a correspondence between a feature amount of a plurality of teaching defects and a category corresponding to the type of the defect; A learning step, detecting a defect image of the inspection object by imaging the defect found by inspection of the inspection object, and calculating a desired feature amount of the defect from the detected defect image of the inspection object. ,
A classifying step of classifying the type of the defect from the teaching data acquired in the learning step based on the calculated desired feature amount of the defect.
【請求項7】請求項6記載の学習工程におけるカテゴリ
分類評価値算出過程において、各教示用欠陥を分類する
カテゴリ分類評価値を算出する際、算出された特徴量の
中から所望の複数の特徴量を選択する特徴量選択過程を
有することを特徴とする欠陥分類方法。
7. A method according to claim 6, wherein when calculating a category classification evaluation value for classifying each teaching defect, a plurality of desired features are calculated from the calculated feature amounts. A defect classification method characterized by having a feature amount selecting step of selecting an amount.
【請求項8】予め複数の教示用欠陥を撮像して複数の教
示用欠陥画像を検出する教示用欠陥画像検出過程と、該
教示用欠陥画像検出過程で検出された複数の教示用欠陥
画像から複数の教示用欠陥の各々について複数の特徴量
を算出する特徴量算出過程と、該特徴量算出過程で算出
される複数の特徴量の関係に基づく特徴量空間上に教示
用欠陥を位置させて表示手段に表示し、該表示された特
徴量空間上における教示用欠陥の位置に応じて該教示用
欠陥に対してカテゴリを付与することにより教示用欠陥
とカテゴリとの対応を教示するカテゴリ教示過程とを有
し、複数の教示用欠陥の特徴量と欠陥の種類に対応する
カテゴリとの対応関係を示す教示用データを学習して取
得する学習工程と、 被検査物に対して検査されて見付かった欠陥について撮
像して被検査対象の欠陥画像を検出し、該検出された被
検査対象の欠陥画像から欠陥の所望の特徴量を算出し、
該算出された欠陥の所望の特徴量を元に、前記学習工程
で取得された教示用データから前記欠陥の種類を分類す
る分類工程とを有することを特徴とする欠陥分類方法。
8. A teaching defect image detecting step in which a plurality of teaching defects are imaged in advance to detect a plurality of teaching defect images, and a plurality of teaching defect images detected in the teaching defect image detecting step. A feature amount calculating step of calculating a plurality of feature amounts for each of the plurality of teaching defects, and positioning the teaching defect on a feature amount space based on a relationship between the plurality of feature amounts calculated in the feature amount calculating process. A category teaching process of displaying on the display means and assigning a category to the teaching defect in accordance with the position of the teaching defect in the displayed feature amount space, thereby teaching the correspondence between the teaching defect and the category; A learning step of learning and acquiring teaching data indicating a correspondence relationship between a feature amount of a plurality of teaching defects and a category corresponding to the type of the defect; About defects Imaging and detecting a defect image of the inspection target, calculating a desired feature amount of the defect from the detected defect image of the inspection target,
A classifying step of classifying the type of the defect from the teaching data acquired in the learning step based on the calculated desired feature amount of the defect.
【請求項9】予め複数の教示用欠陥を撮像して複数の教
示用欠陥画像を検出する教示用欠陥画像検出過程と、該
教示用欠陥画像検出過程で検出された複数の教示用欠陥
画像から複数の教示用欠陥の各々について複数の特徴量
を算出する特徴量算出過程と、該特徴量算出過程で算出
される特徴量の中から所望の複数の特徴量を選択する特
徴量選択過程と、該特徴量選択過程で選択された所望の
複数の特徴量の関係に基づく特徴量空間上に、前記特徴
量算出過程で算出する教示用欠陥を位置させて表示手段
に表示し、該表示された特徴量空間上における教示用欠
陥の位置に応じて該教示用欠陥に対してカテゴリを付与
することにより教示用欠陥とカテゴリとの対応を教示す
るカテゴリ教示過程とを有し、複数の教示用欠陥の特徴
量と欠陥の種類に対応するカテゴリとの対応関係を示す
教示用データを学習して取得する学習工程と、 被検査物に対して検査されて見付かった欠陥について撮
像して被検査対象の欠陥画像を検出し、該検出された被
検査対象の欠陥画像から欠陥の所望の特徴量を算出し、
該算出された欠陥の所望の特徴量を元に、前記学習工程
で取得された教示用データから前記欠陥の種類を分類す
る分類工程とを有することを特徴とする欠陥分類方法。
9. A teaching defect image detecting step in which a plurality of teaching defects are imaged in advance to detect a plurality of teaching defect images, and a plurality of teaching defect images detected in the teaching defect image detecting step. A feature value calculating step of calculating a plurality of feature quantities for each of the plurality of teaching defects; a feature quantity selecting step of selecting a desired plurality of feature quantities from the feature quantities calculated in the feature quantity calculating step; The teaching defect calculated in the feature amount calculating step is located on a feature amount space based on a relationship between a plurality of desired feature amounts selected in the feature amount selecting step and displayed on a display means, and the displayed defect is displayed. A category teaching process of teaching a correspondence between the teaching defect and the category by assigning a category to the teaching defect in accordance with the position of the teaching defect in the feature amount space; Features and defect types A learning step of learning and acquiring teaching data indicating a correspondence relationship with a corresponding category; and detecting a defect image of the inspection target by imaging a defect found by inspection with respect to the inspection object. Calculate the desired feature amount of the defect from the defect image of the inspected object,
A classifying step of classifying the type of the defect from the teaching data acquired in the learning step based on the calculated desired feature amount of the defect.
【請求項10】更に、前記分類工程で分類された欠陥の
種類に基づいて欠陥の発生原因を推定する欠陥の発生原
因推定工程とを有することを特徴とする請求項2または
3または4または5または6または7または8または9
記載の欠陥分類方法。
10. A defect occurrence cause estimating step of estimating a defect occurrence cause based on a type of the defect classified in the classification step. Or 6 or 7 or 8 or 9
The described defect classification method.
【請求項11】予め複数の教示用欠陥を撮像して複数の
教示用欠陥画像を検出する欠陥画像検出手段と、前記欠
陥画像検出手段で検出された複数の教示用欠陥画像に基
づいて複数の教示用欠陥の各々を分類してカテゴリを付
与する計算手段と、前記欠陥画像検出手段で検出された
複数の教示用欠陥画像と前記計算手段で複数の教示用欠
陥に対して分類されたカテゴリとを表示する表示手段と
を備え、複数の教示用欠陥と欠陥の種類に対応するカテ
ゴリとの対応関係を示す教示用データを取得して記憶手
段に格納する学習部と、 被検査物に対して検査されて見付かった欠陥について撮
像して被検査対象の欠陥画像を検出する欠陥画像検出手
段と、該欠陥画像検出手段で検出された被検査対象の欠
陥画像を元に、前記学習部の記憶手段に格納された教示
用データから前記欠陥の種類を分類する計算手段とを備
えた分類部とで構成することを特徴とする欠陥分類装
置。
11. A defect image detecting means for imaging a plurality of teaching defects in advance and detecting a plurality of teaching defect images, and a plurality of defect images for teaching based on the plurality of teaching defect images detected by said defect image detecting means. Calculating means for classifying each of the teaching defects and assigning a category thereto; a plurality of teaching defect images detected by the defect image detecting means; and a category classified for the plurality of teaching defects by the calculating means. A learning unit that obtains teaching data indicating a correspondence relationship between a plurality of teaching defects and a category corresponding to the type of the defect, and stores the teaching data in a storage unit. Defect image detecting means for picking up an image of a defect found by inspection and detecting a defect image of the inspection object; and storage means of the learning unit based on the defect image of the inspection object detected by the defect image detecting means. Stored in And a calculating unit for classifying the type of the defect from the teaching data.
【請求項12】予め複数の教示用欠陥を撮像して複数の
教示用欠陥画像を検出する欠陥画像検出手段と、該欠陥
画像検出手段で検出された複数の教示用欠陥画像から複
数の教示用欠陥の各々について所望の複数の特徴量を算
出する計算手段と、該計算手段で算出された所望の複数
の特徴量の関係に基づく特徴量空間上に教示用欠陥を位
置させて表示し、更に教示用欠陥に対して付与されたカ
テゴリを表示する表示手段とを備え、複数の教示用欠陥
の特徴量と欠陥の種類に対応するカテゴリとの対応関係
を示す教示用データを取得して記憶手段に格納する学習
部と、 被検査物に対して検査されて見付かった欠陥について撮
像して被検査対象の欠陥画像を検出する欠陥画像検出手
段と、該欠陥画像検出手段で検出された被検査対象の欠
陥画像から欠陥の所望の特徴量を算出し、該算出された
欠陥の所望の特徴量を元に、前記学習部の記憶手段に格
納された教示用データから前記欠陥の種類を分類する分
類部とで構成することを特徴とする欠陥分類装置。
12. A defect image detecting means for picking up a plurality of teaching defects and detecting a plurality of teaching defect images in advance, and a plurality of teaching defects from the plurality of teaching defect images detected by the defect image detecting means. Calculating means for calculating a plurality of desired feature quantities for each of the defects; and displaying and displaying the teaching defect on a feature quantity space based on a relationship between the plurality of desired feature quantities calculated by the calculating means. Display means for displaying a category assigned to the teaching defect, and acquiring and storing teaching data indicating a correspondence relationship between a plurality of feature amounts of the teaching defect and a category corresponding to the type of the defect. A defect image detecting means for imaging a defect found by inspection of the inspection object to detect a defect image of the inspection object; and a detection object detected by the defect image detection means. From the defect image A classifying unit configured to calculate a desired characteristic amount of the defect and classify the type of the defect from the teaching data stored in the storage unit of the learning unit based on the calculated desired characteristic amount of the defect; A defect classifying device.
【請求項13】予め複数の教示用欠陥を撮像して複数の
教示用欠陥画像を検出する欠陥画像検出手段と、該欠陥
画像検出手段で検出された複数の教示用欠陥画像から複
数の教示用欠陥の各々について所望の複数の特徴量を算
出し、該算出された各教示用欠陥についての所望の複数
の特徴量の関係から各教示用欠陥を分類するカテゴリ分
類評価値を算出する計算手段と、各教示用欠陥について
前記計算手段で算出されたカテゴリ分類評価値を表示
し、更に教示用欠陥に対して付与されたカテゴリを表示
する表示手段とを備え、複数の教示用欠陥の特徴量と欠
陥の種類に対応するカテゴリとの対応関係を示す教示用
データを取得して記憶手段に格納する学習部と、 被検査物に対して検査されて見付かった欠陥について撮
像して被検査対象の欠陥画像を検出し、該検出された被
検査対象の欠陥画像から欠陥の所望の特徴量を算出し、
該算出された欠陥の所望の特徴量を元に、前記学習部の
記憶手段に格納された教示用データから前記欠陥の種類
を分類する分類部とで構成することを特徴とする欠陥分
類装置。
13. A defect image detecting means for picking up a plurality of teaching defects in advance and detecting a plurality of teaching defect images, and a plurality of teaching defects from the plurality of teaching defect images detected by the defect image detecting means. Calculating means for calculating a plurality of desired feature amounts for each of the defects and calculating a category classification evaluation value for classifying each teaching defect from the relationship between the calculated plurality of desired feature amounts for each of the calculated teaching defects; Display means for displaying the category classification evaluation value calculated by the calculation means for each teaching defect, and further displaying a category assigned to the teaching defect, A learning unit that acquires teaching data indicating a correspondence relationship with a category corresponding to a type of a defect and stores the data in a storage unit; and a defect of the inspection target by capturing an image of a defect found by inspection of the inspection object. Picture Detecting an image, calculating a desired feature amount of the defect from the detected defect image of the inspection target,
A defect classifying unit configured to classify the type of the defect from the teaching data stored in the storage unit of the learning unit based on the calculated desired feature amount of the defect.
JP15486598A 1998-06-03 1998-06-03 Defect classification method Expired - Fee Related JP4132229B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP15486598A JP4132229B2 (en) 1998-06-03 1998-06-03 Defect classification method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP15486598A JP4132229B2 (en) 1998-06-03 1998-06-03 Defect classification method

Publications (2)

Publication Number Publication Date
JPH11344450A true JPH11344450A (en) 1999-12-14
JP4132229B2 JP4132229B2 (en) 2008-08-13

Family

ID=15593618

Family Applications (1)

Application Number Title Priority Date Filing Date
JP15486598A Expired - Fee Related JP4132229B2 (en) 1998-06-03 1998-06-03 Defect classification method

Country Status (1)

Country Link
JP (1) JP4132229B2 (en)

Cited By (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10014492C2 (en) * 2000-03-13 2003-07-24 Mosel Vitelic Inc Test methods for semiconductor wafers
JP2003317082A (en) * 2002-04-25 2003-11-07 Dainippon Screen Mfg Co Ltd Classification assisting apparatus, classifying apparatus, and program
JP2003317083A (en) * 2002-04-25 2003-11-07 Dainippon Screen Mfg Co Ltd Image classifying method, program, and image classifying device
JP2005515412A (en) * 2002-01-15 2005-05-26 ヒューレット・パッカード・カンパニー Cluster weighted modeling for media classification
JP2005257660A (en) * 2004-02-13 2005-09-22 Nippon Steel Corp Apparatus and method for analyzing distribution pattern of surface defect on thin plate, computer program and computer-readable recording medium
JP2005274285A (en) * 2004-03-24 2005-10-06 Olympus Corp Defect classification dictionary teaching apparatus
US6968079B2 (en) 2000-06-28 2005-11-22 Hitachi, Ltd. Investigation device and investigation method
JP2006011574A (en) * 2004-06-23 2006-01-12 Omron Corp Support device for registration of teacher data
JP2006163608A (en) * 2004-12-03 2006-06-22 Olympus Corp Sorting device and method
JP2006208186A (en) * 2005-01-27 2006-08-10 Nagoya Electric Works Co Ltd Shape acceptable/unacceptable determining device and shape acceptable/unacceptable determining method
JP2006226708A (en) * 2005-02-15 2006-08-31 Nagoya Electric Works Co Ltd Quality determination device, quality determination method and quality determination program
JP2006266872A (en) * 2005-03-24 2006-10-05 Hitachi High-Technologies Corp Visual inspection method and device therefor
JP2007212201A (en) * 2006-02-08 2007-08-23 Hitachi High-Technologies Corp Pattern inspection method and pattern inspection device
JP2007329779A (en) * 2006-06-09 2007-12-20 Fuji Xerox Co Ltd Defect classification system, image forming apparatus and defect classification program
WO2008004559A1 (en) * 2006-07-06 2008-01-10 Asahi Glass Company, Limited Clustering system, and defect kind judging device
JP2009070284A (en) * 2007-09-14 2009-04-02 Seiko Epson Corp Setting method, identification method, and program
JP2009171282A (en) * 2008-01-17 2009-07-30 Nikon Corp Electronic camera
JP2009186243A (en) * 2008-02-04 2009-08-20 Nippon Steel Corp Discriminator, discrimination method and program
US7602962B2 (en) 2003-02-25 2009-10-13 Hitachi High-Technologies Corporation Method of classifying defects using multiple inspection machines
JP2009265082A (en) * 2008-04-03 2009-11-12 Nippon Steel Corp Flaw learning apparatus, flaw learning method, and computer program
JP2010002815A (en) * 2008-06-23 2010-01-07 Ricoh Co Ltd Status discriminating method, status discriminating system and image forming apparatus
JP2010071826A (en) * 2008-09-19 2010-04-02 Dainippon Screen Mfg Co Ltd Teacher data preparation method, and image sorting method and image sorter
JP2010091401A (en) * 2008-10-08 2010-04-22 Dainippon Screen Mfg Co Ltd Method for assisting data preparation for teacher, and method and device for classifying image
US7773801B2 (en) 2004-03-31 2010-08-10 Olympus Corporation Learning-type classifying apparatus and learning-type classifying method
WO2010140511A1 (en) * 2009-06-03 2010-12-09 株式会社日立ハイテクノロジーズ Surface observation device and surface observation method
JP2011089976A (en) * 2009-09-28 2011-05-06 Hitachi High-Technologies Corp Defect inspection device and defect inspection method
CN103207183A (en) * 2011-12-28 2013-07-17 株式会社其恩斯 Visual Inspection Device And Visual Inspection Method
US8525888B2 (en) 2008-01-17 2013-09-03 Nikon Corporation Electronic camera with image sensor and rangefinding unit
JP2013541715A (en) * 2010-10-19 2013-11-14 スリーエム イノベイティブ プロパティズ カンパニー Computer-aided assignment of evaluations for digital samples of manufactured web products
JP2014070944A (en) * 2012-09-28 2014-04-21 Dainippon Screen Mfg Co Ltd Teacher data verification device, teacher data generation apparatus, image categorization device, teacher data verification method, teacher data generation method, and image categorization method
JP2014511536A (en) * 2011-03-01 2014-05-15 シマンテック コーポレーション User interface and workflow for machine learning
JP2014511530A (en) * 2011-02-24 2014-05-15 スリーエム イノベイティブ プロパティズ カンパニー Non-uniformity detection system in web-based materials
JP2016133895A (en) * 2015-01-16 2016-07-25 キヤノン株式会社 Information processing device, information processing method, and program
JPWO2016006090A1 (en) * 2014-07-10 2017-05-25 株式会社東芝 Electronic device, method and program
US20170148689A1 (en) * 2015-11-20 2017-05-25 Samsung Electronics Co., Ltd. Method of forming pattern of semiconductor device from which various types of pattern defects are removed
WO2017145824A1 (en) * 2016-02-22 2017-08-31 株式会社サタケ Granular material appearance quality determining device
JP2017150823A (en) * 2016-02-22 2017-08-31 株式会社サタケ Apparatus for determining appearance grade of granular substances
JP2017173098A (en) * 2016-03-23 2017-09-28 株式会社Screenホールディングス Image processing device and image processing method
JP2017225122A (en) * 2013-06-28 2017-12-21 日本電気株式会社 Video surveillance system, video processing apparatus, video processing method, and video processing program
KR20190037161A (en) * 2017-09-28 2019-04-05 어플라이드 머티리얼즈 이스라엘 리미티드 System, method and computer program product for classifying a plurality of items
JP2019120527A (en) * 2017-12-28 2019-07-22 大日本印刷株式会社 Information processing apparatus, information processing method and program
WO2019176989A1 (en) * 2018-03-14 2019-09-19 オムロン株式会社 Inspection system, discrimination system, and learning data generator
WO2020008711A1 (en) * 2018-07-02 2020-01-09 パナソニックIpマネジメント株式会社 Learning device, learning system, and learning method
WO2020017546A1 (en) * 2018-07-17 2020-01-23 合同会社Synapse Gear Image capture device and image capture method
US10572993B2 (en) 2017-01-23 2020-02-25 Ricoh Company, Ltd. Information processing apparatus, information processing method and recording medium
JP2020123330A (en) * 2019-01-30 2020-08-13 株式会社ストラドビジョン Method for acquiring sample image for label acceptance inspection from among auto-labeled images utilized for neural network learning, and sample image acquisition device utilizing the same
JP2020204800A (en) * 2019-06-14 2020-12-24 Awl株式会社 Learning dataset generation system, learning server, and learning dataset generation program
WO2021090601A1 (en) * 2019-11-07 2021-05-14 東レエンジニアリング株式会社 Classifying device and image classifying system
WO2023112302A1 (en) * 2021-12-17 2023-06-22 株式会社日立ハイテク Training data creation assistance device and training data creation assistance method

Cited By (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10014492C2 (en) * 2000-03-13 2003-07-24 Mosel Vitelic Inc Test methods for semiconductor wafers
US6968079B2 (en) 2000-06-28 2005-11-22 Hitachi, Ltd. Investigation device and investigation method
JP2005515412A (en) * 2002-01-15 2005-05-26 ヒューレット・パッカード・カンパニー Cluster weighted modeling for media classification
JP2003317082A (en) * 2002-04-25 2003-11-07 Dainippon Screen Mfg Co Ltd Classification assisting apparatus, classifying apparatus, and program
JP2003317083A (en) * 2002-04-25 2003-11-07 Dainippon Screen Mfg Co Ltd Image classifying method, program, and image classifying device
US7602962B2 (en) 2003-02-25 2009-10-13 Hitachi High-Technologies Corporation Method of classifying defects using multiple inspection machines
JP2005257660A (en) * 2004-02-13 2005-09-22 Nippon Steel Corp Apparatus and method for analyzing distribution pattern of surface defect on thin plate, computer program and computer-readable recording medium
JP2005274285A (en) * 2004-03-24 2005-10-06 Olympus Corp Defect classification dictionary teaching apparatus
US7773801B2 (en) 2004-03-31 2010-08-10 Olympus Corporation Learning-type classifying apparatus and learning-type classifying method
JP2006011574A (en) * 2004-06-23 2006-01-12 Omron Corp Support device for registration of teacher data
JP2006163608A (en) * 2004-12-03 2006-06-22 Olympus Corp Sorting device and method
JP2006208186A (en) * 2005-01-27 2006-08-10 Nagoya Electric Works Co Ltd Shape acceptable/unacceptable determining device and shape acceptable/unacceptable determining method
JP2006226708A (en) * 2005-02-15 2006-08-31 Nagoya Electric Works Co Ltd Quality determination device, quality determination method and quality determination program
JP4610364B2 (en) * 2005-02-15 2011-01-12 名古屋電機工業株式会社 Pass / fail judgment device, pass / fail judgment method, and pass / fail judgment program
JP2006266872A (en) * 2005-03-24 2006-10-05 Hitachi High-Technologies Corp Visual inspection method and device therefor
JP2007212201A (en) * 2006-02-08 2007-08-23 Hitachi High-Technologies Corp Pattern inspection method and pattern inspection device
JP2007329779A (en) * 2006-06-09 2007-12-20 Fuji Xerox Co Ltd Defect classification system, image forming apparatus and defect classification program
JP4631809B2 (en) * 2006-06-09 2011-02-16 富士ゼロックス株式会社 Defect classification system, image forming apparatus, and defect classification program
WO2008004559A1 (en) * 2006-07-06 2008-01-10 Asahi Glass Company, Limited Clustering system, and defect kind judging device
JP2009070284A (en) * 2007-09-14 2009-04-02 Seiko Epson Corp Setting method, identification method, and program
JP2009171282A (en) * 2008-01-17 2009-07-30 Nikon Corp Electronic camera
US8525888B2 (en) 2008-01-17 2013-09-03 Nikon Corporation Electronic camera with image sensor and rangefinding unit
JP2009186243A (en) * 2008-02-04 2009-08-20 Nippon Steel Corp Discriminator, discrimination method and program
JP2009265082A (en) * 2008-04-03 2009-11-12 Nippon Steel Corp Flaw learning apparatus, flaw learning method, and computer program
JP2010002815A (en) * 2008-06-23 2010-01-07 Ricoh Co Ltd Status discriminating method, status discriminating system and image forming apparatus
JP2010071826A (en) * 2008-09-19 2010-04-02 Dainippon Screen Mfg Co Ltd Teacher data preparation method, and image sorting method and image sorter
JP2010091401A (en) * 2008-10-08 2010-04-22 Dainippon Screen Mfg Co Ltd Method for assisting data preparation for teacher, and method and device for classifying image
WO2010140511A1 (en) * 2009-06-03 2010-12-09 株式会社日立ハイテクノロジーズ Surface observation device and surface observation method
US9136189B2 (en) 2009-06-03 2015-09-15 Hitachi High-Technologies Corporation Surface observation apparatus and surface observation method
JP2010283079A (en) * 2009-06-03 2010-12-16 Hitachi High-Technologies Corp Surface observation device and surface observation method
JP2011089976A (en) * 2009-09-28 2011-05-06 Hitachi High-Technologies Corp Defect inspection device and defect inspection method
US9075026B2 (en) 2009-09-28 2015-07-07 Hitachi High-Technologies Corporation Defect inspection device and defect inspection method
JP2013541715A (en) * 2010-10-19 2013-11-14 スリーエム イノベイティブ プロパティズ カンパニー Computer-aided assignment of evaluations for digital samples of manufactured web products
JP2014511530A (en) * 2011-02-24 2014-05-15 スリーエム イノベイティブ プロパティズ カンパニー Non-uniformity detection system in web-based materials
JP2014511536A (en) * 2011-03-01 2014-05-15 シマンテック コーポレーション User interface and workflow for machine learning
CN103207183A (en) * 2011-12-28 2013-07-17 株式会社其恩斯 Visual Inspection Device And Visual Inspection Method
JP2013140040A (en) * 2011-12-28 2013-07-18 Keyence Corp Visual inspection device, visual inspection method and computer program
JP2014070944A (en) * 2012-09-28 2014-04-21 Dainippon Screen Mfg Co Ltd Teacher data verification device, teacher data generation apparatus, image categorization device, teacher data verification method, teacher data generation method, and image categorization method
JP2017225122A (en) * 2013-06-28 2017-12-21 日本電気株式会社 Video surveillance system, video processing apparatus, video processing method, and video processing program
US11210526B2 (en) 2013-06-28 2021-12-28 Nec Corporation Video surveillance system, video processing apparatus, video processing method, and video processing program
US10275657B2 (en) 2013-06-28 2019-04-30 Nec Corporation Video surveillance system, video processing apparatus, video processing method, and video processing program
JPWO2016006090A1 (en) * 2014-07-10 2017-05-25 株式会社東芝 Electronic device, method and program
JP2016133895A (en) * 2015-01-16 2016-07-25 キヤノン株式会社 Information processing device, information processing method, and program
US20170148689A1 (en) * 2015-11-20 2017-05-25 Samsung Electronics Co., Ltd. Method of forming pattern of semiconductor device from which various types of pattern defects are removed
US10242921B2 (en) * 2015-11-20 2019-03-26 Samsung Electronics Co., Ltd. Method of forming pattern of semiconductor device from which various types of pattern defects are removed
WO2017145824A1 (en) * 2016-02-22 2017-08-31 株式会社サタケ Granular material appearance quality determining device
JP2017150823A (en) * 2016-02-22 2017-08-31 株式会社サタケ Apparatus for determining appearance grade of granular substances
JP2017173098A (en) * 2016-03-23 2017-09-28 株式会社Screenホールディングス Image processing device and image processing method
US10572993B2 (en) 2017-01-23 2020-02-25 Ricoh Company, Ltd. Information processing apparatus, information processing method and recording medium
KR20190037161A (en) * 2017-09-28 2019-04-05 어플라이드 머티리얼즈 이스라엘 리미티드 System, method and computer program product for classifying a plurality of items
JP2019120527A (en) * 2017-12-28 2019-07-22 大日本印刷株式会社 Information processing apparatus, information processing method and program
JP2019159959A (en) * 2018-03-14 2019-09-19 オムロン株式会社 Inspection system, identification system, and learning data generation device
WO2019176989A1 (en) * 2018-03-14 2019-09-19 オムロン株式会社 Inspection system, discrimination system, and learning data generator
CN111758117A (en) * 2018-03-14 2020-10-09 欧姆龙株式会社 Inspection system, recognition system, and learning data generation device
CN111758117B (en) * 2018-03-14 2023-10-27 欧姆龙株式会社 Inspection system, recognition system, and learning data generation device
WO2020008711A1 (en) * 2018-07-02 2020-01-09 パナソニックIpマネジメント株式会社 Learning device, learning system, and learning method
JP2020008905A (en) * 2018-07-02 2020-01-16 パナソニックIpマネジメント株式会社 Learning apparatus, learning system and learning method
JPWO2020017546A1 (en) * 2018-07-17 2021-08-12 合同会社Synapse Gear Imaging device and imaging method
WO2020017546A1 (en) * 2018-07-17 2020-01-23 合同会社Synapse Gear Image capture device and image capture method
JP2020123330A (en) * 2019-01-30 2020-08-13 株式会社ストラドビジョン Method for acquiring sample image for label acceptance inspection from among auto-labeled images utilized for neural network learning, and sample image acquisition device utilizing the same
JP2020204800A (en) * 2019-06-14 2020-12-24 Awl株式会社 Learning dataset generation system, learning server, and learning dataset generation program
WO2021090601A1 (en) * 2019-11-07 2021-05-14 東レエンジニアリング株式会社 Classifying device and image classifying system
WO2023112302A1 (en) * 2021-12-17 2023-06-22 株式会社日立ハイテク Training data creation assistance device and training data creation assistance method

Also Published As

Publication number Publication date
JP4132229B2 (en) 2008-08-13

Similar Documents

Publication Publication Date Title
JPH11344450A (en) Instruction data forming method and defect classifying method and apparatus thereof
JP4253522B2 (en) Defect classification method and apparatus
JP4220595B2 (en) Defect classification method and teaching data creation method
JP3834041B2 (en) Learning type classification apparatus and learning type classification method
US8428336B2 (en) Inspecting method, inspecting system, and method for manufacturing electronic devices
JP4616864B2 (en) Appearance inspection method and apparatus, and image processing evaluation system
US7062081B2 (en) Method and system for analyzing circuit pattern defects
JP6063756B2 (en) Teacher data creation support device, teacher data creation device, image classification device, teacher data creation support method, teacher data creation method, and image classification method
JP6472621B2 (en) Classifier construction method, image classification method, and image classification apparatus
JP5718781B2 (en) Image classification apparatus and image classification method
TWI502189B (en) Training data verification apparatus, training data generation apparatus, image classification apparatus, training data verification method, training data generation method, and image classification method
JP3660763B2 (en) Inspection pattern inspection method, manufacturing process diagnosis method, and semiconductor substrate manufacturing method
JP2003240731A (en) Method and apparatus for inspecting defcts
JP4982213B2 (en) Defect inspection apparatus and defect inspection method
JP2020085583A (en) Inspection device and inspection method
JP2000200356A (en) Method and device for defect classification
JP5075070B2 (en) Teacher data creation method, image classification method, and image classification apparatus
JP2017107313A (en) Teacher data creation support method, image classification method, teacher data creation support device and image classification device
KR101782364B1 (en) Vision inspection method based on learning data
TWI783368B (en) diagnostic system
JP5075083B2 (en) Teacher data creation support method, image classification method, and image classification apparatus
JP5323457B2 (en) Observation condition determination support apparatus and observation condition determination support method
JP2008135568A (en) Method and device for reviewing defect
JP2007198968A (en) Image-classifying method and image-classifying apparatus
JP2001134763A (en) Method for sorting defect on basis of picked-up image and method for displaying the result

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070601

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070918

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080507

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080602

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110606

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees