WO2021090601A1 - 分類装置および画像分類システム - Google Patents

分類装置および画像分類システム Download PDF

Info

Publication number
WO2021090601A1
WO2021090601A1 PCT/JP2020/036288 JP2020036288W WO2021090601A1 WO 2021090601 A1 WO2021090601 A1 WO 2021090601A1 JP 2020036288 W JP2020036288 W JP 2020036288W WO 2021090601 A1 WO2021090601 A1 WO 2021090601A1
Authority
WO
WIPO (PCT)
Prior art keywords
category
image
classification
classifier
classified
Prior art date
Application number
PCT/JP2020/036288
Other languages
English (en)
French (fr)
Inventor
辰彦 坪井
松村　淳一
憲治 大久保
Original Assignee
東レエンジニアリング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 東レエンジニアリング株式会社 filed Critical 東レエンジニアリング株式会社
Publication of WO2021090601A1 publication Critical patent/WO2021090601A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • the present invention relates to a classification device and an image classification system.
  • Patent Document 1 discloses a method for constructing a classifier that classifies an image into one of a plurality of classes (categories).
  • this classifier construction method first, a teacher image in which a class is taught in advance by a user and teacher data including values for each of a plurality of feature axis based on the teacher image are prepared.
  • the image is an image including defects formed on the substrate.
  • frequency distribution data applying frequency
  • the feature amount axis is the area of the defect, the peripheral length, the position of the center of gravity, the amount of moment, and the like.
  • the frequency distribution data is formed as follows. First, the maximum value and the minimum value of the value of the feature amount axis are specified, and the distribution range of the value of the feature amount axis is acquired. Then, this distribution range is divided (discretized) into an appropriate number of intervals. Then, the frequency (appearance frequency) for each class in each discretized section is obtained.
  • a classifier (multiple weak classifiers) that classifies images is generated based on the appearance ratio for each class in each section for each feature axis shown in the frequency distribution data. For example, in one feature quantity, the probability that an image belonging to a certain section belongs to a certain class can be obtained. Then, each of the weak classifiers refers to the frequency distribution data from the value of the corresponding feature axis, and the validity when the image from which the value of the feature axis is acquired belongs to a specific class (validity ( The evaluation value indicating the certainty) is obtained by the class evaluation value.
  • the frequency distribution data is corrected for the teacher data in which the class is misclassified. Specifically, the frequency of the class in the interval (interval of the frequency distribution data) corresponding to the value of the feature amount of the teacher data in which the class is misclassified is increased. Then, by updating the classifier based on the modified frequency distribution data, the above misclassified teacher data is more likely to be classified into the correct class by the updated classifier.
  • the present invention has been made to solve the above problems, and one object of the present invention is to provide a classification device and an image classification system capable of improving the performance of a classifier. is there.
  • the classification device is a classification device for classifying unknown image categories, and is classified into any one of a plurality of categories in advance by a user.
  • a classifier learning means for learning a classifier by performing machine learning based on teacher data consisting of images of the above, and evaluation data consisting of a plurality of images based on the learned classifier in a plurality of categories.
  • the classification execution means for classifying into one of the two is provided, and the classifier learning means does not match the image category of the evaluation data classified by the classification execution means with the image category pre-classified by the user.
  • the classifier is set based on the teacher data in the state where the category selection image in which the category classified by the classification execution means or the category re-determined by the user is selected as the category of the images whose categories do not match is included in the teacher data. It is configured to be relearned.
  • the classifier learning means has a category of images of evaluation data classified by the classification execution means and a category of images pre-classified by the user. If they do not match, the categories selected by the classification execution means or the category re-determined by the user are selected as the categories of the images that do not match, and the category selection image is included in the teacher data and classified based on the teacher data. It is configured to relearn the vessel. As a result, even if the image category is erroneously classified, the erroneously classified image category can be changed to the correct category. Then, the classifier is relearned based on the teacher data with the category selection image in which the erroneously classified category is changed to the correct category is included in the teacher data, so that the performance of the classifier can be improved. it can.
  • the category of the category selection image is configured to be selected based on the classification estimation probability which is an index of the certainty of classification of the category by the classification execution means.
  • the classification estimation probability preferably includes at least one of the majority vote of the classification results of the categories by a plurality of classifiers and the classification estimation probability output from a single classifier.
  • the percentage of the majority of the classification results of categories by multiple classifiers is a value output from a general learning algorithm. You can easily select a category based on these values.
  • the category of the image of the evaluation data classified by the classification execution means is related to the image in which the category by the classification execution means and the category by the user do not match.
  • a display unit for displaying the image categories pre-classified by the user and the classification estimation probability is provided.
  • the display unit accepts the input of the category selection by the user.
  • the classifier learning means is configured to relearn the classifier based on the teacher data in a state where the category selection image whose category is selected by the user is included in the teacher data.
  • the category of the image of the evaluation data classified by the classification execution means does not match the category of the image pre-classified by the user, and further classification is performed.
  • the display unit is configured to accept the input of the category selection by the user, and the classifier learning means uses the category selection image in which the category is selected by the user as the teacher data. It is configured to retrain the classifier based on the teacher data in the included state.
  • the display unit automatically sets the category.
  • the classifier learning means is configured to accept selections, and when automatic selection is accepted, the category of the image is automatically selected and the category selection image in which the category is automatically selected is included in the teacher data.
  • the state is configured to retrain the classifier based on teacher data. With this configuration, the categories are automatically selected without the user having to select the categories (manually), which saves the user time and effort.
  • the category of the image of the evaluation data classified by the classification execution means does not match the category of the image pre-classified by the user, and the classification estimation probability is further increased.
  • the display unit is configured to accept the automatic selection of the category, and when the automatic selection is accepted, the classifier learning means automatically selects the category of the image and sets the category. It is configured to retrain the classifier based on the teacher data with the automatically selected category selection image included in the teacher data.
  • the evaluation data includes the teacher data
  • the classification execution means classifies the categories of the images included in the teacher data based on the learned classifier.
  • the classifier learning means is configured to re-classify based on the teacher data, with the teacher data updated to include the category selection image in which the categories classified by the classification execution means are selected as categories. It is designed to be learned. With this configuration, even if the image categories included in the teacher data are misclassified, the teacher data is updated, and the performance of the classifier deteriorates due to the misclassification of the categories by the user. Can be suppressed.
  • the evaluation data includes an image different from the teacher data
  • the classification execution means is included in the evaluation data different from the teacher data based on the learned classifier.
  • the classifier learning means is configured to classify the categories of images, and the classifier learning means is based on the teacher data in a state where the category selection image in which the category classified by the classification execution means is selected as the category is included in the teacher data. It is configured to retrain the classifier.
  • a category of evaluation data including an image different from the teacher data may be classified. Even in this case, the image categories included in the evaluation data are classified in advance by the user.
  • the user may erroneously classify the categories due to fatigue or the like. Therefore, by configuring as described above, even if the category of the image included in the evaluation data is erroneously classified, the category is selected (corrected), so that the performance of the classifier can be improved.
  • the image classification system includes an imaging device for capturing an image and a classification device for classifying a category of an unknown image captured by the imaging unit, and the classification device is determined by the user.
  • the classifier learning means for learning the classifier by performing machine learning based on the teacher data consisting of a plurality of images classified into any of a plurality of categories in advance, and the trained classifier.
  • the classification execution means for classifying the evaluation data consisting of a plurality of images into one of a plurality of categories, and the classifier learning means include the classification execution means for the evaluation data classified by the classification execution means.
  • the category selected image in which the category classified by the classification execution means or the category re-determined by the user is selected as the category of the image whose category does not match is used as the teacher data. It is configured to retrain the classifier based on the teacher data in the state included in.
  • the classifier learning means includes an image category of evaluation data classified by the classification execution means and an image category pre-classified by the user. If does not match, the category selection image in which the category classified by the classification execution means or the category re-determined by the user is selected as the category of the image whose category does not match is included in the teacher data, and based on the teacher data. It is configured to retrain the classifier. As a result, even if the image category is erroneously classified, the erroneously classified image category can be changed to the correct category.
  • the classifier is relearned based on the teacher data with the category selection image in which the erroneously classified category is changed to the correct category is included in the teacher data, so that the performance of the classifier can be improved.
  • a possible image classification system can be provided.
  • the performance of the classifier can be improved as described above.
  • the image classification system 100 includes an image pickup device 10.
  • the image pickup apparatus 10 includes an illumination unit 11, an optical system 12, and an image pickup unit 13.
  • the light emitted from the illumination unit 11 irradiates the semiconductor substrate 200 via the optical system 12.
  • the image pickup unit 13 takes an image of the light reflected by the semiconductor substrate 200.
  • the surface of the semiconductor substrate 200 is imaged.
  • the imaging device 10 includes a stage 14 and a stage driving unit 15.
  • the semiconductor substrate 200 is placed on the surface of the stage 14.
  • the stage drive unit 15 moves the stage 14 on which the semiconductor substrate 200 is placed in a horizontal plane. Then, as the stage 14 is moved by the stage drive unit 15, the image pickup unit 13 takes an image of a desired region on the surface of the semiconductor substrate 200.
  • the image classification system 100 includes an inspection device 20.
  • the inspection device 20 includes a defect detection unit 21.
  • the defect detection unit 21 detects the defect d (black defect db and white defect dw described later) from the image Ps (see FIG. 2) of the semiconductor substrate 200 imaged by the imaging unit 13.
  • the inspection device 20 does not include an image of a region having an image Ps of the semiconductor substrate 200 captured by the imaging unit 13 (hereinafter, referred to as an inspection target region image) and a defect d corresponding to the inspection target region image.
  • An image of the difference between the image of the semiconductor substrate 200 (reference image, not shown) is acquired.
  • the defect d is detected based on the acquired difference image.
  • the defect d is a defect, protrusion, foreign matter, or the like on the semiconductor substrate 200.
  • the image classification system 100 includes a classification device 30.
  • the classification device 30 is configured to classify the categories of unknown defect images Pd (see FIG. 4 and the like).
  • the defect image Pd includes the defect image Pd of the semiconductor substrate 200, and the plurality of categories include the types of the plurality of defects d included in the semiconductor substrate 200.
  • the defective image Pd is an example of an "image" in the claims. Hereinafter, a specific description will be given.
  • the classification device 30 is composed of a computer. As shown in FIG. 3, the classification device 30 (computer) includes a control unit 31 such as a CPU. The classifier 30 (control unit 31) includes a classifier learning means 31a. The classifier learning means 31a performs machine learning based on teacher data D1 (see FIG. 4) composed of a plurality of defect images Pd classified in advance by the user into any one of a plurality of categories, thereby performing the classifier 32. Is configured to learn.
  • a plurality of defect images Pd in which the defect d is captured are prepared.
  • the defect d includes a black defect db and a white defect dw.
  • the user manually classifies the categories of the plurality of defect images Pd into black defect db and white defect dw.
  • the plurality of defect images Pd classified into the black defect db and the white defect dw are used as the teacher data D1.
  • the teacher data D1 When the number of defective images Pd is large, the user may erroneously classify the categories due to the fatigue of the user or the like.
  • the defect image Pd1 of the black defect db is classified into the category of the white defect dw
  • the defect image Pd2 of the white defect dw is classified into the category of the black defect db.
  • the black defect db and the white defect dw are examples of "defects" in the claims.
  • the classifier learning means 31a performs machine learning based on the teacher data D1 including the plurality of defect images Pd shown in FIG.
  • machine learning supervised machine learning algorithm
  • a linear discrimination method for example, a linear discrimination method, a support vector machine, a neural network, deep learning, a decision tree, and the like are used.
  • learning is performed based on each category of the plurality of defective image Pds (black defect db or white defect dw) and the feature amount of each of the plurality of defective image Pds.
  • the feature amount is, for example, the maximum brightness, the minimum brightness, the range of brightness in the defective image Pd, and the area ratio when the brightness of the defective image Pd is binarized.
  • the classification device 30 (control unit 31) includes a classification execution means 31b.
  • the classification executing means 31b is configured to classify the evaluation data D2 (see FIGS. 4 and 5) into one of a plurality of categories based on the learned classifier 32.
  • the evaluation data D2 is composed of a plurality of defect images Pd previously classified into one of a plurality of categories by the user for evaluating the performance of the classifier 32.
  • the evaluation data D2 includes the teacher data D1.
  • the evaluation data D2 composed of the teacher data D1 will be referred to as the first evaluation data D21.
  • the first evaluation data D21 is the teacher data D1 itself.
  • the classification executing means 31b is configured to classify the category of the defective image Pd included in the first evaluation data D21 (teacher data D1) based on the learned classifier 32.
  • the evaluation data D2 includes a defect image Pd different from the teacher data D1.
  • the evaluation data D2 composed of the defect image Pd different from the teacher data D1 will be referred to as the second evaluation data D22.
  • the classification executing means 31b is configured to classify the category of the defective image Pd included in the second evaluation data D22 different from the teacher data D1 based on the learned classifier 32.
  • the classifier learning means 31a does not match the category of the defective image Pd of the evaluation data D2 classified by the classification executing means 31b with the category of the defective image Pd pre-classified by the user.
  • a state in which the defect image Pd (hereinafter referred to as category selection image Pd3) in which the category classified by the classification execution means 31b is selected as the category of the defect image Pd whose categories do not match is included in the teacher data D1 (FIGS. 7 and 7). 8) is configured to retrain the classifier 32 based on the teacher data (updated teacher data D11 and D12).
  • MDC Manual Defect Classification
  • ADC Automatic Defect Classification
  • the category selection image Pd3 is changed to the category classified by the classification executing means 31b.
  • the category of the category selection image Pd3 is selected based on the classification estimation probability which is an index of the certainty of the classification of the category by the classification execution means 31b.
  • the classification estimation probability includes at least one of the ratio of majority voting of the classification results of the categories by the plurality of classifiers 32 and the classification estimation probability output from the single classifier 32.
  • the classification estimation probability is the ratio of the majority of the classification results of the categories by the plurality of classifiers 32 (decision trees).
  • the classification estimation probability when classified as a black defect db is calculated as (the number of classifiers 32 classified as the black defect db) / (the number of all classifiers 32) ⁇ 100.
  • the machine learning algorithm is a support vector machine or the like
  • the classification estimation probability is output from the classifier 32 learned by the support vector machine.
  • the selection of the category of the defective image Pd will be specifically described.
  • the classification device 30 includes a display unit 33.
  • the display unit 33 includes a category of the defect image Pd of the evaluation data D2 classified by the classification execution means 31b and a category of the defect image Pd in which the category by the classification execution means 31b and the category by the user do not match.
  • the category of the defect image Pd preclassified by the user and the classification estimation probability are displayed.
  • the ADC and the MDC do not match, No. 1 to No.
  • the category of the defect image Pd of 3 and the classification estimation probability are displayed.
  • No. The defect image Pd of 1 is selected (highlighted).
  • the MDC classifies it as a black defect db
  • the ADC classifies it as a white defect dw.
  • the classification estimation probability is 90%.
  • the category (ADC) of the defect image Pd of the evaluation data D2 (first evaluation data D21, second evaluation data D22) classified by the classification execution means 31b.
  • the display unit 33 is configured to accept the input of the category selection by the user.
  • the category (ADC) of the defect image Pd of the evaluation data D2 (first evaluation data D21, second evaluation data D22) classified by the classification execution means 31b, and the defects pre-classified by the user.
  • the display unit 33 is configured to accept the input of the category selection by the user.
  • the defective image Pd (for example, the No. 1 defective image Pd) is also displayed on the screen 33a.
  • the user determines whether the category of the defective image Pd is the black defect db or the white defect dw while looking at the displayed defective image Pd and referring to the displayed classification estimation probability. Then, when it is determined that the category (MDC) of the defective image Pd preclassified by the user is incorrect, the "category" of the "re-judgment" on the screen 33a is selected (for example, the white defect dw is selected). Press the "Update" button. As a result, No. The MDC category of the defect image Pd of 1 is changed to the white defect dw.
  • a "learning file name” (name of the classifier 32), a "re-learning” button, and a “re-learning by another name” button are displayed. Then, when the user presses the "relearn” button or the “relearn by another name” button, the classifier 32 is relearned. When the user presses the "re-learning” button, the re-learned classifier 32 is rewritten to the pre-re-learning classifier 32 (file). Further, when the user presses the "relearn by another name” button, the relearned classifier 32 is generated as a new classifier 32 (file).
  • the classifier learning means 31a classifies based on the teacher data (teacher data D11 or teacher data D12) in a state where the category selection image Pd3 whose category is selected by the user is included in the teacher data D1. It is configured to relearn the vessel 32.
  • the classifier learning means 31a is a teacher so that the category selection image Pd3 in which the category classified by the classification execution means 31b is selected as a category is included.
  • the classifier 32 is configured to be retrained based on the teacher data (updated teacher data D11, see FIG. 7).
  • the teacher data D1 is updated so that the category of the defective image Pd in which the MDC and the ADC do not match is changed among the plurality of defective image Pd included in the teacher data D1. Then, the classifier 32 is relearned based on the updated teacher data D1 (teacher data D11).
  • the classifier learning means 31a teaches the category selection image Pd3 in which the category classified by the classification execution means 31b is selected as the category.
  • the classifier 32 is configured to be retrained based on the teacher data (updated teacher data D12, see FIG. 8) while being included in the data D1. Specifically, the defect image Pd (category selection image Pd3) in which the category in which the MDC and the ADC do not match is changed is added to the teacher data D1 (or the updated teacher data D11). Then, the classifier 32 is relearned based on the teacher data D12 to which the category selection image Pd3 is added. Further, in the second evaluation data D22, the second evaluation data D22 is updated (so that the category is changed to the category classified by the classification execution means 31b (so that the category selection image Pd3 is included)). Evaluation data D23, see FIG. 9).
  • the display unit 33 is configured to accept automatic selection of categories. Specifically, the category of the defective image Pd of the evaluation data D2 classified by the classification executing means 31b does not match the category of the defective image Pd pre-classified by the user, and the classification estimation probability is a predetermined threshold value. In the above case, the display unit 33 is configured to accept the automatic selection of the category.
  • the screen 33a displayed on the display unit 33 “automatic feedback” (marked with ⁇ ) is selected with a mouse or the like. Further, the screen 33a is configured so that the classification estimation probability with the ADC as the correct answer (correct category) can be input. For example, the classification estimation probability "85%" is input.
  • the classifier learning means 31a automatically selects the category of the defective image Pd, and the category selection image Pd3 in which the category is automatically selected is used as the teacher data D1.
  • the classifier 32 is configured to be retrained based on the teacher data D1.
  • the category of the defective image Pd having a classification estimation probability of 85% or more is automatically changed to the category classified by the ADC. That is, No. 1 to No. All categories of defect image Pd of 3 are automatically changed to the categories classified by ADC.
  • the classification estimation probability with the ADC as the correct answer is an example of the "predetermined threshold value" in the claims.
  • the classifier 32 is retrained based on the updated teacher data D11 (see FIG. 7). To. When the evaluation data D2 is the second evaluation data D22, the classifier 32 is relearned based on the teacher data D12 (see FIG. 8) to which the category selection image Pd3 is added. Further, similarly to the above-mentioned “manual feedback", the classifier 32 is relearned when the user presses the "relearn” button or the “relearn by another name” button.
  • step S1 the surface of the semiconductor substrate 200 is imaged by the image pickup apparatus 10.
  • the images Ps captured by the image pickup device 10 are transmitted to the inspection device 20.
  • step S2 the inspection device 20 (defect detection unit 21) detects the defect image Pd including the defect d from the image Ps of the semiconductor substrate 200. Then, the detected defect image Pd is stored in the storage unit 22 provided in the inspection device 20.
  • step S11 a plurality of desired defect images Pd are selected from the plurality of defect images Pd stored in the inspection device 20.
  • the selection of the desired defect image Pd is performed by, for example, the user.
  • step S12 the category of the defect d is classified (MDC) by the user for each of the plurality of selected defect images Pd.
  • the defective image Pd is displayed on the display unit 33, and the input of the category of the defective image Pd (black defect db or white defect dw) is accepted.
  • step S13 the feature amount (maximum brightness, minimum brightness, brightness range, etc.) is calculated for each of the plurality of selected defect images Pd.
  • step S14 a plurality of defect images Pd associated with categories and feature quantities are collected as teacher data D1. Then, a plurality of defective image Pds to which the categories and the feature amounts are associated with each other are stored in, for example, one folder of the storage unit 34.
  • step S15 the classifier 32 is learned (generated) by the classifier learning means 31a based on the teacher data D1.
  • step S16 the learned classifier 32 is stored in the storage unit 34.
  • step S21 each category of the defect image Pd included in the first evaluation data D21 (teacher data D1 itself) based on the classifier 32 learned by the classification execution means 31b and the classifier learning means 31a. Is classified. That is, each category of the defect image Pd included in the teacher data D1 used for learning (generating) the classifier 32 is classified.
  • step S22 the classification result is verified. Specifically, in step S22, it is determined whether or not the performance of the classifier 32 is sufficient (OK). In step S22, in the case of yes, the operation of evaluating the classifier 32 ends. In step S22, if no, the process proceeds to step S23.
  • the performance of the classifier 32 is determined by the accuracy rate, precision rate, recall rate, and the like. The user may determine whether or not the performance of the classifier 32 is sufficient, or the control unit 31 may automatically perform the determination.
  • step S23 the category of the defective image Pd of the first evaluation data D21 classified (ADC) by the classification executing means 31b does not match the category of the defective image Pd pre-classified (MDC) by the user.
  • the defect image Pd, the category by ADC, the category by MDC, and the classification estimation probability are displayed on the display unit 33 (see FIG. 6).
  • step S24 the category of the defective image Pd of the first evaluation data D21 classified (ADC) by the classification executing means 31b and the category of the defective image Pd pre-classified (MDC) by the user match.
  • the classification estimation probability is equal to or higher than a predetermined threshold value (for example, 85%)
  • the display unit 33 accepts the input of the category selection by the user. Then, the user selects the category of the defective image Pd based on the defective image Pd displayed on the display unit 33 and the classification estimation probability.
  • step S26 the user clicks the "re-learning" button (or the "re-learning with another name” button) on the screen 33a of the display unit 33 with a mouse or the like, so that the re-learning is accepted. Then, the process returns to step S21. Then, the operations of steps S21 to S26 are repeated until it is determined that the performance of the classifier 32 is sufficient.
  • steps S31 to S33 are the same as the operations of steps S21 to S23, respectively.
  • step S34 the category of the defective image Pd of the first evaluation data D21 classified (ADC) by the classification executing means 31b matches the category of the defective image Pd pre-classified (MDC) by the user.
  • a predetermined threshold value for example, 85%
  • the display unit 33 accepts the automatic selection of the category.
  • the classifier learning means 31a automatically selects the category of the defective image Pd.
  • steps S35 and S36 are the same as the operations of steps S25 and S26, respectively.
  • the image pickup device 10 images the surface of the semiconductor substrate 200, the inspection device 20 (defect detection unit 21) detects the defect image Pd, and the defect image Pd. Is saved.
  • the semiconductor substrate 200 imaged by the image pickup apparatus 10 is a substrate (or a different portion) different from the semiconductor substrate 200 imaged (step S1) for creating the teacher data D1.
  • steps S41 to S44 the same operations as in steps S11 to S14 described above are performed, respectively. That is, selection of the stored defect image Pd, MDC of the selected defect image Pd, calculation of the feature amount, and summarization of the defect image Pd of the MDC as the second evaluation data D22 are performed.
  • step S45 each category of the defect image Pd included in the second evaluation data D22 is classified by the classification executing means 31b based on the classifier 32 learned by the classifier learning means 31a.
  • steps S46 to S48 is the same as the operation of steps S22 to S24 described above.
  • step S49 the teacher data D1 and the second evaluation data D22 are updated. That is, the teacher data D1 is updated so that the defect image Pd (referred to as the category selection image Pd3) changed to the category classified by the classification execution means 31b is added to the teacher data D1, and the teacher data D12 (see FIG. 8). Is generated. Further, in the second evaluation data D22, the second evaluation data D22 is updated so that the category of the defect image Pd in which the MDC and the ADC do not match is changed, and the second evaluation data D23 (see FIG. 9). Is generated.
  • the teacher data D1 is updated so that the defect image Pd (referred to as the category selection image Pd3) changed to the category classified by the classification execution means 31b is added to the teacher data D1, and the teacher data D12 (see FIG. 8). Is generated.
  • the second evaluation data D22 the second evaluation data D22 is updated so that the category of the defect image Pd in which the MDC and the ADC do not match is changed, and the second evaluation data D23 (
  • step S50 re-learning is performed based on the teacher data D12 in which the defect image Pd whose category has been selected (changed) by the user is added to the teacher data D1.
  • the classifier learning means 31a has a category of the defect image Pd of the evaluation data D2 classified by the classification execution means 31b and a category of the defect image Pd preclassified by the user. If they do not match, the category selection image Pd3 in which the category classified by the classification execution means 31b is selected as the category of the defective image Pd whose categories do not match is included in the teacher data D1, and the classifier is based on the teacher data D1. It is configured to relearn 32. Thereby, even if the category of the defective image Pd is erroneously classified, the category of the erroneously classified defective image Pd can be changed to the correct category.
  • the classifier 32 is based on the teacher data D1 (teacher data D11 and / or the teacher data D12). Since it is relearned, the performance of the classifier 32 can be improved.
  • the category of the category selection image Pd3 is configured to be selected based on the classification estimation probability which is an index of the certainty of classification of the category by the classification execution means 31b. .. Thereby, by selecting the category of the defective image Pd having a relatively high classification estimation probability, it is possible to prevent the category from being erroneously selected. Further, by not selecting the category of the defective image Pd having a relatively low classification estimation probability, it is possible to similarly prevent the category from being erroneously selected.
  • the classification estimation probability is the ratio of the majority vote of the classification results of the categories by the plurality of classifiers 32 and the classification estimation probability output from the single classifier 32. Includes at least one.
  • the percentage of the majority of the classification results of the categories by the plurality of classifiers 32 is a value output from a general learning algorithm. You can easily select a category based on the value.
  • a display unit 33 for displaying the category of the defective image Pd preclassified by the user and the classification estimation probability is provided.
  • the display is displayed.
  • the unit 33 is configured to accept the input of the category selection by the user, and the classifier learning means 31a includes the category selection image Pd3 whose category is selected by the user in the teacher data D1 and the teacher data.
  • the classifier 32 is configured to be retrained based on D1 (teacher data D11 and / or teacher data D12). As a result, the user can select the category of the defective image Pd while checking the classification estimation probability displayed on the display unit 33. That is, since the classification estimation probability serves as an index as to whether or not to select the category of the defective image Pd, it is possible to facilitate the user's selection of the category.
  • the category of the defective image Pd of the evaluation data D2 classified by the classification executing means 31b and the category of the defective image Pd pre-classified by the user do not match, and further.
  • the display unit 33 is configured to accept input for category selection by the user.
  • the input of the category selection by the user is accepted only when the classification estimation probability is equal to or higher than the predetermined threshold value. Therefore, when the category selection is not required, the control of accepting the category selection input can be omitted.
  • the display is displayed.
  • the unit 33 is configured to accept the automatic selection of the category, and when the automatic selection is accepted, the classifier learning means 31a automatically selects the category of the defective image Pd and automatically selects the category.
  • the classifier 32 is retrained based on the teacher data D1 (teacher data D11 and / or the teacher data D12) with the category selection image Pd3 included in the teacher data D1. As a result, the category is automatically selected without the user having to select the category (manually), which saves the user time and effort.
  • the display unit 33 has a category of the defective image Pd of the evaluation data D2 classified by the classification executing means 31b and a category of the defective image Pd classified in advance by the user. If they do not match and the classification estimation probability is equal to or greater than a predetermined threshold, automatic category selection is accepted. As a result, the automatic selection of the category is accepted only when the classification estimation probability is equal to or higher than the predetermined threshold value. Therefore, when the category selection is not required, the control of accepting the input of the category selection can be omitted.
  • the evaluation data D2 includes the teacher data D1
  • the classification executing means 31b is the defect image Pd included in the teacher data D1 based on the learned classifier 32.
  • the classifier learning means 31a is configured to classify categories, and the teacher data D1 is updated so that the category selection image Pd3 in which the category classified by the classification execution means 31b is selected as a category is included in the classifier learning means 31a.
  • the classifier 32 is configured to be retrained based on the teacher data D1 (teacher data D11).
  • the teacher data D1 is updated, so that the performance of the classifier 32 deteriorates due to the misclassification of the category by the user. Can be suppressed.
  • the evaluation data D2 (second evaluation data D22) includes the defect image Pd different from the teacher data D1, and the classification executing means 31b is used in the trained classifier 32.
  • the category of the defect image Pd included in the evaluation data D2 different from the teacher data D1 is classified, and the classifier learning means 31a selects the category classified by the classification execution means 31b as the category.
  • the classifier 32 is relearned based on the teacher data D1 (teacher data D12) in a state where the classified category selection image Pd3 is included in the teacher data D1.
  • the category of the evaluation data D2 including the defect image Pd different from the teacher data D1 may be classified.
  • the category of the defect image Pd included in the evaluation data D2 is classified in advance by the user. Then, the user may erroneously classify the categories due to fatigue or the like. Therefore, by configuring as described above, even if the category of the defective image Pd included in the evaluation data D2 (second evaluation data D22) is erroneously classified, the category is selected (corrected). The performance of the classifier 32 can be improved.
  • the category of the image by the ADC and the category by the MDC do not match
  • the category of the image whose category does not match is changed to the category by the ADC
  • the category of the image whose category does not match may be changed to the category redetermined by the user.
  • the category is changed to C by the user's re-judgment when the category by the first MDC is A and the category by ADC is B. You may.
  • the classifier is configured to classify the types (categories) of defects in the semiconductor substrate, but the present invention is not limited to this.
  • the classifier may be configured to classify objects (eg, cells, etc.) that are different from the defects in the semiconductor substrate.
  • the classifier may be configured to classify the presence or absence of defects in the semiconductor substrate.
  • the category by ADC and the category by MDC do not match, the category is changed based on the classification estimation probability, but the present invention is not limited to this. For example, if the ADC category and the MDC category do not match, all may be changed to the ADC category.
  • the category by MDC when the classification estimation probability is equal to or higher than a predetermined threshold value, the category by MDC is changed to the category by ADC, but the present invention is not limited to this.
  • the category by MDC may be changed to the category by ADC based on an index other than the classification estimation probability.
  • the display unit selects the category by the user (category).
  • category selection automatic category selection
  • the evaluation data includes the first evaluation data (teacher data itself) and the second evaluation data (data different from the teacher data), but the present invention is limited to this. I can't.
  • the evaluation data may include only one of the first evaluation data and the second evaluation data.
  • the evaluation data may be a mixture of teacher data and data different from the teacher data.
  • the category by the MDC is changed to the category by the ADC.
  • the category of the defective image by the ADC and the category of the defective image by the MDC do not match
  • the category of the defective image by the ADC and the category of the defective image by the MDC do not match (hereinafter, referred to as a mismatched image).
  • the user may redetermine and select the category of MDC.
  • the category re-judged by the MDC when the teacher data and the evaluation data are different, if the category by ADC and the category by MDC do not match and the MDC is correct by the user's re-judgment (confirmation), the category re-judged by the MDC. Is added to the teacher data in the state of being in the category of this mismatched image, and re-learning is performed. For example, in the example of FIG. 15 below, the No. 1 in which the category by ADC is selected. The defect image of No. 1 and the No. 1 in which the category by MDC was selected. The defect image of 4 is included in the teacher data and relearned.
  • the category by MDC when the classification estimation probability is equal to or higher than a predetermined threshold value (85%), the category by MDC is automatically changed to the category by ADC, but the present invention is not limited to this. ..
  • a relatively low threshold value such as 20%
  • the category by MDC may be included in the teacher data without being changed and re-learning may be performed.
  • the automatic selection (automatic feedback) of the category when the classification estimation probability is less than a relatively low threshold value, the defective image having the category by the MDC can be added to the re-learning.
  • the threshold value of the classification estimation probability with the ADC as the correct answer is set to 85% and the threshold value of the classification estimation probability with the MDC as the correct answer is set to 20% or less, in the example of FIG. 16 below, No. 1, No. 2. No. 4 and No.
  • the defect image of 5 is included in the teacher data and re-learning is performed.
  • Imaging device 10 Imaging device 30 Classification device 31a Classifier Learning means 31b Classification execution means 32 Classifier 33 Display unit 100 Image classification system 200 Semiconductor substrate d Defect db Black defect (defect) dw white defect (defect) D1, D11, D12 Teacher data D2, D21, D22, D23 Evaluation data Pd Defect image (image) Pd3 category selection image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

分類器の性能を向上させることが可能な分類装置を提供すること。　具体的には、この分類装置３０では、分類器学習手段３１ａは、分類実行手段３１ｂによって分類された評価用データＤ２の欠陥画像Ｐｄのカテゴリと、ユーザにより予め分類された欠陥画像Ｐｄのカテゴリとが一致しない場合、カテゴリが一致しない欠陥画像Ｐｄのカテゴリとして、分類実行手段３１ｂによって分類されたカテゴリが選択されたカテゴリ選択画像Ｐｄ３を教師データＤ１に含めた状態で、教師データＤ１１に基づいて分類器３２を再学習させるように構成されている。

Description

分類装置および画像分類システム
　この発明は、分類装置および画像分類システムに関する。
　従来、画像を複数のカテゴリのうちのいずれかに分類する分類器が知られている（たとえば、特許文献１参照）。
　上記特許文献１には、画像を複数のクラス（カテゴリ）のうちのいずれかに分類する分類器構築方法が開示されている。この分類器構築方法では、まず、ユーザにより予めクラスが教示された教師画像と、教師画像に基づく複数の特徴量軸毎の値を含む教師データが準備される。なお、画像は、基板上に形成された欠陥を含む画像である。次に、準備された教師データに基づいて、複数の特徴量軸毎に、特徴量軸の値が離散化された各区間における度数分布データ（出現頻度）が生成される。たとえば、特徴量軸は、欠陥の面積、周囲長、重心位置、モーメント量などである。また、度数分布データは、以下のように形成される。まず、特徴量軸の値の最大値および最小値を特定して、特徴量軸の値の分布範囲を取得する。そして、この分布範囲を、適当な個数の区間に分割（離散化）する。そして、離散化された各区間におけるクラス毎の度数（出現頻度）が求められる。
　次に、度数分布データに示される特徴量軸毎の各区間におけるクラス別の出現比率に基づいて、画像を分類する分類器（複数の弱分類器）が生成される。たとえば、ある１つの特徴量において、ある区間に属する画像が、あるクラスに属する確率が求められる。そして、弱分類器の各々は、対応する特徴量軸の値から度数分布データを参照することにより、特徴量軸の値が取得された画像が、特定のクラスに属するとした場合の妥当性（確信度）を示す評価値を、クラス評価値をして求める。
　次に、教師データを分類器で分類する。そして、分類器で分類された教師データのうち、クラスが誤分類された教師データについて、度数分布データが修正される。具体的には、クラスが誤分類された教師データが有する特徴量の値に対応する区間（度数分布データの区間）のクラスの度数を増加させる。そして、修正された度数分布データに基づいて、分類器を更新することにより、上記の誤分類された教師データは、更新された分類器によって正しいクラスに分類される可能性が高くなる。
特開２０１９－５７０２４号公報
　上記特許文献１に記載の分類器構築方法では、ユーザにより予めクラスが教示された教師画像と、教師画像に基づく複数の特徴量軸毎の値を含む教師データに基づいて、分類器が生成されている。ここで、教師画像のクラスは、ユーザにより教示されている一方、教師画像の数が比較的多い場合などでは、疲労などによりユーザの集中力が低下し、クラスの教示に誤りが生じる場合があると考えられる。この場合、誤って教示されたクラス（カテゴリ）に基づいて分類器が生成（評価）されるので、分類器の分類精度の向上が困難であるという問題点がある。
　この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、分類器の性能を向上させることが可能な分類装置および画像分類システムを提供することである。
　上記目的を達成するために、この発明の第１の局面による分類装置は、未知の画像のカテゴリを分類する分類装置であって、ユーザにより予め複数のカテゴリのうちのいずれかに分類された複数の画像からなる教師データに基づいて機械学習を行うことにより、分類器を学習させる分類器学習手段と、学習された分類器に基づいて、複数の画像からなる評価用データを、複数のカテゴリのうちのいずれかに分類する分類実行手段と、を備え、分類器学習手段は、分類実行手段によって分類された評価用データの画像のカテゴリと、ユーザにより予め分類された画像のカテゴリとが一致しない場合、カテゴリが一致しない画像のカテゴリとして、分類実行手段によって分類されたカテゴリもしくはユーザが再判定したカテゴリが選択されたカテゴリ選択画像を教師データに含めた状態で、教師データに基づいて分類器を再学習させるように構成されている。
　この発明の第１の局面による分類装置では、上記のように、分類器学習手段は、分類実行手段によって分類された評価用データの画像のカテゴリと、ユーザにより予め分類された画像のカテゴリとが一致しない場合、カテゴリが一致しない画像のカテゴリとして、分類実行手段によって分類されたカテゴリもしくはユーザが再判定したカテゴリが選択されたカテゴリ選択画像を教師データに含めた状態で、教師データに基づいて分類器を再学習させるように構成されている。これにより、画像のカテゴリが、誤って分類されている場合でも、誤って分類された画像のカテゴリを、正しいカテゴリに変更することができる。そして、誤って分類されたカテゴリが正しいカテゴリに変更されたカテゴリ選択画像を教師データに含めた状態で、教師データに基づいて分類器が再学習されるので、分類器の性能を向上させることができる。
　上記第１の局面による分類装置において、好ましくは、カテゴリ選択画像のカテゴリは、分類実行手段によるカテゴリの分類の確かさの指標である分類推定確率に基づいて選択
されるように構成されている。このように構成すれば、比較的高い分類推定確率を有する画像のカテゴリを選択することによって、カテゴリが誤って選択されてしまうのを抑制することができる。また、比較的低い分類推定確率を有する画像のカテゴリを選択しないことによって、同様に、カテゴリが誤って選択されてしまうのを抑制することができる。
　この場合、好ましくは、分類推定確率は、複数の分類器によるカテゴリの分類結果の多数決の割合と、単一の分類器から出力される分類推定確率とのうちの少なくとも一方を含む。このように構成すれば、複数の分類器によるカテゴリの分類結果の多数決の割合（単一の分類器から出力される分類推定確率）は、一般的な学習アルゴリズムから出力される値であるので、これらの値に基づいて、容易に、カテゴリを選択することができる。
　上記カテゴリが分類推定確率に基づいて選択される分類装置において、好ましくは、分類実行手段によるカテゴリとユーザによるカテゴリとが一致しない画像に関する、分類実行手段によって分類された評価用データの画像のカテゴリと、ユーザにより予め分類された画像のカテゴリと、分類推定確率とを表示する表示部をさらに備える。このように構成すれば、分類実行手段によって分類された画像のカテゴリと、ユーザにより予め分類された画像のカテゴリとが一致しない場合があるか否かを、ユーザが容易に視認することがでる。
　この場合、好ましくは、分類実行手段によって分類された評価用データの画像のカテゴリと、ユーザにより予め分類された画像のカテゴリとが一致しない場合、表示部は、ユーザによるカテゴリの選択の入力を受け付けるように構成されており、分類器学習手段は、ユーザによってカテゴリが選択されたカテゴリ選択画像を教師データに含めた状態で、教師データに基づいて分類器を再学習させるように構成されている。このように構成すれば、ユーザは、表示部に表示された分類推定確率を確認しながら、画像のカテゴリを選択す
ることができる。すなわち、分類推定確率が、画像のカテゴリを選択するか否かの指標となるので、ユーザによるカテゴリの選択を容易化することができる。
　上記ユーザによるカテゴリの選択の入力を受け付ける分類装置において、好ましくは、分類実行手段によって分類された評価用データの画像のカテゴリと、ユーザにより予め分類された画像のカテゴリとが一致せず、さらに分類推定確率が所定の閾値以上の場合、表示部は、ユーザによるカテゴリの選択の入力を受け付けるように構成されており、分類器学習手段は、ユーザによってカテゴリが選択されたカテゴリ選択画像を教師データに含めた状態で、教師データに基づいて分類器を再学習させるように構成されている。このように構成すれば、分類推定確率が所定の閾値以上の場合のみ、ユーザによるカテゴリの選択の入力が受け付けられるので、カテゴリの選択を要しない場合、カテゴリの選択の入力を受け付ける制御を省略することができる。
　上記表示部を備える分類装置において、好ましくは、分類実行手段によって分類された評価用データの画像のカテゴリと、ユーザにより予め分類された画像のカテゴリとが一致しない場合、表示部は、カテゴリの自動選択を受け付けるように構成されており、分類器学習手段は、自動選択が受け付けられた場合、画像のカテゴリを自動で選択するとともに、カテゴリが自動で選択されたカテゴリ選択画像を教師データに含めた状態で、教師データに基づいて分類器を再学習させるように構成されている。このように構成すれば、ユーザによる（手動による）カテゴリの選択を行うことなく、カテゴリが自動で選択されるので、ユーザの手間を省くことができる。
　上記カテゴリの自動選択を受け付ける分類装置において、好ましくは、分類実行手段によって分類された評価用データの画像のカテゴリと、ユーザにより予め分類された画像のカテゴリとが一致せず、さらに分類推定確率が所定の閾値以上の場合、表示部は、カテゴリの自動選択を受け付けるように構成されており、分類器学習手段は、自動選択が受け付けられた場合、画像のカテゴリを自動で選択するとともに、カテゴリが自動で選択されたカテゴリ選択画像を教師データに含めた状態で、教師データに基づいて分類器を再学習させるように構成されている。このように構成すれば、分類推定確率が所定以上の場合のみ、カテゴリの自動選択が受け付けられるので、カテゴリの選択を要しない場合、カテゴリの選択の入力を受け付ける制御を省略することができる。
　上記第１の局面による分類装置において、好ましくは、評価用データは、教師データを含み、分類実行手段は、学習された分類器に基づいて、教師データに含まれる画像のカテゴリを分類するように構成されており、分類器学習手段は、カテゴリとして分類実行手段によって分類されたカテゴリが選択されたカテゴリ選択画像が含まれるように教師データを更新した状態で、教師データに基づいて分類器を再学習させるように構成されている。このように構成すれば、教師データに含まれる画像のカテゴリが誤分類されている場合でも、教師データが更新されるので、ユーザによるカテゴリの誤分類に起因して、分類器の性能が低下するのを抑制することができる。
　上記第１の局面による分類装置において、好ましくは、評価用データは、教師データと異なる画像を含み、分類実行手段は、学習された分類器に基づいて、教師データと異なる評価用データに含まれる画像のカテゴリを分類するように構成されており、分類器学習手段は、カテゴリとして分類実行手段によって分類されたカテゴリが選択されたカテゴリ選択画像を教師データに含めた状態で、教師データに基づいて分類器を再学習させるように構成されている。ここで、一旦生成された分類器の性能を向上させるために、教師データと異なる画像を含む評価用データのカテゴリを分類する場合がある。この場合においても、評価用データに含まれる画像のカテゴリは、予め、ユーザにより分類されている。そして、疲労などに起因して、ユーザは、誤ってカテゴリを分類してしまう場合がある。そこで、上記のように構成することによって、評価用データに含まれる画像のカテゴリが誤分類されている場合でも、カテゴリが選択（修正）されるので、分類器の性能を向上させることができる。
　この発明の第２の局面による画像分類システムは、画像を撮像するための撮像装置と、撮像部により撮像された、未知の画像のカテゴリを分類する分類装置とを備え、分類装置は、ユーザにより予め複数のカテゴリのうちのいずれかに分類された複数の画像からなる教師データに基づいて機械学習を行うことにより、分類器を学習させる分類器学習手段と、学習された分類器に基づいて、複数の画像からなる評価用データを、複数のカテゴリのうちのいずれかに分類する分類実行手段と、を含み、分類器学習手段は、分類実行手段によって分類された評価用データの画像のカテゴリと、ユーザにより予め分類された画像のカテゴリとが一致しない場合、カテゴリが一致しない画像のカテゴリとして、分類実行手段によって分類されたカテゴリもしくはユーザが再判定したカテゴリが選択されたカテゴリ選択画像を教師データに含めた状態で、教師データに基づいて分類器を再学習させるように構成されている。
　この発明の第２の局面による画像分類システムでは、上記のように、分類器学習手段は、分類実行手段によって分類された評価用データの画像のカテゴリと、ユーザにより予め分類された画像のカテゴリとが一致しない場合、カテゴリが一致しない画像のカテゴリとして、分類実行手段によって分類されたカテゴリもしくはユーザが再判定したカテゴリが選択されたカテゴリ選択画像を教師データに含めた状態で、教師データに基づいて分類器を再学習させるように構成されている。これにより、画像のカテゴリが、誤って分類されている場合でも、誤って分類された画像のカテゴリを、正しいカテゴリに変更することができる。そして、誤って分類されたカテゴリが正しいカテゴリに変更されたカテゴリ選択画像を教師データに含めた状態で、教師データに基づいて分類器が再学習されるので、分類器の性能を向上させることが可能な画像分類システムを提供することができる。
　本発明によれば、上記のように、分類器の性能を向上させることができる。
画像分類システムを説明するためのブロックである。 半導体基板を撮像した画像を示す図である。 分類装置を説明するためのブロックである。 教師データを説明するための図である。 評価用データを説明するための図である。 分類装置の表示部の画面を示す図である。 更新後の教師データを説明するための図（１）である。 更新後の教師データを説明するための図（２）である。 更新後の評価用データを説明するための図である。 撮像装置および検査装置側の動作を説明するためのフロー図である。 分類器の学習（生成）を説明するためのフロー図である。 第１評価用データによる分類器の性能を評価するためのフローを説明するためのフロー図（手動フィードバックの場合）である。 第１評価用データによる分類器の性能を評価するためのフローを説明するためのフロー図（自動フィードバックの場合）である。 第２評価用データによる分類器の性能を評価するためのフローを説明するためのフロー図（手動フィードバックの場合）である。 変形例によるカテゴリの再判定を説明するための図（１）である。 変形例によるカテゴリの再判定を説明するための図（２）である。
　以下、本発明を具体化した実施形態を図面に基づいて説明する。
　［本実施形態］
　図１～図１４を参照して、本実施形態による画像分類システム１００（分類装置３０）の構成について説明する。
　図１に示すように、画像分類システム１００は、撮像装置１０を備えている。撮像装置１０は、照明部１１と、光学系１２と、撮像部１３とを含む。照明部１１から出射された光は、光学系１２を介して、半導体基板２００に照射される。そして、撮像部１３は、半導体基板２００によって反射された光を撮像する。これにより、半導体基板２００の表面が撮像される。
　また、撮像装置１０は、ステージ１４と、ステージ駆動部１５とを含む。半導体基板２００は、ステージ１４の表面上に載置されている。ステージ駆動部１５は、半導体基板２００が載置されたステージ１４を、水平面内において移動させる。そして、ステージ駆動部１５によってステージ１４が移動されることにより、撮像部１３によって、半導体基板２００の表面の所望の領域が撮像される。
　また、画像分類システム１００は、検査装置２０を備えている。また、検査装置２０は、欠陥検出部２１を含む。欠陥検出部２１は、撮像部１３によって撮像された半導体基板２００の画像Ｐｓ（図２参照）から、欠陥ｄ（後述する黒欠陥ｄｂ、および、白欠陥ｄｗ）を検出する。たとえば、検査装置２０は、撮像部１３によって撮像された半導体基板２００の画像Ｐｓのある領域の画像（以下、検査対象領域画像という）と、この検査対象領域画像に対応する、欠陥ｄを含まない半導体基板２００の画像（参照画像、図示せず）との差分画像を取得する。そして、取得された差分画像に基づいて、欠陥ｄが検出される。なお、欠陥ｄとは、半導体基板２００上の欠損、突起、異物などである。
　また、画像分類システム１００は、分類装置３０を備えている。分類装置３０は、未知の欠陥画像Ｐｄ（図４など参照）のカテゴリを分類するように構成されている。なお、本実施形態では、欠陥画像Ｐｄは、半導体基板２００の欠陥画像Ｐｄを含み、複数のカテゴリは、半導体基板２００に含まれる複数の欠陥ｄの種類を含む。なお、欠陥画像Ｐｄは、特許請求の範囲の「画像」の一例である。以下、具体的に説明する。
　分類装置３０は、コンピュータにより構成されている。図３に示すように、分類装置３０（コンピュータ）は、ＣＰＵなどの制御部３１を含む。そして、分類装置３０（制御部３１）は、分類器学習手段３１ａを備えている。分類器学習手段３１ａは、ユーザにより予め複数のカテゴリのうちのいずれかに分類された複数の欠陥画像Ｐｄからなる教師データＤ１（図４参照）に基づいて機械学習を行うことにより、分類器３２を学習させるように構成されている。
　具体的には、図４に示すように、欠陥ｄが撮像されている複数の欠陥画像Ｐｄが準備される。たとえば、欠陥ｄは、黒欠陥ｄｂと白欠陥ｄｗとを含む。そして、ユーザは、人手によって、複数の欠陥画像Ｐｄのカテゴリを、黒欠陥ｄｂと白欠陥ｄｗとに分類する。そして、黒欠陥ｄｂと白欠陥ｄｗとに分類された複数の欠陥画像Ｐｄが、教師データＤ１とされる。なお、欠陥画像Ｐｄの枚数が多い場合、ユーザの疲労などに起因して、ユーザは、カテゴリを誤って分類してしまう場合がある。図４では、黒欠陥ｄｂの欠陥画像Ｐｄ１が、白欠陥ｄｗのカテゴリに分類され、白欠陥ｄｗの欠陥画像Ｐｄ２が、黒欠陥ｄｂのカテゴリに分類されている。なお、黒欠陥ｄｂおよび白欠陥ｄｗは、特許請求の範囲の「欠陥」の一例である。
　そして、分類器学習手段３１ａは、図４に示される複数の欠陥画像Ｐｄを含む教師データＤ１に基づいて機械学習を行う。なお、機械学習（教師あり機械学習アルゴリズム）として、たとえば、線形判別法、サポートベクターマシン、ニューラルネットワーク、ディープラーニング、および、決定木などが用いられる。また、機械学習では、複数の欠陥画像Ｐｄの各々のカテゴリ（黒欠陥ｄｂ、または、白欠陥ｄｗ）と、複数の欠陥画像Ｐｄの各々が有する特徴量とに基づいて、学習が行われる。特徴量は、たとえば、欠陥画像Ｐｄにおける、最大の輝度、最小の輝度、輝度の範囲、および、欠陥画像Ｐｄの輝度を２値化した場合の面積比などである。
　また、図３に示すように、分類装置３０（制御部３１）は、分類実行手段３１ｂを備えている。分類実行手段３１ｂは、学習された分類器３２に基づいて、評価用データＤ２（図４および図５参照）を、複数のカテゴリのうちのいずれかに分類するように構成されている。なお、評価用データＤ２は、分類器３２の性能を評価するための、ユーザにより予め複数のカテゴリのうちのいずれかに分類された複数の欠陥画像Ｐｄからなる。
　また、本実施形態では、図４に示すように、評価用データＤ２は、教師データＤ１を含んでいる。以下では、教師データＤ１から構成される評価用データＤ２を、第１評価用データＤ２１とする。具体的には、第１評価用データＤ２１は、教師データＤ１そのものである。そして、分類実行手段３１ｂは、学習された分類器３２に基づいて、第１評価用データＤ２１（教師データＤ１）に含まれる欠陥画像Ｐｄのカテゴリを分類するように構成されている。
　また、本実施形態では、図５に示すように、評価用データＤ２は、教師データＤ１と異なる欠陥画像Ｐｄを含んでいる。以下では、教師データＤ１と異なる欠陥画像Ｐｄから構成される評価用データＤ２を、第２評価用データＤ２２とする。そして、分類実行手段３１ｂは、学習された分類器３２に基づいて、教師データＤ１と異なる第２評価用データＤ２２に含まれる欠陥画像Ｐｄのカテゴリを分類するように構成されている。
　そして、本実施形態では、分類器学習手段３１ａは、分類実行手段３１ｂによって分類された評価用データＤ２の欠陥画像Ｐｄのカテゴリと、ユーザにより予め分類された欠陥画像Ｐｄのカテゴリとが一致しない場合、カテゴリが一致しない欠陥画像Ｐｄのカテゴリとして、分類実行手段３１ｂによって分類されたカテゴリが選択された欠陥画像Ｐｄ（以下、カテゴリ選択画像Ｐｄ３という）を教師データＤ１に含めた状態（図７および図８参照）で、教師データ（更新された教師データＤ１１およびＤ１２）に基づいて分類器３２を再学習させるように構成されている。以下では、ユーザにより予め欠陥画像Ｐｄのカテゴリを分類することを、ＭＤＣ（Ｍａｎｕａｌ　Ｄｅｆｅｃｔ　Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）という。また、分類実行手段３１ｂによって欠陥画像Ｐｄのカテゴリを分類することを、ＡＤＣ（Ａｕｔｏｍａｔｉｃ　Ｄｅｆｅｃｔ　Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）という。また、本実施形態では、カテゴリ選択画像Ｐｄ３は、分類実行手段３１ｂによって分類されたカテゴリに変更されている。
　具体的には、本実施形態では、カテゴリ選択画像Ｐｄ３のカテゴリは、分類実行手段３１ｂによるカテゴリの分類の確かさの指標である分類推定確率に基づいて選択される。なお、分類推定確率は、複数の分類器３２によるカテゴリの分類結果の多数決の割合と、単一の分類器３２から出力される分類推定確率とのうちの少なくとも一方を含む。詳細には、機械学習のアルゴリズムが決定木などの場合、分類推定確率は、複数の分類器３２（決定木）によるカテゴリの分類結果の多数決の割合である。たとえば、黒欠陥ｄｂと分類された場合の分類推定確率は、（黒欠陥ｄｂとして分類した分類器３２の数）／（全ての分類器３２の数）×１００として算出される。また、機械学習のアルゴリズムがサポートベクターマシンなどの場合、サポートベクターマシンにより学習された分類器３２から、分類推定確率が出力される。以下、欠陥画像Ｐｄのカテゴリの選択について具体的に説明する。
　本実施形態では、図１に示すように、分類装置３０は、表示部３３を備えている。図６に示すように、表示部３３は、分類実行手段３１ｂによるカテゴリとユーザによるカテゴリとが一致しない欠陥画像Ｐｄに関する、分類実行手段３１ｂによって分類された評価用データＤ２の欠陥画像Ｐｄのカテゴリと、ユーザにより予め分類された欠陥画像Ｐｄのカテゴリと、分類推定確率とを表示する。たとえば、図６では、ＡＤＣとＭＤＣとが一致しない、Ｎｏ．１～Ｎｏ．３の欠陥画像Ｐｄのカテゴリと、分類推定確率とが表示されている。また、図６では、Ｎｏ．１の欠陥画像Ｐｄが選択（ハイライト）されている。たとえば、Ｎｏ．１の欠陥画像Ｐｄでは、ＭＤＣでは、黒欠陥ｄｂと分類されている一方、ＡＤＣでは、白欠陥ｄｗとして分類されている。また、分類推定確率は、９０％である。
　そして、本実施形態では、図６に示すように、分類実行手段３１ｂによって分類された評価用データＤ２（第１評価用データＤ２１、第２評価用データＤ２２）の欠陥画像Ｐｄのカテゴリ（ＡＤＣ）と、ユーザにより予め分類された欠陥画像Ｐｄのカテゴリ（ＭＤＣ）とが一致しない場合、表示部３３は、ユーザによるカテゴリの選択の入力を受け付けるように構成されている。具体的には、分類実行手段３１ｂによって分類された評価用データＤ２（第１評価用データＤ２１、第２評価用データＤ２２）の欠陥画像Ｐｄのカテゴリ（ＡＤＣ）と、ユーザにより予め分類された欠陥画像Ｐｄのカテゴリ（ＭＤＣ）とが一致せず、さらに分類推定確率が所定の閾値以上の場合、表示部３３は、ユーザによるカテゴリの選択の入力を受け付けるように構成されている。
　たとえば、表示部３３に表示された画面３３ａにおいて、マウスなどにより、「手動フィードバック」（〇印）が選択される。また、画面３３ａには、欠陥画像Ｐｄ（たとえば、Ｎｏ．１の欠陥画像Ｐｄ）も表示される。ユーザは、表示された欠陥画像Ｐｄを見ながら、かつ、表示された分類推定確率を参照しながら、欠陥画像Ｐｄのカテゴリが、黒欠陥ｄｂか白欠陥ｄｗかを判定する。そして、ユーザにより予め分類された欠陥画像Ｐｄのカテゴリ（ＭＤＣ）が誤っていると判定した場合、画面３３ａの「再判定」の「カテゴリ」を選択（たとえば、白欠陥ｄｗを選択）するとともに、「更新」のボタンを押す。これにより、Ｎｏ．１の欠陥画像ＰｄのＭＤＣのカテゴリが、白欠陥ｄｗに変更される。
　また、表示部３３の画面３３ａには、「学習ファイル名」（分類器３２の名前）と、「再学習」のボタンと、「別名で再学習」のボタンとが表示されている。そして、ユーザが「再学習」のボタン、または、「別名で再学習」のボタンを押下することにより、分類器３２が再学習される。なお、ユーザが「再学習」のボタンを押下した場合、再学習された分類器３２が、再学習前の分類器３２（ファイル）に書き換えられる。また、ユーザが「別名で再学習」のボタンを押下した場合、再学習された分類器３２が、新たな分類器３２（ファイル）として生成される。
　そして、本実施形態では、分類器学習手段３１ａは、ユーザによってカテゴリが選択されたカテゴリ選択画像Ｐｄ３を教師データＤ１に含めた状態で、教師データ（教師データＤ１１または教師データＤ１２）に基づいて分類器３２を再学習させるように構成されている。ここで、評価用データＤ２が第１評価用データＤ２１である場合、分類器学習手段３１ａは、カテゴリとして分類実行手段３１ｂによって分類されたカテゴリが選択されたカテゴリ選択画像Ｐｄ３が含まれるように教師データＤ１を更新した状態で、教師データ（更新された教師データＤ１１、図７参照）に基づいて分類器３２を再学習させるように構成されている。具体的には、教師データＤ１に含まれる複数の欠陥画像Ｐｄのうち、ＭＤＣとＡＤＣとが一致しない欠陥画像Ｐｄのカテゴリが変更されるよう、教師データＤ１が更新される。そして、更新された教師データＤ１（教師データＤ１１）に基づいて、分類器３２が再学習される。
　また、本実施形態では、評価用データＤ２が第２評価用データＤ２２である場合、分類器学習手段３１ａは、カテゴリとして分類実行手段３１ｂによって分類されたカテゴリが選択されたカテゴリ選択画像Ｐｄ３を教師データＤ１に含めた状態で、教師データ（更新された教師データＤ１２、図８参照）に基づいて分類器３２を再学習させるように構成されている。具体的には、ＭＤＣとＡＤＣとが一致しないカテゴリが変更された欠陥画像Ｐｄ（カテゴリ選択画像Ｐｄ３）が、教師データＤ１（または、更新された教師データＤ１１）に加えられる。そして、カテゴリ選択画像Ｐｄ３が加えられた教師データＤ１２に基づいて、分類器３２が再学習される。また、第２評価用データＤ２２において、カテゴリが分類実行手段３１ｂによって分類されたカテゴリに変更されるように（カテゴリ選択画像Ｐｄ３が含まれるように）、第２評価用データＤ２２が更新（第２評価用データＤ２３、図９参照）される。
　また、本実施形態では、図６に示すように、分類実行手段３１ｂによって分類された評価用データＤ２の欠陥画像Ｐｄのカテゴリと、ユーザにより予め分類された欠陥画像Ｐｄのカテゴリとが一致しない場合、表示部３３は、カテゴリの自動選択を受け付けるように構成されている。具体的には、分類実行手段３１ｂによって分類された評価用データＤ２の欠陥画像Ｐｄのカテゴリと、ユーザにより予め分類された欠陥画像Ｐｄのカテゴリとが一致せず、さらに分類推定確率が所定の閾値以上の場合、表示部３３は、カテゴリの自動選択を受け付けるように構成されている。
　たとえば、表示部３３に表示された画面３３ａにおいて、マウスなどにより、「自動フィードバック」（〇印）が選択される。また、画面３３ａは、ＡＤＣを正解（正しいカテゴリ）とする分類推定確率が入力可能に構成されている。たとえば、分類推定確率「８５％」が入力される。
　そして、本実施形態では、分類器学習手段３１ａは、自動選択が受け付けられた場合、欠陥画像Ｐｄのカテゴリを自動で選択するとともに、カテゴリが自動で選択されたカテゴリ選択画像Ｐｄ３を教師データＤ１に含めた状態で、教師データＤ１に基づいて分類器３２を再学習させるように構成されている。図６に示す例では、分類推定確率が８５％以上の欠陥画像Ｐｄのカテゴリは、ＡＤＣにより分類されたカテゴリに自動的に変更される。つまり、Ｎｏ．１～Ｎｏ．３の欠陥画像Ｐｄの全てのカテゴリが、ＡＤＣにより分類されたカテゴリに自動的に変更される。なお、ＡＤＣを正解とする分類推定確率は、特許請求の範囲の「所定の閾値」の一例である。ここで、上記の「手動フィードバック」と同様に、評価用データＤ２が第１評価用データＤ２１である場合、更新された教師データＤ１１（図７参照）に基づいて、分類器３２が再学習される。また、評価用データＤ２が第２評価用データＤ２２である場合、カテゴリ選択画像Ｐｄ３が加えられた教師データＤ１２（図８参照）に基づいて、分類器３２が再学習される。また、上記の「手動フィードバック」と同様に、ユーザが「再学習」のボタン、または、「別名で再学習」のボタンを押下することにより、分類器３２が再学習される。
　次に、分類器３２の再学習の手順について説明する。
　まず、図１０を参照して、撮像装置１０および検査装置２０側の動作について説明する。図１０に示すように、ステップＳ１において、撮像装置１０によって、半導体基板２００の表面が撮像される。撮像装置１０によって撮像された画像Ｐｓは、検査装置２０に送信される。
　次に、ステップＳ２において、検査装置２０（欠陥検出部２１）によって、半導体基板２００の画像Ｐｓから、欠陥ｄを含む欠陥画像Ｐｄが検出される。そして、検出された欠陥画像Ｐｄは、検査装置２０に設けられる記憶部２２に保存される。
　次に、図１１を参照して、分類装置３０側の動作について説明する。図１１に示すように、ステップＳ１１において、検査装置２０に保存されている複数の欠陥画像Ｐｄから、所望の欠陥画像Ｐｄが複数選定される。なお、所望の欠陥画像Ｐｄの選定は、たとえば、ユーザによって行われる。
　次に、ステップＳ１２において、選択された複数の欠陥画像Ｐｄの各々について、ユーザにより欠陥ｄのカテゴリが分類（ＭＤＣ）される。たとえば、表示部３３に欠陥画像Ｐｄが表示されるとともに、欠陥画像Ｐｄのカテゴリ（黒欠陥ｄｂまたは白欠陥ｄｗ）の入力が受け付けられる。
　次に、ステップＳ１３において、選択された複数の欠陥画像Ｐｄの各々について、特徴量（最大の輝度、最小の輝度、輝度の範囲など）が算出される。
　次に、ステップＳ１４において、カテゴリおよび特徴量が対応付けられた複数の欠陥画像Ｐｄが、教師データＤ１としてまとめられる。そして、カテゴリおよび特徴量が対応付けられた複数の欠陥画像Ｐｄが、たとえば、記憶部３４の１つのフォルダに保存される。　
　次に、ステップＳ１５において、分類器学習手段３１ａによって、教師データＤ１に基づいて、分類器３２が学習（生成）される。
　次に、ステップＳ１６において、学習された分類器３２が記憶部３４に保存される。
　[第１評価用データに基づく、分類器の評価]
　(手動フィードバック)
　次に、図１２を参照して、第１評価用データＤ２１（教師データＤ１そのもの）に基づく、分類器３２の評価の手順について説明する。また、図１２では、「手動フィードバック」が選択されている場合について説明する。
　まず、ステップＳ２１において、分類実行手段３１ｂによって、分類器学習手段３１ａによって学習された分類器３２に基づいて、第１評価用データＤ２１（教師データＤ１そのもの）に含まれる欠陥画像Ｐｄの各々のカテゴリが分類される。すなわち、分類器３２を学習（生成）するために用いられた教師データＤ１に含まれる欠陥画像Ｐｄの各々のカテゴリが分類される。
　次に、ステップＳ２２において、分類結果の検証が行われる。具体的には、ステップＳ２２において、分類器３２の性能が十分（ＯＫ）か、否かが判定される。ステップＳ２２において、ｙｅｓの場合、分類器３２の評価の動作は終了する。ステップＳ２２において、ｎｏの場合、ステップＳ２３に進む。なお、分類器３２の性能は、正解率（Ａｃｃｕｒａｃｙ）、適合率（Ｐｒｅｃｉｓｉｏｎ）、再現率（Ｒｅｃａｌｌ）などによって判定される。なお、分類器３２の性能が十分か否かの判定は、ユーザが行ってもよいし、制御部３１が自動で行ってもよい。
　次に、ステップＳ２３において、分類実行手段３１ｂによって分類（ＡＤＣ）された第１評価用データＤ２１の欠陥画像Ｐｄのカテゴリと、ユーザにより予め分類（ＭＤＣ）された欠陥画像Ｐｄのカテゴリとが一致しない欠陥画像Ｐｄ、ＡＤＣによるカテゴリ、ＭＤＣによるカテゴリ、および、分類推定確率が、表示部３３に表示（図６参照）される。
　次に、ステップＳ２４において、分類実行手段３１ｂによって分類（ＡＤＣ）された第１評価用データＤ２１の欠陥画像Ｐｄのカテゴリと、ユーザにより予め分類（ＭＤＣ）された欠陥画像Ｐｄのカテゴリとが一致せず、さらに分類推定確率が所定の閾値（たとえば、８５％）以上の場合、表示部３３は、ユーザによるカテゴリの選択の入力を受け付ける。そして、表示部３３に表示された欠陥画像Ｐｄおよび分類推定確率に基づいて、ユーザが欠陥画像Ｐｄのカテゴリを選択する。
　次に、ステップＳ２５において、教師データＤ１が更新される。つまり、ＭＤＣとＡＤＣとが一致しない欠陥画像Ｐｄのカテゴリが変更されるよう、教師データＤ１が更新（教師データＤ１１、図７参照）される。
　次に、ステップＳ２６において、ユーザが、表示部３３の画面３３ａの「再学習」のボタン（または、「別名で再学習」のボタン）をマウスなどでクリックすることにより、再学習が受け付けられる。そして、ステップＳ２１に戻る。そして、ステップＳ２１～Ｓ２６の動作が、分類器３２の性能が十分であると判定されるまで繰り返される。
　(自動フィードバック)
　次に、図１３を参照して、評価用データＤ２として、第１評価用データＤ２１（教師データＤ１そのもの）が用いられるとともに、「自動フィードバック」が選択されている場合について説明する。
　なお、ステップＳ３１～ステップＳ３３の動作は、それぞれ、上記のステップＳ２１～ステップＳ２３の動作と同様である。
　次に、ステップＳ３４において、分類実行手段３１ｂによって分類（ＡＤＣ）された第１評価用データＤ２１の欠陥画像Ｐｄのカテゴリと、ユーザにより予め分類（ＭＤＣ）された欠陥画像Ｐｄのカテゴリとが一致せず、さらに分類推定確率が所定の閾値（たとえば、８５％）以上の場合、表示部３３は、カテゴリの自動選択を受け付ける。そして、分類器学習手段３１ａは、自動選択が受け付けられた場合、欠陥画像Ｐｄのカテゴリを自動で選択する。
　なお、ステップＳ３５およびステップＳ３６の動作は、それぞれ、ステップＳ２５およびステップＳ２６の動作と同様である。
　[第２評価用データに基づく分類器の評価]
　（手動フィードバック）
　次に、図１４を参照して、第２評価用データＤ２２に基づく、分類器３２の評価の手順について説明する。また、図１４では、「手動フィードバック」が選択されている場合について説明する。
　まず、上記のステップＳ１およびＳ２（図１０参照）と同様に、撮像装置１０による半導体基板２００の表面の撮像、検査装置２０（欠陥検出部２１）による欠陥画像Ｐｄの検出、および、欠陥画像Ｐｄの保存が行われる。なお、撮像装置１０によって撮像される半導体基板２００は、教師データＤ１を作成するために撮像（ステップＳ１）された半導体基板２００とは異なる基板（または、異なる部分）である。
　次に、図１４に示すように、ステップＳ４１～Ｓ４４では、それぞれ、上記のステップＳ１１～Ｓ１４と同様の動作が行われる。すなわち、保存された欠陥画像Ｐｄの選定、選定した欠陥画像ＰｄのＭＤＣ、特徴量の算出、および、ＭＤＣの欠陥画像Ｐｄを第２評価用データＤ２２としてまとめることが行われる。
　そして、ステップＳ４５において、分類実行手段３１ｂによって、分類器学習手段３１ａによって学習された分類器３２に基づいて、第２評価用データＤ２２に含まれる欠陥画像Ｐｄの各々のカテゴリが分類される。
　なお、ステップＳ４６～Ｓ４８の動作は、上記のステップＳ２２～Ｓ２４の動作と同様である。
　次に、ステップＳ４９において、教師データＤ１および第２評価用データＤ２２が更新される。つまり、分類実行手段３１ｂによって分類されたカテゴリに変更された欠陥画像Ｐｄ（カテゴリ選択画像Ｐｄ３という）が教師データＤ１に加えられるよう、教師データＤ１が更新されて、教師データＤ１２（図８参照）が生成される。また、第２評価用データＤ２２において、ＭＤＣとＡＤＣとが一致しない欠陥画像Ｐｄのカテゴリが変更されるよう、第２評価用データＤ２２が更新されて、第２評価用データＤ２３（図９参照）が生成される。
　次に、ステップＳ５０では、ユーザによってカテゴリが選択（変更）された欠陥画像Ｐｄが教師データＤ１に加えられた教師データＤ１２に基づいて、再学習が行われる。
　(自動フィードバック)
　「自動フィードバック」が選択されている場合では、ステップＳ４６以降において、上記のステップＳ３３～Ｓ３６と同様の動作が行われる。
　（本実施形態の効果）
　次に、本実施形態の効果について説明する。
　本実施形態では、上記のように、分類器学習手段３１ａは、分類実行手段３１ｂによって分類された評価用データＤ２の欠陥画像Ｐｄのカテゴリと、ユーザにより予め分類された欠陥画像Ｐｄのカテゴリとが一致しない場合、カテゴリが一致しない欠陥画像Ｐｄのカテゴリとして、分類実行手段３１ｂによって分類されたカテゴリが選択されたカテゴリ選択画像Ｐｄ３を教師データＤ１に含めた状態で、教師データＤ１に基づいて分類器３２を再学習させるように構成されている。これにより、欠陥画像Ｐｄのカテゴリが、誤って分類されている場合でも、誤って分類された欠陥画像Ｐｄのカテゴリを、正しいカテゴリに変更することができる。そして、誤って分類されたカテゴリが正しいカテゴリに変更されたカテゴリ選択画像Ｐｄ３を教師データＤ１に含めた状態で、教師データＤ１（教師データＤ１１および／または教師データＤ１２）に基づいて分類器３２が再学習されるので、分類器３２の性能を向上させることができる。
　また、本実施形態では、上記のように、カテゴリ選択画像Ｐｄ３のカテゴリは、分類実行手段３１ｂによるカテゴリの分類の確かさの指標である分類推定確率に基づいて選択されるように構成されている。これにより、比較的高い分類推定確率を有する欠陥画像Ｐｄのカテゴリを選択することによって、カテゴリが誤って選択されてしまうのを抑制することができる。また、比較的低い分類推定確率を有する欠陥画像Ｐｄのカテゴリを選択しないことによって、同様に、カテゴリが誤って選択されてしまうのを抑制することができる。
　また、本実施形態では、上記のように、分類推定確率は、複数の分類器３２によるカテゴリの分類結果の多数決の割合と、単一の分類器３２から出力される分類推定確率とのうちの少なくとも一方を含む。これにより、複数の分類器３２によるカテゴリの分類結果の多数決の割合（単一の分類器３２から出力される分類推定確率）は、一般的な学習アルゴリズムから出力される値であるので、これらの値に基づいて、容易に、カテゴリを選択することができる。
　また、本実施形態では、上記のように、分類実行手段３１ｂによるカテゴリとユーザによるカテゴリとが一致しない欠陥画像Ｐｄに関する、分類実行手段３１ｂによって分類された評価用データＤ２の欠陥画像Ｐｄのカテゴリと、ユーザにより予め分類された欠陥画像Ｐｄのカテゴリと、分類推定確率とを表示する表示部３３を設ける。これにより、分類実行手段３１ｂによって分類された欠陥画像Ｐｄのカテゴリと、ユーザにより予め分類された欠陥画像Ｐｄのカテゴリとが一致しない場合があるか否かを、ユーザが容易に視認することができる。
　また、本実施形態では、上記のように、分類実行手段３１ｂによって分類された評価用データＤ２の欠陥画像Ｐｄのカテゴリと、ユーザにより予め分類された欠陥画像Ｐｄのカテゴリとが一致しない場合、表示部３３は、ユーザによるカテゴリの選択の入力を受け付けるように構成されており、分類器学習手段３１ａは、ユーザによってカテゴリが選択されたカテゴリ選択画像Ｐｄ３を教師データＤ１に含めた状態で、教師データＤ１（教師データＤ１１および／または教師データＤ１２）に基づいて分類器３２を再学習させるように構成されている。これにより、ユーザは、表示部３３に表示された分類推定確率を確認しながら、欠陥画像Ｐｄのカテゴリを選択することができる。すなわち、分類推定確率が、欠陥画像Ｐｄのカテゴリを選択するか否かの指標となるので、ユーザによるカテゴリの選択を容易化することができる。
　また、本実施形態では、上記のように、分類実行手段３１ｂによって分類された評価用データＤ２の欠陥画像Ｐｄのカテゴリと、ユーザにより予め分類された欠陥画像Ｐｄのカテゴリとが一致せず、さらに分類推定確率が所定の閾値以上の場合、表示部３３は、ユーザによるカテゴリの選択の入力を受け付けるように構成されている。これにより、分類推定確率が所定の閾値以上の場合のみ、ユーザによるカテゴリの選択の入力が受け付けられるので、カテゴリの選択を要しない場合、カテゴリの選択の入力を受け付ける制御を省略することができる。
　また、本実施形態では、上記のように、分類実行手段３１ｂによって分類された評価用データＤ２の欠陥画像Ｐｄのカテゴリと、ユーザにより予め分類された欠陥画像Ｐｄのカテゴリとが一致しない場合、表示部３３は、カテゴリの自動選択を受け付けるように構成されており、分類器学習手段３１ａは、自動選択が受け付けられた場合、欠陥画像Ｐｄのカテゴリを自動で選択するとともに、カテゴリが自動で選択されたカテゴリ選択画像Ｐｄ３を教師データＤ１に含めた状態で、教師データＤ１（教師データＤ１１および／または教師データＤ１２）に基づいて分類器３２を再学習させるように構成されている。これにより、ユーザによる（手動による）カテゴリの選択を行うことなく、カテゴリが自動で選択されるので、ユーザの手間を省くことができる。
　また、本実施形態では、上記のように、表示部３３は、分類実行手段３１ｂによって分類された評価用データＤ２の欠陥画像Ｐｄのカテゴリと、ユーザにより予め分類された欠陥画像Ｐｄのカテゴリとが一致せず、さらに分類推定確率が所定の閾値以上の場合、カテゴリの自動選択を受け付けるように構成されている。これにより、分類推定確率が所定の閾値以上の場合のみ、カテゴリの自動選択が受け付けられるので、カテゴリの選択を要しない場合、カテゴリの選択の入力を受け付ける制御を省略することができる。
　また、本実施形態では、上記のように、評価用データＤ２は、教師データＤ１を含み、分類実行手段３１ｂは、学習された分類器３２に基づいて、教師データＤ１に含まれる欠陥画像Ｐｄのカテゴリを分類するように構成されており、分類器学習手段３１ａは、カテゴリとして分類実行手段３１ｂによって分類されたカテゴリが選択されたカテゴリ選択画像Ｐｄ３が含まれるように教師データＤ１を更新した状態で、教師データＤ１（教師データＤ１１）に基づいて分類器３２を再学習させるように構成されている。これにより、教師データＤ１に含まれる欠陥画像Ｐｄのカテゴリが誤分類されている場合でも、教師データＤ１が更新されるので、ユーザによるカテゴリの誤分類に起因して、分類器３２の性能が低下するのを抑制することができる。
　また、本実施形態では、上記のように、評価用データＤ２（第２評価用データＤ２２）は、教師データＤ１と異なる欠陥画像Ｐｄを含み、分類実行手段３１ｂは、学習された分類器３２に基づいて、教師データＤ１と異なる評価用データＤ２に含まれる欠陥画像Ｐｄのカテゴリを分類するように構成されており、分類器学習手段３１ａは、カテゴリとして分類実行手段３１ｂによって分類されたカテゴリが選択されたカテゴリ選択画像Ｐｄ３を教師データＤ１に含めた状態で、教師データＤ１（教師データＤ１２）に基づいて分類器３２を再学習させるように構成されている。ここで、一旦生成された分類器３２の性能を向上させるために、教師データＤ１と異なる欠陥画像Ｐｄを含む評価用データＤ２のカテゴリを分類する場合がある。この場合においても、評価用データＤ２に含まれる欠陥画像Ｐｄのカテゴリは、予め、ユーザにより分類されている。そして、疲労などに起因して、ユーザは、誤ってカテゴリを分類してしまう場合がある。そこで、上記のように構成することによって、評価用データＤ２（第２評価用データＤ２２）に含まれる欠陥画像Ｐｄのカテゴリが誤分類されている場合でも、カテゴリが選択（修正）されるので、分類器３２の性能を向上させることができる。
　［変形例］
　なお、今回開示された実施形態および実施例は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態および実施例の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。
　たとえば、上記実施形態では、ＡＤＣによる画像のカテゴリと、ＭＤＣによるカテゴリとが一致しない場合、カテゴリが一致しない画像のカテゴリを、ＡＤＣによるカテゴリに変更する例を示したが、本発明はこれに限られない。たとえば、ＡＤＣによる画像のカテゴリと、ＭＤＣによるカテゴリとが一致しない場合、カテゴリが一致しない画像のカテゴリを、ユーザが再判定したカテゴリに変更してもよい。たとえば、カテゴリが３種類以上（Ａ、Ｂ、Ｃ、・・・）存在する場合に、最初のＭＤＣによるカテゴリがＡ、ＡＤＣによるカテゴリがＢの場合において、ユーザの再判定によってカテゴリをＣに変更してもよい。
　また、上記実施形態では、分類器が、半導体基板の欠陥の種類（カテゴリ）を分類するように構成されている例を示したが、本発明はこれに限られない。たとえば、分類器を、半導体基板の欠陥とは異なる対象（たとえば、細胞など）を分類するように構成してもよい。また、分類器を、半導体基板の欠陥の有無を分類するように構成してもよい。
　また、上記実施形態では、ＡＤＣによるカテゴリとＭＤＣによるカテゴリが一致しない場合、分類推定確率に基づいて、カテゴリが変更される例を示したが、本発明はこれに限られない。たとえば、ＡＤＣによるカテゴリとＭＤＣによるカテゴリが一致しない場合、全て、ＡＤＣによるカテゴリに変更してもよい。
　また、上記実施形態では、分類推定確率が所定の閾値以上の場合に、ＭＤＣによるカテゴリが、ＡＤＣによるカテゴリに変更される例を示したが、本発明はこれに限られない。たとえば、分類推定確率以外の指標に基づいて、ＭＤＣによるカテゴリをＡＤＣによるカテゴリに変更してもよい。
　また、上記実施形態では、ＡＤＣによる欠陥画像のカテゴリと、ＭＤＣによる欠陥画像のカテゴリとが一致せず、さらに分類推定確率が所定の閾値以上の場合、表示部が、ユーザによるカテゴリの選択（カテゴリの自動選択）の入力を受け付けるように構成されている例を示したが、本発明はこれに限られない。たとえば、分類推定確率が所定の閾値以上でない場合でも、表示部が、ユーザによるカテゴリの選択（カテゴリの自動選択）の入力を受け付けるように構成してもよい。
　また、上記実施形態では、評価用データが、第１評価用データ（教師データそのもの）と、第２評価用データ（教師データと異なるデータ）を含む例を示したが、本発明はこれに限られない。たとえば、評価用データが、第１評価用データと第２評価用データとのうちの一方のみを含んでいてもよい。また、評価用データに、教師データと、教師データと異なるデータとが混在していてもよい。
　また、上記実施形態では、ＡＤＣによる欠陥画像のカテゴリと、ＭＤＣによる欠陥画像のカテゴリとが一致しない場合、ＭＤＣによるカテゴリが、ＡＤＣによるカテゴリに変更される例を示したが、本発明はこれに限られない。本発明では、ＡＤＣによる欠陥画像のカテゴリと、ＭＤＣによる欠陥画像のカテゴリとが一致しない場合、ＡＤＣによる欠陥画像のカテゴリと、ＭＤＣによる欠陥画像のカテゴリとが一致しない画像（以下、不一致画像という）のカテゴリとして、ユーザが再判定することによりＭＤＣのカテゴリを選択してもよい。すなわち、教師データと評価用データとが異なる場合において、ＡＤＣによるカテゴリとＭＤＣによるカテゴリが一致せず、かつユーザの再判定（確認）によって、ＭＤＣが正解のときは、ＭＤＣによって再判定されたカテゴリを、この不一致画像のカテゴリとした状態で教師データに追加するとともに、再学習を行う。たとえば、以下の図１５の例では、ＡＤＣによるカテゴリが選択されたＮｏ．１の欠陥画像と、ＭＤＣによるカテゴリが選択されたＮｏ．４の欠陥画像とが、教師データに含められるとともに再学習が行われる。
　また、上記実施形態では、分類推定確率が所定の閾値（８５％）以上の場合に、ＭＤＣによるカテゴリがＡＤＣによるカテゴリに自動で変更される例を示したが、本発明はこれに限られない。たとえば、上記の所定の閾値とは異なる比較的低い閾値（２０％など）を下回る場合に、ＭＤＣによるカテゴリを変更せずに教師データに含めるとともに、再学習を行ってよい。これにより、カテゴリの自動選択（自動フィードバック）が受け付けられた際に、分類推定確率が比較的低い閾値未満のときに、ＭＤＣによるカテゴリを有する欠陥画像を再学習に追加することが可能になる。たとえば、ＡＤＣを正解とする分類推定確率の閾値を８５％、ＭＤＣを正解とする分類推定確率の閾値を２０％以下に設定にした場合、以下の図１６の例では、Ｎｏ．１、Ｎｏ．２、Ｎｏ．４およびＮｏ．５の欠陥画像が教師データに含められるともに再学習が行われる。
　１０　撮像装置
　３０　分類装置
　３１ａ　分類器学習手段
　３１ｂ　分類実行手段
　３２　分類器
　３３　表示部
　１００　画像分類システム
　２００　半導体基板
　ｄ　欠陥
　ｄｂ　黒欠陥（欠陥）
　ｄｗ　白欠陥（欠陥）
　Ｄ１、Ｄ１１、Ｄ１２　教師データ
　Ｄ２、Ｄ２１、Ｄ２２、Ｄ２３　評価用データ
　Ｐｄ　欠陥画像（画像）
　Ｐｄ３　カテゴリ選択画像

Claims (8)

  1. 　未知の画像のカテゴリを分類する分類装置であって、
    　ユーザにより予め複数のカテゴリのうちのいずれかに分類された複数の画像からなる教師データに基づいて機械学習を行うことにより、前記分類器を学習させる分類器学習手段と、
    　前記学習された分類器に基づいて、複数の画像からなる評価用データを、前記複数のカテゴリのうちのいずれかに分類する分類実行手段と、を備え、
    　前記分類器学習手段は、前記分類実行手段によって分類された前記評価用データの画像のカテゴリと、前記ユーザにより予め分類された画像のカテゴリとが一致しない場合、カテゴリが一致しない前記画像のカテゴリとして、前記分類実行手段によって分類されたカテゴリもしくはユーザが再判定したカテゴリが選択されたカテゴリ選択画像を前記教師データに含めた状態で、前記教師データに基づいて前記分類器を再学習させるように構成されており、
    　前記カテゴリ選択画像の前記カテゴリは、前記分類実行手段による前記カテゴリの分類の確かさの指標である分類推定確率に基づいて選択されるように構成されており、
    　前記分類実行手段によるカテゴリと前記ユーザによるカテゴリとが一致しない画像に関する、前記分類実行手段によって分類された前記評価用データの画像のカテゴリと、前記ユーザにより予め分類された画像のカテゴリと、前記分類推定確率とを表示する表示部をさらに備え、
    　前記分類実行手段によって分類された前記評価用データの画像のカテゴリと、前記ユーザにより予め分類された画像のカテゴリとが一致しない場合、前記表示部は、前記カテゴリの自動選択を受け付けるように構成されており、
    　前記分類器学習手段は、前記自動選択が受け付けられた場合、前記画像の前記カテゴリを自動で選択するとともに、前記カテゴリが自動で選択された前記カテゴリ選択画像を前記教師データに含めた状態で、前記教師データに基づいて前記分類器を再学習させるように構成されている、分類装置。
  2. 　前記分類推定確率は、複数の前記分類器による前記カテゴリの分類結果の多数決の割合と、単一の前記分類器から出力される前記分類推定確率とのうちの少なくとも一方を含む、請求項１に記載の分類装置。
  3. 　前記分類実行手段によって分類された前記評価用データの画像のカテゴリと、前記ユーザにより予め分類された画像のカテゴリとが一致しない場合、前記表示部は、前記ユーザによる前記カテゴリの選択の入力を受け付けるように構成されており、
    　前記分類器学習手段は、前記ユーザによって前記カテゴリが選択された前記カテゴリ選択画像を前記教師データに含めた状態で、前記教師データに基づいて前記分類器を再学習させるように構成されている、請求項１または請求項２に記載の分類装置。
  4. 　前記分類実行手段によって分類された前記評価用データの画像のカテゴリと、前記ユーザにより予め分類された画像のカテゴリとが一致せず、さらに前記分類推定確率が所定の閾値以上の場合、前記表示部は、前記ユーザによる前記カテゴリの選択の入力を受け付けるように構成されており、
    　前記分類器学習手段は、前記ユーザによって前記カテゴリが選択された前記カテゴリ選択画像を前記教師データに含めた状態で、前記教師データに基づいて前記分類器を再学習させるように構成されている、請求項３に記載の分類装置。
  5. 　前記分類実行手段によって分類された前記評価用データの画像のカテゴリと、前記ユーザにより予め分類された画像のカテゴリとが一致せず、さらに前記分類推定確率が所定の閾値以上の場合、前記表示部は、前記カテゴリの自動選択を受け付けるように構成されており、
    　前記分類器学習手段は、前記自動選択が受け付けられた場合、前記画像の前記カテゴリを自動で選択するとともに、前記カテゴリが自動で選択された前記カテゴリ選択画像を前記教師データに含めた状態で、前記教師データに基づいて前記分類器を再学習させるように構成されている、請求項１～４のいずれかに記載の分類装置。
  6. 　前記評価用データは、前記教師データを含み、
    　前記分類実行手段は、前記学習された分類器に基づいて、前記教師データに含まれる前記画像の前記カテゴリを分類するように構成されており、
    　前記分類器学習手段は、前記カテゴリとして前記分類実行手段によって分類されたカテゴリが選択された前記カテゴリ選択画像が含まれるように前記教師データを更新した状態で、前記教師データに基づいて前記分類器を再学習させるように構成されている、請求項１～５のいずれかに記載の分類装置。
  7. 　前記評価用データは、前記教師データと異なる画像を含み、
    　前記分類実行手段は、前記学習された分類器に基づいて、前記教師データと異なる前記評価用データに含まれる画像のカテゴリを分類するように構成されており、
    　前記分類器学習手段は、前記カテゴリとして前記分類実行手段によって分類されたカテゴリが選択された前記カテゴリ選択画像を前記教師データに含めた状態で、前記教師データに基づいて前記分類器を再学習させるように構成されている、請求項１～６のいずれかに記載の分類装置。
  8. 　画像を撮像するための撮像装置と、
    　前記撮像部により撮像された、未知の画像のカテゴリを分類する分類装置とを備え、
    　　前記分類装置は、
    　ユーザにより予め複数のカテゴリのうちのいずれかに分類された複数の画像からなる教師データに基づいて機械学習を行うことにより、前記分類器を学習させる分類器学習手段と、
    　前記学習された分類器に基づいて、複数の画像からなる評価用データを、前記複数のカテゴリのうちのいずれかに分類する分類実行手段と、を含み、
    　前記分類器学習手段は、前記分類実行手段によって分類された前記評価用データの画像のカテゴリと、前記ユーザにより予め分類された画像のカテゴリとが一致しない場合、カテゴリが一致しない画像のカテゴリとして、前記分類実行手段によって分類されたカテゴリもしくはユーザが再判定したカテゴリが選択されたカテゴリ選択画像を前記教師データに含めた状態で、前記教師データに基づいて前記分類器を再学習させるように構成されており、
    　前記カテゴリ選択画像の前記カテゴリは、前記分類実行手段による前記カテゴリの分類の確かさの指標である分類推定確率に基づいて選択されるように構成されており、
    　　前記分類実行手段によるカテゴリと前記ユーザによるカテゴリとが一致しない画像に関する、前記分類実行手段によって分類された前記評価用データの画像のカテゴリと、前記ユーザにより予め分類された画像のカテゴリと、前記分類推定確率とを表示する表示部をさらに備え、
    　前記分類実行手段によって分類された前記評価用データの画像のカテゴリと、前記ユーザにより予め分類された画像のカテゴリとが一致しない場合、前記表示部は、前記カテゴリの自動選択を受け付けるように構成されており、
    　前記分類器学習手段は、前記自動選択が受け付けられた場合、前記画像の前記カテゴリを自動で選択するとともに、前記カテゴリが自動で選択された前記カテゴリ選択画像を前記教師データに含めた状態で、前記教師データに基づいて前記分類器を再学習させるように構成されている、画像分類システム。
PCT/JP2020/036288 2019-11-07 2020-09-25 分類装置および画像分類システム WO2021090601A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019201993A JP2021076994A (ja) 2019-11-07 2019-11-07 分類装置および画像分類システム
JP2019-201993 2019-11-07

Publications (1)

Publication Number Publication Date
WO2021090601A1 true WO2021090601A1 (ja) 2021-05-14

Family

ID=75849905

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/036288 WO2021090601A1 (ja) 2019-11-07 2020-09-25 分類装置および画像分類システム

Country Status (3)

Country Link
JP (1) JP2021076994A (ja)
TW (1) TW202125405A (ja)
WO (1) WO2021090601A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023176132A1 (ja) * 2022-03-14 2023-09-21 東レエンジニアリング株式会社 欠陥分類装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023147373A (ja) * 2022-03-30 2023-10-13 東レエンジニアリング株式会社 自動欠陥分類装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11344450A (ja) * 1998-06-03 1999-12-14 Hitachi Ltd 教示用データ作成方法並びに欠陥分類方法およびその装置
JP2001256480A (ja) * 2000-03-09 2001-09-21 Hitachi Ltd 画像自動分類方法及び装置
JP2016109495A (ja) * 2014-12-03 2016-06-20 タカノ株式会社 分類器生成装置、外観検査装置、分類器生成方法、及びプログラム
JP2018109906A (ja) * 2017-01-05 2018-07-12 住友電気工業株式会社 画像データ作成プログラム、画像データ作成装置および画像データ作成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11344450A (ja) * 1998-06-03 1999-12-14 Hitachi Ltd 教示用データ作成方法並びに欠陥分類方法およびその装置
JP2001256480A (ja) * 2000-03-09 2001-09-21 Hitachi Ltd 画像自動分類方法及び装置
JP2016109495A (ja) * 2014-12-03 2016-06-20 タカノ株式会社 分類器生成装置、外観検査装置、分類器生成方法、及びプログラム
JP2018109906A (ja) * 2017-01-05 2018-07-12 住友電気工業株式会社 画像データ作成プログラム、画像データ作成装置および画像データ作成方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023176132A1 (ja) * 2022-03-14 2023-09-21 東レエンジニアリング株式会社 欠陥分類装置

Also Published As

Publication number Publication date
JP2021076994A (ja) 2021-05-20
TW202125405A (zh) 2021-07-01

Similar Documents

Publication Publication Date Title
EP3502966B1 (en) Data generation apparatus, data generation method, and data generation program
EP3480735B1 (en) Inspection apparatus, data generation apparatus, data generation method, and data generation program
JP6063756B2 (ja) 教師データ作成支援装置、教師データ作成装置、画像分類装置、教師データ作成支援方法、教師データ作成方法および画像分類方法
CN106290378B (zh) 缺陷分类方法和缺陷检查系统
JP6113024B2 (ja) 分類器取得方法、欠陥分類方法、欠陥分類装置およびプログラム
US20190287235A1 (en) Defect inspection device, defect inspection method, and computer readable recording medium
JP6472621B2 (ja) 分類器構築方法、画像分類方法および画像分類装置
TWI447575B (zh) 自動缺陷修復系統
TWI748122B (zh) 用於對多個項進行分類的系統、方法和電腦程式產品
WO2021090601A1 (ja) 分類装置および画像分類システム
US20110188735A1 (en) Method and device for defect inspection
JP2011158373A (ja) 自動欠陥分類のための教師データ作成方法、自動欠陥分類方法および自動欠陥分類装置
JP2017054331A (ja) 画像分類方法、分類器の構成方法および画像分類装置
JP7393313B2 (ja) 欠陥分類装置、欠陥分類方法及びプログラム
JP2019106119A (ja) 検出システム、情報処理装置、評価方法及びプログラム
US20220092359A1 (en) Image data classification method, device and system
TW202038110A (zh) 分類半導體樣本中的缺陷
CN114140385A (zh) 基于深度学习的印刷电路板缺陷检测方法及系统
JP6988995B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
JP2020177430A (ja) 情報処理装置、情報処理方法及びプログラム
JP6871807B2 (ja) 分類器構築方法、分類器および分類器構築装置
JP2007213480A (ja) 進化型画像自動分類装置、フィルタ構造生成方法、及びプログラム
WO2020137228A1 (ja) 画像判定装置、画像判定方法及び画像判定プログラム
JP2020052475A (ja) 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置
JP2016051429A (ja) 教師データ作成支援方法、画像分類方法、教師データ作成支援装置および画像分類装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20883869

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20883869

Country of ref document: EP

Kind code of ref document: A1