WO2016194210A1 - 欠陥画像分類装置および欠陥画像分類方法 - Google Patents

欠陥画像分類装置および欠陥画像分類方法 Download PDF

Info

Publication number
WO2016194210A1
WO2016194210A1 PCT/JP2015/066244 JP2015066244W WO2016194210A1 WO 2016194210 A1 WO2016194210 A1 WO 2016194210A1 JP 2015066244 W JP2015066244 W JP 2015066244W WO 2016194210 A1 WO2016194210 A1 WO 2016194210A1
Authority
WO
WIPO (PCT)
Prior art keywords
defect
image
classification
unit
class
Prior art date
Application number
PCT/JP2015/066244
Other languages
English (en)
French (fr)
Inventor
裕治 高木
実 原田
大博 平井
Original Assignee
株式会社日立ハイテクノロジーズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立ハイテクノロジーズ filed Critical 株式会社日立ハイテクノロジーズ
Priority to PCT/JP2015/066244 priority Critical patent/WO2016194210A1/ja
Priority to US15/579,047 priority patent/US20180174000A1/en
Priority to KR1020177034927A priority patent/KR101978995B1/ko
Publication of WO2016194210A1 publication Critical patent/WO2016194210A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
    • G01N23/2251—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
    • G01N2021/95615—Inspecting patterns on the surface of objects using a comparative method with stored comparision signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2223/00—Investigating materials by wave or particle radiation
    • G01N2223/60—Specific applications or type of materials
    • G01N2223/611—Specific applications or type of materials patterned objects; electronic devices
    • G01N2223/6116—Specific applications or type of materials patterned objects; electronic devices semiconductor wafer

Definitions

  • the present invention relates to a defect image classification apparatus and a defect image classification method for automatically classifying an image obtained by imaging defects generated during the manufacture of a semiconductor wafer.
  • An appearance inspection apparatus is an apparatus that inspects a wafer using optical means or an electron beam and outputs position coordinates of detected defects. Since the appearance inspection device needs to inspect the entire wafer surface at high speed, the pixel resolution of the detected image is lowered to the extent that defect detection is possible, and the amount of image data per unit area is reduced to shorten the inspection time. . For this reason, it is difficult to observe the defect in detail using the detection image of the appearance inspection apparatus.
  • the defect observation apparatus is an apparatus that images a position with high resolution based on defect coordinates obtained from an appearance inspection apparatus and outputs a captured image. Due to the miniaturization of the semiconductor manufacturing process, a defect observation apparatus SEM using a scanning electron microscope (SEM) is widely used for this observation.
  • the defect observation SEM has an ADR (Automatic Defect Review) function that automatically captures and collects defect images on a wafer based on defect coordinates obtained from an appearance inspection apparatus, and an ADC (Automatic Review) that automatically classifies the collected images.
  • ADR Automatic Defect Review
  • ADC Automatic Review
  • Patent Document 1 discloses a method for monitoring ADC learning data during production application.
  • Defective classes have various classes even if they are limited to one classification process, and there are cases in which variations in shape and brightness are included in one class. For this reason, it is practically difficult to apply ADC to all processes. For this reason, the classification process is divided into an ADC application process and a visual classification process, or a defect class that uses an ADC result in one classification process and a defect class that is not used, and only a defect class that does not use an ADC result.
  • a combination of ADC and visual classification, such as visual classification has also been proposed.
  • Patent Document 2 discloses an ADC recipe setting method based on the premise that ADC and visual classification are used together.
  • Patent Document 1 in order to stably maintain the ADC classification performance at the time of mass production application, the feature amount of the defect image to be classified by the ADC is compared with the feature amount registered in the learning data, In other words, a technique is disclosed that can stably operate without degrading the ADC classification performance even when mass production is applied by detecting a statistical change between the image and the learning data and instructing learning data update.
  • Patent Document 1 discloses a method of using an ADC classification result or a visual classification result as a defect class of an image to be subjected to ADC.
  • using the classification result of the ADC subject to performance evaluation cannot eliminate the erroneous classification of the ADC in the first place, and the visual classification also has a classification accuracy rate of 60 at most as described in Non-Patent Document 1. In any case, it is difficult to evaluate the performance of an appropriate ADC.
  • Patent Document 2 is based on the premise that the defect class suitable for ADC and the non-suitable defect class are separated, and the defect class unsuitable for ADC is confirmed by visual classification.
  • Visual classification is performed from a plurality of ADC recipes prepared in advance.
  • a technique for optimizing ADC parameters by selecting a recipe that can reduce the number of defect images to be rotated is disclosed.
  • the defect classification work in the combined use of the ADC and the visual classification both stable operation of the ADC and reduction of the visual classification man-hour are achieved.
  • the visual classification result is used at the time of ADC parameter optimization, and the influence of the visual classification having a low classification accuracy rate cannot be avoided.
  • the explanation was advanced with the words “learning data”, “ADC recipe”, and “ADC parameter” used in each document. These may be interpreted as data necessary for operating the ADC in a broad sense, but more accurately, the ADC parameter is a parameter related to image processing necessary for calculating the image feature amount, learning.
  • Data can be defined as a parameter set used by an ADC classification algorithm derived from a feature amount of a teaching image, and an ADC recipe can be defined as a data set for operating an ADC including both ADC parameters and learning data.
  • the object of the present invention is to solve the problems of conventional visual classification in the defect classification work in the combined use of ADC and visual classification, and then use ADC and visual classification or ADC and other classification devices in combination for reliability. It is an object of the present invention to provide a defect image classification device and a defect image classification method that enable high ADC performance evaluation and update of ADC learning data.
  • an apparatus for classifying defect images includes a storage unit for storing defect images obtained by imaging with other imaging means and a plurality of other defect classification means.
  • An image selection unit that selects an image from defect images stored in the storage unit using information on the defect class that classifies the defect, and an image classification unit that classifies the image selected by the image selection unit based on the classification recipe
  • a classification performance evaluation unit that evaluates the classification performance of the image classification unit based on the result of classifying the image, and a selection performed by the image selection unit when the result evaluated by the classification performance evaluation unit does not reach a preset standard.
  • a learning update unit that updates the classification recipe of the image classification unit using an image.
  • an apparatus for classifying defect images includes a storage unit for storing defect images obtained by imaging with other imaging means, and a plurality of other defect classifications.
  • An image selection unit that selects an image from defect images stored in the storage unit using information on the defect class classified by the means, and an image classification unit that classifies the image stored in the storage unit based on the classification recipe
  • a learning update unit that updates the classification recipe of the image classification unit using the image selected by the image selection unit.
  • a defect image obtained by imaging with another imaging means is stored in a storage unit, and a plurality of other defect classifications are performed.
  • the image selection unit selects an image from the defect images stored in the storage unit using the defect class information obtained by classifying the defect by means, and the image selection unit selects the image selected based on the classification recipe.
  • the classification performance evaluation unit evaluates the classification performance of the image classification unit based on the result of classification and image classification, When the result evaluated by the classification performance evaluation unit does not reach a preset standard, the learning update unit updates the classification recipe of the image classification unit using the image selected by the image selection unit.
  • a defect image obtained by imaging with another imaging means is stored in a storage unit, and a plurality of other defect classifications are performed.
  • the image selection unit selects an image from the defect images stored in the storage unit, and the image classification unit classifies the image stored in the storage unit based on the classification recipe.
  • the learning update unit updates the classification recipe of the image classification unit using the image selected by the image selection unit.
  • the present invention it is possible to evaluate the performance of a highly reliable ADC with data having few defect class errors by comparing the results of a plurality of visual classification or classification devices other than the ADC device. Further, by performing ADC learning or learning update with this data, the ADC classification performance can be maintained and improved.
  • the present invention classifies selected images using defect class information obtained by classifying defects by a plurality of other defect classification means, and performs classification performance based on the results.
  • the image classification recipe is updated when the evaluated result does not reach a preset standard.
  • the present invention also relates to a method and apparatus for classifying a defect image, and the defect image stored in the storage unit by the image selection unit using the defect class information classified by a plurality of other defect classification means.
  • An image is selected from among the images, and the classification update of the image classification unit is updated by the learning update unit using the selected image.
  • FIG. 1 shows an automatic defect classification (ADC) apparatus 100 according to the present invention.
  • FIG. 1 also shows a defect image capturing device 102, a yield management system 103, and a visual classification (MDC) device 104 that exchange information with the ADC device 100 via the network 101.
  • a plurality of MDC devices 104 are connected to the network.
  • the ADC device 100, the defect image capturing device 102, the yield management system 103, and the MDC device 104 are connected to a network.
  • other means such as a portable memory device can be used. It doesn't matter.
  • the defect image capturing apparatus 102 captures an image of a defect position detected by an appearance inspection apparatus (not shown) at a high magnification and captures the appearance of the defect.
  • the defect image capturing apparatus 102 is an optical or SEM (Scanning Electron Microscope). Microscope) type.
  • An SEM type is used for a fine device, has a function of automatically capturing an image of a defect position detected by an appearance inspection apparatus, and is called a defect observation SEM or the like.
  • the yield management system 103 includes defect coordinates output from an appearance inspection apparatus (not shown), defect images output from the defect image capturing apparatus 102, defect classes (defect types) output from the ADC apparatus 100 and the MDC apparatus 104.
  • a defect coordinate is transmitted in response to a request from the defect image capturing apparatus 102, and a defect image is transmitted in response to a request from the ADC apparatus 100 and the MDC apparatus 104.
  • the MDC device 104 is a device in which an operator classifies defect images and assigns defect class information to the defect images.
  • a defect image is received from the ADC device 100, the defect image capturing device 102, or the yield management system 103, a defect class is assigned by the operator, and the defect class information is transmitted to the ADC device 100 or the yield management system 103. It is assumed that a plurality of MDC devices 104 are connected from MDC 1 to N.
  • the MDC apparatus 104 as an example of a defect classification apparatus different from the ADC apparatus 100.
  • any apparatus other than the MDC apparatus can be used as long as it can assign a defect class to a defect captured in a defect image. It may be a defect classification device or a defect analysis device.
  • Defect image data, defect class information, and the like are transmitted / received to / from the defect image capturing apparatus 102, the yield management system 103, and the MDC apparatus 104 via the data transmitting / receiving unit 110.
  • the ADC device 100 includes a data transmission / reception unit 110, a storage unit 111, a defect class comparison unit 112, an image selection unit 113, a classification performance evaluation unit 114, an image classification unit 115, a learning update unit 116, an input / display terminal 117, and a bus 118. I have.
  • the storage unit 111 stores defect image data, defect class information, and the like.
  • the defect class comparison unit 112 compares a plurality of defect classes with respect to the same defect image obtained by other than the ADC device 100, and compares the defect class obtained as a result of the comparison with the defect class assigned by the image classification unit 115.
  • the image selection unit 113 selects a defect image from the defect images stored in the storage unit 111 based on the comparison defect of the defect class comparison unit 112.
  • the classification performance evaluation unit 114 evaluates the classification performance of the image classification unit 115 based on the comparison between the defect class obtained as a result of the comparison by the defect class comparison unit 112 and the defect class given by the image classification unit 115. It is.
  • the learning update unit 116 updates the ADC processing recipe executed by the image classification unit 115 based on the evaluation result of the classification performance of the image classification unit 115 evaluated by the classification performance evaluation unit 114.
  • the input / display terminal 117 displays processing contents and accepts an operator's set value input and the like.
  • the bus 118 includes a data transmission / reception unit 110, a storage unit 111, a defect class comparison unit 112, an image selection unit 113, a classification performance evaluation unit 114, an image classification unit 115, a learning update unit 116, and a display terminal 117. Information transmission / reception is performed between them.
  • the ADC device 100 may be mounted on any of the defect image capturing device 102, the yield management system 103, or the visual classification device 104.
  • a defect image is determined (S200).
  • the defect image here is one or more images to be evaluated through this flow.
  • This defect image may be an image captured by the defect image capturing apparatus 102 or an image registered in the yield management system 103.
  • a defect image is an image obtained from one or a plurality of wafers.
  • the defect image is transmitted to a plurality of MDC devices 104 (S201).
  • MDC 1 to N the defect images are classified by an operator, and a defect class is assigned.
  • the assigned defect class information is received from the MDC device 104 via the data transmission / reception unit 110 and stored in the storage unit 111 (S202).
  • the defect classes assigned by the operator in each MDC device 104 (MDCM1 to N) are compared (S203). A comparison method will be described with reference to FIG.
  • FIG. 3 shows information displayed on the screen 300 of the display terminal 116.
  • the MDC devices 1, 2, 3 displayed in the MDC device column 302 are shown.
  • , 4 and 5 are shown in the classification result column 310.
  • A, B, and C in the table represent defect classes.
  • the defect ID 1 of the defect ID column 301 the information of the defect class B is received only from the MDC device 2 displayed in the MDC device column 302, the other MDC devices are the defect class A, and the MDC devices 1, 2, The defect classes of 3, 4, and 5 do not match.
  • the defect ID 2 in the defect ID column 301 has received information of defect class A from all the MDC devices displayed in the MDC device column 302, and the defect classes of the MDC devices 1, 2, 3, 4, and 5 are Match.
  • ⁇ is marked in the “match” column 303 of each defect ID in the classification result column 310, and in the “mismatch” column 304 in the case of mismatch.
  • a defect ID with a matching defect class has a higher reliability of the defect class by MDC than a defect ID with a mismatched defect class.
  • FIG. 3 shows five MDC devices, this is for convenience of explanation, and any number may be used as long as there are a plurality of MDC devices.
  • the defect class described in the item of the majority decision 305 in the classification result column 310 is the defect class that has obtained the largest number of votes in the MDC for the defect image.
  • the screen 300 may be displayed with at least one selected from the selection buttons of match 321, mismatch 322, and majority 323. Only information corresponding to the MDC defect class or only information corresponding to the mismatch ID may be displayed.
  • the defect class assigned by the MDC device 104 (MDCs 1 to N) is read from the storage unit 111 to the defect class comparison unit 112 and compared (S203). A defect number with a matching defect class is identified by comparison, and a defect image corresponding to the identified defect number is selected by the image selection unit 113 (S204).
  • the defect image selected by the image selection unit 113 is automatically classified by the image classification unit 115 (S205), and the classification performance evaluation unit 114 determines the defect class obtained by the automatic classification by the image classification unit 115 and the selected image.
  • the ADC is evaluated using the MDC defect class (S206). The steps from S200 to S206 are collectively referred to as S210 for reference in FIG. If the defect image selected by the image selection unit 113 has already been automatically classified by the image classification unit 115, S205 can be omitted.
  • FIG. 4 shows a first example of ADC performance evaluation executed by the classification performance evaluation unit 114.
  • a vertical column 401 is a defect class assigned by the MDC
  • a horizontal column 402 is a defect class assigned by the ADC.
  • the performance of the defect class “A” by the ADC is Purity performance 403, that is, (True Positive number for the ADC defect class “A”) / (True Positive number and False Positive number for the ADC defect class “A”).
  • the defect class is “A” by ADC, this can be interpreted as being 92% reliable, which is an index of reliability.
  • the total accuracy rate is displayed.
  • the total accuracy rate shown in the column 405 in FIG. 4 is compared with a preset value registered in advance (S207). If the overall accuracy rate is equal to or lower than the set value, that is, if the classification performance is low, the ADC is determined by the image selected in S204. Learning is performed (S208). When the total accuracy rate is equal to or less than the set value, an alarm indicating that the total accuracy rate is equal to or less than the set value is displayed on the display terminal 116 in FIG. The process may proceed to ADC learning update (S208).
  • the ADC learning update is adjustment of an ADC processing recipe.
  • FIG. 5 shows a method of comparing the first ADC performance value and the set value different from S207 and S208.
  • S210 represents steps in the same range as S210 shown in FIG. 2, that is, steps S200 to S206.
  • the Purity 403 shown in FIG. 4 is compared with the set value for each defect class (S500), and the defect class corresponding to the Purity below the set value (defect class with low classification performance) is selected from the image selected in S204.
  • the learning update of the ADC is performed using only the image of () (S501). If there is a defect class corresponding to the Purity below the set value, the display terminal 116 is notified, and if there is an input instruction from the user, the process may proceed to ADC learning update (S501).
  • FIG. 6 shows a method of comparing the second ADC performance value and the set value different from S207 and S208.
  • Accuracy 404 shown in FIG. 4 is compared with the set value for each defect class (S600), and the defect class corresponding to Accuracy below the set value (defect class with low classification performance) is selected from the image selected in S204.
  • the ADC learning update is performed using only the image of () (S601). If there is a defect class corresponding to Accuracy below the set value, the notification may be issued to the display terminal 116, and if there is an input instruction from the user, the process may proceed to ADC learning update (S601).
  • Fig. 7 shows a second example of ADC performance evaluation.
  • the table of FIG. 7 is similar to the table described with reference to FIG. 4, in which the vertical column 701 is the defect class due to MDC, the horizontal column 702 is the defect class due to ADC, the bottom column of the horizontal column is Purity 703, the vertical column Accuracy 704 is displayed at the right end of the column, and the total accuracy rate is displayed in the lower right column 705.
  • an unkown class (unknown defect class) 7021 is added to the defect class of the ADC in the horizontal column 702 as compared to the table of FIG.
  • the unkown class 7021 is a class provided for assignment when the ADC determines a boundary case of the learned defect class or a case that does not correspond to the learned defect class.
  • the unkown class 7021 is explicitly identified by the ADC and is not reflected in the calculation of the accuracy 704.
  • Fig. 8 shows the ADC learning update method using unkown.
  • the number of images determined by the ADC as unkown for each defect class of MDC is compared with a preset value registered (S800), and if there is an MDC defect class whose unkown number is greater than or equal to the set value.
  • the learning update of the ADC is performed using the image determined to be unkown in the corresponding MDC defect class from the image selected in S204 (S801).
  • the learning update of the ADC may be performed on all the images of the corresponding MDC defect class.
  • FIG. 9 shows an example when a new defect class D appears.
  • the configuration of the table shown in FIG. 9 is the same as the configuration described with reference to FIG. 7.
  • the vertical column 901 has a defect class due to MDC
  • the horizontal column 902 has a defect class due to ADC
  • Is Purity 903, Accuracy 904 is displayed at the right end of the vertical column, and the total accuracy rate is displayed in the lower right column 905.
  • MDC in the vertical column 901 of the table shown in FIG. 9
  • a new defect class can be identified as a new class D9011, but since it is not taught in the ADC in the horizontal column 902, it becomes an unkown class 9021.
  • the defect class D of the MDC in the vertical column 901 is D9011, and the defect class D is used as the defect class D for the image that is the unkown class 9021 in the ADC of the horizontal column 902, so that the defect class D is also added to the ADC. It becomes possible to register.
  • FIG. 10 After performing the processing of S210 described in FIG. 2, the cumulative number of learning images of each defect class is recorded, the cumulative number of images and the set value are compared (S1000), If the number of images is equal to or less than the set value, ADC learning is updated using all or part of the images of the corresponding MDC defect class from the images selected in S204 (S1001). By this method, it is possible to eliminate a defect class having insufficient learning images. If there is a defect class with the cumulative image number equal to or less than the set value, the display terminal 116 is notified, and if there is an input instruction from the user, the process may proceed to ADC learning update (S1001).
  • the defect class may be a defect class obtained as a result of majority vote. If the majority result is used, all images determined in S200 can be used.
  • Fig. 11 shows a method that considers weighting as a method for comparing defect classes.
  • the table shown in FIG. 11 includes a column 1101 for displaying defect IDs, a column 1102 for displaying MDC results for each MDC device, a column 1103 for displaying weights, and a column 1104 for displaying the majority result for each defect ID.
  • a column 1105 for displaying the ADC result is provided for each defect ID.
  • FIG. 11 shows the classification results of the defect numbers 1, 2, 3, and 4 in the defect ID column 1101 in the MDC devices 1, 2, 3, 4, and 5 in the MDC device column 1102.
  • the number of defects is set to 4, but the number of defects is not limited to this.
  • A, B, and C in the table represent defect classes.
  • the way of viewing the defect classes in the defect ID column 1101 and the MDC device column 1102 is the same as in FIG.
  • a weighting column 1103 is displayed taking into account the concept of weighting.
  • the defect ID 1 of the defect ID column 1101 there are three determinations of the defect class A in the MDC of the MDC device column 1102, and two B. This determination number is used as it is as a weighting value in the weighting column 1103.
  • the defect IDs 2, 3, and 4 can be summarized as shown in FIG.
  • the defect class written in the majority decision column 1104 in the table of FIG. 11 is determined by the majority decision method described in FIG. Although the class is uniquely determined, it is not known that defect IDs 1 and 4 are in competition with other defect classes.
  • FIG. 12 shows a case where ADC performance is evaluated in consideration of weighting.
  • the configuration of the table shown in FIG. 12 is the same as that described with reference to FIG. 4.
  • the vertical column 1201 is the defect class assigned by the MDC
  • the horizontal column 1202 is the defect class assigned by the ADC
  • the bottom The column shows Purity performance 1203, the position version fixture column shows Accuracy performance 1204, and the column 1205 in the lower right corner displays the total accuracy rate.
  • the defect ID 1 in the defect ID column 1101 has three MDC defect classes A, two B, and the ADC defect class A
  • “MDC defect class A / ADC defect” in the matrix of FIG. 3 votes for “Class A” and 2 votes for “MDC defect class B / ADC defect class A”.
  • FIG. 12 shows the result obtained by performing the same processing on the defect IDs 2, 3, and 4.
  • FIG. 13 shows the result of evaluation using the defect class determined as a result of majority vote.
  • the configuration of the table shown in FIG. 13 is the same as that described with reference to FIG. 4.
  • the vertical column 1301 is a defect class assigned by the MDC
  • the horizontal column 1302 is a defect class assigned by the ADC
  • the bottom row The Purity performance 1303 is displayed in the column
  • the Accuracy performance 1304 is displayed in the column of position version fixtures
  • the total accuracy rate is displayed in the column 1305 in the lower right corner.
  • the ADC is 100% correct.
  • the execution timing during production application of the ADC performance evaluation and learning data update shown in FIGS. 2 to 10 is not only explicitly started by the operator, but also by a method based on the number of classified images into the ADC unkown class, or periodically There are automatic startup methods such as implementation.
  • FIG. 14 a processing method in which the ADC performance evaluation is not performed and the MDC result is reflected in the learning of the ADC is shown in FIG. 14 as the second embodiment. This will be described with reference to the drawings.
  • ADC is evaluated for an image selected based on the MDC result, and the ADC performance is evaluated.
  • the image is selected based on the MDC result.
  • the ADC was learned and updated based on the image.
  • ADC performance evaluation is not performed, and the ADC is immediately learned and updated based on the image selected based on the MDC result.
  • the configuration of the automatic defect classification apparatus in the present embodiment is the configuration described with reference to FIG. 1 in the first embodiment except for the classification performance evaluation unit 114, and the other configuration is the same as described in FIG. Since this is the same, the description is omitted.
  • the defect number with the matching defect class is identified by the comparison method described with reference to FIG. 3, and the defect image corresponding to the defect number identified in S1404 is selected by the image selection unit 113.
  • the learning update unit 116 performs ADC learning update using the image selected by the image selection unit 113, and the ADC processing recipe executed by the image classification unit 115 is adjusted.
  • the result of the majority decision from the plurality of defect classification means or the plurality of defect classification results is automatically reflected in the database of the automatic defect classification unit, so that the conventional defect determination result is correct.
  • the database of the automatic defect classification device is based on the result of majority decision based on the exact opposite view that there are individual differences in humans and the results vary from person to person.
  • processing is performed on the premise that MDC is first performed on a defect image.
  • ADC is first performed on the defect image as a preceding stage, and as a result, the unknown cannot be classified.
  • a process of executing MDC only when the number of defective defects is equal to or greater than a set value, and periodically will be described.
  • the configuration of the automatic defect classification apparatus in the present embodiment is the same as the configuration described with reference to FIG.
  • FIG. 15 shows a processing flow in the case where activation is performed according to the number of classified images into the unkown class of the ADC in this embodiment.
  • the defect image is received by the ADC device 100 from the defect image capturing device 102 or the yield management system 103 (S1500), and the received defect image is classified by the image classification unit 115 of the ADC device 100 (S1501).
  • the number of images of the unkown class obtained as a result of the classification is compared with a preset value registered (S1502). If the number of images of the unkown class is equal to or larger than the set value, FIGS.
  • the performance evaluation and additional learning of the ADC described above are performed (S1503).
  • the ADC process in S205 of FIG. 2 may be skipped. Further, S1503 may be executed using an image different from the image received in S1500.
  • Fig. 16 shows the processing flow for regular startup.
  • the current time managed by the ADC device is compared with a preset time registered in advance (S1600), and when the current time reaches the set time, the defect image is picked up from the defect image pickup device 102 or the yield management system 103.
  • Is received by the ADC device 100 S1601
  • the ADC performance evaluation and additional learning described in the first embodiment with reference to FIGS. 2 to 10 are performed (S1602).
  • the set time to be registered the elapsed time from the previous ADC performance evaluation / additional learning is registered, and the registered elapsed time is added to the previous ADC performance evaluation / additional learning time as the set time Also good. Thereby, periodic performance evaluation and learning update of ADC can be performed.
  • the defect IDs 1, 4, 7, and 8 whose MDC defect classes do not match can be understood as variations in the work level of the visual classification operator.
  • such an image is returned to the MDC apparatus again so that the work level of the visual classification operator is leveled.
  • a defect image is determined (S1700).
  • This defect image is the same as the image determined in S200 described with reference to FIG.
  • the image may be an image that is intentionally selected for operator training.
  • the defect image is transmitted to the plurality of MDC devices 104 (S1701).
  • MDC 1 to N the defect images are classified by an operator, and a defect class is assigned.
  • the assigned defect class information is received from the MDC device 104 via the data transmission / reception unit 110 and stored in the storage unit 111 (S1702).
  • the defect class assigned by the MDC device 104 (MDC 1 to N) is read from the storage unit 111 to the defect class comparison unit 112, and the comparison is executed (S1703).
  • a defect number with a mismatched defect class is identified by comparison, and a defect image corresponding to the identified defect number is selected (S1704).
  • the method for extracting the mismatch of the defect class by comparison is as described in FIG. 3 in the first embodiment.
  • defect class information is also transmitted for image data in which the selected MDC defect class does not match (S1705). If the defect class determined by the expert is not disclosed to the worker as an answer (NO in S1705)
  • the defect image selected again is transmitted to the MDC 1 to NDC to request the operator to perform the MDC operation (S1606), and the defect class determined by the expert is disclosed to the operator as an answer (in the case of YES in S1705)
  • the selected defect image and the defect class information of the selected image are transmitted to the MDCs 1 to N, and the operator is confirmed. (S1607).
  • the ADC performance is evaluated according to the processing flow of FIG. 2 described in the first embodiment, and the ADC learning update is performed.
  • the ADC learning update is performed using the defect image selected according to the processing flow of FIG.
  • DESCRIPTION OF SYMBOLS 100 Automatic defect classification device, 101 ... Communication network, 102 ... Defect image imaging device, 103 ... Yield management system, 104 ... Visual defect classification unit, 110 ... Data transmission / reception part, 111 ... Memory

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

ＡＤＣと目視分類の併用における欠陥分類作業において、従来の目視分類の課題を解決した上で、ＡＤＣと目視分類、あるいはＡＤＣとその他の分類装置を併用して、信頼性の高いＡＤＣの性能評価と、ＡＤＣ学習データの更新を可能にする。　欠陥の画像を分類する装置を、他の撮像手段で撮像して得られた欠陥の画像を記憶する記憶部と、他の複数の欠陥分類手段で欠陥を分類した欠陥クラスの情報を用いて記憶部に記憶した欠陥の画像の中から画像を選択する画像選択部と、画像選択部で選択した画像を分類レシピに基づいて分類する画像分類部と、画像を分類した結果に基づいて画像分類部の分類性能を評価する分類性能評価部と、分類性能評価部で評価した結果が予め設定した基準に達しない場合には前記画像選択部で選択した画像を用いて前記画像分類部の分類レシピを更新する学習更新部とを備えて構成した。

Description

欠陥画像分類装置および欠陥画像分類方法
　本発明は半導体ウェーハの製造中に発生した欠陥を撮像した画像を自動分類する欠陥画像分類装置および欠陥画像分類方法に関するものである。
　半導体の製造プロセスでは、歩留まりの向上を図るために、半導体ウェーハ上の欠陥の発生原因を早急に究明し対策することが重要であり、製造現場では外観検査装置と欠陥観察装置を用いて欠陥の解析を行っている。外観検査装置とは光学的な手段、もしくは電子線を用いてウェーハを検査し、検出された欠陥の位置座標を出力する装置である。外観検査装置はウェーハ全面を高速に検査する必要があるため、欠陥検出が可能な程度に検出画像の画素解像度を下げ、単位面積当たりの画像データ量を減らすことで検査時間の短縮を図っている。このため、外観検査装置の検出画像により欠陥の詳細な観察は困難である。
　欠陥の詳細観察は欠陥観察装置により行われる。欠陥観察装置とは、外観検査装置から得られる欠陥座標に基づき、その位置を高解像度に撮像し、撮像画像を出力する装置である。半導体製造プロセスの微細化により、この観察には走査型電子顕微鏡（ＳＥＭ：Scanning Electron Microscope）を用いた欠陥観察装置SEMが広く用いられている。欠陥観察ＳＥＭは、外観検査装置から得られる欠陥座標に基づき、ウェーハ上の欠陥画像を自動撮像し収集するＡＤＲ（Automatic Defect Review:自動欠陥レビュー）機能と、収集した画像を自動分類するＡＤＣ（Automatic Defect Classification：自動欠陥分類）機能が搭載されている。
　ＡＤＣは分類工程ごとに運用の最初に欠陥画像を使った学習を行う必要があるが、全ての欠陥クラス（種類）の画層データを十分に揃えて学習データの作成を行うことは難しく、最初に得られた性能を生産適用後も維持するためには、生産適用中での性能評価、追加学習が必要であり、この手法確立が課題となっている。特許文献１には生産適用時におけるＡＤＣ学習データのモニタ方法について開示がある。
　欠陥クラスは一つの分類工程に限っても様々なクラスがあり、また一つのクラスの中でも形状や明るさにバリエーションを含む場合がある。このためＡＤＣを全ての工程に適用することは実用上難しい。このため、分類工程をＡＤＣ適用工程と、目視分類工程に分ける方法や、一つの分類工程でＡＤＣの結果を使用する欠陥クラスと、使用しない欠陥クラスに分け、ＡＤＣの結果を使用しない欠陥クラスのみ目視分類するなど、ＡＤＣと目視分類との併用も提案されている。特許文献２はＡＤＣと目視分類との併用を前提としたＡＤＣのレシピ設定方法が開示されている。
特開２００１－２５６４８０号公報 特表２０１１－１５５１２３号公報
W. Tomlinson, B. Halliday, et.al,"In-Line SEM based ADC for Advanced Process Control", Proc. Of 2000 IEEE/SEMI Advanced Semiconductor Manufacturing Conference, pp.131-137(2000)
　半導体プロセスの外観検査工程に適用すれる自動欠陥分類技術においては、自動欠陥分類処理のレシピが、自動欠陥分類の対象となる画像に対し適切に設定されているか否かを、時間の経過とともに定期的、あるいは任意のタイミングで評価し、自動欠陥分類処理のレシピが不適切な場合はレシピを更新する必要がある。従来の自動欠陥分類の性能評価は、一人の作業者により与えられた目視欠陥クラス（種類）を基準として行われ、レシピ更新もこの目視欠陥クラスに基づいて行われていた。しかし、目視欠陥クラスには個人差などにより誤りが含まれ、精度の高い自動欠陥分類の性能評価、及び高い分類性能を出すためのレシピ更新ができないという課題があった。
　特許文献１は、量産適用時のＡＤＣの分類性能を安定維持するために、ＡＤＣの分類対象となる欠陥画像の特徴量と、学習データに登録されている特徴量を比較し、ＡＤＣの対象となる画像と学習データの統計的な変化を検知して、学習データ更新の指示を行うことで、量産適用時にもＡＤＣの分類性能を低下させずに安定運用できる技術が開示されている。
　特許文献１ではＡＤＣの対象となる画像の欠陥クラスには、ＡＤＣの分類結果や目視分類結果を利用する方法が開示されている。しかし、性能評価の対象となるＡＤＣの分類結果を利用することは、そもそもＡＤＣの誤分類を排除できず、目視分類も、非特許文献１に記載があるように、その分類正解率は高々６０％とされており、いづれにしても適切なＡＤＣの性能評価は困難である。
　特許文献２は、ＡＤＣに適する欠陥クラスと、適さない欠陥クラスを分けて、ＡＤＣに適さない欠陥クラスは目視分類で確認するという運用を前提としており、予め用意された複数のＡＤＣレシピから目視分類へ回す欠陥画像数を少なくできるレシピを選択することでＡＤＣのパラメータ最適化を図る技術が開示されている。ＡＤＣと目視分類の併用における欠陥分類作業において、ＡＤＣの安定運用と、目視分類工数の低減を両立するものである。しかしながら、ＡＤＣのパラメータ最適化の際に目視分類結果を用いており、低い分類正解率である目視分類の影響を免れることができない。また、生産適用後に必要となる性能評価の方法、ＡＤＣの学習データの更新の方法についても開示がない。
　以上、二つの特許文献を参照する際、各々の文献で使用されている、学習データ、ＡＤＣレシピ、ＡＤＣパラメータという語句で説明を進めた。これらは、広義にはＡＤＣを動作させるために必要なデータと解釈して構わないが、より正確には、ＡＤＣパラメータとは画像の特徴量を算出するまでに必要となる画像処理に関するパラメータ、学習データとは教示画像の特徴量から導出されるＡＤＣの分類アルゴリズムが使用するパラメータセット、ＡＤＣレシピとはＡＤＣパラメータと学習データの双方を包含するＡＤＣを動作させるためのデータセットと定義できる。
　本発明の目的は、ＡＤＣと目視分類の併用における欠陥分類作業において、従来の目視分類の課題を解決した上で、ＡＤＣと目視分類、あるいはＡＤＣとその他の分類装置を併用して、信頼性の高いＡＤＣの性能評価と、ＡＤＣ学習データの更新を可能とする欠陥画像分類装置、および欠陥画像分類方法を提供することにある。
　上記目的を達成するために、本発明では、欠陥の画像を分類する装置を、他の撮像手段で撮像して得られた欠陥の画像を記憶する記憶部と、他の複数の欠陥分類手段で欠陥を分類した欠陥クラスの情報を用いて記憶部に記憶した欠陥の画像の中から画像を選択する画像選択部と、画像選択部で選択した画像を分類レシピに基づいて分類する画像分類部と、画像を分類した結果に基づいて画像分類部の分類性能を評価する分類性能評価部と、分類性能評価部で評価した結果が予め設定した基準に達しない場合には前記画像選択部で選択した画像を用いて前記画像分類部の分類レシピを更新する学習更新部とを備えて構成した。
　また、上記目的を達成するために、本発明では、欠陥の画像を分類する装置を、他の撮像手段で撮像して得られた欠陥の画像を記憶する記憶部と、他の複数の欠陥分類手段で欠陥を分類した欠陥クラスの情報を用いて記憶部に記憶した欠陥の画像の中から画像を選択する画像選択部と、記憶部に記憶した画像を分類レシピに基づいて分類する画像分類部と、画像選択部で選択した画像を用いて画像分類部の分類レシピを更新する学習更新部とを備えて構成した。
　さらに、上記目的を達成するために、本発明では、欠陥の画像を分類する方法において、他の撮像手段で撮像して得られた欠陥の画像を記憶部に記憶し、他の複数の欠陥分類手段で欠陥を分類した欠陥クラスの情報を用いて画像選択部で記憶部に記憶した欠陥の画像の中から画像を選択し、画像選択部で選択した画像を画像分類部で分類レシピに基づいて分類し、画像を分類した結果に基づいて分類性能評価部で画像分類部の分類性能を評価し、
分類性能評価部で評価した結果が予め設定した基準に達しない場合には画像選択部で選択した画像を用いて学習更新部で画像分類部の分類レシピを更新するようにした。
　さらに、上記目的を達成するために、本発明では、欠陥の画像を分類する方法において、　他の撮像手段で撮像して得られた欠陥の画像を記憶部に記憶し、他の複数の欠陥分類手段で欠陥を分類した欠陥クラスの情報を用いて画像選択部で記憶部に記憶した欠陥の画像の中から画像を選択し、記憶部に記憶した画像を画像分類部で分類レシピに基づいて分類し、画像選択部で選択した画像を用いて学習更新部で画像分類部の分類レシピを更新するようにした。
　本発明によれば、複数の目視分類あるいはＡＤＣ装置以外の分類装置の結果の比較により、欠陥クラス誤りの少ないデータで信頼性の高いＡＤＣの性能評価が可能となる。また、このデータでＡＤＣの学習ないし、学習更新を行うことで、ＡＤＣの分類性能を維持、向上させることができる。
本発明の実施例１における自動欠陥分類装置の構成を示すブロック図である。 本発明の実施例１における処理の流れを示すフロー図である。 本発明の実施例１におけるＭＤＣ欠陥クラスの照合方法を示す表である。 本発明の実施例１におけるＡＤＣ性能評価方法を示す表である。 本発明の実施例１における処理の流れの変形例を示すフロー図である。 本発明の実施例１における処理の流れの変形例を示すフロー図である。 本発明の実施例１における未知欠陥クラスを含むＡＤＣ性能評価方法を示す表である。 本発明の実施例１における処理の流れの変形例を示すフロー図である。 本発明の実施例１における新規欠陥クラスを含むＡＤＣ性能評価方法を示す表である。 本発明の実施例１における処理の流れの変形例を示すフロー図である。 本発明の実施例１における重み付けを利用したＭＤＣ欠陥クラス評価方法を示す表である。 本発明の実施例１における重み付けを利用したＭＤＣ欠陥クラスによるＡＤＣ性能評価方法を示す表である。 本発明の実施例１における多数決を利用したＭＤＣ欠陥クラスによるＡＤＣ性能評価方法を示す表である。 本発明の実施例２における処理の流れを示すフロー図である。 本発明の実施例３における処理起動方法の流れを示すフロー図である。 本発明の実施例３における別の処理起動方法の流れを示すフロー図である。 本発明の実施例４におけるＭＤＣ欠陥不一致クラスを利用したＭＤＣ作業平準化のための処理の流れを示すフロー図である。
　本発明は、欠陥の画像を分類する方法及びその装置において、他の複数の欠陥分類手段で欠陥を分類した欠陥クラスの情報を用いて選択した画像を分類し、その結果に基づいて分類性能を評価し、評価した結果が予め設定した基準に達しない場合には画像分類レシピを更新するようにしたものである。
　また、本発明は、欠陥の画像を分類する方法及びその装置において、他の複数の欠陥分類手段で欠陥を分類した欠陥クラスの情報を用いて画像選択部で記憶部に記憶した欠陥の画像の中から画像を選択し、この選択した画像を用いて学習更新部で画像分類部の分類レシピを更新するようにしたものである。　
　以下に、本発明の実施例を、図を用いて説明する。
　図１に本発明に関わる自動欠陥分類（ＡＤＣ：Automatic Defect Classification）装置１００を示す。図1には併せて、ＡＤＣ装置１００とネットワーク１０１を介して情報を送受信する、欠陥画像撮像装置１０２、歩留まり管理システム１０３、目視分類（ＭＤＣ：Manual Defect Classification）装置１０４を示した。ＭＤＣ装置１０４は複数台がネットワークに接続されている。
　図１では、ＡＤＣ装置１００、欠陥画像撮像装置１０２、歩留まり管理システム１０３、ＭＤＣ装置１０４はネットワークに接続されているとしたが、情報を交換できれば可搬式のメモリデバイスなど、他の手段であってもかまわない。
　欠陥画像撮像装置１０２は外観検査装置（図示せず）で検出された欠陥位置の画像を高い倍率で撮像し、欠陥の外観を捉える装置で、光学式や、ＳＥＭ（Scanning Electron Microscope：走査型電子顕微鏡）式などがある。微細なデバイスにはＳＥＭ式が用いられ、外観検査装置で検出された欠陥位置の画像を自動で撮像する機能を持ち、欠陥観察ＳＥＭなどと呼ばれている。
　歩留まり管理システム１０３は、外観検査装置（図示せず）から出力される欠陥座標、欠陥画像撮像装置１０２から出力される欠陥画像、ＡＤＣ装置１００、ＭＤＣ装置１０４から出力される欠陥クラス（欠陥種類）情報を受信するとともに、欠陥画像撮像装置１０２からの要求により欠陥座標を、ＡＤＣ装置１００、ＭＤＣ装置１０４からの要求により欠陥画像を送信する。歩留まり管理システム１０３に蓄積された欠陥座標、欠陥画像、欠陥クラスを統計的に解析することで、ユーザはプロセスの状態をモニタすることができる。
　ＭＤＣ装置１０４はオペレータが欠陥画像の分類を行い、欠陥クラス情報を欠陥画像に付与する装置である。ＡＤＣ装置１００、あるいは欠陥画像撮像装置１０２、あるいは歩留まり管理システム１０３から欠陥画像を受信し、オペレータにより欠陥クラスが付与され、欠陥クラス情報は、ＡＤＣ装置１００、あるいは歩留まり管理システム１０３に送信される。ＭＤＣ装置１０４は、ＭＤＣの1からＮまで複数台接続されているものとする。
　本実施例では、ＡＤＣ装置１００とは異なる欠陥分類装置として、ＭＤＣ装置１０４を例に説明を進めるが、欠陥画像に撮像されている欠陥に対し欠陥クラスを付与できる装置であればＭＤＣ装置以外の欠陥分類装置、欠陥分析装置であってもかまわない。
　ＡＤＣ装置１００の内部について説明する。データ送受信部１１０を介して、欠陥画像撮像装置１０２、歩留まり管理システム１０３、ＭＤＣ装置１０４と欠陥画像データ、欠陥クラス情報などを送受信する。
　ＡＤＣ装置１００は、データ送受信部１１０、記憶部１１１、欠陥クラス比較部１１２、画像選択部１１３、分類性能評価部１１４、画像分類部１１５、学習更新部１１６、入力・表示端末１１７、バス１１８を備えている。
　記憶部１１１は欠陥画像データ、欠陥クラス情報などを記憶するものである。欠陥クラス比較部１１２は、ＡＤＣ装置１００以外で得られた同一欠陥画像に対する複数の欠陥クラスの比較や、比較の結果得られる欠陥クラスと画像分類部１１５で付与された欠陥クラスの比較を行う。画像選択部１１３は欠陥クラス比較部 １１２の比較欠陥に基づき、記憶部１１１に記憶されている欠陥画像から欠陥画像の選択を行う。
　分類性能評価部１１４は、欠陥クラス比較部１１２での比較の結果得られる欠陥クラスと、画像分類部１１５で付与された欠陥クラスの比較に基づき、画像分類部１１５の分類性能の評価を行うものである。学習更新部１１６は、分類性能評価部１１４で評価した画像分類部１１５の分類性能の評価結果に基づいて、画像分類部１１５で実行するＡＤＣの処理レシピを更新する。入力・表示端末１１７は処理内容を表示するとともに、オペレータの設定値入力などを受け付けるものである。
　バス１１８は、ＡＤＣ装置１００内で、データ送受信部１１０、記憶部１１１、欠陥クラス比較部 １１２、画像選択部 １１３、分類性能評価部 １１４、画像分類部１１５、学習更新部１１６、表示端末１１７の間の情報送受信を行うものである。ＡＤＣ装置１００は、欠陥画像撮像装置１０２、あるいは歩留まり管理システム１０３、あるいは目視分類装置１０４のいずれかに搭載されていてもよい。
　図２を用いてＡＤＣ装置１００の動作のフローを詳述する。まず、欠陥画像を決定する（Ｓ２００）。ここでの欠陥画像とは、このフローを通して評価の対象となる1枚以上の画像のことである。この欠陥画像は、欠陥画像撮像装置１０２で撮像したものを読み込んだものであってもよいし、歩留まり管理システム１０３に登録済みの画像を読み込んだものであってもよい。欠陥画像は1枚あるいは複数枚のウェーハから得られた画像である。
　欠陥画像を決定したら、欠陥画像を複数のＭＤＣ装置１０４に送信する（Ｓ２０１）。各ＭＤＣ装置１０４（ＭＤＣ １～Ｎ）でオペレータにより欠陥画像は分類され、欠陥クラスが付与される。付与された欠陥クラス情報を、ＭＤＣ装置１０４からデータ送受信部１１０を介して受信し、記憶部１１１に記憶する（Ｓ２０２）。次に、各ＭＤＣ装置１０４（ＭＤＣ １～Ｎ）でオペレータにより付与された欠陥クラスを比較する（Ｓ２０３）。比較の方法を図３で説明する。
　図３は表示端末１１６の画面３００に表示される情報で、欠陥ＩＤ欄３０１に表示された欠陥番号１、２、…、Ｎについて、ＭＤＣ装置欄３０２に表示されたＭＤＣ装置１，２，３，４，５での分類結果を分類結果欄３１０に示すものである。表中のＡ，Ｂ，Ｃは欠陥クラスを表す。欠陥ＩＤ欄３０１の欠陥ＩＤ１では、ＭＤＣ装置欄３０２に表示されたＭＤＣ装置２からのみ欠陥クラスＢという情報を受信しており、その他のＭＤＣ装置は欠陥クラスＡであり、ＭＤＣ装置１，２，３，４，５の欠陥クラスは一致していない。
　一方、欠陥ＩＤ欄３０１の欠陥ＩＤ２は、ＭＤＣ装置欄３０２に表示された全てのＭＤＣ装置から欠陥クラスＡという情報を受信しており、ＭＤＣ装置１，２，３，４，５の欠陥クラスは一致している。一致の場合は分類結果欄３１０で各欠陥ＩＤの「一致」欄３０３に○を、不一致の場合は「不一致」欄３０４に○を付した。
　欠陥クラスが一致していない欠陥ＩＤよりも、欠陥クラスが一致している欠陥ＩＤの方が、ＭＤＣによる欠陥クラスの信頼性は高いと考えることができる。なお、図３ではＭＤＣ装置を５台としているが、これは説明のための便宜的なものであり、複数台であれば何台であっても構わない。分類結果欄３１０の多数決３０５の項に記載した欠陥クラスは、欠陥画像に対してＭＤＣで一番多くの得票を得た欠陥クラスである。画面３００には、一致３２１、不一致３２２、多数決３２３の選択ボタンから選択した少なくとも一つ以上表示すればよい。ＭＤＣ欠陥クラスが一致したもののみ、あるいは不一致の欠陥ＩＤに対応する情報のみを表示してもよい。
　まず、図３における欠陥クラスの一致を利用した方法を用いて、図２のフローチャートのＳ２０３以下を説明する。図３の不一致、多数決の利用方法は後述する。
　ＭＤＣ装置１０４（ＭＤＣ １～Ｎ）により付与された欠陥クラスを記憶部１１１から欠陥クラス比較部１１２に読み出し、比較を実行する（Ｓ２０３）。比較により欠陥クラスが一致した欠陥番号を特定し、特定した欠陥番号に対応する欠陥画像を画像選択部１１３で選択する（Ｓ２０４）。
　次に、画像選択部１１３で選択した欠陥画像を画像分類部１１５で自動分類し（Ｓ２０５）、分類性能評価部１１４において、画像分類部１１５で自動分類で得られた欠陥クラスと、選択画像のＭＤＣ欠陥クラスを用いてＡＤＣの性能評価を行う（Ｓ２０６）。Ｓ２００からＳ２０６までのステップを、図５以降で参照するために、まとめてＳ２１０としておく。画像選択部１１３で選択した欠陥画像が、既に画像分類部１１５で自動分類済みである場合には、Ｓ２０５を省略することができる。
　図４に、分類性能評価部１１４で実行するＡＤＣの性能評価の第一の例を示す。図４の表において、縦の列４０１はＭＤＣにより付与された欠陥クラス、横の列４０２はＡＤＣにより付与された欠陥クラスである。ＡＤＣにより欠陥クラス“Ａ”としたものの性能は、Purity性能４０３、すなわち、（ＡＤＣの欠陥クラス“Ａ”に対するTrue Positive数）／（ＡＤＣの欠陥クラス“Ａ”に対するTrue Positive数とFalse Positive数の総和）＝５５／（５５＋５＋０）×１００＝９２％で評価できる。これはＡＤＣにより欠陥クラス“Ａ”とした場合、９２％信頼性できると解釈でき、信頼性の指標となる。
　縦の列４０１のＭＤＣで欠陥クラス“Ａ”としたものを横の列４０２のＡＤＣで正しく分類できるかは、Accuracy性能４０４、すなわち、（ＭＤＣの欠陥クラス“Ａ”に対するTrue Positive数）／（ＭＤＣの欠陥クラス“Ａ”に対するTrue Positive数とFalse Negative数の総和）＝５５／（５５＋２＋３）×１００＝９２％で評価できる。これはＭＤＣに対しＡＤＣがどの程度正確に分類できるかを表す指標である。他の欠陥クラス“Ｂ”，“Ｃ”に対するAccuracy、Purityも同様である。
　図４の欄４０５には総合正解率が表示される。総合正解率は、（全てのTrue Positive数）／（全サンプルの総和）＝（５５＋２５＋９）／（５５＋２＋３＋５＋２５＋１＋９＝８９％である。
　図４で欄４０５に示した総合正解率を予め登録してある設定値と比較し（Ｓ２０７）、総合正解率が設定値以下の場合、すなわち分類性能が低い場合はＳ２０４で選択した画像によりＡＤＣの学習を行う（Ｓ２０８）。総合正解率が設定値以下の場合、図１の表示端末１１６に設定値以下であることのアラーム、あるいは総合正解率と設定値などを表示発報し、ユーザからの入力指示がある場合に、ＡＤＣの学習更新（Ｓ２０８）に進んでもよい。ここで、ＡＤＣ学習更新とは、ＡＤＣの処理レシピの調整のことである。
　図５にＳ２０７，Ｓ２０８とは異なる第一のＡＤＣ性能値と設定値の比較の方法を示す。Ｓ２１０は図２で示したＳ２１０と同じ範囲のステップ、すなわちＳ２００からＳ２０６までのステップを表す。図５の方法では、図４で示したPurity４０３を欠陥クラスごとに設定値と比較し（Ｓ５００）、Ｓ２０４で選択した画像から、設定値以下のPurityに対応する欠陥クラス（分類性能の低い欠陥クラス）の画像のみを用いてＡＤＣの学習更新を行う（Ｓ５０１）。設定値以下のPurityに対応する欠陥クラスがある場合、表示端末１１６に発報し、ユーザからの入力指示がある場合に、ＡＤＣ学習更新（Ｓ５０１）に進んでもよい。
　図６にＳ２０７，Ｓ２０８とは異なる第二のＡＤＣ性能値と設定値の比較の方法を示す。図６の方法では、図４で示したAccuracy４０４を欠陥クラスごとに設定値と比較し（Ｓ６００）、Ｓ２０４で選択した画像から、設定値以下のAccuracyに対応する欠陥クラス（分類性能の低い欠陥クラス）の画像のみを用いてＡＤＣの学習更新を行う（Ｓ６０１）。設定値以下のAccuracyに対応する欠陥クラスがある場合、表示端末１１６に発報し、ユーザからの入力指示がある場合に、ＡＤＣ学習更新（Ｓ６０１）に進んでもよい。
　図７にＡＤＣの性能評価の第二の例を示す。図７の表は、図４で説明した表と同様に縦の列７０１にＭＤＣによる欠陥クラス、横の列７０２にＡＤＣによる欠陥クラス、横の列の一番下の欄にはPurity７０３、縦の列の右端にはAccuracy７０４、右下の欄７０５には総合正解率が表示される。
　図７の表では図４の表に比べて、横の列７０２のＡＤＣの欠陥クラスにunkownクラス（未知欠陥クラス）７０２１が追加されている。unkownクラス７０２１は、学習した欠陥クラスの境界事例、あるいは学習した欠陥クラスには該当しない事例とＡＤＣが判定した場合に割り当てるために設けられたクラスである。図７の例では、unkownクラス７０２１はＡＤＣにより明示的に識別されたものとして、accuracy７０４の計算には反映させない事例を示している。
　図８にunkownを利用したＡＤＣの学習更新方法を示す。Ｓ２１０の処理を行った後、ＭＤＣの各欠陥クラスでＡＤＣがunkownと判定した画像数を、予め登録してある設定値と比較し（Ｓ８００）、unkown数が設定値以上のＭＤＣ欠陥クラスがあれば、Ｓ２０４で選択した画像から、該当するＭＤＣ欠陥クラスの中でunkownと判定された画像を用いＡＤＣの学習更新を行う（Ｓ８０１）。ＡＤＣの学習更新は、該当するＭＤＣ欠陥クラスの画像全てで行ってもよい。
　これにより該当欠陥クラスのＡＤＣ分類ロバスト性を向上させ、unkownの低減を図ることができる。設定値以上のunkown数を有するＭＤＣ欠陥クラスがある場合、表示端末１１６に発報し、ユーザからの入力指示がある場合に、ＡＤＣ学習更新（Ｓ８０１）に進んでもよい。
　図９は、新たな欠陥クラスＤが出現した場合の例である。図９に示した表の構成は、図７で説明した構成と同じで、縦の列９０１にＭＤＣによる欠陥クラス、横の列９０２にＡＤＣによる欠陥クラス、横の列の一番下の欄にはPurity９０３、縦の列の右端にはAccuracy９０４、右下の欄９０５には総合正解率が表示される。図９に示した表の縦の列９０１のＭＤＣでは新たな欠陥クラスを新たなクラスＤ９０１１として識別できるが、横の列９０２のＡＤＣでは教示されていないため、unkownクラス９０２１となる。縦の列９０１のＭＤＣの欠陥クラスがＤ９０１１で、横の列９０２のＡＤＣでunkownクラス９０２１とされた画像を、欠陥クラスＤとしてＡＤＣの学習更新を行うことで、ＡＤＣにも欠陥クラスＤを追加登録することが可能となる。
　ＡＤＣの学習を習熟させるためには、欠陥クラスごとに一定数以上の欠陥画像を教示する必要がある。その方法を、図１０に示す。図１０に示したフローにおいては、図２で説明したＳ２１０の処理を行った後に、各欠陥クラスの累積学習画像数を記録しておき、累積画像数と設定値を比較し（Ｓ１０００）、累積画像数が設定値以下の場合は、Ｓ２０４で選択した画像から、該当するＭＤＣ欠陥クラスの画像の全て、あるいは一部を使ってＡＤＣの学習更新を行う（Ｓ１００１）。この方法により学習画像数不足の欠陥クラスを解消することができる。累積画像数が設定値以下の欠陥クラスがある場合、表示端末１１６に発報し、ユーザからの入力指示がある場合に、ＡＤＣ学習更新（Ｓ１００１）に進んでもよい。
　図４から図１０では、図３において欠陥クラスが一致した画像を選択する方法で説明したが、図３の多数決の欠陥を使う場合は、図２のＳ２０４の画像選択において使用する各欠陥ＩＤの欠陥クラスを多数決の結果得られる欠陥クラスとすればよい。多数決の結果を使用すれば、Ｓ２００で決定された全画像を使用することができる。
　図１１に欠陥クラスの比較方法として重み付けを考慮した方法を示す。図１１に示した表は、欠陥ＩＤを表示する欄１１０１、ＭＤＣ装置毎にＭＤＣの結果を表示する欄１１０２、重みづけを表示する欄１１０３、欠陥ＩＤ毎に多数決の結果を表示する欄１１０４、欠陥ＩＤ毎にＡＤＣの結果を表示する欄１１０５を備えて構成されている。図１１は欠陥ＩＤ欄１１０１の欠陥番号１、２、３、４について、ＭＤＣ装置欄１１０２のＭＤＣ装置１，２，３，４，５での分類結果を示すものである。説明を単純化するために欠陥数を４としているが、欠陥数はこの限りではない。表中のＡ，Ｂ，Ｃは欠陥クラスを表す。欠陥ＩＤ欄１１０１と、ＭＤＣ装置欄１１０２の欠陥クラスの見方は図３と同じである。
　図１１に示した表では重み付けの考えを取り入れて、重みづけの欄１１０３が表示されている。図１１に示した例では、欠陥ＩＤ欄１１０１の欠陥ＩＤ１ではＭＤＣ装置欄１１０２のＭＤＣにおける欠陥クラスＡの判定が3件、Ｂが２件ある。この判定件数をそのまま重みづけの欄１１０３の重み付け値として利用する。欠陥ＩＤ２，３，４についても同様に、図１１に示したようにまとめることができる。図１１の表中の多数決の欄１１０４に書かれている欠陥クラスは、図３で説明した多数決の方法で決定したものである。一意にクラスが決定されているが、欠陥ＩＤ１や４では、他の欠陥クラスと拮抗していることは分からない。ここで、図１１の欠陥ＩＤ１，２，３，４をＡＤＣ処理して得られたクラスをＡＤＣのらん１１０５に示すクラスとして、重み付けを考慮してＡＤＣを性能評価した場合の効果を図１２と図１３を用いて説明する。
　図１２は重み付けを考慮してＡＤＣを性能評価した場合である。図１２に示した表の構成は、図４で説明したものと同じで、縦の列１２０１はＭＤＣにより付与された欠陥クラス、横の列１２０２はＡＤＣにより付与された欠陥クラス、一番下の欄にはPurity性能１２０３、位置版日具の列にはAccuracy性能１２０４、右下の隅の欄１２０５には総合正解率が表示される。図１１に示した例では、欠陥ＩＤ欄１１０１の欠陥ＩＤ１はＭＤＣ欠陥クラスＡが３件、Ｂが２件あり、ＡＤＣ欠陥クラスはＡなので、図１２のマトリックスの「ＭＤＣ欠陥クラスＡ／ＡＤＣ欠陥クラスＡ」に３票、「ＭＤＣ欠陥クラスＢ／ＡＤＣ欠陥クラスＡ」に２票、投票する。図１２は欠陥ＩＤ２，３，４に対しても同様の処理を行って得られた結果である。
　一方、図１３は多数決の結果決定した欠陥クラスを使用して評価した結果である。図１３に示した表の構成も、図４で説明したものと同じで、縦の列１３０１はＭＤＣにより付与された欠陥クラス、横の列１３０２はＡＤＣにより付与された欠陥クラス、一番下の欄にはPurity性能１３０３、位置版日具の列にはAccuracy性能１３０４、右下の隅の欄１３０５には総合正解率が表示される。図１３に示すように、多数決の結果決定した欠陥クラスを使用して評価した場合、ＡＤＣは１００％正解している。
　ＭＤＣ欠陥クラスの一致サンプルが無い、若しくは少ない場合、複数のＭＤＣの結果から、特定個人の傾向に偏らない分類の傾向からＡＤＣの性能評価を行うことも一つの手法である。図１３の結果からは補強すべきＡＤＣの性能は見えない。一方、図１２の結果からはPurity１２０３、Accuracy１２０４ともに欠陥クラスＢが追加学習としては優先順位が高いことが分かる。追加学習の際は、同一欠陥ＩＤの画像を複数回、ＭＤＣの欠陥クラスで学習するなどが考えられる。例えば欠陥ＩＤ１の場合、欠陥ＩＤ１の画像を欠陥クラスＡとして３回、Ｂとして2回学習させる。
　図２から図１０で示したＡＤＣの性能評価、学習データ更新の、生産適用中の実行タイミングはオペレータによる明示的な起動の他に、ＡＤＣのunkownクラスへの分類画像数による方法や、定期的実施など自動的な起動方法がある。
　次に、実施例１で説明した図２に示した処理フローにおいて、ＡＤＣの性能評価を行わず、ＭＤＣの結果をＡＤＣの学習に反映させる処理方法について、実施例２として図１４に示したフロー図を用いて説明する。
　すなわち、実施例１においては、ＭＤＣの結果に基づいて選択した画像についてＡＤＣを行ってＡＤＣの性能評価を行い、ＡＤＣの総合正解率が設定値以下の場合に、ＭＤＣの結果に基づいて選択した画像に基づいてＡＤＣを学習更新していた。これに対して本実施例においては、ＡＤＣの性能評価を行わず、ＭＤＣの結果に基づいて選択した画像に基づいて直ちにＡＤＣを学習更新するようにした。
　本実施例における自動欠陥分類装置の構成は、実施例１において図１を用いて説明した構成のうち分類性能評価部１１４を除いて構成されたものであり、それ以外は図１で説明したものと同じであるので、説明を省略する。
　図１４におけるＳ１４００からＳ１４０４までは、実施例１において説明した図２のフローにおけるＳ２００からＳ２０４までと同じであるので、説明を省略する。
　本実施例においては、Ｓ１４０３において、図３を用いて説明したような比較方法により欠陥クラスが一致した欠陥番号を特定し、Ｓ１４０４で特定した欠陥番号に対応する欠陥画像を画像選択部１１３で選択し、Ｓ１４０５において画像選択部１１３で選択した画像により学習更新部１１６でＡＤＣの学習更新を行い、画像分類部１１５で実行するＡＤＣの処理レシピを調整するようにした。
　本実施例によれば、複数の欠陥分類手段あるいは複数の欠陥分類結果からの多数決による結果を、自動欠陥分類部のデータベースに自動的に反映することにより、従来は人間による欠陥判定結果は正しいというのに立脚していたのに対し、本実施例では、人間には個人差があり、人により結果がばらつくという、全く正反対の観点に立脚し、多数決の結果を基に自動欠陥分類装置のデータベースを改善することで、人間による目視欠陥分類を超えた欠陥分類精度を自動欠陥分類で実現できるという、極めて顕著な作用を達成することができる。
　実施例１及び２においては、欠陥画像について先ずＭＤＣを行うことを前提とした処理を行ったが、本実施例では、その前段として欠陥画像について先ずＡＤＣを行い、その結果、欠陥を分類できないunknownな欠陥の数が設定値以上であった場合にだけＭＤＣを実行する処理、及び定期的にについて説明する。本実施例における自動欠陥分類装置の構成は、実施例１において図１を用いて説明した構成と同じであるので、説明を省略する。
　図１５に、本実施例におけるＡＤＣのunkownクラスへの分類画像数により起動をかける場合の処理フローを示す。まず、欠陥画像撮像装置１０２、あるいは歩留まり管理システム１０３から欠陥画像をＡＤＣ装置１００に受信し（Ｓ１５００）、受信した欠陥画像をＡＤＣ装置１００の画像分類部１１５で分類する（Ｓ１５０１）。分類の結果得られるunkownクラスの画像数と、予め登録してある設定値とを比較し（Ｓ１５０２）、unkownクラスの画像数が設定値以上の場合は、実施例１において図２から図１０を用いて説明したＡＤＣの性能評価、追加学習を行う（Ｓ１５０３）。Ｓ１５００で受信した画像をＳ１５０３での対象画像（すなわちＳ２００で欠陥画像）とする場合は、図２のＳ２０５のＡＤＣ処理はスキップしてよい。また、Ｓ１５００で受信した画像とは別の画像によりＳ１５０３を実行してもよい。
　図１６に定期的に起動をかける場合の処理フローを示す。まず、ＡＤＣ装置で管理されている現在時刻を、予め登録されている設定時刻と比較し（Ｓ１６００）、現在時刻が設定時刻になったら、欠陥画像撮像装置１０２、あるいは歩留まり管理システム１０３から欠陥画像をＡＤＣ装置１００に受信し（Ｓ１６０１）、実施例１において図２から図１０を用いて説明したＡＤＣの性能評価、追加学習を行う（Ｓ１６０２）。なお、登録する設定時刻の変わりに、前回のＡＤＣ性能評価・追加学習からの経過時間を登録し、前回のＡＤＣ性能評価・追加学習時刻に、登録してある経過時間を加算し、設定時刻としてもよい。これにより、ＡＤＣの定期的な性能評価、学習更新を行うことができる。
　以上、複数のＭＤＣ欠陥クラスを比較することにより、目視における個人差を排除したＭＤＣ欠陥クラスを得ることができるので、信頼性の高いＡＤＣ性能評価、及びＡＤＣの追加学習が可能となる。
　第４の実施例では、実施例１において図３を用いて説明したＭＤＣ欠陥クラス不一致の利用方法について説明する。図３でＭＤＣ欠陥クラスが不一致の欠陥ＩＤ１，４，７，８は、目視分類オペレータの作業水準にバラツキがあると捉えることができる。本実施例においては、このような画像を再度ＭＤＣ装置に戻すことで、目視分類オペレータの作業水準の平準化を図るようにした。
　図１７を用いて第４の実施例の処理フローを説明する。まず、欠陥画像を決定する（Ｓ１７００）。この欠陥画像は、実施例１において図２を用いて説明したＳ２００で決定する画像と同様である。あるいは、作業者の訓練用に意図的に選択した画像であってもかまわない。欠陥画像を決定したら、欠陥画像を複数のＭＤＣ装置１０４に送信する（Ｓ１７０１）。各ＭＤＣ装置１０４（ＭＤＣ １～Ｎ）でオペレータにより欠陥画像は分類され、欠陥クラスが付与される。付与された欠陥クラス情報を、ＭＤＣ装置１０４からデータ送受信部１１０を介して受信し、記憶部１１１に記憶する（Ｓ１７０２）。
　次に、ＭＤＣ装置１０４（ＭＤＣ １～Ｎ）により付与された欠陥クラスを記憶部１１１から欠陥クラス比較部１１２に読み出し、比較を実行する（Ｓ１７０３）。比較により欠陥クラスが不一致の欠陥番号を特定し、特定した欠陥番号に対応する欠陥画像を選択する（Ｓ１７０４）。比較により欠陥クラスの不一致を抽出する方法については、実施例１において図３で説明したとおりである。
　上記に説明したＳ１７００からＳ１７０４までのステップは、実施例１において図２を用いて説明したＳ２００～Ｓ２０４までのステップと同様な処理を行う。
　選択したＭＤＣ欠陥クラスが不一致の画像データに対して、欠陥クラス情報も送信するかをチェックし（Ｓ１７０５）、熟練者が判定した欠陥クラスを回答として作業者に開示しない場合は（Ｓ１７０５でＮＯの場合）、再度選択した欠陥画像をＭＤＣ１～Ｎに送信しオペレータにＭＤＣ作業を要求し（Ｓ１６０６）、熟練者が判定した欠陥クラスを回答として作業者に開示する場合は（Ｓ１７０５でＹＥＳの場合）、選択した欠陥画像と選択画像の欠陥クラス情報をＭＤＣ１～Ｎに送信し、作業者に確認させる。（Ｓ１６０７）。
　この結果を用いて、実施例１で説明した図２の処理フローに従ってＡＤＣの性能評価を行い、ＡＤＣ学習更新を行う。または、実施例２で説明したように、図１４の処理フローに従って選択した欠陥画像を用いてＡＤＣ学習更新を行う。
　本実施例によれば、ＭＤＣ欠陥クラスが不一致の画像をオペレータに確認させることで、オペレータの作業水準のバラツキを低減でき、作業水準の平準化を図ることができる。
　１００…自動欠陥分類装置、１０１…通信ネットワーク、１０２…欠陥画像撮像装置、１０３…歩留まり管理システム、１０４…目視欠陥分類ユニット、１１０…データ送受信部、１１１…記憶部、１１２…欠陥クラス比較部、１１３…画像選択部、１１４…分類性能評価部、１１５…画像分類部、１１６…入力・表示端末、１１７…バス。

Claims (20)

  1. 　欠陥の画像を分類する装置であって、
    　他の撮像手段で撮像して得られた欠陥の画像を記憶する記憶部と、
    　他の複数の欠陥分類手段で欠陥を分類した欠陥クラスの情報を用いて前記記憶部に記憶した欠陥の画像の中から画像を選択する画像選択部と、
    　前記画像選択部で選択した画像を分類レシピに基づいて分類する画像分類部と、
    　前記画像を分類した結果に基づいて前記画像分類部の分類性能を評価する分類性能評価部と、
    　前記分類性能評価部で評価した結果が予め設定した基準に達しない場合には前記画像選択部で選択した画像を用いて前記画像分類部の分類レシピを更新する学習更新部と
    を備えたことを特徴とする欠陥画像分類装置。
  2. 　請求項１記載の欠陥画像分類装置であって、前記他の複数の欠陥分類手段で分類した欠陥クラスを比較する欠陥クラス比較部を更に備え、前記欠陥クラス比較部で比較した情報に基づいて前記画像選択部で前記記憶部に記憶した欠陥の画像の中から画像を選択することを特徴とする欠陥画像分類装置。
  3. 　請求項１記載の欠陥画像分類装置であって、前記学習更新部は、前記分類性能評価部で評価した結果が予め設定した基準に達しない場合には前記画像選択部で選択した画像のうち前記画像分類部で未知欠陥クラスと判定された欠陥の画像を用いて前記画像分類部の分類レシピを更新することを特徴とする欠陥画像分類装置。
  4. 　請求項１記載の欠陥画像分類装置であって、前記画像分類部は、前記記憶部に記憶した前記他の撮像手段で撮像して得られた欠陥の画像を前記分類レシピに基づいて分類し、前記画像分類部で前記分類した結果未知欠陥クラスと判定された欠陥の数が予め設定した数以上になった場合に、前記画像選択部は、前記他の複数の欠陥分類手段で欠陥を分類した欠陥クラスの情報を用いて前記記憶部に記憶した欠陥の画像の中から画像を選択することを特徴とする欠陥画像分類装置。
  5. 　請求項１記載の欠陥画像分類装置であって、前記他の撮像手段および前記他の複数の欠陥分類手段と通信回線を介して接続されていることを特徴とする欠陥画像分類装置。
  6. 　欠陥の画像を分類する装置であって、
    　他の撮像手段で撮像して得られた欠陥の画像を記憶する記憶部と、
    　他の複数の欠陥分類手段で欠陥を分類した欠陥クラスの情報を用いて前記記憶部に記憶した欠陥の画像の中から画像を選択する画像選択部と、
    　前記記憶部に記憶した画像を分類レシピに基づいて分類する画像分類部と、
    　前記画像選択部で選択した画像を用いて前記画像分類部の分類レシピを更新する学習更新部と
    を備えたことを特徴とする欠陥画像分類装置。
  7. 　請求項６記載の欠陥画像分類装置であって、前記他の複数の欠陥分類手段で分類した欠陥クラスを比較する欠陥クラス比較部を更に備え、前記欠陥クラス比較部で比較した情報に基づいて前記画像選択部で前記記憶部に記憶した欠陥の画像の中から画像を選択することを特徴とする欠陥画像分類装置。
  8. 　請求項６記載の欠陥画像分類装置であって、前記学習更新部は、前記分類性能評価部で評価した結果が予め設定した基準に達しない場合には前記画像選択部で選択した画像のうち前記画像分類部で未知欠陥クラスと判定された欠陥の画像を用いて前記画像分類部の分類レシピを更新することを特徴とする欠陥画像分類装置。
  9. 　請求項６記載の欠陥画像分類装置であって、前記画像分類部は、前記記憶部に記憶した前記他の撮像手段で撮像して得られた欠陥の画像を前記分類レシピに基づいて分類し、前記画像分類部で前記分類した結果未知欠陥クラスと判定された欠陥の数が予め設定した数以上になった場合に、前記画像選択部は、前記他の複数の欠陥分類手段で欠陥を分類した欠陥クラスの情報を用いて前記記憶部に記憶した欠陥の画像の中から画像を選択することを特徴とする欠陥画像分類装置。
  10. 　請求項６記載の欠陥画像分類装置であって、前記他の撮像手段および前記他の複数の欠陥分類手段と通信回線を介して接続されていることを特徴とする欠陥画像分類装置。
  11. 　欠陥の画像を分類する方法であって、
    　他の撮像手段で撮像して得られた欠陥の画像を記憶部に記憶し、
    　他の複数の欠陥分類手段で欠陥を分類した欠陥クラスの情報を用いて画像選択部で前記記憶部に記憶した欠陥の画像の中から画像を選択し、
    　前記画像選択部で選択した画像を画像分類部で分類レシピに基づいて分類し、
    　前記画像を分類した結果に基づいて分類性能評価部で前記画像分類部の分類性能を評価し、
    　前記分類性能評価部で評価した結果が予め設定した基準に達しない場合には前記画像選択部で選択した画像を用いて学習更新部で前記画像分類部の分類レシピを更新する
    ことを特徴とする欠陥画像分類方法。
  12. 　請求項１１記載の欠陥画像分類方法であって、前記他の複数の欠陥分類手段で分類した欠陥クラスを欠陥クラス比較部で比較する工程を更に備え、前記欠陥クラス比較部で比較した情報に基づいて前記画像選択部で前記記憶部に記憶した欠陥の画像の中から画像を選択することを特徴とする欠陥画像分類方法。
  13. 　請求項１１記載の欠陥画像分類装置であって、前記学習更新部で行う分類レシピの更新が、前記分類性能評価部で評価した結果が予め設定した基準に達しない場合には前記画像選択部で選択した画像のうち前記画像分類部で未知欠陥クラスと判定された欠陥の画像を用いて前記画像分類部の分類レシピを更新することを特徴とする欠陥画像分類方法。
  14. 　請求項１１記載の欠陥画像分類方法であって、前記画像分類部で前記記憶部に記憶した前記他の撮像手段で撮像して得られた欠陥の画像を前記分類レシピに基づいて分類し、前記画像分類部で前記分類した結果未知欠陥クラスと判定された欠陥の数が予め設定した数以上になった場合に、前記画像選択部で前記他の複数の欠陥分類手段で欠陥を分類した欠陥クラスの情報を用いて前記記憶部に記憶した欠陥の画像の中から画像を選択することを特徴とする欠陥画像分類方法。
  15. 　請求項１１記載の欠陥画像分類方法であって、前記他の撮像手段および前記他の複数の欠陥分類手段からの情報を通信回線を介して取得することを特徴とする欠陥画像分類方法。
  16. 　欠陥の画像を分類する方法であって、
    　他の撮像手段で撮像して得られた欠陥の画像を記憶部に記憶し、
    　他の複数の欠陥分類手段で欠陥を分類した欠陥クラスの情報を用いて画像選択部で前記記憶部に記憶した欠陥の画像の中から画像を選択し、
    　前記記憶部に記憶した画像を画像分類部で分類レシピに基づいて分類し、
    　前記画像選択部で選択した画像を用いて学習更新部で前記画像分類部の分類レシピを更新する
    ことを特徴とする欠陥画像分類方法。
  17. 　請求項１６記載の欠陥画像分類方法であって、前記他の複数の欠陥分類手段で分類した欠陥クラスを欠陥クラス比較部で比較する工程を更に備え、前記欠陥クラス比較部で比較した情報に基づいて前記画像選択部で前記記憶部に記憶した欠陥の画像の中から画像を選択することを特徴とする欠陥画像分類方法。
  18. 　請求項１６記載の欠陥画像分類方法であって、前記学習更新部で行う分類レシピの更新が、前記分類性能評価部で評価した結果が予め設定した基準に達しない場合には前記画像選択部で選択した画像のうち前記画像分類部で未知欠陥クラスと判定された欠陥の画像を用いて前記画像分類部の分類レシピを更新することを特徴とする欠陥画像分類装置。
  19. 　請求項１６記載の欠陥画像分類方法であって、前記画像分類部で前記記憶部に記憶した前記他の撮像手段で撮像して得られた欠陥の画像を前記分類レシピに基づいて分類し、前記画像分類部で前記分類した結果未知欠陥クラスと判定された欠陥の数が予め設定した数以上になった場合に、前記画像選択部で前記他の複数の欠陥分類手段で欠陥を分類した欠陥クラスの情報を用いて前記記憶部に記憶した欠陥の画像の中から画像を選択することを特徴とする欠陥画像分類方法。
  20. 　請求項１６記載の欠陥画像分類方法であって、前記他の撮像手段および前記他の複数の欠陥分類手段からの情報を通信回線を介して取得することを特徴とする欠陥画像分類方法。
PCT/JP2015/066244 2015-06-04 2015-06-04 欠陥画像分類装置および欠陥画像分類方法 WO2016194210A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2015/066244 WO2016194210A1 (ja) 2015-06-04 2015-06-04 欠陥画像分類装置および欠陥画像分類方法
US15/579,047 US20180174000A1 (en) 2015-06-04 2015-06-04 Defect image classification device and defect image classification method
KR1020177034927A KR101978995B1 (ko) 2015-06-04 2015-06-04 결함 화상 분류 장치 및 결함 화상 분류 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/066244 WO2016194210A1 (ja) 2015-06-04 2015-06-04 欠陥画像分類装置および欠陥画像分類方法

Publications (1)

Publication Number Publication Date
WO2016194210A1 true WO2016194210A1 (ja) 2016-12-08

Family

ID=57440345

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/066244 WO2016194210A1 (ja) 2015-06-04 2015-06-04 欠陥画像分類装置および欠陥画像分類方法

Country Status (3)

Country Link
US (1) US20180174000A1 (ja)
KR (1) KR101978995B1 (ja)
WO (1) WO2016194210A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108257121A (zh) * 2018-01-09 2018-07-06 北京百度网讯科技有限公司 产品缺陷检测模型更新的方法、装置、存储介质及终端设备
JP2019075553A (ja) * 2017-09-28 2019-05-16 アプライド マテリアルズ イスラエル リミテッド 半導体試料の欠陥を分類する方法およびそのシステム
JP2019152948A (ja) * 2018-03-01 2019-09-12 日本電気株式会社 画像判定システム、モデル更新方法およびモデル更新プログラム
JP2020021224A (ja) * 2018-07-31 2020-02-06 株式会社Ｓｃｒｅｅｎホールディングス 分類器生成方法および分類器生成装置
US10769774B2 (en) 2018-01-09 2020-09-08 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and device for detecting a defect in a steel plate, as well as apparatus and server therefor

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI608369B (zh) * 2016-11-23 2017-12-11 財團法人工業技術研究院 分類方法、分類模組及電腦程式產品
JP7054436B2 (ja) * 2017-12-14 2022-04-14 オムロン株式会社 検出システム、情報処理装置、評価方法及びプログラム
JP7144244B2 (ja) * 2018-08-31 2022-09-29 株式会社日立ハイテク パターン検査システム
JP7203678B2 (ja) 2019-04-19 2023-01-13 株式会社日立ハイテク 欠陥観察装置
CN111126487A (zh) * 2019-12-24 2020-05-08 北京安兔兔科技有限公司 设备性能测试方法、装置及电子设备
IL276245A (en) * 2020-04-24 2021-10-31 Camtek Ltd A method and system for classifying woofer defects using images of a defective woofer, based on deep learning
CN114898121B (zh) * 2022-06-13 2023-05-30 河海大学 基于图注意力网络的混凝土坝缺陷图像描述自动生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002515650A (ja) * 1998-05-11 2002-05-28 アプライド マテリアルズ インコーポレイテッド 製造設備歩留まり向上システム
JP2004295879A (ja) * 2003-03-12 2004-10-21 Hitachi High-Technologies Corp 欠陥分類方法
WO2010076882A1 (ja) * 2008-12-29 2010-07-08 株式会社日立ハイテクノロジーズ 画像分類基準更新方法、プログラムおよび画像分類装置
WO2012144183A1 (ja) * 2011-04-20 2012-10-26 株式会社日立ハイテクノロジーズ 欠陥分類方法及び欠陥分類システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001256480A (ja) 2000-03-09 2001-09-21 Hitachi Ltd 画像自動分類方法及び装置
US6678404B1 (en) * 2000-10-31 2004-01-13 Shih-Jong J. Lee Automatic referencing for computer vision applications
KR20070104331A (ko) * 2004-10-12 2007-10-25 케이엘에이-텐코 테크놀로지스 코퍼레이션 표본 상의 결함들을 분류하기 위한 컴퓨터-구현 방법 및시스템
JP2006268825A (ja) * 2005-02-28 2006-10-05 Toshiba Corp オブジェクト検出装置、学習装置、オブジェクト検出システム、方法、およびプログラム
JP2011155123A (ja) 2010-01-27 2011-08-11 Kyocera Corp 積層セラミックコンデンサ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002515650A (ja) * 1998-05-11 2002-05-28 アプライド マテリアルズ インコーポレイテッド 製造設備歩留まり向上システム
JP2004295879A (ja) * 2003-03-12 2004-10-21 Hitachi High-Technologies Corp 欠陥分類方法
WO2010076882A1 (ja) * 2008-12-29 2010-07-08 株式会社日立ハイテクノロジーズ 画像分類基準更新方法、プログラムおよび画像分類装置
WO2012144183A1 (ja) * 2011-04-20 2012-10-26 株式会社日立ハイテクノロジーズ 欠陥分類方法及び欠陥分類システム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019075553A (ja) * 2017-09-28 2019-05-16 アプライド マテリアルズ イスラエル リミテッド 半導体試料の欠陥を分類する方法およびそのシステム
JP7286290B2 (ja) 2017-09-28 2023-06-05 アプライド マテリアルズ イスラエル リミテッド 半導体試料の欠陥を分類する方法およびそのシステム
CN108257121A (zh) * 2018-01-09 2018-07-06 北京百度网讯科技有限公司 产品缺陷检测模型更新的方法、装置、存储介质及终端设备
CN108257121B (zh) * 2018-01-09 2019-01-25 北京百度网讯科技有限公司 产品缺陷检测模型更新的方法、装置、存储介质及终端设备
US10769774B2 (en) 2018-01-09 2020-09-08 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and device for detecting a defect in a steel plate, as well as apparatus and server therefor
JP2019152948A (ja) * 2018-03-01 2019-09-12 日本電気株式会社 画像判定システム、モデル更新方法およびモデル更新プログラム
JP7130984B2 (ja) 2018-03-01 2022-09-06 日本電気株式会社 画像判定システム、モデル更新方法およびモデル更新プログラム
JP2020021224A (ja) * 2018-07-31 2020-02-06 株式会社Ｓｃｒｅｅｎホールディングス 分類器生成方法および分類器生成装置
JP7083721B2 (ja) 2018-07-31 2022-06-13 株式会社Ｓｃｒｅｅｎホールディングス 分類器生成方法および分類器生成装置

Also Published As

Publication number Publication date
KR101978995B1 (ko) 2019-05-16
US20180174000A1 (en) 2018-06-21
KR20170141255A (ko) 2017-12-22

Similar Documents

Publication Publication Date Title
WO2016194210A1 (ja) 欠陥画像分類装置および欠陥画像分類方法
KR102218364B1 (ko) 패턴 검사 시스템
US20210090238A1 (en) System and method for performing automated analysis of air samples
TWI670781B (zh) 疊代式缺陷濾除製程
JP3834041B2 (ja) 学習型分類装置及び学習型分類方法
JP5444092B2 (ja) 検査方法およびその装置
US11450122B2 (en) Methods and systems for defect inspection and review
US8041443B2 (en) Surface defect data display and management system and a method of displaying and managing a surface defect data
WO2010076882A1 (ja) 画像分類基準更新方法、プログラムおよび画像分類装置
US9747520B2 (en) Systems and methods for enhancing inspection sensitivity of an inspection tool
CN101197301A (zh) 缺陷检查装置及缺陷检查方法
WO2013153891A1 (ja) 荷電粒子線装置
JP2000057349A (ja) 欠陥の分類方法およびその装置並びに教示用データ作成方法
JP7054436B2 (ja) 検出システム、情報処理装置、評価方法及びプログラム
JP2018036226A (ja) 画像処理プログラム、画像処理方法および画像処理装置
KR20140044395A (ko) 결함 관찰 방법 및 결함 관찰 장치
US20150362908A1 (en) Automatic Recipe Stability Monitoring and Reporting
CN108445010A (zh) 自动光学检测方法及装置
JP7062474B2 (ja) 劣化状況識別装置、劣化状況識別方法及びプログラム
TWI553688B (zh) Charged particle beam device
KR101261016B1 (ko) 평판패널 기판의 자동광학검사 방법 및 그 장치
TW471016B (en) Defect detection using gray level signatures
JP2001127129A (ja) 試料の欠陥検査システム、および検査方法
JP2019075078A (ja) 工事現場画像判定装置及び工事現場画像判定プログラム
JP5983033B2 (ja) 位置関係判定プログラム、位置関係判定方法および位置関係判定装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15894243

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15579047

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20177034927

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15894243

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP