WO2011155123A1 - 観察画像の分類基準の最適化方法、および画像分類装置 - Google Patents

観察画像の分類基準の最適化方法、および画像分類装置 Download PDF

Info

Publication number
WO2011155123A1
WO2011155123A1 PCT/JP2011/002661 JP2011002661W WO2011155123A1 WO 2011155123 A1 WO2011155123 A1 WO 2011155123A1 JP 2011002661 W JP2011002661 W JP 2011002661W WO 2011155123 A1 WO2011155123 A1 WO 2011155123A1
Authority
WO
WIPO (PCT)
Prior art keywords
defect
adc
category
classification
image
Prior art date
Application number
PCT/JP2011/002661
Other languages
English (en)
French (fr)
Inventor
大博 平井
孝造 三宅
潤子 小西
Original Assignee
株式会社 日立ハイテクノロジーズ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 日立ハイテクノロジーズ filed Critical 株式会社 日立ハイテクノロジーズ
Priority to US13/702,674 priority Critical patent/US9020237B2/en
Priority to JP2012519217A priority patent/JPWO2011155123A1/ja
Publication of WO2011155123A1 publication Critical patent/WO2011155123A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Definitions

  • the present invention is based on a recipe in which observation conditions are registered, classifies observation images for the purpose of identifying the cause of defects by observing samples under various observation conditions and classifying the observation images by type.
  • the present invention relates to a standard optimization method and an observation apparatus.
  • this technique is effective when the optimum classification standard changes according to the sample characteristics, manufacturing process, and DOI (Defect Of Interest) during user use, such as a scanning electron microscope (SEM) type observation device.
  • SEM scanning electron microscope
  • the SEM observation apparatus is an apparatus for observing such various defects, and generally observes defects based on defect position information detected by a host inspection apparatus. Furthermore, in order to identify a problem process, the operation
  • Patent Document 1 discloses a method of quantifying the features of a defective portion and automatically classifying them using the feature amounts. Yes.
  • Patent Document 2 discloses an invention for displaying the ADC result in the form of a confusion matrix.
  • JP 2001-135692 A (US Pat. No. 6,922,482) Japanese Patent Laid-Open No. 2008-082821 (US Publication No. 2008/0075352)
  • the main purpose of the present invention is to provide an ADC recipe optimization method for reducing the burden of MDC work and an observation apparatus having an ADC function.
  • the ADC function mounted on the conventional defect observation apparatus or inspection apparatus is set to select either ADC or MDC.
  • ADC or MDC there are only two options: whether all defect classification is left to the device or manual manual classification, and the device executes part of the defect classification work and manually classifies some of the defects.
  • a function of performing defect classification by arbitrarily combining ADC and MDC has not been installed.
  • the present invention solves the problem of the present invention by displaying on the screen judgment information for judging which category should be classified by the MDC.
  • This determination information is more convenient to display on the screen display means for displaying the ADC result together with the ADC result, but can be displayed on another screen.
  • the present invention it is possible to reduce the amount of manual work in the work of classifying defect images detected as a result of defect review. As a result, the defect observation result can be quickly fed back to the manufacturing process, and the manufacturing yield can be improved.
  • the block diagram of a SEM type defect observation apparatus The block diagram of an observation image classification device.
  • the flowchart which shows the optimization procedure of a classification parameter Explanatory drawing of a confusion matrix.
  • Parameter optimization setting and evaluation screen for MDC work reduction The flowchart which shows the procedure of the parameter optimization for MDC work reduction.
  • the conceptual diagram for demonstrating the idea of parameter optimization in the classification algorithm which uses the boundary setting in a feature-value space as a parameter.
  • the conceptual diagram for demonstrating the concept of parameter optimization in the classification algorithm which uses the weight setting of a feature-value as a parameter.
  • category algorithm The flowchart which shows the procedure of the parameter optimization for DOI oversight reduction. Parameter optimization setting and evaluation screen for reducing missed DOI. Parameter optimization setting and evaluation screen to reduce MDC work and missed DOI. 6 is a configuration example of a defect selection GUI screen used for MDC.
  • Example 1 In the first embodiment, a configuration example of an SEM type defect observation apparatus having a function of displaying determination information for dividing ADC and MDC on a confusion matrix will be described.
  • the SEM type defect observation apparatus acquires a high definition SEM image of a defect position on a sample detected by an external defect detection apparatus such as an optical type or SEM type appearance inspection apparatus, and the obtained high definition SEM image is determined in advance. It is a device for classifying by criteria.
  • an external defect detection apparatus such as an optical type or SEM type appearance inspection apparatus
  • the performance of the observation apparatus is remarkably improved, and the number of defect images that can be acquired by defect observation per hour reaches several hundred to several thousand. It is virtually impossible to manually classify such a large amount of defect images manually, and it is essential to introduce ADC in order to classify defects for defect images that are sufficient for feedback to the manufacturing process. It is.
  • the ADC classification performance is not sufficient, and it is necessary to perform manual MDC for defects in some categories.
  • the determination result indicating which category the ADC result is reliable and which category the ADC result is unreliable is used as the result of ADC and MDC for a part of the defect image acquired from the observation target sample. This is calculated and displayed on the display unit 206, so that the judgment information of the ADC / MDC separation is presented to the apparatus user.
  • FIG. 1 is a schematic diagram showing the overall configuration of the SEM type defect observation apparatus of this example.
  • the SEM type defect review apparatus shown in FIG. 1 includes an electron optical system composed of optical elements such as an electron gun 101, a lens 102, a scanning deflector 103, an objective lens 104, a sample 105, a secondary particle detector 109, an observation object, and the like.
  • the image forming apparatus includes a storage device 116 having a recording medium for storing image data used for the optical microscope 119, an optical microscope 119, and the like.
  • the electron optical system, the electron optical system control unit 110, the A / D conversion unit 111, the stage 106, and the stage control unit 112 described above constitute a scanning electron microscope that is an imaging unit for SEM images.
  • the primary electron beam 107 emitted from the electron gun 101 is focused by the lens 102, deflected by the scanning deflector 103, focused by the objective lens 104, and irradiated on the sample 105.
  • Secondary particles 108 such as secondary electrons and reflected electrons are generated from the sample 105 irradiated with the primary electron beam 107 in accordance with the shape and material of the sample.
  • the generated secondary particles 108 are detected by the secondary particle detector 109 and then converted into a digital signal by the A / D converter 111.
  • the output signal of the secondary particle detector converted into a digital signal may be referred to as an image signal.
  • the output signal of the A / D conversion unit 111 is input to the image processing unit 114 to form an SEM image.
  • the image processing unit 114 includes an ADR processing unit 117 that executes image processing such as defect detection using the generated SEM image, and executes various types of image processing.
  • the electron optical system control unit 110 Control of optical elements inside the electron optical system such as the lens 102, the scanning deflector 103, and the objective lens 104 is performed by the electron optical system control unit 110.
  • the sample position control is executed by the stage 106 controlled by the stage control unit 112.
  • the overall control unit 113 is a control unit that comprehensively controls the entire SEM type defect observation apparatus.
  • the overall control unit 113 interprets inputs from the keyboard 116, the mouse 118, and the storage device 116, and the electron optical system control unit 110 and the stage control unit 112.
  • the image processing unit 114 and the like are controlled, and the processing result is output to the display unit 206 and the storage device 116 included in the operation unit 115 as necessary.
  • the automatic defect classification process is executed by the overall control unit 113, and the overall control unit 113 includes an ADC processing unit 118 for performing ADC.
  • the ADC processing unit executes ADC using the defect image extracted by the ADR processing unit or the defect image stored in the storage device 116.
  • the ADR processing unit 117 or the ADC processing unit 118 described above can be realized by either hardware or software.
  • the ADR processing unit 117 or the ADC processing unit 118 is configured by hardware, a plurality of arithmetic units that perform processing necessary for ADR or ADC are integrated on a wiring board or in one semiconductor chip or package.
  • the ADR processing unit 117 or the ADC processing unit 118 is configured by software, a high-speed general-purpose CPU is installed in the ADR processing unit 117 or the ADC processing unit 118, and a program for performing ADR or ADC processing is provided. This can be realized by executing.
  • FIG. 2 shows a more detailed view of the ADC processing unit 118 shown in FIG.
  • the ADC processing unit 118 shown in FIG. 2 includes a plurality of functional blocks that are realized by a CPU provided in the overall control unit 113 in FIG. 1 executing a predetermined program, and controls the entire ADC process.
  • An ADC control unit 202 that performs an image processing unit 203 that performs preprocessing necessary for defect classification, a classification processing unit 204 that performs actual defect classification processing using image data preprocessed by the image processing unit 203, and the like. It is configured.
  • the above functional blocks can also be realized by hardware. In that case, a semiconductor device in which an arithmetic unit that realizes the ADC control unit 202, the image processing unit 203, and the classification processing unit 204 is integrated is an overall control unit. 113 will be provided.
  • an image information storage unit 201 that stores image data preprocessed by the image processing unit 203 and a classification information storage unit 205 that stores a classification result executed by the classification processing unit 204. Has been.
  • the classification information storage unit 205 also stores MDC result information as verification data for verifying the ADC result. Physically, these storage units correspond to partitions, logical volumes, file systems, or the like provided in the storage device 116.
  • an operation unit 115 constituted by a keyboard 207 and a mouse 208, and a display unit 206 for displaying a processing result of the ADC and a GUI (Graphical User Interface) for giving an instruction to the apparatus.
  • GUI Graphic User Interface
  • the image information of the defect image acquired by the scanning electron microscope that is the imaging means is stored in the image information storage unit 201.
  • the ADC control unit 202 reads image information from the image information storage unit 201 and transfers it to the image processing unit 203.
  • the image processing unit 203 performs various feature amounts of the observation image necessary for the classification process from the transferred image information, for example, the size, shape, luminance distribution, texture, etc. of the defective portion, or the size, shape, luminance distribution of the background pattern.
  • Corresponding data such as the positional relationship between the defective portion and the background pattern is calculated and stored in the image information storage unit 201.
  • the ADC control unit 202 reads the feature amount data of the observation image stored in the image information storage unit 201 and transfers it to the classification processing unit 204.
  • the classification processing unit 204 performs defect classification processing based on a predetermined classification model, and stores the processing result in the classification information storage unit 205.
  • the teaching type automatically configures a classifier by teaching feature amount data associated with a correct classification result. For example, in the feature amount space based on the teaching data, the feature amount space is divided by defining the boundary to correspond to each category, and it is classified into the category by determining which feature amount space the classification target belongs to be able to.
  • a method of defining the boundary of the feature amount space a method of classifying into the category of the taught defect whose distance in the feature amount space is the closest, or a feature amount distribution of each defect category is estimated based on the teaching data.
  • the rule-based type is a method of classifying according to the rules described in if-then-else, for example, and repeatedly classifying the set of defects to be classified into two, and finally classifying each category
  • a binary tree structure classification model is typical. It has been put into practical use as an expert system or BRMS (Business Rules Management System).
  • BRMS Business Rules Management System
  • a program for performing defect classification based on the classification model is stored in the storage device 116, and the CPU in the overall control unit 113 executes this program, thereby realizing the classification processing function of the classification processing unit 204.
  • the Various processing execution instructions, selection of processing target data, and the like can be instructed from the operation unit 115 including the keyboard 207 and the mouse 208. Execution processes such as the above instruction contents, classification processing, and storage are displayed on the display unit 206, and the apparatus user can confirm the processing contents of the ADC by confirming the display contents.
  • the ADC processing unit 118 is not necessarily provided inside the overall control unit 113, and may be realized by an information processing unit provided independently of the overall control unit. Furthermore, the same ADC processing can be performed in parallel by a plurality of information processing means connected to the overall control unit 113.
  • a classification table called a confusion matrix is often used when evaluating a classification model that performs some sort of classification.
  • the confusion matrix is a table in which the number when correctly classified by the model and the number when mistakenly classified are displayed in a matrix. Basically, as shown in FIG. 4 (A), True (Positive ( (True positive), False ⁇ ⁇ Positive (false positive), False Negative (false negative), and True Negative (true negative).
  • the confusion matrix shown in FIG. 4B is a classification table in which the ADC results are displayed in the horizontal direction and the true classification results are displayed in the vertical direction in the matrix. In the example shown in FIG.
  • the number of defect points (True Positive) that was classified and the true classification result was A was a
  • the number of defect points (False Positive) that were classified into Category A by the ADC but the true classification result was B was a
  • the result of MDC is used as the true classification result.
  • Purity is an index indicating the classification performance, and indicates the purity of the ADC result. That is, it is a value calculated using the total number of certain categories classified by the ADC as the denominator and the number of correct classifications within that category as the numerator. It can be determined that the higher the Purity, the higher the reliability of the ADC result.
  • Accuracy refers to a category in the confusion matrix.
  • the MDC result of that category that is, the total number of defects to be classified into that category
  • the ADC succeeds in classification within that category. It is a value calculated using the number as a numerator. It can be determined that the higher this Accuracy is, the fewer defects that should be classified into that category are.
  • the above-described Purity and Accuracy information is used as judgment information indicating which category the ADC result is reliable and which category the ADC result is unreliable.
  • the classification accuracy rate in MDC work is considered to be about 80%. Therefore, if the Purity of the ADC is 80% or more, it can be determined that the category does not require the MDC work, that is, the Purity can be used as a criterion for determining whether visual confirmation by the MDC work is necessary.
  • FIG. 4C shows an example of a confusion matrix in which the number of classification categories is increased to three.
  • FIG. 4C is a schematic diagram showing an actual GUI displayed on the display unit 206. In addition to the confusion matrix 401, ADC / MDC separation determination information is displayed.
  • the ADC results corresponding to the category of interest or the MDC results corresponding to the classification result of interest are those other than true positive. What is necessary is just to calculate considering that all the classification results correspond to false negative or false positive.
  • Purity for other ADC results “B” and “C”, or Accuracy for other categories B and C can be calculated in the same manner.
  • the confusion matrix shown in FIG. 4C is generated when the ADC control unit 202 reads out the classification information stored in the classification information storage unit 205.
  • the classification information storage unit 205 stores the MDC result data together with the ADC result data in association with the common defect ID, and the ADC control unit 202 refers to the ADC with reference to the defect ID.
  • the result data of MDC and the result data of MDC are read, and the number of defects in the same category is counted to generate a confusion matrix.
  • the ADC control unit 202 similarly classifies True ⁇ ⁇ Positive and False Negative or True Positive and False Positive for each category in which the numerical value in the confusion matrix is focused. Based on the above-described formula, True Positive number / Total of True Positive number and False Positive number, or True Positive number / True Positive number and total of False Negative number.
  • a message 402 indicating a category that requires MDC, a Purity highlight 403 that does not require MDC, a category highlight 404 that does not require MDC, or the like can be used.
  • a highlighting method an appropriate object such as a circle as shown in FIG. 4C is superimposed on the confusion matrix, and numbers and backgrounds corresponding to Purity and categories are highlighted. Alternatively, a method such as changing the color can be used.
  • the message 402 gives a category that requires MDC
  • the highlights 403 and 404 give a numeric value or category that does not require MDC.
  • a message may be displayed, or highlighting may be performed on a numerical value or category that requires MDC.
  • the highlighting 403 or 404 is applied to a category or numerical value that satisfies the criterion that Purity is 80% or more, that is, a category or numerical value that does not require MDC.
  • This numerical value is an initial value that the ADC processing unit 118 has, but it is also possible to change the initial value. Therefore, the ADC control unit 202 displays a determination criterion setting box 405 on the GUI so that the device user can input an arbitrary numerical value.
  • the ADC control unit 202 reads a numerical value input to the GUI, and changes a message displayed on the GUI and a target item (category or numerical value) to be highlighted on the confusion matrix based on the numerical value.
  • a method for optimizing a threshold value used for defect classification processing using a confusion matrix will be described. For example, when classifying defects using a classification model of a binary tree structure, classification of each tree constituting the binary tree is performed based on whether or not the defect feature amount exceeds a certain threshold value. Therefore, in order for the apparatus user to classify defects with a desired accuracy, the threshold value needs to be optimized.
  • the threshold optimization method will be described. Since the threshold is a parameter-set amount, the threshold is referred to as “parameter” in the following description.
  • FIG. 3 is a flowchart showing the procedure of the classification process parameter optimization.
  • a target Purity or Accuracy selection request is displayed on the display unit 206 (step 301).
  • the device user inputs the Purity or Accuracy to which attention is paid according to the selection request on the GUI.
  • a classification process is executed with a combination of a plurality of classification parameters (step 302). This processing is executed by the ADC processing unit 118 as described with reference to FIG.
  • the classification result is displayed on the display unit 206 (step 303). In order to compare and display the classification results for a plurality of classification parameters, if the confusion matrix is displayed in parallel for each of the plurality of classification parameters, the evaluation results can be displayed easily.
  • a classification parameter selection button is displayed on the GUI on which the display result is displayed. Therefore, the user selects the best result from the classification results executed with the plurality of classification parameters (step 304).
  • the ADC control unit 202 determines a parameter to be adopted based on the input result (step 305). With the above procedure, it is possible to determine an optimum parameter for improving the classification performance of the focused category by paying attention to the accuracy rate of the specific category.
  • FIG. 5 is an example of a GUI for confirming the evaluation results with a plurality of parameters when optimizing parameters for the purpose of reducing MDC work.
  • a confusion matrix generated for a plurality of parameters is shown in FIG. Displayed for each parameter.
  • a determination criterion setting box 501 for setting a determination criterion that does not require MDC work and a sort criterion setting box 502 for displaying the components of the confusion matrix in the order desired by the user.
  • Parameter input boxes 503 and 504 a manual switching button 505 for parameter setting, and an auto switching button 506 are displayed.
  • the “MDC work unnecessary rate” displayed in the figure is obtained by dividing the number of defects (or the number of defect images) classified into the category determined to be MDC unnecessary by the total number of defects (or the total number of defect images). It is a numerical value and is calculated by the ADC control unit 202. It is also possible to calculate and display the “MDC work necessary rate” instead of the “MDC work unnecessary rate”, and the definition in that case is the number of defects classified into the categories determined as necessary by the MDC (or the defects). (Number of images) divided by the total number of defects (or the total number of defective images).
  • the criterion for not requiring MDC work is set as Purity ⁇ 80%, and the evaluation results are sorted and displayed in descending order of the number of defects that are judged to require no MDC work, that is, in descending order of Purity. ing.
  • FIG. 6 is a flowchart of classification parameter optimization for the purpose of reducing MDC work.
  • the ADC control unit 202 first displays on the GUI a determination criterion setting request (for example, a determination criterion setting box 501) that does not require MDC work and a setting request for whether the optimum parameter is automatically set on the apparatus side or manually. Step 601).
  • a determination criterion setting request for example, a determination criterion setting box 501
  • a setting request for example, an input box or setting button for setting these items is displayed on the GUI.
  • the device user inputs a criterion according to the setting request. In the case of FIG. 5, Purity ⁇ 80% is set.
  • a classification process is executed with a plurality of classification parameters (step 602).
  • the processing executed by the apparatus in step 602 is as described above with reference to FIG. 4 or FIG.
  • the process branches between when the optimum parameter is automatically set and when the optimum parameter is selected and set manually.
  • the ADC control unit 202 calculates the MDC work unnecessary rate (step 604), and employs a classification parameter that maximizes the number of defects belonging to the MDC unnecessary category.
  • the finally adopted parameters are displayed on the GUI (step 605).
  • the optimum parameter is selected and set manually, as shown in FIG. 5, the result of classification execution by a plurality of parameters is compared and displayed on the GUI (step 606), and the apparatus enters a state waiting for input of the optimum parameter (step 606).
  • Step 607 The user inputs the best result on the GUI as shown in FIG. 5, and the ADC control unit 202 adopts the input result as the optimum parameter (step 608).
  • Manual selection setting is required when the classification parameter that maximizes the MDC work unnecessary rate is not necessarily adopted as the optimum parameter.
  • the selection setting is performed in consideration of other judgment criteria. There is a need to. For example, the importance of the classification category may be taken into account, or the determination may be made together with the classification parameter setting for the purpose of reducing oversight described later.
  • the best results can be easily selected by displaying in parallel the confusion matrix, the criteria for determining that the MDC work is not required, the MDC work unnecessary or required category name, the MDC work unnecessary rate, and the like. According to the above procedure, the optimum classification parameter for reducing the MDC work can be set automatically or manually.
  • the confusion matrix is also displayed on the optimal parameter display screen at the same time, but this is only displayed for ease of use by the device user, and is essentially important. It is a screen display of discrimination information indicating which category requires (or does not require) MDC. Therefore, as shown in FIG. 5, the confusion matrix is not displayed, and the calculated Purity and information on the category that requires or does not require MDC or only the message that indicates the category that requires (or does not need) MDC is displayed. Good.
  • Example 2 In this embodiment, a method for optimizing a boundary value (parameter) when an algorithm that sets a boundary line between categories in a feature amount space and performs classification based on the boundary line will be described.
  • the description is simplified to a two-dimensional space and uses a classification model of a binary tree structure, the algorithm is not limited to the binary tree structure, and can be applied to boundary setting in a multidimensional space.
  • an SEM type defect observation apparatus As an apparatus on which the optimization method of the present embodiment is mounted, an SEM type defect observation apparatus is assumed. However, the hardware configuration of the apparatus is the same as that of the first embodiment, and thus the description thereof is omitted.
  • FIG. 7 shows a feature distribution diagram for explaining a parameter optimization method in the algorithm of this embodiment.
  • the boundary line is a parameter.
  • the feature quantity is 1 on the horizontal axis and the feature is on the vertical axis.
  • the quantity 2 is adopted and expressed by two feature quantities.
  • the feature amount distribution of category A is represented by ⁇
  • the feature amount distribution of category B is represented by ⁇
  • three types of boundary lines are represented by parameters 1, 2, and 3.
  • FIG. 8 compares the classification results when parameter 1 and parameter 2 are adopted in the example of FIG. In general, it is often set to about 80%, but since the number of categories is small, the determination criterion indicating that the MDC work is not required shown in the determination criterion setting box 801 is strictly set as Purity ⁇ 95%.
  • the parameter 2 aiming at improving the Purity of the category D as expected does not require the category D to require the MDC work.
  • the MDC work unnecessary rate is greatly improved to 60%. This indicates that introduction of ADC can reduce 60% of manual MDC work.
  • the overall accuracy rate (calculated by (a + d) / (a + b + c + d) in FIG. 4) is 92% to 90% compared to the case where parameter 2 is adopted.
  • the MDC work unnecessary rate drastically increases from 0% to 60%. It has improved.
  • Example 3 In this embodiment, a weight optimization method when an algorithm that improves classification performance by changing the weight of each feature amount will be described.
  • the weight corresponds to the parameter.
  • the number of features is limited to two.
  • the algorithm can be applied to a multidimensional space, and the distance between the feature amount distribution of teaching data and the classification target data in the multidimensional space.
  • the present invention can also be applied to a method of quantifying the amount corresponding to the distance in the feature amount space, such as calculation or phage voting, by another calculation method.
  • an SEM type defect observation apparatus is assumed as an apparatus on which the optimization method of the present embodiment is mounted.
  • the hardware configuration of the apparatus is the same as that in the first embodiment, Description is omitted.
  • FIGS. 9A and 9B show feature histograms for explaining the concept of parameter optimization in the algorithm of this embodiment.
  • 9A and 9B three types of categories, categories F, G, and H, and feature amounts of feature amounts 3 and 4 are extracted and shown in schematic diagrams for explanation.
  • This feature amount histogram represents the feature amount distribution of the teaching data.
  • the feature amount histogram is created by taking the value of feature amount 3 on the horizontal axis and the occurrence frequency on the vertical axis.
  • the data taught as the category F tends to have a smaller feature amount than the categories G and H.
  • the feature amount of the classification target data is small, the data is likely to be classified into the category F.
  • This feature quantity distribution is created by the ADC processing unit 118 in FIG. 1 and the ADC control unit in FIG.
  • the image processing unit 203 uses the image stored in the image information storage unit, the image processing unit 203 performs image processing calculation to calculate a feature amount, and the classification processing unit 204 converts it into a format suitable for classification processing. It is displayed on the display unit 206.
  • the result is preferably stored in the classification information storage unit 205 in order to facilitate reuse.
  • the feature amount histogram of the category F increases the weight of the feature amount having a feature amount distribution that does not overlap with the other categories G and H, and conversely, the feature amount histogram of the category F
  • the weight of the feature amount having the feature amount distribution overlapping with the other categories G and H may be reduced.
  • the weight of the feature amount 3 shown in FIG. 9A is increased, and the weight of the feature amount 4 shown in FIG. 9B is reduced.
  • the feature weight parameter can be set automatically.
  • the initial value is a value equally divided by the number of feature amounts
  • the weight parameter is changed to a plurality of values with respect to the initial value, and the parameter having the highest Purity of the category of interest is adopted as the optimum value.
  • the purpose is to prevent an overlooked category from being overlooked
  • manual setting is possible instead of automatic setting. For example, when there is knowledge based on experience, an optimum solution can be obtained efficiently in a short time by setting the initial value, step size, and upper and lower limits of the parameter.
  • the initial value, the step size, and the upper and lower limits of the swing width are set for the GUI displayed on the display unit 206 of FIG.
  • the image processing unit 203 calculates the feature amount using the data stored in the image information storage unit 201 or reads the feature amount stored in the classification information storage unit, and the classification processing unit 204 reads the feature amount.
  • the weight parameter is optimized and the result is displayed on the display unit 206.
  • This system can improve the Purity, Accuracy, or overall accuracy rate of the category of interest in a system that improves classification performance by optimizing feature weights. This is particularly effective in a system that employs a learning type classification algorithm.
  • Example 4 an embodiment of a method for optimizing the connection at each stage in a system that classifies classification targets in stages will be described.
  • the connection at each stage is a parameter.
  • the classification algorithm at each stage is not limited to a combination of different ones, but can be applied to a model that narrows down the classification target in multiple stages within a single classification algorithm, for example.
  • the present embodiment also assumes mounting on an SEM type defect observation apparatus, but the hardware configuration of the apparatus is the same as that in the first embodiment, and thus description thereof is omitted.
  • FIG. 10A is a schematic diagram of category links for explaining a parameter optimization method when an algorithm that improves classification performance by classifying into multiple stages is adopted.
  • the categories I and J are respectively obtained at the n + 1th stage.
  • Categories J and K, and categories K and I so that the difficulty of classification can be reduced.
  • the classification parameters correspond to the nth and n + 1th category links.
  • parameter 1 indicates that the category link is not actually disconnected
  • parameter 1 indicates that the category link 1001 is disconnected
  • parameter 2 indicates that the category link 1002 is disconnected
  • parameter 3 indicates that both the category links 1001 and 1002 are disconnected.
  • Example 5 In the present embodiment, a parameter optimization method for reducing detection omissions / missing as much as possible for a defect type of interest, that is, a specific defect category that is particularly interesting to an apparatus user will be described.
  • the above-mentioned interest defect is referred to as DOI. Since the overall configuration of the apparatus is the same as that of the first embodiment, description thereof is omitted.
  • Accuracy is a value calculated in the confusion matrix using the number of ADC correct defects for the target category as the numerator and the MDC result for the category as the denominator. Therefore, since the higher the Accuracy, the fewer the defects that should be classified into the category are less likely to be missed, so that it can be used as an evaluation index for the DOI miss rate.
  • FIG. 11 is a flowchart showing a parameter optimization procedure of the present embodiment
  • FIG. 12 is a schematic diagram of a GUI screen on which the parameter optimization result of the present embodiment is displayed.
  • the GUI screen in FIG. 12 is displayed on the display unit 206 in FIG.
  • a defect request (hereinafter referred to as DOI) for which a miss rate is to be reduced, a determination criterion, and an optimum parameter are set on the GUI, and a setting request for whether to automatically set or manually set the defect category.
  • DOI defect request
  • the setting request for example, the determination criterion setting box 1201, the sorting criterion setting box 1202, the parameter input boxes 1205 and 1206 for setting the evaluation criterion threshold shown in FIG.
  • the device user inputs a desired setting value via these boxes and buttons.
  • the determination criteria there are the accuracy of a specific DOI, the number of defects belonging to a category exceeding the accuracy that is the reference for the DOI, and the like.
  • the category C is DOI
  • the DOI miss rate of category C is adopted as the DOI miss criteria 1201.
  • Accuracy ⁇ 90% is set.
  • a plurality of categories can be set as the DOI.
  • the setting value of the determination criterion can be changed for each category. By changing the judgment criterion for each category, weighting can be performed according to the importance of the defect type to be classified, and the DOI can be set more flexibly.
  • the ADC processing unit 118 executes a classification process using the input plurality of classification parameters (step 1102).
  • step 1103 the process branches between when the optimum parameter is automatically set and when the optimum parameter is selected and set manually. If the Manual switching button 1207 is pressed at the start of the flow, Step 1103 branches to No. If the Auto switch button 1208 is pressed, the process branches to Yes.
  • the ADC control unit 202 calculates a DOI miss rate based on each input parameter (step 1104), determines a parameter that minimizes the DOI miss rate, and further calculates the calculation result. Display on GUI.
  • the ADC control unit 202 displays the result of the classification execution with a plurality of parameters (step 1105) and waits for parameter input (step 1106).
  • the user selects the best result by clicking a parameter selection button 1205, 1206 as shown in FIG. 12, for example. Instead of the parameter selection button, an input box for inputting the text of the parameter itself may be displayed.
  • the ADC control unit 202 adopts the selected parameter (step 1107).
  • the GUI shown in FIG. 12 corresponds to a display screen after execution of step 1105 or step 1106.
  • Calculation results for a plurality of parameters are displayed in parallel as a confusion matrix, and messages 1203 and 1204 indicating the DOI miss rate are displayed for each category.
  • the confusion matrix for each parameter can be sorted and displayed for any parameter.
  • the matrix is arranged in the ascending order of the DOI miss rate as the sort criterion.
  • the DOI miss rate is 10% for parameter 1 and 30% for parameter 2, and it can be seen that it is better to use parameter 1 when it is desired to reduce the miss of category C.
  • the parameter adjustment method may be different from that for the purpose of reducing MDC work.
  • the Purity of category A which is frequently generated, is improved. This is effective in reducing the MDC work, and can be expected to be optimized in the order of parameter 3, parameter 1, and parameter 2.
  • category A is DOI and the purpose is to reduce the miss of DOI
  • improving the accuracy of category A is effective for reducing the miss of DOI, so parameter 2, parameter 1, and parameter 3 are optimal in this order.
  • the Purity of category I having a high occurrence frequency can be improved for the purpose of reducing MDC work. Since it is effective in reducing the MDC work, consider cutting the category link of category I as shown in FIG. However, for the purpose of reducing the oversight of the DOI, if the category I is the DOI, improving the accuracy of the category I is effective in reducing the oversight of the DOI. Therefore, as shown in FIG. Consider not only leaving the I category links 1003 and 1005 without deleting them, but also adding an intermediate classification ⁇ and category I category links 1004.
  • the number of missed images due to misclassification of observation images that should be classified into the DOI category can be minimized, so that it is possible to prevent omission of countermeasures to problematic processes due to missed DOIs. it can.
  • FIG. 13 is an example of a GUI showing a result of optimization of classification parameters based on two determination criteria of reduction of MDC work and reduction of missed DOI.
  • the category C is selected as the DOI
  • the miss rate of the category C is set as one of the determination criteria 1301.
  • Purity ⁇ 80% is set as the determination standard 1301 that does not require the MDC work.
  • the display order of the confusion matrix is such that the sorting criterion 1302 is in the order of low DOI miss rate, so that the parameter displayed at the top can be determined as the optimum parameter.
  • the number of defects that should be classified into the category set in the DOI that is, the number of defects classified as category C in the MDC is used as the denominator, and the category that does not perform the confirmation work by the MDC work is mistaken.
  • Example 7 a configuration of an SEM type defect observation apparatus having a function of selecting a defect to be used for MDC performed in advance to generate a confusion matrix on a defect map will be described.
  • FIG. 14 shows an example of a GUI screen for selecting a defect for performing MDC.
  • the defect map 1401 is displayed on the left side of the screen, and the apparatus user operates a pointer 1402 shown on the GUI using a pointing device such as a mouse to select an arbitrary defect on the defect map.
  • the selected defect is activated and displayed on the GUI as indicated by 1403, and a high-magnification image of the selected defect is displayed as a thumbnail on the left side of the screen.
  • a defect ID is assigned to each defect, and a defect ID display field 1405 is also displayed below the thumbnail image 1404.
  • the personal computer When selecting a defect to perform MDC after ADR execution, the personal computer provided in the display unit 206 searches and displays the storage device 116 based on the defect ID.
  • defect selection is performed before ADR execution, an SEM image is captured via the overall control unit.
  • thumbnail images patch images acquired by an appearance inspection apparatus can be used.
  • the device user inputs defect type information in the defect type input box 1406 while referring to the displayed thumbnail image 1404.
  • the active display 1403 is changed to an inactive display 1407 as indicated by a black circle in the drawing.
  • the input defect ID and defect type information of the defect ID are stored in the classification information storage unit 205 and used when generating a confusion matrix.
  • the MDC execution screen of the present embodiment may be displayed not only on the GUI displayed on the operation unit 115 but also on an offline computer (with the SEM type defect observation apparatus).
  • Electron gun 102 Lens 103 Deflector 104 Objective lens 105
  • Sample 106 Stage 107
  • Electron beam 108 Secondary particle 109
  • Secondary particle detector 110
  • Electron optical system control unit 111
  • a / D conversion unit 112
  • Stage control unit 113
  • Image processing unit 115
  • Operation unit 116
  • Storage device 117
  • ADR processing unit 118
  • ADC processing unit 119
  • Optical microscope 201 Image information storage unit 202
  • ADC control unit 204
  • Classification processing unit 205
  • Classification information storage unit 206
  • Display unit 207 Keyboard 208
  • Mouse 401 Confusion matrix 402 Message 403, 404 indicating category that requires MDC 405, 501, 801, 1201 Judgment standard setting box 502, 1202 Sort standard setting box 503, 504, 1205, 1206 Meter input box 505, 1207 Manual switching button 506, 1208 Auto switching button 802, 803, 1304, 1305 Result 1001, 1002, 1003, 1004, 1005 Category link 1203, 1204 Message

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Image Processing (AREA)

Abstract

　ＡＤＣ（Automatic Defect Classification）とＭＤＣ（Manual Defect Classification）作業を併用する際に、ＭＤＣ作業の負担を低減することを第一の目的とする。さらに、ＤＯＩ（Defect Of Interest）の見逃しを防止することを第二の目的とする。　一部ＡＤＣ，一部ＭＤＣを行う際に必要となるＡＤＣ／ＭＤＣ切り分けの判断情報を画面表示することにより、上記第一の目的を達成する。この際、ＡＤＣ，ＭＤＣの各分類結果もマトリックス表示する。また、ＤＯＩの見逃し率を欠陥分類に用いる分類の閾値ごとに計算して画面表示する。

Description

観察画像の分類基準の最適化方法、および画像分類装置
　本発明は、観察条件を登録したレシピに基づき、様々な観察条件で試料の観察を行い、観察画像を種類別に分類することで、欠陥の発生原因を特定することを目的とした観察画像の分類基準の最適化方法、および観察装置に関するものである。特にＳＥＭ（Scanning Electron Microscope）式観察装置のように、試料の特性，製造工程，ユーザー使用時のＤＯＩ（Defect Of Interest）に応じて、最適な分類基準が変化する場合に有効な技術である。
　半導体製造あるいは液晶装置の製造など、基板上に微細なパターンを形成する製造工程において、高い歩留りを確保するためには、製造工程で発生する欠陥を早期に発見して、対策を施すことが重要である。近年、半導体の微細化に伴い、微小な欠陥であっても、歩留りに与える影響を無視できなくなり、観察対象となる欠陥の多様化が進んでいる。
　ＳＥＭ式観察装置は、このような多様な欠陥を観察するための装置であり、一般に上位の検査装置で検出した欠陥位置情報をもとに欠陥を観察する。さらに、問題工程を特定するために、欠陥の種類別に分類する作業が実施されている。また観察装置の性能向上は目覚しく、より微細な欠陥が観察できるようになり、スループットの向上と合わせて、取得可能な観察画像の数は飛躍的に増加している。したがって、取得画像を用いて観察欠陥をカテゴリ（欠陥の種類）別に分類する作業を自動化する技術が開発されている。
　この欠陥の分類作業を自動化する機能はＡＤＣ（Automatic Defect Classification）と呼ばれ、例えば特許文献１には、欠陥部分の特徴を定量化し、それらの特徴量を用いて自動分類する方法が開示されている。
　また、特許文献２には、ＡＤＣの結果をコンフュージョンマトリックスの形式で表示する発明が開示されている。
特開２００１－１３５６９２号公報（米国特許６９２２４８２号） 特開２００８－０８２８２１号公報（米国公開公報２００８／００７５３５２号）
　しかし人手によるＭＤＣ（Manual Defect Classification）と比較すると、上記ＡＤＣは分類性能が不十分であるため、ＭＤＣからＡＤＣへの置換え事例は限定的であり、ＡＤＣの普及は進んでいない。このためＭＤＣに多くの時間を要しており、観察装置を使用するユーザーの負担が大きいという問題があった。
　そこで、ＭＤＣからＡＤＣへの完全な置換えでなくても、部分的にでもＡＤＣを使うことでＭＤＣ作業の負担を低減したいというニーズが高まりつつある。
　本発明は、ＭＤＣ作業の負担を低減するためのＡＤＣレシピの最適化方法、およびＡＤＣ機能を有する観察装置の提供を主要な目的とする。
　従来の欠陥観察装置あるいは検査装置に搭載されているＡＤＣ機能は、ＡＤＣかＭＤＣのいずれかを選択するように設定されている。つまり従来の観察装置では、欠陥分類を全て装置に任せるか、あるいは人手によるマニュアル分類で行うかという２つの選択肢しかなく、欠陥分類作業の一部を装置が実行し、一部をマニュアル分類するといったＡＤＣとＭＤＣを任意に組み合わせて欠陥分類を行うといった機能が搭載されていなかった。
　そこで本発明は、いずれのカテゴリに対する分類作業をＭＤＣにより行うべきかを判断するための判断情報を画面表示することにより、本発明の課題を解決する。この判断情報は、ＡＤＣの結果を表示する画面表示手段上にＡＤＣ結果と併せて表示させた方が使い勝手が良いが、別画面に表示させることも可能である。
　本発明によれば、欠陥レビューの結果検出された欠陥画像の分類作業において人手による作業量を低減することができる。ひいては、欠陥観察結果を迅速に製造工程にフィードバックすることが可能となり、製造歩留まりを向上させることが可能となる。
ＳＥＭ式欠陥観察装置の構成図。 観察画像分類装置の構成図。 分類パラメータの最適化手順を示すフローチャート。 コンフュージョンマトリックスの説明図。 ＭＤＣ作業低減のためのパラメータ最適化の設定および評価画面。 ＭＤＣ作業低減のためのパラメータ最適化の手順を示すフローチャート。 特徴量空間における境界設定をパラメータとする分類アルゴリズムにおいて、パラメータ最適化の考え方を説明するための概念図。 特徴量空間における境界設定をパラメータとする分類アルゴリズムにおいて、パラメータ最適化の考え方を説明するための設定および評価画面。 特徴量の重み設定をパラメータとする分類アルゴリズムにおいて、パラメータ最適化の考え方を説明するための概念図。 多段階分類アルゴリズムにおいて、パラメータ最適化の考え方を説明するための概念図。 ＤＯＩ見逃し低減のためのパラメータ最適化の手順を示すフローチャート。 ＤＯＩ見逃し低減のためのパラメータ最適化の設定および評価画面。 ＭＤＣ作業低減とＤＯＩ見逃し低減のためのパラメータ最適化の設定および評価画面。 ＭＤＣに用いる欠陥の選択用ＧＵＩ画面の構成例。
（実施例１）
　実施例１では、コンフュージョンマトリックス上にＡＤＣとＭＤＣ切り分けの判断情報を表示する機能を備えたＳＥＭ式欠陥観察装置の構成例について説明する。
　ＳＥＭ式欠陥観察装置とは、光学式あるいはＳＥＭ式外観検査装置といった、外部の欠陥検出装置で検出された試料上の欠陥位置の高精細ＳＥＭ像を取得し、得られた高精細ＳＥＭ像を所定基準で分類するための装置である。ところが、［背景技術］欄で説明した通り、観察装置の性能向上は目覚しく、１時間あたりの欠陥観察で取得できる欠陥画像の数は数百から数千に達している。このような膨大な量の欠陥画像を人手によりマニュアル分類するのは事実上不可能であり、製造工程へのフィードバックに十分といえるだけの欠陥画像について欠陥分類を行うためにはＡＤＣの導入が必須である。しかしながら、［背景技術］欄で説明した通り、ＡＤＣの分類性能は十分とは言えず、一部カテゴリの欠陥については人手によるＭＤＣを行わざるを得ない。
　そこで本実施例では、どのカテゴリに対するＡＤＣ結果が信頼でき、どのカテゴリに対するＡＤＣ結果が信頼できないかを示す判断情報を、観察対象試料から取得された欠陥画像の一部に対するＡＤＣおよびＭＤＣの結果を用いて算出し、表示部２０６上に表示することにより、装置ユーザーにＡＤＣ／ＭＤＣ切り分けの判断情報を提示する。
　図１は、本実施例のＳＥＭ式欠陥観察装置の全体構成を示す模式図である。図１のＳＥＭ式欠陥レビュー装置は、電子銃１０１，レンズ１０２，走査偏向器１０３，対物レンズ１０４，試料１０５，二次粒子検出器１０９などの光学要素により構成される電子光学系，観察対象となる試料を保持する試料台をＸＹ面内に移動させるステージ１０６，当該電子光学系に含まれる各種の光学要素を制御する電子光学系制御部１１０，二次粒子検出器１０９の出力信号を量子化するＡ／Ｄ変換部１１１，ステージ１０６を制御するステージ制御部１１２，全体制御部１１３，画像処理部１１４，装置を操作するための操作部１１５，欠陥レビュー装置の制御情報や後述するＡＤＲあるいはＡＤＣに用いる画像データを格納する記録媒体を備えた記憶装置１１６，光学式顕微鏡１１９などにより構成されている。また、以上説明した電子光学系，電子光学系制御部１１０，Ａ／Ｄ変換部１１１，ステージ１０６，ステージ制御部１１２は，ＳＥＭ画像の撮像手段であるところの走査電子顕微鏡を構成する。
　電子銃１０１から発射された一次電子ビーム１０７は、レンズ１０２で集束され、走査偏向器１０３で偏向された後、対物レンズ１０４で集束されて、試料１０５に照射される。一次電子ビーム１０７が照射された試料１０５から、試料の形状や材質に応じて二次電子や反射電子等の二次粒子１０８が発生する。発生した二次粒子１０８は、二次粒子検出器１０９で検出された後、Ａ／Ｄ変換部１１１でデジタル信号に変換される。デジタル信号に変換された二次粒子検出器の出力信号を画像信号と称する場合もある。Ａ／Ｄ変換部１１１の出力信号は、画像処理部１１４に入力されＳＥＭ画像を形成する。画像処理部１１４は、生成したＳＥＭ画像を使用して欠陥検出などの画像処理を実行するＡＤＲ処理部１１７を備える他、各種の画像処理を実行する。
　レンズ１０２，走査偏向器１０３，対物レンズ１０４など、電子光学系内部の光学要素の制御は、電子光学系制御部１１０で行われる。試料の位置制御は、ステージ制御部１１２で制御されたステージ１０６で実行される。全体制御部１１３は、ＳＥＭ式欠陥観察装置全体を統括的に制御する制御部であり、キーボード１１６，マウス１１８，記憶装置１１６からの入力を解釈し、電子光学系制御部１１０，ステージ制御部１１２，画像処理部１１４等を制御し、必要に応じて操作部１１５に含まれる表示部２０６，記憶装置１１６に処理結果を出力する。また、欠陥の自動分類処理は全体制御部１１３により実行され、全体制御部１１３はＡＤＣを行うためのＡＤＣ処理部１１８を備えている。ＡＤＣ処理部は、ＡＤＲ処理部により抽出された欠陥画像あるいは記憶装置１１６に蓄積された欠陥画像を用いてＡＤＣを実行する。
　以上説明したＡＤＲ処理部１１７またはＡＤＣ処理部１１８は、ハードウェア，ソフトウェアいずれの方式でも実現可能である。ハードウェアによりＡＤＲ処理部１１７またはＡＤＣ処理部１１８を構成する場合には、ＡＤＲあるいはＡＤＣに必要な処理を実行する複数の演算器を配線基板上、あるいは１つの半導体チップないしパッケージ内に集積することにより実現できる、ソフトウェアによりＡＤＲ処理部１１７またはＡＤＣ処理部１１８を構成する場合には、ＡＤＲ処理部１１７またはＡＤＣ処理部１１８内に高速な汎用ＣＰＵを搭載し、ＡＤＲあるいはＡＤＣの処理を行うプログラムを実行させることにより実現できる。
　図２には、図１に示したＡＤＣ処理部１１８の更に詳細図を示した。図２に示すＡＤＣ処理部１１８は、図１の全体制御部１１３に設けられたＣＰＵが所定のプログラムを実行することにより実現される複数の機能ブロックにより構成されており、ＡＤＣ処理の全体を制御するＡＤＣ制御部２０２，欠陥分類に必要な前処理を行う画像処理部２０３，画像処理部２０３で前処理された画像データを用いて実際の欠陥分類処理を実行する分類処理部２０４などを含んで構成されている。以上の機能ブロックをハードウェアで実現することも可能であり、その場合には、ＡＤＣ制御部２０２，画像処理部２０３および分類処理部２０４を実現する演算器が集積された半導体装置が全体制御部１１３内に設けられることになる。
　ＡＤＣ処理部１１８には、画像処理部２０３で前処理された画像データが格納される画像情報記憶部２０１と、分類処理部２０４で実行された分類結果が格納される分類情報記憶部２０５が接続されている。分類情報記憶部２０５にはまた、ＡＤＣの結果を検証するための検証データとして、ＭＤＣの結果情報も格納される。物理的には、これらの記憶部は、記憶装置１１６内に設けられたパーティション，論理ボリュームあるいはファイルシステムなどに対応する。また、ＡＤＣ処理部１１８には、キーボード２０７やマウス２０８によって構成される操作部１１５，ＡＤＣの処理結果や装置に指示を与えるためのＧＵＩ（Graphical User Interface）が表示される表示部２０６が接続される。
　撮像手段である走査電子顕微鏡で取得された欠陥画像の画像情報は、画像情報記憶部２０１に保存されている。まず、ＡＤＣ制御部２０２は画像情報記憶部２０１から画像情報を読み込み、画像処理部２０３に転送する。画像処理部２０３は、転送された画像情報から分類処理に必要な観察画像の各種特徴量、例えば、欠陥部分の寸法，形状，輝度分布，テクスチャなど、或いは、背景パターンの寸法，形状，輝度分布，テクスチャなど、更には、欠陥部分と背景パターンとの位置関係など、対応するデータを算出し、画像情報記憶部２０１に保存する。
　次に、ＡＤＣ制御部２０２は画像情報記憶部２０１に保存された観察画像の特徴量データを読み込み、分類処理部２０４に転送する。分類処理部２０４は、所定の分類モデルに基づき欠陥の分類処理を行い、処理結果を分類情報記憶部２０５に保存する。
　分類モデルには教示型とルールベース型がある。教示型は、正しい分類結果と対応付けられた特徴量データの教示によって、自動的に分類器を構成するものである。例えば、教示データに基づく特徴量空間において、境界を定義することで特徴量空間を分割して各カテゴリに対応させ、分類対象がどの特徴量空間に属するかを判定することで、カテゴリに分類することができる。また、特徴量空間の境界を定義する手法としては、特徴量空間上での距離がもっとも近い教示済み欠陥のカテゴリへ分類する方法や、教示データに基づいて各欠陥カテゴリの特徴量分布を推定しておき、分類しようとする欠陥の特徴量の生起確率が最も高いカテゴリへ分類する方法などがある。これらが教示型分類の基本型である。
　一方、ルールベース型とは、例えば、if－then－elseで記述されるルールに従って分類する方法であり、分類対象とする欠陥の集合を二つに分けることを繰り返して最終的に各カテゴリに分類する二分木構造の分類モデルが典型的なものである。エキスパートシステムやＢＲＭＳ（Business Rules Management System）として実用化されている。半導体あるいは液晶検査・観察装置におけるＡＤＣにルールベース型アルゴリズムを適用する場合には、欠陥部分の凹凸，欠陥部分と背景パターンとの位置関係などを基本ルールとして定義することが多い。
　分類モデルに基づく欠陥分類を行うためのプログラムは、記憶装置１１６内に格納されており、全体制御部１１３内のＣＰＵがこのプログラムを実行することにより、分類処理部２０４の分類処理機能が実現される。各種処理の実行指示や処理対象データの選択などは、キーボード２０７やマウス２０８によって構成される操作部１１５から指示することができる。以上の指示内容，分類処理，保存などの実行過程は表示部２０６に表示され、装置ユーザーは表示内容を確認することにより、ＡＤＣの処理内容を確認することができる。なお、ＡＤＣ処理部１１８は、必ずしも全体制御部１１３の内部に備えられている必要はなく、全体制御部とは独立して設けられた情報処理手段により実現してもよい。更に、同じＡＤＣ処理を全体制御部１１３に接続された複数台の情報処理手段により並列処理することも可能である。
　次に、コンフュージョンマトリックスの概念について説明する。
　一般に、何らかの分類を行う分類モデルの評価を行う場合、コンフュージョンマトリックスと呼ばれる分類表を用いることが多い。コンフュージョンマトリックスは、モデルによって正しく分類された場合の数と誤って分類された場合の数をマトリックス表示した表であり、基本的には、図４（Ａ）に示されるように、True Positive（真陽性），False Positive（偽陽性），False Negative（偽陰性），True Negative（真陰性）の４つの要素からなる形式で表現される。
　ここで、上記の真陽性，偽陽性，偽陰性，真陰性の意味は以下の通りである。
・True Positive：モデルはPositive（陽性）と分類し、その結果も正しかった（True）、すなわち実際もPositiveであった場合の数
・False Positive：モデルはPositive（陽性）と分類したが、その判定は誤り（False）、すなわち実際はNegativeであった場合の数
・False Negative：モデルはNegative（陰性）と分類したが、その判定は誤り（False）、すなわち実際はPositiveであった場合の数
・True Negative：モデルはNegative（陰性）と分類し、その判定も正しかった（True）、すなわち実際もNegativeであった場合の数
　図４（Ａ）に示すコンフュージョンマトリックスをＡＤＣの正しさ評価に応用する場合、図４（Ｂ）に示される様式のコンフュージョンマトリックスが使用される場合が多い。図４（Ｂ）に示すコンフュージョンマトリックスは、横方向にＡＤＣ結果を、縦方向に真の分類結果をマトリックス表示した分類表であり、図４（Ｂ）に示す例では、ＡＤＣによりカテゴリＡに分類され、真の分類結果もＡであった欠陥点数（True Positive）がａ個、ＡＤＣによりカテゴリＡに分類されたが真の分類結果はＢであった欠陥点数（False Positive）がｃ個、ＡＤＣによりカテゴリＢに分類されたが真の分類結果はＡであった欠陥点数（False Negative）がｂ個、ＡＤＣによりカテゴリＢに分類され、真の分類結果もＢであった欠陥点数（True Negative）がｄ個となっている。なお、実際にコンフュージョンマトリックスを作成する場合には、真の分類結果としてはＭＤＣの結果を使用する。
　ＡＤＣの正しさを評価する指標としては、図４（Ｂ）に示すＡＤＣ分類正解率の純度（以下、Purityと表現），ＡＤＣ分類正解率の確度（以下、Accuracyと表現）という指標が用いられる。Purityとは、分類性能を示す一指標であり、ＡＤＣ結果の純度を示している。つまり、ＡＤＣが分類したあるカテゴリの総数を分母とし、そのカテゴリ内の分類正解数を分子として算出される値である。このPurityが高いほど、ＡＤＣ結果の信頼性は高いと判断できる。
　次に、Accuracyとは、コンフュージョンマトリックスにおいて、あるカテゴリに着目した場合に、そのカテゴリのＭＤＣ結果、つまりそのカテゴリに分類するべき欠陥の総数を分母とし、そのカテゴリ内でＡＤＣが分類に成功した数を分子として算出される値である。このAccuracyが高いほど、そのカテゴリに分類すべき欠陥の見逃しが少ないと判断できる。
　図４（Ｂ）に示すコンフュージョンマトリックスでは、カテゴリＡ，Ｂに対するPurityは、それぞれａ／（ａ＋ｃ），ｄ／（ｂ＋ｄ）で算出される。また、カテゴリＡ，Ｂに対するAccuracyは、それぞれａ／（ａ＋ｂ），ｄ／（ｃ＋ｄ）で表される。コンフュージョンマトリックスを用いた詳細解析は行わずに、単にＡＤＣの正解率と言う場合には、全体の正解率を表す（ａ＋ｄ）／（ａ＋ｂ＋ｃ＋ｄ）で算出した値が用いられることが多い。
　さて、本実施例においては、上記のPurity，Accuracyの情報をどのカテゴリに対するＡＤＣ結果が信頼でき、どのカテゴリに対するＡＤＣ結果が信頼できないかを示す判断情報として使用する。
　一般に、人手による分類作業における個人差や体調によるバラツキを考慮すると、ＭＤＣ作業における分類正解率は８０％程度と考えられている。従って、ＡＤＣのPurityが８０％以上であれば、そのカテゴリはＭＤＣ作業不要と判定することができ、すなわち、PurityをＭＤＣ作業による目視確認が必要か否かの判断基準として用いることができる。
　図４（Ｃ）には、分類カテゴリを３種類に増やしたコンフュージョンマトリックスの例を示す。また、図４（Ｃ）は、表示部２０６に表示される実際のＧＵＩを示す模式図になっており、コンフュージョンマトリックス４０１に加えてＡＤＣ／ＭＤＣ切り分けの判断情報が表示される。
　分類カテゴリを３種類以上に増やしたコンフュージョンマトリックスで各カテゴリのPurity，Accuracyを算出する場合には、着目するカテゴリに該当するＡＤＣ結果あるいは着目する分類結果に対応するＭＤＣ結果で、真陽性以外の分類結果が全て偽陰性または偽陽性に該当すると考えて算出すればよい。
　例えば図４（Ｃ）において、ＡＤＣ結果“Ａ”に対するPurityは、ＡＤＣ結果“Ａ”に対するTrue Positive数／ＡＤＣ結果“Ａ”に対するTrue Positive数とFalse Positive数の総和＝５５／（５５＋５＋０）×１００＝９２％であり、カテゴリＡに対するAccuracyは、カテゴリＡに対するTrue Positive数／カテゴリＡに対するTrue Positive数とFalse Negative数の総和＝５５／（５５＋２＋３）×１００＝９２％と算出される。他のＡＤＣ結果“Ｂ”，“Ｃ”に対するPurity、あるいは他のカテゴリＢ，Ｃに対するAccuracyも同じ要領で算出できる。
　図４（Ｃ）に示したコンフュージョンマトリックスは、ＡＤＣ制御部２０２が、分類情報記憶部２０５に格納された分類情報を読み出すことにより生成される。上述の通り、分類情報記憶部２０５には、ＡＤＣの結果データとともにＭＤＣの結果データが、共通の欠陥ＩＤと対応させて格納されており、ＡＤＣ制御部２０２は、欠陥ＩＤを参照しながら、ＡＤＣの結果データとＭＤＣの結果データを読み出し、同一カテゴリの欠陥数をカウントすることにより、コンフュージョンマトリックスを生成する。Purity，Accuracyについては、同じくＡＤＣ制御部２０２が、コンフュージョンマトリックス中の数値を着目するカテゴリ毎にTrue PositiveとFalse Negative、あるいはTrue PositiveとFalse Positiveに分類し、これらの分類毎の欠陥カウント数に基づき、上述のTrue Positive数／True Positive数とFalse Positive数の総和、あるいはTrue Positive数／True Positive数とFalse Negative数の総和、という式を演算することにより算出する。
　ＡＤＣ／ＭＤＣ切り分けの判断情報としては、ＭＤＣが必要なカテゴリを示すメッセージ４０２や、ＭＤＣが不要なPurityの強調表示４０３，ＭＤＣが不要なカテゴリの強調表示４０４などが使用可能である。強調表示の手法としては、図４（Ｃ）に示したような丸で囲むなど、適当なオブジェクトをコンフュージョンマトリックス上に重畳表示するほか、Purityやカテゴリに対応する数字や背景をハイライト表示する、あるいは色を変えるなどの手法を用いることができる。なお、図４（Ｃ）の例では、メッセージ４０２はＭＤＣが必要なカテゴリを、強調表示４０３，４０４は、ＭＤＣが不要な数値あるいはカテゴリに対して付与しているが、ＭＤＣが不要なカテゴリのメッセージを表示、あるいはＭＤＣが必要な数値あるいはカテゴリに対して強調表示を行っても良い。
　図４（Ｃ）に示した例では、強調表示４０３あるいは４０４は、Purityが８０％以上という基準を満たすカテゴリあるいは数値、つまりＭＤＣが不要なカテゴリあるいは数値に対して行っている。この数値はＡＤＣ処理部１１８が持っている初期値であるが、初期値を変更することも可能である。このため、ＡＤＣ制御部２０２はＧＵＩ上に判定基準設定ボックス４０５を表示し、装置ユーザーが任意の数値を入力できるようにする。ＡＤＣ制御部２０２はＧＵＩに入力された数値を読み込み、この数値に基づきＧＵＩ上に表示するメッセージ，コンフュージョンマトリックス上に強調表示する対象項目（カテゴリや数値）を変更する。
　次に、コンフュージョンマトリックスを用いて、欠陥分類処理に使用する閾値の最適化を行う手法について説明する。例えば二分木構造の分類モデルを用いて欠陥分類を行う場合、二分木を構成する各ツリーの分類は、欠陥特徴量がある閾値を超えるか超えないかに基づき行われる。従って、装置ユーザーが所望の精度で欠陥分類を行うためには、閾値は最適化されている必要がある。以下、閾値の最適化手法について説明するが、閾値はパラメータ設定される量であるため、以下の説明ではこの閾値のことを“パラメータ”と称する。
　図３は、分類処理パラメータ最適化の手順を示すフローチャートである。分類処理パラメータ最適化の実行が開始されると、着目するPurityあるいはAccuracyの選択要求が表示部２０６上に表示される（ステップ３０１）。装置ユーザーは、選択要求に従い着目するPurityあるいはAccuracyをＧＵＩ上で入力する。次に、複数の分類パラメータの組み合わせで分類処理を実行する（ステップ３０２）。この処理は、図２で説明したようにＡＤＣ処理部１１８で実行される。分類処理の実行後、分類結果が表示部２０６上に表示される（ステップ３０３）。複数の分類パラメータに対する分類結果を比較表示するためには、コンフュージョンマトリックスを複数の分類パラメータ毎に並列表示すると評価結果を見やすく表示できる。この際、表示結果が表示されるＧＵＩ上には、分類パラメータの選択ボタンが表示される。そこでユーザーは、複数の分類パラメータで実行した分類結果の中から、最良の結果を選択する（ステップ３０４）。ＡＤＣ制御部２０２は、入力された結果に基づき、採用するパラメータを決定する（ステップ３０５）。以上の手順により、特定カテゴリの正解率に着目して、着目したカテゴリの分類性能を向上させるのに最適なパラメータを決定することができる。
　図５は、ＭＤＣ作業の低減を目的として、パラメータを最適化する際に、複数パラメータでの評価結果を確認するためのＧＵＩの一例であり、複数のパラメータに対して生成されたコンフュージョンマトリックスがパラメータ毎に表示されている。図５に示されるＧＵＩ上には、ＭＤＣ作業不要の判定基準を設定するための判定基準設定ボックス５０１と、コンフュージョンマトリックスの構成要素をユーザーの所望の順にソート表示させるためのソート基準設定ボックス５０２，パラメータ入力ボックス５０３，５０４，パラメータ設定のManual切り替えボタン５０５，Auto切り替えボタン５０６が表示されている。また、図中に表示されている“ＭＤＣ作業不要率”とは、ＭＤＣ不要と判定したカテゴリに分類された欠陥数（あるいは欠陥画像数）を全欠陥数（あるいは全欠陥画像数）で割った数値であり、ＡＤＣ制御部２０２によって算出される。なお、“ＭＤＣ作業不要率”に替えて“ＭＤＣ作業必要率”を算出・表示することも可能であり、その場合の定義は、ＭＤＣが必要と判定したカテゴリに分類された欠陥数（あるいは欠陥画像数）を全欠陥数（あるいは全欠陥画像数）で割った数値となる。
　図５の場合、ＭＤＣ作業不要の判定基準はPurity≧８０％と設定されており、評価結果は、ＭＤＣ作業が不要と判断された欠陥数が多い順、すなわちPurityの降順にソートされて表示されている。
　本事例では、パラメータ１の場合、カテゴリＡとＢはＡＤＣ結果が信頼できるのでＭＤＣ作業不要であり、カテゴリＣのみＭＤＣ作業による確認が必要となる。またパラメータ２の場合は、ＭＤＣ作業不要なカテゴリはＡとＣであり、カテゴリＢのみをＭＤＣ作業により確認すればよい。ＭＤＣ作業が必要なカテゴリ数は、パラメータ１でもパラメータ２でも同等であるが、カテゴリＣより、カテゴリＢの方が発生欠陥数が多いので、ＭＤＣ作業の不要率はパラメータ２よりもパラメータ１の方が高くなる。つまりパラメータ２の方が、パラメータ１よりも目視確認を必要とする欠陥点数が多くなるので、ＭＤＣ作業の低減を目的とした場合、パラメータ２よりもパラメータ１の方が適しているという結果になる。
　図６は、ＭＤＣ作業の低減を目的とした、分類パラメータ最適化のフローチャートである。ＡＤＣ制御部２０２が、まずＭＤＣ作業不要の判定基準設定要求（例えば判定基準設定ボックス５０１など）と最適パラメータを装置側で自動設定するかマニュアル設定するかの設定要求とをＧＵＩ上に表示する（ステップ６０１）。設定要求としては、例えば、これらの項目を設定するための入力ボックスや設定ボタンなどがＧＵＩ上に表示される。装置ユーザーは設定要求に従い判定基準を入力する。図５の事例であれば、Purity≧８０％と設定する。次に、複数の分類パラメータで分類処理を実行する（ステップ６０２）。ステップ６０２で装置が実行する処理は、図４あるいは図５の説明で既出の通りである。ここでステップ６０３に示されるように、最適パラメータを自動設定する場合と、人手で最適パラメータを選択設定する場合とで処理が分岐する。自動設定する場合には、ＡＤＣ制御部２０２が、ＭＤＣ作業不要率を計算し（ステップ６０４）、ＭＤＣ不要カテゴリに属する欠陥数が最大となる分類パラメータを採用する。最終的に採用されたパラメータはＧＵＩ上に表示される（ステップ６０５）。人手で最適パラメータを選択設定する場合には、図５に示すように複数のパラメータで分類実行した結果をＧＵＩ上に比較表示し（ステップ６０６）、装置側は最適パラメータの入力待ち状態になる（ステップ６０７）。ユーザーは、図５のようなＧＵＩ上で最良結果を入力し、ＡＤＣ制御部２０２は入力結果を最適パラメータとして採用する（ステップ６０８）。
　人手による選択設定が必要となるのは、最適パラメータとして必ずしもＭＤＣ作業不要率が最大となる分類パラメータを採用するわけではない場合であり、この場合には、他の判断基準を加味して選択設定する必要がある。例えば分類カテゴリの重要度を加味してもよいし、後に説明する見逃し低減を目的とした分類パラメータ設定と合わせて判断してもよい。人手によりパラメータを選択設定できるようにすることで、ユーザーの要望により適した分類結果を提供するパラメータを設定することができる。このとき、図５のように、コンフュージョンマトリックスとＭＤＣ作業不要と判定する基準、ＭＤＣ作業不要あるいは必要なカテゴリ名、ＭＤＣ作業不要率などを並列表示すれば、最良結果の選択が簡単になる。以上の手順により、ＭＤＣ作業を低減するために最適な分類パラメータを自動、あるいは手動で設定することができる。
　なお、本実施例では、最適パラメータの表示画面上にコンフュージョンマトリックスも同時表示しているが、これは装置ユーザーの使い易さのために表示しているに過ぎず、本質的に重要なのは、いずれのカテゴリに対してＭＤＣが必要（あるいは不要）かを示す判別情報の画面表示である。したがって、図５のようにコンフュージョンマトリックスを表示せず、計算されたPurity，ＭＤＣが必要あるいは不要なカテゴリの情報、あるいはＭＤＣが必要（あるいは不要な）なカテゴリを示すメッセージのみを表示してもよい。
（実施例２）
　本実施例では、特徴量空間における各カテゴリ間の境界線を設定しこの境界線に基づき分類を行うアルゴリズムを採用した場合の境界値（パラメータ）を最適化する手法について説明する。説明では２次元空間に簡略化しており、二分木構造の分類モデルを使用しているが、アルゴリズムは二分木構造に限定するものではなく、多次元空間における境界設定にも適用できる。
　本実施例の最適化手法が実装される装置としては、ＳＥＭ式欠陥観察装置を想定するが、装置のハードウェア構成は実施例１と同様であるので、説明は省略する。
　図７には、本実施例のアルゴリズムにおけるパラメータ最適化の方法を説明する特徴量分布図を示す。図７の場合、境界線がパラメータとなる。実際には、特徴量は数十から数百個存在することが多く、多次元空間で表現されるが、ここでは、説明を簡単にするために、横軸に特徴量１、縦軸に特徴量２を採用し、２つの特徴量で表現している。また、カテゴリＡの特徴量分布を◆で、カテゴリＢの特徴量分布を○で表現し、３種類の境界線をパラメータ１，２，３として表現している。
　分類パラメータの最適化目的としてＭＤＣ作業の低減を採用する場合の最適化手法について考える。初期パラメータ１の境界線を設定した場合、誤分類の数は、カテゴリＡが２個、カテゴリＢが２個となる。欠陥発生頻度が高いカテゴリＡを、ＭＤＣ作業不要にできれば作業低減効果が大きいので、カテゴリＡに着目して、カテゴリＡのPurityを向上させることを目指す。
　カテゴリＡのPurityを向上させるためには、ＡＤＣによってカテゴリＡと分類された欠陥群へ、カテゴリＢの誤分類が混在しないようにすればよいので、パラメータ２が好ましいと考えられる。
　図８は、図７の事例において、パラメータ１とパラメータ２を採用した場合の分類結果を比較したものである。一般的には、８０％程度に設定することが多いが、カテゴリ数が少ないため、判定基準設定ボックス８０１に示されるＭＤＣ作業要不要の判定基準は、Purity≧９５％と厳しく設定されている。
　この基準に基づくと、パラメータ１の境界線を採用した場合には、結果８０２に示されるように、カテゴリＤ，カテゴリＥ共にPurity≧９５％を満たさないので、ＭＤＣ作業が必要となり、ＭＤＣ作業不要率は０％となる。ＭＤＣ作業不要率に替えてＭＤＣ作業必要率を算出・表示してもよいことは実施例１と同様である。
　一方、欠陥発生頻度が高いカテゴリＤに着目して、カテゴリＤをＭＤＣ作業不要にするために、カテゴリＤのPurityを向上させることを目指したパラメータ２では、期待通り、カテゴリＤはＭＤＣ作業不要と判定され、その結果、ＭＤＣ作業不要率は６０％と大幅に向上する。これは、ＡＤＣを導入することで、人手によるＭＤＣ作業の６０％を低減することができることを示している。
　このように、図７でパラメータ１を採用した場合には、パラメータ２を採用した場合と比較して、全体正解率（図４の（ａ＋ｄ）／（ａ＋ｂ＋ｃ＋ｄ）で算出）は９２％から９０％に低下するが、ＭＤＣ作業削減を目的として、カテゴリＡ（図８ではカテゴリＤ）のPurityに着目して、パラメータ２を採用することで、ＭＤＣ作業不要率は０％から６０％へ飛躍的に向上している。
（実施例３）
　本実施例では、各特徴量の重みを変化させることで、分類性能を向上させるアルゴリズムを採用している場合の重み最適化の手法について説明する。本実施例の場合、パラメータとしては重みが相当することになる。図９では、説明簡略化のために２つの特徴量に限定しているが、アルゴリズムは多次元空間においても適用可能であり、多次元空間における教示データの特徴量分布と分類対象データとの距離算出、あるいはファージーボーティングなど特徴量空間における距離に相当する量を別の算出方法で定量化する方式にも適用可能である。
　また、実施例２と同様、本実施例の最適化手法が実装される装置としては、ＳＥＭ式欠陥観察装置を想定しているが、装置のハードウェア構成は実施例１と同様であるので、説明は省略する。
　図９（Ａ）（Ｂ）には、本実施例のアルゴリズムにおけるパラメータ最適化の概念を説明する特徴量ヒストグラムを示す。図９（Ａ）（Ｂ）では、カテゴリはカテゴリＦ，Ｇ，Ｈの３種類、特徴量は特徴量３と４の２個を、説明のために抽出して模式図で表している。
　この特徴量ヒストグラムは、教示データの特徴量分布を表しており、例えば図９（Ａ）では、横軸に特徴量３の値を、縦軸に発生頻度をとることで作成する。ここでは、カテゴリＦとして教示したデータはカテゴリＧやＨよりも、特徴量が小さい傾向があり、分類対象データの特徴量が小さいときには、カテゴリＦに分類される可能性が高いことを示している。この特徴量分布は、図１におけるＡＤＣ処理部１１８、図２においてはＡＤＣ制御部が作成する。例えば、画像情報記憶部に保存されている画像を用いて、画像処理部２０３で画像処理演算を実施して特徴量を算出し、分類処理部２０４で分類処理に適した形式に変換して、表示部２０６に表示する。結果は再利用を容易にするために、分類情報記憶部２０５に保存しておくのが良い。
　特徴量の重みを変化させることで、分類性能を向上させるアルゴリズムでは、有効性が高いと思われる特徴量の重みを増やして、有効性が低い、あるいは弊害があると思われる特徴量の重みを減らすことで、分類性能を向上させる。ここでも、ＭＤＣ作業の低減を目的とした、分類パラメータの最適化を実行する場合を考える。例えば、カテゴリＦの発生頻度が高く、カテゴリＦをＭＤＣ作業不要にできれば、作業低減効果が大きいとする。この場合、カテゴリＦに着目して、カテゴリＦのPurityを向上させることを目指す。
　カテゴリＦのPurityを向上させるためには、カテゴリＦの特徴量ヒストグラムが、他のカテゴリＧやＨと重ならない特徴量分布をした特徴量の重みを増やし、逆に、カテゴリＦの特徴量ヒストグラムが、他のカテゴリＧやＨと重なる特徴量分布をした特徴量の重みを減らせばよい。本事例では、図９（Ａ）に示した特徴量３の重みを増やし、図９（Ｂ）に示した特徴量４の重みを減らすことになる。
　特徴量の重みパラメータは自動設定することができる。例えば、初期値は特徴量の数で等分した値として、初期値に対して重みパラメータを複数通りの値に変化させ、着目するカテゴリのPurityが最高となるパラメータを最適値として採用する。後述のように、着目するカテゴリの見逃し防止を目的とする場合には、PurityではなくAccuracyに着目して、重みパラメータを最適化することも可能である。また自動設定ではなく、手動設定することも可能である。例えば、経験に基づき知見がある場合などは、パラメータの初期値，刻み幅，振り幅の上下限を設定することで、短時間で効率よく最適解を得ることができる。このように手動設定する場合には、例えば、図２の表示部２０６に表示したＧＵＩに対して、キーボード２０７やマウス２０８を用いて、初期値，刻み幅，振り幅の上下限を設定し、設定値に基づき、画像情報記憶部２０１に保存されているデータを用いて画像処理部２０３で特徴量を算出、あるいは分類情報記憶部に保存されている特徴量を読み込んで、分類処理部２０４で重みパラメータの最適化を行い、結果を表示部２０６に表示する。
　最終的にＭＤＣ作業をどれだけ低減できるかは、カテゴリＧやＨも含めて、ＭＤＣ作業不要率を算出する必要があるので、図５や図８に示したように、複数のパラメータ、ここでは複数の特徴量重み付けを試行して、結果を比較表示して、パラメータを決定するのがよい。
　本方式によれば、特徴量の重みを最適化することで分類性能の向上をはかるシステムにおいて、着目するカテゴリのPurity，Accuracy、あるいは全体正解率を向上できる。特に、学習型の分類アルゴリズムを採用しているシステムにおいて有効である。
（実施例４）
　本実施例では、段階的に分類対象を分類するシステムにおいて、各段階の接続を最適化する手法の実施例について説明する。ここでは、各段階の接続がパラメータとなる。各段階における分類アルゴリズムは、異質なものの組み合わせに限定するものではなく、一つの分類アルゴリズム内で多段階に、例えば分類対象を限定して絞り込んでいくモデルにも適用できる。また、実施例２，３と同様、本実施例でもＳＥＭ式欠陥観察装置への実装を想定しているが、装置のハードウェア構成は実施例１と同様であるので、説明は省略する。
　図１０（Ａ）には、多段階に分類することで、分類性能を向上させるアルゴリズムを採用している場合の、パラメータ最適化方法を説明するカテゴリリンクの模式図である。カテゴリＩ，Ｊ，Ｋの３分類に直接分類するよりも、本実施例のように、ｎ段目に中間分類α，β，γを導入することで、ｎ＋１段目では、それぞれカテゴリＩとＪ，カテゴリＪとＫ，カテゴリＫとＩの２分類に分類すればよくなり、分類の難易度を下げることに成功している。このような多段階の分類アルゴリズムにおいて、ＭＤＣ作業の低減を目的とした、分類パラメータの最適化を実行する場合を考える。ここでは、分類パラメータはｎ段目とｎ＋１段目のカテゴリリンクに相当する。例えば、カテゴリＩの発生頻度が高く、カテゴリＩのPurityをＭＤＣ作業不要にできれば、作業低減効果が大きいとする。この場合、カテゴリＩに着目して、カテゴリＩのPurityを向上させることを目指す。カテゴリＩのPurityを向上させるためには、カテゴリＩに他のカテゴリの誤分類が混入することを減らせばよいので、中間分類カテゴリαとカテゴリＩのカテゴリリンク１００１、あるいは中間分類カテゴリγとカテゴリＩのカテゴリリンク１００２を切断することを検討する。但し、例えばカテゴリリンク１００１を切断した場合には、中間分類αに分類された欠陥は全てがカテゴリＪに分類されることになるので、中間分類αに分類されるカテゴリＩに属する欠陥が多い場合は、カテゴリＩに分類される正解数も減少するので注意が必要である。したがって、カテゴリリンクの切断条件として、該当欠陥の発生頻度に関する条件を追加するなどの工夫が考えられる。あるいは、実際にカテゴリリンクが切断しない場合をパラメータ１，カテゴリリンク１００１を切断した場合をパラメータ２，カテゴリリンク１００２を切断した場合はパラメータ３，カテゴリリンク１００１と１００２の両方を切断した場合をパラメータ４として、分類処理を実行した結果を、比較評価することが有効である。比較評価の結果は図５や図８のように表示すれば、どのパラメータが、最もＭＤＣ作業低減効果が高いのか容易に判定できる。
（実施例５）
　本実施例では、着目する欠陥種、つまり装置ユーザーが特に興味のある特定の欠陥カテゴリについて、検出漏れ・見逃しをなるべく低減するためのパラメータ最適化手法について説明する。以下では、上記の興味欠陥のことをＤＯＩと称する。装置の全体構成は実施例１と同様であるので説明は省略する。
　既出のように、Accuracyとは、コンフュージョンマトリックスにおいて、着目カテゴリに対するＡＤＣの正解欠陥数を分子、当該カテゴリに対するＭＤＣ結果を分母として算出される値である。従って、Accuracyが高いほど、そのカテゴリに分類すべき欠陥の見逃しが少ないため、ＤＯＩの見逃し率の評価指標として使用することができる。
　図１１には本実施例のパラメータ最適化手順を示すフローチャートを、また、図１２には本実施例のパラメータ最適化結果が表示されるＧＵＩ画面の模式図をそれぞれ示す。図１２のＧＵＩ画面は、図２の表示部２０６に表示される。
　フローが開始されると、まずステップ１１０１において、ＧＵＩ上に、見逃し率を低減したい欠陥カテゴリ（以下、ＤＯＩ）と判定基準および最適パラメータを装置側で自動設定するかマニュアル設定するかの設定要求とがＧＵＩ上に表示される（ステップ１１０１）。設定要求としては、例えば、図１２に示される判定基準設定ボックス１２０１，ソート基準設定ボックス１２０２，評価基準の閾値を設定するためのパラメータ入力ボックス１２０５，１２０６，パラメータ選択のManual切り替えボタン１２０７，パラメータ選択のAuto切り替えボタン１２０８などの表示により示され、装置ユーザーは、これらのボックスやボタンを介して所望の設定値を入力する。判定基準としては、特定ＤＯＩのAccuracyや、ＤＯＩに対して基準となるAccuracyを超えたカテゴリに属する欠陥数などがある。
　図１２の事例では、カテゴリＣをＤＯＩとし、ＤＯＩ見逃しの判定基準１２０１として、カテゴリＣのＤＯＩ見逃し率を採用している。ＤＯＩ見逃し率の評価基準としては、Accuracy≧９０％に設定している。ＤＯＩとして複数のカテゴリを設定することもできる。また、カテゴリ毎に判定基準の設定値を変えることもできる。カテゴリ毎に判定基準を変えることで、分類される欠陥種の重要度に応じて重み付けすることができ、ＤＯＩをより柔軟に設定可能となる。
　ＤＯＩと判定基準が入力されると、ＡＤＣ処理部１１８は、入力された複数の分類パラメータで分類処理を実行する（ステップ１１０２）。
　分類処理の実行後は、ステップ１１０３に示すように、最適パラメータを自動設定する場合と、人手で最適パラメータを選択設定する場合とで処理が分岐する。フロー開始時にManual切り替えボタン１２０７が押されていれば、ステップ１１０３はＮｏに分岐する。Auto切り替えボタン１２０８が押されていれば、Ｙｅｓに分岐する。
　自動設定する場合には、ＡＤＣ制御部２０２は、入力された各パラメータに基づき、ＤＯＩの見逃し率を計算し（ステップ１１０４）、ＤＯＩの見逃し率が最低となるパラメータを決定し、更に計算結果をＧＵＩ上に表示する。
　人手で最適パラメータを選択設定する場合には、ＡＤＣ制御部２０２は、複数のパラメータで分類実行した結果をＧＵＩ表示する（ステップ１１０５）とともにパラメータの入力待ち状態になる（ステップ１１０６）。ユーザーは、例えば図１２に示されるようなパラメータ選択ボタン１２０５，１２０６をクリックすることにより最良結果を選択する。パラメータ選択ボタンではなくパラメータ自体をテキスト入力させる入力ボックスを表示しても良い。最良パラメータが選択されると、ＡＤＣ制御部２０２は、選択されたパラメータを採用する（ステップ１１０７）。
　図１２に示されるＧＵＩは、ステップ１１０５あるいはステップ１１０６の実行後の表示画面に相当する。複数のパラメータに対する計算結果は、コンフュージョンマトリックスとして並列表示され、かつＤＯＩの見逃し率を示すメッセージ１２０３，１２０４が各カテゴリ毎に表示されている。パラメータ毎のコンフュージョンマトリックスを任意のパラメータに対してソート表示することもできる。本実施例では、ソート基準として、ＤＯＩ見逃し率の昇順にマトリックスを並べている。ＤＯＩの見逃し率は、パラメータ１の場合が１０％で、パラメータ２の場合が３０％となっており、カテゴリＣの見逃しを低減したい場合には、パラメータ１を採用した方が良いことが分かる。
　人手により選択設定する場合は、必ずしも、ＤＯＩの見逃し率が最小となる分類パラメータを採用する必要は無く、他の判断基準を加味して選択設定することができる。このとき、図１２のように、コンフュージョンマトリックス，判定基準，ＤＯＩカテゴリ名ＤＯＩ見逃し率などを並列表示すれば、最良結果の選択が簡単になる。以上の手順により、ＤＯＩの見逃しを低減するために最適な分類パラメータを、自動あるいは手動で設定することができる。
　ＤＯＩの見逃し低減を目的とした場合、パラメータの調整方法が、ＭＤＣ作業の低減を目的とした場合とは異なる場合がある。例えば、図７のように、特徴量空間において境界線を設定することで分類処理を行うアルゴリズムの場合、ＭＤＣ作業の低減を目的とする場合には、発生頻度が高いカテゴリＡのPurityを向上させることが、ＭＤＣ作業の低減に有効であるため、パラメータ３，パラメータ１，パラメータ２の順に最適化されると予想できる。ところが、カテゴリＡがＤＯＩで、ＤＯＩの見逃し低減を目的とする場合には、カテゴリＡのAccuracyを向上させることが、ＤＯＩ見逃し低減に有効であるため、パラメータ２，パラメータ１，パラメータ３の順に最適化されると予想できる。このため、複数のパラメータを比較評価する際には、最適化の基準に合ったパラメータを効率良く抽出することが、比較作業の効率向上につながる。
　同様に、図１０のように、多段階に分類処理を行うアルゴリズムのカテゴリリンク最適化の場合、ＭＤＣ作業の低減を目的とした場合には、発生頻度が高いカテゴリＩのPurityを向上させることが、ＭＤＣ作業の低減に有効であるため、図１０（Ａ）のように、カテゴリＩのカテゴリリンクを切断することを考える。ところが、ＤＯＩの見逃し低減を目的とする場合には、カテゴリＩがＤＯＩだとすると、カテゴリＩのAccuracyを向上させることが、ＤＯＩの見逃し低減に有効であるため、図１０（Ｂ）のように、カテゴリＩのカテゴリリンク１００３や１００５を削除せずに残すだけでなく、中間分類βとカテゴリＩのカテゴリリンク１００４を追加することを考える。
　以上のようにＤＯＩの見逃し低減を目的とすることで、ＤＯＩカテゴリに分類すべき観察画像の誤分類による見逃し画像数を最少にできるので、ＤＯＩ見逃しによる問題工程への対策漏れを防止することができる。
（実施例６）
　図１３は、ＭＤＣ作業の低減と、ＤＯＩの見逃し低減という二つの判定基準に基づいて、分類パラメータの最適化を行った結果を示す、ＧＵＩの一例である。ここでは、ＤＯＩとしてカテゴリＣを選択し、カテゴリＣの見逃し率を、判定基準１３０１の一つとして設定している。さらに、ＭＤＣ作業の低減を目的とし、Purity≧８０％をＭＤＣ作業不要の判定基準１３０１として設定している。コンフュージョンマトリックスの表示順は、ソート基準１３０２をＤＯＩの見逃し率が低い順にしているので、上位に表示されるパラメータが、最適なパラメータと判断できる。ここでは、ＤＯＩの見逃し率の定義として、ＤＯＩに設定したカテゴリに分類されるべき欠陥数、つまりＭＤＣでカテゴリＣと分類された欠陥数を分母とし、ＭＤＣ作業による確認作業を実施しないカテゴリに誤分類された欠陥画像、つまり、ＡＤＣによって、カテゴリＣ以外のカテゴリで、かつPurityが設定閾値以上のカテゴリに分類された欠陥数を分子としている。したがって、パラメータ２を用いた場合のＤＯＩの見逃し率は、真値がカテゴリＣにも関わらずＡＤＣでカテゴリＡと分類された欠陥数／カテゴリＣのＭＤＣ結果＝０／７＝０％（ＭＤＣ作業による確認作業を実施するカテゴリＢに誤分類した欠陥画像の数１３０３は、ＤＯＩの見逃しとしてはカウントしない）となり、パラメータ１を用いた場合のＤＯＩ見逃し率１０％を上回る結果となる。本実施例によれば、このような複雑な判定基準による分類パラメータの良否判定を、簡単に実行することが可能になる。
（実施例７）
　本実施例では、コンフュージョンマトリックスを生成するために事前に行うＭＤＣに使用する欠陥を欠陥マップ上で選択する機能を備えたＳＥＭ式欠陥観察装置の構成について説明する。
　図１４には、ＭＤＣを行う欠陥を選択するためのＧＵＩ画面の一例を示す。
　画面左には欠陥マップ１４０１が表示され、装置ユーザーは、マウスなどのポインティングデバイスを用いてＧＵＩ上に示されるポインタ１４０２を操作し、欠陥マップ上の任意の欠陥を選択する。選択された欠陥は１４０３に示されるようにＧＵＩ上で活性表示され、更に画面左側に、選択された欠陥の高倍率画像がサムネイル表示される。欠陥には全て欠陥ＩＤが付与されており、サムネイル画像１４０４下には、欠陥ＩＤ表示欄１４０５も表示される。
　ＭＤＣを行う欠陥の選択をＡＤＲ実行後に行う場合には、表示部２０６に備えられたパーソナルコンピュータが、欠陥ＩＤをもとに記憶装置１１６内を検索して表示する。欠陥の選択をＡＤＲ実行前に行う場合には、全体制御部を介してＳＥＭ像を撮像する。サムネイル画像としては外観検査装置で取得されたパッチ画像を用いることもできる。
　装置ユーザーは、表示されたサムネイル画像１４０４を参照しながら、欠陥種入力ボックス１４０６に欠陥種の情報を入力する。入力が確定されると、活性表示１４０３は、図中の黒い丸で示されるように不活性表示１４０７に変わる。入力された欠陥ＩＤと当該欠陥ＩＤの欠陥種情報は、分類情報記憶部２０５に格納され、コンフュージョンマトリックスを生成する際に使用される。
　なお本実施例のＭＤＣ実行画面は、操作部１１５に表示されるＧＵＩだけではなく、（ＳＥＭ式欠陥観察装置とは）オフラインのコンピュータ上に表示させてもよい。
１０１　電子銃
１０２　レンズ
１０３　偏向器
１０４　対物レンズ
１０５　試料
１０６　ステージ
１０７　電子ビーム
１０８　二次粒子
１０９　二次粒子検出器
１１０　電子光学系制御部
１１１　Ａ／Ｄ変換部
１１２　ステージ制御部
１１３　全体制御部
１１４，２０３　画像処理部
１１５　操作部
１１６　記憶装置
１１７　ＡＤＲ処理部
１１８　ＡＤＣ処理部
１１９　光学顕微鏡
２０１　画像情報記憶部
２０２　ＡＤＣ制御部
２０４　分類処理部
２０５　分類情報記憶部
２０６　表示部
２０７　キーボード
２０８　マウス
４０１　コンフュージョンマトリックス
４０２　ＭＤＣが必要なカテゴリを示すメッセージ
４０３，４０４　強調表示
４０５，５０１，８０１，１２０１　判定基準設定ボックス
５０２，１２０２　ソート基準設定ボックス
５０３，５０４，１２０５，１２０６　パラメータ入力ボックス
５０５，１２０７　Manual切り替えボタン
５０６，１２０８　Auto切り替えボタン
８０２，８０３，１３０４，１３０５　結果
１００１，１００２，１００３，１００４，１００５　カテゴリリンク
１２０３，１２０４　ＤＯＩ見逃し率を示すメッセージ
１３０１　判定基準
１３０２　ソート基準
１３０３　誤分類した欠陥画像の数

Claims (11)

  1. 　被観察試料の画像を取得し、当該画像から欠陥に該当する領域を欠陥画像として抽出する機能を備えた欠陥レビュー装置において、
    　前記被観察試料を撮像し、撮像した画像を画像信号として出力する電子光学系と、
    　前記欠陥画像の抽出処理を行うＡＤＲ処理部と、
    　前記欠陥を複数のカテゴリに自動分類するＡＤＣ処理部と、
    　当該ＡＤＣ処理部による自動分類結果のうち、人手によるマニュアル分類を行うべきカテゴリを判断するための判断情報が表示される画面表示手段とを備えたことを特徴とする欠陥レビュー装置。
  2. 　請求項１に記載の欠陥レビュー装置において、
    　前記欠陥に対する前記マニュアル分類結果と前記ＡＤＣによる分類結果とを、前記複数のカテゴリ毎にマトリックス表示するコンフュージョンマトリックスが前記画面表示手段上に表示されることを特徴とする欠陥レビュー装置。
  3. 　請求項２に記載の欠陥レビュー装置において、
    　前記ＡＤＣ処理部の分類結果と当該ＡＤＣの対象となった欠陥画像に対する人手によるマニュアル分類結果とが格納される記憶手段を備え、
    　前記ＡＤＣ処理部は、前記ＡＤＣによる分類結果と、前記マニュアル分類結果とを用いて、各カテゴリに対する前記ＡＤＣによる欠陥数および前記マニュアル分類による欠陥数をカテゴリ毎に配列したコンフュージョンマトリックスおよび前記判断情報とを生成し、
    　前記画面表示手段に表示することを特徴とする欠陥レビュー装置。
  4. 　請求項２に記載の欠陥レビュー装置において、
    　前記判断情報が、前記各カテゴリに対する欠陥数の純度あるいは正解率であることを特徴とする欠陥レビュー装置。
  5. 　請求項１に記載の欠陥レビュー装置において、
    　前記ＡＤＣ処理部は、前記欠陥分類を行うための閾値情報を複数備え、
    　当該複数の閾値に対して得られる前記ＡＤＣの結果に基づき、前記複数の閾値に対する前記判断情報を算出することを特徴とする欠陥レビュー装置。
  6. 　請求項１に記載の欠陥レビュー装置において、
    　前記判断情報が、人手によるマニュアル分類が必要なカテゴリ，当該人手によるマニュアル分類の不要率，着目欠陥に対する見逃し率のいずれかであることを特徴とする欠陥レビュー装置。
  7. 　請求項４に記載の欠陥レビュー装置において、
    　前記純度がコンフュージョンマトリックス上で強調表示されることを特徴とする欠陥レビュー装置。
  8. 　被観察試料の画像を取得し、当該画像から欠陥に該当する領域を欠陥画像として抽出する機能を備えた欠陥レビュー装置において、
    　前記被観察試料を撮像し、撮像した画像を画像信号として出力する操作電子顕微鏡と、
    　前記欠陥画像の抽出処理を行うＡＤＲ処理部と、
    　前記欠陥を複数のカテゴリに自動分類するＡＤＣ処理部と、
    　前記ＡＤＲ処理部により得られた欠陥画像の一部を選択するための選択画面が表示される画面表示手段と、
    　当該選択画面により選択された欠陥画像に対する前記ＡＤＣ処理部でのＡＤＣ結果と、当該ＡＤＣ結果の対象となった欠陥画像に対する人手によるマニュアル分類結果とが格納される記憶手段と、
    　前記ＡＤＣ結果に対して、前記マニュアル分類を行うべきカテゴリを判断するための判断情報を計算する演算手段とを備えたことを特徴とする欠陥レビュー装置。
  9. 　請求項８に記載の欠陥レビュー装置において、
    　前記判断情報が表示される画面表示手段を備えたことを特徴とする欠陥レビュー装置。
  10. 　被観察試料の走査電子顕微鏡画像から得られる欠陥画像を所定の分類モデルに基づき複数のカテゴリに自動分類する演算装置と、当該演算処理に必要な設定情報の読み込み手段とを備えた欠陥レビュー装置で使用されるプログラムであって、
    　所定数の欠陥画像に対する前記自動分類結果と、前記所定数の欠陥画像に対する人手によるマニュアル分類結果を読み込むステップと、
    　前記自動分類結果と前記マニュアル分類結果を用いて、前記自動分類結果のうち前記マニュアル分類を行うべきカテゴリを判断するための判断情報を計算するステップと、
    を前記演算装置に実行させるプログラムを格納した記憶装置。
  11. 　請求項１０に記載のプログラムを格納した記憶装置であって、
    　前記プログラムは、
    　前記自動分類結果と前記マニュアル分類結果を用いて、前記自動分類による欠陥数および前記マニュアル分類による欠陥数とを前記複数のカテゴリ毎に配列したコンフュージョンマトリックスを生成するステップと、
    　前記各カテゴリに対する欠陥数の正答率と純度とを算出するステップと、
    を前記演算装置に実行させることを特徴とする記憶装置。
PCT/JP2011/002661 2010-06-07 2011-05-13 観察画像の分類基準の最適化方法、および画像分類装置 WO2011155123A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/702,674 US9020237B2 (en) 2010-06-07 2011-05-13 Method for optimizing observed image classification criterion and image classification apparatus
JP2012519217A JPWO2011155123A1 (ja) 2010-06-07 2011-05-13 観察画像の分類基準の最適化方法、および画像分類装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-129521 2010-06-07
JP2010129521 2010-06-07

Publications (1)

Publication Number Publication Date
WO2011155123A1 true WO2011155123A1 (ja) 2011-12-15

Family

ID=45097745

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/002661 WO2011155123A1 (ja) 2010-06-07 2011-05-13 観察画像の分類基準の最適化方法、および画像分類装置

Country Status (3)

Country Link
US (1) US9020237B2 (ja)
JP (1) JPWO2011155123A1 (ja)
WO (1) WO2011155123A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013225313A (ja) * 2012-04-20 2013-10-31 Applied Materials Israel Ltd 自動欠陥分類における分類器の準備及び保守
JP2013224943A (ja) * 2012-04-19 2013-10-31 Applied Materials Israel Ltd 自動及び手動欠陥分類の統合
WO2016092614A1 (ja) * 2014-12-08 2016-06-16 株式会社日立ハイテクノロジーズ 欠陥検査装置、表示装置、及び欠陥分類装置
US10114368B2 (en) 2013-07-22 2018-10-30 Applied Materials Israel Ltd. Closed-loop automatic defect inspection and classification
JP2020101958A (ja) * 2018-12-21 2020-07-02 カシオ計算機株式会社 識別装置、識別方法及びプログラム
WO2021075152A1 (ja) * 2019-10-18 2021-04-22 株式会社日立ハイテク 欠陥分類装置、欠陥分類プログラム

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5608575B2 (ja) * 2011-01-19 2014-10-15 株式会社日立ハイテクノロジーズ 画像分類方法および画像分類装置
US9305219B2 (en) * 2014-01-23 2016-04-05 Mitsubishi Electric Research Laboratories, Inc. Method for estimating free space using a camera system
US11182280B2 (en) * 2014-10-13 2021-11-23 Microsoft Technology Licensing, Llc Application testing
US9652688B2 (en) * 2014-11-26 2017-05-16 Captricity, Inc. Analyzing content of digital images
KR102392057B1 (ko) * 2014-12-22 2022-04-28 삼성전자주식회사 자동 결함 분류 방법
US9659359B1 (en) * 2015-05-05 2017-05-23 Flextronics Ap, Llc Method of and device for quality control process optimization
WO2018216629A1 (ja) * 2017-05-22 2018-11-29 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
US11138507B2 (en) * 2017-09-28 2021-10-05 Applied Materials Israel Ltd. System, method and computer program product for classifying a multiplicity of items
CN111712769B (zh) * 2018-03-06 2023-08-01 欧姆龙株式会社 用于设定照明条件的方法、装置、系统以及存储介质
JP7015001B2 (ja) * 2018-03-14 2022-02-02 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
RU2698402C1 (ru) * 2018-08-30 2019-08-26 Самсунг Электроникс Ко., Лтд. Способ обучения сверточной нейронной сети для восстановления изображения и система для формирования карты глубины изображения (варианты)
JP6869490B2 (ja) * 2018-12-28 2021-05-12 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
EP3836019A1 (de) 2019-12-09 2021-06-16 Siemens Aktiengesellschaft Verfahren und assistenzsystem zur überprüfung von mustern auf fehlerhaftigkeit

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001189362A (ja) * 2000-01-04 2001-07-10 Toshiba Corp 半導体欠陥分類装置及び半導体欠陥分類方法
JP2003515942A (ja) * 1999-11-29 2003-05-07 ケイエルエイ−テンコー コーポレイション 半導体欠陥用のパワー・アシスト自動監視分類器作製ツール
JP2006300517A (ja) * 2005-04-15 2006-11-02 Hitachi High-Technologies Corp 検査装置
JP2009103508A (ja) * 2007-10-22 2009-05-14 Hitachi Ltd 欠陥分類方法及びその装置
JP2010087322A (ja) * 2008-10-01 2010-04-15 Hitachi High-Technologies Corp 欠陥観察装置及び欠陥観察方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6922482B1 (en) 1999-06-15 2005-07-26 Applied Materials, Inc. Hybrid invariant adaptive automatic defect classification
JP4908995B2 (ja) 2006-09-27 2012-04-04 株式会社日立ハイテクノロジーズ 欠陥分類方法及びその装置並びに欠陥検査装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003515942A (ja) * 1999-11-29 2003-05-07 ケイエルエイ−テンコー コーポレイション 半導体欠陥用のパワー・アシスト自動監視分類器作製ツール
JP2001189362A (ja) * 2000-01-04 2001-07-10 Toshiba Corp 半導体欠陥分類装置及び半導体欠陥分類方法
JP2006300517A (ja) * 2005-04-15 2006-11-02 Hitachi High-Technologies Corp 検査装置
JP2009103508A (ja) * 2007-10-22 2009-05-14 Hitachi Ltd 欠陥分類方法及びその装置
JP2010087322A (ja) * 2008-10-01 2010-04-15 Hitachi High-Technologies Corp 欠陥観察装置及び欠陥観察方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI639824B (zh) * 2012-04-19 2018-11-01 應用材料以色列公司 用於自動及手動缺陷分類之整合的方法、設備及非暫態電腦可讀取儲存媒介
JP2013224943A (ja) * 2012-04-19 2013-10-31 Applied Materials Israel Ltd 自動及び手動欠陥分類の統合
US10043264B2 (en) 2012-04-19 2018-08-07 Applied Materials Israel Ltd. Integration of automatic and manual defect classification
JP2013225313A (ja) * 2012-04-20 2013-10-31 Applied Materials Israel Ltd 自動欠陥分類における分類器の準備及び保守
US10901402B2 (en) 2013-07-22 2021-01-26 Applied Materials Israel, Ltd. Closed-loop automatic defect inspection and classification
US10114368B2 (en) 2013-07-22 2018-10-30 Applied Materials Israel Ltd. Closed-loop automatic defect inspection and classification
US9964500B2 (en) 2014-12-08 2018-05-08 Hitachi High-Technologies Corporation Defect inspection device, display device, and defect classification device
WO2016092614A1 (ja) * 2014-12-08 2016-06-16 株式会社日立ハイテクノロジーズ 欠陥検査装置、表示装置、及び欠陥分類装置
JP2020101958A (ja) * 2018-12-21 2020-07-02 カシオ計算機株式会社 識別装置、識別方法及びプログラム
JP7268347B2 (ja) 2018-12-21 2023-05-08 カシオ計算機株式会社 識別装置、識別方法及びプログラム
WO2021075152A1 (ja) * 2019-10-18 2021-04-22 株式会社日立ハイテク 欠陥分類装置、欠陥分類プログラム
JP2021068745A (ja) * 2019-10-18 2021-04-30 株式会社日立ハイテク 欠陥分類装置、欠陥分類プログラム
KR20220062568A (ko) 2019-10-18 2022-05-17 주식회사 히타치하이테크 결함 분류 장치, 결함 분류 프로그램
JP7390851B2 (ja) 2019-10-18 2023-12-04 株式会社日立ハイテク 欠陥分類装置、欠陥分類プログラム

Also Published As

Publication number Publication date
US9020237B2 (en) 2015-04-28
JPWO2011155123A1 (ja) 2013-08-01
US20130077850A1 (en) 2013-03-28

Similar Documents

Publication Publication Date Title
WO2011155123A1 (ja) 観察画像の分類基準の最適化方法、および画像分類装置
US11526979B2 (en) Method of defect classification and system thereof
US7873205B2 (en) Apparatus and method for classifying defects using multiple classification modules
JP6391083B2 (ja) 自動欠陥分類における分類器の準備及び保守
US9280814B2 (en) Charged particle beam apparatus that performs image classification assistance
US8625906B2 (en) Image classification standard update method, program, and image classification device
JP5452392B2 (ja) 欠陥観察方法及び欠陥観察装置
JP6285640B2 (ja) 自動及び手動欠陥分類の統合
US20080298670A1 (en) Method and its apparatus for reviewing defects
KR101955268B1 (ko) 결함 관찰 장치 및 결함 관찰 방법
WO2018061067A1 (ja) 欠陥検査装置及び欠陥検査方法
JP2012225768A (ja) 欠陥分類方法及び欠陥分類システム
KR102530950B1 (ko) 반도체 시편에서의 결함들의 분류
JP2012181209A (ja) 欠陥分類方法及びその装置
KR20230119625A (ko) 결함 검사 장치, 결함 검사 방법 및 제조 방법
JP2021002354A (ja) 表示制御装置、表示制御方法及び表示制御プログラム
WO2016092614A1 (ja) 欠陥検査装置、表示装置、及び欠陥分類装置
WO2021075152A1 (ja) 欠陥分類装置、欠陥分類プログラム
JP2017003305A (ja) 欠陥画像分類装置
WO2013008531A1 (ja) 走査電子顕微鏡、欠陥検査システム、および欠陥検査装置
JP2021162527A (ja) 半導体の欠陥検出装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11792086

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012519217

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13702674

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 11792086

Country of ref document: EP

Kind code of ref document: A1