WO2023073941A1 - エラー要因推定装置、エラー要因推定方法及びコンピュータ可読媒体 - Google Patents
エラー要因推定装置、エラー要因推定方法及びコンピュータ可読媒体 Download PDFInfo
- Publication number
- WO2023073941A1 WO2023073941A1 PCT/JP2021/040062 JP2021040062W WO2023073941A1 WO 2023073941 A1 WO2023073941 A1 WO 2023073941A1 JP 2021040062 W JP2021040062 W JP 2021040062W WO 2023073941 A1 WO2023073941 A1 WO 2023073941A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- feature
- error factor
- error
- contribution
- degree
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000007689 inspection Methods 0.000 claims abstract description 121
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000005259 measurement Methods 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 11
- 230000015654 memory Effects 0.000 claims description 9
- 238000012360 testing method Methods 0.000 claims description 5
- 239000004065 semiconductor Substances 0.000 description 33
- 238000004458 analytical method Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 19
- 238000003860 storage Methods 0.000 description 18
- 235000012431 wafers Nutrition 0.000 description 17
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 5
- 238000003066 decision tree Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000000556 factor analysis Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010206 sensitivity analysis Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
- H01L21/02—Manufacture or treatment of semiconductor devices or of parts thereof
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
Definitions
- the present disclosure relates to an error factor estimating device, an error factor estimating method, and a computer-readable medium for estimating the error factor of an error that has occurred.
- a semiconductor inspection apparatus performs inspection and measurement operations for each inspection point on the surface of a semiconductor wafer according to setting parameters called recipes.
- Recipe adjustments are generally performed by engineers manually optimizing each item according to the attributes of the inspection object and the characteristics of the equipment.
- the use of a poorly adjusted recipe may result in erroneous inspection results in an inspection operation.
- an inspection result may become an error due to hardware aging or malfunction.
- the engineer corrects the recipe for the recipe-induced error, and replaces aged parts for the hardware-induced error or performs maintenance on the failed part. In this way, since countermeasures to be taken differ depending on error factors, estimation of error factors is very important.
- a classification method such as machine learning is used to estimate error factors (see Patent Document 1, for example).
- failure data is generated by generating learning data about failure data having a common circuit and learning data about failure data having a common process. Techniques for increasing the volume are disclosed.
- An object of the present disclosure is to provide a technique that can estimate the error factor of the error that occurs even if data drift occurs in which the inspection results change continuously or discontinuously.
- an error factor estimating device for estimating error factors of an erroneous inspection result, and has one or more processors and one or more memories.
- a computer system wherein the computer system processes data including the inspection results collected from an inspection apparatus to generate a plurality of feature values; and the first feature value generation process.
- a model generation process for generating a first model that learns the relationship between the plurality of feature values generated by and errors, and at least one of the plurality of feature values used for learning the first model, Contribution degree calculation processing for calculating a degree of contribution indicating the degree of contribution to the output of the first model, and based on the contribution degree calculated by the contribution degree calculation processing or the usefulness calculated from the contribution degree an error factor acquisition process for acquiring an error factor labeled with the selected feature amount or combination of feature amounts;
- FIG. 1 is a block diagram showing the overall configuration of an error factor estimating device of Example 1;
- FIG. 2 is a hardware block diagram of a computer system of the error factor estimation device;
- FIG. 4 is a diagram showing the data structure of feature quantity groups A and B; FIG. It is the figure which plotted the inspection result for every inspection ID, and the figure which plotted the feature-value for every inspection ID.
- FIG. 10 is a diagram showing a selection screen for selecting feature amounts defined in a feature amount list;
- FIG. 10 is a diagram for explaining a method of learning an error record detection rule;
- 4 is a block diagram showing details of an error factor estimation unit;
- FIG. It is a figure which shows the calculation method of the usefulness of a feature-value. It is a screen which shows the analysis result displayed on an output device.
- FIG. 4 is a flowchart showing an error factor estimation method
- FIG. 11 is a block diagram showing details of an error factor estimator according to the second embodiment
- 9 is a flow chart showing an error factor estimation method according to the second embodiment
- FIG. 10 is a diagram showing the data structure of an error dictionary of Example 2
- FIG. 11 is a block diagram showing details of a model generation unit of Example 3
- FIG. 11 is a diagram showing an estimation result of error probability by an error probability estimating unit of Example 3
- 14 is a flow chart showing a usage example of the error factor estimation device of the fourth embodiment
- semiconductor inspection apparatus means an apparatus for measuring the dimensions of a pattern formed on the surface of a semiconductor wafer, an apparatus for inspecting the presence or absence of defects in a pattern formed on the surface of a semiconductor wafer, a pattern It includes an apparatus for inspecting bare wafers on which no wafers are formed for defects, and a composite apparatus combining these apparatuses.
- inspection is used to mean measurement or inspection
- inspection operation is used to mean measurement operation or inspection operation.
- inspection target refers to a wafer to be measured or inspected, or a target area of the wafer to be measured or inspected.
- errors include not only measurement failures and device failures, but also signs of errors such as alerts and warning messages.
- the error factor estimation device 100 estimates error factors of inspection results (hereinafter referred to as error data as appropriate) resulting in errors in the semiconductor inspection apparatus 10 .
- the semiconductor inspection apparatus 10 performs an inspection operation for each inspection point on the surface of a semiconductor wafer according to setting parameters called a recipe.
- the error factor estimating apparatus 100 may be on-premise operated within a facility managed by the user of the semiconductor inspection apparatus 10, or cloud operated outside a facility managed by the user of the semiconductor inspection apparatus 10. can be Also, the error factor estimation device 100 may be incorporated into the semiconductor inspection device 10 .
- the error factor estimation device 100 includes a feature group A generator 2a, a feature group B generator 2b, a feature list storage 3 storing feature lists A3a and B3b, a model generator 4, and a model A5a. , a model B5b, an error factor estimator 6, a feature quantity-error factor list 8, and a feature quantity-weight list 9.
- the error factor estimation device 100 of the first embodiment has two feature quantity group generators (2a, 2b), two feature quantity lists (A3a, B3b), and two models (A5a, B5b).
- the error factor estimation device 100 may have three or more of each of feature quantity groups, feature quantity lists and models.
- Analysis object data 1 is data collected from a semiconductor inspection apparatus 10 .
- the analysis target data 1 input to the error factor estimating apparatus 100 stores the inspection results of the semiconductor inspection apparatus 10 including error data whose error factors are to be analyzed. Inspection results are stored in the analysis object data 1 in association with inspection IDs, apparatus data, recipes, and the presence or absence of errors.
- the analysis target data 1 may be stored in the internal storage of the semiconductor inspection apparatus 10 or may be stored in an external storage communicably connected to the semiconductor inspection apparatus 10 .
- the inspection ID is a number assigned each time an inspection object is inspected by the semiconductor inspection apparatus 10, and is a number for identifying inspection results.
- the device data includes device-specific parameters, individual difference correction data, and observation condition parameters.
- the device-specific parameters are correction parameters used to operate the semiconductor inspection device 10 according to prescribed specifications.
- the individual difference correction data are parameters used for correcting individual differences between the semiconductor inspection apparatuses 10 .
- Observation condition parameters are parameters that define the observation conditions of a SEM (Scanning Electron Microscope) such as the acceleration voltage of an electron optical system, for example.
- a recipe includes wafer maps, pattern matching images, alignment parameters, addressing parameters, and length measurement parameters.
- a wafer map is a coordinate map (eg, pattern coordinates) on a semiconductor wafer.
- a pattern matching image is a searched image used for detection of measurement coordinates.
- Alignment parameters are parameters used, for example, to correct a deviation between the coordinate system on the semiconductor wafer and the coordinate system inside the semiconductor inspection apparatus 10 .
- the addressing parameter is, for example, information specifying a characteristic pattern existing in an inspection target area among patterns formed on a semiconductor wafer.
- the length measurement parameter is a parameter that describes the conditions for measuring the length, and is a parameter that specifies, for example, which part of the pattern the length is to be measured.
- Inspection results include length measurement results, image data, and operation logs.
- the length measurement result is information about the length of the pattern on the semiconductor wafer.
- the image data is an observed image of the semiconductor wafer.
- the operation log is data describing the internal state of the semiconductor inspection apparatus 10 in each operation process of alignment, addressing, and length measurement, and includes, for example, the operating voltage of each component, the coordinates of the observation field, and the like. Changes in the internal environment of the semiconductor inspection apparatus 10, such as changes in recipes and updates of equipment parts, and changes in the external environment of the semiconductor inspection apparatus 10, such as changes in the inspection target, result in continuous trends in the inspection results of the semiconductor inspection apparatus 10. Or data drift that changes discontinuously occurs.
- the presence or absence of an error is a parameter that indicates whether the inspection result is error data indicating an error or normal data indicating normality. This parameter may indicate the step in which the error occurred among the operation steps of error alignment, addressing, and length measurement.
- the error factor estimation device 100 includes a computer system 200 having one or more processors and one or more memories.
- This computer system 200 includes the feature group A generator 2a, the feature group B generator 2b, the feature list storage 3, the model generator 4, the model A 5a, the model B 5b, and the error factor estimator 6 shown in FIG. , a feature quantity-error factor list 8 and a feature quantity-weight list 9 .
- the computer system 200 executes each process of the flowchart of FIG. 10, which will be described later.
- FIG. 2 is a diagram showing the hardware configuration of the computer system 200. As shown in FIG. The hardware configuration of the computer system 200 will be described with reference to FIG.
- the computer system 200 includes a processor 201, a communication interface 202 (hereinafter, the interface is abbreviated as I/F), a memory 203, a storage 204, a RAID controller 205, and a bus that communicably connects each module described above. 206 and .
- the processor 201 executes program instructions that cause each process in the flowchart of FIG. 10 to be executed.
- the processor 201 is, for example, a CPU (Central Processing Unit), a DSP (Digital Signal Processor), an ASIC (Application Specific Integrated Circuit), or the like.
- the processor 201 expands the program instructions stored in the storage 204 to the work area of the memory 203 so that they can be executed.
- the memory 203 stores program instructions executed by the processor 201, data processed by the processor 201, and the like.
- the memory 203 is a flash memory, RAM (Random Access Memory), ROM (Read Only Memory), or the like.
- a storage 204 stores an OS, a boot program, and a web application.
- the storage 204 stores the feature quantity lists A3a and B3b, the feature quantity groups A and B described later, the model A5a and the model B5b, the feature quantity-error factor list 8, and the feature quantity-weight list 9.
- the storage 204 is an HDD (Hard Disk Drive), SSD (Solid State Drive), or the like.
- the communication I/F 202 is communicably connected to the storage storing the analysis target data 1 described above, and receives the analysis target data 1 from this storage. Also, the communication I/F 202 outputs the analysis result 900 (see FIG. 9) to the output device 7 locally or on the network.
- the RAID controller 205 operates the plurality of storages 204 logically like one device. The RAID controller 205 writes various data to the multiple storages 204 and reads various data from the multiple storages 204 .
- the feature quantity group A generation unit 2a processes the analysis target data 1 to generate one or more feature quantities.
- One or more feature amounts generated by the feature amount group A generation unit 2a are called a feature amount group A.
- FIG. The feature values generated by the feature value group A generation unit 2a are defined in the feature value list A3a.
- the feature quantity group B generation unit 2b processes the analysis target data 1 to generate one or more feature quantities.
- One or more feature amounts generated by the feature amount group B generation unit 2b are called a feature amount group B.
- FIG. The feature values generated by the feature value group B generation unit 2b are defined in the feature value list B3b.
- the data structure of the above-described feature quantity groups A and B will be described with reference to FIG.
- an inspection ID is assigned, and recipes and inspection results (X1,1, X1,2, . . . ) are recorded for this inspection ID.
- the feature group A generation unit 2a processes the analysis target data 1 to generate the feature amounts A1 and A2 defined in the feature amount list A3a.
- the feature group B generation unit 2b processes the analysis target data 1 to generate the feature amounts B1 and B2 defined in the feature amount list B3b.
- the feature amount is, for example, an index related to variations in inspection results within the same apparatus. This feature amount is the difference between the median value or average value of the inspection results in the same apparatus and the inspection result for a certain inspection item. Another feature amount is, for example, an index related to variations in inspection results at the same measurement point. This feature amount is the difference between the median value or the average value of the inspection results at the same measurement point and the inspection result for a certain inspection item. Another feature amount is, for example, an index related to variations in inspection results for the same recipe. This feature amount is the difference between the median value or average value of the inspection results of the same recipe for a certain inspection item and the inspection results.
- Another feature amount is, for example, an index related to variations in inspection results within the same wafer. This feature amount is the difference between the median value or average value of the inspection results on the same wafer and the inspection result for a certain inspection item. Another feature amount is, for example, an index related to variations in inspection results at measurement points using the same reference image for pattern matching. This feature amount is the difference between the median value or the average value of the inspection results and the inspection results at the measurement points using the same reference image for pattern matching for a certain inspection item. Another feature quantity can be, for example, an error rate to a specific device or specific coordinates.
- FIG. 4 a comparison between the inspection result for a certain inspection item and the feature amount generated by processing the inspection result will be described.
- circle marks indicate normal records
- cross marks indicate error records.
- the diagram on the left side of FIG. 4 is a diagram 401 plotting the inspection results of the inspection item X1 for each inspection ID.
- the diagram on the right side of FIG. 4 is a diagram 402 in which the feature amount A1 is plotted for each examination ID.
- FIG. 401 on the left side of FIG. 4 normal records and error records of the raw data (inspection results) of the inspection item X1 are mixed within the same range. is difficult.
- the feature list storage unit 3 stores a feature list A3a and a feature list B3b.
- the feature quantity list A3a defines one or more feature quantities generated by the feature quantity group A generation unit 2a. That is, the feature group A generating unit 2a generates one or more feature amounts defined in the feature list A3a.
- the feature quantity list B3b defines one or more feature quantities generated by the feature quantity group B generation unit 2b. That is, the feature quantity group B generation unit 2b generates one or more feature quantities defined in the feature quantity list B3b.
- FIG. 5 shows a selection screen 500 for selecting feature amounts.
- the user can select a feature quantity for each of the feature quantity lists A3a and B3b.
- the user selects an arbitrary feature amount from the feature amount list 501 on the selection screen 500 and adds it to the feature amount list field 502 .
- the feature amount displayed in the feature amount list field 502 is the feature amount defined in the feature amount list A3a.
- the user can also select and delete the feature amount added to the feature amount list field 502 .
- the computer system 200 executes selection processing for selecting a plurality of feature amounts generated by the feature amount group A generating section 2a and the feature amount group B generating section 2b according to instructions from the user.
- the user sets a weight 503 to each feature amount in the feature amount list field 502 .
- the weight 503 set for each feature is stored in the feature-weight list 9 for each feature.
- the user can select, via the selection screen 500, a combination of feature quantities suitable for estimating error factors.
- This selection screen 500 may be displayed on the display unit of the output device 7 or may be displayed on the display unit connected to the error factor estimation device 100 .
- the selection screen 500 is provided by a web application executed by the error factor estimation device 100, and the web browser of the output device 7 displays the selection screen 500 provided by the web application. That is, the Web application executed by the error factor estimation device 100 executes display control processing so that the selection screen 500 is displayed on the display section of the output device 7 .
- the feature amount that is the difference between the median value or average value of the inspection results in the same device and the inspection result in the feature amount list A3a.
- the feature quantity which is the difference between the median value or average value of the inspection results of the same recipe and the inspection results, is defined in the feature quantity list B3b. That is, the user defines one or more feature values related to hardware-induced errors in the feature value list A3a, and defines one or more feature values related to recipe-based errors in the feature value list B3b. Note that the feature amounts defined in the feature amount lists A3a and B3b are arbitrary.
- feature amounts related to recipe-related errors may be defined in the feature amount list A3a
- feature amounts related to hardware-related errors may be defined in the feature amount list B3b.
- You may define a feature quantity that Also, a feature quantity common to both the feature quantity lists A3a and B3b may be defined.
- the feature quantity-error factor list 8 stores feature quantities labeled with error factors.
- a feature quantity that is the difference between the median value or the average value of the inspection results in the same device and the inspection result is labeled with a hardware-induced error.
- a feature value, which is the difference between the median value or average value of the inspection results of the same recipe and the inspection results is labeled as a recipe-based error.
- the error factors may be detailed error factors such as inappropriate recipe parameters and faulty parts of the apparatus, in addition to errors caused by the hardware and errors caused by the recipe.
- the feature quantity-weight list 9 associates and stores the feature quantity and the weight set to the feature quantity.
- the weight set for the feature amount is the weight set in the feature amount list field 502 of the selection screen 500 .
- the weights stored in the feature quantity-weight list 9 are set according to the degree of relevance to the error factor. This weight is a value used when calculating usefulness, which will be described later. The default value of the weight can use the value adjusted by another site.
- Model generator 4 The model generator 4 generates models A5a and B5b for learning the relationship between a plurality of feature quantities and errors.
- a model trained with the feature amount of the feature amount group A generated by the feature amount group A generation unit 2a is called model A5a
- a model trained with the feature amount of the feature amount group B generated by the feature amount group B generation unit 2b is called model B5b.
- the models A5a and B5b are constructed using decision tree-based algorithms such as Random Forest and Gradient Boosting Tree, or machine learning algorithms such as Neural Network.
- FIG. 6 shows an image of the learning method when the model is constructed with a decision tree-based algorithm.
- This model is a model that learns a classification method for classifying error records and normal records using each feature quantity of an input feature quantity group.
- FIG. 6 shows an example of learning a classification method for classifying error records and normal records using feature amounts A1 and A2.
- the error factor estimator 6 calculates the usefulness of each feature quantity for the error prediction results of the models A5a and B5b, and estimates error factors based on this usefulness.
- the error factor estimator 6 estimates error factors of the error data based on the feature quantity-error factor list 8 and the feature quantity-weight list 9 .
- the error factor estimator 6 includes a contribution calculator 11 , an extractor 13 , a usefulness calculator 14 , and an error factor acquirer 15 .
- the contribution calculation unit 11 calculates a contribution indicating the extent to which each feature amount of the feature amount group A used for learning the model A5a contributed to the error prediction result which is the output of the model A5a. Further, the contribution calculation unit 11 calculates a contribution indicating the extent to which each feature amount of the feature amount group B used for learning of the model B5b contributed to the error prediction result which is the output of the model B5b. For example, when a model is constructed by a decision tree-based algorithm, the contribution is the variable importance (Feature Importance). Further, the contribution calculation unit 11 may calculate the contribution using a sensitivity analysis or a feature selection algorithm for a model such as SHAP (SHAPLEY Additive exPlanations).
- SHAP SHAPLEY Additive exPlanations
- the contribution calculation unit 11 calculates the contribution of each feature quantity of the feature quantity group A used for learning the model A5a (hereinafter referred to as the contribution 12a of the feature quantity group A), and calculates the contribution for learning the model B5b.
- the degree of contribution of each feature quantity of the used feature quantity group B (hereinafter referred to as the contribution degree 12b of the feature quantity group B) is calculated.
- the extraction unit 13 extracts one or more feature amounts based on the contribution calculated by the contribution calculation unit 11 .
- the extracting unit 13 may, for example, extract the top N feature quantities (N is a predetermined number) having a high degree of contribution, or extract feature quantities having a degree of contribution equal to or greater than a predetermined threshold. can be In the combination of feature amounts extracted by the extraction unit 13, all of the top N feature amounts may belong to the feature amount group A, regardless of the affiliation of the feature amount groups A and B, for example.
- the usefulness calculator 14 calculates the usefulness of each feature extracted by the extractor 13 based on the contribution of the feature and the weight of the feature. This usefulness is used for estimating error factors. The usefulness is calculated by multiplying the contribution ⁇ of the feature amount and the weight w of the feature amount, as shown in FIG. The usefulness e may be calculated based on the contribution ⁇ of the feature quantity and the weight w of the feature quantity. Not exclusively.
- the error factor acquisition unit 15 selects one or more feature quantities based on the usefulness calculated by the usefulness calculation unit 14, and acquires error factors labeled with the selected feature quantities. For example, the error factor acquisition unit 15 refers to the feature amount-error factor list 8 to acquire the error factor labeled with the feature amount having the highest usefulness. Note that the error factor acquisition unit 15 may acquire error factors labeled with the top M (M is a predetermined number) feature amounts having the highest usefulness. The error factor acquisition unit 15 then transmits the analysis result 900 to the output device 7 . As shown in FIG. 9, the analysis result 900 includes an acquired error factor 901, top M feature values 902 with the highest usefulness, a contribution 903 of these feature values, and a feature value (the most useful value) for each examination ID. 904, which plots the high feature amount of .
- the output device 7 is a display device, and receives and displays the analysis result 900 transmitted by the error factor acquisition unit 15 . Specifically, as shown in FIG. 9, the output device 7 outputs an error factor 901, top M feature quantities 902 with high usefulness, a contribution 903 of these feature quantities, and a feature quantity ( A diagram 904 in which the most useful feature amount is plotted is displayed so that the user can recognize it. Further, when the error factor acquisition unit 15 acquires error factors labeled with the top M feature quantities with the highest usefulness, the output device 7 displays these error factors as error factor candidates in order of usefulness. You can The output device 7 may be a device locally connected to the error factor estimation device 100, or may be a device connected to a network. Note that the contribution 903 may be a usefulness.
- the computer system 200 (feature group A generating unit 2a, feature amount group B generating unit 2b) generates a feature amount group A including feature amounts defined in the feature amount list A3a, and a feature amount defined in the feature amount list B3b.
- a feature quantity group B including quantities is generated (S101 [first feature quantity generation processing and second feature quantity generation processing]).
- the computer system 200 (model generation unit 4) generates a model A5a learned with the feature amounts of the feature amount group A and a model B5b learned with the feature amounts of the feature amount group B (S102 [model generation processing ]).
- the computer system 200 (contribution degree calculation unit 11) calculates the contribution degree of each feature amount of the feature amount group A and the contribution degree of each feature amount of the feature amount group B (S103 [contribution degree calculation process]).
- the computer system 200 extracts one or more feature amounts based on the contribution calculated in S103 (S104 [extraction process]).
- the computer system 200 (usefulness calculation unit 14) calculates usefulness for each feature amount extracted by the extraction unit 13 (S105 [usefulness calculation process]). The usefulness is calculated based on the contribution of the feature quantity and the weight of the feature quantity.
- the computer system 200 (error factor acquisition unit 15) selects one or more feature amounts based on the usefulness, refers to the feature amount-error factor list 8, and refers to the selected feature amount labeled error The cause is acquired (S106 [error cause acquisition process]).
- Computer system 200 transmits analysis results 900 to output device 7 .
- the output device 7 outputs the error factor 901, the top M feature quantities 902 with high usefulness, the contribution 903 of these feature quantities, and the feature quantity (most useful feature quantity) for each examination ID.
- the plotted diagram 904 is displayed so that the user can recognize it.
- Example 1 In a general classification model that prepares a large amount of error data labeled with error factors and learns the relationship between these error data and error factors, data drift occurs in which the trend of error occurrence changes continuously or discontinuously. cannot correspond to Therefore, in the first embodiment, the feature amount-error factor list 8 is referred to, and the error factors labeled with the feature amount selected based on the usefulness are obtained. As a result, even if data drift changes the trend of error data, it is possible to estimate the error factor if the feature amount does not change by labeling the error factor to the feature amount that responds to the error. becomes. Furthermore, in Example 1, by labeling the feature quantity with the error factor, the number of man-hours required for labeling is greatly reduced compared to the general method of labeling the error data with the error factor. be able to.
- the error factor can be easily obtained from the feature quantity selected based on the usefulness. can be done.
- the usefulness of the feature amount is calculated based on the contribution of each feature amount and the weight of the feature amount set according to the degree of relevance to the error factor.
- the calculation load related to the calculation of the usefulness is reduced compared to the case of calculating the usefulness of all the feature amounts. can be reduced.
- feature values that commonly respond to multiple error factors are mixed, feature values useful for identifying error factors such as hardware-related errors and recipe-related errors may not be used for model learning. Therefore, in the first embodiment, by dividing the feature amount groups to be generated according to the phenomenon to be captured, such as hardware-related errors and recipe-related errors, feature amounts useful for identifying error factors are used for model learning. Become. As a result, it is possible to obtain the error factor labeled with this feature quantity, thereby improving the accuracy of estimating the error factor.
- the engineer or the like can select the feature considered to be related to the error factor from the feature amount list. You can choose the quantity. As a result, it is possible to preliminarily exclude feature quantities that are not considered to be related to error factors, thereby improving the accuracy of estimating error factors.
- the user can grasp the error factor of the error data by checking the screen displayed by the output device 7 .
- the user can confirm that the extracted feature amount has a correlation with the error, and confirm the validity of the estimated error factor. can be done.
- the user can take corrective actions such as correcting the recipe if the estimated error is a recipe-based error, and performing equipment maintenance if the estimated error is a hardware-based error.
- the models A5a and B5b of the first embodiment learn the threshold value for classifying the error record and the normal record using a plurality of feature amounts, so that the feature amount that contributed to the output of the error measurement result can be easily determined. can be obtained.
- the error factor can be eliminated. it becomes possible to estimate
- the error factor estimation device 100 of the second embodiment will be described with reference to FIGS. 11 to 13.
- FIG. 11 the error factor estimation apparatus 100 of the first embodiment includes an error factor acquisition unit 15 that acquires error factors by referring to the feature quantity-error factor list 8 and the feature quantity-error factor list 8.
- the error factor estimation device 100 of the second embodiment includes an error dictionary 22 and an error factor acquisition unit 21 that acquires error factors by referring to the error dictionary 22 .
- the error factor acquisition unit 21 searches the error dictionary 22 for a combination of feature amounts that match or are highly similar to the combination of feature amounts selected based on the usefulness calculated by the usefulness calculation unit 14. , and the error factor labeled for that combination is obtained (S126).
- each row of the error dictionary 22 records a combination of feature amounts labeled with error factors.
- 1 indicates the value of the feature value related to the error factor
- 0 indicates the value of the feature value that is not related.
- the feature amount related to the error factor may be defined as a value within the range of 0 to 1 according to the degree of importance.
- the error factor acquisition unit 21 acquires the error factor labeled with the combination of the feature amounts retrieved in this way. Further, as the error factors to be acquired here, the top K factors having the highest degree of similarity may be acquired.
- Example 3 The error factor estimation device 100 of the third embodiment will be described with reference to FIGS. 14 and 15.
- FIG. 14 the model generation unit 4 of the error factor estimation device 100 of the third embodiment has an error probability estimation unit 31 and an error probability learning unit 32 unlike the first and second embodiments.
- the error probability estimating unit 31 estimates the error probability for normal records that are not recorded as errors in the analysis target data 1 .
- a method for estimating the error probability of a normal record will be described with reference to FIG. As shown in FIG. 4, the error probability of an error record is 1.0.
- the error probability of normal records is estimated based on the positional relationship with error records in the feature space. This error probability can be estimated from a model that predicts whether an error label is assigned, such as Positive and Unlabeled Learning.
- the error probability learning unit 32 generates a model for learning the error probability estimated by the error probability estimation unit 31.
- An estimation model for estimating this error probability is constructed using a decision tree-based algorithm such as Random Forest or Gradient Boosting Tree or a machine learning algorithm such as Neural Network.
- FIG. 16 is a flow chart showing a usage example of the error factor estimation device 100 by a user.
- a usage example of the error factor estimation device 100 by a user will be described with reference to FIG.
- the error factor analysis target data 1 is extracted from a database in which the inspection results of one or more semiconductor inspection devices 10 are accumulated.
- Methods for extracting the analysis object data 1 include designating product names, recipe names, and their measurement periods. Then, the extracted analysis object data 1 is input to the error factor estimation device 100 and the analysis result 900 by the error factor estimation device 100 is displayed on the output device 7 .
- the user confirms the analysis result 900 (the error factor, the feature amount that contributed to the estimation of the error factor, and the trend of the feature amount) displayed on the output device 7 (S161). Then, the user determines whether or not the error factors displayed on the output device 7 are appropriate (S162). If it is determined that the displayed error factor is valid (S162: Yes), the user corrects the recipe or performs maintenance of the device so as to eliminate the error factor based on the displayed analysis result 900 ( S163).
- the user determines that the displayed error factor is not valid (S162: No)
- the user rejects the analysis result 900 (S164).
- the user adjusts the weight of the feature amount related to the rejected analysis result 900 so that the correct error factor can be estimated (S165).
- the computer system 200 executes an adjustment process of adjusting the weight of the feature amount related to the rejected analysis result 900 to be relatively low.
- the weights may be automatically adjusted using existing optimization algorithms such as Bayesian optimization and metaheuristic algorithms, or may be adjusted manually on the selection screen in FIG.
- an error dictionary is used as in the second embodiment, the combination of feature amounts stored in the error dictionary and the combination of feature amounts with high usefulness calculated by the usefulness calculation unit 14 are compared and matched.
- the weight adjustment may be performed each time the analysis result 900 is rejected, or may be performed collectively at an arbitrary timing after accumulating the rejected analysis results 900 .
- the present disclosure is not limited to the embodiments described above, and includes various modifications.
- the above-described embodiments have been described in detail in order to explain the present disclosure in an easy-to-understand manner, and do not necessarily include all the configurations described.
- part of an embodiment can be replaced with the configuration of another embodiment.
- the configuration of another embodiment can be added to the configuration of one embodiment.
- a part of the configuration of each embodiment can be added, deleted or replaced with a part of the configuration of another embodiment.
- the error factor estimation device 100 of Examples 1 to 4 described above has two feature quantity groups A and B and two models A5a and B5b, but the error factor estimation device 100 has one feature quantity group Moreover, the device may have one model learned with the feature amount of the feature amount group.
- the usefulness of each feature amount extracted by the extraction unit 13 is calculated, but the usefulness calculation unit 14 may calculate the usefulness of all the feature amounts.
- the error factor acquisition unit 15 refers to the feature quantity-error factor list 8 and acquires the error factor based on the calculated usefulness.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Power Engineering (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- Automation & Control Theory (AREA)
- Testing Or Measuring Of Semiconductors Or The Like (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
Description
図1を参照して、実施例1のエラー要因推定装置100を説明する。実施例1のエラー要因推定装置100は、半導体検査装置10でエラーとなった検査結果(以下、適宜エラーデータと呼ぶ)のエラー要因を推定する。半導体検査装置10は、レシピと呼ばれる設定パラメータに従って、半導体ウエハの表面における検査点ごとに検査動作を実施する。エラー要因推定装置100は、半導体検査装置10の使用者が管理する施設内で運用されるオンプレミスであっても良いし、半導体検査装置10の使用者が管理する施設外で運用されるクラウドであっても良い。また、半導体検査装置10にエラー要因推定装置100を組み込んでも良い。エラー要因推定装置100は、特徴量グループA生成部2aと、特徴量グループB生成部2bと、特徴量リストA3a及びB3bを記憶する特徴量リスト記憶部3と、モデル生成部4と、モデルA5aと、モデルB5bと、エラー要因推定部6と、特徴量-エラー要因リスト8と、特徴量-重みリスト9と、を備える。実施例1のエラー要因推定装置100は、2つの特徴量グループ生成部(2a、2b)、2つの特徴量リスト(A3a、B3b)、及び、2つのモデル(A5a、B5b)を有する。エラー要因推定装置100は、特徴量グループ、特徴量リスト及びモデルの各々を3つ以上有しても良い。
解析対象データ1は、半導体検査装置10から収集したデータである。エラー要因推定装置100に入力される解析対象データ1は、エラー要因を解析したいエラーデータを含む半導体検査装置10の検査結果を格納する。検査結果は、検査ID、装置データ、レシピ、及び、エラー有無と対応付けて解析対象データ1に格納される。解析対象データ1は、半導体検査装置10の内部ストレージに記憶されていても良いし、半導体検査装置10と通信可能に接続される外部ストレージに記憶されていても良い。
エラー要因推定装置100は、1又は複数のプロセッサ及び1又は複数のメモリを有するコンピュータシステム200を備える。このコンピュータシステム200は、図1に示した特徴量グループA生成部2a、特徴量グループB生成部2b、特徴量リスト記憶部3、モデル生成部4、モデルA5a、モデルB5b、エラー要因推定部6、特徴量-エラー要因リスト8、及び、特徴量-重みリスト9、として機能する。そして、コンピュータシステム200は、後述する図10のフローチャートの各処理を実行する。図2は、コンピュータシステム200のハードウェア構成を示した図である。図2を参照して、コンピュータシステム200のハードウェア構成を説明する。
特徴量グループA生成部2aは、解析対象データ1を処理して、1つ以上の特徴量を生成する。特徴量グループA生成部2aが生成する1つ以上の特徴量を特徴量グループAと呼ぶ。特徴量グループA生成部2aが生成する特徴量は、特徴量リストA3aで定義されている。また、特徴量グループB生成部2bは、解析対象データ1を処理して、1つ以上の特徴量を生成する。特徴量グループB生成部2bが生成する1つ以上の特徴量を特徴量グループBと呼ぶ。特徴量グループB生成部2bが生成する特徴量は、特徴量リストB3bで定義されている。
次に、特徴量の具体例を説明する。
特徴量は、例えば、同一装置内における検査結果のばらつきに関する指標である。この特徴量は、ある検査項目について同一装置内の検査結果の中央値や平均値と検査結果との差分である。
また、別の特徴量は、例えば、同一測定点における検査結果のばらつきに関する指標である。この特徴量は、ある検査項目について同一測定点の検査結果の中央値や平均値と検査結果との差分である。
また、別の特徴量は、例えば、同一レシピにおける検査結果のばらつきに関する指標である。この特徴量は、ある検査項目について同一レシピの検査結果の中央値や平均値と検査結果との差分である。
また、別の特徴量は、例えば、同一ウエハ内における検査結果のばらつきに関する指標である。この特徴量は、ある検査項目について同一ウエハ内の検査結果の中央値や平均値と検査結果との差分である。
また、別の特徴量は、例えば、同一のパターンマッチング用の参照画像を用いた測定点における検査結果のばらつきに関する指標である。この特徴量は、ある検査項目について同一のパターンマッチング用の参照画像を用いた測定点における検査結果の中央値や平均値と検査結果との差分である。
また、別の特徴量は、例えば、特定装置や特定座標へのエラー率を特徴量とすることができる。
図4を参照して、ある検査項目についての検査結果とその検査結果を処理して生成した特徴量との比較を説明する。図4において、丸印が正常レコードを示し、バツ印がエラーレコードを示す。図4の左側の図は、検査ID毎に検査項目X1の検査結果をプロットした図401である。また、図4の右側の図は、検査ID毎に特徴量A1をプロットした図402である。図4の左側の図401では、検査項目X1の生データ(検査結果)の正常レコードとエラーレコードとが同一範囲内に混在しており、閾値を決めてエラーレコードと正常レコードとを区別することが困難である。これに対して、図4の右側の図402では、上述したような検査結果のばらつきに関する指標である特徴量を生成することによって、閾値を決めてエラーレコードと正常レコードとを区別することが可能となる。特徴量とエラー要因とが密接な関係性を有しているならば、図4の右側の図402のように、検査ID毎に特徴量をプロットすることによって、特徴量と密接な関係を有するエラー要因に起因するエラーレコードを見分ける閾値を決定することが可能となる。
特徴量リスト記憶部3は、特徴量リストA3aと特徴量リストB3bとを記憶する。特徴量リストA3aは、特徴量グループA生成部2aが生成する1又は複数の特徴量を定義する。つまり、特徴量グループA生成部2aは、特徴量リストA3aで定義された1又は複数の特徴量を生成する。また、特徴量リストB3bは、特徴量グループB生成部2bが生成する1又は複数の特徴量を定義する。つまり、特徴量グループB生成部2bは、特徴量リストB3bで定義された1又は複数の特徴量を生成する。
特徴量-エラー要因リスト8は、エラー要因がラベル付けされた特徴量を記憶する。特徴量-エラー要因リスト8では、例えば、同一装置内の検査結果の中央値や平均値と検査結果との差分である特徴量にハード起因エラーがラベル付けされる。また、特徴量-エラー要因リスト8では、例えば、同一レシピの検査結果の中央値や平均値と検査結果との差分である特徴量にレシピ起因エラーがラベル付けされている。なお、エラー要因は、ハード起因エラーやレシピ起因エラーだけでなく、不適切なレシピパラメータ及び装置の不具合箇所等の詳細なエラー要因であっても良い。
特徴量-重みリスト9は、特徴量と特徴量に設定された重みとを紐づけて記憶する。特徴量に設定された重みは、選択画面500の特徴量リスト欄502で設定された重みである。特徴量-重みリスト9に記憶される重みは、エラー要因との関連性の高さに応じて設定される。この重みは、後述する有用度を算出する際に使用される値である。重みのデフォルト値は、別サイトで調整された値を用いることができる。
モデル生成部4は、複数の特徴量とエラーとの関係を学習するモデルA5a及びB5bを生成する。特徴量グループA生成部2aが生成した特徴量グループAの特徴量で学習したモデルをモデルA5aとし、特徴量グループB生成部2bが生成した特徴量グループBの特徴量で学習したモデルをモデルB5bとする。モデルA5a及びB5bは、Random ForestやGradient Boosting Treeなどの決定木をベースとしたアルゴリズム又はNeural Network等の機械学習アルゴリズムを用いて構築される。モデルが決定木をベースとしたアルゴリズムで構築される場合の学習方法のイメージを図6に示す。このモデルは、入力された特徴量グループの各特徴量を用いて、エラーレコードと正常レコードとを分類する分類方法を学習するモデルとなっている。図6では、特徴量A1と特徴量A2とを用いて、エラーレコードと正常レコードとを分類する分類方法を学習した例を示している。
エラー要因推定部6は、モデルA5a及びB5bのエラー予測結果に対する各特徴量の有用度を算出し、この有用度に基づいてエラー要因を推定する。エラー要因推定部6は、特徴量-エラー要因リスト8及び特徴量-重みリスト9に基づき、エラーデータのエラー要因を推定する。図7に示すように、エラー要因推定部6は、寄与度算出部11、抽出部13、有用度算出部14、及び、エラー要因取得部15を備える。
寄与度算出部11は、モデルA5aの学習に使用された特徴量グループAの各特徴量が、モデルA5aの出力であるエラー予測結果に対して寄与した程度を示す寄与度を算出する。また、寄与度算出部11は、モデルB5bの学習に使用された特徴量グループBの各特徴量が、モデルB5bの出力であるエラー予測結果に対して寄与した程度を示す寄与度を算出する。寄与度は、例えば、モデルが決定木をベースとしたアルゴリズムで構築される場合、各特徴量がモデル内の分岐に出現する個数や目的関数の改善値等に基づき計算される変数重要度(Feature Importance)である。また、寄与度算出部11は、SHAP(SHapley Additive exPlanations)などのモデルに対する感度解析や特徴量選択アルゴリズムを用いて、寄与度を算出しても良い。このように、寄与度算出部11は、モデルA5aの学習に利用した特徴量グループAの各特徴量の寄与度(以下、特徴量グループAの寄与度12a)を算出し、モデルB5bの学習に利用した特徴量グループBの各特徴量の寄与度(以下、特徴量グループBの寄与度12b)を算出する。
抽出部13は、寄与度算出部11によって算出された寄与度に基づいて、1又は複数の特徴量を抽出する。抽出部13は、例えば、寄与度の高い上位N個(N個は、予め決めた個数)の特徴量を抽出しても良いし、予め定めた閾値以上の寄与度を有する特徴量を抽出しても良い。抽出部13によって抽出される特徴量の組合せは、特徴量グループA及びBの所属に関係なく、例えば、上位N個の特徴量の全てが特徴量グループAに所属する場合もあり得る。
有用度算出部14は、抽出部13によって抽出された各特徴量について、特徴量の寄与度及びその特徴量の重みに基づき有用度を算出する。この有用度は、エラー要因の推定に用いられる。有用度は、図8に示すように、特徴量の寄与度φ及びその特徴量の重みwの乗算によって算出される。なお、有用度eは、特徴量の寄与度φ及びその特徴量の重みwに基づいて算出されれば良く、その計算方法は、特徴量の寄与度φ及びその特徴量の重みwの乗算に限らない。
エラー要因取得部15は、有用度算出部14によって算出された有用度に基づいて1又は複数の特徴量を選択し、選択した特徴量にラベル付けされたエラー要因を取得する。エラー要因取得部15は、例えば、特徴量-エラー要因リスト8を参照して、有用度が最も高い特徴量にラベル付けされたエラー要因を取得する。なお、エラー要因取得部15は、有用度の高い上位M個(M個は、予め決めた個数)の特徴量にラベル付けされたエラー要因を取得しても良い。そして、エラー要因取得部15は、解析結果900を出力装置7に送信する。解析結果900は、図9に示すように、取得したエラー要因901、有用度の高い上位M個の特徴量902、それら特徴量の寄与度903、及び、検査ID毎に特徴量(最も有用度の高い特徴量)をプロットした図904、を含む。
出力装置7は、表示装置であって、エラー要因取得部15が送信した解析結果900を受信して、表示する。具体的には、出力装置7は、図9に示すように、エラー要因901、有用度の高い上位M個の特徴量902、それら特徴量の寄与度903、及び、検査ID毎に特徴量(最も有用度の高い特徴量)をプロットした図904、をユーザが認識できるように表示する。また、エラー要因取得部15が有用度の高い上位M個の特徴量にラベル付けされたエラー要因を取得する場合、出力装置7は、エラー要因の候補として、それらのエラー要因を有用度順に表示しても良い。出力装置7は、エラー要因推定装置100とローカル接続された装置であっても良いし、ネットワーク接続された装置であっても良い。なお、寄与度903は、有用度であっても良い。
次に、図10を参照して、エラー要因推定装置100が実行するエラー要因推定方法の詳細を説明する。図10に示したフローチャートの各ステップは、特徴量グループA生成部2a、特徴量グループB生成部2b、モデル生成部4及びエラー要因推定部6として機能するコンピュータシステム200によって実行される。なお、このエラー要因推定方法を実行させるプログラム命令は、非一時的なコンピュータ可読媒体、例えば、ストレージ204に格納される。
エラー要因がラベル付けされた多数のエラーデータを準備し、これらのエラーデータとエラー要因との関係を学習した一般的な分類モデルでは、エラーの発生傾向が継続的又は不連続に変化するデータドリフトには対応できない。そこで、実施例1では、特徴量-エラー要因リスト8を参照して、有用度に基づいて選択した特徴量にラベル付けされたエラー要因を取得する。これにより、エラーデータのトレンドが変化するデータドリフトが発生したとしても、エラーに反応する特徴量にエラー要因をラベル付けすることによって、特徴量が変化しなければ、エラー要因を推定することが可能となる。
さらに、実施例1では、特徴量にエラー要因をラベル付けすることによって、エラーデータに対してエラー要因をラベル付けする一般的な手法と比較して、ラベル付けに必要な工数を大幅に削減することができる。
図11~図13を参照して、実施例2のエラー要因推定装置100を説明する。図11に示すように、実施例1のエラー要因推定装置100は、特徴量-エラー要因リスト8及び特徴量-エラー要因リスト8を参照してエラー要因を取得するエラー要因取得部15を備えている。一方で、実施例2のエラー要因推定装置100は、エラー辞書22及びエラー辞書22を参照してエラー要因を取得するエラー要因取得部21を備えている。
実施例2では、エラー要因がラベル付けされた特徴量の組み合わせを記憶するエラー辞書を参照することによって、エラー要因を特定するために使用できる情報が増加する。これにより、レシピ起因エラーであれば不適切なレシピパラメータ、また、ハード起因エラーであれば不具合箇所など、より詳細なエラー要因を推定することができる。
図14及び図15を参照して、実施例3のエラー要因推定装置100を説明する。図14に示すように、実施例3のエラー要因推定装置100のモデル生成部4は、実施例1及び2と異なり、エラー確率推定部31とエラー確率学習部32とを有する。
例えば、CD-SEM(CD-SEM:Critical Dimension-Scanning Electron Microscope)における測定エラーでは、測定回次ごとの装置動作の微小な差により同じような特徴をもつデータでもエラーが起きたり起きなかったりする。このような偶発的に発生するエラーレコードに対して検出精度を向上しようとすると、学習に使用する特徴量を増やすことによって、偶発的に発生したエラーレコードをエラーレコードとして分離するために新たな検出ルールを学習しようとする。そこで、実施例3では、各レコードのエラー確率を学習するモデルとすることによって、偶発的なエラーレコードと正常レコードの境界を識別するモデル化が不要となる。これにより、エラー要因に対して関連の低い特徴量の学習が抑制されるので、モデルの過学習を抑制することができる。その結果、モデルの汎化性能やエラー要因の推定に寄与する特徴量の抽出精度が向上し、より高精度にエラー要因を推定することができる。
図16は、ユーザによるエラー要因推定装置100の使用例を示したフローチャートである。実施例4では、図16を参照して、ユーザによるエラー要因推定装置100の使用例を説明する。
このようにユーザから棄却された解析結果900に係る特徴量の重みを調整することによって、使用する製品やレシピに合わせてエラー要因の推定精度を向上させることができる。
本開示は、上述した実施形態に限定されるものでなく、様々な変形例を含んでいる。例えば、上述した実施形態は、本開示を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備える必要はない。また、ある実施形態の一部を他の実施形態の構成に置き換えることができる。また、ある実施形態の構成に他の実施形態の構成を加えることもできる。また、各実施形態の構成の一部について、他の実施形態の構成の一部を追加、削除又は置換することもできる。
Claims (19)
- エラーとなった検査結果のエラー要因を推定するエラー要因推定装置であって、
1又は複数のプロセッサ及び1又は複数のメモリを有するコンピュータシステムを備え、
前記コンピュータシステムは、
検査装置から収集した前記検査結果を含むデータを処理して、複数の特徴量を生成する第1の特徴量生成処理と、
前記第1の特徴量生成処理によって生成された前記複数の特徴量とエラーとの関係を学習する第1のモデルを生成するモデル生成処理と、
前記第1のモデルの学習に用いた前記複数の特徴量の少なくとも1つについて、前記第1のモデルの出力に対して寄与した程度を示す寄与度を算出する寄与度算出処理と、
前記寄与度算出処理によって算出された寄与度又は前記寄与度から算出された有用度に基づいて選択した特徴量又は特徴量の組み合わせにラベル付けされたエラー要因を取得するエラー要因取得処理と、を実行することを特徴とするエラー要因推定装置。 - 前記コンピュータシステムは、
前記エラー要因がラベル付けされた前記特徴量を記憶するエラー要因リストを有し、
前記エラー要因取得処理において、前記エラー要因リストを参照して、前記寄与度又は前記有用度に基づいて選択した特徴量にラベル付けされたエラー要因を取得する、ことを特徴とする請求項1に記載のエラー要因推定装置。 - 前記コンピュータシステムは、
前記特徴量の組み合わせに前記エラー要因がラベル付けされた辞書を有し、
前記エラー要因取得処理において、前記辞書を参照して、前記寄与度又は前記有用度に基づいて選択した特徴量の組み合わせと一致又は類似する組み合わせにラベル付けされたエラー要因を取得する、ことを特徴とする請求項1に記載のエラー要因推定装置。 - 前記コンピュータシステムは、
前記複数の特徴量と前記複数の特徴量のそれぞれに設定された重みとが対応付けて記憶された前記重みリストを有し、
前記特徴量についての前記寄与度とこの特徴量に対応付けて記憶された前記重みとに基づいて前記有用度を算出する有用度算出処理、を実行することを特徴とする請求項1に記載のエラー要因推定装置。 - 前記コンピュータシステムは、
前記エラー要因取得処理によって取得された前記エラー要因がユーザによって棄却された場合、棄却された前記エラー要因がラベル付けされた特徴量の重みを低く調整する調整処理、を実行することを特徴とする請求項4に記載のエラー要因推定装置。 - 前記コンピュータシステムは、
前記複数の特徴量の中から前記寄与度の大きい1又は複数の特徴量を抽出する抽出処理、を実行し、
前記有用度算出処理において、前記抽出処理によって抽出された前記1又は複数の特徴量の有用度を算出する、ことを特徴とする請求項4に記載のエラー要因推定装置。 - 前記コンピュータシステムは、
前記検査装置から収集した前記検査結果を含むデータを処理して、前記第1の特徴量生成処理によって生成された前記複数の特徴量とは異なる複数の特徴量を生成する第2の特徴量生成処理を実行し、
前記モデル生成処理において、前記第2の特徴量生成処理によって生成された前記複数の特徴量とエラーとの関係を学習する第2のモデルを生成し、
前記寄与度算出処理において、前記第2のモデルの学習に用いた前記複数の特徴量の少なくとも1つについて、前記寄与度を算出し、
前記エラー要因取得処理において、前記寄与度算出処理によって算出された前記寄与度又は前記有用度に基づいて選択した特徴量又は特徴量の組み合わせにラベル付けされたエラー要因を取得する、ことを特徴とする請求項1に記載のエラー要因推定装置。 - 前記コンピュータシステムは、
複数の特徴量の中から前記第1の特徴量生成処理によって生成される前記複数の特徴量を選択する選択処理、を実行することを特徴とする請求項1に記載のエラー要因推定装置。 - 前記コンピュータシステムは、
前記エラー要因取得処理によって取得されたエラー要因、前記寄与度又は前記有用度に基づいて選択した前記特徴量のリスト、又は、前記特徴量のトレンド、を表示部に表示させる表示制御処理、を実行することを特徴とする請求項1に記載のエラー要因推定装置。 - 前記モデル生成処理において、前記第1の特徴量生成処理によって生成された前記複数の特徴量を用いてエラーレコードと正常レコードとを分類する分類方法を学習するモデルを生成する、ことを特徴とする請求項1に記載のエラー要因推定装置。
- 前記モデル生成処理において、前記複数の特徴量の特徴量空間におけるエラーレコードと正常レコードとの位置関係に基づいて推定された各レコードのエラー確率を学習するモデルを生成する、ことを特徴とする請求項1に記載のエラー要因推定装置。
- 前記特徴量は、検査結果のばらつきに関する指標である、ことを特徴とする請求項1に記載のエラー要因推定装置。
- 前記特徴量は、
同一装置内における検査結果のばらつきに関する指標、
同一測定点における検査結果のばらつきに関する指標、
同一レシピにおける検査結果のばらつきに関する指標、
同一ウエハ内における検査結果のばらつきに関する指標、及び、
同一のパターンマッチング用の参照画像を用いた測定点における検査結果のばらつきに関する指標、
の少なくとも1つである、ことを特徴とする請求項12に記載のエラー要因推定装置。 - エラーとなった検査結果のエラー要因を推定するエラー要因推定方法であって、
検査装置から収集した前記検査結果を含むデータを処理して、複数の特徴量を生成すること、
生成された前記複数の特徴量とエラーとの関係を学習する第1のモデルを生成すること、
前記第1のモデルの学習に用いた前記複数の特徴量の少なくとも1つについて、前記第1のモデルの出力に対して寄与した程度を示す寄与度を算出すること、及び、
算出された寄与度又は前記寄与度から算出された有用度に基づいて選択した特徴量又は特徴量の組み合わせにラベル付けされたエラー要因を取得すること、を有することを特徴とするエラー要因推定方法。 - 前記エラー要因がラベル付けされた前記特徴量を記憶するエラー要因リストを提供すること、をさらに有し、
前記エラー要因を取得することは、前記エラー要因リストを参照して、前記寄与度又は前記有用度に基づいて選択した特徴量にラベル付けされたエラー要因を取得することを含む、ことを特徴とする請求項14に記載のエラー要因推定方法。 - 前記特徴量の組み合わせに前記エラー要因がラベル付けされた辞書を提供すること、をさらに有し、
前記エラー要因を取得することは、前記辞書を参照して、前記寄与度又は前記有用度に基づいて選択した特徴量の組み合わせと一致又は類似する組み合わせにラベル付けされたエラー要因を取得することを含む、ことを特徴とする請求項14に記載のエラー要因推定方法。 - エラーとなった検査結果のエラー要因を推定するエラー要因推定方法を実行させるプログラム命令を格納する非一時的なコンピュータ可読媒体であって、
前記エラー要因推定方法は、
検査装置から収集した前記検査結果を含むデータを処理して、複数の特徴量を生成すること、
生成された前記複数の特徴量とエラーとの関係を学習する第1のモデルを生成すること、
前記第1のモデルの学習に用いた前記複数の特徴量の少なくとも1つについて、前記第1のモデルの出力に対して寄与した程度を示す寄与度を算出すること、及び、
算出された寄与度又は前記寄与度から算出された有用度に基づいて選択した特徴量又は特徴量の組み合わせにラベル付けされたエラー要因を取得すること、を有することを特徴とするコンピュータ可読媒体。 - 前記エラー要因推定方法は、
前記特徴量に前記エラー要因がラベル付けされたエラー要因リストを提供すること、をさらに有し、
前記エラー要因を取得することは、前記エラー要因リストを参照して、前記寄与度又は前記有用度に基づいて選択した特徴量にラベル付けされたエラー要因を取得することを含む、ことを特徴とする請求項17に記載のコンピュータ可読媒体。 - 前記エラー要因推定方法は、
前記特徴量の組み合わせに前記エラー要因がラベル付けされた辞書を提供すること、をさらに有し、
前記エラー要因を取得することは、前記辞書を参照して、前記寄与度又は前記有用度に基づいて選択した特徴量の組み合わせと一致又は類似する組み合わせにラベル付けされたエラー要因を取得することを含む、ことを特徴とする請求項17に記載のコンピュータ可読媒体。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023556046A JPWO2023073941A1 (ja) | 2021-10-29 | 2021-10-29 | |
CN202180102951.8A CN118056211A (zh) | 2021-10-29 | 2021-10-29 | 错误原因推定装置、错误原因推定方法以及计算机可读介质 |
PCT/JP2021/040062 WO2023073941A1 (ja) | 2021-10-29 | 2021-10-29 | エラー要因推定装置、エラー要因推定方法及びコンピュータ可読媒体 |
KR1020247010906A KR20240058139A (ko) | 2021-10-29 | 2021-10-29 | 에러 요인 추정 장치, 에러 요인 추정 방법 및 컴퓨터 가독 매체 |
TW111140724A TWI841020B (zh) | 2021-10-29 | 2022-10-26 | 誤差因素估計裝置、誤差因素估計方法、及電腦可讀取媒體 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2021/040062 WO2023073941A1 (ja) | 2021-10-29 | 2021-10-29 | エラー要因推定装置、エラー要因推定方法及びコンピュータ可読媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2023073941A1 true WO2023073941A1 (ja) | 2023-05-04 |
Family
ID=86157607
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/040062 WO2023073941A1 (ja) | 2021-10-29 | 2021-10-29 | エラー要因推定装置、エラー要因推定方法及びコンピュータ可読媒体 |
Country Status (5)
Country | Link |
---|---|
JP (1) | JPWO2023073941A1 (ja) |
KR (1) | KR20240058139A (ja) |
CN (1) | CN118056211A (ja) |
TW (1) | TWI841020B (ja) |
WO (1) | WO2023073941A1 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012199338A (ja) * | 2011-03-18 | 2012-10-18 | Fujitsu Ltd | 故障診断支援方法、プログラム及び装置 |
JP2020123164A (ja) * | 2019-01-30 | 2020-08-13 | 株式会社日立製作所 | 計算機システム及び入力データに対する予測結果の根拠に関する情報の提示方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106338708B (zh) * | 2016-08-30 | 2020-04-24 | 中国电力科学研究院 | 结合深度学习与递归神经网络的电能计量误差分析方法 |
CN112684396B (zh) * | 2020-11-20 | 2024-03-01 | 国网江苏省电力有限公司营销服务中心 | 电能表运行误差监测模型的数据预处理方法及系统 |
-
2021
- 2021-10-29 KR KR1020247010906A patent/KR20240058139A/ko unknown
- 2021-10-29 WO PCT/JP2021/040062 patent/WO2023073941A1/ja active Application Filing
- 2021-10-29 CN CN202180102951.8A patent/CN118056211A/zh active Pending
- 2021-10-29 JP JP2023556046A patent/JPWO2023073941A1/ja active Pending
-
2022
- 2022-10-26 TW TW111140724A patent/TWI841020B/zh active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012199338A (ja) * | 2011-03-18 | 2012-10-18 | Fujitsu Ltd | 故障診断支援方法、プログラム及び装置 |
JP2020123164A (ja) * | 2019-01-30 | 2020-08-13 | 株式会社日立製作所 | 計算機システム及び入力データに対する予測結果の根拠に関する情報の提示方法 |
Non-Patent Citations (1)
Title |
---|
SEIFFER CHRISTIAN, ZIEKOW HOLGER, SCHREIER ULF, GERLING ALEXANDER: "Detection of Concept Drift in Manufacturing Data with SHAP Values to Improve Error Prediction", DATA ANALYTICS 2021: THE TENTH INTERNATIONAL CONFERENCE ON DATA ANALYTICS, 13 October 2021 (2021-10-13), pages 51 - 60, XP093059980, Retrieved from the Internet <URL:https://opus.hs-furtwangen.de/frontdoor/index/index/docId/7624> [retrieved on 20230703] * |
Also Published As
Publication number | Publication date |
---|---|
TW202318525A (zh) | 2023-05-01 |
KR20240058139A (ko) | 2024-05-03 |
TWI841020B (zh) | 2024-05-01 |
JPWO2023073941A1 (ja) | 2023-05-04 |
CN118056211A (zh) | 2024-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109612999B (zh) | 用于晶圆图分析的系统和方法 | |
CN112508105B (zh) | 一种采油机故障检测与检索方法 | |
KR101799603B1 (ko) | 플라즈마 프로세싱 시스템 내에서의 자동적인 결함 검출 및 분류와 그 방법 | |
CN111665066B (zh) | 基于卷积神经网络的设备故障自适应上下预警界生成方法 | |
KR102384189B1 (ko) | 머신러닝에 기초한 반도체 불량 시점 예측 장치 및 방법 | |
TWI783400B (zh) | 誤差因子的推定裝置及推定方法 | |
CN113298162A (zh) | 一种基于K-means算法的桥梁健康监测方法及系统 | |
TW202028901A (zh) | 異常因子推估裝置、異常因子推估方法及程式產品 | |
KR20200033726A (ko) | 데이터 처리 방법, 데이터 처리 장치, 및 데이터 처리 프로그램을 저장한 컴퓨터 판독 가능한 기록 매체 | |
KR20200046905A (ko) | IoT 기상환경 수집 데이터의 안정성 확보 방법 | |
CN110716500A (zh) | 用于确定温度敏感区间分段建模点的方法与系统 | |
CN117251798A (zh) | 一种基于两层渐进式的气象设备异常检测方法 | |
KR20170100710A (ko) | 반도체 장치의 결함 모델링 장치 및 방법, 이를 위한 컴퓨터 프로그램과, 이를 이용한 반도체 장치의 결함 검사 시스템 | |
CN113009823A (zh) | 用于控制机器的方法和设备 | |
TWI801973B (zh) | 錯誤因素之推定裝置及推定方法 | |
KR20230102269A (ko) | 웨이퍼 제조 공정 장비의 이상 유무 탐지 방법 및 이를 위한 장치 | |
KR20200033727A (ko) | 데이터 처리 방법, 데이터 처리 장치, 데이터 처리 시스템, 및 데이터 처리 프로그램을 저장한 컴퓨터 판독 가능한 기록 매체 | |
WO2023073941A1 (ja) | エラー要因推定装置、エラー要因推定方法及びコンピュータ可読媒体 | |
CN114417737B (zh) | 用于晶圆刻蚀工艺的异常检测方法和装置 | |
CN115659271A (zh) | 传感器异常检测方法、模型训练方法、系统、设备及介质 | |
CN118094264B (zh) | 一种智能化电力电容器局部放电检测方法及系统 | |
WO2024105811A1 (ja) | エラー要因解析装置、および、エラー要因解析方法 | |
CN117970061B (zh) | 一种高压电力电容器故障预警方法及系统 | |
CN117494046A (zh) | 一种自适应电力通信网数据融合方法及装置 | |
CN116740408A (zh) | 一种数据均衡的桥梁数据异常检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21962482 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 20247010906 Country of ref document: KR Kind code of ref document: A |
|
WWE | Wipo information: entry into national phase |
Ref document number: 202180102951.8 Country of ref document: CN |
|
ENP | Entry into the national phase |
Ref document number: 2023556046 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |