WO2021181863A1 - 判定装置、試験システム、判定方法および判定プログラム - Google Patents

判定装置、試験システム、判定方法および判定プログラム Download PDF

Info

Publication number
WO2021181863A1
WO2021181863A1 PCT/JP2021/001134 JP2021001134W WO2021181863A1 WO 2021181863 A1 WO2021181863 A1 WO 2021181863A1 JP 2021001134 W JP2021001134 W JP 2021001134W WO 2021181863 A1 WO2021181863 A1 WO 2021181863A1
Authority
WO
WIPO (PCT)
Prior art keywords
test
determination
unit
reproducibility
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/001134
Other languages
English (en)
French (fr)
Inventor
皓甫 池田
杉村　一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advantest Corp
Original Assignee
Advantest Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advantest Corp filed Critical Advantest Corp
Priority to DE112021001524.9T priority Critical patent/DE112021001524T5/de
Priority to KR1020227021986A priority patent/KR102838390B1/ko
Priority to CN202180007757.1A priority patent/CN114902058B/zh
Publication of WO2021181863A1 publication Critical patent/WO2021181863A1/ja
Priority to US17/832,713 priority patent/US20220300390A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/26—Functional testing
    • G06F11/27—Built-in tests
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/28—Testing of electronic circuits, e.g. by signal tracer
    • G01R31/317—Testing of digital circuits
    • G01R31/31707—Test strategies
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/26—Functional testing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M99/00—Subject matter not provided for in other groups of this subclass
    • G01M99/008—Subject matter not provided for in other groups of this subclass by doing functionality tests
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/01—Subjecting similar articles in turn to test, e.g. "go/no-go" tests in mass production; Testing objects at points as they pass through a testing station
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/26—Testing of individual semiconductor devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/28—Testing of electronic circuits, e.g. by signal tracer
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/28—Testing of electronic circuits, e.g. by signal tracer
    • G01R31/2851—Testing of integrated circuits [IC]
    • G01R31/2855—Environmental, reliability or burn-in testing
    • G01R31/286—External aspects, e.g. related to chambers, contacting devices or handlers
    • G01R31/2868—Complete testing stations; systems; procedures; software aspects
    • G01R31/287—Procedures; Software aspects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/28—Testing of electronic circuits, e.g. by signal tracer
    • G01R31/2851—Testing of integrated circuits [IC]
    • G01R31/2894—Aspects of quality control [QC]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10P—GENERIC PROCESSES OR APPARATUS FOR THE MANUFACTURE OR TREATMENT OF DEVICES COVERED BY CLASS H10
    • H10P74/00—Testing or measuring during manufacture or treatment of wafers, substrates or devices
    • H10P74/23—Testing or measuring during manufacture or treatment of wafers, substrates or devices characterised by multiple measurements, corrections, marking or sorting processes

Definitions

  • the present invention relates to a determination device, a test system, a determination method, and a determination program.
  • the device under test When testing the device under test, it may be erroneously determined that the test has failed due to poor contact or the like. Therefore, conventionally, the device under test that has failed the test is retested to prevent a decrease in yield.
  • a determination device may include a result acquisition unit that acquires the test results of a plurality of items of tests performed on the device to be measured.
  • the determination device may include a first determination unit that determines whether or not to retest the device under test that has failed the test.
  • the first determination unit may make a determination based on the reproducibility of the test result when the test is performed on the plurality of devices under test a plurality of times in advance.
  • the determination device may further include a calculation unit that calculates reproducibility for each of the plurality of items.
  • the first determination unit may determine whether or not to retest the device under test that fails the test of the corresponding item based on the reproducibility calculated by the calculation unit.
  • the first judgment unit may make a judgment using a learning model that has learned reproducibility.
  • the calculation unit may have a learning model that outputs the prediction result of the retest according to the input of the test results of a plurality of items.
  • the calculation unit may have a supply unit that supplies the test results of a plurality of items acquired by the result acquisition unit to the learning model.
  • the calculation unit may have a reproducibility acquisition unit that acquires reproducibility from the prediction result of the retest output by the learning model in response to supplying the test results of a plurality of items to the learning model.
  • the determination device may further include a learning processing unit that executes learning processing of the learning model using learning data including at least the item ID of the failed item among the plurality of items and the result of the retest.
  • the determination device may further include a second determination unit that determines whether or not to relearn the learning model by using the result of the retest and the determination result of the first determination unit.
  • the learning processing unit may execute the learning process of the learning model according to the determination result by the second determination unit.
  • the calculation unit may calculate the reproducibility from the test results of a plurality of tests on a plurality of devices under test and the test results of a plurality of retests.
  • the determination device may further include a second determination unit that determines whether or not to update the reproducibility by using the result of the retest and the determination result of the first determination unit.
  • the calculation unit may update the reproducibility according to the determination result by the second determination unit.
  • the determination device determines that the device under test is to be retested regardless of the determination result of the first determination unit in response to the test being performed on the device under test included in the lot of every few reference pieces.
  • a third determination unit may be further provided. The second determination unit may make a determination using the result of the retest performed by the third determination unit.
  • the determination device may further include a lower limit value acquisition unit that acquires an allowable lower limit value of the ratio of the device under test that passes the test. Based on the reproducibility of each item, the determination device calculates the predicted number of paths of the device under test that is predicted to pass at least the retest of the item among the devices under test that have failed the test of the corresponding item. Further parts may be provided. When the number of corresponding predicted passes is sequentially integrated according to the magnitude of reproducibility of each item, the first determination unit reproduces when the corresponding number of the allowable lower limit value is reached or the number of predicted passes immediately before reaching the corresponding number. A sex-based value may be used as the determination threshold.
  • the determination device may further include an extraction unit that acquires a data file containing the test results and extracts the test results of each item from the data file.
  • the determination device may further include a storage unit that stores the test results extracted by the extraction unit.
  • the result acquisition unit may acquire test results of a plurality of items from the storage unit.
  • test system may include the determination device of the first aspect.
  • the test system may include a test device that tests a plurality of items on the device under test.
  • a determination method may include a result acquisition step of acquiring the test results of a plurality of items of tests performed on the device to be measured.
  • the determination method may include a first determination step of determining whether to retest the device under test that has failed the test. In the first determination step, the determination may be made based on the reproducibility of the test result when the test is performed on the plurality of devices under test a plurality of times in advance.
  • a determination program may be executed by the computer to function as a result acquisition unit that acquires the test results of a plurality of items of tests performed on the device under test.
  • the determination program may be itemized by the computer and cause the computer to function as a first determination unit for determining whether or not to retest the device under test that has failed the test.
  • the first determination unit may make a determination based on the reproducibility of the test result when the test is performed on the plurality of devices under test a plurality of times in advance.
  • the test system 1 according to this embodiment is shown.
  • the test apparatus 200 is shown together with the wafer 101.
  • the operation of the determination device 300 is shown together with the operation of the test device 200.
  • the first determination process is shown.
  • the determination device 300A according to the modified example is shown together with the test device 200 and the device under test 100.
  • An example of a computer 2200 in which a plurality of aspects of the present invention may be embodied in whole or in part is shown.
  • FIG. 1 shows a test system 1 according to the present embodiment.
  • the test system 1 includes a device to be measured 100, a test device 200, and a determination device 300.
  • the test device 200 and the determination device 300 may be integrally formed as a single device.
  • the device to be measured 100 may be, for example, an electronic device such as a semiconductor or a Micro Electro Mechanical Systems (MEMS). A plurality of devices 100 to be measured may be formed on one wafer, the wafer may be diced into individual pieces to form a bare chip, or the device 100 may be sealed and packaged. good.
  • MEMS Micro Electro Mechanical Systems
  • the test device 200 tests one or more devices under test 100.
  • the test apparatus 200 may perform a test of a single item, or may perform a test of a plurality of items (1000 to 2000 items as an example) in parallel or in sequence. Any two or more of the plurality of items included in the test may be test items belonging to the same category such as audio function when the device to be measured 100 is a packaged electronic device, for example. ..
  • the test apparatus 200 sequentially tests a plurality of items on a plurality of devices under test 100 on a wafer.
  • the test device 200 may be a device test device such as a system LSI tester, an analog tester, a logic tester, or a memory tester.
  • the test device 200 gives various test signals to the device under test 100 and acquires response signals from the device 100 under test.
  • the test device 200 may supply the data file obtained by the test of each item to the determination device 300 via wire or wireless.
  • the test data file supplied from the test apparatus 200 may be in the format of STDF (Standard Test Data Form) as an example in the present embodiment, and the lot number and wafer number of the device to be measured 100 and the device of the device 100 to be measured.
  • STDF Standard Test Data Form
  • the ID, the item ID of the test item, the measured value for each item, the test result for each item may be included.
  • the data file may be in the form of a data log or test log.
  • an error may occur in the test result due to the surface stain of the device to be measured 100, poor contact of the test apparatus 200, etc., and the first test (also referred to as the first inspection). Even the device 100 to be measured, which is set as a fail in the above, may pass in the second test (also referred to as re-examination or re-test). Therefore, in the conventional test system, the device under test that has failed the initial inspection is retested to prevent a decrease in yield.
  • the determination device 300 determines whether or not the device 100 to be measured that has failed the initial inspection should be re-examined. Note that failing the test may mean failing at least one item included in the test.
  • the retest may be a so-called reprobe in which the test device 200 is brought into contact with the device to be measured 100 and the test is performed again. When the device 100 to be measured is fixed to the test device 200 and then the probe is brought into contact with the device 100 to be measured, the fixed state may or may not be released after the initial inspection.
  • the determination device 300 includes an extraction unit 301, a storage unit 303, a result acquisition unit 305, a calculation unit 307, a lower limit value acquisition unit 309, a prediction unit 311, a threshold value determination unit 313, and a first determination unit 315.
  • the extraction unit 301 acquires a test data file (STDF file as an example in this embodiment) from the test apparatus 200, and test results of each item from the data file (pass / fail determination value as an example in this embodiment). Is extracted.
  • the extraction unit 301 extracts in advance the test results, the corresponding test item ID, the device ID and lot number of the device to be measured 100, and the like from the data file, and converts them into a CSV (comma-separated values) file. good.
  • the extraction unit 301 may supply the extracted data to the storage unit 303.
  • the storage unit 303 stores the test result (pass / fail determination value as an example in the present embodiment) extracted by the extraction unit 301.
  • the storage unit 303 may further store the test item ID, the device ID of the device to be measured 100, the lot number, and the like in association with the test result.
  • the data stored in the storage unit 303 may be readable by the result acquisition unit 305.
  • the result acquisition unit 305 acquires the test results of a plurality of items performed on the device under test 100.
  • the result acquisition unit 305 may acquire the test result from the storage unit 303.
  • the result acquisition unit 305 may acquire the item ID of the item and the device ID of the device to be measured 100 from the storage unit 303 together with the test result of each item.
  • the result acquisition unit 305 may supply the test results and the like for the initial inspection to the calculation unit 307 and the first determination unit 315.
  • the calculation unit 307 calculates the reproducibility of the test result when the test is performed on the plurality of devices 100 to be measured a plurality of times (twice as an example in the present embodiment) in advance.
  • the calculation unit 307 may supply the calculated reproducibility value to the first determination unit 315 and the prediction unit 311.
  • the reproducibility may be an index showing how much the same test result (pass / fail determination value as an example in this embodiment) is reproduced. For example, how much the fail test result in the initial examination is reproduced in the re-examination. Indicates. The higher the reproducibility, the more likely it is that the re-examination will fail and the time required for the re-examination will be wasted. Therefore, the reproducibility may be an index indicating the ineffectiveness of the re-examination.
  • the reproducibility may be the rate at which the fail test result is reproduced (also referred to as the reproducibility).
  • the reproducibility may be the number of failures predicted in the retest (also referred to as the number of predicted retest failures).
  • the number of predicted re-examination failures may be a value obtained by subtracting the number of predicted passes in the re-examination from the number of 100 devices to be measured (also referred to as the number of failed initial examinations) that failed in the initial examination, and is a reference number of devices to be measured. It may be a value obtained by multiplying the number of devices under test 100 that failed in the initial inspection with respect to 100 by the recall rate.
  • the reference number may be the number of devices to be measured 100 included in the wafer, and may be 100 to 10000 as an example.
  • the reproducibility may be a value for each of a plurality of items, and may indicate that the result of the re-examination is a fail when the result of the initial examination is a fail in one item.
  • the fact that the re-examination becomes a fail may mean that any item included in the test fails, but it may also mean that the re-examination fails in the same item as the initial examination.
  • the calculation unit 307 calculates the reproducibility using the learning model 371.
  • the calculation unit 307 includes a learning model 371, a supply unit 373, and a reproducibility acquisition unit 375.
  • the learning model 371 outputs the prediction result of the retest according to the input of the test results of a plurality of items.
  • the learning model 371 may be generated by a learning process using learning data including the test results of the retest executed on the device under test whose initial test was a fail.
  • the learning data may include at least the item ID of the failed item of each item of the test and the result of the retest. If the test of one item is a fail in the initial examination, the test result of the retest may show only the result of the test of the one item, or may show the result of the test of each item. Alternatively, only the overall results of the test may be shown.
  • the training data may further include the position of the device to be measured 100 on the wafer, the amount of deviation between the measured value and the ideal value, and the like.
  • the learning model 371 is a random forest machine learning algorithm as an example in this embodiment, but may be another machine learning algorithm including a support vector machine (SVM), a K-nearest neighbor method, logistic regression, and the like.
  • SVM support vector machine
  • K-nearest neighbor method K-nearest neighbor method
  • logistic regression logistic regression
  • the learning model 371 may be trained with the pass as 0 and the fail as 1 for the result of each item of the test, and the higher the possibility that the result of the retest will be a fail, the closer to 1 the value may be output.
  • a test result that is, 1 indicating a fail is input for a test of a certain item
  • the output value becomes close to 1 if the result of the retest is likely to fail again. Therefore, the output prediction result can show the reproducibility of each test item.
  • the supply unit 373 supplies the learning model 371 with the test results of a plurality of items acquired by the result acquisition unit 305 (in the present embodiment, the test results of the first inspection as an example).
  • the supply unit 373 may supply the item ID of the item together with the test result of each item.
  • the reproducibility acquisition unit 375 acquires reproducibility from the re-examination prediction result output by the learning model 371 in response to the supply unit 373 supplying the test results of a plurality of items to the learning model 371.
  • the reproducibility acquisition unit 375 may acquire the reproducibility by performing four arithmetic operations on the value of the prediction result of the re-examination, or may acquire the value of the prediction result itself as the reproducibility.
  • the reproducibility acquisition unit 375 supplies the acquired reproducibility to the prediction unit 311 and the first determination unit 315.
  • the reproducibility of each item is supplied to the prediction unit 311 regardless of the test result of the first inspection, and the reproducibility of the item failed in the first inspection (also referred to as the first inspection fail item) is determined by the first determination unit. Supply to 315.
  • the lower limit value acquisition unit 309 acquires an allowable lower limit value of the ratio of the device under test 100 that passes the test.
  • the allowable lower limit value may be set by the operator of the determination device 300 based on the yield of the device under test 100 to pass the test and the like.
  • the allowable lower limit value may be 10% as an example.
  • the lower limit value acquisition unit 309 may supply the acquired allowable lower limit value to the threshold value determination unit 313.
  • the prediction unit 311 Based on the reproducibility of each item, the prediction unit 311 is predicted to pass at least the re-examination of the item among the devices under measurement 100 that have failed the test of the corresponding item (first inspection as an example in this embodiment). The number of predicted passes of the device to be measured 100 is calculated. For example, the prediction unit 311 may calculate the number of predicted passes of the device under test, which is predicted to pass the entire re-examination.
  • the prediction unit 311 may calculate the number of prediction passes based on the reproducibility supplied from the calculation unit 307.
  • the prediction unit 311 may supply the threshold value determination unit 313 in association with the reproducibility and the number of prediction paths for each item.
  • the threshold value determination unit 313 determines a threshold value for determining whether or not to perform retesting from the reproducibility of each item and the number of predicted passes.
  • the threshold value may be a reproducibility value.
  • the threshold value determination unit 313 may supply the determined threshold value to the first determination unit 315.
  • the first determination unit 315 determines whether or not to re-examine the device under test that has failed the test (first inspection as an example in this embodiment). Failing a test may mean failing at least one item included in the test. The first determination unit 315 may make a determination based on the reproducibility.
  • the first determination unit 315 may determine whether or not to re-examine the device under test that has failed the test of the corresponding item based on the reproducibility of each item.
  • the first determination unit 315 makes a determination using the test result of each item supplied from the result acquisition unit 305, the item ID of the item, and the device ID of the device to be measured 100. You can do it.
  • the first determination unit 315 may use the learning model 371 that has learned the reproducibility and make a determination based on the reproducibility output from the learning model 371.
  • the first determination unit 315 may use the threshold value determined by the threshold value determination unit 313 for determination.
  • the device ID of the device to be measured 100 to be re-examined may be supplied to the test device 200.
  • the test apparatus 200 re-examines the target device 100 to be measured.
  • the re-examination may be re-examined for all items of the test.
  • the determination device 300 it is determined based on the reproducibility of the test result whether to re-examine the device under test that has failed the test. Therefore, it is possible to efficiently perform the re-examination by eliminating the trouble of wastefully re-examining the device 100 to be measured that fails even if the re-examination is performed.
  • the judgment is made using the learning model 371 that has learned the reproducibility of each item, the potential relationship between the test results between the items can be reflected in the judgment. Therefore, the accuracy of the determination can be improved and the re-examination can be performed efficiently.
  • test results of a plurality of items are input to the learning model 371 and the prediction result of the re-examination showing the reproducibility is acquired, it is possible to surely acquire the highly accurate reproducibility and make a judgment.
  • test results of each item are extracted from the test data file and stored in the storage unit 303, and the stored test results are acquired by the result acquisition unit 305. Therefore, unlike the case where the result acquisition unit 305 directly acquires the data file from the test apparatus 200 and extracts the test result, the processing speed by the result acquisition unit 305 can be increased.
  • FIG. 2 shows the test apparatus 200 together with the wafer 101.
  • the test apparatus 200 includes a tester main body 201, a test head 203, and a prober 205.
  • the tester main body 201 is the main body of the test device 200 and controls various tests. For example, the tester main body 201 may perform the initial inspection of the device to be measured 100 and re-examine the device to be measured 100 based on the signal from the determination device 300.
  • the test head 203 is connected to the tester main body 201 via a cable, and is configured to be driveable between a test position for testing the device under test 100 and a retracted position for which the test is not performed.
  • the test head 203 transmits a test signal to the device under test 100 at the test position based on the control by the tester main body 201, receives a response signal from the device under test 100, and sends this to the tester main body.
  • Relay to 201 The test head 203 may have a plurality of probe needles 231 in contact with the device under test 100 for electrical contact.
  • the plurality of probe needles 231 are arranged corresponding to each of the plurality of electrode pads in some (four in the present embodiment) of the plurality of devices to be measured 100 formed on the wafer 101.
  • the prober 205 conveys the wafer 101 and places it on the stage to align the wafer 101 with the test head 203.
  • FIG. 3 shows the operation of the determination device 300 together with the operation of the test device 200.
  • the determination device 300 determines the necessity of re-examination of the device to be measured 100 by performing the processes of steps S11 to S25.
  • the broken line frame in the figure indicates the processing by the test apparatus 200.
  • step S11 the test apparatus 200 tests each of the plurality of devices under test 100.
  • the test apparatus 200 tests each of the reference number of devices under test 100, that is, all the devices under test 100 on the wafer 101.
  • the test apparatus 200 may perform the initial inspection on the plurality of devices under test 100 that have not yet been tested.
  • step S13 the extraction unit 301 acquires a data file (STDF file as an example in this embodiment) from the test apparatus 200, extracts the test results of each item, and the storage unit 303 stores the test results.
  • STDF file as an example in this embodiment
  • the device ID of the device to be measured 100, the test item ID, and the like may be further extracted by the extraction unit 301 and stored in the storage unit 303.
  • step S15 the result acquisition unit 305 acquires the test result from the storage unit 303.
  • the result acquisition unit 305 may further acquire the device ID of the device to be measured 100, the item ID of the test, and the like together with the test result.
  • step S17 the first determination unit 315 determines whether or not all of the reference number of devices under measurement 100 tested in step S11 have passed the test. In the present embodiment, as an example, the first determination unit 315 determines whether or not all the devices under test 100 on the wafer 101 have passed all the items of the test. If it is determined in step S17 that all the devices under test have passed the test (step S17; Yes), the process proceeds to step S11. As a result, the test apparatus 200 tests the device 100 to be measured on the next wafer 101. If it is determined in step S17 that all the devices under test have not passed the test (step S17; No), the process proceeds to step S19.
  • step S19 the first determination unit 315 performs a determination process of whether or not to re-examine the device under test that failed the test in step S11. Details of the process in step S19 will be described later.
  • step S21 the first determination unit 315 determines whether or not the determination to perform the re-examination has been made. When it is determined that the re-examination is not performed for all the devices under test (step S21; Yes), the process shifts to step S11. As a result, the test apparatus 200 tests the device 100 to be measured on the next wafer 101. When it is determined in step S21 that at least one device under test 100 is to be retested (step S21; Yes), the process proceeds to step S23.
  • step S23 the test apparatus 200 performs a re-examination of one or a plurality of devices under measurement 100 for which a determination to perform a re-examination has been made. Re-examination may be performed for each item of the test.
  • the test apparatus 200 When the test apparatus 200 can perform a test on a plurality of the devices under test 100 at the same time, the test apparatus 200 is the device under test that is determined to be re-examined among the devices under test 100.
  • the test may be performed on only 100.
  • the test apparatus 200 contacts each probe needle 231 with each device under test at a corresponding position. A current may be passed only through the probe needle 231 in contact with the device to be measured 100 to be re-examined.
  • step S25 in the same manner as in step S13 described above, the extraction unit 301 acquires a data file (STDF file as an example in this embodiment) from the test apparatus 200, extracts the test results of each item, and the storage unit 303 extracts the test results. Memorize the test results.
  • the process of step S25 may shift to step S11. As a result, the test apparatus 200 tests the device 100 to be measured on the next wafer 101.
  • FIG. 4 shows the first determination process.
  • the determination device 300 determines whether or not to perform a re-examination of the device under test 100 by performing the processes of steps S101 to S107.
  • step S101 the lower limit value acquisition unit 309 acquires an allowable lower limit value preset by the operator of the determination device 300.
  • the lower limit value acquisition unit 309 may acquire the allowable lower limit value.
  • step S102 the calculation unit 307 calculates the reproducibility for each of the plurality of items.
  • the calculation unit 307 may calculate the reproducibility using the learning model 371.
  • the prediction unit 311 calculates the number of predicted passes for each item based on the reproducibility of each item. As an example, when the reproducibility indicates the recall rate of the fail, the prediction unit 311 may calculate the number of predicted passes from the following equation (1) for each item. When the reproducibility indicates the number of re-examination predicted failures, the prediction unit 311 may calculate the number of predicted passes from the following equation (2) for each item.
  • the threshold value determination unit 313 determines a threshold value for determining whether or not to perform retesting from the reproducibility of each item and the number of predicted passes. For example, the threshold value determination unit 313 detects the number of predicted passes when the integration result reaches the corresponding number of the allowable lower limit value when the number of corresponding predicted passes is sequentially integrated according to the magnitude of reproducibility of each item. good. Instead of this, the threshold value determination unit 313 may detect the number of predicted passes immediately before the integration result reaches the corresponding number of the allowable lower limit value. The threshold value determination unit 313 may determine a value based on reproducibility corresponding to the number of detected predicted passes as a threshold value.
  • accumulating the number of predicted passes in order according to the magnitude of reproducibility may mean accumulating the number of predicted passes in descending order of reproducibility, and in the present embodiment, as an example, in descending order of reproducibility. It is to integrate the number of predicted passes.
  • the value based on reproducibility may be a value obtained by performing four arithmetic operations on the reproducibility value, but in the present embodiment, the reproducibility value itself is an example. In this case, by comparing the threshold value with the reproducibility of each item, it is possible to determine whether or not to re-examine the device under test that fails the item.
  • step S107 the first determination unit 315 determines, for each item, whether or not to re-examine the device under measurement 100 that has failed the test of the item.
  • the first determination unit 315 makes a determination using the reproducibility of each initial inspection fail item supplied from the reproducibility acquisition unit 375 of the calculation unit 307 and the threshold value for the reproducibility supplied from the threshold value determination unit 313. You may go.
  • the first determination unit 315 determines that the device 100 to be measured that fails the item is not re-examined, and determines that the reproducibility of the initial inspection fail item is not performed. If is smaller than the threshold value, it may be determined that the device 100 to be measured that fails the item is retested.
  • the first determination unit 315 detects the device ID of the device under test 100 that fails the reproducibility item whose reproducibility of the initial inspection fail item is smaller than the threshold value among the device IDs acquired from the result acquisition unit 305. It may be supplied to the test apparatus 200 as a target for re-examination.
  • the ratio of the device under test 100 that passes the test can be set to the allowable lower limit value or more.
  • the reproducibility of the test may differ depending on the processing process applied to the device 100 to be measured. For example, the reproducibility may differ between the device 100 to be measured that has undergone the low temperature treatment and the device 100 to be measured that has undergone the high temperature treatment. Therefore, when the device to be measured 100 subjected to the separate processing steps is included in the test target, it is preferable that the first determination process is performed using a separate learning model 371 for each processed process.
  • FIG. 5 shows the determination device 300A according to the modified example together with the test device 200 and the device under test 100.
  • the determination device 300A further includes a first determination unit 315A, a result acquisition unit 305A, a third determination unit 317, a second determination unit 319, and a learning processing unit 321.
  • substantially the same reference numerals as those of the determination device 300 shown in FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted.
  • the first determination unit 315A has the same configuration as the first determination unit 315 described above, but supplies the determination result to the second determination unit 319 as well.
  • the result acquisition unit 305A has the same configuration as the result acquisition unit 305 described above, but further acquires the lot number of the device to be measured 100 from the storage unit 303 together with the test results and the like. Further, the result acquisition unit 305A supplies the lot number and the device ID to the third determination unit 317 in association with each other. Further, the result acquisition unit 305A acquires the test result of the initial test corresponding to the device ID supplied from the third determination unit 317 and the test result of the re-examination from the storage unit 303 in association with the item ID of the test item. Then, it is supplied to the second determination unit 319.
  • the third determination unit 317 determines whether or not to re-examine the device under test 100.
  • the third determination unit 317 may determine that the re-examination is to be performed regardless of the determination result of the first determination unit 315.
  • the third determination unit 317 may determine that the re-examination is performed according to the test being performed on the device to be measured 100 included in the lot of every reference number (4 as an example in this embodiment). ..
  • the third determination unit 317 is concerned when the initial inspection is performed on each device 100 to be measured included in the next lot (fifth lot as an example in this embodiment) of several reference lots. It may be determined that the device to be measured 100 is to be re-examined.
  • the third determination unit 317 may make a determination between the above-mentioned step S15 and step S17.
  • the third determination unit 317 may detect the change of the lot number based on the lot number supplied from the result acquisition unit 305A and count the number of tested lots. The third determination unit 317 performs the initial inspection from the time when the number of tested lots reaches the reference number (4 in the present embodiment) to the time when the next number (5 in the present embodiment) is reached. It may be determined that the device to be measured 100 is to be re-examined. The third determination unit 317 may extract the device ID of the device to be measured 100 to be re-examined from the device ID supplied from the result acquisition unit 305A and supply it to the test apparatus 200. As a result, the test apparatus 200 re-examines the target device 100 to be measured.
  • the third determination unit 317 may also supply the device ID of the device to be measured 100 to be re-examined to the result acquisition unit 305A.
  • the test result of the initial test corresponding to the device ID and the test result of the retest are associated with the item ID of each item of the test and supplied to the second determination unit 319.
  • the second determination unit 319 determines whether or not to relearn the learning model 371 by using the result of the re-examination and the determination result of the first determination unit 315.
  • the result of the re-examination used by the second determination unit 319 may be the result of the re-examination performed by the third determination unit 317, but may be the result of the re-examination performed by the first determination unit 315.
  • the second determination unit 319 includes the determination result of the first determination unit 315 (in the present embodiment, the device ID of the device under test determined to be the target of re-examination as an example) and the device ID supplied from the result acquisition unit 305A. From the test result of the re-examination, the values of TP (True Positive), TN (True Negative), FP (False Positive), and FN (False Negative) may be calculated.
  • the TP may be the number of devices to be measured 100 that have been determined to be retested and have passed the retest.
  • the TN may be the number of devices to be measured 100 that have been determined not to perform the retest and have failed the retest.
  • the FP may be the number of devices to be measured 100 that have been determined to perform the re-examination and have failed the re-examination.
  • the FN may be the number of devices to be measured 100 that are determined not to be retested and have passed the retest.
  • the second determination unit 319 determines when at least one of a condition for preventing a decrease in yield (also referred to as a yield condition) and a condition for reducing the number of retests (also referred to as a retest reduction condition) is not satisfied. A determination to relearn may be made.
  • the yield may be the ratio of the device to be measured 100 that passes the test (or re-examination) out of all the devices to be measured 100 to be subjected to the test.
  • the yield condition is the number of measured devices 100 (FN + TP) that pass when all the measured devices 100 are re-examined, and the number of measured devices 100 (TP) that are determined to be re-examined and passed the re-examination.
  • the condition may be that the ratio is greater than the threshold. That is, the yield condition may be expressed by TP / (FN + TP) ⁇ TH1 using the threshold value (TH1).
  • the retest reduction condition may be a condition that the ratio of the number of devices to be measured (TN + FP + FN + TP) failed in the initial test to the number of devices 100 to be measured (TN + FN) not retested is larger than the threshold value. That is, the re-examination reduction condition may be expressed by (TN + FN) / (TN + FP + FN + TP) ⁇ TH2 using the threshold value (TH2).
  • the second determination unit 319 may supply the learning data extracted from the data acquired from the result acquisition unit 305A to the learning processing unit 321.
  • the learning processing unit 321 executes the learning process of the learning model 371 using the learning data including at least the item ID of the failed item among each item of the test and the result of the retest.
  • the learning processing unit 321 may execute the learning process of the learning model 371 according to the determination result by the second determination unit 319.
  • the learning processing unit 321 may perform the learning processing in response to the learning data being supplied from the second determination unit 319.
  • the learning processing unit 321 may further execute the learning process by further using the learning data including the position of the device 100 to be measured on the wafer and the amount of deviation between the measured value and the ideal value.
  • the learning processing unit 321 may acquire these data from the result acquisition unit 305A or the second determination unit 319.
  • the learning process of the learning model 371 is performed by the learning processing unit 321, so that the accuracy of reproducibility can be further improved.
  • the second determination unit 319 determines whether or not to relearn the learning model 371 using the result of the re-examination and the determination result of the first determination unit 315. Therefore, when the determination accuracy of the first determination unit 315 is low, the learning model 371 can be relearned to improve the determination accuracy of the first determination unit 315.
  • the re-examination is forcibly performed every time the test of the device 100 to be measured with the reference lot number is performed, the accuracy of reproducibility and the learning accuracy of the learning model 371 can be surely maintained high.
  • the determination device 300 has been described as having a calculation unit 307, a lower limit value acquisition unit 309, a prediction unit 311 and a threshold value determination unit 313. You may not do it.
  • the determination device 300 may acquire the reproducibility, the number of predicted paths, and the threshold value calculation results from the externally connected calculation unit 307, prediction unit 311, and threshold value determination unit 313. Further, the determination device 300 may make a determination by the first determination unit 315 without using the predicted number of passes or the threshold value. As an example, the first determination unit 315 may determine that the device under test that fails the item of the reference number having high reproducibility is not re-examined.
  • the result acquisition unit 305 has been described as acquiring the test result or the like from the test apparatus 200 via the extraction unit 301 and the storage unit 303, it may be acquired directly from the test apparatus 200. In this case, the result acquisition unit 305 may acquire the test data of the data file (STDF file as an example) and extract the test result or the like from the data file. In this case, the determination device 300 does not have to have the extraction unit 301.
  • the number of predicted passes for each item calculated by the prediction unit 311 is described as the number of devices to be measured that are predicted to pass the re-examination of the item among the devices 100 to be measured that fail the initial inspection of the item. However, it may be a number indicating another value.
  • the number of predicted passes for each item may be the number of devices to be measured that are predicted to pass the entire re-examination among the devices to be measured that have failed the initial inspection of the item.
  • the reproducibility was explained as a value for each test item, it may be a value corresponding to the entire test. In this case, the reproducibility may indicate that the result of the re-examination is a fail if the result of the initial examination is a fail.
  • the calculation unit 307 may calculate the reproducibility from the test results of a plurality of tests on the plurality of devices 100 to be measured and the test results of a plurality of retests.
  • the calculation unit 307 uses the results of the initial inspection and the re-examination of the plurality of devices 100 to be measured, and calculates the recall rate from the ratio of the number of failures in the initial examination and the number of failures in the re-examination for each item. You can.
  • the second determination unit 319 may determine whether or not to update the calculated reproducibility by using the result of the re-examination and the determination result of the first determination unit 315. In this case, the calculation unit 307 may update the reproducibility according to the determination result by the second determination unit 319.
  • the determination method by the second determination unit 319 may be the same as the above modification.
  • test device 200 and the determination devices 300 and 300A of the test system 1 may be realized by a computer that executes the program.
  • the computer may perform calculations and logical processing according to a program created in advance, and as an example, it may be a dedicated computer for a special purpose having a microprocessor, a general-purpose computer, or another computer.
  • Various embodiments of the present invention may be described with reference to flowcharts and block diagrams, wherein the block is (1) a stage of the process in which the operation is performed or (2) a device responsible for performing the operation. May represent a section of. Specific stages and sections are implemented by dedicated circuits, programmable circuits supplied with computer-readable instructions stored on computer-readable media, and / or processors supplied with computer-readable instructions stored on computer-readable media. You can. Dedicated circuits may include digital and / or analog hardware circuits, and may include integrated circuits (ICs) and / or discrete circuits.
  • ICs integrated circuits
  • Programmable circuits are memory elements such as logical AND, logical OR, logical XOR, logical NAND, logical NOR, and other logical operations, flip-flops, registers, field programmable gate arrays (FPGA), programmable logic arrays (PLA), etc. May include reconfigurable hardware circuits, including, etc.
  • the computer readable medium may include any tangible device capable of storing instructions executed by the appropriate device, so that the computer readable medium having the instructions stored therein is specified in a flowchart or block diagram. It will be equipped with a product that contains instructions that can be executed to create means for performing the operation. Examples of computer-readable media may include electronic storage media, magnetic storage media, optical storage media, electromagnetic storage media, semiconductor storage media, and the like.
  • Computer-readable media include floppy® disks, diskettes, hard disks, random access memory (RAM), read-only memory (ROM), erasable programmable read-only memory (EPROM or flash memory), Electrically erasable programmable read-only memory (EEPROM), static random access memory (SRAM), compact disc read-only memory (CD-ROM), digital versatile disc (DVD), Blu-ray (RTM) disc, memory stick, integrated A circuit card or the like may be included.
  • RAM random access memory
  • ROM read-only memory
  • EPROM or flash memory erasable programmable read-only memory
  • EEPROM Electrically erasable programmable read-only memory
  • SRAM static random access memory
  • CD-ROM compact disc read-only memory
  • DVD digital versatile disc
  • RTM Blu-ray
  • Computer-readable instructions are assembler instructions, instruction set architecture (ISA) instructions, machine instructions, machine-dependent instructions, microcode, firmware instructions, state-setting data, or object-oriented programming such as Smalltalk, JAVA®, C ++, etc. Contains either source code or object code written in any combination of one or more programming languages, including languages and traditional procedural programming languages such as the "C" programming language or similar programming languages. good.
  • Computer-readable instructions can be applied locally to the processor or programmable circuit of a programmable data processor such as a general purpose computer, special purpose computer, or other computer, or in a wide area such as a local area network (LAN), the Internet, etc. Computer-readable instructions may be executed to create means for performing the operations specified in the flowchart or block diagram provided over the network (WAN). Examples of processors include computer processors, processing units, microprocessors, digital signal processors, controllers, microcontrollers and the like.
  • FIG. 6 shows an example of a computer 2200 in which a plurality of aspects of the present invention may be embodied in whole or in part.
  • the program installed on the computer 2200 can cause the computer 2200 to function as an operation associated with the device according to an embodiment of the present invention or as one or more sections of the device, or the operation or the one or more. Sections can be run and / or the computer 2200 can be run a process according to an embodiment of the invention or a stage of such process.
  • Such a program may be run by the CPU 2212 to cause the computer 2200 to perform certain operations associated with some or all of the blocks in the flowcharts and block diagrams described herein.
  • the computer 2200 includes a CPU 2212, a RAM 2214, a graphic controller 2216, and a display device 2218, which are connected to each other by a host controller 2210.
  • the computer 2200 also includes input / output units such as a communication interface 2222, a hard disk drive 2224, a DVD-ROM drive 2226, and an IC card drive, which are connected to the host controller 2210 via the input / output controller 2220.
  • input / output units such as a communication interface 2222, a hard disk drive 2224, a DVD-ROM drive 2226, and an IC card drive, which are connected to the host controller 2210 via the input / output controller 2220.
  • the computer also includes legacy input / output units such as the ROM 2230 and keyboard 2242, which are connected to the input / output controller 2220 via an input / output chip 2240.
  • the CPU 2212 operates according to the programs stored in the ROM 2230 and the RAM 2214, thereby controlling each unit.
  • the graphic controller 2216 acquires the image data generated by the CPU 2212 in a frame buffer or the like provided in the RAM 2214 or itself so that the image data is displayed on the display device 2218.
  • the communication interface 2222 communicates with other electronic devices via the network.
  • the hard disk drive 2224 stores programs and data used by the CPU 2212 in the computer 2200.
  • the DVD-ROM drive 2226 reads the program or data from the DVD-ROM 2201 and provides the program or data to the hard disk drive 2224 via the RAM 2214.
  • the IC card drive reads programs and data from the IC card and / or writes programs and data to the IC card.
  • the ROM 2230 stores a boot program or the like executed by the computer 2200 at the time of activation and / or a program depending on the hardware of the computer 2200.
  • the input / output chip 2240 may also connect various input / output units to the input / output controller 2220 via a parallel port, serial port, keyboard port, mouse port, and the like.
  • the program is provided by a computer-readable medium such as a DVD-ROM2201 or an IC card.
  • the program is read from a computer-readable medium, installed on a hard disk drive 2224, RAM 2214, or ROM 2230, which is also an example of a computer-readable medium, and executed by the CPU 2212.
  • the information processing described in these programs is read by the computer 2200 and provides a link between the program and the various types of hardware resources described above.
  • the device or method may be configured to perform manipulation or processing of information in accordance with the use of computer 2200.
  • the CPU 2212 executes a communication program loaded in the RAM 2214, and performs communication processing on the communication interface 2222 based on the processing described in the communication program. You may order.
  • the communication interface 2222 reads and reads transmission data stored in a transmission buffer processing area provided in a recording medium such as a RAM 2214, a hard disk drive 2224, a DVD-ROM 2201, or an IC card. The data is transmitted to the network, or the received data received from the network is written to the reception buffer processing area or the like provided on the recording medium.
  • the CPU 2212 causes the RAM 2214 to read all or necessary parts of a file or database stored in an external recording medium such as a hard disk drive 2224, a DVD-ROM drive 2226 (DVD-ROM2201), or an IC card. Various types of processing may be performed on the data on the RAM 2214. The CPU 2212 then writes back the processed data to an external recording medium.
  • an external recording medium such as a hard disk drive 2224, a DVD-ROM drive 2226 (DVD-ROM2201), or an IC card.
  • Various types of processing may be performed on the data on the RAM 2214.
  • the CPU 2212 then writes back the processed data to an external recording medium.
  • the CPU 2212 describes various types of operations, information processing, conditional judgment, conditional branching, unconditional branching, and information retrieval described in various parts of the present disclosure with respect to the data read from the RAM 2214. Various types of processing may be performed, including / replacement, etc., and the results are written back to RAM 2214. Further, the CPU 2212 may search for information in a file, a database, or the like in the recording medium. For example, when a plurality of entries each having an attribute value of the first attribute associated with the attribute value of the second attribute are stored in the recording medium, the CPU 2212 specifies the attribute value of the first attribute. Search for an entry that matches the condition from the plurality of entries, read the attribute value of the second attribute stored in the entry, and associate it with the first attribute that satisfies the predetermined condition. The attribute value of the second attribute obtained may be acquired.
  • the program or software module described above may be stored on or on a computer-readable medium near the computer 2200.
  • a recording medium such as a hard disk or RAM provided in a dedicated communication network or a server system connected to the Internet can be used as a computer readable medium, thereby providing the program to the computer 2200 over the network. do.
  • Test system 100 Device to be measured 101 Wafer 200 Test device 201 Tester body 203 Test head 205 Prober 231 Probe needle 300 Judgment device 301 Extraction unit 303 Storage unit 305 Result acquisition unit 307 Calculation unit 309 Lower limit value acquisition unit 311 Prediction unit 313 Threshold determination Part 315 1st judgment part 317 3rd judgment part 319 2nd judgment part 321 Learning processing part 371 Learning model 373 Supply part 375 Reproducibility acquisition part 2200 Computer 2201 DVD-ROM 2210 Host controller 2212 CPU 2214 RAM 2216 Graphic controller 2218 Display device 2220 Input / output controller 2222 Communication interface 2224 Hard disk drive 2226 DVD-ROM drive 2230 ROM 2240 Input / Output Chip 2242 Keyboard

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Testing Of Individual Semiconductor Devices (AREA)
  • Tests Of Electronic Circuits (AREA)

Abstract

被測定デバイスに対して行われる複数の項目の試験の試験結果を取得する結果取得部と、試験をフェイルした被測定デバイスに再試験を行うか否かを判定する第１判定部と、を備え、第１判定部は、予め複数の被測定デバイスに試験を複数回行った場合での試験結果の再現性に基づいて判定を行う、判定装置を提供する。

Description

判定装置、試験システム、判定方法および判定プログラム
　本発明は、判定装置、試験システム、判定方法および判定プログラムに関する。
　被測定デバイスに試験を行う場合には、接触不良などによって試験がフェイルしたと誤って判定される場合がある。そのため、従来より、試験にフェイルした被測定デバイスに対して再試験を行い、歩留まりの低下を防いでいる。
一般的開示
　本発明の第１の態様においては、判定装置を提供する。判定装置は、被測定デバイスに対して行われる複数の項目の試験の試験結果を取得する結果取得部を備えてよい。判定装置は、試験をフェイルした被測定デバイスに再試験を行うか否かを判定する第１判定部を備えてよい。第１判定部は、予め複数の被測定デバイスに試験を複数回行った場合での試験結果の再現性に基づいて判定を行ってよい。
　判定装置は、複数の項目のそれぞれについて再現性を算出する算出部をさらに備えてよい。第１判定部は、算出部により算出される再現性に基づいて、対応する項目の試験をフェイルした被測定デバイスに再試験を行うか否かを判定してよい。
　第１判定部は、再現性を学習した学習モデルを用いて判定を行ってよい。
　算出部は、複数の項目の試験結果を入力したことに応じて、再試験の予測結果を出力する学習モデルを有してよい。算出部は、学習モデルに対し、結果取得部により取得された複数の項目の試験結果を供給する供給部を有してよい。算出部は、複数の項目の試験結果を学習モデルに供給したことに応じて学習モデルが出力する再試験の予測結果から再現性を取得する再現性取得部を有してよい。
　判定装置は、複数の項目のうち少なくともフェイルした項目の項目ＩＤと、再試験の結果とを含む学習データを用いて学習モデルの学習処理を実行する学習処理部をさらに備えてよい。
　判定装置は、再試験の結果と、第１判定部の判定結果とを用いて、学習モデルを再学習するか否かを判定する第２判定部をさらに備えてよい。学習処理部は、第２判定部による判定結果に応じて学習モデルの学習処理を実行してよい。
　算出部は、複数の被測定デバイスに対する複数の試験の試験結果と、複数の再試験の試験結果とから、再現性を算出してよい。
　判定装置は、再試験の結果と、第１判定部の判定結果とを用いて、再現性を更新するか否かを判定する第２判定部をさらに備えてよい。算出部は、第２判定部による判定結果に応じて、再現性を更新してよい。
　判定装置は、基準数個おきのロットに含まれる被測定デバイスに対して試験が行われることに応じて第１判定部の判定結果によらず被測定デバイスに再試験を行う旨の判定を行う第３判定部をさらに備えてよい。第２判定部は、第３判定部により行われる再試験の結果を用いて判定を行ってよい。
　判定装置は、試験をパスする被測定デバイスの割合の許容下限値を取得する下限値取得部をさらに備えてよい。判定装置は、各項目の再現性に基づいて、対応する項目の試験にフェイルした被測定デバイスのうち、少なくとも当該項目の再試験をパスすると予測される被測定デバイスの予測パス個数を算出する予測部をさらに備えてよい。第１判定部は、各項目の再現性の大きさに従って、対応する予測パス個数を順に積算する場合に、許容下限値の対応個数に達するとき、または、達する直前の予測パス個数に対応する再現性に基づく値を判定の閾値として用いてよい。
　判定装置は、試験結果を含むデータファイルを取得し、当該データファイルから各項目の試験結果を抽出する抽出部をさらに備えてよい。判定装置は、抽出部により抽出された試験結果を記憶する記憶部をさらに備えてよい。結果取得部は、記憶部から複数の項目の試験結果を取得してよい。
　本発明の第２の態様においては、試験システムを提供する。試験システムは、第１の態様の判定装置を備えてよい。試験システムは、被測定デバイスに対して複数の項目の試験を行う試験装置を備えてよい。
　本発明の第３の態様においては、判定方法を提供する。判定方法は、被測定デバイスに対して行われる複数の項目の試験の試験結果を取得する結果取得段階を備えてよい。判定方法は、試験をフェイルした被測定デバイスに再試験を行うか否かを判定する第１判定段階を備えてよい。第１判定段階では、予め複数の被測定デバイスに試験を複数回行った場合での試験結果の再現性に基づいて判定を行ってよい。
　本発明の第４の態様においては、判定プログラムを提供する。判定プログラムは、コンピュータにより実行されて、コンピュータを、被測定デバイスに対して行われる複数の項目の試験の試験結果を取得する結果取得部として機能させてよい。判定プログラムは、コンピュータにより事項されて、コンピュータを、試験をフェイルした被測定デバイスに再試験を行うか否かを判定する第１判定部として機能させてよい。第１判定部は、予め複数の被測定デバイスに試験を複数回行った場合での試験結果の再現性に基づいて判定を行ってよい。
　なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本実施形態に係る試験システム１を示す。 試験装置２００をウエハ１０１とともに示す。 判定装置３００の動作を試験装置２００の動作とともに示す。 第１判定処理を示す。 変形例に係る判定装置３００Ａを試験装置２００や被測定デバイス１００とともに示す。 本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。
　以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
　［１．試験システム１］
　図１は、本実施形態に係る試験システム１を示す。試験システム１は、被測定デバイス１００と、試験装置２００と、判定装置３００とを備える。試験装置２００と判定装置３００とは、単一の装置として一体的に形成されてもよい。
　［１－１．被測定デバイス１００］
　被測定デバイス１００は、例えば、半導体やＭｉｃｒｏ　Ｅｌｅｃｔｒｏ　Ｍｅｃｈａｎｉｃａｌ　Ｓｙｓｔｅｍｓ（ＭＥＭＳ）等の電子デバイスであってよい。被測定デバイス１００は、１つのウエハ上に複数形成されていてもよいし、ウエハをダイシングして個片化されてベアチップ状になっていてもよいし、封止されてパッケージングされていてもよい。
　［１－２．試験装置２００］
　試験装置２００は、１または複数の被測定デバイス１００に対して試験を行う。試験装置２００は、単一の項目の試験を行ってもよいし、複数の項目（一例として１０００～２０００項目）の試験を並行して、或いは順に行ってもよい。試験に含まれる複数の項目のうち何れか２以上の項目は、例えば被測定デバイス１００がパッケージングされた電子デバイスである場合には、オーディオ機能などの同一のカテゴリに属する試験項目であってよい。本実施形態では一例として、試験装置２００は、ウエハ上の複数の被測定デバイス１００に対して複数の項目の試験を順に行う。
　試験装置２００は、システムＬＳＩテスタ、アナログテスタ、ロジックテスタ、または、メモリテスタ等のデバイス試験装置であってよい。試験装置２００は、被測定デバイス１００に様々なテスト信号を与え、被測定デバイス１００から応答信号を取得する。試験装置２００は、各項目の試験によって得られたデータファイルを、有線または無線を介して判定装置３００に供給してよい。試験装置２００から供給される試験のデータファイルは、本実施形態では一例としてＳＴＤＦ（Ｓｔａｎｄａｒｄ　Ｔｅｓｔ　Ｄａｔａ　Ｆｏｒｍａｔ）の形式であってよく、被測定デバイス１００のロット番号やウエハ番号、被測定デバイス１００のデバイスＩＤ、試験項目の項目ＩＤ、項目ごとの測定値、項目ごとの試験結果（本実施形態では一例としてパス／フェイルの判定値「０」，「１」）などを含んでよい。データファイルはデータログやテストログの形式であってもよい。
　ここで、試験装置２００による試験では、被測定デバイス１００の表面汚れ、試験装置２００の接触不良などに起因して、試験結果に誤りが生じる場合があり、１回目の試験（初検とも称する）においてフェイルとされた被測定デバイス１００でも、２回目の試験（再検，再試験とも称する）においてはパスとなる場合がある。そのため、従来の試験システムにおいては、初検をフェイルした被測定デバイスに対して再試験を行い、歩留まりの低下を防いでいる。
　しかしながら、初検をフェイルした被測定デバイスに一律に再試験を行うと、もともとパスするはずの無い不良品に対しても無駄に再試験を行うことになってしまう。そのため、本実施形態に係る試験システム１では、初検をフェイルした被測定デバイス１００に対して再検を行うべきか否かを判定装置３００で判定する。なお、試験にフェイルするとは、試験に含まれる少なくとも１つの項目にフェイルすることであってよい。再験とは、試験装置２００を被測定デバイス１００に接触させ直して改めて試験を行う、いわゆるリプローブであってよい。試験装置２００に被測定デバイス１００を固定してからプローブを被測定デバイス１００に接触させる場合には、初検後に固定状態を解いてもよいし、解かなくてもよい。
　［１－３．判定装置３００］
　判定装置３００は、抽出部３０１と、記憶部３０３と、結果取得部３０５と、算出部３０７と、下限値取得部３０９と、予測部３１１と、閾値決定部３１３と、第１判定部３１５とを有する。
　［１－３－１．抽出部３０１］
　抽出部３０１は、試験装置２００から試験のデータファイル（本実施形態では一例としてＳＴＤＦファイル）を取得し、当該データファイルから各項目の試験結果（本実施形態では一例としてパス／フェイルの判定値）を抽出する。抽出部３０１は、データファイルから試験結果のほか、対応する試験の項目ＩＤ、および、被測定デバイス１００のデバイスＩＤやロット番号などを予め抽出してＣＳＶ（ｃｏｍｍａ－ｓｅｐａｒａｔｅｄ　ｖａｌｕｅｓ）ファイルに変換してよい。抽出部３０１は、抽出したデータを記憶部３０３に供給してよい。
　［１－３－２．記憶部３０３］
　記憶部３０３は、抽出部３０１により抽出された試験結果（本実施形態では一例としてパス／フェイルの判定値）を記憶する。記憶部３０３は、試験の項目ＩＤ、被測定デバイス１００のデバイスＩＤおよびロット番号などを試験結果に対応付けてさらに記憶してよい。記憶部３０３に記憶されたデータは、結果取得部３０５によって読み出し可能であってよい。
　［１－３－３．結果取得部３０５］
　結果取得部３０５は、被測定デバイス１００に対して行われる複数の項目の試験結果を取得する。本実施形態では一例として、結果取得部３０５は、記憶部３０３から試験結果を取得してよい。結果取得部３０５は、各項目の試験結果とともに当該項目の項目ＩＤおよび被測定デバイス１００のデバイスＩＤを記憶部３０３から取得してよい。結果取得部３０５は、初検についての試験結果などを算出部３０７および第１判定部３１５に供給してよい。
　［１－３－４．算出部３０７］
　算出部３０７は、予め複数の被測定デバイス１００に試験を複数回（本実施形態では一例として２回）行った場合での試験結果の再現性を算出する。算出部３０７は、算出した再現性の値を第１判定部３１５および予測部３１１に供給してよい。
　再現性は、同じ試験結果（本実施形態では一例としてパス／フェイルの判定値）がどのくらい再現されるかを示す指標であってよく、例えば初検におけるフェイルの試験結果が再検においてどれくらい再現されるかを示す。再現性が高い程、再検がフェイルとなって再験に要した時間などが無駄になりやすいため、再現性は再験の非有効性を示す指標であってもよい。
　一例として、再現性は、フェイルの試験結果が再現される率（再現率とも称する）であってよい。これに代えて、再現性は、再験において予測されるフェイル数（再検予測フェイル数とも称する）であってもよい。再検予測フェイル数は、初検においてフェイルであった被測定デバイス１００の個数（初検フェイル数とも称する）から、再検での予測パス数を引いた値であってよく、基準数の被測定デバイス１００に対する初検でフェイルとなった被測定デバイス１００の数と、再現率とを乗算した値であってよい。基準数は、ウエハに含まれる被測定デバイス１００の数であってよく、一例として１００～１００００であってよい。
　再現性は、複数の項目のそれぞれについての値であってよく、一の項目において初検の結果がフェイルであった場合に、再検の結果がフェイルとなることを示してよい。本実施形態においては一例として、再検がフェイルとなるとは、試験に含まれる何れかの項目でフェイルとなることであってよいが、初検と同じ項目においてフェイルとなることであってもよい。
　本実施の形態においては、一例として算出部３０７は、学習モデル３７１を用いて再現性を算出する。算出部３０７は、学習モデル３７１と、供給部３７３と、再現性取得部３７５とを有する。
　［１－３－５（１）．学習モデル３７１］
　学習モデル３７１は、複数の項目の試験結果を入力したことに応じて、再験の予測結果を出力する。
　学習モデル３７１は、初検がフェイルであった被測定デバイス１００に対して実行された再験の試験結果を含む学習データを用いた学習処理によって生成されてよい。学習データは、試験の各項目のうち少なくともフェイルした項目の項目ＩＤと、再験の結果とを含んでよい。初検において一の項目の試験がフェイルであった場合に、その再験の試験結果は、当該一の項目の試験の結果のみを示してもよいし、各項目の試験の結果を示してもよいし、試験の全体としての結果のみを示してもよい。学習データには、ウエハ上での被測定デバイス１００の位置や、測定値と理想値とのずれ量などが更に含まれてもよい。
　学習モデル３７１は、本実施形態では一例としてランダムフォレストの機械学習アルゴリズムであるが、サポートベクタマシン（ＳＶＭ）やＫ近傍法、ロジスティック回帰などを含む他の機械学習アルゴリズムであってもよい。
　学習モデル３７１は、試験の各項目の結果についてパスを０、フェイルを１として学習されてよく、再験の結果がフェイルとなる可能性が高いほど、１に近い値を出力してよい。これにより、ある項目の試験についてフェイルを示す試験結果（つまり１）が入力される場合、再験の結果が改めてフェイルとなる可能性が高ければ出力値は１に近くなる。そのため、出力される予測結果は試験の項目別の再現性を示しうる。
　［１－３－５（２）．供給部３７３］
　供給部３７３は、学習モデル３７１に対し、結果取得部３０５により取得された複数の項目の試験結果（本実施形態では一例として初検の試験結果）を供給する。供給部３７３は、各項目の試験結果とともに当該項目の項目ＩＤを供給してよい。
　［１－３－５（３）．再現性取得部３７５］
　再現性取得部３７５は、供給部３７３が複数の項目の試験結果を学習モデル３７１に供給したことに応じて学習モデル３７１が出力する再検の予測結果から再現性を取得する。再現性取得部３７５は、再検の予測結果の値に四則演算などを行って再現性を取得してもよいし、予測結果の値そのものを再現性として取得してもよい。
　再現性取得部３７５は、取得した再現性を予測部３１１および第１判定部３１５に供給する。本実施形態では一例として、初検の試験結果に関わらず各項目の再現性を予測部３１１に供給し、初検においてフェイルした項目（初検フェイル項目とも称する）の再現性を第１判定部３１５に供給する。
　［１－３－６．下限値取得部３０９］
　下限値取得部３０９は、試験をパスする被測定デバイス１００の割合の許容下限値を取得する。許容下限値は、試験をパスするべき被測定デバイス１００の歩留まり等に基づいて、判定装置３００のオペレータにより設定されてよい。許容下限値は、一例として１０％であってよい。下限値取得部３０９は、取得した許容下限値を閾値決定部３１３に供給してよい。
　［１－３－６．予測部３１１］
　予測部３１１は、各項目の再現性に基づいて、対応する項目の試験（本実施形態では一例として初検）にフェイルした被測定デバイス１００のうち、少なくとも当該項目の再検をパスすると予測される被測定デバイス１００の予測パス個数を算出する。例えば、予測部３１１は、再検の全体をパスすると予測される被測定デバイス１００の予測パス個数を算出してよい。
　予測部３１１は、算出部３０７から供給される再現性に基づいて予測パス個数を算出してよい。予測部３１１は、項目ごとに、再現性と予測パス個数とを対応付けて閾値決定部３１３に供給してよい。
　［１－３－６．閾値決定部３１３］
　閾値決定部３１３は、各項目の再現性および予測パス個数から、再検を行うか否かを判定するための閾値を決定する。本実施形態では一例として閾値は再現性の値であってよい。閾値決定部３１３は、決定した閾値を第１判定部３１５に供給してよい。
　［１－３－６．第１判定部３１５］
　第１判定部３１５は、試験（本実施形態では一例として初検）をフェイルした被測定デバイス１００に再検を行うか否かを判定する。試験をフェイルしたとは、試験に含まれる少なくとも１つの項目をフェイルしたことであってよい。第１判定部３１５は、再現性に基づいて判定を行ってよい。
　例えば、第１判定部３１５は、項目ごとの再現性に基づいて、対応する項目の試験をフェイルした被測定デバイス１００に再検を行うか否かを判定してよい。本実施形態では一例として、第１判定部３１５は、結果取得部３０５から供給される各項目の試験結果と、当該項目の項目ＩＤと、被測定デバイス１００のデバイスＩＤとを用いて判定を行ってよい。第１判定部３１５は、再現性を学習した学習モデル３７１を用い、当該学習モデル３７１から出力される再現性に基づいて判定を行ってよい。第１判定部３１５は、閾値決定部３１３により決定された閾値を判定に用いてよい。
　第１判定部３１５は、再検を行う旨の判定を行った場合には、再検を行うべき被測定デバイス１００のデバイスＩＤを試験装置２００に供給してよい。これにより、試験装置２００によって対象の被測定デバイス１００に再検が行われる。再検は試験の全項目について改めて行われてよい。
　以上の判定装置３００によれば、試験をフェイルした被測定デバイス１００に対し再検を行うかを、試験結果の再現性に基づいて判定する。従って、再検してもフェイルする被測定デバイス１００に対して無駄に再検を行う手間を省き、再検を効率的に行うことができる。
　また、各項目の再現性に基づいて、対応する項目の試験をフェイルした被測定デバイス１００に再検を行うか否かを判定するので、無駄な再検を確実に省くことができる。
　また、項目ごとの再現性を学習した学習モデル３７１を用いて判定が行われるので、項目間での試験結果の潜在的な関連性を判定に反映することができる。従って、判定の精度を高め、再検を効率的に行うことができる。
　また、学習モデル３７１に複数の項目の試験結果を入力し、再現性を示す再検の予測結果を取得するので、精度の高い再現性を確実に取得して判定を行うことができる。
　また、試験のデータファイルから各項目の試験結果が抽出されて記憶部３０３に保存され、保存された試験結果が結果取得部３０５によって取得される。従って、結果取得部３０５が試験装置２００から直接的にデータファイルを取得して試験結果を抽出する場合と異なり、結果取得部３０５による処理速度を速めることができる。
　［２．試験装置２００］
　図２は、試験装置２００をウエハ１０１とともに示す。試験装置２００は、テスタ本体２０１、テストヘッド２０３、および、プローバ２０５を備える。
　テスタ本体２０１は、試験装置２００の本体部であり、各種試験の制御を行う。例えば、テスタ本体２０１は、被測定デバイス１００の初検を行い、判定装置３００からの信号に基づいて、被測定デバイス１００の再検を行ってよい。
　テストヘッド２０３は、ケーブルを介してテスタ本体２０１に接続され、被測定デバイス１００に対して試験を行う試験位置と、試験を行わない退避位置との間で駆動可能に構成されている。テストヘッド２０３は、試験を行う場合に、テスタ本体２０１による制御に基づいて、試験位置において被測定デバイス１００にテスト信号を送信し、被測定デバイス１００から応答信号を受信して、これをテスタ本体２０１へ中継する。テストヘッド２０３は、被測定デバイス１００に接触して電気的なコンタクトをとる複数のプローブニードル２３１を有してよい。
　複数のプローブニードル２３１は、ウエハ１０１に形成された複数の被測定デバイス１００のうちのいくつか（本実施形態においては、４つ）における複数の電極パッドのそれぞれに対応して配置されている。
　プローバ２０５は、ウエハ１０１を搬送してステージ上に載置し、ウエハ１０１とテストヘッド２０３との位置合わせを行う。
　［３．動作］
　図３は、判定装置３００の動作を試験装置２００の動作とともに示す。判定装置３００は、ステップＳ１１～Ｓ２５の処理を行うことにより、被測定デバイス１００の再検の要否を判定する。なお、図中の破線枠は試験装置２００による処理を示す。
　ステップＳ１１において試験装置２００は、複数の被測定デバイス１００に対してそれぞれ試験を行う。本実施形態では一例として、試験装置２００は、基準数の被測定デバイス１００、つまりウエハ１０１上の全ての被測定デバイス１００に対してそれぞれ試験を行う。ステップＳ１１の処理が２回目以降に行われる場合には、試験装置２００は、未だ試験が行われていない複数の被測定デバイス１００に対して初検を行ってよい。
　ステップＳ１３において抽出部３０１が試験装置２００からデータファイル（本実施形態では一例としてＳＴＤＦファイル）を取得して各項目の試験結果を抽出し、記憶部３０３が当該試験結果を記憶する。本実施形態においては一例として、抽出部３０１により被測定デバイス１００のデバイスＩＤおよび試験の項目ＩＤなどがさらに抽出され、記憶部３０３に記憶されてよい。
　ステップＳ１５において結果取得部３０５は、記憶部３０３から試験結果を取得する。結果取得部３０５は、試験結果とともに被測定デバイス１００のデバイスＩＤや試験の項目ＩＤなどをさらに取得してよい。
　ステップＳ１７において、第１判定部３１５は、ステップＳ１１で試験した基準数の被測定デバイス１００の全てが試験にパスしたか否かを判定する。本実施形態では一例として、第１判定部３１５は、ウエハ１０１上の全ての被測定デバイス１００が試験の全項目にパスしたか否かを判定する。ステップＳ１７において全ての被測定デバイス１００が試験にパスしたと判定された場合（ステップＳ１７；Ｙｅｓ）には、ステップＳ１１に処理が移行する。これにより、試験装置２００によって次のウエハ１０１の被測定デバイス１００に対して試験が行われる。ステップＳ１７において全ての被測定デバイス１００が試験にパスしなかったと判定された場合（ステップＳ１７；Ｎｏ）にはステップＳ１９に処理が移行する。
　ステップＳ１９において第１判定部３１５は、ステップＳ１１での試験をフェイルした被測定デバイス１００に対して再検を行うか否かの判定処理を行う。このステップＳ１９の処理の詳細は後述する。
　ステップＳ２１において第１判定部３１５は、再検を行う旨の判定を行ったか否かを判定する。全ての被測定デバイス１００に対して再検を行わない旨の判定が行われた場合（ステップＳ２１；Ｙｅｓ）には、ステップＳ１１に処理が移行する。これにより、試験装置２００によって次のウエハ１０１の被測定デバイス１００に対して試験が行われる。ステップＳ２１において少なくとも１つの被測定デバイス１００に対して再検を行う旨の判定が行われた場合（ステップＳ２１；Ｙｅｓ）には、ステップＳ２３に処理が移行する。
　ステップＳ２３において試験装置２００は、再検を行う旨の判定が行われた１または複数の被測定デバイス１００に対する再検を行う。再検は試験の各項目について行われてよい。
　試験装置２００がいっぺんに複数の被測定デバイス１００に対して試験を行うことが可能である場合には、試験装置２００は、これらの被測定デバイス１００のうち、再検を行うと判定された被測定デバイス１００のみに対して試験を行ってよい。一例として、試験装置２００の複数のプローブニードル２３１が別々の被測定デバイス１００に対して接触可能である場合には、試験装置２００は、各プローブニードル２３１を対応位置の各被測定デバイス１００に接触させ、再検を行う被測定デバイス１００に接触するプローブニードル２３１のみに電流を流してよい。
　ステップＳ２５において、上述のステップＳ１３と同様にして、抽出部３０１が試験装置２００からデータファイル（本実施形態では一例としてＳＴＤＦファイル）を取得して各項目の試験結果を抽出し、記憶部３０３が当該試験結果を記憶する。ステップＳ２５の処理が終了したら、ステップＳ１１に処理が移行してよい。これにより、試験装置２００によって次のウエハ１０１の被測定デバイス１００に対して試験が行われる。
　［４－１．第１判定処理］
　図４は、第１判定処理を示す。判定装置３００は、ステップＳ１０１～Ｓ１０７の処理を行うことにより、被測定デバイス１００に対して再検を行うか否かを判定する。
　ステップＳ１０１において、下限値取得部３０９は、判定装置３００のオペレータにより予め設定された許容下限値を取得する。許容下限値が判定装置３００に内部記憶されている場合には、下限値取得部３０９は当該許容下限値を取得してよい。
　ステップＳ１０２において、算出部３０７は、複数の項目のそれぞれについて再現性を算出する。算出部３０７は、学習モデル３７１を用いて再現性を算出してよい。
　ステップＳ１０３において予測部３１１は、各項目の再現性に基づいて、項目ごとの予測パス個数を算出する。一例として、再現性がフェイルの再現率を示す場合には、予測部３１１は、各項目について次の式（１）から予測パス個数を算出してよい。再現性が再検予測フェイル数を示す場合には、予測部３１１は、各項目について次の式（２）から予測パス個数を算出してよい。
　予測パス個数＝初検フェイル数×（１－再現率）　　（１）
　予測パス個数＝初検フェイル数－再検予測フェイル数　　（２）
　ステップＳ１０５において閾値決定部３１３は、各項目の再現性および予測パス個数から、再検を行うか否かを判定するための閾値を決定する。例えば、閾値決定部３１３は、各項目の再現性の大きさに従って、対応する予測パス個数を順に積算する場合に、積算結果が許容下限値の対応個数に達するときの予測パス個数を検出してよい。これに代えて、閾値決定部３１３は、積算結果が許容下限値の対応個数に達する直前の予測パス個数を検出してもよい。閾値決定部３１３は、検出した予測パス個数に対応する再現性に基づく値を閾値として決定してよい。
　ここで、再現性の大きさに従って予測パス個数を順に積算するとは、再現性の大きい順または小さい順に予測パス個数を積算することであってよく、本実施形態では一例として、再現性の大きい順に予測パス個数を積算することである。再現性に基づく値とは、再現性の値に四則演算などを行って得られる値であってよいが、本実施形態においては一例として、再現性の値そのものである。この場合には、閾値と、各項目の再現性とを比較することで、当該項目をフェイルした被測定デバイス１００に再検を行うか否かを判定することができる。
　ステップＳ１０７において第１判定部３１５は、項目ごとに、当該項目の試験をフェイルした被測定デバイス１００に再検を行うか否かを判定する。第１判定部３１５は、算出部３０７の再現性取得部３７５から供給された各初検フェイル項目についての再現性と、閾値決定部３１３から供給された再現性についての閾値とを用いて判定を行ってよい。
　第１判定部３１５は、初検フェイル項目の再現性が閾値よりも大きい場合には、その項目にフェイルした被測定デバイス１００に対して再検を行わないと判定し、初検フェイル項目の再現性が閾値よりも小さい場合には、その項目にフェイルした被測定デバイス１００に対して再検を行うと判定してよい。第１判定部３１５は、結果取得部３０５から取得した各デバイスＩＤのうち、初検フェイル項目の再現性が閾値よりも小さい再現性の項目をフェイルした被測定デバイス１００のデバイスＩＤを検出し、再検の対象として試験装置２００に供給してよい。
　以上の第１判定処理によれば、各再現性の大きさに従って各項目の予測パス個数が順に積算される場合に、パス割合の許容下限値の対応個数に達するとき、またはその直前の予測パス個数に対応する再現性が検出されるので、許容下限値を満たすのに再検が不要な閾値が検出される。従って、この閾値を用いて再検の要否判定を行うことにより、試験にパスする被測定デバイス１００の割合を許容下限値以上にすることができる。
　なお、試験の再現性は、被測定デバイス１００に施された処理工程によって相違しうる。例えば、低温処理を経た被測定デバイス１００と、高温処理を経た被測定デバイス１００とでは、再現性が異なる場合がある。そのため、別々の処理工程が施された被測定デバイス１００が試験対象に含まれる場合には、施された処理工程ごとに別個の学習モデル３７１を用いて第１判定処理が行われることが好ましい。
　［５．変形例］
　図５は、変形例に係る判定装置３００Ａを試験装置２００や被測定デバイス１００とともに示す。判定装置３００Ａは、第１判定部３１５Ａと、結果取得部３０５Ａと、第３判定部３１７と、第２判定部３１９と、学習処理部３２１とをさらに有する。なお、本変形例に係る判定装置３００Ａにおいて、図１に示された判定装置３００と略同一のものには同一の符号を付け、説明を省略する。
　［５－２．第１判定部３１５Ａ］
　第１判定部３１５Ａは、上記の第１判定部３１５と同様の構成であるが、判定結果を第２判定部３１９にも供給するようになっている。
　［５－３．結果取得部３０５Ａ］
　結果取得部３０５Ａは、上記の結果取得部３０５と同様の構成であるが、試験結果などとともに被測定デバイス１００のロット番号を記憶部３０３からさらに取得する。また、結果取得部３０５Ａは、ロット番号と、デバイスＩＤとを対応付けて第３判定部３１７に供給する。また、結果取得部３０５Ａは、第３判定部３１７から供給されるデバイスＩＤに対応する初検の試験結果、および、再検の試験結果を、試験項目の項目ＩＤと対応付けて記憶部３０３から取得し、第２判定部３１９に供給する。
　［５－４．第３判定部３１７］
　第３判定部３１７は、被測定デバイス１００に再検を行うか否かの判定を行う。第３判定部３１７は、第１判定部３１５の判定結果によらず再検を行う旨の判定を行ってよい。第３判定部３１７は、基準数（本実施形態では一例として４）個おきのロットに含まれる被測定デバイス１００に対して試験が行われることに応じて再検を行う旨の判定を行ってよい。例えば、第３判定部３１７は、基準数個のロットの次のロット（本実施形態では一例として５番目のロット）に含まれる各被測定デバイス１００に対して初検が行われる場合に、当該被測定デバイス１００に対して再検を行う旨の判定を行ってよい。一例として、第３判定部３１７は、上述のステップＳ１５と、ステップＳ１７との間で判定を行ってよい。
　第３判定部３１７は、結果取得部３０５Ａから供給されるロット番号に基づいて、ロット番号の切り替わりを検出し、試験済みのロット数をカウントしてよい。第３判定部３１７は、試験済みのロット数が基準数（本実施形態においては４）に達してから、次の数（本実施形態においては５）に達するまでの間に初検が行われる被測定デバイス１００に対し、再検を行う旨の判定を行ってよい。第３判定部３１７は、結果取得部３０５Ａから供給されるデバイスＩＤから、再検を行うべき被測定デバイス１００のデバイスＩＤを抽出し、試験装置２００に供給してよい。これにより、試験装置２００によって対象の被測定デバイス１００に再検が行われる。
　第３判定部３１７は、再検を行うべき被測定デバイス１００のデバイスＩＤを、結果取得部３０５Ａにも供給してよい。これにより、当該デバイスＩＤに対応する初検の試験結果、および、再検の試験結果が試験の各項目の項目ＩＤと対応付けられて第２判定部３１９に供給される。
　［５－５．第２判定部３１９］
　第２判定部３１９は、再検の結果と、第１判定部３１５の判定結果とを用いて、学習モデル３７１を再学習するか否かを判定する。第２判定部３１９により用いられる再検の結果とは、第３判定部３１７により行われる再検の結果であってよいが、第１判定部３１５により行われる再検の結果であってもよい。
　第２判定部３１９は、第１判定部３１５の判定結果（本実施形態では一例として再検の対象と判定した被測定デバイス１００のデバイスＩＤ）と、結果取得部３０５Ａから供給されるデバイスＩＤごとの再検の試験結果とから、ＴＰ（Ｔｒｕｅ　Ｐｏｓｉｔｉｖｅ）、ＴＮ（Ｔｒｕｅ　Ｎｅｇａｔｉｖｅ）、ＦＰ（Ｆａｌｓｅ　Ｐｏｓｉｔｉｖｅ）、ＦＮ（Ｆａｌｓｅ　Ｎｅｇａｔｉｖｅ）の値を算出してよい。ＴＰは、再検を行うと判定され、再検をパスした被測定デバイス１００の個数であってよい。ＴＮは、再検を行わないと判定され、再検をフェイルした被測定デバイス１００の個数であってよい。ＦＰは、再検を行うと判定され、再検をフェイルした被測定デバイス１００の個数であってよい。ＦＮは、再検を行わないと判定され、再検をパスした被測定デバイス１００の個数であってよい。
　第２判定部３１９は、歩留まりの低下を防ぐための条件（歩留まり条件とも称する）と、再検数を減らすための条件（再験低減条件とも称する）との少なくとも一方の条件が満たされない場合に、再学習する旨の判定を行ってよい。なお、歩留まりとは、試験に供される全ての被測定デバイス１００のうち、試験（または再検）をパスする被測定デバイス１００の割合であってよい。
　歩留まり条件は、全ての被測定デバイス１００を再検した場合にパスする被測定デバイス１００の数（ＦＮ＋ＴＰ）と、再検を行うと判定して再検にパスした被測定デバイス１００の個数（ＴＰ）との比が閾値より大きい、という条件であってよい。すなわち、歩留まり条件は、閾値（ＴＨ１）を用いてＴＰ／（ＦＮ＋ＴＰ）≧ＴＨ１で表されてよい。
　再検低減条件は、初検でフェイルした被測定デバイス１００の個数（ＴＮ＋ＦＰ＋ＦＮ＋ＴＰ）と、再検を行わなかった被測定デバイス１００の個数（ＴＮ＋ＦＮ）との比が閾値より大きい、という条件であってよい。すなわち、再検低減条件は、閾値（ＴＨ２）を用いて（ＴＮ＋ＦＮ）／（ＴＮ＋ＦＰ＋ＦＮ＋ＴＰ）≧ＴＨ２で表されてよい。
　第２判定部３１９は、再学習をする旨の判定を行った場合には、結果取得部３０５Ａから取得したデータから抽出される学習データを学習処理部３２１に供給してよい。
　［５－６．学習処理部３２１］
　学習処理部３２１は、試験の各項目のうち少なくともフェイルした項目の項目ＩＤと、再験の結果とを含む学習データを用いて学習モデル３７１の学習処理を実行する。学習処理部３２１は、第２判定部３１９による判定結果に応じて学習モデル３７１の学習処理を実行してよい。一例として、学習処理部３２１は、第２判定部３１９から学習データが供給されることに応じて学習処理を行ってよい。学習処理部３２１は、ウエハ上での被測定デバイス１００の位置や、測定値と理想値とのずれ量などを更に含む学習データをさらに用いて学習処理を実行してもよい。学習処理部３２１は、これらのデータを結果取得部３０５Ａや第２判定部３１９から取得してよい。
　以上の判定装置３００Ａによれば、学習処理部３２１によって学習モデル３７１の学習処理が行われるので、再現性の精度をいっそう高めることができる。
　また、第２判定部３１９により再検の結果と、第１判定部３１５の判定結果とを用いて、学習モデル３７１を再学習するか否かが判定される。従って、第１判定部３１５の判定精度が低い場合に、学習モデル３７１を再学習して、第１判定部３１５の判定精度を高めることができる。
　また、基準ロット数の被測定デバイス１００の試験が行われるごとに強制的に再検が行われるので、再現性の精度や学習モデル３７１の学習精度を確実に高く維持することができる。
　［６．他の変形例］
　なお、上記の実施形態および変形例においては、判定装置３００は、算出部３０７と、下限値取得部３０９と、予測部３１１と、閾値決定部３１３とを有することとして説明したが、これらを有しないこととしてもよい。例えば、判定装置３００は、外部接続された算出部３０７や予測部３１１、閾値決定部３１３から、再現性や予測パス個数、閾値の算出結果を取得してもよい。また、判定装置３００は、予測パス個数や閾値を用いずに第１判定部３１５による判定を行ってもよい。一例として、第１判定部３１５は、再現性が大きい基準数の項目にフェイルした被測定デバイスに再検を行わない旨の判定を行ってもよい。
　また、結果取得部３０５は、抽出部３０１および記憶部３０３を介して試験装置２００から試験結果などを取得することとして説明したが、試験装置２００から直接的に取得してもよい。この場合には、結果取得部３０５は、データファイル（一例としてＳＴＤＦファイル）の試験データを取得して、当該データファイルから試験結果などを抽出してよい。この場合には、判定装置３００は抽出部３０１を有しなくてもよい。
　また、予測部３１１により算出される項目ごとの予測パス個数を、当該項目の初検にフェイルした被測定デバイス１００のうち、当該項目の再検をパスすると予測される被測定デバイス１００の数として説明したが、他の値を示す数としてもよい。例えば、項目ごとの予測パス個数は、当該項目の初検にフェイルした被測定デバイスのうち、再検の全体をパスすると予測される被測定デバイス１００の数であってもよい。
　また、再現性を試験の項目ごとの値として説明したが、試験全体に対応する値としてもよい。この場合に再現性は、初検の結果がフェイルであった場合に、再検の結果がフェイルとなることを示してよい。
　また、算出部３０７は学習モデル３７１を用いて再現性を算出することとして説明したが、学習モデル３７１を用いずに再現性を算出してよい。例えば、算出部３０７は、複数の被測定デバイス１００に対する複数の試験の試験結果と、複数の再検の試験結果とから、再現性を算出してよい。一例として、算出部３０７は、複数の被測定デバイス１００に対する初検および再検の結果を用い、項目ごとに初検でのフェイル数と、再検でのフェイル数との比から、再現率を算出してよい。これにより、複数の被測定デバイス１００に対する初検の結果に基づく統計的な再現率を取得することができる。学習モデル３７１を用いずに再現性を算出する場合には、都度、被測定デバイス１００ごとに初検の試験結果を学習モデル３７１に入力する必要がないため、予め項目ごとに再現率を算出して判定装置３００に内部記憶させてよい。また、第２判定部３１９は再検の結果と、第１判定部３１５の判定結果とを用いて、算出済みの再現性を更新するか否かを判定してよい。この場合、算出部３０７は、第２判定部３１９による判定結果に応じて再現性を更新してよい。なお、第２判定部３１９による判定手法は、上記の変形例と同様であってよい。
　なお、試験システム１の試験装置２００や判定装置３００，３００Ａにおける少なくとも一部の機能部は、プログラムを実行するコンピュータで実現されてよい。コンピュータは、あらかじめ作成したプログラムに従って計算や論理的処理を行うものであってよく、一例としてマイクロプロセッサを有する特殊目的の専用コンピュータでもよいし、汎用コンピュータでもよいし、他のコンピュータでもよい。
　本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、および／またはコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタルおよび／またはアナログハードウェア回路を含んでよく、集積回路（ＩＣ）および／またはディスクリート回路を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。
　コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。
　コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかを含んでよい。
　コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のコンピュータ等のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
　図６は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。コンピュータ２２００にインストールされたプログラムは、コンピュータ２２００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、および／またはコンピュータ２２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ２２００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ２２１２によって実行されてよい。
　本実施形態によるコンピュータ２２００は、ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６、およびディスプレイデバイス２２１８を含み、それらはホストコントローラ２２１０によって相互に接続されている。コンピュータ２２００はまた、通信インターフェイス２２２２、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６、およびＩＣカードドライブのような入／出力ユニットを含み、それらは入／出力コントローラ２２２０を介してホストコントローラ２２１０に接続されている。コンピュータはまた、ＲＯＭ２２３０およびキーボード２２４２のようなレガシの入／出力ユニットを含み、それらは入／出力チップ２２４０を介して入／出力コントローラ２２２０に接続されている。
　ＣＰＵ２２１２は、ＲＯＭ２２３０およびＲＡＭ２２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ２２１６は、ＲＡＭ２２１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ２２１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス２２１８上に表示されるようにする。
　通信インターフェイス２２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ２２２４は、コンピュータ２２００内のＣＰＵ２２１２によって使用されるプログラムおよびデータを格納する。ＤＶＤ－ＲＯＭドライブ２２２６は、プログラムまたはデータをＤＶＤ－ＲＯＭ２２０１から読み取り、ハードディスクドライブ２２２４にＲＡＭ２２１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、および／またはプログラムおよびデータをＩＣカードに書き込む。
　ＲＯＭ２２３０はその中に、アクティブ化時にコンピュータ２２００によって実行されるブートプログラム等、および／またはコンピュータ２２００のハードウェアに依存するプログラムを格納する。入／出力チップ２２４０はまた、様々な入／出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入／出力コントローラ２２２０に接続してよい。
　プログラムが、ＤＶＤ－ＲＯＭ２２０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ２２２４、ＲＡＭ２２１４、またはＲＯＭ２２３０にインストールされ、ＣＰＵ２２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ２２００の使用に従い情報の操作または処理を実現することによって構成されてよい。
　例えば、通信がコンピュータ２２００および外部デバイス間で実行される場合、ＣＰＵ２２１２は、ＲＡＭ２２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インターフェイス２２２２に対し、通信処理を命令してよい。通信インターフェイス２２２２は、ＣＰＵ２２１２の制御下、ＲＡＭ２２１４、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭ２２０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。
　また、ＣＰＵ２２１２は、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６（ＤＶＤ－ＲＯＭ２２０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ２２１４に読み取られるようにし、ＲＡＭ２２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ２２１２は次に、処理されたデータを外部記録媒体にライトバックする。
　様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ２２１４に対しライトバックする。また、ＣＰＵ２２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
　上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ２２００上またはコンピュータ２２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ２２００に提供する。
　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。
　請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
　１　試験システム
　１００　被測定デバイス
　１０１　ウエハ
　２００　試験装置
　２０１　テスタ本体
　２０３　テストヘッド
　２０５　プローバ
　２３１　プローブニードル
　３００　判定装置
　３０１　抽出部
　３０３　記憶部
　３０５　結果取得部
　３０７　算出部
　３０９　下限値取得部
　３１１　予測部
　３１３　閾値決定部
　３１５　第１判定部
　３１７　第３判定部
　３１９　第２判定部
　３２１　学習処理部
　３７１　学習モデル
　３７３　供給部
　３７５　再現性取得部
　２２００　コンピュータ
　２２０１　ＤＶＤ－ＲＯＭ
　２２１０　ホストコントローラ
　２２１２　ＣＰＵ
　２２１４　ＲＡＭ
　２２１６　グラフィックコントローラ
　２２１８　ディスプレイデバイス
　２２２０　入／出力コントローラ
　２２２２　通信インターフェイス
　２２２４　ハードディスクドライブ
　２２２６　ＤＶＤ－ＲＯＭドライブ
　２２３０　ＲＯＭ
　２２４０　入／出力チップ
　２２４２　キーボード

Claims (14)

  1. 　被測定デバイスに対して行われる複数の項目の試験の試験結果を取得する結果取得部と、
    　前記試験をフェイルした被測定デバイスに再試験を行うか否かを判定する第１判定部と、
    　を備え、
    　前記第１判定部は、予め複数の被測定デバイスに前記試験を複数回行った場合での試験結果の再現性に基づいて判定を行う、判定装置。
  2. 　前記複数の項目のそれぞれについて前記再現性を算出する算出部をさらに備え、
    　前記第１判定部は、前記算出部により算出される前記再現性に基づいて、対応する項目の試験をフェイルした被測定デバイスに再試験を行うか否かを判定する、請求項１に記載の判定装置。
  3. 　前記第１判定部は、前記再現性を学習した学習モデルを用いて判定を行う、請求項２に記載の判定装置。
  4. 　前記算出部は、
    　前記複数の項目の試験結果を入力したことに応じて、再試験の予測結果を出力する学習モデルと、
    　前記学習モデルに対し、前記結果取得部により取得された前記複数の項目の試験結果を供給する供給部と、
    　前記複数の項目の試験結果を前記学習モデルに供給したことに応じて前記学習モデルが出力する再試験の予測結果から前記再現性を取得する再現性取得部と、
    　を有する、請求項３に記載の判定装置。
  5. 　前記複数の項目のうち少なくともフェイルした項目の項目ＩＤと、再試験の結果とを含む学習データを用いて前記学習モデルの学習処理を実行する学習処理部をさらに備える、請求項４に記載の判定装置。
  6. 　再試験の結果と、前記第１判定部の判定結果とを用いて、前記学習モデルを再学習するか否かを判定する第２判定部をさらに備え、
    　前記学習処理部は、前記第２判定部による判定結果に応じて前記学習モデルの学習処理を実行する、請求項５に記載の判定装置。
  7. 　前記算出部は、複数の被測定デバイスに対する複数の前記試験の試験結果と、複数の再試験の試験結果とから、前記再現性を算出する、請求項２に記載の判定装置。
  8. 　再試験の結果と、前記第１判定部の判定結果とを用いて、前記再現性を更新するか否かを判定する第２判定部をさらに備え、
    　前記算出部は、前記第２判定部による判定結果に応じて、前記再現性を更新する、請求項７に記載の判定装置。
  9. 　基準数個おきのロットに含まれる被測定デバイスに対して前記試験が行われることに応じて前記第１判定部の判定結果によらず被測定デバイスに再試験を行う旨の判定を行う第３判定部をさらに備え、
    　前記第２判定部は、前記第３判定部により行われる再試験の結果を用いて判定を行う、請求項６または８に記載の判定装置。
  10. 　前記試験をパスする被測定デバイスの割合の許容下限値を取得する下限値取得部と、
    　各項目の前記再現性に基づいて、対応する項目の試験にフェイルした被測定デバイスのうち、少なくとも当該項目の再試験をパスすると予測される被測定デバイスの予測パス個数を算出する予測部をさらに備え、
    　前記第１判定部は、各項目の前記再現性の大きさに従って、対応する前記予測パス個数を順に積算する場合に、前記許容下限値の対応個数に達するとき、または、達する直前の前記予測パス個数に対応する前記再現性に基づく値を判定の閾値として用いる、請求項２から９の何れか一項に記載の判定装置。
  11. 　試験結果を含むデータファイルを取得し、当該データファイルから各項目の試験結果を抽出する抽出部と、
    　前記抽出部により抽出された試験結果を記憶する記憶部と、
    　をさらに備え、
    　前記結果取得部は、前記記憶部から前記複数の項目の試験結果を取得する、請求項１から１０の何れか一項に記載の判定装置。
  12. 　請求項１から１１の何れか一項に記載の判定装置と、
    　被測定デバイスに対して複数の項目の試験を行う試験装置と、
    　を備える試験システム。
  13. 　被測定デバイスに対して行われる複数の項目の試験の試験結果を取得する結果取得段階と、
    　前記試験をフェイルした被測定デバイスに再試験を行うか否かを判定する第１判定段階と、
    　を備え、
    　前記第１判定段階では、予め複数の被測定デバイスに前記試験を複数回行った場合での試験結果の再現性に基づいて判定を行う、判定方法。
  14. 　コンピュータにより実行されて、前記コンピュータを、
    　被測定デバイスに対して行われる複数の項目の試験の試験結果を取得する結果取得部と、
    　前記試験をフェイルした被測定デバイスに再試験を行うか否かを判定する第１判定部と、
    　して機能させ、
    　前記第１判定部は、予め複数の被測定デバイスに前記試験を複数回行った場合での試験結果の再現性に基づいて判定を行う、判定プログラム。
PCT/JP2021/001134 2020-03-10 2021-01-14 判定装置、試験システム、判定方法および判定プログラム Ceased WO2021181863A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112021001524.9T DE112021001524T5 (de) 2020-03-10 2021-01-14 Bestimmungsgerät, testsystem, bestimmungsverfahren und bestimmungsprogramm
KR1020227021986A KR102838390B1 (ko) 2020-03-10 2021-01-14 판정 장치, 시험 시스템, 판정 방법 및 판정 프로그램
CN202180007757.1A CN114902058B (zh) 2020-03-10 2021-01-14 判定装置、试验系统、判定方法及记录介质
US17/832,713 US20220300390A1 (en) 2020-03-10 2022-06-06 Determination apparatus, test system, determination method, and computer- readable medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-041371 2020-03-10
JP2020041371A JP7561505B2 (ja) 2020-03-10 2020-03-10 判定装置、試験システム、判定方法および判定プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/832,713 Continuation US20220300390A1 (en) 2020-03-10 2022-06-06 Determination apparatus, test system, determination method, and computer- readable medium

Publications (1)

Publication Number Publication Date
WO2021181863A1 true WO2021181863A1 (ja) 2021-09-16

Family

ID=77672223

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/001134 Ceased WO2021181863A1 (ja) 2020-03-10 2021-01-14 判定装置、試験システム、判定方法および判定プログラム

Country Status (7)

Country Link
US (1) US20220300390A1 (ja)
JP (1) JP7561505B2 (ja)
KR (1) KR102838390B1 (ja)
CN (1) CN114902058B (ja)
DE (1) DE112021001524T5 (ja)
TW (1) TWI848201B (ja)
WO (1) WO2021181863A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114660443A (zh) * 2022-05-24 2022-06-24 南京宏泰半导体科技有限公司 一种基于机器学习的集成电路ate自动复测系统及方法
US20240385239A1 (en) * 2023-05-15 2024-11-21 Advantest Corporation Evaluation apparatus, evaluation method, and non-transitory computer readable medium
CN119827940A (zh) * 2025-03-14 2025-04-15 深圳飞骧科技股份有限公司 封装器件的可靠性测试方法及可靠性测试装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7777433B2 (ja) * 2021-11-25 2025-11-28 株式会社フジクラ 検査装置、検査方法、検査プログラム、半導体デバイスの製造方法
JP2024056112A (ja) * 2022-10-10 2024-04-22 株式会社デンソー 半導体装置の製造方法および製造装置
JP2024168840A (ja) * 2023-05-25 2024-12-05 トヨタ自動車株式会社 移動体の検査方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004055837A (ja) * 2002-07-19 2004-02-19 Nec Kyushu Ltd プローバ装置及び半導体装置の検査方法
JP2005010069A (ja) * 2003-06-20 2005-01-13 Renesas Technology Corp テストシステム、テスト方法およびテストプログラム
JP2006025100A (ja) * 2004-07-07 2006-01-26 Matsushita Electric Ind Co Ltd 半導体集積回路およびそのテスト方法
JP2008122362A (ja) * 2006-10-20 2008-05-29 Matsushita Electric Ind Co Ltd 半導体検査装置および半導体検査手法
JP2010267689A (ja) * 2009-05-13 2010-11-25 Renesas Electronics Corp 半導体集積回路装置の製造方法
JP2010278073A (ja) * 2009-05-26 2010-12-09 Panasonic Corp 半導体集積回路、半導体集積回路の検査装置、及び検査方法
JP2013024671A (ja) * 2011-07-20 2013-02-04 Renesas Electronics Corp 半導体集積回路のテスト方法とシステムとプログラム
JP2017194448A (ja) * 2016-04-19 2017-10-26 インチョン ユニバーシティ インダストリー アカデミック コーポレーション ファウンデーションＩｎｃｈｅｏｎ Ｕｎｉｖｅｒｓｉｔｙ Ｉｎｄｕｓｔｒｙ Ａｃａｄｅｍｉｃ Ｃｏｏｐｅｒａｔｉｏｎ Ｆｏｕｎｄａｔｉｏｎ Ｔｓｏｍイメージ獲得方法及び半導体装置検査方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06258387A (ja) * 1993-03-09 1994-09-16 Mitsubishi Electric Corp Ｉｃテスタ
US6138256A (en) * 1998-03-27 2000-10-24 Micron Technology, Inc. Intelligent binning for electrically repairable semiconductor chips
US7017429B2 (en) * 2003-04-30 2006-03-28 Infineon Technologies Richmond, Lp Continuous test flow method and apparatus
US7253650B2 (en) * 2004-05-25 2007-08-07 International Business Machines Corporation Increase productivity at wafer test using probe retest data analysis
JP2007164256A (ja) 2005-12-09 2007-06-28 Sharp Corp テンプレート調整方法および装置、欠陥分布分類方法および装置、上記テンプレート調整方法または欠陥分布分類方法をコンピュータに実行させるためのプログラム、並びに上記プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4920268B2 (ja) 2006-02-23 2012-04-18 株式会社日立ハイテクノロジーズ 半導体プロセスモニタ方法およびそのシステム
JP2007285906A (ja) 2006-04-18 2007-11-01 Hitachi High-Technologies Corp 荷電粒子線システム、および測定パラメータ設定方法
DE112008000937T5 (de) * 2007-03-29 2010-02-11 Advantest Corp. Prüfgerät und elektronische Vorrichtung
JP2011033423A (ja) * 2009-07-31 2011-02-17 Hitachi High-Technologies Corp パターン形状選択方法、及びパターン測定装置
US10359371B2 (en) * 2015-08-24 2019-07-23 Kla-Tencor Corp. Determining one or more characteristics of a pattern of interest on a specimen
US11580398B2 (en) * 2016-10-14 2023-02-14 KLA-Tenor Corp. Diagnostic systems and methods for deep learning models configured for semiconductor applications
US11275361B2 (en) * 2017-06-30 2022-03-15 Kla-Tencor Corporation Systems and methods for predicting defects and critical dimension using deep learning in the semiconductor manufacturing process
KR102578644B1 (ko) * 2017-08-30 2023-09-13 삼성전자주식회사 반도체 집적회로의 수율 예측 장치, 및 이를 이용한 반도체 장치 제조 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004055837A (ja) * 2002-07-19 2004-02-19 Nec Kyushu Ltd プローバ装置及び半導体装置の検査方法
JP2005010069A (ja) * 2003-06-20 2005-01-13 Renesas Technology Corp テストシステム、テスト方法およびテストプログラム
JP2006025100A (ja) * 2004-07-07 2006-01-26 Matsushita Electric Ind Co Ltd 半導体集積回路およびそのテスト方法
JP2008122362A (ja) * 2006-10-20 2008-05-29 Matsushita Electric Ind Co Ltd 半導体検査装置および半導体検査手法
JP2010267689A (ja) * 2009-05-13 2010-11-25 Renesas Electronics Corp 半導体集積回路装置の製造方法
JP2010278073A (ja) * 2009-05-26 2010-12-09 Panasonic Corp 半導体集積回路、半導体集積回路の検査装置、及び検査方法
JP2013024671A (ja) * 2011-07-20 2013-02-04 Renesas Electronics Corp 半導体集積回路のテスト方法とシステムとプログラム
JP2017194448A (ja) * 2016-04-19 2017-10-26 インチョン ユニバーシティ インダストリー アカデミック コーポレーション ファウンデーションＩｎｃｈｅｏｎ Ｕｎｉｖｅｒｓｉｔｙ Ｉｎｄｕｓｔｒｙ Ａｃａｄｅｍｉｃ Ｃｏｏｐｅｒａｔｉｏｎ Ｆｏｕｎｄａｔｉｏｎ Ｔｓｏｍイメージ獲得方法及び半導体装置検査方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114660443A (zh) * 2022-05-24 2022-06-24 南京宏泰半导体科技有限公司 一种基于机器学习的集成电路ate自动复测系统及方法
US20240385239A1 (en) * 2023-05-15 2024-11-21 Advantest Corporation Evaluation apparatus, evaluation method, and non-transitory computer readable medium
CN119827940A (zh) * 2025-03-14 2025-04-15 深圳飞骧科技股份有限公司 封装器件的可靠性测试方法及可靠性测试装置

Also Published As

Publication number Publication date
KR20220110237A (ko) 2022-08-05
DE112021001524T5 (de) 2023-01-05
KR102838390B1 (ko) 2025-07-25
TW202202860A (zh) 2022-01-16
JP7561505B2 (ja) 2024-10-04
CN114902058B (zh) 2025-08-12
US20220300390A1 (en) 2022-09-22
JP2021143880A (ja) 2021-09-24
TWI848201B (zh) 2024-07-11
CN114902058A (zh) 2022-08-12

Similar Documents

Publication Publication Date Title
JP7561505B2 (ja) 判定装置、試験システム、判定方法および判定プログラム
US11176012B2 (en) Device, system and process for redundant processor error detection
JP5270458B2 (ja) 故障箇所推定装置
JP3734392B2 (ja) 半導体集積回路の故障検査方法及びレイアウト方法
US20210199713A1 (en) Analysis apparatus, analysis method, and recording medium having recorded thereon analysis program
US12146896B2 (en) Analysis apparatus, analysis method, and recording medium having recorded thereon analysis program
US12429500B2 (en) Analysis apparatus, analysis method, and recording medium having recorded thereon analysis program
TWI515445B (zh) 診斷工具-一種增加良率提升製程之產量的方法
CN114660443A (zh) 一种基于机器学习的集成电路ate自动复测系统及方法
US7283918B2 (en) Apparatus for analyzing fault of semiconductor integrated circuit, method for the same, and computer readable medium for the same
US9921264B2 (en) Method and apparatus for offline supported adaptive testing
US6536007B1 (en) Models and technique for automated fault isolation of open defects in logic
KR102786849B1 (ko) 보수 장치, 보수 방법 및 보수 프로그램
US10247776B2 (en) Structurally assisted functional test and diagnostics for integrated circuits
KR102853286B1 (ko) 반도체 테스트 소켓 검사 방법 및 장치
KR100780849B1 (ko) 샷 단위의 웨이퍼 검사 방법
CN116298832A (zh) 基于压缩环境的故障扫描链屏蔽方法
JP2005332389A (ja) 半導体集積回路の故障検査方法及びレイアウト方法
US20080195896A1 (en) Apparratus and method for universal programmable error detection and real time error detection
JP2005114623A (ja) Ｉｄｄｑ測定ポイント選別方法、検査装置、およびｉｄｄｑ測定ポイント用プログラム
HK40078896A (en) Automatic sensor trace validation using machine learning
JP2004037190A (ja) 故障診断方法および検査系列生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21767546

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20227021986

Country of ref document: KR

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 21767546

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 202180007757.1

Country of ref document: CN