WO2022252278A1 - 图像校准方法和装置、设备及存储介质 - Google Patents
图像校准方法和装置、设备及存储介质 Download PDFInfo
- Publication number
- WO2022252278A1 WO2022252278A1 PCT/CN2021/099462 CN2021099462W WO2022252278A1 WO 2022252278 A1 WO2022252278 A1 WO 2022252278A1 CN 2021099462 W CN2021099462 W CN 2021099462W WO 2022252278 A1 WO2022252278 A1 WO 2022252278A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- calibration
- detected
- result
- reference image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 238000013519 translation Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 6
- 238000001514 detection method Methods 0.000 description 20
- 230000007547 defect Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 10
- 230000000737 periodic effect Effects 0.000 description 8
- 239000004065 semiconductor Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000003556 assay Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Definitions
- the present application relates to the technical field of semiconductor detection, and in particular to an image calibration method, device, equipment and storage medium.
- defect cause analysis is performed through defect detection and classification, and yield and production are improved.
- the detection accuracy that is, the detection accuracy
- the follow-up processes such as defect classification and analysis are meaningful, and the yield rate and production can be truly improved.
- the present application proposes an image calibration method, which can effectively reduce the calibration error in the calibration process and improve the accuracy of semiconductor defect detection.
- an image calibration method including:
- the standard image is intercepted from the image to be detected, and the standard image, the first reference image and the second reference image are used to perform matching calibration respectively, to obtain the image to be detected and the second reference image.
- the current calibration mode is replaced, and the image to be detected, the first reference image and the The second reference image is used for matching calibration.
- the calibration mode includes a first calibration mode, a second calibration mode, and a third calibration mode
- the standard image defined in the first calibration mode is intercepted in the image to be detected in the following manner: intercepted from the center of the image to be detected;
- the standard image defined in the second calibration mode is intercepted in the image to be detected in the following manner: intercepted from the lower left corner of the image to be detected;
- the standard image defined in the third calibration mode is intercepted in the image to be detected in the following manner: intercepted from the upper right corner of the image to be detected.
- the calibration scores corresponding to the first calibration result and the second calibration result are respectively calculated The corresponding calibration score, and judge according to the calculated calibration score.
- calculating the calibration score corresponding to the first calibration result and the calibration score corresponding to the second calibration result respectively includes:
- the method before replacing the current calibration mode, the method further includes:
- one of the first calibration result and the second calibration result is selected as the final calibration result.
- the steps include:
- the vector conservation rule is used for derivation and calculation .
- the read image to be detected, the first reference image and the second reference image are matched and calibrated to obtain a first calibration result of the image to be detected and the first reference image, As well as the second calibration result of the image to be detected and the second reference image, both are performed using the NCC algorithm.
- NCC algorithm is used to perform matching calibration on the read image to be detected, the first reference image and the second reference image to obtain the first calibration result and the When the second calibration results, including:
- an integer value of an offset between the image to be detected and the first reference image and an offset between the image to be detected and the second reference image are obtained integer value
- sub-pixels between the image to be detected and the first reference image and the sub-pixels between the image to be detected and the second reference image are calculated according to the first NCC image and the second NCC image respectively.
- an image calibration device including: a mode selection module, a matching calibration module and a result judgment module;
- the mode selection module is configured to select the current mode from more than two preset calibration modes; wherein, different calibration modes correspond to different interception methods of the standard image in the image to be detected;
- the matching calibration module is configured to intercept the standard image from the image to be detected based on the current mode, and use the standard image, the first reference image and the second reference image to perform matching calibration respectively, to obtain a first calibration result of the image to be detected and the first reference image, and a second calibration result of the image to be detected and the second reference image;
- the result judging module is configured to judge the accuracy of the first calibration result and the second calibration result
- the mode selection module is further configured to replace the current calibration mode when the result judging module judges that both the first calibration result and the second calibration result are inaccurate;
- the matching calibration module is further configured to perform matching calibration on the image to be detected, the first reference image and the second reference image based on the replaced calibration mode.
- an image calibration device including:
- memory for storing processor-executable instructions
- the processor is configured to implement any one of the aforementioned methods when executing the executable instructions.
- a non-volatile computer-readable storage medium on which computer program instructions are stored, and when the computer program instructions are executed by a processor, any one of the aforementioned methods is implemented.
- Fig. 1 shows the flowchart of the image calibration method of the embodiment of the present application
- Figures 2a to 2c respectively show schematic diagrams of the definition of the first calibration mode, the second calibration mode and the third calibration mode in the image calibration method of the embodiment of the present application;
- FIG. 3 shows a schematic diagram of matching and calibrating the image to be detected, the first reference image, and the second reference image using the NCC algorithm in the image calibration method of the embodiment of the present application;
- Fig. 4 shows another flowchart of the image calibration method of the embodiment of the present application
- Fig. 5 shows the structural block diagram of the image calibration device of the embodiment of the present application
- Fig. 6 shows a structural block diagram of an image calibration device according to an embodiment of the present application.
- the image calibration method in the embodiment of the present application is a new image calibration method proposed based on the template matching algorithm, which is used to effectively improve the calibration effect in the D2D method used in semiconductor defect detection, so as to achieve The purpose of reducing calibration error.
- the image calibration method of the embodiment of the present application is used to align these three images, so that in the subsequent defect detection process, different regions can be found from these three images, and the voting principle is used to locate Identify the defect area in the image to be detected.
- FIG. 1 shows a flowchart of an image calibration method according to an embodiment of the present application.
- the method includes: step S100 , selecting a current mode from more than two preset calibration modes.
- different calibration modes correspond to different intercepting modes of the standard image in the image to be detected. That is to say, different calibration modes correspond to different acquisition methods of standard images.
- Step S200 based on the current mode, intercept the standard image from the image to be detected, and use the standard image, the first reference image and the second reference image to perform matching calibration respectively, to obtain the first calibration result of the image to be detected and the first reference image, And a second calibration result of the image to be detected and the second reference image.
- step S300 the accuracy of the first calibration result and the second calibration result is judged.
- step S300 the accuracy of the first calibration result and the second calibration result is judged.
- step S100 return to step S100, re-select the calibration mode, replace the current calibration mode, and treat the detected image and the first reference image based on the replaced calibration mode Perform matching calibration with the second reference image.
- the image calibration method of the embodiment of the present application is based on the template matching algorithm, by distinguishing different interception methods of the image to be detected and defining them as different calibration modes, so that when performing image calibration, the calibration is performed in different calibration modes And the accuracy of the calibration result is determined, and when the calibration result is determined to be inaccurate, the calibration mode is replaced, and the calibration is performed again in another calibration mode, which effectively improves the accuracy of the image calibration result.
- image calibration is performed in different calibration modes, so that the factor of intercepting the image to be detected is taken into account when performing image calibration, so that the image to be detected is composed of a large-area periodic template and a small
- the effective calibration of the image can still be performed, which greatly reduces the probability of calibration errors and improves the accuracy of calibration and the accuracy of defect detection.
- the preset calibration modes may include three types, which are respectively a first calibration mode, a second calibration mode and a third calibration mode.
- the standard image defined in the first calibration mode is intercepted in the image to be detected in the following manner: intercepted from the center of the image to be detected (as shown in FIG. 2a ).
- the standard image defined in the second calibration mode is intercepted in the image to be detected in the following manner: intercepted from the lower left corner of the image to be detected (as shown in FIG. 2 b ).
- the interception method of the standard image defined in the third calibration mode in the image to be detected is: intercepted from the upper right corner of the image to be detected (as shown in FIG. 2 c ).
- the image calibration method of the present application three calibration modes are divided according to the acquisition method of the standard image.
- the image to be detected is re-captured through the interception method of the image to be detected defined in the next calibration mode, and then image calibration is performed based on the re-captured image to be detected to obtain a corresponding calibration result.
- the image calibration method in the embodiment of the present application is divided into three types of calibration modes, namely the first calibration mode, the second calibration mode and the third calibration mode, when performing image calibration , you need to choose from the three calibration modes set to determine the calibration mode corresponding to the current calibration.
- a calibration mode is selected from a plurality of preset calibration modes as the current mode, and then based on the selected calibration mode, image calibration is performed through a template matching algorithm.
- the image calibration when the image calibration is performed through the template matching algorithm, it mainly includes: based on the standard image interception method defined in the selected calibration mode (ie, the current mode), the standard image is extracted from the image to be detected. interception. Then, by sliding the intercepted standard image on the first reference image and the second reference image respectively, the image to be detected, the first reference image and the second reference image are matched and calibrated to obtain the image to be detected and the first reference image The first calibration result of the image to be detected and the second calibration result of the second reference image.
- the standard image interception method defined in the selected calibration mode ie, the current mode
- an NCC algorithm when matching and calibrating the image to be detected, the first reference image and the second reference image based on the template matching algorithm, an NCC algorithm may be used for implementation.
- the first NCC image and the second NCC image are calculated using the NCC algorithm by sliding the standard image intercepted from the image to be detected according to the current mode on the first reference image and the second reference image respectively.
- the first NCC image calculated by the NCC algorithm is used.
- an offset integer value between the image to be detected and the first reference image and an integer value offset between the image to be detected and the second reference image are obtained.
- the sub-pixels between the image to be detected and the first reference image and the sub-pixels between the image to be detected and the second reference image are calculated according to the first NCC image and the second NCC image respectively.
- the offset decimal value between the image to be detected and the first reference image and the difference between the image to be detected and the second reference image are obtained. Decimal value for the offset of the second reference image.
- the first calibration result of the image to be detected and the first reference image and the second calibration result of the image to be detected and the second reference image are obtained through the above method
- the first calibration result is obtained by
- the integer value of the offset between the image to be detected and the first reference image and the fractional value of the offset between the image to be detected and the first reference image are composed.
- the second calibration result consists of an integer value of the offset between the image to be detected and the second reference image and a decimal value of the offset between the image to be detected and the second reference image.
- the quadratic function can be used The fitting method is calculated, and will not be repeated here.
- the first calibration result and the second calibration result can be performed Accuracy judgment.
- the calibration score corresponding to the first calibration result and the calibration score corresponding to the second calibration result can be calculated separately , judged according to the calculated calibration score.
- the corresponding calibration score when the corresponding calibration score is calculated based on the first calibration result and the second calibration result, it may be implemented by way of image translation correction.
- translation correction is performed on the first reference image and the second reference image respectively. Then, according to the overlapping area of the first reference image after translation correction and the image to be detected, and the overlapping area of the second reference image after translation correction and the image to be detected, respectively calculate the calibration score of the first calibration result and the second calibration The calibration score for the result.
- the obtained calibration score of the first calibration result may be the same as or different from the calibration score of the second calibration result.
- the calibration score of the result can be realized by calculating the image similarity through the NCC (normalized cross correlation) algorithm, which will not be repeated this time.
- the calculated image similarity is the calibration score of the image.
- the subsequent defect detection process can be directly performed.
- the first reference image and the second reference image can be matched and calibrated to obtain the first reference image through step S410' The third calibration result with the second reference image. Then, step S420' is executed to determine whether the third calibration result is accurate.
- step S430' based on the third calibration result of the first reference image and the second reference image, the calibration result judged to be inaccurate among the first calibration result and the second calibration result is performed. The derivation of the correct result.
- step S430' can be executed at the same time as step S410' is executed, or it can be executed after step S420' is executed and the accuracy of the third calibration result is judged, and the order of execution is not here To limit.
- shiftTR1+shiftTR2+shiftTR1R2 0;
- shiftTR1 is the first calibration result
- shiftTR2 is the second calibration result
- shiftTR1R2 is the third calibration result.
- the calibration mode can be replaced at this time, and in the newly selected calibration mode, the read image to be detected , the first reference image and the second reference image are matched and calibrated to obtain the calibration result of the image to be detected and the first reference image and the calibration result of the image to be detected and the second reference image, and the obtained image to be detected and the second reference image
- the calibration result of a reference image and the calibration results of the image to be detected and the second reference image are used for accuracy judgment.
- the selection order of the calibration mode can be set as: first select the calibration mode corresponding to the mode of intercepting the image to be detected from the center of the original image ( That is, the first calibration mode), and then select the calibration mode corresponding to the method of intercepting the image to be detected from the lower left corner of the original image (that is, the second calibration mode), and finally select the method of intercepting the image to be detected from the upper right corner of the original image
- the corresponding calibration mode ie, the third calibration mode.
- the three different calibration modes can be Select the highest set of calibration scores from the obtained calibration scores of the image to be detected and the first reference image and the calibration scores of the image to be detected and the second reference image, and take the calibration score corresponding to the set of calibration scores with the highest value The result serves as the final image calibration result.
- the selection of the calibration mode may also be randomly selected. Therefore, referring to Figure 4, in the currently selected calibration mode, after matching and calibrating the read image to be detected, the first reference image and the second reference image, the calibration of the image to be detected and the first reference image obtained When the results and the calibration results of the image to be detected and the second reference image are inaccurate, it may also include:
- Step S510 judging the currently selected calibration mode, and determining whether the currently selected calibration mode (ie, the current mode) is a preset mode.
- the selection of the calibration mode is no longer performed, and directly through step S520, the result with the highest calibration score is selected from the obtained calibration results as the final image calibration result, and Through step S530, the final image calibration result is output.
- step S100 When it is determined that the currently selected calibration mode is not the preset mode, return to step S100, re-select the calibration mode, and intercept the image to be detected in the re-selected calibration mode to obtain the image to be detected under the current calibration mode , the first reference image, and the second reference image, and perform matching calibration on the acquired image to be detected, the first reference image, and the second reference image.
- the preset mode refers to the calibration mode (ie, the third calibration mode) corresponding to the cropping mode of the image to be detected being cropped from the upper right corner of the original image.
- the image calibration method of the embodiment of the present application by designing three calibration modes, the image to be detected processed under the three calibration modes can basically contain non-periodic patterns appearing in all positions of the image, so it can reduce all caused by Chance of calibration error due to periodic pattern execution of calibration.
- the calibration result including subpixels (subpixels) is obtained by analyzing the NCCmap, and then corrected by image translation, and then calculate The corresponding alignment score (alignscore), the alignmentscore obtained in this way is relatively accurate, thus enhancing the reliability of the accuracy criterion for the alignment result.
- the final calibration result is obtained by deriving the vector and conservation rules, which improves the accuracy of image calibration.
- the image to be detected is Test image (hereinafter referred to as "image T")
- the first reference image is reference image 1 (hereinafter referred to as “image R1”)
- the second reference image is Reference image 2 (hereinafter referred to as “image R2”)
- the standard image intercepted from the image to be detected is templateimage.
- the standard image is defined as the first calibration mode (hereinafter referred to as "mode1") by intercepting from the center position of the image to be detected, and the standard image is defined as the first calibration mode by intercepting from the lower left corner of the image to be detected.
- the interception method is defined as the second calibration mode (hereinafter referred to as "mode2"), and the method of intercepting the standard image from the upper right corner of the image to be detected is defined as the third calibration mode (hereinafter referred to as "mode3").
- the steps of the image calibration method are as follows:
- Step 1 First, adopt mode1 mode, the template image is intercepted from the image T, and the NCC (normalized cross correlation) algorithm is used to perform alignment (align) operations on T and R1, T and R2 respectively.
- NCC normalized cross correlation
- the templateimage slides on the images R1 and R2 respectively, and uses the NCC algorithm to calculate the NCCmap, the size of which is 2SRx2SR, and analyzes the NCCmap to obtain the best matching point, so as to obtain T and R1, T and R2 in the X direction and Y direction
- the integer value of shift is the integer value of shift.
- the second step use the alignment result obtained in the first step to perform translation correction on the images R1 and R2, and then use the NCC algorithm to calculate the alignscore in the overlapping areas of the images T and R1, T and R2 respectively.
- the alignscore is used as the criterion for judging whether the above-mentioned alignment result is accurate. If the alignment result is judged to be accurate, the subsequent defect detection algorithm is performed, otherwise, the next step is performed.
- the third step if the second step judges that the alignment result is inaccurate, then intercept the template image from the image R1, and use the NCC algorithm to calculate the alignment results of the images R1 and R2 to obtain shiftR1R2 (that is, the calibration result of the first reference image and the second reference image ), and calculate the alignscore.
- the first align result calculates the third align result, and then performs the subsequent defect detection algorithm, otherwise proceeds to the next step, the vector and conservation rules are as follows:
- shiftTR1+shiftTR2+shiftTR1R2 0.
- Step 4 If the third step does not get an accurate alignment result, then use mode2 to re-execute the first three steps. If the alignment result is accurate, perform the subsequent defect detection algorithm, otherwise continue to use mode3 to re-execute the first three steps. If the align result is accurate, perform the subsequent defect detection algorithm, otherwise proceed to the next step.
- Step 5 If none of the above have obtained an accurate align result, use the result with the highest alignscore as the final align result.
- the present application also provides an image calibration device. Since the working principle of the image calibration device provided by the present application is the same or similar to that of the image calibration method of the present application, repeated descriptions will not be repeated here.
- the image calibration device 100 includes: a mode selection module 110 , a matching calibration module 120 and a result judgment module 130 .
- the mode selection module 110 is configured to select the current mode from more than two preset calibration modes.
- different calibration modes correspond to different interception modes of the standard image in the image to be detected.
- the matching calibration module 120 is configured to intercept a standard image from the image to be detected based on the current mode, and use the standard image, the first reference image, and the second reference image to perform matching calibration respectively, to obtain the image to be detected and the first reference image The first calibration result, and the second calibration result of the image to be detected and the second reference image.
- the result judging module 130 is configured to judge the accuracy of the first calibration result and the second calibration result.
- the mode selection module 110 is further configured to change the current calibration mode when the result judging module 130 judges that both the first calibration result and the second calibration result are inaccurate.
- the matching calibration module 120 is further configured to perform matching calibration on the image to be detected, the first reference image and the second reference image based on the replaced calibration mode.
- an image calibration device 200 is also provided.
- the image calibration device 200 of the embodiment of the present application includes a processor 210 and a memory 220 for storing instructions executable by the processor 210 .
- the processor 210 is configured to implement any one of the aforementioned image calibration methods when executing executable instructions.
- the number of processors 210 may be one or more.
- the image calibration device 200 in the embodiment of the present application may further include an input device 230 and an output device 240 .
- the processor 210 , the memory 220 , the input device 230 and the output device 240 may be connected through a bus or in other ways, which are not specifically limited here.
- the memory 220 can be used to store software programs, computer-executable programs and various modules, such as programs or modules corresponding to the image calibration method in the embodiment of the present application.
- the processor 210 executes various functional applications and data processing of the image calibration device 200 by running software programs or modules stored in the memory 220 .
- the input device 230 can be used to receive input numbers or signals.
- the signal may be a key signal related to user setting and function control of the device/terminal/server.
- the output device 240 may include a display device such as a display screen.
- a non-volatile computer-readable storage medium on which computer program instructions are stored, and when the computer program instructions are executed by the processor 210, any one of the image calibration methods described above is implemented.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Quality & Reliability (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请涉及一种图像校准方法和装置、设备及存储介质，其中方法包括：由预先设置的两种以上的校准模式中选取当前模式；基于当前模式，由待检测图像中截取标准图像，并使用标准图像对待检测图像、第一参考图像和第二参考图像进行匹配校准，得到待检测图像与第一参考图像的第一校准结果，以及待检测图像与第二参考图像的第二校准结果；对第一校准结果和第二校准结果进行准确性判断；在判断出第一校准结果和第二校准结果均不准确时，更换当前的校准模式，并基于更换后的校准模式对待检测图像、第一参考图像和第二参考图像进行匹配校准。通过对待检测图像的不同截取方式进行区分并定义为不同的校准模式，有效提高了图像校准结果的准确度。
Description
本申请涉及半导体检测技术领域，尤其涉及一种图像校准方法和装置、设备及存储介质。
在半导体制造流程中，通过缺陷检测与分类进行缺陷原因分析，并改善良率与生产。在缺陷检测过程中，检测精度(即，检测的准确度)对于改善良率至关重要，只有保证了检测的准确度，缺陷分类和分析等后续工艺才有意义，才能真实改善良率与生产。
其中，在半导体缺陷检测领域中，各大成熟产品仍然使用C2C(Cellto Cell)方法和D2D(Die to Die)方法。两种检测方法中均包含校准过程。在校准过程中，校准误差问题是检测过程中面临的一大问题，特别是在D2D算法在处理同时含有周期性模板图像和非周期性模板图像时所面临的校准误差较为明显。因此，在校准过程中有效降低校准误差对提升半导体缺陷检测的准确度具有非常关键的作用。
发明内容
有鉴于此，本申请提出了一种图像校准方法，可以有效降低校准过程中的校准误差，提高半导体缺陷检测的准确度。
根据本申请的一方面，提供了一种图像校准方法，包括：
由预先设置的两种以上的校准模式中选取当前模式；其中，不同的所述校准模式对应标准图像在待检测图像中的不同截取方式；
基于所述当前模式，由所述待检测图像中截取所述标准图像，并使用所述标准图像、第一参考图像和第二参考图像分别进行匹配校准，得到所述待检测图像与所述第一参考图像的第一校准结果，以及所述待检测图像与所述 第二参考图像的第二校准结果；
对所述第一校准结果和所述第二校准结果进行准确性判断；
在判断出所述第一校准结果和所述第二校准结果均不准确时，更换当前的校准模式，并基于更换后的校准模式对所述待检测图像、所述第一参考图像和所述第二参考图像进行匹配校准。
在一种可能的实现方式中，所述校准模式包括第一校准模式、第二校准模式和第三校准模式；
所述第一校准模式中所定义的所述标准图像在所述待检测图像中的截取方式为：由所述待检测图像中的中心截取；
所述第二校准模式中所定义的所述标准图像在所述待检测图像中的截取方式为：由所述待检测图像中的左下角截取；
所述第三校准模式中所定义的所述标准图像在所述待检测图像中的截取方式为：由所述待检测图像中的右上角截取。
在一种可能的实现方式中，对所述第一校准结果和所述第二校准结果进行准确性判断时，通过分别计算所述第一校准结果所对应的校准分数以及所述第二校准结果所对应的校准分数，并根据计算得到的所述校准分数进行判断。
在一种可能的实现方式中，分别计算所述第一校准结果所对应的校准分数以及所述第二校准结果所对应的校准分数，包括：
基于所述第一校准结果和所述第二校准结果，对所述第一参考图像和所述第二参考图像进行平移矫正；
在所述待检测图像与所述第一参考图像的重叠区域，以及所述待检测图像与所述第二参考图像的重叠区域分别计算所述第一校准结果对应的校准分数以及所述第二校准结果对应的校准分数。
在一种可能的实现方式中，更换当前的校准模式之前，还包括：
判断所述当前模式是否为设定模式；
在判断出所述当前模式为所述设定模式时，由所述第一校准结果和所述 第二校准结果中选取一个结果作为最终校准结果。
在一种可能的实现方式中，在确定出所述第一校准结果和所述第二校准结果中存在一个结果准确时，包括：
对所述第一参考图像和所述第二参考图像进行匹配校准，得到所述第一参考图像与所述第二参考图像的第三校准结果；
判断所述第三校准结果是否准确；
在判断出所述第三校准结果准确时，根据所述第一校准结果和所述第二校准结果中准确的结果以及所述第三校准结果，计算得到另一校准结果。
在一种可能的实现方式中，根据所述第一校准结果和所述第二校准结果中准确的结果以及所述第三校准结果，计算得到另一校准结果时，使用向量守恒规则进行推导计算。
在一种可能的实现方式中，对读取到的待检测图像、第一参考图像和第二参考图像进行匹配校准，得到所述待检测图像与所述第一参考图像的第一校准结果，以及所述待检测图像与所述第二参考图像的第二校准结果时，均采用NCC算法进行。
在一种可能的实现方式中，采用NCC算法对读取到的所述待检测图像、所述第一参考图像和所述第二参考图像进行匹配校准分别得到所述第一校准结果和所述第二校准结果时，包括：
通过所述待检测图像分别在所述第一参考图像和所述第二参考图像上滑动，使用NCC算法计算出第一NCC图像和第二NCC图像；
分别根据所述第一NCC图像和所述第二NCC图像，得到所述待检测图像与所述第一参考图像的偏移整数值以及所述待检测图像与所述第二参考图像的偏移整数值；
分别根据所述第一NCC图像和所述第二NCC图像计算得到所述待检测图像与所述第一参考图像之间的亚像素以及所述待检测图像与所述第二参考图像之间的亚像素；
基于所述待检测图像与所述第一参考图像之间的亚像素以及所述待检 测图像与所述第二参考图像之间的亚像素，得到所述待检测图像与所述第一参考图像的偏移小数值以及所述待检测图像与所述第二参考图像的偏移小数值。
根据本申请的另一方面，还提供了一种图像校准装置，包括：模式选取模块、匹配校准模块和结果判断模块；
所述模式选取模块，被配置为由预先设置的两种以上的校准模式中选取当前模式；其中，不同的所述校准模式对应标准图像在待检测图像中的不同截取方式；
所述匹配校准模块，被配置为基于所述当前模式，由所述待检测图像中截取所述标准图像，并使用所述标准图像、第一参考图像和第二参考图像分别进行匹配校准，得到所述待检测图像与所述第一参考图像的第一校准结果，以及所述待检测图像与所述第二参考图像的第二校准结果；
所述结果判断模块，被配置为对所述第一校准结果和所述第二校准结果进行准确性判断；
所述模式选取模块，还被配置为在所述结果判断模块判断出所述第一校准结果和所述第二校准结果均不准确时，更换当前的校准模式；
所述匹配校准模块，还被配置为基于更换后的校准模式对所述待检测图像、所述第一参考图像和所述第二参考图像进行匹配校准。
根据本申请的另一方面，还提供了一种图像校准设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现前面任一所述的方法。
根据本申请的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现前面任一所述的方法。
通过对待检测图像的不同截取方式进行区分并定义为不同的校准模式， 从而在进行图像校准时，在不同的校准模式下进行校准并对校准结果进行准确性的确定，在确定出校准结果不准确时，则更换校准模式，在另一种校准模式下进行再次校准，这就有效提高了图像校准结果的准确度。通过给出不同的校准模式，在不同的校准模式下进行图像的校准，使得在进行图像校准时考虑了待检测图像的截取方式这一因素，从而对于待检测图像由大面积周期性模板和小面积非周期性模板构成时，人工狗进行图像的有效校准，大大降低了校准误差的出现几率，提高了校准的准确性与缺陷检测的精度。
根据下面参考附图对示例性实施例的详细说明，本申请的其它特征及方面将变得清楚。
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。
图1示出本申请实施例的图像校准方法的流程图；
图2a至图2c分别示出本申请实施例的图像校准方法中第一校准模式、第二校准模式和第三校准模式的定义方式示意图；
图3示出本申请实施例的图像校准方法中使用NCC算法对待检测图像和第一参考图像和第二参考图像分别进行匹配校准时的示意图；
图4示出本申请实施例的图像校准方法的另一流程图；
图5示出本申请实施例的图像校准装置的结构框图；
图6示出本申请实施例的图像校准设备的结构框图。
以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为 “示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。
首先，需要说明的是，本申请实施例的图像校准方法是基于模板匹配算法所提出的一种新的图像校准方法，用于有效提升半导体缺陷检测所使用的D2D方法中的校准效果，以达到降低校准误差的目的。
其中，本领域技术人员可以理解的是，在一个D2D检测任务中，有三张模板相同、尺寸相同的图像，分别为待检测图像(test image)、第一参考图像(reference image 1)和第二参考图像(reference image 2)，本申请实施例的图像校准方法就是用于对齐这三张图像，以便于在后续缺陷检测过程中，由这三张图像中找出不同区域，并利用投票原则定位出待检测图像中的缺陷区域。
参阅图1，图1示出根据本申请一实施例的图像校准方法的流程图。如图1所示，该方法包括：步骤S100，由预先设置的两种以上的校准模式中选取当前模式。其中，需要说明的是，不同的校准模式对应标准图像在待检测图像中的不同截取方式。也就是说，不同的校准模式，对应不同的标准图像的获取方式。步骤S200，基于当前模式，由待检测图像中截取标准图像，并使用标准图像、第一参考图像和第二参考图像分别进行匹配校准，得到待检测图像与第一参考图像的第一校准结果，以及待检测图像与第二参考图像的第二校准结果。然后通过步骤S300，对第一校准结果和第二校准结果进行准确性判断。在判断出第一校准结果和第二校准结果均不准确时，则返回步骤S100，重新进行校准模式的选取，更换当前的校准模式，并基于更换后的校准模式对待检测图像、第一参考图像和第二参考图像进行匹配校准。
由此，本申请实施例的图像校准方法，基于模板匹配算法，通过对待检测图像的不同截取方式进行区分并定义为不同的校准模式，从而在进行图像校准时，在不同的校准模式下进行校准并对校准结果进行准确性的确定，在 确定出校准结果不准确时，则更换校准模式，在另一种校准模式下进行再次校准，这就有效提高了图像校准结果的准确度。通过给出不同的校准模式，在不同的校准模式下进行图像的校准，使得在进行图像校准时考虑了待检测图像的截取方式这一因素，从而对于待检测图像由大面积周期性模板和小面积非周期性模板构成时，仍能够进行图像的有效校准，大大降低了校准误差的出现几率，提高了校准的准确性与缺陷检测的精度。
其中，在一种可能的实现方式中，预先设置的校准模式可以包括三种，分别为第一校准模式、第二校准模式和第三校准模式。其中，参阅图2a至图2c，第一校准模式中所定义的标准图像在待检测图像中的截取方式为：由待检测图像中的中心截取(如图2a所示)。第二校准模式中所定义的标准图像在待检测图像中的截取方式为：由待检测图像中的左下角截取(如图2b所示)。第三校准模式中所定义的标准图像在待检测图像中的截取方式为：由待检测图像中的右上角截取(如图2c所示)。
也就是说，在本申请的图像校准方法中，根据标准图像的获取方式进行了三个校准模式的划分，在其中一个校准模式下通过模板匹配算法得到的图像校准结果不准确时，则进行下一个校准模式的更换，通过下一校准模式中所定义的待检测图像的截取方式进行待检测图像的重新截取后，再基于重新截取的待检测图像进行图像校准得到对应的校准结果。
进一步的，根据前面所述，由于在本申请实施例的图像校准方法中对校准模式划分了三种，分别为第一校准模式、第二校准模式和第三校准模式，因此在进行图像校准时，需要先由所设置的三种校准模式中进行选取，以确定当前校准时所对应的校准模式。
即，参阅图3，首先通过步骤S100，由预先设定的多个校准模式中选择一个校准模式作为当前模式，然后在基于所选择的校准模式，通过模板匹配算法进行图像校准。
其中，基于所选择的校准模式，通过模板匹配算法进行图像校准时，主要包括：基于所选择的校准模式(即，当前模式)中所定义的标准图像截取 方式，由待检测图像中进行标准图像的截取。然后，通过将截取得到的标准图像分别在第一参考图像和第二参考图像上滑动，对待检测图像、第一参考图像和第二参考图像进行匹配校准，以得到待检测图像与第一参考图像的第一校准结果，以及待检测图像与第二参考图像的第二校准结果。
在一种可能的实现方式中，基于模板匹配算法对待检测图像、第一参考图像和第二参考图像进行匹配校准时，可以采用NCC算法来实现。
具体的，通过将按照当前模式由待检测图像中截取得到的标准图像分别在第一参考图像和第二参考图像上滑动，使用NCC算法计算出第一NCC图像和第二NCC图像。如图3所示，为将标准图像在第一参考图像上滑动，使用NCC算法计算得到的第一NCC图像。
然后，分别根据第一NCC图像和第二NCC图像，得到待检测图像与第一参考图像的偏移整数值以及待检测图像与第二参考图像的偏移整数值。进而，再分别根据第一NCC图像和第二NCC图像计算得到待检测图像与第一参考图像之间的亚像素以及待检测图像与第二参考图像之间的亚像素。最后，基于待检测图像与第一参考图像之间的亚像素以及待检测图像与第二参考图像之间的亚像素，得到待检测图像与第一参考图像的偏移小数值以及待检测图像与第二参考图像的偏移小数值。
此处，本领域技术人员可以理解，在通过上述方式得到待检测图像与第一参考图像的第一校准结果，以及待检测图像与第二参考图像的第二校准结果后，第一校准结果由待检测图像与所述第一参考图像的偏移整数值和待检测图像与所述第一参考图像的偏移小数值组成。第二校准结果由待检测图像与所述第二参考图像的偏移整数值和待检测图像与所述第二参考图像的偏移小数值组成。
同时，在分别根据第一NCC图像和第二NCC图像计算得到待检测图像与第一参考图像之间的亚像素以及待检测图像与第二参考图像之间的亚像素时，可以利用二次函数拟合的方式计算得到，此处也不再进行赘述。
在通过上述任一方式得到待检测图像与第一参考图像的第一校准结果， 以及待检测图像与第二参考图像的第二校准结果之后，即可对第一校准结果和第二校准结果进行准确性判断。
其中，在一种可能的实现方式中，对第一校准结果和第二校准结果进行准确性判断时，可以通过分别计算第一校准结果所对应的校准分数以及第二校准结果所对应的校准分数，根据计算得到的校准分数进行判断。
具体的，基于第一校准结果和第二校准结果计算得到对应的校准分数时，可以通过图像平移矫正的方式来实现。
更加具体的，基于第一校准结果和第二校准结果，分别对第一参考图像和第二参考图像进行平移矫正。然后，根据平移矫正后的第一参考图像与待检测图像的重叠区域，以及平移矫正后的第二参考图像与待检测图像的重叠区域，分别计算得到第一校准结果的校准分数以及第二校准结果的校准分数。
此处，应当指出的是，本领域技术人员可以理解的是，所得到的第一校准结果的校准分数的取值与第二校准结果的校准分数的取值可以相同，也可以不同。同时，根据平移矫正后的第一参考图像与待检测图像的重叠区域，以及平移矫正后的第二参考图像与待检测图像的重叠区域，分别计算得到第一校准结果的校准分数以及第二校准结果的校准分数可以通过NCC(normalized cross correlation)算法计算图像相似度的方式实现，此次也不再进行赘述。其中，所计算出来的图像相似度即为图像的校准分数。
进一步的，在判断出第一校准结果和第二校准结果均准确时，则可以直接进行后续的缺陷检测过程。在判断出第一校准结果和第二校准结果中存在一个准确结果时，参阅图4，此时可以通过步骤S410’，对第一参考图像和第二参考图像进行匹配校准，得到第一参考图像与第二参考图像的第三校准结果。然后，执行步骤S420’，判断第三校准结果是否准确。
在判断出第三校准结果准确时，则通过步骤S430’，基于第一参考图像和第二参考图像的第三校准结果对第一校准结果和第二校准结果中判定为不准确的校准结果进行正确结果的推导。
此处，需要说明的是，步骤S430’可以在执行步骤S410’时同时执行，也 可以在执行完步骤S420’，对第三校准结果的准确性进行判断后再执行，此处不对其执行顺序进行限定。
其中，还应当指出的是，对第三校准结果的准确性判断，与对第一校准结果和第二校准结果的准确性判断方式相同或类似，此处也不再进行赘述。
进一步的，在根据第一校准结果和第二校准结果中准确的结果，以及第三校准结果，对第一校准结果和第二校准结果中判定为不准确的校准结果进行正确结果的推导时，可以使用向量守恒规则来实现。
具体的，在使用向量守恒规则进行第一校准结果和第二校准结果中被判定为不准确的结果的正确取值的推导时，可以通过以下公式得到：
shiftTR1+shiftTR2+shiftTR1R2＝0；
其中，在上述公式中，shiftTR1为第一校准结果，shiftTR2为第二校准结果，shiftTR1R2为第三校准结果。在第一校准结果和第二校准结果中任一结果被判定为不准确时，此时则可以通过上述公式，根据被判定为准确的其他两个校准结果进行另一校准结果的推算。
此外，在判定出第一参考图像与第二参考图像的第三校准结果不准确时，则此时可进行校准模式的更换，并在重新选择的校准模式下，对读取到的待检测图像、第一参考图像和第二参考图像进行匹配校准，以得到待检测图像与第一参考图像的校准结果以及待检测图像与第二参考图像的校准结果，并对所得到的待检测图像与第一参考图像的校准结果以及待检测图像与第二参考图像的校准结果进行准确性判断。
其中，应当指出的是，在一种可能的实现方式中，进行校准模式的选取时，校准模式的选取顺序可以设置为：先选取由原图中心截取待检测图像的方式所对应的校准模式(即，第一校准模式)，然后再选取由原图左下角截取待检测图像的方式所对应的校准模式(即，第二校准模式)，最后再选取由原图右上角截取待检测图像的方式所对应的校准模式(即，第三校准模式)。
当通过在三次所选取的校准模式下得到的待检测图像与第一参考图像的校准结果以及待检测图像与第二参考图像的校准结果均不准确时，则可以 由这三次不同的校准模式下所得到的待检测图像与第一参考图像的校准分数以及待检测图像与第二参考图像的校准分数中选取出最高的一组校准分数，并将取值最高的这组校准分数所对应的校准结果作为最终的图像校准结果。
进一步的，还需要指出的是，在本申请实施例的图像校准方法中，在校准模式的选取时也可以是随机选取的。因此，参阅图4，在当前所选取的校准模式下，对读取到的待检测图像、第一参考图像和第二参考图像进行匹配校准后，得到的待检测图像与第一参考图像的校准结果以及待检测图像与第二参考图像的校准结果均不准确时，还可以包括：
步骤S510，对当前所选取的校准模式进行判断，确定当前所选取的校准模式(即，当前模式)是否为预设模式。
在确定出当前所选取的校准模式为预设模式时，则不再进行校准模式的选取，直接通过步骤S520，由所得到的校准结果中选取校准分数最高的结果作为最终的图像校准结果，并通过步骤S530，输出最终的图像校准结果。
在确定出当前所选取的校准模式不是预设模式时，则返回步骤S100，重新选取校准模式，并在重新选取的校准模式下进行待检测图像的截取，以获取当前校准模式下的待检测图像、第一参考图像和第二参考图像，并对获取到的待检测图像、第一参考图像和第二参考图像进行匹配校准。
其中，应当指出的是，预设模式指的是待检测图像的截取方式为由原图的右上角位置处截取所对应的校准模式(即，第三校准模式)。
由此，本申请实施例的图像校准方法，通过设计三种校准模式，使得三种校准模式下处理得到的待检测图像基本能包含非周期性pattern出现在图像的全部位置，因此可以降低全部由周期性pattern执行校准造成的校准误差的几率。同时，在不同的校准模式下，对待检测图像与参考图像进行匹配校准时，利用NCC算法计算得到NCCmap后，通过分析NCCmap得到包含亚像素(subpixels)的校准结果，然后通过图像平移矫正，再计算相应的校准分数(alignscore)，这样得到的alignscore比较准确，因而也就增强了对校准结果 的准确性判据的可靠性。
并且，在判断出待检测图像与第一参考图像的校准结果以及待检测图像与第二参考图像的校准结果中存在不准确结果时，通过计算第一参考图像与第二参考图像的校准结果，使用向量和守恒规则推导获得最终的校准结果，提高了图像校准的准确率。
为了更清楚地说明本申请实施例的图像校准方法，以下以一具体实施例对其校准过程进行更加详细地说明。
其中，应当指出的是，在本实施例中，待检测图像为Test image(以下简称“图像T”)，第一参考图像为reference image 1(以下简称“图像R1”)，第二参考图像为reference image 2(以下简称“图像R2”)，由待检测图像中截取得到的标准图像为templateimage。
同时，参阅图2a至图2c，标准图像按照由待检测图像的中心位置处进行截取的方式定义为第一校准模式(以下简称“mode1”)，标准图像按照由待检测图像的左下角位置处进行截取的方式定义为第二校准模式(以下简称“mode2”)，标准图像按照由待检测图像的右上角位置处进行截取的方式定义为第三校准模式(以下简称“mode3”)。
在本实施例中，图象校准方法步骤具体如下：
第一步：首先，采用mode1模式，templateimage从图像T中截取，使用NCC(normalized cross correlation)算法分别对T和R1，T和R2执行校准(align)操作。
具体的，参阅图3，templateimage分别在图像R1和R2上滑动，利用NCC算法计算NCCmap，大小为2SRx2SR，分析NCCmap得到最佳匹配点，从而得到T和R1，T和R2在X方向和Y方向的shift整数值。
通过分析NCCmap计算subpixels，得到shift小数值，从而得到最终的align结果shiftTR1(即，待检测图像与第一参考图像的第一校准结果)，shiftTR2(即，待检测图像与第二参考图像的第二校准结果)。
第二步：然后，利用第一步得到的align结果对图像R1和R2进行平移矫 正，然后分别在图像T和R1，T和R2的重叠区域利用NCC算法计算alignscore。将alignscore作为判断上述align结果是否准确的判据，若align结果判断为准确，则进行后续缺陷检测算法，否则进行下一步操作。
第三步：若第二步判断align结果不准确，则从图像R1中截取templateimage，利用NCC算法计算图像R1和R2的align结果得到shiftR1R2(即，第一参考图像与第二参考图像的校准结果)，并计算alignscore。
然后，通过第二步中的判据判断shiftR1R2是否准确，若shiftR1R2准确，则继续判断shiftTR1和shiftTR2其中是否有一个准确，若shiftTR1和shiftTR2其中有一个准确，则利用向量和守恒规则用准确的两个align结果计算第三个align结果，然后进行后续缺陷检测算法，否则进行下一步操作，向量和守恒规则如下所示：
shiftTR1+shiftTR2+shiftTR1R2＝0。
第四步：若第三步没有得到准确的align结果，则采用mode2模式重新执行前三个步骤，若align结果准确，则进行后续缺陷检测算法，否则继续采用mode3模式重新执行前三个步骤，若align结果准确，则进行后续缺陷检测算法，否则进行下一步操作。
第五步：若上述都没有得到准确的align结果，则采用其中alignscore最高的结果作为最终的align结果。
需要说明的是，尽管以图1至图4作为示例介绍了如上所述的图像校准方法，但本领域技术人员能够理解，本申请应不限于此。事实上，用户完全可根据个人喜好和/或实际应用场景灵活设定各步骤的具体实现方式，只要能够提高图像校准结果的准确度即可。
相应的，基于前面任一所述的图像校准方法，本申请还提供了一种图像校准装置。由于本申请提供的图像校准装置的工作原理与本申请的图像校准方法的原理相同或相似，因此重复之处不再赘述。
参阅图5，本申请提供的图像校准装置100包括：模式选取模块110、匹配校准模块120和结果判断模块130。其中，模式选取模块110，被配置为由 预先设置的两种以上的校准模式中选取当前模式。此处，需要说明的是，不同的校准模式对应标准图像在待检测图像中的不同截取方式。匹配校准模块120，被配置为基于当前模式，由待检测图像中截取标准图像，并使用标准图像、第一参考图像和第二参考图像分别进行匹配校准，得到待检测图像与第一参考图像的第一校准结果，以及待检测图像与第二参考图像的第二校准结果。结果判断模块130，被配置为对第一校准结果和第二校准结果进行准确性判断。模式选取模块110，还被配置为在结果判断模块130判断出第一校准结果和第二校准结果均不准确时，更换当前的校准模式。匹配校准模块120，还被配置为基于更换后的校准模式对待检测图像、第一参考图像和第二参考图像进行匹配校准。
更进一步地，根据本申请的另一方面，还提供了一种图像校准设备200。参阅图6，本申请实施例的图像校准设备200包括处理器210以及用于存储处理器210可执行指令的存储器220。其中，处理器210被配置为执行可执行指令时实现前面任一所述的图像校准方法。
此处，应当指出的是，处理器210的个数可以为一个或多个。同时，在本申请实施例的图像校准设备200中，还可以包括输入装置230和输出装置240。其中，处理器210、存储器220、输入装置230和输出装置240之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。
存储器220作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本申请实施例的图像校准方法所对应的程序或模块。处理器210通过运行存储在存储器220中的软件程序或模块，从而执行图像校准设备200的各种功能应用及数据处理。
输入装置230可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置240可以包括显示屏等显示设备。
根据本申请的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令被处理器210执行时实现前面 任一所述的图像校准方法。
以上已经描述了本申请的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (12)
- 一种图像校准方法，其特征在于，包括：由预先设置的两种以上的校准模式中选取当前模式；其中，不同的所述校准模式对应标准图像在待检测图像中的不同截取方式；基于所述当前模式，由所述待检测图像中截取所述标准图像，并使用所述标准图像、第一参考图像和第二参考图像分别进行匹配校准，得到所述待检测图像与所述第一参考图像的第一校准结果，以及所述待检测图像与所述第二参考图像的第二校准结果；对所述第一校准结果和所述第二校准结果进行准确性判断；在判断出所述第一校准结果和所述第二校准结果均不准确时，更换当前的校准模式，并基于更换后的校准模式对所述待检测图像、所述第一参考图像和所述第二参考图像进行匹配校准。
- 根据权利要求1所述的方法，其特征在于，所述校准模式包括第一校准模式、第二校准模式和第三校准模式；所述第一校准模式中所定义的所述标准图像在所述待检测图像中的截取方式为：由所述待检测图像中的中心截取；所述第二校准模式中所定义的所述标准图像在所述待检测图像中的截取方式为：由所述待检测图像中的左下角截取；所述第三校准模式中所定义的所述标准图像在所述待检测图像中的截取方式为：由所述待检测图像中的右上角截取。
- 根据权利要求1所述的方法，其特征在于，对所述第一校准结果和所述第二校准结果进行准确性判断时，通过分别计算所述第一校准结果所对应的校准分数以及所述第二校准结果所对应的校准分数，并根据计算得到的所述校准分数进行判断。
- 根据权利要求3所述的方法，其特征在于，分别计算所述第一校准结果所对应的校准分数以及所述第二校准结果所对应的校准分数，包括：基于所述第一校准结果和所述第二校准结果，对所述第一参考图像和所述第二参考图像进行平移矫正；在所述待检测图像与所述第一参考图像的重叠区域，以及所述待检测图像与所述第二参考图像的重叠区域分别计算所述第一校准结果对应的校准分数以及所述第二校准结果对应的校准分数。
- 根据权利要求1所述的方法，其特征在于，更换当前的校准模式之前，还包括：判断所述当前模式是否为设定模式；在判断出所述当前模式为所述设定模式时，由所述第一校准结果和所述第二校准结果中选取一个结果作为最终校准结果。
- 根据权利要求1至5任一项所述的方法，其特征在于，在确定出所述第一校准结果和所述第二校准结果中存在一个结果准确时，包括：对所述第一参考图像和所述第二参考图像进行匹配校准，得到所述第一参考图像与所述第二参考图像的第三校准结果；判断所述第三校准结果是否准确；在判断出所述第三校准结果准确时，根据所述第一校准结果和所述第二校准结果中准确的结果以及所述第三校准结果，计算得到另一校准结果。
- 根据权利要求6所述的方法，其特征在于，根据所述第一校准结果和所述第二校准结果中准确的结果以及所述第三校准结果，计算得到另一校准结果时，使用向量守恒规则进行推导计算。
- 根据权利要求1至5任一项所述的方法，其特征在于，对读取到的待检测图像、第一参考图像和第二参考图像进行匹配校准，得到所述待检测图像与所述第一参考图像的第一校准结果，以及所述待检测图像与所述第二参考图像的第二校准结果时，均采用NCC算法进行。
- 根据权利要求8所述的方法，其特征在于，采用NCC算法对读取到的所述待检测图像、所述第一参考图像和所述第二参考图像进行匹配校准分别得到所述第一校准结果和所述第二校准结果时，包括：通过所述待检测图像分别在所述第一参考图像和所述第二参考图像上滑动，使用NCC算法计算出第一NCC图像和第二NCC图像；分别根据所述第一NCC图像和所述第二NCC图像，得到所述待检测图像与所述第一参考图像的偏移整数值以及所述待检测图像与所述第二参考图像的偏移整数值；分别根据所述第一NCC图像和所述第二NCC图像计算得到所述待检测图像与所述第一参考图像之间的亚像素以及所述待检测图像与所述第二参考图像之间的亚像素；基于所述待检测图像与所述第一参考图像之间的亚像素以及所述待检测图像与所述第二参考图像之间的亚像素，得到所述待检测图像与所述第一参考图像的偏移小数值以及所述待检测图像与所述第二参考图像的偏移小数值。
- 一种图像校准装置，其特征在于，包括：模式选取模块、匹配校准模块和结果判断模块；所述模式选取模块，被配置为由预先设置的两种以上的校准模式中选取当前模式；其中，不同的所述校准模式对应标准图像在待检测图像中的不同截取方式；所述匹配校准模块，被配置为基于所述当前模式，由所述待检测图像中截取所述标准图像，并使用所述标准图像、第一参考图像和第二参考图像分别进行匹配校准，得到所述待检测图像与所述第一参考图像的第一校准结果，以及所述待检测图像与所述第二参考图像的第二校准结果；所述结果判断模块，被配置为对所述第一校准结果和所述第二校准结果进行准确性判断；所述模式选取模块，还被配置为在所述结果判断模块判断出所述第一校准结果和所述第二校准结果均不准确时，更换当前的校准模式；所述匹配校准模块，还被配置为基于更换后的校准模式对所述待检测图像、所述第一参考图像和所述第二参考图像进行匹配校准。
- 一种图像校准设备，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述可执行指令时实现权利要求1至9中任意一项所述的方法。
- 一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至9中任意一项所述的方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110607397.0A CN113327204B (zh) | 2021-06-01 | 2021-06-01 | 图像校准方法和装置、设备及存储介质 |
| CN202110607397.0 | 2021-06-01 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022252278A1 true WO2022252278A1 (zh) | 2022-12-08 |
Family
ID=77422991
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2021/099462 WO2022252278A1 (zh) | 2021-06-01 | 2021-06-10 | 图像校准方法和装置、设备及存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113327204B (zh) |
| WO (1) | WO2022252278A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113327204B (zh) * | 2021-06-01 | 2024-03-15 | 中科晶源微电子技术（北京）有限公司 | 图像校准方法和装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130322737A1 (en) * | 2012-05-30 | 2013-12-05 | Hitachi High-Technologies Corporation | Defect inspection method and defect inspection apparatus |
| CN107543507A (zh) * | 2017-09-15 | 2018-01-05 | 歌尔科技有限公司 | 屏幕轮廓的确定方法及装置 |
| CN108229583A (zh) * | 2018-02-02 | 2018-06-29 | 北京邮电大学 | 一种基于主方向差分特征的快速模板匹配的方法及装置 |
| CN111445467A (zh) * | 2020-04-08 | 2020-07-24 | 珠海格力电器股份有限公司 | 亮灯缺陷检测方法、装置、电子设备及存储介质 |
| CN113327204A (zh) * | 2021-06-01 | 2021-08-31 | 中科晶源微电子技术（北京）有限公司 | 图像校准方法和装置、设备及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI511081B (zh) * | 2014-01-28 | 2015-12-01 | Altek Semiconductor Corp | 影像擷取裝置及其影像形變校正方法 |
| CN106803244B (zh) * | 2016-11-24 | 2019-09-03 | 深圳市华汉伟业科技有限公司 | 缺陷识别方法及系统 |
| CN107862660B (zh) * | 2017-11-01 | 2020-06-30 | 青岛海信医疗设备股份有限公司 | 数据优化方法、装置及超声平台 |
| CN109829912B (zh) * | 2019-02-14 | 2020-09-08 | 深圳市华星光电半导体显示技术有限公司 | Tft阵列基板的缺陷检测方法 |
| CN111192259B (zh) * | 2020-01-02 | 2022-12-06 | 北京半导体专用设备研究所（中国电子科技集团公司第四十五研究所） | 检测设备的图像校准方法和装置 |
| CN111474184B (zh) * | 2020-04-17 | 2022-08-16 | 河海大学常州校区 | 基于工业机器视觉的aoi字符缺陷检测方法和装置 |
-
2021
- 2021-06-01 CN CN202110607397.0A patent/CN113327204B/zh active Active
- 2021-06-10 WO PCT/CN2021/099462 patent/WO2022252278A1/zh unknown
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130322737A1 (en) * | 2012-05-30 | 2013-12-05 | Hitachi High-Technologies Corporation | Defect inspection method and defect inspection apparatus |
| CN107543507A (zh) * | 2017-09-15 | 2018-01-05 | 歌尔科技有限公司 | 屏幕轮廓的确定方法及装置 |
| CN108229583A (zh) * | 2018-02-02 | 2018-06-29 | 北京邮电大学 | 一种基于主方向差分特征的快速模板匹配的方法及装置 |
| CN111445467A (zh) * | 2020-04-08 | 2020-07-24 | 珠海格力电器股份有限公司 | 亮灯缺陷检测方法、装置、电子设备及存储介质 |
| CN113327204A (zh) * | 2021-06-01 | 2021-08-31 | 中科晶源微电子技术（北京）有限公司 | 图像校准方法和装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113327204B (zh) | 2024-03-15 |
| CN113327204A (zh) | 2021-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10483081B2 (en) | Self directed metrology and pattern classification | |
| JP6979964B2 (ja) | 光学的計測における精度改良 | |
| TWI547818B (zh) | 判定用於晶圓缺陷之設計座標 | |
| US10964057B2 (en) | Information processing apparatus, method for controlling information processing apparatus, and storage medium | |
| US10127653B2 (en) | Determining coordinates for an area of interest on a specimen | |
| JP5937878B2 (ja) | パターンマッチング方法及び装置 | |
| US11430108B2 (en) | Defect offset correction | |
| JP7004826B2 (ja) | 寸法計測装置、寸法計測方法及び半導体製造システム | |
| TW201627655A (zh) | 自動化圖案保真度量測計劃生成 | |
| US20140307931A1 (en) | Fully automated system and method for image segmentation and quality control of protein microarrays | |
| KR101417696B1 (ko) | 패턴 측정 방법, 패턴 측정 장치 및 기록 매체 | |
| US11094082B2 (en) | Information processing apparatus, information processing method, robot system, and non-transitory computer-readable storage medium | |
| WO2022105569A1 (zh) | 页面方向识别方法、装置、设备及计算机可读存储介质 | |
| KR20130091286A (ko) | Cad기반 레지스트레이션을 위한 시스템, 방법 및 컴퓨터 프로그램 제품 | |
| CN112528776B (zh) | 文本行校正方法和装置 | |
| WO2022252278A1 (zh) | 图像校准方法和装置、设备及存储介质 | |
| CN111507055A (zh) | 电路设计版图和电镜扫描图像的配准方法及系统、电路设计版图和其成像误差计算方法 | |
| CN115963710A (zh) | 套刻误差修正方法及装置、电子设备和存储介质 | |
| CN114119644A (zh) | 一种基于边缘特征的模板匹配方法 | |
| TWI789508B (zh) | 產生表示晶圓圖樣的邊緣與基準圖樣的邊緣之偏差量、及基準圖樣的空白寬度之關係的修正線的方法及裝置、以及電腦可讀取之記錄媒體 | |
| CN107315711A (zh) | 一种自适应的外生变量识别方法 | |
| CN116258666A (zh) | 一种晶圆检测Mark点定位方法及应用 | |
| TWI628603B (zh) | 半導體處理裝置中使用徑向基底函數網路及超立方體作偏離分類 | |
| CN113344994A (zh) | 图像配准方法、装置、电子设备及存储介质 | |
| KR102073362B1 (ko) | 웨이퍼 맵을 불량 패턴에 따라 분류하는 방법 및 컴퓨터 프로그램 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21943637 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |