TWI776945B - 對半導體樣本中的缺陷進行分類之方法及其系統 - Google Patents

對半導體樣本中的缺陷進行分類之方法及其系統 Download PDF

Info

Publication number
TWI776945B
TWI776945B TW107130362A TW107130362A TWI776945B TW I776945 B TWI776945 B TW I776945B TW 107130362 A TW107130362 A TW 107130362A TW 107130362 A TW107130362 A TW 107130362A TW I776945 B TWI776945 B TW I776945B
Authority
TW
Taiwan
Prior art keywords
classification
class
rejection
defects
cnd
Prior art date
Application number
TW107130362A
Other languages
English (en)
Other versions
TW201915770A (zh
Inventor
阿賽夫 艾斯拜格
歐海德 許奧比
齊瑞爾 塞夫琴柯
胥倫 甘奧
寶茲 扣漢
利弗 路哈爾
Original Assignee
以色列商應用材料以色列公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 以色列商應用材料以色列公司 filed Critical 以色列商應用材料以色列公司
Publication of TW201915770A publication Critical patent/TW201915770A/zh
Application granted granted Critical
Publication of TWI776945B publication Critical patent/TWI776945B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H01L21/67271—Sorting devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24317—Piecewise classification, i.e. whereby each classification requires several discriminant rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H01L21/67288—Monitoring of warpage, curvature, damage, defects or the like
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Sampling And Sample Adjustment (AREA)

Abstract

提供了一種分類器和一種對半導體樣本中的缺陷進行分類的方法。分類器使得其能夠將每個類分配給具有不同的優先順序的三個或更多個分類組中的一個分類組。分類器進一步使得其能夠為每個類單獨地設定純度、準確度及/或提取要求，並且根據每類要求而優化分類結果。在訓練期間，分類器經配置以生成分類規則，以實現自動分類的最高可能的貢獻，同時滿足針對每個類定義的每類品質要求。

Description

對半導體樣本中的缺陷進行分類之方法及其系統
當前揭示之標的大體而言係關於樣本檢查的領域，並且更特定言之，係關於能夠進行自動缺陷分類的方法及系統。
當前對與製造的元件的超大規模整合相關聯的高密度和效能的需求要求亞微米特徵、增加的電晶體和電路速度、以及提高的可靠性，可靠度。此類要求需要形成具有高精度和均勻性的元件特徵，這反過來需要仔細監控製造製程，該監控包括在元件仍是半導體樣本的形式時對元件進行頻繁且詳細之檢查。
本說明書中使用之術語「樣本」應廣泛地被解釋為覆蓋任何種類的用於製造半導體積體電路的晶圓、掩模和其它結構、上述的組合及/或上述部分、磁頭、平板顯示器和其它半導體製品。
本說明書中使用之術語「缺陷」應廣泛地被解釋為覆蓋在樣本上或樣本內形成的任何種類的異常或不期望之特徵。
樣本的複雜的製造製程不是無錯的，並且此類錯誤可能導致製造的元件中的故障。故障可能包括可損害元件操作的缺陷，以及滋擾（nuisances），該滋擾可能是缺陷但不會導致製造的元件的任何損害或故障。經由非限制性實例，缺陷可能是由於原料中的問題、機械、電學或光學錯誤、人為錯誤或其它原因而在製造製程中引起的。另外，缺陷可能是因時間-空間因素引起的，諸如在檢查製程期間的一或多個製造階段之後發生的晶圓溫度變化，這可能會導致晶圓的一些變形。檢查製程還可能會引入另外的所謂的錯誤，例如因檢查設備或製程中的光學、機械或電學問題而造成的錯誤，這因此提供了不完善的捕獲。此類錯誤可能產生假陽性結果，其看上去可能包含缺陷，但實際上在區域處並無缺陷。
在許多應用中，缺陷的類型或類（class）是重要的。例如，缺陷可以被分類為多個類中的一個，諸如顆粒、劃痕、突起或類似的類。
除非另外特別說明，否則本說明書中使用的術語「檢查」應廣泛地被解釋為覆蓋物件中的缺陷的任何種類的偵測及/或分類。檢查係藉由在待檢查的物件的製造期間或之後使用非破壞性檢查工具來提供。經由非限制性實例，檢查製程可以包括使用一或多個檢查工具的關於物件或物件的部分而提供的掃描（在單次掃描的形式或多次掃描的形式）、採樣、審查、量測、分類及/或其它操作。同樣地，檢查可以在製造待檢查的物件之前被提供，並且可以包括例如生成（多個）檢查方案。將注意，除非另外特別說明，否則本說明書中使用的「檢查」或其衍生術語並不限於（多個）檢驗區域的尺寸、掃描的速度或解析度，或檢查工具的類型。經由非限制性實例，各種非破壞性檢查工具包括光學工具、掃描電子顯微鏡、原子力顯微鏡等。
檢查製程可以包括複數個檢查步驟。在製造製程期間，檢查步驟可以執行多次，例如在製造或處理某些層之後或類似的時刻。另外地或替代地，每個檢查步驟可以重複多次，例如針對不同的樣本位置或針對相同的樣本位置並使用不同的檢查設定。
經由非限制性實例，執行時的檢查可以採用兩步程序，例如，檢查樣本，接著審查採樣的缺陷。在檢查步驟期間，通常以相對高的速度及/或低的解析度掃描樣本表面或樣本表面的一部分（例如，感興趣的區域、熱點等）。分析捕獲的檢查影像，以便偵測缺陷並獲得缺陷位置和其它檢查屬性。在審查步驟處，通常以相對低的速度及/或高的解析度捕獲在檢驗階段期間偵測到的缺陷的至少部分的影像，從而使得其能夠對缺陷的至少部分進行分類並可選地進行其它分析。在一些情況下，兩個階段都可以由相同的檢查工具實施，並且在一些其它情況下，該兩個階段由不同的檢查工具實施。
根據目前揭示的標的的某些態樣，提供了一種能夠將樣本中的缺陷分類為複數個類的系統，系統包括處理和記憶體電路（processing and memory circuitry, PMC），PMC經配置以：獲得指示針對複數個類中的每個類單獨地定義的品質要求的資料,並獲得指示將複數個類中的每個類分配給具有不同的優先順序的三個或更多個分類組中的一個分類組的資料。另外，系統經配置以在訓練期間：獲得包括複數個預先分類的訓練缺陷和複數個訓練缺陷的屬性值的訓練資料；提供至複數個類的類中的複數個訓練缺陷的初始自動分類，以產生初始分類的訓練缺陷；處理初始分類的訓練缺陷以獲得對應於自動分類的最高可能的貢獻並同時滿足針對複數個類中的每個類定義的每類品質要求的最佳工作點；和生成具有對應於最佳工作點的置信度閾值的分類規則，其中置信度閾值對應於優先拒絕區間（bin），並且其中至少「無法決定（cannot decide, CND）」拒絕區間對應於三個或更多個分類組。系統進一步經配置以在對樣本中的缺陷進行分類時應用生成的分類規則。
經由非限制性實例，每個類可以被分配給以下分類組中的一個：具有最高的優先順序的分類組「感興趣的關鍵缺陷（Key Defects of Interest,KDOI）」；「感興趣的缺陷（Defects of Interest,DOI）」；和具有最低的優先順序的分類組「假」。優先拒絕區間可相應地由「KDOI」CND拒絕區間、「DOI」CND拒絕區間、「假」CND拒絕區間和「未知（unknown,UNK）」拒絕區間組成，並且其中CND拒絕區間的優先順序對應於相應的分類組的優先順序。
經由另一非限制性實例，每個多數類（majority class）可以被分配給以下分類組中的一個：「KDOI」、「DOI」和「假」，而少數類（minority class）可以被分配給「新（Novelty）」分類組，並且組的優先順序可以按以下順序而配置：「KDOI」＞「新」＞「DOI」＞「假」。因此，優先拒絕區間可以由「KDOI」CND拒絕區間、「DOI」CND拒絕區間、「假」CND拒絕區間和「新」UNK拒絕區間組成，並且其中所有拒絕區間的優先順序對應於相應的分類組的優先順序。
根據目前揭示的標的的另一態樣，提供了一種將樣本中的缺陷自動分類為複數個類的方法。方法包括：藉由處理和記憶體電路（PMC）獲得指示針對複數個類中的每個類單獨地定義的品質要求的資料，並經由PMC獲得指示將複數個類中的每個類分配給具有不同的優先順序的三個或更多個分類組中的某個分類組的資料。方法進一步包括，在訓練期間：通過PMC獲得包括複數個預先分類的訓練缺陷和複數個訓練缺陷的屬性值的訓練資料；經由PMC提供至複數個類的類中的複數個訓練缺陷的初始自動分類，以產生初始分類的訓練缺陷；經由PMC處理初始分類的訓練缺陷以獲得對應於自動分類的最高可能的貢獻並同時滿足針對複數個類中的每個類定義的每類品質要求的最佳工作點；和經由PMC生成具有對應於最佳工作點的置信度閾值的分類規則，其中置信度閾值對應於優先拒絕區間，並且其中至少「無法決定（CND）」拒絕區間對應於三個或更多個分類組。方法進一步包括在對樣本中的缺陷進行分類時經由PMC應用生成的分類規則。
根據另外態樣且可選地結合目前揭示的標的的其它態樣，處理初始分類的訓練缺陷以獲得最佳工作點的步驟可以包括：針對每個多數類，經由PMC獲得有效分類工作點，每個有效分類工作點滿足針對相應的類定義的品質要求並表徵為對應於優先拒絕區間的置信度閾值；和經由PMC處理有效分類工作點以獲得最佳工作點。獲得有效類工作點可以包括在優先拒絕區間上分配訓練缺陷的至少一部分，其中，取決於相應的分類組的相對優先順序和拒絕區間的優先順序，根據預定規則提供針對某個缺陷選擇拒絕區間。
根據另外態樣且可選地結合目前揭示的標的的其它態樣，可以將分配給相同的分類組的若干類綁定在一起，並且可以將綁定類所述單個類來針對綁定類定義品質要求
根據另外態樣且可選地結合目前揭示的標的的其它態樣，針對給定類定義的品質要求可以包括提取要求，提取要求對以下兩者進行計數：給定類的正確分類的缺陷，和屬於給定類的且已被拒絕到經選定為對給定類的提取進行計數的一或多個優先拒絕區間的缺陷。可選地，具有不低於給定類的分類組的優先順序的優先順序的所有拒絕區間可以經選擇以作為針對給定類的提取的計數。
根據另外態樣且可選地結合目前揭示的標的的其它態樣，自動分類的貢獻可以根據分類目的而被不同地計算，並且可以是可由使用者配置的。
目前揭示的標的的某些實施方式的優點之一是提供滿足針對每一類或有界類單獨地定義之品質要求的自動分類的能力。
在以下詳述中，闡述許多特定細節，以便提供對本發明的透徹理解。然而，熟習該項技術者將理解，可以在沒有該等特定細節的情況下實踐目前揭示的標的。在其它情況下，未詳細描述所熟知的方法、程序、部件和電路，以便不會不必要地模糊目前揭示的標的。
除非另外特別說明，從以下討論中將顯而易見的是，將瞭解，在整個本說明書討論中，利用諸如「處理」、「計算」、「表示」、「運算」、「生成」、「分配」、「選擇」或類似術語是指操縱資料及/或將資料變換為成其它資料的電腦的（多個）動作及/或（多個）處理，該資料被表示為物理量（諸如電學量）及/或該資料表示物理物件。術語「電腦」應廣泛地被解釋為覆蓋具有資料處理能力的任何種類的基於硬體的電子裝置，經由非限制性實例，包括本申請中揭示的分類器和PMC。
本文使用的術語「非暫態記憶體」和「非暫態儲存媒體」應廣泛地被解釋為覆蓋適合於目前揭示的標的的任何揮發性或非揮發性電腦記憶體。
本說明書中使用的術語「樣本中的缺陷」應廣泛地被解釋為覆蓋在樣本上或樣本內形成的任何種類的異常或不期望的特徵。
本說明書中使用的術語「設計資料」應廣泛地被解釋為覆蓋指示樣本的分層實體設計（佈局）的任何資料。設計資料可以由相應的設計者提供及/或可以從實體設計匯出（例如，經由複雜模擬、簡單幾何和布林操作等）。可以以不同的格式提供設計資料，經由非限制性實例，諸如GDSII格式、OASIS格式等。設計資料可以以向量格式、灰度級強度影像格式或以其它方式呈現。
將瞭解，除非另外特別說明，在單獨實施方式的上下文中描述的目前標的的某些特徵亦可以在單個實施方式中組合提供。相反，在單個實施方式的上下文中描述的目前標的的各種特徵也可以單獨地提供或以任何合適的子組合的形式提供。在以下詳述中，闡述許多特定細節，以便提供對方法和設備的透徹理解。
考慮到這一點，注意圖 1 ，其圖示根據目前揭示的標的的某些實施方式的檢查系統的概括方塊圖。圖 1 中所示的檢查系統100 可以用於檢查作為樣本製造的一部分的樣本（例如，晶圓及/或晶圓的一部分）檢查。檢查可以是物件製造的一部分，並且可以在製造物件期間或之後被執行。檢查系統可以包括各種檢查工具，例如，經配置以捕獲檢驗影像（典型地，以相對高的速度及/或低的解析度）的一或多個檢驗工具101，以及經配置以捕獲（典型地，以相對較低的速度及/或較高的解析度）由檢驗工具101偵測到的缺陷的至少一部分的審查影像的一或多個審查工具102。所示出的檢查系統100 進一步包括基於電腦的自動缺陷分類工具（在下文中也被稱為作為分類器）103 ，分類器103 能夠根據包括一或多個子規則的分類規則集（以下稱為分類規則）自動地將缺陷分類為多個類。作為非限制性實例，分類可以具有不同的目的，並且分類結果可以用於建立Pareto圖，以便根據分類目的而識別統計過程控制（statistical process control, SPC）中的偏移，從真實缺陷中過濾假缺陷，識別特定的感興趣的缺陷（defects of interest, DoI）及/或進行其它操作。
分類器103 可以可操作地連接到一或多個檢驗工具101 及/或一或多個審查工具102 。可選地，分類器103 可以與一或多個審查工具102 完全地或部分地整合。分類器103 進一步可操作地連接到設計伺服器110 和資料儲存庫109 。
樣本可以經由檢驗工具101 （例如，光學檢驗系統、低解析度SEM等）檢查。所得到的影像及/或衍生資料可以被處理（可選地與其它資料一起作為例如設計資料及/或缺陷分類資料）以選擇用於審查的潛在缺陷。
被選擇用於審查的潛在缺陷位置的子集可以由審查工具102 （例如，掃描電子顯微鏡（scanning electron microscope,SEM）或原子力顯微鏡（Atomic Force Microscopy, AFM）等）進行審查。具有審查影像及/或其衍生資料的資訊的資料（在下文中稱為審查資料122 ）以及相應關聯的中繼資料可以直接地或經由一或多個中間系統傳輸到分類器103 。注意，審查資料可以包括由一或多個中間系統生成的資料以作為審查影像的衍生資料。
分類器103 包括可操作地連接到基於硬體的輸入介面105 和基於硬體的輸出介面106 的處理器和記憶體電路（PMC）104 。PMC104 經配置以提供操作分類器需要的處理，如參考圖2-7 更詳細描述的，並且包括可操作地連接到記憶體（未在PMC內單獨示出）的處理器。將參考圖2 -7 更詳細地描述分類器103 和PMC104 的操作。
熟習該項技術者將容易地理解，當前揭示的標的的教示不受圖1 中所示的系統的約束；等效及/或修改的功能可以以另一方式合併或分割並且可以以軟體與韌體及/或硬體的任何適當的組合來實施。
將注意，圖1 中所示的檢查系統可以在分散式運算環境中實施，其中圖1 中所示的前述功能模組可以被分佈在若干本端及/或遠端裝置上，並且可以經由通信網路連結。還應注意，在其它實施方式中，檢查工具101 及/或102 、資料儲存庫109 、儲存系統107 及/或GUI108 的至少一部分可以在檢查系統100 外，並且經由輸入介面105 和輸出介面106 與分類器103 進行資料通信操作。分類器103 可以被實施為獨立的（多個）電腦，以與一或多個檢查工具結合地使用。可選地，分類器可以對儲存在資料儲存庫109 及/或儲存系統107 中的預先獲取的審查資料進行操作。替代地或另外地，分類器的相應功能可以至少部分地與一或多個檢查工具、製程控制工具、方案生成工具、用於自動缺陷審查及/或分類的系統，及/或與檢查相關的其它系統整合。
參考圖 2 ，其圖示根據目前揭示的標的的某些實施方式的操作自動缺陷分類器的概括流程圖。PMC104 經配置以根據在非暫態電腦可讀儲存媒體上實施的電腦可讀指令來執行下文詳述的相應操作。
如上指出，分類器103 能夠根據分類規則而自動地將缺陷分類為複數個類。分類規則包括分類引擎（例如，支援向量機（Support Vector Machine, SVM）、隨機森林分類引擎、神經網路等）和可針對不同類別而不同的複數個置信度閾值。分類器103 進一步經配置以針對每個給定缺陷定義指示缺陷屬於特定類別的機率的置信度位準，並且若置信度位準滿足相應的置信度閾值，則將給定缺陷分配給某個類。
僅出於說明的目的，提供以下描述以用於多類SVM（支援向量機）分類器。熟習該項技術者將容易地瞭解，目前揭示的標的的教示同樣地適用於適於對缺陷進行分類的任何其它分類器及/或分類器的組合。
作為說明，每個類可以在屬性超空間（attribute hyperspace）中被呈現為體積，並且閾值置信度位準可以用於繪製類體積（class volum）的邊界（類體積的邊界可以更大或更小並且邊界的形狀可以基於閾值置信度位準而不同）。根據給定缺陷的屬性，分類規則確定受置信度閾值影響的給定缺陷所屬的屬性超空間中的體積（即，類），或若給定缺陷不屬於體積（類）中的一個，則拒絕給定缺陷。當被拒絕的缺陷落入屬性超空間中的可能是多於一個類的一部分的位置時，缺陷可以被標記為「無法決定（CND）」；並且當被拒絕的缺陷落入屬性超空間中的不屬於任何類的一部分的位置時，缺陷可以被標記為「未知（UNK）」。經由非限制性實例，缺陷屬性值可以代表形狀、紋理、材料、背景、形貌及/或與缺陷相關的其它特徵。
在操作之前，使用一組訓練資料（201 ）訓練分類器（202 ），訓練資料（201 ）包括已經被預先分類到預定類中的缺陷的集合（例如，經由人類專家及/或另一分類器及/或先前的分類器的版本）和所述缺陷的屬性值。在訓練時，分類器使用訓練資料設定分類規則（203 ）。分類規則包括在訓練期間獲得的並可用於在被識別為屬於給定類的缺陷和不屬於給定類的缺陷之間進行區別的複數個置信度閾值。因此，訓練的分類器103 能夠根據置信度閾值定義給定缺陷的類，以作為與多維屬性空間（以下稱為屬性超空間）中的每個預定缺陷類相關聯的缺陷屬性值的函數。
在訓練時，分類器接收（205 ）與待被分類的具有缺陷的資訊的缺陷相關資料，並且應用分類規則以相應地對缺陷進行分類（204 ）。將注意，本文使用的術語「缺陷相關資料」應廣泛地被解釋為覆蓋缺陷分類所要求的任何屬性的值。缺陷屬性的值可以作為審查資料的一部分而被分類器接收。替代地或另外地，缺陷屬性值的至少部分可以由分類器從接收到的審查資料（可選地，使用附加資料作為例如設計資料）匯出及/或可以從一或多個其它源（包括檢驗工具）接收。
受（多個）置信度閾值的影響，分類器在預定缺陷類中劃分屬性超空間，並且根據每個缺陷在屬性超空間內的位置而將每個缺陷分配給類中的一個來產生分類的缺陷（206 ）。在劃分時，當缺陷中的一些屬於類之間的重疊區域（即，屬於某個類的機率低於置信度閾值定義的機率）時，分類器拒絕（207 ）這種缺陷以作為CND（無法決定）的缺陷，因為分類器無法決定要選擇哪個類。同樣，當缺陷中的一些位於類的外邊界外時，分類器拒絕這種缺陷以作為未知（UNK）缺陷的缺陷。被拒絕的缺陷或該等被拒絕的缺陷的一部分可以被傳遞給人類檢驗員以進行分類，或被傳遞給添加了先前的分類器不可用的新的知識的任何模態以進行分類。
給定缺陷可以屬於多數類或少數類。當分類規則被應用於訓練資料集時，被預先分類為多數類的大多數的訓練缺陷也將被自動地分類為多數類，而預先分類為少數類的大多數的訓練缺陷將不會被自動地分類為屬於相應的少數類，並且將被拒絕或被分類到多數類。
分類結果可以由參考圖3-6 進一步詳細地描述的一或多個品質量測（例如，純度、準確度、提取）和效能（例如，ADC貢獻）量測進行表徵。設定較低的置信度要求可能導致分類器拒絕更少缺陷，但是可能導致更多分類錯誤，或丟失一些感興趣的缺陷。另一方面，增加置信度要求可以提高分類品質，但是代價是更高的拒絕率或誤報率。
可選地，在操作期間，分類器可以監控（208 ）效能/品質參數，並且根據結果而可以重新訓練以相應地改善分類規則（例如，使用錯誤分類的缺陷的後分類結果）。
訓練和操作分類器的非限制性實例在US2016/0189055號美國專利申請、US8,315,453號美國專利、9,607,233號美國專利和9,715,723號美國專利中揭示，以上申請被轉讓給本申請的受讓人並且以引用的方式將其全部內容併入本文以獲得附加或替代的細節、特徵及/或技術背景的適當教示。
如將參考圖3 -6 更詳細描述的，根據當前揭示的標的的某些實施方式，分類器103 經配置以使得其能夠將每個類分配給具有不同的優先順序的三個或更多個分類組中的某個分類組。分配給給定分類組的所有的一或多個類具有相同的優先順序，此優先順序對應於給定分類組的優先順序，並且不同於分配給另一分類組的所有的一或多個類的優先順序。分類器103 進一步經配置以使得其能夠定義分類組的優先順序。在GUI108 的幫助下，使用者可以定義組的優先順序，定義用於自動分類的類，並且將該等類分配給相應的分類組。或者，該等定義的至少一部分可以由分類器103 根據預定規則而提供，或經由輸入介面105 從外部系統（例如，FAB管理系統）接收。
另外，分類器103 經配置以使得使用者（及/或管理系統）能夠針對每個類單獨地設定純度、準確度及/或提取要求，並且根據每類要求來優化分類結果。如將參考圖3 -6 更詳細描述的，分類器103 可以經配置以使得其能夠將來自相同的分類組的若干類綁定在一起，並且將綁定類作為單一類來對綁定類設定品質要求。
參考圖 3 ，其圖示根據目前揭示的標的的某些實施方式的訓練自動缺陷分類器的概括流程圖。PMC104 經配置以根據在非暫態電腦可讀儲存媒體上實施的電腦可讀指令來執行以下詳述的相應操作。
在訓練之前，分類器103 獲得（301 ）指示將類分配給三個或更多個優先分類組的資料。此類資料可以經由GUI108 而作為使用者輸入接收，可以由分類器103 根據預定規則生成及/或可以經由輸入介面105 從外部系統（例如，FAB管理系統）接收。經由非限制性實例，類（多數和少數兩者）可以被分配到以下分類組（按優先順序順序）：關鍵感興趣的缺陷（KDOI）、感興趣的缺陷（DOI）和假。作為另一非限制性實例，多數類可以被分配給KDOI、DOI和假分類組，而少數類可以被分配給「新」分類組，並且組的優先順序可以按以下順序而配置：KDOI＞新類＞DOI＞假。
另外，在訓練之前，分類器獲得（303 ）指示每類品質要求的資料。此類資料可以經由GUI108 作為使用者輸入接收及/或可以經由輸入介面105 從外部系統（例如，FAB管理系統）接收。可選地，但非必需地，被分配給同一組的類可以具有類似的分類目的，並且因此具有類似的品質要求。經由非限制性實例，分類器103 可以經配置以實現針對KDOI組中的類的高提取及/或高純度，以實現針對DOI組中的類的中提取及/或中純度，並且實現針對假組中的某些類的低提取及/或低純度。
在接收（302 ）包括預先分類的缺陷和該等缺陷的屬性值的集合的訓練資料時，分類器將分類引擎應用於訓練缺陷以接收將訓練缺陷分到各類的訓練缺陷的初始分離。初始分離（雖然這不是強制性的）可以設有置信度閾值，該置信度閾值經設定為使得其能夠進行分離並沒有拒絕的值。經由非限制性實例，分類引擎可以是多類支援向量機（SVM）、隨機森林分類引擎或其它合適的分類引擎或其組合。
圖 4 圖示呈現初始分離的結果的示例性混淆矩陣。本說明書中使用的術語「混淆矩陣」應廣泛地被解釋為覆蓋允許使分類規則的品質和效能視覺化的表格佈局。列401 -405 表示藉由應用分類規則的訓練缺陷的自動分類的結果。列406 表示被預先分類（例如，經由人類操作員）的每個類中的缺陷的實際數量。行415 表示由分類器103 分類（正確地或錯誤地）到由相應的列呈現的每個類中的缺陷的總數。
如經由非限制性實例所示，在多數類中，類A被分配給組DOI，類B被分配給組KDOI，並且類C被分配給組「假」。另外，少數類D被分配給組「新類」。
作為具有低閾值的初始分離，分類器沒有將缺陷分類為CND或UNK。如圖所示，在預先分類為類A的60個缺陷中，52 個缺陷被分類器103 正確地分類，而類B的4個缺陷被錯誤地分類到類A，類C的3個缺陷被錯誤地分類到類A，類D的11個缺陷被錯誤地分類到類A。同樣，在預先分類到類B的44個缺陷中，38個缺陷被分類器103正確地分類，而類A的4個缺陷被錯誤地分類到B類，還有類C的6個缺陷和類D的12個缺陷；在預先分類到類C的119個缺陷中，110個缺陷被分類器103 正確地分類，而類A的4個缺陷被錯誤地分類到C類，類B的2個缺陷被錯誤地分類到C類，並且類D的4個缺陷被錯誤地分類到類C。
每個多數類可以由品質量測，諸如純度來表徵，其指示了分類器關於類的決定的正確性。純度可以被計算為正確地分類到給定類的缺陷的數量和由分類器分類到此給定類的缺陷的總數之間的比率。因此，在由圖 4 中的行416 所示的實例中，類A的純度為52/70=74.2%；類B的純度為38/60=63.33%，類C純度為110/120=91.66%。
另外，每個類可以由諸如準確度的品質量測來表徵，準確度被計算為正確地分類到給定類的缺陷與預先分類到給定類的缺陷（由列408 示出）之間的比率。
分類器的效能可以由貢獻來表徵，貢獻被計算為尚未被發送以用於經由另一模態（例如，已經用令人滿意的類純度來分類）來進一步分類的缺陷與分類的缺陷的總數的比率。
純度可以藉由增加置信度閾值提高，並且因此拒絕一些缺陷以作為UNK缺陷或CND缺陷。然而，雖然某個置信度閾值提高特定品質及/或效能量測，但是它可能會導致不同的效能量測劣化而作為諸如貢獻。
返回參考圖 3 ，根據目前揭示的標的的某些實施方式，訓練進一步包括將拒絕缺陷的規則設定（305 ）為對應於優先分類組的複數個三個或更多個優先拒絕區間（bin）。拒絕區間的優先順序經配置以對應於分類組的優先順序。分類器103 根據預定規則而選擇某個缺陷的拒絕區間，該預定規則可以針對不同的區間而不同並取決於相應的類的優先順序和區間的優先順序。
因此，藉由將類分配給優先分類組的非限制性實例，可以將多數類和少數類中的每一個分配給KDOI、DOI和假分類組中的一個。CND缺陷可以被拒絕（按優先順序順序）到KDOI CND區間、DOI CND區間和假CND區間中。未知缺陷可以被拒絕到一或多個UNK區間中。
藉由將類分配給優先分類組的另一非限制性實例，多數類中的每一個可以被分配給KDOI、DOI和假分類組中的一個，而少數類可以被分配給新類組。CND缺陷可以被拒絕到KDOI CND區間、DOI CND區間和假CND區間中。UNK區間對應於新類拒絕，並且拒絕區間的優先順序經配置以與分類組的優先順序相對應，即，KDOI CND區間＞新類UNK區間＞DOI CND區間＞假CND區間。
ME-OTHERS劃分可實施以使得針對每個區間，「OTHERS」僅包括相應區間優先順序的類。被錯誤地分類到給定KDOI類的KDOI缺陷被拒絕到KDOI拒絕區間；被錯誤地分類到給定DOI類的DOI缺陷被拒絕到DOI拒絕區間；被錯誤地分類到給定假類的假缺陷被拒絕到假拒絕區間。關鍵-DOI與DOI\假之間的CND進入KDOI CND區間（假\DOI缺陷將不會被KDOI類拒絕）。被分類為假類的DOI缺陷將被拒絕到DOI CND區間；被分類為DOI類的假缺陷將被拒絕到假CND區間；少數類將被拒絕到新類UNK區間。
表 1 概括了取決於類和拒絕區間的相對優先順序的示例性拒絕規則（「Me」是指在初始分離期間正確地分類的缺陷（304 ））：表 1
Figure 107130362-A0304-0001
可選地，分類組中的兩個或更多個類可以被配置為綁定類，並且分類器103 可以經配置以在綁定類之間混淆的情況下不提供拒絕。同樣地，分類器103 可以經配置以實現被視為單個類的綁定類的品質要求。將注意，為這種綁定類計算的品質量測在下文中稱為「選擇性純度」和「選擇性提取」。
根據當前揭示的標的的某些實施方式，除了純度之外，品質要求可以包括提取要求（作為準確度要求的補充或替代準確度要求）。針對每個類，提取對以下兩者進行計數：i）該類的被正確地分類的缺陷，和ii）屬於該類並且被拒絕到針對該類的提取進行計數的拒絕區間的缺陷。因此，提取的概念比準確度的概念更廣泛。針對給定類的提取進行計數的拒絕區間的選擇取決於類的分類組和已經被拒絕的拒絕區間的相應的優先順序。根據目前揭示的標的的某些實施方式，對應於類優先順序或更高的優先順序的拒絕區間可以始終被計數以用於提取。將注意，一些拒絕區間可能不是為使用者審查而存在，因此可以被計數以用於貢獻（例如，假CND區間）。
在設定具有多個CND區間和一或多個UNK區間的拒絕規則時，分類器103 處理具有訓練缺陷資訊的資料，以針對每個多數類生成（306）類工作點，每個類工作點由對應於優先拒絕區間的可能的置信度閾值集表徵。在KDOI CND區間、新類UNK區間、DOI CND區間和假CND區間的以上非限制性實例中，每個類工作點由四個置信度閾值表徵，每個置信度閾值對應於相應的區間。
對於每個給定多數類，分類器103 進一步在針對給定類生成的類工作點中選擇（307 ）滿足（至少在優化之前）針對給定類接收且在考慮到針對其它類的品質要求的情況下計數的品質要求的有效工作點。因此，分類器103 對於每個給定多數類產生複數個有效類工作點。
有效類工作點的選擇可以針對每個類獨立地提供，並且可以針對給定類包括： 移除不符合給定類的純度要求的工作點； 在考慮到其它類的情況下移除臨時地不滿足給定類的提取要求的工作點，以產生對該類有效的複數個工作點（在此步驟臨時地滿足提取要求的工作點不一定需要滿足在另一優化處理期間的總體類提取要求）； 為每個有效工作點計算潛在類貢獻（即，由相應的類提供的總貢獻的一部分）； 根據計算出的類貢獻對有效點進行排序，並且保存結果以供進一步處理。
將注意，可選地，可以藉由直接搜尋或熟習該項技術者已知的任何其它合適的優化方法來獲得有效類工作點，而不是在可能的工作點中進行選擇。
如參考圖 7 更詳細描述的，分類器103 處理（308 ）複數個有效類工作點（每個有效類工作點相對於相應的多數類是有效的），以獲得最佳工作點，最佳工作點實現最高可能的ADC貢獻，同時滿足所有類的每類品質要求。當類工作點由對應於拒絕區間的K個閾值（例如，如在所提供的非限制性實例中的4個閾值）表徵時，最佳工作點由（K*多數類的數量）閾值表徵。將注意，雖然僅針對多數類來計算優化閾值，但是可以在考慮到少數類的提取要求的情況下提供優化處理（308 ）。
將注意，根據目前揭示的標的的某些實施方式，可取決於分類目的及/或分類器的配置而不同地計算分類器103 的貢獻（即，優化目標）。分類器可以經配置以使得使用者能夠定義（例如，經由GUI108 ）混淆矩陣中的貢獻列。經由非限制性實例，當分類結果用於統計過程控制（statistical process control,SPC）時，為貢獻計數的列可以包括已經被分類為具有令人滿意的類純度和假CND區間的所有類。經由另一非限制性實例，當分類結果用於DOI搜尋時，為貢獻計數的列可以包括已經被分類為具有令人滿意的類純度、DOI CND區間和假CND區間的所有類。通常，貢獻可以被計算為被定義為為貢獻計數的列中的缺陷的數量除以分類的缺陷的總數。可選地，貢獻可以被定義為過濾率、假過濾率或任何其它效能量測。
在獲得最佳工作點時，分類器生成（309 ）分類規則，該分類規則包括用於初始分離的分類引擎和用於每個拒絕區間和多數類的複數個置信度閾值，置信度閾值對應於最佳工作點。可以根據使用者要求來進一步調整分類規則中的閾值（例如，以便藉由降低品質要求來提高效能）。將注意，在一些情況下，將所生成的分類規則應用於要分類的缺陷可能造成拒絕區間之間的衝突（即，受置信度閾值的影響，給定缺陷可能被拒絕到若干區間）。對於這種情況，分類器103 可以經配置以將缺陷拒絕到在可能區間中的具有最高的優先順序的區間。
將注意，當前揭示的標的的教示不受如非限制性實例中所示的分類組和優先拒絕區間的約束，並且同樣地適用於其它類型、數量及/或優先順序的分類組和對應的拒絕區間。
參見圖 5a-5d 中，其示意性地圖示根據當前揭示的標的的某些實施方式的拒絕過程的非限制性實例。圖 5a 圖示在初始分離之後獲得的混淆矩陣。圖 5b 圖示在分類器103 已經拒絕缺陷以便於滿足針對KDOI類定義的每類純度/提取要求之後的混淆矩陣。圖 5c 圖示在分類器103 已進一步拒絕缺陷以便於滿足新類提取要求之後的混淆矩陣。圖 5d 圖示在分類器103 已進一步拒絕缺陷以便於滿足針對DOI和假分類組中的類定義的每類要求之後的混淆矩陣。將注意，在所示的實例中，類E與類F綁定，並且純度和提取根據正確地分類到該等類中的任何類的缺陷而被計算以作為選定的純度和選定的提取。在所有示出的拒絕時，缺陷的分佈對應於所有每類品質要求，並且相應的置信度閾值對應於有效類工作點。將注意，所示的獲得每類工作點可以與兩個或更多個類並行地提供。
圖 6 圖示示例性混淆矩陣，其呈現了圖 4 中所示的缺陷的優化分佈的結果。如圖所示，KDOI類滿足80%的示例性預定純度要求和100%的示例性預定提取要求，DOI類滿足93%的示例性預定純度要求和91%的示例性預定提取要求；新類提取滿足63%的示例性預定要求。將注意，在所示的實例中，與KDOI類或在KDOI類內混淆的缺陷已經被拒絕到KDOI CND區間；在DOI類內混淆的缺陷和被分類為假的DOI缺陷被拒絕到DOI CND區間，而在DOI類和假類之間混淆的缺陷被拒絕到假CND區間，並且在DOI類與少數類之間混淆的缺陷已經被拒絕到新類UNK區間。
在所示的實例中，類B（分配給KDOI分類組）的純度和提取可以如下計算： 類B純度=32（正確地自動分類到類 B 的缺陷的數量 ）/40（自動分類到類 B 的缺陷的總數 ）=80%。 類B提取=（32（超過純度閾值的類 B 缺陷的數量 ）+12（類 B KDOI CND 區間中的缺陷的數量 ））/44（手動地分類到類 B 的缺陷的數量 ）=100%。
在所示的實例中，類A（分配給DOI分類組）的純度和提取可以如下計算： 類A純度=43（正確地自動分類到類 A 的缺陷的數量 ）/43（自動分類到類 A 的缺陷的總數 ）=93%。 類A提取=（43（超過純度閾值的類 A 缺陷的數量 ）+2+4+6（類 A KDOI CND 區間 +DOI CND 區間 +未知 CND 區間中的缺陷的數量 ）/60（手動地分類到類 B 的缺陷的數量 ）=91%。
如上指出，貢獻計算取決於分類目的及/或使用者要求。經由非限制性實例，使用者可能有興趣地手動地審查所有KDOI缺陷，而不管自動分類結果如何。在這種情況下，貢獻列是列401 、 402 、 405-2 和405-3 ，並且貢獻等於（46+104+14+5）/250=67%。經由另一非限制性實例，貢獻列可以由使用者定義為高於純度閾值的KDOI類和DOI類、高於選擇性純度閾值的假類、DOI CND區間（除非需要進行審查）、假CND區間和UNK區間。在所示的實例中，這種定義對應於列401、 402、 403、 405 -2 、 405-3 和404-1 ，並且貢獻等於（46+40+104+14+5+15）/250=90%。
參考圖 7 ，其圖示根據目前揭示的標的的某些實施方式的示例性處理（308 ）工作點的概括流程圖。
在針對每一訓練缺陷獲得（701 ）：預先分類的結果、自動分類的結果和關於每個優先拒絕區間的置信度位準時，分類器103 計算（702 ）每個多數類的有效類工作點。
在有效類工作點中，分類器103 選擇具有最大類貢獻的有效工作點，並且在考慮到所有類的情況下，校驗（703 ）此工作點是否滿足提取要求。若確實如此，則這一點是全域最大化點，該全域最大化點實現最高可能的ADC貢獻而同時滿足每類品質要求。
若在考慮到所有類的情況下工作點不滿足提取要求，則分類器103 估計（704 ）指示能夠傳遞缺失的提取的有效類工作點的數量的間隙。若間隙低於效能閾值（performance threshold, PTHS），則分類器103 提供（705 ）遍歷有效類工作點的所有組合的窮舉計算以發現具有最佳貢獻的工作點。這樣的工作點對應於最佳工作點，該最佳工作點實現最高可能的ADC貢獻，同時滿足所有類的每類品質要求。若間隙超過效能閾值，則分類器103 使用（706 ）直接（貪婪）演算法提供計算，可選地接著進行黑盒優化（例如，粒子群優化）。注意，效能閾值取決於PMC104 的處理能力。
作為非限制性實例，可如下提供直接計算：
在針對每個多數類獲得有效類工作點、部分提取和相應的類貢獻時，分類器103 按相應優先順序的順序提供針對每個分類組的優化。針對給定分類組中的每個多數類，分類器103 計算有效性，該有效性被定義為提取增益與貢獻損失的比率，貪婪地選擇給定分類組內的用於缺陷提取的最佳多數類，並且進行重複，直到在考慮到給定組中的所有類的情況下滿足提取要求為止。在完成針對每個分類組的這種迴圈時，分類器103 獲得貪婪優化的工作點。
熟習該項技術者將容易地理解，目前揭示的標的的教示不受圖 7 中所示的處理的約束。可以實施其它適當的演算法和其組合，以便獲得實現最高可能的ADC貢獻而同時滿足每類品質要求的最佳工作點。
將理解，本發明的應用不限於本文包含的或附圖示出的描述中闡述的細節。本發明能夠具有其它實施方式並且能夠以各種方式來實踐或實施。因此，將理解，本文使用的措辭和術語是出於描述的目的，並且並不應被視為是限制性的。因此，熟習該項技術者將瞭解，本案所基於的概念可容易地用作設計用於實現當前揭示的標的的若干目的的其它結構、方法和系統的基礎。
還將理解，根據本發明的系統可以至少部分地在適當程式設計的電腦上實施。同樣地，本發明預期了一種電腦程式，電腦程式可由電腦讀取以執行本發明的方法。本發明還預期一種非暫態電腦可讀記憶體，其有形地體現可由電腦執行的用於執行本發明的方法的指令程式。
熟習該項技術者將容易地理解，在不脫離本發明的在隨附申請專利範圍中定義的保護範圍之情況下，可以對如上所述的本發明的實施方式應用各種修改和變化。
100‧‧‧檢查系統101‧‧‧檢驗工具102‧‧‧審查工具103‧‧‧分類器104‧‧‧處理器和記憶體電路105‧‧‧輸入介面106‧‧‧輸出介面107‧‧‧儲存系統108‧‧‧GUI109‧‧‧資料儲存庫110‧‧‧設計伺服器122‧‧‧審查資料201‧‧‧訓練資料202‧‧‧操作203‧‧‧操作204‧‧‧操作205‧‧‧操作206‧‧‧操作207‧‧‧操作208‧‧‧操作301‧‧‧操作302‧‧‧操作303‧‧‧操作304‧‧‧操作305‧‧‧操作306‧‧‧操作307‧‧‧操作308‧‧‧操作309‧‧‧操作401‧‧‧列402‧‧‧列403‧‧‧列405‧‧‧列405-2‧‧‧列405-3‧‧‧列404-1‧‧‧列406‧‧‧列408‧‧‧列415‧‧‧行416‧‧‧行701‧‧‧操作702‧‧‧操作703‧‧‧操作704‧‧‧操作705‧‧‧操作706‧‧‧操作
為了理解本發明並且理解本發明如何在實踐中實施，現在將參考隨附附圖並僅經由非限制性實例的方式來描述實施方式，其中：
圖 1 圖示根據目前揭示的標的的某些實施方式的檢查系統的概括方塊圖；
圖 2 圖示根據目前揭示的標的的某些實施方式的對缺陷進行分類的概括流程圖；
圖 3 圖示根據目前揭示的標的的某些實施方式的訓練分類器的概括流程圖；
圖 4 示意性地圖示根據目前揭示的標的的某些實施方式而配置的示例性混淆矩陣；
圖 5a-5d 示意性地圖示根據目前揭示的標的的某些實施方式的拒絕過程的非限制性實例；
圖 6 示意性地圖示根據目前揭示的標的的某些實施方式獲得的示例性混淆矩陣；和
圖 7 圖示處理工作點以獲得實現最高可能的ADC貢獻並同時滿足每類品質要求的最佳工作點的概括流程圖。
國內寄存資訊 (請依寄存機構、日期、號碼順序註記) 無
國外寄存資訊 (請依寄存國家、機構、日期、號碼順序註記) 無
100‧‧‧檢查系統
101‧‧‧檢驗工具
102‧‧‧審查工具
103‧‧‧分類器
104‧‧‧處理器和記憶體電路
105‧‧‧輸入介面
106‧‧‧輸出介面
107‧‧‧儲存系統
108‧‧‧GUI
109‧‧‧資料儲存庫
110‧‧‧設計伺服器
122‧‧‧審查資料

Claims (20)

  1. 一種能夠將一樣本中的缺陷分類為複數個類的系統，該系統包括一處理和記憶體電路(PMC)，該PMC經配置以：獲得指示針對該複數個類中的每個類單獨地定義的品質要求的資料；獲得指示將該複數個類中的每個類分配給一分類組的資料，該分類組處於對於自動化分類具有不同的優先順序的至少三個分類組中；指定對應於該至少三個分類組的至少三個無法決定(CND)拒絕區間，其中CND拒絕區間的分類優先順序對應於相應的分類組的該等優先順序，且其中一給定拒絕區間的一分類優先順序特徵化對一基於CND的拒絕缺陷所選擇的該給定CND拒絕區間的一優先順序；在訓練期間：獲得訓練資料，該訓練資料包括複數個預先分類的訓練缺陷和該複數個預先分類的訓練缺陷的屬性值；提供該複數個預先分類的訓練缺陷的一初始自動分類至該複數個類的類中，以產生初始分類的訓練缺陷； 處理該初始分類的訓練缺陷以獲得一最佳工作點，該最佳工作點對應於自動分類的最高可能的貢獻並同時滿足針對該複數個類中的每個類定義的每類品質要求；生成具有對應於一最佳工作點的置信度閾值的分類規則，其中該置信度閾值對應於具有不同的分類優先順序的拒絕區間，並且其中該等拒絕區間包含該至少三個CND拒絕區間；和在對該樣本中的缺陷進行分類時應用生成的該分類規則。
  2. 如請求項1所述之系統，其中該PMC進一步經配置以使得該PMC能夠將分配給相同的分類組的若干類綁定在一起，並且將該綁定類作為一單一類來針對該綁定類定義品質要求。
  3. 如請求項1所述之系統，其中每個類被分配給以下分類組中的一個：感興趣的關鍵缺陷(KDOI)，為具有最高的優先順序的分類組；感興趣的缺陷(DOI)；和假(FALSE)，為具有最低的優先順序的分類組。
  4. 如請求項3所述之系統，其中該等拒絕區間由KDOI CND拒絕區間、DOI CND拒絕區間、FALSE CND拒絕區間和未知(UNK)拒絕區間組 成。
  5. 如請求項1所述之系統，其中每個多數類被分配給以下分類組中的一個：KDOI、DOI和FALSE，少數類被分配給新(NOVELTY)分類組，並且該等組的優先順序按以下順序而配置：KDOI>NOVELTY>DOI>FALSE。
  6. 如請求項5所述之系統，其中該拒絕區間由KDOI CND拒絕區間、DOI CND拒絕區間、FALSE CND拒絕區間和NOVELTY UNK拒絕區間組成。
  7. 如請求項1所述之系統，其中針對一給定類定義的該品質要求包括提取要求，該提取要求對以下兩者進行計數：該給定類的正確分類的缺陷，和屬於該給定類的且已被拒絕到被選定為對該給定類的提取進行計數的一或多個拒絕區間的缺陷。
  8. 如請求項1所述之系統，其中自動分類的該貢獻根據分類目的而被不同地計算。
  9. 一種將一樣本中的缺陷自動分類為複數個類的方法，該方法包括以下步驟：由一處理和記憶體電路(PMC)獲得指示針對該複數個類中的每個類單獨地定義的品質要求的資料；由該PMC獲得指示將該複數個類中的每個類分配給一個分類組的資料，該分類組處於對於自動化分類 具有不同的優先順序的至少三個分類組中；由該PMC指定對應於該至少三個分類組的至少三個無法決定(CND)拒絕區間，其中CND拒絕區間的分類優先順序對應於相應的分類組的該等優先順序，且其中一給定拒絕區間的一分類優先順序特徵化對一基於CND的拒絕缺陷所選擇的該給定CND拒絕區間的一優先順序；在訓練期間：由該PMC獲得訓練資料，該訓練資料包括複數個預先分類的訓練缺陷和該複數個預先分類的訓練缺陷的屬性值；由該PMC提供該複數個預先分類的訓練缺陷的一初始自動分類至該複數個類的類中，以產生初始分類的訓練缺陷；由該PMC處理該初始分類的訓練缺陷以獲得一最佳工作點，該最佳工作點對應於自動分類的最高可能的貢獻並同時滿足針對該複數個類中的每個類定義的每類品質要求；由該PMC生成具有對應於一最佳工作點的置信度閾值的分類規則，其中該置信度閾值對應於具有不同的分類優先順序的拒絕區間，並且其中該等拒絕區間包含該至少三個CND拒絕區間；和 在對該樣本中的缺陷進行分類時經由該PMC應用生成的該分類規則。
  10. 如請求項9所述之方法，進一步包括以下步驟：將分配給相同的分類組的若干類綁定在一起，並且將該綁定類作為一單個類來針對該綁定類定義品質要求。
  11. 如請求項9所述之方法，其中每個類被分配給以下分類組中的一個：感興趣的關鍵缺陷(KDOI)，為具有最高的優先順序的分類組；感興趣的缺陷(DOI)；和假(FALSE)，為具有最低的優先順序的分類組。
  12. 如請求項11所述之方法，其中該等拒絕區間由KDOI CND拒絕區間、DOI CND拒絕區間、FALSE CND拒絕區間和未知(UNK)拒絕區間組成。
  13. 如請求項9所述之方法，其中每個多數類被分配給以下分類組中的一個：KDOI、DOI和FALSE，少數類被分配給新(NOVELTY)分類組，並且該等組的優先順序按以下順序而配置：KDOI>NOVELTY>DOI>FALSE。
  14. 如請求項13所述之方法，其中該等拒絕區間由KDOI CND拒絕區間、DOICND拒絕區間、 FALSE CND拒絕區間和NOVELTY UNK拒絕區間組成。
  15. 如請求項9所述之方法，其中處理該初始分類的訓練缺陷以獲得該最佳工作點之步驟包括以下步驟：針對每個多數類，經由該PMC獲得有效分類工作點，每個有效分類工作點滿足針對相應的類定義的品質要求並表徵為對應於該等拒絕區間的置信度閾值；經由該PMC處理該有效分類工作點以獲得該最佳工作點。
  16. 如請求項15所述之方法，其中獲得該有效類工作點之步驟包括以下步驟：在該等拒絕區間上分配該訓練缺陷的至少一部分，並且其中取決於各個分類組的相對優先順序和拒絕區間的優先順序，根據預定規則提供針對一某個缺陷選擇一拒絕區間。
  17. 如請求項9所述之方法，其中針對一給定類定義的該品質要求包括提取要求，該提取要求對以下兩者進行計數：該給定類的正確分類的缺陷，和屬於該給定類的且已被拒絕到被選定為對該給定類的提取進行計數的一或多個拒絕區間的缺陷。
  18. 如請求項9所述之方法，其中具有不低於該給定類的分類組的優先順序的優先順序的所有拒絕區間被選擇以作為針對該給定類的該提取的計數。
  19. 如請求項9所述之方法，其中自動分類的該貢獻根據分類目的而被不同地計算。
  20. 一種包括指令的非暫態電腦可讀媒體，當該指令當由一電腦執行時致使該電腦執行將一樣本中的缺陷自動分類為複數個類的方法，該方法包括以下步驟：獲得指示針對該複數個類中的每個類單獨地定義的品質要求的資料；獲得指示將該複數個類中的每個類分配給一個分類組的資料，該分類組處於對於自動化分類具有不同的優先順序的至少三個分類組中；指定對應於該至少三個分類組的至少三個無法決定(CND)拒絕區間，其中CND拒絕區間的分類優先順序對應於相應的分類組的該等優先順序，且其中一給定拒絕區間的一分類優先順序特徵化對一基於CND的拒絕缺陷所選擇的該給定CND拒絕區間的一優先順序；在訓練期間：由該PMC獲得訓練資料，該訓練資料包括複數個預先分類的訓練缺陷和該複數個預先分類的訓練缺陷的屬性值；由該PMC提供該複數個預先分類的訓練缺陷的 一初始自動分類至該複數個類的類中，以產生初始分類的訓練缺陷；由該PMC處理該初始分類的訓練缺陷以獲得一最佳工作點，該最佳工作點對應於自動分類的最高可能的貢獻並同時滿足針對該複數個類中的每個類定義的每類品質要求；由該PMC生成具有對應於一最佳工作點的置信度閾值的分類規則，其中該置信度閾值對應於具有不同的分類優先順序的拒絕區間，並且其中該等拒絕區間包含該至少三個CND拒絕區間；和在對該樣本中的缺陷進行分類時應用生成的該分類規則。
TW107130362A 2017-09-28 2018-08-30 對半導體樣本中的缺陷進行分類之方法及其系統 TWI776945B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/719,447 US11037286B2 (en) 2017-09-28 2017-09-28 Method of classifying defects in a semiconductor specimen and system thereof
US15/719,447 2017-09-28

Publications (2)

Publication Number Publication Date
TW201915770A TW201915770A (zh) 2019-04-16
TWI776945B true TWI776945B (zh) 2022-09-11

Family

ID=65807910

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107130362A TWI776945B (zh) 2017-09-28 2018-08-30 對半導體樣本中的缺陷進行分類之方法及其系統

Country Status (5)

Country Link
US (1) US11037286B2 (zh)
JP (1) JP7286290B2 (zh)
KR (1) KR102548769B1 (zh)
CN (1) CN109583465B (zh)
TW (1) TWI776945B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110278366B (zh) * 2018-03-14 2020-12-01 虹软科技股份有限公司 一种全景图像虚化方法、终端及计算机可读存储介质
US11538237B2 (en) * 2019-01-15 2022-12-27 Accenture Global Solutions Limited Utilizing artificial intelligence to generate and update a root cause analysis classification model
US11151706B2 (en) * 2019-01-16 2021-10-19 Applied Material Israel, Ltd. Method of classifying defects in a semiconductor specimen and system thereof
US10762618B1 (en) * 2019-02-14 2020-09-01 United Microelectronics Corp. Mask weak pattern recognition apparatus and mask weak pattern recognition method
CN110263859A (zh) * 2019-06-21 2019-09-20 深圳前海微众银行股份有限公司 样本分类方法、装置、设备及可读存储介质
CN110716990A (zh) * 2019-09-04 2020-01-21 华东江苏大数据交易中心股份有限公司 一种应用于数据交易的多数据源管理系统
CN110555838A (zh) * 2019-09-06 2019-12-10 北京百度网讯科技有限公司 基于图像的零件故障检测方法及装置
CN111311542B (zh) * 2020-01-15 2023-09-19 歌尔股份有限公司 一种产品质量检测方法及装置
WO2022032056A1 (en) * 2020-08-07 2022-02-10 Pdf Solutions, Inc. Pattern-enhanced spatial correlation of test structures to die level responses
TWI771983B (zh) * 2021-04-14 2022-07-21 國立中山大學 氮化鎵高電子移動率電晶體的缺陷檢測方法
CN113743445B (zh) * 2021-07-15 2024-06-04 上海朋熙半导体有限公司 目标对象识别方法、装置、计算机设备和存储介质
CN117890765A (zh) * 2024-01-17 2024-04-16 张家港莱荟科技有限公司 一种连续式集成电路测试系统及其测试方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070288219A1 (en) * 2005-11-18 2007-12-13 Khurram Zafar Methods and systems for utilizing design data in combination with inspection data
US20120140060A1 (en) * 2010-12-06 2012-06-07 Nuflare Technology, Inc. Inspection apparatus and method
US20160189055A1 (en) * 2014-12-31 2016-06-30 Applied Materials Israel Ltd. Tuning of parameters for automatic classification
TW201706960A (zh) * 2015-05-08 2017-02-16 克萊譚克公司 用於缺陷分類之方法及系統
TW201732690A (zh) * 2015-12-22 2017-09-16 應用材料以色列公司 半導體試樣的基於深度學習之檢查的方法及其系統

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7162073B1 (en) * 2001-11-30 2007-01-09 Cognex Technology And Investment Corporation Methods and apparatuses for detecting classifying and measuring spot defects in an image of an object
US8165384B1 (en) * 2003-11-19 2012-04-24 Kla-Tencor Corporation Defect classification
US7729529B2 (en) * 2004-12-07 2010-06-01 Kla-Tencor Technologies Corp. Computer-implemented methods for detecting and/or sorting defects in a design pattern of a reticle
KR101285967B1 (ko) * 2005-11-18 2013-07-12 케이엘에이-텐코 코포레이션 검사 데이터와 조합하여 설계 데이터를 활용하는 방법 및시스템
JP4908995B2 (ja) * 2006-09-27 2012-04-04 株式会社日立ハイテクノロジーズ 欠陥分類方法及びその装置並びに欠陥検査装置
US7756658B2 (en) * 2008-05-14 2010-07-13 Kla-Tencor Corp. Systems and methods for detecting defects on a wafer and generating inspection results for the wafer
US8140514B2 (en) * 2008-11-26 2012-03-20 Lsi Corporation Automatic classification of defects
US8315453B2 (en) 2010-07-27 2012-11-20 Applied Materials Israel, Ltd. Defect classification with optimized purity
US9715723B2 (en) 2012-04-19 2017-07-25 Applied Materials Israel Ltd Optimization of unknown defect rejection for automatic defect classification
US9607233B2 (en) * 2012-04-20 2017-03-28 Applied Materials Israel Ltd. Classifier readiness and maintenance in automatic defect classification
US9430743B2 (en) * 2014-03-06 2016-08-30 Kla-Tencor Corp. Composite defect classifier
KR101978995B1 (ko) * 2015-06-04 2019-05-16 가부시키가이샤 히다치 하이테크놀로지즈 결함 화상 분류 장치 및 결함 화상 분류 방법
US9922269B2 (en) * 2015-06-05 2018-03-20 Kla-Tencor Corporation Method and system for iterative defect classification
US20180314984A1 (en) * 2015-08-12 2018-11-01 Entit Software Llc Retraining a machine classifier based on audited issue data
US10436720B2 (en) * 2015-09-18 2019-10-08 KLA-Tenfor Corp. Adaptive automatic defect classification
TWI564741B (zh) * 2016-01-25 2017-01-01 敖翔科技股份有限公司 智慧型缺陷分類採樣方法、系統與電腦可讀取儲存媒體
US20180203744A1 (en) * 2017-01-09 2018-07-19 Alexander WIESMAIER Data ingestion and analytics platform with systems, methods and computer program products useful in conjunction therewith
US10713534B2 (en) * 2017-09-01 2020-07-14 Kla-Tencor Corp. Training a learning based defect classifier
WO2019067641A1 (en) * 2017-09-26 2019-04-04 Aquifi, Inc. SYSTEMS AND METHODS FOR VISUAL INSPECTION BASED ON INCREASED REALITY

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070288219A1 (en) * 2005-11-18 2007-12-13 Khurram Zafar Methods and systems for utilizing design data in combination with inspection data
US20120140060A1 (en) * 2010-12-06 2012-06-07 Nuflare Technology, Inc. Inspection apparatus and method
US20160189055A1 (en) * 2014-12-31 2016-06-30 Applied Materials Israel Ltd. Tuning of parameters for automatic classification
TW201706960A (zh) * 2015-05-08 2017-02-16 克萊譚克公司 用於缺陷分類之方法及系統
TW201732690A (zh) * 2015-12-22 2017-09-16 應用材料以色列公司 半導體試樣的基於深度學習之檢查的方法及其系統

Also Published As

Publication number Publication date
JP7286290B2 (ja) 2023-06-05
CN109583465B (zh) 2024-02-02
TW201915770A (zh) 2019-04-16
KR102548769B1 (ko) 2023-06-27
KR20190037123A (ko) 2019-04-05
JP2019075553A (ja) 2019-05-16
US20190096053A1 (en) 2019-03-28
CN109583465A (zh) 2019-04-05
US11037286B2 (en) 2021-06-15

Similar Documents

Publication Publication Date Title
TWI776945B (zh) 對半導體樣本中的缺陷進行分類之方法及其系統
US11526979B2 (en) Method of defect classification and system thereof
CN109598698B (zh) 用于对多个项进行分类的系统、方法和非暂时性计算机可读取介质
JP6285640B2 (ja) 自動及び手動欠陥分類の統合
KR102110755B1 (ko) 자동 결함 분류를 위한 알려지지 않은 결함 리젝션의 최적화
JP6391083B2 (ja) 自動欠陥分類における分類器の準備及び保守
KR102530950B1 (ko) 반도체 시편에서의 결함들의 분류
TWI755468B (zh) 用於分類器及藉由光學工具所捕捉之缺陷之診斷方法
US10921334B2 (en) System, method and computer program product for classifying defects
US8165837B1 (en) Multi-scale classification of defects
TWI772735B (zh) 對半導體取樣中的缺陷進行分類的方法及其系統
TWI574136B (zh) 基於設計之缺陷分類之方法及系統
US6423557B1 (en) ADC based in-situ destructive analysis selection and methodology therefor

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent