TW201350836A - 用於自動缺陷分類之不明缺陷拒絕率之最佳化 - Google Patents

用於自動缺陷分類之不明缺陷拒絕率之最佳化 Download PDF

Info

Publication number
TW201350836A
TW201350836A TW102114047A TW102114047A TW201350836A TW 201350836 A TW201350836 A TW 201350836A TW 102114047 A TW102114047 A TW 102114047A TW 102114047 A TW102114047 A TW 102114047A TW 201350836 A TW201350836 A TW 201350836A
Authority
TW
Taiwan
Prior art keywords
defect
defects
level
parameter
value
Prior art date
Application number
TW102114047A
Other languages
English (en)
Other versions
TWI585397B (zh
Inventor
Vladimir Shlain
Gadi Greenberg
Idan Kaizerman
Efrat Rozenman
Original Assignee
Applied Materials Israel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Applied Materials Israel Ltd filed Critical Applied Materials Israel Ltd
Publication of TW201350836A publication Critical patent/TW201350836A/zh
Application granted granted Critical
Publication of TWI585397B publication Critical patent/TWI585397B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/987—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一種用於缺陷分類之方法，包括在一電腦系統儲存一特徵空間中的一區域之一定義。該定義係與一缺陷等級相關並包括一核心函數，該核心函數包含一參數。該參數決定該區域之一形狀。與該等級相關的至少一個缺陷的自動分類之一可靠度臨界值係被接收。選擇與該可靠度臨界值相關之該參數之一數值。與在檢查時於一或多個樣品中所檢測之複數個缺陷有關之檢查資料係被接收。該等級之該複數個缺陷係利用該核心函數與所選擇之該參數之數值而被自動分類。

Description

用於自動缺陷分類之不明缺陷拒絕率之最佳化 【相關申請案】
本申請案是與在2012年4月19日申請、文件編號08090.44(L024)、申請號為13/451,496之「自動與手動缺陷分類之整合」有關。
本發明之具體實施例一般是與自動檢查有關，且特別是與用於製造缺陷的分析方法及系統有關。
自動缺陷分類(ADC)技術係廣泛用於半導體業中圖樣化晶圓上的缺陷檢查與測量。ADC技術檢測缺陷的存在，以及自動將缺陷依類型而分類，以於製程上提供更詳細的反饋並減少人工檢查者之負荷。ADC技術係用於例如區別是因晶圓表面上之粒狀污染物所產生的缺陷及與微電路圖樣本身中不規則性有關的缺陷之類型，也可辨識顆粒與不規則性的具體類型。
專利文獻中係已描述了各種ADC方法。舉例而言，美國專利6,256,093中說明了一掃描晶圓中之實時(on-the-fly)之ADC。一光源係照射該掃描晶圓，以於晶圓 上產生一照射光點。從該光點散射的光係由至少兩個分隔開的偵測器所偵測，並加以分析以檢測晶圓中的缺陷及將這些缺陷分類為個別的缺陷類型。
作為另一實例，美國專利6,922,482說明了利用一核心分類器(core classifier)而將一半導體晶圓表面上之一缺陷自動分類為數個核心等級中的其中一個，該核心分類器係使用邊界與拓樸資訊。接著利用一特定自適應分類器(adaptive classifier)而將缺陷進一步分類至一次等級，該特定自適應分類器係與該核心等級相關聯，且係訓練以分類僅來自一受限數量之相關核心等級之缺陷。核心分類器或特定自適應分類器無法分類之缺陷即由一全分類器(full classifier)進行分類。
本發明之具體實施例提供了根據檢查資料之缺陷自動分類的改良方法、系統與軟體。一示例計算系統係儲存一特徵空間中的一區域之一定義。該定義係與一缺陷等級相關並包括一核心函數，該核心函數包含一參數。該參數決定該區域之一形狀。該計算系統接收與該等級相關的至少一個缺陷的自動分類之一可靠度臨界值。該計算系統選擇與該可靠度臨界值相關之該參數之一數值。該計算系統接收與在檢查時於一或多個樣品中所檢測之複數個缺陷有關之檢查資料。該計算系統利用該核心函數與所選擇之該參數之數值來自動分類該等級之該複數個缺陷。
在一具體實施例中，該電腦系統藉由使複數個可靠 度程度中的每一個與複數個參數數值中的一獨特參數數值相關聯，及選擇與該可靠度臨界值相關聯之參數數值，來選擇該參數之該數值。
在一具體實施例中，該電腦系統藉由對訓練資料應用該核心函數以使用該複數個參數數值來取得一組訓練結果，並根據該訓練結果而對每一個可靠度程度指定一最佳化參數數值，來使該複數個可靠度程度相關聯。
在一具體實施例中，該電腦系統藉由為各可靠度臨界值選擇一參數數值，以導致於使用該核心函數之一訓練資料自動分類期間拒絕與該可靠度臨界值相應之該複數個缺陷中之一子集合，來對每一可靠度程度指定該最佳化參數數值。
在一具體實施例中，在該特徵空間中之該區域係由包含該核心函數之一單類支援向量機所限定，且其中自動分類該複數個缺陷係包括利用該單類支援向量機區分屬於該等級之複數個第一缺陷以及被分類對該等級為不明缺陷之複數個第二缺陷。
在一具體實施例中，其中該電腦系統是藉由應用一多等級支援向量機以對一各別缺陷等級指定每一個缺陷並且辨識至少一個無法決定之缺陷來自動分類該複數個缺陷，其中該無法決定之缺陷係位於該特徵空間中至少兩個缺陷等級的複數個區域之間的一重疊區域中。
在一具體實施例中，該單類支援向量機係定義了該檢查資料之一映射至對該特徵空間中的一超球面，且其中該可靠度程度與該參數的數值係定義了一超平面，該超平面係 分割該超球面以產生一超球冠，其中該超球冠係映射至含有被分類為屬於該等級之該複數個缺陷的特徵空間中的一區域
在其他具體實施例中，也可實施用於執行上述具體實施例之操作的方法。此外，在本發明之具體實施例中，一非暫態電腦可讀取儲存媒介係儲存了用於執行上述具體實施例之操作的方法。
20‧‧‧系統
22‧‧‧晶圓
24‧‧‧檢查機器
26‧‧‧ADC機器
28‧‧‧處理器
30‧‧‧記憶體
32‧‧‧顯示器
34‧‧‧輸入裝置
40‧‧‧特徵空間
42‧‧‧缺陷
44‧‧‧缺陷
46‧‧‧邊界
48‧‧‧邊界
50‧‧‧缺陷
51‧‧‧缺陷
52‧‧‧邊界
54‧‧‧邊界
56‧‧‧缺陷
60‧‧‧自動處理構件
61‧‧‧自動分類器
62‧‧‧多等級分類器
64‧‧‧單一等級分類器
66‧‧‧比較器
68‧‧‧檢查終端
70‧‧‧人工檢查者
71‧‧‧自動指定模組
72‧‧‧整合邏輯
74‧‧‧報告
80‧‧‧特徵空間
82‧‧‧缺陷
84‧‧‧邊界
86‧‧‧邊界
88‧‧‧邊界
90‧‧‧邊界
100‧‧‧邊界點
102‧‧‧額外缺陷
104‧‧‧邊界點
110‧‧‧方塊
112‧‧‧方塊
114‧‧‧方塊
116‧‧‧方塊
200‧‧‧預測系統
800‧‧‧電腦系統
802‧‧‧處理器
804‧‧‧主記憶體
806‧‧‧靜態記憶體
808‧‧‧匯流排
810‧‧‧影音顯示器
812‧‧‧字母數字輸入裝置
812‧‧‧游標控制裝置
816‧‧‧訊號產生裝置
818‧‧‧資料儲存裝置
820‧‧‧網路
822‧‧‧網路介面裝置
824‧‧‧機器可讀取之媒介
826‧‧‧指令
從下述詳細說明與本發明之各種具體實施例的如附圖式，將可更完整理解本發明之各種具體實施例。
第1圖為根據本發明一具體實施例之一缺陷檢查及分類系統的例示示意說明；第2圖為根據本發明一具體實施例之一特徵空間的示意表示，該特徵空間含有屬於不同缺陷等級之檢查特徵值；第3A圖為根據本發明一具體實施例之一自動缺陷分類系統的方塊圖；第3B圖為根據本發明一具體實施例之一自動缺陷分類器的方塊圖；第4圖是根據本發明一具體實施例之在一特徵空間中的可信度臨界值的例示示意表示；第5圖是根據本發明一具體實施例之分類純度(其為拒絕率之函數)的例示示意圖表；第6圖是根據本發明一具體實施例之特徵高維空間(其說明了一單一等級分類器)的例示示意表示；第7圖為一流程圖，其說明了一種根據本發明一具 體實施例之用於設定分類器核心參數的方法；及第8圖為一例示電腦系統的方塊圖，該例示電腦系統係執行本文所述操作中的一或多個操作。
自動缺陷分類(ADC)系統通常是使用一組訓練資料來進行校正，該組訓練資料包含已經由一人工能手預先分類之缺陷集合。ADC系統使用訓練資料以設定分類規則，其中分類規則是設定為與一多維特徵空間中每一缺陷等級相關之特徵值的函數。當分類涉及到三個以上的特徵時，該多維特徵空間也可稱為一高維空間(hyperspace)。在大部分的現有ADC系統中，這些設定會接著被測試及調整，以使其精確性達最佳化，其係定義為正確分類之所有缺陷的百分比。
然而，在許多ADC應用中，分類純度是更有意義的系統操作量度。分類純度為正確分類之剩餘缺陷(例如被ADC系統發現為可分類且未拒絕者)的百分比。系統操作者係指明一分類性能量度，例如一需要之純度及/或一特定最大拒絕率。分類性能量度為ADC系統無法以可信度予以分類、因而返送而為一人工能手(例如系統操作者)予以分類之缺陷的百分比。由於可能將會有某百分比的缺陷被ADC系統拒絕，因此操作者對於分類的純度會有最大興趣。
分類的純度可受到各種類型的分類不確定性影響。在某些情況中，與一缺陷相關之特徵值係落在兩個(或更多個)不同缺陷等級之間的重疊區域中。在某些情況中，缺陷的特徵值會落在與一既定缺陷等級相關的範圍外邊界。美國 專利申請號12/844,724(於2010年7月27日申請)說明了一種ADC系統，其藉由對檢查資料施用多種不同的分類器(包括多等級分類器與單一等級分類器)而解決各種類型的分類不確定性。該系統允許分類器參數被訓練與調整，以使分類的純度達最佳化。
本發明之具體實施例提供了一種使用一多等級分類器和一單一等級分類器的ADC系統。一多等級分類器係於多個缺陷等級之間分割了一多維度特徵空間，並將每一個缺陷根據其於該特徵空間內的位置而指定至其中一個等級。該多等級分類器將等級之間的重疊區域中之缺陷辨識為無法決定的缺陷。該多等級分類器係藉由使用一可信度臨界值來辨識在重疊區域中的缺陷。對於每一個缺陷等級而言，一單一等級分類器係施用等級特定規則來辨識出屬於該缺陷等級的缺陷以及不在該等級中的缺陷。不在該等級中的缺陷係利用該等級之一可信度臨界值來加以辨識，且被辨識為不明缺陷。單一等級與多等級分類器係一起用於以高純度來分類缺陷。不同等級的外邊界與重疊區域的範圍係藉由變化可信度臨界值的方式而加以調整，以使純度達最大，同時保持拒絕率不大於一預定臨界值。
單一等級分類器(用以區分已知與不明之缺陷)與多等級分類器(用以區分可決定與無法決定之缺陷)之可信度臨界值係可於訓練程序中利用一組缺陷而加以調整，該組缺陷係已經由人工操作者進行手動預先分類。訓練程序的結果可為一組分類規則(也稱之為拒絕規則)，其定義了每一 個缺陷等級的一特徵空間中的邊界。該組分類規則可定義特徵化該等級之檢查特徵值的個別範圍。該分類規則也提供了一可信度量度，其給定與一缺陷的每一單一等級或多等級分類相關之可信度程度，其為特徵空間中的缺陷位置之函數。
在一具體實施例中，每一單一等級分類器係由一核心函數予以定義，其定義了該等級在特徵空間中所佔據的區域。在該區域內部的缺陷係被分類為屬於該等級，而在該區域外部的缺陷則被分類為不明。一參數可定義特徵空間中之區域的形狀。在訓練程序期間，可評估多個區域輪廓，且可為每一個可信度臨界值找到最佳形狀。
在實際產生缺陷(其類別為不明)的分類中，可接著選擇每一分類器之可信度臨界值，以達到所需要的性能程度。實際產生缺陷(其類別為不明)的分類會產生第一分類結果。
在本發明之具體實施例中，被自動分類器拒絕的缺陷(例如被分類為無法決定或不明)會通過至一或多個其他檢查模態(不同於用以產生第一分類結果者)以供分類至一缺陷等級，產生第二分類結果。在一具體實施例中，該檢查模態係一人工檢查者，其將被拒絕的缺陷指定至適當的缺陷等級。在另一具體實施例中，係基於可提供關於在缺陷的位置處及/或接近缺陷的位置處之材料之額外資訊的檢查資料(例如X光檢查資料等)來分類被拒絕的缺陷。被拒絕的缺陷之更新的缺陷指定(第二分類結果)可被回傳至ADC系統。在一具體實施例中，ADC系統將更新的缺陷指定(第二分類 結果)與自動分類的缺陷(第一分類結果)整合為一組合資料組。該ADC系統可因此而提出一完整的、一體的、在一組樣品中之缺陷分佈報告。因為自動分類結果的高純度之故，此一一體的報告可提供系統操作者關於缺陷分佈之最綜合性且精確的視野。舉例而言，在製程控制之應用中(例如在半導體元件製造中)，這種視野是特別重要的。
在某些具體實施例中，第二分類結果(連同對應的缺陷影像)係用於改善自動分類器。舉例而言，用於常發生在預先分類之訓練組中的缺陷之多等級分類器一般將具有高精確性與純度，而用於較不常見的缺陷等級之分類器將具有較低的精確性與較高的拒絕率(由於這些等級係因其低缺陷計數值而未能於訓練資料中良好特徵化)。第二分類結果在改善這些較不常見之缺陷等級之分類器時會特別有用。一旦較不常見之缺陷等級累積至一充足缺陷計數值，則這些較不常見的缺陷等級即可被加入該訓練組，產生較不常見之缺陷等級之精確性與純度的改善。加入較不常見之缺陷等級的結果是，每一缺陷等級之可信度程度亦會增加，且最後減少被拒絕的缺陷數量。
雖然所揭露的具體實施例特別是與半導體晶圓中的缺陷偵測有關，但本發明的原理也可被類似地應用於其他類型的影像特徵之自動分析與分類。此外，雖然這些具體實施例是建立在分類器的某些特定類型與組合上，但在本發明的其他具體實施例中的檢查系統也可使用該領域中所習知之其他類型的分類器。具體而言，藉以將不同的檢查模態整合於 此一系統中之原理係可應用於許多不同的自動與手動分類技術中。
第1圖為根據本發明一具體實施例之用於自動缺陷檢查與分類之系統20的一例示示意說明。一樣品(例如一圖樣化半導體晶圓22)係被插置到一檢查機器24中。此機器可包含例如一掃描式電子顯微鏡(SEM)或一光學檢查裝置、或是該領域中所習知的任何合適種類之檢查設備。機器24一般會複檢晶圓的表面、感測並處理複檢結果，並且輸出檢查資料，包括例如晶圓上的缺陷影像。在一具體實施例中，檢查資料包括在晶圓上所發現的缺陷清單，以及每一個缺陷的位置，連同各缺陷相關之檢查特徵值。檢查特徵包括：例如缺陷的大小、形狀、散射強度、方向性、及/或光譜性質，以及缺陷內容及/或該領域中所習知的任何其他適當特徵。
雖然用語「檢查資料」在本具體實施例中係用於指稱SEM影像及相關的中介資料，但此用語應被更廣義地理解為任何或所有種類的敘述性及特徵性資料，其可被收集且加以處理，以辨識缺陷的特徵，而與用以收集資料的方式無關，亦無關於該資料是否是在整個晶圓上、或是在其部分(例如在各別懷疑位置的附近處)中被擷取。某些具體實施例可應用於藉一檢查系統所辨識之缺陷的分析，該檢查系統係掃瞄晶圓，並提供懷疑缺陷的位置清單。其他具體實施例可應用於由一複檢工具根據一檢查工具所提供之懷疑缺陷位置而重複偵測的缺陷分析。本發明並不限於藉以產生檢查資料的任何特定技術。因此，就半導體應用而言，本發明的具體實施 例係可應用於由一光學檢查系統(例如UVisionTM系統)、一複檢系統(例如SEMVisionTM系統)、或由該領域中所習知之其他種類的檢查系統或模態所產生之資料的分析，其中UVisionTM系統與SEMVisionTM系統皆由應用材料公司所商業供應。
ADC機器26接收並處理由檢查機器24所輸出的檢查資料。若檢查機器24未從晶圓22的影像擷取到所有相關檢查特徵值，則ADC機器26會執行這些影像處理功能。雖然ADC機器26於第1圖中係被繪示為直接連接至檢查機器輸出，但在某些具體實施例中，ADC機器26也可對預先取得之儲存檢查資料進行操作。在替代具體實施例中，ADC機器26的功能性係可整合至檢查機器24中。
ADC機器26係一通用電腦，包括一處理器28以及一使用者介面，該處理器28具有一記憶體30以保持缺陷資訊與分類參數，該使用者介面包括一顯示器32及輸入裝置34。執行ADC機器26的功能之電腦係可專用於ADC功能，或是也可執行其他的計算功能。在一具體實施例中，至少某些本文所述之ADC功能係可由專用或可程式化之硬體邏輯執行。
ADC機器26係運作多個分類器，包括上述單一等級與多等級分類器兩者。為求說明清晰，以下參照機器26與系統20的其他元件來說明具體實施例，但這些具體實施例的原理也可同樣實施於可處理多個缺陷等級或其他不明特徵的任何分類系統中。
第2圖為根據本發明一具體實施例之一特徵空間40的例示示意說明，其中一組缺陷42、44、50、51、56係映射至該特徵空間40。雖然特徵空間40是表示為二維，但本文所述之分類程序一般是在較高維度的空間中進行。第2圖中的缺陷是假設為屬於兩個不同等級，一個是與缺陷42相關(下文將稱為「等級I」)，而另一個是與缺陷44相關(下文將稱為「等級II」)。缺陷42是被邊界52界定在特徵空間40中，而缺陷44則被邊界54界定在特徵空間40中。邊界可以重疊。
一ADC機器可應用兩種類型的分類器來分類缺陷：一多等級分類器與至少一個單一等級分類器。多等級分類器可區分等級I與等級II。在一具體實施例中，多等級分類器係一二元分類器，其於與兩個等級相關的區域之間定義一邊界46。在某些具體實施例中，ADC機器係藉由疊置多個二元分類器而執行多等級分類，其各對應於一對不同的等級，並將每一缺陷指定至自該多個二元分類器接收最正向得票的等級。一旦缺陷已經由多等級分類器予以分類，則單一等級分類器(以邊界52與54予以表示)係辨識出可以被可靠地指定至各別等級的缺陷，同時拒絕在邊界外部的缺陷為「不明」。這些單一等級分類器係於美國專利申請號12/844,724中更詳細說明，並且結合第3圖而在下文中進一步說明。
在某些具體實施例中，ADC機器的一系統操作者係提供了可信度臨界值，其決定在特徵空間40中與缺陷等級相關之區域的邊界的軌跡。為該多等級分類設定可信度臨界值 係可相當於將邊界48放置在邊界46的任一側部上。在某些具體實施例中，可信度臨界值越高，邊界48會將分隔得越遠。ADC機器會拒絕雖位於邊界48之間、但位於邊界52、54內的缺陷為「無法決定」，因為ADC機器無法以所需要的可信度程度將這些缺陷自動指定至一個或另一個等級。在一具體實施例中，無法決定的缺陷係被提供至一人工檢查者(例如系統操作者)以進行分類。在一具體實施例中，無法決定之缺陷係提供至一模態，該模態係加入先前分類器所不用的新知識以進行分類。
在某些具體實施例中，可信度臨界值係控制單一等級分類器的邊界的形狀。該形狀是指一邊界的幾何形狀，亦指邊界的範圍。該形狀係與用於實施單一等級分類器的一核心函數的參數相關聯。就可信度臨界值的每一數值而言，ADC機器係選擇該參數的一最佳數值，如下述將結合第6圖而更詳細說明者。在某些具體實施例中，邊界的範圍係隨可信度臨界值增加而縮減，而邊界的幾何形狀也會因選擇不同的核心參數數值而改變。
返參第2圖，雖然缺陷56已經被該多等級分類器所決定，然缺陷56係落在邊界52與54外部，因而被分類為「不明」缺陷。落在邊界52與54外部且在邊界48之間的缺陷50亦被視為「不明」，因為缺陷50係落在邊界52與54外。在某些具體實施例中，設定一較低可信度臨界值係可充分擴張邊界52及/或54，使得較少的缺陷被ADC機器拒絕。然而，由於設定一較低可信度程度，ADC機器會產生較多的分類誤 差，因而降低分類純度。在某些具體實施例中，增加可信度臨界值會提升分類純度，但會導致較高的拒絕率(有較多的缺陷會被ADC機器拒絕為不明)。
第3A圖為一方塊圖，其說明了根據本發明一具體實施例之ADC機器(例如第2圖的ADC機器26)的功能元件。在某些具體實施例中，自動處理構件60係由第1圖的處理器28來執行，而一人工檢查者70係經由一檢查終端68而與第1圖的ADC機器26互動。自動處理構件60係可實施為例如軟體模組，然至少有某些構件也可替代地實施於硬體羅集中、或實施為硬體與軟體元件的組合。
在某些具體實施例中，係由一處理器(例如第1圖的處理器28)來對一檢查機器(例如第1圖的檢查機器24)所取得之各缺陷影像實施影像處理操作。影像處理操作係擷取缺陷影像之特徵值的向量，例如形狀、紋理以及內文特徵。自動分類器61可對每一個缺陷指定一等級標籤、以及與該等級標籤相關聯的一可信度值。可信度值係表示該缺陷實際屬於所指定之等級的機率。
一比較器66可比較該可信度值與一可信度臨界值。在一具體實施例中，可信度臨界值係由一ADC機器的一操作者所提供。在一替代具體實施例中，可信度臨界值係由ADC機器基於該操作者所指明的一或多個分類性能量度(例如目標純度及/或最大拒絕率)而計算而得。若一給定缺陷的分類的可信度滿足可信度臨界值(拒絕程度臨界值)，則一自動指定模組71會接受該分類為正確。在一具體實施例中， 若分類的可信度並不滿足該可信度臨界值，則該缺陷會被拒絕，並送至終端68以供檢查者70進行視覺分類。在一具體實施例中，係利用其他自動分類程序(例如X光光譜儀等)來分析被拒絕的缺陷。在某些具體實施例中，該可信度臨界值係被決定在於拒絕數和分類結果的純度之間達到平衡。雖然第3A圖是繪示一單一拒絕程度臨界值，但在替代具體實施例中，該系統操作者係可為不同缺陷等級設定不同的拒絕程度臨界值或可信度臨界值。
整合邏輯72可接收來自模組71的自動分類結果與來自終端68的視覺分類之分類結果，並可產生一整合報告74。報告74可被呈現於例如顯示器32上，且可顯示不同缺陷等級中之缺陷分佈。在某些具體實施例中，與較常見的缺陷類型有關的分佈部分是來自於自動分類程序，而較不常見的缺陷類型則是經視覺性分類。報告74係提供系統操作者一測試樣品之完整描述，其具有最佳之純度等級。
在某些具體實施例中，整合邏輯72在處理檢查過程中所收集的資訊可被應用改善分類器61(如第3A圖中從整合邏輯72至分類器61的虛線所表示)。舉例而言，邏輯72係整合人工檢查者70及/或其他自動分類程序所提供的分類結果，以調整等級邊界。在某些具體實施例中，整合邏輯72累積一較不常見等級之視覺分類結果，以定義該較不常見等級之可靠自動分類器。在這些具體實施例中，一旦累積到一預定量之視覺分類結果，該較不常見等級即被加入由分類器61與自動指定模組71自動處理的等級群組中。
第3B圖是根據本發明一具體實施例之一分類器(例如第3A圖的分類器61)的例示方塊圖。分類器可包括多等級分類器62以及一或多個單一等級分類器64。在一具體實施例中，該分類器可針對一ADC系統中的每一個缺陷等級都包括一單一等級分類器64。在一替代具體實施例中，一單一等級分類器64係可用於一個以上的缺陷等級。
多等級分類器62可處理每一個缺陷之特徵值的向量，以選出該缺陷之一缺陷等級、或拒絕該缺陷而為無法決定或不明。在一具體實施例中，多等級分類器62係一支援向量機。在一替代具體實施例中，多等級分類器62係具有與一支援向量機類似性質之分類器。
單一等級分類器64可對單一等級分類器64代表的等級之一或多個拒絕規則檢查一缺陷的特徵。單一等級分類器64的運作係結合第6圖而更詳細加以說明，且單一等級分類器64的某些構想係亦說明於上述美國專利申請案12/844,724中。
第4圖是根據本發明一具體實施例之特徵空間80的例示示意說明，其繪示了一給定缺陷等級之邊界84、86、88、90。在某些具體實施例中，每一邊界84、86、88、90係對應於不同的可信度臨界值。在某些具體實施例中，每一邊界84、86、88、90係對應於一不同拒絕率或等級百分位統計值。舉例而言，藉由取得一高可信度臨界值而產生內邊界84，使得落在邊界84內的缺陷將以高純度而屬於該給定缺陷等級。在此實例中，落在邊界84外部的缺陷將被拒絕作為「不明」， 使得有高比例的缺陷會被送到一人工檢查者或另一檢查模態，雖然這些「不明」缺陷中的許多實際上是屬於該給定等級。每一邊界86、88、90可對應於一較低的可信度臨界值與較低的純度，以及一較低拒絕率。
將第4圖所代表的分類器應用至一缺陷82係導致缺陷82之一特定可信度值的計算。可信度值可與缺陷82屬於該等級的機率相應。當分類器選擇由邊界88所代表的可信度臨界值時，缺陷82將被拒絕為屬於該分類器所表示之等級。然而，當分類器選擇由邊界88所代表的可信度臨界值時，缺陷82將被接受為屬於該分類器所代表之等級。針對一缺陷等級之拒絕規則而定義邊界的方式係結合第6圖而進一步加以說明。
第5圖是根據本發明一具體實施例之分類純度的一例示示意圖，其中分類純度為拒絕率的函數。在某些具體實施例中，其他的分類與等級擷取方式對其穩定度或可靠度指標將具有類似的相關性。一ADC機器係根據訓練資料的實際分類結果產生一圖表。為此目的，該ADC機器可於訓練資料中的一組缺陷上比較自動分類結果與一人工檢查者所進行的「黃金標準」(印證組)視覺分類。該比較係針對不同的可信度臨界值(相應地具有不同的拒絕率)而進行。當所有的缺陷都由該ADC機器以零拒絕率而自動分類時，分類的純度會是低的，這是因為該機器被要求要分類許多可疑的缺陷。然而，選擇一高拒絕率會提供高分類純度，但會導致需要人工檢查者花費大量的時間對被ADC機器分類為「不明」之缺 陷進行視覺分類。
該ADC機器的操作者(例如人工檢查者)係使用如第5圖所示的圖表來選擇將提供所需要的純度程度之一拒絕率、或評估將因設定一特定拒絕率而產生的分類純度。
第6圖是根據本發明一具體實施例之一特徵高維空間的例示示意圖，其說明了由一ADC機器所使用的單一等級分類器。在一具體實施例中，該單一等級分類器係基於一單類支援向量機(OCSVM)，其定義了與所論及等級之一特定可信度程度相關聯的一等級邊界(例如第4圖中的邊界84、86、88、90)。若一缺陷落在該等級邊界內，則該缺陷係以此可信度程度而被視為屬於該等級。否則，該缺陷會被分類為不明。
在一具體實施例中，OCSVM係一基礎SVM演算法的非線性核心式版本。核心(舉例而言，例如高斯核心)可被用以將輸入缺陷資料轉換至定義分類器的一高維度空間。核心產生了非線性分離器，但是在核心空間內，其係建構一線性方程式。具體而言，一ADC機器係利用映射Φ：R d →H而將資料映射至一無限歐幾里德特徵空間H(一希爾伯特空間)。舉例而言，缺陷X i 與X j (以其特徵向量來表示)之高斯核心函數K係定義為使得： 在此，γ是一可變核心參數，其數值決定了在特徵空間中對應於所論及等級的區域的形狀(大小與形式)。一給定缺陷x 之單一等級決定數值為： 其中{x i }為訓練向量組，α i 為拉格朗乘數(Lagrange multipliers)，而b為距離參數。對於具有核心函數K的等級而言，公式(2)的數值為非負值之缺陷係被視為在該等級中，而數值為負值之缺陷則為「不明」。此計算種類與計算參數設定的細節為該領域中所習知。
第6圖說明了特徵空間H，其中訓練資料係被映射至一超球面S (O,r=1)上。OCSVM演算法定義了一超平面W H，其係正交於該超球面中離原點O一段距離b處的一有向半徑w，亦即〈w,W〉 H -b=0。在所論及等級中的缺陷44係位於邊界點100之間的超球面上，其代表支撐向量。在訓練階段中，ADC機器可取得將為一給定可靠度臨界值提供最小球冠(最小θ)的支撐向量。此操作係相當於使距離b最大化。在訓練OCSVM分類器之後，「不明」的缺陷56將被發現位於超平面W的遠側(在本例中是相距一距離ξ i )。
就單一等級分類器的最佳性能而言(亦即，在一給定拒絕率下之自動分類結果的最大純度)，核心函數的形狀係可結合於可靠度臨界值的改面而改變。此形狀改變(其係藉由改變參數數值μ而完成)係相當於改變超平面W的取向角θ，如第6圖所示。此一改變可產生一不同等級可靠度邊界。第6圖說明了兩個超平面，其分別具有邊界點(支撐向量)100及104、以及參數μ1和μ2。第二超平面的取向係接受已 經被第一超平面拒絕為「不明」的一額外缺陷102。
第6圖中所示之每一超平面之可靠度臨界值係被提供一個別參數μ1、μ2。對於μ的一給定數值而言，對應核心性質係藉由對訓練資料組解出下列最小化問題而決定： 受到的限制為： 其中k為訓練組的大小(亦即，用於產生分類器的預先分類之缺陷影像的數量)，且ξ i 為每一缺陷之分類誤差值。
公式(3)的問題可被重訂為對拉格朗乘數的向量α之一最小化問題： 受到的限制為e T α=μ．k，且對於所有的i而言，0 α i 1。在此，e為向量<1,1,1,...,1>，而Q為kxk之正半有限矩陣，為：
問題(5)的解為針對可靠度臨界值的每一個數值μ之一組參數分類規則(也稱之為拒絕規則)。規則係具有一般形式：{x 1 ,...,x k ,α 1 ,..,α k ,b,γ}。一ADC機器係可自動選擇核心參數γ的最佳值，其於特徵空間中產生對應於該等級之區域的適當形狀，如核心函數所提供者。分類規則的參數係於公式(2)中對每一個新的缺陷x使用。
第7圖為根據本發明一具體實施例之用於設定分類 器核心函數的方法之具體實施例的流程圖。該方法係藉由處理邏輯而執行，該處理邏輯包括硬體(電路、專用邏輯等)、軟體(例如在一通用電腦系統或一專用機器上所運行者)、或其組合。在一具體實施例中，該方法係由第1圖的ADC機器26所執行。
在方塊110中，處理邏輯係為有興趣的每一缺陷等級接收一組預先分類之資料，並為可靠度臨界值(例如μ)與核心參數(例如γ)的數個不同數值中的每一個之訓練資料解出一方程式(例如第6圖的問題5)。處理邏輯計算每一數值對(μ,γ)的拒絕率(亦即測試組中被分類為「不明」的缺陷之百分率)。
在方塊112處，處理邏輯根據方塊110的結果而選擇與每一個μ使用之γ的最佳數值。γ的最佳數值係以各種方式予以定義，端視於系統與應用需求而定。在一具體實施例中，係選擇在對訓練資料應用分類器時可提供最接近μ值之實際拒絕率的γ值。舉例而言，若μ是設定為0.1，則γ的最佳值為可提供10%之拒絕率的數值。在此具體實施例中，此定義是特別有用處的，因為其提供系統操作者在該拒絕率上之精確控制，並同時使分類器所接受的缺陷分類純度最佳化。在某些具體實施例中，針對μ的一預定數值組中的每一個重複方塊110與112，且處理邏輯對不同的γ值執行檢索，直到其發現最佳值為止。
在一具體實施例中，若於測試組上所計算的實際拒絕率與μ值之間的差異不大於最佳γ選擇之一特定預定餘 裕，則處理邏輯即決定對於所論及之可靠度程度μ而言，此一缺陷等級並無最佳化。在此一具體實施例中，處理邏輯會對系統操作者提供對於此等級不要使用該預定特定拒絕率之建議。處理邏輯會進一步對系統操作者提供選擇一不同拒絕率(例如一或多個鄰近拒絕率)之建議。在某些具體實施例中，並未針對小缺陷等級(其中訓練組是小的)發現最佳的γ值。在某些具體實施例中，在已經由人工檢查者視覺分類出該缺陷等級的其他缺陷之後，這些其他缺陷會被加入訓練組中，並接著重複方塊110與112以改良所論及之等級之自動分類規則。
返參第4圖，邊界84、86、88、90中的每一個都對應於一不同數值對(μ,γ)。舉例而言，
●邊界84-μ=0.6、γ=0.2
●邊界86-μ=0.2、γ=0.1
●邊界88-μ=0.15、γ=0.03
●邊界90-μ=0.1、γ=0.01 一給定缺陷的可靠度數值係由最靠近邊界(缺陷係落於該邊界外部)的可靠度臨界值μ所提供；因此，在此實例中，缺陷82之可靠度數值為P=0.15。
現返回第7圖，在方塊114處，處理邏輯係利用γ的最佳值而為每一個可靠度臨界值μ計算拒絕率{x 1 ,...,x k ,α 1 ,..,α k ,b,γ}。
在方塊116處，處理邏輯將拒絕率應用至訓練資料，以辨別每一個μ之拒絕率，以及每一個μ之自動分類純 度。在一具體實施例中，係以圖形來表示對訓練資料應用拒絕規則的結果，如上述結合第5圖之說明。在一替代具體實施例中，對訓練資料應用拒絕規則的結果係列印為一文字報告。針對每一缺陷等級而對訓練資料應用拒絕規則的結果係可使系統操作者去選擇例如將提供所需要的分類純度之拒絕率，且反之亦然。
第8圖說明了在一電腦系統800的例示形式中之一機器的圖示，在該電腦系統800中係執行用於使該機器執行本文所述之任一或多個方法的一組指令。在替代具體實施例中，該機器係連接(例如網路連接)至一LAN、一內部網路、一外部網路或網際網路中的其他機器。該機器係在客戶端-伺服器網路環境中之一伺服器或一客戶端機器的容量下操作，或是在一點對點(或散佈式)網路環境中作為一點機器。該機器係一個人電腦(PC)、一平板PC、一機上盒(STB)、一個人數位助理(PDA)、一行動電話、一網路應用裝置、一伺服器、一網路路由器、切換器或橋接器、或能夠執行指明由該機器所進行之動作的一組指令(依序或其他方式)的任何機器。此外，雖然僅說明一單一機器，但用語「機器」也應視為包括可個別地或結合地執行一組(或多組)指令以執行本文所述之任一或多個方法的任何機器集合。
例示電腦系統800包括一處理裝置(處理器)802、一主記憶體804(例如唯讀記憶體(ROM)、快閃記憶體、動態隨機存取記憶體(DRAM)(如同步DRAM(SDRAM)、雙倍資料率(DDR)SDRAM或DRAM(RDRAM)等))、一靜 態記憶體806(例如快閃記憶體、靜態隨機存取記憶體(SRAM)等)、以及一資料儲存裝置818，其係經由一匯流排830而彼此進行傳輸。
處理器802代表一或多個通用處理裝置，例如微處理器、中央處理單元等。更特定地，該處理器802係一複雜指令集計算(CISC)微處理器、精簡指令集計算(RISC)微處理器、超長指令字(VLIW)微處理器、或執行其他指令集之一處理器或是執行指令集組合的處理器。處理器802也可以是一或多個專用處理裝置，例如一專用積體電路(ASIC)、一場可編程閘極陣列(FPGA)、一數位訊號處理器(DSP)、網路處理器等。處理器802係配置以執行用於執行本文所述操作與步驟之指令822。
電腦系統800係更包括一網路介面裝置808。電腦系統800也包含一影音顯示器單元810(例如一液晶顯示器(LCD)或一陰極射線管(CRT))、一字母數字輸入裝置812(例如鍵盤)、一游標控制裝置814(例如滑鼠)、以及一訊號產生裝置816(例如揚聲器)。
資料儲存裝置818係包括一電腦可讀取之儲存媒介824，其上儲存有可具現本文所述之任一或多個方法或功能的一或多組指令822(例如軟體)。在由電腦系統800執行指令822期間，指令822也可完全或至少部分存在於主記憶體804內及/或處理器802內，主記憶體804與處理器802亦構成電腦可讀取之儲存媒介。指令822係進一步經由網路介面裝置808而於網路820上被傳送或接收。
在一具體實施例中，指令822包括整合自動與手動缺陷分類之指令及/或含有可呼叫包含整合自動與手動缺陷分類之指令的一模組之方法的一軟體程式庫。在一具體實施例中，指令822包括整合自動與手動缺陷分類之指令及/或含有可呼叫用於整合自動與手動缺陷分類之指令的一軟體程式庫。雖然在例示具體實施例中，電腦可讀取之儲存媒介824(機器可讀取之儲存媒介)係繪示為一單一媒介，然用語「電腦可讀取之儲存媒介」應該是被視為包括儲存該一或多組指令之一單一媒介或多個媒介(例如一集中式或散佈式資料庫、及/或相關之快取和伺服器)。用語「電腦可讀取之媒介」也應被視為包括可儲存、編碼或傳載一組指令以由該機器執行以及可使該機器執行本發明中任一或多個方法的任何媒介。因此，用語「電腦可讀取之儲存媒介」應被視為包括、但不限於固態記憶體、光學媒介、以及磁性媒介。
在前述說明中係已提出各種細節。然而，基於本文教示，熟習該領域技術人士顯可在沒有這些具體細節下實施本發明。在某些例子中，習知結構與裝置係以方塊圖的形式、而非細部加以繪示，以避免混淆本發明。
詳細說明中的某些部分係已以演算法和一電腦記憶體內的資料位元上之操作符號圖示來呈現。這些演算法說明與圖示為資料處理領域中之技術人士所用以對該領域中其他技術人士最有效傳達其工作本質的方式。在本文中、以及一般情況中，演算法係可導致一所需結果之自身一致的步驟序列。這些步驟需要物理量之實體操作。通常、但非必要，這 些物理量是利用可以被儲存、傳輸、組合、比較、或者是操縱的電氣或磁性訊號。基於共同使用之理由，已經證明這些訊號為位元、數值、元素、符號、字元、用語、數字等實是便利的。
然而，應謹記所有的這些與類似用語都與適當的物理量相關，且僅為應用至這些實體之便利標籤。除非從後續討論中另外具體陳述，否則應知在整個說明內容中，使用到例如「辨識」、「呈現」、「更新」、「決定」、「執行」、「提供」、「接收」等之用語係指一電腦系統、或是類似的電子計算裝置之動作與程序，其係操作在該電腦系統的暫存器與記憶體內以物理(例如電子)量來呈現之資料，並將該資料轉換為在該電腦系統記憶體或暫存器或其他此類資訊儲存、傳輸或顯示裝置內以物理量類似呈現之其他資料。
本發明也與一種用於執行本文所述操作的設備有關。此設備係為所欲目的而建置，或是可包含由儲存在電腦內之一電腦程式予以選擇性地啟動或重新組態的一通用電腦。此一電腦程式係儲存於一電腦可讀取之儲存媒介中，例如、但不限於：任何類型的碟片，包括軟碟片、光碟片、CD-ROM、以及磁光碟片、唯讀記憶體(ROMs)、隨機存取記憶體(RAMs)、EPROM、EEPROM、磁性或光學卡、或是適合儲存電子指令的任何媒介類型。
應理解上述內容僅為說明、而非限制之用。該領域技術人士在閱讀及理解上述內容後將可得知許多其他具體實施例。因此，本發明之範疇因參照如附申請專利範圍、連同 這些請求項所請之等效例的所有範圍來加以決定。
110-116‧‧‧方塊

Claims (20)

  1. 一種用於缺陷分類之方法，包括：在一電腦系統儲存一特徵空間中的一區域之一定義，其中該定義係與一缺陷等級相關並包括一核心函數，該核心函數包含一參數，其中該參數決定該區域之一形狀；由該電腦系統接收與該等級相關的至少一個缺陷的自動分類之一可靠度臨界值；由該電腦系統選擇與該可靠度臨界值相關之該參數之一數值；由該電腦系統接收與在檢查時於一或多個樣品中所檢測之複數個缺陷有關之檢查資料；及由該電腦系統利用該核心函數與所選擇之該參數之數值來自動分類該等級之該複數個缺陷。
  2. 如請求項1所述之方法，其中選擇該數值包括：使複數個可靠度程度中的每一個與複數個參數數值中的一獨特參數數值相關聯；及選擇與該可靠度臨界值相關聯之參數數值。
  3. 如請求項2所述之方法，其中使該複數個可靠度程度相關聯包括：對訓練資料應用該核心函數，以使用該複數個參數數值來取得一組訓練結果；及根據該訓練結果，對每一個可靠度程度指定一最佳化參 數數值。
  4. 如請求項3所述之方法，其中對每一可靠度程度指定該最佳化參數數值包括：為各可靠度臨界值選擇一參數數值，以導致於使用該核心函數之一訓練資料自動分類期間拒絕與該可靠度臨界值相應之該複數個缺陷中之一子集合。
  5. 如請求項1所述之方法，其中在該特徵空間中之該區域係由包含該核心函數之一單類支援向量機所限定，且其中自動分類該複數個缺陷係包括利用該單類支援向量機區分屬於該等級之複數個第一缺陷以及被分類對該等級為不明缺陷之複數個第二缺陷。
  6. 如請求項5所述之方法，其中自動分類該複數個缺陷包括應用一多等級支援向量機以對一各別缺陷等級指定每一個缺陷，並且辨識至少一個無法決定之缺陷，其中該無法決定之缺陷係位於該特徵空間中至少兩個缺陷等級的複數個區域之間的一重疊區域中。
  7. 如請求項5所述之方法，其中該單類支援向量機係定義了該檢查資料之一映射至對該特徵空間中的一超球面，且其中該可靠度程度與該參數的數值係定義了一超平面，該超平面係分割該超球面以產生一超球冠，其中該超球冠係映射至 含有被分類為屬於該等級之該複數個缺陷的特徵空間中的一區域。
  8. 一種缺陷分類設備，包括：一記憶體，配置以儲存一特徵空間中之一區域的一定義，其中該定義係與依缺陷等級相關，並包括一核心函數，該核心函數包括一參數，其中該參數係決定該區域的一形狀；及一處理器，配置以接收與該等級相關之至少一缺陷的自動分類之一可靠度臨界值，以選擇與該可靠度臨界值相關之該參數的一數值，以接收在檢查時於一或多個樣品中偵測到的複數個缺陷之檢查資料，以及以所選擇之該參數的數值使用該核心函數來自動分類該複數個缺陷。
  9. 如請求項8所述之設備，其中該處理器係配置以使複數個可靠度程度中的每一個與複數個參數數值中的一獨特參數數值相關聯，並選擇與該可靠度臨界值相關聯之參數數值。
  10. 如請求項9所述之設備，其中該處理器係配置以對訓練資料應用該核心函數，以使用該複數個參數數值來取得一組訓練結果，並根據該訓練結果，對每一個可靠度程度指定一最佳化參數數值。
  11. 如請求項10所述之設備，其中該處理器係配置以為各可 靠度臨界值選擇一參數數值，以導致於使用該核心函數之一訓練資料自動分類期間拒絕與該可靠度臨界值相應之該複數個缺陷中之一子集合。
  12. 如請求項8所述之設備，其中在該特徵空間中之該區域係由包含該核心函數之一單類支援向量機所限定，且其中自動分類該複數個缺陷係包括利用該單類支援向量機區分屬於該等級之複數個第一缺陷以及被分類對該等級為不明缺陷之複數個第二缺陷。
  13. 如請求項8所述之設備，其中該處理器係配置以應用一多等級支援向量機以對一各別缺陷等級指定每一個缺陷，並且辨識至少一個無法決定之缺陷，其中該無法決定之缺陷係位於該特徵空間中至少兩個缺陷等級的複數個區域之間的一重疊區域中。
  14. 如請求項12所述之設備，其中該單類支援向量機係定義了該檢查資料之一映射至對該特徵空間中的一超球面，且其中該可靠度程度與該參數的數值係定義了一超平面，該超平面係分割該超球面以產生一超球冠，其中該超球冠係映射至含有被分類為屬於該等級之該複數個缺陷的特徵空間中的一區域。
  15. 一種非暫態電腦可讀取儲存媒介，其具有再由一處理裝 置執行時可使該處理裝置執行缺陷分類操作之指令，包括：在一電腦系統儲存一特徵空間中的一區域之一定義，其中該定義係與一缺陷等級相關並包括一核心函數，該核心函數包含一參數，其中該參數決定該區域之一形狀；接收與該等級相關的至少一個缺陷的自動分類之一可靠度臨界值；選擇與該可靠度臨界值相關之該參數之一數值；接收與在檢查時於一或多個樣品中所檢測之複數個缺陷有關之檢查資料；及利用該核心函數與所選擇之該參數之數值來自動分類該等級之該複數個缺陷。
  16. 如請求項15所述之非暫態電腦可讀取儲存媒介，其中該處理裝置更執行下列操作：使複數個可靠度程度中的每一個與複數個參數數值中的一獨特參數數值相關聯；選擇與該可靠度臨界值相關聯之參數數值；對訓練資料應用該核心函數，以使用該複數個參數數值來取得一組訓練結果；及根據該訓練結果，對每一個可靠度程度指定一最佳化參數數值。
  17. 如請求項16所述之非暫態電腦可讀取儲存媒介，其中該處理裝置更進一步執行下列步驟： 為各可靠度臨界值選擇一參數數值，以導致於使用該核心函數之一訓練資料自動分類期間拒絕與該可靠度臨界值相應之該複數個缺陷中之一子集合。
  18. 如請求項15所述之非暫態電腦可讀取儲存媒介，其中在該特徵空間中之該區域係由包含該核心函數之一單類支援向量機所限定，且其中自動分類該複數個缺陷係包括利用該單類支援向量機區分屬於該等級之複數個第一缺陷以及被分類對該等級為不明缺陷之複數個第二缺陷。
  19. 如請求項18所述之非暫態電腦可讀取儲存媒介，其中該處理裝置更進一步執行下列操作：應用一多等級支援向量機以對一各別缺陷等級指定每一個缺陷，並且辨識至少一個無法決定之缺陷，其中該無法決定之缺陷係位於該特徵空間中至少兩個缺陷等級的複數個區域之間的一重疊區域中。
  20. 如請求項18所述之非暫態電腦可讀取儲存媒介，其中該單類支援向量機係定義了該檢查資料之一映射至對該特徵空間中的一超球面，且其中該可靠度程度與該參數的數值係定義了一超平面，該超平面係分割該超球面以產生一超球冠，其中該超球冠係映射至含有被分類為屬於該等級之該複數個缺陷的特徵空間中的一區域。
TW102114047A 2012-04-19 2013-04-19 用於自動缺陷分類之不明缺陷拒絕率之最佳化 TWI585397B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/451,500 US9715723B2 (en) 2012-04-19 2012-04-19 Optimization of unknown defect rejection for automatic defect classification

Publications (2)

Publication Number Publication Date
TW201350836A true TW201350836A (zh) 2013-12-16
TWI585397B TWI585397B (zh) 2017-06-01

Family

ID=49380168

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102114047A TWI585397B (zh) 2012-04-19 2013-04-19 用於自動缺陷分類之不明缺陷拒絕率之最佳化

Country Status (4)

Country Link
US (1) US9715723B2 (zh)
JP (2) JP2013224942A (zh)
KR (1) KR102110755B1 (zh)
TW (1) TWI585397B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI601098B (zh) * 2014-12-15 2017-10-01 思可林集團股份有限公司 影像分類裝置及影像分類方法
TWI675306B (zh) * 2016-12-12 2019-10-21 美商應用材料股份有限公司 在半導體元件的製造流程中利用自適應機器學習的自動缺陷篩選
CN112577970A (zh) * 2019-09-30 2021-03-30 深圳中科飞测科技股份有限公司 一种检测方法、检测设备的对准方法以及检测设备
TWI747967B (zh) * 2016-10-14 2021-12-01 美商克萊譚克公司 用於經組態用於半導體應用之深度學習模型之診斷系統及方法

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103295024B (zh) * 2012-02-29 2017-03-01 佳能株式会社 分类与对象检测方法和装置以及图像拍摄和处理设备
US9262726B2 (en) * 2013-01-17 2016-02-16 Applied Materials, Inc. Using radial basis function networks and hyper-cubes for excursion classification in semi-conductor processing equipment
CN105849643B (zh) 2013-12-17 2019-07-19 Asml荷兰有限公司 良品率估计和控制
JP6156126B2 (ja) * 2013-12-19 2017-07-05 富士通株式会社 検索方法、検索プログラムおよび検索装置
US11210604B1 (en) 2013-12-23 2021-12-28 Groupon, Inc. Processing dynamic data within an adaptive oracle-trained learning system using dynamic data set distribution optimization
US10614373B1 (en) 2013-12-23 2020-04-07 Groupon, Inc. Processing dynamic data within an adaptive oracle-trained learning system using curated training data for incremental re-training of a predictive model
US10657457B1 (en) 2013-12-23 2020-05-19 Groupon, Inc. Automatic selection of high quality training data using an adaptive oracle-trained learning framework
US20150332167A1 (en) * 2014-05-13 2015-11-19 Tokyo Electron Limited System and method for modeling and/or analyzing manufacturing processes
US10650326B1 (en) * 2014-08-19 2020-05-12 Groupon, Inc. Dynamically optimizing a data set distribution
US9286675B1 (en) * 2014-10-23 2016-03-15 Applied Materials Israel Ltd. Iterative defect filtering process
US10339468B1 (en) 2014-10-28 2019-07-02 Groupon, Inc. Curating training data for incremental re-training of a predictive model
US9791929B2 (en) * 2014-10-31 2017-10-17 Elwha Llc Tactile control system
US10650508B2 (en) 2014-12-03 2020-05-12 Kla-Tencor Corporation Automatic defect classification without sampling and feature selection
US20160189055A1 (en) * 2014-12-31 2016-06-30 Applied Materials Israel Ltd. Tuning of parameters for automatic classification
US9898811B2 (en) * 2015-05-08 2018-02-20 Kla-Tencor Corporation Method and system for defect classification
WO2017168630A1 (ja) * 2016-03-30 2017-10-05 株式会社日立ハイテクノロジーズ 欠陥検査装置、欠陥検査方法
CN107450968B (zh) * 2016-05-31 2020-09-08 华为技术有限公司 负载还原方法、装置和设备
CN109564166A (zh) * 2016-07-08 2019-04-02 Ats自动化加工系统公司 用于自动和人工的组合检查的系统和方法
US11366068B2 (en) 2016-11-14 2022-06-21 Koh Young Technology Inc. Inspection apparatus and operating method thereof
KR20180054063A (ko) * 2016-11-14 2018-05-24 주식회사 고영테크놀러지 검사체에 대한 양부 판정 조건을 조정하는 방법 및 장치
TWI608369B (zh) * 2016-11-23 2017-12-11 財團法人工業技術研究院 分類方法、分類模組及電腦程式產品
JP6902396B2 (ja) * 2017-05-25 2021-07-14 日東電工株式会社 画像分類機能付製造装置
US11032300B2 (en) 2017-07-24 2021-06-08 Korea University Research And Business Foundation Intrusion detection system based on electrical CAN signal for in-vehicle CAN network
US11037286B2 (en) * 2017-09-28 2021-06-15 Applied Materials Israel Ltd. Method of classifying defects in a semiconductor specimen and system thereof
WO2019069865A1 (ja) * 2017-10-03 2019-04-11 日本電気株式会社 パラメータ推定システム、パラメータ推定方法およびパラメータ推定プログラム記録媒体
DE102018109816B3 (de) * 2018-04-24 2019-10-24 Yxlon International Gmbh Verfahren zur Gewinnung mindestens eines signifikanten Merkmals in einer Serie von Bauteilen gleichen Typs und Verfahren zur Klassifikation eines Bauteils eienr solchen Serie
US10748271B2 (en) * 2018-04-25 2020-08-18 Applied Materials Israel Ltd. Method of defect classification and system thereof
US10769770B2 (en) * 2018-05-07 2020-09-08 Cummins Enterprise Llc Quality monitoring system and quality monitoring method for fuel cell manufacturing line and quality monitoring system for manufacturing line
JP2019204232A (ja) * 2018-05-22 2019-11-28 株式会社ジェイテクト 情報処理方法、情報処理装置、及びプログラム
CN108776808A (zh) * 2018-05-25 2018-11-09 北京百度网讯科技有限公司 一种用于检测钢包溶蚀缺陷的方法和装置
US11151706B2 (en) * 2019-01-16 2021-10-19 Applied Material Israel, Ltd. Method of classifying defects in a semiconductor specimen and system thereof
JP7390851B2 (ja) * 2019-10-18 2023-12-04 株式会社日立ハイテク 欠陥分類装置、欠陥分類プログラム
CN110910021A (zh) * 2019-11-26 2020-03-24 上海华力集成电路制造有限公司 一种基于支持向量机监控在线缺陷的方法
US11150200B1 (en) 2020-06-15 2021-10-19 Mitutoyo Corporation Workpiece inspection and defect detection system indicating number of defect images for training
US11430105B2 (en) 2020-06-15 2022-08-30 Mitutoyo Corporation Workpiece inspection and defect detection system including monitoring of workpiece images
DE102020208474B4 (de) 2020-07-07 2022-01-27 Robert Bosch Gesellschaft mit beschränkter Haftung Messung der Empfindlichkeit von Klassifikatoren anhand zusammenwirkender Störungen
US11404244B1 (en) * 2021-02-10 2022-08-02 Applied Materials Israel Ltd. High-resolution x-ray spectroscopy surface material analysis
US11501951B1 (en) 2021-05-14 2022-11-15 Applied Materials Israel Ltd. X-ray imaging in cross-section using un-cut lamella with background material
US11756186B2 (en) 2021-09-15 2023-09-12 Mitutoyo Corporation Workpiece inspection and defect detection system utilizing color channels
CN114119472A (zh) * 2021-10-21 2022-03-01 东方晶源微电子科技（北京）有限公司 缺陷分类方法和装置、设备及存储介质
CN114998315B (zh) * 2022-07-18 2022-11-01 东声(苏州)智能科技有限公司 基于深度学习的缺陷检测模型的训练方法和装置
WO2024036552A1 (en) * 2022-08-18 2024-02-22 Applied Materials, Inc. Method for defect review measurement on a substrate, apparatus for imaging a substrate, and method of operating thereof

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5923430A (en) 1993-06-17 1999-07-13 Ultrapointe Corporation Method for characterizing defects on semiconductor wafers
US8144368B2 (en) 1998-01-20 2012-03-27 Digimarc Coporation Automated methods for distinguishing copies from original printed objects
US5991699A (en) 1995-05-04 1999-11-23 Kla Instruments Corporation Detecting groups of defects in semiconductor feature space
US6292582B1 (en) 1996-05-31 2001-09-18 Lin Youling Method and system for identifying defects in a semiconductor
US6148099A (en) * 1997-07-03 2000-11-14 Neopath, Inc. Method and apparatus for incremental concurrent learning in automatic semiconductor wafer and liquid crystal display defect classification
US6195458B1 (en) 1997-07-29 2001-02-27 Eastman Kodak Company Method for content-based temporal segmentation of video
US6996549B2 (en) * 1998-05-01 2006-02-07 Health Discovery Corporation Computer-aided image analysis
WO2002095534A2 (en) * 2001-05-18 2002-11-28 Biowulf Technologies, Llc Methods for feature selection in a learning machine
US6256093B1 (en) 1998-06-25 2001-07-03 Applied Materials, Inc. On-the-fly automatic defect classification for substrates using signal attributes
US6650779B2 (en) * 1999-03-26 2003-11-18 Georgia Tech Research Corp. Method and apparatus for analyzing an image to detect and identify patterns
US6922482B1 (en) 1999-06-15 2005-07-26 Applied Materials, Inc. Hybrid invariant adaptive automatic defect classification
US6763130B1 (en) 1999-07-21 2004-07-13 Applied Materials, Inc. Real time defect source identification
US6577757B1 (en) 1999-07-28 2003-06-10 Intelligent Reasoning Systems, Inc. System and method for dynamic image recognition
JP2001156135A (ja) 1999-11-29 2001-06-08 Hitachi Ltd 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法
US6999614B1 (en) 1999-11-29 2006-02-14 Kla-Tencor Corporation Power assisted automatic supervised classifier creation tool for semiconductor defects
US20020164070A1 (en) 2001-03-14 2002-11-07 Kuhner Mark B. Automatic algorithm generation
US7127099B2 (en) 2001-05-11 2006-10-24 Orbotech Ltd. Image searching defect detector
US20020174344A1 (en) * 2001-05-18 2002-11-21 Imprivata, Inc. System and method for authentication using biometrics
JP3726263B2 (ja) 2002-03-01 2005-12-14 ヒューレット・パッカード・カンパニー 文書分類方法及び装置
US20040034612A1 (en) * 2002-03-22 2004-02-19 Nick Mathewson Support vector machines for prediction and classification in supply chain management and other applications
JP4118703B2 (ja) * 2002-05-23 2008-07-16 株式会社日立ハイテクノロジーズ 欠陥分類装置及び欠陥自動分類方法並びに欠陥検査方法及び処理装置
US7020337B2 (en) * 2002-07-22 2006-03-28 Mitsubishi Electric Research Laboratories, Inc. System and method for detecting objects in images
US7359544B2 (en) 2003-02-12 2008-04-15 Kla-Tencor Technologies Corporation Automatic supervised classifier setup tool for semiconductor defects
US7602962B2 (en) * 2003-02-25 2009-10-13 Hitachi High-Technologies Corporation Method of classifying defects using multiple inspection machines
US7756320B2 (en) 2003-03-12 2010-07-13 Hitachi High-Technologies Corporation Defect classification using a logical equation for high stage classification
US9002497B2 (en) 2003-07-03 2015-04-07 Kla-Tencor Technologies Corp. Methods and systems for inspection of wafers and reticles using designer intent data
US7106434B1 (en) 2003-07-28 2006-09-12 Kla-Tencor Technologies, Inc. Inspection tool
JP2007503034A (ja) * 2003-08-19 2007-02-15 フロインホーファー−ゲゼルシャフト ツール フェルデルング デア アンゲヴァンテン フォルシュング イー ファウ データストリーム中の異常オブジェクトを自動的にオンラインで検出及びクラス分類するための方法及び装置
US7490071B2 (en) 2003-08-29 2009-02-10 Oracle Corporation Support vector machines processing system
JP2005158780A (ja) 2003-11-20 2005-06-16 Hitachi Ltd パターン欠陥検査方法及びその装置
JP2005198970A (ja) * 2004-01-19 2005-07-28 Konica Minolta Medical & Graphic Inc 医用画像処理装置
US20050175243A1 (en) 2004-02-05 2005-08-11 Trw Automotive U.S. Llc Method and apparatus for classifying image data using classifier grid models
US7609893B2 (en) 2004-03-03 2009-10-27 Trw Automotive U.S. Llc Method and apparatus for producing classifier training images via construction and manipulation of a three-dimensional image model
US20060009011A1 (en) 2004-07-06 2006-01-12 Gary Barrett Method for recycling/reclaiming a monitor wafer
US7188050B2 (en) 2004-08-25 2007-03-06 Siemens Corporate Research, Inc. Method and apparatus for detecting out-of-range conditions in power generation equipment operations
US7450766B2 (en) 2004-10-26 2008-11-11 Hewlett-Packard Development Company, L.P. Classifier performance
CN101536011B (zh) 2005-01-21 2013-01-09 光子动力学公司 自动缺陷修复系统
JP4654093B2 (ja) 2005-08-31 2011-03-16 株式会社日立ハイテクノロジーズ 回路パターン検査方法及びその装置
JP4776308B2 (ja) 2005-09-05 2011-09-21 株式会社東京精密 画像欠陥検査装置、画像欠陥検査システム、欠陥分類装置及び画像欠陥検査方法
US7570796B2 (en) 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US7570800B2 (en) 2005-12-14 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for binning defects detected on a specimen
JP4644613B2 (ja) 2006-02-27 2011-03-02 株式会社日立ハイテクノロジーズ 欠陥観察方法及びその装置
US7684609B1 (en) 2006-05-25 2010-03-23 Kla-Tencor Technologies Corporation Defect review using image segmentation
JP4253335B2 (ja) * 2006-07-13 2009-04-08 株式会社東芝 カーネル関数値を用いた、画像の平均値シフトによるフィルタリングとクラスタリングの方法及び装置
JP4992081B2 (ja) * 2006-09-20 2012-08-08 国立大学法人山口大学 画像処理により対象物の表面状態を検査する方法及びそのための画像処理プログラム
JP4908995B2 (ja) * 2006-09-27 2012-04-04 株式会社日立ハイテクノロジーズ 欠陥分類方法及びその装置並びに欠陥検査装置
WO2008077100A2 (en) 2006-12-19 2008-06-26 Kla-Tencor Corporation Systems and methods for creating inspection recipes
WO2008086282A2 (en) 2007-01-05 2008-07-17 Kla-Tencor Corporation Methods and systems for using electrical information for a device being fabricated on a wafer to perform one or more defect-related functions
JP5022174B2 (ja) 2007-10-22 2012-09-12 株式会社日立製作所 欠陥分類方法及びその装置
JP5081590B2 (ja) 2007-11-14 2012-11-28 株式会社日立ハイテクノロジーズ 欠陥観察分類方法及びその装置
US7949622B2 (en) 2007-12-13 2011-05-24 Yahoo! Inc. System and method for generating a classifier model for classifying web content
US8583416B2 (en) * 2007-12-27 2013-11-12 Fluential, Llc Robust information extraction from utterances
US7756658B2 (en) 2008-05-14 2010-07-13 Kla-Tencor Corp. Systems and methods for detecting defects on a wafer and generating inspection results for the wafer
US20090305423A1 (en) 2008-06-09 2009-12-10 Ohio State University Research Foundation Methods for Monitoring Composition and Flavor Quality of Cheese Using a Rapid Spectroscopic Method
US8175373B2 (en) 2009-02-16 2012-05-08 Kla-Tencor Corporation Use of design information and defect image information in defect classification
US8112241B2 (en) 2009-03-13 2012-02-07 Kla-Tencor Corp. Methods and systems for generating an inspection process for a wafer
JP5168215B2 (ja) * 2009-04-10 2013-03-21 株式会社デンソー 外観検査装置
US8457414B2 (en) * 2009-08-03 2013-06-04 National Instruments Corporation Detection of textural defects using a one class support vector machine
US8315453B2 (en) * 2010-07-27 2012-11-20 Applied Materials Israel, Ltd. Defect classification with optimized purity
US9165051B2 (en) 2010-08-24 2015-10-20 Board Of Trustees Of The University Of Illinois Systems and methods for detecting a novel data class
US8983179B1 (en) * 2010-11-10 2015-03-17 Google Inc. System and method for performing supervised object segmentation on images
US8502146B2 (en) 2011-10-03 2013-08-06 Kla-Tencor Corporation Methods and apparatus for classification of defects using surface height attributes
KR102071735B1 (ko) 2012-03-19 2020-01-30 케이엘에이 코포레이션 반도체 소자의 자동화 검사용 레시피 생성을 위한 방법, 컴퓨터 시스템 및 장치
US10043264B2 (en) 2012-04-19 2018-08-07 Applied Materials Israel Ltd. Integration of automatic and manual defect classification
US10599944B2 (en) 2012-05-08 2020-03-24 Kla-Tencor Corporation Visual feedback for inspection algorithms and filters
US10330608B2 (en) 2012-05-11 2019-06-25 Kla-Tencor Corporation Systems and methods for wafer surface feature detection, classification and quantification with wafer geometry metrology tools
US8826200B2 (en) 2012-05-25 2014-09-02 Kla-Tencor Corp. Alteration for wafer inspection
US9053390B2 (en) 2012-08-14 2015-06-09 Kla-Tencor Corporation Automated inspection scenario generation

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI601098B (zh) * 2014-12-15 2017-10-01 思可林集團股份有限公司 影像分類裝置及影像分類方法
TWI747967B (zh) * 2016-10-14 2021-12-01 美商克萊譚克公司 用於經組態用於半導體應用之深度學習模型之診斷系統及方法
US11580398B2 (en) 2016-10-14 2023-02-14 KLA-Tenor Corp. Diagnostic systems and methods for deep learning models configured for semiconductor applications
TWI675306B (zh) * 2016-12-12 2019-10-21 美商應用材料股份有限公司 在半導體元件的製造流程中利用自適應機器學習的自動缺陷篩選
CN112577970A (zh) * 2019-09-30 2021-03-30 深圳中科飞测科技股份有限公司 一种检测方法、检测设备的对准方法以及检测设备

Also Published As

Publication number Publication date
JP6905954B2 (ja) 2021-07-21
US20130279795A1 (en) 2013-10-24
KR20130118275A (ko) 2013-10-29
KR102110755B1 (ko) 2020-05-15
JP2013224942A (ja) 2013-10-31
TWI585397B (zh) 2017-06-01
JP2018128468A (ja) 2018-08-16
US9715723B2 (en) 2017-07-25

Similar Documents

Publication Publication Date Title
TWI585397B (zh) 用於自動缺陷分類之不明缺陷拒絕率之最佳化
TWI639824B (zh) 用於自動及手動缺陷分類之整合的方法、設備及非暫態電腦可讀取儲存媒介
TWI576708B (zh) 自動缺陷分類的分類器準備與維持
TWI691914B (zh) 用於自動分類的方法，及其裝置、系統，及電腦可讀取媒體
TWI416346B (zh) 具最佳化純度的瑕疵分級方法
US10964013B2 (en) System, method for training and applying defect classifiers in wafers having deeply stacked layers
CN104169945B (zh) 对图像中的对象的两级分类
US9020237B2 (en) Method for optimizing observed image classification criterion and image classification apparatus
TW201915770A (zh) 對半導體樣本中的缺陷進行分類之方法及其系統
US7283659B1 (en) Apparatus and methods for searching through and analyzing defect images and wafer maps
KR102483787B1 (ko) 반도체 장치의 결함 모델링 장치 및 방법, 이를 위한 컴퓨터 프로그램과, 이를 이용한 반도체 장치의 결함 검사 시스템
KR102530950B1 (ko) 반도체 시편에서의 결함들의 분류
CN107016416B (zh) 基于邻域粗糙集和pca融合的数据分类预测方法
CN117789038B (zh) 一种基于机器学习的数据处理与识别模型的训练方法
US11688055B2 (en) Methods and systems for analysis of wafer scan data
Bitrus et al. Enhancing classification in correlative microscopy using multiple classifier systems with dynamic selection
CN114863426B (zh) 一种目标特征注意力与金字塔相耦合的微小目标检测方法
US20220189005A1 (en) Automatic inspection using artificial intelligence models
CN117054386A (zh) 基于dsift与evm实现三维荧光光谱谱图水样排放源识别追踪的方法及其系统
Rožanec et al. WaAUROCC: measuring how steep the ROC curve is