TWI576708B - 自動缺陷分類的分類器準備與維持 - Google Patents

自動缺陷分類的分類器準備與維持 Download PDF

Info

Publication number
TWI576708B
TWI576708B TW102114039A TW102114039A TWI576708B TW I576708 B TWI576708 B TW I576708B TW 102114039 A TW102114039 A TW 102114039A TW 102114039 A TW102114039 A TW 102114039A TW I576708 B TWI576708 B TW I576708B
Authority
TW
Taiwan
Prior art keywords
category
data
classification
defect
defects
Prior art date
Application number
TW102114039A
Other languages
English (en)
Other versions
TW201346593A (zh
Inventor
凱薩門亞當
許蘭弗拉德米爾
羅茲門艾瑞特
Original Assignee
應用材料以色列公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 應用材料以色列公司 filed Critical 應用材料以色列公司
Publication of TW201346593A publication Critical patent/TW201346593A/zh
Application granted granted Critical
Publication of TWI576708B publication Critical patent/TWI576708B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/987—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

自動缺陷分類的分類器準備與維持
本發明大體而言係關於自動檢測，而且更具體而言本發明係關於用於分析製造缺陷的方法和系統。
自動缺陷分類(ADC)技術被廣泛使用於半導體產業中圖案化晶圓上的缺陷之檢測和量測。ADC技術偵測缺陷的存在以及自動分類缺陷的類型，以提供對生產製程更詳細的反饋，並減少檢查人員的負荷。ADC技術被使用於例如識別由晶圓表面上的微粒污染物引起的缺陷和與微電路圖案本身的不平整所產生的缺陷之間的類型，並且還可以識別特定類型的顆粒和不平整。
各種用於ADC的方法已被描述在專利文獻中。例如，美國專利6,256,093描述了在掃描晶圓中的動態ADC。光源照亮掃描的晶圓，以便在晶圓上產生照明點。從該點散射的光被至少兩個間隔開的偵測器感測到，並進行分析，以便偵測晶圓中的缺陷並將缺陷分類成不同的缺陷類型。
作為另一個實例，美國專利6,922,482描述了使用採用邊界和形貌資訊的核心分類器自動地將半導體晶圓表面上 的缺陷分類成數個核心類別中的一類。然後，使用特定自適應分類器進一步將缺陷分類成與核心類別相關聯的子類，並且訓練該特定自適應分類器來分類僅來自有限數量的相關核心類別的缺陷。無法被該核心分類器或該特定自適應分類器分類的缺陷是由全分類器來分類。
本文中描述的本發明之實施例提供改良的方法、系統以及軟體，用以基於檢測數據自動分類缺陷。
示例性電腦系統接收與在一或多個樣品中找到的複數個缺陷相關的檢測數據。該電腦系統接收一或多個基準分類結果，該一或多個基準分類結果包含用於該複數個缺陷中的每一個之類別。該電腦系統基於該一或多個基準分類結果評估用於一或多個該類別的準備度標準，其中該準備度標準包含該檢測數據用於為每個類別訓練用於該類別的自動缺陷分類器之適合度。該電腦系統選擇該檢測數據中對應於一或多個缺陷之部分，該一或多個缺陷與滿足該準備度標準的一或多個類別相關。該電腦系統使用該檢測數據之該選擇部分訓練用於滿足該準備度標準的該一或多個類別之一或多個自動分類器。
在一個實施例中，該電腦系統藉由接收由檢測人員或其他分類方式提供的一或多個分類而接收該一或多個基準分類結果。
在一個實施例中，該電腦系統將該訓練過的自動分類器應用於另外的檢測數據，該另外的檢測數據在該檢測數 據之該選擇部分以外，以為該另外的檢測數據產生複數個第一分類；基於該另外的檢測數據及該複數個第一分類獲得複數個第二分類；以及將該另外的檢測數據及該複數個第二分類整合於該檢測數據之該選擇部分，以用於進一步訓練該一或多個自動分類器。
在一個實施例中，該電腦系統藉由在該基準分類結果中接受已經分別分類歸入至少一臨界缺陷數的該等類別而評估該準備度標準。
在一個實施例中，該電腦系統藉由接受使用該檢測數據可以以性能量測之至少一臨界水平分類的類別而評估該準備度標準，其中該性能量測為準確度、分類性能量測以及退回性能量測中之至少一者。
在一個實施例中，該電腦系統進一步提供該自動分類器之結果，以提高手動分類之一致性，以及從該手動分類獲得另外的訓練數據。
在一個實施例中，該電腦系統進一步提供該另外的檢測數據之子組給用於分類的檢測方式，其中該另外的檢測數據之該子組包含無法被該訓練過的一或多個自動分類器分類的檢測數據。
在一個實施例中，該檢測方式包含在該另外的檢測數據中由操作員進行的缺陷分類。
在一個實施例中，對於不滿足該準備度標準的類別，該電腦系統由該檢測方式識別與該類別相關的缺陷群；從該另外的檢測數據之該子組收集該另外的檢測數據，該檢 測方式使用該另外的檢測數據分類在該缺陷群中的缺陷；將該收集的另外的檢測數據加入該檢測數據之該選擇部分，以為該類別產生擴大的訓練組；基於該擴大的訓練組判斷該類別是否滿足該準備度標準；以及在基於該擴大的訓練組判斷該類別滿足該準備度標準後，使用該擴大的訓練組為該類別訓練自動分類器。
在一個實施例中，在該檢測數據之該選擇部分以外的另外的偵測數據中偵測到該複數個缺陷之分佈中的變化後，該電腦系統重新訓練該一或多個自動分類器或警示操作員在該樣品之生產中有可能的問題。
在一個實施例中，該電腦系統重新訓練該一或多個自動分類器包含在該檢測數據之該選擇部分中選擇缺陷子組，其中選擇該選擇的缺陷子組來反映在該類別中過去的缺陷分佈。
在另外的實施例中，也實施用於進行上述實施例的操作之方法。此外，在本發明的實施例中，非暫態電腦可讀儲存媒體儲存用於進行上述實施例的操作之方法。
20‧‧‧系統
22‧‧‧晶圓
24‧‧‧機器
26‧‧‧ADC機器
28‧‧‧處理器
30‧‧‧記憶體
32‧‧‧顯示器
34‧‧‧輸入裝置
40‧‧‧自動處理組件
42‧‧‧分類器
46‧‧‧自動指定模組
48‧‧‧檢測終端
50‧‧‧檢測人員
52‧‧‧整合邏輯
54‧‧‧報告
60‧‧‧特徵空間
62、64‧‧‧缺陷
66、68‧‧‧邊界
70、72‧‧‧缺陷
74‧‧‧邊界
78‧‧‧方塊
80~88‧‧‧方塊
90~98‧‧‧方塊
100~106‧‧‧方塊
600‧‧‧電腦系統
602‧‧‧處理裝置
604‧‧‧主記憶體
606‧‧‧靜態記憶體
608‧‧‧匯流排
610‧‧‧影像顯示單元
612‧‧‧字母數字輸入裝置
614‧‧‧游標控制裝置
616‧‧‧訊號產生裝置
618‧‧‧數據儲存裝置
620‧‧‧網路
622‧‧‧網路介面裝置
624‧‧‧電腦可讀儲存媒體
626‧‧‧指令
從下面提供的實施方式和從本發明各種實施例的附圖將更全面地瞭解本發明的各種實施例。
第1圖為依據本發明之一實施例的缺陷檢測和分類系統之示例性示意圖示；第2圖為依據本發明之一實施例的自動缺陷分類系統之方塊圖； 第3圖為依據本發明之一實施例含有屬於不同缺陷類別的檢測特徵值的特徵空間之示例性示意表示；第4圖為依據本發明之一實施例圖示用於訓練自動缺陷分類系統的方法之流程圖；第5圖為依據本發明之一實施例說明用於維護自動缺陷分類系統的方法之流程圖；以及第6圖為可進行一或多個本文所述操作的示例性電腦系統之方塊圖。
自動缺陷分類(ADC)系統通常使用一組訓練數據進行校準。該組訓練數據可以含有用於缺陷收集的檢測數據和基準分類結果。該基準分類結果可以包括缺陷的類別指定，通常是由人類專家提供。該ADC系統使用訓練數據，以設置分類規則，該分類規則被定義為特徵值的函數，用以識別在多維特徵空間中的每個缺陷類別。當分類涉及三個以上的特徵時，該多維特徵空間也可以被稱為超空間。然後可以測試和調整分類規則，以最佳化該分類規則之準確度及/或精選度。
2010年7月27日提出申請的美國專利申請案12/844,724描述一種ADC系統，該ADC系統應用多個不同的分類器來檢測數據，包括多類別及單類別分類器兩者。該系統允許訓練和調整該分類器的參數，以最佳化分類的精選度，同時最大化未知的或新的缺陷之退回率。被自動分類器退回的缺陷(為未判定的或未知的)被傳送到另一個檢測方 式，例如將這些缺陷指定於適當類別的檢測人員。
本發明的實施例提供了一種ADC系統，該ADC系統可以判斷在ADC系統中足以訓練既定缺陷類別的分類器之預分類數據量，因此，該ADC系統可以判斷自動分類器準備好用於操作使用的階段。也可以將實施例使用於評估分類器的維護，例如完善該組訓練數據，並為了另外的缺陷類別添加其他的自動分類器到該ADC系統中。
該ADC系統可以接收檢測數據和相應的基準分類結果，並且可以使用該檢測數據和基準分類結果來評估關於缺陷類別的準備標準。對於每個類別，準備度標準可以表示為該類別訓練自動缺陷分類器的檢測數據之適合度。對於被發現滿足準備標準的類別，則將相關的檢測數據合併在一個訓練組中，然後將該訓練組用於為這些類別訓練自動分類器上。
為了要選擇準備好進行自動分類的類別，ADC系統可以清除一組初始的預分類檢測數據，以刪除某些特定的類別和缺陷。然後ADC系統可以運行訓練程序，以為其餘的類別訓練分類器(單一類別及/或多個類別)。在一些實施例中，ADC系統不為不滿足某一統計基準標準的缺陷類別發展分類器，例如圖像數量少於某一臨界值的類別、在類別可能性分佈中具有高邊界複雜性的類別等。在這些實施例中，ADC系統會將缺陷留在不滿足某一統計基準標準的缺陷類別中，以藉由另一種檢查方式(例如由檢查人員)進行分類。
對於滿足統計基準標準的每個類別，該ADC系統可 以判斷以該訓練組的數據訓練的分類器是否滿足性能的臨界水平。該判斷可以基於單一的性能量測或整合的幾個性能量測。性能的量測可以包括分類性能、退回準確度、精選度等。可以量測分類性能，例如就分類準確度方面量測。退回準確度可以藉由當用於訓練時從感興趣的類別退回的缺陷數量與當不是用於訓練時從該類別退回的缺陷數量之間的比率來量測。因此，藉由判斷分類器是否滿足性能的臨界水平，ADC系統可以驗證用於該類別的分類或退回邊界在屬性超空間中是緊湊的，使得該邊界包含該類別中分率足夠高的缺陷，而不與其他缺陷類別重疊。一旦既定的分類器符合這些條件，則ADC系統可以考量分類器已訓練好了並準備好自動分類未分類的缺陷。經判斷未準備好的類別則留待另一種檢查方式，例如由檢測人員手動處理。假使在超空間區域中的缺陷不屬於一個驗證類別的一部分，則該類別可能會被判斷為尚未準備好的。在一些實施例中，其他的分類性能標準可以被應用於在自動分類和其他方式之間進行選擇，而且本發明不受用於評估分類性能的量測所限制。
在一些實施例中，在ADC系統的初始訓練之後，ADC系統可以提供斜升模式來允許一或多個檢測人員或替代性的檢查方式手動地分類缺陷，包括用於訓練類別的缺陷，由ADC建議的自動分類結果為每個缺陷引導。斜升模式可以增加手動分類的一致性，同時收集可以具有較少手動誤分類的額外訓練數據。
在隨後的操作過程中，一旦建立了穩定的自動分類 器，則一或多個檢測人員可以查看和分類越來越多在不常見的缺陷類別的缺陷。隨著這些不常見缺陷圖像的累積，ADC系統可以使用這些不常見缺陷圖像來為一或多個不常見類別發展和完善分類器。一旦用於既定類別的訓練數據已經足夠完善到可訓練將符合臨界分類標準的分類器時，ADC系統即可將此類別加到自動分類的類別群中，而不是手動地分類。可以將已經為這個在手動分類階段的類別收集的檢測數據添加到訓練組中，並且後續可以將此擴大的訓練組使用於訓練自動分類器。
在自動分類器已經受過訓練之後，分類器的維護可以確保分類器適當地適應操作條件的變化。為了維護分類器，ADC系統可以監測每個類別和退回類型的統計標準，以偵測改變的ADC結果，例如某一類別或多個類別的出現率或特徵空間位置的增加或減少、新缺陷類型的出現等。假使ADC結果的變化是由於受檢測晶圓中的實際變化，則ADC系統可以不再需要訓練，而且ADC系統可以在生產設施中警示系統操作員可能的製程問題。假使ADC結果的變化是由於在特徵空間中的變化(例如由於檢測機器的老化或校準漂移)，則ADC系統可能需要重新訓練自動分類器或調整退回的臨界值。
為了區分製程問題和特徵空間變化，ADC系統可以分析自動分類類別的統計量測、未知的及/或無法判定的缺陷之退回計數以及特徵空間的變化。在一或多個這些量測中的改變可以觸發檢測人員的干預。在一個實施例中，檢測人員 藉由手動分類最近被分類在特定類別的缺陷來驗證ADC結果。在一個實施例中，檢測人員手動分類被自動分類器退回但還沒有被手動分類的缺陷。在一個實施例中，手動分類只在退回的缺陷先前未被手動分類過時啟動。在替代的實施例中，當在自動分類和退回缺陷的手動分類之間有明顯的時間延遲時，則啟動手動分類。
在一些實施例中，分析手動分類結果，以確定是否需要訓練自動分類器。當需要重新培訓時，則可以選擇將每一類別最近手動和自動分類的缺陷納入新的訓練組中。可以，藉由從最近的檢測數據中選擇缺陷子組來建構新的訓練組，最近的檢測數據保留了過去累積的不同缺陷類型分佈。在一些實施例中，從每一類別中選擇的最近缺陷之數量係與來自每一類別的過去缺陷計數成比例的。在一些實施例中，在每次訓練操作開始時，可以分析可用數據中的所有類別，並且只為那些準備好接受訓練的類別訓練自動分類器。隨著時間的推移，可以將已經累積足夠多實例的新類別添加到訓練組中，並減少手動分類，如上所說明。
因此，當分類器已經充分受過訓練來滿足可靠性的臨界標準時，ADC系統可以可靠地且系統地決定何種缺陷類型應被自動分類，並基於該領域的實際經驗來保持及改良分類器。
雖然所揭示的實施例具體上係關於半導體晶圓中缺陷的偵測，但可以類似地將本發明的原理應用到其他類型的圖像特徵之自動化分析和分類。
第1圖為依據本發明之一實施例自動缺陷檢測和分類系統20之示例性示意圖示。樣品(例如圖案化半導體晶圓22)被插入檢測機器24中。該機器可以包含例如掃描電子顯微鏡(SEM)或光學檢測裝置或在本技術領域中習知的任何其他適合種類的檢測設備。機器24通常掃描晶圓22的表面、感測以及處理掃描結果，並輸出檢測數據，該檢測數據包含在晶圓22上的缺陷圖像。
在一個實施例中，檢測數據包括在晶圓上找到的缺陷列表、每個缺陷的位置以及與每個缺陷相關的檢測特徵值。該檢測特徵可以包括例如尺寸、形狀、散射強度、方向性及/或缺陷的頻譜品質，以及缺陷背景及/或在本技術領域中習知的任何其他適當的特徵。雖然在本實施例中使用術語「檢測數據」來指稱SEM圖像和相關聯的元數據，但該術語應被更廣泛地理解為指稱任何和所有的可以收集和處理來識別缺陷特徵的各種描述性和診斷性數據，而不管用來收集數據的手段為何，也不管數據是否在整個晶圓或在某部分(例如在個別的可疑位置附近)被擷取。某些實施例可應用於分析藉由檢測系統識別的缺陷，該檢測系統掃描晶圓並提供可疑缺陷的位置列表。其他的實施例可應用於分析基於檢測工具所提供的可疑缺陷位置藉由檢視工具重新偵測到的缺陷。本發明並不限於任何產生檢測數據的特定技術。因此，對於半導體應用來說，本發明的實施例可以被應用於光學檢測系統(例如UVisionTM系統)、檢視系統(例如SEMVisionTM系統)(兩者皆可向應用材料公司購得)或本技術領域中習知的任何其 他種類的檢測系統或方式所產生的數據之分析。
ADC機器26接收和處理由檢測機器24輸出的檢測數據。假使檢測機器24不從晶圓22的圖像中提取所有相關的檢測特徵值，則ADC機器26可以執行這些圖像處理功能。雖然第1圖中將ADC機器26圖示為直接連接到檢測機器輸出，在一些實施例中，ADC機器26仍可在預先獲得的儲存檢測數據上操作。在替代的實施例中，ADC機器26的功能可以被整合於檢測機器24。
ADC機器26可以是通用的電腦，包含處理器28與用以保持缺陷資訊與分類參數的記憶體30，以及包含顯示器32和輸入裝置34的使用者介面。實施ADC機器26之功能的電腦可能會專用於ADC功能，或者該電腦也可以執行另外的運算功能。在一個實施例中，至少一些本文所描述的ADC功能是藉由專用或可程式化硬體邏輯來執行。
ADC機器26可以運行多個分類器，例如用於區分不同類別的多類別分類器以及專用於單個類別的單類別分類器。為了說明和清楚起見，將參照機器26和系統20的其他元件來說明以下的實施例，但是這些實施例的原理同樣可以在任何可以處理多個類別的缺陷或其他未知特徵的分類系統中被實現。
第2圖為圖示依據本發明之一實施例的ADC機器(例如第1圖的ADC機器26)之功能元件的方塊圖。在一些實施例中，自動處理組件40係於第1圖的處理器28上執行，而檢測人員50經由檢測終端48與第1圖的ADC機器26互 動。自動處理組件40可以以例如軟體模組被實施，雖然至少有一些組件也可替換地在硬體邏輯中或作為硬體和軟體元件的組合被實施。
在一些實施例中，藉由處理器(例如第1圖的處理器28)將圖像處理操作應用於檢測機器(例如第1圖的檢測機器24)所擷取的每個缺陷圖像。圖像處理操作可以提取缺陷圖像中的特徵值向量，例如形狀、紋理以及脈絡特徵。自動分類器42可以指定類別標記給每個缺陷，以及與該類別標記相關的信心度值。信心度值可以指示該缺陷實際上屬於所指定類別的可能性。可以使用以下結合第4圖進一步描述的程序來確定分類器42處理每個缺陷類別的準備度。在一些實施例中，分類器42指定低(或零)的信心度值給落在類別邊界之外的缺陷，該類別係分類器42已準備好處理的。
在一個實施例中，信心度臨界值是由ADC機器的操作者所提供。在替代的實施例中，該信心度臨界值是由ADC機器基於一或多個操作者指定的分類性能量測來運算，例如目標精選度及/或最大退回率。假使既定缺陷的分類信心度滿足信心度臨界值(退回水平臨界值)，則自動指定模組46可以接受分類為正確的。在一個實施例中，假使分類的信心度不滿足信心度臨界值，則該缺陷可能會被退回，並被送到終端48由檢測人員50進行視覺分類。在一個實施例中，使用另外的自動分類程序(例如X射線光譜儀等)來分析退回的缺陷。在一些實施例中，決定信心度臨界值，以達到退回的數量與分類結果的精選度或準確度之間的平衡。雖然第2圖 圖示單一的退回水平臨界值，但在替代的實施例中，系統操作員可以為不同的缺陷類別設定不同的退回標準。
整合邏輯52可以接收來自模組46的自動分類結果和來自終端48的視覺分類結果，並且可以產生一份整合報告54。報告54可以被呈現於例如顯示器32上，並且可以顯示不同類別之間的缺陷分佈。在一些實施例中，與較常見缺陷類型有關的分佈部分來自自動分類過程，而較不常見的缺陷類型係被視覺分類的。報告54可以提供系統操作員樣品或被測樣品的完整狀況。
在一些實施例中，將整合邏輯52在處理檢測的進程中收集的資訊應於於維持和完善分類器42(如在第2圖中從整合邏輯52到分類器42的虛線箭頭所指示的)。舉例來說，邏輯52可以整合由檢查人員50及/或其他自動分類方式提供的分類結果，以調整類別邊界。在一些實施例中，整合邏輯52為某個小缺陷類別累積足夠的視覺分類結果，以便界定該類別的可靠自動分類器。在這些實施例中，ADC機器之後可以再將這個類別加入由分類器42和自動指定模組46自動處理的群中。下面結合第5圖描述為此目的可應用的方法。
第3圖為依據本發明之一實施例被映射到一組缺陷的特徵空間之示例性示意表示。特徵空間60被映射到一組缺陷62、64、70、72。雖然將特徵空間60呈現為二維的，但本文所描述的分類過程通常可在更高維度的空間中進行。缺陷62、64、70、72可能已經被預先分類在數個不同的類別中，一個與缺陷62(這在下文中將被稱為)相關聯，另一個與缺 陷64(「類別Z」)相關聯，以及另一個與缺陷72(「類別X」)相關聯。缺陷70無法被歸類在這三個類別中的任何一個，並且可以被視為是「未知的」。缺陷62、64和72在特徵空間中藉由各自的邊界66、68和74為界。該等邊界可能重疊。
類別Y和Z係準備好用於自動分類，因為這兩個類別皆包括了大量的缺陷62、64，並具有緊湊邊界66、68，邊界66、68以高的信心度在該等類別中的各個缺陷與在這些類別以外的缺陷70之間進行識別。因此，將在隨後使用缺陷62和64的特徵訓練分類器(例如第2圖的分類器42)識別未分類的檢測數據為類別Y和Z。
類別X可能未準備進行自動分類，因為類別X只包含少數的缺陷72，而且並不清楚邊界74是否將會以高信心度擷取該類別中的新缺陷，或是其他在該類別以外的缺陷70仍將在邊界外。出於這些原因，分類器可能最初沒有被訓練來處理類別X缺陷，並可能指定低信心度值給這些缺陷，使得類別X缺陷通過以進行手動分類。另一方面，假使整合邏輯隨後接收足夠數量的類別X之手動分類，允許以較高的信心度界定邊界74，則可以將這個類別添加到類Y和Z，以進行自動分類。
第4圖為依據本發明之一實施例圖示用於訓練分類器的方法之流程圖。該方法係藉由可以包含硬體(電路、專用邏輯等)、軟體(例如在通用電腦系統或專用機器上運行的)或兩者之組合的處理邏輯來進行。在一個實施例中，該方法是藉由第1圖的ADC機器26來進行。
在方塊78中，處理邏輯決定ADC系統是否已經啟動或是否需要重新訓練分類器。處理邏輯可以藉由監測ADC系統的每個類別之統計標準以及退回類型來決定是否需要重新訓練分類器，以偵測改變的ADC結果，例如出現率的增加或減少或某類別的特徵空間位置、新缺陷類型的外觀等。在一個實施例中，假使ADC結果的改變是由於晶圓在被檢測下的實際變化，則處理邏輯確定ADC系統不需要訓練。在本實施例中，處理邏輯可以警示系統操作員在生產設施中可能的製程問題。在一個實施例中，假使ADC結果的改變是由於在特徵空間中的變化(例如由於檢測機器的老化或校準漂移)，則處理邏輯確定ADC系統需要重新訓練。
在方塊80，處理邏輯接收預分類的檢測數據。該檢測數據可以包括例如大量缺陷的圖像，其中每個缺陷已經由檢測人員加上基準分類的標籤。在ADC系統需要被重新訓練的實施例中，檢測數據可以選自最近為ADC系統擷取的檢測數據，且該檢測數據的缺陷分佈保留了過去檢測數據之缺陷類別分佈。
在方塊82，處理邏輯從檢測數據刪除不可訓練的類別。該不可訓練的類別在訓練分類器上可能不是有用的。不可訓練的類別可能是與已被操作人員標記為「未知」或「無法分類」的缺陷相關的類別，為與可分類缺陷相關聯但未被分類為任何明確界定的緊湊類別等的類別。
在方塊84，處理邏輯從檢測數據刪除對於訓練分類器不適當的缺陷。對於訓練分類器不適當的缺陷可以包括數 據品質差的缺陷(例如失焦或以其他方式模糊的圖像)或是非常小或難以看到的缺陷。雖然這些缺陷可能可以經由檢測人員的努力而被分類，但這些缺陷很可能會在訓練自動分類器時添加雜訊。
在方塊86，處理邏輯從檢測數據刪除還沒有準備好的類別。藉由分析檢測數據中其餘的缺陷和評估每個與剩餘用於分類準備的缺陷相關聯的缺陷類別，處理邏輯可以判斷一或多個還沒有準備好的類別。在一個實施例中，將不符合所需統計標準的類別判斷為沒有準備好進行分類，例如在特徵空間中的數據集或高邊界複雜性中缺陷數量小於某一臨界值的類別。
在一個實施例中，處理邏輯判斷缺陷不適合用於訓練一或多個自動分類器。在一個實施例中，處理邏輯使用該訓練組訓練該一或多個分類器，該訓練組包括剩餘的數據和未被處理邏輯刪除的類別，以便開發和測試用於這些類別的初始分類器。假使用於既定類別的分類器以至少一準確度臨界水平提供與基準分類結果相匹配的自動分類結果，則該類別可以被判斷為準備好進行自動分類。舉例來說，在第3圖中分別對應缺陷62和64的類別Y和Z可被判斷為準備好進行自動分類，因類別為Y和Z匹配基準分類結果。假使類別不滿足準備好的標準，則該類別可以被判斷為還沒有準備好進行自動分類，並且可以被從訓練的數據組中去除。
在一個實施例中，既定類別的準備性是藉由使用混亂矩陣來判斷，該混亂矩陣顯示已被自動分類在每個類別中 的缺陷之實際類別分佈(如由檢測人員所指示的)。具有高準確度的缺陷類別將表現出低的混亂，並可以在此基礎上進行後續自動處理的驗證。還沒有達到這個準備度水平的類別(意指在超空間區域中的缺陷不屬於一個驗證類別的一部分)留待手動處理。
在方塊88，處理邏輯使用屬於滿足準備標準的類別中的缺陷之檢測數據判斷訓練組。在一些實施例，該訓練組包含在去除未準備好類別和其他不適當的數據之後剩餘的檢測數據。
在方塊90，使用訓練組來訓練分類器自動將缺陷分類於滿足準備標準的類別。一旦分類器受過訓練，則分類器可以準備好進一步分類在該訓練組之外的檢測數據。
在方塊92，可以在ADC系統的斜升過程中執行(在初始的訓練已經完成之後)，處理邏輯可以為每個缺陷產生並顯示建議的分類。可以使用所建議的分類來執行新缺陷的ADC輔助手動分類。該新缺陷的ADC輔助手動分類可以在手動分類過程中由檢測人員或替代性的檢查方式進行。該檢測人員或替代性的檢查方式可以使用建議的分類來手動分類所有的缺陷，甚至是用於訓練過的類別。在ADC輔助手動分類過程中，缺陷被自動和手動地分類兩次。斜升操作模式的目的是為了增加手動分類的一致性，同時收集具有較少手動誤分類的額外訓練數據。然後可以重複方塊80-90，以使用在方塊92進行的手動分類作為輸入數據而提供進一步的分類器訓練。可以重複該方法幾次，隨著在每個循環中由於ADC的輔 助和經驗，檢測人員分類的一致性提高了，從而完善分類性能。
第5圖為依據本發明之一實施例說明用於維護自動分類器的方法之流程圖，並且特別擴大了訓練組和由自動分類器處理的缺陷類別之範圍。該方法係由處理邏輯執行，該處理邏輯可以包含硬體(電路、專用邏輯等)、軟體(例如在通用電腦系統或專用機器上運行的)或兩者之組合。在一個實施例中，該方法是藉由第1圖的ADC機器26執行。在ADC系統的正常操作過程中，該方法係週期性地進行，並且可以被監控的維護標準中的變化所啟動。
在方塊92，自動分類器將一或多個缺陷送到手動分類。在一個實施例中，在ADC系統的正常操作過程中，自動分類器送走的該一或多個缺陷為分類器無法自動分類的檢測數據之子組。
在方塊94中，處理邏輯接收來自另一個檢查方式的一或多個缺陷之分類，例如操作人員的分類。在一個實施例中，操作人員將分類輸入終端，該終端將分類送到整合邏輯。在一些實施例中，一些分類被接收的缺陷是與先前並不滿足準備標準的一或多個類別相關的缺陷。
在方塊96，處理邏輯識別手動分類為某一類別(例如類別X)的缺陷，並將該缺陷相關的檢測數據增加到該類別潛在的訓練組中。因此，處理邏輯收集與該缺陷(被檢測人員或其他方式分類於該類別)相關聯的數據，並從該數據或該數據之子組產生潛在的訓練組。在一些實施例中，處理 邏輯將該類別未使用過的數據合併於該潛在的訓練組中，該未使用過的數據在第4圖的步驟86被從初始的訓練組中去除。
在方塊98，處理邏輯判斷該類別之準備度標準是否高於預定的最小值。在一個實施例中，該預定的最小值為最小的臨界大小。假使該類別之準備度標準高於預定的最小值，則該方法前進到方塊102。假使該類別之準備度標準不高於預定的最小值，則該方法前進到方塊100。
在方塊100，處理邏輯將該類別留在自動分類群之外，前進到下一個類別或下一個缺陷，並返回方塊92。
在方塊102，處理邏輯為該類別訓練和測試一或多個自動分類器。在一個實施例中，假使該類別中的缺陷數目高於預定量，則處理邏輯將該潛在的訓練組涵括於現存的訓練組，以產生擴大的訓練組。處理邏輯可以使用該擴大的訓練組訓練和測試每個類別的自動分類器。
在方塊104，處理邏輯判斷該一或多個自動分類器的性能量測是否為可接受的。在一個實施例中，假使分類的準確度高於預定的臨界值，則自動分類器的性能量測是可接受的。在替代的實施例中，假使退回程序的準確度高於預定的臨界值，則自動分類器的性能量測是可接受的。在本實施例中，自動分類器應可有效退回沒有由自動分類器明顯退回正確分類的缺陷但不滿足準備標準的類別。假使該一或多個分類器的性能量測沒有一個是可接受的，則該方法前進到方塊100。假使至少一個分類器的性能量測是可接受的，則該方 法前進到方塊106。
在方塊106，使用擴大的訓練組重新訓練自動分類器，並將該類別加到由分類器自動分類的類別組。因此，在生產環境中可以在ADC系統的實際操作過程中隨著時間增大由分類器處理的類別範圍以及分類器執行的自動分類之準確度。可以將訓練數據組逐漸擴增到不僅涵括新的類別，而且還提高現有類別的自動分類準確度。
第6圖圖示示例性形式的電腦系統600之機器圖，電腦系統600內可以執行一組用於使該機器執行本文所討論的任一或多個方法之指令。在替代的實施例中，可以在區域網路(LAN)、內部網路、外部網路或網際網路中將該機器連接(例如網路化)到其他的機器。該機器可以以伺服器效能操作，或在客戶-伺服器網路環境中以客戶端機器操作，或在點對點(或分散式)的網路環境中作為對等機器操作。該機器可以是個人電腦(PC)、平板電腦、機上盒(STB)、個人數位助理(PDA)、蜂巢式電話、網站設備、伺服器、網路路由器、交換機或橋接器或任何能夠執行一組指定要由該機器採取行動的指令(依序或以其他方式)之機器。此外，雖然僅圖示單一台機器，術語「機器」也應被視為包括任何個別或共同執行一組(或多組)指令的機器之集合，以執行本文中所討論的任一或多個方法。
示例性電腦系統600包括處理裝置(處理器)602、主記憶體604(例如唯讀記憶體(ROM)、快閃記憶體、動態隨機存取記憶體(DRAM)，例如同步DRAM(SDRAM)、雙 倍數據速率SDRAM(DDR SDRAM)或Rambus DRAM(RDRAM)等)、靜態記憶體606(例如快閃記憶體、靜態隨機存取記憶體(SRAM)等)以及數據儲存裝置618，上述裝置係經由匯流排608互相溝通。
處理器602表示一或多個通用處理裝置，例如微處理器、中央處理單元或類似者。更特別地，處理器602可以是複雜指令集計算(complex instruction set computing；CISC)微處理器、精簡指令集計算(reduced instruction set computing；RISC)微處理器、極長指令字(very long instruction word；VLIW)微處理器或執行其他指令集的處理器或執行指令集組合的多個處理器。處理器602也可以是一或多個專用處理設備，例如專用整合電路(application specific integrated circuit；ASIC)、場可程式化閘陣列(field programmable gate array；FPGA)、數位訊號處理器(digital signal processor；DSP)、網路處理器或類似者。處理器602設以執行用於進行本文所討論的操作和步驟之指令626。
電腦系統600可以進一步包括網路介面裝置622。電腦系統600還可以包括影像顯示單元610(例如液晶顯示器(LCD)或陰極射線管(CRT))、字母數字輸入裝置612(例如鍵盤)、游標控制裝置614(例如滑鼠)以及訊號產生裝置616(例如揚聲器)。
數據儲存裝置618可以包括電腦可讀儲存媒體624，電腦可讀儲存媒體624上儲存一或多組指令626(例如軟體)，指令626體現任一或多個本文所述的方法或功能。在 由電腦系統600執行指令626的過程中，指令626也可以完全或至少部分地存在於主記憶體604及/或處理器602內，主記憶體604和處理器602也構成電腦可讀儲存媒體。指令626可以進一步在網路620上經由網路介面裝置622被發送或接收。
在一個實施例中，指令626包括在自動缺陷分類及/或軟體庫中用於分類器準備和維護的指令，該軟體庫含有調用模組的方法，該模組包括在自動缺陷分類中用於分類器準備和維護的指令。在一個實施例中，指令626包括在自動缺陷分類中用於分類器準備和維護的指令及/或含有調用在自動缺陷分類中用於分類器準備和維護的指令之方法的軟體庫。雖然在示例性實施例中將電腦可讀儲存媒體624(機器可讀儲存媒體)圖示為單一的媒體，但應將術語「電腦可讀儲存媒體」視為包括儲存該一或多個指令集的單一媒體或多個媒體(例如集中式或分散式數據庫，及/或相關的快取記憶體和伺服器)。也應將術語「電腦可讀儲存媒體」視為包括任何能夠儲存、編碼或攜帶一組指令的媒體，該指令被該機器執行並使該機器進行本發明之任一或多個方法。因此，術語「電腦可讀儲存媒體」應被視為包括但不限於固態記憶體、光學媒體以及磁性媒體。
在前面的描述中提出多個細節闡述。然而，對於本技術領域中具有通常知識且受益於本揭示之人士而言，顯而易見的是沒有這些具體細節也可以實施本發明。在某些情況下，眾所周知的結構和裝置係以方塊圖的形式圖示，而不詳 細地圖示，以避免模糊本發明。
已經將實施方式的某些部分以操作的演算法和符號表示呈現於電腦記憶體內的數據位元。這些演算法描述和表示是在數據處理技術領域中具有通常知識者所使用的手段，以便最有效地將工作實質內容傳遞給該技術領域中具有通常知識之他者。通常將這裡的演算法設想為導致所需結果的自相一致步驟順序。這些步驟是需要物理量的物理操作的。通常(雖然不是必須的)這些量採用能夠被儲存、傳輸、組合、比較以及以其他方式操縱的電或磁訊號形式。已經證明有時為了共同使用的緣故將這些訊號指稱為位元、值、元素、符號、字元、術語、數字或類似者是方便的。
然而，應該銘記在心的是，所有這些和類似的術語係被與適當的物理量相關聯，並且僅是應用於這些量的方便標記。除非另有具體指明，否則從以下的討論中，顯而易見的是可以理解到在整個說明書中，使用術語例如「識別」、「呈現」、「更新」、「判斷」、「執行」、「提供」、「接收」或類似者的討論係指電腦系統或類似的電子運算裝置的動作和進程，該電腦系統或類似的電子運算裝置將在電腦系統的暫存器和記憶體內表示為物理(例如電子)量的數據操縱和變換成其他在電腦系統記憶體或暫存器或其他這種資訊儲存、傳輸或顯示裝置內類似地表示為物理量的數據。
本發明也關於一種用於進行本文中的操作之設備。此設備可被建構為用於意圖的目的，或者該設備可以包含由儲存在電腦中的電腦程式選擇性地啟動或重新配置的通用電 腦。這種電腦程式可以被儲存於電腦可讀儲存媒體中，該電腦可讀儲存媒體例如但不限於任何類型的磁盤，包括軟碟、光碟、唯讀光碟記憶體(CD-ROM)及磁性光碟、唯讀記憶體(ROM)、隨機存取記憶體(RAM)、可抹除可程式化唯讀記憶體(EPROM)、電子可抹除可程式化唯讀記憶體(EEPROM)、磁性卡或光學卡或任何適用於儲存電子指令的媒體類型。
應當瞭解的是，意圖使上面的描述為說明性的，而非限制性的。對於本技術領域中具有通常知識者而言，在閱讀和瞭解上面的描述之後許多其他的實施例將是顯而易見的。因此，本發明的範圍應參照所附的申請專利範圍來決定，並且加上這些申請專利範圍享有的均等物之全部範圍。
92~98‧‧‧方塊
100~106‧‧‧方塊

Claims (20)

  1. 一種用於缺陷分類的方法，包含以下步驟：由一電腦系統接收與在一或多個樣品中找到的複數個缺陷相關的檢測數據；由該電腦系統接收一或多個基準分類結果，該一或多個基準分類結果包含用於該複數個缺陷中的每一個之一類別；基於該一或多個基準分類結果由該電腦系統評估用於一或多個該類別的一準備度標準，其中該準備度標準包含該檢測數據用於為每個類別訓練一用於該類別的自動缺陷分類器之適合度；選擇該檢測數據中對應於一或多個缺陷之一部分，該一或多個缺陷與滿足該準備度標準的一或多個類別相關；以及使用該檢測數據之該選擇部分訓練用於滿足該準備度標準的該一或多個類別之一或多個自動分類器。
  2. 如請求項1所述之方法，其中接收該一或多個基準分類結果包含接收由一檢測人員或其他分類方式提供的一或多個分類。
  3. 如請求項2所述之方法，進一步包含以下步驟：將該訓練過的自動分類器應用於另外的檢測數據，該另外的檢測數據在該檢測數據之該選擇部分之外，以為該另外的檢測數據產生複數個第一分類；基於該另外的檢測數據及該複數個第一分類獲得複數個 第二分類；以及將該另外的檢測數據及該複數個第二分類整合於該檢測數據之該選擇部分，以用於進一步訓練該一或多個自動分類器。
  4. 如請求項1所述之方法，其中評估該準備度標準包含在該基準分類結果中接受已經分別分類歸入至少一臨界缺陷數的該等類別。
  5. 如請求項1所述之方法，其中評估該準備度標準包含接受使用該檢測數據可以以一性能量測之至少一臨界水平分類的類別，其中該性能量測為準確度、一分類性能量測以及一退回性能量測中之至少一者。
  6. 如請求項1所述之方法，進一步包含以下步驟：提供該自動分類器之一結果，以提高手動分類之一一致性；以及從該手動分類獲得另外的訓練數據。
  7. 如請求項3所述之方法，進一步包含以下步驟：提供該另外的檢測數據之一子組給用於分類的一檢測方式，其中該另外的檢測數據之該子組包含無法被該訓練過的一或多個自動分類器分類的檢測數據。
  8. 如請求項7所述之方法，其中該檢測方式包含在該另外的檢測數據中由一操作員進行的一缺陷分類。
  9. 如請求項7所述之方法，進一步包含以下步驟：對於不滿足該準備度標準的一類別，由該檢測方式識別與該類別相關的一缺陷群；從該另外的檢測數據之該子組收集該另外的檢測數據，該檢測方式使用該另外的檢測數據分類在該缺陷群中的缺陷；將該收集的另外的檢測數據加入該檢測數據之該選擇部分，以為該類別產生一擴大的訓練組；基於該擴大的訓練組判斷該類別是否滿足該準備度標準；以及在基於該擴大的訓練組判斷該類別滿足該準備度標準後，使用該擴大的訓練組為該類別訓練一自動分類器。
  10. 如請求項1所述之方法，進一步包含以下步驟：在該檢測數據之該選擇部分以外的另外的偵測數據中偵測到該複數個缺陷之一分佈中的一變化後，重新訓練該一或多個自動分類器或警示一操作員在該樣品之生產中有一可能的問題。
  11. 如請求項10所述之方法，其中重新訓練該一或多個自動分類器包含在該檢測數據之該選擇部分中選擇一缺陷子組， 其中選擇該選擇的缺陷子組來反映在該類別中一過去的缺陷分佈。
  12. 一種用於缺陷分類的設備，包含：一記憶體；以及一處理器，設以接收與在一或多個樣品中找到的複數個缺陷相關的檢測數據及一或多個基準分類結果，該一或多個基準分類結果包含用於該複數個缺陷中的每一個之一類別；基於該一或多個基準分類結果評估用於一或多個該類別的一準備度標準，其中該準備度標準包含該檢測數據用於為每個類別訓練一用於該類別的自動缺陷分類器之適合度；選擇該檢測數據中對應於一或多個缺陷之一部分，該一或多個缺陷與滿足該準備度標準的一或多個類別相關；以及使用該檢測數據之該選擇部分訓練用於滿足該準備度標準的該一或多個類別之一或多個自動分類器。
  13. 如請求項12所述之設備，其中接收該一或多個基準分類結果包含接收由一檢測人員或其他分類方式提供的一或多個分類。
  14. 如請求項13所述之設備，其中該處理器設以將該訓練過的自動分類器應用於另外的檢測數據，該另外的檢測數據在該檢測數據之該選擇部分以外，以為該另外的檢測數據產生複數個第一分類；基於該另外的檢測數據及該複數個第一分 類獲得複數個第二分類；以及將該另外的檢測數據及該複數個第二分類整合於該檢測數據之該選擇部分，以用於進一步訓練該一或多個自動分類器。
  15. 如請求項12所述之設備，其中為了評估該準備度標準，該處理器設以在該基準分類結果中接受已經分別分類歸入至少一臨界缺陷數的該等類別。
  16. 如請求項12所述之設備，其中為了評估該準備度標準，該處理器設以接受使用該檢測數據可以以一性能量測之至少一臨界水平分類的類別，其中該性能量測為準確度、一分類性能量測以及一退回性能量測中之至少一者。
  17. 如請求項12所述之設備，其中該處理器設以進一步提供另外的檢測數據之一子組給用於分類的一檢測方式，其中該另外的檢測數據之該子組包含無法被該訓練過的一或多個自動分類器分類的檢測數據。
  18. 如請求項17所述之設備，其中對於不滿足該準備度標準的一類別，該處理器設以由該檢測方式識別與該類別相關的一缺陷群；從該另外的檢測數據之該子組收集該另外的檢測數據，該檢測方式使用該另外的檢測數據分類在該缺陷群中的缺陷；將該收集的另外的檢測數據加入該檢測數據之該選擇部分，以為該類別產生一擴大的訓練組；基於該擴大的訓 練組判斷該類別是否滿足該準備度標準；以及在基於該擴大的訓練組判斷該類別滿足該準備度標準後，使用該擴大的訓練組為該類別訓練一自動分類器。
  19. 如請求項12所述之設備，其中該處理器設以在該檢測數據之該選擇部分以外的另外的偵測數據中偵測到該複數個缺陷之一分佈中的一變化後，重新訓練該一或多個自動分類器。
  20. 一種具有指令的非暫態電腦可讀儲存媒體，當一處理裝置執行該指令時致使該處理裝置進行缺陷分類之操作，該指令包含：由一電腦系統接收與在一或多個樣品中找到的複數個缺陷相關的檢測數據；由該電腦系統接收一或多個基準分類結果，該一或多個基準分類結果包含用於該複數個缺陷中的每一個之一類別；基於該一或多個基準分類結果由該電腦系統評估用於一或多個該類別的一準備度標準，其中該準備度標準包含該檢測數據用於為每個類別訓練一用於該類別的自動缺陷分類器之適合度；選擇該檢測數據中對應於一或多個缺陷之一部分，該一或多個缺陷與滿足該準備度標準的一或多個類別相關；以及使用該檢測數據之該選擇部分訓練用於滿足該準備度標準的該一或多個類別之一或多個自動分類器。
TW102114039A 2012-04-20 2013-04-19 自動缺陷分類的分類器準備與維持 TWI576708B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/452,771 US9607233B2 (en) 2012-04-20 2012-04-20 Classifier readiness and maintenance in automatic defect classification

Publications (2)

Publication Number Publication Date
TW201346593A TW201346593A (zh) 2013-11-16
TWI576708B true TWI576708B (zh) 2017-04-01

Family

ID=49380169

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102114039A TWI576708B (zh) 2012-04-20 2013-04-19 自動缺陷分類的分類器準備與維持

Country Status (4)

Country Link
US (1) US9607233B2 (zh)
JP (1) JP6391083B2 (zh)
KR (1) KR102092054B1 (zh)
TW (1) TWI576708B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10636133B2 (en) 2017-10-27 2020-04-28 Industrial Technology Research Institute Automated optical inspection (AOI) image classification method, system and computer-readable media
US11315231B2 (en) 2018-06-08 2022-04-26 Industrial Technology Research Institute Industrial image inspection method and system and computer readable recording medium

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5800434B2 (ja) * 2013-01-11 2015-10-28 Ckd株式会社 検査装置の監視システム
US9430743B2 (en) 2014-03-06 2016-08-30 Kla-Tencor Corp. Composite defect classifier
US10576603B2 (en) * 2014-04-22 2020-03-03 Kla-Tencor Corporation Patterned wafer geometry measurements for semiconductor process controls
US9286675B1 (en) * 2014-10-23 2016-03-15 Applied Materials Israel Ltd. Iterative defect filtering process
US9898811B2 (en) * 2015-05-08 2018-02-20 Kla-Tencor Corporation Method and system for defect classification
US9922269B2 (en) * 2015-06-05 2018-03-20 Kla-Tencor Corporation Method and system for iterative defect classification
US10083403B2 (en) * 2015-06-30 2018-09-25 The Boeing Company Data driven classification and data quality checking method
US10089581B2 (en) * 2015-06-30 2018-10-02 The Boeing Company Data driven classification and data quality checking system
US10436720B2 (en) * 2015-09-18 2019-10-08 KLA-Tenfor Corp. Adaptive automatic defect classification
US10643291B2 (en) * 2015-09-28 2020-05-05 Smartvid.io, Inc. Media management system
US11205119B2 (en) * 2015-12-22 2021-12-21 Applied Materials Israel Ltd. Method of deep learning-based examination of a semiconductor specimen and system thereof
US11580375B2 (en) * 2015-12-31 2023-02-14 Kla-Tencor Corp. Accelerated training of a machine learning based model for semiconductor applications
KR102483787B1 (ko) * 2016-02-25 2023-01-04 에스케이하이닉스 주식회사 반도체 장치의 결함 모델링 장치 및 방법, 이를 위한 컴퓨터 프로그램과, 이를 이용한 반도체 장치의 결함 검사 시스템
JP2018045673A (ja) * 2016-09-09 2018-03-22 株式会社Ｓｃｒｅｅｎホールディングス 分類器構築方法、画像分類方法、分類器構築装置および画像分類装置
US10365617B2 (en) 2016-12-12 2019-07-30 Dmo Systems Limited Auto defect screening using adaptive machine learning in semiconductor device manufacturing flow
US11037286B2 (en) 2017-09-28 2021-06-15 Applied Materials Israel Ltd. Method of classifying defects in a semiconductor specimen and system thereof
JP6681082B2 (ja) * 2018-02-21 2020-04-15 株式会社タナカ技研 情報処理装置、情報システム、情報処理方法、およびプログラム
JP6960356B2 (ja) * 2018-02-28 2021-11-05 株式会社Ｓｃｒｅｅｎホールディングス 教師データ作成支援方法および教師データ作成支援装置
US11514357B2 (en) 2018-03-19 2022-11-29 Kla-Tencor Corporation Nuisance mining for novel defect discovery
DE102018109816B3 (de) * 2018-04-24 2019-10-24 Yxlon International Gmbh Verfahren zur Gewinnung mindestens eines signifikanten Merkmals in einer Serie von Bauteilen gleichen Typs und Verfahren zur Klassifikation eines Bauteils eienr solchen Serie
US10748271B2 (en) 2018-04-25 2020-08-18 Applied Materials Israel Ltd. Method of defect classification and system thereof
WO2020011648A1 (en) * 2018-07-13 2020-01-16 Asml Netherlands B.V. Pattern grouping method based on machine learning
US10867108B2 (en) 2018-09-18 2020-12-15 Taiwan Semiconductor Manufacturing Co., Ltd. Optical mode optimization for wafer inspection
US11550309B2 (en) * 2019-01-08 2023-01-10 Kla Corporation Unsupervised defect segmentation
US10762618B1 (en) * 2019-02-14 2020-09-01 United Microelectronics Corp. Mask weak pattern recognition apparatus and mask weak pattern recognition method
US11122680B2 (en) * 2019-03-18 2021-09-14 International Business Machines Corporation Passive methods of loose die identification
JP7263074B2 (ja) * 2019-03-22 2023-04-24 キヤノン株式会社 情報処理装置、及びその制御方法、プログラム、記憶媒体
JP7326867B2 (ja) * 2019-05-21 2023-08-16 富士通株式会社 情報処理装置、情報処理プログラム及び情報処理方法
CN110473170B (zh) * 2019-07-10 2023-04-07 苏州卓融新能源科技有限公司 一种适用于pcb板真假缺陷判定的人工智能检测方法
US11684921B1 (en) * 2019-08-16 2023-06-27 Leidos, Inc. Pocket detection pouch
CN111079832B (zh) * 2019-12-13 2023-04-18 辽宁科技大学 具有抗特征噪声性能的钢板表面缺陷分类方法
JP7084634B2 (ja) * 2019-12-20 2022-06-15 株式会社タナカ技研 、情報処理装置、端末装置、情報処理方法、およびプログラム
US11430105B2 (en) 2020-06-15 2022-08-30 Mitutoyo Corporation Workpiece inspection and defect detection system including monitoring of workpiece images
US11150200B1 (en) 2020-06-15 2021-10-19 Mitutoyo Corporation Workpiece inspection and defect detection system indicating number of defect images for training
TWI801767B (zh) * 2020-11-09 2023-05-11 財團法人工業技術研究院 機器學習分類模型之修正方法與訓練系統及使用者介面
US11404244B1 (en) * 2021-02-10 2022-08-02 Applied Materials Israel Ltd. High-resolution x-ray spectroscopy surface material analysis
US11501951B1 (en) 2021-05-14 2022-11-15 Applied Materials Israel Ltd. X-ray imaging in cross-section using un-cut lamella with background material
US20230010033A1 (en) * 2021-07-01 2023-01-12 Leidos, Inc. Method and System For Accelerating Rapid Class Augmentation for Object Detection in Deep Neural Networks
US11756186B2 (en) 2021-09-15 2023-09-12 Mitutoyo Corporation Workpiece inspection and defect detection system utilizing color channels
WO2024036552A1 (en) * 2022-08-18 2024-02-22 Applied Materials, Inc. Method for defect review measurement on a substrate, apparatus for imaging a substrate, and method of operating thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040156540A1 (en) * 2003-02-12 2004-08-12 Kla-Tencor Technologies, Corporation Automatic supervised classifier setup tool for semiconductor defects
US6999614B1 (en) * 1999-11-29 2006-02-14 Kla-Tencor Corporation Power assisted automatic supervised classifier creation tool for semiconductor defects

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5923430A (en) 1993-06-17 1999-07-13 Ultrapointe Corporation Method for characterizing defects on semiconductor wafers
US8144368B2 (en) 1998-01-20 2012-03-27 Digimarc Coporation Automated methods for distinguishing copies from original printed objects
US5991699A (en) 1995-05-04 1999-11-23 Kla Instruments Corporation Detecting groups of defects in semiconductor feature space
US6292582B1 (en) 1996-05-31 2001-09-18 Lin Youling Method and system for identifying defects in a semiconductor
US6148099A (en) * 1997-07-03 2000-11-14 Neopath, Inc. Method and apparatus for incremental concurrent learning in automatic semiconductor wafer and liquid crystal display defect classification
US6195458B1 (en) 1997-07-29 2001-02-27 Eastman Kodak Company Method for content-based temporal segmentation of video
WO2002095534A2 (en) 2001-05-18 2002-11-28 Biowulf Technologies, Llc Methods for feature selection in a learning machine
US6996549B2 (en) 1998-05-01 2006-02-07 Health Discovery Corporation Computer-aided image analysis
US6256093B1 (en) * 1998-06-25 2001-07-03 Applied Materials, Inc. On-the-fly automatic defect classification for substrates using signal attributes
US6650779B2 (en) 1999-03-26 2003-11-18 Georgia Tech Research Corp. Method and apparatus for analyzing an image to detect and identify patterns
US6922482B1 (en) * 1999-06-15 2005-07-26 Applied Materials, Inc. Hybrid invariant adaptive automatic defect classification
US6763130B1 (en) 1999-07-21 2004-07-13 Applied Materials, Inc. Real time defect source identification
US6577757B1 (en) 1999-07-28 2003-06-10 Intelligent Reasoning Systems, Inc. System and method for dynamic image recognition
JP2001156135A (ja) 1999-11-29 2001-06-08 Hitachi Ltd 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法
US20020164070A1 (en) 2001-03-14 2002-11-07 Kuhner Mark B. Automatic algorithm generation
US7127099B2 (en) 2001-05-11 2006-10-24 Orbotech Ltd. Image searching defect detector
AU2002339746A1 (en) 2001-05-18 2002-12-03 Imprivata Inc. System and method for authentication using biometrics
JP3726263B2 (ja) * 2002-03-01 2005-12-14 ヒューレット・パッカード・カンパニー 文書分類方法及び装置
US20040034612A1 (en) 2002-03-22 2004-02-19 Nick Mathewson Support vector machines for prediction and classification in supply chain management and other applications
JP4118703B2 (ja) * 2002-05-23 2008-07-16 株式会社日立ハイテクノロジーズ 欠陥分類装置及び欠陥自動分類方法並びに欠陥検査方法及び処理装置
US7020337B2 (en) 2002-07-22 2006-03-28 Mitsubishi Electric Research Laboratories, Inc. System and method for detecting objects in images
US7602962B2 (en) 2003-02-25 2009-10-13 Hitachi High-Technologies Corporation Method of classifying defects using multiple inspection machines
JP4443270B2 (ja) * 2003-03-12 2010-03-31 株式会社日立ハイテクノロジーズ 欠陥分類方法
US7756320B2 (en) * 2003-03-12 2010-07-13 Hitachi High-Technologies Corporation Defect classification using a logical equation for high stage classification
US9002497B2 (en) 2003-07-03 2015-04-07 Kla-Tencor Technologies Corp. Methods and systems for inspection of wafers and reticles using designer intent data
US7106434B1 (en) 2003-07-28 2006-09-12 Kla-Tencor Technologies, Inc. Inspection tool
US20080201278A1 (en) 2003-08-19 2008-08-21 Fraunhofer-Fesellschaft Zur Forderung Der Angewandten Forschund E.V. Method and Apparatus for Automatic Online Detection and Classification of Anomalous Objects in a Data Stream
US7490071B2 (en) 2003-08-29 2009-02-10 Oracle Corporation Support vector machines processing system
JP2005158780A (ja) 2003-11-20 2005-06-16 Hitachi Ltd パターン欠陥検査方法及びその装置
JP2005198970A (ja) 2004-01-19 2005-07-28 Konica Minolta Medical & Graphic Inc 医用画像処理装置
US20050175243A1 (en) 2004-02-05 2005-08-11 Trw Automotive U.S. Llc Method and apparatus for classifying image data using classifier grid models
US7609893B2 (en) 2004-03-03 2009-10-27 Trw Automotive U.S. Llc Method and apparatus for producing classifier training images via construction and manipulation of a three-dimensional image model
US20060009011A1 (en) 2004-07-06 2006-01-12 Gary Barrett Method for recycling/reclaiming a monitor wafer
US7188050B2 (en) 2004-08-25 2007-03-06 Siemens Corporate Research, Inc. Method and apparatus for detecting out-of-range conditions in power generation equipment operations
US7450766B2 (en) 2004-10-26 2008-11-11 Hewlett-Packard Development Company, L.P. Classifier performance
JP4654093B2 (ja) * 2005-08-31 2011-03-16 株式会社日立ハイテクノロジーズ 回路パターン検査方法及びその装置
JP4776308B2 (ja) 2005-09-05 2011-09-21 株式会社東京精密 画像欠陥検査装置、画像欠陥検査システム、欠陥分類装置及び画像欠陥検査方法
US7570796B2 (en) 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US7570800B2 (en) 2005-12-14 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for binning defects detected on a specimen
US7684609B1 (en) 2006-05-25 2010-03-23 Kla-Tencor Technologies Corporation Defect review using image segmentation
JP4253335B2 (ja) 2006-07-13 2009-04-08 株式会社東芝 カーネル関数値を用いた、画像の平均値シフトによるフィルタリングとクラスタリングの方法及び装置
JP4908995B2 (ja) * 2006-09-27 2012-04-04 株式会社日立ハイテクノロジーズ 欠陥分類方法及びその装置並びに欠陥検査装置
US8194968B2 (en) 2007-01-05 2012-06-05 Kla-Tencor Corp. Methods and systems for using electrical information for a device being fabricated on a wafer to perform one or more defect-related functions
JP4723544B2 (ja) * 2007-09-10 2011-07-13 シャープ株式会社 基板分類方法および装置、基板分類方法をコンピュータに実行させるためのプログラム、並びに上記プログラムを記録したコンピュータ読み取り可能な記録媒体
JP5081590B2 (ja) 2007-11-14 2012-11-28 株式会社日立ハイテクノロジーズ 欠陥観察分類方法及びその装置
US7949622B2 (en) 2007-12-13 2011-05-24 Yahoo! Inc. System and method for generating a classifier model for classifying web content
US8583416B2 (en) 2007-12-27 2013-11-12 Fluential, Llc Robust information extraction from utterances
US7756658B2 (en) 2008-05-14 2010-07-13 Kla-Tencor Corp. Systems and methods for detecting defects on a wafer and generating inspection results for the wafer
US20090305423A1 (en) 2008-06-09 2009-12-10 Ohio State University Research Foundation Methods for Monitoring Composition and Flavor Quality of Cheese Using a Rapid Spectroscopic Method
JP5075111B2 (ja) * 2008-12-29 2012-11-14 株式会社日立ハイテクノロジーズ 画像分類基準更新方法、プログラムおよび画像分類装置
US8175373B2 (en) 2009-02-16 2012-05-08 Kla-Tencor Corporation Use of design information and defect image information in defect classification
US8112241B2 (en) 2009-03-13 2012-02-07 Kla-Tencor Corp. Methods and systems for generating an inspection process for a wafer
US8457414B2 (en) 2009-08-03 2013-06-04 National Instruments Corporation Detection of textural defects using a one class support vector machine
JP2011158373A (ja) * 2010-02-02 2011-08-18 Dainippon Screen Mfg Co Ltd 自動欠陥分類のための教師データ作成方法、自動欠陥分類方法および自動欠陥分類装置
JPWO2011155123A1 (ja) * 2010-06-07 2013-08-01 株式会社日立ハイテクノロジーズ 観察画像の分類基準の最適化方法、および画像分類装置
US8315453B2 (en) * 2010-07-27 2012-11-20 Applied Materials Israel, Ltd. Defect classification with optimized purity
US9165051B2 (en) 2010-08-24 2015-10-20 Board Of Trustees Of The University Of Illinois Systems and methods for detecting a novel data class
US8983179B1 (en) 2010-11-10 2015-03-17 Google Inc. System and method for performing supervised object segmentation on images
US8502146B2 (en) 2011-10-03 2013-08-06 Kla-Tencor Corporation Methods and apparatus for classification of defects using surface height attributes
EP2828882B1 (en) 2012-03-19 2019-09-18 Kla-Tencor Corporation Method, computer system and apparatus for recipe generation for automated inspection semiconductor devices
US10043264B2 (en) 2012-04-19 2018-08-07 Applied Materials Israel Ltd. Integration of automatic and manual defect classification
US10599944B2 (en) 2012-05-08 2020-03-24 Kla-Tencor Corporation Visual feedback for inspection algorithms and filters
US10330608B2 (en) 2012-05-11 2019-06-25 Kla-Tencor Corporation Systems and methods for wafer surface feature detection, classification and quantification with wafer geometry metrology tools
US8826200B2 (en) 2012-05-25 2014-09-02 Kla-Tencor Corp. Alteration for wafer inspection
US9053390B2 (en) 2012-08-14 2015-06-09 Kla-Tencor Corporation Automated inspection scenario generation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6999614B1 (en) * 1999-11-29 2006-02-14 Kla-Tencor Corporation Power assisted automatic supervised classifier creation tool for semiconductor defects
US20040156540A1 (en) * 2003-02-12 2004-08-12 Kla-Tencor Technologies, Corporation Automatic supervised classifier setup tool for semiconductor defects

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10636133B2 (en) 2017-10-27 2020-04-28 Industrial Technology Research Institute Automated optical inspection (AOI) image classification method, system and computer-readable media
US11315231B2 (en) 2018-06-08 2022-04-26 Industrial Technology Research Institute Industrial image inspection method and system and computer readable recording medium

Also Published As

Publication number Publication date
KR20130118822A (ko) 2013-10-30
TW201346593A (zh) 2013-11-16
JP2013225313A (ja) 2013-10-31
JP6391083B2 (ja) 2018-09-19
KR102092054B1 (ko) 2020-03-24
US20130279796A1 (en) 2013-10-24
US9607233B2 (en) 2017-03-28

Similar Documents

Publication Publication Date Title
TWI576708B (zh) 自動缺陷分類的分類器準備與維持
JP6905954B2 (ja) 自動欠陥分類のための未知欠陥除去の最適化
TWI639824B (zh) 用於自動及手動缺陷分類之整合的方法、設備及非暫態電腦可讀取儲存媒介
TWI691914B (zh) 用於自動分類的方法，及其裝置、系統，及電腦可讀取媒體
JP7200113B2 (ja) 深くスタック化された層を有するウェハにおいて欠陥分類器を訓練して適用するためのシステムと方法
KR102083706B1 (ko) 반도체 검사 레시피 생성, 결함 리뷰 및 계측을 위한 적응적 샘플링
US9293298B2 (en) Defect discovery and inspection sensitivity optimization using automated classification of corresponding electron beam images
KR102340791B1 (ko) 폐쇄-루프 자동 결함 검사 및 분류
KR102472309B1 (ko) 검사를 위한 모드 선택
TW201915770A (zh) 對半導體樣本中的缺陷進行分類之方法及其系統
KR20190057402A (ko) 검사 관련 알고리즘을 설정하는데 사용되는 트레이닝 세트의 최적화
KR102483787B1 (ko) 반도체 장치의 결함 모델링 장치 및 방법, 이를 위한 컴퓨터 프로그램과, 이를 이용한 반도체 장치의 결함 검사 시스템
KR102629852B1 (ko) 다중-모드 검사를 위한 통계적 학습-기반 모드 선택
CN112805719A (zh) 分类半导体样本中的缺陷
TWI772735B (zh) 對半導體取樣中的缺陷進行分類的方法及其系統
JP2020004391A (ja) 同じタイプの一連の構成部品における少なくとも１つの重要な特徴を取得する方法及びそのような一連の構成部品を分類する方法