TWI691914B - 用於自動分類的方法，及其裝置、系統，及電腦可讀取媒體 - Google Patents

用於自動分類的方法，及其裝置、系統，及電腦可讀取媒體 Download PDF

Info

Publication number
TWI691914B
TWI691914B TW104144729A TW104144729A TWI691914B TW I691914 B TWI691914 B TW I691914B TW 104144729 A TW104144729 A TW 104144729A TW 104144729 A TW104144729 A TW 104144729A TW I691914 B TWI691914 B TW I691914B
Authority
TW
Taiwan
Prior art keywords
threshold
credibility
category
automatic
items
Prior art date
Application number
TW104144729A
Other languages
English (en)
Other versions
TW201636907A (zh
Inventor
茲維提亞奧利
Original Assignee
以色列商應用材料以色列公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 以色列商應用材料以色列公司 filed Critical 以色列商應用材料以色列公司
Publication of TW201636907A publication Critical patent/TW201636907A/zh
Application granted granted Critical
Publication of TWI691914B publication Critical patent/TWI691914B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41875—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by quality surveillance of production
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • General Factory Administration (AREA)

Abstract

一種用於調諧一分類系統的方法、系統及電腦軟體產品。該調諧方法接收包括項目的訓練資料，各項目與一訓練類別標記相關聯，其該調諧方法獲取測試資料，該測試資料包括各項目與一自動類別標記及一第一可信度水準及一第二可信度水準的相對應值的關聯性。每一自動類別，該方法基於該訓練資料及該測試資料來產生二或更多個效能度量指標。該方法針對各自動類別，選擇該第一可信度門檻值及該第二可信度的一較佳值對偶，其中對於該較佳值對偶而言，藉由拒識該第一及第二門檻值以下的所有項目，對於該等自動類別中的所有者而言，係符合該等效能度量指標的一全域最佳條件。

Description

用於自動分類的方法，及其裝置、系統，及電腦可讀取媒 體
本揭示案大致關於自動化分類，且具體而言係關於用於分析製造缺陷的方法及系統。
自動缺陷分類(ADC)技術係廣泛用於半導體工業中之基板上之缺陷的檢驗及測量。這些技術係針對偵測缺陷的存在，且依類型自動分類它們，以在生產程序上提供更詳細的反饋且降低人類檢驗者上的負載。ADC例如用以在晶圓表面上之微粒汙染物引起的缺陷及與微電路圖樣本身中的不規則性相關聯的缺陷的類型之間區隔，且亦可識別特定類型的微粒及不規則性。
下文中所述之本揭示案的實施例提供用於自動化分類的改良方法、系統及軟體。
依據本發明的一實施例，係提供一種用於調諧一分類系統的方法。該分類系統可包括定義分類規則的多類別及單類別分類器。該方法可接收包括項目的訓練資料。各項目可與一訓練類別標記相關聯。該方法可獲取測試資料，該測試資料包括各項目與一自動類別標記及一第一可信度水準及一第二可信度水準的相對應值的關聯 性。該方法可每一自動類別，基於該訓練資料及該測試資料來產生二或更多個效能度量指標。該方法可針對各自動類別，選擇該第一可信度門檻值及該第二可信度門檻值的一較佳值對偶，其中對於該較佳值對偶而言，藉由拒識該第一及第二門檻值以下的所有項目，對於該等自動類別中的所有者而言，係符合該等效能度量指標的一全域最佳條件。該等項目可為一半導體基板上所檢驗到的受懷疑缺陷。
依據本發明的一實施例，該全域最佳條件係可符合於施用於該等效能度量指標的一或更多個效能限制條件下。
依據本發明的一實施例，選擇該第一可信度門檻值及該第二可信度門檻值之一較佳值對偶的該操作可包括以下步驟：針對各自動類別，產生一候選值對偶群組；及從該等候選值對偶間選擇一較佳值對偶，對於該較佳值對偶而言，對於該等自動類別中的所有者而言，係符合該等效能度量指標的一全域最佳條件。
該方法可基於從一使用者所接收的輸入來選擇該較佳值對偶，該輸入關於所需效能水準中的一或更多者。該方法可繪製一圖表，該圖表表示一候選值對偶集合。該方法可允許該使用者使用該圖表以供選擇該較佳值對偶。該圖表可藉由以下步驟來建構：在x軸上定義一第一效能度量指標的一網格，及針對該第一效能度量指標的 各點針對y軸尋找一第二效能度量指標的一全域最佳條件。
該方法可將該一或更多個效能限制條件施用於該候選值對偶群組，以產生一容許值對偶群組。該方法可選擇或允許由一使用者從該容許值對偶群組選擇該較佳值對偶。
該方法可藉由以下步驟來獲取該測試資料：將該等分類規則施用於該訓練資料的至少一部分，其中該第一門檻值及該第二門檻值係設定至給定值。
該方法可產生與該自動類別標記比較該訓練分類標記的該二或更多個效能度量指標。
該方法可藉由以下步驟來產生該二或更多個效能度量指標：將該等分類規則施用於該訓練資料多次，其中該第一門檻值及/或該第二門檻值每次係設定至一不同值。該等效能度量指標可關於來自以下中之一或更多者的一或更多個效能測量：純度測量，表示被分類為屬於自動類別中之一者且具有相同訓練類別及測試類別的項目；準確度測量，表示被正確分類的所有項目；多數項目的拒識率，表示分類系統應已分類為屬於自動類別中之一者但不能有信心地分類的項目數量；受關注項目率，表示被正確識別為屬於特定自動類別的項目數量；少數抽取，表示被正確識別為不屬於自動類別的項目數量；誤警率，表示被拒識項目的總數之外，應已被拒識但被分類為屬於自動類別中之一者的項目數量。
該效能限制條件可選自以下中的至少一者：最小純度；最小準確度；多數項目的最大拒識率；最小受關注項目率；最小少數抽取；最大誤警率；最小可信度門檻值。
該第一可信度門檻值及第二可信度門檻值可選自以下中的至少一者：「未知」可信度門檻值，表示一可信度水準，對於該可信度水準而言，在可信度水準在該「未知」可信度門檻值以下的情況下藉由一單類別分類器分類為屬於一自動類別的一項目將被拒識；「不能決定」可信度門檻值，表示一可信度水準，對於該可信度水準而言，在可信度水準在該「不能決定」可信度門檻值以下的情況下藉由一多類別分類器分類為屬於一自動類別的一項目將被拒識；「受關注項目」可信度門檻值，表示一可信度水準，對於該可信度水準而言，在可信度水準在該「受關注項目」可信度門檻值以下的情況下藉由一多類別及單類別分類器分類為屬於一特定自動類別的一項目將被拒識。
依據本發明的一實施例，係提供一種用於調諧一分類系統的裝置。該裝置可包括經配置以進行以下步驟的一記憶體及一處理器：接收包括項目的訓練資料，各項目與一訓練類別標記相關聯；獲取測試資料，該測試資料包括各項目與一自動類別標記的關聯性及一第一可信度水準及一第二可信度水準的相對應值；其中該處理器係經進一步配置以供進行以下步驟：每一自動類別，基於該訓 練資料及該測試資料來產生二或更多個效能度量指標；及針對各自動類別，選擇該第一可信度門檻值及該第二可信度的一較佳值對偶，其中對於該較佳值對偶而言，藉由拒識這些門檻值以下的所有項目，對於該等自動類別中的所有者而言，係符合該等效能度量指標的一全域最佳條件。
依據本發明的一實施例，係提供一種用於調諧一分類系統的裝置。該裝置可包括一記憶體及與該記憶體操作性耦合以進行以下步驟的一處理器：接收包括項目的訓練資料，各項目與一訓練類別標記相關聯；獲取測試資料，該測試資料包括各項目與一自動類別標記的關聯性及一第一可信度水準及一第二可信度水準的相對應值；其中該處理器係經進一步配置以供進行以下步驟：每一自動類別，基於該訓練資料及該測試資料來產生二或更多個效能度量指標；及針對各自動類別，選擇該第一可信度門檻值及該第二可信度的一較佳值對偶，其中對於該較佳值對偶而言，藉由拒識該第一及第二門檻值以下的所有項目，對於該等自動類別中的所有者而言，係符合該等效能度量指標的一全域最佳條件。
依據本發明的一實施例，係提供包括指令的一非過渡性電腦可讀取媒體，該等指令當由一處理器所執行時，使得該處理器進行以下步驟：接收包括項目的訓練資料，各項目與一訓練類別標記相關聯；獲取測試資料，該測試資料包括各項目與一自動類別標記的關聯性及一第一可信度水準及一第二可信度水準的相對應值；每一自動 類別，基於該訓練資料及該測試資料來產生二或更多個效能度量指標；及針對各自動類別，選擇該第一可信度門檻值及該第二可信度門檻值的一較佳值對偶，其中對於該較佳值對偶而言，藉由拒識該第一及第二門檻值以下的所有項目，對於該等自動類別中的所有者而言，係符合該等效能度量指標的一全域最佳條件。
依據本發明的一態樣，係提供一種用於分類項目的方法。在一設置階段期間，該方法可調諧一分類系統，且在一分類階段期間，該方法可接收包括項目的分類資料，且可由該分類系統來分類該等項目。該方法可在該設置階段期間選擇一第一可信度門檻值及一第二可信度門檻值的一較佳值對偶。該方法可在該分類階段期間藉由施用一第一可信度門檻值及一第二可信度門檻值的該較佳值對偶來分類該分類資料。
依據本發明的一態樣，係提供一種用於分類項目的系統。該系統可包括一分類模組，該分類模組能夠接收分類資料項目，且基於自動類別來分類該等項目，其中該分類模組包括用於調諧的一裝置。
20‧‧‧用於自動化缺陷檢驗及分類的系統
22‧‧‧圖樣化半導體晶圓
24‧‧‧檢驗機器
26‧‧‧ADC機器
28‧‧‧處理器
30‧‧‧記憶體
32‧‧‧顯示器
34‧‧‧輸入裝置
40‧‧‧特徵空間
42‧‧‧缺陷
44‧‧‧缺陷
46‧‧‧邊界
48‧‧‧邊界
50‧‧‧缺陷
51‧‧‧缺陷
52‧‧‧邊界
54‧‧‧邊界
56‧‧‧缺陷
60‧‧‧列
62‧‧‧列
64‧‧‧行
66‧‧‧行
68‧‧‧行
70‧‧‧行
72‧‧‧列
74‧‧‧行
76‧‧‧列
78‧‧‧行
80‧‧‧少數缺陷的拒識
87‧‧‧工作點
88‧‧‧誤差條
170‧‧‧通道評估模組
400‧‧‧方法
410‧‧‧設置階段
420‧‧‧分類階段
430‧‧‧操作
440‧‧‧操作
450‧‧‧操作
460‧‧‧操作
470‧‧‧操作
480‧‧‧操作
490‧‧‧操作
500‧‧‧圖表
600‧‧‧電腦系統
602‧‧‧處理裝置
604‧‧‧主記憶體
606‧‧‧靜態記憶體
608‧‧‧網路介面裝置
610‧‧‧視訊顯示單元
612‧‧‧輸入裝置
614‧‧‧資料存儲裝置
616‧‧‧訊號產生裝置
618‧‧‧資料存儲裝置
620‧‧‧網路
622‧‧‧指令
628‧‧‧電腦可讀取存儲媒體
630‧‧‧匯流排
將與繪圖一起採用而從以下本發明實施例的詳細說明更完整地了解本發明，在該等繪圖中：
圖1係包括調諧模組之缺陷檢驗及分類系統的說明，依據本發明的一實施例。
圖2係包含屬於不同缺陷類別之檢驗特徵值之特徵空間的表示，依據本發明的一實施例。
圖3係一表格，該表格繪示示例訓練資料及測試資料，依據本發明的一實施例。
圖4係依據本發明之一實施例之分類方法及自動調諧方法的說明。
圖5係依據本發明之一實施例向使用者呈現之圖表的說明。
圖6係示例電腦系統的方塊圖，該示例電腦系統可執行本文中所述之操作中的一或更多者，依據各種實施方式。
概觀
自動缺陷分類系統(ADC)係用於各種領域中，例如半導體製造。該分類系統的特徵是能夠依據分類規則來將缺陷分類成複數個類別。該等分類規則係以某些可信度門檻值來定義。分類系統的效能係由效能測量(例如準確度、純度、拒識率(rejection rate)及類似物)所測量，且該等效能測量取決於可信度水準的選擇。
本揭示案的態樣關於藉由調諧分類系統來改良分類系統的效能。本揭示案的態樣關於藉由最佳化可信度門檻值的決定來改良分類系統的效能。本揭示案的態樣關於藉由改良分類器設置階段的自動化來改良分類系統的效能。本揭示案的態樣關於藉由將某些效能測量定義為 限制條件且在該等效能測量限制條件下最佳化可信度門檻值來調諧分類系統。
該分類系統的特徵是能夠依據分類規則來將缺陷分類成複數個類別。依據本揭示案的一實施例，該分類系統藉由決定缺陷是屬於空間中某個經定義的容積(類別)或不是(拒識)來分類該缺陷，且該等分類規則可更包括用於識別哪個缺陷不能被分類成該複數個類別的拒識規則。為了說明的緣故，各類別可被視為多維空間中的容積。缺陷類別中之至少二者之各別範圍間之重疊區域中的缺陷可被拒識而不分類。
經拒識的缺陷可被標記為「不能決定」(例如可能屬於多於一個類別：換言之，落在可能為多於一個類別容積之部分之多維空間中的地點中)。經拒識的缺陷可被標記為「未知」(例如可能不屬於已知的類別：換言之，落在不是類別容積之部分之多維空間中的地點中)。
該分類系統進一步的特徵是與分類結果相關聯的某個門檻可信度水準。為了說明的緣故，該門檻可信度水準係用於繪製多維空間中之類別容積的邊界。類別容積的邊界取決於門檻可信度水準，且不同的可信度水準將產生不同的類別容積(類別定義)。取決於經選擇以在被識別為屬於類別的缺陷及不屬於類別的那些缺陷之間進行區隔的門檻可信度水準，類別容積的邊界可為較大或較小的。
分類系統的效能係由效能測量(例如準確度、純度、拒識率(rejection rate)及類似物)所測量。
效能測量取決於可信度水準的選擇。
係在設置階段期間針對所需的分類效能訓練分類系統。訓練資料係用於設置階段中。訓練資料相對應於可能由人類操作者所預先分類的檢驗資料。基於訓練資料，該分類系統針對經定義的類別評估分類門檻值之不同的、替代性的集合。使用相對應的門檻值將分類規則施用於訓練資料產生了測試分類結果，該等測試分類結果產生某些效能測量。基於所需的效能測量或效能測量組合，係決定針對該等類別之可信度門檻值的特定集合。
採用拒識規則的類別系統可將「不能決定」(CND)可信度水準或「未知」(UNK)可信度水準分配給分類結果。此步驟可例如藉由使用單類別及多類別分類器來達成。單類別分類器係經配置以供針對各缺陷產生屬於給定類別的機率。若該機率是在某個門檻值以上，則該缺陷被認為是屬於該類別。否則，其被分類為「未知」。多類別分類器係經配置以供針對各缺陷產生屬於給定類別集合中之一者的機率。若該機率是在某個門檻值以上，則該缺陷被認為是屬於該等類別中的一個特定類別。否則，其被分類為「不能決定」。如此分類系統的設置需要針對各類別決定「未知」可信度門檻值及「不能決定」門檻值兩者。
本揭示案的態樣係針對藉由自動化決定所謂的分類器「工作點」(針對類別決定較佳的可信度門檻值)來改良分類器效能。本揭示案可對於二或更多個效能測量最佳化針對類別之較佳可信度門檻值的決定。雖然某個可信度門檻值最佳化了特定效能測量，其可能劣化不同的效能測量。換言之，取決於操作需求，該分類系統可能需要採以競爭性的效能測量。因此，本質上，針對類別定義最佳可信度門檻值是在限制條件問題下的最佳化。效能測量係設定於所需水準(限制條件)，且採取限制條件演算法下的最佳化。
系統描述
圖1係依據本發明之一實施例之用於自動化缺陷檢驗及分類之系統20的說明。一樣本(例如圖樣化半導體晶圓22)係插進檢驗機器24。機器24可檢驗晶圓22的表面、感應及處理檢驗結果及輸出檢驗例如包括晶圓上之缺陷影像的資料。附加性地或替代性地，連同與各缺陷相關聯的檢驗特徵值，檢驗資料可包括晶圓上發現之可疑缺陷或缺陷的清單(包括各缺陷的位置)。檢驗特徵例如可包括尺寸、形狀、散射強度、方向性及/或光譜品質，以及缺陷背景及/或本領域中熟知的任何其他合適特徵。
機器24例如可包括掃瞄電子顯微鏡(SEM)或光學檢驗裝置或本領域中熟知之任何其他合適種類的檢驗裝置。機器24可檢驗晶圓的整個表面、其部分(例 如整體模具或模具的部分)或選擇位置。機器24可用於半導體檢驗及/或檢閱應用或任何其他合適的應用。每當用語「檢驗」或其衍生物用在此揭示案中，係不對於特定應用、解析度或檢驗區域的尺寸限制這樣的檢驗，且藉由示例的方式，這樣的檢驗可施用於任何檢驗工具及技術。
雖然用語「檢驗資料」係用於本實施例中以指SEM影像及相關聯的中介資料，此用語應在本揭示案的背景中及請求項中被更廣泛地了解，以指可被收集及處理以識別缺陷特徵之任何及所有種類的描述性及診斷資料，無論用以收集該資料的手段，且無論該資料是否在整個晶圓上或部分中(例如在個別可疑位置附近)被捕捉。本發明的某些實施例係適用於由檢驗系統所識別之缺陷或可疑缺陷的分析，該檢驗系統掃瞄晶圓且提供可疑缺陷的位置清單。其他實施例適用於基於由檢驗工具所提供之可疑缺陷的位置來由檢閱工具所重新偵測之缺陷的分析。本發明係不限於藉以產生檢驗資料的任何特定技術。
ADC機器26(替代性地稱為分類機器)接收及處理由檢驗機器24所輸出的檢驗資料。若檢驗機器本身並不從晶圓22的影像抽取所有相關的檢驗特徵值，則ADC機器可執行這些影像處理功能。雖然ADC機器26在圖1中圖示為直接連接至檢驗機器輸出，ADC機器可替代性地或附加性地操作於預先獲取、儲存的檢驗資料上。作為另一替代方案，ADC機器的機能可整合進檢驗機 器。ADC機器可替代性地或附加性地連接至多於一個的檢驗機器。
ADC機器26可包括一般用途電腦形式的裝置，該裝置連同包括顯示器32及輸入裝置34的使用者介面，包括了具有用於保持缺陷資訊及分類參數之記憶體30的處理器28。處理器28包括調諧模組T，且係以軟體編程以實現本文中以下所述的功能。該軟體例如可在網路上以電子形式下載至處理器，或其可替代性地或附加性地儲存在實體、非過渡性存儲媒體(例如光學、磁式或電子記憶體媒體(其亦可包括在記憶體30中))中。實施機器26之功能的電腦可專用於包括調諧功能的ADC功能，或其亦可執行額外的計算功能。替代性地，ADC機器26的功能可分佈在一或許多個個別電腦中的多個處理器間。作為另一替代方案，本文中以下所述的至少某些ADC功能可由專用或可編程硬體邏輯所執行。
ADC機器26運行如上所定義的多個分類器，包括單類別及多類別分類器兩者。為了說明及明確的緣故，將參照機器26及系統20的其他構件描述以下實施例，但這些實施例的原則可同樣地比照實施於經要求以處理多個缺陷類別或其他未知特徵之任何種類的分類系統中。
依據其實施例中的一者，本發明係實施為電腦軟體產品，包括非過渡性電腦可讀取媒體，程式指令係儲存於該非過渡性電腦可讀取媒體中，該等指令在有或沒有 使用者輸入的情況下當由電腦所讀取時，使得該電腦以自動化的方式執行分類及自動調諧，如本文中所述。
可信度門檻值的調諧
圖2係特徵空間40的示意表示，缺陷42、44、50、51、56的集合係映射至該特徵空間40，依據本發明的一實施例。為了視覺簡化的緣故，特徵空間係於圖2中及後續圖式中表示為二維的，但本文中所述的分類程序可實現於較高維度的空間中。圖2中的缺陷係假設屬於兩個經定義的類別，一個與缺陷42相關聯(其將於以下稱為「類別I」)，而另一者與缺陷44相關聯(「類別II」)。缺陷42係藉由邊界52而在特徵空間中是有界的，同時缺陷44係藉由邊界54而為有界的。該等邊界可重疊。
此示例中的ADC機器26施用兩個類型的分類器：多類別分類器在類別I及II之間進行區隔。此情況下的分類器是二元分類器，其在與該兩個類別相關聯的區域之間定義邊界46。實際上，ADC機器26可藉由疊加多個二元分類器來實現多類別分類(各二元分類器相對應於不同的類別對偶)，且可接著將各缺陷分配至由該等二元分類器針對此缺陷多數選擇的類別。在缺陷已由多類別分類器分類之後(或並行地)，單類別分類器(由邊界52及54所表示)識別可被可靠地分配至各別類別的缺陷，同時將邊界外面的缺陷拒識為「未知」。
ADC機器26的操作者設定可信度門檻值，其決定與缺陷類別相關聯之特徵空間40中之區域邊界的位 點(loci)。針對多類別分類設定可信度門檻值係等同在邊界46的任一側上放置邊界48。例如，可信度門檻值越高，邊界48將分得越開。ADC機器將缺陷51(其位於邊界48之間但在邊界52內)拒識為「不可決定的」，意味著該機器不能以所需的可信度水準將這些缺陷自動分配至一個類別或其他類別。這些缺陷可由ADC機器所拒識，且因此傳遞至人類檢驗者以供分類。替代性地或附加性地，可傳遞這樣的缺陷以供由增加對於先前分類器不可用之新知識的任何模態進行進一步分析。
可信度水準類似地控制單類別分類器之邊界52及54的形狀。此背景中的「形狀」皆指邊界的幾何形式及幅度，且與實施分類器時所用之核心函數的參數相關聯。針對各可信度門檻值，ADC機器選擇最佳參數值，如第2013/0279795號之美國專利申請公開案中所詳細描述的。由邊界所定義的容積及邊界的幾何形狀可隨著門檻可信度水準改變而改變。
在圖2中所示的示例中，缺陷56落在邊界52及54外面，且因此被分類為「未知」缺陷。缺陷50(其皆在邊界52、54外面且在邊界48之間)亦視為「未知」。設定較低的可信度門檻值可充足地擴展邊界52及/或54以包含這些缺陷，其結果是ADC機器26將拒識較少的缺陷，但可能具有更多的分類錯誤(因為降低了分類純度)或丟失受關注之缺陷的某些部分。另一方面，增加可信度 門檻值可強化分類的純度，但代價是較高的拒識率或誤警率。
圖3係效能度量指標表，其繪示依據本發明之一實施例的訓練分類資料及測試分類資料。該表格中的列指的是已由人類檢驗者(「使用者」)所分類且依據由該檢驗者所分配之類別來排序之訓練集合中的缺陷。列60指的是所謂的「多數」缺陷類別A、B及C(亦稱為「自動類別」)。多數類別是以下類別：在訓練資料上施用分類規則之後，大多數的缺陷在訓練資料被識別屬於這些類別。ADC系統將能夠將缺陷分類成多數類別，且這些類別亦稱為「自動類別」。列62指的是所謂的「少數」缺陷類別a-g。少數類別是以下類別：在訓練資料上施用分類規則之後，在訓練資料被識別為屬於這些類別的大多數缺陷將不被分類系統分類為屬於自動類別，且被拒識。
該表格的行指的是由分類系統26所進行之缺陷的分類。具體而言，行64圖示由該機器將缺陷分類成自動類別A、B及C。列60及62及行64因此定義混淆矩陣，在該混淆矩陣中，對角線上之單元格中的數字相對應於由該機器所進行的正確分類，同時其餘單元格包含不正確分類的數量。
圖3圖示可能發生在設置階段之開始(在調諧之前)之ADC結果的分佈。此時，分類中所使用的可信度門檻值係設定至最小值，而不考慮效能的影響。其結果是，所有缺陷被分類為屬於三個多數(自動)類別中的一 者。沒有缺陷已被機器26分類為「未知」(UNK)或「不可決定」(CND--「不能決定」)，且因此行66及68(包含UNK及CND缺陷的數量)是空的(例如顯示零的值)。要列於行70中的各類別拒識數量同樣是零。總列72給定由該機器分類(正確地或不正確地)成各類別或範疇的缺陷總數，同時訓練集合總和行74指示由人類操作者預先分類成類別A-C及a-g中之各者之訓練資料中的實際缺陷總數。
對於圖3而言，關於由ADC機器26針對多數類別A、B及C中的各者進行之分類之純度的效能測量係在純度列76中呈現於各別行的底部處。各類別的純度百分比係等於正確分類的缺陷數量(例如在類別A中是75個缺陷、在類別B中是957個且在類別C中是277個)除以由機器分配至類別的缺陷總數(如列72中之表值中所列的)。在此情況下，列76中之類別A及C的純度值是低的，可能低於系統20的使用者很可能選擇的最小純度水準。同時，列於拒識行78中的拒識率(以百分比表示)(由行70中的拒識數量除以行74中之各類型的缺陷總數的商數所給定)是零。
若所有分類器皆經理想地定義、缺陷容易分類且可信度門檻值被設定至理想值，則列62中的所有少數缺陷會偏移至行66-70，意即所有少數缺陷已由ADC機器26所拒識。同時，由行64所定義之混淆矩陣中的非對角元素會是零，且行70中之多數類別A、B及C的拒識數 量同樣會是零。在此情況下，列76中之多數類別的純度值將是100%，且列60的拒識率將是0，同時列62中所示之少數缺陷的識別80將是100%。
出於同樣的原因，為了從DOI(受關注缺陷)區隔妨害(nuisance)及錯誤(false)缺陷的目的，所有DOI應處於拒識行(66及68)中或由操作者分配為DOI之行64中的一或更多者中(給定100%的DOI捕捉率)。錯誤分類應集中在由操作者分配為錯誤的行64中(給定0%的誤警率)。
圖4係一流程圖，其示意性地繪示用於自動缺陷分類或用於在妨害缺陷及受關注缺陷(DOI)之間進行區隔的方法，依據本發明的一實施例。方法400包括操作序列410及操作序列420，該操作序列410在設置階段期間由機器26之模組T執行於訓練資料集合上，以藉由決定可信度門檻值來調諧ADC機器26，該等可信度門檻值滿足所需的效能測量，該操作序列420是在分類階段期間執行於檢驗結果上，以供使用在設置階段期間所選擇的可信度門檻值來分類檢驗結果。依據本發明的一實施例，使用者在設置階段期間與機器26互動，同時在分類階段期間，機器26實質上在沒有使用者互動的情況下進行操作。依據本發明的另一實施例，使用者在分類階段期間與機器26互動。方法400可由圖1之機器26或機器26的處理器28所執行。
設置階段410：將一起參照圖4及圖3來描述設置階段的操作430-470：
如所示，於方塊430處，可接收訓練資料，其中訓練資料包括各與訓練類別標記相關聯的項目。訓練資料可由例如為相對應於給定測試晶圓之缺陷的項目清單所組成，各項目與一類別標記相關聯，藉此構成訓練類別標記。對於圖3而言，訓練類別標記係表示於列60及62中。
如所示，於方塊440處，可獲得獲取測試資料的步驟，包括以下步驟：將各項目與一自動類別標記及相對應的第一及第二可信度水準相關聯。依據本發明的一實施例，測試資料係基於由檢驗工具(例如圖1的機器24)所提供的檢驗結果來產生，該檢驗工具藉由檢驗測試資料所對應的測試晶圓來提供該等檢驗結果。ADC機器在該等檢驗結果的整個集合中或子集合中分類檢驗結果以藉此將項目與類別相關聯。對於圖3而言，分類結果係表示於行64中。
如所示，於方塊440處，係每一如所定義的自動(多數)類別將效能度量指標產生為設定不同可信度門檻值水準的結果。該等效能度量指標係基於訓練資料及測試資料來產生。該等效能度量指標係藉由將分類規則施用至訓練資料多式來產生，其中該一或更多個可信度門檻值每次係設定至不同值。因此，針對各自動類別，測試資料包括各種分類結果，各分類結果包括與可信度門檻值相關 聯的項目，從而產生了各種效能測量值。因此，係藉此接收效能測量值及可信度門檻值之間的相關性，構成了效能度量指標。
如所示，於方塊460處，係解決了效能度量指標的最佳化問題，以針對各自動類別從所有可信度門檻值的群組間決定較佳的可信度門檻值470。
ADC機器的調諧係藉由對於二或更多個效能測量(例如純度及拒識率)最佳化類別之較佳可信度門檻值的決定來達成。雖然某個可信度門檻值最佳化了特定效能測量(例如純度)，其可能劣化不同的效能測量(例如拒識率)。換言之，取決於操作需求，該分類系統可能需要採以競爭性的效能測量。
依據本發明的一實施例，效能測量中的一或更多者可表示為限制條件，且操作460係使用限制條件技術下的最佳化來執行。依據本發明的一實施例，使用者藉由提供所需的限制條件來與機器26互動。限制條件的示例包括(但不限於)所需的純度水準、所需的確準度水準、最小拒識率及類似物。門檻值的候選對偶群組係藉此經限制以包括滿足該一或更多個限制條件的那些門檻值對偶。換言之，產生可接受之效能測量值的門檻值對偶係識別為容許對偶值。產生不可接受之效能測量值的門檻值對偶係識別為非容許對偶值。依據本發明的一實施例，效能限制條件係用於產生效能度量指標，且在將分類規則施用 至測試資料時僅使用容許對偶值，藉此避免窮舉、耗時的計算。
本發明係不受可用之最佳化技術的類型及種類所限制。最佳化技術可包括(但不限於貪婪疊代演算法)、拉格朗日乘數、線性或二次規劃二次規劃、分支定界及演進或隨機約束最佳化。
依據本發明的一實施例，係在一或更多個效能測量被保持在所需水準的情況下使用貪婪疊代演算法(在限制條件問題下進行最佳化)。例如，對於圖3的說明而言，於貪婪疊代演算法搜尋的各疊代處，係施用不同的可信度門檻值，行78中所列的拒識率將增加，少數缺陷的拒識80亦將增加，同時純度係維持在不小於最小可接受純度值的水準處。除了純度以外可將其他限制條件(例如不考慮純度值之UNK或CND缺陷的最小門檻值)用在拒識門檻值上，或可將其他限制條件用在拒識門檻值上而不使用純度。貪婪疊代演算法搜尋可經定義以尋找可信度門檻值集合，使得：對於多數類別中的各者而言，純度係不小於預先定義的最小純度值；對於多數類別中的各者而言，UNK及CND缺陷的最小拒識門檻值係不低於指定值；作為在率80上的加權平均值，少數缺陷的整體拒識率(稱為少數抽取率)係不小於某個最小目標率；或作為行78之列60中之值的加權平均值，多數缺陷的平均拒識率是可被發現仍滿足以上純度及少數抽取上之條件的最低率。在此示例中，目標效能測量是純度，同時少數抽取 率定義了機器26的操作準則。本發明係不受所用之效能測量的類型、限制條件及它們所需水準的類型或限制條件方法下之最佳化的實施方式所限。取決於分類的需求及目標，本發明可經施用以自動尋找滿足其他效能測量及操作準則之集合的門檻值集合。
依據本發明的一實施例，人類操作者(使用者)正提供一或更多個所需的效能水準。例如，使用者正通過輸入/輸出模組(例如GUI、顯示器及鍵盤)與機器互動，且能夠輸入一或更多個所需的效能值。基於此輸入，係針對各自動類別選擇較佳的可信度門檻值。這樣的所需效能值可包括最小純度、最小準確度、多數項目的最大拒識率、最小受關注項目率、最小少數抽取、最大誤警率及最小可信度門檻值中的一或更多者。
依據本發明的一實施例，係自動選擇較佳的可信度門檻值。例如，較佳的可信度門檻值是相對應於給定純度或準確度水準處之最小拒識率的那些可信度門檻值。
依據本發明的一實施例，較佳可信度門檻值的選擇係以人工或半人工的方式來執行。係將各自動類別的各種候選可信度門檻值提供給使用者，且允許使用者在人工程序中針對各自動類別選擇較佳可信度門檻值。例如，在對於圖3所述的示例中，係將各自動類別的複數個候選CND及UNK可信度門檻值對偶提供給使用者，該複數個候選CND及UNK可信度門檻值對偶滿足某個最小純度或準確度；各個這樣的對偶表示不同的CND及/或UNK 可信度門檻值。可向使用者以圖表的形式呈現資料。該圖表可為藉由以下步驟來建構的二維圖表：在x軸上定義第一效能測量的網格，且針對第一效能測量的各點對y軸尋找第二效能測量的全域最佳條件。該圖表可為藉由以下步驟來建構的三維圖表：在x軸上定義第一效能測量的網格，且針對第一效能測量的各點對y軸及z軸尋找第二及第三效能測量的全域最佳條件。在任何情況下，該圖表上的各點(「工作點」)表示某些效能測量水準下的可接受門檻值集合(各自動類別的候選可信度門檻值)。換言之，各工作點提供了效能測量之間的不同取捨。可將關於候選工作點的額外顯像及資訊提供給使用者。例如，可將該一或更多個所需效能測量水準(限制條件)的顯像提供給使用者，工作點係在該一或更多個所需效能測量水準下產生的(例如各別的效能測量值)。可將相對應於工作點的效能水準值提供給使用者。可將特定自動類別的門檻值及/或相對應於某個效能測量的門檻值提供給使用者。可將針對效能測量表示可能誤差或容許度的各工作點的統計邊界及更多物提供給使用者(例如視覺化為誤差條)。藉由此顯像，使用者能夠深入調查選擇的特定態樣。
如於方塊460處所示，係選擇較佳的可信度門檻值集合。該較佳可信度門檻值集合可由使用者選擇。可藉由移動圖表上的游標或指標及選擇所需的工作點通過輸入/輸出模組來提供使用者選擇。本發明係不受資料結構類型及用於向使用者呈現資料的顯像技術所限。本發明 係不受用於與機器互動之GUI及輸入/輸出模組的類型所限。該較佳可信度門檻值集合可以自動化方式來選擇。
分類階段420：
於方塊480處，分類資料係從檢驗機器(或從另一機器)所接收。替代性地，取決於特定系統配置，檢驗結果係從檢驗機器所接收，且包括項目(例如缺陷)的分類資料係由機器26所產生。
於方塊490處，分類規則係使用較佳可信度門檻值集合來由機器26施用於分類資料，該等較佳可信度門檻值是針對自動類別選擇的，且項目(缺陷)係藉此分類。
圖5係依據本發明之一實施例向使用者呈現之圖表500的圖解。圖表500可由圖1之機器26或機器26的處理器28向使用者呈現。此非限制性示例中之圖表的橫座標係第一效能測量(例如DOI捕捉率)，同時縱座標係第二效能測量(例如誤警率)。效能測量係以上所定義的方式表示為百分比及計算。圖表上的各點87表示機器26的候選工作點，相對應於分類器可信度門檻值集合，如以上所解釋的。在圖5中所示的示例中，各工作點係配以誤差條88，指示針對效能測量表示可能誤差或容許度之各工作點的統計邊界(亦稱為「穩定度」)。工作點87可不同誤差條顯示。工作點可以離散方式來顯示(如圖5中)，或顯示為連續線上的點。
圖表500可藉由以下步驟來產生：定義第一效能測量中之所需值的網格，且在給定第一測量值的情況下最佳化其他效能測量。替代性地，可施用一次考慮所有效能測量的疊代演算法，在各疊代中修改一或更多個類別可信度門檻值，以便競爭效能測量中之各者中的改變間的比率是最佳的。這可藉由貪婪疊代演算法或任何其他限制條件最佳化技術(例如拉格朗日乘數、線性或二次規劃、分支定界、或演進或隨機約束最佳化)來達成。對於這些技術中的各者而言，可累積連續的最佳化步驟以產生工作點圖表。可藉由結合在資料分區上多次運行的統計來估計穩定性誤差條(例如藉由推進(boosting)或交叉驗證方法來進行)。
在半導體裝置的製造過程中所執行之缺陷的檢驗及分類的背景中，可使用以下效能測量：純度測量，表示被分類為屬於自動類別中之一者且具有相同訓練類別及測試類別的項目；準確度測量，表示被正確分類的所有項目；多數項目的拒識率，表示分類系統應已分類為屬於自動類別中之一者但不能有信心地分類的項目數量；受關注項目率，表示被正確識別為屬於特定自動類別的項目數量；少數抽取，表示被正確識別為不屬於自動類別的項目數量；誤警率，表示被拒識項目的總數之外，應已被拒識但被分類為屬於自動類別中之一者的項目數量。本發明係不受所用之效能測量的類型所限，且可以所需的修改以其他效能測量實施而不脫離其範圍。
係參照UNK可信度水準(「未知」可信度門檻值，表示一可信度水準，對於該可信度水準而言，由單類別分類器在可信度水準在該「未知」可信度門檻值之下的情況下分類為屬於自動類別的項目將被拒識)及CND可信度水準(「不能決定」可信度門檻值，表示一可信度水準，對於該可信度水準而言，由多類別分類器在可信度水準在該「不能決定」可信度門檻值以下的情況下分類為屬於自動類別的項目將被拒識)來描述本揭示案。在半導體裝置的製造過程中所執行之缺陷之檢驗及分類的背景中，可使用其他的可信度水準。例如，「受關注項目」可信度門檻值，表示一可信度水準，對於該可信度水準而言，由多類別及單類別分類器在可信度水準在該「受關注項目」可信度門檻值以下的情況下分類為屬於特定自動類別的項目將被拒識。本發明係不受所用之可信度水準的類型所限，且可使用影響類別或分類規則之定義的任何可信度水準，而不脫離本發明的範圍。
將針對自動缺陷分類(ADC)技術及系統來描述本發明的實施例，該等自動缺陷分類技術及系統可用在檢驗及測量半導體工業中之基板上的缺陷時。在不脫離本發明之範圍的情況下，本發明對於各種工業的許多其他應用是有用的。
將針對關於半導體工業中之檢驗及缺陷偵測的效能測量(例如準確度、純度、拒識率、「不能決定」(CND)可信度水準及「未知」(UNK)可信度水準) 來描述本發明的實施例。本發明係不限於所述的應用，且可用於其他應用(例如最佳化不同的效能測量)，而不脫離本發明的範圍。
將針對可將未分類的缺陷特性化為「未知」或「不能決定」的分類系統來描述本發明的實施例。在不脫離本發明之範圍的情況下，本發明係不限於這樣的分類器，且可同其他類型的分類系統使用，該等分類系統的特徵是競爭效能測量。
將理解的是，係藉由示例的方式援引以上所述的實施例，且本發明係不限於上文中已被具體圖示及描述者。寧可，本發明的範圍包括上文中所述之各種特徵的組合及子組合以及其變化及修改兩者，該等變化及修改會發生在本領域中具技藝者閱讀以上說明之後且未揭露於先前技術中。
係針對某些系統配置替代方案來描述本發明。無論實施系統的方式，該系統通常包括特別是能夠處理資料的一或更多個元件。能夠進行資料處理之所有這樣的模組、單元及系統可以硬體、軟體或韌體或其任何組合來實施。雖然在某些實施方式中，這樣的處理性能可由一般用途處理器所執行的專用軟體所實施，本發明的其他實施方式可能需要利用專用的硬體或韌體，尤其是在資料的容積及處理速度是非常重要的時候。依據本發明的系統可為經合適地編程的電腦。同樣地，本發明考慮可由電腦所讀取以供執行本發明之方法的電腦程式。本發明更考慮有 形地實現可由機器所執行以供執行本發明之方法的指令程式的機器可讀取記憶體。可實施指令程式，該指令程式當由一或更多個處理器所執行時，使得執行方法400或上述方法400之變化中的一者，即使並未明確詳盡地包括這樣的指令。
圖6繪示電腦系統600之示例形式之機器的圖解，一組指令可執行於該電腦系統600內，該組指令係用於使該機器執行本文中所討論之方法學中之任一或更多者。在替代性的實施方式中，機器可在LAN、內部網路、外部網路或網際網路中連接(例如聯網)至其他機器。機器可操作為客戶端及伺服器網路環境中的伺服器或客戶端機器，或操作為點對點(或分布式)網路環境中的同級機器。機器可為個人電腦(PC)、平板PC、機頂盒(STB)、個人數位助理(PDA)、蜂巢式電話、網頁設備、伺服器、網路路由器、開關或橋接器或能夠執行一組指令(順序的或其他方式)的任何機器，該組指令指定要由該機器所採取的動作。進一步地，雖僅繪示單一機器，亦應採用用詞「機器」以包括個別地或聯合地執行一組(或多組)指令以執行本文中所討論之方法學中之任一或更多者的任何系列的機器。
示例電腦系統600包括透過匯流排630來互相通訊的處理裝置(處理器)602、主記憶體604(例如唯讀記憶體(ROM)、快閃記憶體、動態隨機存取記憶體(DRAM)(例如同步DRAM(SDRAM)、雙資料 率(DDR SDRAM)或DRAM(RDRAM))...等等)、靜態記憶體606(例如快閃記憶體、靜態隨機存取記憶體(SRAM)...等等)及資料存儲裝置614。
處理器602代表一或更多個一般用途處理裝置，例如微處理器、中央處理單元或類似物。更特定而言，處理器602可為複合指令集計算(complex instruction set computing,CISC)微處理器、減少指令集計算(reduced instruction set computing,RISC)微處理器、非常長指令字元(very long instruction word,VLIW)微處理器、或實施其他指令集的處理器或實施指令集之組合的處理器。處理器602亦可為一或更多個特定用途的處理裝置，例如特定應用集成電路(ASIC)、現場可編程閘陣列(FPGA)、數位訊號處理器(DSP)、網路處理器或類似物。處理器602係經配置，以執行指令622以供執行本文中所討論的操作及步驟。
電腦系統600可進一步包括網路介面裝置604。電腦系統600亦可包括視訊顯示單元610(例如液晶顯示器(LCD)或陰極射線管(CRT))、輸入裝置612(例如鍵盤、及文數字鍵盤、運動感應輸入裝置)、指標控制裝置614(例如滑鼠)及訊號產生裝置616(例如喇叭)。
資料儲存裝置614可包括將一或更多組的指令622(例如軟體)儲存於其上的電腦可讀取存儲媒體 624，該等組的指令實現了本文中所述之方法學或功能中之任何一或更多者。指令622亦可(完全地或至少部分地)在由電腦系統600執行該軟體622期間常駐於主記憶體604內及/或處理器602內，主記憶體604及處理器602亦構成電腦可讀取存儲媒體。指令622可進一步透過網路介面裝置608在網路620上傳送或接收。
雖電腦可讀取存儲媒體628(機器可讀取存儲媒體)係於示例性實施方式中圖示為單一媒體，應採用用詞「電腦可讀取存儲媒體」以包括儲存一或更多組指令的單一媒體或多個媒體(例如集中式或分布式資料庫及/或相關聯的快取記憶體及伺服器)。亦應採用用詞「電腦可讀取存儲媒體」以包括能夠儲存、編碼或實現由機器所執行之一組指令的任何媒體，且該組指令使機器執行本揭示案之方法學中之任何一或更多者。應據此採用用詞「電腦可讀取存儲媒體」以包括(但不限於)固態記憶體、光學媒體及磁式媒體。
在上述的說明中，係闡述了許多細節。然而，對於受益於此揭示案之本領域中具通常技藝者將是明確的是，本揭示案可在沒有這些特定細節的情況下實行。在某些實例中，熟知的結構及裝置係以方塊圖形式來圖示，而非詳細地圖示，以避免模糊本揭示案。
詳細說明之某些部分已在演算法方面以及電腦記憶體內之資料位元上之操作符號表示方面呈現。這些演算法的描述及表示係由那些在資料處理技術領域中具 技藝者所使用的手段以向其他在該技術領域中具技藝者最有效地傳達他們工作的實質內容。演算法係於此處(且一般而言)構想為導致所需結果之自相一致的步驟序列。該等步驟係那些需要物理量之物理操控的那些步驟。通常，雖然未必，這些量採取能夠被儲存、傳輸、結合、比較及在其他情況下被操控的電或磁訊號的形式。將這些訊號指為位元、值、構件、符號、特性、項目、數字或類似物有時被證明是方便的(為了一般用途的理由)。
應牢記的是，然而，所有的這些詞語及相似的詞語係要同適當的物理量相關聯且僅為施加至這些量的方便標籤。除非特別聲明，否則從以下的討論，顯然，理解的是，本說明的各處(利用例如「決定」、「使得」、「提供」、「識別」、「過濾」、「運算」或類似物之用語的討論)指電腦系統(或相似的電子計算裝置)的動作及處理，該電腦系統將在電腦系統的暫存器及記憶體內表示為物理(例如電子)量之資料操控及轉換為電腦系統記憶體或暫存器或其他這樣的資訊存儲、傳送或顯示裝置內之其他類似地表示為物理量的資料。
為了易於解釋，該等方法在本文中係描繪及描述為一系列行為。然而，依據此揭示案的行為可以各種順序及/或同時發生，且其中其他行為未在本文中呈現及描述。並且，並非需要所有經說明的行為來依據所揭露之標的實施該等方法。此外，那些本發明所屬領域中具技藝者將了解及理解的是，該等方法可透過狀態圖或事件替代性 地被表示為一系列的相關狀態。此外，應理解的是，此說明書中所揭露的方法能夠被儲存在製造製品上，以促進將這樣的方法運輸及傳輸至計算裝置。如本文中所使用的用語「製造製品」係要包括可從任何電腦可讀取儲存裝置或存儲媒體存取的電腦程式。
本揭示案的某些實施方式亦關於用於執行本文中之操作的裝置。可針對所欲的用途來建構此裝置，或其可包括一般用途電腦，該一般用途電腦係由儲存於該電腦中的電腦程式選擇性啟動或重新配置。這樣的電腦程式可儲存在電腦可讀取存儲媒體中，例如(但不限於)任何類型的碟片(包括軟碟、光碟、CD-ROM及磁光碟)、唯讀記憶體(ROM)、隨機存取記憶體(RAM)、EPROM、EEPROM、磁或光卡或適於儲存電子指令的任何類型媒體。
此說明書各處對於「一個實施方式」或「一實施方式」的指稱指的是，結合該等實施方式來描述的特定特徵、結構或特性係包括在至少一個實施方式中。因此，此說明書各處之各種地方中的用句「在一個實施方式中」或「在一實施方式中」的出現不一定全指相同的實施方式。此外，「或」係欲意指包容性的「或」而非排除性的「或」。並且，用詞「示例」或「示例性」係於本文中用以意指充當一示例、實例或說明。本文中描述為「示例性」的任何態樣或設計係不一定要建構為相對於其他態樣或 設計而言是較佳或有益的。寧可，用詞「示例」或「示例性」的使用係欲以具體的方式呈現概念。
要了解的是，以上說明係欲為說明性的，而非限制性的。在閱讀及了解以上說明之後，許多其他實施方式對於本領域中具技藝的該等人而言將是明確的。因此，將參照隨附的請求項來決定本揭示案的範圍，連同如此請求項所賦予之等效物的整個範圍。
400‧‧‧方法
410‧‧‧設置階段
420‧‧‧分類階段
430‧‧‧操作
440‧‧‧操作
450‧‧‧操作
460‧‧‧操作
470‧‧‧操作
480‧‧‧操作
490‧‧‧操作

Claims (25)

  1. 一種用於自動分類的方法，包括以下步驟：藉由一處理裝置，接收包括項目的訓練資料，各項目與一訓練類別標記相關聯；獲取測試資料，該測試資料包括各項目與一自動類別標記的一關聯性及一第一可信度門檻值及一第二可信度門檻值的相對應值；每一各自動類別，基於該訓練資料及該測試資料來產生二或更多個效能度量指標；針對各自動類別，選擇該第一可信度門檻值及該第二可信度門檻值的一較佳值對偶，其中對於該較佳值對偶而言，藉由拒識該第一及第二可信度門檻值以下的所有項目，對於該等自動類別中的所有者而言，係符合該等效能度量指標的一全域最佳條件，該全域最佳條件係符合於施用於該二或更多個效能度量指標的一或更多個限制條件下，其中該一或更多個限制條件對應於針對於在該訓練資料中的該等項目的一半導體缺陷分類的結果的一或多個所欲的度量指標；及基於該第一可信度門檻值和該第二可信度門檻值的選擇的該較佳值對偶來分類一或多個缺陷，其中選擇的該較佳值對偶中的該第一可信度門檻值和該第二可 信度門檻值與用以分類該一或多個缺陷的一特徵空間的邊界相關聯。
  2. 如請求項1所述之方法，其中選擇該第一可信度門檻值及該第二可信度門檻值之該較佳值對偶的該步驟包括以下步驟：針對各自動類別，產生一候選值對偶群組；及從該等候選值對偶間選擇一較佳值對偶，其中對於該較佳值對偶而言，對於該等自動類別中的所有者而言，係符合該等效能度量指標的該全域最佳條件。
  3. 如請求項2所述之方法，其中該較佳值對偶係基於從一使用者所接收的輸入來選擇，該輸入關於一或更多個所需的效能水準。
  4. 如請求項3所述之方法，更包括以下步驟：繪製一圖表，該圖表表示一候選值對偶集合，且允許該使用者使用該圖表以供從該候選值對偶集合選擇該較佳值對偶。
  5. 如請求項4所述之方法，其中該圖表係藉由以下步驟來建構：在一x軸上定義一第一效能度量指標的一網格，及針對該第一效能度量指標的各點針對一y軸尋找一第二效能度量指標的一全域最佳條件。
  6. 如請求項2所述之方法，其中一或更多個效能限制條件係施用於該候選值對偶群組，以產生一容 許值對偶群組，且其中該較佳值對偶係選自該容許值對偶群組。
  7. 如請求項1所述之方法，其中該等項目係一半導體基板上所檢驗到的受懷疑缺陷。
  8. 如請求項1所述之方法，其中獲取測試資料的步驟係藉由以下步驟來實現：將該等分類規則施用於該訓練資料的至少一部分，其中該第一可信度門檻值及該第二可信度門檻值係設定至給定值。
  9. 如請求項1所述之方法，其中產生二或更多個效能度量指標的該步驟係藉由與該等自動類別標記比較該訓練類別標記來執行。
  10. 如請求項1所述之方法，其中產生二或更多個效能度量指標的步驟係藉由以下步驟來實現：將該等分類規則施用於該訓練資料多次，其中該第一可信度門檻值及/或該第二可信度門檻值每次係設定至一不同值。
  11. 如請求項1所述之方法，其中該等效能度量指標關於來自以下一或更多者的一或更多個效能測量：一純度測量，表示被分類為屬於該等自動類別中之一者且具有相同訓練類別及測試類別的項目；一準確度測量，表示被正確分類的所有項目； 一多數項目拒識率，表示該分類系統應已分類為屬於該等自動類別中之一者但不能可信地分類的該項目數量；一受關注項目率，表示被正確識別為屬於特定自動類別的該項目數量；一少數抽取，表示被正確識別為不屬於自動類別的該項目數量；及一誤警率，表示該受拒識項目的總數量之外，應已被拒識但被分類為屬於該等自動類別中之一者的一項目數量。
  12. 如請求項1所述之方法，其中該效能限制條件係選自以下中的至少一者：一最小純度；一最小準確度；一最大多數項目拒識率；一最小受關注項目率；一最小少數抽取；一最大誤警率；及一最小可信度門檻值。
  13. 如請求項1所述之方法，其中該第一可信度門檻值及該第二可信度門檻值係選自以下中的至少一者： 一「未知」可信度門檻值，表示一可信度水準，對於該可信度水準而言，在可信度水準在該「未知」可信度門檻值以下的情況下藉由一單類別分類器分類為屬於一自動類別的一項目將被拒識；一「不能決定」可信度門檻值，表示一可信度水準，對於該可信度水準而言，在可信度水準在該「不能決定」可信度門檻值以下的情況下藉由一多類別分類器分類為屬於一自動類別的一項目將被拒識；及一「受關注項目」可信度門檻值，表示一可信度水準，對於該可信度水準而言，在可信度水準在該「受關注項目」可信度門檻值以下的情況下藉由一多類別分類器及單類別分類器分類為屬於一特定自動類別的一項目將被拒識。
  14. 一種用於調諧一分類系統的裝置，該裝置包括：一記憶體；及一處理器，與該記憶體操作性耦合以進行以下步驟：接收包括項目的訓練資料，各項目與一訓練類別標記相關聯；獲取測試資料，該測試資料包括各項目與一自動類別標記的關聯性及一第一可信度門檻值及一第二可信度門檻值的相對應值； 每一自動類別，基於該訓練資料及該測試資料來產生二或更多個效能度量指標；針對各自動類別，選擇該第一可信度門檻值及該第二可信度門檻值的一較佳值對偶，其中對於該較佳值對偶而言，藉由拒識該第一門檻值及第二門檻值以下的所有項目，對於該等自動類別中的所有者而言，係符合該等效能度量指標的一全域最佳條件，該全域最佳條件係符合於施用於該二或更多個效能度量指標的一或更多個限制條件下，其中該一或更多個限制條件對應於針對於在該訓練資料中的該等項目的一半導體缺陷分類的結果的一或多個所欲的度量指標；及基於該第一可信度門檻值和該第二可信度門檻值的選擇的該較佳值對偶來分類一或多個缺陷，其中選擇的該較佳值對偶中的該第一可信度門檻值和該第二可信度門檻值與用以分類該一或多個缺陷的一特徵空間的邊界相關聯。
  15. 如請求項14所述之裝置，其中該處理器係更用以藉由以下步驟來選擇該第一可信度門檻值及該第二可信度門檻值的一較佳值對偶：針對各自動類別，產生一候選值對偶群組；及 從該等候選值對偶間選擇一較佳值對偶，其中對於該較佳值對偶而言，對於該等自動類別中的所有者而言，係符合該等效能度量指標的一全域最佳條件。
  16. 如請求項14所述之裝置，其中該處理器係更用以從一使用者接收輸入，該輸入關於所需效能水準中的一或更多者，且該處理器用於基於從一使用者所接收的所述輸入來選擇該較佳值對偶。
  17. 如請求項15所述之裝置，其中該處理器更用以進行以下步驟：向該使用者提供一圖表的一輸出，該圖表表示一候選值對偶集合；及允許該使用者使用該圖表，以供輸入所需效能水準中的所述一或更多者。
  18. 如請求項17所述之裝置，其中該圖表係藉由以下步驟來建構：在x軸上定義一第一效能度量指標的一網格，及針對該第一效能度量指標的各點針對y軸尋找一第二效能度量指標的一全域最佳條件。
  19. 一種非過渡性電腦可讀取媒體，包括指令，該等指令當由一處理器所執行時，使得該處理器進行以下步驟：接收包括項目的訓練資料，各項目與一訓練類別標記相關聯； 獲取測試資料，該測試資料包括各項目與一自動類別標記的關聯性及一第一可信度門檻值及一第二可信度門檻值的相對應值；每一自動類別，基於該訓練資料及該測試資料來產生二或更多個效能度量指標；及針對各自動類別，選擇該第一可信度門檻值及該第二可信度門檻值的一較佳值對偶，其中對於該較佳值對偶而言，藉由拒識該第一門檻值及第二門檻值以下的所有項目，對於該等自動類別中的所有者而言，係符合該等效能度量指標的一全域最佳條件，該全域最佳條件係符合於施用於該二或更多個效能度量指標的一或更多個限制條件下，其中該一或更多個限制條件對應於針對於在該訓練資料中的該等項目的一半導體缺陷分類的結果的一或多個所欲的度量指標；及基於該第一可信度門檻值和該第二可信度門檻值的選擇的該較佳值對偶來分類一或多個缺陷，其中選擇的該較佳值對偶中的該第一可信度門檻值和該第二可信度門檻值與用以分類該一或多個缺陷的一特徵空間的邊界相關聯。
  20. 如請求項19所述之非過渡性電腦可讀取媒體，其中該處理器係更用以藉由以下步驟來選擇該第 一可信度門檻值及該第二可信度門檻值的一較佳值對偶：針對各自動類別，產生一候選值對偶群組；及從該等候選值對偶間選擇一較佳值對偶，其中對於該較佳值對偶而言，對於該等自動類別中的所有者而言，係符合該等效能度量指標的一全域最佳條件。
  21. 如請求項19所述之非過渡性電腦可讀取媒體，其中該處理器係更用以從一使用者接收輸入，該輸入關於所需效能水準中的一或更多者，且該處理器用以基於從一使用者所接收的所述輸入來選擇該較佳值對偶。
  22. 如請求項21所述之非過渡性電腦可讀取媒體，其中該處理器更用以進行以下步驟：向該使用者提供一圖表的一輸出，該圖表表示一候選值對偶集合，及允許該使用者使用該圖表，以供輸入所需效能水準中的所述一或更多者。
  23. 如請求項20所述之非過渡性電腦可讀取媒體，其中該圖表係藉由以下步驟來建構：在x軸上定義一第一效能度量指標的一網格，及針對該第一效能度量指標的各點針對y軸尋找一第二效能度量指標的一全域最佳條件。
  24. 一種用於分類項目的方法，該方法包括以下步驟：在一設置階段期間，施用請求項1-12中之任何者的該方法；在一分類階段期間，接收包括項目的分類資料，且基於該等自動類別及使用該第一可信度門檻值及該第二可信度門檻值的該較佳值對偶來分類該等項目。
  25. 一種用於分類項目的系統，該系統包括分類模組，該分類模組能夠接收分類資料項目，及基於自動類別來分類該等項目，其中該分類模組包括用於依據請求項14至18來調諧一分類系統的一裝置。
TW104144729A 2014-12-31 2015-12-31 用於自動分類的方法，及其裝置、系統，及電腦可讀取媒體 TWI691914B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/588,101 US20160189055A1 (en) 2014-12-31 2014-12-31 Tuning of parameters for automatic classification
US14/588,101 2014-12-31

Publications (2)

Publication Number Publication Date
TW201636907A TW201636907A (zh) 2016-10-16
TWI691914B true TWI691914B (zh) 2020-04-21

Family

ID=56164604

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104144729A TWI691914B (zh) 2014-12-31 2015-12-31 用於自動分類的方法，及其裝置、系統，及電腦可讀取媒體

Country Status (3)

Country Link
US (1) US20160189055A1 (zh)
KR (1) KR102224601B1 (zh)
TW (1) TWI691914B (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11205119B2 (en) * 2015-12-22 2021-12-21 Applied Materials Israel Ltd. Method of deep learning-based examination of a semiconductor specimen and system thereof
KR20180054063A (ko) * 2016-11-14 2018-05-24 주식회사 고영테크놀러지 검사체에 대한 양부 판정 조건을 조정하는 방법 및 장치
US11366068B2 (en) 2016-11-14 2022-06-21 Koh Young Technology Inc. Inspection apparatus and operating method thereof
IL249621A0 (en) * 2016-12-18 2017-03-30 Deutsche Telekom Ag A method to classify attack sources on online attack sensing systems
US11340977B2 (en) * 2017-01-11 2022-05-24 International Business Machines Corporation Predictive analytics for failure detection
US11037286B2 (en) * 2017-09-28 2021-06-15 Applied Materials Israel Ltd. Method of classifying defects in a semiconductor specimen and system thereof
US10558920B2 (en) 2017-10-02 2020-02-11 Servicenow, Inc. Machine learning classification with confidence thresholds
US10664966B2 (en) * 2018-01-25 2020-05-26 International Business Machines Corporation Anomaly detection using image-based physical characterization
US10748271B2 (en) * 2018-04-25 2020-08-18 Applied Materials Israel Ltd. Method of defect classification and system thereof
US10713769B2 (en) * 2018-06-05 2020-07-14 Kla-Tencor Corp. Active learning for defect classifier training
US10579042B2 (en) 2018-07-02 2020-03-03 Hitachi, Ltd. Defect rate analytics to reduce defectiveness in manufacturing
US11151707B2 (en) 2018-12-07 2021-10-19 Kla Corporation System and method for difference filter and aperture selection using shallow deep learning
US11321633B2 (en) * 2018-12-20 2022-05-03 Applied Materials Israel Ltd. Method of classifying defects in a specimen semiconductor examination and system thereof
US11003947B2 (en) * 2019-02-25 2021-05-11 Fair Isaac Corporation Density based confidence measures of neural networks for reliable predictions
US11138477B2 (en) * 2019-08-15 2021-10-05 Collibra Nv Classification of data using aggregated information from multiple classification modules
US11176658B2 (en) * 2019-09-16 2021-11-16 Intel Corporation Iterative supervised identification of non-dominant clusters
US11150200B1 (en) 2020-06-15 2021-10-19 Mitutoyo Corporation Workpiece inspection and defect detection system indicating number of defect images for training
US11430105B2 (en) 2020-06-15 2022-08-30 Mitutoyo Corporation Workpiece inspection and defect detection system including monitoring of workpiece images
TW202217354A (zh) * 2020-08-07 2022-05-01 美商Ｐｄｆ對策公司 測試結構與晶粒級回應的圖案增強的空間相關性
US11869490B1 (en) * 2020-08-14 2024-01-09 Amazon Technologies, Inc. Model configuration
TWI737499B (zh) * 2020-09-22 2021-08-21 聯策科技股份有限公司 視覺檢測系統之參數設定方法與智能系統
EP4043975B1 (en) * 2021-02-15 2024-05-15 Siemens Aktiengesellschaft Computer-implemented method for determining at least one quality attribute for at least one defect of interest
US11756186B2 (en) 2021-09-15 2023-09-12 Mitutoyo Corporation Workpiece inspection and defect detection system utilizing color channels

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090083680A1 (en) * 2007-09-24 2009-03-26 Solido Design Automation Inc. Model-building optimization
US20130279794A1 (en) * 2012-04-19 2013-10-24 Applied Materials Israel Ltd. Integration of automatic and manual defect classification

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6605478B2 (en) * 2001-03-30 2003-08-12 Appleid Materials, Inc, Kill index analysis for automatic defect classification in semiconductor wafers
JP4908995B2 (ja) 2006-09-27 2012-04-04 株式会社日立ハイテクノロジーズ 欠陥分類方法及びその装置並びに欠陥検査装置
US8315453B2 (en) 2010-07-27 2012-11-20 Applied Materials Israel, Ltd. Defect classification with optimized purity
US9715723B2 (en) * 2012-04-19 2017-07-25 Applied Materials Israel Ltd Optimization of unknown defect rejection for automatic defect classification
US9898811B2 (en) * 2015-05-08 2018-02-20 Kla-Tencor Corporation Method and system for defect classification

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090083680A1 (en) * 2007-09-24 2009-03-26 Solido Design Automation Inc. Model-building optimization
US20130279794A1 (en) * 2012-04-19 2013-10-24 Applied Materials Israel Ltd. Integration of automatic and manual defect classification

Also Published As

Publication number Publication date
KR102224601B1 (ko) 2021-03-08
US20160189055A1 (en) 2016-06-30
TW201636907A (zh) 2016-10-16
KR20160081843A (ko) 2016-07-08

Similar Documents

Publication Publication Date Title
TWI691914B (zh) 用於自動分類的方法，及其裝置、系統，及電腦可讀取媒體
TWI585397B (zh) 用於自動缺陷分類之不明缺陷拒絕率之最佳化
US9607233B2 (en) Classifier readiness and maintenance in automatic defect classification
JP6285640B2 (ja) 自動及び手動欠陥分類の統合
US11037286B2 (en) Method of classifying defects in a semiconductor specimen and system thereof
KR102472309B1 (ko) 검사를 위한 모드 선택
KR20130139794A (ko) 패치-대-패치 비교들을 포함하는 결함 검출을 위한 장치 및 방법
KR102530950B1 (ko) 반도체 시편에서의 결함들의 분류
JP2019109577A (ja) データ生成装置、データ生成方法及びデータ生成プログラム
KR102483787B1 (ko) 반도체 장치의 결함 모델링 장치 및 방법, 이를 위한 컴퓨터 프로그램과, 이를 이용한 반도체 장치의 결함 검사 시스템
CN110660694B (zh) 基于系统缺陷的半导体晶片的引导式检验
US20230325413A1 (en) Error Factor Estimation Device and Error Factor Estimation Method
CN113963225B (zh) 目标类别判定方法
TWI833854B (zh) 用於多模式半導體檢測的光學模式選擇
Kerdprasop et al. Tool Fault Analysis with Decision Tree Induction and Sequence Mining