TW202004513A - 用於缺陷分類器訓練之主動學習 - Google Patents

用於缺陷分類器訓練之主動學習 Download PDF

Info

Publication number
TW202004513A
TW202004513A TW108119324A TW108119324A TW202004513A TW 202004513 A TW202004513 A TW 202004513A TW 108119324 A TW108119324 A TW 108119324A TW 108119324 A TW108119324 A TW 108119324A TW 202004513 A TW202004513 A TW 202004513A
Authority
TW
Taiwan
Prior art keywords
data points
sample
defect
imaging subsystem
subsystem
Prior art date
Application number
TW108119324A
Other languages
English (en)
Other versions
TWI771591B (zh
Inventor
張晶
宇杰 董
布萊恩 杜菲
理察 威靈福德
麥寇 戴諾
克里斯 畢海斯卡
Original Assignee
美商克萊譚克公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商克萊譚克公司 filed Critical 美商克萊譚克公司
Publication of TW202004513A publication Critical patent/TW202004513A/zh
Application granted granted Critical
Publication of TWI771591B publication Critical patent/TWI771591B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03F—PHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
    • G03F7/00—Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
    • G03F7/70—Microphotolithographic exposure; Apparatus therefor
    • G03F7/70483—Information management; Active and passive control; Testing; Wafer monitoring, e.g. pattern monitoring
    • G03F7/70605—Workpiece metrology
    • G03F7/70616—Monitoring the printed patterns
    • G03F7/7065—Defects, e.g. optical inspection of patterned layer for defects
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03F—PHOTOMECHANICAL PRODUCTION OF TEXTURED OR PATTERNED SURFACES, e.g. FOR PRINTING, FOR PROCESSING OF SEMICONDUCTOR DEVICES; MATERIALS THEREFOR; ORIGINALS THEREFOR; APPARATUS SPECIALLY ADAPTED THEREFOR
    • G03F7/00—Photomechanical, e.g. photolithographic, production of textured or patterned surfaces, e.g. printing surfaces; Materials therefor, e.g. comprising photoresists; Apparatus specially adapted therefor
    • G03F7/70—Microphotolithographic exposure; Apparatus therefor
    • G03F7/70483—Information management; Active and passive control; Testing; Wafer monitoring, e.g. pattern monitoring
    • G03F7/70605—Workpiece metrology
    • G03F7/70653—Metrology techniques
    • G03F7/70675—Latent image, i.e. measuring the image of the exposed resist prior to development
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
    • H01L22/24—Optical enhancement of defects or not directly visible states, e.g. selective electrolytic deposition, bubbles in liquids, light emission, colour change
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/30—Structural arrangements specially adapted for testing or measuring during manufacture or treatment, or specially adapted for reliability measurements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Abstract

本發明提供用於執行用於缺陷分類器之主動學習之方法及系統。一個系統包含經組態用於執行用於訓練一缺陷分類器之主動學習的一或多個電腦子系統。該主動學習包含將一擷取功能應用於樣品之資料點。該擷取功能基於與該等資料點相關聯之不確定性估計來選定該等資料點之一或多者。該主動學習亦包含擷取該選定之一或多個資料點之標記及生成包含該選定之一或多個資料點及該等所擷取標記之一標記資料集。該(等)電腦子系統亦經組態用於使用該標記資料集來訓練該缺陷分類器。該缺陷分類器經組態用於使用由成像子系統生成之影像對該樣品上偵測之缺陷進行分類。

Description

用於缺陷分類器訓練之主動學習
本發明大體上係關於用於執行用於訓練一缺陷分類器之主動學習之方法及系統。
以下描述及實例並未憑藉其等包含於此章節中而被認為係先前技術。
製造諸如邏輯及記憶體裝置之半導體裝置通常包含使用大量半導體製程處理諸如一半導體晶圓之一基板以形成半導體裝置之各種特徵及多個層級。舉例而言，微影係涉及將一圖案自一倍縮光罩轉印至配置於一半導體晶圓上之一光阻之一半導體製程。半導體製程之額外實例包含(但不限於)化學機械拋光(CMP)、蝕刻、沈積及離子植入。多個半導體裝置可製造為一單一半導體晶圓上之一配置，且接著分離成個別半導體裝置。
在一半導體製程期間之各個步驟使用檢測程序來偵測晶圓上之缺陷以促進製程中之較高良率及因此較高利潤。檢測始終係製造半導體裝置之一重要部分。然而，隨著半導體裝置之尺寸減小，檢測對於可接受半導體裝置之成功製造而言變得甚至更重要，此係因為較小缺陷可導致裝置故障。
任何成功的基於機器學習之檢測程序需要特定量之訓練。訓練包含選定用於使樣品成像(或以其他方式生成樣品之輸出)之一或多個參數及/或選定用於處理影像(或其他輸出)以偵測樣品上之缺陷及/或執行樣品之其他功能之一或多個參數。用於使樣品成像之(若干)參數通常可為一檢測系統之成像硬體之參數而用於處理影像之(若干)參數可為用於從影像判定關於樣品之有用資訊之一電腦系統及/或演算法之參數。
發現用於一檢測程序之適當參數之一個困難產生於發現可用於設定檢測程序之一樣品上之實際缺陷之適合實例之有時繁瑣及/或困難性質。舉例而言，尤其與一樣品上偵測之擾亂點事件之數目相比較，樣品上之實際令人關注的所關注缺陷(DOI)之數目可能相對較小。然而，通常需要在一或多個設定樣品上發現適合DOI實例且使用彼等DOI實例來設定一檢測配方以發現可在其他樣品上偵測到彼等DOI之檢測配方參數。因此，發現DOI及/或新DOI類型對於成功檢測程序設定而言可能相對困難但為必要的。
從一演算法角度，已在具有啟發式擷取功能之樹或隨機森林缺陷分類模型上構建缺陷發現之一些嘗試。從一系統角度，全部缺陷發現嘗試已集中於一單一工具類型，例如，僅一個類型之檢測工具。
因此，用於設定一檢測程序之當前使用方法及系統具有若干缺點。舉例而言，現有方法無法支援深度及廣泛模型(例如，深度神經網路、卷積神經網路等)或模型之一組合。在另一實例中，現有方法中使用之啟發式擷取功能不具有理論基礎且不具有下限效能保證。在一額外實例中，本發明擾亂點過濾器模型預測無法提供不確定性估計。在又另一實例中，現有方法集中於一單一工具類型，其不支援諸如本文中描述之其他工具類型。
因此，開發不具有上文描述之缺點之一或多者之用於執行用於訓練一缺陷分類器之主動學習之系統及方法將為有利的。
各項實施例之以下描述絕不應被解釋為限制隨附發明申請專利範圍之標的。
一項實施例係關於一種經組態以執行用於訓練一缺陷分類器之主動學習之系統。該系統包含一成像子系統，該成像子系統包含至少一能量源及一偵測器。能量源經組態以生成被引導至一樣品之能量。偵測器經組態以偵測來自樣品之能量且回應於所偵測能量而生成影像。系統亦包含經組態用於執行用於訓練一缺陷分類器之主動學習的一或多個電腦子系統。主動學習包含將一擷取功能應用於樣品之資料點。擷取功能基於與資料點相關聯之不確定性估計來選定資料點之一或多者。主動學習亦包含擷取選定之一或多個資料點之標記及生成包含選定之一或多個資料點及所擷取資料之一標記資料集。一或多個電腦子系統亦經組態用於使用標記資料集來訓練缺陷分類器。缺陷分類器經組態用於使用藉由成像子系統生成之影像對樣品上偵測之缺陷進行分類。可如本文中描述般進一步組態系統。
另一實施例係關於一種用於執行用於訓練一缺陷分類器之主動學習之電腦實施方法。該方法包含執行用於訓練一缺陷分類器之主動學習。主動學習包含上文描述之應用、擷取及生成步驟。方法亦包含上文描述之訓練步驟。執行主動學習及訓練缺陷分類器由一或多個電腦子系統執行。
可如本文中進一步描述般進一步執行上文描述之方法之步驟之各者。另外，上文描述之方法之實施例可包含本文中描述之(若干)任何其他方法之(若干)任何其他步驟。此外，上文描述之方法可由本文中描述之系統之任一者執行。
另一實施例係關於一種儲存程式指令之非暫時性電腦可讀媒體，該等程式指令可在一或多個電腦系統上執行以執行用於執行用於訓練一缺陷分類器之主動學習之一電腦實施方法。電腦實施方法包含上文描述之方法之步驟。可如本文中描述般進一步組態電腦可讀媒體。可如本文中進一步描述般執行電腦實施方法之步驟。另外，程式指令可針對其等執行之電腦實施方法可包含本文中描述之(若干)任何其他方法之(若干)任何其他步驟。
現參考圖式，應注意，圖未按比例繪製。特定言之，極大地放大圖之一些元件之比例以強調元件之特性。亦應注意，該等圖未按相同比例繪製。已使用相同元件符號指示可經類似組態之展示於一個以上圖中之元件。除非本文中另有說明，否則所描述且展示之元件之任一者可包含任何適合市售元件。
一項實施例係關於一種經組態以執行用於訓練一缺陷分類器之主動學習之系統。本文中描述之一些實施例經組態用於用於半導體檢測及度量衡應用中之適應性取樣之貝葉斯深度學習。
當經濟上可獲得足夠數量標記資料(大約數百萬)時，深度學習被認為係監督學習之一最先進解決方案。當深度學習遇到半導體程序控制應用時，挑戰產生於如何將拍位元組級樣品成像資料轉換為可用於學習程序之一機器學習/深度學習有用標記資料集。歸因於每一程序生成之唯一性(例如，新材料、奈米技術及設計規則)，缺陷之出現在生成間變化很大，尤其在光學/電子束回應方面。由於先前發現之缺陷不太相關，故發現足夠缺陷對於模型學習而言變得至關重要。
不幸地，缺陷發現/取樣與模型訓練耦合，尤其針對一新層之第一樣品(其中術語「層」係指對一樣品或僅樣品之多個部分之一者執行之一系列程序步驟，各部分源自一系列程序步驟)。舉例而言，在半導體檢測及度量衡系統中，缺陷候選者之發現及擾亂點事件過濾器(NEF)之形成具有相互依賴性，即，在無一經訓練NEF之情況下，實質上難以執行發現；在無缺陷候選者之情況下，亦幾乎不可能形成NEF。此相互依賴性(即，雞-蛋問題)使得極難獨立地解決兩個問題。用實質上有限實例解決發現及訓練之一個系統方法係主動學習(即，適應性發現)。
上述問題之當前使用緩解可包含在檢測及檢視工具之間執行多個手動循環，直至符合滿意或已達到一最大時間。人類參與此等循環往往增加不一致性且更重要地限制細粒度最佳化。另一替代例係使用一調變/歪斜程序來故意增加樣品上之缺陷密度以幫助缺陷取樣。然而，此等緩解並不始終足以應對小的亞10 nm缺陷或3D嵌入式缺陷之挑戰。
本文中描述之實施例提供一系統架構(包含演算法、工作流程及硬體)以從貝葉斯視角支援機器學習模型、深度神經網路及亦其等之複雜組合之主動學習，以在一個工具內或跨多個工具實現即時缺陷發現及NEF訓練。本文中描述之實施例具有本文中進一步描述之多個可能應用。舉例而言，實施例建立可能系統演算法統一解決方案，其可組合一混合檢測器概念及貝葉斯深度學習。
本文中描述之實施例提供若干重要改良，其等可應用於各種檢測工具及任何其他半導體程序品質相關工具。一個此改良係破壞缺陷取樣與模型訓練之間之相互依賴性以增強缺陷取樣。另一改良係擴展貝葉斯深度學習以實施主動學習。一額外改良係針對混合檢測器上之多個工具組件(例如，一光學檢測工具及一缺陷檢視工具)建立一聯合設定概念。
系統包含一成像子系統，該成像子系統包含至少一能量源及一偵測器。能量源經組態以生成被引導至一樣品之能量。偵測器經組態以偵測來自樣品之能量且回應於所偵測能量而生成影像。在一項實施例中，成像子系統經組態為一光學檢測子系統。圖1中展示此一系統之一項實施例。
在一項實施例中，樣品包含一晶圓。晶圓可包含此項技術中已知之任何晶圓。在一個此實例中，晶圓可為已對其執行一或多個後端封裝程序步驟(以將多個晶片組裝成高級封裝)之一晶圓。在另一實施例中，樣品包含一倍縮光罩。倍縮光罩可包含此項技術中已知之任何倍縮光罩。
成像子系統藉由將光引導至樣品或使光掃描遍及樣品且偵測來自樣品之光而生成光學影像。在圖1中展示之系統之實施例中，成像子系統10包含經組態以將光引導至樣品14的一照明子系統。照明子系統包含至少一個光源。舉例而言，如圖1中展示，照明子系統包含光源16。在一項實施例中，照明子系統經組態以依一或多個入射角將光引導至樣品，該一或多個入射角可包含一或多個傾斜角及/或一或多個法向角。舉例而言，如圖1中展示，來自光源16之光按一傾斜入射角引導穿過光學元件18且接著穿過透鏡20至樣品14。傾斜入射角可包含可取決於(例如)樣品之特性而變化之任何適合傾斜入射角。
成像子系統可經組態以在不同時間按不同入射角將光引導至樣品。舉例而言，成像子系統可經組態以更改照明子系統之一或多個元件之一或多個特性，使得可按不同於圖1中展示之一入射角將光引導至樣品。在一個此實例中，成像子系統可經組態以移動光源16、光學元件18及透鏡20，使得按一不同傾斜入射角或一法向(或近法向)入射角將光引導至樣品。
在一些例項中，成像子系統可經組態以在相同時間按一個以上入射角將光引導至樣品。舉例而言，照明子系統可包含一個以上照明通道，該等照明通道之一者可包含如圖1中展示之光源16、光學元件18及透鏡20，且該等照明通道之另一者(未展示)可包含可不同或相同組態之類似元件或可包含至少一光源及可能一或多個其他組件(諸如本文中進一步描述之組件)。若在與其他光相同之時間將此光引導至樣品，則按不同入射角引導至樣品之光之一或多個特性(例如，波長、偏光等)可不同，使得可在(若干)偵測器處將源自按不同入射角照明樣品之光彼此區分。
在另一例項中，照明子系統可僅包含一個光源(例如，圖1中展示之源16)且來自該光源之光可由照明子系統之一或多個光學元件(未展示)分成不同光學路徑(例如，基於波長、偏光等)。接著，可將不同光學路徑之各者中之光引導至樣品。多個照明通道可經組態以在相同時間或不同時間(例如，當使用不同照明通道以依序照明樣品時)將光引導至樣品。在另一例項中，相同照明通道可經組態以在不同時間將具有不同特性之光引導至樣品。舉例而言，光學元件18可經組態為一光譜濾光器且可以多種不同方式(例如，藉由調換出光譜濾光器)改變光譜濾光器之性質，使得可在不同時間將不同波長之光引導至樣品。照明子系統可具有此項技術中已知之用於依序或同時按不同或相同入射角將具有不同或相同特性之光引導至樣品之任何其他適合組態。
在一項實施例中，光源16係一寬頻電漿(BBP)光源。以此方式，由光源生成且被引導至樣品之光可包含寬頻光。然而，光源可包含任何其他適合光源，諸如經組態以生成(若干)任何適合波長之光之此項技術中已知之任何適合雷射。另外，雷射可經組態以生成單色或近單色光。以此方式，雷射可為一窄頻雷射。光源亦可包含生成多個離散波長或波帶之光之一多色光源。
來自光學元件18之光可藉由透鏡20聚焦至樣品14上。儘管透鏡20在圖1中被展示為一單折射光學元件，然應瞭解，實務上，透鏡20可包含組合地將來自光學元件之光聚焦至樣品之若干折射及/或反射光學元件。照明子系統可包含任何其他適合光學元件(未展示)。此等光學元件之實例包含(但不限於) (若干)偏光組件、(若干)光譜濾光器、(若干)空間濾光器、(若干)反射光學元件、(若干)變跡器、(若干)光束分離器、(若干)光圈及可包含此項技術中已知之任何此等適合光學元件之類似者。另外，成像子系統可經組態以基於待用於成像之照明之類型而更改照明子系統之元件之一或多者。
成像子系統亦可包含經組態以導致光掃描遍及樣品的一掃描子系統。舉例而言，成像子系統可包含在成像期間在其上安置樣品14的載物台22。掃描子系統可包含可經組態以移動樣品，使得光可掃描遍及樣品之任何適合機械及/或機器人總成(其包含載物台22)。另外或替代地，成像子系統可經組態使得成像子系統之一或多個光學元件執行遍及樣品之光之某一掃描。可以任何適合方式(諸如以一蛇紋狀路徑或以一螺旋路徑)使光掃描遍及樣品。
成像子系統進一步包含一或多個偵測通道。該一或多個偵測通道之至少一者包含一偵測器，該偵測器經組態以偵測歸因於照明樣品而來自樣品之光且回應於所偵測光而生成輸出。舉例而言，圖1中展示之成像子系統包含兩個偵測通道，一偵測通道由集光器24、元件26及偵測器28形成且另一偵測通道由集光器30、元件32及偵測器34形成。如圖1中展示，兩個偵測通道經組態以按不同收集角收集並偵測光。在一些例項中，兩個偵測通道經組態以偵測散射光，且偵測通道經組態以偵測按不同角度自樣品散射之光。然而，偵測通道之一或多者可經組態以偵測來自樣品之另一類型之光(例如，反射光)。
如圖1中進一步展示，兩個偵測通道被展示為定位在紙平面中且照明子系統亦被展示為定位在紙平面中。因此，在此實施例中，兩個偵測通道定位在(例如，居中於)入射平面中。然而，偵測通道之一或多者可定位在入射平面外。舉例而言，由集光器30、元件32及偵測器34形成之偵測通道可經組態以收集並偵測散射離開入射平面之光。因此，此一偵測通道通常可被稱為一「側」通道，且此一側通道可居中於實質上垂直於入射平面之一平面中。
儘管圖1展示包含兩個偵測通道之成像子系統之一實施例，然成像子系統可包含不同數目個偵測通道(例如，僅一個偵測通道或兩個或兩個以上偵測通道)。在一個此例項中，由集光器30、元件32及偵測器34形成之偵測通道可形成如上文描述之一個側通道，且成像子系統可包含一額外偵測通道(未展示)作為定位在入射平面之相對側上之另一側通道。因此，成像子系統可包含偵測通道，該偵測通道包含集光器24、元件26及偵測器28且其居中於入射平面中且經組態以按處於或接近法向於樣品表面之(若干)散射角收集並偵測光。因此，此偵測通道通常可被稱為一「頂部」通道，且成像子系統亦可包含如上文描述般組態之兩個或兩個以上側通道。因而，成像子系統可包含至少三個通道(即，一個頂部通道及兩個側通道)，且該至少三個通道之各者具有其自身集光器，該集光器之各者經組態以按不同於其他集光器之各者之散射角收集光。
如上文進一步描述，包含在成像子系統中之偵測通道之各者可經組態以偵測散射光。因此，圖1中展示之成像子系統可經組態用於樣品之暗場(DF)成像。然而，成像子系統可亦或替代地包含經組態用於樣品之明場(BF)成像之(若干)偵測通道。換言之，成像子系統可包含經組態以偵測自樣品鏡面反射之光的至少一個偵測通道。因此，本文中描述之成像子系統可經組態用於僅DF、僅BF或DF及BF成像兩者。儘管在圖1中將集光器之各者展示為單折射光學元件，然應瞭解，集光器之各者可包含一或多個折射光學元件及/或一或多個反射光學元件。
一或多個偵測器可包含光電倍增管(PMT)、電荷耦合裝置(CCD)、延時積分(TDI)相機及此項技術中已知之任何其他適合偵測器。偵測器亦可包含非成像偵測器或成像偵測器。若偵測器係非成像偵測器，則偵測器之各者可經組態以偵測散射光之某些特性(諸如強度)，但可未經組態以偵測依據成像平面內之位置而變化之此等特性。因而，由偵測器之各者生成之輸出可為信號或資料，而非影像信號或影像資料。在此等例項中，一電腦子系統(諸如電腦子系統36)可經組態以自偵測器之非成像輸出生成樣品之影像。然而，在其他例項中，偵測器可組態為經組態以生成成像信號或影像資料之成像偵測器。因此，成像子系統可經組態以依若干方式生成本文中描述之影像。
應注意，本文中提供圖1以大體上圖解說明可包含在本文中描述之系統實施例中或可生成由本文中描述之系統實施例使用之影像之一光學成像子系統之一組態。顯然，可更改本文中描述之光學成像子系統組態以如在設計一商業成像系統時所通常執行般最佳化子系統之效能。另外，可使用諸如商業上可購自加利福尼亞州米爾皮塔斯市KLA之29xx/28xx系列工具之一現有系統(例如，藉由將本文中描述之功能性添加至一現有系統)來實施本文中描述之系統。對於一些此等系統，本文中描述之實施例可被提供為系統之選用功能性(例如，除系統之其他功能性以外)。替代地，可「從頭開始」設計本文中描述之光學成像子系統以提供一全新光學成像子系統。
電腦子系統36可以任何適合方式(例如，經由一或多個傳輸媒體，其或其等可包含「有線」及/或「無線」傳輸媒體)耦合至成像子系統之偵測器，使得電腦子系統可接收由偵測器針對樣品生成之輸出。電腦子系統36可經組態以使用偵測器之輸出來執行本文中進一步描述之若干功能。
系統亦可包含可不同或相同組態之一個以上電腦子系統(例如，圖1中展示之電腦子系統36及(若干)電腦子系統102)。圖1中展示之電腦子系統(以及本文中描述之其他電腦子系統)亦可被稱為(若干)電腦系統。(若干)電腦子系統或(若干)系統之各者可採取多種形式，包含一個人電腦系統、影像電腦、主機電腦系統、工作站、網路設備、網際網路設備或其他裝置。一般而言，術語「電腦系統」可經廣泛定義以涵蓋具有執行來自一記憶體媒體之指令之一或多個處理器之任何裝置。(若干)電腦子系統或(若干)系統亦可包含此項技術中已知之任何適合處理器(諸如一平行處理器)。另外，(若干)電腦子系統或(若干)系統可包含具有高速度處理及軟體之一電腦平台(作為一獨立工具或一網路工具)。
若系統包含一個以上電腦子系統，則不同電腦子系統可彼此耦合，使得可在電腦子系統之間發送影像、資料、資訊、指令等，如本文中進一步描述。舉例而言，電腦子系統36可藉由可包含此項技術中已知之任何適合有線及/或無線傳輸媒體之任何適合傳輸媒體耦合至(若干)電腦子系統102 (如由圖1中之虛線展示)。兩個或兩個以上此等電腦子系統亦可藉由一共用電腦可讀儲存媒體(未展示)而有效耦合。
儘管上文將成像子系統描述為一光學或基於光之成像子系統，然在另一實施例中，成像子系統經組態為一電子束檢測子系統。舉例而言，系統可亦或替代地包含經組態以生成樣品之電子束影像的一電子束成像子系統。電子束成像子系統可經組態以將電子引導至樣品或使電子掃描遍及樣品且偵測來自樣品之電子。在圖1a中展示之一項此實施例中，電子束成像子系統包含耦合至電腦子系統124的電子柱122。
亦如圖1a中展示，電子柱包含電子束源126，該電子束源126經組態以生成由一或多個元件130聚焦至樣品128之電子。電子束源可包含(舉例而言)一陰極源或射極尖端，且一或多個元件130可包含(舉例而言)一槍透鏡、一陽極、一束限制孔隙、一閘閥、一束電流選定孔隙、一物鏡及一掃描子系統，其等全部可包含此項技術中已知之任何此等適合元件。
自樣品返回之電子(例如，二次電子)可由一或多個元件132聚焦至偵測器134。一或多個元件132可包含(舉例而言)一掃描子系統，該掃描子系統可為包含於(若干)元件130中之相同掃描子系統。
電子柱可包含此項技術中已知之任何其他適合元件。另外，電子柱可如以下專利中描述般進一步組態：2014年4月4日頒予Jiang等人之美國專利第8,664,594號、2014年4月8日頒予Kojima等人之美國專利第8,692,204號、2014年4月15日頒予Gubbens等人之美國專利第8,698,093號及2014年5月6日頒予MacDonald等人之美國專利第8,716,662號，該等案宛如完整陳述般以引用之方式併入本文中。
儘管電子柱在圖1a中被展示為經組態使得電子按一傾斜入射角引導至樣品且按另一傾斜角自樣品散射，然應瞭解，電子束可按任何適合角度引導至樣品且自樣品散射。另外，如本文中進一步描述，電子束成像子系統可經組態以使用多種模式來生成樣品之影像(例如，運用不同照射角度、收集角度等)。電子束成像子系統之多種模式可在電子束成像子系統之任何影像生成參數方面不同。
電腦子系統124可耦合至偵測器134，如上文中描述。偵測器可偵測自樣品之表面返回之電子，藉此形成樣品之電子束影像。電子束影像可包含任何適合電子束影像。電腦子系統124可經組態以針對樣品使用由偵測器134生成之輸出執行本文中進一步描述之一或多個功能。電腦子系統124可經組態以執行本文中描述之(若干)任何額外步驟。可如本文中描述般進一步組態包含圖1a中展示之電子束成像子系統之一系統。
應注意，本文中提供圖1a以大體上圖解說明可包含於本文中描述之實施例中之一電子束成像子系統之一組態。如同上文描述之光學成像子系統，可更改本文中描述之電子束成像子系統以如在設計一商業成像子系統時所通常執行般最佳化成像子系統之效能。另外，可使用諸如商業上可購自KLA之工具之一現有系統(例如，藉由將本文中描述之功能性添加至一現有系統)實施本文中描述之系統。對於一些此等系統，本文中描述之實施例可被提供為系統之選用功能性(例如，除系統之其他功能性以外)。替代地，可「從頭開始」設計本文中描述之系統以提供一全新系統。
儘管上文將成像子系統描述為一光或電子束成像子系統，然成像子系統可為一離子束成像子系統。可如圖1a中展示般組態此一成像子系統，惟電子束源可由此項技術中已知之任何適合離子束源取代除外。另外，成像子系統可為任何其他適合離子束成像子系統，諸如包含於市售聚焦離子束(FIB)系統、氦離子顯微術(HIM)系統及二次離子質譜儀(SIMS)系統中之成像子系統。
如上所述，成像子系統可經組態用於將能量(例如，光、電子)引導至樣品之一實體版本及/或遍及樣品之一實體版本掃描能量，藉此生成樣品之實體版本之實際影像。以此方式，成像子系統可經組態為一「實際」成像系統而非一「虛擬」系統。然而，一儲存媒體(未展示)及圖1中展示之(若干)電腦子系統102可經組態為一「虛擬」系統。特定言之，儲存媒體及(若干)電腦子系統並非成像子系統10之部分且不具有用於處置樣品之實體版本之任何能力但可經組態為使用所儲存偵測器輸出來執行類似檢測之功能之一虛擬檢測器。組態為「虛擬」檢測系統之系統及方法描述於以下專利中：共同轉讓之2012年2月28日頒予Bhaskar等人之美國專利第8,126,255號、2015年12月29日頒予Duffy等人之美國專利第9,222,895號及2017年11月14日頒予Duffy等人之美國專利第9,816,939號，該等案宛如完整陳述般以引用之方式併入本文中。可如此等專利中描述般進一步組態本文中描述之實施例。舉例而言，可如此等專利中描述般進一步組態本文中描述之一或多個電腦子系統。
如上文進一步所述，成像子系統可經組態以用多種模式生成樣品之影像。一般而言，可藉由用於生成一樣品之影像之成像子系統之參數值或用來生成樣品之影像之輸出定義一「模式」。因此，不同模式可在成像子系統之成像參數之至少一者之值方面不同。舉例而言，在一光學成像子系統中，不同模式可使用不同波長之光用於照明。如本文中進一步描述(例如，藉由使用不同光源、不同光譜濾光器等)，對於不同模式，模式可在照明波長方面不同。在另一實施例中，不同模式使用成像子系統之不同照明通道。舉例而言，如上所述，成像子系統可包含一個以上照明通道。因而，不同照明通道可用於不同模式。
本文中描述之成像子系統可經組態為檢測子系統。若如此，則(若干)電腦子系統可經組態以從如上文描述之檢測子系統(例如，從成像子系統之(若干)偵測器)接收輸出且可經組態以依任何適合方式基於輸出偵測樣品上之缺陷。舉例而言，(若干)電腦子系統可經組態以比較輸出與一或多個臨限值，超過該一或多個臨限值之任何輸出可由(若干)電腦子系統識別為缺陷或潛在缺陷，且未超過該一或多個臨限值之任何輸出可由(若干)電腦子系統識別為非缺陷或非潛在缺陷。然而，(若干)電腦子系統可經組態以使用(若干)任何適合演算法及/或方法來基於輸出偵測樣品上之缺陷。
在一項實施例中，成像系統係一檢測子系統。以此方式，本文中描述之系統可經組態為檢測系統。然而，本文中描述之系統可經組態為另一類型之半導體相關程序/品質控制類型系統，諸如一缺陷檢視系統及一度量衡系統。舉例而言，在本文中描述且在圖1及圖1a中展示之成像子系統之實施例可在一或多個參數方面經修改以取決於將使用其等之應用而提供不同成像能力。在一項實施例中，成像子系統經組態為一電子束缺陷檢視子系統。舉例而言，若圖1a中展示之成像子系統將用於缺陷檢視或度量衡而非用於檢測，則其可經組態以具有一較高解析度。換言之，圖1及圖1a中展示之成像子系統之實施例描述一成像子系統之一些一般及各種組態，可以熟習此項技術者將明瞭之若干方式定製該等組態以產生具有或多或少適於不同應用之不同成像能力之成像子系統。
(若干)電腦子系統經組態用於執行用於訓練一缺陷分類器之主動學習。主動學習包含將一擷取功能應用於樣品之資料點。擷取功能基於與資料點相關聯之不確定性估計來選定資料點之一或多者。資料點可包含樣品之多種不同資料，此取決於(舉例而言)選定之一或多個資料點將用來訓練之缺陷分類器。舉例而言，資料點可包含由偵測器針對樣品生成之原始輸出及/或自原始輸出判定之一些資訊，諸如可如本文中描述般偵測之偵測事件(其中「偵測事件」被定義為在樣品上偵測為一潛在缺陷(其可如本文中進一步描述般分為實際缺陷及DOI及擾亂點或「擾亂點事件」)的任何事件)、對應於偵測事件之輸出之一或多個特性(例如，強度值)、自原始輸出判定之偵測事件之一或多個特性(例如，大小、形狀等)。可以此項技術中已知之任何適合方式判定自原始輸出判定之資訊。
擷取功能在應用步驟中所應用於之資料點亦可包含一或多個樣品之資料點。舉例而言，如本文中描述，實施例對於發現新缺陷類型及對於運用相對較少缺陷或DOI實例執行步驟特別有用。然而，當一樣品類型上之缺陷密度實質上為低時，相同類型之多個樣品之資料點可由本文中描述之實施例使用以獲得甚至所需之相對較小數目個實例及/或簡單地增加可用資料點。以此方式，可改良本文中描述之實施例將能夠生成用於低缺陷密度案例之一適合缺陷分類器的可能性。
如圖2中展示，在一項實施例中，可將資料點200輸入至擷取功能202。在程序開始時(在第一反覆之第一步驟中)，資料點200可被認為係初始資料，可將本文中描述之一或多個步驟之結果添加至該初始資料以藉此生成包含至少一些標記資料點之一資料集。在一項實施例中，樣品之資料點由未標記資料點組成。舉例而言，初始資料可不包含實況資料(其中「實況資料」大體上被定義為已藉由一「實況」方法(諸如使用能夠解析缺陷之影像及/或諸如手動缺陷分類之使用者提供資訊之一缺陷檢視工具執行之一缺陷檢視程序)生成之資料)。在另一實施例中，樣品之資料點包含針對任一缺陷類型及未標記資料之少於十個實況資料點之一組合。舉例而言，初始資料可包含一個以上缺陷資料點。在一個特定實例中，資料點可包含僅任一缺陷類型之1或2個標記實例，可能具有多個缺陷類型之1或2個標記實例(例如，1或2個橋接缺陷、1或2個微粒缺陷、1或2個3D嵌入式缺陷等等)。以此方式，工作流程可從(1)無實況資料(即，一未標記資料池)或(2)視情況與一未標記資料池組合之一些(＞1)實況資料開始。
圖2中展示之適應性發現循環之一目標係基於當前「已知」資料動態地決定(若干)待驗證候選者，此可如本文中進一步描述般執行。舉例而言，如圖2中展示，使用擷取功能202來決定接著發送至標記204之一批未知候選者，此可由待驗證之一驗證者執行。標記可包含本文中描述之實況方法之一或多者。
在一項實施例中，擷取功能經組態以選定具有為任何已知缺陷類型之最高不確定性之資料點之一或多者。舉例而言，擷取功能可經組態以選定具有為任何已知缺陷類型之最高不確定性之資料點，使得可發送彼等資料點用於驗證(標記)，如本文中進一步描述。藉由選定最高不確定性資料點用於驗證或標記且接著使用彼等標記資料點用於如本文中描述之缺陷分類器訓練，所得經訓練缺陷分類器將具有針對其經組態用於之功能之較佳效能(即，藉由選定且接著驗證最高不確定性資料點且接著運用彼等標記資料點訓練缺陷分類器，可輸入至缺陷分類器之資料點之不確定性可基本上從缺陷分類器「訓練出來」，藉此致使其能夠對彼等先前不確定資料點正確地分類)。取決於本文中描述之實施例中使用之擷取功能之類型，擷取功能可經組態以選定具有任何已知缺陷類型之最高不確定性之資料點，如本文中進一步描述。
在一些實施例中，擷取功能被定義為一適應性取樣方法，Kulkarni等人之美國專利第9,098,891號中描述其之一些適合實例，該案宛如完整陳述般以引用之方式併入本文中。可如此專利中描述般進一步組態本文中描述之實施例。本文中描述之實施例可建立一基於(機器)學習之方法以呈現能夠對具有較高程序變異之較小設計規則進行適應性取樣之一基於原始規則之方法。淨結果係跨多個設計規則之較佳普遍性及較高程序變異(例如，雜訊)下之較高取樣效率。取樣可以任何其他適合方式為適應性的(例如，其可取決於初始資料點(或其判定特性)而非一些預定規則而變化，其可取決於由於標記204產生之標記而變化等)。
機器學習可大體上被定義為一類型之人工智慧(AI)，其向電腦提供在未明確程式化之情況下學習之能力。機器學習專注於電腦程式之開發，該等電腦程式可教示其等自身在曝露於新資料時成長並改變。換言之，機器學習可被定義為「給予電腦在未明確程式化之情況下學習之能力」之電腦科學之子領域。機器學習探索可從資料學習且對資料進行預測之演算法之研究及建構，此等演算法藉由透過自樣本輸入建置一模型進行資料驅動預測或決策而克服以下嚴格靜態程式指令。
本文中描述之實施例亦可對深度學習/機器學習訓練資料集執行適應性標記。在一個實例中，實施例運用深度學習分類/偵測模型實現即時影像標記(即，以一半導體影像之像素級精確度標記缺陷)。此解決方案實現針對新樣品或新設計規則之較快速配方形成時間，此降低配方設定成本且實現實驗之相對較快速設計且增加工具之價值。
在一項實施例中，擷取功能被定義為一無監督取樣方法。舉例而言，定義擷取功能之一些可能方法係隨機(或加權隨機)取樣及相異度取樣。可以此項技術中已知之任何適合方式執行隨機(或加權隨機)取樣。相異度取樣可包含選定以某種方式最相異(最不同) (例如，在資料點之一特性方面最相異，其可包含資料點之任何適合特性)之兩個或兩個以上資料點。無監督取樣方法可為無監督的，此係因為被取樣之資料點未被標記及/或未基於可用於被取樣之資料點之任何標記執行取樣。
在另一實施例中，擷取功能被定義為一監督取樣方法。舉例而言，定義擷取功能之一些可能方法包含監督方法，諸如隨機森林、最近相鄰者、支援向量機(SVM)等。可以此項技術中已知之任何適合方式執行此等監督方法。在一額外實施例中，擷取功能被定義為一半監督取樣方法。在一進一步實施例中，擷取功能被定義為一監督取樣方法及無監督取樣方法之一組合。舉例而言，擷取功能可被定義為一半監督或組合方法，其可包含以此項技術中已知之任何適合方式執行的此項技術中之已知之任何此適合方法。
在一項實施例中，擷取功能被定義為基於最大熵之一取樣方法。舉例而言，定義擷取功能之一個可能方法係不確定性取樣，諸如最大熵。以此方式，擷取功能可經由熵實施。最大熵可包含評估任何資料集(諸如本文中描述之資料點集)之若干不同概率分佈以發現具有最大熵(最大不確定性)之概率分佈。概率分佈可包含任何適合概率分佈，且可以此項技術中已知之任何適合方式執行最大熵。基於最大熵之取樣可包含基於具有最大熵之概率分佈對資料點進行取樣。
在另一實施例中，擷取功能被定義為基於貝葉斯主動學習之一取樣方法。舉例而言，擷取功能可被定義為一貝葉斯方法。用於定義擷取功能之一個可能方法係不一致貝葉斯主動學習(BALD)。Houlsby等人之「Bayesian Active Learning for Classification and Preference Learning」，arXiv:1112.5745, 2011年中描述可用於定義本文中描述之實施例中使用之擷取功能之BALD之一些實例，該案宛如完整陳述般以引用之方式併入本文中。以此方式，擷取功能可經由BALD實施。
在一些實施例中，擷取功能被定義為一誤差減小方法。舉例而言，用於定義擷取功能之一個可能方法係透過誤差減小，諸如期望誤差減小、最大誤差減小及組合誤差減小。誤差減小通常涉及選取最大化總預測標記熵之減小之資料點。期望誤差減小通常涉及估計一泛化誤差可能減小之程度，此可能涉及估計一模型(使用一標記資料集訓練)在應用於一未標記資料集時之期望未來誤差，及發現具有最小期望未來誤差損失之例項。可如Guo等人之「Optimistic active learning using mutual information」，IJCAI’07 Proceedings of the 20th International Joint Conference on Artificial Intelligence，第823頁-第829頁，Hyderabad，India，2007年1月6日至12日中描述般執行最大誤差減小，該案宛如完整陳述般以引用之方式併入本文中。可如Guo等人之「Discriminative Batch Mode Active Learning」，NIPS’07 Proceedings of the 20th International Conference on Neural Information Processing Systems，第593頁-第600頁，2007年12月3日至6日及Grandvalet等人之「Semi-supervised Learning by Entropy Minimization」，Advances in neural information processing systems，2004年9月16日，第529頁-第553頁中描述般執行組合誤差減小，該等案宛如完整陳述般以引用之方式併入本文中。亦可以此項技術中已知之任何其他適合方式執行誤差減小方法。
在另一實施例中，擷取功能被定義為一變異減小方法。舉例而言，用於定義擷取功能之一個可能方法係透過變異減小，諸如費雪資訊及期望變異數減小。以此方式，擷取功能可經由變異減小實施。在統計學中，費雪資訊係用於量測一可觀察隨機變數關於模型化變數之一分佈之一未知參數攜載之資訊量的一方法。費雪資訊係分數之變異數或所觀察資訊之期望值。關於費雪資訊之更多資訊可見於Ly等人之「A Tutorial on Fisher Information」，arXiv:1705.01064v2，2017年10月17日，59頁中，該案宛如完整陳述般以引用之方式併入本文中。可如此參考中描述般進一步組態本文中描述之實施例。可如Schein等人之「Active Learning for Logistic Regression: An Evaluation」，Machine Learning，第68卷，第3期，2007年10月，第235頁-第265頁中描述般執行期望變異數減小，該案宛如完整陳述般以引用之方式併入本文中。可如此參考中描述般進一步組態本文中描述之實施例。亦可以此項技術中已知之任何其他適合方式執行變異減小方法。
在一些實施例中，擷取功能被定義為一深度學習模型。舉例而言，貝葉斯模型支援深度神經網路(包含卷積神經網路(CNN)、遞迴神經網路(RNN)、一長短期記憶體(LSTM) (其係深度學習領域中使用之一人工RNN架構，其不同於標準前饋神經網路而具有回饋連接)、生成對抗網路(GAN) (其係包含互相競爭之兩個網路之深度神經網路架構)、深度生成模型等)。深度神經網路可具有此項技術中已知之任何適合組態。
神經網路可大體上被定義為一運算方法，其基於鬆散地模型化一生物大腦運用藉由軸突連接之相對較大生物神經元群集解決問題之方式之一相對較大神經單元集合。神經網路通常由多個層組成，且信號路徑從前部橫穿至背部。各神經單元與許多其他神經單元連接，且連結在其等對連接神經單元之啟動狀態之影響上可係強制或抑制的。此等系統為自學習並訓練而非明確程式化且在其中在一傳統電腦程式中難以表達解決方案或特徵偵測之區域中表現優異。
在一額外實施例中，擷取功能被定義為一機器學習模型。舉例而言，貝葉斯模型支援機器學習模型(包含樹、隨機森林、支援向量機(SVM)等)。貝葉斯模型亦支援上述模型之組合(尤其級聯模型、整體模型、增強模型等)。此等機器學習模型可具有此項技術中已知之任何適合組態。
實施例亦可在相同系統中使用多個不同擷取功能，且擷取功能之各者可涉及多個貝葉斯深度學習/機器學習模型或(非貝葉斯)生成深度學習/機器學習模型。
一「生成」模型可大體上被定義為本質上概率性之一模型。換言之，一「生成」模型並非執行正向模擬或基於規則之方法之一模型。代替地，如本文中進一步描述，可基於一適合訓練資料集學習一生成模型(其中可學習其參數)。一生成模型可經組態以具有一深度學習架構，其中該生成模型可包含執行若干演算法或變換之多個層。包含於一生成模型中之層數可為使用情況相依的。出於實務目的，層之一適合範圍自2層至幾十層。
在另一實施例中，應用擷取功能包含藉由使用一貝葉斯學習模型評估一或多個概率分佈而估計擷取功能。在一項此實施例中，貝葉斯學習模型係一貝葉斯深度學習模型。在另一此實施例中，貝葉斯學習模型係一貝葉斯機器學習模型。舉例而言，可利用貝葉斯深度學習/機器學習模型來評估擷取功能(以計算有關涉及模型後驗之概率分佈之期望值)。另外，擷取功能之估計可包含使用貝葉斯深度學習或貝葉斯機器學習模型來評估以下概率分佈之一或多者。以此方式，實施例可包含估計有關未標記資料之預測不確定性的一貝葉斯模型。可由常態分佈、伯努利分佈等表達不確定性。貝葉斯深度學習或機器學習模型亦可具有此項技術中已知之任何其他適合組態。
在一進一步此實施例中，一或多個概率分佈包含由成像子系統生成之影像之一或多者之樣本概率之一無監督估計。舉例而言，一或多個概率分佈可包含樣本概率p(X)之一無監督估計，其中X係經由一變分自動編碼器(VAE)、像素卷積神經網路(PixelCNN)、像素遞迴神經網路(PixelRNN)、實值非體積保持(RealNVP)變換或「Glow」之輸入影像。
VAE經組態用於自輸入重建輸出且包含分別對資料進行編碼及解碼的一編碼器及一解碼器。編碼器生成輸出資料之一壓縮表示而解碼器學習使用壓縮表示作為輸入來重建初始輸入資料。可使用一VAE之解碼器部分作為能夠生成特定特徵之一生成模型。關於VAE之額外資訊可見於Doersch之「Tutorial on Variational Autoencoders」，arXiv:1606.05908，2016年8月13日，23頁中，該案宛如完整陳述般以引用之方式併入本文中。可如此參考中描述般進一步組態本文中描述之實施例。
PixelCNN係一架構，其為遍及層保持其輸入之空間解析度且在各位置處輸出一條件分佈之層之一完全卷積網路。一PixelRNN包含快速LSTM層，該等快速LSTM層在其等狀態下使用LSTM單元且採用一卷積以同時計算沿資料之空間維度之一者之全部狀態。可用於本文中描述之實施例中之PixelCNN及PixelRNN之實例包含於van den Oord等人之「Pixel Recurrent Neural Networks」，arXiv:1601.06759，2016年8月19日，11頁，該案宛如完整陳述般以引用之方式併入本文中。可用於本文中描述之實施例中之RealNVP變換之實例在Dinh等人之「Density Estimation Using Real NVP」，arXiv:1605.08803中描述，該案宛如完整陳述般以引用之方式併入本文中。可用於本文中描述之實施例中之Glow之實例在Kingma等人之「Glow: Generative Flow with Invertible 1x1 Convolutions」，NeuroIPS 2018，arXiv:1807.03039，2018年7月10日，15頁中描述，該案宛如完整陳述般以引用之方式併入本文中。
在另一此實施例中，一或多個概率分佈包含模型後驗之一監督或半監督估計及其導出之不確定性分佈。舉例而言，一或多個概率分佈可包含模型後驗p(w|D)之一監督或半監督估計及其導出之不確定性分佈，其中w係模型參數，D係用於監督方法之標記資料集，且D係用於半監督情況之標記及未標記資料集。此估計可基於諸如Gal等人之「Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning」，arXiv:1506.02142中描述之隨機丟棄來執行，該案宛如完整陳述般以引用之方式併入本文中。此估計亦可基於諸如MacKay之「A Practical Bayesian Framework for Backpropagation Networks」，Neural Computation，4(3)，第448頁至第472頁，1992年及Neal之「Bayesian Learning for Neural Networks」，Ph.D. Thesis, Dept. of Computer Science，多倫多大學，1994年中描述之一貝葉斯神經網路來執行，該等案宛如完整陳述般以引用之方式併入本文中。另外，可基於諸如一貝葉斯CNN之變分推理來執行此估計，貝葉斯CNN之適合實例在Shridhar等人之「Bayesian Convolutional Neural Networks with Variational Inference」，arXiv:1806.05978，2018年11月14日，8頁中描述，該案宛如完整陳述般以引用之方式併入本文中。此外，此估計可基於可以此項技術中已知之任何適合方式執行之馬爾可夫鏈蒙地卡羅(MCMC)來執行。上文描述之方法可搭配一深度學習模型(例如，CNN)及機器學習模型(例如，隨機森林、SVM)使用以執行上文描述之不確定性取樣、誤差減小取樣及變異減小取樣以執行擷取步驟。
一般而言，主動學習可被視為涉及一個機器人及一個教示者，其中機器人藉由將樣本自當前最少資訊區(CLIR)傳導查詢至教示者而執行半監督學習。此方案可藉由將機器人定義為一「智慧型」偵測/分類演算法且將教示者定義為一檢視工具或另一實況方法或系統而應用於缺陷取樣。實施主動學習方案之一困難可能產生於如何針對一監督學習演算法(尤其深度學習)定義CLIR。
本文中描述之實施例併入貝葉斯概念用於識別CLIR。此等解決方案往往以模型後驗p(ω|D)之估計開始且接著可由以下方程式計算模型預測之期望：
Figure 02_image001
一深度神經網路之模型後驗之估計通常被認為係棘手的。粗略估計模型後驗之實務方法包含模型整體、隨機丟棄、變分推理、MCMC等。
圖3圖解說明可針對貝葉斯深度學習(BDL)及主動發現執行之步驟之一項實施例。在此實施例中，使用BDL來估計CLIR。此架構採用模型整體及隨機丟棄概念兩者以近似表示有關隱式學習之模型後驗之模型預測之期望。此圖呈現一單一BDL擷取反覆之工作流程，其包含以下步驟。以實質上有限標記資料(例如，有限資料點300)開始，(若干)電腦子系統訓練一或多個模型(包含一深度神經網路之任何模型)，此允許預測生成一不確定性估計。有限資料點可包含(舉例而言)僅1或2個DOI實例(總計或每一缺陷類別)。舉例而言，如圖3中展示，可將有限資料點300輸入至訓練1 302、訓練2 304、訓練4 306，…，訓練k 308。此等訓練可包含多個獨立訓練。可以此項技術中已知之任何適合方式執行訓練。
藉由在引導時併入任何無監督取樣或偵測演算法，BDL亦可用於其中完全不存在標記資料之情境中。一旦識別到幾個(至少一個)缺陷，BDL便可開始增強缺陷取樣及模型學習。
視情況，(若干)電腦子系統可自資料池310生成未標記資料之子池(sub-pool) 312。可使用不同方法(諸如隨機取樣、相異度取樣、無監督演算法(例如，自動編碼器及其變體、GAN等)及離群點偵測演算法)來生成資料之子池。接著，(若干)電腦子系統可對資料之子池應用(若干)模型。舉例而言，如圖3中展示，可將資料之子池312輸入至預測1 314、預測2 316、預測3 318，…，預測k 320。可藉由對子池資料集運行各模型之推理而執行此等預測。
可運用隨機丟棄來執行推理以估計CLIR，即，擷取分數322。亦可應用變分推理及MCMC。通常藉由資訊理論中之不確定性定義(諸如熵)經由下式：
Figure 02_image003
或藉由更高級度量(諸如BALD)經由下式量化CLIR：
Figure 02_image005
直觀地，此等度量意欲識別位於當前決策邊界(即，模糊資料點)或不具有資料支援(即，看不見)之區域上的資料點。
因此，本文中描述之實施例可針對多個模型執行訓練及推理。多個模型亦可被稱為一「模型整體」，即，計算跨多個模型之預測之整體期望。一相對較小數目之(深度學習)模型之整體可合理地近似表示模型後驗，此係因為損失景觀上之障礙可忽略。此方法之優勢包含(a)其允許使用不同模型，(b)其在模型數目變得無限或模型分佈遵循模型後驗時提供漸近正確結構，及(c)其亦針對工具之運算模型及成本要求提供調適模型選擇的自由。
不同貝葉斯模型可用於相同擷取功能中。舉例而言，在圖3中，存在多個垂直分支以圖解說明(可能)不同模型上之多個訓練。分支之各者可為一不同模型，分支之各者可為相同模型，或一些分支可為一不同模型且其他分支可為相同模型。而相同分支中之訓練及推理將共用相同模型，即，訓練1及預測1中使用之模型應為相同；訓練1 (預測1)中使用之模型可能不同於訓練2 (預測2)中使用之模型等等。
(若干)電腦子系統亦計算擷取功能(例如，BALD)以識別具有最高不確定性之資料點。對於貝葉斯模型估計預測不確定性，其可估計模型概率p(w|x)之後驗。此可由變分推理、MCMC、MC丟棄等執行。存在擷取功能併入資料不確定性及模型不確定性兩者之數個選擇。舉例而言，深度學習可使用設計內容背景、檢測至設計對準、及/或雜訊分割來處置資料不確定性。在一個此實例中，可使用深度學習估計之不確定性來執行設計空間雜訊分割或生成關照區域。可使用本文中在於2010年3月9日發佈之Kulkarni等人之美國專利第7,676,077號及於2011年1月25日發佈之Duffy等人之美國專利第7,877,722號中描述之系統及方法中所描述之深度學習估計之不確定性來執行設計空間雜訊分割及生成關照區域，該等案宛如完整陳述般以引用之方式併入本文中。可如此等專利中描述般進一步組態本文中描述之實施例。另外，深度學習可經由模型平均化(模型整體)及/或MC丟棄(即，隨機評估)來處置模型不確定性。
計算擷取功能可生成擷取分數322。在此實施例中，應用跨多個模型或多個例項之集體模型不確定性以導出/計算一擷取功能(例如，BDL)。(若干)電腦子系統可進一步自成像工具獲取經識別為具有最高不確定性之資料點之標記。接著，可將下一樣本324添加至有限資料點300，如本文中進一步描述。以此方式，(若干)電腦子系統可計算擷取分數並決定下一批樣本。實施例亦可執行缺陷檢視(例如，SEM檢視)，將缺陷檢視結果彙總至訓練資料集，且自池移除缺陷經檢視樣本。圖3中展示之方法可被視為半監督學習及主動學習。
主動學習亦包含擷取選定之一或多個資料點之標記。在一項實施例中，擷取標記包含使用一實況方法對選定之一或多個資料點進行分類。舉例而言，可將由擷取功能選定之未知候選者發送至圖2中展示之標記204，該標記204可由一驗證者(諸如獲取選定候選者之缺陷類型之一檢視或檢測工具)執行。另外，可透過一檢視或檢測工具(經由光學、掃描電子顯微鏡(SEM)或其他手段)透過一客戶資料庫驗證並標記選定之未標記候選者以自手動指派標記之一使用者或任何其他適合實況方法或系統獲取缺陷標記。在一項此實施例中，擷取標記包含透過人類輸入(例如，人際互動及/或標記)對選定之一或多個資料點進行分類。可以此項技術中已知之任何適合方式實現人際互動及/或標記。
在另一實施例中，擷取標記包含透過一群眾外包(crowd sourcing)方法對選定之一或多個資料點進行分類。本文中描述之實施例之內容背景中之「群眾外包」大體上被定義為一方法，其中自一相對較大、稍微開放且可能演變的參與者群組擷取標記，藉此在參與者之間劃分工作以達成一累積結果。另外可以此項技術中已知之任何適合方式執行群眾外包。
在一進一步實施例中，擷取標記包含透過物理模擬對選定之一或多個資料點進行分類。如本文中使用之術語「物理模擬」係指對應於資料點之一事件(一缺陷或潛在缺陷)將對樣品或樣品上或與樣品一起形成之一裝置之物理(包含電氣及/或材料)特性之一或多者具有之影響的模擬。接著，可使用物理模擬之結果來判定任何選定資料點之一適當標記(例如，缺陷、缺陷類型、擾亂點、擾亂點類型等)。可使用可用於生成一模擬樣品之一憑經驗訓練之程序模型(諸如在商業上可購自北卡羅萊納州Cary之Coventor, Inc.之SEMulator 3D)來執行物理模擬。以此方式，可執行物理模擬以模擬針對其生成資料點之一樣品在樣品空間中將呈現之樣子(不一定此一樣品對於一成像系統而言將呈現之樣子)。因此，物理模擬可生成樣品之一模擬表示，其表示樣品在樣品之2D或3D空間中將呈現之樣子。
因此，缺陷類型資訊可為此步驟中擷取之標記。可藉由標記204產生圖2中展示之標記206。標記可具有此項技術中已知之任何適合格式。
主動學習進一步包含生成包含選定之一或多個資料點及所擷取標記之一標記資料集。生成標記資料集可包含生成一新的標記資料集，其不同於自其選定資料點之資料集。替代地，生成標記資料集可包含將(若干)選定資料點及其等相關聯標記添加至自其選定資料點之資料集。生成之標記資料集可具有此項技術中已知之任何適合格式。
在一項實施例中，主動學習包含重複至少一次包含應用、擷取及生成步驟之一步驟序列，且步驟序列中執行之生成步驟包含將針對步驟序列中執行之應用步驟中所選定之一或多個資料點擷取之標記附加至標記資料集。舉例而言，如圖2中展示，可將標記206發送回至資料點200以藉此將標記附加至資料集，在此之後可重複圖2中展示之步驟。以此方式，將新的標記資料附加至初始資料且循環可根據需要繼續。因而，當針對不同應用步驟中選定之不同資料點擷取標記時，可藉由將標記及其等資料點重複添加至初始資料集或在第一反覆之後形成之資料集而將標記及其等資料點累積於一單一資料集中。可以若干方式(諸如一最大預定數目次反覆(其可自一實務性觀點建立)、標記資料點之一所要預定特性(諸如某些(或全部) DOI類型之一預定最小數目個實例)、藉由基於本文中描述之步驟之任一者之結果的使用者回饋、擷取分數本身或擷取分數之一性質(諸如運行間擷取分數之變化)、或其等之一些組合)限制由本文中描述之實施例執行之循環中之步驟之反覆次數。
(若干)電腦子系統亦經組態用於使用標記資料集來訓練缺陷分類器。缺陷分類器經組態用於使用藉由成像子系統生成之影像對樣品上偵測之缺陷進行分類。可以此項技術中已知之任何適合方式(例如，藉由將資料點輸入至缺陷分類器中且修改缺陷分類器之一或多個參數，直至缺陷分類器針對輸入資料點之輸出匹配針對資料點擷取之標記)執行使用標記資料集訓練缺陷分類器。缺陷分類器可包含本文中描述之缺陷分類器之任一者。
在一項實施例中，缺陷分類器經組態為一擾亂點事件過濾器(NEF)。NEF可簡單地經組態以將擾亂點事件與任何其他類型之事件分離，藉此產生可包含多個缺陷類型之一缺陷集。接著，可將NEF過濾器之輸出輸入至對非擾亂點事件進行分類之一缺陷分類器及/或可使用NEF過濾器之輸出作為檢測結果。NEF可具有此項技術中已知之任何適合組態。以此方式，本文中描述之實施例可經組態用於NEF訓練。藉由組合深度學習及主動學習之優點，本文中描述之實施例可為不同工具設定下之NEF訓練提供一系統解決方案。
在一些實施例中，缺陷分類器經組態為一缺陷偵測器。在此情況中，缺陷分類器可基本上充當一經偵測事件分類器，其中其可將藉由一缺陷偵測方法及/或演算法偵測之任何事件分類(且因此偵測)為缺陷或擾亂點。經組態為一缺陷偵測器之一缺陷分類器亦可執行缺陷分類及擾亂點過濾，如本文中進一步描述。亦可執行缺陷偵測且係基於機器學習之缺陷分類器之一些實例在於2019年3月7日公開之He等人之美國專利申請公開案第2019/0073568號中描述，該案宛如完整陳述般以引用之方式併入本文中。基於機器學習之缺陷偵測器之一些實例在於2019年1月22日發佈之Karsenti等人之美國專利第10,186,026號中描述，該案宛如完整陳述般以引用之方式併入本文中。本文中描述之實施例可如此等參考中描述般進一步組態。缺陷偵測器亦可為一非機器學習缺陷偵測器。
在一進一步實施例中，缺陷分類器經組態為一自動缺陷分類器。自動缺陷分類器可具有此項技術中已知之任何適合組態及格式。另外，自動缺陷分類器可包含機器學習缺陷分類器或非機器學習缺陷分類器兩者。本文中描述之其他缺陷分類器亦可為自動缺陷分類器，其中一旦其等經設定並訓練，其等便可(在無使用者輸入之情況下)自動對缺陷進行分類。
在另一實施例中，缺陷分類器經組態為一多類別分類器。舉例而言，本文中描述之擷取功能支援多類別分類。多類別分類器可具有此項技術中已知之任何適合組態。多類別分類器可將缺陷分成不同類別(因此多類別命名法)，其可包含像橋、微粒、缺失特徵、劃痕及類似者之不同類別。可以任何適合方式(簡單地藉由數字或用名稱)識別或標記不同缺陷類別。多類別分類器亦可將不同類型之DOI與擾亂點分離。舉例而言，多類別分類器可包含用於擾亂點事件之一分級，藉此充當一缺陷分類器及一擾亂點過濾器兩者。
藉由本文中描述之實施例訓練之缺陷分類器可包含深度學習/機器學習缺陷分類器或任何其他類型之缺陷分類器。舉例而言，缺陷分類器可為具有用於將經偵測事件分成與不同缺陷類型相關聯之不同分級(及可能一擾亂點分級)之適當切割線之一簡單決策樹類型缺陷分類器。然而，缺陷分類器可具有諸如在於2018年4月19日公開之Zhang等人之美國專利申請公開案第2018/0107928號及在於2019年3月7日公開之He等人之美國專利申請公開案第2019/0073568號中描述之一深度學習/機器學習架構，該等案宛如完整陳述般以引用之方式併入本文中。(若干)電腦子系統可經組態以訓練如在於2017年7月6日公開之Bhaskar等人之美國專利申請公開案第2017/0193400號及在於2018年4月19日公開之Zhang等人之美國專利申請公開案第2018/0107928號中描述之缺陷分類器，該等案宛如完整陳述般以引用之方式併入本文中。可如此等公開案中描述般進一步組態本文中描述之實施例。
在一些實施例中，擷取功能經組態以選定具有為新缺陷類型之最高概率之資料點之一或多者。舉例而言，可選定擷取功能之參數，使得擷取功能優先選定先前未見資料點(不同於類似樣品之任何其他先前所見資料點的資料點，其中其等具有先前未見之一或多個特性) (首先或更側重地自其選定)、相對於整個資料點群體為離群點之資料點、在一或多個特性方面具有最大相異度之資料點等。以此方式，可增大擷取功能選定對應於新缺陷類型之(若干)資料點之概率。換言之，擷取功能可經組態用於缺陷發現。藉由組合深度學習及主動學習之優點，本文中描述之實施例可為諸如本文中進一步描述之不同工具設定下之缺陷發現提供一系統解決方案。此外，本文中描述之實施例可應用於聯合執行缺陷發現及NEF/缺陷分類器訓練。
本文中描述之實施例可有利地減小檢測工具之授權時間(TTE)，即，配方設定及最佳化時間。舉例而言，鑑於一「工作」檢測配方，本文中描述之實施例可用於適應性地訓練一NEF。另外，可對第一樣品執行缺陷發現。亦可對初始少數樣品執行模式選定。舉例而言，可使用本文中描述之實施例作為決定哪一(些)成像模式及配方設定對於選定缺陷類型而言最佳的一度量。特定言之，若針對用不同成像參數及/或配方設定生成之不同資料集執行本文中描述之步驟，則可使用本文中描述之實施例之結果來識別哪一成像參數及/或配方設定對於樣品之檢測而言較佳(例如，藉由比較使用不同成像模式及/或配方設定發現或可偵測哪些缺陷，此可能反映在針對由擷取功能選定之資料點所擷取之標記中，或藉由比較由藉由本文中描述之實施例訓練之不同缺陷分類器所產生之結果，其中實施例可訓練多個缺陷分類器，各缺陷分類器用於輸入至實施例之不同資料集之各者，多個缺陷分類器可包含相同缺陷分類器或不同類型之缺陷分類器，且結果係由經訓練之缺陷分類器產生之各類型之DOI之數目)。舉例而言，可使用本文中描述之實施例來識別偵測大多數類型之DOI及/或產生由(若干)經訓練缺陷分類器正確分類之最大數目個DOI的成像模式及/或配方參數。本文中描述之實施例亦可用於連續學習並監測幾個(或多個)樣品。實施例藉由彙總標記缺陷且自各樣品收集未標記樣本而允許針對多個樣品之NEF學習及配方學習。
在一進一步實施例中，系統包含經組態以生成樣品之額外影像的一額外成像子系統，且(若干)電腦子系統經組態用於藉由使用由成像子系統生成之影像及由額外成像子系統生成之額外影像來偵測樣品上之缺陷而執行混合檢測。舉例而言，混合檢測器概念基本上在對一單一樣品執行之一單一檢測程序中組合不同工具。可由本文中描述之實施例執行混合檢測，如在於2018年3月13日發佈之Bhaskar等人之美國專利第9,916,965號及在於2015年12月29日發佈之Duffy等人之美國專利第9,222,895號及在於2019年3月25日申請之Bhaskar等人之共同轉讓之美國專利申請案序號16/364,140中描述，該等案宛如完整陳述般以引用之方式併入本文中。可如此專利及專利申請案中描述般進一步組態本文中描述之實施例。
半導體程序控制之一個實際挑戰係趨向於不存在可識別全部故障缺陷類型之一個工具。然而，本文中描述之實施例提供一系統以利用來自其他不同工具(包含SEM、x射線工具等) (即，除檢測工具以外之工具)之缺陷實況以執行缺陷發現及NEF訓練以便實現自動化且穩健配方設定及調諧。另外，實施例可應用於僅一單一檢測工具或一混合檢測器(其組合兩個或兩個以上檢測工具)。藉由組合深度學習及主動學習之優點，本文中描述之實施例可為不同工具設定下之缺陷發現及NEF訓練提供一系統解決方案。因此，本文中描述之實施例尤其可改良配方設定且自品質及時間成本度量兩者調諧，此將潛在地藉由實現更複雜且高級配方調諧而減小檢測工具之所有權成本且增加混合工具之價值。另外，本文中描述之實施例提供一路徑以運用深度學習真實地實施混合檢測器概念以聯合利用電子束及光學檢測工具，此係混合檢測器藍圖之基礎。亦可在光學檢測工具上且特別地在混合檢測工具上直接實施本文中描述之實施例。
因此，本文中描述之實施例可將一貝葉斯深度學習(BDL)架構及混合檢測併入至一單一系統或方法中。舉例而言，BDL可在一混合檢測器上提供增強缺陷取樣及適應性模型訓練。另外，本文中描述之實施例可將主動學習概念併入至深度學習領域中：藉由利用混合檢測器概念(例如，即時電子束影像擷取)，此工作建立一系統方法論以破壞模型訓練與資料發現之間之互相依賴性且提供用於自極其有限(或甚至無)標記資料點學習一深度模型之一般解決方案。另外，將貝葉斯視角併入至本文中描述之實施例中提供用於管理與資料不足及群體不平衡相關聯之風險的工具。由本發明者對平凡且真實的晶圓資料集執行之實驗已證實BDL在改良缺陷取樣及分類器精確度方面之有效性。將BDL與混合檢測組合亦可解決諸如BBP檢測工具之高級檢測工具之複雜配方設定及最佳化。
歸因於本文中描述之統一系統演算法解決方案，BDL對於減少檢測與檢視之間之手動反覆亦係有效的。另外，歸因於主動學習，BDL對於增強缺陷取樣效率係有效的。此外，歸因於深度學習，BDL對於改良NEF效能係有效的。亦可使用BDL來進一步解決一配方中之其他參數之最佳化，諸如成像模式及關照區域最佳化。此外，本文中描述之實施例提供用於將深度學習方法論帶入程序控制領域中之一基礎，此與自然影像處理應用相比係顯著不同的。
BDL之另一可能獨特應用係同時針對一未見(新)層聯合設定檢測及檢視工具。傳統上，歸因於各工具之限制，此亦係一「雞-蛋」問題。BDL實際上可藉由應用核心主動學習概念而統一此互相依賴性。由於在一實質上堅實理論基礎上建立BDL，故不難想像BDL可成為用於解決數個其他工具線上之聯合取樣及學習問題之一有效工具。舉例而言，儘管本文中明確言之關於檢測或檢測工具來描述一些實施例，然可使用本文中描述之實施例來解決其他工具線(諸如度量衡工具、缺陷檢視工具及類似者)上之聯合取樣及學習問題。
在一項此實施例中，成像及額外成像子系統之一者經組態為一光學成像子系統，且成像及額外成像子系統之另一者經組態為一電子束成像子系統。舉例而言，成像子系統可為包含於諸如一BBP檢測工具之一檢測工具中之一光學成像子系統，且額外成像子系統可為可係基於電子束之另一檢測及/或檢視工具。可如本文中描述及圖1及圖1a中展示般進一步組態成像及額外成像子系統。
本文中描述之實施例具有優於用於取樣之先前使用系統及方法之若干優點。舉例而言，本文中描述之實施例以若干不同方式具有優於任何當前使用解決方案之較佳效能。在一個此實例中，實施例可搭配實質上有限標記資料(例如，每一缺陷類別一個標記資料點)工作。本文中描述之實施例出於若干原因(諸如其等可使用一貝葉斯方法，即，估計不確定性，快速引導學習程序且可漸近地快速收斂至最佳模型)特別適合搭配實質上有限資料集(例如，每一缺陷類別1或2個DOI)使用。在另一此實例中，本文中描述之實施例可搭配(若干)缺失缺陷類別工作且在反覆期間發現其/其等。在一額外此實例中，本文中描述之實施例可搭配任何模型(尤其深度神經網路)工作。在一進一步此實例中，本文中描述之實施例可估計NEF預測不確定性。預測不確定性之優勢包含實現貝葉斯主動發現。貝葉斯方法實現更可靠地處理不足資料案例及缺失資料案例。預測不確定性之另一優勢包含允許擷取功能處理模糊資料及未見資料，如本文中進一步說明。本文中進一步描述本文中描述之實施例之優勢之額外實例。
本文中描述之實施例可如Gal等人之「Deep Bayesian Active Learning with Image Data」，arXiv:1703.02910v1，2017年3月8日，10頁中描述般進一步組態，該案宛如完整陳述般以引用之方式併入本文中。
上文描述之系統之各者之實施例之各者可一起組合成一項單一實施例。
另一實施例係關於一種用於執行用於訓練一缺陷分類器之主動學習之電腦實施方法。該方法包含執行用於訓練一缺陷分類器之主動學習。主動學習包含上文描述之應用、擷取及生成步驟。方法亦包含上文描述之訓練步驟。如本文中進一步描述般組態缺陷分類器。執行主動學習及訓練缺陷分類器由可如本文中進一步描述般組態之一或多個電腦子系統執行。
可如本文中進一步描述般執行方法之步驟之各者。方法亦可包含本文中描述之(若干)任何其他步驟。可根據本文中描述之實施例之任一者(例如，(若干)電腦子系統102)組態(若干)電腦子系統。另外，可由本文中描述之系統實施例之任一者執行上文描述之方法。
一額外實施例係關於一種儲存程式指令之非暫時性電腦可讀媒體，該等程式指令可在一或多個電腦系統上執行以執行用於執行用於訓練一缺陷分類器之主動學習之一電腦實施方法。圖4中展示一項此實施例。特定言之，如圖4中展示，非暫時性電腦可讀媒體400包含可在(若干)電腦系統404上執行之程式指令402。電腦實施方法可包含本文中描述之(若干)任何方法之(若干)任何步驟。
實施諸如本文中描述之方法之方法之程式指令402可儲存於電腦可讀媒體400上。電腦可讀媒體可係一儲存媒體，諸如一磁碟或光碟、一磁帶或此項技術中已知之任何其他適合非暫時性電腦可讀媒體。
可以多種方式(包含基於程序之技術、基於組件之技術及/或物件導向技術等等)之任一者實施程式指令。舉例而言，可視需要使用ActiveX控制項、C++物件、JavaBeans、微軟基礎類別(「MFC」)、SSE (串流SIMD擴展)或其他技術或方法論實施程式指令。
可根據本文中描述之實施例之任一者組態(若干)電腦系統404。
鑑於此描述，熟習此項技術者將瞭解本發明之多種態樣之進一步修改及替代實施例。舉例而言，提供用於執行用於訓練一缺陷分類器之主動學習之方法及系統。因此，將此描述解釋為僅係闡釋性且係出於向熟習此項技術者教示實行本發明之一般方式之目的。應瞭解，應將本文中展示且描述之本發明之形式視為目前較佳實施例。皆如熟習此項技術者在受益於本發明之此描述之後將瞭解，元件及材料可替代本文中圖解說明且描述之彼等元件及材料，可顛倒部分及程序且可獨立利用本發明之某些特徵。可對本文中描述之元件做出改變而不脫離如以下發明申請專利範圍中所描述之本發明之精神及範疇。
10‧‧‧成像子系統 14‧‧‧樣品 16‧‧‧光源 18‧‧‧光學元件 20‧‧‧透鏡 22‧‧‧載物台 24‧‧‧集光器 26‧‧‧元件 28‧‧‧偵測器 30‧‧‧集光器 32‧‧‧元件 34‧‧‧偵測器 36‧‧‧電腦子系統 102‧‧‧電腦子系統 122‧‧‧電子柱 124‧‧‧電腦子系統 126‧‧‧電子束源 128‧‧‧樣品 130‧‧‧元件 132‧‧‧元件 134‧‧‧偵測器 200‧‧‧資料點 202‧‧‧擷取功能 204‧‧‧標記 206‧‧‧標記 300‧‧‧有限資料點 302‧‧‧訓練1 304‧‧‧訓練2 306‧‧‧訓練4 308‧‧‧訓練k 310‧‧‧資料池 312‧‧‧子池 314‧‧‧預測1 316‧‧‧預測2 318‧‧‧預測3 320‧‧‧預測k 322‧‧‧擷取分數 324‧‧‧下一樣本 400‧‧‧非暫時性電腦可讀媒體 402‧‧‧程式指令 404‧‧‧電腦系統
熟習此項技術者在受益於較佳實施例之以下詳細描述之情況下且在參考隨附圖式之後將瞭解本發明之進一步優點，其中： 圖1及圖1a係圖解說明如本文中描述般組態之一系統之實施例之側視圖的示意圖； 圖2及圖3係圖解說明可由本文中描述之實施例執行之步驟的流程圖；及 圖4係圖解說明儲存用於導致(若干)電腦系統執行本文中描述之一電腦實施方法之程式指令之一非暫時性電腦可讀媒體之一項實施例的一方塊圖。 雖然本發明易於以多種修改及替代形式呈現，但本發明之特定實施例藉由實例在圖式中展示且在本文中詳細描述。圖式可未按比例。然而，應瞭解，圖式及其詳細描述不意欲將本發明限於所揭示之特定形式，而相反，本發明欲涵蓋落於如由隨附發明申請專利範圍界定之本發明之精神及範疇內之全部修改、等效物及替代。
10‧‧‧成像子系統
14‧‧‧樣品
16‧‧‧光源
18‧‧‧光學元件
20‧‧‧透鏡
22‧‧‧載物台
24‧‧‧集光器
26‧‧‧元件
28‧‧‧偵測器
30‧‧‧集光器
32‧‧‧元件
34‧‧‧偵測器
36‧‧‧電腦子系統
102‧‧‧電腦子系統

Claims (38)

  1. 一種經組態以執行用於訓練一缺陷分類器之主動學習之系統，該系統包括： 一成像子系統，其包括至少一能量源及一偵測器，其中該能量源經組態以生成被引導至一樣品之能量，且其中該偵測器經組態以偵測來自該樣品之能量且回應於該所偵測能量而生成影像；及 一或多個電腦子系統，其或其等經組態用於執行用於訓練一缺陷分類器之主動學習，其中該主動學習包括： 將一擷取功能應用於該樣品之資料點，其中該擷取功能基於與該等資料點相關聯之不確定性估計而選定該等資料點之一或多者； 擷取該選定之一或多個資料點之標記；且 生成包括該選定之一或多個資料點及該等所擷取標記之一標記資料集；及 其中該一或多個電腦子系統進一步經組態用於使用該標記資料集來訓練該缺陷分類器，且其中該缺陷分類器經組態用於使用由該成像子系統生成之該等影像對該樣品上偵測之缺陷進行分類。
  2. 如請求項1之系統，其中該樣品之該等資料點由未標記資料點組成。
  3. 如請求項1之系統，其中該樣品之該等資料點包括針對任一缺陷類型及未標記資料之十個以下實況資料點之一組合。
  4. 如請求項1之系統，其中該主動學習進一步包括重複至少一次包括該應用、該擷取及該生成步驟之一步驟序列，且其中該步驟序列中執行之該生成步驟包括將針對該步驟序列中執行之該應用步驟中所選定之該一或多個資料點擷取之該等標記附加至該標記資料集。
  5. 如請求項1之系統，其中該擷取功能被定義為一無監督取樣方法。
  6. 如請求項1之系統，其中該擷取功能被定義為一監督取樣方法。
  7. 如請求項1之系統，其中該擷取功能被定義為一半監督取樣方法。
  8. 如請求項1之系統，其中該擷取功能被定義為一監督及無監督取樣方法之一組合。
  9. 如請求項1之系統，其中該擷取功能被定義為基於最大熵之一取樣方法。
  10. 如請求項1之系統，其中該擷取功能被定義為基於貝葉斯主動學習之一取樣方法。
  11. 如請求項1之系統，其中該擷取功能被定義為一誤差減小方法。
  12. 如請求項1之系統，其中該擷取功能被定義為一變異數減小方法。
  13. 如請求項1之系統，其中該擷取功能被定義為一深度學習模型。
  14. 如請求項1之系統，其中該擷取功能被定義為一機器學習模型。
  15. 如請求項1之系統，其中應用該擷取功能包括藉由使用一貝葉斯學習模型評估一或多個概率分佈而估計該擷取功能。
  16. 如請求項15之系統，其中該貝葉斯學習模型係一貝葉斯深度學習模型。
  17. 如請求項15之系統，其中該貝葉斯學習模型係一貝葉斯機器學習模型。
  18. 如請求項15之系統，其中該一或多個概率分佈包括由該成像子系統生成之該等影像之一或多者之樣本概率之一無監督估計。
  19. 如請求項15之系統，其中該一或多個概率分佈包括模型後驗之一監督或半監督估計及其導出之不確定性分佈。
  20. 如請求項1之系統，其中擷取該等標記包括使用一實況方法對該選定之一或多個資料點進行分類。
  21. 如請求項1之系統，其中擷取該等標記包括透過人類輸入對該選定之一或多個資料點進行分類。
  22. 如請求項1之系統，其中擷取該等標記包括透過一群眾外包方法對該選定之一或多個資料點進行分類。
  23. 如請求項1之系統，其中擷取該等標記包括透過物理模擬對該選定之一或多個資料點進行分類。
  24. 如請求項1之系統，其中該缺陷分類器進一步經組態為一擾亂點事件過濾器。
  25. 如請求項1之系統，其中該缺陷分類器進一步經組態為一缺陷偵測器。
  26. 如請求項1之系統，其中該缺陷分類器進一步經組態為一自動缺陷分類器。
  27. 如請求項1之系統，其中該缺陷分類器進一步經組態為一多類別分類器。
  28. 如請求項1之系統，其中該擷取功能經組態以選定具有為新缺陷類型之最高概率之該等資料點之一或多者。
  29. 如請求項1之系統，其中該擷取功能經組態以選定具有為任何已知缺陷類型之最高不確定性之該等資料點之一或多者。
  30. 如請求項1之系統，其中該成像子系統經組態為一光學檢測子系統。
  31. 如請求項1之系統，其中該成像子系統經組態為一電子束檢測子系統。
  32. 如請求項1之系統，其中該成像子系統經組態為一電子束缺陷檢視子系統。
  33. 如請求項1之系統，其進一步包括經組態以生成該樣品之額外影像的一額外成像子系統，其中該一或多個電腦子系統進一步經組態用於藉由使用由該成像子系統生成之該等影像及由該額外成像子系統生成之該等額外影像來偵測該樣品上之缺陷而執行混合檢測。
  34. 如請求項33之系統，其中該成像子系統及該額外成像子系統之一者經組態為一光學成像子系統，且其中該成像子系統及該額外成像子系統之另一者經組態為一電子束成像子系統。
  35. 如請求項1之系統，其中該樣品包括一晶圓。
  36. 如請求項1之系統，其中該樣品包括一倍縮光罩。
  37. 一種非暫時性電腦可讀媒體，其儲存程式指令，該等程式指令可在一或多個電腦系統上執行以執行用於執行用於訓練一缺陷分類器之主動學習之一電腦實施方法，其中該電腦實施方法包括： 執行用於訓練一缺陷分類器之主動學習，其中該主動學習包括： 將一擷取功能應用於一樣品之資料點，其中該擷取功能基於與該等資料點相關聯之不確定性估計而選定該等資料點之一或多者； 擷取該選定之一或多個資料點之標記；及 生成包括該選定之一或多個資料點及該等所擷取標記之一標記資料集；及 使用該標記資料集來訓練該缺陷分類器，其中該缺陷分類器經組態用於使用由一成像子系統針對該樣品生成之影像對該樣品上偵測之缺陷進行分類。
  38. 一種用於執行用於訓練一缺陷分類器之主動學習之電腦實施方法，其包括： 執行用於訓練一缺陷分類器之主動學習，其中該主動學習包括： 將一擷取功能應用於一樣品之資料點，其中該擷取功能基於與該等資料點相關聯之不確定性估計而選定該等資料點之一或多者； 擷取該選定之一或多個資料點之標記；及 生成包括該選定之一或多個資料點及該等所擷取標記之一標記資料集；及 使用該標記資料集來訓練該缺陷分類器，其中該缺陷分類器經組態用於使用由一成像子系統針對該樣品生成之影像對該樣品上偵測之缺陷進行分類，且其中執行該主動學習及訓練該缺陷分類器由一或多個電腦子系統執行。
TW108119324A 2018-06-05 2019-06-04 用於缺陷分類器訓練之主動學習 TWI771591B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862681073P 2018-06-05 2018-06-05
US62/681,073 2018-06-05
US16/424,431 US10713769B2 (en) 2018-06-05 2019-05-28 Active learning for defect classifier training
US16/424,431 2019-05-28

Publications (2)

Publication Number Publication Date
TW202004513A true TW202004513A (zh) 2020-01-16
TWI771591B TWI771591B (zh) 2022-07-21

Family

ID=68693542

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108119324A TWI771591B (zh) 2018-06-05 2019-06-04 用於缺陷分類器訓練之主動學習

Country Status (5)

Country Link
US (1) US10713769B2 (zh)
KR (1) KR102466582B1 (zh)
CN (1) CN112219270B (zh)
TW (1) TWI771591B (zh)
WO (1) WO2019236506A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI742710B (zh) * 2020-06-05 2021-10-11 樂達創意科技股份有限公司 改良機器學習使用資料進行訓練的方法及系統
TWI747334B (zh) * 2020-06-17 2021-11-21 王其宏 檢測數據詐欺裝置、方法、程式產品及電腦可讀取媒體
TWI748685B (zh) * 2020-10-13 2021-12-01 中華電信股份有限公司 優化聯合物件偵測模型的方法及伺服器
CN113837209A (zh) * 2020-06-23 2021-12-24 乐达创意科技股份有限公司 改良机器学习使用数据进行训练的方法及系统
CN115315731A (zh) * 2020-03-23 2022-11-08 奥宝科技有限公司 用于图像分类的自适应学习
TWI804839B (zh) * 2020-04-20 2023-06-11 荷蘭商Ａｓｍｌ荷蘭公司 用於組態插補模型的方法及相關聯電腦程式產品

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11397633B2 (en) * 2017-01-26 2022-07-26 Siemens Aktiengesellschaft Unifying semi-supervised approach for machine condition monitoring and fault diagnosis
US11138507B2 (en) * 2017-09-28 2021-10-05 Applied Materials Israel Ltd. System, method and computer program product for classifying a multiplicity of items
US10854486B2 (en) * 2018-09-19 2020-12-01 Kla Corporation System and method for characterization of buried defects
US11430677B2 (en) * 2018-10-30 2022-08-30 Taiwan Semiconductor Manufacturing Co., Ltd. Wafer taping apparatus and method
US10958532B2 (en) * 2018-11-09 2021-03-23 Servicenow, Inc. Machine learning based discovery of software as a service
US10902238B2 (en) * 2018-11-28 2021-01-26 Toyota Research Institute, Inc. Systems and methods for predicting semantics of a particle using semantic segmentation
US10762618B1 (en) * 2019-02-14 2020-09-01 United Microelectronics Corp. Mask weak pattern recognition apparatus and mask weak pattern recognition method
US11551348B2 (en) 2019-04-09 2023-01-10 KLA Corp. Learnable defect detection for semiconductor applications
DE102019208121A1 (de) * 2019-06-04 2020-12-10 Continental Automotive Gmbh Aktive Datengenerierung unter Berücksichtigung von Unsicherheiten
US11651492B2 (en) * 2019-07-12 2023-05-16 Bruker Nano, Inc. Methods and systems for manufacturing printed circuit board based on x-ray inspection
US11042981B2 (en) * 2019-07-12 2021-06-22 SVXR, Inc. Methods and systems for printed circuit board design based on automatic corrections
US20210010953A1 (en) * 2019-07-12 2021-01-14 SVXR, Inc. Methods and Systems for Defects Detection and Classification Using X-rays
US11663494B2 (en) 2019-12-05 2023-05-30 Uchicago Argonne, Llc Systems and methods for hierarchical multi-objective optimization
US11922613B2 (en) * 2019-12-30 2024-03-05 Micron Technology, Inc. Apparatuses and methods for determining wafer defects
US11256967B2 (en) * 2020-01-27 2022-02-22 Kla Corporation Characterization system and method with guided defect discovery
US11651839B2 (en) 2020-03-02 2023-05-16 Uchicago Argonne, Llc Systems and methods for generating phase diagrams for metastable material states
KR20220149727A (ko) * 2020-03-09 2022-11-08 나노트로닉스 이미징, 인코포레이티드 결함 검출 시스템
US11710038B2 (en) * 2020-04-13 2023-07-25 Uchicago Argonne, Llc Systems and methods for active learning from sparse training data
JP2023528688A (ja) * 2020-05-22 2023-07-05 ニデック アドバンステクノロジー カナダ コーポレーション 自動欠陥分類検査装置を訓練する方法及びシステム
WO2021250884A1 (ja) * 2020-06-12 2021-12-16 株式会社日立ハイテク 欠陥検査のための方法、システム、及びコンピューター可読媒体
US11640160B2 (en) * 2020-08-07 2023-05-02 Pdf Solutions, Inc. Pattern-enhanced spatial correlation of test structures to die level responses
US11307150B2 (en) * 2020-08-17 2022-04-19 Applied Materials Israel Ltd. Automatic optimization of an examination recipe
CN111932639B (zh) * 2020-09-09 2020-12-18 苏州鼎纳自动化技术有限公司 一种基于卷积神经网络的不均衡缺陷样本的检测方法
CN112666189A (zh) * 2020-12-15 2021-04-16 河南九域恩湃电力技术有限公司 一种基于dr检测的耐张线夹检测装置及检测方法
KR102545670B1 (ko) * 2021-03-17 2023-06-20 전남대학교산학협력단 조건부 순환 생성적 적대 신경망을 활용한 질병의 진행 과정 이미지 생성 방법 및 그 장치
CN113222031B (zh) * 2021-05-19 2022-04-12 浙江大学 基于联邦个性化学习的光刻热区检测方法
CN113033716B (zh) * 2021-05-26 2021-09-21 南京航空航天大学 一种基于对抗融合众包标签的图像标记估计方法
KR102321205B1 (ko) 2021-06-10 2021-11-03 주식회사 스누아이랩 인공지능 서비스장치 및 그 장치의 구동방법
EP4102318A1 (en) * 2021-06-10 2022-12-14 Siemens Aktiengesellschaft A method of virtually inspecting a quality of a product
CA3222713A1 (en) * 2021-06-16 2022-12-22 Mihaela VLASEA Method and system for active learning using adaptive weighted uncertainty sampling (awus)
CN113418940B (zh) * 2021-06-24 2023-03-14 电子科技大学 一种基于x射线示踪颗粒的检测方法及检测装置
CN113407936B (zh) * 2021-06-30 2022-10-28 中国科学技术大学 基于生成对抗网络的侧信道防护方法
CN113657159B (zh) * 2021-07-13 2024-02-06 西安理工大学 一种基于样本选择策略的高光谱图像分类方法
WO2023143950A1 (en) 2022-01-27 2023-08-03 Carl Zeiss Smt Gmbh Computer implemented method for the detection and classification of anomalies in an imaging dataset of a wafer, and systems making use of such methods
WO2023151919A1 (en) * 2022-02-11 2023-08-17 Asml Netherlands B.V. Active learning to improve wafer defect classification
WO2023160986A1 (en) * 2022-02-28 2023-08-31 Asml Netherlands B.V. Methods and systems for improving wafer defect classification nuisance rate
US20230281457A1 (en) 2022-03-07 2023-09-07 Hyperconnect LLC Apparatus for Training and Method Thereof
CN114897909B (zh) * 2022-07-15 2022-09-20 四川大学 基于无监督学习的曲轴表面裂纹监测方法及系统
CN116309245B (zh) * 2022-09-07 2024-01-19 南京唐壹信息科技有限公司 基于深度学习的地下排水管道缺陷智能检测方法与系统
WO2024075579A1 (ja) * 2022-10-07 2024-04-11 東京エレクトロン株式会社 基板処理システム及び基板異常検出方法
CN115690090B (zh) * 2022-11-16 2023-03-28 北京阿丘科技有限公司 缺陷样本图像生成方法、装置、设备及存储介质
CN115631204A (zh) * 2022-11-30 2023-01-20 北京矩视智能科技有限公司 工件表面缺陷区域分割方法和装置
CN117094986B (zh) * 2023-10-13 2024-04-05 中山大学深圳研究院 基于小样本的自适应缺陷检测方法及终端设备

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5544256A (en) 1993-10-22 1996-08-06 International Business Machines Corporation Automated defect classification system
US7359544B2 (en) 2003-02-12 2008-04-15 Kla-Tencor Technologies Corporation Automatic supervised classifier setup tool for semiconductor defects
US7761182B2 (en) 2005-01-21 2010-07-20 Photon Dynamics, Inc. Automatic defect repair system
US7676077B2 (en) 2005-11-18 2010-03-09 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US7769219B2 (en) * 2006-12-11 2010-08-03 Cytyc Corporation Method for assessing image focus quality
WO2008077100A2 (en) 2006-12-19 2008-06-26 Kla-Tencor Corporation Systems and methods for creating inspection recipes
US8698093B1 (en) 2007-01-19 2014-04-15 Kla-Tencor Corporation Objective lens with deflector plates immersed in electrostatic lens field
US8126255B2 (en) 2007-09-20 2012-02-28 Kla-Tencor Corp. Systems and methods for creating persistent data for a wafer and for using persistent data for inspection-related functions
US8396582B2 (en) 2008-03-08 2013-03-12 Tokyo Electron Limited Method and apparatus for self-learning and self-improving a semiconductor manufacturing tool
US8078552B2 (en) 2008-03-08 2011-12-13 Tokyo Electron Limited Autonomous adaptive system and method for improving semiconductor manufacturing quality
US8664594B1 (en) 2011-04-18 2014-03-04 Kla-Tencor Corporation Electron-optical system for high-speed and high-sensitivity inspections
US8692204B2 (en) 2011-04-26 2014-04-08 Kla-Tencor Corporation Apparatus and methods for electron beam detection
CN102324046A (zh) * 2011-09-01 2012-01-18 西安电子科技大学 结合主动学习的四分类器协同训练方法
US9519868B2 (en) * 2012-06-21 2016-12-13 Microsoft Technology Licensing, Llc Semi-supervised random decision forests for machine learning using mahalanobis distance to identify geodesic paths
US8716662B1 (en) 2012-07-16 2014-05-06 Kla-Tencor Corporation Methods and apparatus to review defects using scanning electron microscope with multiple electron beam configurations
US9240360B2 (en) 2012-07-25 2016-01-19 International Business Machines Corporation Run-to-run control utilizing virtual metrology in semiconductor manufacturing
CN103020711A (zh) * 2012-12-25 2013-04-03 中国科学院深圳先进技术研究院 分类器训练方法及其系统
US9222895B2 (en) 2013-02-25 2015-12-29 Kla-Tencor Corp. Generalized virtual inspector
US9098891B2 (en) 2013-04-08 2015-08-04 Kla-Tencor Corp. Adaptive sampling for semiconductor inspection recipe creation, defect review, and metrology
US10521671B2 (en) * 2014-02-28 2019-12-31 Second Spectrum, Inc. Methods and systems of spatiotemporal pattern recognition for video content development
JP6362893B2 (ja) * 2014-03-20 2018-07-25 株式会社東芝 モデル更新装置及びモデル更新方法
US20150332167A1 (en) 2014-05-13 2015-11-19 Tokyo Electron Limited System and method for modeling and/or analyzing manufacturing processes
US9816939B2 (en) 2014-07-22 2017-11-14 Kla-Tencor Corp. Virtual inspection systems with multiple modes
US20160189055A1 (en) 2014-12-31 2016-06-30 Applied Materials Israel Ltd. Tuning of parameters for automatic classification
US9477652B2 (en) * 2015-02-13 2016-10-25 Facebook, Inc. Machine learning dialect identification
US9835566B2 (en) * 2015-03-03 2017-12-05 Kla-Tencor Corp. Adaptive nuisance filter
US9628506B1 (en) * 2015-06-26 2017-04-18 Symantec Corporation Systems and methods for detecting security events
US10436720B2 (en) * 2015-09-18 2019-10-08 KLA-Tenfor Corp. Adaptive automatic defect classification
GB201517462D0 (en) * 2015-10-02 2015-11-18 Tractable Ltd Semi-automatic labelling of datasets
US10186026B2 (en) 2015-11-17 2019-01-22 Kla-Tencor Corp. Single image detection
US11580375B2 (en) 2015-12-31 2023-02-14 Kla-Tencor Corp. Accelerated training of a machine learning based model for semiconductor applications
US9916965B2 (en) 2015-12-31 2018-03-13 Kla-Tencor Corp. Hybrid inspectors
US10043261B2 (en) 2016-01-11 2018-08-07 Kla-Tencor Corp. Generating simulated output for a specimen
KR102188014B1 (ko) 2016-05-12 2020-12-08 에이에스엠엘 네델란즈 비.브이. 기계 학습에 의한 결함 또는 핫스폿의 식별
US11120505B2 (en) * 2016-06-03 2021-09-14 Conduent Business Services, Llc Image analysis system for verification of property roof damage
US11580398B2 (en) 2016-10-14 2023-02-14 KLA-Tenor Corp. Diagnostic systems and methods for deep learning models configured for semiconductor applications
US10267748B2 (en) 2016-10-17 2019-04-23 Kla-Tencor Corp. Optimizing training sets used for setting up inspection-related algorithms
US20180144241A1 (en) * 2016-11-22 2018-05-24 Mitsubishi Electric Research Laboratories, Inc. Active Learning Method for Training Artificial Neural Networks
US10417524B2 (en) * 2017-02-16 2019-09-17 Mitsubishi Electric Research Laboratories, Inc. Deep active learning method for civil infrastructure defect detection
US10719780B2 (en) * 2017-03-31 2020-07-21 Drvision Technologies Llc Efficient machine learning method
US10607119B2 (en) 2017-09-06 2020-03-31 Kla-Tencor Corp. Unified neural network for defect detection and classification
CN107797391B (zh) * 2017-11-03 2020-04-24 上海集成电路研发中心有限公司 光学邻近校正方法
US20200050443A1 (en) * 2018-08-10 2020-02-13 Nvidia Corporation Optimization and update system for deep learning models

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115315731A (zh) * 2020-03-23 2022-11-08 奥宝科技有限公司 用于图像分类的自适应学习
CN115315731B (zh) * 2020-03-23 2024-03-01 奥宝科技有限公司 用于图像分类的自适应学习
TWI804839B (zh) * 2020-04-20 2023-06-11 荷蘭商Ａｓｍｌ荷蘭公司 用於組態插補模型的方法及相關聯電腦程式產品
TWI742710B (zh) * 2020-06-05 2021-10-11 樂達創意科技股份有限公司 改良機器學習使用資料進行訓練的方法及系統
TWI747334B (zh) * 2020-06-17 2021-11-21 王其宏 檢測數據詐欺裝置、方法、程式產品及電腦可讀取媒體
CN113837209A (zh) * 2020-06-23 2021-12-24 乐达创意科技股份有限公司 改良机器学习使用数据进行训练的方法及系统
TWI748685B (zh) * 2020-10-13 2021-12-01 中華電信股份有限公司 優化聯合物件偵測模型的方法及伺服器

Also Published As

Publication number Publication date
WO2019236506A1 (en) 2019-12-12
US20190370955A1 (en) 2019-12-05
KR20210006502A (ko) 2021-01-18
CN112219270B (zh) 2021-09-14
TWI771591B (zh) 2022-07-21
US10713769B2 (en) 2020-07-14
KR102466582B1 (ko) 2022-11-11
CN112219270A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
TWI771591B (zh) 用於缺陷分類器訓練之主動學習
TWI723168B (zh) 用於自輸入影像產生經模擬影像之系統、電腦實施方法及非暫時性電腦可讀媒體
US10607119B2 (en) Unified neural network for defect detection and classification
TWI747967B (zh) 用於經組態用於半導體應用之深度學習模型之診斷系統及方法
TWI710763B (zh) 經組態以偵測一樣品上之缺陷之系統及用於偵測一樣品上之缺陷之電腦實施方法
CN108463876B (zh) 为样品产生模拟输出
TWI711978B (zh) 用於執行針對樣本之功能之系統及電腦實施方法，以及電腦可讀媒體
TWI734724B (zh) 針對半導體應用由低解析度影像產生高解析度影像之系統、方法及非暫時性電腦可讀媒體
CN109313724B (zh) 针对半导体应用并入神经网络及前向物理模型的系统及方法
TWI707300B (zh) 一種經組態以自設計資訊產生模擬影像之系統及方法及其之一種非暫時性電腦可讀媒體
TWI769371B (zh) 用於半導體裝置之檢測方法及系統，以及其非暫時性電腦可讀媒體
KR20190141787A (ko) 다양한 모댈리티들로 획득된 이미지들의 정렬을 위한 학습 기반 접근 방식
US11694327B2 (en) Cross layer common-unique analysis for nuisance filtering
WO2022031479A1 (en) Deep learning based defect detection