TW202221536A - 生成可用於檢查半導體樣本的訓練資料 - Google Patents

生成可用於檢查半導體樣本的訓練資料 Download PDF

Info

Publication number
TW202221536A
TW202221536A TW110116729A TW110116729A TW202221536A TW 202221536 A TW202221536 A TW 202221536A TW 110116729 A TW110116729 A TW 110116729A TW 110116729 A TW110116729 A TW 110116729A TW 202221536 A TW202221536 A TW 202221536A
Authority
TW
Taiwan
Prior art keywords
feature
training
training image
primitives
label
Prior art date
Application number
TW110116729A
Other languages
English (en)
Inventor
馬旦 史坦曼
薛隆 艾卡彥
Original Assignee
以色列商應用材料以色列公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 以色列商應用材料以色列公司 filed Critical 以色列商應用材料以色列公司
Publication of TW202221536A publication Critical patent/TW202221536A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R31/00—Arrangements for testing electric properties; Arrangements for locating electric faults; Arrangements for electrical testing characterised by what is being tested not provided for elsewhere
    • G01R31/26—Testing of individual semiconductor devices
    • G01R31/2601—Apparatus or methods therefor
    • G01R31/2603—Apparatus or methods therefor for curve tracing of semiconductor characteristics, e.g. on oscilloscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

提供了一種生成用於訓練可用於半導體樣本檢查的深度神經網路的訓練資料的系統和方法。該方法包括：獲得分別與每個區段中選擇的一組圖元相關聯的第一訓練圖像和第一標籤，抽出表徵第一訓練圖像的特徵集合，使用第一標籤、該一組圖元的值、和與該組圖元相對應的特徵集合的每一個特徵的特徵值來訓練機器學習(ML)模型，使用訓練的ML模型來處理第一訓練圖像以獲得第一分割圖，以及決定在滿足標準時將第一訓練圖像和第一分割圖包括到DNN訓練資料中，並且在不滿足標準時重複抽出第二特徵、訓練和處理。

Description

生成可用於檢查半導體樣本的訓練資料
本文公開的主題總的來說涉及半導體樣本的檢查的領域，並且更具體地涉及可用於檢查樣本的訓練資料生成。
當前對與所製造裝置的超大規模集成相關聯的高密度和效能的需求需要亞微米特徵、增加的電晶體和電路速度、和改善的可靠性。隨著半導體製程的發展，諸如線寬的圖案尺寸和其它類型的關鍵尺寸持續收縮。這類需求需要形成具有高精度和均勻性的裝置特徵，這繼而需要仔細監控製造製程，包括在裝置仍處於半導體晶圓的形式時自動檢查所述裝置。
作為非限制性示例，執行時間檢查可以採用兩階段程式，例如，檢驗樣本，接著複查潛在缺陷的取樣位置。檢查大體上涉及藉由將光或電子引導至晶圓並偵測來自該晶圓的光或電子來產生針對樣本的某一輸出（例如，圖像、信號等等）。在第一階段期間，以高速和相對低的解析度檢驗樣本的表面。缺陷偵測通常藉由將缺件偵測演算法應用於檢驗輸出來執行。產生缺陷圖來圖示懷疑具有高缺陷概率的樣本上的位置。最經常地，檢驗的目的是提供對偵測關注缺陷的高敏感度，同時抑制對晶圓上噪擾和雜訊的偵測。在第二階段期間，以相對高的解析度更透徹地分析懷疑位置中的至少一些位置。在一些情況下，兩個階段皆可以由相同檢驗工具來實現，並且在一些其它情況下，這兩個階段由不同的檢驗工具來實現。
檢查製程可以包括複數個檢查步驟。在製造製程期間，例如，在製造或處理某些層之後等等，檢查步驟可以執行多次。另外或替代地，例如針對不同的晶圓位置或針對具有不同檢查設置的相同晶圓位置，每個檢查步驟可以重複多次。
檢查製程在半導體製造期間的各個步驟處使用來偵測和分類樣本上的缺陷、以及執行有關計量的操作。檢查的有效性可以藉由（多個）製程的自動化來提高，這些製程作為例如，缺陷偵測、自動缺陷分類(ADC)、自動缺陷複查(ADR)、圖像分割、自動的有關計量的操作等。
根據本文公開的主題的某些態樣，提供了一種生成用於訓練深度神經網路的訓練資料（DNN訓練資料）的電腦化系統，所述深度神經網路可用於檢查半導體樣本，所述系統包含被配置為進行以下操作的處理器和記憶體電路(PMC)：獲得表示半導體樣本的至少一部分的第一訓練圖像，和分別與在使用者從第一訓練圖像識別的一個或多個區段的每一個中選擇的一組圖元相關聯的第一標籤；抽出表徵第一訓練圖像的特徵集合，每個特徵具有與第一訓練圖像中的圖元相對應的特徵值，所述特徵集合包括提供在第一訓練圖像中的一個或多個區段之間的背景關係的資訊的第一特徵、和提供在第一訓練圖像中相對於每個區段中的一組圖元的統計測量值的圖元分佈的資訊的第二特徵；使用第一標籤、在與第一標籤相關聯的每個區段中選擇的一組圖元的值、以及與每個區段中的一組圖元相對應的特徵集合的每個特徵的特徵值來訓練機器學習(ML)模型，其中訓練ML模型來用於圖像分割；使用訓練的ML模型處理第一訓練圖像以獲得提供與第一訓練圖像中的相應圖元相關聯的預測標籤的資訊的第一分割圖，每個預測標籤指示相應圖元所屬於的區段；以及決定在滿足標準時將包含第一訓練圖像和第一分割圖的第一訓練取樣包括到DNN訓練資料中，並且在不滿足標準時重複抽出第二特徵、訓練和處理。
除了以上特徵之外，根據本文公開的主題的此態樣的系統可以包含以技術上可能的任何期望組合或排列的下文列出的特徵(i)至(xi)中的一或多個： (i).訓練資料可以用於訓練深度神經網路(DNN)，所述DNN用於從包含以下各項的群組中選擇的至少一個檢查製程：自動分割、自動計量、自動缺陷偵測、自動缺陷複查、和基於執行時間圖像的自動缺陷分類。 (ii).標準基於關於第一分割圖的用戶回饋，並且PMC被配置為在接收到關於第一分割圖的否定的用戶回饋時獲得與至少一個區段中的額外組圖元相關聯的額外第一標籤，第一標籤和額外第一標籤構成聚合的標籤資料，並且基於聚合的標籤資料重複抽出第二特徵、訓練和處理，直到接收到肯定的用戶回饋。 (iii).PMC被配置為在接收到關於第一分割圖的肯定的用戶回饋時將第一訓練取樣包括到訓練資料中。 (iv).PMC還被配置為獲得分別與使用者從第二訓練圖像識別的一個或多個區段的每一個中選擇的一組圖元相關聯的第二訓練圖像和第二標籤，將第二標籤添加到聚合的標籤資料，抽出表徵第二訓練圖像並且包括第一特徵和第二特徵的特徵集合，使用聚合的標籤資料、與聚合的標籤資料相關聯的圖元值、以及與聚合的標籤資料相關聯的圖元相對應的特徵集合的每個特徵的特徵值訓練ML模型，並且基於第二訓練圖像執行處理和決定。 (v).一個或多個區段中的至少一個與在第一訓練圖像中呈現的一個或多個結構元素相對應。 (vi).第一特徵包括藉由以下操作抽出的紋理特徵：用濾波器集合處理第一訓練圖像，從而產生特徵響應集合，每個特徵響應包含與第一訓練圖像的相應圖元相對應的特徵回應值，其中每個圖元與包括其特徵回應值集合的特徵向量相對應；將與第一訓練圖像中的圖元相對應的特徵向量群集化為複數個群集；根據其特徵向量所屬於的群集為每個圖元分配特徵值，從而產生包含與第一訓練圖像的圖元相對應的特徵值的特徵圖，特徵圖可分離為與相應特徵值相對應的複數個通道；以及使用取樣濾波器對特徵圖的每個通道進行取樣，從而產生具有複數個取樣通道的特徵圖。 (vii).第一特徵進一步包括藉由以下操作抽出的強度特徵：將第一訓練圖像的圖元值群集化為複數個群集，根據圖元值所屬於的群集為每個圖元分配特徵值，從而產生可分離為與相應特徵值相對應的複數個通道的特徵圖，以及使用取樣濾波器取樣特徵圖的每個通道，從而產生具有複數個取樣通道的特徵圖。 (viii).濾波器集合包含下列中的一個或多個：導數濾波器、加博（Gabor）濾波器和拉普拉斯濾波器。 (ix).第二特徵藉由以下操作抽出：針對每個區段中的一組圖元計算統計測量值，並且針對第一訓練圖像中的每個圖元，將對應特徵值計算為在圖元值與每個區段的統計測量值之間的距離，從而產生各自包含特徵值的一個或多個特徵圖，所述特徵值與在圖元值與相應區段的統計測量值之間的距離相對應。 (x).訓練圖像包含從不同視角捕獲的多個通道，並且從所述多個通道抽出特徵集合。 (xi).PMC還被配置為使用DNN訓練資料來訓練DNN，並且使用圖像的驗證集合來驗證訓練的DNN。
根據本文公開的主題的其它態樣，提供了一種用於生成訓練可用於檢查樣本的深度神經網路的訓練資料（DNN訓練資料）的方法，所述方法由處理器和記憶體電路(PMC)執行並且包含：獲得表示半導體樣本的至少一部分的第一訓練圖像，和分別與在使用者從第一訓練圖像識別的一個或多個區段的每一個中選擇的一組圖元相關聯的第一標籤；抽出表徵第一訓練圖像的特徵集合，每個特徵具有與第一訓練圖像中的圖元相對應的特徵值，所述特徵集合包括提供在第一訓練圖像中的一個或多個區段之間的背景關係的資訊的第一特徵、和提供在第一訓練圖像中相對於每個區段中的一組圖元的統計測量值的圖元分佈的資訊的第二特徵；使用第一標籤、在與第一標籤相關聯的每個區段中選擇的一組圖元的值、以及與每個區段中的一組圖元相對應的特徵集合的每個特徵的特徵值來訓練機器學習(ML)模型，其中訓練ML模型來用於圖像分割；使用訓練的ML模型處理第一訓練圖像以獲得提供與第一訓練圖像中的相應圖元相關聯的預測標籤的資訊的第一分割圖，每個預測標籤指示相應圖元所屬於的區段；以及決定在滿足標準時將包含第一訓練圖像和第一分割圖的第一訓練取樣包括到DNN訓練資料中，並且在不滿足標準時重複抽出第二特徵、訓練和處理。
所公開主題的這態樣可以包含以技術上可能的任何期望組合或排列的上文關於所述系統列出的已作必要改動的特徵(i)至(xi)中的一或多個。
根據本文公開的主題的其它態樣，提供了一種包含指令的非暫時性電腦可讀媒體，當由電腦執行時所述指令使得電腦執行用於生成可用於檢查樣本的訓練深度神經網路的訓練資料（DNN訓練資料）的方法，所述方法包含：獲得表示半導體樣本的至少一部分的第一訓練圖像，和分別與在使用者從第一訓練圖像識別的一個或多個區段的每一個中選擇的一組圖元相關聯的第一標籤；抽出表徵第一訓練圖像的特徵集合，每個特徵具有與第一訓練圖像中的圖元相對應的特徵值，所述特徵集合包括提供在第一訓練圖像中的一個或多個區段之間的背景關係的資訊的第一特徵、和提供在第一訓練圖像中相對於每個區段中的一組圖元的統計測量值的圖元分佈的資訊的第二特徵；使用第一標籤、在與第一標籤相關聯的每個區段中選擇的一組圖元的值、以及與每個區段中的一組圖元相對應的特徵集合的每個特徵的特徵值來訓練機器學習(ML)模型，其中訓練ML模型來用於圖像分割；使用訓練的ML模型處理第一訓練圖像以獲得提供與第一訓練圖像中的相應圖元相關聯的預測標籤的資訊的第一分割圖，每個預測標籤指示相應圖元所屬於的區段；以及決定在滿足標準時將包含第一訓練圖像和第一分割圖的第一訓練取樣包括到DNN訓練資料中，並且在不滿足標準時重複抽出第二特徵、訓練和處理。
所公開主題的這態樣可以包含以技術上可能的任何期望組合或排列的上文關於所述方法列出的已作必要改動的特徵(i)至(xi)中的一或多個。
在以下詳細描述中，闡述許多具體細節來提供對本公開內容的透徹理解。然而，本領域的技術人員將理解，本文公開的主題可以在沒有這些具體細節的情況下實踐。在其它示例中，未詳細描述熟知的方法、程式、部件和電路，以免混淆本文公開的主題。
除非另外具體聲明，否則如從以下論述中顯而易見地，應瞭解在本說明書全文中利用術語諸如「生成」、「訓練」、「獲得」、「抽出」、「處理」、「決定」、「重複」、「包括」、「接收」、「群集」、「分配」、「取樣」、「計算」、「使用」、「驗證」等等的論述是指將資料操縱和/或轉換為其它資料的電腦的動作和/或處理，所述資料表示為物理的，諸如電子、量值和/或所述資料表示物理物件。術語「電腦」應當被廣泛地解釋為涵蓋任何種類的具有資料處理能力的基於硬體的電子裝置，作為非限制性示例，所述電子裝置包括在本申請中公開的檢查系統、訓練資料生成系統和其相應部分。
在本說明書中使用的術語「檢查」應當被廣泛地解釋為涵蓋任何種類的有關計量的操作，以及關於在樣本製造期間對樣本中的缺陷進行偵測和/或分類的操作。檢查藉由在製造要檢查的樣本期間或之後使用非破壞性檢查工具來提供。作為非限制性示例，檢查製程可以包括使用相同或不同的檢驗工具來執行時間掃描（單次或多次掃描）、取樣、複查、測量、分類和/或關於樣本或其部分提供的其它操作。同樣，可以在製造待檢查樣本之前提供檢查，並且檢查可以包括例如生成檢查方案和/或其它設置操作。注意到，除非另外具體聲明，否則本說明書中使用的術語「檢查」或其衍生詞不限於關於檢驗區域的解析度或大小。作為非限制性示例，各種非破壞性檢查工具包括掃描電子顯微鏡、原子力顯微鏡、光學檢驗工具等。
本文使用的術語「非暫時性記憶體」和「非暫時性存儲介質」應當被廣泛地解釋為涵蓋適用於本文公開的主題的任何易失性或非易失性電腦記憶體。
本說明書中使用的術語「樣本」應當被廣泛地解釋為涵蓋用於製造半導體積體電路、磁頭、平板顯示器、和其它半導體製造的物品的任何種類的晶圓、掩模、和其它結構、其組合和/或部分。
本說明書中使用的術語「缺陷」應當被廣泛地解釋為涵蓋在樣本上或樣本內形成的任何種類的異常或不理想的特徵。
本說明書中使用的術語「設計資料」應當被廣泛地解釋為涵蓋指示樣本的分層物理設計（佈局）的任何資料。設計資料可以由相應設計者提供和/或可以從物理設計（例如，藉由複雜模擬、簡單幾何和布耳運算等）匯出。作為非限制性示例，設計資料可以不同格式提供為GDSII格式、OASIS格式等。設計資料可以向量格式、灰度強度圖像格式或其它格式呈現。
可以理解，除非另外具體聲明，否則在不同實施例的背景中描述的本文公開的主題的某些特徵也可以在單個實施例中組合提供。相反地，在單個實施例的背景中描述的本文公開的主題的各種特徵也可以分開提供或以任何合適的子組合提供。在以下詳細描述中，闡述許多具體細節以提供對方法和設備的透徹理解。
牢記這一點，關注圖1，其中示出根據本文公開的主題的某些實施例的檢查系統的功能框圖。
圖1中示出的檢查系統100可以用於檢查（例如，晶圓和/或其部分的）半導體樣本作為樣本製造製程的一部分。所示出的檢查系統100包含基於電腦的系統101，所述系統101能夠使用在樣本製造期間獲得的圖像（後文稱為製造製程(FP)圖像）來自動地決定有關計量和/或有關缺陷的資訊。根據本文公開的主題的某些實施例，系統101可以被配置為生成用於訓練可用於檢查半導體樣本的深度神經網路（DNN）的訓練資料。系統101因此在本公開內容中也被稱為訓練系統或訓練資料生成系統。系統101可以操作地連接到一個或多個檢查工具120。檢查工具120被配置為捕獲FP圖像和/或複查所捕獲的FP圖像和/或啟用或提供關於所捕獲圖像的測量。
作為示例，FP圖像可以選自在製造製程期間捕獲的樣本（例如，晶圓或其部分）的圖像、藉由各種預處理階段獲得的所捕獲圖像的衍生物（例如，由掃描電子顯微鏡(SEM)或光學檢驗系統捕獲的晶圓或光罩的一部分的圖像、大致以將由ADC分類的缺陷為中心的SEM圖像、其中將由ADR局部化缺陷的較大區域的SEM圖像、與相同掩模位置相對應的不同檢查形態的配准圖像、分割的圖像、高度映射圖像等）和電腦生成的基於設計資料的圖像。注意到，在一些情況下，圖像可以包括圖像資料（例如，捕獲的圖像、處理的圖像等）和相關聯的數位資料（例如，中繼資料、手工屬性等）。還注意到，圖像資料可以包括關於所關注層和/或樣本的一個或多個其它層的資料。
本文使用的術語「檢查工具」應當被廣泛地解釋為涵蓋可以在有關檢查的過程中使用的任何工具，包括作為非限制性示例的成像、掃描（單次或多次掃描）、取樣、複查、測量、分類和/或關於樣本或其部分提供的其它過程。一個或多個檢查工具120可以包括一個或多個檢驗工具和/或一個或多個複查工具。在一些情況下，至少一個檢查工具120可以為檢驗工具，所述檢驗工具被配置為掃描樣本（例如，整個晶圓、整個晶粒或其部分）以捕獲檢驗圖像（通常，以相對高速度和/或低解析度）來用於偵測潛在缺陷。在一些情況下，至少一個檢查工具120可以為複查工具，所述複查工具被配置為捕獲由檢驗工具偵測的至少一些缺陷的複查圖像，用於確認潛在缺陷是否真的為缺陷。這種複查工具通常被配置為一次一個地檢驗晶粒的片段（通常，以相對低速度和/或高解析度）。檢驗工具和複查工具可以是位於相同或不同位置的不同工具、或在兩種不同模式下操作的單個工具。在一些情況下，至少一個檢查工具可以具有計量能力並且可以被配置為對FP圖像執行計量測量。
在不以任何方式限制本公開內容的範圍的情況下，也應注意到，檢查工具120可以被實現為各種類型的檢驗機器，諸如光學成像機器、電子束檢驗機器等等。在一些情況下，相同的檢查工具可以提供低解析度圖像資料和高解析度圖像資料。
系統101包括處理器和記憶體電路(PMC) 102，PMC 102可操作地連接到基於硬體的I/O介面126。PMC 102被配置為如參考圖2A和圖2B進一步詳述地提供操作所述系統所必需的處理，並且包含處理器（未單獨示出）和記憶體（未單獨示出）。PMC 102的處理器可以被配置為根據電腦可讀指令執行若干功能模組，所述電腦可讀指令在PMC中包含的非暫時性電腦可讀記憶體上實現。這種功能模組在後文被稱為包含在PMC中。
根據某些實施例，PMC 102中所包含的功能模組可以包括特徵抽出器104、訓練模組106、和機器學習模型108。PMC 102可以被配置為經由I/O介面126獲得表示半導體樣本的至少一部分的第一訓練圖像、以及分別與在由使用者從第一訓練圖像識別的一個或多個區段的每一個中選擇的一組圖元相關聯的第一標籤。特徵抽出器104可以被配置為抽出表徵第一訓練圖像的特徵集合。所述集合中的每個特徵具有與第一訓練圖像中的圖元相對應的特徵值。特徵集合包括提供在第一訓練圖像中的一個或多個區段之間的背景關係的資訊的第一特徵、和提供相對於每個區段中的一組圖元的統計測量值的第一訓練圖像中的圖元分佈的資訊的第二特徵。訓練模組106可以被配置為使用第一標籤、在與第一標籤相關聯的每個區段中選擇的一組圖元的值、以及與在每個區段中選擇的一組圖元相對應的特徵集合的每個特徵的特徵值來訓練機器學習模型108。經訓練的機器學習模型108可以用於處理第一訓練圖像以獲得第一分割圖，所述第一分割圖提供與第一訓練圖像中的相應圖元相關聯的預測標籤的資訊，每個預測標籤指示相應圖元所屬於的區段。訓練模組106還可以被配置為在滿足標準時決定將包含第一訓練圖像和第一分割圖的第一訓練取樣包括到訓練資料（即，用於訓練深度神經網路(DNN)的訓練資料，本文也稱為DNN訓練資料）中，並且在不滿足標準時重複抽出第二特徵、訓練和處理。下文參考圖2A和圖2B描述訓練資料生成過程的細節。
在某些實施例中，由訓練系統101生成的DNN訓練資料可以用於訓練可用於檢查半導體樣本的DNN 110。在一些情況下，如圖1所示，DNN可以包含在系統101的PMC 102中，或者替代地可操作地連接到系統101。DNN 110可以被配置為啟用使用深度神經網路的資料處理，用於基於製造輸入資料來輸出有關應用的資料。在一個實施例中，具體應用可以是圖像分割，並且有關應用的輸出可以是與輸入的FP圖像相對應的分割圖。系統101、PMC 102和其中的功能模組的操作將參考圖2A和圖2B進一步詳述。
DNN 110可以包含監督或非監督的DNN模型，所述監督或非監督的DNN模型包括根據相應DNN架構組織的層。作為非限制性示例，DNN的層可以根據卷積神經網路（CNN）架構、迴圈神經網路架構、遞迴神經網路架構、生成對抗網路（GAN）架構或其它來組織。可選地，至少一些層可以被組織成複數個DNN子網路。DNN的每一層可以包括多個基本計算元件（CE），在本領域中通常稱為維度、神經元、或節點。
通常，給定層的計算元件可以與前一層和/或後一層的CE連接。前一層的CE與後一層的CE之間的每個連接與加權值相關聯。給定CE可以經由相應連接從前一層的CE接收輸入，每個給定連接與可以應用於給定連接的輸入的加權值相關聯。加權值可以決定連接的相對強度並且因此決定相應輸入對給定CE的輸出的相對影響。給定CE可以被配置為計算啟動值（例如，輸入的加權和）並且藉由將啟動函數應用於所計算的啟動來進一步匯出輸出。例如，啟動函數可以是恆等函數、決定性函數（例如，線性、S形、閾值等等）、隨機函數、或其它合適的函數。來自給定CE的輸出可以經由相應連接被發送到後一層的CE。同樣，如上所述，CE的輸出處的每個連接可以與加權值相關聯，所述加權值可以在作為後一層的CE的輸入被接收之前應用於CE的輸出。進一步地，對於加權值，可以存在與連接和CE相關聯的閾值（包括極限函數）。
深度神經網路的加權值和/或閾值可以在訓練之前被初始選擇，並且可以在訓練期間被進一步反覆運算地調整或修改，以在訓練的DNN中實現最優的加權值和/或閾值集合。每次反覆運算後，可以決定在DNN模組產生的實際輸出和與相應的資料訓練集合相關聯的目標輸出之間的差值。所述差值可以被稱為誤差值。當指示誤差值的損失/成本函數小於預定值時，或者當實現反覆運算之間效能的有限改變時，可以決定訓練完成。
用於調整深度神經網路的權重/閾值的DNN輸入資料的集合在下文中被稱為DNN訓練資料。如先前提及地，系統101被配置為生成可用於訓練DNN的這樣一種DNN訓練資料。
注意到，本文公開的主題的教示不受如上文描述的DNN的特定架構限制。
在一些實施例中，DNN可以是被配置為對FP圖像執行圖像分割的分割DNN。在一些情況下，除DNN 110之外，檢查系統100還可以包含一個或多個檢查模組，諸如，例如，缺陷偵測模組和/或自動缺陷複查模組（ADR）和/或自動缺陷分類別模組（ADC）和/或有關計量的模組和/或可用於檢查半導體樣本的其它檢查模組。一個或多個檢查模組可以被實現為獨立的電腦，或者它們的功能（或至少其一部分）可以與檢查工具120集成。在一些情況下，DNN 110可以包含在一個或多個檢查模組中。可選地，DNN 110可以在檢查模組之間共用，或者替代地，一個或多個檢查模組中的每一個可以包含其自己的DNN 110。
根據某些實施例，系統101可以包含存儲單元122。存儲單元122可以被配置為存儲用於作業系統101所必需的任何資料，例如，關於系統101的輸入和輸出的資料，以及由系統101生成的中間處理結果。作為示例，存儲單元122可以被配置為存儲由檢查工具120產生的圖像和/或其衍生物。由此，一個或多個圖像可以從存儲單元122檢索到並且被提供給PMC 102用於進一步處理。
在一些實施例中，系統101可以可選地包含基於電腦的圖形使用者介面(GUI) 124，所述圖形使用者介面被配置為實現關於系統101的使用者指定的輸入。例如，可以為使用者呈現樣本的直觀表示（例如，藉由形成GUI 124的部分的顯示器），包括樣本的圖像資料。可以藉由GUI為使用者提供定義某些指令引數的選項。例如，使用者可以藉由對圖像進行手動注釋來提供標籤資料。用戶也可以觀察GUI上的操作結果，諸如例如，分割圖。
如將參考圖2A和圖2B進一步詳述地，系統101被配置為經由I/O介面126接收FP輸入資料。FP輸入資料可以包括由檢查工具120產生的資料（和/或該資料的衍生物和/或與該資料相關聯的中繼資料）和/或在一個或多個資料倉庫中存儲的資料。注意到，在一些情況下，FP輸入資料可以包括圖像資料（例如，捕獲圖像、從捕獲圖像匯出的圖像、類比圖像、合成圖像等）和相關聯的數位資料（例如，中繼資料、手工屬性等）。還注意到，圖像資料可以包括關於所關注層和/或樣本的一個或多個其它層的資料。在本公開內容的一些實施例中，出於訓練目的，FP輸入資料可以包括一個或多個訓練圖像，以生成可用於訓練DNN的訓練資料。
系統101還被配置為處理所接收的FP輸入資料，並且經由I/O介面126將結果（或其部分）發送到存儲單元122、和/或DNN 110、和/或GUI 124（用於呈現結果）。
本領域的熟練技術人員將容易理解，本文公開的主題的教示不限於圖1所示的系統；等效和/或修改的功能可以另一方式合併或分開，並且可以軟體與固件和/或硬體的任何適當組合來實現。
注意到，圖1所示的檢查系統可以在分散式運算環境中實現，其中先前提及的圖1所示的功能模組可以分佈在幾個本端和/或遠端裝置上，並且可以藉由通信網路連接起來。還注意到，在其它實施例中，檢查工具120、存儲單元122和/或GUI 124中的至少一些可以在檢查系統100外部並且經由I/O介面126與系統101資料通信地操作。系統101可以實現為與檢查工具配合使用的獨立式電腦。替代地，系統101的相應功能可以至少部分與一個或多個檢查工具120集成，從而在有關檢查的過程中促進並增強檢查工具120的功能。
僅出於說明的目的，提供以下描述以用於生成DNN訓練資料，所述DNN訓練資料用於訓練可用於檢查半導體樣本的DNN。本領域的技術人員將容易理解，本文公開的主題的教示可應用於各種類型的機器學習模型並且可應用於各種檢查（諸如，例如，分割、缺陷偵測、ADR、ADC、自動導航模組、有關計量的模組等等）。
參見圖2A，圖2A示出根據本文公開的主題的某些實施例的生成訓練資料的一般化流程圖，所述訓練資料用於訓練可用於檢查半導體樣本的DNN。
根據某些實施例，用於訓練DNN的訓練資料（也稱為DNN訓練資料）可以包括複數個訓練取樣，每個訓練取樣包括相應的訓練圖像和與其相關聯的對應地面真實資料。地面真實資料可以包括指示特定應用資訊的標籤資料。作為示例，對於圖像分割的應用，每個訓練取樣可以包括半導體樣本的訓練圖像和指示訓練圖像中的一個或多個區段的標籤資料。
訓練圖像可以是在半導體樣本的製造過程中獲得的半導體樣本的「真實世界」圖像（例如，如上所述的FP圖像）。作為非限制性示例，所述圖像可以是藉由使用用於偵測潛在缺陷的一個或多個檢驗工具（通常以相對高的速度和/或相對低的解析度）檢查樣本而獲得的檢驗圖像。這種檢驗工具可以是例如光學檢驗系統、低解析度SEM等。替代地，所述圖像可以是藉由使用一個或多個複查工具（通常以相對低的速度和/或相對高的解析度）在潛在缺陷位置的子集處檢查樣本而獲得的複查圖像，用於確認由檢驗工具偵測到的潛在缺陷是否真的是缺陷。例如，這種複查工具可以是掃描電子顯微鏡（SEM）等。
可以各種方式獲得地面真實資料。作為示例，地面真實資料可以藉由人工注釋產生、合成地產生（例如，基於CAD的圖像）、藉由機器學習注釋生成（例如，基於特徵抽出和分析的標籤）、或上述的組合等。
根據某些實施例，針對半導體樣本圖像（例如，FP圖像）上的圖像分割的特定應用來訓練DNN。本文使用的術語「分割」可以指將圖像劃分成有意義的部分/區段（例如，背景和前景、有雜訊和無雜訊區域、結構元素、缺陷和無缺陷等）同時提供指示這些區段的每圖元或每區域值的任何過程。根據當前公開的主題生成的DNN訓練資料用於訓練可用於FP圖像分割的DNN。
作為示例，訓練圖像可以是SEM圖像或其衍生物，並且標籤資料可以是與SEM圖像相對應的分割圖（也稱為分割掩模）。分割圖提供與訓練圖像中的對應圖元相關聯的預測標籤的資訊。每個預測標籤指示圖像中相應圖元所屬於的區段。
分割圖傳統上由使用者在整個訓練圖像上手動注釋而生成。考慮到圖像的大小和解析度，手動注釋過程非常耗時，並且注釋的結果有時不準確且易出錯。這不是使用者所期望的，因為標籤資料的品質直接影響訓練過程和訓練的DNN的效能。因此，如下文參考圖2A和圖2B所描述地，本公開內容提出了一種更有效的自動生成可用於訓練DNN的準確標籤資料的方式。
根據某些實施例，表示半導體樣本的至少一部分的第一訓練圖像可以與分別與在由使用者從第一訓練圖像識別的一個或多個區段的每一個中選擇的一組圖元相關聯的第一標籤一起獲得（202）（例如，藉由PMC 102經由I/O介面126獲得）。在一些情況下，一個或多個區段中的至少一個與在第一訓練圖像中呈現的一個或多個結構元素相對應。
現在轉向圖5，其中示出了根據本文公開的主題的某些實施例的訓練圖像的示例。將訓練圖像502例示為由SEM複查工具捕獲並且表示晶圓的晶粒的一部分的SEM圖像。如圖所示，在圖像中存在複數個結構元素504（示出為多邊形，用於表示晶圓上的接觸的元件）。本文使用的結構元素可以指圖像資料上的任何原始物件，所述原始物件具有在一些情況下與其它物件組合的幾何形狀或具有輪廓的幾何結構。例如，結構元素可以多邊形的形式呈現。
在一些實施例中，訓練圖像可以包含從不同視角捕獲的多個通道。例如，在圖5的示例中，502可以表示由檢查工具的頂部偵測器從垂直視角拍攝的圖像的一個通道，而506可以表示由檢查工具的側面偵測器從側面視角拍攝的圖像的另一通道。在一些情況下，可以存在來自不同角度的多於一個的側面偵測器，且因此訓練圖像可以包含多個側通道圖像506。在一些情況下，多個側通道圖像可以被組合成一個組合的側通道圖像。
為了節省使用者對於整個圖像的完全注釋所要耗費的精力，可以由使用者提供與訓練圖像相關聯的部分標籤資料。作為示例，用戶可以決定他/她期望在分割圖中識別的一個或多個區段、從每個區段中選擇一組圖元、並且注釋所述一組圖元以指示它們所屬於的區段。圖6示出根據本文公開的主題的某些實施例的訓練圖像上的部分使用者注釋的示例。
在圖6中例示了訓練圖像602。訓練圖像602捕獲與圖5中的訓練圖像502和506相同的晶圓位置，並且包含共用相同設計圖案的複數個結構元素。這種結構元素也稱為等效結構元素。作為示例，使用者可以決定結構元素可以屬於一個區段，而背景屬於另一個區段。由此，用戶可以從任一區段中選擇少許圖元並且將它們標記為指示相應區段。作為示例，如圖6中的圓圈區域604所示（在右側示出了604的放大視圖），結構元素內的一組圖元606由使用者用特定的灰度值標記，所述灰度值指示它們屬於表示結構元素的一個區段，並且背景中的另一組圖元608由使用者用另一灰度值標記，所述另一灰度值指示它們屬於表示背景區域的另一區段。如下文關於框206描述地，在每個區段中選擇的圖元上的使用者注釋可以被用作用於訓練機器學習模型的部分標籤資料。
將注意到，使用者可以在訓練圖像中決定他/她想要包括在分割圖中的不同類型的分割。作為示例，在一些情況下，訓練圖像可以包括多於一個的等效結構元素族。使用者可以決定每一族等效結構元素屬於相應的區段，或者替代地，他/她可以決定所有結構元素屬於一個區段，而背景屬於不同的區段。作為另一個示例，使用者可以根據圖像中的灰度變化來決定區段。例如，由於特定的結構輪廓，在一個結構元素內可以存在灰度對比，並且使用者可以決定在每個結構元素內具有與灰度間距相對應的兩個區段。本公開內容不受分割的具體方式和訓練圖像上的區段數量的限制。
繼續圖2A的描述，可以抽出（204）表徵第一訓練圖像的特徵集合（例如，藉由特徵抽出器104）。每個特徵具有與第一訓練圖像中的圖元相對應的特徵值。特徵集合可以包括指示第一訓練圖像中的背景資訊或表示的第一特徵。例如，第一特徵可以提供第一訓練圖像中的一個或多個區段之間的背景關係/關聯的資訊。特徵集合還可以包括第二特徵，所述第二特徵提供相對於每個區段中的一組圖元的統計測量值的第一訓練圖像中的圖元分佈的資訊。
第一特徵在本文中也被稱為背景特徵。術語「背景特徵」應被廣泛地解釋為表示圖像中的特定專案/元素（諸如，例如，圖元、結構元素或區段等）的背景（例如，可能具有不同範圍的周圍區域）、和/或圖像中的這種元素或區段之間的全域背景關係。在元素或區段之間，背景關係可以體現在相對紋理、空間佈局、強度等方面。例如，結構元素內的圖元與它們周圍的圖元（環繞但仍在結構元素內）共用相似的紋理，而結構元素外的圖元的紋理與結構元素內的圖元有很大不同，這指示結構元素內的圖元和結構元素外的圖元可以屬於不同的區段。在一些實施例中，第一特徵可以包括紋理特徵。在一些情況下，第一特徵還可以包括強度特徵。
紋理特徵可以用於表示圖像的感知紋理。例如，這種特徵可以表示表徵圖像中的不同元素或區段的結構或圖案的空間佈置。現在轉向圖3A，其中示出根據本文公開的主題的某些實施例的從第一訓練圖像抽出紋理特徵的一般化流程圖。
第一訓練圖像可以用濾波器集合（也稱為濾波器組）來處理（302），從而產生與濾波器集合相對應的特徵響應集合。每個特徵回應包含與第一訓練圖像的相應圖元相對應的特徵回應值。每個圖元與包括特徵回應值集合的特徵向量相對應。可以將與圖像中的圖元相對應的特徵向量群集化（304）成複數個群集。可以根據其特徵向量所屬於的群集為每個圖元分配（306）特徵值，從而產生包含與第一訓練圖像的圖元相對應的特徵值的特徵圖。特徵圖可分離為與相應特徵值相對應的複數個通道。可以使用取樣濾波器對特徵圖的每個通道進行取樣（308），從而產生具有複數個取樣通道的特徵圖。
在一些實施例中，紋理特徵可以實現為紋理基元(texton)特徵。術語「紋理基元」一般指圖像中的基本微結構。紋理基元可以為物件/元素的不同外觀的範圍提供緊湊表示，並且可以有效地對紋理以及通用物件類進行分類。
作為示例，可以將第一訓練圖像與濾波器集合（例如，多維濾波器組）進行卷積，從而產生針對訓練圖像中的所有圖元的多維特徵回應。可以選擇濾波器集合來抽出表示半導體圖像的特徵。例如，濾波器集合可以包括各種濾波器族，諸如，例如，導數濾波器、加博（Gabor）濾波器和拉普拉斯濾波器。導數濾波器可以提供圖像中存在的圖元亮度資訊的變化率的定量測量。藉由與圖像的卷積，導數濾波器可以產生不同方向和比例的導數，這取決於內核的選擇。所得到的關於亮度變化率的資訊可以用於增強對比度、偵測邊緣和邊界、以及測量特徵取向。Gabor濾波器是線性濾波器，它分析圖像中在所關注點或區域周圍的局部區域中的特定方向上是否存在任何特定頻率內容。Gabor濾波器的頻率和取向表示類似於人類視覺系統的頻率和取向表示。具有不同頻率和取向的Gabor濾波器集合可以用於從第一訓練圖像中抽出表示紋理的特徵。拉普拉斯濾波器也稱為高斯拉普拉斯（LoG）濾波器。它是對圖像的第二空間導數的測量。圖像的拉普拉斯突出了強度變化快的區域，並且可以用於邊緣偵測。例如，在圖像具有恆定強度的區域中（即，強度梯度為零的區域中），LoG回應將為零。然而，在強度變化附近，LoG回應將在較暗側上為正，而在較亮側上為負。
在本公開內容的一些實施例中，可以組合使用三族濾波器，並且本公開內容證明，在抽出表示半導體圖像中的結構的紋理和佈局的特徵時，組合的濾波器集合是更可靠的，所述半導體圖像通常是訊雜比（SNR）和對比雜訊比（CNR）差的有雜訊圖像。然而，這絕不是以任何方式限制本公開內容。除上述內容之外或代替上述內容，還可以使用其它濾波器族/類型或具有類似功能的濾波器。具體來說，將注意到，如上所述的每一族中的特定濾波器是出於示例性目的而示出的。除上述內容之外或代替上述內容，還可以使用所述族中的其它合適的濾波器。本公開內容不受濾波器的特定類型和每個族中使用的濾波器的數量的限制。
作為示例，假設訓練圖像的維度為M*N，並且濾波器集合包括F個濾波器，即F維濾波器組，將例如以維度為M*N*F的特徵矩陣的形式生成多維特徵回應。也就是說，針對訓練圖像中的每個圖元，存在形成與圖元相對應的特徵向量的F個特徵回應。多維特徵回應（即M*N*F的特徵矩陣）可以被視作包含與M*N個圖元相對應的M*N個特徵向量。
一旦獲得了針對訓練圖像中的所有圖元的多維特徵回應，就可以對多維特徵回應執行群集化（例如，非監督群集化）。作為示例，可以對M*N個特徵向量執行歐幾裡得(Euclidean)距離K-均值群集化演算法，從而產生特徵向量的複數個群集（例如，K個群集）。將訓練圖像中的每個圖元群集化為K個群集中的一個群集，並且為訓練圖像中的每個圖元分配與群集編號相對應的特徵值，從而產生包含與第一訓練圖像的圖元相對應的特徵值的特徵圖（例如，紋理基元圖）。紋理基元圖T包含特徵值，其中針對每個圖元i，對應的特徵值Ti∈{1，…，K}。特徵圖（例如，紋理基元圖）可以被分成與相應的特徵值相對應的K個通道（例如，每個紋理基元一個通道），其中對於每個通道，可以匯出獨立的通道圖（例如，積分圖），這類似於針對每個紋理基元具有一個二進位檔案的長條圖。獨立出來的通道圖的維度為M*N*K。
例如，可以藉由使用取樣濾波器對每個通道執行取樣。例如，K個通道圖可以分別與取樣濾波器卷積，從而產生所取樣的通道圖。作為示例，取樣濾波器可以使用求平均、高斯、或其它種類的取樣方法來實現。當與通道圖卷積時，它可以在所取樣的通道圖中的得到的卷積值中有效地反映每個圖元的背景情況（例如，每個圖元的周圍區域），從而增加對所取樣圖的靈敏度。K個所取樣的通道圖（例如，以M*N*K的維度中的特徵矩陣的形式）可以用作與第一訓練圖像相對應的紋理特徵。
根據某些實施例，除了紋理特徵之外，第一特徵還可以包括強度特徵。強度特徵可以表示表徵圖像中不同元素或區段的圖元強度的空間佈置。在一些實施例中，強度特徵也可以實現為紋理基元特徵。作為示例，可以對第一訓練圖像的圖元值執行如上所述的群集化。類似地，訓練圖像中的每個圖元被群集化成複數個群集中的一個，並且訓練圖像中的每個圖元可以被分配有與圖元值所屬於的群集相對應的特徵值，從而產生可以被分離成複數個通道的特徵圖。可以例如藉由使用取樣濾波器對每個通道進行取樣，並且可以將所取樣的通道圖用作與第一訓練圖像相對應的強度特徵。
現在轉向圖7，其中示出根據本文公開的主題的某些實施例的紋理特徵的示例和強度特徵的示例。如圖所示，特徵圖702是從第一訓練圖像502中抽出的紋理特徵，並且特徵圖704是從同一圖像中抽出的強度特徵。
除了第一特徵之外，特徵集合還可以包括第二特徵，所述第二特徵提供相對於每個區段中的一組圖元的統計測量值的第一訓練圖像中的圖元分佈的資訊。第二特徵也稱為統計特徵。本文提到的統計特徵可以表示根據圖元的統計重要性的定量測量，所述定量測量指示圖元屬於特定區段的可能性。參見圖3B，其中示出根據本文公開的主題的某些實施例的從第一訓練圖像中抽出統計特徵的一般化流程圖。
可以針對每個區段中選擇的一組圖元計算（312）統計測量值。作為示例，統計測量值可以是基於每個區段中的一組圖元的值計算的平均值。作為另一示例，可以基於平均值和標準差（STD）來計算統計測量值，STD測量一組圖元的值相對於平均值的變化量或差量。針對第一訓練圖像中的每個圖元，可以計算對應的特徵值（314）作為圖元的值與每個區段的統計測量值之間的距離，從而產生各自包含特徵值的一個或多個特徵圖，所述特徵值與在圖元值與相應區段的統計測量值之間的距離相對應。例如，在圖6的示例中，可以分別針對表示結構元素的區段中的那組圖元606和表示背景區域的其它區段中的那組圖元608計算統計測量值。可以針對第一訓練圖像生成兩個特徵圖，第一個特徵圖包含圖像602中的每個圖元值與針對606計算的統計測量值之間的距離值，並且第二個特徵圖包含圖像602中的每個圖元值與針對608計算的統計測量值之間的距離值。以這種方式生成的特徵圖因此指示圖像中相對於針對每個區段計算的統計測量值的圖元值分佈/方差（基於使用者所標記的那組圖元），這指示圖元屬於特定區段的可能性。
繼續圖2A的描述，一旦如參考框202所描述的那樣獲得第一訓練圖像和第一標籤並且如參考框204所描述的那樣獲得特徵集合，可以（例如，由訓練模組106）使用第一標籤、與第一標籤相關聯的每個區段中選擇的一組圖元的值、以及與每個區段中的一組圖元相對應的特徵集合的每個特徵的特徵值來訓練機器學習（ML）模型（206）。ML模型被訓練用於圖像分割。
在一些實施例中，ML模型可以實現為分類器。本文提到的術語「分類器」、「分類器模型」或「分類模型」應當被廣泛地解釋為涵蓋能夠基於訓練資料集識別新實例屬於類別/類的集合中的哪一個的任何學習模型。作為示例，在本公開內容中，可以訓練分類器以將圖元候選分類到由使用者定義的區段類集合中。例如，在圖6的示例中，基於訓練集來訓練分類器，所述訓練集包括：指示兩個區段的第一標籤（例如，表示一個區段的所述一組圖元606上的使用者注釋，以及表示另一區段的所述一組圖元608上的使用者注釋）、第一訓練圖像中的所述一組圖元606和所述一組圖元608的圖元值、以及與所述一組圖元606和所述一組圖元608相對應的特徵值（在特徵集合的每個特徵中）。例如，假設特徵集合包括如在702中例示的紋理特徵、如在704中例示的強度特徵、以及如上文參考圖3B描述的統計特徵，與所選擇的所述一組圖元606和所述一組圖元608相對應的三個特徵（以特徵圖或特徵矩陣的形式）的每一個中的特徵值用作訓練集的一部分。
經訓練的分類器可以用於圖像分割，即，用於為圖像中的每個圖元提供指示其所屬於的區段的預測標籤。將注意到，分類器可以被實現為各種類型的機器學習模型，諸如，例如，線性分類器、支援向量機（SVM）、神經網路、決策樹等，並且本公開內容不限於用這些實現的特定模型。
可以使用經訓練的ML模型來處理（208）第一訓練圖像，以獲得提供與第一訓練圖像中的相應圖元相關聯的預測標籤的資訊的第一分割圖。每個預測標籤指示相應圖元所屬於的區段。根據某些實施例，經訓練的ML模型（例如，分類器）可以用於處理第一訓練圖像中的至少剩餘圖元（例如，排除在每個區段中選擇並且用於訓練分類器的那組圖元）。分類器的輸出是分割圖（也稱為分割掩模），所述分割圖與訓練圖像大小相同，並且含有圖像中的對應圖元的預測標籤。
決定（210）（例如，藉由訓練模組106）在滿足標準時將包含第一訓練圖像和第一分割圖的第一訓練取樣包括到DNN訓練資料中，並且在不滿足標準時重複抽出第二特徵、訓練和處理。換句話說，如上所述，可以基於標準來決定是將第一訓練取樣包括在DNN訓練資料中還是重複處理。在一些實施例中，所述標準可以涉及例如由用戶在第一分割圖上的回饋。作為示例，所述標準可以基於用戶回饋。例如，所述標準可以是關於第一分割圖的肯定的用戶回饋，例如，第一分割圖具有令人滿意的品質。因此，一旦接收到關於第一分割圖的肯定的用戶回饋，可以將第一訓練取樣包括到DNN訓練資料中。
而一旦接收到關於第一分割圖的否定的用戶回饋，例如，第一分割圖的品質不令人滿意，這意味著當前訓練的ML模型還沒有學會如使用者所預期那樣好地來對第一訓練圖像進行分割，因此需要重複上文參考圖2A描述的操作的至少一部分。圖8示出根據本文公開的主題的某些實施例的具有否定的用戶回饋的分割圖的示例。
生成與圖5和圖6中例示的訓練圖像相對應的分割圖800。在本示例中，分割圖被例示為表示兩個區段的二進位圖，第一區段與圖像中的結構元素（示出為表示接觸元素的白色圓圈）相對應，並且第二區段與背景區域（示出為黑色區域）相對應。如圖所示，針對作為沿著圖像邊界的邊緣背景區域的區域802，應當將其標記為黑色，但是卻錯誤地將其標記為了白色。因此區域802被錯誤地預測為屬於結構元素的第一區段。針對區域804，在兩個結構元素之間的背景區域被錯誤地預測為屬於第一區段（在圖中圖示為彼此連接的兩個元素，因此其間缺失背景區域）的情況下發生了類似的錯誤。根據使用者的複查，這種分割圖由於錯誤分割的區域而不令人滿意。因此，分類器需要被重新訓練，直到其生成具有令人滿意的品質的輸出分割圖。將注意到，在一些情況下，分割圖的令人滿意的品質可以根據品質條件來決定。例如，所述品質條件可以是具有正確分割的圖元的百分比的範圍或閾值。
現在轉向圖2B，其中示出根據本文公開的主題的某些實施例的在接收到關於第一分割圖的否定的用戶回饋時的DNN訓練資料生成的繼續下去的過程的一般化流程圖。
具體地，可以從用戶獲得（212）與至少一個區段中的額外組圖元相關聯的額外的第一標籤。在這種情況下，額外的第一標籤可以作為標籤資料的一部分與使用者先前提供的第一標籤一起添加。第一標籤和額外的第一標籤構成聚合的標籤資料。參見圖9A，其中示出根據本文公開的主題的某些實施例的由用戶提供的額外第一標籤的示例。
如圖9A中的第一訓練圖像602所示，除了原始第一標籤（如圓圈區域604所示）之外，額外組圖元（如圓圈區域902和904所示）由使用者用指示這些圖元所屬於的預期區段的標籤來標記。例如，使用者可以特別標記第一分割圖中存在錯誤分割的區域（例如，在區域802和804中）。用戶可以選擇在一個區段中或者在兩個區段中標記額外圖元。例如，在902中，使用者在結構元素和背景中都標記了圖元，而在904中，使用者僅在背景中標記了圖元。因此，在額外標記之後，聚合的標籤資料包括為區域604、902和904中的那些組的圖元標記的標籤。
一旦獲得聚合的標籤資料，可以基於聚合的標籤資料重複抽出第二特徵、訓練和處理，直到滿足標準，例如，接收到肯定的用戶回饋。具體地，由於標籤資料已經更新，因此基於與標籤相關聯的每個區段中的那組圖元計算的第二特徵（即，統計特徵）也應該基於聚合的標籤資料來更新（214）。例如，可以使用基於所述那組圖元和額外組圖元的圖元值計算的統計測量值來重新抽出第二特徵。
可以使用聚合的標籤、與聚合的標籤資料相關聯的圖元值、以及與聚合的標籤資料相關聯的圖元相對應的特徵集合的每個特徵的特徵值來重新訓練（216）分類器。可以使用重新訓練的分類器再次處理（218）第一訓練圖像以獲得更新的第一分割圖。隨後可以基於用戶對更新的第一分割圖的回饋來決定（220）是否重複上述過程（參考框212-218的操作），或者將更新的第一分割圖和第一訓練圖像作為第一訓練取樣包括在DNN訓練資料中。
參見圖9B，其中示出根據本文公開的主題的某些實施例的具有肯定的用戶回饋的更新的分割圖的示例。
一旦獲得如圖9A所示的額外的第一標籤，根據參考圖2B描述的操作生成分割圖900。所述分割圖900是如圖8所示的第一分割圖800的更新的分割圖。如圖所示，與分割圖800相反，更新的分割圖900提供兩個區段的令人滿意的分割結果。借助於由用戶提供的額外第一標籤和分類器的重新訓練，固定先前誤分割的區域802和804中的分割。更新的分割圖與對應的訓練圖像一起作為訓練取樣包含在DNN訓練資料中。
根據某些實施例，可以對一個或多個訓練圖像重複如圖2A和圖2B所示的過程，以便生成一個或多個分割圖，所述分割圖可以與訓練圖像一起包括在DNN訓練資料中。作為示例，可以與分別與在由使用者從第二訓練圖像識別的一個或多個區段的每一個中選擇的一組圖元相關聯的第二標籤一起，獲得第二訓練圖像。將第二標籤添加到聚合的標籤數據。可以抽出表徵第二訓練圖像的特徵集合，所述特徵集合包括第一特徵和第二特徵。可以使用聚合的標籤資料、與聚合的標籤資料相關聯的圖元值、以及與聚合的標籤資料相關聯的圖元相對應的特徵集合的每個特徵的特徵值來訓練機器學習模型。可以基於第二訓練圖像來執行如上文參考框208和210描述的處理和決定。
現在轉向圖4，其中示出根據本文公開的主題的某些實施例的使用所生成的DNN訓練資料來訓練DNN的一般化流程圖。
根據某些實施例，針對半導體樣本圖像（例如，FP圖像）上的圖像分割的特定應用訓練DNN。作為示例，這種分割可以由計量工具用於對樣本執行測量。作為另一示例，所述分割還可以在構造屬性（例如，用於定義缺陷是在主圖案上、在背景上、還是兩者都有）時用於ADC、用於在每個區段上應用區段特定偵測閾值的ADR等。
所述過程包含DNN的分割特定訓練的設置階段410和使用訓練的DNN進行圖像分割的執行時間階段420。
在設置410期間，可以獲得（412）根據圖2A和圖2B的描述生成的DNN訓練資料。DNN訓練資料包含一個或多個訓練取樣，每個訓練取樣包括訓練圖像和對應的分割圖。可以使用DNN訓練資料對DNN進行訓練（414），從而獲得以有關分割的訓練參數為特徵的經訓練的DNN。在一些實施例中，訓練過程可以是迴圈的，並且可以重複數次直到DNN被充分訓練。作為示例，可以使用有關分割準確度（例如，正確分割標籤圖對比預測標籤圖）的成本函數來訓練DNN。可以使用圖像的驗證集合來驗證（416）經訓練的DNN。圖像的驗證集合可以是與訓練圖像集合不同的圖像集合，並且可以包含出於驗證目的而選擇的FP圖像。用戶可以在驗證期間為DNN達到的結果提供回饋。
在執行時間420期間，PMC使用經訓練的DNN來處理（422）包含要分割的一個或多個捕獲的FP圖像的一個或多個執行時間圖像，以便為每個圖像提供（424）分割圖。所述一個或多個FP圖像可以藉由相同或不同的檢查模態獲得。所獲得的分割圖可以提供指示圖像上的不同區段的每圖元或每區域分割標籤的資訊。作為示例，一層上的多邊形可以具有一個分割標籤，且另一層上的多邊形可以具有不同的分割標籤，而背景可以具有單獨的分割標籤。
與耗時且易出錯的對整個訓練圖像的傳統手工注釋相比，如本文描述的訓練資料生成過程的某些實施例的優點之一在於它提供了生成可用於訓練DNN的準確地面真實資料的自動手段。至少藉由抽出適合於分割的有意義的特徵以及基於使用者部分注釋和回饋的ML模型的互動式訓練來實現這種過程的自動化。
如本文所述的訓練資料生成過程的某些實施例的進一步優點之一在於，藉由抽出並且使用表徵訓練圖像的背景特徵和統計特徵，本公開內容設法在紋理、佈局、背景、和統計意義等方面提供半導體圖像的可靠表示，因此能夠使用代表性特徵來訓練ML模型，並且以有效的方式生成具有令人滿意結果的分割圖。
將注意到，所示出的示例僅出於說明的目的在本文描述，並且不應被視為以任何方式限制本公開內容。除上述內容之外或代替上述內容，可以使用其它合適的示例。
將理解，本公開內容不限於應用到在本文含有的描述中闡述或在附圖中示出的細節。
也將理解，根據本公開內容的系統可以至少部分地在合適程式設計的電腦上實現。同樣，本公開內容預期可由電腦讀取的電腦程式用於執行本公開內容的方法。本公開內容進一步預期一種有形地體現指令程式的非暫時性電腦可讀記憶體，所述指令可由電腦執行用於執行本公開內容的方法。
本公開內容能夠具有其它實施例並且以各種方式實踐和執行。因此，將理解，本文採用的措辭和術語是出於描述的目的並且不應當被認為是限制性的。因此，本領域的技術人員將理解，本公開內容所基於的概念可以容易地用作設計用於實現本文公開的主題的若干目的的其他結構、方法、和系統的基礎。
本領域的技術人員將容易理解，在不脫離隨附申請專利範圍中並由隨附申請專利範圍定義的本公開內容的範圍的情況下，各種修改和改變可以應用到如上文描述的本公開內容的實施例。
100:檢查系統 101:系統 102:處理器和記憶體電路 104:特徵抽出器 106:訓練模組 108:機器學習模型 110:DNN 120:檢查工具 122:存儲單元 124:圖形使用者介面 126:I/O介面 202:操作 204:操作 206:操作 208:操作 210:操作 212:操作 214:操作 216:操作 218:操作 220:操作 302:操作 304:操作 306:操作 308:操作 312:操作 314:操作 410:設置階段 412:操作 414:操作 416:操作 420:執行時間 422:操作 424:操作 502:訓練圖像 504:結構元素 506:側通道圖像 602:訓練圖像 604:圓圈區域 606:圖元 608:圖元 702:特徵圖 704:特徵圖 800:分割圖 802:區域 804:區域 900:分割圖 902:圓圈區域 904:圓圈區域
為了理解本公開內容並且瞭解本公開內容如何在實踐中執行，現將參考附圖來描述僅作為非限制性示例的實施例，在附圖中：
圖1示出根據本文公開的主題的某些實施例的檢查系統的一般化框圖。
圖2A示出根據本文公開的主題的某些實施例的生成訓練資料的一般化流程圖，所述訓練資料用於訓練可用於檢查半導體樣本的DNN。
圖2B示出根據本文公開的主題的某些實施例的在接收到關於第一分割圖的否定的用戶回饋時的DNN訓練資料生成的連續過程的一般化流程圖。
圖3A示出根據本文公開的主題的某些實施例的從第一訓練圖像中抽出紋理特徵的一般化流程圖。
圖3B示出根據本文公開的主題的某些實施例的從第一訓練圖像中抽出統計特徵的一般化流程圖。
圖4示出根據本文公開的主題的某些實施例的使用所生成的DNN訓練資料來訓練DNN的一般化流程圖。
圖5示出根據本文公開的主題的某些實施例的訓練圖像的示例。
圖6示出根據本文公開的主題的某些實施例的訓練圖像上的部分使用者注釋的示例。
圖7示出根據本文公開的主題的某些實施例的紋理特徵的示例和強度特徵的示例。
圖8示出根據本文公開的主題的某些實施例的具有否定的用戶回饋的分割圖的示例。
圖9A示出根據本文公開的主題的某些實施例的由用戶提供的額外第一標籤的示例。
圖9B示出根據本文公開的主題的某些實施例的具有肯定的用戶回饋的更新的分割圖的示例。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
100:檢查系統
101:系統
102:處理器和記憶體電路
104:特徵抽出器
106:訓練模組
108:機器學習模型
110:DNN
120:檢查工具
122:存儲單元
124:圖形使用者介面
126:I/O介面

Claims (20)

  1. 一種生成用於訓練可用於一半導體樣本檢查的一深度神經網路的訓練資料(DNN訓練資料)的電腦化系統，該系統包含被配置為進行以下操作的處理器和記憶體電路(PMC)： 獲得表示該半導體樣本的至少一部分的一第一訓練圖像、以及分別與在由一用戶從該第一訓練圖像識別的一個或多個區段的每一個中選擇的一組圖元相關聯的第一標籤； 抽出表徵該第一訓練圖像的一特徵集合，每個特徵具有與該第一訓練圖像中的圖元相對應的特徵值，該特徵集合包括提供在該第一訓練圖像中的該一個或多個區段之間的背景關係的資訊的第一特徵、和提供相對於每個區段中的該一組圖元的一統計測量值的該第一訓練圖像中的圖元分佈的資訊的第二特徵； 使用該第一標籤、在與該第一標籤相關聯的每個區段中選擇的該一組圖元的值、以及與在每個區段中的該一組圖元相對應的該特徵集合的每個特徵的該特徵值來訓練一機器學習(ML)模型，其中訓練該ML模型來用於圖像分割； 使用該訓練的ML模型處理該第一訓練圖像以獲得一第一分割圖，該第一分割圖提供與該第一訓練圖像中的相應圖元相關聯的預測標籤的資訊，每個預測標籤指示一相應圖元所屬於的一區段；以及 決定在滿足一標準時將包含該第一訓練圖像和該第一分割圖的一第一訓練取樣包括到該DNN訓練資料中，並且在不滿足該標準時重複該抽出第二特徵、該訓練和該處理。
  2. 如請求項1所述的電腦化系統，其中該訓練資料可用於針對從包含以下各項的一群組中選擇的至少一個檢查製程來訓練一深度神經網路(DNN)：基於執行時間圖像的自動分割、自動計量、自動缺陷偵測、自動缺陷複查、和自動缺陷分類。
  3. 如請求項1所述的電腦化系統，其中該標準基於關於該第一分割圖的一用戶回饋，並且該PMC被配置為：在接收到關於該第一分割圖上的一否定的用戶回饋時獲得與至少一個該區段中的一額外組圖元相關聯的額外第一標籤，該第一標籤和該額外第一標籤構成聚合的標籤資料；並且基於該聚合的標籤資料重複該抽出第二特徵、該訓練和該處理，直到接收到一肯定的用戶回饋。
  4. 如請求項3所述的電腦化系統，其中該PMC被配置為在接收到關於該第一分割圖的一肯定的用戶回饋時將該第一訓練取樣包括到該訓練資料中。
  5. 如請求項4所述的電腦化系統，其中該PMC還被配置為：獲得分別與由一使用者從該第二訓練圖像識別的一個或多個區段的每一個中選擇的一組圖元相關聯的一第二訓練圖像和第二標籤，該第二標籤被添加到該聚合的標籤數據；抽出表徵該第二訓練圖像並且包括該第一特徵和該第二特徵的一特徵集合；使用該聚合的標籤資料、與該聚合的標籤資料相關聯的圖元值、以及與該聚合的標籤資料相關聯的該圖元相對應的該特徵集合的每個特徵的該特徵值訓練該ML模型；並且基於該第二訓練圖像執行該處理和決定。
  6. 如請求項1所述的電腦化系統，其中該一個或多個區段中的至少一個與在該第一訓練圖像中呈現的一個或多個結構元素相對應。
  7. 如請求項1所述的電腦化系統，其中該第一特徵包括藉由以下步驟抽出的紋理特徵： 用一濾波器集合處理該第一訓練圖像，從而產生各自包含與該第一訓練圖像的相應圖元相對應的特徵回應值的一特徵回應集合，其中每個圖元與一特徵向量相對應，該特徵向量包括其一特徵回應值集合； 將與該第一訓練圖像中的該圖元相對應的該特徵向量群集化為複數個群集； 根據其特徵向量所屬於的群集為每個圖元分配一特徵值，從而產生包含與該第一訓練圖像的圖元相對應的特徵值的一特徵圖，該特徵圖可分離為與相應特徵值相對應的複數個通道；以及 使用一取樣濾波器對該特徵圖的每個通道進行取樣，從而產生具有複數個取樣通道的一特徵圖。
  8. 如請求項7所述的電腦化系統，其中該第一特徵還包括藉由以下步驟抽出的強度特徵：將該第一訓練圖像的圖元值群集化為複數個群集；根據該圖元值所屬於的群集為每個圖元分配一特徵值，從而產生可分離為與相應特徵值相對應的複數個通道的一特徵圖；以及使用一取樣濾波器對該特徵圖的每個通道進行取樣，從而產生具有複數個取樣通道的一特徵圖。
  9. 如請求項7所述的電腦化系統，其中該濾波器集合包含下列中的一個或多個：導數濾波器、Gabor濾波器、和拉普拉斯濾波器。
  10. 如請求項1所述的電腦化系統，其中該第二特徵藉由以下步驟抽出：針對每個區段中的該那組圖元計算一統計測量值；並且針對該第一訓練圖像中的每個圖元，將一對應特徵值計算為在該圖元的一值與每個區段的該統計測量值之間的一距離，從而產生各自包含特徵值的一個或多個特徵圖，該特徵值與在圖元值與一相應區段的該統計測量值之間的距離相對應。
  11. 如請求項1所述的電腦化系統，其中該訓練圖像包含從不同視角捕獲的多個通道，並且該特徵集合從該多個通道抽出。
  12. 如請求項1所述的電腦化系統，其中該PMC還被配置為使用該DNN訓練資料來訓練該DNN，並且使用圖像的一驗證集合來驗證該訓練的DNN。
  13. 一種生成用於訓練可用於一樣本檢查的一深度神經網路的訓練資料（DNN訓練資料）的電腦化方法，該方法由一處理器和記憶體電路(PMC)執行並且包含以下步驟： 獲得表示該半導體樣本的至少一部分的一第一訓練圖像、以及分別與在由一用戶從該第一訓練圖像識別的一個或多個區段的每一個中選擇的一組圖元相關聯的第一標籤； 抽出表徵該第一訓練圖像的一特徵集合，每個特徵具有與該第一訓練圖像中的圖元相對應的特徵值，該特徵集合包括提供在該第一訓練圖像中的該一個或多個區段之間的背景關係的資訊的第一特徵、和提供相對於每個區段中的該一組圖元的一統計測量值的該第一訓練圖像中的圖元分佈的資訊的第二特徵； 使用該第一標籤、在與該第一標籤相關聯的每個區段中選擇的該一組圖元的值、以及與在每個區段中的該一組圖元相對應的該特徵集合的每個特徵的該特徵值來訓練一機器學習(ML)模型，其中訓練該ML模型來用於圖像分割； 使用該訓練的ML模型處理該第一訓練圖像以獲得一第一分割圖，該第一分割圖提供與該第一訓練圖像中的相應圖元相關聯的預測標籤的資訊，每個預測標籤指示一相應圖元所屬於的一區段；以及 決定在滿足一標準時將包含該第一訓練圖像和該第一分割圖的一第一訓練取樣包括到該DNN訓練資料中，並且在不滿足該標準時重複該抽出第二特徵、該訓練和該處理。
  14. 如請求項13所述的電腦化方法，其中該標準基於關於該第一分割圖的一用戶回饋，並且該方法還包含以下步驟：在接收到關於該第一分割圖上的一否定的用戶回饋時獲得與至少一個該區段中的一額外組圖元相關聯的額外第一標籤，該第一標籤和該額外第一標籤構成聚合的標籤資料；並且基於該聚合的標籤資料重複該抽出第二特徵、該訓練和該處理，直到接收到一肯定的用戶回饋。
  15. 如請求項14所述的電腦化方法，還包含以下步驟：在接收到關於該第一分割圖的一肯定的用戶回饋時將該第一訓練取樣包括到該訓練資料中。
  16. 如請求項13所述的電腦化方法，其中該第一特徵包括藉由以下步驟抽出的紋理特徵： 用一濾波器集合處理該第一訓練圖像，從而產生各自包含與該第一訓練圖像的相應圖元相對應的特徵回應值的一特徵回應集合，其中每個圖元與一特徵向量相對應，該特徵向量包括其一特徵回應值集合； 將與該第一訓練圖像中的該圖元相對應的該特徵向量群集化為複數個群集； 根據其特徵向量所屬於的群集為每個圖元分配一特徵值，從而產生包含與該第一訓練圖像的圖元相對應的特徵值的一特徵圖，該特徵圖可分離為與相應特徵值相對應的複數個通道；以及 使用一取樣濾波器對該特徵圖的每個通道進行取樣，從而產生具有複數個取樣通道的一特徵圖。
  17. 如請求項16所述的電腦化方法，其中該第一特徵還包括藉由以下步驟抽出的強度特徵：將該第一訓練圖像的圖元值群集化為複數個群集；根據該圖元值所屬於的群集為每個圖元分配一特徵值，從而產生可分離為與相應特徵值相對應的複數個通道的一特徵圖；以及使用一取樣濾波器對該特徵圖的每個通道進行取樣，從而產生具有複數個取樣通道的一特徵圖。
  18. 如請求項13所述的電腦化方法，其中該第二特徵藉由以下步驟抽出：針對每個區段中的該那組圖元計算一統計測量值；並且針對該第一訓練圖像中的每個圖元，將一對應特徵值計算為在該圖元的一值與每個區段的該統計測量值之間的一距離，從而產生各自包含特徵值的一個或多個特徵圖，該特徵值與在圖元值與一相應區段的該統計測量值之間的距離相對應。
  19. 如請求項13所述的電腦化方法，還包含以下步驟：使用該DNN訓練資料來訓練該DNN，並且使用圖像的一驗證集合來驗證該訓練的DNN。
  20. 一種有形地體現一指令程式的非暫時性電腦可讀存儲介質，該指令當由一電腦執行時使該電腦執行生成用於訓練可用於一樣本檢查的一深度神經網路的訓練資料(DNN訓練資料)的一方法，該方法包含以下步驟： 獲得表示該半導體樣本的至少一部分的一第一訓練圖像、以及分別與在由一用戶從該第一訓練圖像識別的一個或多個區段的每一個中選擇的一組圖元相關聯的第一標籤； 抽出表徵該第一訓練圖像的一特徵集合，每個特徵具有與該第一訓練圖像中的圖元相對應的特徵值，該特徵集合包括提供在該第一訓練圖像中的該一個或多個區段之間的背景關係的資訊的第一特徵、和提供相對於每個區段中的該一組圖元的一統計測量值的該第一訓練圖像中的圖元分佈的資訊的第二特徵； 使用該第一標籤、在與該第一標籤相關聯的每個區段中選擇的該一組圖元的值、以及與在每個區段中的該一組圖元相對應的該特徵集合的每個特徵的該特徵值來訓練一機器學習(ML)模型，其中訓練該ML模型來用於圖像分割； 使用該訓練的ML模型處理該第一訓練圖像以獲得一第一分割圖，該第一分割圖提供與該第一訓練圖像中的相應圖元相關聯的預測標籤的資訊，每個預測標籤指示一相應圖元所屬於的一區段；以及 決定在滿足一標準時將包含該第一訓練圖像和該第一分割圖的一第一訓練取樣包括到該DNN訓練資料中，並且在不滿足該標準時重複該抽出第二特徵、該訓練和該處理。
TW110116729A 2020-07-29 2021-05-10 生成可用於檢查半導體樣本的訓練資料 TW202221536A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/942,677 US11449977B2 (en) 2020-07-29 2020-07-29 Generating training data usable for examination of a semiconductor specimen
US16/942,677 2020-07-29

Publications (1)

Publication Number Publication Date
TW202221536A true TW202221536A (zh) 2022-06-01

Family

ID=80003167

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110116729A TW202221536A (zh) 2020-07-29 2021-05-10 生成可用於檢查半導體樣本的訓練資料

Country Status (5)

Country Link
US (2) US11449977B2 (zh)
JP (1) JP2022027473A (zh)
KR (1) KR20220014805A (zh)
CN (1) CN114092387B (zh)
TW (1) TW202221536A (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11501105B2 (en) * 2018-03-02 2022-11-15 Zoox, Inc. Automatic creation and updating of maps
US11630958B2 (en) * 2021-06-02 2023-04-18 Microsoft Technology Licensing, Llc Determining topic labels for communication transcripts based on a trained generative summarization model
CN116547713A (zh) * 2021-12-03 2023-08-04 宁德时代新能源科技股份有限公司 一种用于缺陷检测的方法和系统
CN117274879A (zh) * 2023-10-10 2023-12-22 扬州大自然网络信息有限公司 一种工业网络安全智能防御系统及其方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11205119B2 (en) * 2015-12-22 2021-12-21 Applied Materials Israel Ltd. Method of deep learning-based examination of a semiconductor specimen and system thereof
US10922566B2 (en) * 2017-05-09 2021-02-16 Affectiva, Inc. Cognitive state evaluation for vehicle navigation
US11199506B2 (en) * 2018-02-21 2021-12-14 Applied Materials Israel Ltd. Generating a training set usable for examination of a semiconductor specimen

Also Published As

Publication number Publication date
US20220383488A1 (en) 2022-12-01
JP2022027473A (ja) 2022-02-10
US11449977B2 (en) 2022-09-20
CN114092387B (zh) 2024-04-05
US20220036538A1 (en) 2022-02-03
CN114092387A (zh) 2022-02-25
KR20220014805A (ko) 2022-02-07
US11915406B2 (en) 2024-02-27

Similar Documents

Publication Publication Date Title
US10832092B2 (en) Method of generating a training set usable for examination of a semiconductor specimen and system thereof
US11348001B2 (en) Method of deep learning-based examination of a semiconductor specimen and system thereof
US20190257767A1 (en) Generating a training set usable for examination of a semiconductor specimen
US11915406B2 (en) Generating training data usable for examination of a semiconductor specimen
US11686689B2 (en) Automatic optimization of an examination recipe
US20220222806A1 (en) Machine learning-based classification of defects in a semiconductor specimen
US12007335B2 (en) Automatic optimization of an examination recipe
TWI834916B (zh) 基於機器學習的取樣缺陷檢測
US20230306580A1 (en) Machine learning based examination of a semiconductor specimen and training thereof
TW202217997A (zh) 半導體樣本的圖像分割
US11645831B2 (en) Identification of an array in a semiconductor specimen
US20230377125A1 (en) Defect detection of a semiconductor specimen
TW202409550A (zh) 半導體樣品的缺陷偵測
KR20240039600A (ko) 기계 학습 기반 결함 검사를 위한 이미지 증강
TW202127370A (zh) 基於機器學習的取樣缺陷檢測