TW201941112A - 產生可用於檢查半導體樣品的訓練集之方法及其系統 - Google Patents

產生可用於檢查半導體樣品的訓練集之方法及其系統 Download PDF

Info

Publication number
TW201941112A
TW201941112A TW108104395A TW108104395A TW201941112A TW 201941112 A TW201941112 A TW 201941112A TW 108104395 A TW108104395 A TW 108104395A TW 108104395 A TW108104395 A TW 108104395A TW 201941112 A TW201941112 A TW 201941112A
Authority
TW
Taiwan
Prior art keywords
sample
training
dnn
image
inspection
Prior art date
Application number
TW108104395A
Other languages
English (en)
Other versions
TWI731303B (zh
Inventor
歐海德 許奧比
阿賽夫 艾斯拜格
寶茲 扣漢
Original Assignee
以色列商應用材料以色列公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 以色列商應用材料以色列公司 filed Critical 以色列商應用材料以色列公司
Publication of TW201941112A publication Critical patent/TW201941112A/zh
Application granted granted Critical
Publication of TWI731303B publication Critical patent/TWI731303B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

提供了一種檢查半導體樣品的方法。該方法包括：在藉由電腦獲得在半導體製造過程中針對給定的檢查相關應用而訓練的深度神經網路（DNN）時，使用獲得的經訓練的DNN一起處理一個或多個製造過程（FP）圖像，其中使用包含特定於給定應用程序的合成圖像的訓練集來訓練該DNN；以及藉由電腦獲得特定於給定應用程序的檢查相關資料，並表徵經處理的一個或多個FP圖像中的至少一者。生成訓練集可以包括：訓練輔助DNN以產生潛在空間，藉由將經訓練的輔助DNN應用到在所產生的潛在空間中選擇的一個點來生成合成圖像，以及將該所生成的合成圖像添加到訓練集。

Description

產生可用於檢查半導體樣品的訓練集之方法及其系統
當前揭示的標的大體係關於樣品檢查的領域，並且更特定言之係關於用於自動化樣品檢查的方法和系統。
當前對與製造的元件的超大規模整合相關聯的高密度和效能的需求要求亞微米特徵、增加的電晶體和電路速度、以及提高的可靠性。此類要求需要形成具有高精度和均勻性的元件特徵，此繼而需要仔細監測製造過程，此種監測包括在元件仍是半導體晶圓的形式時對元件進行自動檢查。應注意，製造過程可包括預製造操作、製造操作和/或後製造操作。
本說明書中使用的術語「樣品」應廣泛地被解釋為涵蓋任何種類的用於製造半導體積體電路的晶圓、掩模和其他結構、上述的組合和/或上述的部分，磁頭、平板顯示器和其他半導體製品。
本說明書中使用的術語「檢查」應廣泛地被解釋為涵蓋任何種類的計量相關操作以及樣品製造期間的樣品中的缺陷的偵測和/或分類相關的操作。檢查是藉由在待檢查的樣品的製造期間或之後使用非破壞性檢查工具來提供的。作為非限制性實例，檢查過程可以包括使用相同或不同檢查工具的針對樣品或樣品的一部分而提供的運行時掃描（以單次掃描的形式或多次掃描的形式）、採樣、審查、量測、分類和/或其他操作。同樣地，檢查的至少部分可以在製造待檢查的樣品之前被提供，並且可以包括例如生成（多個）檢查方案，訓練相應的分類器或其他機器學習相關的工具，和/或其他設置操作。應注意，除非另外特別說明，否則本說明書中使用的術語「檢查」或其派生詞並不限於檢驗區域的解析度或尺寸。作為非限制性實例，各種非破壞性檢查工具包括掃描電子顯微鏡、原子力顯微鏡、光學檢驗工具等。
作為非限制性實例，運行時檢查可以採用兩階段程序，例如，檢驗樣品，接著審查潛在缺陷的採樣位置。在第一階段期間，以高速度和相對低的解析度檢驗樣品的表面。在第一階段中，產生缺陷地圖以便顯示樣品上具有高的缺陷機率的的可疑位置。在第二階段期間，使用相對較高的解析度對可疑位置中的至少部分進行更徹底的分析。在一些情況下，兩個階段都可以藉由相同的檢驗工具實施，並且在一些其他情況下，該兩個階段藉由不同的檢驗工具實施。
檢查過程可以在半導體製造期間的各個步驟處使用以對樣品上的缺陷進行偵測和分類。檢查的效率可以藉由（多個）過程的至少部分的自動化而增加，例如藉由使用自動缺陷分類（Automatic Defect Classification，ADC）、自動缺陷審查（Automatic Defect Review，ADR）等。
根據目前揭示的標的的某些態樣，提供了一種檢查半導體樣品的方法。該方法包括：在藉由電腦獲得在半導體製造過程中針對給定的檢查相關應用而訓練的深度神經網路（DNN）時，使用獲得的經訓練的DNN一起處理一個或多個製造過程（FP）圖像，其中使用包含特定於給定應用程序的合成圖像的訓練集來訓練該DNN；以及藉由電腦獲得特定於給定應用程序的檢查相關資料，並表徵經處理的一個或多個FP圖像中的至少一者。
根據目前揭示的標的的其他方面，提供了一種生成可用於檢查半導體樣品的訓練集的方法。該方法包括獲得特定於半導體製造過程中的給定檢查相關應用的「真實環境（real world）」訓練樣本，使用所獲得的「真實環境」訓練樣本來生成特定於給定檢查相關應用的一個或多個合成圖像，將所生成的一個或多個合成圖像包括到特定於給定檢查相關應用的訓練集中。
作為非限制性實例，檢查相關應用可以是：偵測樣品中的缺陷；對樣品中的缺陷進行分類；在至少兩個製造過程（FP）圖像之間進行配準; 分割至少一個FP圖像，該FP圖像選自包括以下項的群組：樣品的高分辨率圖像、樣品的低分辨率圖像和樣品的基於設計資料的圖像；基於回歸來重建藉由不同的檢查模態獲得的FP圖像資料；基於回歸來估計圖像性質（例如接觸孔深度）；等等。
作為非限制性實例，訓練集可以用於使用針對給定的檢查相關應用進行培訓的深度神經網路（DNN）對樣品進行自動缺陷審查（ADR）、自動缺陷分類（ADC）和自動檢查中的至少一者。
根據目前揭示的標的的其他態樣，生成合成圖像可以包括：訓練輔助DNN以產生潛在空間，以及藉由將經訓練的輔助DNN應用到在所產生的潛在空間中選擇的一個點來生成合成圖像。
根據目前揭示的標的的其他態樣，輔助DNN可以包括生成器和鑑別器，並且訓練輔助DNN可以包括：a)由鑑別器接收由生成器生成的樣本和「真實環境」樣本；b）由鑑別器區分所接收的樣本並向生成器提供回饋；c)重複操作a)和b)，直到「真實環境」樣本和生成的樣本無法被鑑別器區分。
根據目前揭示的標的其他態樣，該方法當被實施用於對樣品中的缺陷進行分類時，亦可以包括：接收使用者對待在合成圖像中呈現的缺陷類別的要求；使用k-平均法（k-means）訓練輔助DNN以獲得潛在空間中的群集；在潛在空間中識別與所需類別對應的一個或多個群集；使用所識別的一個或多個群集來生成具有與所需類別相對應的缺陷的合成圖像。
根據目前揭示的標的的其他態樣，提供了一種被配置用於生成可用於根據上述方法檢查半導體樣品的訓練集的系統。
根據目前揭示的標的的其他態樣，提供了一種非暫時性電腦可讀取媒體，該非暫時性電腦可讀取媒體包括指令，該等指令當由電腦執行時使得該電腦執行上述方法。
在以下詳述中，闡述許多特定細節，以便提供對本發明的透徹理解。然而，本領域的技術人員將理解，可以在沒有該等特定細節的情況下實踐目前揭示的標的。在其他情況下，未詳細描述所熟知的方法、過程、部件和電路，以便不會不必要地模糊目前揭示的標的。
除非另外特別說明，從以下論述中將顯而易見的是，將瞭解，在整個說明書中，利用諸如「處理」、「計算」、「表示」、「比較」、「生成」、「訓練」、「分割」、「配準」或類似術語的論述是指將資料操縱和/或變換成其他資料的電腦的（多個）動作和/或（多個）處理，該資料被表示為物理量（諸如電學量）和/或該資料表示物理物件。術語「電腦」應廣泛地被解釋為涵蓋具有資料處理能力的任何種類的基於硬體的電子裝置，作為非限制性實例，該電子裝置包括製造過程檢查資訊（Fabrication Process Examination Information, FPEI）系統及其相應部分。
本文使用的術語「非暫時性記憶體」和「非暫時性儲存媒體」應廣泛地被解釋為覆蓋適合於目前揭示的標的的任何揮發性或非揮發性電腦記憶體。
本說明書中使用的術語「缺陷」應廣泛地被解釋為覆蓋在樣品上或樣品內形成的任何種類的異常或不期望的特徵。
本說明書中使用的術語「設計資料」應廣泛地被解釋為覆蓋指示樣品的分層物理設計（佈局）的任何資料。設計資料可以由相應的設計者提供和/或可以從物理設計匯出（例如，藉由複雜模擬、簡單幾何和布林操作等）。可以以不同的格式提供設計資料，作為非限制性實例，諸如GDSII格式、OASIS格式等。設計資料可以以矢量格式、灰度級強度圖像格式或以其他方式呈現。
將瞭解，除非另外特別說明，在單獨實施例的上下文中描述的目前標的的某些特徵亦可以在單個實施例中組合提供。反之，在單個實施例的上下文中描述的目前標的的各種特徵亦可以單獨地提供或以任何合適的子組合的形式提供。在以下詳述中，闡述許多特定細節，以便提供對方法和設備的透徹理解。
考慮到此點，注意第 1 圖 ，第 1 圖 圖示了根據目前揭示的標的的某些實施例的檢查系統的功能方塊圖。第 1 圖 中所示的檢查系統100 可以用於檢查作為樣品製造過程的一部分的樣品（例如，晶圓和/或晶圓的一部分）的檢查。所圖示的檢查系統100 包括基於電腦的系統103 ，系統103 能夠使用在樣品製造（在下文中被稱為製造過程（FP）圖像）期間獲得的圖像來自動確定計量相關和/或缺陷相關的資訊。系統103 在下文中被稱為製造過程檢查資訊（FPEI）系統。FPEI系統103 可以可操作地連接到一個或多個低解析度檢查工具101 和/或一個或多個高解析度檢查工具102 和/或其他檢查工具。檢查工具被配置為捕獲FP圖像和/或審查（多個）捕獲的FP圖像和/或賦能或提供與（多個）捕獲圖像相關的量測。FPEI系統可進一步可操作地連接到CAD伺服器110 和資料儲存庫109 。
FPEI系統103 包括可操作地連接到基於硬體的輸入介面105 和基於硬體的輸出介面106 的處理器和記憶體電路（processor and memory circuitry, PMC）104 。PMC104 被配置為提供用於操作FPEI系統需要的所有處理，如參考第 2 圖至第 5 圖 更詳細描述的，並且包括處理器（未單獨圖示）和記憶體（未單獨圖示）。PMC104 的處理器可被配置為根據包含在PMC中的非暫時性電腦可讀取記憶體上實施的電腦可讀指令來執行若干功能模組。此類功能模組在下文中被稱為包含在PMC中。包含在PMC104 中的功能模組包括可操作地連接的訓練集生成器111 。功能模組可進一步包括深度神經網路（DNN）112 。DNN112 包括DNN模組114 ，DNN模組114 被配置為使用（多個）深度神經網路賦能資料處理，以用於基於製造（FP）輸入資料輸出應用相關的資料。任選地，DNN112 可包括前DNN模組113 和/或後DNN模組115 ，前DNN模組113 被配置為在將輸入資料發送給DNN模組之前提供處理，後DNN模組115 被配置為提供由DNN模組生成的後處理資料。將參考第 2 圖至第 5 圖 更詳細地描述FPEI系統103、和PMC 104和其中的功能區塊的操作。
DNN模組114 可以包括監督或非監督式DNN112 ，該DNN112 包括根據相應DNN架構組織的複數個層。作為非限制性實例，DNN的多個層可以根據卷積神經網路（Convolutional Neural Network, CNN）架構、迴圈神經網路架構、遞迴神經網路架構、生成對抗網路（Generative Adversarial Network, GAN）架構等來組織。任選地，至少部分層可以被組織在複數個DNN子網路中。DNN模組114的每一層可以包括在本領域中通常稱為維度、神經元或節點的多個基本計算元素（computational elements, CE）。
通常，給定層的計算元素可以與前一層和/或後一層的CE連接。前一層的CE和後一層的CE之間的每個連接都與加權值相關聯。給定的CE可以經由各個連接從前一層的CE接收輸入，每個給定連接與可以應用至給定連接的輸入的加權值相關聯。加權值可以確定連接的相對強度，從而確定各個輸入對給定CE輸出的相對影響。給定CE可被配置為計算啟動值（例如，輸入的加權和），並進一步藉由將啟動函數應用至計算的啟動來匯出輸出。啟動函數可以是，例如，身份函數、確定性函數（例如，線性函數、sigmoid函數、閾值函數或類似函數）、隨機函數或其他合適的函數。來自給定CE的輸出可以藉由各自的連接傳輸到後續層的CE。同樣，如上所述，CE輸出端處的每個連接可以與加權值相關聯，該加權值可以在CE的輸出作為後續層的CE的輸入而被接收之前應用至CE的輸出。除了加權值之外，亦可以存在與連接和CE相關聯的閾值（包括限制函數）。
深度神經網路的加權值和/或閾值可以在訓練之前被初始選擇，並且可以在訓練期間被進一步反覆運算地調整或修改，以在被訓練的DNN中實現加權值和/或閾值的最佳集合。在每次迭代之後，可以確定DNN模組產生的實際輸出和與相應的資料訓練集相關聯的目標輸出之間的差異。此種差異可以稱為誤差值。當指示誤差值的成本函數小於預定值時，或者當迭代之間的效能實現有限變化時，可以確定訓練已經完成。任選地，在訓練整個DNN之前，可以單獨訓練至少一部分DNN子網路（如果有）。
用於調整深度神經網路的權重/閾值的DNN輸入資料集在下文中被稱為訓練集。
DNN112 的輸入可以在輸入到DNN模組114 之前由前DNN模組113 預處理，和/或DNN模組114 的輸出可以在從DNN112 輸出之前由後DNN模組115後處理。在此種情況下，DNN112 的訓練亦包括確定前DNN模組和/或後DNN模組的參數。任選地，可以訓練DNN模組，以便最小化整個DNN的成本函數，同時可以預定義和在訓練期間調整前DNN模組和/或後DNN模組的參數。在訓練時表徵DNN112 的一組基於訓練的參數可以進一步包括與前DNN和後DNN處理相關的參數。
注意，當前揭示的標的的教示不受DNN112 架構的約束。
作為DNN112 的替代或補充，PMC可以包括自動缺陷審查模組（Automatic Defect Review Module, ADR）和/或自動缺陷分類別模組（Automatic Defect Classification Module, ADC）和/或在訓練後可用於半導體樣品檢查的其他基於機器學習的檢查模組。任選地，一個或多個檢查模組可以包括DNN112 。任選地，DNN112 可以在檢查模組之間共享，或者，任選地，該一個或多個檢查模組中的每一個可以包括其自己的DNN112 。
如將參考第 2 圖至第 5 圖 進一步詳細描述的，FPEI系統被配置為經由輸入介面105 接收FP輸入資料。FP輸入資料可以包括由檢查工具產生的資料（和/或其衍生資料和/或與其相關聯的元資料）和/或儲存在一個或多個資料儲存庫109 和/或CAD伺服器110 和/或另一相關資料儲存庫中的資料。應注意，FP輸入資料可以包括圖像（例如，捕獲圖像、從捕獲圖像匯出的圖像、模擬圖像、合成圖像等）和相關聯的數字資料（例如元資料、手工製作的屬性等）。亦應注意，圖像資料可包括與樣品的感興趣層和/或一個或多個其他層相關的資料。任選地，出於訓練目的，FP輸入資料可以包括全部可用FAB資料或根據某些標準選擇的可用FAB資料的一部分。
FPEI系統亦被配置為處理接收到的FP輸入資料的至少一部分，並且經由輸出介面106 將結果（或其一部分）發送到儲存系統107 、（多個）檢查工具、用於呈現結果的基於電腦的圖形使用者介面（GUI）108 和/或外部系統（例如FAB的產量管理系統（Yield Management System, YMS））。GUI 108亦可以被配置為啟用與操作FPEI系統103相關的使用者指定輸入。
作為非限制性實例，可以藉由一個或多個低解析度檢查機器101 （例如光學檢查系統、低解析度SEM等）檢查樣品。提供樣品的低解析度圖像資訊的結果資料（在下文中被稱為低解析度圖像資料121 ）可以直接或經由一個或多個中間系統被傳輸到FPEI系統103 。替代地或另外地，樣本可以由高解析度機器102 檢查（例如，被選擇以用於審查的潛在缺陷位置的子集可以由掃描電子顯微鏡（SEM）或原子力顯微鏡（AFM）審查。提供樣品的高解析度圖像資訊的結果資料（在下文中被稱為高解析度圖像資料122 ）可以直接或經由一個或多個中間系統被傳輸到FPEI系統103 。
應注意，圖像資料可以與相關聯的元資料（例如像素大小、缺陷類型的文本描述、圖像捕獲過程的參數等）一起被接收和處理。
在處理FP輸入資料（例如低解析度圖像資料和/或高解析度圖像資料，任選地與其他資料一起作為（例如）設計資料、合成資料等）時，FPEI系統可以將結果（例如指令相關資料123 和/或124 ）發送到任何（多個）檢查工具，將結果（例如缺陷屬性、缺陷分類等）儲存在儲存系統107 中，經由GUI108 呈現結果和/或發送到外部系統（例如YMS）。
本領域的技術人員將容易地理解，當前揭示的標的的教示不受第 1 圖 中所示的系統的約束；等效和/或修改的功能可以以另一方式合併或分割並且可以以軟體與固件和/或硬體的任何適當的組合來實施。
在不以任何方式限制本揭示的範疇的情況下，亦應當注意，檢查工具可以實施為各種類型的檢驗機器，例如光學成像機器、電子束檢驗機器等。在某些情況下，相同的檢查工具可以提供低解析度圖像資料和高解析度圖像資料。在一些情況下，至少一個檢查工具可以具有計量能力。
將注意，第 1 圖 中所示的檢查系統可以在分散式運算環境中實施，其中第 1 圖 中所示的前述功能模組可以被分佈在若干本地和/或遠端裝置上，並且可以藉由通信網路連結。亦應注意，在其他實施例中，檢查工具101 和/或102 、資料儲存庫109 、儲存系統107 和/或GUI108 的至少一部分可以在檢查系統100 外部，並且經由輸入介面105 和輸出介面106 與FPEI系統103 進行資料通信操作。FPEI系統103 可以被實施為獨立的（多個）電腦，以與檢查工具結合地使用。替代地，FPEI系統的相應功能可以至少部分地與一個或多個檢查工具整合。
僅出於說明的目的，提供以下描述用於使用訓練的DNN檢查半導體樣品。本領域的技術人員將容易理解，當前揭示的標的的教示同樣適用於生成用於其他基於機器學習的檢查模組的訓練集，例如ADR、ADC、自動導航模組、自動分割模組和類似模組。
參考第 2 圖 ，圖示了使用DNN112 基於製造過程（FP）圖像自動確定檢查相關資料的概括流程圖。如轉讓給本申請受讓人並且藉由引用方式全文併入本文的美國專利申請案第2017/ 0177997號中所述，該過程包括設置步驟，該設置步驟包括訓練深度神經網路（DNN）112 ，其中DNN被訓練以用於給定的檢查相關應用，並且在訓練時，DNN表徵基於訓練的參數的特定於應用的集。作為非限制性實例，與檢查相關的應用可以是以下之一: 使用由DNN生成的屬性的缺陷分類（定義類可以包括修改和/或更新預先存在的類定義和/或識別新的類）； 製造過程圖像的分割，包括將FP圖像分割成片段（例如材料類型、邊緣、像素標記、感興趣區域等）； 缺陷偵測（例如，使用FP圖像識別一個或多個候選缺陷（如果存在），並對該候選缺陷進行標記，確定候選缺陷的真值，獲得缺陷的形狀資訊，等等）； 兩個或更多個圖像之間的配準，包括獲得圖像之間的幾何扭曲參數（可以是全域的或局部的，簡單如移位或更複雜的變換）； 跨模態回歸（例如，從來自不同檢查模態的一個或多個圖像重建圖像，例如，該不同檢查模態是來自CAD的SEM或光學圖像、來自SEM圖像的高度圖、來自低解析度圖像的高解析度圖像）； 基於回歸的圖像屬性估計； 上述的（多個）組合。
在設置步驟期間獲得針對給定應用訓練的DNN112 （201 ）。如將參考第 3 圖至第 5 圖 進一步詳細描述，PMC104 （例如訓練集生成器111 ）可以被配置為執行生成進一步可用於DNN112 的訓練的特定於應用的訓練集。生成訓練集可以包括增強訓練樣本（以及（如果適用）地面真實資料），並將增強的訓練圖像和增強的地面真實資料包括在訓練樣本中。替代地或另外地，生成訓練集可以包括生成合成圖像（並且（如果必要）獲得地面真實資料），並且將合成圖像包括在訓練樣本中。
應注意，DNN訓練過程可以是迴圈的，並且可以重複若干次，直到DNN被充分訓練。該過程可以從初始生成的訓練集開始，同時使用者根據初始訓練集針對由DNN達到的結果提供回饋。所提供的回饋可以包括，例如: 一個或多個像素、區域和/或缺陷的手動重新分類； 分類的優先次序； 靈敏度的變化、地面真實分割的更新和/或為分割應用手動定義感興趣區域（ROI）； 為缺陷偵測應用重新定義掩模/邊界框； 為配準應用重新選擇失敗個例和/或手動配準失敗個例； 為基於回歸的應用等等重新選擇感興趣的特徵。
PMC可以基於收到的回饋調整下一個訓練週期。調整可以包括以下至少一項:更新訓練集、更新成本函數、更新前DNN和/或後/DNN演算法等。任選地，一些訓練週期可以不提供給整個DNN112 ，而是提供給前DNN模組113 、後DNN模組115 或DNN模組114 的一個或多個更高的層。
在運行時期間，FPEI系統的PMC使用獲得的訓練DNN112 來處理包括FP圖像的FP樣本（202 ）。從而PMC獲得表徵經處理的FP樣本中的至少一個圖像的特定於應用的檢查相關資料（203 ）。當處理FP樣本時，PMC亦可以使用預定義的參數和/或從其他來源接收的參數，以及在訓練時表徵DNN112 的基於訓練的參數。
FP樣本中的FP圖像可以來自不同的檢查模態（例如，來自不同的檢查工具；來自同一檢查工具的不同通道，例如亮場和暗場圖像；來自使用不同操作參數的相同檢查工具；可以從設計資料中匯出等）。應注意，檢查模態可以彼此不同，歸因於各自圖像的來源（例如，由掃描電子顯微鏡（SEM）捕獲的圖像、由光學檢驗系統捕獲的圖像、從捕獲的圖像匯出的圖像、基於CAD生成的圖像等），和/或歸因於應用至捕獲圖像的匯出技術（例如藉由分割、缺陷輪廓提取、高度圖計算等匯出的圖像），和/或歸因於檢查參數（例如，藉由某個檢查工具提供的透視和/或解析度等）。作為非限制性實例，FP樣本可以包括與缺陷相關的一組圖像，該圖像藉由相同或不同的檢查模態、參考模具圖像、基於CAD的圖像、從所獲得的圖像匯出的資料（例如，高度圖、缺陷掩模、等級、分割等）來分類和獲得。FP樣本亦可以包括與圖像和/或其中的缺陷相關的元資料（例如成像條件、像素大小、工程屬性（例如缺陷大小、取向、背景片段等），等）。作為非限制性實例，元資料可以由PMC根據儲存在PMC中和/或從各個檢查工具接收的預定義指令生成。
任選地，訓練樣本可以對應於FP樣本。每個訓練樣本可以包括至少相同數量的藉由相同的檢查模態獲得的圖像，並且與相應FP樣本中的圖像具有相同的關係。注意，在某些實施例中，訓練樣本可能缺失與FP樣本中的圖像相對應的一些圖像。該等缺陷可以藉由不同的技術來補償，其中一些技術是本領域已知的（例如，缺失的圖像可以藉由根據來自另一訓練樣本的相應圖像的平均值生成的圖像來補償等）。任選地，訓練樣本可以進一步包括藉由額外檢查模態獲得的額外圖像，該等額外檢查模態通常在運行時是不可用的，和/或藉由增強可用於訓練的圖像，和/或藉由生成一個或多個合成圖像獲得。
例如，FP圖像可以選自在製造過程期間捕獲的樣品（例如，晶圓或其部分）的圖像、藉由各種預處理階段獲得的捕獲圖像的衍生圖像（例如，由SEM或光學檢驗系統捕獲的晶圓或光罩的一部分的圖像、大致以待由ADC分類的缺陷為中心的SEM圖像、待由ADR定位缺陷的較大區域的SEM圖像、對應於相同掩模位置的不同檢查模態的配準圖像、分割圖像、高度圖圖像等）和電腦生成的基於設計資料的圖像。
作為非限制性實例，特定於應用的檢查相關資料可以表示值的每像素地圖，該等值的含義取決於應用（例如，用於缺陷偵測的二元地圖；表示族類型或通用類的有害族預測的離散地圖；用於缺陷類型分類的離散地圖；用於交叉模態或模間模型（die-to model, D2M）回歸等的連續值）。可以進一步獲得每個像素的地圖，以及指示針對像素獲得的值的機率的每個像素的機率地圖。
替代地或另外地，獲得的特定於應用的檢查相關資料可以表示匯總整個圖像內容（不是每個像素）的一個或多個值，諸如（例如）用於自動缺陷審查應用的缺陷屬性、缺陷邊界框候選和相關缺陷機率，用於自動缺陷分類應用的缺陷類和類機率等。
替代地或另外地，所獲得的特定於應用的缺陷相關資料可以不直接與缺陷相關，而是可用於缺陷分析（例如，藉由FP圖像的分割而獲得的晶圓的層之間的邊界可以用於定義缺陷的層、缺陷環境資料，例如，背景圖案的特徵等）。替代地或另外地，檢查相關資料可用於計量目的。
參照第 3 圖 ，圖示了訓練集生成器111 。根據實施例當前呈現的標的的某些實施例，訓練集生成器111 包括增強圖像生成器301 、合成圖像生成器302 和輸出訓練集模組303 ，輸出訓練集模組303 可操作地耦合到生成器301 和生成器302 ，並被配置為生成包括「真實環境」訓練樣本、合成訓練樣本和/或增強訓練樣本的訓練集。生成的訓練集可以儲存在PMC104 的記憶體中。
訓練集生成器可以經由輸入介面105 從資料儲存庫109 、CAD伺服器110 或任何其他合適的資料儲存庫獲得「真實環境」訓練樣本的資料（以及任選地，地面真實資料）。替代地或另外地，可以經由GUI108 獲得地面真實資料。
取決於應用，「真實環境」訓練樣本可以是藉由相同或不同檢查模態獲得的樣品的單個圖像或一組圖像。「真實環境」訓練樣本亦可以包括與圖像相關聯的數字資料，例如元資料、手工製作的屬性（例如缺陷大小、取向、背景片段等）和其他。地面真實資料的值可以包括與特定於應用的訓練樣本相關聯的圖像和/或標籤。地面真實資料可以合成產生（例如，基於CAD的圖像）、實際產生（例如，捕獲的圖像）、藉由機器學習注釋產生（例如，基於特徵提取和分析的標籤）、藉由人工注釋產生、或者上述的組合產生等。
注意，取決於應用，相同的圖像可用於訓練樣本或地面真實資料。作為非限制性實例，基於CAD的圖像可以用作分割應用的訓練樣本，並且可以用作基於回歸的應用的地面真實資料。如美國專利申請案第2017/0177997號中所述，地面真實資料可能因應用而異。
增強圖像生成器301 被配置為從「真實環境」訓練樣本中增強一個或多個圖像，由此匯出增強圖像。來自「真實環境」訓練樣本的圖像增強可以藉由各種圖像處理技術來提供，包括添加雜訊、模糊、幾何變換（例如旋轉、拉伸、模擬不同角度、裁剪、縮放等）、色調映射、改變圖像的一個或多個像素的矢量資訊（例如添加和/或修改視角或採集通道等）等。
替代地或另外地，來自「真實環境」訓練樣本的圖像可以使用合成資料（例如，缺陷相關資料、模擬連接器或其他物件、來自其他圖像的植入等）來增強。作為非限制性實例，已知缺陷類型的可用圖像（和/或參數）可用於在圖像中植入新的缺陷、放大圖像中預先存在的缺陷的缺陷強度、從圖像中移除缺陷、掩蓋圖像中的缺陷（使得更難偵測）等。
例如，生成具有合成缺陷的圖像可以包括: -訓練CNN DNN（例如，基於Alex-Net等）； -獲得包含選擇的缺陷的第一圖像； -獲得包含選擇背景的第二圖像； -使用訓練的CNN網路以將選擇的缺陷的「樣式轉移」實行到選擇的背景中。此種實行可以例如使用https://arxiv.org/pdf/1508.06576.pdf中揭示的技術來提供。
然而替代地或另外地，來自「真實環境」訓練樣本的捕獲圖像可以使用分割、缺陷輪廓提取和/或高度圖計算來增強，和/或可以藉由與相應的基於CAD的圖像一起處理來獲得。
增強技術可以以獨立於應用的方式應用至「真實環境」訓練樣本的（多個）圖像。替代地，增強訓練樣本可以以特定於應用的方式匯出，其中藉由優先於特定於應用的技術獲得相應增強圖像的至少大部分。表 1 展示了美國專利申請案第2017/0177997號中詳述的特定於應用的較佳增強技術的非限制性實例。表 1 . 較佳增強技術的特定於應用的實例
任選地，增強技術亦可以應用至由合成圖像生成器302 生成的合成圖像，並且由輸出模組303 生成的訓練集可以進一步包括由生成器302 生成並由生成器301進一步增強的合成圖像。
合成圖像生成器302 包括非监督式輔助DNN304 。參考第 4 圖至第 7 圖 進一步描述了訓練輔助DNN304 和操作合成圖像生成器302 。
參考第 4 圖 ，圖示了根據目前揭示的標的某些實施例生成訓練集的概括流程圖。該方法包括獲得（401 ）特定於半導體製造過程中的給定檢查相關應用的「真實環境」訓練樣本，使用所獲得的「真實環境」訓練樣本來生成（402 ）特定於給定檢查相關應用的一個或多個合成圖像，將所生成的一個或多個合成圖像包括（404 ）到特定於給定檢查相關應用的訓練集中。任選地，生成訓練集亦可以包括使用所獲得的「真實環境」訓練樣本來生成（403 ）特定於給定檢查相關應用的一個或多個增強圖像，以及將所生成的增強圖像包括到訓練集中。
因此，在根據目前揭示的標的某些實施例中，所生成的訓練集中的訓練樣本的數目可以實質上大於「真實環境」訓練樣本的數目。例如，該「真實環境」訓練樣本集可以包括在100個與50,000個之間的訓練樣本，而根據目前揭示的標的某些實施例生成的訓練集可以包括至少100,000個訓練樣本。應注意，捕獲圖像是一個緩慢且可能亦很昂貴的過程。藉由增強捕獲的圖像和/或生成合成圖像來在訓練集中生成足量的訓練樣本使得能夠實現DNN訓練的效率。
此外，生成增強且合成的圖像的技術使得能夠根據特定應用的要求來定制所生成的訓練集。作為非限制性實例，缺少與特定類別的缺陷（例如，少數類別）相關的FAB資料可以藉由呈現相應缺陷的合成圖像來補償。作為另一非限制性實例，缺少與特定層相關的適當FAB資料可以藉由與該層相關的合成圖像來補償。作為又一非限制性實例，可以生成合成圖像以恢復特定缺陷的缺失信息。例如，如果缺陷僅缺失高分辨率圖像，則可以使用現有資料將合成圖像生成器初始化，並模擬丟失的高分辨率圖像。
僅出於說明的目的，基於生成對抗網路（GAN）架構提供了對輔助DNN的以下描述。本領域中熟習此項技藝者將容易理解，目前揭示的標的的教示同樣適用於其他GAN架構、基於變分自動編碼器的架構等。
參考第 5 圖 ，圖示了根據目前揭示的標的某些實施例生成用於訓練集的合成圖像概括流程圖。操作合成圖像生成器302 包括設置步驟，該設置步驟包括訓練輔助DNN304 和運行時步驟。
應注意的是，可以在與來自所有製造階段的所有類型的層/產品相關的所有可用FAB資料（例如CAD資料、高分辨率圖像、低分辨率圖像、元資料，一般屬性等）上提供對輔助DNN的訓練。或者，可以在根據某些標準（例如標記/未標記/特定層/特定產品/特定類別等）選擇的可用FAB資料的一部分上提供對輔助DNN的訓練。任選地，輔助DNN可以在不同的資料集上粗略地訓練，可能與FAB無關，並且亦針對特定檢查相關應用在根據某些標準選擇的所有可用FAB資料或其部分上進行精細訓練。另外地或替代地，可以使用輸入資料的文本描述（例如，具有水平線背景的粒子等）來訓練輔助DNN。
在運行時期間，為了得到合成圖像，合成圖像生成器將經訓練的輔助DNN應用（502）到所產生的潛在空間中所選定的任意點。生成的合成圖像亦可以呈現到客戶端（人或電腦化應用程序）以決定將圖像包括到訓練集中。
任選地，藉由選擇輔助訓練集，可以針對給定檢查相關應用訓練輔助DNN304 ，並且所產生的潛在空間可以針對相應的應用程序進行定制（例如，可以根據待引入的特定缺陷類型和/或具有一些預定義特徵（如顏色變化噪聲，充電噪聲等）的特定層背景進行定制）。
參考第 6 圖 ，圖示了根據目前揭示的標的某些實施例訓練合成圖像生成器的概況邏輯圖。
輔助DNN304 包括生成器601 和鑑別器602 。任選地，生成器601 和鑑別器602 都可以配置為CNN。
在訓練時，潛在空間603 應當代表觀察到的資料（儲存在真實環境圖像資料庫606 中的FAB資料或其一部分）到極高維度的抽象超平面（Z-空間）的映射，其中類似的潛在特徵映射得彼此更接近。在訓練之前，超平面表示隨機變量。在訓練期間，生成器601 從超平面接收變量並生成樣本604 。在接收到「真實環境」樣本605 和生成的樣本604 時，鑑別器602 區分所接收的樣本並向生成器601 提供回饋。當鑑別器602 不能區分「真實環境」樣本和生成的樣本時，訓練過程結束。在該訓練過程期間，輔助DNN304 將超平面映射到圖像空間上，從而生成每個坐標與圖像匹配的潛在空間。 因此，訓練輔助DNN包括：a)由鑑別器接收由生成器生成的樣本和「真實環境」樣本；b)由鑑別器區分所接收的樣本並向生成器提供回饋；以及重複操作a)和b)，直到「真實環境」樣本和生成的樣本無法被鑑別器區分。第 7 圖 圖示了實施用於生成用於缺陷分類的合成訓練樣本的上述過程的概括流程圖。生成此類合成訓練樣本包括：接收使用者對要在合成圖像中呈現的缺陷類別（例如，少數類別）的要求（701 ）；使用包括在FAB中的可用資料的至少部分（或者，任選地，僅標記圖像）的輔助訓練集來訓練配置為變分自動編碼器的輔助DNN（702 ）；使用k均值法在潛在空間中識別與所需類別對應的一個或多個群集（703 ）；以及根據所識別的群集選擇潛在空間中的點，從而生成（704 ）具有與所需類別對應的缺陷的合成圖像。
應當理解的是，本發明並不將其應用限制到在本文所包含的描述中闡述或在附圖中圖示的細節。
亦將理解的是，根據本發明的系統可以至少部分地在適當編程的電腦上實施。同樣地，本發明設想了一種電腦程式，該電腦程式可由電腦讀取以執行本發明的方法。本發明亦設想了一種非暫時性電腦可讀取記憶體，其有形地體現了可由電腦執行用於執行本發明方法的指令程式。
本發明能夠具有其他實施例和以各種方式進行實踐和實行。因此，應理解，本文采用的措辭和術語是出於描述的目的，不應視為限制。如此，本領域中熟習此項技藝者應理解，本揭示案所基於的概念可以容易地用作設計用於實行目前揭示的標的的若干目的的其他結構、方法和系統的基礎。
本領域中熟習此項技藝者將容易理解的是，在不脫離本發明的範疇的情況下，可以對在上文描述的本發明的實施例進行各種修改和改變，本發明的範疇在所附申請專利範圍中限定並由所附申請專利範圍限定。
100‧‧‧檢查系統
101‧‧‧低解析度檢查工具
102‧‧‧高解析度檢查工具
103‧‧‧基於電腦的系統/FPEI系統
104‧‧‧處理器和記憶體電路（PMC）
105‧‧‧基於硬體的輸入介面
106‧‧‧基於硬體的輸出介面
107‧‧‧儲存系統
108‧‧‧圖形使用者介面（GUI）
109‧‧‧資料儲存庫
110‧‧‧CAD伺服器
111‧‧‧訓練集生成器
112‧‧‧深度神經網路（DNN）
113‧‧‧前DNN模組
114‧‧‧DNN模組
115‧‧‧後DNN模組
121‧‧‧低解析度圖像資料
122‧‧‧高解析度圖像資料
123‧‧‧指令相關資料
124‧‧‧指令相關資料
201‧‧‧步驟
202‧‧‧步驟
203‧‧‧步驟
301‧‧‧增強圖像生成器
302‧‧‧合成圖像生成器
303‧‧‧輸出訓練集模組
304‧‧‧非监督式輔助DNN
401‧‧‧步驟
402‧‧‧步驟
403‧‧‧步驟
404‧‧‧步驟
601‧‧‧生成器
602‧‧‧鑑別器
603‧‧‧潛在空間
604‧‧‧生成的樣本
605‧‧‧「真實環境」樣本
606‧‧‧真實環境圖像資料庫
701‧‧‧步驟
702‧‧‧步驟
703‧‧‧步驟
704‧‧‧步驟
為了理解本發明並且理解本發明如何在實踐中實行，現在將參考隨附附圖並僅作為非限制性實例來描述實施例，在附圖中：
第 1 圖 圖示了根據目前揭示的標的某些實施例的檢查系統的功能方塊圖；
第 2 圖 圖示了根據目前揭示的標的某些實施例的使用深度神經網路（DNN）基於製造過程（FP）圖像自動地確定檢查相關的資料的概括流程圖；
第 3 圖 圖示了根據目前揭示的標的某些實施例配置的合成圖像生成器的概括功能圖；
第 4 圖 圖示了根據目前揭示的標的某些實施例的生成訓練集的概括流程圖；
第 5 圖 圖示了根據目前揭示的標的某些實施例操作合成圖像生成器的概括流程圖；
第 6 圖 圖示了根據目前揭示的標的某些實施例訓練合成圖像生成器的概括邏輯圖；
第 7 圖 圖示了根據目前揭示的標的某些實施例的生成用於缺陷分類的合成訓練樣本的概括流程圖。
國內寄存資訊 (請依寄存機構、日期、號碼順序註記) 無
國外寄存資訊 (請依寄存國家、機構、日期、號碼順序註記) 無

Claims (19)

  1. 一種生成可用於檢查一半導體樣品的一訓練集的方法，該方法由一電腦執行並且包括： 在一半導體製造過程中獲得特定於一給定檢查相關應用的「真實環境」訓練樣本； 使用該所獲得的「真實環境」訓練樣本來生成特定於該給定檢查相關應用的一個或多個合成圖像； 將該所生成的一個或多個合成圖像包括到該特定於該給定檢查相關應用的訓練集中。
  2. 如請求項1所述之方法，其中該給定的檢查相關應用選自由以下項組成的群組：偵測該樣品中的缺陷；對該樣品中的缺陷進行分類；在至少兩個製造過程（FP）圖像之間進行配準；分割至少一個FP圖像，該FP圖像選自包括以下項的群組：該樣品的一高分辨率圖像、該樣品的一低分辨率圖像和該樣品的一基於設計資料的圖像；基於回歸來重建與藉由不同的檢查模態獲得的資料對應的FP圖像，以及基於回歸來估計圖像性質。
  3. 如請求項1所述之方法，其中該訓練集可以用於使用針對該給定的檢查相關應用進行培訓的一深度神經網路（DNN）對該樣品進行自動缺陷審查（ADR）、自動缺陷分類（ADC）和自動檢查中的至少一者。
  4. 如請求項1所述之方法，其中生成該一個或多個合成圖像中的一合成圖像包括以下步驟： 訓練一輔助DNN以產生一潛在空間；以及 藉由將該經訓練的輔助DNN應用到在該所產生的潛在空間中選擇的一點來生成該合成圖像。
  5. 如請求項4所述之方法，其中使用實質上所有可用的FAB資料來提供對該輔助DNN的訓練。
  6. 如請求項4所述之方法，其中根據GAN架構來配置該輔助DNN。
  7. 如請求項4所述之方法，其中根據變分自動編碼器架構來配置該輔助DNN。
  8. 如請求項4所述之方法，其中該輔助DNN包括一生成器和一鑑別器，並且其中該訓練該輔助DNN的步驟包括以下步驟： a.由該鑑別器接收由該生成器生成的一樣本和一「真實環境」樣本； b.由該鑑別器區分該等所接收的樣本並向該生成器提供回饋； c.重複操作a)和b)，直到該「真實環境」樣本和該生成的樣本無法被該鑑別器區分。
  9. 如請求項4所述之方法，其中該給定應用程序對該樣本中的缺陷進行分類，該方法亦包括以下步驟： 接收使用者對要在該等合成圖像中呈現的一缺陷類別的要求； 使用k-平均法來訓練該輔助DNN以在該潛在空間中獲得群集； 在該潛在空間中識別與該所需類別對應的一個或多個群集； 使用該等所識別的一個或多個群集來生成具有與該所需類別對應的缺陷的合成圖像。
  10. 一種可用於檢查一半導體樣品的系統，該系統包括一處理和記憶體區塊（PMB），該處理和記憶體區塊可操作地連接到一輸入介面和一輸出介面的，其中： 該輸入介面被配置為用於接收一個或多個製造過程(FP)圖像； 該PMB被配置為用於： 在一半導體製造過程中獲得特定於一給定檢查相關應用的「真實環境」訓練樣本； 使用該所獲得的「真實環境」訓練樣本來生成特定於該給定檢查相關應用的一個或多個合成圖像； 將該等所生成的一個或多個合成圖像包括到該特定於該給定檢查相關應用的訓練集中，從而生成一可用於檢查一半導體樣品的訓練集。
  11. 如請求項10所述之系統，其中該給定的檢查相關應用選自由以下項組成的群組：偵測該樣品中的缺陷；對該樣品中的缺陷進行分類；在至少兩個製造過程（FP）圖像之間進行配準；分割至少一個FP圖像，該FP圖像選自包括以下項的群組：該樣品的一高分辨率圖像、該樣品的一低分辨率圖像和該樣品的一基於設計資料的圖像；基於回歸來重建一與藉由不同的檢查模態獲得的資料對應的FP圖像，以及基於回歸來估計圖像性質。
  12. 如請求項10所述之系統，其中該訓練集可以用於使用針對該給定的檢查相關應用進行培訓的一深度神經網路（DNN）對該樣品進行自動缺陷審查（ADR）、自動缺陷分類（ADC）和自動檢查中的至少一者。
  13. 如請求項10所述之系統，其中生成該一個或多個合成圖像中的一合成圖像包括以下步驟： 訓練一輔助DNN以產生一潛在空間；以及 藉由將該經訓練的輔助DNN應用到在該所產生的潛在空間中選擇的一點來生成該合成圖像。
  14. 如請求項13所述之系統，其中使用實質上所有可用的FAB資料來提供對該輔助DNN的訓練。
  15. 如請求項13所述之系統，其中根據GAN架構來配置該輔助DNN。
  16. 如請求項13所述之系統，其中根據變分自動編碼器架構來配置該輔助DNN。
  17. 如請求項13所述之系統，其中該輔助DNN包括一生成器和一鑑別器，並且其中該訓練該輔助DNN的步驟包括以下步驟： a.由該鑑別器接收由該生成器生成的一樣本和一「真實環境」樣本； b.由該鑑別器區分該等所接收的樣本並向該生成器提供回饋； c.重複操作a)和b)，直到該「真實環境」樣本和該生成的樣本無法被該鑑別器區分。
  18. 如請求項13所述之系統，其中該給定應用程序對該樣本中的缺陷進行分類，該方法亦包括以下步驟： 接收使用者對要在該等合成圖像中呈現的一缺陷類別的要求； 使用k-平均法來訓練該輔助DNN以在該潛在空間中獲得群集； 在該潛在空間中識別與該所需類別對應的一個或多個群集； 使用該等所識別的一個或多個群集來生成具有與該所需類別對應的缺陷的合成圖像。
  19. 一種非暫時性電腦可讀取媒體，該非暫時性電腦可讀取媒體包括指令，該等指令當由一電腦執行時使該電腦執行一生成可用於檢查一半導體樣品的一訓練集的方法， 該方法包括： 在一半導體製造過程中獲得特定於一給定檢查相關應用的「真實環境」訓練樣本； 使用該所獲得的「真實環境」訓練樣本來生成特定於該給定檢查相關應用的一個或多個合成圖像； 將該所生成的一個或多個合成圖像包括到該特定於該給定檢查相關應用的訓練集中。
TW108104395A 2018-02-07 2019-02-11 產生可用於檢查半導體樣品的訓練集之方法及其系統 TWI731303B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862627689P 2018-02-07 2018-02-07
US62/627,689 2018-02-07

Publications (2)

Publication Number Publication Date
TW201941112A true TW201941112A (zh) 2019-10-16
TWI731303B TWI731303B (zh) 2021-06-21

Family

ID=67547922

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108104395A TWI731303B (zh) 2018-02-07 2019-02-11 產生可用於檢查半導體樣品的訓練集之方法及其系統

Country Status (5)

Country Link
US (1) US10832092B2 (zh)
KR (1) KR102176335B1 (zh)
CN (1) CN110945528B (zh)
TW (1) TWI731303B (zh)
WO (1) WO2019155467A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI773401B (zh) * 2020-11-30 2022-08-01 大陸商深圳比特微電子科技有限公司 版圖設計的方法和積體電路、運算晶片和計算設備
TWI816500B (zh) * 2022-08-03 2023-09-21 和碩聯合科技股份有限公司 應用於模型再訓練之圖片選取方法

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110235146A (zh) * 2017-02-03 2019-09-13 西门子股份公司 用于检测图像中的感兴趣对象的方法和装置
US11199506B2 (en) * 2018-02-21 2021-12-14 Applied Materials Israel Ltd. Generating a training set usable for examination of a semiconductor specimen
US11170255B2 (en) * 2018-03-21 2021-11-09 Kla-Tencor Corp. Training a machine learning model with synthetic images
WO2020185918A1 (en) * 2019-03-11 2020-09-17 Schlumberger Technology Corporation Method for automated stratigraphy interpretation from borehole images
US11922301B2 (en) 2019-04-05 2024-03-05 Samsung Display Co., Ltd. System and method for data augmentation for trace dataset
CN112304952B (zh) * 2019-07-23 2024-04-02 纬创资通股份有限公司 影像辨识装置、影像辨识方法及其计算机程序产品
US10957031B1 (en) * 2019-09-06 2021-03-23 Accenture Global Solutions Limited Intelligent defect detection from image data
US11710045B2 (en) * 2019-10-01 2023-07-25 Samsung Display Co., Ltd. System and method for knowledge distillation
US11205260B2 (en) * 2019-11-21 2021-12-21 International Business Machines Corporation Generating synthetic defect images for new feature combinations
SE1930421A1 (en) * 2019-12-30 2021-07-01 Unibap Ab Method and means for detection of imperfections in products
CN111401138B (zh) * 2020-02-24 2023-11-07 上海理工大学 生成对抗神经网络训练过程的对抗优化方法
US11151710B1 (en) * 2020-05-04 2021-10-19 Applied Materials Israel Ltd. Automatic selection of algorithmic modules for examination of a specimen
JP2023524258A (ja) * 2020-05-05 2023-06-09 アムジエン・インコーポレーテツド 自動外観検査のためのディープラーニングプラットフォーム
US11625820B2 (en) * 2020-05-28 2023-04-11 Applied Materials Israel Ltd. Evaluating an inspection algorithm for inspecting a semiconductor specimen
US11232550B2 (en) * 2020-06-29 2022-01-25 Applied Materials Israel Ltd. Generating a training set usable for examination of a semiconductor specimen
US11644756B2 (en) * 2020-08-07 2023-05-09 KLA Corp. 3D structure inspection or metrology using deep learning
US11307150B2 (en) * 2020-08-17 2022-04-19 Applied Materials Israel Ltd. Automatic optimization of an examination recipe
WO2024073344A1 (en) * 2022-09-26 2024-04-04 Lam Research Corporation Generation of synthetic semiconductor images
US20240175824A1 (en) * 2022-11-30 2024-05-30 Applied Materials, Inc. Substrate defect analysis

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8374974B2 (en) * 2003-01-06 2013-02-12 Halliburton Energy Services, Inc. Neural network training data selection using memory reduced cluster analysis for field model development
US8948494B2 (en) * 2012-11-12 2015-02-03 Kla-Tencor Corp. Unbiased wafer defect samples
US10186026B2 (en) 2015-11-17 2019-01-22 Kla-Tencor Corp. Single image detection
US9965901B2 (en) 2015-11-19 2018-05-08 KLA—Tencor Corp. Generating simulated images from design information
TWI797699B (zh) * 2015-12-22 2023-04-01 以色列商應用材料以色列公司 半導體試樣的基於深度學習之檢查的方法及其系統
US11580375B2 (en) 2015-12-31 2023-02-14 Kla-Tencor Corp. Accelerated training of a machine learning based model for semiconductor applications
CN107543828B (zh) * 2017-08-25 2020-09-11 广东工业大学 一种工件表面缺陷检测方法及系统
CN107563999A (zh) * 2017-09-05 2018-01-09 华中科技大学 一种基于卷积神经网络的芯片缺陷识别方法
US10607119B2 (en) * 2017-09-06 2020-03-31 Kla-Tencor Corp. Unified neural network for defect detection and classification
US10699055B2 (en) * 2018-06-12 2020-06-30 International Business Machines Corporation Generative adversarial networks for generating physical design layout patterns

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI773401B (zh) * 2020-11-30 2022-08-01 大陸商深圳比特微電子科技有限公司 版圖設計的方法和積體電路、運算晶片和計算設備
TWI816500B (zh) * 2022-08-03 2023-09-21 和碩聯合科技股份有限公司 應用於模型再訓練之圖片選取方法

Also Published As

Publication number Publication date
TWI731303B (zh) 2021-06-21
KR20200014927A (ko) 2020-02-11
US10832092B2 (en) 2020-11-10
KR102176335B1 (ko) 2020-11-10
CN110945528A (zh) 2020-03-31
CN110945528B (zh) 2021-04-02
US20200226420A1 (en) 2020-07-16
WO2019155467A1 (en) 2019-08-15

Similar Documents

Publication Publication Date Title
TWI731303B (zh) 產生可用於檢查半導體樣品的訓練集之方法及其系統
TWI767108B (zh) 用於檢查半導體試樣的方法與系統及在其上紀錄相關指令的電腦可讀取媒體
US20220067523A1 (en) Method of deep learining-based examination of a semiconductor specimen and system thereof
TWI796431B (zh) 半導體樣品的基於深度學習的檢查的方法及其系統
JP2022027473A (ja) 半導体試料の検査に使用可能な訓練データの生成
TWI786570B (zh) 生成可用於檢查半導體樣本的訓練集
WO2020234863A1 (en) Machine learning-based classification of defects in a semiconductor specimen
CN111512324B (zh) 半导体样品的基于深度学习的检查的方法及其系统
TW202217997A (zh) 半導體樣本的圖像分割
TW202339038A (zh) 基於機器學習的半導體樣品的檢查及其訓練