TWI796431B - 半導體樣品的基於深度學習的檢查的方法及其系統 - Google Patents

半導體樣品的基於深度學習的檢查的方法及其系統 Download PDF

Info

Publication number
TWI796431B
TWI796431B TW108104434A TW108104434A TWI796431B TW I796431 B TWI796431 B TW I796431B TW 108104434 A TW108104434 A TW 108104434A TW 108104434 A TW108104434 A TW 108104434A TW I796431 B TWI796431 B TW I796431B
Authority
TW
Taiwan
Prior art keywords
images
dnn
inspection
data
processing
Prior art date
Application number
TW108104434A
Other languages
English (en)
Other versions
TW201935590A (zh
Inventor
歐海德 許奧比
丹尼斯 蘇哈諾夫
阿賽夫 艾斯拜格
寶茲 扣漢
Original Assignee
以色列商應用材料以色列公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 以色列商應用材料以色列公司 filed Critical 以色列商應用材料以色列公司
Publication of TW201935590A publication Critical patent/TW201935590A/zh
Application granted granted Critical
Publication of TWI796431B publication Critical patent/TWI796431B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9515—Objects of complex shape, e.g. examined with use of a surface follower device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)

Abstract

本文提供了一種檢查一半導體樣品的方法及其系統。該方法包含以下步驟：使用一訓練的深度的神經網路(DNN)來處理一製造程序(FP)樣本，其中FP樣本包含：從第一檢查模態接收的第一FP圖像和從第二檢查模態接收的第二FP圖像，該第二檢查模態與該第一檢查模態不同，並且其中該訓練的DNN與該第二FP圖像分開地處理該第一FP圖像；且進一步地藉由該訓練的DNN來處理此種單獨處理的結果以獲得特定於給定的應用並表徵經處理的該等FP圖像中的至少一者的檢查相關的資料。當FP樣本進一步包含與該等FP圖像相關聯的數值資料時，該方法進一步包含以下步驟：藉由該訓練的DNN而與處理該第一FP圖像和該第二FP圖像分開地處理數值資料的至少部分。

Description

半導體樣品的基於深度學習的檢查的方法及其系統
本發明揭示的申請標的大體係關於樣本的檢查的領域，且更特定言之係關於：用於樣本的檢查的自動化的方法和系統。
對於高密度和高效能的目前的需求(其與製造的裝置的超大規模的整合相關聯)要求次微米的特徵、增加的電晶體和電路速度，以及改進的可靠度。此些需求要求形成具有高精密度和均勻性的裝置特徵，前述者又使得製造程序的仔細的監控(其中包含當裝置仍然是半導體晶圓的形式時自動地檢查該等裝置)成為必要。注意到製造程序可包含：預製造操作、製造操作，及/或製造後操作。
在此說明書中使用的詞彙「樣本(specimen)」應被廣泛地解釋為涵蓋用於製造半導體積體電路、磁頭、平板顯示器，及其他的半導體製造的物品的任何的種類的晶圓、遮罩，以及其他的結構、組合和/或其部分。
在此說明書中使用的詞彙「檢查(examination)」應被廣泛地解釋為涵蓋任何種類的計量相關的操作，以及與在樣本的製造期間偵測和/或分類該樣本中的缺陷相關的操作。在製造待檢查的樣本期間(或在製造待檢查的樣本之後)，藉由使用非破壞性的檢查工具來進行檢查。作為非限制性的示例，檢查程序可包含：運行時間的掃描(在單次或多次掃描中)、採樣、檢查、量測、分類，及/或使用相同或不同的檢查工具相關於樣本或其部分提供的其他的操作。同樣地，檢查的至少一部分可在製造待檢查的樣本之前進行，並且可包含(例如)：產生檢查配方、訓練分別的分類器，或其他的機器學習相關的工具和/或其他的設置操作。注意到：除非特別地且另外地聲明，在此說明書中使用的詞彙「檢查(examination)」或其衍生字不限於解析度或檢查區域的大小。各種非破壞性的檢查工具包含(作為非限制性的示例)：掃描電子顯微鏡、原子力顯微鏡、光學檢查工具等等。
作為非限制性的示例，運行時間的檢查可採用兩階段的程序(例如，檢查樣本，然後檢查潛在的缺陷的採樣的位置)。在第一階段期間，在高速下且利用相對低的解析度來檢查樣本的表面。在第一階段，產生缺陷圖以顯示：被懷疑具有高的缺陷機率的樣本上的位置。在第二階段期間，這樣的可疑的位置中的至少一些者以相對高的解析度來進行更徹底的分析。在某些情況下，兩個階段可藉由相同的檢查工具來實施，而且，在一些其他的情況中，這兩個階段藉由不同的檢查工具來實施。
在半導體製造期間的各個步驟中使用檢查程序以偵測和分類在樣本上的缺陷。可藉由程序中的至少部分的自動化(例如，藉由使用自動的缺陷分類(ADC)、自動的缺陷檢查(ADR)等等)來增加檢查的有效性。
根據本發明揭示的申請標的之某些態樣，提供了一種檢查一半導體樣品的方法，該方法包含以下步驟：在藉由一電腦獲得於一半導體製造程序內針對於一給定的檢查相關的應用來訓練的一深度的神經網路(DNN)之後，使用訓練的該DNN來處理一製造程序(FP)樣本，其中該FP樣本包含：從一或多個第一模態接收的一或多個第一FP圖像和從一或多個第二模態接收的一或多個第二FP圖像，該等第二模態與該等第一模態不同，並且其中訓練的該DNN與該一或多個第二FP圖像分開地處理該一或多個第一FP圖像；以及藉由該電腦而透過訓練的該DNN來處理該一或多個第一FP圖像和該一或多個第二FP圖像的至少單獨處理的結果以獲得特定於給定的應用和表徵經處理的該等FP圖像中的至少一者的檢查相關的資料。作為非限制性的示例，一或多個第一FP圖像可為低解析度的圖像，並且一或多個第二FP圖像可為高解析度的圖像。
當FP樣本進一步包含與在FP樣本中的FP圖像相關聯的數值資料(例如，中介資料、手工建構的屬性等等)時，該方法可進一步包含以下步驟：藉由訓練的該DNN而與處理該一或多個第一FP圖像和處理該一或多個第二FP圖像分開地處理數值資料的至少部分。特定於給定的應用的檢查相關的資料可藉由以下所述的方式來獲得：透過訓練的該DNN來處理該一或多個第一FP圖像和該一或多個第二FP圖像的單獨處理的結果，以及處理數值資料的至少部分的處理結果。可替代性地，獲得特定於給定的應用的檢查相關的資料的步驟可包含以下步驟：藉由訓練的該DNN來聚合該一或多個第一FP圖像和該一或多個第二FP圖像的單獨處理的結果，從而產生聚合的圖像資料；且進一步地處理聚合的圖像資料，以及單獨處理數值資料的至少部分的結果。
作為非限制性的示例，檢查特定的應用可為：偵測在該半導體樣品中的缺陷；對在該半導體樣品中的缺陷進行分類；在至少二個製造程序(FP)圖像之間進行配準；分割至少一個FP圖像，該至少一個FP圖像是從包含該半導體樣品的高解析度的圖像、該半導體樣品的低解析度的圖像，以及該半導體樣品的基於設計資料的圖像的群組中選出的；基於回歸重建對應於藉由不同的檢查模態獲得的資料的FP圖像，以及基於回歸重建圖像特性等等。
作為非限制性的示例，一或多個第一模態可藉由以下所述者中的至少一個而與一或多個第二模態有所不同：檢查工具、相同的檢查工具的通道、相同的檢查工具和/或通道的操作參數、對應於分別的FP圖像的半導體樣品的層、獲得FP圖像的性質，以及應用至獲取的圖像的導出技術。
根據本發明揭示的申請標的之其他的態樣，提供了一種可使用於根據前文的方法來檢查半導體樣品的系統。
根據本發明揭示的申請標的之其他的態樣，提供了一種包含當由一電腦執行時使得該電腦進行前文的方法的指令的非暫時性的電腦可讀取媒體。
在後續的實施方式中，闡述許多的特定的細節以為了提供本發明的透徹的理解。然而，將由彼等熟習此項技術者理解到可以在沒有此些特定的細節的情況下實現本發明揭示的申請標的。在其他的情況中，熟知的方法、程序、元件，及電路未被詳細地描述，以為了不混淆本發明揭示的申請標的。
除非特別地且另外地聲明(如同從後文的討論中顯而易見的)，應理解到：在說明書全文中，利用例如為「處理(processing)」、「計算(computing)」、「代表(representing)」、「比較(comparing)」、「產生(generating)」、「訓練(training)」、「分割(segmenting)」、「配準(registering)」，或類似者的詞彙的討論意指為：操作資料和/或將資料轉換為其他的資料的電腦的動作和/或程序(其中該資料被表示為物理(例如：電子)量和/或該資料代表實體物件)。詞彙「電腦(computer)」應被廣泛地解釋為涵蓋具有資料處理能力的任何種類的基於硬體的電子裝置(其中包含(作為非限制性的示例)：在本申請案中揭示的FPEI系統和其相應的部件)。
在本文中使用的詞彙「非暫時性的記憶體(non-transitory memory)」和「非暫時性的儲存媒體(non-transitory storage medium)」應被廣泛地解釋為涵蓋適合於本發明揭示的申請標的之任何的揮發性或非揮發性的電腦記憶體。
在此說明書中使用的詞彙「缺陷(defect)」 應被廣泛地解釋為涵蓋在樣本上或在樣本內形成的任何種類的異常或非所欲的特徵。
在說明書中使用的詞彙「設計資料(design data)」應被廣泛地解釋為涵蓋表示樣本的分層式的物理設計(佈局)的任何的資料。設計資料可由分別的設計者來提供以及/或可從物理設計(例如，經由複雜的模擬、簡單的幾何和布林操作等等)中導出。設計資料可以不同的格式(如同(作為非限制性的示例)：GDSII格式、OASIS格式等等)來提供。設計資料可以向量格式、灰階強度圖像格式，或其他的格式來呈現。
應理解到：除非特別地且另外地聲明，本發明揭示的申請標的之某些特徵(該等特徵被描述於單獨的實施例的情境中)亦可以在單個實施例中組合提供。相反地，本發明揭示的申請標的之各種特徵(該等特徵被描述於單個實施例的情境中)亦可被單獨地提供，或在任何的適當的子組合中提供。在後續的實施方式中，闡述許多的特定的細節以為了提供方法和設備的透徹的理解。
記住這一點而關注於第1圖，其中示例說明了根據本發明揭示的申請標的之某些實施例的檢查系統的功能方塊圖。示例說明於第1圖中的檢查系統100可用於檢查樣本(例如，晶圓和/或其部分)作為樣本製造程序的一部分。示例說明的檢查系統100包含：基於電腦的系統103，其能夠使用在樣本製造期間獲得的圖像來自動地決定計量相關和/或缺陷相關的資訊。此些圖像在後文中被稱為製造程序(FP)圖像。系統103在後文中被稱為FPEI(製造程序檢查資訊)系統。FPEI系統103可操作性地連接至一或多個低解析度的檢查工具101和/或一或多個高解析度的檢查工具102，及/或其他的檢查工具。檢查工具經配置以獲取FP圖像和/或檢查獲取的FP圖像，及/或促進或提供與獲取的圖像相關的量測。FPEI系統可進一步操作性地連接至CAD伺服器110和資料儲存庫109。
FPEI系統103包含：處理器和記憶體電路(PMC)104，該處理器和記憶體電路(PMC)104操作性地連接至基於硬體的輸入介面105和連接至基於硬體的輸出介面106。PMC 104經配置以提供：用於操作FPEI系統所需要的所有的處理(進一步地參照第2圖至第5圖作詳細描述)，並且包含：處理器(未被單獨地顯示出來)和記憶體(未被單獨地顯示出來)。PMC 104的處理器可經配置以根據在包含於PMC中的非暫時性的電腦可讀取記憶體上實施的電腦可讀取指令執行一些功能模組。此些功能模組在後文中被指稱為：包含在PMC中。包含在PMC 104中的功能模組包含：操作性地連接的訓練集產生器111和深度的神經網路(DNN)112。DNN 112包含：DNN模組114，該DNN模組經配置以促進使用深度的神經網路來進行資料處理，以基於製造程序(FP)輸入資料輸出應用相關的資料。可選擇地，DNN 112可包含：預DNN模組113，該預DNN模組經配置以在發送輸入資料至DNN模組之前提供預處理；以及/或後DNN模組115，該後DNN模組經配置以提供由DNN模組產生的後處理資料。將進一步地參照第2圖至第5圖詳細地描述FPEI系統103、PMC 104，以及在其中的功能方塊的操作。
將進一步地參照第2圖至第5圖詳細地描述，FPEI系統經配置以藉由輸入介面105來接收FP輸入資料。FP輸入資料可包含：由檢查工具產生的資料(以及/或其衍生者和/或與其相關聯的中介資料)，以及/或產生和/或儲存於一或多個資料儲存庫109，及/或產生和/或儲存於CAD伺服器110和/或另一個相關的資料儲存庫的資料。注意到FP輸入資料可包含：圖像(例如，獲取的圖像、從獲取的圖像導出的圖像、模擬的圖像、合成的圖像等等)，以及相關聯的數值資料(例如，中介資料、手工建構的屬性等等)。進一步地注意到圖像資料可包含：與樣本的感興趣的層和/或一或多個其他的層相關的資料。可選擇地，為了達到訓練的目的，FP輸入資料可包含：整個可用的FAB資料，或根據某些準則來選擇的其部分。
FPEI系統進一步地經配置以處理接收的FP輸入資料的至少部分，並且藉由輸出介面106將結果(或其部分)傳送至儲存系統107、檢查工具、用於呈現結果的基於電腦的圖形使用者介面(GUI)108，以及/或外部系統(例如，FAB的良率管理系統(YMS))。GUI 108可進一步地經配置以促進與操作FPEI系統103相關的使用者指定的輸入。
作為非限制性的示例，可以藉由一或多個低解析度的檢查機器101(例如，光學檢查系統、低解析度的SEM等等)來檢查樣本。提供樣本的低解析度的圖像的相關資訊的結果資料(在後文中被稱為低解析度的圖像資料121)可以–直接地或藉由一或多個中間系統–傳送至 FPEI系統103。可替代性地或額外地，可以藉由高解析度的機器102來檢查樣本(例如，針對於檢查選擇的潛在的缺陷位置的子集合可以藉由掃描電子顯微鏡(SEM)或原子力顯微鏡(AFM)來檢查)。提供樣本的高解析度的圖像的相關資訊的結果資料(在後文中被稱為高解析度的圖像資料122)可以–直接地或藉由一或多個中間系統–傳送至FPEI系統103。
注意到：可利用不同的解析度來獲取在樣本上的所欲的位置的圖像。作為非限制性的示例，所欲的位置的所謂的「缺陷圖像(defect images)」可用於區分缺陷和錯誤警告，而所欲的位置的所謂的「類別圖像(class images)」是利用較高的解析度來獲得，並且可使用於缺陷分類。在一些實施例中，相同的位置的圖像(具有相同或不同的解析度)可包含：在其間配準的一些圖像(例如，從給定的位置獲取的圖像和對應於給定的位置的一或多個參考圖像)。
在處理FP輸入資料(例如，低解析度的圖像資料和/或高解析度的圖像資料(可選擇地與其他的資料(例如，設計資料、合成的資料等等)一起))之後，FPEI系統可傳送結果(例如，指令相關的資料123和/或124)至檢查工具中的任何者、將結果(例如，缺陷屬性、缺陷分類等等)儲存在儲存系統107中、藉由GUI 108來呈現結果，及/或將該等結果傳送至外部系統(例如，傳送至YMS)。
彼等熟習此項技術者將容易地理解到本發明揭示的申請標的之教示不受到示例說明於第1圖中的系統的限制；等效和/或修改的功能可以利用另一種方式合併或劃分，並且可以利用軟體與韌體和/或硬體的任何的適當的組合來實施。
在不以任何的方式限制本揭露的範疇的情況下，還應該注意到檢查工具可以被實施為各種類型的檢查機器(例如，光學成像機、電子束檢查機器等等)。在某些情況下，相同的檢查工具可提供低解析度的圖像資料和高解析度的圖像資料。在一些情況中，至少一個檢查工具可具有計量能力。
將進一步地參照第2圖至第5圖詳細地描述，DNN模組114可包含：複數個DNN子網路，其中每個DNN子網路包含：根據分別的DNN架構來組織的複數個層。可選擇地，DNN子網路中的至少一者可具有與其它者不同的架構。作為非限制性的示例，在子網路中的層可根據卷積神經網路(CNN)架構、遞歸神經網路架構、遞迴式神經網路架構，或其他的架構來組織。可選擇地，DNN子網路的至少部分可具有一或多個共同的層(例如，最後的融合層、輸出全連接層等等)。
DNN模組114中的每一層可包含：在本領域中通常稱為維度、神經，或節點的多個基本的計算元件(CE)。給定的層的計算元件可與先前的層和/或後續的層的CE連接。在先前的層的CE與後續的層的CE之間的每個連接與加權值相關聯。給定的CE可藉由相應的連接從先前的層的CE接收輸入，每個給定的連接與可被應用至給定的連接的輸入的加權值相關聯。加權值可決定連接的相對強度，從而決定分別的輸入對於給定的CE的輸出的相對的影響。給定的CE可經配置以計算出一啟動值(例如，輸入的加權和)，並且藉由應用啟動函數至計算出的啟動來進一步地導出一輸出。啟動函數可為(例如)：恆等函數、決定性函數(例如，線性、S形、臨界值，或類似者)、隨機函數，或其他的適當的函數。來自給定的CE的輸出可以藉由分別的連接傳送至後續的層的CE。同樣地，如前文所述，在CE的輸出處的每個連接可與一加權值相關聯，該加權值可在被接收以作為後續的層的CE的輸入之前應用於CE的輸出。除了加權值之外，還可以存在與連接和CE相關聯的臨界值(其中包含限制函數)。
深度神經網路的加權值和/或臨界值可以在訓練之前被初始地選擇，並且可以進一步地在訓練期間疊代調整或修改，以在訓練的DNN模組中實現加權值和/或臨界值的一最佳集合。在每次疊代之後，可以決定：在由DNN模組產生的實際的輸出與關聯於資料的分別的訓練集的目標輸出之間的差異。該差異可被稱為誤差值。當表示誤差值的成本函數小於預定值時，或當實現在疊代之間的效能的有限的改變時，訓練可被決定為完成的。可選擇地，在訓練整個DNN之前，可以單獨地訓練DNN子網路的至少部分。
用以調整深度的神經網路的權重值/臨界值的DNN輸入資料的一集合在後文中被稱為訓練集。
在輸入至DNN模組114之前，對於DNN 112的輸入可藉由預DNN模組113進行預處理，且/或在從DNN 112輸出之前，DNN模組114的輸出可藉由後DNN模組115進行後處理。在此些情況中，DNN 112的訓練進一步包含：決定預DNN模組和/或後DNN模組的參數。DNN模組可被訓練以使得整個DNN的成本函數最小化，而預DNN模組和/或後DNN模組的參數可被預先界定，並且(可選擇地)可以在訓練期間進行調整。基於訓練的參數的一集合可進一步地包含：與預DNN和後DNN處理相關的參數。
注意到本發明揭示的申請標的之教示不受到DNN子網路的數目和/或架構的限制。
注意到：示例說明於第1圖中的檢查系統可以在分散式的計算環境中實施，其中顯示在第1圖中的前述的功能模組可以分佈在一些本地端和/或遠端裝置上，並且可以經由通訊網路鏈結。進一步地注意到：在其他的實施例中，檢查工具101和/或102中的至少一部分、資料儲存庫109、儲存系統107和/或GUI 108可以在檢查系統100的外部，並且操作為：藉由輸入介面105和輸出介面106與FPEI系統103進行資料通訊。FPEI系統103可被實施為獨立的電腦，而與檢查工具相結合地使用。可替代性地，FPEI系統的分別的功能可至少部分與一或多個檢查工具相整合。
參照第2圖，示例說明了使用DNN 112以基於製造程序(FP)圖像自動地決定檢查相關的資料的一般性的流程圖。已經在轉讓給本申請案的受讓人且藉由引用的方式全體併入本文中的美國專利申請案(案號2017/0177997)中呈現，該程序包含：設置步驟，該設置步驟包含：訓練深度的神經網路(DNN)112，其中DNN是針對於給定的檢查相關的應用來訓練的，並且是由基於訓練的參數的應用特定的集合來表徵。作為非限制性的示例，檢查相關的應用可為以下所述者中的至少一個： 使用由DNN產生的屬性的缺陷分類(界定類別的步驟可包含以下步驟：修改和/或更新預先存在的類別定義和/或對於新的類別進行識別)； 製造程序圖像的分割，該分割包含：將FP圖像劃分成數個片段(例如，材料類型、邊緣、像素標記、感興趣的區域等等)； 使用FP圖像和其標示的缺陷偵測(例如，識別一或多個候選缺陷(如果它們存在的話)、針對於候選缺陷決定真實的值、獲得缺陷的形狀資訊等等)； 在二個或更多個圖像之間的配準，該配準包含：獲得在圖像之間的幾何扭曲參數(可為全局的或局部的、簡單的移位或較為複雜的轉換)； 交叉模態回歸(例如，從來自不同的檢查模態的一或多個圖像(例如，來自CAD的SEM或光學圖像、來自SEM圖像的高度圖、來自低解析度的圖像的高解析度的圖像)中重建圖像)； 圖像特性(例如，接觸孔深度等等)的基於回歸的重建；及 以上所述者的組合。
在設置步驟期間獲得針對於給定的應用來訓練的DNN(201)。在運行時間期間，FPEI系統的PMC使用獲得的訓練的DNN 112以處理包含FP圖像的FP樣本(202)。由此，PMC獲得表徵在經處理的FP樣本中的圖像中的至少一者的應用特定的檢查相關的資料(203)。當處理一或多個FP圖像時，除了在訓練時表徵DNN 112的基於訓練的參數之外，PMC亦可使用預先界定的參數和/或從其他的來源接收的參數。
在FP樣本中的FP圖像可以來自不同的檢查模態(例如，來自不同的檢查工具、來自相同的檢查工具的不同的通道(例如，明場和暗場圖像)、來自使用不同的操作參數的相同的檢查工具，或可以從設計資料導出來等等)。
舉例而言，可以從在製造程序期間獲取的樣本(例如，晶圓或其部分)的圖像、藉由各種預處理階段獲得的獲取圖像的衍生者(例如，晶圓的一部分或藉由SEM或光學檢查系統獲取的光遮罩的一部分的圖像、大致上以要由ADC分類的缺陷為中心圍繞的SEM圖像、較大區域的SEM圖像(其中在該等較大區域中，缺陷是藉由ADR來局部化)、對應於相同的遮罩位置的不同的檢查模態的配準的圖像、分割的圖像、高度圖圖像等等)、電腦產生的基於設計資料的圖像等等中選擇FP圖像。注意到FP圖像可包含：感興趣的層的圖像，及/或樣本的一或多個其他的層的配準的圖像。不同的層的FP圖像在後文中亦被稱為：從不同的模態接收的圖像。
作為非限制性的示例，應用特定的檢查相關的資料可以表示：數值的每個像素的映射，其意義取決於應用(例如，用於缺陷偵測的二元映射；用於指示族群類型或一般類別的擾動族群預測(nuisance family prediction)的離散映射；用於缺陷類型分類的離散映射；用於交叉模態或晶粒至模型(die-to model, D2M)回歸的連續值等等)。可以進一步地獲得每個像素的映射，以及表示針對於像素獲得的數值的機率的每個像素的機率圖。
可替代性地或額外地，應用特定的檢查相關的資料可表示：概括整個圖像內容(並非每個像素)的一或多個值(例如，缺陷屬性、用於自動的缺陷檢查應用的缺陷邊界框候選和相關聯的缺陷機率、用於自動缺陷分類應用的缺陷類別和類別機率等等)。
可替代性地或額外地，獲得的應用特定的缺陷相關的資料可以不與缺陷直接地相關，而是可使用於缺陷分析(例如，藉由可用於界定缺陷的層的FP圖像的分割獲得的在晶圓的層之間的邊界、缺陷環境資料(例如，背景圖案的特徵)等等)。可替代性地或額外地，檢查相關的資料可用於計量目的。
進一步地注意到：在本發明揭示的申請標的之實施例中，包含在訓練樣本和/或FP樣本中的圖像的特徵不同於使用在本領域中習知的一般的深度的神經網路的常規的RGB圖像。舉例而言，基於電子的成像產生：具有各種效果(如不均勻的雜訊分佈、充電效應、感測器(不同的工具)之間的大變化等等)的灰階圖像。此外，SEM圖像通常由5個不同的灰階圖像組成，每個圖像對應於拍攝圖像的不同的視角(頂部、左側、右側、上側、下側)。
參照第3圖，其中示例說明了根據本發明揭示的申請標的之某些實施例配置的DNN 112的一般性的功能圖。
如在前文中詳細地描述，可以使用多個資料類型的FP輸入資料(例如，具有不同的原點和解析度的圖像(例如，缺陷圖像、分類圖像、參考圖像、CAD圖像等等)、不同的類型的數值資料(例如為從圖像(例如，高度圖、缺陷遮罩、等級、片段等等)中導出的不同類型的資料)、不同類型的中介資料(例如，成像條件、像素尺寸等等)、不同類型的手工建構的屬性(例如，缺陷尺寸、方向、背景片段等等)，及類似者)來訓練DNN網路並且可以使用該等多個資料類型的FP輸入資料來獲得檢查相關的輸出資料。根據本發明揭示的申請標的之某些實施例，DNN 112經配置以提供不同類型的FP輸入資料的專有的(意即，單獨的)處理(在設置期間和在運行時間期間)。此外，將進一步地參照第5a圖至第5c圖詳細地描述，DNN 112可經配置以將專有的處理與其他的額外的類型的融合的輸入資料組合，以及進一步地融合一部分的結果。
DNN模組114可包含：複數個輸入子網路(以302-1 – 302-3來表示)，每個給定的輸入子網路經配置以處理針對於給定的子網路指定的某個類型的FP輸入資料(以301-1 – 301-3來表示)。給定的輸入子網路的架構可分別地對應於輸入資料的指定的類型，或者可以可替代性地獨立於輸入資料的類型。
輸入子網路可連接至聚合子網路305，該聚合子網路進一步地連接至輸出子網路306，該輸出子網路經配置以輸出應用特定的檢查相關的資料。可選擇地，輸入子網路中的至少一部分可直接地連接至聚合子網路305或輸出子網路306。可選擇地，聚合和輸出子網路可以在單個子網路中組織。
複數個輸入子網路包含：一或多個子網路(在後文中被稱為「圖像子網路(image subnetworks)」)，該等子網路經配置以處理FP圖像，其中不同的圖像子網路經配置以處理從不同的檢查模態接收的圖像。如所示例說明，圖像子網路302-1處理第一類型(301-1)的FP圖像(例如，低解析度的圖像)，並且圖像子網路302-2分別地處理第二類型(301-2)的FP圖像(例如，高解析度的圖像)。
作為非限制性的示例，檢查模態可以藉由檢查工具、相同的檢查工具的不同的通道、藉由檢查工具的操作參數(例如，藉由某個檢查工具/通道所提供的視角和/或解析度等等)，及/或藉由對應於分別的FP圖像的層而與另一檢查模態有所不同。可替代性地或額外地，檢查模態可以藉由獲得分別的FP圖像(意即，獲取的圖像、由其導出的圖像、預處理圖像(例如，平均和/或差異圖像))的性質而與另一檢查模態有所不同，並且模擬的圖像(其中包含基於CAD的圖像)在後文中被稱為來自數個檢查模態的圖像，該等檢查模態藉由獲得分別的圖像的性質而有所不同。可替代性地或額外地，檢查模態可以藉由應用於所獲取的圖像(例如，藉由分割導出的FP圖像、缺陷輪廓提取、高度圖計算等等)的導出技術而與另一個檢查模態有所不同。
僅為了達到示例說明的目的，針對於具有卷積神經架構(CNN)的圖像子網路提供後續的描述。作為非限制性的示例，可以利用在Gao Huang等人的文獻「密集地連接的卷積網路(Densely Connected Convolutional Networks)」(https：//arxiv.org/pdf/1608.06993.pdf)(其中該文獻藉由引用的方式全體併入本文中)中所揭示的方式來提供圖像子網路的架構。彼等熟習此項技術者將容易地理解到本發明揭示的申請標的之教示可同樣地應用於適合用以處理圖像的其他的DNN架構。
複數個輸入子網路可進一步包含：至少一個DNN子網路(以302-3來表示)，該至少一個DNN子網路經配置以處理數值類型的輸入資料(例如，與FC圖像相關的中介資料、與一或多個檢查工具和/或一或多個晶粒相關的一般屬性、手工建構的屬性等等)。可替代性地或額外地，數值類型的輸入資料的至少部分可被直接地融合至聚合子網路305或輸出子網路306。
聚合子網路305可包含：連接至一或多個全連接層304的一或多個融合層303。可選擇地，一或多個融合層303可以在一或多個融合DNN子網路中組織(並行地和/或循序地)。可選擇地，一或多個全連接層304可以在一或多個全連接的DNN子網路中組織(並行地和/或循序地)。
可選擇地，輸出子網路306可包含：定制層，該定制層經配置以定制應用特定的檢查相關的資料(例如，根據FAB的要求)。
僅為了達到示例說明的目的，針對於分類應用提供後續的描述。彼等熟習此項技術者將容易地理解到本發明揭示的申請標的之教示可同樣地應用於與樣本的檢查相關的其他的應用。作為非限制性的示例，參照第3圖詳細地描述的程序可同樣地應用於偵測在樣本中的缺陷；在至少兩個製造程序(FP)圖像之間進行配準；分割至少一個FP圖像，該至少一個FP圖像是從包含樣本的高解析度的圖像、樣本的低解析度的圖像，及樣本的基於設計資料的圖像的群組中選出的；基於回歸地重建對應於藉由不同的檢查模態獲得的資料的FP圖像；計量應用、圖像特性的基於回歸的重建等等。
參照第4a圖和第4b圖，示例說明了獲得用於對在一樣本中的缺陷進行分類的檢查相關的資料的非限制性的示例。
程序包含：DNN的分類特定的訓練的設置步驟410(例如，用以提供促進最小的缺陷分類錯誤的分類相關的屬性)，以及使用訓練的DNN以產生缺陷屬性和/或進行缺陷分類的運行時間的步驟420。
在設置410(對於第4a圖和第4b圖而言為共同的)期間，在獲得包含FP圖像和其中介資料的第一訓練樣本的集合(401)，以及分別的真實資料(ground truth data)(402)之後，PMC 104產生(403)分類訓練集，並且使用產生的分類訓練集以獲得(404)由分類相關的訓練參數表徵的訓練的DNN。產生(403)分類訓練集的步驟可包含以下步驟：擴增第一訓練樣本和真實資料，並且將擴增的訓練樣本和擴增的真實資料包括至訓練集中。可替代性地或額外地，擴增第一訓練集的步驟可包含以下步驟：產生並且包括在所設置的合成的訓練樣本中。可替代性地或額外地，產生(403)分類訓練集的步驟可包含以下步驟：產生FP圖像的衍生者(例如，平均或差異圖像)、手工建構的屬性等等。
注意到根據本發明揭示的申請標的之某些實施例，可以基於與來自所有製造階段的所有類型的層/產物相關的整個可用的FAB資料(例如，CAD資料、高解析度的圖像、低解析度的圖像、中介資料、一般屬性等等)來訓練DNN。可替代性地，可以在根據某些準則來選擇的可用的FAB資料的一部分(例如，標記的/未標記的/特定的層/特定的產物/特定的類別等等)上提供：對於DNN的訓練。可以進一步持續地訓練DNN(例如，回應於在FAB中或在常規的自動程序上引入的新的類別)，以為了維持其與持續地改變的FAB的資料之間的相關性。
可選擇地，可以在不同的資料集上對DNN進行粗略的訓練(可能與FAB無關)，並且進一步地針對特定的檢查相關的應用在可用的FAB資料的至少部分上進行精細的訓練(例如，借助於轉移學習技術或其他的適當的技術)。
進一步地注意到：由於在FAB中的缺陷的分佈的本質，柏雷多(Parreto)可為：高度地不平衡的，並且可由來自單個類別的50-80%的缺陷組成。FAB資料可進一步地藉由高的分類錯誤率和受限的資料可用性來表徵。擴增和合成的圖像產生的技術促進制定基於FAB資料的訓練集，以滿足特定的應用的要求。作為非限制性的示例，與缺陷的特定的類別(例如，少數類別)相關的FAB資料的缺乏可以藉由呈現相應的缺陷的合成的圖像來補償。作為另一個非限制性的示例，相關於特定的層的適當的FAB資料的缺乏可以藉由與此層相關的合成的圖像來補償。作為又一個非限制性的示例，可以產生合成的圖像以恢復特定的缺陷的遺失的資訊(例如，高解析度的圖像)。
在產生(403)分類訓練集之後，PMC可訓練(404)DNN以提取分類相關的特徵並且提供缺陷的屬性(及/或缺陷的標記)，而實現最小的分類錯誤。訓練程序可包含：更新訓練集。訓練程序利用分類相關的訓練參數來產生經訓練的DNN。
在運行時間420期間，PMC使用分類特定的訓練的DNN以處理(405)FP樣本和獲得(406)缺陷屬性。作為非限制性的示例，FP樣本可包含：與待進行分類且藉由相同的檢查模態或藉由不同的檢查模態獲得的缺陷相關的圖像、參考晶粒圖像、基於CAD的圖像、從獲得的圖像中導出的資料(例如，高度圖、缺陷遮罩、等級、片段等等)的一群組。FP樣本可進一步包含：與待進行分類的缺陷相關的中介資料(例如，成像條件、像素尺寸、工程屬性(例如，缺陷尺寸、方向、背景片段等等)等等)。作為非限制性的示例，可以由PMC根據儲存在PMC中和/或從分別的檢查工具接收的預先界定的指令來產生中介資料。
如將進一步地參照第5a圖至第5c圖詳細地描述，根據本發明揭示的申請標的之某些實施例，在訓練樣本中和在FC樣本中的資料可以在分別的輸入子網路之前劃分。舉例而言，來自不同的檢查模態(或其群組)的圖像可以構成對於不同的圖像子網路的輸入。
作為非限制性的示例，來自從不同的視角和/或在不同的照射條件下獲得的缺陷位置的FC樣本的低解析度的圖像(例如，光學圖像，及/或低解析度的SEM圖像和/或其衍生者)、分別的參考圖像(例如，晶粒參考圖像、單元參考圖像、與缺陷位置相關的低解析度的基於CAD的圖像等等)可構成對於第一圖像子網路的「缺陷(defect)」層級的輸入，而來自FC樣本的高解析度的圖像(例如，從不同的視角和/或在不同的照射條件下獲得的缺陷位置的SEM圖像和/或其衍生者、與缺陷相關的高解析度的基於CAD的圖像等等)可構成對於第二圖像子網路的「類別(class)」層級的輸入。可選擇地，相同的解析度的圖像可構成對於多於一個的圖像子網路的輸入(例如，獲取的圖像和圖像的衍生者可被饋送至不同的輸入子網路)。
包含在FC樣本中的數值資料(例如，中介資料、手工建構的屬性等等)可構成對於第三輸入子網路或對於聚合子網路，或者對於輸出子網路的輸入。可選擇地，數值資料可根據資料類型構成對於一些輸入子網路、聚合子網路，或對於輸出子網路的輸入(例如，中介資料可被饋送至第三輸入子網路，而手工建構的屬性可被饋送至聚合子網路)。
可選擇地，訓練樣本可對應於FP樣本。每個訓練樣本可包含：至少相同數目的圖像，該等圖像是藉由相同的檢查模態來獲得並且具有與在相應的FP樣本中的圖像相同的關係。可選擇地，訓練樣本可進一步包含：額外的圖像，該等圖像是藉由在運行時間期間通常為不可用的額外的檢查模態來獲得。在輸入子網路上的訓練樣本中的資料的分佈應對應於在FP樣本中的相應的分佈。注意到：在某些實施例中，訓練樣本可能遺失對應於在FP樣本中的圖像的某些圖像。此些缺陷可以藉由不同的技術(其中該等技術中的一些者在本領域中是已知的)來補償。作為非限制性的示例，遺失的圖像可藉由根據來自其他的訓練樣本的相對應的圖像的平均值產生的圖像來補償。
在示例說明於第4a圖中的程序中，FPEI系統將藉由DNN獲得的缺陷屬性，以及(可選擇地)工程屬性輸出(408)至外部分類器，並且進一步地將工程屬性輸出至外部分類系統。獲得分類結果(409)的步驟包含以下步驟：由外部分類系統來處理它從外部分類器(其可以可選擇地為外部分類系統的一部分)接收的結果，以及工程屬性。
在示例說明於第4b圖中的程序中，FPEI系統使用藉由DNN獲得的分類相關的屬性，以及(可選擇地)工程屬性(當處理FP圖像時可選擇地獲得(407))以產生(408-1)中間分類結果。FPEI系統進一步地將中間分類結果和工程屬性輸出(408-1)至外部分類系統。外部分類系統處理(409-1)接收的資料並且產生分類的缺陷。可選擇地，可忽略操作408-1，並且FPEI可使用藉由DNN獲得的分類相關的屬性和工程屬性以產生分類的缺陷，而不涉及外部分類系統。注意到：工程屬性可為輸入至DNN的中介資料的一部分。可替代性地或額外地，工程屬性和/或其衍生者可為缺陷表示的一部分。
因此，如所示例說明，分類應用可以利用不同的方式來實施。作為非限制性的示例，分類特定的訓練的DNN可以基於DNN分類相關的屬性和其獲得的工程屬性的組合，或者僅基於DNN獲得的分類相關的屬性來對於在FP圖像中呈現的缺陷進行分類。可替代性地，分類特定的訓練的DNN可藉由提供分類相關的屬性(以及(可選擇地)工程屬性)至外部分類系統來促進此些缺陷的分類。
參照第5a圖至第5c圖來示例說明分類DNN網路的非限制性的示例。注意到：可選擇地，在饋送至輸入子網路之前，可以對於圖像進行預處理，並且可以將結果推導(例如，平均-外部(mean-external)、差異-外部(diff-external)等等)饋送至分別的圖像子網路，而不是藉由檢查工具獲得的圖像，或者除了藉由檢查工具獲得的圖像之外，將結果推導饋送至分別的圖像子網路。
如在第5a圖中所示例說明，來自FP樣本的資料可以在3個輸入子網路(以502-1 – 502-3來表示)之間劃分。CNN圖像子網路502-1處理「缺陷(defect)」 層級的低解析度的圖像501-1以獲得「缺陷(defect)」層級的特徵，並且CNN圖像子網路502-2處理「類別(class)」層級的高解析度的圖像501-2以獲得「類別(class)」層級的特徵。中介資料501-3(例如，可提供像素尺寸、FOV、掃描旋轉和掃描速率、訊框等等相關資訊的資料)是由全連接的輸入子網路502-3來處理以獲得「中介資料(metadata)」層級的特徵。
可選擇地，示例說明的DNN可具有一或多個額外的輸入子網路(例如，基於ADR的輸入等等)。
由輸入子網路中的每一者個別地產生的特徵被融合至全連接的子網路503，該全連接的子網路503聚合接收的特徵並計算出最終的屬性表示。
在示例說明於第5a圖中的示例中，來自所有的不同的來源的資料融合被提供為基於特徵的。
第5b圖示例說明：基於資料的融合及之後基於特徵的融合的示例。藉由預處理子網路510來一起對於不同的圖像資料501-1至501-2k進行預處理。可選擇地，預處理子網路510可包含：針對於每一種類型的圖像(例如，針對於每個檢查模態或其每一群組)的分別的第一卷積層。可選擇地，所有的第一卷積層可為相同的。再者，預處理子網路510可聚合數個圖像以獲得一聚合的圖像(例如，獲得的每個像素的最大值)。所得的聚合的圖像被饋送至輸入子網路502-1以提取聚合的圖像特徵。此外，數值層級的特徵和聚合的圖像特徵被饋送至輸出子網路503以獲得最終的屬性表示。
第5c圖示例說明：基於決策的融合的一示例。每個輸入子網路502-1至502-3分別地饋入專用的全連接的子網路(以503-1 – 503-3來表示)。因此，每個輸入類型是由提取分別的層級的特徵的專用的通道來提供。最終的缺陷層級的特徵、最終的類別層級的特徵，及最終的中介資料特徵被融合至分類子網路505，該分類子網路聚合接收的特徵且計算出針對於已知的類別的分類標記。
注意到最終的屬性表示(例如，如在第5a圖和第5b圖中所示例說明)實現以下所述者：也進一步地分類至一或多個先前未知的類別。
因此，如在前文中所示例說明，DNN能夠使用包含各種資料(例如，從不同的視角和利用不同的解析度獲得的源圖像、圖像內容(情境\缺陷)、來自源圖像的衍生者(高度圖、片段等等)、數值資料(例如，像素尺寸、手工建構的屬性)等等)的FP樣本來產生缺陷表示，從而提供分類結果的準確性。
本發明揭示的申請標的之某些實施例的進一步的優點是實現能夠針對於將來引入的類別建立新的屬性的基於FAB的自動程序。
本發明揭示的申請標的之某些實施例的另外的優點是產生穩定的屬性空間而不需要固定的專業校準的能力。
應理解到本發明的應用不限於在包含於本文中或於圖式中所示的描述中闡述的細節。本發明可以具有其他的實施例並且能夠利用各種方式來實施和實現。因此，應理解到在本文中採用的用語和術語是為了達到描述的目的，並且不應被視為具有限制性的。因此，彼等熟習此項技術者將理解到此揭露所基於的概念可被容易地利用以作為用於設計用以實現本發明揭示的申請標的之一些目的之其他的結構、方法，及系統的基礎。
亦將理解到可以至少部分地在適當程式化的電腦上實施根據本發明的系統。同樣地，本發明設想了一種可由電腦讀取以執行本發明的方法的電腦程式。本發明進一步地設想了一種非暫時性的電腦可讀取記憶體，該非暫時性的電腦可讀取記憶體有形地體現具有可由電腦執行以執行本發明的方法的指令的程式。
彼等熟習此項技術者將容易地理解到各種修正和改變可應用於如在前文中描述的本發明的實施例，而不偏離其範疇，該範疇被界定於隨附的請求項中且由隨附的請求項所界定。
100‧‧‧檢查系統 101‧‧‧檢查工具 102‧‧‧檢查工具 103‧‧‧FPEI系統 104‧‧‧處理器和記憶體電路 105‧‧‧輸入介面 106‧‧‧輸出介面 107‧‧‧儲存系統 108‧‧‧圖形使用者介面 109‧‧‧資料儲存庫 110‧‧‧CAD伺服器 111‧‧‧訓練集產生器 112‧‧‧深度的神經網路 113‧‧‧預DNN模組 114‧‧‧DNN模組 115‧‧‧後DNN模組 121‧‧‧低解析度的圖像資料 122‧‧‧高解析度的圖像資料 123‧‧‧指令相關的資料 124‧‧‧指令相關的資料 201‧‧‧步驟 202‧‧‧步驟 203‧‧‧步驟 301-1 - 301-3‧‧‧FP輸入資料 302-1 – 302-3‧‧‧輸入子網路 303‧‧‧融合層 304‧‧‧全連接層 305‧‧‧聚合子網路 306‧‧‧輸出子網路 401‧‧‧步驟 402‧‧‧步驟 403‧‧‧步驟 404‧‧‧步驟 405‧‧‧步驟 406‧‧‧步驟 407‧‧‧步驟 408‧‧‧步驟 408-1‧‧‧步驟 409‧‧‧步驟 409-1‧‧‧步驟 410‧‧‧步驟 420‧‧‧步驟 501-1‧‧‧「缺陷(defect)」層級的低解析度的圖像 501-2‧‧‧「類別(class)」層級的高解析度的圖像 501-3‧‧‧中介資料 502-1‧‧‧CNN圖像子網路 502-2‧‧‧CNN圖像子網路 502-3‧‧‧全連接的輸入子網路 503‧‧‧全連接的子網路 503-1‧‧‧全連接的子網路 503-2‧‧‧全連接的子網路 503-3‧‧‧全連接的子網路
為了要理解本發明並觀察在實務中可以如何地實行本發明，現在將參照隨附的圖式來描述實施例(僅作為非限制性的示例)，其中在該等圖式中：
第1圖示例說明：根據本發明揭示的申請標的之某些實施例的檢查系統的功能方塊圖。
第2圖根據本發明揭示的申請標的之某些實施例來示例說明：使用深度的神經網路(DNN)來基於製造程序(FP)圖像自動地決定檢查相關的資料的一般性的流程圖。
第3圖示例說明：根據本發明揭示的申請標的之某些實施例來配置的DNN的一般性的功能圖。
第4a圖和第4b圖示例說明：根據本發明揭示的申請標的之某些實施例的對於缺陷進行分類的一般性的流程圖；及
第5a圖至第5c圖示例說明：根據本發明揭示的申請標的之某些實施例的對於DNN網路進行分類的架構的非限制性的示例。
國內寄存資訊 (請依寄存機構、日期、號碼順序註記) 無
國外寄存資訊 (請依寄存國家、機構、日期、號碼順序註記) 無
100‧‧‧檢查系統
101‧‧‧檢查工具
102‧‧‧檢查工具
103‧‧‧FPEI系統
104‧‧‧處理器和記憶體電路
105‧‧‧輸入介面
106‧‧‧輸出介面
107‧‧‧儲存系統
108‧‧‧圖形使用者介面
109‧‧‧資料儲存庫
110‧‧‧CAD伺服器
111‧‧‧訓練集產生器
112‧‧‧深度的神經網路
113‧‧‧預DNN模組
114‧‧‧DNN模組
115‧‧‧後DNN模組
121‧‧‧低解析度的圖像資料
122‧‧‧高解析度的圖像資料
123‧‧‧指令相關的資料
124‧‧‧指令相關的資料

Claims (20)

  1. 一種檢查一半導體樣品的方法，該方法包含以下步驟：在藉由一電腦獲得於一半導體製造程序內針對於一給定的檢查相關的應用來訓練的一深度的神經網路(DNN)之後，使用訓練的該DNN以在運行時間處理一製造程序(FP)樣本，其中該FP樣本包含：從一或多個第一檢查模態接收的一或多個第一FP圖像和從一或多個第二檢查模態接收的一或多個第二FP圖像，該等第二檢查模態與該等第一檢查模態不同，並且其中訓練的該DNN與該一或多個第二FP圖像的處理分開地且並行地處理該一或多個第一FP圖像；及藉由該電腦而使用訓練的該DNN來在運行時間一同處理該一或多個第一FP圖像和該一或多個第二FP圖像的至少單獨處理的結果，以獲得特定於給定的應用和表徵經處理的該FP樣本中的該等FP圖像的至少一者的檢查相關的資料。
  2. 如請求項1所述之方法，其中該FP樣本進一步包含：與在該FP樣本中的該等FP圖像相關聯的數值資料，該方法進一步包含以下步驟：藉由訓練的該DNN而與處理該一或多個第一FP圖像和處理該一或多個第二FP圖像分開地處理該數值 資料的至少部分；及藉由透過訓練的該DNN來處理該一或多個第一FP圖像和該一或多個第二FP圖像的單獨處理的結果，以及數值資料的至少部分的處理結果來獲得特定於該給定的應用的該檢查相關的資料。
  3. 如請求項1所述之方法，其中該FP樣本進一步包含：與在該FP樣本中的該等FP圖像相關聯的數值資料，該方法進一步包含以下步驟：藉由訓練的該DNN與處理該一或多個第一FP圖像與處理該一或多個第二FP圖像分開地處理該數值資料的至少部分；及藉由訓練的該DNN來聚合該一或多個第一FP圖像和該一或多個第二FP圖像的單獨處理的結果，從而產生聚合的圖像資料；及藉由透過訓練的該DNN來處理該聚合的圖像資料，以及單獨處理數值資料的至少部分的結果來獲得特定於該給定的應用的該檢查相關的資料。
  4. 如請求項1所述之方法，其中該檢查特定的應用是從包含以下所述者的一群組中選出的：偵測在該半導體樣品中的缺陷；對於在該半導體樣品中的缺陷進行分類；在至少二個製造程序(FP)圖像之間進行配準；分割至少一個FP圖像，該至少一個FP圖像是 從包含該半導體樣品的一高解析度的圖像、該半導體樣品的一低解析度的圖像，及該半導體樣品的一基於設計資料的圖像的該群組中選出的；基於回歸地重建對應於藉由不同的檢查模態獲得的資料的FP圖像和基於回歸地重建圖像特性。
  5. 如請求項1所述之方法，其中該一或多個第一檢查模態藉由以下所述者中的至少一個而與該一或多個第二檢查模態有所不同：檢查工具、相同的檢查工具的通道、相同的檢查工具和/或通道的操作參數、對應於分別的FP圖像的該半導體樣品的層、獲得該等FP圖像的性質和應用至獲取的圖像的導出技術。
  6. 如請求項1所述之方法，其中該一或多個第一FP圖像是低解析度的圖像，並且該一或多個第二FP圖像是高解析度的圖像。
  7. 如請求項2所述之方法，其中該數值資料包含：中介資料和/或手工建構的屬性。
  8. 如請求項1所述之方法，其中該DNN是使用針對於來自所有製造階段的所有類型的層和產物收集的FAB資料來訓練的。
  9. 如請求項1所述之方法，其中該DNN在不同於該FAB資料的一資料集上進行粗略的訓練，並且進一步地在該FAB資料的至少一部分上針對於特定的 檢查相關的應用進行精細的訓練。
  10. 如請求項1所述之方法，其中該檢查特定的應用是對於在該半導體樣品中的缺陷進行分類，並且其中特定於該給定的應用的該檢查相關的資料是分類相關的屬性和/或表徵待分類的至少一個缺陷的分類標記。
  11. 一種可用於檢查一半導體樣品的系統，該系統包含：操作性地連接至一輸入介面和一輸出介面的一處理和記憶體區塊(PMB)，其中：該輸入介面經配置以接收一或多個製造程序(FP)圖像；該PMB經配置以進行以下步驟：獲得在一半導體製造程序內針對於一給定的檢查相關的應用訓練的一深度的神經網路(DNN)；使用訓練的該DNN以在運行時間處理一製造程序(FP)樣本，其中該FP樣本包含：從一或多個第一檢查模態接收的一或多個第一FP圖像和從一或多個第二檢查模態接收的一或多個第二FP圖像，該等第二檢查模態與該等第一檢查模態不同，並且其中訓練的該DNN與該一或多個第二FP圖像的處理分開地且並行地處理該一或多個第一FP圖像；及藉由該電腦而使用訓練的該DNN來在運行時間一 同處理該一或多個第一FP圖像和該一或多個第二FP圖像的至少單獨處理的結果，以獲得特定於給定的應用和表徵經處理的該FP樣本中的該等FP圖像的至少一者的檢查相關的資料。
  12. 如請求項11所述之系統，其中該FP樣本進一步地包含：與在該FP樣本中的該等FP圖像相關聯的數值資料，並且其中該PMC進一步地經配置以：藉由訓練的該DNN而與處理該一或多個第一FP圖像和處理該一或多個第二FP圖像分開地處理該數值資料的至少部分；及藉由透過訓練的該DNN來處理該一或多個第一FP圖像和該一或多個第二FP圖像，以及數值資料的至少部分的單獨處理的結果來獲得特定於該給定的應用的該檢查相關的資料。
  13. 如請求項11所述之系統，其中該FP樣本進一步包含：與在該FP樣本中的該等FP圖像相關聯的數值資料，並且其中該PMC進一步經配置以：藉由訓練的該DNN而與處理該一或多個第一FP圖像和處理該一或多個第二FP圖像分開地處理該數值資料的至少部分；及藉由訓練的該DNN來聚合該一或多個第一FP圖像和該一或多個第二FP圖像的單獨處理的結果，從而產 生聚合的圖像資料；及藉由透過訓練的該DNN來處理該聚合的圖像資料，以及單獨地處理數值資料的至少部分的結果來獲得特定於該給定的應用的該檢查相關的資料。
  14. 如請求項11所述之系統，其中該一或多個第一檢查模態藉由以下所述者中的至少一個而與該一或多個第二檢查模態有所不同：檢查工具、相同的檢查工具的通道、相同的檢查工具和/或通道的操作參數、對應於分別的FP圖像的該半導體樣品的層、獲得該等FP圖像的性質和應用至獲取的圖像的導出技術。
  15. 如請求項11所述之系統，其中該一或多個第一FP圖像是低解析度的圖像，並且該一或多個第二FP圖像是高解析度的圖像。
  16. 如請求項12所述之系統，其中該數值資料包含：中介資料和/或手工建構的屬性。
  17. 如請求項11所述之系統，其中該DNN是使用針對於來自所有製造階段的所有類型的層和產物收集的FAB資料來訓練的。
  18. 如請求項11所述之系統，其中該DNN是在不同於該FAB資料的一資料集上進行粗略的訓練，並且進一步地在該FAB資料的至少一部分上針對於特定的檢查相關的應用進行精細的訓練。
  19. 如請求項11所述之系統，其中該檢查特定的應用是對於在該半導體樣品中的缺陷進行分類，並且其中特定於該給定的應用的該檢查相關的資料是分類相關的屬性和/或表徵待分類的至少一個缺陷的分類標記。
  20. 一種非暫時性的電腦可讀取媒體，該電腦可讀取媒體包含：當由一電腦執行時使得該電腦進行檢查一半導體樣品的一方法的指令，該方法包含以下步驟：在藉由一電腦獲得於一半導體製造程序內針對於一給定的檢查相關的應用來訓練的一深度的神經網路(DNN)之後，使用獲得的訓練的該DNN以在運行時間處理一製造程序(FP)樣本，其中該FP樣本包含：從一或多個第一檢查模態接收的一或多個第一FP圖像和從一或多個第二檢查模態接收的一或多個第二FP圖像，該等第二檢查模態與該等第一檢查模態不同，並且其中訓練的該DNN與該一或多個第二FP圖像的處理分開地且並行地處理該一或多個第一FP圖像；及使用訓練的該DNN來在運行時間一同處理該一或多個第一FP圖像和該一或多個第二FP圖像的至少單獨處理的結果，以獲得特定於給定的應用和表徵經處理的該FP樣本中的一或多個FP圖像的至少一者的檢 查相關的資料。
TW108104434A 2018-02-07 2019-02-11 半導體樣品的基於深度學習的檢查的方法及其系統 TWI796431B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862627692P 2018-02-07 2018-02-07
US62/627,692 2018-02-07

Publications (2)

Publication Number Publication Date
TW201935590A TW201935590A (zh) 2019-09-01
TWI796431B true TWI796431B (zh) 2023-03-21

Family

ID=67548865

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108104434A TWI796431B (zh) 2018-02-07 2019-02-11 半導體樣品的基於深度學習的檢查的方法及其系統

Country Status (5)

Country Link
US (1) US11568531B2 (zh)
KR (1) KR102549196B1 (zh)
CN (1) CN111512324B (zh)
TW (1) TWI796431B (zh)
WO (1) WO2019155471A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3807720B1 (en) 2018-11-07 2022-05-11 ASML Netherlands B.V. Method for configuring a semiconductor manufacturing process, a lithographic apparatus and an associated computer program product
US11263496B2 (en) * 2019-02-25 2022-03-01 D2S, Inc. Methods and systems to classify features in electronic designs
US11182929B2 (en) 2019-02-25 2021-11-23 Center For Deep Learning In Electronics Manufacturing, Inc. Methods and systems for compressing shape data for electronic designs
TWI779284B (zh) 2020-05-06 2022-10-01 商之器科技股份有限公司 用於影像資料標註的裝置
US11774371B2 (en) * 2020-05-22 2023-10-03 Kla Corporation Defect size measurement using deep learning methods
US11379972B2 (en) * 2020-06-03 2022-07-05 Applied Materials Israel Ltd. Detecting defects in semiconductor specimens using weak labeling
US11232550B2 (en) * 2020-06-29 2022-01-25 Applied Materials Israel Ltd. Generating a training set usable for examination of a semiconductor specimen
CN112836853A (zh) * 2020-12-31 2021-05-25 杭州富加镓业科技有限公司 一种基于深度学习和热交换法的氧化镓制备方法及系统
CN114718587A (zh) * 2021-01-02 2022-07-08 杨立鹏 一种软弱围岩隧道挖掘机斗齿
EP4050560B1 (en) 2021-01-08 2023-07-12 Changxin Memory Technologies, Inc. Wafer testing method and apparatus, and device and storage medium
CN114764770A (zh) * 2021-01-08 2022-07-19 长鑫存储技术有限公司 晶圆检测方法、装置、设备及存储介质
US20220327796A1 (en) * 2021-04-12 2022-10-13 Kla Corporation Salient feature point based image alignment
WO2023004767A1 (en) * 2021-07-30 2023-02-02 Robert Bosch Gmbh Method and apparatus for automatic optical inspection
US20230197534A1 (en) * 2021-11-19 2023-06-22 The Government Of The United States Of America, As Represented By The Secretary Of The Navy Neural Network Based Prediction of Semiconductor Device Response
CN114648528B (zh) * 2022-05-19 2022-09-23 江苏第三代半导体研究院有限公司 一种半导体检测方法、装置以及计算机可读存储介质
US20240169116A1 (en) * 2022-11-21 2024-05-23 Kla Corporation Protecting data sources from different entities for semiconductor yield related applications
CN117952983A (zh) * 2024-03-27 2024-04-30 中电科大数据研究院有限公司 一种基于人工智能的智能制造生产过程监控方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140072204A1 (en) * 2011-04-20 2014-03-13 Hitachi High-Technologies Corporation Defect classification method, and defect classification system
US20160163035A1 (en) * 2014-12-03 2016-06-09 Kla-Tencor Corporation Automatic Defect Classification Without Sampling and Feature Selection
US20170067060A1 (en) * 2010-04-06 2017-03-09 Alnylam Pharmaceuticals, Inc. Compositions and methods for inhibiting expression of cd274/pd-l1 gene
US20170177997A1 (en) * 2015-12-22 2017-06-22 Applied Materials Israel Ltd. Method of deep learining-based examination of a semiconductor specimen and system thereof
US20170200265A1 (en) * 2016-01-11 2017-07-13 Kla-Tencor Corporation Generating simulated output for a specimen
TW201732305A (zh) * 2016-01-11 2017-09-16 克萊譚克公司 以影像為基礎之樣本程序控制
TW201732979A (zh) * 2016-01-04 2017-09-16 克萊譚克公司 光學晶粒對資料庫檢查
TW201734949A (zh) * 2016-01-15 2017-10-01 克萊譚克公司 使用具有晶圓影像資料之設計資料改良半導體晶圓檢測器之缺陷敏感度

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9430824B2 (en) * 2013-05-14 2016-08-30 Kla-Tencor Corporation Machine learning method and apparatus for inspecting reticles
US10733744B2 (en) * 2017-05-11 2020-08-04 Kla-Tencor Corp. Learning based approach for aligning images acquired with different modalities
US10699926B2 (en) * 2017-08-30 2020-06-30 Kla-Tencor Corp. Identifying nuisances and defects of interest in defects detected on a wafer

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170067060A1 (en) * 2010-04-06 2017-03-09 Alnylam Pharmaceuticals, Inc. Compositions and methods for inhibiting expression of cd274/pd-l1 gene
US20140072204A1 (en) * 2011-04-20 2014-03-13 Hitachi High-Technologies Corporation Defect classification method, and defect classification system
US20160163035A1 (en) * 2014-12-03 2016-06-09 Kla-Tencor Corporation Automatic Defect Classification Without Sampling and Feature Selection
US20170177997A1 (en) * 2015-12-22 2017-06-22 Applied Materials Israel Ltd. Method of deep learining-based examination of a semiconductor specimen and system thereof
US20170357895A1 (en) * 2015-12-22 2017-12-14 Applied Materials Israel Ltd. Method of deep learining-based examination of a semiconductor specimen and system thereof
US20170364798A1 (en) * 2015-12-22 2017-12-21 Applied Materials Israel Ltd. Method of deep learning-based examination of a semiconductor specimen and system thereof
TW201732979A (zh) * 2016-01-04 2017-09-16 克萊譚克公司 光學晶粒對資料庫檢查
US20170200265A1 (en) * 2016-01-11 2017-07-13 Kla-Tencor Corporation Generating simulated output for a specimen
TW201732305A (zh) * 2016-01-11 2017-09-16 克萊譚克公司 以影像為基礎之樣本程序控制
TW201734949A (zh) * 2016-01-15 2017-10-01 克萊譚克公司 使用具有晶圓影像資料之設計資料改良半導體晶圓檢測器之缺陷敏感度

Also Published As

Publication number Publication date
KR102549196B1 (ko) 2023-06-30
TW201935590A (zh) 2019-09-01
CN111512324A (zh) 2020-08-07
CN111512324B (zh) 2024-06-28
US20200294224A1 (en) 2020-09-17
US11568531B2 (en) 2023-01-31
KR20200116926A (ko) 2020-10-13
WO2019155471A1 (en) 2019-08-15

Similar Documents

Publication Publication Date Title
TWI796431B (zh) 半導體樣品的基於深度學習的檢查的方法及其系統
CN110945528B (zh) 产生可用于检查半导体样品的训练集的方法及其系统
TWI767108B (zh) 用於檢查半導體試樣的方法與系統及在其上紀錄相關指令的電腦可讀取媒體
KR102613438B1 (ko) 반도체 표본의 딥 러닝 - 기반 검사의 방법 및 그 시스템
US20220222806A1 (en) Machine learning-based classification of defects in a semiconductor specimen
TW202209153A (zh) 檢查方案的自動最佳化
JP7169393B2 (ja) 半導体試料の検査に使用可能な訓練セットの生成
CN114219749A (zh) 样本的模拟图像的确定
US11854184B2 (en) Determination of defects and/or edge roughness in a specimen based on a reference image
TW202339038A (zh) 基於機器學習的半導體樣品的檢查及其訓練