TW201946185A - 生成可用於半導體試樣的檢查的訓練集 - Google Patents

生成可用於半導體試樣的檢查的訓練集 Download PDF

Info

Publication number
TW201946185A
TW201946185A TW108105807A TW108105807A TW201946185A TW 201946185 A TW201946185 A TW 201946185A TW 108105807 A TW108105807 A TW 108105807A TW 108105807 A TW108105807 A TW 108105807A TW 201946185 A TW201946185 A TW 201946185A
Authority
TW
Taiwan
Prior art keywords
image
images
training set
enhanced
inspection
Prior art date
Application number
TW108105807A
Other languages
English (en)
Other versions
TWI767108B (zh
Inventor
歐海德 許奧比
阿賽夫 艾斯拜格
寶茲 扣漢
Original Assignee
以色列商應用材料以色列公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 以色列商應用材料以色列公司 filed Critical 以色列商應用材料以色列公司
Publication of TW201946185A publication Critical patent/TW201946185A/zh
Application granted granted Critical
Publication of TWI767108B publication Critical patent/TWI767108B/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0008—Industrial image inspection checking presence/absence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H01L21/67276—Production flow monitoring, e.g. for increasing throughput
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Power Engineering (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Manufacturing & Machinery (AREA)
  • Geometry (AREA)
  • Automation & Control Theory (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

提供了一種生成可用於檢查半導體試樣的訓練集的系統和方法。該方法包括:根據實體製程的參數值，獲得能夠模擬實體製程對製造過程（fabrication process, FP）圖像的影響的模擬模型；將該模擬模型應用至用於該訓練集的待增強圖像，從而生成與該實體製程的參數的一個或多個不同值對應的一個或多個增強圖像；並且將生成的一個或多個增強圖像包括在訓練集中。訓練集可用於使用訓練的深度神經網路的試樣檢查、自動缺陷審查、自動缺陷分類、檢查期間的自動導航、FP圖像的自動分割、基於FP圖像的自動計量以及包括有機器學習的其它檢查過程。

Description

生成可用於半導體試樣的檢查的訓練集
當前揭示的標的大體係關於試樣檢查的領域，並且更特定言之係關於用於自動試樣檢查的方法和系統。
當前對與製造的元件的超大規模整合相關聯的高密度和效能的需求要求亞微米特徵、增加的電晶體和電路速度、以及提高的可靠性。此類要求需要形成具有高精度和均勻性的元件特徵，此繼而需要仔細監控製造過程，此種監控包括在元件仍是半導體晶圓的形式時對元件進行自動檢查。
本說明書中使用的術語「試樣」應廣泛地被解釋為覆蓋任何種類的用於製造半導體積體電路的晶圓、掩模和其它結構、上述的組合及/或上述部分、磁頭、平板顯示器和其它半導體製品。
本說明書中使用的術語「檢查」應廣泛地被解釋為覆蓋任何種類的計量相關操作以及試樣製造期間的試樣中的缺陷的偵測及/或分類相關的操作。檢查是藉由在待檢查的試樣的製造期間或之後使用非破壞性檢查工具來提供的。作為非限制性實例，檢查過程可以包括使用相同或不同檢查工具的針對試樣或試樣的一部分而提供的運行時的掃描（以單次掃描的形式或多次掃描的形式）、取樣、審查、量測、分類及/或其它操作。同樣地，檢查可以在製造待檢查的試樣之前被提供，並且可以包括例如生成（多個）檢查方案及/或其它設置操作。將注意，除非另外特別說明，否則本說明書中使用的「檢查」或其派生術語並不限於檢驗區域的解析度或尺寸。作為非限制性實例，各種非破壞性檢查工具包括掃描電子顯微鏡、原子力顯微鏡、光學檢驗工具等。
作為非限制性實例，運行時的檢查可以採用兩階段程序，例如，檢查試樣，接著審查潛在缺陷的取樣的位置。在第一階段期間，以高的速度和相對低的解析度檢驗試樣表面。在第一階段，生成缺陷地圖以便顯示具有高的缺陷機率的試樣上的可疑位置。在第二階段期間，使用相對高的解析度對至少部分的可疑位置進行更細緻的分析。在一些情況下，兩個階段都可以藉由相同的檢驗工具實施，並且在一些其它情況下，該兩個階段藉由不同的檢驗工具實施。
檢查過程可以在半導體製造期間的各個步驟處使用以對試樣上的缺陷進行偵測和分類。檢查的效率可以藉由（多個）過程的自動化而增加，該過程的自動化例如自動缺陷分類（Automatic Defect Classification，ADC）、自動缺陷審查（Automatic Defect Review，ADR）等。
根據目前揭示的標的的某些態樣，提供了一種生成可用於半導體試樣檢查的訓練集的方法。該方法包括：獲得能夠模擬實體製程對製造過程（fabrication process, FP）圖像（例如，SEM圖像但不限於此）的影響的模擬模型，其中模擬可取決於實體製程的參數值；將該模擬模型應用至用於該訓練集的待增強圖像，從而生成與該實體製程的參數的一個或多個不同值對應的一個或多個增強圖像；以及將生成的一個或多個增強圖像包括在該訓練集中。
訓練集可用於使用訓練的深度神經網路的試樣檢查、自動缺陷審查、自動缺陷分類、檢查期間的自動導航、FP圖像的自動分割、基於FP圖像的自動計量和包括有機器學習的其它檢查過程。
待增強圖像可以是「真實世界」圖像、合成圖像、先前增強的圖像或可用於訓練集中的其它圖像。
根據目前揭示的標的的其他態樣，模擬模型可以是各個實體影響的參數模型或估計模型。作為非限制性實例，實體製程的影響可以是雜訊、工具之間的灰度級（Grey Level, GL）校準、聚焦誤差、顏色變化、充電（vibration）、振動、四元偵測器誤校準等。
根據目前揭示的標的的其他態樣，產生的一個或多個增強圖像可以與地面真實資料（ground truth data）關聯地包括在訓練集中。
根據目前揭示的標的的其他態樣，可以藉由將模擬模型與其它資料（例如，CAD資料、參考資料等）一起應用來生成一個或多個增強圖像。
根據目前揭示的標的的其它態樣，提供一種被配置為根據上述方法操作的可用於半導體試樣的檢查的系統。
根據目前揭示的標的的其它態樣，提供一種非暫時性電腦可讀取媒體，包含當由電腦運行時使電腦執行上述方法的指令。
目前揭示的標的的某些實施例的優點之一是用如本文揭示所生成的訓練集訓練的各個檢查過程的增強的強度。
在以下詳述中，闡述許多特定細節，以便提供對本發明的透徹理解。然而，本領域的技術人員將理解，可以在沒有該等特定細節的情況下實踐目前揭示的標的。在其它情況下，未詳細描述所熟知的方法、程序、部件和電路，以便不會不必要地模糊目前揭示的標的。
除非另外特別說明，從以下論述中將顯而易見的是，將瞭解，在整個說明書中，利用諸如「處理」、「計算」、「表示」、「比較」、「生成」、「訓練」、「分割」、「配凖」或類似術語的論述是指將資料操縱及/或變換為成其它資料的電腦的（多個）動作及/或（多個）處理，該資料被表示為物理量（諸如電學量）及/或該資料表示實體物件。術語「電腦」應廣泛地被解釋為覆蓋具有資料處理能力的任何種類的基於硬體的電子裝置，作為非限制性實例，該電子裝置包括製造過程檢查資訊（Fabrication Process Examination Information, FPEI）系統及其相應部分。
本文使用的術語「非暫時性記憶體」和「非暫時性儲存媒體」應廣泛地被解釋為覆蓋適合於目前揭示的標的的任何揮發性或非揮發性電腦記憶體。
本說明書中使用的術語「缺陷」應廣泛地被解釋為覆蓋在試樣上或試樣內形成的任何種類的異常或不期望的特徵。
本說明書中使用的術語「設計資料」應廣泛地被解釋為覆蓋指示試樣的分層實體設計（佈局）的任何資料。設計資料可以由相應的設計者提供及/或可以從實體設計匯出（例如，藉由複雜模擬、簡單幾何和布林操作等）。可以以不同的格式提供設計資料，作為非限制性實例，諸如GDSII格式、OASIS格式等。設計資料可以以矢量格式、灰度級強度圖像格式或以其它方式呈現。
將瞭解，除非另外特別說明，在單獨實施例的上下文中描述的目前揭示的標的的某些特徵亦可以在單個實施例中組合提供。反之，在單個實施例的上下文中描述的目前揭示的標的的各種特徵亦可以單獨地提供或以任何合適的子組合的形式提供。在以下詳述中，闡述許多特定細節，以便提供對方法和設備的透徹理解。
考慮到此點，注意圖 1 ，圖 1 圖示了根據目前揭示的標的的某些實施例的檢查系統的功能方塊圖。圖 1 中所示的檢查系統100 可以用於檢查作為試樣製造過程的一部分的試樣（例如，晶圓及/或晶圓的一部分）的檢查。所圖示的檢查系統100 包括基於電腦的系統103 ，系統103 能夠使用在試樣製造期間獲得的圖像（在下文中被稱為製造過程（FP）圖像）來自動確定計量相關及/或缺陷相關的資訊。系統103 在下文中被稱為製造過程檢查資訊（FPEI）系統。FPEI系統103 可以可操作地連接到一個或多個低解析度檢查工具101 及/或一個或多個高解析度檢查工具102 及/或其它檢查工具。檢查工具經配置以捕獲FP圖像及/或審查（多個）捕獲的FP圖像及/或賦能或提供與（多個）捕獲圖像相關的量測。FPEI系統可進一步可操作地連接到CAD伺服器110 和資料儲存庫109 。
FPEI系統103 包括[[注釋：在具體實施方式中避免使用法律術語 - 不包含、複數個等，以便描述更易由普通人閱讀]]可操作地連接到基於硬體的輸入介面105 和基於硬體的輸出介面106 的處理器和記憶體電路（processor and memory circuitry, PMC）104 。PMC104 經配置以提供用於操作FPEI系統需要的所有處理，如參考圖 2 至圖 4 更詳細描述的，並且包括處理器（未單獨圖示）和記憶體（未單獨圖示）。PMC104 的處理器可經配置以根據包含在PMC中的非暫時性電腦可讀記憶體上實施的電腦可讀指令來執行若干功能模組。此類功能模組在下文中被稱為包含在PMC中。包含在PMC104 中的功能模組包括可操作地連接的訓練集生成器111 。功能模組可進一步包括深度神經網路（DNN）112 。DNN112 包括DNN模組114 ，DNN模組114 經配置以使用（多個）深度神經網路賦能資料處理，以用於基於製造（FP）輸入資料輸出應用相關的資料。任選地，DNN112 可包括前DNN模組113 及/或後DNN模組115 ，前DNN模組113 經配置以在將輸入資料發送給DNN模組之前提供處理，後DNN模組115 經配置以提供由DNN模組生成的後處理資料。將參考圖 2 至圖 4 更詳細地描述FPEI系統103 、和PMC104 和其中的功能區塊的操作。
DNN模組114 可以包括監督或非監督DNN112 ，該DNN112 包括根據相應DNN架構組織的多個層。作為非限制性實例，DNN的多個層可以根據卷積神經網路（Convolutional Neural Network, CNN）架構、迴圈神經網路架構、遞迴神經網路架構、生成對抗網路（Generative Adversarial Network, GAN）架構等來組織。任選地，至少部分層可以被組織在複數個DNN子網路中。DNN模組114 的每一層可以包括在本領域中通常稱為維度、神經元或節點的多個基本計算元素（computational elements, CE）。
通常，給定層的計算元素可以與前一層及/或後一層的CE連接。前一層的CE和後一層的CE之間的每個連接都與加權值相關聯。給定的CE可以經由各個連接從前一層的CE接收輸入，每個給定連接與可以應用至給定連接的輸入的加權值相關聯。加權值可以確定連接的相對強度，從而確定各個輸入對給定CE輸出的相對影響。給定CE可經配置以計算啟動值（例如，輸入的加權和），並進一步藉由將啟動函數應用至計算的啟動來匯出輸出。啟動函數可以是，例如，身份函數、確定性函數（例如，線性函數、sigmoid函數、閾值函數或類似函數）、隨機函數或其它合適的函數。來自給定CE的輸出可以經由各自的連接傳輸到後續層的CE。同樣，如上所述，CE輸出端處的每個連接可以與加權值相關聯，該加權值可以在CE的輸出作為後續層的CE的輸入而被接收之前應用至CE的輸出。除了加權值之外，亦可以存在與連接和CE相關聯的閾值（包括限制函數）。
深度神經網路的加權值及/或閾值可以在訓練之前被初始選擇，並且可以在訓練期間被進一步迭代地調整或修改，以在被訓練的DNN中實施加權值及/或閾值的最佳集合。在每次迭代之後，可以確定DNN模組產生的實際輸出和與相應的資料訓練集相關聯的目標輸出之間的差異。此種差異可以稱為誤差值。當指示誤差值的成本函數小於預定值時，或者當迭代之間的效能實現有限變化時，可以確定訓練已經完成。任選地，在訓練整個DNN之前，可以單獨訓練至少一部分DNN子網路（若有）。
用於調整深度神經網路的權重/閾值的DNN輸入資料集在下文中被稱為訓練集。
DNN112 的輸入可以在輸入到DNN模組114 之前由前DNN模組113 預處理，及/或DNN模組114 的輸出可以在從DNN112 輸出之前由後DNN模組115 後處理。在此種情況下，DNN112 的訓練亦包括確定前DNN模組及/或後DNN模組的參數。任選地，可以訓練DNN模組，以便最小化整個DNN的成本函數，同時可以預定義和在訓練期間調整前DNN模組及/或後DNN模組的參數。在訓練時表徵DNN112 的一組基於訓練的參數可以進一步包括與前DNN和後DNN處理相關的參數。
注意，當前揭示的標的的教示不受DNN112 架構的約束。
作為DNN112 的替代或補充，PMC可以包括自動缺陷審查模組（Automatic Defect Review Module, ADR）及/或自動缺陷分類模組（Automatic Defect Classification Module, ADC）及/或在訓練後可用於半導體試樣檢查的其它基於機器學習的檢查模組。任選地，一個或多個檢查模組可以包括DNN112 。任選地，DNN112 可以在檢查模組之間共享，或者，任選地，該一個或多個檢查模組中的每一個可以包括其自己的DNN112 。
如將參考圖 2 至圖 4 進一步詳細描述的，FPEI系統經配置以經由輸入介面105 接收FP輸入資料。FP輸入資料可以包括由檢查工具產生的資料（及/或其衍生資料及/或與其相關聯的中繼資料）及/或儲存在一個或多個資料儲存庫109 及/或CAD伺服器110 及/或另一相關資料儲存庫中的資料。注意，FP輸入資料可以包括圖像（例如，捕獲圖像、從捕獲圖像匯出的圖像、模擬圖像、合成圖像等）和相關聯的數字資料（例如中繼資料、手工製作的屬性等）。亦應注意，圖像資料可包括與試樣的感興趣層及/或一個或多個其它層相關的資料。任選地，出於訓練目的，FP輸入資料可以包括全部可用FAB資料或根據某些標準選擇的可用FAB資料的一部分。
FPEI系統亦經配置以處理接收到的FP輸入資料的至少一部分，並且經由輸出介面106 將結果（或其一部分）發送到儲存系統107 、（多個）檢查工具、用於呈現結果的基於電腦的圖形使用者介面（GUI）108 及/或外部系統（例如FAB的產量管理系統（Yield Management System, YMS））。GUI108 亦可以經配置以賦能與操作FPEI系統103 相關的使用者指定輸入。
作為非限制性實例，可以藉由一個或多個低解析度檢查機器101 （例如光學檢驗系統、低解析度SEM等）檢查試樣。提供試樣的低解析度圖像資訊的結果資料（在下文中被稱為低解析度圖像資料121 ）可以直接或經由一個或多個中間系統被傳輸到FPEI系統103 。替代地或另外地，試樣可以由高解析度機器102 檢查（例如，被選擇以用於審查的潛在缺陷位置的子集可以由掃描電子顯微鏡（SEM）或原子力顯微鏡（AFM）審查。提供試樣的高解析度圖像資訊的結果資料（在下文中被稱為高解析度圖像資料122 ）可以直接或經由一個或多個中間系統被傳輸到FPEI系統103 。
注意，圖像資料可以與相關聯的中繼資料（例如像素大小、缺陷類型的文本描述、圖像捕獲過程的參數等）一起被接收和處理。
在處理FP輸入資料（例如低解析度圖像資料及/或高解析度圖像資料，任選地與其它資料一起作為（例如）設計資料、合成資料等）時，FPEI系統可以將結果（例如指令相關資料123 及/或124 ）發送到任何（多個）檢查工具，將結果（例如缺陷屬性、缺陷分類等）儲存在儲存系統107 中，經由GUI108 呈現結果及/或發送到外部系統（例如YMS）。
本領域的技術人員將容易地理解，當前揭示的標的的教示不受圖 1 中所示的系統的約束；等效及/或修改的功能可以以另一方式合併或分割並且可以以軟體與固件及/或硬體的任何適當的組合來實施。
在不以任何方式限制本揭示的範疇的情況下，亦應當注意，檢查工具可以實施為各種類型的檢驗機器，例如光學成像機器、電子束檢驗機器等。在某些情況下，相同的檢查工具可以提供低解析度圖像資料和高解析度圖像資料。在一些情況下，至少一個檢查工具可以具有計量能力。
將注意，圖 1 中所示的檢查系統可以在分散式計算環境中實施，其中圖 1 中所示的前述功能模組可以被分佈在若干本地及/或遠端裝置上，並且可以藉由通信網路連結。亦應注意，在其它實施例中，檢查工具101 及/或102 、資料儲存庫109 、儲存系統107 及/或GUI108 的至少一部分可以在檢查系統100 外部，並且經由輸入介面105 和輸出介面106 與FPEI系統103 進行資料通信操作。FPEI系統103 可以被實施為獨立的（多個）電腦，以與檢查工具結合地使用。替代地，FPEI系統的相應功能可以至少部分地與一個或多個檢查工具整合。
僅出於說明的目的，提供以下描述用於使用訓練的DNN檢查半導體樣品。本領域的技術人員將容易理解，當前揭示的標的的教示同樣適用於生成用於其它基於機器學習的檢查模組的訓練集，例如ADR、ADC、自動導航模組、自動分割模組和類似模組。
參考圖2，圖示了使用DNN112 基於製造過程（FP）圖像自動確定檢查相關資料的概括流程圖。如轉讓給本申請受讓人的第2017/ 0177997號美國專利申請中所述，並且藉由引用的方式將美國專利申請的全文併入本文，該過程包括設置步驟，該設置步驟包括訓練深度神經網路（DNN）112 ，其中DNN被訓練以用於給定的檢查相關應用，並且在訓練時，DNN表徵基於訓練的參數的特定應用集。作為非限制性實例，與檢查相關的應用可以是以下之一: 使用由DNN生成的屬性的缺陷分類（定義類可以包括修改及/或更新預先存在的類定義及/或識別新的類）； 製造過程圖像的分割，包括將FP圖像分割成片段（例如材料類型、邊緣、像素標記、感興趣區域等）； 缺陷偵測（例如，使用FP圖像識別一個或多個候選缺陷（若存在），並對該候選缺陷進行標記，確定候選缺陷的真值，獲得缺陷的形狀資訊，等等）； 兩個或更多個圖像之間的配凖，包括獲得圖像之間的幾何扭曲參數（可以是全域的或局部的，簡單如移位或更複雜的變換）； 跨模態回歸（例如，從來自不同檢查模態的一個或多個圖像重建圖像，例如，該不同檢查模態是來自CAD的SEM或光學圖像、來自SEM圖像的高度圖、來自低解析度圖像的高解析度圖像）； 基於回歸的圖像屬性估計； 上述的（多個）組合。
在設置步驟期間獲得針對給定應用訓練的DNN112 （201 ）。如將參考圖 3 至圖 5 進一步詳細描述，PMC104 （例如訓練集生成器111 ）可以經配置以執行生成進一步可用於DNN112 的訓練的特定應用訓練集。生成訓練集可以包括增強訓練樣品（以及（若適用）地面真實資料），並將增強的訓練圖像和增強的地面真實資料包括在訓練樣本中。替代地或另外地，生成訓練集可以包括生成合成圖像（並且（若必要）獲得地面真實資料），並且將合成圖像包括在訓練樣本中。
注意，DNN訓練過程可以是迴圈的，並且可以重複若干次，直到DNN被充分訓練。該過程可以從初始生成的訓練集開始，同時使用者根據初始訓練集針對由DNN達到的結果提供回饋。所提供的回饋可以包括，例如: 一個或多個像素、區域及/或缺陷的手動重新分類； 分類的優先次序； 靈敏度的變化、地面真實分割的更新及/或為分割應用手動定義感興趣區域（ROI）； 為缺陷偵測應用重新定義掩模/邊界框； 為配凖應用重新選擇失敗個例及/或手動配凖失敗個例； 為基於回歸的應用等重新選擇感興趣的特徵。
PMC可以基於收到的回饋調整下一個訓練週期。調整可以包括以下至少一項:更新訓練集、更新成本函數、更新前DNN及/或後/DNN演算法等。任選地，一些訓練週期可以不提供給整個DNN112 ，而是提供給前DNN模組113 、後DNN模組115 或DNN模組114 的一個或多個更高的層。
在運行期間，FPEI系統的PMC使用獲得的訓練DNN112 來處理包括FP圖像的FP樣本（202 ）。從而PMC獲得表徵處理的FP樣本中的至少一個圖像的特定於應用的檢查相關資料（203 ）。當處理FP樣本時，PMC亦可以使用預定義的參數及/或從其它來源接收的參數，以及在訓練時表徵DNN112 的基於訓練的參數。
FP樣本中的FP圖像可以來自不同的檢查模態（例如，來自不同的檢查工具；來自同一檢查工具的不同通道，例如亮場和暗場圖像；來自使用不同操作參數的相同檢查工具；可以從設計資料中匯出等）。注意，檢查模態可以彼此不同，歸因於各自圖像的來源（例如，由掃描電子顯微鏡（SEM）捕獲的圖像、由光學檢驗系統捕獲的圖像、從捕獲的圖像匯出的圖像、基於CAD生成的圖像等），及/或歸因於應用至捕獲圖像的匯出技術（例如藉由分割、缺陷輪廓提取、高度圖計算等匯出的圖像），及/或歸因於檢查參數（例如，藉由某個檢查工具提供的透視及/或解析度等）。作為非限制性實例，FP樣本可以包括與缺陷相關的一組圖像，該圖像藉由相同或不同的檢查模態、參考模具圖像、基於CAD的圖像、從所獲得的圖像匯出的資料（例如，高度圖、缺陷掩模、等級、分割等）來分類和獲得。FP樣品亦可以包括與圖像及/或其中的缺陷相關的中繼資料（例如成像條件、像素大小、工程屬性（例如缺陷大小、取向、背景片段等），等。）。作為非限制性實例，中繼資料可以由PMC根據儲存在PMC中及/或從各個檢查工具接收的預定義指令生成。
任選地，訓練樣本可以對應於FP樣本。每個訓練樣本可以包括至少相同數量的藉由相同的檢查模態獲得的圖像，並且與相應FP樣本中的圖像具有相同的關係。注意，在某些實施例中，訓練樣本可能缺失與FP樣本中的圖像相對應的一些圖像。該等缺陷可以藉由不同的技術來補償，其中一些技術是本領域已知的（例如，缺失的圖像可以藉由根據來自另一訓練樣本的相應圖像的平均值生成的圖像來補償等）。任選地，訓練樣本可以進一步包括藉由額外檢查模態獲得的額外圖像，該等額外檢查模態通常在運行時是不可用的，及/或藉由增強可用於訓練的圖像，及/或藉由生成一個或多個合成圖像獲得。
例如，FP圖像可以選自在製造過程期間捕獲的試樣（例如，晶圓或其部分）的圖像、藉由各種預處理階段獲得的捕獲圖像的衍生圖像（例如，由SEM或光學檢驗系統捕獲的晶圓或光罩的一部分的圖像、大致以待由ADC分類的缺陷為中心的SEM圖像、待由ADR定位缺陷的較大區域的SEM圖像、對應於相同掩模位置的不同檢查模態的配凖圖像、分割圖像、高度圖圖像等）和電腦生成的基於設計資料的圖像。
作為非限制性實例，特定於應用的檢查相關資料可以表示值的每像素地圖，該等值的含義取決於應用（例如，用於缺陷偵測的二元地圖；表示族類型或通用類的有害族預測的離散地圖；用於缺陷類型分類的離散地圖；用於交叉模態或模間模型（die-to model, D2M）回歸等的連續值）。可以進一步獲得每個像素的地圖，以及指示針對像素獲得的值的機率的每個像素的機率地圖。
替代地或另外地，獲得的特定於應用的檢查相關資料可以表示匯總整個圖像內容（不是每個像素）的一個或多個值，諸如（例如）用於自動缺陷審查應用的缺陷屬性、缺陷邊界框候選和相關缺陷概率，用於自動缺陷分類應用的缺陷類和類概率等。
替代地或另外地，所獲得的特定於應用的缺陷相關資料可以不直接與缺陷相關，而是可用於缺陷分析（例如，藉由FP圖像的分割而獲得的晶圓的層之間的邊界可以用於定義缺陷的層、缺陷環境資料，例如，背景圖案的特徵等）。替代地或另外地，檢查相關資料可用於計量目的。
參照圖 3 ，圖示了訓練集生成器111 。根據當前呈現的標的的某些實施例，訓練集生成器111 包括增強圖像生成器301 、合成圖像生成器302 和輸出訓練集模組303 ，輸出訓練集模組303 可操作地耦合到生成器301 和生成器302 ，並被配置以生成包括「真實世界」訓練樣本、合成訓練樣本及/或增強訓練樣本的訓練集。生成的訓練集可以儲存在PMC104 的記憶體中。
訓練集生成器可以經由輸入介面105 從資料儲存庫109 、CAD伺服器110 或任何其它合適的資料儲存庫獲得「真實世界」訓練樣本的資料（以及任選地，地面真實資料）。替代地或另外地，可以經由GUI108 獲得地面真實資料。
取決於應用，「真實世界」訓練樣本可以是藉由相同或不同檢查模態獲得的試樣的單個圖像或一組圖像。「真實世界」訓練樣本亦可以包括與圖像相關聯的數字資料，例如中繼資料、手工製作的屬性（例如缺陷大小、取向、背景片段等）和其它。地面真實資料的值可以包括與特定於應用的訓練樣本相關聯的圖像及/或標籤。地面真實資料可以合成產生（例如，基於CAD的圖像）、實際產生（例如，捕獲的圖像）、藉由機器學習注釋產生（例如，基於特徵提取和分析的標籤）、藉由人工注釋產生、或者上述的組合產生等。
注意，取決於應用，相同的圖像可用於訓練樣本或地面真實資料。作為非限制性實例，基於CAD的圖像可以用作分割應用的訓練樣本，並且可以用作基於回歸的應用的地面真實資料。如第2017/0177997號美國專利申請中所述，地面真實資料可能因應用而異。
增強圖像生成器301經配置以從「真實世界」訓練樣本中增強一個或多個圖像，由此匯出增強圖像。來自「真實世界」訓練樣本的圖像增強可以藉由各種影像處理技術來提供，包括添加雜訊、模糊、幾何變換（例如旋轉、拉伸、模擬不同角度、裁剪、縮放等）、色調映射、改變圖像的一個或多個像素的矢量資訊（例如添加及/或修改視角或採集通道等）等。
替代地或另外地，來自「真實世界」訓練樣本的圖像可以使用合成資料（例如，缺陷相關資料、模擬連接器或其它物件、來自其它圖像的植入等）來增強。作為非限制性實例，已知缺陷類型的可用圖像（及/或參數）可用於在圖像中植入新的缺陷、放大圖像中預先存在的缺陷的缺陷強度、從圖像中去除缺陷、掩蓋圖像中的缺陷（使得更難偵測）等。
例如，生成具有合成缺陷的圖像可以包括: -訓練CNN DNN（例如，基於Alex-Net等）； -獲得包含選擇像素的第一圖像； -獲得包含選擇背景的第二圖像； -使用訓練的CNN網路以將選擇的缺陷的「樣式轉移」實行到選擇的背景中。此種實施可以例如使用https://arxiv.org/pdf/1508.06576.pdf中揭示的技術來提供。
然而替代地或另外地，來自「真實世界」訓練樣本的捕獲圖像可以使用分割、缺陷輪廓提取及/或高度圖計算來增強，及/或可以藉由與相應的基於CAD的圖像一起處理來獲得。
增強技術可以以獨立於應用的方式應用至「真實世界」訓練樣本的（多個）圖像。替代地，增強訓練樣本可以以特定應用的方式匯出，其中藉由優先於特定應用的技術獲得相應增強圖像的至少大部分。表 1 圖示了第2017/0177997號美國專利申請中詳述的特定應用的較佳增強技術的非限制性實例。表 1 . 較佳增強技術的特定應用實例
任選地，增強技術亦可以應用至由合成圖像生成器302 生成的合成圖像，並且由輸出模組303 生成的訓練集可以進一步包括由生成器302 生成並由生成器301 進一步增強的合成圖像。
因此，根據當前揭示的標的的某些實施例，生成的訓練集的訓練樣本的數量可以顯著大於「真實世界」訓練樣本的數量。例如，「真實世界」訓練樣本集可以包括100到50,000個訓練樣本，而根據當前揭示的標的的某些實施例生成的訓練集可以包括至少100,000個訓練樣本。值得注意的是，捕捉圖像是一個緩慢而且可能亦很昂貴的過程。藉由增強捕獲的圖像及/或生成合成圖像而在訓練集中生成足夠量的訓練樣本，能夠提高DNN訓練的效率。
此外，增強和合成圖像生成的技術使得生成的訓練集能夠適應特定應用的需求。作為非限制性實例，與特定缺陷類（例如少數類）相關的FAB資料的缺乏可以藉由呈現相應缺陷的合成及/或增強圖像來補償。藉由進一步的非限制性實例，與特定層相關的適當FAB資料的缺乏可以藉由與該層相關的合成圖像來補償。同樣，來自於工具變化訓練所需的特定工具的資料缺乏可以藉由與該工具相關的合成圖像來補償。
參考圖 4 ，圖示了生成用於訓練集的增強圖像的概括流程圖。
僅出於說明的目的，以下描述提供了可用於訓練DNN的訓練集，該訓練集亦可用於半導體試樣的檢查。本領域技術人員將容易理解，當前揭示的標的的教示同樣適用於可用於自動缺陷審查、自動缺陷分類、檢查期間的自動導航、FP圖像的自動分割、基於FP圖像的計量以及包括機器學習的其它檢查過程的訓練集。根據當前揭示的標的的某些實施例，用於訓練集的圖像增強可以賦能訓練的DNN對不同的過程變化的穩健性（robustness）。
僅出於說明的目的，提供以下描述用於增強來自訓練集中的「真實世界」圖像。本領域技術人員將容易理解，當前揭示的標的的教示同樣適用於為訓練集生成的合成圖像及/或訓練集中的先前增強的圖像。
該過程包括由FPEI系統獲得能夠取決於（多個）實體製程參數的值來模擬某個實體製程對FP圖像的影響（通常是不期望的影響，儘管不是必需的）的數學模型（在下文中亦被稱為模擬模型）（402 ）。訓練集生成器將模擬模型應用至用於訓練集的待增強圖像（401 ），從而生成與某個實體製程的一個或多個不同參數值對應的一個或多個增強圖像（403 ）。生成的增強圖像可以被添加到訓練集中（404 ）。模擬模型可以由FPEI系統103 從檢查系統的其它區塊（例如，從儲存系統107 ）及/或從（多個）外部系統接收。任選地，模擬模型的至少一部分可以由FPEI系統103 生成。
注意，模擬模型可以是相應實體影響的參數模型或估計模型。亦應注意，可藉由應用模擬不同實體影響的兩個或更多個模型來獲得增強圖像。
任選地，可以對訓練集中生成的增強圖像進行加權，當應用訓練集時要考慮該等加權。作為非限制性實例，可以在原始圖像和增強圖像之間提供加權。替代地或另外地，可以在增強圖像之間提供加權（例如，取決於實體製程參數的相應值的機率）。
任選地，可以將生成的增強圖像與地面真實資料相關聯地添加到訓練集中。原始圖像和增強圖像可以與相同的地面真實資料（例如缺陷標籤）相關聯。替代地，增強圖像可以與增強的地面真實資料相關聯（例如，訓練集中的增強類分佈）。
任選地，可以藉由將模擬模型與其它資料（例如CAD資料、參考圖像等）一起應用來獲得增強圖像。
以下是根據當前揭示的標的的某些實施例應用上述方法以減少不同干擾效果的影響的非限制性實例。
雜訊 「真實世界」圖像包含雜訊，其中每個灰度級（GL）強度包含不同尺度的雜訊強度。將具有期望雜訊參數值的雜訊模擬模型應用至原始圖像可以導致具有不同期望水準的附加雜訊的增強圖像。因此，包括此種增強圖像的訓練集將賦能訓練的DNN對FT樣品中雜訊的增加的穩健性。
GL- 工具之間的校準 : 由不同工具拍攝的圖像的灰度級可以相差一個因數，即使在同一晶圓的相同位置以相同解析度拍攝時亦如此。因此，在由除了捕獲FP圖像的工具之外的工具所捕獲的圖像上訓練DNN會降低DNN的泛化能力。根據當前揭示的標的的某些實施例，每個給定工具可以與針對給定工具定制的GL模擬模型相關聯。將此種具有期望GL強度值的模型應用至由給定工具捕獲的圖像會導致訓練集的增強圖像。包含此種增強圖像的訓練集將實施對GL工具變化的穩健性，並減少從多個工具收集訓練資料的必要性。
聚焦誤差： 某些缺陷類（例如，大圖案損壞、大顆粒等）比其它類對聚焦誤差更敏感。根據當前揭示的標的的某些實施例，訓練集生成器可以將散焦模擬模型應用至散焦敏感類的缺陷圖像。所得到的具有期望散焦值的增強缺陷可以與相應缺陷的類指示標籤相關聯地被添加到訓練集中。
顏色變化（ Color Variation, CV ）：
顏色變化可發生在單個圖像內（例如，由於層厚度變化）或缺陷和參考圖像之間。CV可能源於不同的工具校準，並且可以藉由圖像中GL的局部變化來表徵。將CV模型應用至原始圖像可以導致具有不同的期望水準的附加變化的增強圖像。因此，包括此種增強圖像的訓練集將賦能對FT樣品中顏色變化的增加的穩健性。充電： 充電效果造成缺陷圖像和參考圖像之間的人為差異，並且可顯著影響檢查過程。將充電效果的模擬模型應用至原始圖像可以產生增強圖像，使得訓練的DNN能夠忽略由於充電效果而產生的差異。
振動： 振動可導致圖像邊緣的擴展。應用模擬由振動導致的模糊邊緣的模型可以產生增強的圖像，使得邊緣假笑效果（edge smirking effect）更加穩健。
四元偵測器誤校準 四元偵測器的校準可能是次優的，導致不同視角內的圖像重疊。應用模擬模型（任選地，與CAD資料一起，以增強邊緣偵測）能夠獲得具有不同期望水準的附加重疊的增強圖像。因此，經過訓練的DNN在工具校準方面可以變得更加穩健。
增強過程的某些實施例（包括上述圖示）的優點之一是減少干擾對訓練的DNN的影響，從而提高針對ADC、ADR、匹配、計量和其它檢查任務實施訓練的DNN的穩健性和有效性。
將理解，本發明的應用不限於本文包含的描述中闡述的或附圖中圖示的細節。
亦將理解，根據本發明的系統可以至少部分地在適當程式設計的電腦上實施。同樣地，本發明預期了一種電腦程式，電腦程式可由電腦讀取以執行本發明的方法。本發明亦預期了一種非暫時性電腦可讀記憶體，其有形地體現可由電腦執行的用於執行本發明的方法的指令程式。
本發明能夠具有其它實施例並且能夠以各種方式來實踐或實行。因此，將理解，本文使用的措辭和術語是出於描述的目的，並且並不應被視為是限制性的。因此，本領域的技術人員將瞭解，本揭示所基於的概念可容易地用作設計用於實施當前揭示的標的的若干目的的其它結構、方法和系統的基礎。
本領域的技術人員將容易地理解，在不脫離本發明的在隨附申請專利範圍中確定的保護範圍的情況下，可以對如上所述的本發明的實施例應用各種修改和變化。
100‧‧‧檢查系統
101‧‧‧低解析度檢查工具
102‧‧‧高解析度檢查工具
103‧‧‧基於電腦的系統
104‧‧‧處理器和記憶體電路
105‧‧‧基於硬體的輸入介面
106‧‧‧基於硬體的輸出介面
107‧‧‧儲存系統
108‧‧‧基於電腦的圖形使用者介面（GUI）
109‧‧‧資料儲存庫
110‧‧‧CAD伺服器
111‧‧‧訓練集生成器
112‧‧‧深度神經網路（DNN）
113‧‧‧前DNN模組
114‧‧‧DNN模組
115‧‧‧後DNN模組
121‧‧‧低解析度圖像資料
122‧‧‧高解析度圖像資料
123‧‧‧指令相關資料
124‧‧‧指令相關資料
201‧‧‧步驟
202‧‧‧步驟
203‧‧‧步驟
301‧‧‧增強圖像生成器
302‧‧‧合成圖像生成器
303‧‧‧輸出訓練集模組
401‧‧‧步驟
402‧‧‧步驟
403‧‧‧步驟
404‧‧‧步驟
為了理解本發明並且理解本發明如何在實踐中實行，現在將參考附圖並僅以非限制性實例的方式來描述實施例，其中：
圖 1 圖示了根據目前揭示的標的的某些實施例的檢查系統的概括方塊圖；
圖 2 圖示了根據目前揭示的標的的某些實施例的使用深度神經網路（deep neural network, DNN）以基於製造過程（FP）圖像自動確定檢查相關的資料的概括流程圖；
圖 3 圖示了根據目前揭示的標的的某些實施例而配置的訓練集生成器的概括功能方塊圖；以及
圖 4 圖示了根據目前揭示的標的的某些實施例的使用增強圖像生成訓練集的概括流程圖。
國內寄存資訊 (請依寄存機構、日期、號碼順序註記) 無
國外寄存資訊 (請依寄存國家、機構、日期、號碼順序註記) 無

Claims (19)

  1. 一種生成可用於檢查一半導體試樣的一訓練集的方法，該方法由一電腦執行，並且包括以下步驟: a. 獲得能夠模擬一實體製程對製造過程（fabrication process, FP）圖像的一影響的一模擬模型，其中該模擬基於該實體實體製程的參數值； b．將該模擬模型應用至用於該訓練集的一待增強圖像，從而生成與該實體製程的該等參數的一個或多個不同值對應的一個或多個增強圖像；以及 c. 將生成的該一個或多個增強圖像包括到該訓練集中。
  2. 如請求項1所述之方法，其中該訓練集可用於從包括以下項的群組中選擇的至少一個檢查過程:使用一訓練的深度神經網路的試樣檢查、自動缺陷審查、自動缺陷分類、檢查期間的自動導航、FP圖像的自動分割以及基於FP圖像的自動計量。
  3. 如請求項1所述之方法，其中該實體製程對該FP圖像的該影響是一不期望的影響。
  4. 如請求項1所述之方法，其中該FP圖像是掃描電子顯微鏡(SEM)圖像。
  5. 如請求項1所述之方法，其中該待增強圖像是從由以下項組成的群組中選擇的：一「真實世界」圖像、合成圖像和在該訓練集中可用的先前增強圖像。
  6. 如請求項1所述之方法，其中該模擬模型是該實體製程的一相應的模擬影響的一參數模型或一估計模型。
  7. 如請求項1所述之方法，其中在該訓練集中生成的該增強圖像在包含在該訓練集中時被加權。
  8. 如請求項1所述之方法，其中該實體製程的該模擬影響是從包括以下項的群組中選擇的：雜訊、工具之間的灰度級（Grey Level, GL）校準、聚焦誤差、顏色變化、充電、振動和四元偵測器誤校準。
  9. 如請求項1所述之方法，其中產生的該一個或多個增強圖像與一地面真實資料相關聯地包括在該訓練集中。
  10. 如請求項1所述之方法，其中該一個或多個增強圖像藉由將該模擬模型與設計資料一起應用而生成。
  11. 一種可用於一半導體試樣的檢查的系統，該系統包括可操作地連接到一輸入介面的一處理和記憶體電路（processing and memory circuitry, PMC），其中： 該輸入介面經配置以接收用於該訓練集的一待增強圖像；以及 該PMC經配置以： 獲得能夠模擬一實體製程對製造過程（FP）圖像的影響的一模擬模型，其中模擬依賴於該實體製程的參數值； 將該模擬模型應用至用於該訓練集的一待增強圖像，從而生成與該實體製程的該等參數的一個或多個不同值對應的一個或多個增強圖像；以及 將生成的該一個或多個增強圖像包括到該訓練集中。
  12. 如請求項11該的系統，其中該訓練集可用於從包括以下項的群組中選擇的至少一個檢查過程：使用一訓練的深度神經網路的試樣的檢查、自動缺陷審查、自動缺陷分類、檢查期間的自動導航、FP圖像的自動分割以及基於FP圖像的自動計量。
  13. 如請求項11所述之系統，其中該待增強圖像是從由以下項組成的群組中選擇的：一「真實世界」圖像、合成圖像和在該訓練集中可用的先前增強圖像。
  14. 如請求項11所述之系統，其中該模擬模型是該實體製程的一相應的模擬影響的一參數模型或一估計模型。
  15. 如請求項11所述之系統，其中該PMC經配置以在將生成的該等增強圖像包括在該訓練集中之前向生成的該等增強圖像提供權重。
  16. 如請求項11所述之系統，其中該實體製程的該模擬影響是從包括以下項的群組中選擇的：雜訊、工具之間的灰度級（GL）校準、聚焦誤差、顏色變化、充電、振動和四元偵測器誤校準。
  17. 如請求項11所述之系統，其中產生的該一個或多個增強圖像與一地面真實資料相關聯地包括在該訓練集中。
  18. 如請求項11所述之方法，其中該PMC經配置以藉由將該模擬模型與其它資料一起應用來生成該一個或多個增強圖像。
  19. 一種非暫時性電腦可讀取媒體，包括指令，該等指令當由一電腦執行時，使該電腦執行包括以下的操作： a. 獲得能夠模擬一實體製程對製造過程（FP）圖像的影響的一模擬模型，其中該模擬依賴於該實體製程的參數值； b．將該模擬模型應用至用於該訓練集的一待增強圖像，從而生成與該實體製程的該等參數的一個或多個不同值對應的一個或多個增強圖像；以及 c. 將生成的該一個或多個增強圖像包括到該訓練集中。
TW108105807A 2018-02-21 2019-02-21 用於檢查半導體試樣的方法與系統及在其上紀錄相關指令的電腦可讀取媒體 TWI767108B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862633555P 2018-02-21 2018-02-21
US62/633,555 2018-02-21

Publications (2)

Publication Number Publication Date
TW201946185A true TW201946185A (zh) 2019-12-01
TWI767108B TWI767108B (zh) 2022-06-11

Family

ID=67617246

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108105807A TWI767108B (zh) 2018-02-21 2019-02-21 用於檢查半導體試樣的方法與系統及在其上紀錄相關指令的電腦可讀取媒體

Country Status (4)

Country Link
US (1) US11199506B2 (zh)
KR (1) KR102422111B1 (zh)
CN (1) CN110189288A (zh)
TW (1) TWI767108B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI786746B (zh) * 2020-08-14 2022-12-11 大陸商北京北方華創微電子裝備有限公司 半導體製程設備中製程任務的啟動方法、裝置
TWI786570B (zh) * 2020-06-29 2022-12-11 以色列商應用材料以色列公司 生成可用於檢查半導體樣本的訓練集
US11527058B2 (en) 2020-01-08 2022-12-13 Hon Hai Precision Industry Co., Ltd. Data generating method, and computing device and non-transitory medium implementing same
TWI814165B (zh) * 2021-01-05 2023-09-01 日商紐富來科技股份有限公司 缺陷檢查方法

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6675433B2 (ja) * 2018-04-25 2020-04-01 信越化学工業株式会社 欠陥分類方法、フォトマスクブランクの選別方法、およびマスクブランクの製造方法
US10846845B2 (en) * 2018-07-25 2020-11-24 Fei Company Training an artificial neural network using simulated specimen images
CN112640037A (zh) * 2018-09-03 2021-04-09 首选网络株式会社 学习装置、推理装置、学习模型的生成方法及推理方法
CN112969967A (zh) 2018-11-07 2021-06-15 Asml荷兰有限公司 确定对过程的校正
US10810726B2 (en) 2019-01-30 2020-10-20 Walmart Apollo, Llc Systems and methods for detecting content in images using neural network architectures
US10922584B2 (en) * 2019-01-30 2021-02-16 Walmart Apollo, Llc Systems, methods, and techniques for training neural networks and utilizing the neural networks to detect non-compliant content
US11900026B1 (en) * 2019-04-24 2024-02-13 X Development Llc Learned fabrication constraints for optimizing physical devices
CN110728629B (zh) * 2019-09-03 2023-05-23 天津大学 一种用于对抗攻击的图像集增强方法
US10957031B1 (en) * 2019-09-06 2021-03-23 Accenture Global Solutions Limited Intelligent defect detection from image data
EP3796230B1 (en) * 2019-09-17 2022-03-09 Imec VZW A method for determining process limits of a semiconductor process
US11983853B1 (en) 2019-10-31 2024-05-14 Meta Plattforms, Inc. Techniques for generating training data for machine learning enabled image enhancement
US11200659B2 (en) 2019-11-18 2021-12-14 Stmicroelectronics (Rousset) Sas Neural network training device, system and method
US11501424B2 (en) * 2019-11-18 2022-11-15 Stmicroelectronics (Rousset) Sas Neural network training device, system and method
CN111105375B (zh) * 2019-12-17 2023-08-22 北京金山云网络技术有限公司 图像生成方法及其模型训练方法、装置及电子设备
US11449711B2 (en) * 2020-01-02 2022-09-20 Applied Materials Isreal Ltd. Machine learning-based defect detection of a specimen
US11758069B2 (en) 2020-01-27 2023-09-12 Walmart Apollo, Llc Systems and methods for identifying non-compliant images using neural network architectures
US20230039064A1 (en) * 2020-01-31 2023-02-09 Semiconductor Energy Laboratory Co., Ltd. Learning data generation device and defect identification system
US11961219B2 (en) 2020-02-27 2024-04-16 KLA Corp. Generative adversarial networks (GANs) for simulating specimen images
US11022566B1 (en) * 2020-03-31 2021-06-01 Applied Materials Israel Ltd. Examination of a semiconductor specimen
US20210343001A1 (en) * 2020-04-30 2021-11-04 Kla Corporation Training a machine learning model to generate higher resolution images from inspection images
US11151710B1 (en) * 2020-05-04 2021-10-19 Applied Materials Israel Ltd. Automatic selection of algorithmic modules for examination of a specimen
US11379972B2 (en) * 2020-06-03 2022-07-05 Applied Materials Israel Ltd. Detecting defects in semiconductor specimens using weak labeling
CN111915621B (zh) * 2020-07-08 2022-08-05 太原理工大学 一种融合深度神经网络与cv模型的污损图像分割方法
US11449977B2 (en) * 2020-07-29 2022-09-20 Applied Materials Israel Ltd. Generating training data usable for examination of a semiconductor specimen
US11321822B2 (en) * 2020-07-30 2022-05-03 International Business Machines Corporation Determining image defects using image comparisons
KR20220019894A (ko) * 2020-08-10 2022-02-18 삼성전자주식회사 반도체 공정의 시뮬레이션 방법 및 반도체 장치의 제조 방법
US11307150B2 (en) * 2020-08-17 2022-04-19 Applied Materials Israel Ltd. Automatic optimization of an examination recipe
US11562476B2 (en) * 2020-09-03 2023-01-24 Applied Materials Israel Ltd. Determination of a simulated image of a specimen
EP4053729A4 (en) 2020-09-23 2023-06-07 Changxin Memory Technologies, Inc. METHOD AND DEVICE FOR COMPARING CHIP PRODUCTS, METHOD AND DEVICE FOR MODELING CHIP PRODUCTS AND STORAGE MEDIA
KR20220080768A (ko) 2020-12-07 2022-06-15 삼성전자주식회사 Opc 모델의 에러 검증 방법
CN112884758B (zh) * 2021-03-12 2023-01-10 国网四川省电力公司电力科学研究院 一种基于风格迁移方法的缺陷绝缘子样本生成方法及系统
US11586789B2 (en) * 2021-04-07 2023-02-21 Applied Materials, Inc. Machine learning based smart process recipe builder to improve azimuthal flow and thickness uniformity
US20230153987A1 (en) * 2021-11-17 2023-05-18 Verizon Media Inc. Object defect detection
WO2023113773A1 (en) * 2021-12-14 2023-06-22 Hewlett-Packard Development Company, L.P. Manufacturing defect detection augmented training sets
KR102521516B1 (ko) * 2022-02-28 2023-04-17 주식회사 인텔리즈 광각 탐지가 가능한 검사기용 이미지 처리 장치 및 방법 그리고 이를 구현하기 위한 프로그램을 기록한 기록매체
CN114694009A (zh) * 2022-03-31 2022-07-01 上海深至信息科技有限公司 一种人工智能模型的训练系统
CN115222737B (zh) * 2022-09-20 2023-03-17 中科视语(北京)科技有限公司 超晶板底漆检测方法、装置、电子设备及存储介质

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7962863B2 (en) * 2007-05-07 2011-06-14 Kla-Tencor Corp. Computer-implemented methods, systems, and computer-readable media for determining a model for predicting printability of reticle features on a wafer
US8073240B2 (en) * 2007-05-07 2011-12-06 Kla-Tencor Corp. Computer-implemented methods, computer-readable media, and systems for identifying one or more optical modes of an inspection system as candidates for use in inspection of a layer of a wafer
US20080304029A1 (en) * 2007-06-08 2008-12-11 Qimonda Ag Method and System for Adjusting an Optical Model
JP5202071B2 (ja) * 2008-03-31 2013-06-05 株式会社日立ハイテクノロジーズ 荷電粒子顕微鏡装置及びそれを用いた画像処理方法
JP5296413B2 (ja) * 2008-05-15 2013-09-25 株式会社日立ハイテクサイエンス 複合荷電粒子ビーム装置を用いた断面画像取得方法および複合荷電粒子ビーム装置
US8442299B2 (en) * 2009-11-10 2013-05-14 International Business Machines Corporation Evaluation of image processing algorithms
CN103025859A (zh) * 2010-05-25 2013-04-03 阿尔利克斯公司 用于检测生物学和化学分析中的颗粒的位置自由度的方法和装置以及在免疫诊断学中的应用
WO2012081587A1 (ja) * 2010-12-14 2012-06-21 株式会社ニコン 検査方法、検査装置、露光管理方法、露光システムおよび半導体デバイス
JP2013114518A (ja) * 2011-11-29 2013-06-10 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9152881B2 (en) * 2012-09-13 2015-10-06 Los Alamos National Security, Llc Image fusion using sparse overcomplete feature dictionaries
US9665935B2 (en) * 2013-05-16 2017-05-30 Konica Minolta, Inc. Image processing device and program
KR101505174B1 (ko) * 2013-05-21 2015-03-26 유남구 이미지를 활용하는 학습 시뮬레이션 모델 방법 및 장치
US9406154B2 (en) * 2013-06-14 2016-08-02 General Electric Company Iterative reconstruction in image formation
US9678442B2 (en) * 2014-05-28 2017-06-13 Applied Materials Israel Ltd. Aerial mask inspection based weak point analysis
US10529248B2 (en) * 2014-06-19 2020-01-07 Embraer S.A. Aircraft pilot training system, method and apparatus for theory, practice and evaluation
SG11201703585RA (en) 2014-11-25 2017-06-29 Kla Tencor Corp Analyzing and utilizing landscapes
JP2016109485A (ja) * 2014-12-03 2016-06-20 株式会社日立ハイテクノロジーズ 欠陥観察方法及び欠陥観察装置
US10395361B2 (en) * 2015-08-10 2019-08-27 Kla-Tencor Corporation Apparatus and methods for inspecting reticles
US9965901B2 (en) * 2015-11-19 2018-05-08 KLA—Tencor Corp. Generating simulated images from design information
AU2016369355A1 (en) * 2015-12-18 2018-05-10 Ventana Medical Systems, Inc. Systems and methods of unmixing images with varying acquisition properties
US11205119B2 (en) 2015-12-22 2021-12-21 Applied Materials Israel Ltd. Method of deep learning-based examination of a semiconductor specimen and system thereof
US10648924B2 (en) * 2016-01-04 2020-05-12 Kla-Tencor Corp. Generating high resolution images from low resolution images for semiconductor applications
US10043261B2 (en) * 2016-01-11 2018-08-07 Kla-Tencor Corp. Generating simulated output for a specimen
US11580398B2 (en) * 2016-10-14 2023-02-14 KLA-Tenor Corp. Diagnostic systems and methods for deep learning models configured for semiconductor applications
JP6668278B2 (ja) * 2017-02-20 2020-03-18 株式会社日立ハイテク 試料観察装置および試料観察方法
US10346974B2 (en) * 2017-05-18 2019-07-09 Toshiba Medical Systems Corporation Apparatus and method for medical image processing
US10318889B2 (en) * 2017-06-26 2019-06-11 Konica Minolta Laboratory U.S.A., Inc. Targeted data augmentation using neural style transfer
US10839291B2 (en) * 2017-07-01 2020-11-17 Intel Corporation Hardened deep neural networks through training from adversarial misclassified data
TWI659395B (zh) * 2017-07-19 2019-05-11 銳準醫光股份有限公司 類ｈ＆ｅ影像之合成方法及採用該方法之光學系統
US20190079533A1 (en) * 2017-09-13 2019-03-14 TuSimple Neural network architecture method for deep odometry assisted by static scene optical flow
US10552979B2 (en) * 2017-09-13 2020-02-04 TuSimple Output of a neural network method for deep odometry assisted by static scene optical flow
US10692244B2 (en) * 2017-10-06 2020-06-23 Nvidia Corporation Learning based camera pose estimation from images of an environment
US10832092B2 (en) * 2018-02-07 2020-11-10 Applied Materials Israel Ltd. Method of generating a training set usable for examination of a semiconductor specimen and system thereof
US11907834B2 (en) * 2018-02-14 2024-02-20 Deepmentor Inc Method for establishing data-recognition model
TWI683283B (zh) * 2018-04-03 2020-01-21 薩摩亞商銳準醫光股份有限公司 一種生物樣本之影像合成方法及採用該方法之光學系統

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11527058B2 (en) 2020-01-08 2022-12-13 Hon Hai Precision Industry Co., Ltd. Data generating method, and computing device and non-transitory medium implementing same
TWI786570B (zh) * 2020-06-29 2022-12-11 以色列商應用材料以色列公司 生成可用於檢查半導體樣本的訓練集
TWI786746B (zh) * 2020-08-14 2022-12-11 大陸商北京北方華創微電子裝備有限公司 半導體製程設備中製程任務的啟動方法、裝置
TWI814165B (zh) * 2021-01-05 2023-09-01 日商紐富來科技股份有限公司 缺陷檢查方法

Also Published As

Publication number Publication date
US11199506B2 (en) 2021-12-14
US20190257767A1 (en) 2019-08-22
KR102422111B1 (ko) 2022-07-18
CN110189288A (zh) 2019-08-30
TWI767108B (zh) 2022-06-11
KR20190100881A (ko) 2019-08-29

Similar Documents

Publication Publication Date Title
TWI767108B (zh) 用於檢查半導體試樣的方法與系統及在其上紀錄相關指令的電腦可讀取媒體
TWI731303B (zh) 產生可用於檢查半導體樣品的訓練集之方法及其系統
TWI737659B (zh) 半導體試樣的基於深度學習之檢查的方法及其系統
TWI796431B (zh) 半導體樣品的基於深度學習的檢查的方法及其系統
KR102384568B1 (ko) 반도체 시편의 검사에 사용가능한 훈련 세트의 생성
JP2022027473A (ja) 半導体試料の検査に使用可能な訓練データの生成
TW202319735A (zh) 半導體取樣的缺陷檢查
JP2022013667A (ja) 半導体試料の画像のセグメンテーション
TW202339038A (zh) 基於機器學習的半導體樣品的檢查及其訓練