TWI723168B - 用於自輸入影像產生經模擬影像之系統、電腦實施方法及非暫時性電腦可讀媒體 - Google Patents

用於自輸入影像產生經模擬影像之系統、電腦實施方法及非暫時性電腦可讀媒體 Download PDF

Info

Publication number
TWI723168B
TWI723168B TW106117367A TW106117367A TWI723168B TW I723168 B TWI723168 B TW I723168B TW 106117367 A TW106117367 A TW 106117367A TW 106117367 A TW106117367 A TW 106117367A TW I723168 B TWI723168 B TW I723168B
Authority
TW
Taiwan
Prior art keywords
image
sample
neural network
input
images
Prior art date
Application number
TW106117367A
Other languages
English (en)
Other versions
TW201800983A (zh
Inventor
張晶
克里斯 畢海斯卡
Original Assignee
美商克萊譚克公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商克萊譚克公司 filed Critical 美商克萊譚克公司
Publication of TW201800983A publication Critical patent/TW201800983A/zh
Application granted granted Critical
Publication of TWI723168B publication Critical patent/TWI723168B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本發明提供用於自一輸入影像產生一經模擬影像之方法及系統。一種系統包含一或多個電腦子系統及由該一或多個電腦子系統執行之一或多個組件。該一或多個組件包含一類神經網路，其包含經組態以用於判定一樣本之一影像之特徵的兩個或兩個以上編碼器層。該類神經網路亦包含經組態以用於自該等判定特徵產生一或多個經模擬影像的兩個或兩個以上解碼器層。該類神經網路不包含一全連接層，藉此消除對輸入至該兩個或兩個以上編碼器層之影像大小的約束。

Description

用於自輸入影像產生經模擬影像之系統、電腦實施方法及非暫時性電腦可讀媒體
本發明大體上係關於用於針對半導體應用自輸入影像產生經模擬影像之方法及系統。
以下描述及實例不因其包含於本章節中而被承認為先前技術。
製造半導體裝置(諸如邏輯及記憶體裝置)通常包含：使用大量半導體製程來處理一基板(諸如一半導體晶圓)以形成半導體裝置之各種特徵及多個階層。例如，微影術係涉及將一圖案自一倍縮光罩轉移至配置於一半導體晶圓上之一光阻劑的一半導體製程。半導體製程之額外實例包含(但不限於)化學機械拋光(CMP)、蝕刻、沈積及離子植入。多個半導體裝置可依一配置製造於一單一半導體晶圓上且接著被分離成個別半導體裝置。
在一半導體製程期間之各種步驟中使用檢測程序來偵測樣本上之缺陷以促進較高製程良率且因此促進較高利潤。檢測已成為製造半導體裝置之一重要部分。然而，隨著半導體裝置之尺寸減小，檢測對可接受之半導體裝置之成功製造變得更重要，此係因為較小缺陷會引起裝置失效。
缺陷檢視通常涉及：重新偵測由一檢測程序本身偵測到之缺陷，且使用一高倍放大光學系統或一掃描式電子顯微鏡(SEM)來依一較高解析度 產生關於該等缺陷之額外資訊。因此，在已藉由檢測偵測到缺陷之離散位置處對樣本執行缺陷檢視。藉由缺陷檢視產生之缺陷之較高解析度資料更適合於判定缺陷之屬性，諸如輪廓、粗糙度、更精確大小資訊等等。
亦在一半導體製程期間之各種步驟中使用度量程序來監測且控制程序。度量程序與檢測程序之不同點在於：與其中偵測樣本上之缺陷的檢測程序不同，度量程序用於量測使用當前所使用之檢測工具無法判定之樣本之一或多個特性。例如，度量程序用於量測樣本之一或多個特性(諸如在一程序期間形成於樣本上之特徵之一尺寸(例如線寬、厚度等等))，使得可自該一或多個特性判定程序之效能。另外，若樣本之一或多個特性係不可接受的(例如，在(若干)特性之一預定範圍外)，則樣本之一或多個特性之量測可用於變更程序之一或多個參數，使得由程序製造之額外樣本具有(若干)可接受特性。
度量程序與缺陷檢視程序之不同點亦在於：與其中在缺陷檢視中再訪藉由檢測偵測到之缺陷的缺陷檢視程序不同，度量程序可被執行於未偵測到缺陷之位置處。換言之，與缺陷檢視不同，對樣本執行一度量程序之位置可與對樣本執行之一檢測程序之結果無關。特定而言，可無關於檢測結果來選擇執行一度量程序之位置。
隨著設計規則收緊，形成於一樣本(諸如倍縮光罩及晶圓)上之設計即使使用一最佳執行程序來形成，仍會使其看起來大不同於實際設計。例如，歸因於在一實體樣本上形成一設計中所涉及之物理程序之內在限制，形成於實體樣本上之設計之特徵通常具有略微不同於設計之特性(諸如不同形狀(例如，歸因於圓角及其他近接效應))且可具有略微不同尺寸(例如，歸因於近接效應)，即使已在樣本上形成設計之最佳可能版本。
有時，無法知道設計將如何呈現於樣本上及由諸如檢測工具、缺陷檢視工具、度量工具及其類似者之工具產生之樣本(其上已形成設計資訊)之影像中。然而，由於種種原因，通常期望知道設計將如何呈現於樣本上及由此等工具產生之影像中。一原因係需確保設計將依一可接受方式形成於樣本上。另一原因係對設計提供一參考，其繪示設計意欲如何形成於樣本上且可用於對樣本所執行之一或多個功能。例如，一般而言，缺陷偵測需要一參考，使得形成於樣本上之設計與參考之間的任何差異可被偵測到且被識別為缺陷或潛在缺陷。
因此，已做了大量工作來發展可自一樣本之一影像模擬該樣本之另一影像的各種方法及系統。然而，當前可用方法存在若干缺點。例如，一些當前使用方法對方法可變換之輸入影像之大小具有上限。其他當前使用方法可變換實質上較大輸入影像，但如此做亦存在若干缺點。
在一此類實例中，用於變換相對較大輸入影像之一當前使用方法包含：將(相對較大)任意大小影像(例如1024個像素×1024個像素)裁剪成具有所需大小(例如64個像素×64個像素)之諸多影像區塊，接著透過一類神經網路饋送所有區塊。影像大小(即，1024個像素×1024個像素)結果可由區塊大小結果(即，923,521個影像區塊，其等各具有64個像素×64個像素之一大小)建構。
因此，此等當前使用方法存在若干缺點。例如，當前使用方法需要在運行時進行巨量運算(例如，處理一1024像素×1024像素影像需要數十分鐘至數小時)，即使對最快圖形處理單元(GPU)而言。另外，當前使用方法包含額外裁剪及重建步驟，其使軟體實施流程變複雜。
據此，將有利地發展用於自輸入影像產生經模擬影像之系統及方 法，其不具有上文所描述之一或多個缺點。
各種實施例之以下描述絕不應被解釋為限制隨附技術方案之標的。
一實施例係關於一種經組態以自一輸入影像產生一經模擬影像之系統。該系統包含一或多個電腦子系統及由該一或多個電腦子系統執行之一或多個組件。該一或多個組件包含一類神經網路，其包含經組態以用於判定一樣本之一影像之特徵的兩個或兩個以上編碼器層。該類神經網路亦包含經組態以用於自該等判定特徵產生一或多個經模擬影像的兩個或兩個以上解碼器層。該類神經網路不包含一全連接層，藉此消除對輸入至該兩個或兩個以上編碼器層之該影像之大小的約束。可如本文所描述般進一步組態該系統。
一額外實施例係關於另一種經組態以自一輸入影像產生一經模擬影像之系統。如上文所描述般組態此系統。此系統亦包含一成像子系統，其經組態以用於產生輸入至該兩個或兩個以上編碼器層之一樣本之一影像。在此實施例中，該(等)電腦子系統經組態以用於自該成像子系統獲取該影像。可如本文所描述般進一步組態該系統之此實施例。
另一實施例係關於一種用於自一輸入影像產生一經模擬影像之電腦實施方法。該方法包含：獲取一樣本之一影像。該方法亦包含：藉由將該影像輸入至一類神經網路之兩個或兩個以上編碼器層中來判定該樣本之該影像之特徵。另外，該方法包含：自該等判定特徵產生一或多個經模擬影像。由該類神經網路之兩個或兩個以上解碼器層執行產生該一或多個經模擬影像。由一或多個電腦系統執行該獲取、該判定及該產生。由該一或多個電腦系統執行一或多個組件，且該一或多個組件包含該類神經網路。
可如本文進一步所描述般進一步執行上文所描述之方法之各步驟。另外，上文所描述之方法之實施例可包含本文所描述之(若干)任何其他方法之(若干)任何其他步驟。此外，可由本文所描述之系統之任何者執行上文所描述之方法。
另一實施例係關於一種非暫時性電腦可讀媒體，其儲存可在一或多個電腦系統上執行之程式指令，該等程式指令用於執行用於自一輸入影像產生一經模擬影像之一電腦實施方法。該電腦實施方法包含上文所描述之方法之步驟。可如本文所描述般進一步組態該電腦可讀媒體。可如本文進一步所描述般執行該電腦實施方法之步驟。另外，可針對其執行該等程式指令之該電腦實施方法可包含本文所描述之(若干)任何其他方法之(若干)任何其他步驟。
10:成像系統/成像子系統
14:樣本
16:光源
18:光學元件
20:透鏡
22:置物台
24:集光器
26:元件
28:偵測器
30:集光器
32:元件
34:偵測器
36:電腦子系統
100:組件
102:電腦子系統
104:類神經網路
122:電子柱
124:電腦子系統
126:電子束源
128:樣本
130:元件
132:元件
134:偵測器
200:當前使用方法
202:輸入影像
204:裁剪
206:區塊影像組
208:編碼器
210:解碼器
212:區塊影像組
214:重建步驟
216:最終影像結果
218:實施例
220:輸入影像
222:編碼器
224:解碼器
226:經模擬影像
300:輸入影像
300d:輸入尺寸
302:編碼器部分
304:廻旋層及集用層組
304o:輸出
306:廻旋層及集用層組
306o:輸出
310:重塑層
310o:輸出
312:全連接層
314:表示
316:解碼器部分
318:全連接層
318o:輸出
320:重塑層
320o:輸出
322:廻旋層及上集用層組
322o:輸出
324:廻旋層及上集用層組
326:輸出
326d:輸出尺寸
328:輸入影像
328d:輸入尺寸
330:編碼器部分
332:廻旋層及集用層組
332o:輸出
334:廻旋層及集用層組
334o:輸出
336:廻旋層組
338:表示
340:解碼器部分
342:廻旋層組
342o:輸出
344:廻旋層及上集用層組
344o:輸出
346:廻旋層及上集用層組
348:輸出
348d:輸出尺寸
400:非暫時性電腦可讀媒體
402:程式指令
404:電腦系統
熟習技術者將藉助於較佳實施例之以下詳細描述且在參考附圖之後明白本發明之進一步優點，其中：圖1及圖1a係繪示如本文所描述般組態之一系統之實施例之側視圖的示意圖；圖2係繪示用於自一輸入影像產生一經模擬影像之一當前使用方法之一實例及在無需當前使用方法之裁剪及重建步驟之情況下自一輸入影像產生一經模擬影像之一實施例的一示意圖；圖3a係繪示具有一固定輸入影像大小之一當前所使用之類神經網路之一實例的一示意圖；圖3b係繪示實現任意輸入影像大小之一類神經網路之一實施例的一示意圖；及 圖4係繪示儲存程式指令(其用於引起一或多個電腦系統執行本文所描述之一電腦實施方法)之一非暫時性電腦可讀媒體之一實施例的一方塊圖。
儘管本發明可接受各種修改及替代形式，但其特定實施例依舉例方式展示於圖式中且在本文中被詳細描述。圖式可不按比例繪製。然而，應瞭解，圖式及其詳細描述不意欲將本發明限制於所揭示之特定形式，而是相反地，本發明涵蓋落於由隨附申請專利範圍界定之本發明之精神及範疇內之所有修改、等效物及替代。
本文中可互換使用之術語「設計」、「設計資料」及「設計資訊」一般係指一IC之實體設計(佈局)及透過複雜模擬或簡單幾何及布林(Boolean)運算自實體設計導出之資料。另外，由一倍縮光罩檢測系統獲取之一倍縮光罩之一影像及/或其衍生物可用作設計之一或若干「代理」。此一倍縮光罩影像或其衍生物可充當使用一設計之本文所描述之任何實施例中之設計佈局之一替代。設計可包含以下各者中所描述之任何其他設計資料或設計資料代理：共同擁有之Zafar等人於2009年8月4日發佈之美國專利第7,570,796號及Kulkarni等人於2010年3月9日發佈之美國專利第7,676,077號，該兩個專利宛如全文闡述引用之方式併入本文中。另外，設計資料可為標準單元庫資料、積體佈局資料、一或多個層之設計資料、設計資料之衍生物及全部或部分晶片設計資料。
另外，本文所描述之「設計」、「設計資料」及「設計資訊」係指由半導體裝置設計師在一設計程序中產生之資訊及資料且因此完全可在將設計印刷於任何實體樣本(諸如倍縮光罩及晶圓)上之前用於本文所描述之 實施例中。
現轉至圖式，應注意，圖未按比例繪製。特定而言，圖之一些元件之比例經大幅放大以強調元件之特性。亦應注意，圖未按相同比例繪製。已使用相同元件符號來指示可經類似組態之一個以上圖中所展示之元件。除非本文另有規定，否則所描述及所展示之元件之任何者可包含任何適合市售元件。
一實施例係關於一種經組態以自一輸入影像產生一經模擬影像之系統。一般而言，本文所描述之實施例可經組態為針對半導體檢測及度量應用之全廻旋深度生成模型。本文所描述之實施例有利地提供一運算高效之方法以：(1)使一深度生成模型能夠運算任意大小影像；及(2)可針對光學、電子束、晶圓、遮罩、檢測及度量工具來使用於運行時間預測之運算時間大幅減少100倍至1000倍。
圖1中展示經組態以自一輸入影像產生一經模擬影像之一系統之一實施例。該系統包含一或多個電腦子系統(例如電腦子系統36及(若干)電腦子系統102)及由該一或多個電腦子系統執行之一或多個組件100。在一些實施例中，系統包含成像系統(或子系統)10。在圖1之實施例中，成像系統經組態以用於使光掃描樣本之一實體版本或將光導引至樣本之一實體版本且偵測來自樣本之光以藉此產生樣本之影像。成像系統亦可經組態以使用多個模式來執行掃描(或導引)及偵測。
在一實施例中，樣本係一晶圓。晶圓可包含此項技術中已知之任何晶圓。在另一實施例中，樣本係一倍縮光罩。倍縮光罩可包含此項技術中已知之任何倍縮光罩。
在一實施例中，成像系統係一基於光學之成像系統。依此方式，在 一些實施例中，由一基於光學之成像系統產生輸入至本文進一步所描述之兩個或兩個以上編碼器層之影像。在一此類實例中，在圖1所展示之系統之實施例中，基於光學之成像系統10包含經組態以將光導引至樣本14之一照明子系統。照明子系統包含至少一光源。例如，如圖1中所展示，照明子系統包含光源16。在一實施例中，照明子系統經組態以依一或多個入射角(其可包含一或多個傾斜角及/或一或多個法線角)將光導引至樣本。例如，如圖1中所展示，依一傾斜入射角導引來自光源16之光通過光學元件18且接著通過透鏡20而至樣本14。傾斜入射角可包含任何適合傾斜入射角，其可取決於(例如)樣本之特性而變動。
成像系統可經組態以在不同時間依不同入射角將光導引至樣本。例如，成像系統可經組態以變更照明子系統之一或多個元件之一或多個特性，使得可依不同於圖1中所展示之入射角的一入射角將光導引至樣本。在一此類實例中，成像系統可經組態以移動光源16、光學元件18及透鏡20，使得依一不同傾斜入射角或一法線(或近法線)入射角將光導引至樣本。
在一些例項中，成像系統可經組態以同時依一個以上入射角將光導引至樣本。例如，照明子系統可包含一個以上照明通道，該等照明通道之一者可包含圖1中所展示之光源16、光學元件18及透鏡20且該等照明通道之另一者(圖中未展示)可包含類似元件，其可經不同或相同組態或可包含至少一光源且可包含一或多個其他組件(諸如本文進一步所描述之組件)。若此光與另一光同時被導引至樣本，則依不同入射角導引至樣本之光之一或多個特性(例如波長、偏振等等)可為不同的，使得由依不同入射角照射樣本所致之光可在(若干)偵測器處彼此區別。
在另一例項中，照明子系統可僅包含一個光源(例如圖1中所展示之光源16)且來自該光源之光可由照明子系統之一或多個光學元件(圖中未展示)分離成不同光學路徑(例如，基於波長、偏振等等)。接著，可將不同光學路徑之各者中之光導引至樣本。多個照明通道可經組態以同時或在不同時間(例如，當不同照明通道用於依序照射樣本時)將光導引至樣本。在另一例項中，相同照明通道可經組態以在不同時間將具有不同特性之光導引至樣本。例如，在一些例項中，光學元件18可經組態為一光譜濾波器且該光譜濾波器之性質可依各種不同方式(例如，藉由調換光譜濾波器)改變，使得可在不同時間將不同波長之光導引至樣本。照明子系統可具有此項技術中已知之任何其他適合組態，其用於依序或同時依不同或相同入射角將具有不同或相同特性之光導引至樣本。
在一實施例中，光源16可包含一寬頻電漿(BBP)光源。依此方式，由光源產生且被導引至樣本之光可包含寬頻光。然而，光源可包含諸如一雷射之任何其他適合光源。雷射可包含此項技術中已知之任何適合雷射且可經組態以依此項技術中已知之一或若干任何適合波長產生光。另外，雷射可經組態以產生單色光或近單色光。依此方式，雷射可為一窄頻雷射。光源亦可包含依多個離散波長或波帶產生光之一多色光源。
來自光學元件18之光可由透鏡20聚焦至樣本14上。儘管透鏡20在圖1中展示為一單一折射光學元件，但應瞭解，透鏡20實際上可包含一起將來自光學元件之光聚焦至樣本之若干折射及/或反射光學元件。圖1中所展示及本文所描述之照明子系統可包含任何其他適合光學元件(圖中未展示)。此等光學元件之實例包含(但不限於)(若干)偏振組件、(若干)光譜濾波器、(若干)空間濾波器、(若干)反射光學元件、(若干)變跡器、(若干)分束 器、(若干)孔隙及其類似者，其可包含此項技術中已知之任何此等適合光學元件。另外，成像系統可經組態以基於待用於成像之照明之類型來變更照明子系統之元件之一或多者。
成像系統亦可包含經組態以引起光掃描樣本之一掃描子系統。例如，成像系統可包含在檢測期間將樣本14安置於其上之置物台22。掃描子系統可包含任何適合機械及/或機器人總成(其包含置物台22)，其可經組態以移動樣本，使得光可掃描樣本。另外或替代地，成像系統可經組態使得成像系統之一或多個光學元件執行使光對樣本進行某種掃描。可使光依任何適合方式(諸如，沿一蛇形路徑或沿一螺旋路徑)掃描樣本。
成像系統進一步包含一或多個偵測通道。一或多個偵測通道之至少一者包含一偵測器，其經組態以歸因於由系統照射樣本來偵測來自樣本之光且回應於偵測光來產生輸出。例如，圖1中所展示之成像系統包含兩個偵測通道：一偵測通道由集光器24、元件26及偵測器28形成且另一偵測通道由集光器30、元件32及偵測器34形成。如圖1中所展示，兩個偵測通道經組態以依不同集光角收集且偵測光。在一些例項中，兩個偵測通道經組態以偵測散射光，且偵測通道經組態以偵測自樣本依不同角度散射之光。然而，偵測通道之一或多者可經組態以偵測來自樣本之另一類型之光(例如反射光)。
如圖1中進一步所展示，兩個偵測通道經展示成定位於紙面中且照明子系統亦經展示成定位於紙面中。因此，在此實施例中，兩個偵測通道經定位於(例如，居中定位於)入射面中。然而，偵測通道之一或多者可定位於入射面外。例如，藉集光器30、元件32及偵測器34形成之偵測通道可經組態以收集且偵測散射於入射面外之光。因此，此一偵測通道通常可指 稱一「旁側」通道，且此一旁側通道可居中定位於實質上垂直於入射面之一平面中。
儘管圖1展示包含兩個偵測通道之成像系統之一實施例，但成像系統可包含不同數目個偵測通道(例如僅一個偵測通道或兩個或兩個以上偵測通道)。在一此類例項中，由集光器30、元件32及偵測器34形成之偵測通道可形成上文所描述之一旁側通道，且成像系統可包含形成為另一旁側通道(其定位於入射面之對置側上)之一額外偵測通道(圖中未展示)。因此，成像可包含偵測通道，其包含集光器24、元件26及偵測器28且居中定位於入射面中且經組態以依法向於或接近法向於樣本表面之(若干)散射角收集且偵測光。因此，此偵測通道通常可指稱一「頂部」通道，且成像系統亦可包含如上文所描述般組態之兩個或兩個以上旁側通道。因而，成像系統可包含至少三個通道(即，一個頂部通道及兩個旁側通道)，且該至少三個通道之各者自身具有集光器，各集光器經組態以依不同於其他集光器之各者之散射角收集光。
如上文進一步所描述，包含於成像系統中之偵測通道之各者可經組態以偵測散射光。因此，圖1中所展示之成像系統可經組態以用於樣本之暗場(DF)成像。然而，成像系統亦可或替代地包含經組態以用於樣本之明場(BF)成像的(若干)偵測通道。換言之，成像系統可包含經組態以偵測自樣本鏡面反射之光的至少一偵測通道。因此，本文所描述之成像系統可經組態用於僅DF、僅BF或DF及BF兩者之成像。儘管集光器之各者在圖1中展示為單一折射光學元件，但應瞭解，集光器之各者可包含一或多個折射光學元件及/或一或多個反射光學元件。
一或多個偵測通道可包含此項技術中已知之任何適合偵測器。例 如，偵測器可包含光倍增管(PMT)、電荷耦合裝置(CCD)、延時積分(TDI)攝影機及此項技術中已知之任何其他適合偵測器。偵測器亦可包含非成像偵測器或成像偵測器。依此方式，若偵測器係非成像偵測器，則偵測器之各者可經組態以偵測散射光之特定特性(諸如強度)，但不可經組態以偵測依據成像面內之位置而變化之特性。因而，由包含於成像系統之偵測通道之各者中之偵測器之各者產生的輸出可為信號或資料，但非影像信號或影像資料。在此等例項中，一電腦子系統(諸如電腦子系統36)可經組態以自偵測器之非成像輸出產生樣本之影像。然而，在其他例項中，偵測器可經組態為經組態以產生影像信號或影像資料之成像偵測器。因此，成像系統可經組態以依諸多方式產生本文所描述之影像。
應注意，本文中提供圖1來大體上繪示一成像系統或子系統之一組態，該成像系統或子系統可包含於本文所描述之系統實施例中或可產生由本文所描述之系統實施例使用之影像。顯而易見，本文所描述之成像系統組態可經變更以如設計一商用成像系統時正常所執行般最佳化成像系統之效能。另外，可使用一既有系統(例如，藉由將本文所描述之功能性新增至一既有系統)(諸如購自KLA-Tencor,Milpitas,Calif之29xx/39xx及Puma 9xxx系列工具)來實施本文所描述之系統。對於一些此等系統，可提供本文所描述之實施例作為系統之選用功能性(例如，除系統之其他功能性之外)。替代地，本文所描述之成像系統可經「從頭開始」設計以提供一全新成像系統。
成像系統之電腦子系統36可依任何適合方式(例如，經由一或多個傳輸介質，其可包含「有線」及/或「無線」傳輸介質)耦合至成像系統之偵測器，使得在樣本之掃描期間，電腦子系統可接收由偵測器產生之輸出。 電腦子系統36可經組態以使用偵測器之輸出來執行本文進一步所描述之若干功能。
圖1中所展示之電腦子系統(及本文所描述之其他電腦子系統)在本文中亦可指稱(若干)電腦系統。本文所描述之(若干)電腦子系統或系統之各者可採用各種形式，其包含一個人電腦系統、影像電腦、大型電腦系統、工作站、網路設備、網際網路設備或其他裝置。一般而言，術語「電腦系統」可經廣泛界定以涵蓋具有一或多個處理器(其執行來自一記憶體媒體之指令)之任何裝置。(若干)電腦子系統或系統亦可包含此項技術中已知之任何適合處理器，諸如一並行處理器。另外，(若干)電腦子系統或系統可包含具有高速處理及軟體之一電腦平台作為一單機或聯網工具。
若系統包含一個以上電腦子系統，則不同電腦子系統可彼此耦合，使得可在電腦子系統之間發送影像、資料、資訊、指令等等，如本文進一步所描述。例如，電腦子系統36可藉由任何適合傳輸介質(其可包含此項技術中已知之任何適合有線及/或無線傳輸介質)來耦合至(若干)電腦子系統102，如由圖1中之虛線所展示。此等電腦子系統之兩者或兩者以上亦可由一共用電腦可讀儲存媒體(圖中未展示)有效耦合。
儘管成像系統在上文中描述為一基於光學或光之成像系統，但成像系統可為一基於電子束之成像系統。依此方式，在一些實施例中，由一基於電子束之成像系統產生輸入至本文所描述之兩個或兩個以上編碼器層之影像。在圖1a所展示之一此類實施例中，成像系統包含耦合至電腦子系統124之電子柱122。亦如圖1a中所展示，電子柱包含電子束源126，其經組態以產生由一或多個元件130聚焦至樣本128之電子。電子束源可包含(例如)一陰極源或射極尖端，且一或多個元件130可包含(例如)一槍透鏡、一 陽極、一射束限制孔隙、一閘閥、一射束電流選擇孔隙、一物鏡及一掃描子系統，其等所有可包含此項技術中已知之任何此等適合元件。
自樣本回射之電子(例如二次電子)可由一或多個元件132聚焦至偵測器134。一或多個元件132可包含(例如)一掃描子系統，其可為包含於(若干)元件130中之相同掃描子系統。
電子柱可包含此項技術中已知之任何其他適合元件。另外，可如以下中所描述般進一步組態電子柱：Jiang等人於2014年4月4日發佈之美國專利第8,664,594號、Kojima等人於2014年4月8日發佈之美國專利第8,692,204號、Gubbens等人於2014年4月15日發佈之美國專利第8,698,093號及MacDonald等人於2014年5月6日發佈之美國專利第8,716,662號，該等專利以宛如全文闡述引用之方式併入本文中。
儘管電子柱在圖1a中展示為經組態使得電子依一傾斜入射角導引至樣本且依另一傾斜角自樣本散射，但應瞭解，電子束可依任何適合角度導引至樣本且自樣本散射。另外，基於電子束之成像系統可經組態以使用多個模式來產生樣本之影像(例如，依不同照射角、集光角等等)，如本文進一步所描述。基於電子束之成像系統之多個模式可使成像系統具有不同之任何影像產生參數。
電腦子系統124可經耦合至偵測器134，如上文所描述。偵測器可偵測自樣本之表面回射之電子，藉此形成樣本之電子束影像。電子束影像可包含任何適合電子束影像。電腦子系統124可經組態以使用由偵測器134產生之輸出來對樣本執行本文進一步所描述之一或多個功能。電腦子系統124可經組態以執行本文所描述之任何額外(若干)步驟。可如本文所描述般進一步組態包含圖1a中所展示之成像系統的一系統。
應注意，本文中提供圖1a來大體上繪示可包含於本文所描述之實施例中之一基於電子束之成像系統之一組態。如同上文所描述之基於光學之成像系統，本文所描述之基於電子束之成像系統組態可經變更以如設計一商用成像系統時正常所執行般最佳化成像系統之效能。另外，可使用一既有系統(例如，藉由將本文所描述之功能性新增至一既有系統)(諸如購自KLA-Tencor之eSxxx及eDR-xxxx系列工具)來實施本文所描述之系統。對於一些此等系統，可提供本文所描述之實施例作為系統之選用功能性(例如，除系統之其他功能性之外)。替代地，本文所描述之系統可經「從頭開始」設計以提供一全新系統。
儘管成像系統在上文中描述為一基於光學或基於電子束之成像系統，但成像系統可為一基於離子束之成像系統。除可使用此項技術中已知之任何適合離子束源來替換電子束源之外，可如圖1a中所展示般組態此一成像系統。另外，成像系統可為任何其他適合基於離子束之成像系統，諸如包含於市售聚焦離子束(FIB)系統、氦離子顯微鏡(HIM)系統及二次離子質譜分析(SIMS)系統。
如上文所提及，成像系統經組態以用於使能量(例如光或電子)掃描樣本之一實體版本，藉此產生樣本之實體版本之實際影像。依此方式，成像系統可經組態為一「實際」系統，而非一「虛擬」系統。例如，圖1中所展示之一儲存媒體(圖中未展示)及(若干)電腦子系統102可經組態為一「虛擬」系統。特定而言，儲存媒體及(若干)電腦子系統不是成像系統10之部分且不具有處置樣本之實體版本之任何能力。換言之，在經組態為虛擬系統之系統中，其一或多個「偵測器」之輸出可為先前由一實際系統之一或多個偵測器產生且儲存於虛擬系統中之輸出，且在「掃描」期間，虛擬系 統可宛如樣本被掃描般重播儲存輸出。依此方式，使用一虛擬系統掃描樣本可似乎相同於使用一實際系統掃描一實體樣本，但事實上，「掃描」僅涉及依相同於可掃描樣本之方式重播樣本之輸出。以下各者中描述經組態為「虛擬」檢測系統之系統及方法：共同讓與之Bhaskar等人於2012年2月28日發佈之美國專利第8,126,255號及Duffy等人於2015年12月29日發佈之美國專利第9,222,895號，該兩個專利以宛如全文闡述引用之方式併入本文中。可如此等專利中所描述般進一步組態本文所描述之實施例。例如，可如此等專利中所描述般進一步組態本文所描述之一或多個電腦子系統。另外，可如上文所引用之Duffy專利中所描述般執行將一或多個虛擬系統組態為一中央運算及儲存(CCS)系統。本文所描述之持久儲存機制可具有分散運算及儲存(諸如CCS架構)，但本文所描述之實施例不受限於該架構。
如上文進一步所提及，成像系統可經組態以使用多個模式來產生樣本之影像。一般而言，一「模式」可由用於產生一樣本之影像之成像系統之參數值或用於產生樣本之影像之輸出界定。因此，不同模式可使成像系統之成像參數之至少一者具有不同值。例如，在一基於光學之成像系統之一實施例中，多個模式之至少一者使用不同於用於多個模式之至少另一者之照明光之至少一波長的照明光之至少一波長。模式可因不同模式而具有不同照明波長，如本文進一步所描述(例如，藉由使用不同光源、不同光譜濾波器等等)。在另一實施例中，多個模式之至少一者使用不同於用於多個模式之至少另一者之成像系統之一照明通道的成像系統之一照明通道。例如，如上文所提及，成像系統可包含一個以上照明通道。因而，不同照明通道可用於不同模式。
在一實施例中，成像系統係一檢測系統。例如，本文所描述之光學及電子束成像系統可經組態為檢測系統。依此方式，在一些實施例中，由一檢測系統產生輸入至兩個或兩個以上編碼器層之影像。在另一實施例中，成像系統係一缺陷檢視系統。例如，本文所描述之光學及電子束成像系統可經組態為缺陷檢視系統。在另一實施例中，成像系統係一度量系統。例如，本文所描述之光學及電子束成像系統可經組態為度量系統。依此方式，在一些實施例中，由一度量系統產生輸入至兩個或兩個以上編碼器層之影像。特定而言，本文所描述及圖1及圖1a中所展示之成像系統之實施例可取決於將使用其之應用來修改一或多個參數以提供不同成像能力。在一此類實例中，若圖1中所展示之成像系統用於缺陷檢視或度量而非檢測，則其可經組態以具有一較高解析度。換言之，圖1及圖1a中所展示之成像系統之實施例描述用於一成像系統之一些一般及各種組態，其可依熟習技術者顯而易見之若干方式調適以產生具有幾乎適合於不同應用之不同成像能力的成像系統。
一或多個電腦子系統可經組態以用於獲取由本文所描述之一成像子系統產生之樣本之影像。可使用本文所描述之成像系統之一者來執行獲取影像(例如，藉由將光或一電子束導引至樣本且檢測來自樣本之光或一電子束)。依此方式，可使用實體樣本本身及某種成像硬體來執行獲取影像。然而，獲取影像未必包含：使用成像硬體來使樣本成像。例如，另一系統及/或方法可產生影像且可將所產生之影像儲存於本文所描述之一或多個儲存媒體(諸如一虛擬檢測系統)或本文所描述之另一儲存媒體中。因此，獲取影像可包含：自其中已儲存影像之儲存媒體獲取影像。
由(若干)電腦子系統(例如電腦子系統36及/或電腦子系統102)執行之 圖1中所展示之(若干)組件(例如(若干)組件100)包含類神經網路104。類神經網路包含經組態以用於判定一樣本之一影像之特徵的兩個或兩個以上編碼器層。術語「編碼器」一般係指將輸入資料之資訊內容「編碼」成一更緊密表示之一類神經網路或一類神經網路之部分。編碼程序會有些失真或無失真。另外，編碼程序可或不可人工解譯。編碼表示可為純量值或分佈之一向量。
類神經網路亦包含經組態以用於自判定特徵產生一或多個經模擬影像之兩個或兩個以上解碼器層。術語「解碼器」係指將編碼緊密表示「解碼」成可能原始輸入及/或輸入之一聯合表示的一類神經網路或一類神經網路之部分。本文所描述之實施例大體上適用於可如本文進一步所描述般組態之編碼器-解碼器型類神經網路，尤其是深度生成模型。
在一實施例中，類神經網路係一深度學習模型。一般而言，「深度學習」(亦稱為深度結構化學習、階層學習或深度機器學習)係基於一組演算法之機器學習之一分支，該組演算法試圖模型化資料之高階抽象化。簡言之，可存在兩組神經元：一組神經元接收一輸入信號且一組神經元發送一輸出信號。當輸入層接收一輸入時，其將該輸入之一經修改版本傳至下一層。在一深度網路中，輸入與輸出之間存在諸多層(且該等層並非由神經元製成，但其可有助於其那樣思考)以允許演算法使用由多個線性及非線性變換組成之多個處理層。
深度學習係基於資料之學習表示的機器學習方法之一較廣泛系列之部分。可依諸多方式(諸如每像素之強度值之一向量)或依一更抽象方式(如一組邊緣、特定形狀之區域等等)表示一觀察(例如一影像)。一些表示在簡化學習任務方面比其他表示更佳(例如人臉辨識或面部表情辨識)。深 度學習之一承諾係使用用於無監督或半監督特徵學習及階層特徵提取之高效演算法來替換手工特徵。
此領域之研究試圖製作較佳表示且產生自大型未標記資料學習此等表示之模型。一些表示受神經科學之發展啟發且大致係基於一神經系統中之資訊處理及通訊模式之解譯(諸如神經編碼)，其試圖界定大腦中之各種刺激與相關聯神經元回應之間的一關係。
各種深度學習架構(諸如深度類神經網路、廻旋深度類神經網路、深度信念網路及回饋式類神經網路)已應用於如電腦視覺、自動語音辨識、自然語言處理、音訊辨識及生物資訊學之領域，現已證明，其在各種任務上產生最先進結果。
在另一實施例中，類神經網路係一機器學習模型。機器學習可大體上界定為一種人工智慧(AI)，其使電腦在未被明確程式化之情況下具有學習能力。機器學習聚焦於電腦程式之發展，其可在暴露於新資料時自學成長及改變。換言之，機器學習可經界定為「在未被明確程式化之情況下給予電腦學習能力」之電腦科學之子領域。機器學習探索探究可自資料學習且基於資料作出預測之演算法之研究及建構，此等演算法藉由透過自取樣輸入建立一模型來作出資料驅動預測或決策而克服嚴格依照靜態程式指令。
可如以下中所描述般進一步執行本文所描述之機器學習：Sugiyama之「Introduction to Statistical Machine Learning」，Morgan Kaufmann，2016年，第534頁；Jebara之「Discriminative,Generative,and Imitative Learning」，MIT Thesis，2002年，第212頁；及Hand等人之「Principles of Data Mining(Adaptive Computation and Machine Learning)」，MIT Press，2001年，第578頁；其等以宛如全文闡述引用之方式併入本文中。可如此等引用文獻中所描述般進一步組態本文所描述之實施例。
在一些實施例中，類神經網路係一生成模型。一「生成」模型可大體上界定為具概率性之一模型。換言之，一「生成」模型並非為執行正向模擬或基於規則之方法的模型，因而，未必需要涉及產生一實際影像(針對其產生一經模擬影像)之程序之物理學之一模型。相反地，如本文進一步所描述，可基於一組適合訓練資料來學習生成模型(因為其參數可被學習)。
在一實施例中，類神經網路經組態為一深度生成模型。例如，模型可經組態以具有一深度學習架構，此係因為模型可包含執行若干演算法或變換之多個層。模型之一側或兩側上之層數可不同於本文所描述之圖式中所展示之層數。例如，生成模型之編碼器側上之層數取決於使用情況。另外，解碼器側上之層數取決於使用情況且可取決於編碼器側上之層數。一般而言，生成模型之一側或兩側上之層數不是很多且取決於使用情況。出於實際目的，兩側上之一適合層範圍係自2個層至數十個層。
在另一實施例中，類神經網路可為具有一組權重之一深度類神經網路，該組權重根據已被饋送以訓練其之資料來模型化世界。類神經網路可大體上界定為基於一相對較大類神經單元集合之一運算方法，其大致模型化一生物大腦使用由軸突連接之相對較大生物神經元叢集來解決問題之方式。各類神經單元與諸多其他類神經單元連接，且鏈路可對經連接之類神經單元之激活狀態產生強迫或抑制效應。此等系統經自我學習及訓練而非被明確程式化，且在解決方案或特徵偵測難以用一傳統電腦程式表達之領 域中表現突出。
類神經網路通常由多個層組成，且信號路徑前後橫越。類神經網路之目標係依相同於人類大腦之方式解決問題，但一些類神經網路更抽象得多。現代類神經網路計畫通常操作數千個至數百萬個類神經單元及數百萬個連接。類神經網路可具有此項技術中已知之任何適合架構及/或組態。
在另一實施例中，類神經網路係一廻旋類神經網路(CNN)。例如，本文所描述之實施例可利用深度學習概念(諸如一CNN)來解決通常難處理之表示轉換問題(例如再現)。模型可具有此項技術中已知之任何CNN組態或架構。在一實施例中，類神經網路經組態為一全廻旋模型。在額外實施例中，類神經網路可經組態為一深度生成模型、一CNN、一生成對抗網(GAN)、一條件生成對抗網(cGAN)、一GAN及一變分自動編碼器(VAE)及含有一CNN作為一部分之一網路(即，類神經網路之一部分經組態為一CNN)，其等所有可如本文所描述般組態，使得類神經網路可具有任意大小輸入。
可如以下中所描述般組態包含於本文所描述之實施例中之一GAN：Goodfellow等人之「Generative Adversarial Nets」(arXiv：1406.2661，2014年6月10日，第9頁)，其以宛如全文闡述引用之方式併入本文中。Goodfellow等人描述用於經由一對抗程序來估計生成模型之一新構架，其中同時訓練兩個模型：一生成模型G擷取資料分佈且一判別模型D估計一取樣來自訓練資料而非G之概率。針對G之訓練程序最大化D犯錯誤之概率。此構架對應於一二元極大極小博弈。在任意函數G及D之空間中，存在一唯一解決方案，其中G恢復訓練資料分佈且D處處等於1/2。在G及D由多層感知器界定之情況中，可使用反向傳播演算法來訓練整個系統。在 取樣之訓練或產生期間，無需任何馬可夫(Markov)鏈或展開近似推理網路。實驗透過對所產生取樣之定性定量評估來證明構架之可能性。可如Goodfellow等人所描述般進一步組態本文所描述之實施例之類神經網路。
可如以下中所描述般組態包含於本文所描述之實施例中之一CGAN：Mirza等人之「Conditional Generative Adversarial Nets」(arXiv：1411.1784，2014年11月6日，第7頁)，其以宛如全文闡述引用之方式併入本文中。若生成器及判別器兩者以一些額外資訊y為條件，則可將生成對抗網擴展至一條件模型。y可為任何種類之輔助資訊，諸如類別標記或來自其他模態之資料。可藉由將y作為一額外輸入層饋送至判別器及生成器兩者中來執行條件作用。在生成器中，先前輸入雜訊pz(z)及y經組合成聯合隱藏表示且對抗訓練構架允許依相當靈活方式構成此隱藏表示。在判別器中，x及y經呈現為至一判別函數之輸入(在一些情況中，由一多層感知器(MLP)體現)。接著，一二元極大極小博弈之目標函數將為：
Figure 106117367-A0305-02-0024-1
 可如Mirza等人之上文所併入之引用文獻中所描述般進一步組態包含於本文所描述之實施例中之類神經網路。
一變分自動編碼器係具有深度學習及變分推理之優點且導致生成模型化之重大進展的一組件。另外或替代地，可如以下中所描述般組態與一GAN或一深度生成對抗網路(DGAN)組合之一變分自動編碼器(VAE)：Makhzani等人之「Adversarial Autoencoders」(arXiv：1511.05644v2，2016年5月25日，第16頁)，其以宛如全文闡述引用之方式併入本文中。可如此引用文獻中所描述般進一步組態本文所描述之實施例。
類神經網路不包含一全連接層，藉此消除對輸入至兩個或兩個以上編碼器層之影像大小的約束。例如，不是如同當前使用方法及系統般使用(若干)全連接層，本文所描述之類神經網路消除可由本文進一步所描述之一或多個廻旋層替換之(若干)全連接層。藉由使用(若干)廻旋層來替換(若干)全連接層，類神經網路變得與輸入影像大小無關，此意謂：類神經網路不像當前所使用之類神經網路一樣對輸入影像大小具有一上限。
可在以下條件下完成使用(若干)廻旋層來替換(若干)全連接層。假定一全連接層採用2維(N,D)輸入資料，其中N係批量大小且D係輸入通道之數目。通常，在全連接層之前執行一重塑層以將一4維輸入(N,C,H,W)變換成滿足D=C*H*W之2維輸入(N,D)，其中C係通道數目，H係高度，且W係寬度。假定全連接層具有O個輸出通道，即，來自全連接層之輸出資料維度將為(N,O)，可使用具有填充有(C,O,H,W)之核心大小之VALID的一廻旋層來替換重塑層及全連接層，且所得網路可對任意大小輸入執行準確運算。
在一實施例中，一或多個電腦子系統、一或多個組件及類神經網路不裁剪輸入至兩個或兩個以上編碼器層之影像。在另一實施例中，一或多個電腦子系統、一或多個組件及類神經網路不自兩個或兩個以上經裁剪影像重建一或多個經模擬影像。因此，本文所描述之實施例在諸多不同方式上不同於當前使用方法。
例如，如圖2中所展示，當前使用方法200可採用具有1024個像素×1024個像素之一大小的輸入影像202。方法可包含自輸入影像202產生區塊影像組206之裁剪204，其中區塊影像之各者具有顯著小於輸入影像且係可由方法處理之最大大小的一大小。例如，裁剪204可產生923,521個區 塊影像之組206，該等區塊影像各具有64個像素×64個像素之一大小。可將該等區塊影像輸入至包含編碼器208及解碼器210之一類神經網路，解碼器210可產生等效於至編碼器之輸入的一組結果。例如，若將上文所描述之區塊影像組輸入至編碼器208，則解碼器210將產生包含923,521個區塊影像之區塊影像組212，該等區塊影像各具有64個像素×64個像素之一大小。接著，方法可包含重建步驟214，其使用區塊影像組來產生最終影像結果216，最終影像結果216具有相同於輸入影像之大小(即，1024個像素×1024個像素)。
相比而言，本文所描述之實施例不對輸入影像執行任何裁剪及/或不藉由對大於輸入影像之一影像所執行之任何裁剪來產生輸入影像。換言之，一旦輸入影像被輸入至本文所描述之方法及系統，則其不被裁剪。另外，本文所描述之實施例中所使用之輸入影像不是自一較大影像裁剪出。本文所描述之實施例亦不對來自由本文所描述之實施例之元件之任何者產生之任何較小影像的最終影像執行任何重建。例如，如圖2中所展示，一實施例218可採用輸入影像220作為至一類神經網路之輸入，該類神經網路包含編碼器222及解碼器224。編碼器222可包含可根據本文所描述之實施例之任何者所組態的兩個或兩個以上編碼器層。另外，解碼器224可包含可根據本文所描述之實施例之任何者所組態的兩個或兩個以上解碼器層。
在一實施例中，如本文進一步所描述，類神經網路可經組態為全廻旋類神經網路，其係指其中各層類型未假定特定輸入大小且整個網路可針對訓練及推理兩者基於任意大小輸入來操作的組態。另外，可如本文進一步所描述般組態類神經網路以執行邊界阻尼。解碼器可經組態以產生具有 相同於輸入影像之影像大小的經模擬影像226。例如，若輸入影像大小係1024個像素×1024個像素，則輸出影像大小係1024個像素×1024個像素。因此，如藉由比較當前使用方法200與實施例218所展示，本文所描述之實施例可不經組態以執行任何裁剪及重建步驟。
在一實施例中，一或多個電腦子系統經組態以用於藉由使用一廻旋層群組替換一預先存在類神經網路中之全連接層來設立類神經網路，藉此產生類神經網路。例如，本文所描述之實施例可依照以下中所描述之一般思想來由一廻旋層替換一類神經網路之一全連接層以使整個類神經網路無關於輸入大小：Long等人之「Fully convolutional networks for semantic segmentation」(CVPR2015，第3431頁至第3440頁，2015年)，其以宛如全文闡述引用之方式併入本文中。可如此引用文獻中所描述般進一步組態本文所描述之實施例。
圖3a及圖3b繪示可如何將具有固定輸入大小(即，64個像素×64個像素)之一當前所使用之編碼器-解碼器網路轉換成實現任意輸入大小之一全廻旋網路。特定而言，圖3a展示具有64個像素×64個像素之一固定輸入大小之一當前所使用之類神經網路，且圖3b展示使用本文所描述之方法來實現任意輸入大小之一類神經網路之一實施例。在圖3a及圖3b中，在若干階段中展示輸入尺寸及輸出尺寸，且在各此類例項中，尺寸具有(C,H,W)之格式，其中C係通道數目，H係輸入或輸出之高度，且W係輸入或輸出之寬度。
如圖3a中所展示，可將輸入影像300輸入至當前使用網路之編碼器部分302。輸入影像之輸入尺寸300d係(1,64,64)。編碼器部分302包含兩個廻旋層及集用層組304及306、重塑層310及全連接層312。將輸入影像輸 入至廻旋層及集用層組304，廻旋層及集用層組304產生輸入至廻旋層及集用層組306之輸出304o(c1,32,32)。將組306之輸出306o(c2,16,16)輸入至重塑層310，重塑層310產生輸入至全連接層312之輸出310o，全連接層312產生輸入至當前使用網路之解碼器部分的表示314(512)。
當前使用網路之解碼器部分316包含全連接層318、重塑層320及廻旋層及上集用(uppooling)層組322及324。將表示314輸入至全連接層318，全連接層318產生輸出318o(c3,16,16)。將輸出318o輸入至重塑層320，重塑層320產生輸出320o，將輸出320o輸入至廻旋層及上集用層組322，廻旋層及上集用層組322產生輸出322o(c4,32,32)。將輸出322o輸入至廻旋層及上集用層組324，廻旋層及上集用層組324產生輸出326，輸出326具有輸出尺寸326d(1,64,64)且係類神經網路之輸出。
相比而言，如圖3b中所展示，將輸入影像328輸入至根據本文所描述之實施例所組態之一類神經網路之編碼器部分330。輸入影像328具有(1,1024,1024)之輸入尺寸328d。編碼器部分330包含兩個廻旋層及集用層組332及334及廻旋層組336。將輸入影像328輸入至廻旋層及集用層組332，廻旋層及集用層組332產生輸出332o(c1,512,512)，將輸出332o輸入至廻旋層及集用層組334，廻旋層及集用層組334產生輸出334o(c2,256,256)。將輸出334o輸入至廻旋層組336，廻旋層組336產生表示338(512,241,241)。
將表示338輸入至類神經網路實施例之解碼器部分340。解碼器部分340包含廻旋層組342及廻旋層及上集用層組334及346。將表示338輸入至廻旋層組342，廻旋層組342產生輸出342o(c3,256,256)。將輸出342o輸入至廻旋層及上集用層組344，廻旋層及上集用層組344產生輸出344o (c4,512,512)。將輸出344o輸入至廻旋層及上集用層組346，廻旋層及上集用層組346產生輸出348，輸出348具有輸出尺寸348d(1,1024,1024)且係類神經網路之輸出。
與Long等人在上文所併入之引用文獻中所描述之方法及系統不同，使用廻旋層替換全連接層(如本文所描述)不受全連接層及廻旋層之一對一映射的約束。在本文所描述之實施例之背景中，「一對一映射」將涉及：使用一個廻旋層替換一個全連接層(或一個全連接+一個重塑層)。然而，此一組態會導致所得廻旋層之實質上較大核心大小。例如，(依照相同於上文之記法)，若輸入至一重塑層之尺寸係(N,64,32,32)，則重塑層之輸出(即，至完連接層之輸入)係(N,64*32*32)，假定全連接層之輸出係(N,256)，重塑層及全連接層可由具有核心大小(64,256,32,32)之一廻旋層替換。
由於核心(64,256,32,32)中之H及W(即，32)實質上大於實際選擇(例如3或5或7或小於10)，所以學習程序會是低效率的。因此，可由具有相對較小核心之一廻旋層群組近似表示具有一相對較大核心之廻旋層。例如，在上文所提供之實例中，可由(64,M,32,1)及(M,256,1,32)替換(64,256,32,32)，其中M係一自由超參數。
可需要此群組替換來使得應用廻旋層群組之輸出尺寸相同於應用具有核心(C,O,H,W)之原始廻旋層之輸出尺寸。廻旋層群組之共同選擇可為(C,O,H,W)==>(C,M,H,k)+(M,O,k,W)或(C,M,k,H)+(M,O,W,k)，其中k及M係超參數且k通常實質上較小(例如1、2、3、...)且比H或W小得多。
當全連接層之視窗大小足夠大以考量半導體程序條件(例如微影工具 及/或光學檢測工具之點散佈函數或蝕刻程序中之化學及物理反應等等)時，可使用一廻旋層群組(其等各具有一較小濾波器視窗大小(H×W))來替換全連接層(如本文所描述)，且整個群組之有效視窗大小等於或大於全連接層之大小。此方法消除輸入大小約束且亦減少參數之總數(針對訓練及運行時間兩者)。依此方式，本文所描述之實施例可使用一卷基層群組來減小模型大小，同時滿足歸因於半導體程序之視窗大小。
在一些實施例中，輸入至兩個或兩個以上編碼器層之影像係針對樣本所產生之整個圖框影像。術語「圖框」影像在本文中大體上界定為一樣本(諸如一晶圓或倍縮光罩)之掃描期間所獲取的資料或影像之一掃描帶中之一晶粒之一部分之資料或一影像。一「圖框」或「工作」亦可大體上界定為由一成像子系統產生之所有輸出(其可由系統集體處理為一單元)之一相對較小部分。因此，輸出之一「圖框」可取決於成像子系統組態及包含於系統中以用於處置及/或處理由成像子系統產生之輸出的任何組件之組態來變動。然而，一影像圖框大體上將實質上大於一區塊影像及通常可輸入至當前所使用之類神經網路以用於模擬一影像的最大影像大小。例如，用於本文所描述之實施例的一影像圖框可為1024個像素×1024個像素或512個像素×512個像素，而一區塊影像可具有64個像素×64個像素或32個像素×32個像素之一典型大小。
在另一實施例中，輸入至兩個或兩個以上編碼器層之影像係樣本之整個晶粒影像。例如，整個晶粒影像可包含所有影像資料或由一成像系統針對一樣本上之一晶粒所產生之輸出。依此方式，與當前所使用之類神經網路不同，本文所描述之實施例實際上實現整個圖框或整個晶粒再現。特定而言，本文所描述之實施例使用類神經網路之(若干)廻旋層來替換(若 干)全連接層，藉此實現任意影像大小。依此方式，本文所描述之實施例能夠針對類神經網路使用情況來估計整個圖框及晶粒運行時間。
因此，本文所描述之實施例具有優於用於產生模擬影像之其他方法及系統的若干優點。例如，本文所描述之實施例實現針對訓練及運行時間之任意輸入大小。另外，本文所描述之實施例使運行時間運算相較於當前使用方法及系統而大幅減少100倍至1000倍。因此，本文所描述之實施例相較於當前使用方法及系統而減少運行時間硬體成本。另外，實施例實現整個圖框及晶粒估計。此外，本文所描述之實施例有利地減小模型大小(即，模型參數之數目)，同時保持相同操作視窗大小。依此方式，本文所描述之實施例減少訓練程序之通訊超載。再者，無替代方法具有等效於本文所描述之實施例之效能。
本文所描述之實施例可或可不經組態以用於訓練類神經網路。例如，另一方法及/或系統可經組態以產生一經訓練類神經網路，該經訓練類神經網路接著可由本文所描述之實施例存取及使用。
在一實施例中，一或多個電腦子系統經組態以用於使用一視域(fovy)-衰變加權損失函數來訓練類神經網路以變更邊界效應。例如，取決於編碼器及解碼器中之編碼器及解碼器拓撲及廻旋類型(例如有效(valid)、完全(full)、相同(same))，輸出之邊界部分可經歷不同於輸出之中心部分的數學運算，此歸因於廻旋層之邊界效應，尤其當類神經網路相對較深且訓練影像相對較小時。特定而言，廻旋層具有三種填充類型：VALID、SAME及FULL。若輸入影像大小係(H,W)且廻旋濾波器大小係(h,w)，則來自(a)VALID之輸出大小係(H-h+1,W-w+1)，來自(b)SAME之輸出大小係(H,w)，且來自(c)FULL之輸出大小係(H+h-1, W+w-1)。若在輸入影像之邊界部分處使用SAME或FULL填充，則廻旋濾波器將被放置於影像外，此等效於將輸入影像外之像素視為零值。此意謂：一影像之邊界處之廻旋結果通常不具代表性，且假影結果會展示於邊界處。
為消除邊界區域作用，可在訓練程序期間使用一視域-衰變加權損失函數，其中「視域」通常用於(如同諸如OpenGL之圖形應用)係指y方向上之視域。例如，當使用SAME或FULL填充來訓練一全廻旋網路時，訓練將考量邊界像素處之結果，且此將來自假影之大量雜訊引進至學習程序。為解決此問題，可引進一視域-衰變加權損失函數，例如一3×3視域：0.5,0.6,0.5，0.6,1.0,0.6，0.5,0.6,0.5，其中中心區域具有較接近或等於1.0之一權重且邊界區域附近之值小於1.0。視域-衰變加權損失之動機係使學習程序聚焦於相對中心區域像素。
取決於編碼器及解碼器拓撲及相關應用，衰變之形狀可為圓形、正方形或矩形。另外，產生視域-衰變權重之共同方式可為：(1)將一固定相對較小值賦予一恆定邊界且將1.0賦予左中心區域；(2)具有經適當選擇之平均值及標準偏差的2D高斯(Gaussian)核心；及(3)具有經適當選擇之平均值及標準偏差之兩個1D高斯核心。一些應用可省略此步驟。依此方式，本文所描述之實施例可使用視域-衰變加權損失函數來消除訓練中之非所要邊界效應(或邊界雜訊)。
一般而言，訓練類神經網路可包含：獲取資料(例如輸入影像及經模擬影像兩者，其等可包含本文中所描述之輸入影像及經模擬影像之任何 者)。在一實施例中，一或多個電腦子系統經組態以用於使用各具有相同任意大小之一批訓練影像來訓練類神經網路。在一額外實施例中，一或多個電腦子系統經組態以用於使用一批訓練影像來訓練類神經網路，且該批訓練影像中之兩個或兩個以上訓練影像具有不同任意大小。依此方式，該批任意大小影像可包含多個大小影像或各批可包含全部具有相同任意大小之影像。實際上，為了運算及實施效率，各批可包含全部具有相同任意大小之影像。
用於訓練類神經網路之影像可或可不具有相同於輸入影像之大小。例如，歸因於網路拓撲，輸入影像可具有一最小大小要求，且只要其可符合硬體儲存限制，可不具有最小大小限制。最小大小可由取決於網路拓撲且通常經選擇以反映光學設置。實際上，區塊影像通常大於最小大小要求。實際上，吾人可：(1)訓練區塊影像且預測區塊或圖框影像；或(2)訓練圖框影像且預測區塊或圖框影像。
在一些此等實施例中，考量一組隨意大小訓練影像(其等之各者可不小於設計最小大小，即，在圖3a所展示之實例中為64個像素×64個像素)，在訓練步驟中選擇一批隨機影像。可在無子步驟之一個步驟中執行訓練。另外，無需額外步驟來準備訓練資料。理論上，任意大小影像批可用於訓練。然而，為利用硬體低位準指令，可自選定影像隨機取樣一批固定大小區塊。此等取樣區塊影像可用於訓練步驟。在訓練步驟中，區塊大小可有所不同，但在通常情況中，其係預定的。接著，在運行時，考量一組任意大小運行時間影像，可將該等任意大小運行時間影像之各者饋送至網路以在無任何裁剪或重建步驟之情況下產生預測(即，(若干)經模擬影像)。
可如以下中所描述般進一步執行訓練模型：Zhang等人於2016年6月 7日提交之美國專利申請案第15/176,139號及Bhaskar等人於2016年12月29日提交之美國專利申請案第15/394,790號，其等以宛如全文闡述引用之方式併入本文中。可如此等專利申請案中所描述般進一步組態本文所描述之實施例。
由編碼器層判定之特徵可包含此項技術中已知之任何適合特徵，其可自輸入推斷且可用於產生本文進一步所描述之輸出。例如，特徵可包含每像素之一強度值向量。特徵亦可包含本文所描述之任何其他類型之特徵，例如純量值向量、獨立分佈向量、聯合分佈或此項技術中已知之任何其他適合特徵類型。
上文所描述之類神經網路之各層可具有一或多個參數(諸如權重W及偏向B)，其值可藉由訓練類神經網路(其可如本文進一步所描述般執行)來判定。例如，可在訓練期間藉由最小化一成本函數來判定包含於類神經網路中之任何層之權重及偏向。成本函數可取決於對影像執行之變換而變動。
可針對特定樣本(例如特定晶圓或倍縮光罩)、程序及成像參數來產生本文所描述之類神經網路。換言之，本文所描述之類神經網路可為樣本特定的、程序特定的及成像參數特定的。例如，在一實施例中，各類神經網路可經訓練以專用於一特定設計及晶圓層。接著，經訓練類神經網路將僅用於執行針對該層之預測。依此方式，可針對不同晶圓層來產生不同類神經網路。然而，在另一實施例中，可使用來自不同設計及晶圓類型層之資料來訓練一單一類神經網路。所得類神經網路可用於執行一般針對包含於訓練資料中之所有類型之樣本的預測。另外，可針對用於產生(若干)輸入影像之不同成像參數組(例如不同成像模式)及可針對被執行變換之經模擬 影像之不同成像參數組(例如不同成像模式)(例如，就產生對應於不同成像模式之多個經模擬影像而言)來產生不同類神經網路。一般而言，只要選定成像模式可跨工具重複，則一類神經網路可與工具無關。可使用不同訓練資料集來產生不同類神經網路之各者。可依任何適合方式產生不同訓練資料集之各者。
本文所描述之實施例可經組態以用於執行若干不同類型之變換(即，將輸入影像變換成一或多個經模擬影像)。例如，在一些實施例中，類神經網路可經組態以自一低解析度輸入影像產生一或多個高解析度影像。如本文所使用，一樣本之「低解析度影像」術語大體上界定為其中形成於該樣本之影像產生區域中之所有圖案化特徵在影像中無法被解析的一影像。例如，若其中產生一低解析度影像之樣本區域中之一些圖案化特徵之大小足夠大以使其可解析，則可在低解析度影像中解析該等圖案化特徵。然而，並非依使影像中之所有圖案化特徵可解析之一解析度產生低解析度影像。依此方式，本文所使用之術語「低解析度影像」不含足以使低解析度影像用於諸如缺陷檢視(其可包含缺陷分類及/或驗證)及度量之應用之關於樣本上之圖案化特徵的資訊。另外，本文所使用之術語「低解析度影像」大體上係指由檢測系統產生之影像，其通常具有相對較低解析度(例如，低於缺陷檢視及/或度量系統)以具有相對較快產出率。
「低解析度影像」亦可為「低解析度」，此係因為其具有低於本文所描述之一「高解析度影像」之一解析度。本文所使用之術語「高解析度影像」可大體上界定為其中以相對較高精確度解析樣本之所有圖案化特徵的一影像。依此方式，在高解析度影像中解析樣本之高解析度影像產生區域中之所有圖案化特徵，不論其大小如何。因而，本文所使用之術語「高 解析度影像」包含足以使高解析度影像用於諸如缺陷檢視(其可包含缺陷分類及/或驗證)及度量之應用之關於樣本之圖案化特徵的資訊。另外，本文所使用之術語「高解析度影像」大體上係指在例行操作期間檢測系統無法產生之影像，其經組態以為了提高產出率而犧牲解析度能力。
低解析度影像亦可包含(例如)樣本之光學影像，且高解析度影像可包含電子束影像(例如一掃描式電子顯微鏡(SEM)影像)或樣本之設計資料。另外，如本文進一步所描述，可使用如本文所描述般組態之一類神經網路來產生一樣本之一高解析度影像。因此，如本文進一步所描述，實施例可經組態以用於使用一深度學習技術來執行(若干)光學至SEM及/或設計資料變換。
本文所描述之實施例可經組態以使用一或多個經模擬影像(可與輸入影像組合)來執行若干不同功能。例如，一或多個電腦子系統可經組態以用於：(a)光學、電子束及遮罩工具上之IC結構之表示學習；(b)缺陷偵測及分類；及(c)整個圖框或晶粒檢測。可如本文進一步所描述般執行此等功能之各者。
在一實施例中，一或多個電腦子系統經組態以用於分類輸入至兩個或兩個以上編碼器層之影像或一或多個經模擬影像中所偵測之一缺陷，且基於一或多個經模擬影像來執行分類。例如，輸入至類神經網路之影像可為一樣本之一光學影像，且由類神經網路產生之一或多個經模擬影像可包含樣本之一較高解析度影像，諸如可由一電子束成像子系統產生之一影像及/或樣本之設計資料或設計資訊之一影像。
光學影像至SEM及/或設計變換之一益處在於：光學檢測仍為半導體製程之高容量生產良率之關鍵。歸因於解析度欠佳，由光學檢測器偵測之 缺陷需要SEM檢視來進行缺陷分類。自動將光學變換成SEM及/或設計之方法可潛在地減少對良率管理之SEM檢視要求，藉此減少總檢測循環時間。例如，本文所描述之實施例可無需在樣本檢測之後獲取一缺陷檢視系統上之SEM影像，此係因為本文所描述之(若干)經模擬影像可：1)在無樣本且無成像硬體之情況下被獲取；2)用於諸如缺陷分類之缺陷檢視應用。
可在本文所描述之輸入影像及/或一或多個經模擬影像中偵測由類神經網路分類之缺陷。另外，可依此項技術中已知之任何適合方式執行基於一或多個經模擬影像來分類缺陷。例如，一或多個經模擬影像可用作至此項技術中已知之任何適合缺陷分類方法及/或演算法的輸入。換言之，一或多個經模擬影像可用作用於缺陷分類之任何其他影像。由本文所描述之實施例執行之缺陷分類之結果可具有任何適合格式(例如缺陷分類碼等等)。
在另一實施例中，一或多個電腦子系統經組態以用於基於一或多個經模擬影像來偵測樣本上之一缺陷。(若干)電腦子系統可經組態以使用一或多個經模擬影像來依任何適合方式偵測樣本上之缺陷。例如，(若干)電腦子系統可經組態以將一或多個缺陷偵測演算法及/或方法(其可包含此項技術中已知之任何適合缺陷偵測演算法及/或方法)應用於一或多個經模擬影像。在一此類實例中，(若干)電腦子系統可經組態以比較一或多個經模擬影像與樣本之一參考且接著將一臨限值應用於比較結果。具有高於臨限值之比較結果的(若干)經模擬影像中之像素可被識別為缺陷，而具有低於臨限值之比較結果的(若干)經模擬影像中之像素可不被識別為缺陷。
在另一實施例中，(若干)電腦子系統可經組態以用於單一影像偵測，如Karsenti等人於2016年11月16日提交之美國專利申請案第15/353,210號 中所描述，該案以宛如全文闡述引用之方式併入本文中。在一此類實施例中，如此專利申請案中所描述，由類神經網路針對輸入影像所判定之特徵可用於偵測輸入影像中之缺陷。例如，(若干)電腦子系統可經組態以用於基於以下各者來選擇輸入影像中之像素或像素區塊之標記：(1)判定特徵；及(2)一輸入特徵映射容量之像素或像素區塊至標記之映射。電腦子系統可經進一步組態以用於基於像素或區塊之選定標記來偵測樣本上之缺陷。
另外，(若干)電腦子系統可經組態以使用輸入至類神經網路之影像及由類神經網路產生之一或多個經模擬影像兩者來偵測樣本上之缺陷。例如，若輸入影像係一低解析度影像且一或多個經模擬影像包含一高解析度影像，則可在高解析度影像中識別低解析度影像中所偵測之一缺陷之一位置以判定缺陷之設計背景，該設計背景接著可用於判定缺陷是否為一無謂缺陷或一實際缺陷。另外，低解析度影像中所偵測之一缺陷之一位置可用於識別高解析度影像中之缺陷之位置以判定高解析度影像中是否存在(可偵測到)缺陷。若可在高解析度影像中偵測到缺陷，則將其標定為一實際缺陷。若無法在高解析度影像中偵測到缺陷，則將其標定為一無謂缺陷。
在一額外實施例中，一或多個電腦子系統經組態以用於基於一或多個經模擬影像來量測樣本之一或多個特徵或樣本上所偵測之一缺陷。例如，類神經網路可經組態使得由類神經網路產生之一或多個經模擬影像係自一輸入影像(其係一低解析度影像)產生之(若干)高解析度影像。因此，(若干)高解析度影像可含有比輸入影像多之關於形成於樣本上之特徵(例如圖案化特徵(諸如線、空間、接點等等)及樣本上之缺陷)的細節。接著，電腦子系統可使用該等高解析度影像來量測或判定樣本上之特徵之一 或多個特性。
可依任何適合方式判定特徵之一或多個特性。另外，由(若干)電腦子系統判定或量測之特徵之一或多個特性可包含任何適合特性，諸如尺寸(例如線寬、接點直徑等等)、形狀、相對位置等等。可由(若干)電腦子系統對(若干)經模擬影像執行量測，如Duffy等人於2016年4月28日公開之美國專利公開申請案第2016/0116420號、Park等人於2016年12月22日公開之美國專利公開申請案第2016/0372303號及Gupta等人於2016年12月29日公開之美國專利公開申請案第2016/0377425號中所描述，該等案以宛如全文闡述引用之方式併入本文中。可如此等公開案中所描述般進一步組態本文所描述之實施例。
在一些實施例中，一或多個電腦子系統經組態以用於藉由判定特徵值(其使一或多個經模擬影像實質上相同於輸入至兩個或兩個以上編碼器層之影像)來學習樣本上之一或多個結構之一表示。可由針對一輸入影像所判定之所有特徵界定表示。可藉由試圖產生實質上等效於輸入影像之一或多個經模擬影像來學習表示。例如，輸入影像可被輸入至兩個或兩個以上編碼器層且類神經網路可產生一或多個經模擬影像。可判定一或多個經模擬影像與輸入影像之間的差異，且可使用關於該等差異之資訊來變更類神經網路之一或多個參數(諸如本文進一步所描述之參數)。具有變更參數之類神經網路可用於反覆地重複程序，直至一或多個經模擬影像實質上匹配輸入影像(即，已有效地最小化一或多個經模擬影像與輸入影像之間的差異)。可如以下中所描述般進一步執行此一學習程序：Zhang等人於2016年6月7日提交之美國專利申請案第15/176,139號，該案以宛如全文闡述引用之方式併入本文中。可如此專利申請案中所描述般進一步組態本文所描述之實施例。
本文所描述之實施例可經進一步組態以用於執行其他變換(自一輸入影像至一經模擬影像)，諸如以下中所描述之變換：共同擁有之Zhang等人於2016年6月7日提交之美國專利申請案第15/176,139號、Karsenti等人於2016年11月16日提交之美國專利申請案第15/353,210號、Bhaskar等人於2016年12月29日提交之美國專利申請案第15/394,790號、Bhaskar等人於2016年12月29日提交之美國專利申請案第15/394,792號、Zhang等人於2017年1月2日提交之美國專利申請案第15/396,800號、Bhaskar等人於2017年1月9日提交之美國專利申請案第15/402,094號、Bhaskar等人於2017年1月9日提交之美國專利申請案第15/402,169號及Park等人於2017年1月9日提交之美國專利申請案第15/402,197號，該等案以宛如全文闡述引用之方式併入本文中。可如此等專利申請案中所描述般進一步組態本文所描述之實施例。另外，本文所描述之實施例可經組態以執行此等專利申請案中所描述之任何步驟。
經組態以自一輸入影像產生一經模擬影像之一系統之另一實施例包含經組態以用於產生一樣本之一影像的一成像子系統。該成像子系統可具有本文所描述之任何組態。該系統亦包含：一或多個電腦子系統(例如圖1中所展示之(若干)電腦子系統102)，其等可如本文進一步所描述般組態；及一或多個組件(諸如(若干)組件100)，其等由該一或多個電腦子系統執行且可包含本文所描述之(若干)組件之任何者。該(等)組件包含可如本文所描述般組態之一類神經網路，例如類神經網路104。例如，該類神經網路包含：兩個或兩個以上編碼器層，其等經組態以用於判定該影像之特徵；及兩個或兩個以上解碼器層，其等經組態以用於自該等判定特徵產生一或多個經模擬影像。該類神經網路不包含一全連接層，藉此消除對輸入至該 兩個或兩個以上編碼器層之該影像之大小的約束。可如本文進一步所描述般進一步組態該類神經網路。可如本文所描述般進一步組態此系統實施例。
上文所描述之各系統之各實施例可一起經組合成一單一實施例。
另一實施例係關於一種用於自一輸入影像產生一經模擬影像之電腦實施方法。該方法包含：獲取一樣本之一影像。該方法亦包含：藉由將該影像輸入至一類神經網路之兩個或兩個以上編碼器層中來判定該樣本之該影像之特徵。另外，該方法包含：自該等判定特徵產生一或多個經模擬影像。由該類神經網路之兩個或兩個以上解碼器層執行產生該一或多個經模擬影像。由一或多個電腦系統執行該獲取、該判定及該產生。由該一或多個電腦系統執行一或多個組件，且該一或多個組件包含該類神經網路。
可如本文進一步所描述般執行該方法之各步驟。該方法亦可包含可由本文所描述之系統、(若干)電腦子系統及/或成像系統或子系統執行之(若干)任何其他步驟。可根據本文所描述之實施例之任何者來組態該一或多個電腦系統、該一或多個組件及該類神經網路，例如(若干)電腦子系統102、(若干)組件100及類神經網路104。另外，可由本文所描述之系統實施例之任何者執行上述方法。
一額外實施例係關於一種非暫時性電腦可讀媒體，其儲存可在一或多個電腦系統上執行之程式指令，該等程式指令用於執行用於自一輸入影像產生一經模擬影像的一電腦實施方法。圖4中展示一此類實施例。特定而言，如圖4中所展示，非暫時性電腦可讀媒體400包含可在(若干)電腦系統404上執行之程式指令402。該電腦實施方法可包含本文所描述之(若干)任何方法之(若干)任何步驟。
實施方法(諸如本文所描述之方法)之程式指令402可儲存於電腦可讀媒體400上。電腦可讀媒體可為一儲存媒體，諸如一磁碟或光碟、一磁帶或此項技術中已知之任何其他適合非暫時性電腦可讀媒體。
可依各種方式(其尤其包含基於程序之技術、基於組件之技術及/或物件導向技術)之任何者實施程式指令。例如，可根據期望使用ActiveX控制、C++物件、JavaBeans、微軟基礎類別(「MFC」)、SSE(串流SIMD擴展)或其他技術或方法來實施程式指令。
可根據本文所描述之實施例之任何者來組態(若干)電腦系統404。
熟習技術者將鑑於[實施方式]來瞭解本發明之各種態樣之進一步修改及替代實施例。例如，提供用於自一輸入影像產生一經模擬影像之方法及系統。據此，[實施方式]應被解釋為僅具繪示性且用於教示熟習技術者實施本發明之一般方式。應瞭解，本文所展示及所描述之本發明之形式應被視為當前較佳實施例。如熟習技術者將在受益於本發明之[實施方式]之後全部明白，元件及材料可替代本文所繪示及所描述之元件及材料，可顛倒部件及程序，且可獨立利用本發明之特定特徵。可在不背離以下申請專利範圍中所描述之本發明之精神及範疇的情況下對本文所描述之元件作出改變。
10:成像系統/成像子系統
14:樣本
16:光源
18:光學元件
20:透鏡
22:置物台
24:集光器
26:元件
28:偵測器
30:集光器
32:元件
34:偵測器
36:電腦子系統
100:組件
102:電腦子系統
104:類神經網路

Claims (27)

  1. 一種經組態以自一輸入影像產生一經模擬影像之系統，該系統包括：一或多個電腦子系統，其經組態以藉由引導能量至一樣本而獲取該樣本之一影像及使用該樣本本身與成像硬體而偵測來自該樣本之能量；及一或多個組件，其等由該一或多個電腦子系統執行，其中該一或多個組件包括：一類神經網路，其中該類神經網路包括：兩個或兩個以上編碼器層，其等經組態以用於判定該樣本之該影像之數個特徵，其中該影像係該樣本之一低解析度影像；及兩個或兩個解碼器層，其等經組態以用於自該等經判定特徵產生一或多個經模擬影像，其中該一或多個經模擬影像係該樣本之一或多個高解析度影像，其中該類神經網路經組態為一深度生成模型，及其中該類神經網路不包括一全連接層，藉此消除對輸入至該兩個或兩個以上編碼器層之該影像之大小的約束。
  2. 如請求項1之系統，其中該類神經網路進一步經組態為一全廻旋模型。
  3. 如請求項1之系統，其中該類神經網路進一步經組態為一生成對抗網。
  4. 如請求項1之系統，其中該類神經網路進一步經組態為一條件生成對抗網。
  5. 如請求項1之系統，其中該類神經網路進一步經組態為一生成對抗網路及變分自動編碼器。
  6. 如請求項1之系統，其中該類神經網路之一部分進一步經組態為一廻旋類神經網路。
  7. 如請求項1之系統，其中該一或多個電腦子系統、該一或多個組件及該類神經網路不裁剪輸入至該兩個或兩個以上編碼器層之該影像。
  8. 如請求項1之系統，其中該一或多個電腦子系統、該一或多個組件及該類神經網路不自兩個或兩個以上裁剪影像重建該一或多個經模擬影像。
  9. 如請求項1之系統，其中該一或多個電腦子系統進一步經組態以用於藉由使用一廻旋層群組替換一預先存在類神經網路中之一全連接層來設立該類神經網路以藉此產生該類神經網路。
  10. 如請求項1之系統，其中該一或多個電腦子系統經組態以用於使用一視域-衰變加權損失函數來訓練該類神經網路以變更邊界效應。
  11. 如請求項1之系統，其中該一或多個電腦子系統經組態以用於使用各 具有相同任意大小之一批訓練影像來訓練該類神經網路。
  12. 如請求項1之系統，其中該一或多個電腦子系統經組態以用於使用一批訓練影像來訓練該類神經網路，且其中該批中之兩個或兩個以上訓練影像具有不同任意大小。
  13. 如請求項1之系統，其中輸入至該兩個或兩個以上編碼器層之該影像係針對該樣本所產生之一整個圖框影像。
  14. 如請求項1之系統，其中輸入至該兩個或兩個以上編碼器層之該影像係該樣本之一整個晶粒影像。
  15. 如請求項1之系統，其中輸入至該兩個或兩個以上編碼器層之該影像係由一基於電子束之成像系統產生。
  16. 如請求項1之系統，其中輸入至該兩個或兩個以上編碼器層之該影像係由一基於光學之成像系統產生。
  17. 如請求項1之系統，其中輸入至該兩個或兩個以上編碼器層之該影像係由一檢測系統產生。
  18. 如請求項1之系統，其中輸入至該兩個或兩個以上編碼器層之該影像係由一度量系統產生。
  19. 如請求項1之系統，其中該樣本係一晶圓。
  20. 如請求項1之系統，其中該樣本係一倍縮光罩。
  21. 如請求項1之系統，其中該一或多個電腦子系統經組態以用於基於該一或多個經模擬影像來偵測該樣本上之一缺陷。
  22. 如請求項1之系統，其中該一或多個電腦子系統經組態以用於分類輸入至該兩個或兩個以上編碼器層之該影像或該一或多個經模擬影像中所偵測之一缺陷，且其中基於該一或多個經模擬影像來執行該分類。
  23. 如請求項1之系統，其中該一或多個電腦子系統經組態以用於基於該一或多個經模擬影像來量測該樣本之一或多個特徵或該樣本上所偵測之一缺陷。
  24. 如請求項1之系統，其中該一或多個電腦子系統經組態以用於藉由判定該等特徵之值來學習該樣本上之一或多個結構之一表示，該等特徵使該一或多個經模擬影像實質上相同於輸入至該兩個或兩個以上編碼器層之該影像。
  25. 一種經組態以自一輸入影像產生一經模擬影像之系統，該系統包括： 一成像子系統，其經組態以用於藉由引導能量至一樣本而產生該樣本之一影像及使用該樣本本身與成像硬體而偵測來自該樣本之能量，其中該影像係該樣本之一低解析度影像；一或多個電腦子系統，其等經組態以用於獲取該影像；及一或多個組件，其等由該一或多個電腦子系統執行，其中該一或多個組件包括：一類神經網路，其中該類神經網路包括：兩個或兩個以上編碼器層，其等經組態以用於判定該影像之數個特徵；及兩個或兩個解碼器層，其等經組態以用於自該等經判定特徵產生一或多個經模擬影像，其中該一或多個經模擬影像係該樣本之一或多個高解析度影像，其中該類神經網路經組態為一深度生成模型，及其中該類神經網路不包括一全連接層，藉此消除對輸入至該兩個或兩個以上編碼器層之該影像之大小的約束。
  26. 一種非暫時性電腦可讀媒體，其儲存可在一或多個電腦系統上執行之程式指令，該等程式指令用於執行用於自一輸入影像產生一經模擬影像之一電腦實施方法，其中該電腦實施方法包括：藉由引導能量至一樣本而獲取該樣本之一影像及使用該樣本本身與成像硬體而偵測來自該樣本之能量；藉由將該影像輸入至一類神經網路之兩個或兩個以上編碼器層中來判定該樣本之該影像之數個特徵，其中該影像係該樣本之一低解析度影像，其中該類神經網路經組態為一深度生成模型，及其中該類神經網路不 包括一全連接層，藉此消除對輸入至該兩個或兩個以上編碼器層之該影像之大小的約束；及自該等經判定特徵產生一或多個經模擬影像，其中該一或多個經模擬影像係該樣本之一或多個高解析度影像，其中由該類神經網路之兩個或兩個以上解碼器層執行產生該一或多個經模擬影像，其中由該一或多個電腦系統執行該獲取、該判定及該產生，其中由該一或多個電腦系統執行一或多個組件，且其中該一或多個組件包括該類神經網路。
  27. 一種用於自一輸入影像產生一經模擬影像之電腦實施方法，其包括：藉由引導能量至一樣本而獲取該樣本之一影像及使用該樣本本身與成像硬體而偵測來自該樣本之能量；藉由將該影像輸入至一類神經網路之兩個或兩個以上編碼器層中來判定該樣本之該影像之數個特徵，其中該影像係該樣本之一低解析度影像，其中該類神經網路經組態為一深度生成模型，及其中該類神經網路不包括一全連接層，藉此消除對輸入至該兩個或兩個以上編碼器層之該影像之大小的約束；及自該等經判定特徵產生一或多個經模擬影像，其中由該類神經網路之兩個或兩個以上解碼器層執行產生該一或多個經模擬影像，其中該一或多個經模擬影像係該樣本之一或多個高解析度影像，其中由一或多個電腦系統執行該獲取、該判定及該產生，其中由該一或多個電腦系統執行一或多個組件，且其中該一或多個組件包括該類神經網路。
TW106117367A 2016-05-25 2017-05-25 用於自輸入影像產生經模擬影像之系統、電腦實施方法及非暫時性電腦可讀媒體 TWI723168B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662341548P 2016-05-25 2016-05-25
US62/341,548 2016-05-25
US15/603,249 US10395356B2 (en) 2016-05-25 2017-05-23 Generating simulated images from input images for semiconductor applications
US15/603,249 2017-05-23

Publications (2)

Publication Number Publication Date
TW201800983A TW201800983A (zh) 2018-01-01
TWI723168B true TWI723168B (zh) 2021-04-01

Family

ID=60412548

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106117367A TWI723168B (zh) 2016-05-25 2017-05-25 用於自輸入影像產生經模擬影像之系統、電腦實施方法及非暫時性電腦可讀媒體

Country Status (8)

Country Link
US (1) US10395356B2 (zh)
EP (1) EP3465174B1 (zh)
JP (1) JP6758418B2 (zh)
KR (1) KR102229081B1 (zh)
CN (1) CN109074650B (zh)
IL (1) IL262672B (zh)
TW (1) TWI723168B (zh)
WO (1) WO2017205537A1 (zh)

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10373055B1 (en) 2016-05-20 2019-08-06 Deepmind Technologies Limited Training variational autoencoders to generate disentangled latent factors
US10083499B1 (en) * 2016-10-11 2018-09-25 Google Llc Methods and apparatus to reduce compression artifacts in images
US10395362B2 (en) 2017-04-07 2019-08-27 Kla-Tencor Corp. Contour based defect detection
US11237872B2 (en) 2017-05-23 2022-02-01 Kla-Tencor Corporation Semiconductor inspection and metrology systems for distributing job among the CPUs or GPUs based on logical image processing boundaries
US11049018B2 (en) 2017-06-23 2021-06-29 Nvidia Corporation Transforming convolutional neural networks for visual sequence learning
US10776903B2 (en) 2017-07-17 2020-09-15 Open Text Corporation Systems and methods for image modification and image based content capture and extraction in neural networks
US10902252B2 (en) 2017-07-17 2021-01-26 Open Text Corporation Systems and methods for image based content capture and extraction utilizing deep learning neural network and bounding box detection training techniques
US20190035113A1 (en) * 2017-07-27 2019-01-31 Nvidia Corporation Temporally stable data reconstruction with an external recurrent neural network
US10805519B2 (en) 2017-08-08 2020-10-13 Mediatek Inc. Perception-based image processing apparatus and associated method
US10699926B2 (en) 2017-08-30 2020-06-30 Kla-Tencor Corp. Identifying nuisances and defects of interest in defects detected on a wafer
US10713534B2 (en) 2017-09-01 2020-07-14 Kla-Tencor Corp. Training a learning based defect classifier
KR102563752B1 (ko) * 2017-09-29 2023-08-04 삼성전자주식회사 뉴럴 네트워크를 위한 트레이닝 방법, 뉴럴 네트워크를 이용한 인식 방법 및 그 장치들
US11250329B2 (en) 2017-10-26 2022-02-15 Nvidia Corporation Progressive modification of generative adversarial neural networks
US11263525B2 (en) 2017-10-26 2022-03-01 Nvidia Corporation Progressive modification of neural networks
TWI649659B (zh) 2017-10-27 2019-02-01 財團法人工業技術研究院 自動光學檢測影像分類方法、系統及含有該方法之電腦可讀取媒體
TWI653605B (zh) * 2017-12-25 2019-03-11 由田新技股份有限公司 利用深度學習的自動光學檢測方法、設備、電腦程式、電腦可讀取之記錄媒體及其深度學習系統
US11257207B2 (en) * 2017-12-28 2022-02-22 Kla-Tencor Corporation Inspection of reticles using machine learning
WO2019171415A1 (en) * 2018-03-05 2019-09-12 Nec Corporation Speech feature compensation apparatus, method, and program
CN108596871A (zh) * 2018-03-08 2018-09-28 中北大学 一种基于深度学习的bga气泡缺陷图像检测方法
US11170255B2 (en) 2018-03-21 2021-11-09 Kla-Tencor Corp. Training a machine learning model with synthetic images
JP7179472B2 (ja) * 2018-03-22 2022-11-29 キヤノン株式会社 処理装置、処理システム、撮像装置、処理方法、プログラム、および、記録媒体
US10670536B2 (en) 2018-03-28 2020-06-02 Kla-Tencor Corp. Mode selection for inspection
US10599951B2 (en) 2018-03-28 2020-03-24 Kla-Tencor Corp. Training a neural network for defect detection in low resolution images
US10762398B2 (en) * 2018-04-30 2020-09-01 Elekta Ab Modality-agnostic method for medical image representation
US10824909B2 (en) 2018-05-15 2020-11-03 Toyota Research Institute, Inc. Systems and methods for conditional image translation
DE102018207880A1 (de) 2018-05-18 2019-11-21 Carl Zeiss Smt Gmbh Verfahren und Vorrichtung zum Bewerten einer unbekannten Auswirkung von Defekten eines Elements eines Photolithographieprozesses
DE102018207882A1 (de) 2018-05-18 2019-11-21 Carl Zeiss Smt Gmbh Vorrichtung und Verfahren zur Analyse eines Elements eines Photolithographieprozesses mit Hilfe eines Transformationsmodells
JP6962863B2 (ja) 2018-05-25 2021-11-05 日本電子株式会社 荷電粒子線装置
US10713569B2 (en) 2018-05-31 2020-07-14 Toyota Research Institute, Inc. System and method for generating improved synthetic images
US11315231B2 (en) 2018-06-08 2022-04-26 Industrial Technology Research Institute Industrial image inspection method and system and computer readable recording medium
TWI683262B (zh) * 2018-06-08 2020-01-21 財團法人工業技術研究院 工業影像檢測方法、系統與電腦可讀取記錄媒體
CN108830209B (zh) * 2018-06-08 2021-12-17 西安电子科技大学 基于生成对抗网络的遥感图像道路提取方法
US10810460B2 (en) * 2018-06-13 2020-10-20 Cosmo Artificial Intelligence—AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
DE102018209562B3 (de) 2018-06-14 2019-12-12 Carl Zeiss Smt Gmbh Vorrichtungen und Verfahren zur Untersuchung und/oder Bearbeitung eines Elements für die Photolithographie
CN114997408A (zh) 2018-06-14 2022-09-02 诺威有限公司 半导体度量方法和半导体度量系统
DE102018211099B4 (de) 2018-07-05 2020-06-18 Carl Zeiss Smt Gmbh Verfahren und Vorrichtung zum Bewerten eines statistisch verteilten Messwertes beim Untersuchen eines Elements eines Photolithographieprozesses
EP3598474A1 (en) 2018-07-19 2020-01-22 FEI Company Adaptive specimen image acquisition using an artificial neural network
US10846845B2 (en) 2018-07-25 2020-11-24 Fei Company Training an artificial neural network using simulated specimen images
WO2020043525A1 (en) 2018-08-28 2020-03-05 Asml Netherlands B.V. Systems and methods of optimal metrology guidance
US10949964B2 (en) 2018-09-21 2021-03-16 Kla Corporation Super-resolution defect review image generation through generative adversarial networks
EP3637186A1 (en) * 2018-10-09 2020-04-15 ASML Netherlands B.V. Method of calibrating a plurality of metrology apparatuses, method of determining a parameter of interest, and metrology apparatus
CN109559358B (zh) * 2018-10-22 2023-07-04 天津大学 一种基于卷积自编码的图像样本升采样方法
US11538143B2 (en) * 2018-10-26 2022-12-27 Nec Corporation Fully convolutional transformer based generative adversarial networks
WO2020110224A1 (ja) 2018-11-28 2020-06-04 Eizo株式会社 情報処理方法及びコンピュータプログラム
CN109933682B (zh) * 2019-01-11 2022-01-04 上海交通大学 一种基于语义与内容信息结合的图像哈希检索方法及系统
US10922808B2 (en) 2019-02-14 2021-02-16 KLA—Tencor Corp. File selection for test image to design alignment
US11263496B2 (en) * 2019-02-25 2022-03-01 D2S, Inc. Methods and systems to classify features in electronic designs
US11182929B2 (en) 2019-02-25 2021-11-23 Center For Deep Learning In Electronics Manufacturing, Inc. Methods and systems for compressing shape data for electronic designs
US11061318B2 (en) * 2019-02-28 2021-07-13 Taiwan Semiconductor Manufacturing Co., Ltd. Lithography model calibration
US11436506B2 (en) * 2019-03-06 2022-09-06 Carl Zeiss Smt Gmbh Method and devices for determining metrology sites
US11900026B1 (en) 2019-04-24 2024-02-13 X Development Llc Learned fabrication constraints for optimizing physical devices
CN110146455A (zh) * 2019-05-27 2019-08-20 安徽大学 基于深度学习的激光光谱气体浓度测量方法
EP3955208A4 (en) * 2019-06-03 2023-05-24 Hamamatsu Photonics K.K. SEMICONDUCTOR INSPECTION DEVICE AND SEMICONDUCTOR INSPECTION PROCEDURE
JP7413376B2 (ja) * 2019-06-03 2024-01-15 浜松ホトニクス株式会社 半導体検査方法及び半導体検査装置
US11379633B2 (en) 2019-06-05 2022-07-05 X Development Llc Cascading models for optimization of fabrication and design of a physical device
JP7316867B2 (ja) * 2019-07-25 2023-07-28 キオクシア株式会社 半導体画像処理装置
US11126891B2 (en) 2019-09-11 2021-09-21 Toyota Research Institute, Inc. Systems and methods for simulating sensor data using a generative model
US11727169B2 (en) 2019-09-11 2023-08-15 Toyota Research Institute, Inc. Systems and methods for inferring simulated data
US11494695B2 (en) 2019-09-27 2022-11-08 Google Llc Training neural networks to generate structured embeddings
US11580650B2 (en) 2019-10-01 2023-02-14 KLA Corp. Multi-imaging mode image alignment
EP4049230A4 (en) * 2019-10-24 2023-11-22 Molecular Devices, LLC HIGH CONTENT IMAGING SYSTEM FOR GENERATING ENHANCED IMAGES AND METHOD OF OPERATION THEREFOR
US11087449B2 (en) 2019-10-24 2021-08-10 KLA Corp. Deep learning networks for nuisance filtering
EP3828632A1 (en) * 2019-11-29 2021-06-02 ASML Netherlands B.V. Method and system for predicting electric field images with a parameterized model
WO2021104718A1 (en) * 2019-11-29 2021-06-03 Asml Netherlands B.V. Method and system for predicting process information with a parameterized model
US11961219B2 (en) * 2020-02-27 2024-04-16 KLA Corp. Generative adversarial networks (GANs) for simulating specimen images
US12131103B2 (en) 2020-03-30 2024-10-29 Kla Corporation Semiconductor fabrication process parameter determination using a generative adversarial network
WO2021202163A1 (en) * 2020-03-31 2021-10-07 Battelle Memorial Institute Method of identifying vulnerable regions in an integrated circuit
EP3893057A1 (en) * 2020-04-10 2021-10-13 ASML Netherlands B.V. Aligning a distorted image
US11232550B2 (en) * 2020-06-29 2022-01-25 Applied Materials Israel Ltd. Generating a training set usable for examination of a semiconductor specimen
JP7492389B2 (ja) 2020-07-03 2024-05-29 株式会社ホロン 画像検査装置および画像検査方法
US11328410B2 (en) * 2020-08-03 2022-05-10 KLA Corp. Deep generative models for optical or other mode selection
US11776108B2 (en) 2020-08-05 2023-10-03 KLA Corp. Deep learning based defect detection
US11250199B1 (en) * 2020-09-16 2022-02-15 Center For Deep Learning In Electronics Manufacturing, Inc. Methods and systems for generating shape data for electronic designs
US12045996B2 (en) 2020-09-17 2024-07-23 Center for Deep Learning in Electronics Mfg., Inc. Methods and systems for registering images for electronic designs
US11556738B2 (en) * 2020-10-01 2023-01-17 Kla Corporation System and method for determining target feature focus in image-based overlay metrology
CN112288727A (zh) * 2020-10-30 2021-01-29 创新奇智(重庆)科技有限公司 磁环表面缺陷检测方法、装置、电子设备及存储介质
AU2021401816A1 (en) * 2020-12-18 2023-06-22 Strong Force Vcn Portfolio 2019, Llc Robot fleet management and additive manufacturing for value chain networks
CN112598598B (zh) * 2020-12-25 2023-11-28 南京信息工程大学滨江学院 一种基于两级反射光消除网络的图像反射光去除方法
JPWO2022137841A1 (zh) * 2020-12-25 2022-06-30
KR102271995B1 (ko) * 2021-01-12 2021-07-05 국방과학연구소 인공 신경망을 이용한 지표면 화학 작용제 탐지 시스템
TWI748867B (zh) * 2021-02-05 2021-12-01 鴻海精密工業股份有限公司 圖像瑕疵檢測方法、裝置、電子設備及存儲介質
US12020418B2 (en) * 2021-04-22 2024-06-25 Taiwan Semiconductor Manufacturing Company, Ltd. Image processing method and system, and non-transitory computer readable medium
US12013350B2 (en) 2021-05-05 2024-06-18 Onto Innovation Inc. Effective cell approximation model for logic structures
CN113469336A (zh) * 2021-06-29 2021-10-01 上海寒武纪信息科技有限公司 优化神经网络模型的编译方法、执行方法及相关产品
US20230043089A1 (en) * 2021-08-04 2023-02-09 Samsung Electronics Co., Ltd. Super resolution sem image implementing device and method thereof
US11961221B2 (en) * 2021-10-07 2024-04-16 Applied Materials Israel Ltd. Defect examination on a semiconductor specimen
US20230377125A1 (en) * 2022-05-19 2023-11-23 Applied Materials Israel Ltd. Defect detection of a semiconductor specimen

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6622135B1 (en) * 1998-12-29 2003-09-16 International Business Machines Corporation Method for detecting and classifying anomalies using artificial neural networks
WO2015191397A1 (en) * 2014-06-09 2015-12-17 Qualcomm Incorporated Image capturing parameter adjustment in preview mode
WO2016028532A1 (en) * 2014-08-22 2016-02-25 Qualcomm Incorporated Apparatus and method for capturing a scene image with text using flash illumination
WO2016077797A1 (en) * 2014-11-14 2016-05-19 Google Inc. Generating natural language descriptions of images

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3476913B2 (ja) * 1994-07-08 2003-12-10 オリンパス株式会社 欠陥種別判定装置及びプロセス管理システム
JP4159512B2 (ja) 2004-05-31 2008-10-01 日本電気株式会社 画像パターン補正方法、及びそれを適用した模擬画像生成方法、並びにパターン外観検査方法
US7788629B2 (en) 2004-07-21 2010-08-31 Kla-Tencor Technologies Corp. Systems configured to perform a non-contact method for determining a property of a specimen
US7570796B2 (en) 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US7676077B2 (en) 2005-11-18 2010-03-09 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
JP4933888B2 (ja) 2006-09-19 2012-05-16 株式会社リコー 画像形成装置および画像形成方法
US8698093B1 (en) 2007-01-19 2014-04-15 Kla-Tencor Corporation Objective lens with deflector plates immersed in electrostatic lens field
US7483809B2 (en) 2007-04-12 2009-01-27 Tokyo Electron Limited Optical metrology using support vector machine with profile parameter inputs
US8126255B2 (en) 2007-09-20 2012-02-28 Kla-Tencor Corp. Systems and methods for creating persistent data for a wafer and for using persistent data for inspection-related functions
US20090110062A1 (en) * 2007-10-30 2009-04-30 The Hong Kong University Of Science And Technology Optimal heegard-berger coding schemes
JP2010157118A (ja) * 2008-12-26 2010-07-15 Denso It Laboratory Inc パターン識別装置及びパターン識別装置の学習方法ならびにコンピュータプログラム
WO2011096136A1 (ja) 2010-02-02 2011-08-11 コニカミノルタホールディングス株式会社 疑似画像生成装置および疑似画像生成方法
US9405975B2 (en) * 2010-03-26 2016-08-02 Brain Corporation Apparatus and methods for pulse-code invariant object recognition
US8664594B1 (en) 2011-04-18 2014-03-04 Kla-Tencor Corporation Electron-optical system for high-speed and high-sensitivity inspections
US8692204B2 (en) 2011-04-26 2014-04-08 Kla-Tencor Corporation Apparatus and methods for electron beam detection
US8716662B1 (en) 2012-07-16 2014-05-06 Kla-Tencor Corporation Methods and apparatus to review defects using scanning electron microscope with multiple electron beam configurations
CN103679185B (zh) * 2012-08-31 2017-06-16 富士通株式会社 卷积神经网络分类器系统、其训练方法、分类方法和用途
US20140112589A1 (en) * 2012-10-22 2014-04-24 Gurulogic Microsystems Oy Encoder, decoder and method
US9222895B2 (en) 2013-02-25 2015-12-29 Kla-Tencor Corp. Generalized virtual inspector
KR102103984B1 (ko) * 2013-07-15 2020-04-23 삼성전자주식회사 깊이 영상 처리 방법 및 장치
JP2015129987A (ja) * 2014-01-06 2015-07-16 国立大学法人三重大学 医用高解像画像形成システムおよび方法。
US10181098B2 (en) * 2014-06-06 2019-01-15 Google Llc Generating representations of input sequences using neural networks
CN104134062A (zh) * 2014-08-18 2014-11-05 朱毅 一种基于深度神经网络的静脉识别系统
US10417525B2 (en) * 2014-09-22 2019-09-17 Samsung Electronics Co., Ltd. Object recognition with reduced neural network weight precision
US10267746B2 (en) 2014-10-22 2019-04-23 Kla-Tencor Corp. Automated pattern fidelity measurement plan generation
US10483081B2 (en) 2014-10-22 2019-11-19 Kla-Tencor Corp. Self directed metrology and pattern classification
US10650508B2 (en) * 2014-12-03 2020-05-12 Kla-Tencor Corporation Automatic defect classification without sampling and feature selection
US10062543B2 (en) 2015-06-23 2018-08-28 Kla-Tencor Corp. Determining multi-patterning step overlay error
CN105303185A (zh) * 2015-11-27 2016-02-03 中国科学院深圳先进技术研究院 虹膜定位方法及装置
US11580398B2 (en) * 2016-10-14 2023-02-14 KLA-Tenor Corp. Diagnostic systems and methods for deep learning models configured for semiconductor applications

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6622135B1 (en) * 1998-12-29 2003-09-16 International Business Machines Corporation Method for detecting and classifying anomalies using artificial neural networks
WO2015191397A1 (en) * 2014-06-09 2015-12-17 Qualcomm Incorporated Image capturing parameter adjustment in preview mode
WO2016028532A1 (en) * 2014-08-22 2016-02-25 Qualcomm Incorporated Apparatus and method for capturing a scene image with text using flash illumination
WO2016077797A1 (en) * 2014-11-14 2016-05-19 Google Inc. Generating natural language descriptions of images

Also Published As

Publication number Publication date
KR20190001608A (ko) 2019-01-04
KR102229081B1 (ko) 2021-03-16
EP3465174B1 (en) 2022-03-09
JP6758418B2 (ja) 2020-09-23
US20170345140A1 (en) 2017-11-30
TW201800983A (zh) 2018-01-01
EP3465174A1 (en) 2019-04-10
IL262672B (en) 2020-08-31
US10395356B2 (en) 2019-08-27
WO2017205537A1 (en) 2017-11-30
CN109074650B (zh) 2023-09-15
CN109074650A (zh) 2018-12-21
JP2019522897A (ja) 2019-08-15
IL262672A (en) 2018-12-31
EP3465174A4 (en) 2019-11-27

Similar Documents

Publication Publication Date Title
TWI723168B (zh) 用於自輸入影像產生經模擬影像之系統、電腦實施方法及非暫時性電腦可讀媒體
TWI715773B (zh) 針對半導體應用整合神經網路及前向物理模型之系統及方法
TWI734724B (zh) 針對半導體應用由低解析度影像產生高解析度影像之系統、方法及非暫時性電腦可讀媒體
TWI773888B (zh) 訓練用於低解析度影像中之缺陷偵測之神經網路
TWI713672B (zh) 為樣品產生模擬輸出之系統，非暫時性電腦可讀媒體及電腦實施方法
CN108475351B (zh) 用于训练基于机器学习的模型的系统和计算机实施方法
TWI731016B (zh) 用於半導體應用之以機器學習之模型為基礎之加速訓練
TWI735774B (zh) 基於輪廓之缺陷偵測
TWI742277B (zh) 用於對準以不同模態所獲取之影像之以學習為基礎之方法
TWI711978B (zh) 用於執行針對樣本之功能之系統及電腦實施方法，以及電腦可讀媒體
TWI722050B (zh) 單一影像偵測
JP6893514B2 (ja) ハイブリッドインスペクタ
KR20200039808A (ko) 결함 검출 및 분류를 위한 통합된 뉴럴 네트워크