TWI715773B - 針對半導體應用整合神經網路及前向物理模型之系統及方法 - Google Patents

針對半導體應用整合神經網路及前向物理模型之系統及方法 Download PDF

Info

Publication number
TWI715773B
TWI715773B TW106118058A TW106118058A TWI715773B TW I715773 B TWI715773 B TW I715773B TW 106118058 A TW106118058 A TW 106118058A TW 106118058 A TW106118058 A TW 106118058A TW I715773 B TWI715773 B TW I715773B
Authority
TW
Taiwan
Prior art keywords
neural network
image
sample
input
images
Prior art date
Application number
TW106118058A
Other languages
English (en)
Other versions
TW201802726A (zh
Inventor
張晶
克里斯 畢海斯卡
Original Assignee
美商克萊譚克公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商克萊譚克公司 filed Critical 美商克萊譚克公司
Publication of TW201802726A publication Critical patent/TW201802726A/zh
Application granted granted Critical
Publication of TWI715773B publication Critical patent/TWI715773B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Neurology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本發明提供用於訓練一神經網路之方法及系統。一個系統包含由一或多個電腦子系統實行之一或多個組件。該一或多個組件包含：一神經網路，其經組態用於判定輸入至該神經網路之一樣品之一訓練集中之輸入影像之經反轉特徵；一前向物理模型，其經組態用於自該等經反轉特徵重建該等輸入影像，藉此產生對應於該訓練集中之該等輸入影像之一輸出影像集；及一殘餘層，其經組態用於判定該訓練集中之該等輸入影像與在該集中之對應輸出影像之間之差異。該一或多個電腦子系統經組態用於基於該等經判定差異更改該神經網路之一或多個參數，藉此訓練該神經網路。

Description

針對半導體應用整合神經網路及前向物理模型之系統及方法
本發明大體上係關於針對半導體應用整合一神經網路及一前向物理模型之方法及系統。
以下描述及實例不因其包含於此段落中而被承認係先前技術。 製造諸如邏輯及記憶體裝置之半導體裝置通常包含使用大量半導體製造程序處理諸如一半導體晶圓之一基板以形成半導體裝置之各種特徵及多個層級。舉例而言，微影係涉及將一圖案自一倍縮光罩轉印至配置於一半導體晶圓上之一光阻劑之一半導體製造程序。半導體製造程序之額外實例包含(但不限於)化學機械拋光(CMP)、蝕刻、沈積及離子植入。多個半導體裝置可以一配置製造於一單一半導體晶圓上且接著被分成個別半導體裝置。 在一半導體製造程序期間之各個步驟使用檢測程序以偵測樣品上之缺陷以驅動製造程序中之更高良率及因此更高利潤。檢測始終係製造半導體裝置之一重要部分。然而，隨著半導體裝置之尺寸減小，檢測對於可接受半導體裝置之成功製造變得更為重要，此係因為較小缺陷可引起裝置故障。 缺陷檢視通常涉及重新偵測本身由一檢測程序偵測之缺陷及使用一高倍率光學系統或一掃描電子顯微鏡(SEM)而以一較高解析度產生關於缺陷之額外資訊。因此，在其中已由檢測偵測缺陷之樣品上之離散位置處執行缺陷檢視。由缺陷檢視產生之缺陷之較高解析度資料更適合於判定缺陷之屬性，諸如輪廓、粗糙度、更準確大小資訊等。 在一半導體製造程序期間之各個步驟亦使用度量衡程序以監測且控制程序。度量衡程序與檢測程序不同之處在於：不同於其中在樣品上偵測缺陷之檢測程序，度量衡程序用於量測無法使用當前使用之檢測工具判定之樣品之一或多個特性。舉例而言，度量衡程序用於量測樣品之一或多個特性(諸如在一程序期間形成於樣品上之特徵之一尺寸(例如，線寬、厚度等))使得可自一或多個特性判定程序之效能。另外，若樣品之一或多個特性係不可接受的(例如，在該(等)特性之一預定範圍之外)，則可使用樣品之一或多個特性之量測以更改程序之一或多個參數使得由程序製造之額外樣品具有(若干)可接受特性。 度量衡程序與缺陷檢視程序不同之處亦在於：不同於其中在缺陷檢視中重訪由檢測偵測之缺陷之缺陷檢視程序，可在未偵測缺陷之位置處執行度量衡程序。換言之，不同於缺陷檢視，在樣品上執行一度量衡程序之位置可獨立於在樣品上執行之一檢測程序之結果。特定言之，可獨立於檢測結果選擇執行一度量衡程序之位置。 隨著設計規則收縮，形成於諸如倍縮光罩及晶圓之一樣品上之設計(即使在使用一最佳執行程序執行時)可看上去大不同於實際設計。舉例而言，歸因於在一實體樣品上形成一設計所涉及之物理程序之固有限制，即使在樣品上已形成設計之最佳可能版本時，形成於實體樣品上之設計中之特徵通常具有與設計略微不同之特性，諸如不同形狀(例如，歸因於隅角修圓或其他接近效應)且可具有略微不同之尺寸(例如，歸因於接近效應)。 有時，不可能知道設計將如何出現在其上已形成設計資訊之樣品及由工具(諸如檢測工具、缺陷檢視工具、度量衡工具及類似者)產生之樣品之影像中。然而，出於數個原因，通常可期望知道設計將如何出現在樣品上及由此等工具產生之影像中。一個原因係確保設計將以一可接受方式形成於樣品上。另一原因係提供繪示意欲使設計如何形成於樣品上之設計之一參考，其可用於針對樣品執行之一或多個功能。舉例而言，一般言之，需要用於缺陷偵測之一參考使得形成於樣品上之設計與參考之間之任何差異可被偵測或識別為缺陷或潛在缺陷。 因此，已做了許多工作來開發可自一樣品之一個影像模擬該樣品之另一影像之各種方法及系統。習知方法一般涉及兩個步驟：(1)復原或反演非所要光學效應(例如，繞射、干涉、部分相干性等)；及(2)使用經復原/經處理成像資料作為輸入來訓練一特定應用神經網路。鑑於可自工具量測及/或透過模擬獲得一訓練資料集，可透過以下各者執行復原或反演非所要光學效應：(a)習知影像處理或信號處理演算法(例如，露西-理查德森(Lucy-Richardson)反卷積及正則化露西-理查德森反卷積、維納(Wiener)濾波器、工具校準等)；(b)第一原理光學模擬；或(c)監督式機器學習或深度學習演算法。 然而，當前使用之方法存在若干缺點。舉例而言，當前使用之復原/反演演算法(例如，露西-理查森反卷積、維納濾波器)通常欠定且雜訊敏感。另外，上文描述之當前使用之復原/反演演算法係計算密集型(即，其不適用於即時工具上應用)。上文描述之當前使用之復原/反演演算法亦僅可應用至演算可逆光學參數(例如，其仍實質上難以對半導體光學影像執行相位回復)。此外，上文描述之當前使用之復原/反演演算法需要精確(至少良好)估計之光學參數作為輸入。再者，上文描述之當前使用之用於復原之監督式訓練演算法需要原始收集影像及其對應經復原影像之元組之一訓練資料集(量測或模擬其通常係不可能或實質上昂貴的)。另外，自數學最佳化角度，兩步驟法係低效的。 因此，開發用於訓練一神經網路而無上文描述之一或多個缺點之系統及方法將係有利的。
各項實施例之以下描述絕不應理解為限制隨附發明申請專利範圍之標的。 一項實施例係關於一種經組態以訓練一神經網路之系統。該系統包含一或多個電腦子系統及由該一或多個電腦子系統實行之一或多個組件。該一或多個組件包含一神經網路，該神經網路經組態用於判定輸入至該神經網路之一樣品之一訓練集中之輸入影像之經反轉特徵。該一或多個組件亦包含一前向物理模型，該前向物理模型經組態用於自該等經反轉特徵重建該等輸入影像，藉此產生對應於該訓練集中之該等輸入影像之一輸出影像集。另外，該一或多個組件包含一殘餘層，該殘餘層經組態用於判定該訓練集中之該等輸入影像與其在該集中之對應輸出影像之間之差異。該一或多個電腦子系統經組態用於基於該等經判定差異更改該神經網路之一或多個參數，藉此訓練該神經網路。可如本文中描述般進一步組態該系統。 一額外實施例係關於經組態以訓練一神經網路之另一系統。如上文描述般組態此系統。此系統亦包含一成像子系統，該成像子系統經組態用於產生一樣品之影像。在此實施例中，(若干)電腦子系統經組態用於獲取該等影像且自該等經獲取影像產生輸入影像之一訓練集。可如本文中描述般進一步組態該系統之此實施例。 另一實施例係關於一種用於訓練一神經網路之電腦實施方法。該方法包含藉由將輸入影像之一訓練集輸入至一神經網路而判定一樣品之該訓練集中之輸入影像之經反轉特徵。該方法亦包含藉由將該等經反轉特徵輸入至一前向物理模型中而自該等經反轉特徵重建該等輸入影像，藉此產生對應於該訓練集中之該等輸入影像之一輸出影像集。另外，該方法包含判定該訓練集中之該等輸入影像與其在該集中之對應輸出影像之間之差異。該方法進一步包含基於該等經判定差異更改該神經網路之一或多個參數，藉此訓練該神經網路。由一或多個電腦系統執行判定該等經反轉特徵、重建該等輸入影像、判定該等差異及更改該一或多個參數。由該一或多個電腦系統實行一或多個組件，且該一或多個組件包含該神經網路及該前向物理模型。 可如本文中進一步描述般進一步執行上文描述之方法之各步驟。另外，上文描述之方法之實施例可包含本文中描述之(若干)任何其他方法之(若干)任何其他步驟。此外，上文描述之方法可由本文中描述之該等系統之任何者執行。 另一實施例係關於一種儲存程式指令之非暫時性電腦可讀媒體，該等程式指令可在一或多個電腦系統上實行以執行用於訓練一神經網路之一電腦實施方法。該電腦實施方法包含上文描述之方法之步驟。可如本文中描述般進一步組態該電腦可讀媒體。可如本文中進一步描述般執行該電腦實施方法之步驟。另外，可針對其實行該等程式指令之電腦實施方法可包含本文中描述之(若干)任何其他方法之(若干)任何其他步驟。
如本文中互換使用之術語「設計」、「設計資料」及「設計資訊」通常係指一IC之實體設計(佈局)及透過複雜模擬或簡單幾何及布林運算自實體設計導出之資料。另外，藉由一倍縮光罩檢測系統獲取之一倍縮光罩之一影像及/或其導出物可用作用於設計之一「代理」或「若干代理」。此一倍縮光罩影像或其之一導出物可在使用一設計之本文中描述之任何實施例中充當對於設計佈局之一取代物。設計可包含2009年8月4日頒予Zafar等人之共同擁有之美國專利第7,570,796號及2010年3月9日頒予Kulkarni等人之共同擁有之美國專利第7,676,077號中描述之任何其他設計資料或設計資料代理，該兩個專利以宛如全文陳述引用之方式併入本文中。另外，設計資料可係標準單元庫資料、整合佈局資料、一或多個層之設計資料、設計資料之導出物及完全或部分晶片設計資料。 另外，本文中描述之「設計」、「設計資料」及「設計資訊」係指由半導體裝置設計者在一設計程序中產生且因此可在將設計印刷於任何實體樣品(諸如倍縮光罩及晶圓)上之前良好地用於本文中描述之實施例中之資訊及資料。 現參考圖式，應注意，圖未按比例繪製。特定言之，在很大程度上放大圖之一些元件之尺度以強調元件之特性。亦應注意，該等圖未按相同比例繪製。已使用相同元件符號指示可經類似組態之展示於一個以上圖中之元件。除非本文中另有說明，否則所描述且展示之任何元件可包含任何適合市售元件。 一項實施例係關於一種經組態以訓練一神經網路之系統。如本文中進一步描述，實施例可包含一反演神經網路(INN)來解決半導體應用(諸如檢測、缺陷檢視、度量衡及本文中描述之其他半導體應用)之反演問題。另外，如本文中進一步描述，實施例可提供一通用及系統方法，其將一可微分前向物理模型整合至一可訓練神經網路中以解決針對光學、電子束及離子束工具上之半導體檢測、度量衡、檢視及品質保證(QA)應用之習知困難的反演問題。 在圖1中展示經組態以訓練一神經網路之一系統之一項實施例。系統包含一或多個電腦子系統(例如，電腦子系統36及(若干)電腦子系統102)及由一或多個電腦子系統執行之一或多個組件100。在一些實施例中，系統包含成像系統(或子系統) 10。在圖1之實施例中，成像系統經組態用於使光掃描遍及樣品之一實體版本或將光引導至樣品之一實體版本同時自樣品偵測光以藉此產生樣品之影像。成像系統亦可經組態以使用多個模式執行掃描(或引導)及偵測。 在一項實施例中，樣品係一晶圓。晶圓可包含此項技術中已知之任何晶圓。在另一實施例中，樣品係一倍縮光罩。倍縮光罩可包含此項技術中已知之任何倍縮光罩。 在一項實施例中，成像系統係一基於光學之成像系統。以此方式，在一些實施例中，輸入影像由一基於光學之成像系統產生。在一個此實例中，在圖1中展示之系統之實施例中，基於光學之成像系統10包含經組態以將光引導至樣品14之一照明子系統。照明子系統包含至少一個光源。舉例而言，如圖1中展示，照明子系統包含光源16。在一項實施例中，照明子系統經組態以按可包含一或多個傾斜角及/或一或多個法向角之一或多個入射角將光引導至樣品。舉例而言，如圖1中展示，按一傾斜入射角引導來自光源16之光穿過光學元件18且接著穿過透鏡20至樣品14。傾斜入射角可包含可取決於(例如)樣品之特性而變化之任何適合傾斜入射角。 成像系統可經組態以在不同時間按不同入射角將光引導至樣品。舉例而言，成像系統可經組態以更改照明子系統之一或多個元件之一或多個特性使得可按不同於圖1中展示之一入射角將光引導至樣品。在一個此實例中，成像系統可經組組態以移動光源16、光學元件18及透鏡20使得按一不同傾斜入射角或一法向(或近法向)入射角將光引導至樣品。 在一些例項中，成像系統可經組態以在相同時間按一個以上入射角將光引導至樣品。舉例而言，照明子系統可包含一個以上照明通道，照明通道之一者可包含如圖1中展示之光源16、光學元件18及透鏡20，且照明通道之另一者(未展示)可包含可不同或相同組態之類似元件或可包含至少一光源及可能一或多個其他組件(諸如本文中進一步描述之組件)。若在與其他光相同之時間將此光引導至樣品，則按不同入射角引導至樣品之光之一或多個特性(例如，波長、偏光等)可不同，使得可在(若干)偵測器處將源自按不同入射角照明樣品之光彼此區分。 在另一例項中，照明子系統可僅包含一個光源(例如，圖1中展示之源16)且可由照明子系統之一或多個光學元件(未展示)將來自該光源之光分成不同光學路徑(例如，基於波長、偏光等)。接著，可將不同光學路徑之各者中之光引導至樣品。多個照明通道可經組態以在相同時間或不同時間(例如，當使用不同照明通道以依序照明樣品時)將光引導至樣品。在另一例項中，相同照明通道可經組態以在不同時間將具有不同特性之光引導至樣品。舉例而言，在一些例項中，光學元件18可經組態為一光譜濾波器且可以各種不同方式(例如，藉由調換出光譜濾波器)改變光譜濾波器之性質使得可在不同時間將不同波長之光引導至樣品。照明子系統可具有此項技術中已知之用於依序或同時按不同或相同入射角將具有不同或相同特性之光引導至樣品之任何其他適合組態。 在一項實施例中，光源16可包含一寬頻電漿(BBP)光源。以此方式，由光源產生且引導至樣品之光可包含寬頻光。然而，光源可包含任何其他適合光源(諸如一雷射)。雷射可包含此項技術中已知之任何適合雷射且可經組態以產生此項技術中已知之(若干)任何適合波長之光。另外，雷射可經組態以產生單色或近單色光。以此方式，雷射可係一窄頻雷射。光源亦可包含產生多個離散波長或波帶之光之一多色光源。 來自光學元件18之光可藉由透鏡20聚焦至樣品14上。雖然透鏡20在圖1中展示為一單折射光學元件，但應理解，實務上，透鏡20可包含將來自光學元件之光組合地聚焦至樣品之數個折射及/或反射光學元件。圖1中展示且本文中描述之照明子系統可包含任何其他適合光學元件(未展示)。此等光學元件之實例包含(但不限於)(若干)偏光組件、(若干)光譜濾波器、(若干)空間濾波器、(若干)反射光學元件、(若干)變跡器、(若干)束分離器、(若干)孔隙及類似者，其可包含此項技術中已知之任何此等適合光學元件。另外，成像系統可經組態以基於用於成像之照明之類型更改照明子系統之一或多個元件。 成像系統亦可包含經組態以引起光掃描遍及樣品之一掃描子系統。舉例而言，成像系統可包含在檢測期間在其上安置樣品14之載物台22。掃描子系統可包含可經組態以移動樣品使得光可掃描遍及樣品之任何適合機械及/或機器人總成(包含載物台22)。另外或替代地，成像系統可經組態使得成像系統之一或多個光學元件執行光遍及樣品之某一掃描。可以任何適合方式(諸如以一蛇形路徑或以一螺旋路徑)使光掃描遍及樣品。 成像系統進一步包含一或多個偵測通道。一或多個偵測通道之至少一者包含一偵測器，該偵測器經組態以歸因於藉由系統照明樣品而自樣品偵測光且回應於所偵測光產生輸出。舉例而言，圖1中展示之成像系統包含兩個偵測通道，一個偵測通道由集光器24、元件26及偵測器28形成且另一偵測通道由集光器30、元件32及偵測器34形成。如圖1中展示，兩個偵測通道經組態以按不同收集角收集且偵測光。在一些例項中，兩個偵測通道經組態以偵測散射光，且偵測通道經組態以偵測按不同角度自樣品散射之光。然而，一或多個偵測通道可經組態以自樣品偵測另一類型之光(例如，反射光)。 如圖1中進一步展示，兩個偵測通道經展示定位於紙平面中且照明子系統亦經展示定位於紙平面中。因此，在此實施例中，兩個偵測通道定位(例如，居中)於入射平面中。然而，一或多個偵測通道可定位於入射平面外。舉例而言，由集光器30、元件32及偵測器34形成之偵測通道可經組態以收集且偵測自入射平面散射之光。因此，此一偵測通道可通常稱為一「側」通道，且此一側通道可在實質上垂直於入射平面之一平面中居中。 雖然圖1展示包含兩個偵測通道之成像系統之一實施例，但成像系統可包含不同數目個偵測通道(例如，僅一個偵測通道或兩個或兩個以上偵測通道)。在一個此例項中，由集光器30、元件32及偵測器34形成之偵測通道可如上文描述般形成一個側通道，且成像系統可包含形成為定位於入射平面之相對側上之另一側通道之一額外偵測通道(未展示)。因此，成像系統可包含偵測通道，該偵測通道包含集光器24、元件26及偵測器28且在入射平面中居中且經組態以按法向於或接近法向於樣品表面之(若干)散射角收集且偵測光。因此，此偵測通道可通常稱為一「頂部」通道，且成像系統亦可包含如上文描述般組態之兩個或兩個以上側通道。因而，成像系統可包含至少三個通道(即，一個頂部通道及兩個側通道)，且至少三個通道之各者具有其自身之集光器，各集光器經組態以按與各其他集光器不同之散射角收集光。 如上文進一步描述，包含於成像系統中之各偵測通道可經組態以偵測散射光。因此，圖1中展示之成像系統可經組態用於樣品之暗場(DF)成像。然而，該成像系統可亦或替代地包含經組態用於樣品之明場(BF)成像之(若干)偵測通道。換言之，該成像系統可包含經組態以偵測自樣品鏡面反射之光之至少一個偵測通道。因此，本文中描述之成像系統可經組態用於僅DF成像、僅BF成像或DF成像及BF成像兩者。雖然在圖1中將各集光器展示為單折射光學元件，但應理解，各集光器可包含一或多個折射光學元件及/或一或多個反射光學元件。 該一或多個偵測通道可包含此項技術中已知之任何適合偵測器。舉例而言，該等偵測器可包含光電倍增管(PMT)、電荷耦合裝置(CCD)、延時積分(TDI)攝影機及此項技術中已知之任何其他適合偵測器。該等偵測器亦可包含非成像偵測器或成像偵測器。以此方式，若偵測器係非成像偵測器，則各偵測器可經組態以偵測散射光之某些特性(諸如強度)但不可經組態以偵測依據成像平面內之位置而變化之此等特性。因而，由包含於成像系統之各偵測通道中之各偵測器產生之輸出可係信號或資料，而非影像信號或影像資料。在此等例項中，一電腦子系統(諸如電腦子系統36)可經組態以自偵測器之非成像輸出產生樣品之影像。然而，在其他例項中，偵測器可經組態為經組態以產生影像信號或影像資料之成像偵測器。因此，成像系統可經組態以依數個方式產生本文中描述之影像。 應注意，本文中提供圖1以大體上繪示可包含於本文中描述之系統實施例中或可產生由本文中描述之系統實施例使用之影像之一成像系統或子系統之一組態。顯然，可更改本文中描述之成像系統組態以如在設計一商業成像系統時通常執行般最佳化成像系統之效能。另外，可使用諸如商業上可購自加利福尼亞州，米爾皮塔斯市，KLA-Tencor之29xx/39xx及Puma 9xxx系列之工具之一現有系統(例如，藉由將本文中描述之功能性添加至一現有系統)實施本文中描述之系統。對於一些此等系統，本文中描述之實施例可提供為系統之選用功能性(例如，除了系統之其他功能性之外)。替代地，可「從頭開始」設計本文中描述之成像系統以提供一全新成像系統。 成像系統之電腦子系統36可以任何適合方式(例如，經由一或多個傳輸媒體，該一或多個傳輸媒體可包含「有線」及/或「無線」傳輸媒體)耦合至成像系統之偵測器使得電腦子系統可接收由偵測器在樣品之掃描期間產生之輸出。電腦子系統36可經組態以使用偵測器之輸出執行本文中進一步描述之數個功能。 圖1中展示之電腦子系統(以及本文中描述之其他電腦子系統)在本文中亦可稱為(若干)電腦系統。本文中描述之(若干)電腦子系統或(若干)系統之各者可採取各種形式，包含一個人電腦系統、影像電腦、主機電腦系統、工作站、網路設備、網際網路設備或其他裝置。一般言之，術語「電腦系統」可經廣泛定義以涵蓋具有實行來自一記憶體媒體之指令之一或多個處理器之任何裝置。(若干)電腦子系統或(若干)系統亦可包含此項技術中已知之任何適合處理器(諸如一平行處理器)。另外，該(等)電腦子系統或該(等)系統可包含具有高速處理及軟體之一電腦平台(作為一獨立工具或一網路工具)。 若系統包含一個以上電腦子系統，則不同電腦子系統可彼此耦合使得可在如本文中進一步描述之電腦子系統之間發送影像、資料、資訊、指令等。舉例而言，電腦子系統36可藉由可包含此項技術中已知之任何適合有線及/或無線傳輸媒體之任何適合傳輸媒體耦合至(若干)電腦子系統102 (如由圖1中之虛線展示)。兩個或兩個以上此等電腦子系統亦可藉由一共用電腦可讀儲存媒體(未展示)而有效耦合。 雖然上文中將成像系統描述為一基於光學或光之成像系統，但成像系統可係一基於電子束之成像系統。以此方式，在一些實施例中，輸入影像由一基於電子束之成像系統產生。在圖1a中展示之一項此種實施例中，成像系統包含耦合至電腦子系統124之電子柱122。亦如圖1a中展示，電子柱包含經組態以產生由一或多個元件130聚焦至樣品128之電子之電子束源126。電子束源可包含(例如)一陰極源或射極尖端，且一或多個元件130可包含(例如)一槍透鏡、一陽極、一束限制孔隙、一閘閥、一束電流選擇孔隙、一物鏡及一掃描子系統，其全部可包含此項技術中已知之任何此等適合元件。 自樣品返回之電子(例如，二次電子)可由一或多個元件132聚焦至偵測器134。一或多個元件132可包含(例如)一掃描子系統，該掃描子系統可係包含於(若干)元件130中之相同掃描子系統。 電子柱可包含此項技術中已知之任何其他適合元件。另外，可如2014年4月4日頒予Jiang等人之美國專利第8,664,594號、2014年4月8日頒予Kojima等人之美國專利第8,692,204號、2014年4月15日頒予Gubbens等人之美國專利第8,698,093號及2014年5月6日頒予MacDonald等人之美國專利第8,716,662號中所描述般進一步組態電子柱，該等專利以宛如全文陳述引用之方式併入本文中。 雖然在圖1a中將電子柱展示為經組態使得電子按一傾斜入射角引導至樣品且按另一傾斜角自樣品散射，但應理解，電子束可按任何適合角度引導至樣品且自樣品散射。另外，基於電子束之成像系統可經組態以使用多個模式來產生樣品之影像(例如，具有不同照明角、收集角等)，如本文中進一步描述。基於電子束之成像系統之多個模式在成像系統之任何影像產生參數方面可係不同的。 電腦子系統124可耦合至偵測器134，如上文描述。偵測器可偵測自樣品之表面返回之電子，藉此形成樣品之電子束影像。該等電子束影像可包含任何適合電子束影像。電腦子系統124可經組態以使用由偵測器134產生之輸出針對樣品執行本文中進一步描述之一或多個功能。電腦子系統124可經組態以執行本文中描述之(若干)任何額外步驟。可如本文中描述般進一步組態包含圖1a中展示之成像系統之一系統。 應注意，在本文中提供圖1a以大體上繪示可包含於本文中描述之實施例中之一基於電子束之成像系統之一組態。如同上文描述之基於光學之成像系統，可更改本文中描述之基於電子束之成像系統組態以如在設計一商業成像系統時通常執行般最佳化成像系統之效能。另外，可使用諸如商業上可購自KLA-Tencor之eSxxx及eDR-xxxx系列之工具之一現有系統(例如，藉由將本文中描述之功能性添加至一現有系統)實施本文中描述之系統。對於一些此等系統，可將本文中描述之實施例提供為系統之選用功能性(例如，除了系統之其他功能性之外)。替代地，可「從頭開始」設計本文中描述之系統以提供一全新系統。 雖然上文中將成像系統描述為一基於光學或基於電子束之成像系統，但成像系統可係一基於離子束之成像系統。可如圖1a中展示般組態此一成像系統，惟可使用此項技術中已知之任何適合離子束源取代電子束源除外。另外，成像系統可係任何其他適合基於離子束之成像系統，諸如包含於市售聚焦離子束(FIB)系統、氦離子顯微鏡(HIM)系統及二次離子質譜儀(SIMS)系統中之基於離子束之成像系統。 如上文提及，成像系統經組態以將能量(例如，光或電子)掃描遍及樣品之一實體版本，藉此針對樣品之實體版本產生實際影像。以此方式，成像系統可經組態為一「實際」系統而非一「虛擬」系統。舉例而言，圖1中展示之一儲存媒體(未展示)及(若干)電腦子系統102可經組態為一「虛擬」系統。特定言之，儲存媒體及(若干)電腦子系統並非成像系統10之部分且不具有處置樣品之實體版本之任何能力。換言之，在經組態為虛擬系統之系統中，其之一或多個「偵測器」之輸出可係由一實際系統之一或多個偵測器先前產生且儲存於虛擬系統中之輸出，且在「掃描」期間，虛擬系統可如同樣品正經掃描般播放儲存輸出。以此方式，使用一虛擬系統掃描樣品可看似相同於使用一實際系統掃描一實體樣品，而實際上，「掃描」僅涉及以與可掃描樣品相同之方式播放針對樣品之輸出。在共同受讓之以下專利中描述經組態為「虛擬」檢測系統之系統及方法：在2012年2月28日頒予Bhaskar等人之美國專利第8,126,255號及2015年12月29日頒予Duffy等人之美國專利第9,222,895號，該兩個專利以宛如全文陳述引用之方式併入本文中。可如此等專利中描述般進一步組態本文中描述之實施例。舉例而言，可如此等專利中描述般進一步組態本文中描述之一或多個電腦子系統。另外，可如上文引用之Duffy之專利中描述般執行將一或多個虛擬系統組態為一中央計算及儲存(CCS)系統。本文中描述之永久儲存機制可具有諸如CCS架構之分佈式計算及儲存器，但本文中描述之實施例不限於該架構。 如上文進一步提及，成像系統可經組態以使用多個模式產生樣品之影像。一般言之，一「模式」可由用於產生一樣品之影像之成像系統之參數之值或用於產生樣品之影像之輸出定義。因此，不同模式可在成像系統之至少一個成像參數之值方面不同。舉例而言，在一基於光學之成像系統之一項實施例中，多個模式之至少一者使用用於照明之光之至少一個波長，其不同於用於多個模式之至少另一者之照明之光之至少一個波長。模式可在照明波長方面不同，如本文中針對不同模式進一步描述(例如，藉由使用不同光源、不同光譜濾波器等)。在另一實施例中，多個模式之至少一者使用成像系統之一照明通道，該照明通道不同於用於多個模式之至少另一者之成像系統之一照明通常。舉例而言，如上文提及，成像系統可包含一個以上照明通道。因而，不同照明通道可用於不同模式。 在一項實施例中，輸入影像由一檢測系統產生。舉例而言，本文中描述之光學及電子束成像系統可經組態為檢測系統。以此方式，在一些實施例中，至神經網路之影像輸入由一檢測系統產生。在另一實施例中，成像系統係一缺陷檢視系統。舉例而言，本文中描述之光學及電子束成像系統可經組態為缺陷檢視系統。在一進一步實施例中，成像系統係一度量衡系統。舉例而言，本文中描述之光學及電子束成像系統可經組態為度量衡系統。以此方式，在一些實施例中，輸入影像由一度量衡系統產生。特定言之，可在一或多個參數方面修改本文中描述且在圖1及圖1a中展示之成像系統之實施例以取決於其將用於之應用而提供不同成像能力。在一個此實例中，圖1中展示之成像系統可經組態以在其用於缺陷檢視或度量衡而非用於檢測之情況下具有一較高解析度。換言之，圖1及圖1a中展示之成像系統之實施例描述一成像系統之某些一般及各種組態，其可以將對熟習此項技術者顯而易見之數個方式定製以產生具有或多或少適合於不同應用之不同成像能力之成像系統。 該一或多個電腦子系統可經組態用於獲取由本文中描述之一成像子系統產生之樣品之影像。可使用本文中描述之成像系統之一者(例如，藉由將光或一電子束引導至樣品且自樣品偵測光或一電子束)執行獲取影像。以此方式，可使用實體樣品自身及某種成像硬體執行獲取影像。然而，獲取影像不一定包含使用成像硬體使樣品成像。舉例而言，另一系統及/或方法可產生影像且可將經產生影像儲存於如本文中描述之一或多個儲存媒體(諸如一虛擬檢測系統)或本文中描述之另一儲存媒體中。因此，獲取影像可包含自其中已儲存影像之儲存媒體獲取影像。 由(若干)電腦子系統(例如，電腦子系統36及/或(若干)電腦子系統102)實行之(若干)組件(例如，圖1中展示之(若干)組件100)包含神經網路104。神經網路經組態用於判定輸入至神經網路之一樣品之一訓練集中之輸入影像之經反轉特徵。舉例而言，如圖2中展示，可將影像200輸入至判定影像之經反轉特徵204之神經網路202。以此方式，使用一神經網路來近似表示反演函數
Figure 02_image001
，且神經網路自輸入影像產生經反轉特徵。在諸如檢測、度量衡及缺陷檢視之半導體應用之背景內容中，本文中描述之神經網路可用於解決成像形成中之反演問題(例如，繞射、干涉、部分相干性、模糊等)以重新產生光學校正特徵。「經反轉特徵」(其中反轉與一反演神經網路之背景內容相關)在本文中大體上定義為在反轉一物理程序之後之特徵且「特徵」大體上定義為係指可量測性質，包含(但不限於)強度、振幅、相位、邊緣、梯度等。 一般言之，神經網路不必由一唯一拓樸定義以實施本文中描述之功能。代替性地，神經網路可係應用特定的，且其層類型及層數目未經定義。神經網路可包含經組態用於判定一樣品之一影像之反轉特徵之兩個或兩個以上編碼器層。術語「編碼器」大體上係指將輸入資料之資訊內容「編碼」為一更緊密表示之一神經網路或一神經網路之部分。編碼程序可係有效有損或無損的。另外，編碼程序可或可不係人類可解譯的。編碼表示可係純量值或分佈之一向量。 在一項實施例中，神經網路係一深度學習模型。一般言之，「深度學習」(亦稱為深度結構學習、階層式學習或深度機器學習)係基於嘗試模型化資料中之高階抽象之一組演算法之機器學習之一分支。在一簡單情況中，可存在兩組神經元：接收一輸入信號之神經元及發送一輸出信號之神經元。當輸入層接收一輸入時，其將輸入之一經修改版本傳遞至下一層。在一深度網路中，輸入與輸出之間存在許多層(且層並非由神經元製成但此有助於將該等層視為由神經元製成)，從而容許演算法使用由多個線性及非線性變換構成之多個處理層。 深度學習係基於資料之學習表示之機器學習方法之一更廣泛族之部分。一觀察(例如，一影像)可以許多方式(諸如每個像素之強度值之一向量)或以一更抽象方式(如一組邊緣、特定形狀之區域等)呈現。一些表示優於其他表示之處在於，簡化學習任務(例如，面部辨識或面部表情辨識)。深度學習之一個承諾係使用有效演算法來取代手工特徵用於無監督或半監督式特徵學習及階層式特徵提取。 在此領域中之研究嘗試製成更佳之表示且產生模型以自大規模未標記資料學習此等表示。一些表示受神經科學中之進展啟發且鬆散地基於一神經系統中之資訊處理及通信型樣之解譯，諸如嘗試定義各種刺激與腦中之相關聯神經元回應之間的一關係之神經編碼。 各種深度學習架構(諸如深度神經網路、卷積深度神經網路、深度信心網路及遞迴式神經網路)已經應用至如電腦視覺、自動語音辨識、自然語言處理、自動辨識及生物資訊學之領域，其中其已經展示以產生各種任務之最先進技術結果。 在另一實施例中，神經網路係一機器學習模型。機器學習可大體上經定義為對電腦提供學習能力而無需明確程式化之人工智能(AI)之一類型。機器學習致力於開發可教示自身在曝露至新資料時生長及改變之電腦程式。換言之，機器學習可經定義為「在未經明確程式化之情況下賦予電腦學習能力」之電腦科學之子域。機器學習探索可自資料學習且對資料作出預測之演算法之研究及構造-此等演算法藉由透過自樣本輸入建立一模型來作出資料驅動預測或決定而克服以下嚴格靜態程式指令。 可如在Sugiyama、Morgan Kaufmann之「Introduction to Statistical Machine Learning」2016年，534頁；Jebara之「Discriminative, Generative, and Imitative Learning」， MIT Thesis，2002年，212頁；及Hand等人之「Principles of Data Mining (Adaptive Computation and Machine Learning)」，MIT Press，2001年，578頁(其以宛如全文闡述引用的方式倂入本文中)中描述般進一步組態本文中描述之機器學習。可如在此等參考中描述般進一步組態本文中描述之實施例。 在一些實施例中，模型係一生成模型。一「生成」模型可大體上經定義為本質上概率性之一模型。換言之，一「生成」模型並非執行前向模擬或基於規則之方法之模型，且因而，產生一實際影像(針對其產生一模擬影像)所涉及之程序之物理學之一模型並非必要。代替性地，如本文中進一步描述，可基於一適當訓練資料集學習生成模型(其中可學習其參數)。 在一項實施例中，神經網路經組態為一深度生成模型。舉例而言，模型可經組態以具有一深度學習架構，其中模型可包含執行數個演算法或變換之多個層。生成模型之編碼器側上之層數為使用情況相依。為了實際目的，編碼器側上之層之一適合範圍係自2個層至數十個層。 在一進一步實施例中，神經網路可係具有一組權重之一深度神經網路，該等權重根據已經饋送以訓練模型之資料模型化世界。神經網路可大體上經定義為基於神經單元之一相對大集合之一計算方法，其鬆散地模型化一生物腦使用藉由軸突連接之生物神經元之相對大叢集解決問題之方式。各神經單元與許多其他神經單元連接，且鏈結可強制執行或抑制其對經連接神經單元之激發狀態之效應。此等系統係自我學習且經訓練而非明確程式化且在解決方案或特徵偵測難以按一傳統電腦程式表達之領域中具有優勢。 神經網路通常由多個層構成，且信號路徑從前部橫越至後部。神經網路之目標係以與人腦相同之方式解決問題，儘管若干神經網路遠遠更加抽象。當代神經網路項目通常使用數千至數百萬神經單元及數百萬連接工作。神經網路可具有此項技術中已知之任何適當架構及/或組態。 在另一實施例中，神經網路經組態為一卷積神經網路(CNN)。舉例而言，神經網路可經組態為用以提取局部特徵之一CNN，其通常係卷積及匯集層之堆疊。本文中描述之實施例可利用深度學習概念(諸如一CNN)來解決通常棘手之表示反演問題。模型可具有此項技術中已知之任何CNN組態或架構。在另一實施例中，神經網路經組態為一完全卷積模型。在額外實施例中，神經網路可經組態為一深度生成模型、一CNN、一生成對抗網(GAN)、一條件式生成對抗網(cGAN)、一GAN及一變分自動編碼器(VAE)及含有一CNN作為一部分之一網路(即，經組態為一CNN之神經網路之一部分)，其全部可如本文中描述般組態。 可如在Goodfellow等人之「Generative Adversarial Nets」，arXiv:1406.2661，2014年6月10日，第9頁(該案以宛如全文闡述引用之方式併入本文中)中描述般組態包含於本文中描述之實施例中之GAN。Goodfellow等人描述用於經由一對抗程序估計生成模型之一新框架，其中同時訓練兩個模型：擷取資料分佈之一生成模型G及估計一樣本來自訓練資料而非G之概率之一鑑別模型D。針對G之訓練程序係最大化D犯錯誤之概率。此框架對應於一極小極大雙人遊戲。在任意函數G及D之空間中，存在一獨有解，其中G恢復訓練資料分佈且D處處等於1/2。在其中G及D由多層感知器定義之情況中，可使用反向傳播訓練整個系統。在樣本之訓練或產生期間不需要任何馬可夫鏈或展開近似推論網路。實驗透過經產生樣本之定性及定量評估而證實框架之潛力。可如Goodfellow等人描述般進一步組態本文中描述之實施例之神經網路。 可如在Mirza等人之「Conditional Generative Adversarial Nets」，arXiv:1411.1784，2014年11月6日，第7頁(該案以宛如全文闡述引用之方式併入本文中)中描述般組態包含於本文中描述之實施例中之CGAN。若生成器及鑑別器兩者以某一額外資訊y為條件，則生成對抗網可延伸至一條件模型。y可係任何種類之輔助資訊，諸如類別標籤或來自其他模態之資料。可藉由將y饋送至鑑別器及生成器兩者中作為一額外輸入層而執行附有條件。在生成器中，在聯合隱藏表示中組合先驗輸入雜訊pz (z)及y且對抗訓練框架容許在此隱藏表示如何構成方面之相當大靈活性。在鑑別器中，將x及y呈現為至一鑑別函數(在一些情況中由一多層感知器(MLP)體現)之輸入。接著，一雙人極小極大遊戲之目標函數將係：
Figure 02_image003
。 可如Mirza等人之上文併入之參考案中描述般進一步組態包含於本文中描述之實施例中之神經網路。 一變分自動編碼器係具有深度學習及變分推理之優點且導致生成模型化之顯著進展之一組件。另外或替代地，可如Makhzani等人之「Adversarial Autoencoders」，arXiv:1511.05644v2，2016年5月25日，16頁中描述般組態與一GAN或一深度生成對抗網路(DGAN)組合之一變分自動編碼器(VAE)，該案以宛如全文陳述引用之方式併入本文中。可如此參考中描述般進一步組態本文中描述之實施例。 神經網路經組態用於判定輸入至神經網路之一樣品之一訓練集中之輸入影像之經反轉特徵。由神經網路判定之經反轉特徵可包含本文中進一步描述或此項技術中已知之可自輸入推理且用於產生本文中進一步描述之輸出之任何適合特徵。舉例而言，特徵可包含每一像素之強度值之一向量。特徵亦可包含本文中描述之任何其他類型之特徵，例如，純量值向量、獨立分佈向量、聯合向量或此項技術中已知之任何其他適合特徵類型。 如本文中進一步描述，(若干)電腦子系統可經組態以自本文中描述之一成像子系統或系統及/或自其中已由一成像子系統或系統儲存影像之一儲存媒體獲取訓練集中之輸入影像。另外，在一些例項中，如本文中進一步描述，(若干)電腦子系統可經組態用於自一較大影像集選擇訓練集中之輸入影像(藉此產生影像之訓練集)。在一些例項中，(若干)電腦子系統亦可選擇用於或將用於產生輸入影像之(若干)成像參數及/或基於選定成像參數選擇之輸入影像。舉例而言，(若干)電腦子系統可選擇將用於自成像子系統或系統收集影像資料之成像參數，其可包含選自包含(但不限於)以下各者之一成像參數群組之一或多個成像參數：照明帶/波長、孔徑、偏光、像素大小及本文中描述之其他成像參數。另外，(若干)電腦子系統可選擇影響輸入影像之任何其他成像參數。接著可在於本文中描述之一成像子系統或系統(例如，一真實工具、一虛擬工具、一檢測工具、一檢視工具、一度量衡工具、一光學工具、一電子束工具、一離子束工具等)上選擇之成像參數下收集相對大量影像。訓練集中之輸入影像之數目可係輸入影像之任何適合數目。另外，輸入影像之大小(例如，以像素為單位)可係任何適合大小。 輸入影像之訓練集亦可取決於針對其訓練神經網路之應用而變化。舉例而言，在本文中進一步描述之反卷積使用情況中，一訓練樣本係每一位置收集之一單一影像，且訓練資料集係一訓練樣本集合。在本文中亦進一步描述之相位回復使用情況中，一訓練樣本係在每一位置之各種焦點偏移下收集之一影像堆疊，且訓練資料集係一訓練樣本集合。在檢視使用情況中，訓練樣本及訓練資料集可與反卷積使用情況中相同。另外，在工具校準及光學/模式設計使用情況中，訓練樣本及訓練資料集未經定義且取決於目標使用情況。 (若干)電腦子系統亦可判定自其收集影像之樣品上之位置。舉例而言，(若干)電腦子系統可經組態用於一選用樣品位置取樣步驟，其可使用樣品之設計資訊(例如，CAD資訊)及/或熱點資訊執行。 在將訓練集中之輸入影像輸入至神經網路中之前，(若干)電腦子系統可對訓練集中之輸入影像執行一或多個資料預處理步驟，其可包含此項技術中已知之任何適合預處理步驟。 上文描述之神經網路之各層可具有一或多個參數(諸如權重W及偏差B)，其之值可藉由訓練神經網路(其可如本文中進一步描述般執行)而判定。舉例而言，可藉由最小化一成本函數而在訓練期間判定包含於神經網路中之任何層之權重及偏差。成本函數可取決於對影像執行之變換而變化。 該一或多個組件亦包含圖1中展示之前向物理模型106，其經組態用於自經反轉特徵重建輸入影像，藉此產生對應於訓練集中之輸入影像之一輸出影像集。以此方式，此組件之主要功能性係將一物理模型應用於經提取特徵上以重新產生輸入。舉例而言，如圖2中展示，系統可包含前向物理模型206，其可係前向變換模型= f()。將前向變換模型應用於經反轉特徵204上以重新產生模型變換特徵208。前向物理模型可經組態為物理模擬層，其可自可微分第一原理物理或光學定律(例如，麥克斯韋(Maxwell)方程式、傅立葉(Fourier)光學)導出。 亦可基於關於用於產生輸入影像及/或運行時間影像之參數之資訊產生或組態前向物理模型。舉例而言，可基於用於或將用於收集樣品或另一樣品之影像資料之物理(光學)條件(包含(但不限於)光學帶/波長、光學孔徑、偏光、像素大小等)組態前向物理模型。 在一項實施例中，前向物理模型經組態為一可微分前向物理模型。一物理模型可由某些數學函數表達。以此方式，如本文中使用之「可微分」意謂此等數學函數係可微分的，即，此等數學函數之梯度係可計算的。若物理模型係不可微分的，則模型將由一可微分模型或若干可微分模型之一線性組合近似表示。微分約束容許經由一神經網路實施前向物理模型，且此容許經由隨機梯度下降或等效物訓練統一模型。 以此方式，本文中描述之實施例可稱為反演神經網路(INN)。如本文中使用之術語「INN」可大體上定義為一通用及系統計算框架，其使一神經網路(諸如一深度學習神經網路)與一前向可微分第一原理物理模型一起組合為一統一可訓練模型以解決成像中之反演問題。一般言之，只要一前向可微分物理模型(精確或近似表示)可用，便可如本文中描述般使用INN來解決反演問題。應注意，本文中描述之術語「反演問題」旨在具有該術語之普遍接受定義，其被稱為一反演問題係因為其開始於結果且接著計算原因。此係開始於原因且接著計算結果之一前向問題之反演。 因此，本文中描述之實施例使一第一原理成像/物理模型(即，前向物理模型)與一神經網路(例如，一機器學習/深度學習模型)組合為一統一可訓練模型以反演成像效應(例如，繞射、干涉、部分相干性等)且識別信號原因。本文中描述之INN僅需要用於前向模擬之前向物理模型。換言之，不需要自第一原理解決反演問題。另外，本文中描述之實施例之組態實現用以自光學影像提取光學相位資訊之一計算有效方法。此外，本文中描述之實施例能夠在訓練期間學習物理上可解譯工具參數。 在另一實施例中，前向物理模型經實施或近似表示為一額外神經網路。舉例而言，可經由深度學習神經層實施前向物理模型，其實際上可如原始模型般形成一神經網路且執行精確數學計算。由於原始模型數學係可微分的，故其神經網路實施方案容許在訓練期間應用反向傳播。以此方式，將前向物理模型實施為一神經網路意謂藉由一神經網路精確地實施物理模型之數學。然而，在精確實施方案不可能或模型不可直接微分之情況中，可將前向物理模型近似表示為一神經網路。 在一些實施例中，前向物理模型包含對應於用於產生樣品之輸入影像之成像參數之模型參數。舉例而言，前向物理模型可包含(但不限於)本文中描述之任何成像子系統(例如，一晶圓檢測工具、一遮罩工具等)之全部可能成像設置參數。 在一進一步實施例中，前向物理模型包含對應於產生樣品之輸入影像所涉及之物理參數之模型參數。舉例而言，前向物理模型可包含(但不限於)來自第一原理物理學之全部可能成像/物理模型參數。 在一項實施例中，前向物理模型包含至少一個可調整模型參數。舉例而言，取決於使用情況，可將前向物理模型之一些參數訓練為可訓練參數。若選取任何參數來進行訓練，則用於訓練之其初始值可係(a)來自一物理有效值範圍之一隨機值；(b)一硬體粗略量測；(c)一硬體精細校準值；或(d)一軟體精細校準值。在一個特定實例中，可自具有孔徑「A」之一檢測工具抓取影像。孔徑「A」係一已知工具參數，且孔徑「A」可用於估計工具之一粗略點擴散函數(PSF)。然而，精細(或精確) PSF可係未知的。因此，精細(或精確) PSF可係可訓練的。在另一實施例中，前向物理模型包含至少一個固定模型參數。舉例而言，若參數之全部或部分表示硬體規格或校準硬體參數，則容許其在訓練期間係固定的。此外，前向物理模型可包含至少一個可調整模型參數及至少一個固定模型參數。換言之，前向物理模型之一些模型參數可係固定的且其他模型參數可係可調整的。以此方式，無、部分或全部模型參數可係可訓練的，且無、部分或全部模型參數可係固定的。 該一或多個組件進一步包含圖1中展示之殘餘層108，其經組態用於判定訓練集中之輸入影像與在該集中之對應輸出影像之間之差異。舉例而言，如圖2中展示，系統可包含殘餘層210。可將輸入影像200及模型變換特徵208輸入至殘餘層，殘餘層可判定輸入影像與其對應模型變換特徵之間之差異，該等差異可輸出為殘餘影像212。以此方式，殘餘層可判定一品質度量。舉例而言，可將(若干)原始變換特徵與(若干)重新產生之變換特徵之間之差異計算為用於訓練之度量。一般言之，殘餘層量測重新變換資料(即，前向物理模型之輸出)與原始資料(即，至神經網路之輸入)之間之類似性。用於類似性量測之可能度量包含(但不限於)各種距離量測(例如，L1、L2、L_inf、Manhattan等)、各種互相關、相互資訊等。不同於神經網路及前向物理模型，殘餘層通常將不具有可訓練參數。 該一或多個電腦子系統經組態用於基於經判定差異更改神經網路之一或多個參數，藉此訓練神經網路。該一或多個電腦子系統之訓練目的係儘可能小地最小化殘餘層輸出。由(若干)電腦子系統基於差異更改之神經網路之參數可包含本文中描述之任何神經網路之任何可訓練參數(例如，一CNN之可訓練參數)。另外，(若干)電腦子系統可經組態以依一無監督式方式訓練神經網路；即，訓練不需要針對用於訓練神經網路之訓練集中之輸入影像之標籤(或任何等效物)。輸入影像之訓練集亦可包含具有任意大小之一(光學、電子束等)影像集合。 (若干)電腦子系統亦可經組態用於訓練神經網路及前向物理模型。可同時執行兩個模型之此訓練。在訓練時間，(若干)電腦子系統可使用在選定物理條件下收集之影像(用作至神經網路之輸入)(因此其係訓練集中之輸入影像)及用於前向物理模型之物理參數(用作超參數(可訓練或固定))。 可針對特定樣品(例如，特定晶圓或倍縮光罩)、程序及成像參數產生本文中描述之神經網路。換言之，本文中描述之神經網路可係樣品特定、程序特定及成像參數特定的。舉例而言，在一項實施例中，各神經網路可經訓練以專用於一特定設計及晶圓層。接著，經訓練神經網路將僅用於針對該層執行預測。以此方式，可針對不同晶圓層產生不同神經網路。然而，在另一實施例中，可使用來自不同設計及晶圓類型層之資料訓練一單一神經網路。所得神經網路可用於通常針對包含於訓練資料中之全部類型之樣品執行預測。一般言之，只要可跨工具重複選定成像模式，一神經網路便可獨立於工具。舉例而言，相同類型之工具可具有相同規格。因此，經訓練模型不需要連結至在其上獲取訓練資料之工具。可使用不同訓練資料集產生不同神經網路之各者。可以任何適合方式產生不同訓練資料集之各者。 本文中描述之實施例亦可經組態用於以各種方式部署神經網路且用於在如本文中進一步描述般訓練神經網路之後產生各種輸出。舉例而言，如圖3中展示，在一個部署方式中，經訓練神經網路302可自身經部署(無前向物理模型且無參數層)。以此方式，在運行時間(或部署)期間，可由(若干)電腦子系統(圖3中未展示，其可係訓練神經網路之(若干)相同電腦子系統或可係(若干)不同電腦子系統)將運行時間影像300輸入至經訓練神經網路302，從而產生經反轉特徵304(其係經訓練神經網路之輸出)。可連同用於產生運行時間影像之成像參數(圖3中未展示)將運行時間影像300輸入至經訓練神經網路302。運行時間影像300亦可具有一任意大小。如本文中使用之術語一「運行時間」影像僅意謂輸入至經訓練神經網路之一測試影像。因而，在一個部署情境中，僅部署INN (經訓練神經網路)之第一模型，其將在預測時間單獨產生經反轉特徵(或經反轉影像)。 在一不同部署方式中，如圖4中展示，可使用前向物理模型406及殘餘層410部署經訓練神經網路402。可或可不如本文中描述般訓練前向物理模型406。以此方式，在部署期間將運行時間影像400輸入至經訓練神經網路，從而產生經反轉特徵404。因而，在運行時間(或部署)期間，可由(若干)電腦子系統(圖4中未展示，其可係訓練神經網路之(若干)相同電腦子系統或可係(若干)不同電腦子系統)將運行時間影像400輸入至經訓練神經網路402，從而產生經反轉特徵404(其係經訓練神經網路之輸出)。可連同用於產生運行時間影像之成像參數(圖4中未展示)將運行時間影像400輸入至經訓練神經網路402。運行時間影像400亦可具有一任意大小。可將經反轉特徵404輸入至前向物理模型406，其產生模型變換特徵408。接著，可組合影像400將模型變換特徵輸入至殘餘層410，殘餘層410可使用該等輸入來產生殘餘影像412。 因而，在另一部署情境中，部署整個INN (經訓練神經網路、前向物理模型(經訓練或未經訓練)及殘餘層)，其將產生經反轉特徵(或經反轉影像)及殘餘影像兩者。以此方式，經反轉特徵/影像係來自INN之所要結果，「模型變換」係描述INN執行情況之中間資料，且「殘餘影像」係INN之效能或「良好度」之一定量量測。舉例而言，預期「殘餘」影像在各像素處之值接近零。因此，殘餘影像中之像素值可用於識別INN模型之任何災難性失效。即，若「殘餘」影像在某些像素處具有相對大值，則此係INN模型在產生經反轉影像方面執行較差之一指示。因此，可針對此等位置過濾所產生之經反轉影像。 本文中描述之實施例可經組態用於執行數個不同類型之變換(即，將輸入影像變換為經反轉特徵)。舉例而言，經反轉影像/特徵針對不同使用情況可係不同事物，此係因為物理模型針對各使用情況係不同的。換言之，神經網路之組態將取決於在訓練期間使用之前向物理模型。舉例而言，在一項實施例中，一或多個電腦子系統經組態以將樣品或另一樣品之一運行時間影像輸入至經訓練神經網路中使得經訓練神經網路針對運行時間影像判定經反轉特徵，且經反轉特徵係運行時間影像之一光學校正版本之特徵。因此，此一組態可執行輸入影像之反卷積。以此方式，經反轉特徵可係所要清晰影像(用於反卷積)。雖然在本文中使用術語「光學校正」，但可針對光學及其他類型(例如，電子束及離子束)之成像效應校正一「光學校正」版本。換言之，運行時間影像之「光學校正」版本不僅限於輸入影像之基於光之成像校正。 可以數個不同方式校正運行時間影像之光學校正版本。舉例而言，可針對由自樣品產生運行時間影像之成像子系統或系統引起或由樣品自身(或對樣品執行之一或多個程序)引起之模糊、對比度、色彩、雜訊及其他不利成像效應光學校正運行時間影像。在一個此實例中，運行時間影像可係輸入至經訓練神經網路之一模糊影像，經訓練神經網路產生模糊影像之經反轉特徵/影像(即，一清晰影像)。以此方式，在反卷積情況中，經反轉特徵/影像係藉由自運行時間影像移除模糊而產生之一清晰影像。若使用前向物理模型及殘餘層部署INN，則前向物理模型(在此情況中為一光學模型)可係給定波長、PSF等之一光學模糊模型。前向物理模型基於所產生之「清晰」影像產生模型變換特徵/影像，即，一模擬模糊影像。接著，殘餘層可自運行時間影像減去模擬模糊影像(或反之亦然)以產生一殘餘影像。 亦可針對解析度問題及/或為了改良運行時間影像之解析度校正影像之光學校正版本。舉例而言，在一些實施例中，神經網路可經組態以自一低解析度輸入影像產生一或多個高解析度影像。因此，本文中描述之實施例可經組態以出於增強解析度之目的而用於反卷積，其可藉此改良諸如檢測、度量衡及檢視之應用之缺陷信雜比(SNR)。另外，本文中描述之實施例可經組態以出於增強電子束及/或離子束解析度之目的而用於電子束及/或離子束反卷積，其可藉此改良諸如檢測、度量衡及檢視之應用之缺陷SNR。以此方式，運行時間影像之光學校正版本可包含樣本之更特定資訊，其接著可用於缺陷偵測、分類、檢視等。 在一額外實施例中，該一或多個電腦子系統經組態以將樣品或另一樣品之一運行時間影像輸入至經訓練神經網路中使得：經訓練神經網路針對運行時間影像判定經反轉特徵；前向物理模型自針對運行時間影像判定之經反轉特徵重建運行時間影像；及殘餘層判定運行時間影像與經重建運行時間影像之間之差異，其中經反轉特徵係運行時間影像之一光學校正版本之特徵，且運行時間影像與經重建運行時間影像之間之差異係一殘餘影像之特徵。因此，在一項實施例中，可在與訓練中相同之成像條件下自一成像子系統或系統收集原始運行時間影像。接著，可將原始運行時間影像輸入至經訓練INN模型以產生經反卷積影像(即，「經反轉」影像)及一殘餘影像。經反卷積影像可係比原始影像更清晰之一影像，且其可具有一更高解析度，藉此改良用於缺陷偵測之SNR。殘餘影像可用於識別INN模型之災難性失效，如本文中進一步描述。 如本文中使用之術語一樣品之「低解析度影像」大體上定義為一影像，其中未解析形成於產生影像之樣品之區域中之全部圖案化特徵。例如，若產生一低解析度影像之樣本之區域中之一些圖案化特徵之大小足夠大以使其可解析，則其可在低解析度影像中解析。然而，低解析度影像並非按使影像中之全部圖案化特徵可解析之一解析度產生。以此方式，如本文中使用之術語「低解析度影像」並不含有關於樣本上之圖案化特徵之資訊(其足以使低解析度影像用於諸如缺陷檢視(其可包含缺陷分類及/或驗證)及度量衡之應用)。另外，如本文中使用之術語「低解析度影像」一般係指由檢測系統產生之影像，其通常具有相對較低解析度(例如，低於缺陷檢視及/或度量衡系統)以便具有相對快速之處理能力。 「低解析度影像」亦可係「低解析度」，其中其具有低於本文中描述之一「高解析度影像」之一解析度。如本文中使用之術語「高解析度影像」一般可定義為一影像，其中使用相對高之精確度解析樣本之全部圖案化特徵。以此方式，在高解析度影像中解析針對其產生一高解析度影像之樣本之區域中之全部圖案化特徵而不管其大小。因而，如本文中使用之術語「高解析度影像」含有關於樣本之圖案化特徵之資訊，其足以使高解析度影像用於諸如缺陷檢視(其可包含缺陷分類及/或驗證)及度量衡之應用。另外，如本文中使用之術語「高解析度影像」一般係指在例行操作期間無法藉由檢測系統產生之影像，其經組態以犧牲解析能力而增大處理能力。 在另一實施例中，該一或多個電腦子系統經組態以將樣品或另一樣品之一運行時間影像輸入至經訓練神經網路中使得經訓練神經網路針對運行時間影像判定經反轉特徵，且經反轉特徵係運行時間影像之一振幅及相位版本之特徵。舉例而言，運行時間影像可係輸入至經訓練神經網路之一強度影像，在此組態中其可產生經反轉特徵/影像，即，振幅及相位影像(用於相位回復)。若經部署INN包含前向物理模型及殘餘層，則前向物理模型(例如，一光學模型) (即，給定波長、PSF、振幅傳遞函數(ATM)等之一影像形成模型等)可基於給定經產生「振幅」及「相位」影像之一光學模型而產生模型變換特徵/影像，即，一模擬強度影像。殘餘層可自模型變換特徵/影像減去經反轉特徵/影像(或反之亦然)，藉此產生一殘餘影像。 因此，本文中描述之實施例根本上不同於當前使用之方法及系統，此係因為本文中描述之實施例組合一神經網路(例如，機器學習、深度學習等)與成像模擬(即，前向物理模型)。另外，本文中描述之實施例係藉由尋找關於如何針對反演問題(而非每一問題)組合神經網路與物理模型之一突破點且建立用以解決且實施其之一系統方式而產生。相比之下，深度學習被行業廣泛採用，尤其用於影像分類及語言處理。至今，大多數應用及研究將深度學習/機器學習視為一黑盒子。另外，至今，不存在組合深度學習(即，一神經網路)與一物理模型或使用一物理模型來導引一神經網路之學習之明確方式。 針對電腦科學及影像處理社群，若必須使用一基於訓練之方法，則通常經由一監督式方式解決反演問題(即，反卷積)。此等應用主要致力於不具有強成像效應(如散射、干涉等)之自然影像。因此，在無一物理/成像模型之導引下學習一模型係可負擔的。然而，針對必須考量強物理/成像相互作用之應用(例如，一奈米級晶圓)，單純(蠻力)訓練方法通常導致對於未見資料(歸因於過度擬合)之實質上不良一般化效能。 在過去數十年中，在物理、化學及電腦科學領域中的許多人已進行大量努力來探索機器學習(例如，基於核心之方法)方法是否可用來訓練用於學習複雜物理模型(例如，預測能量)之模型。一般言之，理念係使用機器學習來取代習知分析方法而非組合機器學習與習知分析方法。一般言之，歸因於經訓練模型之精確度差，故無太大的突破。即使深度學習在過去三年中變得流行，在科學社群中之主要努力仍係將其用作一黑盒子或將其視為分析物理模型之一替代品。 因此，本文中描述之實施例具有優於當前使用方法及系統之數個優點。舉例而言，本文中描述之實施例組合一神經網路(例如，機器學習、深度學習等)與成像模擬(即，前向物理模型)。以此方式，本文中描述之實施例能夠解決成像反演問題，其經由第一原理光學或習知最佳化方法(例如，反卷積)通常係不可能或極緩慢的。本文中描述之實施例亦不具有當前使用之反卷積方法及系統之欠定問題，此係因為本文中描述之實施例在數學上學習如何經由一神經網路(鑑於使用相對大量訓練資料集，其經良好約束)執行反卷積變換，而非如當前使用之方法般最佳化「反卷積輸出」。另外，本文中描述之實施例不具有當前使用之反卷積方法及系統之欠定問題，此係因為數學公式或神經網路拓樸對反演程序之學習添加約束。本文中描述之實施例進一步不具有當前使用之反卷積方法及系統之欠定問題，此係因為前向物理模型對反演程序之學習添加來自第一原理之約束。此外，此等約束有助於改良一般化且防止過度擬合。另外，(例如)相較於通用機器學習/深度學習模型，基於第一原理成像之(若干)成像層(即，前向物理模型)極大減少模型參數之數目。此外，本文中描述之實施例可組合成像工具設計與一INN以經由反卷積改良成像解析度。 本文中描述之實施例亦經組態為一統一模型。以此方式，代替一兩步驟法，INN係用於訓練及預測之一統一模型。本文中描述之實施例亦能夠學習複雜成像效應且自第一原理成像解譯該等成像效應。此方法能夠學習複雜及多樣成像效應(繞射、干涉、部分相干性等)。另外，不同於一般機器學習模型，在INN中學習之工具參數具有明確物理意義，其可有助於理解且導引模型設計。 本文中描述之實施例進一步不需要標記且具有一相對快速的設置時間。舉例而言，如本文中進一步描述，INN之訓練係無監督式。本文中描述之實施例亦經組態用於相對快速的訓練時間及相對快速的運行時間。舉例而言，更少數目個參數及前向物理模型使訓練快於通用機械學習/深度學習模型。另外，本文中描述之實施例提供生產運行時間之更快速度(即，可進行相對快速預測)。此外，本文中描述之實施例實現對工具之即時處理。在本文中描述之實施例之內容脈絡中之即時處理係指使用固定計算硬體之一演算法之處理時間，其等於或快於硬體之資料收集時間。因此，硬體可按最大處理能力運行。舉例而言，若自一檢測工具收集一影像耗費約1 ms，則演算法可至少在1 ms中運行。以此方式，INN之預測時間足夠快以跟上成像子系統或系統(硬體)之資料收集速度。在當前使用之方法中，可提供體面結果之方法通常需要迭代非線性最佳化，其比「即時」要求慢數個數量級。 本文中描述之實施例可經組態以使用經反轉影像可能組合運行時間影像執行數個不同功能。可如本文中進一步描述般執行此等功能之各者。 在一項實施例中，該一或多個電腦子系統經組態以將樣品或另一樣品之一運行時間影像輸入至經訓練神經網路中使得經訓練神經網路針對運行時間影像判定經反轉特徵，經反轉特徵係運行時間影像之一光學校正版本之特徵，該一或多個電腦子系統經組態用於對在運行時間影像或運行時間影像之光學校正版本中偵測之一缺陷進行分類，且分類係基於運行時間影像之光學校正版本而執行。舉例而言，運行時間影像可係一樣品或另一樣品之一光學影像且運行時間影像之光學校正版本可包含樣品或另一樣品之一較高解析度影像，諸如可由一電子束成像子系統產生之一影像及/或樣品或另一樣品之設計資料或設計資訊之一影像。 光學影像至SEM及/或設計變換之一個益處係光學檢測仍係半導體製造程序中之大量生產良率之關鍵。歸因於缺乏解析度，由光學檢測器偵測之缺陷需要用於缺陷分類之SEM檢視。將光學自動變換為SEM及/或設計之方法可潛在減少對於良率管理之SEM檢視需要，藉此減少總檢測循環時間。舉例而言，本文中描述之實施例可無需在樣品檢測之後獲取一缺陷檢視系統上之SEM影像，此係因為本文中描述之運行時間影像之光學校正版本可1)在無樣品或另一樣品及無成像硬體之情況下獲取及2)用於缺陷檢視應用，諸如缺陷分類。 可如本文中描述般在運行時間影像及/或運行時間影像之光學校正版本中偵測由一或多個電腦子系統分類之缺陷。另外，可以此項技術中已知之任何適合方式執行基於運行時間影像之光學校正版本對缺陷進行分類。舉例而言，運行時間影像之光學校正版本可用作至此項技術中已知之任何適合缺陷分類方法及/或演算法之輸入。換言之，運行時間影像之光學校正版本可用作用於缺陷分類之任何其他影像。由本文中描述之實施例執行之缺陷分類之結果可具有任何適合格式(例如，缺陷分類碼等)。 在一進一步實施例中，該一或多個電腦子系統經組態以將樣品或另一樣品之一運行時間影像輸入至經訓練神經網路中使得經訓練神經網路針對運行時間影像判定經反轉特徵，經反轉特徵係運行時間影像之一光學校正版本之特徵，且該一或多個電腦子系統經組態用於基於運行時間影像之光學校正版本偵測樣品或另一樣品上之一缺陷。(若干)電腦子系統可經組態以使用運行時間影像之光學校正版本以依任何適合方式偵測樣品或另一樣品上之缺陷。舉例而言，(若干)電腦子系統可經組態以將一或多個缺陷偵測演算法及/或方法(其可包含此項技術中已知之任何適合缺陷偵測演算法及/或方法)應用至運行時間影像之光學校正版本。在一個此實例中，(若干)電腦子系統可經組態以比較運行時間影像之光學校正版本與樣品或另一樣品之一參考且接著將一臨限值應用至比較結果。具有高於臨限值之比較結果之運行時間影像之光學校正版本中之像素可識別為缺陷而具有低於臨限值之比較結果之運行時間影像之光學校正版本中之像素可不識別為缺陷。 在另一實例中，(若干)電腦子系統可經組態用於單一影像偵測，如2016年11月16日由Karsenti等人申請之美國專利申請案第15/353,210中描述，該案以宛如全文陳述引用之方式併入本文中。在一項此實施例中，如本專利申請案中描述，由神經網路針對輸入影像判定之經反轉特徵可用於偵測運行時間影像之光學校正版本中之缺陷。舉例而言，(若干)電腦子系統可經組態用於基於以下各者選擇輸入影像中之像素或像素區塊之標籤：(1)經反轉特徵；及(2)一經反轉特徵圖卷之像素或像素區塊至標籤中之映射。電腦子系統可進一步經組態用於基於像素或區塊之選定標籤而偵測樣品或另一樣品上之缺陷。 另外，(若干)電腦子系統可經組態以使用運行時間影像組合運行時間影像之光學校正版本來偵測樣品或另一樣品上之缺陷。舉例而言，若運行時間影像係一低解析度影像且運行時間影像之光學校正版本包含一高解析度影像，則可在高解析度影像中識別在低解析度影像中偵測之一缺陷之一位置以判定缺陷之設計內容，其接著可用於判定缺陷是否係一擾亂點缺陷或一實際缺陷。另外，可使用在低解析度影像中偵測之一缺陷之一位置來識別高解析度影像中之缺陷之位置以判定在高解析度影像中是否存在(可偵測)缺陷。若可在高解析度影像中偵測缺陷，則將缺陷指定為一實際缺陷。若無法在高解析度影像中偵測缺陷，則將缺陷指定為一擾亂點缺陷。 在一額外實施例中，該一或多個電腦子系統經組態以將樣品或另一樣品之一運行時間影像輸入至經訓練神經網路中使得經訓練神經網路針對運行時間影像判定經反轉特徵，經反轉特徵係運行時間影像之一光學校正版本之特徵，且該一或多個電腦子系統經組態用於基於運行時間影像之光學校正版本量測樣品或另一樣品之一或多個特徵或在樣品或另一樣品上偵測之一缺陷。舉例而言，神經網路可經組態使得由神經網路產生之運行時間影像之光學校正版本係自一運行時間影像(其係一低解析度影像)產生之一高解析度影像。因此，與運行時間影像相比，運行時間影像之光學校正版本可含有更多關於形成於樣品或另一樣品上之特徵(例如，諸如線、間隔、接點等之圖案化特徵以及樣品或另一樣品上之缺陷)之細節。(若干)電腦子系統接著可使用運行時間影像之光學校正版本來量測或判定樣品或另一樣品上之特徵之一或多個特性。 可以任何適合方式判定特徵之一或多個特性。另外，由(若干)電腦子系統判定或量測之特徵之一或多個特性可包含任何適合特性，諸如尺寸(例如，線寬、接觸直徑等)、形狀、相對位置等。可由(若干)電腦子系統對運行時間影像之光學校正版本執行量測，如由Duffy等人於2016年4月28日發表之美國專利申請公開案第2016/0116420號、由Park等人於2016年12月22日發表之美國專利申請公開案第2016/0372303號及由Gupta等人於2016年12月29日發表之美國專利申請公開案第2016/0377425號中描述，該等案以宛如全文陳述引用之方式併入本文中。可如此等公開案中描述般進一步組態本文中描述之實施例。 在一些實施例中，該一或多個電腦子系統經組態以將樣品或另一樣品之運行時間影像之一堆疊輸入至經訓練神經網路中使得經訓練神經網路針對運行時間影像之堆疊判定經反轉特徵，經反轉特徵係運行時間影像之堆疊之相位資訊，且該一或多個電腦子系統經組態用於基於相位資訊增加對於樣品或另一樣品上之缺陷之選擇性。舉例而言，可針對光學相位回復執行本文中描述之實施例以自光學影像之一堆疊產生相位資訊，其可用於增加缺陷選擇性。特定言之，在光學相位回復使用情況中，INN產生係一經反轉影像(其係一振幅及相位影像)，該經反轉影像含有可用於有助於SNR、偵測等之相位資訊。可以此項技術中已知之任何適合方式執行基於相位資訊增加對於缺陷之選擇性。 在一項實施例中，該一或多個電腦子系統經組態用於基於訓練之結果判定針對用於產生輸入影像之一或多個參數之一或多個調整。舉例而言，本文中描述之實施例可經組態用於實質上準確工具校準。換言之，可在INN之訓練期間自粗略量測初始工具參數最佳化出較佳工具參數，且經最佳化之參數係較佳校準值。在一個特定實例中，可自具有孔徑「A」之一檢測工具抓取影像。孔徑「A」係一已知工具參數，且孔徑「A」可用於估計工具之一粗略PSF。然而，精細(或精確) PSF係未知的。因此，精細(或精確) PSF可係可訓練的。接著可基於此等結果執行針對PSF之工具校準。舉例而言，粗略PSF用作用於訓練之初始值。在完成訓練之後，將經最佳化之PSF視為精細校準之PSF。 本文中描述之實施例可進一步經組態用於執行其他變換(自一輸入影像至一模擬影像)，諸如在以下共同擁有之美國專利申請案中所描述者：由Zhang等人於2016年6月7日申請之美國專利申請案第15/176,139號；由Karsenti等人於2016年11月16日申請之美國專利申請案第15/353,210號；由Bhaskar等人於2016年12月29日申請之美國專利申請案第15/394,790號；由Bhaskar等人於2016年12月29日申請之美國專利申請案第15/394,792號；由Zhang等人於2017年1月2日申請之美國專利申請案第15/396,800號；由Bhaskar等人於2017年1月9日申請之美國專利申請案第15/402,094號；由Bhaskar等人於2017年1月9日申請之美國專利申請案第15/402,169號；由Park等人於2017年1月9日申請之美國專利申請案第15/402,197號；及由Zhang等人於2017年3月23日申請之美國專利申請案第15/603,249號，該等案以宛如全文陳述引用之方式併入本文中。可如此等專利申請案中描述般進一步組態本文中描述之實施例。另外，本文中描述之實施例可經組態以執行此等專利申請案中描述之任何步驟。 經組態以訓練一神經網路之一系統之另一實施例包含經組態用於產生一樣品之影像之一成像子系統。成像子系統可具有本文中描述之任何組態。系統亦包含一或多個電腦子系統(例如，圖1中展示之(若干)電腦子系統102)，其經組態用於獲取影像且自經獲取影像產生輸入影像之一訓練集。可如本文中進一步描述般組態(若干)電腦子系統。系統亦包含由一或多個電腦子系統實行之一或多個組件(例如，(若干)組件100)，其可包含本文中描述之(若干)組件之任一者。(若干)組件包含神經網路104、前向物理模型106及殘餘層108，可如本文中描述般組態其之各者。舉例而言，神經網路經組態用於判定輸入至神經網路之樣品之訓練集中之輸入影像之經反轉特徵。前向物理模型經組態用於自經反轉特徵重建輸入影像，藉此產生對應於訓練集中之輸入影像之一輸出影像集。殘餘層經組態用於判定訓練集中之輸入影像與其在該集中之對應輸出影像之間之差異。(若干)電腦子系統亦經組態用於基於經判定差異更改神經網路之一或多個參數，藉此訓練神經網路。可如本文中描述般進一步組態此系統實施例。 可將上文描述之各系統之各實施例一起組合為一項單一實施例。 另一實施例係關於一種用於訓練一神經網路之電腦實施方法。該方法包含藉由將輸入影像之一訓練集輸入至一神經網路而判定一樣品之該訓練集中之輸入影像之經反轉特徵。該方法亦包含藉由將該等經反轉特徵輸入至一前向物理模型中而自該等經反轉特徵重建該等輸入影像，藉此產生對應於該訓練集中之該等輸入影像之一輸出影像集。另外，該方法包含判定該訓練集中之該等輸入影像與其在該集中之對應輸出影像之間之差異。該方法進一步包含基於該等經判定差異判定該神經網路之一或多個參數，藉此訓練該神經網路。由一或多個電腦系統執行判定該等經反轉特徵、重建該等輸入影像、判定該等差異及更改該一或多個參數。由該一或多個電腦系統實行一或多個組件，且該一或多個組件包含該神經網路及該前向物理模型。 可如本文中進一步描述般執行方法之各步驟。方法亦可包含可由本文中描述之系統、(若干)電腦子系統及/或成像系統或子系統執行之(若干)任何其他步驟。可根據本文中描述之任何實施例組態一或多個電腦系統、一或多個組件、神經網路及前向物理模型，例如，(若干)電腦子系統102、(若干)組件100、神經網路104及前向物理模型106。另外，上文描述之方法可由本文中描述之任何系統實施例執行。 一額外實施例係關於一種儲存程式指令之非暫時性電腦可讀媒體，該等程式指令可在一或多個電腦系統上實行以執行用於訓練一神經網路之一電腦實施方法。在圖5中展示一項此實施例。特定言之，如圖5中展示，非暫時性電腦可讀媒體500包含可在(若干)電腦系統504上實行之程式指令502。電腦實施方法可包含本文中描述之(若干)任何方法之(若干)任何步驟。 實施諸如本文中描述之方法之程式指令502可儲存於電腦可讀媒體500上。電腦可讀媒體可係一儲存媒體，諸如一磁碟或光碟、一磁帶或此項技術中已知之任何其他適合非暫時性電腦可讀媒體。 可以各種方式(包含基於程序之技術、基於組件之技術及/或物件導向技術等等)之任何者實施程式指令。舉例而言，可視需要使用ActiveX控制項、C++物件、JavaBeans、微軟基礎類別(「MFC」)、SSE (串流SIMD延伸)或其他技術或方法論實施程式指令。 可根據本文中描述之任何實施例組態(若干)電腦系統504。 鑑於此描述，熟習此項技術者將明白本發明之各種態樣之進一步修改及替代實施例。舉例而言，提供用於訓練一神經網路之方法及系統。因此，此描述應僅解釋為闡釋性且係出於教示熟習此項技術者實行本發明之一般方式之目的。應理解，本文中展示及描述之本發明之形式將視為當前較佳實施例。如熟習此項技術者在獲益於本發明之此描述之後將明白，元件及材料可取代本文中繪示及描述之元件及材料，部分及程序可顛倒，且可獨立利用本發明之特定特徵。在不脫離如在以下發明申請專利範圍中描述之本發明之精神及範疇之情況下可對本文中描述之元件做出改變。
10‧‧‧成像系統 14‧‧‧樣品 16‧‧‧光源 18‧‧‧光學元件 20‧‧‧透鏡 22‧‧‧載物台 24‧‧‧集光器 26‧‧‧元件 28‧‧‧偵測器 30‧‧‧集光器 32‧‧‧元件 34‧‧‧偵測器 36‧‧‧電腦子系統 100‧‧‧組件 102‧‧‧電腦子系統 104‧‧‧神經網路 106‧‧‧前向物理模型 108‧‧‧殘餘層 122‧‧‧電子柱 124‧‧‧電腦子系統 126‧‧‧電子束源 128‧‧‧樣品 130‧‧‧元件 132‧‧‧元件 134‧‧‧偵測器 200‧‧‧影像 202‧‧‧神經網路 204‧‧‧經反轉特徵 206‧‧‧前向物理模型 208‧‧‧模型變換特徵 210‧‧‧殘餘層 212‧‧‧殘餘影像 300‧‧‧運行時間影像 302‧‧‧經訓練神經網路 304‧‧‧經反轉特徵 400‧‧‧運行時間影像 402‧‧‧經訓練神經網路 404‧‧‧經反轉特徵 406‧‧‧前向物理模型 408‧‧‧模型變換特徵 410‧‧‧殘餘層 412‧‧‧殘餘影像 500‧‧‧非暫時性電腦可讀媒體 502‧‧‧程式指令 504‧‧‧電腦系統
在受益於較佳實施例之以下詳細描述的情況下且在參考隨附圖式之後，熟習此項技術者將明白本發明之進一步優點，其中： 圖1及圖1a係繪示如本文中描述般組態之一系統之實施例之側視圖之示意圖； 圖2係繪示訓練一神經網路之一項實施例之一流程圖； 圖3至圖4係繪示部署一經訓練神經網路之實施例之流程圖； 圖5係繪示儲存用於引起一或多個電腦系統執行本文中描述之一電腦實施方法之程式指令之一非暫時性電腦可讀媒體之一項實施例之一方塊圖。 雖然本發明易於以各種修改及替代形式呈現，但本發明之特定實施例藉由圖式中之實例展示且在本文中經詳細描述。圖式可不按比例繪製。然而，應理解，圖式及其詳細描述不旨在將本發明限於所揭示之特定形式，而相反，本發明欲涵蓋落於如由隨附發明申請專利範圍界定之本發明之精神及範疇內之全部修改、等效物及替代物。
200‧‧‧影像
202‧‧‧神經網路
204‧‧‧經反轉特徵
206‧‧‧前向物理模型
208‧‧‧模型變換特徵
210‧‧‧殘餘層
212‧‧‧殘餘影像

Claims (30)

  1. 一種經組態以訓練一神經網路之系統，其包括：一或多個電腦子系統；及一或多個組件，其由該一或多個電腦子系統實行，其中該一或多個組件包括：一神經網路，其經組態用於判定輸入至該神經網路之一樣品之一訓練集中之輸入影像之經反轉特徵；一前向物理模型，其經組態用於自該等經反轉特徵重建該等輸入影像，藉此產生對應於該訓練集中之該等輸入影像之一輸出影像集；及一殘餘層，其經組態用於判定該訓練集中之該等輸入影像與在該集中之對應輸出影像之間之差異；其中該一或多個電腦子系統經組態用於基於該等經判定差異更改該神經網路之一或多個參數，藉此訓練該神經網路，其中該一或多個電腦子系統進一步經組態以將該樣品或另一樣品之一運行時間影像輸入至該經訓練神經網路中，使得該經訓練神經網路針對該運行時間影像判定該等經反轉特徵，且其中該等經反轉特徵係該運行時間影像之一光學校正版本之特徵。
  2. 如請求項1之系統，其中該神經網路經組態為一卷積神經網路。
  3. 如請求項1之系統，其中該神經網路經組態為一完全卷積模型。
  4. 如請求項1之系統，其中該神經網路經組態為一深度生成模型。
  5. 如請求項1之系統，其中該神經網路經組態為一生成對抗網。
  6. 如請求項1之系統，其中該神經網路經組態為一條件式生成對抗網。
  7. 如請求項1之系統，其中該神經網路經組態為一生成對抗網路及變分自動編碼器。
  8. 如請求項1之系統，其中該神經網路之一部分經組態為一卷積神經網路。
  9. 如請求項1之系統，其中該前向物理模型經組態為一可微分前向物理模型。
  10. 如請求項1之系統，其中該前向物理模型經實施或近似表示為一額外神經網路。
  11. 如請求項1之系統，其中該前向物理模型包括對應於用於產生該樣品之該等輸入影像之成像參數之模型參數。
  12. 如請求項1之系統，其中該前向物理模型包括對應於產生該樣品之該 等輸入影像所涉及之物理參數之模型參數。
  13. 如請求項1之系統，其中該前向物理模型包括至少一個可調整模型參數。
  14. 如請求項1之系統，其中該前向物理模型包括至少一個固定模型參數。
  15. 如請求項1之系統，其中該一或多個電腦子系統進一步經組態以將該樣品或該另一樣品之該運行時間影像輸入至該經訓練神經網路中使得：該經訓練神經網路針對該運行時間影像判定該等經反轉特徵；該前向物理模型自針對該運行時間影像判定之該等經反轉特徵重建該運行時間影像；且該殘餘層判定該運行時間影像與該經重建運行時間影像之間之差異，其中該運行時間影像與該經重建運行時間影像之間之該等差異係一殘餘影像之特徵。
  16. 如請求項1之系統，其中該等輸入影像由一基於電子束之成像系統產生。
  17. 如請求項1之系統，其中該等輸入影像由一基於光學之成像系統產生。
  18. 如請求項1之系統，其中該等輸入影像由一檢測系統產生。
  19. 如請求項1之系統，其中該等輸入影像由一度量衡系統產生。
  20. 如請求項1之系統，其中該樣品係一晶圓。
  21. 如請求項1之系統，其中該樣品係一倍縮光罩。
  22. 如請求項1之系統，其中該一或多個電腦子系統進一步經組態用於基於該運行時間影像之該光學校正版本偵測該樣品或該另一樣品上之一缺陷。
  23. 如請求項1之系統，其中該一或多個電腦子系統進一步經組態用於對在該運行時間影像或該運行時間影像之該光學校正版本中偵測之一缺陷進行分類，且其中該分類係基於該運行時間影像之該光學校正版本執行。
  24. 如請求項1之系統，其中該一或多個電腦子系統進一步經組態用於基於該運行時間影像之該光學校正版本量測該樣品或該另一樣品之一或多個特徵或量測在該樣品或該另一樣品上所偵測之一缺陷。
  25. 如請求項1之系統，其中該一或多個電腦子系統進一步經組態以將該樣品或該另一樣品之運行時間影像之一堆疊輸入至該經訓練神經網路中，使得該經訓練神經網路針對運行時間影像之該堆疊判定該等經反轉特徵， 其中針對運行時間影像之該堆疊之該等經反轉特徵係運行時間影像之該堆疊之相位資訊，且其中該一或多個電腦子系統進一步經組態用於基於該相位資訊增加對於該樣品或該另一樣品上之缺陷之選擇性。
  26. 如請求項1之系統，其中該一或多個電腦子系統進一步經組態用於基於該訓練之結果判定針對用於產生該等輸入影像之一或多個參數之一或多個調整。
  27. 一種經組態以訓練一神經網路之系統，其包括：一成像子系統，其經組態用於產生一樣品之影像；一或多個電腦子系統，其經組態用於獲取該等影像且自該等經獲取影像產生輸入影像之一訓練集；及一或多個組件，其由該一或多個電腦子系統實行，其中該一或多個組件包括：一神經網路，其經組態用於判定輸入至該神經網路之該樣品之該訓練集中之該等輸入影像之經反轉特徵；一前向物理模型，其經組態用於自該等經反轉特徵重建該等輸入影像，藉此產生對應於該訓練集中之該等輸入影像之一輸出影像集；及一殘餘層，其經組態用於判定該訓練集中之該等輸入影像與在該集中之對應輸出影像之間之差異；其中該一或多個電腦子系統經組態用於基於該等經判定差異更改該神經網路之一或多個參數，藉此訓練該神經網路， 其中該一或多個電腦子系統進一步經組態以將該樣品或另一樣品之一運行時間影像輸入至該經訓練神經網路中，使得該經訓練神經網路針對該運行時間影像判定該等經反轉特徵，且其中該等經反轉特徵係該運行時間影像之一光學校正版本之特徵。
  28. 一種儲存程式指令之非暫時性電腦可讀媒體，該等程式指令可在一或多個電腦系統上實行以執行用於訓練一神經網路之一電腦實施方法，其中該電腦實施方法包括：藉由將輸入影像之一訓練集輸入至一神經網路而判定一樣品之該訓練集中之輸入影像之經反轉特徵；藉由將該等經反轉特徵輸入至一前向物理模型中而自該等經反轉特徵重建該等輸入影像，藉此產生對應於該訓練集中之該等輸入影像之一輸出影像集；判定該訓練集中之該等輸入影像與其在該集中之對應輸出影像之間之差異；基於該等經判定差異更改該神經網路之一或多個參數，藉此訓練該神經網路；及將該樣品或另一樣品之一運行時間影像輸入至該經訓練神經網路中，使得該經訓練神經網路針對該運行時間影像判定該等經反轉特徵，其中該等經反轉特徵係該運行時間影像之一光學校正版本之特徵，其中由一或多個電腦系統執行該判定該等經反轉特徵、該重建該等輸入影像、該判定該等差異、該更改該一或多個參數及該輸入該運行時間影像，其中由該一或多個電腦系統實行一或多個組件，且其中該一或多個組件包括該神經 網路及該前向物理模型。
  29. 一種用於訓練一神經網路之電腦實施方法，其包括：藉由將輸入影像之一訓練集輸入至一神經網路而判定一樣品之該訓練集中之輸入影像之經反轉特徵；藉由將該等經反轉特徵輸入至一前向物理模型中而自該等經反轉特徵重建該等輸入影像，藉此產生對應於該訓練集中之該等輸入影像之一輸出影像集；判定該訓練集中之該等輸入影像與其在該集中之對應輸出影像之間之差異；基於該等經判定差異更改該神經網路之一或多個參數，藉此訓練該神經網路；及將該樣品或另一樣品之一運行時間影像輸入至該經訓練神經網路中，使得該經訓練神經網路針對該運行時間影像判定該等經反轉特徵，其中該等經反轉特徵係該運行時間影像之一光學校正版本之特徵，其中由一或多個電腦系統執行該判定該等經反轉特徵、該重建該等輸入影像、該判定該等差異、該更改該一或多個參數及該輸入該運行時間影像，其中由該一或多個電腦系統實行一或多個組件，且其中該一或多個組件包括該神經網路及該前向物理模型。
  30. 一種經組態以訓練一神經網路之系統，其包括：一或多個電腦子系統；及一或多個組件，其由該一或多個電腦子系統實行，其中該一或多個 組件包括：一神經網路，其經組態用於判定輸入至該神經網路之一樣品之一訓練集中之輸入影像之經反轉特徵；一前向物理模型，其經組態用於自該等經反轉特徵重建該等輸入影像，藉此產生對應於該訓練集中之該等輸入影像之一輸出影像集；及一殘餘層，其經組態用於判定該訓練集中之該等輸入影像與在該集中之對應輸出影像之間之差異；其中該一或多個電腦子系統經組態用於基於該等經判定差異更改該神經網路之一或多個參數，藉此訓練該神經網路，其中該一或多個電腦子系統進一步經組態以將該樣品或另一樣品之一運行時間影像輸入至該經訓練神經網路中，使得該經訓練神經網路針對該運行時間影像判定該等經反轉特徵，且其中該等經反轉特徵係該運行時間影像之一振幅及相位版本之特徵。
TW106118058A 2016-06-01 2017-06-01 針對半導體應用整合神經網路及前向物理模型之系統及方法 TWI715773B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662344214P 2016-06-01 2016-06-01
US62/344,214 2016-06-01
US15/609,009 2017-05-31
US15/609,009 US10346740B2 (en) 2016-06-01 2017-05-31 Systems and methods incorporating a neural network and a forward physical model for semiconductor applications

Publications (2)

Publication Number Publication Date
TW201802726A TW201802726A (zh) 2018-01-16
TWI715773B true TWI715773B (zh) 2021-01-11

Family

ID=60479143

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106118058A TWI715773B (zh) 2016-06-01 2017-06-01 針對半導體應用整合神經網路及前向物理模型之系統及方法

Country Status (8)

Country Link
US (1) US10346740B2 (zh)
EP (1) EP3465552B1 (zh)
JP (1) JP6853273B2 (zh)
KR (1) KR102213730B1 (zh)
CN (1) CN109313724B (zh)
IL (1) IL262787B (zh)
TW (1) TWI715773B (zh)
WO (1) WO2017210455A1 (zh)

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10373055B1 (en) * 2016-05-20 2019-08-06 Deepmind Technologies Limited Training variational autoencoders to generate disentangled latent factors
US10181391B2 (en) 2016-05-26 2019-01-15 Nanojehm Inc. Image processing system and method of processing images
US10197908B2 (en) 2016-06-21 2019-02-05 Lam Research Corporation Photoresist design layout pattern proximity correction through fast edge placement error prediction via a physics-based etch profile modeling framework
US10504004B2 (en) * 2016-09-16 2019-12-10 General Dynamics Mission Systems, Inc. Systems and methods for deep model translation generation
WO2018105028A1 (ja) * 2016-12-06 2018-06-14 三菱電機株式会社 検査装置及び検査方法
US11237872B2 (en) 2017-05-23 2022-02-01 Kla-Tencor Corporation Semiconductor inspection and metrology systems for distributing job among the CPUs or GPUs based on logical image processing boundaries
US11282695B2 (en) * 2017-09-26 2022-03-22 Samsung Electronics Co., Ltd. Systems and methods for wafer map analysis
TWI653605B (zh) 2017-12-25 2019-03-11 由田新技股份有限公司 利用深度學習的自動光學檢測方法、設備、電腦程式、電腦可讀取之記錄媒體及其深度學習系統
WO2019155052A1 (en) * 2018-02-09 2019-08-15 Deepmind Technologies Limited Generative neural network systems for generating instruction sequences to control an agent performing a task
EP3531205A1 (en) * 2018-02-22 2019-08-28 ASML Netherlands B.V. Control based on probability density function of parameter
JP7323541B2 (ja) 2018-03-13 2023-08-08 アプライド マテリアルズ インコーポレイテッド 半導体処理のモニタリングのための機械学習システム
US10789703B2 (en) * 2018-03-19 2020-09-29 Kla-Tencor Corporation Semi-supervised anomaly detection in scanning electron microscope images
WO2019183153A1 (en) 2018-03-21 2019-09-26 Kla-Tencor Corporation Training a machine learning model with synthetic images
KR102565278B1 (ko) 2018-03-26 2023-08-09 삼성전자주식회사 영상 분할 방법, 영상 분할 장치, 및 영상 분할을 위한 학습 방법
US10599951B2 (en) * 2018-03-28 2020-03-24 Kla-Tencor Corp. Training a neural network for defect detection in low resolution images
US10670536B2 (en) 2018-03-28 2020-06-02 Kla-Tencor Corp. Mode selection for inspection
US10572697B2 (en) 2018-04-06 2020-02-25 Lam Research Corporation Method of etch model calibration using optical scatterometry
CN112005347A (zh) 2018-04-10 2020-11-27 朗姆研究公司 抗蚀剂和蚀刻建模
KR20200130870A (ko) 2018-04-10 2020-11-20 램 리써치 코포레이션 피처들을 특징화하기 위한 머신 러닝의 광학 계측
EP3791332A4 (en) * 2018-05-10 2022-03-09 The Board of Trustees of the Leland Stanford Junior University LEARNING PHOTONIC NEURONAL NETWORKS BY IN SITU BACKPROPAGATION
US11460753B2 (en) 2018-05-10 2022-10-04 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for activation functions for photonic neural networks
US10824909B2 (en) 2018-05-15 2020-11-03 Toyota Research Institute, Inc. Systems and methods for conditional image translation
US20210192357A1 (en) * 2018-05-17 2021-06-24 Magic Leap, Inc. Gradient adversarial training of neural networks
CN110555800A (zh) * 2018-05-30 2019-12-10 北京三星通信技术研究有限公司 图像处理装置及方法
US10713569B2 (en) 2018-05-31 2020-07-14 Toyota Research Institute, Inc. System and method for generating improved synthetic images
CN110555340B (zh) * 2018-05-31 2022-10-18 赛灵思电子科技(北京)有限公司 神经网络计算方法和系统及相应的双神经网络实现
US10592635B2 (en) 2018-05-31 2020-03-17 International Business Machines Corporation Generating synthetic layout patterns by feedforward neural network based variational autoencoders
US10621301B2 (en) 2018-06-06 2020-04-14 International Business Machines Corporation Coordinates-based variational autoencoder for generating synthetic via layout patterns
CN116758012A (zh) * 2018-06-08 2023-09-15 Asml荷兰有限公司 确定与在衬底上的结构相关的感兴趣的特性的方法、掩模版、衬底
EP3579052A1 (en) * 2018-06-08 2019-12-11 ASML Netherlands B.V. Metrology apparatus and method for determining a characteristic of one or more structures on a substrate
US11315231B2 (en) 2018-06-08 2022-04-26 Industrial Technology Research Institute Industrial image inspection method and system and computer readable recording medium
US10810460B2 (en) * 2018-06-13 2020-10-20 Cosmo Artificial Intelligence—AI Limited Systems and methods for training generative adversarial networks and use of trained generative adversarial networks
KR102586405B1 (ko) 2018-06-14 2023-10-10 노바 엘티디. 반도체 제조용 측정 및 공정 제어
WO2019238372A1 (en) 2018-06-15 2019-12-19 Asml Netherlands B.V. Machine learning based inverse optical proximity correction and process model calibration
TWI689875B (zh) * 2018-06-29 2020-04-01 由田新技股份有限公司 利用深度學習系統的自動光學檢測分類設備及其訓練設備
CN109061131A (zh) * 2018-06-29 2018-12-21 志诺维思（北京）基因科技有限公司 染色图片处理方法及装置
US10169852B1 (en) 2018-07-03 2019-01-01 Nanotronics Imaging, Inc. Systems, devices, and methods for providing feedback on and improving the accuracy of super-resolution imaging
KR101936029B1 (ko) * 2018-07-18 2019-01-11 한국과학기술정보연구원 딥러닝 기반의 가치 평가 방법 및 그 장치
US10846845B2 (en) * 2018-07-25 2020-11-24 Fei Company Training an artificial neural network using simulated specimen images
JP2020024121A (ja) * 2018-08-06 2020-02-13 澁谷工業株式会社 物品検査装置
JPWO2020031984A1 (ja) * 2018-08-08 2021-08-10 Ｂｌｕｅ Ｔａｇ株式会社 部品の検査方法及び検査システム
US11386304B2 (en) 2018-08-20 2022-07-12 Samsung Electronics Co., Ltd. Electronic device and method of controlling the same
US11568198B2 (en) * 2018-09-12 2023-01-31 Applied Materials, Inc. Deep auto-encoder for equipment health monitoring and fault detection in semiconductor and display process equipment tools
US10949964B2 (en) * 2018-09-21 2021-03-16 Kla Corporation Super-resolution defect review image generation through generative adversarial networks
US10314477B1 (en) 2018-10-31 2019-06-11 Capital One Services, Llc Systems and methods for dynamically modifying visual content to account for user visual impairment
KR20200055836A (ko) 2018-11-12 2020-05-22 삼성전자주식회사 데이터 분류 방법 및 장치, 분류기의 학습 방법 및 장치
KR102638267B1 (ko) 2018-12-03 2024-02-21 삼성전자주식회사 반도체 웨이퍼 불량 분석 시스템 및 그것의 동작 방법
US10740901B2 (en) * 2018-12-17 2020-08-11 Nvidia Corporation Encoder regularization of a segmentation model
US11010885B2 (en) * 2018-12-18 2021-05-18 Kla Corporation Optical-mode selection for multi-mode semiconductor inspection
US10923318B2 (en) * 2018-12-20 2021-02-16 Fei Company Optical alignment correction using convolutional neural network evaluation of a beam image
US11170475B2 (en) * 2019-01-10 2021-11-09 Kla Corporation Image noise reduction using stacked denoising auto-encoder
US11347788B2 (en) 2019-01-16 2022-05-31 Toyota Research Institute, Inc. Systems and methods for generating a requested image view
US11379967B2 (en) * 2019-01-18 2022-07-05 Kla Corporation Methods and systems for inspection of semiconductor structures with automatically generated defect features
CN109901835B (zh) * 2019-01-25 2020-09-04 北京三快在线科技有限公司 布局元素的方法、装置、设备及存储介质
US10977405B2 (en) 2019-01-29 2021-04-13 Lam Research Corporation Fill process optimization using feature scale modeling
US10482584B1 (en) * 2019-01-31 2019-11-19 StradVision, Inc. Learning method and learning device for removing jittering on video acquired through shaking camera by using a plurality of neural networks for fault tolerance and fluctuation robustness in extreme situations, and testing method and testing device using the same
US11294162B2 (en) * 2019-02-07 2022-04-05 Nanotronics Imaging, Inc. Fluorescence microscopy inspection systems, apparatus and methods with darkfield channel
US10922808B2 (en) 2019-02-14 2021-02-16 KLA—Tencor Corp. File selection for test image to design alignment
US11227102B2 (en) * 2019-03-12 2022-01-18 Wipro Limited System and method for annotation of tokens for natural language processing
US11047807B2 (en) * 2019-03-25 2021-06-29 Camtek Ltd. Defect detection
US11551348B2 (en) * 2019-04-09 2023-01-10 KLA Corp. Learnable defect detection for semiconductor applications
JP7203678B2 (ja) * 2019-04-19 2023-01-13 株式会社日立ハイテク 欠陥観察装置
US11900026B1 (en) 2019-04-24 2024-02-13 X Development Llc Learned fabrication constraints for optimizing physical devices
US11684253B2 (en) * 2019-04-24 2023-06-27 Topcon Corporation 2D multi-layer thickness measurement with reconstructed spectrum
US11379633B2 (en) 2019-06-05 2022-07-05 X Development Llc Cascading models for optimization of fabrication and design of a physical device
CN110246145B (zh) * 2019-06-21 2023-02-21 福州大学 一种腹部ct图像的分割方法
US11461519B2 (en) * 2019-06-24 2022-10-04 Nanyang Technological University Machine learning techniques for estimating mechanical properties of materials
US11880193B2 (en) 2019-07-26 2024-01-23 Kla Corporation System and method for rendering SEM images and predicting defect imaging conditions of substrates using 3D design
US11693386B2 (en) * 2019-08-27 2023-07-04 Samsung Eleotronics Co., Ltd. Method and electronic device for guiding semiconductor manufacturing process
US11126891B2 (en) 2019-09-11 2021-09-21 Toyota Research Institute, Inc. Systems and methods for simulating sensor data using a generative model
US11727169B2 (en) 2019-09-11 2023-08-15 Toyota Research Institute, Inc. Systems and methods for inferring simulated data
US11494695B2 (en) 2019-09-27 2022-11-08 Google Llc Training neural networks to generate structured embeddings
US11580650B2 (en) 2019-10-01 2023-02-14 KLA Corp. Multi-imaging mode image alignment
US11087449B2 (en) 2019-10-24 2021-08-10 KLA Corp. Deep learning networks for nuisance filtering
KR102144975B1 (ko) * 2019-11-08 2020-08-14 주식회사 알체라 머신 러닝 시스템 및 머신 러닝 시스템의 동작 방법
CN110929864B (zh) * 2019-12-05 2023-04-18 北京超放信息技术有限公司 光学衍射神经网络在线训练方法及系统
KR102282989B1 (ko) * 2019-12-26 2021-07-29 주식회사 나눔에너지 머신러닝을 이용한 태양광패널 설치용 지붕 가장자리 이미지 추출 시스템
SE1930421A1 (en) * 2019-12-30 2021-07-01 Unibap Ab Method and means for detection of imperfections in products
US11636322B2 (en) 2020-01-03 2023-04-25 Silicon Storage Technology, Inc. Precise data tuning method and apparatus for analog neural memory in an artificial neural network
EP3885813A1 (en) * 2020-03-27 2021-09-29 Leica Microsystems CMS GmbH Method and device for estimating a sted resolution
CN111461300B (zh) * 2020-03-30 2022-10-14 北京航空航天大学 光学残差深度网络构建方法
CN111524078B (zh) * 2020-04-20 2023-04-18 浙江大学 一种基于稠密网络的显微镜图像去模糊方法
US11796794B2 (en) 2020-05-12 2023-10-24 The Board Of Trustees Of The Leland Stanford Junior University Multi-objective, robust constraints enforced global topology optimizer for optical devices
US11531842B2 (en) 2020-05-20 2022-12-20 Toyota Research Institute, Inc. Invertible depth network for image reconstruction and domain transfers
US11769242B2 (en) 2020-05-21 2023-09-26 Kla Corporation Mode selection and defect detection training
CN113761979B (zh) * 2020-06-04 2023-11-14 富士通株式会社 用于优化模型的方法、设备和存储介质
DE102021205690A1 (de) * 2020-06-05 2021-12-09 Nvidia Corporation Trainieren neuronaler Netze mit begrenzten Daten unter Verwendung invertierbarer Augmentationsoperatoren
US11232554B1 (en) * 2021-06-07 2022-01-25 Elementary Robotics, Inc. Machine-learning based camera image triggering for quality assurance inspection processes
WO2022002399A1 (en) * 2020-07-02 2022-01-06 Ecole Polytechnique Federale De Lausanne (Epfl) Multicore fiber endoscope for phase imaging based on intensity recording using deep neural networks
CN112200218B (zh) * 2020-09-10 2023-06-20 浙江大华技术股份有限公司 一种模型训练方法、装置及电子设备
KR20230135069A (ko) * 2020-12-18 2023-09-22 스트롱 포스 브이씨엔 포트폴리오 2019, 엘엘씨 밸류 체인 네트워크를 위한 로봇 플릿 관리 및 적층제조
CN112301322B (zh) * 2020-12-21 2021-04-13 上海陛通半导体能源科技股份有限公司 具有工艺参数智能调节功能的气相沉积设备及方法
KR20230110361A (ko) * 2021-02-25 2023-07-21 실리콘 스토리지 테크놀로지 인크 인공 신경망 내의 아날로그 신경 메모리를 위한 정밀데이터 튜닝 방법 및 장치
CN113032778B (zh) * 2021-03-02 2021-09-21 四川大学 一种基于行为特征编码的半监督网络异常行为检测方法
US20220415683A1 (en) * 2021-06-27 2022-12-29 Tignis, Inc. Method for determining corrective film pattern to reduce semiconductor wafer bow
WO2023008983A1 (ko) 2021-07-30 2023-02-02 주식회사 딥엑스 이미지 신호 프로세서의 제어 방법 및 이를 수행하는 제어 장치
KR20240051271A (ko) * 2021-09-03 2024-04-19 램 리써치 코포레이션 웨이퍼 프로세싱 툴의 머신 비전 검사 (machine vision inspection)
US11868689B2 (en) * 2021-10-11 2024-01-09 KLA Corp. Systems and methods for setting up a physics-based model
CN114036607B (zh) * 2021-11-03 2022-07-01 清华大学 多模态输入深度神经网络、框架结构梁柱设计方法及装置
US11922619B2 (en) 2022-03-31 2024-03-05 Kla Corporation Context-based defect inspection
US11921052B2 (en) 2022-03-31 2024-03-05 Kla Corporation Inspection with previous step subtraction
CN114880739B (zh) * 2022-04-25 2023-03-24 清华大学 生成式建筑结构设计方案的再优化设计方法和装置
CN114881990A (zh) * 2022-05-23 2022-08-09 合肥御微半导体技术有限公司 掩模版缺陷检测方法、装置、电子设备及存储介质
JP2024021487A (ja) * 2022-08-03 2024-02-16 ＪＤＩ Ｄｅｓｉｇｎ ａｎｄ Ｄｅｖｅｌｏｐｍｅｎｔ 合同会社 検査方法、検査装置及びプログラム
WO2024088665A1 (en) * 2022-10-23 2024-05-02 Asml Netherlands B.V. Training a machine learning model to predict images representative of defects on a substrate

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100183217A1 (en) * 2007-04-24 2010-07-22 Seung H Sebastian Method and apparatus for image processing
TW201504749A (zh) * 2013-05-14 2015-02-01 Kla Tencor Corp 用於檢測光罩之機器學習方法及裝置

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08136466A (ja) * 1994-11-10 1996-05-31 Dainippon Screen Mfg Co Ltd 画像パターン検査装置
US5711843A (en) * 1995-02-21 1998-01-27 Orincon Technologies, Inc. System for indirectly monitoring and controlling a process with particular application to plasma processes
US6466314B1 (en) 1998-09-17 2002-10-15 Applied Materials, Inc. Reticle design inspection system
US6641746B2 (en) * 2001-09-28 2003-11-04 Agere Systems, Inc. Control of semiconductor processing
JP2003243470A (ja) * 2002-02-18 2003-08-29 Mitsubishi Electric Corp 異常検出システム、プログラムおよび記録媒体
US7346208B2 (en) 2003-10-25 2008-03-18 Hewlett-Packard Development Company, L.P. Image artifact reduction using a neural network
US7729529B2 (en) * 2004-12-07 2010-06-01 Kla-Tencor Technologies Corp. Computer-implemented methods for detecting and/or sorting defects in a design pattern of a reticle
US7676077B2 (en) 2005-11-18 2010-03-09 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US7570796B2 (en) 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US8698093B1 (en) 2007-01-19 2014-04-15 Kla-Tencor Corporation Objective lens with deflector plates immersed in electrostatic lens field
TWI469235B (zh) * 2007-08-20 2015-01-11 Kla Tencor Corp 決定實際缺陷是潛在系統性缺陷或潛在隨機缺陷之由電腦實施之方法
US8126255B2 (en) 2007-09-20 2012-02-28 Kla-Tencor Corp. Systems and methods for creating persistent data for a wafer and for using persistent data for inspection-related functions
US8238635B2 (en) 2008-03-21 2012-08-07 General Electric Company Method and system for identifying defects in radiographic image data corresponding to a scanned object
CN102077230A (zh) 2008-04-17 2011-05-25 旅行者保险公司 用于确定和处理物体结构状况信息的方法和系统
US8577820B2 (en) 2011-03-04 2013-11-05 Tokyo Electron Limited Accurate and fast neural network training for library-based critical dimension (CD) metrology
US8664594B1 (en) 2011-04-18 2014-03-04 Kla-Tencor Corporation Electron-optical system for high-speed and high-sensitivity inspections
US8692204B2 (en) 2011-04-26 2014-04-08 Kla-Tencor Corporation Apparatus and methods for electron beam detection
US8761476B2 (en) * 2011-11-09 2014-06-24 The Johns Hopkins University Hyperspectral imaging for detection of skin related conditions
US8716662B1 (en) 2012-07-16 2014-05-06 Kla-Tencor Corporation Methods and apparatus to review defects using scanning electron microscope with multiple electron beam configurations
US9189844B2 (en) * 2012-10-15 2015-11-17 Kla-Tencor Corp. Detecting defects on a wafer using defect-specific information
US9222895B2 (en) 2013-02-25 2015-12-29 Kla-Tencor Corp. Generalized virtual inspector
US9183624B2 (en) * 2013-06-19 2015-11-10 Kla-Tencor Corp. Detecting defects on a wafer with run time use of design data
US9612541B2 (en) * 2013-08-20 2017-04-04 Kla-Tencor Corporation Qualifying patterns for microlithography
US10267746B2 (en) 2014-10-22 2019-04-23 Kla-Tencor Corp. Automated pattern fidelity measurement plan generation
US10483081B2 (en) 2014-10-22 2019-11-19 Kla-Tencor Corp. Self directed metrology and pattern classification
US10650508B2 (en) * 2014-12-03 2020-05-12 Kla-Tencor Corporation Automatic defect classification without sampling and feature selection
US10062543B2 (en) 2015-06-23 2018-08-28 Kla-Tencor Corp. Determining multi-patterning step overlay error
US10416087B2 (en) 2016-01-01 2019-09-17 Kla-Tencor Corporation Systems and methods for defect detection using image reconstruction
US10319076B2 (en) * 2016-06-16 2019-06-11 Facebook, Inc. Producing higher-quality samples of natural images
US10043088B2 (en) * 2016-06-23 2018-08-07 Siemens Healthcare Gmbh Image quality score using a deep generative machine-learning model

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100183217A1 (en) * 2007-04-24 2010-07-22 Seung H Sebastian Method and apparatus for image processing
TW201504749A (zh) * 2013-05-14 2015-02-01 Kla Tencor Corp 用於檢測光罩之機器學習方法及裝置

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
A. Dosovitskiy and T. Brox, "Inverting visual representations with convolutional networks", In Proc. of IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2016, pp. 4829-4837. *
A. Dosovitskiy and T. Brox, "Inverting visual representations with convolutional networks", In Proc. of IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2016, pp. 4829-4837.。https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Dosovitskiy_Inverting_Visual_Representations_CVPR_2016_paper.pdf
https://cv.snu.ac.kr/research/DRCN/DRCN_C.pdf *
https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Dosovitskiy_Inverting_Visual_Representations_CVPR_2016_paper.pdf J. Kim, J. Kwon Lee, K. Mu Lee, "Deeply-recursive convolutional network for image super-resolution", In Proc. of IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2016, pp. 1637-1645. *
J. Kim, J. Kwon Lee, K. Mu Lee, "Deeply-recursive convolutional network for image super-resolution", In Proc. of IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 2016, pp. 1637-1645.。https://cv.snu.ac.kr/research/DRCN/DRCN_CVPR2016.pdf

Also Published As

Publication number Publication date
TW201802726A (zh) 2018-01-16
CN109313724B (zh) 2021-06-29
IL262787A (en) 2018-12-31
EP3465552A1 (en) 2019-04-10
WO2017210455A1 (en) 2017-12-07
EP3465552A4 (en) 2020-01-22
JP6853273B2 (ja) 2021-03-31
IL262787B (en) 2020-09-30
KR102213730B1 (ko) 2021-02-05
US20170351952A1 (en) 2017-12-07
KR20190004000A (ko) 2019-01-10
US10346740B2 (en) 2019-07-09
EP3465552B1 (en) 2023-05-24
CN109313724A (zh) 2019-02-05
JP2019525450A (ja) 2019-09-05

Similar Documents

Publication Publication Date Title
TWI715773B (zh) 針對半導體應用整合神經網路及前向物理模型之系統及方法
CN109074650B (zh) 针对半导体应用从输入图像产生经模拟图像
CN108475350B (zh) 使用基于学习的模型加速半导体缺陷检测的方法和系统
TWI713672B (zh) 為樣品產生模擬輸出之系統，非暫時性電腦可讀媒體及電腦實施方法
TWI742277B (zh) 用於對準以不同模態所獲取之影像之以學習為基礎之方法
TWI734724B (zh) 針對半導體應用由低解析度影像產生高解析度影像之系統、方法及非暫時性電腦可讀媒體
CN108475351B (zh) 用于训练基于机器学习的模型的系统和计算机实施方法
TWI747967B (zh) 用於經組態用於半導體應用之深度學習模型之診斷系統及方法
CN108463874B (zh) 基于图像的样品过程控制
KR20200039808A (ko) 결함 검출 및 분류를 위한 통합된 뉴럴 네트워크