TWI742277B - 用於對準以不同模態所獲取之影像之以學習為基礎之方法 - Google Patents

用於對準以不同模態所獲取之影像之以學習為基礎之方法 Download PDF

Info

Publication number
TWI742277B
TWI742277B TW107115840A TW107115840A TWI742277B TW I742277 B TWI742277 B TW I742277B TW 107115840 A TW107115840 A TW 107115840A TW 107115840 A TW107115840 A TW 107115840A TW I742277 B TWI742277 B TW I742277B
Authority
TW
Taiwan
Prior art keywords
image
mode
sample
learning
different
Prior art date
Application number
TW107115840A
Other languages
English (en)
Other versions
TW201901113A (zh
Inventor
坦惠 哈
史考特 Ａ 楊
摩漢 馬哈迪文
Original Assignee
美商克萊譚克公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商克萊譚克公司 filed Critical 美商克萊譚克公司
Publication of TW201901113A publication Critical patent/TW201901113A/zh
Application granted granted Critical
Publication of TWI742277B publication Critical patent/TWI742277B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G06V10/7515—Shifting the patterns to accommodate for positional errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J37/00—Discharge tubes with provision for introducing objects or material to be exposed to the discharge, e.g. for the purpose of examination or processing thereof
    • H01J37/26—Electron or ion microscopes; Electron or ion diffraction tubes
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/30—Structural arrangements specially adapted for testing or measuring during manufacture or treatment, or specially adapted for reliability measurements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/22—Treatment of data
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01J—ELECTRIC DISCHARGE TUBES OR DISCHARGE LAMPS
    • H01J2237/00—Discharge tubes exposing object to beam, e.g. for analysis treatment, etching, imaging
    • H01J2237/26—Electron or ion microscopes
    • H01J2237/28—Scanning microscopes
    • H01J2237/2801—Details

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Power Engineering (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Geometry (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Architecture (AREA)

Abstract

本發明提供用於對準以不同模態所獲取之一樣品之影像之方法及系統。一種方法包含：獲取一樣品之資訊，該資訊包含該樣品之至少第一影像及第二影像。該第一影像以不同於用於獲取該第二影像之一第二模態之一第一模態獲取。該方法亦包含：將該資訊輸入至一以學習為基礎之模型中。該以學習為基礎之模型包含於由一或多個電腦系統執行之一或多個組件中。該以學習為基礎之模型經組態以變換該等至少第一影像及第二影像之一或多者以藉此將該等至少第一影像及第二影像呈現至一共同空間中。另外，該方法包含：使用該變換之結果來對準該等至少第一影像及第二影像。該方法亦可包含：使用一分類器來產生一對準度量。

Description

用於對準以不同模態所獲取之影像之以學習為基礎之方法
本發明大體上係關於使用一以學習為基礎之方法來對準以不同模態所獲取之影像的方法及系統。
以下描述及實例不因其包含於本章節中而被承認為先前技術。
製造諸如邏輯及記憶體裝置之半導體裝置通常包含：使用大量半導體製程來處理諸如一半導體晶圓之一基板以形成半導體裝置之各種特徵及多個層級。例如，微影係涉及將一圖案自一倍縮光罩轉印至配置於一半導體晶圓上之一光阻劑之一半導體製程。半導體製程之額外實例包含(但不限於)化學機械拋光(CMP)、蝕刻、沈積及離子植入。多個半導體裝置可製造成一單一半導體晶圓上之一配置且接著分成個別半導體裝置。
在一半導體製程期間之各種步驟中使用檢測程序來偵測樣品上之缺陷以促成製程之較高良率且因此促成較高利潤。檢測一直是製造半導體裝置之一重要部分。然而，隨著半導體裝置之尺寸減小，檢測對可接受半導體裝置之成功製造變得愈發重要，因為更小缺陷會引起裝置失效。
缺陷檢視通常涉及：重新偵測由一檢測程序本身偵測之缺陷且使用一高放大率光學系統或一掃描電子顯微鏡(SEM)來以一較高解析度產生關於缺陷之額外資訊。因此，在樣品上之離散位置(其中已藉由檢測來偵測缺陷)處執行缺陷檢視。藉由缺陷檢視所產生之缺陷之較高解析度資料更適合於判定諸如輪廓、粗糙度、更準確大小資訊等等之缺陷屬性。
亦在一半導體製程期間之各種步驟中使用度量程序來監測及控制程序。度量程序與檢測程序之不同之處在於：與其中偵測樣品上之缺陷之檢測程序不同，度量程序用於量測無法使用當前使用之檢測工具來判定之樣品之一或多個特性。例如，度量程序用於量測樣品之一或多個特性(諸如在一程序期間形成於樣品上之特徵之一尺寸(例如線寬、厚度等等))，使得可自一或多個特性判定程序之效能。另外，若樣品之一或多個特性係不可接受的(例如，超出(若干)特性之一預定範圍)，則樣品之一或多個特性之量測可用於更改程序之一或多個參數，使得由程序製造之額外樣品具有(若干)可接受特性。
度量程序與缺陷檢視程序之不同之處亦在於：與其中在缺陷檢視中再訪藉由檢測來偵測之缺陷之缺陷檢視程序不同，度量程序可執行於其中未偵測到缺陷之位置處。換言之，與缺陷檢視不同，其中對樣品執行一度量程序之位置可獨立於對樣品執行之一檢測程序之結果。特定言之，可獨立於檢測結果而選擇其中執行一度量程序之位置。
因此，如上文所描述，可針對一單一樣品產生不同資訊。此資訊可包含樣品之設計資訊(即，形成於樣品上之裝置之一設計之資訊)、由一或多個工具(例如一檢測工具)針對樣品產生之(若干)光學影像、由一或多個工具(例如一缺陷檢視工具)針對樣品產生之(若干)電子束影像等等。有時，可有益地使用不同資訊之一組合來對樣品執行一或多個程序及/或判定樣品之進一步資訊。例如，可有益地使光學及電子束影像對應於一樣品之一設計內之一單一位置以幫助診斷該設計內之該位置中所識別之一問題。
因此，針對一樣品組合使用不同資訊類型需要一資訊類型至另一資訊類型之某一映射。當前，通常可藉由使針對一樣品所產生之不同影像彼此對準(例如，使用影像中及/或樣品上之對準特徵及/或使不同影像對準於一共同參考(例如設計))來執行此映射。然而，歸因於不同類型之資訊之間的差異(例如不同解析度、像素大小、成像方法(諸如光學對電子束)等等)，使一資訊類型對準於另一資訊類型以在不同類型之資訊之間建立一映射會相對較困難且易受對準方法及/或演算法中之誤差及樣品上之雜訊源(例如色彩變動)影響。
當前用於多模態影像配準之方法具有兩個主要方法：探試呈現及接著當前使用之配準方法，諸如正規化交叉相關(NCC)、相互資訊、相位相關等等；及以物理為基礎之呈現。在探試呈現方法中，通常存在探試步驟之一管線以提取兩個影像之手工共同特徵或修改自一模態獲取之一影像以使其看起來像用於配準之另一影像。以物理為基礎之方法通常採用以物理為基礎之模擬模型來將影像自不同模態域變換成用於配準之一共同域。
然而，探試呈現方法及以物理為基礎之方法兩者存在諸多缺點。例如，當前使用之探試呈現方法之缺點來自其探試性。多模態影像配準中之大多數挑戰實質上難以使用探試呈現方法來完全解決。例如，遺漏電腦輔助設計(CAD)層問題、情境相依光學近接校正(OPC)誤差、非均勻性等等難以使用探試方法來解決。隨著設計規則不斷收緊，此等挑戰將變得越來越嚴峻。
再者，當存在諸如一新類型之成像假影、設計模式之新情境、一新類型之近接誤差等等之一新挑戰時，當前使用之探試方法需要開發者使域專用於微調或甚至新增一新演算法來應對新挑戰。此缺點使方法不可靠且對後來演算法支援之開發者產生一巨大負擔。另外，每當出現新挑戰時微調或新增演算法會非所要地助長方法之複雜性，使其難以使用，且嚴重影響處理量。
以物理為基礎之方法依靠成像模擬模型來呈現影像且因此係硬體相依的。每當成像系統之硬體改變時，需要相應地更新或甚至重新導出此等方法之成像模擬模型。通常，導出一成像系統之一模擬模型富有挑戰性。再者，在諸如SEM之諸多系統中，成像模擬模型實質上很複雜及計算量大，其使方法不適合於運行時間使用案例。
除成像模擬模型之外，以物理為基礎之方法亦需要可能無法取得之一些額外模擬模型。例如，在SEM與CAD配準使用案例中，以物理為基礎之方法將需要自後OPC-CAD至晶圓上之實際圖案模擬微影程序以模擬在高解析度SEM影像中實質上很顯著之微影OPC誤差。在大多數情況中，此等模擬模型歸因於機密性而無法公開取得。
當前使用之探試呈現方法通常因其探試性而具有經開發以應對特別針對各成像平台之挑戰之諸多步驟。另一方面，以物理為基礎之方法甚至更平台相依，因為此等方法主要依靠成像模擬模型以及特別針對各成像系統之假定。此缺點限制不同成像平台之間以及不同產品線之間的知識共用益處。
因此，將有利地開發不具有上述一或多個缺點之用於使以不同模態所獲取之一樣品之影像彼此對準之系統及方法。
各種實施例之以下描述絕不應被解釋為限制隨附申請專利範圍之標的。
一實施例係關於一種系統，其經組態以對準以不同模態所獲取之一樣品之影像。該系統包含經組態以獲取一樣品之資訊之一或多個電腦子系統。該資訊包含該樣品之至少第一影像及第二影像。該第一影像以不同於用於獲取該第二影像之一第二模態之一第一模態獲取。該系統亦包含由該一或多個電腦子系統執行之一或多個組件。該一或多個組件包含一以學習為基礎之模型。該一或多個電腦子系統經組態以將該樣品之該資訊輸入至該以學習為基礎之模型中。該以學習為基礎之模型經組態以變換該等至少第一影像及第二影像之一或多者以藉此將該等至少第一影像及第二影像呈現至一共同空間中。該一或多個組件經組態以使用該變換之結果來對準該等至少第一影像及第二影像。該系統可如本文所描述般進一步組態。
另一實施例係關於一種用於對準以不同模態所獲取之一樣品之影像之電腦實施方法。該方法包含：獲取一樣品之資訊，該資訊包含該樣品之至少第一影像及第二影像。該第一影像以不同於用於獲取該第二影像之一第二模態之一第一模態獲取。該方法亦包含：將該樣品之該資訊輸入至一以學習為基礎之模型中。該以學習為基礎之模型包含於由一或多個電腦系統執行之一或多個組件中。該以學習為基礎之模型經組態以變換該等至少第一影像及第二影像之一或多者以藉此將該等至少第一影像及第二影像呈現至一共同空間中。另外，該方法包含：使用該變換之結果來對準該等至少第一影像及第二影像。
上述方法之各步驟可如本文所進一步描述般進一步執行。另外，上述方法之實施例可包含本文所描述之任何其他(若干)方法之任何其他(若干)步驟。此外，上述方法可由本文所描述之系統之任何者執行。
另一實施例係關於一種非暫時性電腦可讀媒體，其儲存可一或多個電腦系統上執行之程式指令，該等程式指令用於執行用於對準以不同模態所獲取之一樣品之影像之一電腦實施方法。該電腦實施方法包含上述方法之步驟。該電腦可讀媒體可如本文所描述般進一步組態。該電腦實施方法之步驟可如本文所進一步描述般執行。另外，該等程式指令可執行之該電腦實施方法可包含本文所描述之任何其他(若干)方法之任何其他(若干)步驟。
可本文中互換使用之術語「設計」、「設計資料」及「設計資訊」大體上係指一IC之實體設計(佈局)及透過複雜模擬或簡單幾何及布林(Boolean)運算自實體設計導出之資料。另外，由一倍縮光罩檢測系統及/或其衍生物獲取之一倍縮光罩之一影像可用作為設計之一或若干「代理」。此一倍縮光罩影像或其衍生物可充當使用一設計之本文所描述之任何實施例中之設計佈局之一替代物。設計可包含以下專利中所描述之任何其他設計資料或設計資料代理：Zafar等人於2009年8月4日發佈之共同擁有之美國專利第7,570,796號及Kulkarni等人於2010年3月9日發佈之共同擁有之美國專利第7,676,077號，該兩個專利以宛如全文闡述引用的方式併入本文中。另外，設計資料可為標準單元庫資料、整合式佈局資料、一或多個層之設計資料、設計資料之衍生物及全部或部分晶片設計資料。
另外，本文所描述之「設計」、「設計資料」及「設計資訊」係指由半導體裝置設計者在一設計程序中產生之資訊及資料且因此完全可在將設計印刷於諸如倍縮光罩及晶圓之任何實體樣品上之前用於本文所描述之實施例中。
現轉至圖式，應注意，圖未按比例繪製。特定言之，圖之一些元件之尺度經明顯放大以突顯元件之特性。亦應注意，圖未按相同比例繪製。已使用相同元件符號來指示可經類似組態之一個以上圖中所展示之元件。除非本文另有說明，否則所描述及展示之任何元件可包含任何適合市售元件。
一般而言，本文所描述之實施例組態為實質上準確對準不同模態中之影像之以學習為基礎之穩健方法，其可具有不同長度尺度、頻率擴展、不同結構及大變形之某一組合。一實施例係關於一系統，其經組態以對準以不同模態所獲取之一樣品之影像。圖1中展示一此實施例。系統可包含光學工具10，在本文中亦指稱一「光學成像系統」。一般而言，光學工具經組態以藉由將光導引至一樣品(或使光掃描樣品)且自樣品偵測光來產生樣品之光學影像。在一實施例中，樣品包含一晶圓。晶圓可包含本技術中已知之任何晶圓。在另一實施例中，樣品包含一倍縮光罩。倍縮光罩可包含本技術中已知之任何倍縮光罩。
在圖1所展示之系統之實施例中，光學工具10包含經組態以將光導引至樣品14之一照明子系統。照明子系統包含至少一光源。例如，如圖1中所展示，照明子系統包含光源16。在一實施例中，照明子系統經組態以依可包含一或多個傾斜角及/或一或多個法線角之一或多個入射角將光導引至樣品。例如，如圖1中所展示，依一傾斜入射角導引來自光源16之光穿過光學元件18及接著透鏡20而至樣品14。傾斜入射角可包含可取決於(例如)樣品之特性而變動之任何適合傾斜入射角。
光學工具可經組態以在不同時間依不同入射角將光導引至樣品。例如，光學工具可經組態以更改照明子系統之一或多個元件之一或多個特性，使得光可依不同於圖1中所展示之入射角的一入射角導引至樣品。在一此實例中，光學工具可經組態以移動光源16、光學元件18及透鏡20，使得光依一不同傾斜入射角或一法線(或近法線)入射角導引至樣品。
在一些例項中，光學工具可經組態以同時依一個以上入射角將光導引至樣品。例如，照明子系統可包含一個以上照明通道，一照明通道可包含光源16、光學元件18及透鏡20 (如圖1中所展示)且另一照明通道(圖中未展示)可包含可經不同或相同組態之類似元件或可包含至少一光源及諸如本文所進一步描述之一或多個其他可能組件。若此光與另一光同時導引至樣品，則依不同入射角導引至樣品之光之一或多個特性(例如波長、偏振等等)可不同，使得由依不同入射角照射樣品所致之光可在(若干)偵測器處彼此區別。
在另一例項中，照明子系統可僅包含一個光源(例如圖1中所展示之光源16)且來自光源之光可由照明子系統之一或多個光學元件(圖中未展示)分成不同光學路徑(例如，基於波長、偏振等等)。接著，不同光學路徑之各者中之光可導引至樣品。多個照明通道可經組態以同時或在不同時間(例如，當不同照明通道用於依序照射樣品時)將光導引至樣品。在另一例項中，相同照明通道可經組態以在不同時間將具有不同特性之光導引至樣品。例如，在一些例項中，光學元件18可組態為一光譜濾波器且光譜濾波器之性質可依各種不同方式改變(例如，藉由調換光譜濾波器)，使得不同波長之光可在不同時間導引至樣品。照明子系統可具有本技術中已知之任何其他適合組態，其用於依序或同時依不同或相同入射角將具有不同或相同特性之光導引至樣品。
在一實施例中，光源16可包含一寬頻電漿(BBP)光源。依此方式，由光源產生且導引至樣品之光可包含寬頻光。然而，光源可包含諸如一雷射之任何其他適合光源。雷射可包含本技術中已知之任何適合雷射且可經組態以依本技術中已知之一或若干任何適合波長產生光。另外，雷射可經組態以產生單色或近單色光。依此方式，雷射可為一窄頻雷射。光源亦可包含依多個離散波長或波帶產生光之一多色光源。
來自光學元件18之光可由透鏡20聚焦至樣品14上。儘管透鏡20在圖1中展示為一單一折射光學元件，但應瞭解，透鏡20實際上可包含將光自光學元件聚焦至樣品之若干折射及/或反射光學元件之組合。圖1中所展示及本文所描述之照明子系統可包含任何其他適合光學元件(圖中未展示)。此等光學元件之實例包含(但不限於)(若干)偏振組件、(若干)光譜濾波器、(若干)空間濾波器、(若干)反射光學元件、(若干)變跡器、(若干)分光器、(若干)孔隙及其類似者，其等可包含本技術中已知之任何此等適合光學元件。另外，光學工具可經組態以基於待用於產生光學影像之照明之類型來更改照明子系統之一或多個元件。
光學工具亦可包含經組態以引起光掃描樣品之一掃描子系統。例如，光學工具可包含在光學成像期間將樣品14安置於其上之載台22。掃描子系統可包含可經組態以移動樣品使得光可掃描樣品之任何適合機械及/或機器人總成(其包含載台22)。另外或替代地，光學工具可經組態使得光學工具之一或多個光學元件執行光對樣品之一些掃描。光可依任何適合方式(諸如，沿一類蛇形路徑或一螺旋路徑)掃描樣品。
光學工具進一步包含一或多個偵測通道。一或多個偵測通道之至少一者包含一偵測器，其經組態以歸因於由工具照射樣品而自樣品偵測光且回應於偵測光而產生輸出。例如，圖1中所展示之光學工具包含兩個偵測通道：一偵測通道由集光器24、元件26及偵測器28形成且另一偵測通道由集光器30、元件32及偵測器34形成。如圖1中所展示，兩個偵測通道經組態以依不同集光角收集及偵測光。在一些例項中，兩個偵測通道經組態以偵測散射光，且偵測通道經組態以偵測自樣品依不同角度散射之光。然而，偵測通道之一或多者可經組態以自樣品偵測另一類型之光(例如反射光)。
如圖1中所進一步展示，兩個偵測通道展示為定位於紙面中且照明子系統亦展示為定位於紙面中。因此，在此實施例中，兩個偵測通道定位於入射面中(例如，置於入射面之中心)。然而，偵測通道之一或多者可定位於入射面外。例如，由集光器30、元件32及偵測器34形成之偵測通道可經組態以收集及偵測自入射面散射出之光。因此，此一偵測通道通常可指稱一「側」通道，且此一側通道可置於實質上垂直於入射面之一平面之中心。
儘管圖1展示包含兩個偵測通道之光學工具之一實施例，但光學工具可包含不同數目個偵測通道(例如僅一個偵測通道或兩個或兩個以上偵測通道)。在一此例項中，由集光器30、元件32及偵測器34形成之偵測通道可形成上文所描述之一側通道，且光學工具可包含形成為定位於入射面之對置側上之另一側通道之一額外偵測通道(圖中未展示)。因此，光學工具可包含偵測通道，其包含集光器24、元件26及偵測器28且置於入射面之中心且經組態以收集及偵測具有正交於或幾乎正交於樣品表面之(若干)散射角之光。因此，此偵測通道通常可指稱一「頂部」通道，且光學工具亦可包含如上文所描述般組態之兩個或兩個以上側通道。因而，光學工具可包含至少三個通道(即，一個頂部通道及兩個側通道)，且至少三個通道之各者自身具有集光器，各集光器經組態以收集具有不同於其他各集光器之散射角之光。
如上文所進一步描述，包含於光學工具中之各偵測通道可經組態以偵測散射光。因此，圖1中所展示之光學工具可經組態以用於樣品之暗場(DF)成像。然而，光學工具亦可或替代地包含經組態以用於樣品之明場(BF)成像之(若干)偵測通道。換言之，光學工具可包含經組態以偵測自樣品鏡面反射之光之至少一偵測通道。因此，本文所描述之光學工具可經組態以僅用於DF成像、僅用於BF成像或用於DF及BF兩者成像。儘管各集光器在圖1中展示為單一折射光學元件，但應瞭解，各集光器可包含一或多個折射光學元件及/或一或多個反射光學元件。
一或多個偵測通道可包含本技術中已知之任何適合偵測器。例如，偵測器可包含光電倍增管(PMT)、電荷耦合裝置(CCD)、時間延遲積分(TDI)攝影機及本技術中已知之任何其他適合偵測器。偵測器亦可包含非成像偵測器或成像偵測器。依此方式，若偵測器係非成像偵測器，則各偵測器可經組態以偵測散射光之某些特性(諸如強度)，但無法經組態以偵測依據成像面內之位置而變化之特性。因而，由包含於光學工具之各偵測通道中之各偵測器產生之輸出可為信號或資料，但並非影像信號或影像資料。在此等例項中，諸如電腦子系統36之一電腦子系統可經組態以自偵測器之非成像輸出產生樣品之影像。然而，在其他例項中，偵測器可組態為經組態以產生成像信號或影像資料之成像偵測器。因此，光學工具可經組態以依諸多方式產生本文所描述之光學影像。
應注意，本文中提供圖1來大體上繪示可包含於本文所描述之系統實施例中或可產生由本文所描述之實施例使用之光學影像之一光學工具之一組態。顯然，本文所描述之光學工具組態可經更改以最佳化在設計一商用光學工具時通常執行之光學工具之效能。另外，可使用一既有系統(諸如購自KLA-Tencor, Milpitas, Calif之29xx/39xx及Puma 9xxx系列工具)來實施本文所描述之系統(例如，藉由將本文所描述之功能加入至一既有系統)。針對一些此等系統，可提供本文所描述之實施例作為系統之選用功能(例如，除系統之其他功能之外)。替代地，本文所描述之光學工具可「從頭開始」設計以提供一全新光學工具。
耦合至光學工具之電腦子系統36可依任何適合方式(例如，經由一或多個傳輸介質，其可包含「有線」及/或「無線」傳輸介質)耦合至光學工具之偵測器，使得電腦子系統可接收由偵測器針對樣品產生之輸出。電腦子系統36可經組態以使用偵測器之輸出來執行本文所進一步描述之若干功能。
圖1中所展示之電腦子系統(以及本文所描述之其他電腦子系統)在本文中亦可指稱(若干)電腦系統。本文所描述之(若干)電腦子系統或系統之各者可呈各種形式，其包含個人電腦系統、影像電腦、主機電腦系統、工作站、網路設備、網際網路設備或其他裝置。一般而言，術語「電腦系統」可經廣義界定以涵蓋具有執行來自一記憶體媒體之指令之一或多個處理器之任何裝置。(若干)電腦子系統或系統亦可包含本技術中已知之任何適合處理器，諸如一並行處理器。另外，(若干)電腦子系統或系統可包含具有高速處理及軟體之一電腦平台作為一獨立或網路工具。
若系統包含一個以上電腦子系統，則不同電腦子系統可彼此耦合，使得影像、資料、資訊、指令等等可如本文所進一步描述般發送於電腦子系統之間。例如，電腦子系統36可藉由可包含本技術中已知之任何適合有線及/或無線傳輸介質之任何適合傳輸介質來耦合至(若干)電腦子系統102，如由圖1中之虛線所展示。此等電腦子系統之兩者或兩者以上亦可藉由一共用電腦可讀儲存媒體(圖中未展示)來有效耦合。
系統亦可包含一電子束工具(在本文中亦指稱「一電子束成像系統」)，其經組態以藉由將電子導引至樣品(或使電子掃描樣品)且自樣品偵測電子來產生樣品之電子束影像。在圖1所展示之一此實施例中，電子束工具包含可耦合至電腦子系統124之電子柱122。
亦如圖1中所展示，電子柱包含電子束源126，其經組態以產生由一或多個元件130聚焦至樣品128之電子。電子束源可包含(例如)一陰極源或射極尖端，且一或多個元件130可包含(例如)一槍透鏡、一陽極、一射束限制孔隙、一閘閥、一射束電流選擇孔隙、一物鏡及一掃描子系統，其等所有可包含本技術中已知之任何此等適合元件。
自樣品回射之電子(例如二次電子)可由一或多個元件132聚焦至偵測器134。一或多個元件132可包含(例如)一掃描子系統，其可為包含於(若干)元件130中之相同掃描子系統。
電子柱可包含本技術中已知之任何其他適合元件。另外，電子柱可如以下專利中所描述般進一步組態：Jiang等人於2014年4月4日發佈之美國專利第8,664,594號、Kojima等人於2014年4月8日發佈之美國專利第8,692,204號、Gubbens等人於2014年4月15日發佈之美國專利第8,698,093號及MacDonald等人於2014年5月6日發佈之美國專利第8,716,662號，該等專利以宛如全文闡述引用的方式併入本文中。
儘管電子柱在圖1中展示為經組態使得電子依一傾斜入射角導引至樣品且依另一傾斜角自樣品散射，但應瞭解，電子束可依任何適合角度導引至樣品及自樣品散射。另外，電子束工具可經組態以使用多個模式來如本文所進一步描述般產生樣品之電子束影像(例如，具有不同照射角、集光角等等)。電子束工具之多個模式可使電子束工具具有任何不同成像參數。
電腦子系統124可耦合至偵測器134，如上文所描述。偵測器可偵測自樣品之表面回射之電子，藉此形成樣品之電子束輸出及/或影像。電子束輸出及/或影像可包含任何適合電子束輸出及/或影像。電腦子系統124可經組態以使用由偵測器134產生之輸出來執行本文針對樣品所進一步描述之一或多個功能。電腦子系統124可經組態以執行本文所描述之(若干)任何額外步驟。
應注意，本文中提供圖1來大體上繪示可包含於本文所描述之實施例中之一電子束工具之一組態。如同上述光學工具，本文所描述之電子束工具組態可經更改以最佳化在設計一商用電子束工具時通常執行之電子束工具之效能。另外，可使用一既有系統(諸如購自KLA-Tencor之eSxxx及eDR-xxxx系列工具)來實施本文所描述之系統(例如，藉由將本文所描述之功能加入至一既有系統)。針對一些此等系統，可提供本文所描述之實施例作為系統之選用功能(例如，除系統之其他功能之外)。替代地，本文所描述之系統可「從頭開始」設計以提供一全新系統。
在本文所描述之實施例中，光學工具及電子束工具可或可不依各種不同方式彼此耦合。例如，在一實施例中，光學工具及電子束工具僅經由一或多個電腦子系統來彼此耦合。在一此實例中，如圖1中所展示，光學工具10可僅經由電腦子系統36、(若干)電腦子系統102及電腦子系統124來耦合至電子束工具之電子柱122。因此，(若干)電腦子系統102可為光學工具及電子束工具所共有。依此方式，除可由(若干)電腦子系統102及/或(若干)虛擬系統108促成之資料共用之外，電子束工具及光學工具可無需彼此直接連接。因而，除資料共用之外，電子束工具及光學工具可不彼此直接連接。
在另一實施例中，光學工具及電子束工具僅經由一或多個電腦子系統及一共同樣品處置子系統來彼此耦合。例如，以光學及電子束為基礎之工具可如上文所描述般由(若干)電腦子系統耦合。另外，光學工具及電子束工具可共用共同樣品處置系統136及樣品之卡匣140可安置於其中之可能負載模組138。依此方式，樣品可裝入為光學工具及電子束工具所共有之一負載模組中，其中樣品可佈置至一光學工具或一電子束工具(或兩者)。樣品亦可實質上快速移動於電子束工具與光學工具之間。
然而，一般而言，光學工具可藉由一共同外殼(圖中未展示)、共同樣品處置系統136、一共同電源(圖中未展示)、(若干)電腦子系統102或其等之某一組合來耦合至電子束工具。共同外殼可具有本技術中已知之任何適合組態。例如，一外殼可經組態以容納光學工具以及電子束工具。依此方式，光學工具及電子束工具可組態為一單一單元或工具。共同樣品處置系統可包含本技術中已知之任何適合機械及/或機器人總成。共同樣品處置系統可經組態以依使得一樣品可自光學工具直接移動至電子束工具中(或反之亦然)且不必在程序之間將樣品放回至其卡匣或其他容器之一方式使樣品移動於光學工具與電子束工具之間。共同電源可包含本技術中已知之任何適合電源。
系統可組態為可各經組態以執行不同程序之模組(或子系統)之一叢集。負載模組可經組態以支撐將在系統中被處理之多個樣品，諸如晶圓之卡匣140。機器人樣品處置系統136可經組態以在量測及/或檢測之前自負載模組移除一樣品且將一經處理樣品安置至負載模組中。依此方式，共同樣品處置系統136、一載台(圖中未展示)或另一適合機械裝置可經組態以將一樣品移動至光學工具及電子束工具及自光學工具及電子束工具移動一樣品。
本文所描述之系統亦可包含經組態以產生樣品之其他輸出之一或多個額外工具(圖中未展示)，諸如一以離子束為基礎之工具。除電子束源可由本技術中已知之任何適合離子束源替換之外，此一工具可如圖1中相對於電子束工具所展示般組態。另外，工具可為任何其他適合離子束工具，諸如包含於市售聚焦離子束(FIB)系統、氦離子顯微鏡(HIM)系統及二次離子質譜(SIMS)系統中之離子束工具。
系統包含一或多個電腦子系統(例如圖1中所展示之(若干)電腦子系統102)，其可經組態以接收針對樣品所產生之光學及電子束影像。例如，如圖1中所展示，(若干)電腦子系統102可耦合至電腦子系統36及電腦子系統124，使得(若干)電腦子系統102可接收由偵測器28及34產生之光學影像或輸出及由偵測器134產生之電子束影像或輸出。儘管(若干)電腦子系統可自耦合至光學工具及電子束工具之其他電腦子系統接收光學影像或輸出及電子束影像或輸出，但(若干)電腦子系統可經組態以直接自產生影像或輸出之偵測器接收光學及電子束影像或輸出(例如，若(若干)電腦子系統102直接耦合至圖1中所展示之偵測器)。
如上文所提及，光學工具及電子束工具可經組態以將能量(例如光、電子)導引至樣品之一實體型式及/或使能量掃描樣品之一實體型式，藉此產生樣品之實體型式之實際(即，非模擬)輸出及/或影像。依此方式，光學工具及電子束工具可組態為「實際」工具而非「虛擬」工具。然而，圖1中所展示之(若干)電腦子系統102可包含一或多個「虛擬」系統108，其經組態以使用針對樣品所產生之至少一些實際光學影像及/或實際電子束影像來執行一或多個功能，該等功能可包含本文所進一步描述之一或多個功能之任何者。
一或多個虛擬系統無法使樣品安置於其內。特定言之，(若干)虛擬系統不是光學工具10或電子束工具122之部分且完全沒有處置樣品之實體型式之能力。換言之，在組態為一虛擬系統之一系統中，其一或多個「偵測器」之輸出可為先前由一實際工具之一或多個偵測器產生且儲存於虛擬系統中之輸出，且在「成像及/或掃描」期間，虛擬系統可重放所儲存之輸出，宛如樣品被成像及/或掃描。依此方式，使用一虛擬系統來成像及/或掃描樣品可似乎相同於使用一實際系統來成像及/或掃描一實體樣品，但實際上，「成像及/或掃描」僅涉及依相同於可成像及/或掃描樣品之方式的方式重放樣品之輸出。
以下專利中描述組態為「虛擬」檢測系統之系統及方法：Bhaskar等人於2012年2月28日發佈之共同讓與之美國專利第8,126,255號及Duffy等人於2015年12月29日發佈之共同讓與之美國專利第9,222,895號，該兩個專利以宛如全文闡述引用的方式併入本文中。本文所描述之實施例可如此等專利中所描述般進一步組態。例如，本文所描述之一或多個電腦子系統可如此等專利中所描述般進一步組態。
如上文進一步所提及，光學工具可經組態以使用多個模式或「不同模態」來產生樣品之輸出。依此方式，在一些實施例中，光學影像包含由光學工具使用光學工具之一參數之兩個或兩個以上不同值來產生之影像。一般而言，光學工具之一「模式」或「模態」(該等術語在本文中可互換使用)可由用於產生一樣品之輸出及/或影像之光學工具之參數之值界定。因此，不同模式可具有工具之光學參數之至少一者之不同值。例如，在一光學工具之一實施例中，多個模式之至少一者使用不同於用於多個模式之至少另一者之照明光之至少一波長的照明光之至少一波長。模式可具有用於不同模式之不同照明波長，如本文所進一步描述(例如，藉由使用不同光源、不同光譜濾波器等等)。在另一實施例中，多個模式之至少一者使用不同於用於多個模式之至少另一者之光學工具之一照明通道的光學工具之一照明通道。例如，如上文所提及，光學工具可包含一個以上照明通道。因而，不同照明通道可用於不同模式。
依一類似方式，電子束影像可包含由電子束工具使用電子束工具之一參數之兩個或兩個以上不同值來產生之影像。例如，電子束工具可經組態以使用多個模式或「不同模態」來產生樣品之輸出。電子束工具之多個模式或不同模態可由用於產生一樣品之輸出及/或影像之電子束工具之參數之值界定。因此，不同模式可具有工具之電子束參數之至少一者之不同值。例如，在一電子束工具之一實施例中，多個模式之至少一者使用不同於用於多個模式之至少另一者之照明之至少一入射角的用於照明之至少一入射角。
本文所描述之光學工具及電子束工具可組態為檢測工具。另外或替代地，本文所描述之光學工具及電子束工具可組態為缺陷檢視工具。此外，本文所描述之光學工具及電子束工具可組態為度量工具。特定言之，本文所描述及圖1中所展示之光學工具及電子束工具之實施例可修改一或多個參數以取決於將使用該等參數之應用而提供不同成像能力。在一此實例中，圖1中所展示之光學工具可經組態以在其用於缺陷檢視或度量而非檢測時具有一較高解析度。換言之，圖1中所展示之光學工具及電子束工具之實施例描述光學工具及電子束工具之一些通用及各種組態，其可依熟習技術者明白之諸多方式調適以產生具有幾乎適合於不同應用之不同成像能力之成像工具。
在一些實施例中，(若干)電腦子系統經組態以接收由另一系統產生之樣品之資訊，(若干)電腦子系統或一或多個虛擬系統經組態以儲存資訊，且可基於所儲存之資訊與本文所描述之其他資訊之組合來執行本文所描述之一或多個功能。例如，如圖1中所展示，(若干)電腦子系統102可耦合至其他系統110，使得(若干)電腦子系統可自其他系統接收資訊。其他系統可包含各種其他系統，諸如一電子設計自動化(EDA)工具、另一電腦系統(其可經組態以用於各種不同能力)、另一成像系統、另一品質控制型系統等等。樣品之資訊可包含樣品之各種資訊，諸如與樣品之設計相關之資訊、藉由對樣品或相同或不同類型之另一樣品執行之一或多個檢測、量測或其他品質控制程序所產生之影像、針對樣品所產生之模擬結果、自另一源針對樣品所產生之資訊等等。依此方式，本文所描述之實施例可存取及獲取可用於本文所描述之若干不同步驟中之各種資訊。
在一些此等實例中，其他系統可包含一EDA工具。依此方式，本文所描述之實施例可具有使用EDA電腦輔助設計(CAD)工具所產生之運用資料之一新增維度。EDA工具可包含任何適合市售EDA工具。
包含於系統中之一或多個電腦子系統(例如圖1中所展示之(若干)電腦子系統36、102及124)經組態以獲取一樣品之資訊。樣品之資訊包含樣品之至少第一影像及第二影像。就實際影像而言，電腦子系統可經組態以藉由使用本文所描述之一或多個工具將能量(例如光或電子)導引至一樣品且自樣品偵測能量(例如光或電子)來獲取實際影像。因此，獲取實際影像可包含使用樣品之一實體型式及某種成像硬體來產生影像。然而，獲取實際影像可包含自其中已藉由一實際成像系統(例如光學工具10)來儲存實際影像之一儲存媒體(其包含本文所描述之儲存媒體之任何者)獲取實際影像。另外，就設計資料而言，(若干)電腦子系統可自一儲存媒體或另一系統(例如系統110)獲取設計資料或可自身產生設計資料，藉此獲取設計資料。
以不同於用於獲取第二影像之一第二模態之一第一模態獲取第一影像。第一模態及第二模態可包含本文所進一步描述之各種不同模態。可針對此等不同模態執行本文所描述之實施例，因為實施例係資料驅動的，而非以物理模擬為基礎及/或探試性的。特定言之，取決於實施例將用於之不同模態，對應於該等模態之資料可如本文所描述般用於訓練實施例，使得實施例學習不同模態之間的變換，藉此呈現適合於不同模態之實施例。因而，本文所描述之實施例提供相較於當前用於對準來自不同模態之影像之方法之顯著靈活性。
不同模態具有至少一成像系統之至少一不同成像參數。在一實施例中，第一模態及第二模態產生具有不同像素大小之第一影像及第二影像。例如，可歸因於模態之差異而獲取具有不同尺度及解析度之第一影像及第二影像。依此方式，可產生具有不同像素大小之第一影像及第二影像。在另一實施例中，第一模態及第二模態產生具有不同頻率擴展之第一影像及第二影像。例如，可獲取具有射束之不同波長範圍(或頻率擴展，因為波長及頻率係緊密相關的)之第一影像及第二影像。在一此實例中，依不同頻率擷取使用一光學成像系統所擷取之一影像及使用一電子束成像系統所擷取之一影像。
在一額外實施例中，第一模態及第二模態產生具有形成於樣品上之圖案化特徵之不同失真之第一影像及第二影像。例如，第一影像及第二影像中之圖案化特徵可經不同失真，且就CAD與掃描電子顯微術(SEM)對準而言，一些CAD層可自CAD層與其對準之SEM影像遺漏。在另一實例中，一CAD影像可實質上少有圖案化特徵失真，而一SEM影像可具有更多圖案化特徵失真，且一光學影像可具有最多圖案化特徵失真。然而，相同圖案化特徵之不同影像之失真量之間的差異亦可自上述失真變動。依此方式，本文所描述之實施例提供一以學習為基礎之穩健方法以跨不同長度尺度、頻率擴展、不同結構及大變形來準確對準影像。
在一些實施例中，第一模態及第二模態係相同成像系統之不同模態。例如，第一模態及第二模態可為可如本文所進一步描述般組態之一光學成像系統之不同模態。在另一實例中，第一模態及第二模態可為可如本文所描述般組態之一電子束成像系統之不同模態。依此方式，第一模態及第二模態可具有相同成像系統之一或多個不同參數。在另一實施例中，第一模態及第二模態係相同類型之成像系統之不同模態。例如，第一模態及第二模態可為不同光學成像系統之不同模態，該等不同光學成像系統因其等係光學系統而為相同類型。在一此實例中，第一模態可為一低解析度光學成像系統之一模態，而第二模態可為一高解析度光學成像系統之一模態。在一額外實例中，第一模態可為一光學檢測系統之一模態，而第二模態可為一光學度量系統之一模態。在另一實例中，第一模態可為一第一光學成像系統之一模態，而第二模態可為具有相同於第一光學成像系統之製造及模型之一第二光學成像系統之一模態。此等第一模態及第二模態亦可適用於本文所描述之其他類型之成像系統。在另一實施例中，第一模態及第二模態係不同類型之成像系統之模態。例如，第一模態可為一光學成像系統之一模態，而第二模態可為一電子束成像系統之一模態。此等第一模態及第二模態亦可適用於本文所描述之其他成像系統。
在一實施例中，第一模態包含掃描電子顯微術(SEM)，而第二模態包含電腦輔助設計(CAD)。此等模態可如本文所描述般進一步組態。在SEM作為一模態之情況中，該術語在本文中界定為本文所描述之電子束成像系統之任何者之任何模式或模態。在CAD作為一模態之情況中，該術語在本文中用於大體上係指表示設計資料空間中之一樣品之設計資料之任何影像。換言之，就模態而言，本文所使用之該術語CAD係指一影像，其中一裝置之一設計中之該裝置之特徵在至少兩個維度上表示為設計資料空間中之多邊形。因此，一CAD影像可以各種不同檔案格式儲存且可依各種不同方式產生。只要CAD模態以設計資料空間(與(例如)樣品空間相對)中之影像格式表示設計資料，則實際檔案格式及產生方法對本文所描述之實施例而言不重要。
在另一實施例中，第一模態包含寬頻光學成像，而第二模態包含SEM。作為一模態之寬頻光學成像大體上係指使用寬頻(BB)光源來執行之任何光學成像，諸如由本文所描述之一BBP光源產生之光學成像。在另一實施例中，第一模態包含寬頻光學成像，而第二模態包含CAD。在一額外實施例中，第一模態包含雷射掃描(LS)光學成像，而第二模態包含寬頻光學成像。LS光學成像可由本文所描述之光學成像系統執行，其中由一雷射光源產生之光掃描一樣品以藉此產生樣品之影像。在一些實施例中，第一模態包含LS光學成像，而第二模態包含CAD。在其他實施例中，第一模態包含低解析度光學成像，而第二模態包含CAD。本文所描述之「低解析度光學成像」大體上係指使用低於可藉由以BBP為基礎之光學成像或其他市售相對較高解析度光學成像系統達成之解析度之一解析度來執行之光學成像。
因此，本文所描述之實施例提供一通用及穩健解決方案來達成一極高成功率及跨模式、像素大小、CAD及平台來配準影像之高易用性。此實現半導體產業之新應用，其跨多個模態使用資料及影像以解決富有挑戰性之問題。不同模態之實例係如上文所描述且包含SEM與CAD、BB光學成像與SEM、BB光學與CAD、LS與BB光學、LS與CAD、低解析度光學與CAD等等。儘管本文相對於SEM及CAD配準之富有挑戰性使用案例來描述一些實施例，但本文所描述之實施例亦提供針對本文所描述之所有其他不同模態之有效解決方案。
系統包含由一或多個電腦子系統(例如(若干)電腦子系統102)執行之一或多個組件100。一或多個組件可由一或多個電腦子系統依任何適合方式執行。
由(若干)電腦子系統(例如電腦子系統36及/或(若干)電腦子系統102)執行之(若干)組件(例如圖1中所展示之(若干)組件100)包含以學習為基礎之模型104。一或多個電腦子系統經組態以將樣品之資訊輸入至以學習為基礎之模型中。(若干)電腦子系統可經組態以依任何適合方式將樣品之資訊輸入至以學習為基礎之模型中。以學習為基礎之模型可包含本文所描述之以學習為基礎之不同模型之一或多者。
以學習為基礎之模型經組態以變換至少第一影像及第二影像之一或多者以藉此將至少第一影像及第二影像呈現至一共同空間中。在一實施例中，共同空間係一影像空間。在另一實施例中，共同空間係一特徵空間。依此方式，本文所描述之實施例提供以訓練為基礎之方法(如本文所進一步描述)來將自不同模態獲取之資料及/或影像引入至相同空間(影像空間或特徵空間)中以進行對準或「配準」(術語「對準」及「配準」在本文中可互換使用)。換言之，一或多個組件提供一模組，其使用(若干)深度學習技術以藉由將此等影像之一或多者變換為一單一成像模態之一共同空間(影像空間或深度特徵空間)來穩健地解決多模態影像配準問題。特定言之，由不同模態產生之影像之大多數差異(尤其是光學近接效應)總是依循一些規則。因此，若一演算法可「學習」此等規則，則其將能夠設法反轉此等規則以消除以不同模態(例如SEM及CAD)所獲取之影像之間的大多數差異且因此使對準任務變得容易很多。
儘管本文相對於SEM與CAD配準問題來描述一些實施例，但作為一全資料驅動方法，實施例可應用於多模態資料及/或影像配準之任何其他使用案例。例如，本文所描述之實施例推廣至諸如SEM與CAD、寬頻光學成像與SEM、寬頻光學成像與CAD、LS與寬頻光學成像、LS與CAD、低解析度光學成像與CAD等等之應用。
一般而言，本文所描述之實施例使用具通用性且可應用於任何成像模式、成像工具及樣品之一以學習為基礎之方法。然而，就一資料驅動方法而言，當其應用於特定成像模式時，資料可自此等成像模式收集且可使用此資料來訓練以學習為基礎之模型。然而，在大多數情況中，以學習為基礎之模型無需從頭開始訓練。相反地，模型已完成之學習可自不同成像模式遷移以加速訓練程序。在機器學習文獻中，此通常指稱微調或遷移學習。
圖2展示用於執行以學習為基礎之多模態影像配準之本文所描述之實施例之一概況。在此實施例中，SEM影像200 (由一第一模態產生之一第一影像)及CAD 202 (由一第二模態產生之一第二影像)輸入至以學習為基礎之對準204，以學習為基礎之對準204可由本文所描述之一或多個電腦子系統如本文所進一步描述般執行。以學習為基礎之對準204可包含執行至少第一影像及第二影像之一或多者之一變換以藉此將至少第一影像及第二影像呈現至一共同空間中，其可由本文所描述之一以學習為基礎之模型如本文所進一步描述般執行。另外，以學習為基礎之對準204包含使至少第一影像及第二影像在其等呈現至共同空間中之後彼此對準，其可根據本文所描述之實施例之任何者來執行。
以學習為基礎之對準204產生對準結果206，對準結果206可包含本文所描述之對準結果之任何者。由以學習為基礎之對準204產生之對準結果可輸出為圖2中所展示之輸出1對準結果208。此等對準結果可包含本技術中已知之任何適合對準結果，諸如對準偏移、平移偏移之一組合、尺度、旋轉角、斜度等等。
由以學習為基礎之對準連同SEM影像200及CAD 202產生之對準結果可輸入至裁剪及產生重疊彩色影像步驟210，步驟210可如本文所進一步描述般執行。步驟210可產生彩色重疊影像212，其可如本文所進一步描述般組態。
彩色重疊影像212可輸入至分類器214，分類器214可經組態以基於彩色重疊影像212來將對準結果分類成一對準類或一未對準類。例如，分類器可基於彩色重疊影像來產生一以深度學習為基礎之對準度量。在另一實例中，GoogLeNet (本技術中已知之一功能非常強大之分類架構)可用於分類任務。可使用兩種類別來訓練GoogLeNet：類別1可意謂對準來自不同模態之裁剪影像，而類別2可意謂不對準來自不同模態之裁剪影像。對應於類別1之一最終SoftMax輸出可用作為對準可信度。例如，類別1之一SoftMax (在自0至1之範圍內)係對準結果之分類器之可信度。依此方式，一SoftMax=0係不可信，而一SoftMax=1係非常可信。另外，為產生未對準類之資料，隨機移位誤差可加入至對準類之訓練資料。分類器可如本文所進一步描述般執行此分類。分類器214可產生至少包含對準結果之分類之輸出2對準結果216。分類器之輸出可為對準兩個裁剪影像之一概率(即，對準之可信度度量)。圖2中所描述及展示之各元件及步驟可如本文所進一步描述般進一步組態及執行。
本文所描述之以學習為基礎之模型可為深度學習模型。一般而言，「深度學習」(亦稱為深度結構化學習、階層式學習或深度機器學習)係基於試圖模型化資料中之高抽象層次之一組演算法之機器學習之一分支。在一簡單情況中，可存在兩組神經元：接收一輸入信號之神經元及發送一輸出信號之神經元。當輸入層接收一輸入時，其將輸入之一修改型式傳至下一層。在一深度網路中，輸入與輸出之間存在諸多層(且層不是由神經元組成，但可依此方式幫助思考)以允許演算法使用由多個線性及非線性變換組成之多個處理層。
深度學習係基於資料之學習表示之機器學習方法之一大家族之部分。一觀察(例如一影像)可依諸多方式(諸如每像素之一強度值向量)表示或依一更抽象方式表示為一組邊緣、特定形狀區域等等。一些表示比其他表示更好地簡化學習任務(例如面部辨識或面部表情辨識)。深度學習之一承諾係將手工特徵替換為用於無監督或半監督特徵學習及階層式特徵提取之高效演算法。
此領域之研究試圖作出較佳表示且產生模型以自大規模無標號資料學習此等表示。一些表示由神經科學之進步激發且大致基於一神經系統中之資訊處理及通信型樣之解譯，諸如試圖界定各種刺激與大腦中之相關聯神經回應之間的一關係之神經編碼。
各種深度學習架構(諸如深度神經網路、卷積深度神經網路、深度信念網路及遞迴神經網路)已應用於如電腦視覺、自動語音辨識、自然語言處理、音訊辨識及生物資訊學之領域，其中架構已被展示為產生關於各種任務之最新結果。
以學習為基礎之模型亦可包含機器學習模型。機器學習可大體上界定為在無需顯式程式化之情況下使電腦具有學習能力之一種人工智慧(AI)。機器學習致力於開發可在接觸新資料時自學成長及改變之電腦程式。換言之，機器學習可界定為「在無需顯式程式化之情況下給予電腦學習能力」之電腦科學之分支。機器學習探索可自資料學習且對資料作出預測之演算法之研究及構造，此等演算法藉由作出資料驅動預測或決定(透過自樣本輸入構建一模型)來克服以下嚴格靜態程式指令。
本文所描述之機器學習可如以下各者中所描述般進一步執行：Sugiyama之「Introduction to Statistical Machine Learning」(Morgan Kaufmann，2016年，534頁)、Jebara之「Discriminative, Generative, and Imitative Learning」(MIT Thesis，2002年，212頁)及Hand等人之「Principles of Data Mining (Adaptive Computation and Machine Learning)」(MIT Press，2001年，578頁)，其等以宛如全文闡述引用的方式併入本文中。本文所描述之實施例可如此等參考中所描述般進一步組態。
在另一實施例中，模型係一神經網路。例如，模型可為具有一組權重之一深度神經網路，該組權重根據深度神經網路已被饋送以訓練深度神經網路之資料來模型化世界。神經網路可大體上界定為一運算方法，其係基於大致模型化一生物大腦使用由軸突連接之生物神經元之相對較大叢集來解決問題之方式之神經單元之一相對較大集合。各神經單元與諸多其他神經單元連接，且鏈路可強制或抑制其對所連接之神經單元之啟動狀態之效應。此等系統具有自學能力且被訓練而非顯式程式化且在其中解決方案或特徵偵測難以用一傳統電腦程式表達之領域中表現卓越。
神經網路通常由多個層組成，且信號路徑橫貫前後。神經網路之目標係依相同於人腦之方式解決問題，但若干神經網路更抽象得多。現代神經網路計畫通常操作數千個至數百萬個神經單元及數百萬個連接。神經網路可具有本技術中已知之任何適合架構及/或組態。
在另一實施例中，模型係一卷積神經網路(CNN)。例如，本文所描述之實施例可利用諸如CNN之深度學習概念來解決通常很棘手之表示轉換問題(例如呈現)。模型可具有本技術中已知之任何CNN組態或架構。CNN亦可如2017年5月18日公開之Bhaskar等人之美國專利公開申請案第2017/0140524號中所描述般組態，該案以宛如全文闡述引用的方式併入本文中。本文所描述之以學習為基礎之模型可如本專利申請案中所描述般進一步組態。
在一些實施例中，以學習為基礎之模型包含一迴歸模型。換言之，一「迴歸」模型不是執行正向模擬或以規則為基礎之方法之模型且因而無需涉及產生一實際影像之程序之物理學之一模型(產生實際影響之一模擬影像)。相反地，如本文所進一步描述，可基於一組適合訓練資料來學習迴歸模型(因為可學習其參數)。
在一此實施例中，迴歸模型包含一自動編碼器變體、一條件生成對抗網路或一去雜訊卷積自動編碼器。例如，為在上文所描述之固定成像或程序參數下學習一變換，以學習為基礎之模型可經組態以用於使用一或多個迴歸模型之一迴歸方法，該一或多個迴歸模型包含：自動編碼器變動，其中解碼器部分將最後用於表示轉換；及一條件生成對抗網路(CGAN)，其中CGAN之生成部分可用於表示轉換。本文所描述之實施例可如本專利申請案中所描述般進一步組態。
一自動編碼器、自動關聯器或Diabolo網路係用於高效編碼之無監督學習之一人工神經網路。一自動編碼器之目標係學習一組資料之一表示(編碼)，通常為了維數減少。近年來，自動編碼器概念已更廣泛用於學習資料之迴歸模型。在架構上，一自動編碼器之最簡單形式係非常類似於多層感知器(MLP)之一前饋非遞迴神經網路，MLP具有一輸入層、一輸出層及連接輸入層及輸出層之一或多個隱藏層，但其中輸出層具有相同於輸入層之節點數目且其目的為重建其自身輸入(而非預測目標值給定輸入)。因此，自動編碼器係無監督學習模型。一自動編碼器總是由兩個部分(編碼器及解碼器)組成。存在用於防止自動編碼器學習識別功能且提高其擷取重要資訊及學習較豐富表示之能力之各種技術。自動編碼器可包含自動編碼器之任何適合變體，諸如去雜訊自動編碼器、稀疏自動編碼器、變分自動編碼器及收縮自動編碼器。
在一去雜訊自動編碼器中，輸入(例如SEM)影像可被視為其對應(例如CAD)影像之一有雜訊型式。去雜訊自動編碼器大體上經組態以在訓練時取得一部分損壞輸入以恢復原始無失真輸入。此技術已與用於良好表示之一特定方法一起引入。一良好表示係可自一損壞輸入穩健地獲得且將用於恢復對應清潔輸入之表示。此界定含有以下隱含假定：較高階表示相對較穩定且較不易發生輸入損壞；且需要提取用於表示輸入分佈之特徵。一去雜訊卷積自動編碼器大體上界定為包含卷積層之一去雜訊自動編碼器。使用卷積層所構造之去雜訊自動編碼器因其能夠利用強空間相關性而具有較佳影像去雜訊效能。包含於本文所描述之實施例中之去雜訊卷積自動編碼器可如Gondara於「Medical Image Denoising Using Convolutional Denoising Autoencoders」(arXiv:1608.04667v2，2016年9月18日，6頁)(其以宛如全文闡述引用的方式併入本文中)中所描述般進一步組態。本文所描述之實施例可如此參考中所描述般進一步組態。
由Mirza等人於「Conditional Generative Adversarial Nets」(arXiv:1411.1784，2014年11月6日，7頁)(其以宛如全文闡述引用的方式併入本文中)中描述一CGAN之實例。若基於一些額外資訊y來調節生成器及鑑別器兩者，則可生成對抗網(其可如Goodfellow等人於「Generative Adversarial Nets」(arXiv:1406.2661，2014年6月10日，9頁)(其以宛如全文闡述引用的方式併入本文中)中所描述般組態)擴展至一條件模型。y可為諸如類別標籤或來自其他模態之資料之各種輔助資訊。可藉由將y作為一額外輸入層饋送至鑑別器及生成器兩者中來執行調節。
然而，本文所描述之實施例不基於由Mirza在以引用的方式併入之上述參考中描述之實施例。由Mirza描述之CGAN之目的不同於本文所描述之實施例。在Mirza之CGAN中，產生但調節一分佈。例如，在推斷時間中，Mirza想要產生一組1000個影像但將此等影像僅調節為狗而非貓之影像，但其可在訓練時使用狗及貓兩者之影像來訓練。在本文所描述之實施例中，吾人想要構建一迴歸(或變換)模型以確定將一影像自一域變換為另一域。若吾人忽略輸入影像之影像品質之變動(諸如雜訊、清晰度、非均勻性等等)，則此變換將為一1對1映射。
在本文所描述之實施例中，以學習為基礎之模型主要基於由Isola等人於「Image-to-Image translation with Conditional Adversarial Net」(arXiv:1611.07004v2，2017年11月22日，17頁)(其以宛如全文闡述引用的方式併入本文中)中所描述之模型(具有一微小改變)。然而，Isola之論文之目的仍為產生一條件分佈：為產生一條件分佈，其在推斷時間中使用漏失(drop-out)以在所產生之影像中加入隨機性。針對本文所描述之實施例，由於吾人期望其成為一確定性變換，所以吾人在推斷時間期間停用漏失以達成一確定性變換。
一深度迴歸模型可經組態以具有一深度學習架構，因為模型可包含執行若干演算法或變換之多個層。迴歸模型之編碼器側上之層數係使用案例相依的。另外，解碼器側上之層數係使用案例相依的且可取決於編碼器側上之層數。一般而言，迴歸模型之一或兩側上之層數不是很多且係使用案例相依的。為了實踐，兩側上之層之一適合範圍係自2個層至數十個層。
一或多個組件經組態以使用變換之結果來對準至少第一影像及第二影像。本文所描述之實施例可依本文所進一步描述之若干不同方式執行此對準。一般而言，實施例可使用以學習為基礎之模型之輸出來依一非以學習為基礎之方式執行對準。替代地，以學習為基礎之模型可經組態以自我執行對準。
在一實施例中，一或多個組件經組態以在不使用一以學習為基礎之技術之情況下執行對準。例如，使用一深度學習模型之影像配準(或使用深度學習之一配準模組)可依各種方式實施。據此而言，配準可為深度學習增強配準。依此方式，一或多個組件可使用以學習為基礎之模型之輸出來執行對準，但包含於一或多個組件中之以學習為基礎之模型本身不用於對準。依此方式，影像配準或對準可由以學習為基礎之模型增強或輔助，但使用由以學習為基礎之模型產生之結果所執行之影像配準或對準可依任何適合方式執行。經組態以使用以學習為基礎之模型之結果來執行對準之一或多個組件之非以學習為基礎之部分可包含本技術中已知之(若干)任何適合電腦組件。
圖3展示此深度學習增強影像配準之一實施例。針對此實施例，選擇共同空間作為兩個輸入影像之一者之影像域。例如，可選擇共同空間作為設計資料或CAD影像空間，可在一影像係一CAD影像且另一影像變換為CAD影像空間時如此選擇。在另一實例中，可選擇共同空間作為SEM影像空間，可在一影像係一SEM影像且另一影像變換為SEM影像空間時如此選擇。可依一類似方式選擇其他影像模態之其他共同空間。
如圖3中所展示，SEM影像300 (或以一第一模態針對一樣品所獲取之一第一影像)輸入至以學習為基礎之模型302，以學習為基礎之模型302變換SEM影像以藉此將其呈現至CAD影像306之共同空間中。換言之，以學習為基礎之模型302藉由將SEM影像300自SEM影像空間映射至CAD影像空間來將SEM影像300變換為呈現影像304。依此方式，在此實施例中，共同空間係CAD影像空間。因而，在此實施例中，第二影像係以一第二模態針對樣品所產生之CAD影像。接著，呈現影像304及CAD影像306輸入至對準步驟308，對準步驟308執行兩個影像之對準或配準以藉此產生對準結果310。由於呈現影像及CAD影像現看起來像在對準之前自相同模態獲取的，所以可如本文所進一步描述般相對容易地執行對準。
在圖3所展示之實施例中，以學習為基礎之模型可為一迴歸模型或本文所描述之以學習為基礎之模型之任何者。在一此實例中，以學習為基礎之模型可呈一深度卷積自動編碼器(DCAE)之形式。以學習為基礎之模型之編碼器部分可包含(例如)五個卷積層，其等具有(例如) 5×5之核心大小、2之步幅及無墊零。各卷積層可後接一洩漏整流線性單元。以學習為基礎之模型之解碼器部分可具有類似於編碼器之一架構，但使用反卷積層。解碼器可具有可經訓練以具有更多自由度來重建設計影像之單獨權重。然而，以學習為基礎之模型之此組態不具限制性，因為其他以學習為基礎之模型亦可用於此實施例中且上述DCAE之參數可視需要或期望更改。
為避免過度擬合提取特徵且減少提取特徵之冗餘，可藉由在編碼器之末端處使用一漏失層且亦在L2成本函數中包含關於編碼之一L1正則化來實施特徵圖之稀疏性。再次，此等以學習為基礎之特定模型組態不意欲限於為適合用於本文所描述之實施例中之以學習為基礎之模型。以學習為基礎之模型可使類型及參數值自上述類型及參數值變動且仍用於本文所描述之實施例中。
可使用本技術中已知之任何適合非以學習為基礎之對準或配準方法(諸如NCC、和方差等等)來執行對準308。因此，本文所描述之實施例可使用一相對簡單對準方法來穩健地對準影像。特定言之，以不同模態所獲取之影像(例如一SEM影像及一簡易呈現設計片段)通常歸因於諸如以下各者之諸多因數而看起來彼此非常不同：光學近接誤差、遺漏設計層(例如，其中設計之一特徵(諸如一襯墊)未出現於設計形成於其上之樣品之一影像中)、樣品影像中之各種雜訊或樣品影像與設計影像之間的對比度差異。然而，作為本文所描述之實施例之部分，一以學習為基礎之模型用於由另一模態中之一影像重建一模態中之一影像。因而，重建影像相似於來自另一模態之對應影像。由圖3中所展示之實施例產生之對準結果可包含本文所描述或本技術中已知之任何適合對準結果。
本文所描述之實施例可或可不經組態以訓練以學習為基礎之模型。例如，另一方法及/或系統可經組態以產生一以學習為基礎之訓練模型，其接著可由本文所描述之實施例存取及使用。在一通用訓練程序中，可基於使用案例來收集一元組(輸入、預期輸出)之一訓練資料集。訓練資料集可用於訓練所選模型。在運行時間期間，可收集輸入資料(例如，在選定成像及/或程序參數下)。接著，可使用基於輸入資料之訓練模型來執行變換。
圖3中所展示之實施例展示本文所描述之對準方法之一者之一運行時間模式。圖4展示用於訓練此一對準方法之一可行方法。如圖4中所展示，訓練可包含將SEM影像400輸入至以學習為基礎之模型402中，以學習為基礎之模型402可為一迴歸模型或本文所描述之另一以學習為基礎之模型。在此實施例中，以學習為基礎之模型包含編碼器404及解碼器408，其等可如本文所進一步描述般組態。另外，儘管一自動編碼器在此圖中展示於以學習為基礎之模型中，但諸如CGAN或去雜訊卷積自動編碼器之任何迴歸模型可用於本文所描述之實施例中。影像400輸入至編碼器404，編碼器404判定影像之特徵406 (即，以學習或深度學習為基礎之特徵)。特徵406輸入至解碼器408，解碼器408將影像變換為一不同空間。在此情況中，解碼器將輸入SEM影像自特徵406變換為設計空間中之影像410。依此方式，影像410可為一CAD影像。
影像410可與已知對應於影像400之一CAD影像比較。例如，影像410可與影像412比較，影像412可為已知對應於SEM影像400之CAD影像。接著，L2-損失步驟414可判定兩個影像之間的差異，且差異將歸因於以學習為基礎之模型之參數之誤差。依此方式，可執行最小化步驟416以最小化L2-損失步驟結果，藉此最小化以學習為基礎之模型結果及以學習為基礎之模型之參數之誤差。例如，最小化步驟可包含更改以學習為基礎之模型之一或多個參數，直至由以學習為基礎之模型產生之影像實質上匹配對應於輸入影像之影像及/或直至已最小化L2-損失步驟之結果。除此之外，可依本技術中已知之任何適合方式執行L2-損失步驟414及最小化步驟416。
上述實施例提供相較於當前使用方法之諸多差異及改良。例如，不同於基於探試呈現或以物理為基礎之呈現方法之當前使用方法，上述實施例使用一深度迴歸神經網路或本文所進一步描述之其他以學習為基礎之模型，其使用來自不同模態之對應影像對來訓練以將影像1變換為用於配準之影像2之影像域，例如自SEM影像至CAD影像、自SEM影像至寬頻光學影像等等。未對影像自其獲取之成像系統作任何假定。本文所描述之實施例之一優點係吾人可用一以資料驅動為基礎且非硬體相依之方法替換當前使用之探試呈現且硬體相依方法。
本文所描述之實施例與當前使用方法之不同之處亦在於：本文所描述之實施例使使用者靈活選擇其想要將影像變換為何種域。作為一實例，在SEM與CAD配準使用案例中，使用者不是如同當前使用之探試及以物理為基礎之方法般將CAD影像變換為用於配準之SEM影像，而是可選擇藉由僅在以學習為基礎之模型之訓練期間調換地表實況及輸入資料來沿相反方向執行自SEM影像變換回CAD域。演算法內部無需改變。此策略之一益處係CAD影像域中之影像比SEM域中之影像更潔淨更清晰得多且一簡單NCC因此可實質上很好地對準影像。
在另一實施例中，包含於一或多個組件中之以學習為基礎之模型經組態以執行對準。例如，使用一深度學習模型之影像配準(或使用深度學習之一配準模組)可依各種方式實施。據此而言，配準可為深度學習增強端對端迴歸。在此實施例中，一深度學習(DL)增強方法可用於構建用於多模態影像配準之一端對端迴歸網路。用於配準之共同空間現為輸入影像之兩個模態之一者之特徵或深度特徵空間。
在一此實施例中，以學習為基礎之模型包含一第一編碼器及一第二編碼器，將第一影像輸入至第一編碼器中以藉此產生第一影像之以深度學習為基礎之特徵，將第二影像輸入至第二編碼器中以藉此產生第二影像之以深度學習為基礎之特徵，第一編碼器及第二編碼器後接第一影像及第二影像之以深度學習為基礎之特徵輸入至其中之一級聯層，且級聯層後接經組態以執行對準之一或多個全連接層。依此方式，本文所描述之實施例提供一端對端迴歸之一新架構，其含有分別用於自不同模態提取影像之深度特徵之兩個編碼器且後接一串接層及一或多個全連接層。使用兩個單獨輸入，新端對端迴歸架構能夠支援不同大小之影像之間的配準。
一級聯或「串接」層可大體上界定為沿一指定軸線級聯多個輸入之一層。一「全連接層」可大體上界定為其中各節點連接至先前層中之各節點之一層。(若干)全連接層可基於由編碼器之(若干)卷積層提取之特徵來執行分類，其可如本文所進一步描述般組態。(若干)全連接層經組態以用於特徵選擇及分類。換言之，(若干)全連接層自一特徵圖選擇特徵且接著基於選定特徵來分類(若干)影像之性質。選定特徵可包含特徵圖中之所有特徵(若適當)或特徵圖中之僅一些特徵。
圖5中展示一此實施例。如此實施例中所展示，以學習為基礎之模型500包含編碼器502及506。由第一模態(在此例項中為SEM)產生之第一影像504輸入至編碼器502，而由不同於第一模態之一第二模態(在此例項中為CAD)產生之第二影像508輸入至編碼器506。編碼器502產生影像504之以學習為基礎之模型特徵(圖中未展示)，而編碼器506判定影像508之以學習為基礎之模型特徵(圖中未展示)。第一影像及第二影像之以深度學習為基礎之特徵輸入至以學習為基礎之模型之級聯(或「串接」)層510。級聯層後接以學習為基礎之模型之一或多個全連接層512，級聯層之輸出輸入至全連接層512中且全連接層512產生對準結果514。級聯層及一或多個全連接層可如本文所進一步描述般組態。
在其中特徵空間用作為用於影像對準或配準之特徵空間之本文所描述之實施例中，各成像模態之特徵空間可為不同的。其由用於訓練模型之資料驅動。訓練程序將判定哪些是描述來自各影像模態之影像之最佳特徵(例如，藉由最小化成本函數)。具體而言，第一影像之深度特徵及第二影像之深度特徵係來自圖5中所展示之兩個編碼器之兩個輸出行向量。兩個特徵向量無需具有相同維數。另外，各特徵向量中之元素之含義可完全不同。元素由資料透過訓練程序驅動。
圖6展示用於訓練圖5中所展示之以學習為基礎之模型之一實施例。例如，如圖6中所展示，在訓練期間，影像602及604輸入至可具有圖5中所展示之組態之端對端迴歸模型600。影像602以一第一模態(例如SEM)產生，而影像604以不同於第一模態之一第二模態(例如CAD)產生。端對端迴歸模型600如本文所進一步描述般產生對準結果606，對準結果606與地表實況對準結果610一起輸入至L2-損失步驟608。
地表實況對準結果可包含由(例如)使影像彼此對準之一使用者針對兩個影像手動產生之對準結果。亦可藉由首先使用本技術中已知之一對準演算法(探試方法或一不穩健方法)來產生地表實況，接著使用者可手動驗證及/或校正結果。亦可藉由增補來產生地表實況資料，諸如，旋轉、標定、平移影像以合成產生地表實況資料。L2-損失步驟608可如本文所進一步描述般執行以判定對準結果之誤差且因此判定以學習為基礎之模型參數之誤差。訓練以學習為基礎之模型亦可包含最小化步驟612，其可如本文所進一步描述般執行以最小化由以學習為基礎之模型產生之對準結果之誤差且因此最小化以學習為基礎之模型之參數之誤差。
在一些此等實施例中，第一編碼器及第二編碼器之一或多者在訓練以學習為基礎之整個模型之前與以學習為基礎之模型之其他層分開預訓練。依此方式，本文所描述之實施例提供用於預訓練端對端迴歸模型之編碼器之一新策略。此策略不僅有助於較快訓練端對端迴歸模型，且亦提供用於在配準不理想時目視診斷問題之一方法。例如，在圖5所展示之實施例中，編碼器502可依相同於上文相對於圖4所描述之方式的方式預訓練。編碼器506可類似於圖7中所展示般預訓練。預訓練策略不僅有助於較快訓練端對端迴歸，且亦提供用於在配準不理想時診斷問題之一目視法。
在一此預訓練策略中，如圖7中所展示，以一模態(例如CAD)針對一樣品所產生之影像700可輸入至編碼器702。編碼器702可產生影像700之以學習為基礎之特徵704。特徵704輸入至解碼器706，解碼器706產生重建影像708。重建影像708意謂相同於輸入影像。即，編碼器判定影像700之特徵，接著特徵由解碼器用於重建影像700以藉此產生重建影像708，若適當判定特徵，則重建影像708將相同於輸入影像700。因此，輸入影像與輸出影像之間的差異可用於判定編碼器中之誤差。例如，圖7中所展示之預訓練策略可包含其中判定影像700與重建影像708之間的差異之L2-損失步驟710。預訓練策略亦可包含其中試圖藉由更改編碼器之一或多個參數且接著產生一新重建影像來最小化影像700與重建影像708之間的差異之最小化步驟712。L2-損失步驟710及最小化步驟712可如本文所描述般進一步執行。
本文所描述之以學習為基礎之端對端模型方法與當前使用方法之不同之處在於：在此等實施例中，整個配準程序實施於一單一前饋網路中。因此，此等實施例較簡單，需要調諧較少參數，運行更快得多，且因此增加處理量。
本文所描述之實施例亦可提供用於訓練之新的有利資料取樣。為提高用於本文所描述之以學習為基礎之模型之兩個變體中之編碼器之效能，實施例可包含用於基於重建誤差來自動取樣具有用於訓練之(若干)特定特性之圖案化特徵之一新方法。例如，在另一實施例中，以學習為基礎之模型包含一編碼器，一或多個組件包含經組態以藉由以下操作來更改用於訓練編碼器之初始訓練資料之一取樣模組(例如圖1中所展示之取樣模組106)：獲得使用初始訓練資料來執行之訓練編碼器之結果；判定分別具有圖案化特徵之一特性之不同值之針對樣品上之圖案化特徵之訓練結果之不同誤差；比較具有特性之不同值之圖案化特徵之訓練結果之不同誤差；識別對應於不同誤差之一或多個最大值之圖案化特徵之特性之不同值之一或多者；及將具有不同值之一或多個識別者之圖案化特徵之額外例項加入至初始訓練資料以藉此更改初始訓練資料，且經更改初始訓練資料用於重新訓練編碼器。依此方式，本文所描述之實施例提供用於自資料池反覆及自動取樣具有特定特性之圖案化特徵(其具有相對較高重建誤差)以改良編碼器之訓練的一新構架。本文所描述之實施例實現自資料之此取樣，使得訓練資料中可存在儘可能多的圖案形狀及情境(即，結構之佈局)之變種。
圖8展示一此實施例。此實施例提供用於基於重建誤差來自動取樣用於訓練之資料之一反覆方法。重建誤差係重建影像與地表實況之間的差異。如圖8中所展示，可將用於訓練之資料池800輸入至用於訓練之初始取樣802。用於訓練之資料池可包含本技術中已知之任何適合訓練資料。可依本技術中已知之任何適合方式(例如手動)執行用於訓練之初始取樣。初始取樣步驟產生訓練資料804，訓練資料804用於訓練806本文所描述之以學習為基礎之模型之一者之一編碼器。可如本文所進一步描述般執行編碼器之訓練。在另一實例中，可使用具有10之一最小批量及0.01之一初始學習速率之一Adam最佳化解算器來執行訓練(但此僅為可如何執行訓練之一非限制性實例)。在訓練模型之編碼器之後，可在使用測試資料810來執行之測試步驟808中測試經訓練編碼器。測試資料可包含本技術中已知之任何適合測試資料。例如，測試資料可包含未由初始取樣步驟802選為訓練資料804之部分之資料池800中之資料。可依本技術中已知之任何適合方式執行經訓練編碼器之測試。
在測試模型之經訓練編碼器之後，方法包含：在步驟812中，判定各重建影像之誤差。可如本文所進一步描述般判定各重建影像之誤差，例如，藉由判定重建影像與地表實況資料(諸如已知對應於輸入影像之來自一不同模態之一影像)及/或原始影像之間的差異。方法亦包含：在步驟814中，識別其中重建誤差相對較高之(若干)圖案化特徵特性。依此方式，可提取其中重建誤差較高之圖案化特徵之一特性。其中重建誤差較高之圖案化特徵之特性可為將其呈現為不同於相同影像及/或用於測試之其他影像中之其他圖案化特徵的圖案化特徵之任何特性。此等特性之實例包含(但不限於)大小、形狀、定向、密度、與其他特徵之接近性、特徵之數目及其類似者。
方法亦包含：在步驟816中，在資料池中搜尋類似圖案化特徵特性例項。例如，基於判定為對應於相對較高重建誤差之圖案化特徵特性，實施例可在資料池中搜尋具有相同或實質上類似特性之圖案化特徵之其他例項。在一此實例中，若判定具有一特定形狀之一圖案化特徵對應於相對較高重建誤差，則可在資料池中搜尋具有相同或實質上類似形狀之圖案化特徵之例項之額外實例。方法進一步包含：在步驟818中，將具有類似特性之資料加入至訓練資料中。在執行步驟818之後，先前為初始訓練資料之訓練資料804現為經更改訓練資料，因為已將額外訓練資料加入至初始訓練資料。經更改訓練資料可用於藉由使用經更改訓練資料再次執行訓練806來重新訓練以學習為基礎之模型之編碼器。亦可重新執行以學習為基礎之模型之編碼器之訓練以及圖8中所展示之其他步驟，直至測試表明以學習為基礎之模型之編碼器不產生誤差，不產生明顯誤差，及/或僅產生可接受誤差。
訓練以學習為基礎之模型可如以下申請案中所描述般進一步執行：2017年5月25日公開之Zhang等人之美國專利公開申請案第2017/0148226號及2017年7月6日公開之Bhaskar等人之美國專利公開申請案第2017/0193400號，該等案以宛如全文闡述引用的方式併入本文中。本文所描述之實施例可如此等專利申請案中所描述般進一步組態。
在一些實施例中，一或多個組件經組態以藉由以下操作來產生對準之一分數：使用由對準判定之對準偏移來裁剪第一影像及第二影像；將經裁剪之第一影像及第二影像分別堆疊至一彩色影像之第一色彩通道及第二色彩通道中以產生一彩色重疊影像；藉由將彩色重疊影像輸入至使用對準及未對準地表實況資料來訓練之一深度神經網路中來將第一色彩通道及第二色彩通道分類成對準類及未對準類；及將分數判定為分類之一概率。依此方式，本文所描述之實施例可經組態以判定一DL配準或對準分數。另外，實施例提供用於使用一深度學習方法來客觀及穩健評估配準結果之一新方法。
在上述對準分數實施例中，不同於需要各種探試方法來評估配準結果之品質之當前使用方法，此實施例使用配準偏移來裁剪兩個影像且將影像堆疊至一RGB彩色影像之兩個色彩通道(即，紅色及綠色)中以產生一彩色重疊影像。接著，方法使用以對準及未對準情況訓練之一深度神經網路來將兩個色彩通道(例如紅色及綠色)分類成「對準」類及「未對準」類。採用分類之概率來充當配準分數。經組態以將色彩通道分類成未對準類及對準類之深度神經網路可為本文所進一步描述之以學習為基礎之模型之任何者。
此新配準度量之一主要優點係用一以資料驅動為基礎之方法替換以探試為基礎之老方法。新方法實質上較靈活且允許使用者容易地訓練一度量來辨識視覺上不同但具有關鍵對準特徵之影像對且賦予影像對高配準分數。當關鍵特徵(例如B形狀或切割道)之周圍圖案實質上不同於模板時，此等實施例之使用案例之一實例係晶圓對準。此對於需要顯著演算法微調之以探試為基礎之當前使用配準度量而言係一富有挑戰性之使用案例。
本文所描述之深度學習配準分數亦完全獨立於配準程序且因此提供配準結果之一更客觀評估。新方法亦具通用性且可應用於任何影像配準使用案例。
本文所描述之實施例具有相較於用於影像對準之當前使用方法及系統之諸多優點。例如，本文所描述之實施例使基於來自多個模態之資料(影像、CAD等等)之新應用組能夠解決半導體產業中之挑戰性問題。特定言之，多模態影像配準在大多數當前及未來應用中係實質上很重要的。諸多使用案例需要多模態影像配準之成功率接近100%，其對習知配準方法而言係相當有挑戰的。然而，本文所描述之實施例能夠達成此配準。
本文所描述之實施例之一應用之另一實例係用於識別一晶圓或其他樣品上之關心區域。例如，能夠將以設計為基礎之關心區域準確放置至+/-1像素實現下一代損害減少所需之敏感度。隨著特徵大小縮小，維持相同損害率需要更小關心區域用於關注缺陷(DOI)偵測。下一代光學檢測需要進一步提高關心區域放置準確性以達到單一像素。
在另一實例中，本文所描述之實施例可尤其用於圖案保真度量測(PFM)或度量之多模態影像配準(例如SEM與設計(或CAD))，其中相較於其根據設計之對應圖案化特徵而量測一圖案化特徵之(若干)特性。在一此實例中，一樣品上之圖案化特徵之影像可用於量測相對於設計資料之圖案失真(例如用於程序窗限定(PWQ)、臨界尺寸均勻性(CDU)等等)。此等應用一般需要相對較精細對準，且本文所描述之實施例可提供此精細對準所需之準確性。
在一額外實例中，本文所描述之實施例可尤其用於自動缺陷分類(ADC)之多模態影像配準(例如SEM與設計(或CAD))，其中一缺陷在其對應設計中之情境(其可藉由使一缺陷影像對準於其對應設計來判定)用於分類缺陷。在一此實例中，可執行使用一樣品之設計資料來執行之ADC以區分位於不同設計層上之不同缺陷類型、不同結構、P型及N型缺陷等等。儘管此等應用僅需要缺陷影像與設計之間粗略對準，但本文所描述之實施例可提供適合於ADC之對準。
本文所描述之實施例亦可用於晶粒至資料庫缺陷偵測，其中檢測影像對準於一樣品之設計資料，使得其等可組合用於偵測樣品上之缺陷。此缺陷偵測可提供提高敏感度來偵測圖案缺陷(例如遺漏圖案化特徵、虛設缺陷、橋接缺陷等等)。儘管此等應用僅需要缺陷影像與設計之間粗略對準，但本文所描述之實施例可提供適合於晶粒至資料庫缺陷偵測之對準。
在本文所描述之實施例之優點之另一實例中，由於本文所描述之實施例不是探試的且非硬體相依的而是資料驅動方法，所以其不具有本文所描述之當前使用方法之任何缺點。無需微調或開發一新演算法來應對新挑戰。相反地，使用者更新訓練資料且重新訓練以學習為基礎之模型以使其自動學習如何解決新挑戰。另外，本文所描述之實施例可學習抑制雜訊、使對比度反轉及減輕光學近接校正(OPC)誤差。此能力將減少演算法支援之開發者之大量負擔，其將轉化為較快製程時間。另外，本文所描述之實施例係可使用已被證明優於傳統影像處理及電腦視覺方法之最新先進深度學習技術之資料驅動方法。在一額外實例中，本文所描述之實施例係實質上通用的，因為其獨立於平台。另外，實施例可應用於多模態影像配準之任何使用案例。依此方式，本文所描述之多模態影像配準推廣至所有多模態影像配準使用案例，諸如SEM與CAD、寬頻光學成像與SEM、寬頻光學成像與CAD、雷射掃描與寬頻光學成像、雷射掃描與CAD、低解析度光學成像與CAD等等。因而，本文所描述之實施例實現穩健地解決廣泛不同模態之間的影像配準問題之新可能性且因此實現半導體產業之新應用。在另一實例中，使用深度學習策略之本文所描述之實施例係更穩健的且需要調諧比當前使用之對準方法及系統明顯更少之參數且因此提供比當前使用之對準方法及系統高之易用性。在又一實例中，本文所描述之實施例之以深度學習為基礎之前饋模型比既有探試呈現方法運行得快且因此將提高處理量。
上述各系統之各實施例可一起組合成一單一實施例。
另一實施例係關於一種用於對準以不同模態所獲取之一樣品之影像之電腦實施方法。該方法包含：獲取一樣品之資訊，該資訊包含該樣品之至少第一影像及第二影像。該第一影像以不同於用於獲取該第二影像之一第二模態之一第一模態獲取。該方法亦包含：將該樣品之該資訊輸入至一以學習為基礎之模型中。該以學習為基礎之模型包含於由一或多個電腦系統執行之一或多個組件中。該以學習為基礎之模型經組態以變換該等至少第一影像及第二影像之一或多者以藉此將該等至少第一影像及第二影像呈現至一共同空間中。另外，該方法包含：使用該變換之結果來對準該等至少第一影像及第二影像。
該方法之各步驟可如本文所進一步描述般執行。該方法亦可包含可由本文所描述之系統、(若干)電腦系統或子系統、(若干)成像系統、(若干)組件、(若干)模型、(若干)模組等等執行之(若干)任何其他步驟。該一或多個電腦系統、該一或多個組件及該模型可根據本文所描述之實施例之任何者來組態，例如(若干)電腦子系統102、(若干)組件100及模型104。另外，上述方法可由本文所描述之系統實施例之任何者執行。
一額外實施例係關於一種非暫時性電腦可讀媒體，其儲存可在一或多個電腦系統上執行之程式指令，該等程式指令用於執行用於對準以不同模態所獲取之一樣品之影像之一電腦實施方法。圖9中展示一此實施例。特定言之，如圖9中所展示，非暫時性電腦可讀媒體900包含可在(若干)電腦系統904上執行之程式指令902。電腦實施方法可包含本文所描述之(若干)任何方法之(若干)任何步驟。
實施諸如本文所描述之方法之程式指令902可儲存於電腦可讀媒體900上。電腦可讀媒體可為一儲存媒體，諸如一磁碟或光碟、一磁帶或本技術中已知之任何其他適合非暫時性電腦可讀媒體。
可依各種方式之任何者(其尤其包含以程序為基礎之技術、以組件為基礎之技術及/或物件導向技術)實施程式指令。例如，可視期望使用ActiveX控制、C++物件、JavaBeans、微軟基礎類別(「MFC」)、SSE (串流SIMD擴展)或其他技術或方法來實施程式指令。
(若干)電腦系統904可根據本文所描述之實施例之任何者來組態。
熟習技術者將鑑於[實施方式]而明白本發明之各種態樣之進一步修改及替代實施例。例如，提供用於對準以不同模態所獲取之一樣品之影像之方法及系統。因此，[實施方式]應被解釋為僅供說明且用於教示熟習技術者實施本發明之一般方式。應瞭解，本文所展示及描述之本發明之形式應被視為當前較佳實施例。元件及材料可取代本文所繪示及描述之元件及材料，可使部分及程序反轉，且可獨立利用本發明之某些特徵，熟習技術者將藉助於本發明之[實施方式]來明白上述所有。可在不背離以下申請專利範圍中所描述之本發明之精神及範疇之情況下對本文所描述之元件作出改變。
10‧‧‧光學工具14‧‧‧樣品16‧‧‧光源18‧‧‧光學元件20‧‧‧透鏡22‧‧‧載台24‧‧‧集光器26‧‧‧元件28‧‧‧偵測器30‧‧‧集光器32‧‧‧元件34‧‧‧偵測器36‧‧‧電腦子系統100‧‧‧組件102‧‧‧電腦子系統104‧‧‧以學習為基礎之模型106‧‧‧取樣模組108‧‧‧虛擬系統110‧‧‧其他系統122‧‧‧電子柱/電子束工具124‧‧‧電腦子系統126‧‧‧電子束源128‧‧‧樣品130‧‧‧元件132‧‧‧元件134‧‧‧偵測器136‧‧‧共同樣品處置系統/機器人樣品處置系統138‧‧‧負載模組140‧‧‧卡匣200‧‧‧掃描電子顯微鏡(SEM)影像202‧‧‧電腦輔助設計(CAD)204‧‧‧以學習為基礎之對準206‧‧‧對準結果208‧‧‧輸出1對準結果210‧‧‧裁剪及產生重疊彩色影像步驟212‧‧‧彩色重疊影像214‧‧‧分類器216‧‧‧輸出2對準結果300‧‧‧SEM影像302‧‧‧以學習為基礎之模型304‧‧‧呈現影像306‧‧‧CAD影像308‧‧‧對準步驟310‧‧‧對準結果400‧‧‧SEM影像402‧‧‧以學習為基礎之模型404‧‧‧編碼器406‧‧‧特徵408‧‧‧解碼器410‧‧‧影像412‧‧‧影像414‧‧‧L2-損失步驟416‧‧‧最小化步驟500‧‧‧以學習為基礎之模型502‧‧‧編碼器504‧‧‧第一影像506‧‧‧編碼器508‧‧‧第二影像510‧‧‧級聯層512‧‧‧全連接層514‧‧‧對準結果600‧‧‧端對端迴歸模型602‧‧‧影像604‧‧‧影像606‧‧‧對準結果608‧‧‧L2-損失步驟610‧‧‧地表實況對準結果612‧‧‧最小化步驟700‧‧‧影像702‧‧‧編碼器704‧‧‧以學習為基礎之特徵706‧‧‧解碼器708‧‧‧重建影像710‧‧‧L2-損失步驟712‧‧‧最小化步驟800‧‧‧用於訓練之資料池802‧‧‧用於訓練之初始取樣804‧‧‧訓練資料806‧‧‧訓練808‧‧‧測試步驟810‧‧‧測試資料812‧‧‧步驟814‧‧‧步驟816‧‧‧步驟818‧‧‧步驟900‧‧‧非暫時性電腦可讀媒體902‧‧‧程式指令904‧‧‧電腦系統
熟習技術者將藉助於較佳實施例之以下詳細描述且參考附圖來明白本發明之進一步優點，其中： 圖1係繪示如本文所描述般組態之一系統之一實施例之一側視圖的一示意圖； 圖2至圖3及圖5係繪示對準使用一以學習為基礎之模型以不同模態所獲取之一樣品之影像之實施例的流程圖； 圖4及圖6至圖7係繪示訓練本文所描述之以學習為基礎之各種模型之實施例的流程圖； 圖8係繪示更改用於訓練本文所描述之一以學習為基礎之模型實施例之一編碼器之初始訓練資料之一實施例的一流程圖；及 圖9係繪示儲存程式指令之一非暫時性電腦可讀媒體之一實施例的一方塊圖，該等程式指令用於引起一或多個電腦系統執行本文所描述之一電腦實施方法。
儘管本發明允許各種修改及替代形式，但本發明之特定實施例依舉例方式展示於圖式中且詳細描述於本文中。圖式可不按比例繪製。然而，應瞭解，圖式及其詳細描述不意欲使本發明受限於所揭示之特定形式，而是相反地，本發明意欲涵蓋落於由隨附申請專利範圍界定之本發明之精神及範疇內之所有修改、等效物及替代。
10‧‧‧光學工具
14‧‧‧樣品
16‧‧‧光源
18‧‧‧光學元件
20‧‧‧透鏡
22‧‧‧載台
24‧‧‧集光器
26‧‧‧元件
28‧‧‧偵測器
30‧‧‧集光器
32‧‧‧元件
34‧‧‧偵測器
36‧‧‧電腦子系統
100‧‧‧組件
102‧‧‧電腦子系統
104‧‧‧以學習為基礎之模型
106‧‧‧取樣模組
108‧‧‧虛擬系統
110‧‧‧其他系統
122‧‧‧電子柱/電子束工具
124‧‧‧電腦子系統
126‧‧‧電子束源
128‧‧‧樣品
130‧‧‧元件
132‧‧‧元件
134‧‧‧偵測器
136‧‧‧共同樣品處置系統/機器人樣品處置系統
138‧‧‧負載模組
140‧‧‧卡匣

Claims (25)

  1. 一種經組態以對準以不同模態所獲取之一樣品之影像之系統，該系統包括：一或多個電腦子系統，其經組態以獲取一樣品之資訊，其中該資訊包括該樣品之至少第一影像及第二影像，其中該第一影像以不同於用於獲取該第二影像之一第二模態之一第一模態獲取，且其中該第一模態及該第二模態之一者係一電子束成像系統之一模態，該電子束成像系統經組態以用於藉由導引電子至該樣品並自該樣品偵測電子以針對該樣品產生該第一影像或該第二影像；及一或多個組件，其由該一或多個電腦子系統執行，其中該一或多個組件包括一以學習為基礎之模型，其中該一或多個電腦子系統經組態以將該樣品之該資訊輸入至該以學習為基礎之模型中，其中該以學習為基礎之模型經組態以變換該等至少第一影像及第二影像之一或多者以藉此將該等至少第一影像及第二影像呈現至一共同空間中，且其中該一或多個組件經組態以使用該變換之結果來對準該等至少第一影像及第二影像。
  2. 如請求項1之系統，其中該第一模態及該第二模態產生具有不同像素大小之該第一影像及該第二影像。
  3. 如請求項1之系統，其中該第一模態及該第二模態產生具有不同頻率擴展之該第一影像及該第二影像。
  4. 如請求項1之系統，其中該第一模態及該第二模態產生具有形成於該樣品上之圖案化特徵之不同失真之該第一影像及該第二影像。
  5. 如請求項1之系統，其中該第一模態及該第二模態係相同成像系統之不同模態。
  6. 如請求項1之系統，其中該第一模態及該第二模態係相同類型之成像系統之不同模態。
  7. 如請求項1之系統，其中該第一模態及該第二模態係不同類型之成像系統之模態。
  8. 如請求項1之系統，其中該第一模態包括掃描電子顯微術，且其中該第二模態包括電腦輔助設計。
  9. 如請求項1之系統，其中該第一模態包括寬頻光學成像，且其中該第二模態包括掃描電子顯微術。
  10. 如請求項1之系統，其中該資訊進一步包含該樣品之至少一第三影像，其中該第三影像以不同於該第一模態及該第二模態之一第三模態獲取，其中該一或多個組件進一步包含一額外以學習為基礎之模型，其中該額外以學習為基礎之模型經組態以用於變換至少該第一影像、該第二影像及該第三影像之一或多者以藉此將至少該第一影像、該第二影像及該第三 影像之兩者或更多者呈現至一共同空間中，其中該一或多個組件進一步經組態以使用藉由該額外以學習為基礎之模型執行之該變換之結果來對準至少該第一影像、該第二影像及該第三影像之該兩者或更多者，其中該第一模態、該第二模態及該第三模態之一者包含寬頻光學成像，且其中該第一模態、該第二模態及該第三模態之另一者包含電腦輔助設計。
  11. 如請求項1之系統，其中該資訊進一步包含該樣品之至少一第三影像，其中該第三影像以不同於該第一模態及該第二模態之一第三模態獲取，其中該一或多個組件進一步包含一額外以學習為基礎之模型，其中該額外以學習為基礎之模型經組態以用於變換至少該第一影像、該第二影像及該第三影像之一或多者以藉此將至少該第一影像、該第二影像及該第三影像之兩者或更多者呈現至一共同空間中，其中該一或多個組件進一步經組態以使用藉由該額外以學習為基礎之模型執行之該變換之結果來對準至少該第一影像、該第二影像及該第三影像之該兩者或更多者，其中該第一模態、該第二模態及該第三模態之一者包含雷射掃描光學成像，且其中該第一模態、該第二模態及該第三模態之另一者包含寬頻光學成像。
  12. 如請求項1之系統，其中該資訊進一步包含該樣品之至少一第三影像，其中該第三影像以不同於該第一模態及該第二模態之一第三模態獲取，其中該一或多個組件進一步包含一額外以學習為基礎之模型，其中該額外以學習為基礎之模型經組態以用於變換至少該第一影像、該第二影像及該第三影像之一或多者以藉此將至少該第一影像、該第二影像及該第三影像之兩者或更多者呈現至一共同空間中，其中該一或多個組件進一步經 組態以使用藉由該額外以學習為基礎之模型執行之該變換之結果來對準至少該第一影像、該第二影像及該第三影像之該兩者或更多者，其中該第一模態、該第二模態及該第三模態之一者包含雷射掃描光學成像，且其中該第一模態、該第二模態及該第三模態之另一者包含電腦輔助設計。
  13. 如請求項1之系統，其中該資訊進一步包含該樣品之至少一第三影像，其中該第三影像以不同於該第一模態及該第二模態之一第三模態獲取，其中該一或多個組件進一步包含一額外以學習為基礎之模型，其中該額外以學習為基礎之模型經組態以用於變換至少該第一影像、該第二影像及該第三影像之一或多者以藉此將至少該第一影像、該第二影像及該第三影像之兩者或更多者呈現至一共同空間中，其中該一或多個組件進一步經組態以使用藉由該額外以學習為基礎之模型執行之該變換之結果來對準至少該第一影像、該第二影像及該第三影像之該兩者或更多者，其中該第一模態、該第二模態及該第三模態之一者包含低解析度光學成像，且其中該第一模態、該第二模態及該第三模態之另一者包含電腦輔助設計。
  14. 如請求項1之系統，其中該共同空間係一影像空間。
  15. 如請求項1之系統，其中該共同空間係一特徵空間。
  16. 如請求項1之系統，其中該一或多個組件經進一步組態以在不使用一以學習為基礎之技術之情況下執行該對準。
  17. 如請求項1之系統，其中該以學習為基礎之模型包括一迴歸模型。
  18. 如請求項17之系統，其中該迴歸模型包括一自動編碼器變體、一條件生成對抗網路或一去雜訊卷積自動編碼器。
  19. 如請求項1之系統，其中包含於該一或多個組件中之該以學習為基礎之模型經進一步組態以執行該對準。
  20. 如請求項19之系統，其中該以學習為基礎之模型包括一第一編碼器及一第二編碼器，將該第一影像輸入至該第一編碼器中以藉此產生該第一影像之以深度學習為基礎之特徵，將該第二影像輸入至該第二編碼器中以藉此產生該第二影像之以深度學習為基礎之特徵，其中該第一編碼器及該第二編碼器後接將該第一影像及該第二影像之該等以深度學習為基礎之特徵輸入至其中之一級聯層，且其中該級聯層後接經組態以執行該對準之一或多個全連接層。
  21. 如請求項20之系統，其中在訓練該以學習為基礎之整個模型之前使該第一編碼器及該第二編碼器之一或多者與該以學習為基礎之模型之其他層分開預訓練。
  22. 如請求項1之系統，其中該以學習為基礎之模型包括一編碼器，其中該一或多個組件進一步包括經組態以藉由以下操作來更改用於訓練該編碼器之初始訓練資料之一取樣模組：獲得使用該初始訓練資料來執行之訓練 該編碼器之結果；判定該樣品上之圖案化特徵之該訓練之該等結果之不同誤差，該等不同誤差具有該等圖案化特徵之一特性之不同值；比較具有該特性之該等不同值之該等圖案化特徵之該訓練之該等結果之該等不同誤差；識別該等圖案化特徵之該特性之該等不同值之一或多者，該等不同值之該一或多者對應於該等不同誤差之一或多個最大值；及將具有該等不同值之該一或多識別者之該等圖案化特徵之額外例項加入至該初始訓練資料以藉此更改該初始訓練資料，且其中經更改初始訓練資料用於重新訓練該編碼器。
  23. 如請求項1之系統，其中該一或多個組件經進一步組態以藉由以下操作來產生該對準之一分數：使用由該對準判定之對準偏移來裁剪該第一影像及第二影像；將該等經裁剪之第一影像及第二影像分別堆疊至一彩色影像之第一色彩通道及第二色彩通道中以產生一彩色重疊影像；藉由將該彩色重疊影像輸入至使用對準及未對準地表實況資料來訓練之一深度神經網路中來將該第一色彩通道及該第二色彩通道分類成對準類及未對準類；及將該分數判定為該分類之一概率。
  24. 一種非暫時性電腦可讀媒體，其儲存可在一或多個電腦系統上執行之程式指令，該等程式指令用於執行用於對準以不同模態所獲取之一樣品之影像之一電腦實施方法，其中該電腦實施方法包括：獲取一樣品之資訊，其中該資訊包含該樣品之至少第一影像及第二影像，其中該第一影像以不同於用於獲取該第二影像之一第二模態之一第一模態獲取，且其中該第一模態及該第二模態之一者係一電子束成像系統 之一模態，該電子束成像系統經組態以用於藉由導引電子至該樣品並自該樣品偵測電子以針對該樣品產生該第一影像或該第二影像；將該樣品之該資訊輸入至一以學習為基礎之模型中，其中該以學習為基礎之模型包含於由該一或多個電腦系統執行之一或多個組件中，且其中該以學習為基礎之模型經組態以變換該等至少第一影像及第二影像之一或多者以藉此將該等至少第一影像及第二影像呈現至一共同空間中；及使用該變換之結果來對準該等至少第一影像及第二影像。
  25. 一種用於對準以不同模態所獲取之一樣品之影像之電腦實施方法，其包括：獲取一樣品之資訊，其中該資訊包括該樣品之至少第一影像及第二影像，其中該第一影像以不同於用於獲取該第二影像之一第二模態之一第一模態獲取，且其中該第一模態及該第二模態之一者係一電子束成像系統之一模態，該電子束成像系統經組態以用於藉由導引電子至該樣品並自該樣品偵測電子以針對該樣品產生該第一影像或該第二影像；將該樣品之該資訊輸入至一以學習為基礎之模型中，其中該以學習為基礎之模型包含於由一或多個電腦系統執行之一或多個組件中，且其中該以學習為基礎之模型經組態以變換該等至少第一影像及第二影像之一或多者以藉此將該等至少第一影像及第二影像呈現至一共同空間中；及使用該變換之結果來對準該等至少第一影像及第二影像。
TW107115840A 2017-05-11 2018-05-10 用於對準以不同模態所獲取之影像之以學習為基礎之方法 TWI742277B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762505009P 2017-05-11 2017-05-11
US62/505,009 2017-05-11
US15/927,011 2018-03-20
US15/927,011 US10733744B2 (en) 2017-05-11 2018-03-20 Learning based approach for aligning images acquired with different modalities

Publications (2)

Publication Number Publication Date
TW201901113A TW201901113A (zh) 2019-01-01
TWI742277B true TWI742277B (zh) 2021-10-11

Family

ID=64096819

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107115840A TWI742277B (zh) 2017-05-11 2018-05-10 用於對準以不同模態所獲取之影像之以學習為基礎之方法

Country Status (5)

Country Link
US (1) US10733744B2 (zh)
KR (1) KR102321953B1 (zh)
CN (1) CN110603625B (zh)
TW (1) TWI742277B (zh)
WO (2) WO2018208871A1 (zh)

Families Citing this family (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109643640B (zh) * 2016-08-04 2021-02-12 科磊股份有限公司 在工艺中控制衬底上图案定位的方法及计算机程序产品
US11273553B2 (en) 2017-06-05 2022-03-15 Autodesk, Inc. Adapting simulation data to real-world conditions encountered by physical processes
CN111512344A (zh) * 2017-08-08 2020-08-07 西门子股份公司 使用增强用生成式对抗神经网络从cad数据生成合成深度图像
KR20200019250A (ko) * 2017-08-25 2020-02-21 후지필름 가부시키가이샤 판별기의 학습 장치, 방법 및 프로그램과, 판별기
US11263525B2 (en) 2017-10-26 2022-03-01 Nvidia Corporation Progressive modification of neural networks
US11250329B2 (en) * 2017-10-26 2022-02-15 Nvidia Corporation Progressive modification of generative adversarial neural networks
US11022966B1 (en) * 2017-12-15 2021-06-01 Synopsys, Inc. Method of modeling e-beam photomask manufacturing process using image-based artificial neural networks
CN110008790A (zh) * 2018-01-05 2019-07-12 中国移动通信有限公司研究院 一种多导联生理信号的分析方法及装置
US10460431B2 (en) * 2018-01-15 2019-10-29 Otis Elevator Company Part recognition and damage characterization using deep learning
KR102549196B1 (ko) * 2018-02-07 2023-06-30 어플라이드 머티리얼즈 이스라엘 리미티드 반도체 시편의 심층 학습 기반 검사 방법 및 그의 시스템
WO2019166447A1 (en) * 2018-03-02 2019-09-06 Koninklijke Philips N.V. Image registration qualification
US11029359B2 (en) * 2018-03-09 2021-06-08 Pdf Solutions, Inc. Failure detection and classsification using sensor data and/or measurement data
US10679333B2 (en) 2018-03-14 2020-06-09 Kla-Tencor Corporation Defect detection, classification, and process window control using scanning electron microscope metrology
US11170255B2 (en) 2018-03-21 2021-11-09 Kla-Tencor Corp. Training a machine learning model with synthetic images
US10670536B2 (en) 2018-03-28 2020-06-02 Kla-Tencor Corp. Mode selection for inspection
US10818001B2 (en) * 2018-09-07 2020-10-27 Kla-Tencor Corporation Using stochastic failure metrics in semiconductor manufacturing
JP7415922B2 (ja) * 2018-10-19 2024-01-17 ソニーグループ株式会社 情報処理方法、情報処理装置及び情報処理プログラム
US10801968B2 (en) * 2018-10-26 2020-10-13 Kla-Tencor Corporation Algorithm selector based on image frames
CN109543745B (zh) * 2018-11-20 2021-08-24 江南大学 基于条件对抗自编码网络的特征学习方法及图像识别方法
US11158069B2 (en) * 2018-12-11 2021-10-26 Siemens Healthcare Gmbh Unsupervised deformable registration for multi-modal images
US11995854B2 (en) * 2018-12-19 2024-05-28 Nvidia Corporation Mesh reconstruction using data-driven priors
JP7341874B2 (ja) * 2018-12-26 2023-09-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN109754447B (zh) * 2018-12-28 2021-06-22 上海联影智能医疗科技有限公司 图像生成方法、装置、设备和存储介质
KR102577946B1 (ko) * 2019-01-23 2023-09-14 주식회사 히타치하이테크 전자빔 관찰 장치, 전자빔 관찰 시스템, 전자빔 관찰 장치에 있어서의 화상 보정 방법 및 화상 보정을 위한 보정 계수 산출 방법
US10922808B2 (en) 2019-02-14 2021-02-16 KLA—Tencor Corp. File selection for test image to design alignment
US11928142B2 (en) * 2019-02-18 2024-03-12 Sony Group Corporation Information processing apparatus and information processing method
US11182929B2 (en) * 2019-02-25 2021-11-23 Center For Deep Learning In Electronics Manufacturing, Inc. Methods and systems for compressing shape data for electronic designs
US11263496B2 (en) * 2019-02-25 2022-03-01 D2S, Inc. Methods and systems to classify features in electronic designs
WO2020182468A1 (en) 2019-03-14 2020-09-17 Asml Netherlands B.V. Metrology method and apparatus, computer program and lithographic system
WO2020198854A1 (en) * 2019-03-29 2020-10-08 Polyvalor, Limited Partnership Method and system for producing medical images
US11704487B2 (en) * 2019-04-04 2023-07-18 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for fashion attributes extraction
CN109961490A (zh) * 2019-04-08 2019-07-02 深圳大学 剪影成像方法及装置
US10423773B1 (en) * 2019-04-12 2019-09-24 Coupang, Corp. Computerized systems and methods for determining authenticity using micro expressions
JP7278138B2 (ja) * 2019-04-18 2023-05-19 キヤノン株式会社 基板処理装置、物品製造方法、基板処理方法、基板処理システム、管理装置、およびプログラム
CN110059652B (zh) * 2019-04-24 2023-07-25 腾讯科技（深圳）有限公司 人脸图像处理方法、装置及存储介质
CN110111289B (zh) * 2019-04-28 2021-09-28 深圳市商汤科技有限公司 一种图像处理方法及装置
US11475556B2 (en) 2019-05-30 2022-10-18 Bruker Nano, Inc. Method and apparatus for rapidly classifying defects in subcomponents of manufactured component
EP3958210A4 (en) * 2019-06-03 2023-05-03 Hamamatsu Photonics K.K. SEMICONDUCTOR INSPECTION METHOD AND SEMICONDUCTOR INSPECTION DEVICE
US11880193B2 (en) 2019-07-26 2024-01-23 Kla Corporation System and method for rendering SEM images and predicting defect imaging conditions of substrates using 3D design
US10705488B1 (en) 2019-09-19 2020-07-07 Coupang Corp. Systems and methods for computer-determined efficient bagging of ordered items
JP7413105B2 (ja) * 2019-09-25 2024-01-15 株式会社日立ハイテクサイエンス 荷電粒子ビーム装置
JP7391735B2 (ja) * 2019-09-25 2023-12-05 株式会社日立ハイテクサイエンス 荷電粒子ビーム装置
JP7373340B2 (ja) * 2019-09-25 2023-11-02 キヤノン株式会社 判断装置
US11580650B2 (en) 2019-10-01 2023-02-14 KLA Corp. Multi-imaging mode image alignment
US11415531B2 (en) 2019-10-11 2022-08-16 KLA Corp. Statistical learning-based mode selection for multi-mode inspection
US11415898B2 (en) * 2019-10-14 2022-08-16 Kla Corporation Signal-domain adaptation for metrology
US11062486B2 (en) * 2019-10-21 2021-07-13 Siemens Medical Solutions Usa, Inc. Methods and apparatus for deep learning based data transfer between imaging systems
US11087449B2 (en) 2019-10-24 2021-08-10 KLA Corp. Deep learning networks for nuisance filtering
EP3889684A1 (en) * 2020-04-01 2021-10-06 ASML Netherlands B.V. Removing an artefact from an image
EP3893057A1 (en) * 2020-04-10 2021-10-13 ASML Netherlands B.V. Aligning a distorted image
US11774371B2 (en) * 2020-05-22 2023-10-03 Kla Corporation Defect size measurement using deep learning methods
US11328435B2 (en) * 2020-06-08 2022-05-10 KLA Corp. Image alignment setup for specimens with intra- and inter-specimen variations using unsupervised learning and adaptive database generation methods
TWI743837B (zh) * 2020-06-16 2021-10-21 緯創資通股份有限公司 訓練資料增量方法、電子裝置與電腦可讀取記錄媒體
US11644756B2 (en) 2020-08-07 2023-05-09 KLA Corp. 3D structure inspection or metrology using deep learning
CN112001437B (zh) * 2020-08-19 2022-06-14 四川大学 面向模态非完全对齐的数据聚类方法
WO2022058870A1 (en) * 2020-09-17 2022-03-24 Center For Deep Learning In Electronics Manufacturing, Inc. Methods and systems for registering images for electronic designs
JP7493047B2 (ja) * 2020-09-18 2024-05-30 株式会社日立ハイテク 検査システム
US20220114438A1 (en) * 2020-10-09 2022-04-14 Kla Corporation Dynamic Control Of Machine Learning Based Measurement Recipe Optimization
TWI753630B (zh) * 2020-10-13 2022-01-21 財團法人工業技術研究院 基於神經網路的分類器及分類方法
CN112347910B (zh) * 2020-11-05 2022-05-31 中国电子科技集团公司第二十九研究所 一种基于多模态深度学习的信号指纹识别方法
WO2022108912A1 (en) * 2020-11-23 2022-05-27 Subtle Medical, Inc. Automated medical image quality control system
KR20220080768A (ko) * 2020-12-07 2022-06-15 삼성전자주식회사 Opc 모델의 에러 검증 방법
JP2023553368A (ja) * 2020-12-16 2023-12-21 エーエスエムエル ネザーランズ ビー．ブイ． 荷電粒子ビーム検査システムにおけるトポロジーベースの画像レンダリング
US20220253856A1 (en) * 2021-02-11 2022-08-11 The Toronto-Dominion Bank System and method for machine learning based detection of fraud
US12020418B2 (en) * 2021-04-22 2024-06-25 Taiwan Semiconductor Manufacturing Company, Ltd. Image processing method and system, and non-transitory computer readable medium
US11983865B2 (en) 2021-05-05 2024-05-14 KLA Corp. Deep generative model-based alignment for semiconductor applications
CN113240117B (zh) * 2021-06-01 2022-11-18 大连理工大学 一种变保真度迁移学习模型建立方法
EP4364666A1 (en) * 2021-06-29 2024-05-08 FUJIFILM Corporation Image processing device, correct-answer data generation device, similar image retrieval device, image processing method, and program
KR102656662B1 (ko) 2021-07-14 2024-04-12 한국전자통신연구원 리셉티브 필드의 차이 정보를 활용한 딥러닝 기반 키포인트 검출 장치 및 방법
JP2023019700A (ja) * 2021-07-29 2023-02-09 株式会社日立ハイテク 荷電粒子線装置の撮像画像に係る条件決定方法、装置およびプログラム
US11961221B2 (en) * 2021-10-07 2024-04-16 Applied Materials Israel Ltd. Defect examination on a semiconductor specimen
DE102021213084A1 (de) 2021-11-22 2022-12-15 Carl Zeiss Smt Gmbh Verfahren zum Betreiben eines EUV-Reflektometers
WO2023110292A1 (en) * 2021-12-15 2023-06-22 Asml Netherlands B.V. Auto parameter tuning for charged particle inspection image alignment
US11886955B2 (en) 2022-02-16 2024-01-30 Protopia AI, Inc. Self-supervised data obfuscation in foundation models
WO2023232382A1 (en) * 2022-06-01 2023-12-07 Asml Netherlands B.V. System and method for distortion adjustment during inspection
TWI819669B (zh) * 2022-06-22 2023-10-21 國立成功大學 具卷積自編碼器與遷移學習之虛擬量測方法及其系統
US20240095935A1 (en) * 2022-08-22 2024-03-21 Kla Corporation Deep learning model-based alignment for semiconductor applications
CN115834890B (zh) * 2023-02-08 2023-04-28 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 一种图像压缩方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7575096B2 (en) * 2005-09-21 2009-08-18 Emcon Technologies Llc Pressed assembly for passive valve installation
US7676077B2 (en) * 2005-11-18 2010-03-09 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
TW201314174A (zh) * 2011-06-20 2013-04-01 Tokyo Electron Ltd 利用光學臨界尺寸計量之結構分析用光學參數模型之最佳化方法
TW201346214A (zh) * 2012-03-28 2013-11-16 Tokyo Electron Ltd 基於光譜靈敏度之模型優化方法
TW201622032A (zh) * 2014-10-16 2016-06-16 克萊譚克公司 多重圖案化處理之度量
TW201626478A (zh) * 2014-11-04 2016-07-16 克萊譚克公司 晶圓缺陷發現

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4199939B2 (ja) 2001-04-27 2008-12-24 株式会社日立製作所 半導体検査システム
AU2002312182A1 (en) 2001-05-30 2002-12-09 Nptest, Inc. Sub-resolution alignment of images
US20040267397A1 (en) 2003-06-27 2004-12-30 Srinivas Doddi Optical metrology of structures formed on semiconductor wafer using machine learning systems
US7570796B2 (en) 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US8698093B1 (en) 2007-01-19 2014-04-15 Kla-Tencor Corporation Objective lens with deflector plates immersed in electrostatic lens field
US8126255B2 (en) 2007-09-20 2012-02-28 Kla-Tencor Corp. Systems and methods for creating persistent data for a wafer and for using persistent data for inspection-related functions
US8664594B1 (en) 2011-04-18 2014-03-04 Kla-Tencor Corporation Electron-optical system for high-speed and high-sensitivity inspections
US8692204B2 (en) 2011-04-26 2014-04-08 Kla-Tencor Corporation Apparatus and methods for electron beam detection
US8716662B1 (en) 2012-07-16 2014-05-06 Kla-Tencor Corporation Methods and apparatus to review defects using scanning electron microscope with multiple electron beam configurations
NL2011687A (en) * 2012-12-14 2014-06-17 Asml Netherlands Bv Method of operating a lithographic apparatus, device manufacturing method and associated data processing apparatus and computer program product.
WO2014093838A2 (en) * 2012-12-14 2014-06-19 The J. David Gladstone Institutes Automated robotic microscopy systems
US9222895B2 (en) 2013-02-25 2015-12-29 Kla-Tencor Corp. Generalized virtual inspector
NL2013249A (en) 2013-08-20 2015-02-23 Asml Netherlands Bv Lithography system and a machine learning controller for such a lithography system.
US9401016B2 (en) 2014-05-12 2016-07-26 Kla-Tencor Corp. Using high resolution full die image data for inspection
US20170357911A1 (en) 2014-12-18 2017-12-14 Asml Netherlands B.V. Feature search by machine learning
US9875536B2 (en) 2015-03-31 2018-01-23 Kla-Tencor Corp. Sub-pixel and sub-resolution localization of defects on patterned wafers
US9639781B2 (en) 2015-04-10 2017-05-02 Cognex Corporation Systems and methods for classification and alignment of highly similar or self-similar patterns
CN104992432B (zh) * 2015-06-19 2017-10-20 北京邮电大学 多模图像配准方法
US10089576B2 (en) 2015-07-28 2018-10-02 Microsoft Technology Licensing, Llc Representation learning using multi-task deep neural networks
US10380728B2 (en) 2015-08-31 2019-08-13 Kla-Tencor Corporation Model-based metrology using images
US10186026B2 (en) 2015-11-17 2019-01-22 Kla-Tencor Corp. Single image detection
US9965901B2 (en) 2015-11-19 2018-05-08 KLA—Tencor Corp. Generating simulated images from design information
US11580375B2 (en) 2015-12-31 2023-02-14 Kla-Tencor Corp. Accelerated training of a machine learning based model for semiconductor applications
CN105809693B (zh) * 2016-03-10 2018-11-16 西安电子科技大学 基于深度神经网络的sar图像配准方法
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
CN106373109B (zh) * 2016-08-31 2018-10-26 南方医科大学 一种医学图像模态合成的方法
US11379688B2 (en) * 2017-03-16 2022-07-05 Packsize Llc Systems and methods for keypoint detection with convolutional neural networks
WO2018208791A1 (en) * 2017-05-08 2018-11-15 Aquifi, Inc. Systems and methods for inspection and defect detection using 3-d scanning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7575096B2 (en) * 2005-09-21 2009-08-18 Emcon Technologies Llc Pressed assembly for passive valve installation
US7676077B2 (en) * 2005-11-18 2010-03-09 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
TW201314174A (zh) * 2011-06-20 2013-04-01 Tokyo Electron Ltd 利用光學臨界尺寸計量之結構分析用光學參數模型之最佳化方法
TW201346214A (zh) * 2012-03-28 2013-11-16 Tokyo Electron Ltd 基於光譜靈敏度之模型優化方法
TW201622032A (zh) * 2014-10-16 2016-06-16 克萊譚克公司 多重圖案化處理之度量
TW201626478A (zh) * 2014-11-04 2016-07-16 克萊譚克公司 晶圓缺陷發現

Also Published As

Publication number Publication date
CN110603625A (zh) 2019-12-20
CN110603625B (zh) 2021-09-24
WO2018208869A2 (en) 2018-11-15
US20180330511A1 (en) 2018-11-15
WO2018208871A1 (en) 2018-11-15
TW201901113A (zh) 2019-01-01
US10733744B2 (en) 2020-08-04
KR20190141787A (ko) 2019-12-24
KR102321953B1 (ko) 2021-11-03
WO2018208869A3 (en) 2019-01-10

Similar Documents

Publication Publication Date Title
TWI742277B (zh) 用於對準以不同模態所獲取之影像之以學習為基礎之方法
TWI711978B (zh) 用於執行針對樣本之功能之系統及電腦實施方法，以及電腦可讀媒體
TWI734724B (zh) 針對半導體應用由低解析度影像產生高解析度影像之系統、方法及非暫時性電腦可讀媒體
JP6853273B2 (ja) ニューラルネットワークと順物理モデルを半導体用途に組み込んだシステムおよび方法
TWI773888B (zh) 訓練用於低解析度影像中之缺陷偵測之神經網路
TWI747967B (zh) 用於經組態用於半導體應用之深度學習模型之診斷系統及方法
TWI735774B (zh) 基於輪廓之缺陷偵測
TWI710763B (zh) 經組態以偵測一樣品上之缺陷之系統及用於偵測一樣品上之缺陷之電腦實施方法
TWI723168B (zh) 用於自輸入影像產生經模擬影像之系統、電腦實施方法及非暫時性電腦可讀媒體
TWI731016B (zh) 用於半導體應用之以機器學習之模型為基礎之加速訓練
TWI722050B (zh) 單一影像偵測
CN108475351B (zh) 用于训练基于机器学习的模型的系统和计算机实施方法
TW201931217A (zh) 用於缺陷偵測及分類之統一神經網路