TW201816670A - 用於經組態用於半導體應用之深度學習模型之診斷系統及方法 - Google Patents

用於經組態用於半導體應用之深度學習模型之診斷系統及方法 Download PDF

Info

Publication number
TW201816670A
TW201816670A TW106135001A TW106135001A TW201816670A TW 201816670 A TW201816670 A TW 201816670A TW 106135001 A TW106135001 A TW 106135001A TW 106135001 A TW106135001 A TW 106135001A TW 201816670 A TW201816670 A TW 201816670A
Authority
TW
Taiwan
Prior art keywords
image
deep learning
causal
learning model
portions
Prior art date
Application number
TW106135001A
Other languages
English (en)
Other versions
TWI747967B (zh
Inventor
張晶
拉維 辰德拉 杜納帕迪
馬克 勞羅
克里斯 畢海斯卡
Original Assignee
美商克萊譚克公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商克萊譚克公司 filed Critical 美商克萊譚克公司
Publication of TW201816670A publication Critical patent/TW201816670A/zh
Application granted granted Critical
Publication of TWI747967B publication Critical patent/TWI747967B/zh

Links

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/30—Structural arrangements specially adapted for testing or measuring during manufacture or treatment, or specially adapted for reliability measurements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24143—Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/12—Measuring as part of the manufacturing process for structural parameters, e.g. thickness, line width, refractive index, temperature, warp, bond strength, defects, optical inspection, electrical measurement of structural dimensions, metallurgic measurement of diffusions
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/10—Measuring as part of the manufacturing process
    • H01L22/14—Measuring as part of the manufacturing process for electrical parameters, e.g. resistance, deep-levels, CV, diffusions by electrical means
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L22/00—Testing or measuring during manufacture or treatment; Reliability measurements, i.e. testing of parts without further processing to modify the parts as such; Structural arrangements therefor
    • H01L22/20—Sequence of activities consisting of a plurality of measurements, corrections, marking or sorting steps
    • H01L22/24—Optical enhancement of defects or not directly visible states, e.g. selective electrolytic deposition, bubbles in liquids, light emission, colour change
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Manufacturing & Machinery (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

本發明提供用於執行一深度學習模型之診斷功能之方法及系統。一個系統包含由一或多個電腦子系統實行之一或多個組件。該一或多個組件包含經組態用於自由一成像工具針對一樣品產生之一影像判定資訊。該一或多個組件亦包含一診斷組件，該診斷組件經組態用於判定導致該資訊被判定之該影像之一或多個因果部分且用於基於該影像之該經判定一或多個因果部分執行一或多個功能。

Description

用於經組態用於半導體應用之深度學習模型之診斷系統及方法
本發明大體上係關於用於經組態用於半導體應用之深度學習模型之診斷方法及系統。
以下描述及實例不因其等包含於此段落中而被承認係先前技術。 製造諸如邏輯及記憶體裝置之半導體裝置通常包含使用大量半導體製造程序處理諸如一半導體晶圓之一基板以形成半導體裝置之各種特徵及多個層級。舉例而言，微影係涉及將一圖案自一倍縮光罩轉印至配置於一半導體晶圓上之一光阻劑之一半導體製造程序。半導體製造程序之額外實例包含(但不限於)化學機械拋光(CMP)、蝕刻、沈積及離子植入。多個半導體裝置可以一配置製造於一單一半導體晶圓上且接著被分成個別半導體裝置。 在一半導體製造程序期間之各個步驟使用檢測程序以偵測樣品上之缺陷以驅動製造程序中之更高良率及因此更高利潤。檢測始終係製造半導體裝置之一重要部分。然而，隨著半導體裝置之尺寸減小，檢測對於可接受半導體裝置之成功製造變得更為重要，此係因為較小缺陷可引起裝置故障。 缺陷檢視通常涉及重新偵測本身由一檢測程序偵測之缺陷及使用一高倍率光學系統或一掃描電子顯微鏡(SEM)而以一較高解析度產生關於缺陷之額外資訊。因此，在其中已由檢測偵測缺陷之樣品上之離散位置處執行缺陷檢視。由缺陷檢視產生之缺陷之較高解析度資料更適合於判定缺陷之屬性，諸如輪廓、粗糙度、更精確大小資訊等。 深度學習之進展已使深度學習成為用於缺陷偵測及分類中之一有吸引力的架構。雖然此等架構已被證明可用於缺陷分類及其他功能，但架構自身亦難以知道深度學習架構是否正確地操作。舉例而言，在缺陷分類之情況中，用於對一分類器執行品質保證之當前使用之方法包含機器學習中之經典度量，諸如準確度、混淆矩陣及對一離線測試資料集及線上/現場評估之敏感度。另外，用於執行資料擴增之當前使用之方法包含使一領域專家或一演算法專家導引有效及關鍵變換/擴增或基於物理定律及/或常識執行資料擴增。 然而，當前使用之品質保證及資料擴增方法及系統存在數個缺點。舉例而言，上文描述之當前使用之品質保證方法無法識別其中一分類器(尤其針對深度學習分類器)基於錯誤的因果特徵做出一正確預測之情境。在另一實例中，上文描述之當前使用之品質保證方法將機器學習及深度學習演算法視為一黑箱。在一額外實例中，用於執行資料擴增之當前使用之方法無法用於直接改良/校正一經不良訓練之分類器。 因此，開發用於執行一深度學習模型之診斷功能而無上文描述之一或多個缺點之系統及方法將係有利的。
各項實施例之以下描述絕不應理解為限制隨附發明申請專利範圍之標的。 一項實施例係關於一種經組態以執行一深度學習模型之診斷功能之系統。該系統包含一或多個電腦子系統及由該一或多個電腦子系統實行之一或多個組件。該一或多個組件包含一深度學習模型，該深度學習模型經組態用於自由一成像工具針對一樣品產生之一影像判定資訊。該一或多個組件亦包含一診斷組件，該診斷組件經組態用於判定導致該資訊被判定之該影像之一或多個因果部分且用於基於該影像之該經判定一或多個因果部分執行一或多個功能。可如本文中描述般進一步組態該系統。 一額外實施例係關於經組態以執行一深度學習模型之診斷功能之另一系統。如上文描述般組態此系統。此系統亦包含一成像工具，該成像工具經組態用於產生一樣品之影像。在此實施例中，(若干)電腦子系統經組態用於獲取該等影像。可如本文中描述般進一步組態該系統之此實施例。 另一實施例係關於一種用於執行一深度學習模型之診斷功能之電腦實施方法。該方法包含藉由將由一成像工具針對一樣品產生之一影像輸入至一深度學習模型而自該影像判定資訊。該方法亦包含藉由將該資訊輸入至一診斷組件而判定導致該資訊被判定之該影像之一或多個因果部分。另外，該方法包含使用該診斷組件基於該影像之該經判定一或多個因果部分執行一或多個功能。該深度學習模型及該診斷組件包含於由一或多個電腦系統實行之一或多個組件中。 可如本文中進一步描述般進一步執行上文描述之方法之各步驟。另外，上文描述之方法之實施例可包含本文中描述之(若干)任何其他方法之(若干)任何其他步驟。此外，上文描述之方法可由本文中描述之該等系統之任何者執行。 另一實施例係關於一種儲存程式指令之非暫時性電腦可讀媒體，該等程式指令可在一或多個電腦系統上實行以執行用於執行一深度學習模型之診斷功能之一電腦實施方法。該電腦實施方法包含上文描述之方法之步驟。可如本文中描述般進一步組態該電腦可讀媒體。可如本文中進一步描述般執行該電腦實施方法之步驟。另外，可針對其實行該等程式指令之電腦實施方法可包含本文中描述之(若干)任何其他方法之(若干)任何其他步驟。
如本文中互換使用之術語「設計」、「設計資料」及「設計資訊」通常係指一IC之實體設計(佈局)及透過複雜模擬或簡單幾何及布林運算自實體設計導出之資料。另外，藉由一倍縮光罩檢測系統獲取之一倍縮光罩之一影像及/或其導出物可用作用於設計之一「代理」或「若干代理」。此一倍縮光罩影像或其之一導出物可在使用一設計之本文中描述之任何實施例中充當對於設計佈局之一取代物。設計可包含2009年8月4日頒予Zafar等人之共同擁有之美國專利第7,570,796號及2010年3月9日頒予Kulkarni等人之共同擁有之美國專利第7,676,077號中描述之任何其他設計資料或設計資料代理，該兩個專利以宛如全文陳述引用之方式併入本文中。另外，設計資料可係標準單元庫資料、整合佈局資料、一或多個層之設計資料、設計資料之導出物及完全或部分晶片設計資料。 另外，本文中描述之「設計」、「設計資料」及「設計資訊」係指由半導體裝置設計者在一設計程序中產生且因此可在將設計印刷於任何實體樣品(諸如倍縮光罩及晶圓)上之前良好地用於本文中描述之實施例中之資訊及資料。 現參考圖式，應注意，圖未按比例繪製。特定言之，在很大程度上放大圖之一些元件之尺度以強調元件之特性。亦應注意，該等圖未按相同比例繪製。已使用相同元件符號指示可經類似組態之展示於一個以上圖中之元件。除非本文中另有說明，否則所描述且展示之任何元件可包含任何適合市售元件。 一項實施例係關於一種經組態以執行一深度學習模型之診斷功能之系統。本文中描述之一些實施例經組態為具有用於半導體應用(諸如檢測及度量衡)之一深度學習模型之因果理解及經導引訓練之選用視覺化能力之系統。舉例而言，本文中描述之實施例提供經組態以執行一深度學習模型之品質保證及因果理解之一系統。特定言之，如本文中進一步描述，實施例經組態用於透過若干可行方法及/或演算法產生因果資訊(例如，因果影像/向量)。另外，藉由使用因果資訊，實施例可定量地判定模型效能。此外，系統可使用由品質保證及/或因果理解獲得之資訊來執行一或多個功能，諸如提供對資料擴增之導引及/或微調程序以進一步改良深度學習模型之精確度。換言之，藉由在擴增中使用因果資訊(例如，因果影像/向量)，實施例可進一步改良深度學習模型。再者，本文中描述之實施例提供半監督式缺陷或區域偵測，其可有利地減少手動標記努力。 如本文中進一步描述，深度學習模型可藉由使用一端對端神經網路結構(諸如本文中進一步描述之神經網路結構)而執行諸如影像合成、特徵提取及分類之功能。雖然此一策略賦予深度學習模型極佳預測精確度，但其亦基本上使深度學習模型變為一黑箱(因為人類未必理解深度學習模型之內部運作)。本文中描述之實施例旨在提供用於診斷一經訓練深度學習模型之一系統且視情況使用一視覺化工具來在輸入資料中擴增及/或產生所關注區域(ROI)以用於諸如微調深度學習模型之應用。 在圖1中展示經組態以執行一深度學習模型之診斷功能之一系統之一項實施例。系統包含一或多個電腦子系統(例如，電腦子系統36及(若干)電腦子系統102)及由一或多個電腦子系統實行之一或多個組件100。在一些實施例中，系統包含經組態用於產生一樣品之影像之成像工具10。在圖1之實施例中，成像工具經組態用於使光掃描遍及樣品之一實體版本或將光引導至樣品之一實體版本同時自樣品偵測光以藉此產生樣品之影像。成像工具亦可經組態以使用多個模式執行掃描(或引導)及偵測。 在一項實施例中，樣品係一晶圓。晶圓可包含此項技術中已知之任何晶圓。在另一實施例中，樣品係一倍縮光罩。倍縮光罩可包含此項技術中已知之任何倍縮光罩。 在一項實施例中，成像工具經組態為一基於光學之成像工具。以此方式，在一些實施例中，影像由一基於光學之成像工具產生。在一個此實例中，在圖1中展示之系統之實施例中，基於光學之成像工具10包含經組態以將光引導至樣品14之一照明子系統。照明子系統包含至少一個光源。舉例而言，如圖1中展示，照明子系統包含光源16。在一項實施例中，照明子系統經組態以按可包含一或多個傾斜角及/或一或多個法向角之一或多個入射角將光引導至樣品。舉例而言，如圖1中展示，按一傾斜入射角引導來自光源16之光穿過光學元件18且接著穿過透鏡20至樣品14。傾斜入射角可包含可取決於(例如)樣品之特性而變化之任何適合傾斜入射角。 成像工具可經組態以在不同時間按不同入射角將光引導至樣品。舉例而言，成像工具可經組態以更改照明子系統之一或多個元件之一或多個特性使得可按不同於圖1中展示之一入射角將光引導至樣品。在一個此實例中，成像工具可經組組態以移動光源16、光學元件18及透鏡20使得按一不同傾斜入射角或一法向(或近法向)入射角將光引導至樣品。 在一些例項中，成像工具可經組態以在相同時間按一個以上入射角將光引導至樣品。舉例而言，照明子系統可包含一個以上照明通道，照明通道之一者可包含如圖1中展示之光源16、光學元件18及透鏡20，且照明通道之另一者(未展示)可包含可不同或相同組態之類似元件或可包含至少一光源及可能一或多個其他組件(諸如本文中進一步描述之組件)。若在與其他光相同之時間將此光引導至樣品，則按不同入射角引導至樣品之光之一或多個特性(例如，波長、偏光等)可不同，使得可在(若干)偵測器處將源自按不同入射角照明樣品之光彼此區分。 在另一例項中，照明子系統可僅包含一個光源(例如，圖1中展示之源16)且可由照明子系統之一或多個光學元件(未展示)將來自該光源之光分成不同光學路徑(例如，基於波長、偏光等)。接著，可將不同光學路徑之各者中之光引導至樣品。多個照明通道可經組態以在相同時間或不同時間(例如，當使用不同照明通道以依序照明樣品時)將光引導至樣品。在另一例項中，相同照明通道可經組態以在不同時間將具有不同特性之光引導至樣品。舉例而言，在一些例項中，光學元件18可經組態為一光譜濾波器且可以各種不同方式(例如，藉由調換出光譜濾波器)改變光譜濾波器之性質使得可在不同時間將不同波長之光引導至樣品。照明子系統可具有此項技術中已知之用於依序或同時按不同或相同入射角將具有不同或相同特性之光引導至樣品之任何其他適合組態。 在一項實施例中，光源16可包含一寬頻電漿(BBP)光源。以此方式，由光源產生且引導至樣品之光可包含寬頻光。然而，光源可包含任何其他適合光源(諸如一雷射)。雷射可包含此項技術中已知之任何適合雷射且可經組態以產生此項技術中已知之(若干)任何適合波長之光。另外，雷射可經組態以產生單色或近單色光。以此方式，雷射可係一窄頻雷射。光源亦可包含產生多個離散波長或波帶之光之一多色光源。 來自光學元件18之光可藉由透鏡20聚焦至樣品14上。雖然透鏡20在圖1中展示為一單折射光學元件，但應理解，實務上，透鏡20可包含將來自光學元件之光組合地聚焦至樣品之數個折射及/或反射光學元件。圖1中展示且本文中描述之照明子系統可包含任何其他適合光學元件(未展示)。此等光學元件之實例包含(但不限於)(若干)偏光組件、(若干)光譜濾波器、(若干)空間濾波器、(若干)反射光學元件、(若干)變跡器、(若干)束分離器、(若干)孔隙及類似者，其可包含此項技術中已知之任何此等適合光學元件。另外，成像工具可經組態以基於用於成像之照明之類型更改照明子系統之一或多個元件。 成像工具亦可包含經組態以引起光掃描遍及樣品之一掃描子系統。舉例而言，成像工具可包含在檢測期間在其上安置樣品14之載物台22。掃描子系統可包含可經組態以移動樣品使得光可掃描遍及樣品之任何適合機械及/或機器人總成(包含載物台22)。另外或替代地，成像工具可經組態使得成像工具之一或多個光學元件執行光遍及樣品之某一掃描。可以任何適合方式(諸如以一蛇形路徑或以一螺旋路徑)使光掃描遍及樣品。 成像工具進一步包含一或多個偵測通道。一或多個偵測通道之至少一者包含一偵測器，該偵測器經組態以歸因於藉由工具照明樣品而自樣品偵測光且回應於所偵測光產生輸出。舉例而言，圖1中展示之成像工具包含兩個偵測通道，一個偵測通道由集光器24、元件26及偵測器28形成且另一偵測通道由集光器30、元件32及偵測器34形成。如圖1中展示，兩個偵測通道經組態以按不同收集角收集且偵測光。在一些例項中，兩個偵測通道經組態以偵測散射光，且偵測通道經組態以偵測按不同角度自樣品散射之光。然而，一或多個偵測通道可經組態以自樣品偵測另一類型之光(例如，反射光)。 如圖1中進一步展示，兩個偵測通道經展示定位於紙平面中且照明子系統亦經展示定位於紙平面中。因此，在此實施例中，兩個偵測通道定位(例如，居中)於入射平面中。然而，一或多個偵測通道可定位於入射平面外。舉例而言，由集光器30、元件32及偵測器34形成之偵測通道可經組態以收集且偵測自入射平面散射之光。因此，此一偵測通道可通常稱為一「側」通道，且此一側通道可在實質上垂直於入射平面之一平面中居中。 雖然圖1展示包含兩個偵測通道之成像工具之一實施例，但成像工具可包含不同數目個偵測通道(例如，僅一個偵測通道或兩個或兩個以上偵測通道)。在一個此例項中，由集光器30、元件32及偵測器34形成之偵測通道可如上文描述般形成一個側通道，且成像工具可包含形成為定位於入射平面之相對側上之另一側通道之一額外偵測通道(未展示)。因此，成像工具可包含偵測通道，該偵測通道包含集光器24、元件26及偵測器28且在入射平面中居中且經組態以按法向於或接近法向於樣品表面之(若干)散射角收集且偵測光。因此，此偵測通道可通常稱為一「頂部」通道，且成像工具亦可包含如上文描述般組態之兩個或兩個以上側通道。因而，成像工具可包含至少三個通道(即，一個頂部通道及兩個側通道)，且至少三個通道之各者具有其自身之集光器，各集光器經組態以按與各其他集光器不同之散射角收集光。 如上文進一步描述，包含於成像工具中之各偵測通道可經組態以偵測散射光。因此，圖1中展示之成像工具可經組態用於樣品之暗場(DF)成像。然而，成像工具可亦或替代地包含經組態用於樣品之明場(BF)成像之(若干)偵測通道。換言之，成像工具可包含經組態以偵測自樣品鏡面反射之光之至少一個偵測通道。因此，本文中描述之成像工具可經組態用於僅DF成像、僅BF成像或DF成像及BF成像兩者。雖然在圖1中將各集光器展示為單折射光學元件，但應理解，各集光器可包含一或多個折射光學元件及/或一或多個反射光學元件。 該一或多個偵測通道可包含此項技術中已知之任何適合偵測器。舉例而言，該等偵測器可包含光電倍增管(PMT)、電荷耦合裝置(CCD)、延時積分(TDI)攝影機及此項技術中已知之任何其他適合偵測器。該等偵測器亦可包含非成像偵測器或成像偵測器。以此方式，若偵測器係非成像偵測器，則各偵測器可經組態以偵測散射光之某些特性(諸如強度)但不可經組態以偵測依據成像平面內之位置而變化之此等特性。因而，由包含於成像工具之各偵測通道中之各偵測器產生之輸出可係信號或資料，而非影像信號或影像資料。在此等例項中，一電腦子系統(諸如電腦子系統36)可經組態以自偵測器之非成像輸出產生樣品之影像。然而，在其他例項中，偵測器可經組態為經組態以產生影像信號或影像資料之成像偵測器。因此，成像工具可經組態以依數個方式產生本文中描述之影像。 應注意，本文中提供圖1以大體上繪示可包含於本文中描述之系統實施例中或可產生由本文中描述之系統實施例使用之影像之一成像工具之一組態。顯然，可更改本文中描述之成像工具組態以如在設計一商業成像工具時通常執行般最佳化成像工具之效能。另外，可使用諸如商業上可購自加利福尼亞州，米爾皮塔斯市，KLA-Tencor之29xx/39xx及Puma 9xxx系列之工具之一現有工具(例如，藉由將本文中描述之功能性添加至一現有工具)實施本文中描述之系統。對於一些此等系統，本文中描述之實施例可提供為工具之選用功能性(例如，除了工具之其他功能性之外)。替代地，可「從頭開始」設計本文中描述之成像工具以提供一全新成像工具。 成像工具之電腦子系統36可以任何適合方式(例如，經由一或多個傳輸媒體，該一或多個傳輸媒體可包含「有線」及/或「無線」傳輸媒體)耦合至成像工具之偵測器使得電腦子系統可接收由偵測器在樣品之掃描期間產生之輸出。電腦子系統36可經組態以使用偵測器之輸出執行本文中進一步描述之數個功能。 圖1中展示之電腦子系統(以及本文中描述之其他電腦子系統)在本文中亦可稱為(若干)電腦系統。本文中描述之(若干)電腦子系統或(若干)系統之各者可採取各種形式，包含一個人電腦系統、影像電腦、主機電腦系統、工作站、網路設備、網際網路設備或其他裝置。一般言之，術語「電腦系統」可經廣泛定義以涵蓋具有實行來自一記憶體媒體之指令之一或多個處理器之任何裝置。(若干)電腦子系統或(若干)系統亦可包含此項技術中已知之任何適合處理器(諸如一平行處理器)。另外，該(等)電腦子系統或該(等)系統可包含具有高速處理及軟體之一電腦平台(作為一獨立工具或一網路工具)。 若系統包含一個以上電腦子系統，則不同電腦子系統可彼此耦合使得可在如本文中進一步描述之電腦子系統之間發送影像、資料、資訊、指令等。舉例而言，電腦子系統36可藉由可包含此項技術中已知之任何適合有線及/或無線傳輸媒體之任何適合傳輸媒體耦合至(若干)電腦子系統102 (如由圖1中之虛線展示)。兩個或兩個以上此等電腦子系統亦可藉由一共用電腦可讀儲存媒體(未展示)而有效耦合。 雖然上文中將成像工具描述為一基於光學或光之成像工具，但在一些實施例中，成像工具可經組態為一基於電子束之成像工具。以此方式，在一些實施例中，影像由一基於電子束之成像工具產生。在圖2中展示之一項此實施例中，成像工具包含耦合至電腦子系統124之電子柱122。亦如圖2中展示，電子柱包含經組態以產生由一或多個元件130聚焦至樣品128之電子之電子束源126。電子束源可包含(例如)一陰極源或射極尖端，且一或多個元件130可包含(例如)一槍透鏡、一陽極、一束限制孔隙、一閘閥、一束電流選擇孔隙、一物鏡及一掃描子系統，其全部可包含此項技術中已知之任何此等適合元件。 自樣品返回之電子(例如，二次電子)可由一或多個元件132聚焦至偵測器134。一或多個元件132可包含(例如)一掃描子系統，該掃描子系統可係包含於(若干)元件130中之相同掃描子系統。 電子柱可包含此項技術中已知之任何其他適合元件。另外，可如2014年4月4日頒予Jiang等人之美國專利第8,664,594號、2014年4月8日頒予Kojima等人之美國專利第8,692,204號、2014年4月15日頒予Gubbens等人之美國專利第8,698,093號及2014年5月6日頒予MacDonald等人之美國專利第8,716,662號中所描述般進一步組態電子柱，該等專利以宛如全文陳述引用之方式併入本文中。 雖然在圖2中將電子柱展示為經組態使得電子按一傾斜入射角引導至樣品且按另一傾斜角自樣品散射，但應理解，電子束可按任何適合角度引導至樣品且自樣品散射。另外，基於電子束之成像工具可經組態以使用多個模式來產生樣品之影像(例如，具有不同照明角、收集角等)，如本文中進一步描述。基於電子束之成像工具之多個模式在成像工具之任何影像產生參數方面可係不同的。 電腦子系統124可耦合至偵測器134，如上文描述。偵測器可偵測自樣品之表面返回之電子，藉此形成樣品之電子束影像。該等電子束影像可包含任何適合電子束影像。電腦子系統124可經組態以使用由偵測器134產生之輸出針對樣品執行本文中進一步描述之一或多個功能。電腦子系統124可經組態以執行本文中描述之(若干)任何額外步驟。可如本文中描述般進一步組態包含圖2中展示之成像工具之一系統。 應注意，在本文中提供圖2以大體上繪示可包含於本文中描述之實施例中之一基於電子束之成像工具之一組態。如同上文描述之基於光學之成像工具，可更改本文中描述之基於電子束之成像工具組態以如在設計一商業成像工具時通常執行般最佳化成像工具之效能。另外，可使用諸如商業上可購自KLA-Tencor之eSxxx及eDR-xxxx系列之工具之一現有工具(例如，藉由將本文中描述之功能性添加至一現有工具)實施本文中描述之系統。對於一些此等系統，可將本文中描述之實施例提供為工具之選用功能性(例如，除了工具之其他功能性之外)。替代地，可「從頭開始」設計本文中描述之工具以提供一全新工具。 雖然上文中將成像工具描述為一基於光學或基於電子束之成像工具，但成像工具可係一基於離子束之成像工具。可如圖2中展示般組態此一成像工具，惟可使用此項技術中已知之任何適合離子束源替換電子束源除外。另外，成像工具可係任何其他適合基於離子束之成像工具，諸如包含於市售聚焦離子束(FIB)系統、氦離子顯微鏡(HIM)系統及二次離子質譜儀(SIMS)系統中之基於離子束之成像系統。 如上文提及，成像工具經組態以將能量(例如，光或電子)掃描遍及樣品之一實體版本，藉此針對樣品之實體版本產生實際影像。以此方式，成像工具可經組態為一「實際」工具而非一「虛擬」工具。舉例而言，圖1中展示之一儲存媒體(未展示)及(若干)電腦子系統102可經組態為一「虛擬」工具。特定言之，儲存媒體及(若干)電腦子系統並非成像工具10之部分且不具有處置樣品之實體版本之任何能力。換言之，在經組態為虛擬工具之工具中，其之一或多個「偵測器」之輸出可係由一實際工具之一或多個偵測器先前產生且儲存於虛擬工具中之輸出，且在「掃描」期間，虛擬工具可如同樣品正經掃描般播放儲存輸出。以此方式，使用一虛擬工具掃描樣品可看似相同於使用一實際工具掃描一實體樣品，而實際上，「掃描」僅涉及以與可掃描樣品相同之方式播放針對樣品之輸出。在共同受讓之以下專利中描述經組態為「虛擬」檢測工具之系統及方法：在2012年2月28日頒予Bhaskar等人之美國專利第8,126,255號及2015年12月29日頒予Duffy等人之美國專利第9,222,895號，該兩個專利以宛如全文陳述引用之方式併入本文中。可如此等專利中描述般進一步組態本文中描述之實施例。舉例而言，可如此等專利中描述般進一步組態本文中描述之一或多個電腦子系統。另外，可如上文引用之Duffy之專利中描述般執行將一或多個虛擬系統組態為一中央計算及儲存(CCS)系統。本文中描述之永久儲存機制可具有諸如CCS架構之分佈式計算及儲存器，但本文中描述之實施例不限於該架構。 如上文進一步提及，成像工具可經組態以使用多個模式產生樣品之影像。一般言之，一「模式」可由用於產生一樣品之影像之成像工具之參數之值或用於產生樣品之影像之輸出定義。因此，不同模式可在成像工具之至少一個成像參數之值方面不同。舉例而言，在一基於光學之成像工具之一項實施例中，多個模式之至少一者使用用於照明之光之至少一個波長，其不同於用於多個模式之至少另一者之照明之光之至少一個波長。模式可在照明波長方面不同，如本文中針對不同模式進一步描述(例如，藉由使用不同光源、不同光譜濾波器等)。在另一實施例中，多個模式之至少一者使用成像工具之一照明通道，該照明通道不同於用於多個模式之至少另一者之成像工具之一照明通道。舉例而言，如上文提及，成像工具可包含一個以上照明通道。因而，不同照明通道可用於不同模式。 在一項實施例中，成像工具經組態為一檢測工具。舉例而言，本文中描述之光學及電子束成像工具可經組態為檢測工具。以此方式，在一些實施例中，至本文中描述之深度學習模型之影像輸入由一檢測工具產生。在另一實施例中，成像工具經組態為一度量衡工具。舉例而言，本文中描述之光學及電子束成像工具可經組態為度量衡工具。特定言之，可在一或多個參數方面修改本文中描述且在圖1及圖2中展示之成像工具之實施例以取決於其將用於之應用而提供不同成像能力。在一個此實例中，圖1中展示之成像工具可經組態以在其用於度量衡而非用於檢測之情況下具有一較高解析度。換言之，圖1及圖2中展示之成像工具之實施例描述一成像工具之某些一般及各種組態，其可以將對熟習此項技術者顯而易見之數個方式定製以產生具有或多或少適合於不同應用之不同成像能力之成像工具。 該一或多個電腦子系統可經組態用於獲取由本文中描述之一成像工具產生之樣品之影像。可使用本文中描述之成像工具之一者(例如，藉由將光或一電子束引導至樣品且自樣品分別偵測光或一電子束)執行獲取影像。以此方式，可使用實體樣品自身及某種成像硬體執行獲取影像。然而，獲取影像不一定包含使用成像硬體使樣品成像。舉例而言，另一系統及/或方法可產生影像且可將經產生影像儲存於如本文中描述之一或多個儲存媒體(諸如一虛擬檢測系統)或本文中描述之另一儲存媒體中。因此，獲取影像可包含自其中已儲存影像之儲存媒體獲取影像。 由(若干)電腦子系統(例如，電腦子系統36及/或(若干)電腦子系統102)實行之(若干)組件(例如，圖1中展示之(若干)組件100)包含深度學習模型104。深度學習模型經組態用於自由一成像工具針對一樣品產生之一影像判定資訊。深度學習模型104可具有本文中進一步描述之組態之一者。 一般言之，「深度學習」(亦稱為深度結構學習、階層式學習或深度機器學習)係基於嘗試模型化資料中之高階抽象之一組演算法之機器學習之一分支。在一簡單情況中，可存在兩組神經元：接收一輸入信號之神經元及發送一輸出信號之神經元。當輸入層接收一輸入時，其將輸入之一經修改版本傳遞至下一層。在一深度網路中，輸入與輸出之間存在許多層(且層並非由神經元製成但此有助於將該等層視為由神經元製成)，從而容許演算法使用由多個線性及非線性變換構成之多個處理層。 深度學習係基於資料之學習表示之機器學習方法之一更廣泛族之部分。一觀察(例如，一影像)可以許多方式(諸如每個像素之強度值之一向量)或以一更抽象方式(如一組邊緣、特定形狀之區域等)呈現。一些表示優於其他表示之處在於，簡化學習任務(例如，面部辨識或面部表情辨識)。深度學習之一個承諾係使用有效演算法來取代手工特徵用於無監督或半監督式特徵學習及階層式特徵提取。 在此領域中之研究嘗試製成更佳之表示且產生模型以自大規模未標記資料學習此等表示。一些表示受神經科學中之進展啟發且鬆散地基於一神經系統中之資訊處理及通信型樣之解譯，諸如嘗試定義各種刺激與腦中之相關聯神經元回應之間的一關係之神經編碼。 在另一實施例中，深度學習模型係一機器學習模型。機器學習可大體上定義為對電腦提供在未經明確程式化之情況下學習之能力之一種類型之人工智慧(AI)。機器學習致力於開發可教示自身在曝露至新資料時生長及改變之電腦程式。換言之，機器學習可定義為「賦予電腦在未經明確程式化之情況下學習之能力」之電腦科學之子域。機器學習探索可自資料學習且對資料作出預測之演算法之研究及構造-此等演算法藉由透過自樣本輸入建立一模型來作出資料驅動預測或決策而克服以下嚴格靜態程式指令。 可如在Sugiyama、Morgan Kaufmann之「Introduction to Statistical Machine Learning」，2016年，第534頁；Jebara之「Discriminative, Generative, and Imitative Learning」，MIT Thesis，2002年，第212頁；及Hand等人之「Principles of Data Mining (Adaptive Computation and Machine Learning)」，MIT Press，2001年，第578頁中描述般進一步組態本文中描述之基於機器學習之模型，該等專利以宛如全文陳述引用之方式併入本文中。可如此等參考案中描述般進一步組態本文中描述之實施例。 在一些實施例中，深度學習模型係一生成模型。一「生成」模型可大體上經定義為本質上概率性之一模型。換言之，一「生成」模型並非執行前向模擬或基於規則之方法之模型。代替性地，如本文中進一步描述，可基於一適當訓練資料集學習生成模型(其中可學習其參數)。在一項實施例中，深度學習模型經組態為一深度生成模型。舉例而言，模型可經組態以具有一深度學習架構，其中模型可包含執行數個演算法或變換之多個層。 在另一實施例中，深度學習模型經組態為一神經網路。在一進一步實施例中，深度學習模型可係具有一組權重之一深度神經網路，該等權重根據已經饋送以訓練模型之資料模型化世界。神經網路可大體上經定義為基於神經單元之一相對大集合之一計算方法，其鬆散地模型化一生物腦使用藉由軸突連接之生物神經元之相對大叢集解決問題之方式。各神經單元與許多其他神經單元連接，且鏈結可強制執行或抑制其對經連接神經單元之激發狀態之效應。此等系統係自我學習且經訓練而非明確程式化且在解決方案或特徵偵測難以按一傳統電腦程式表達之領域中具有優勢。 神經網路通常由多個層構成，且信號路徑從前部橫越至後部。神經網路之目標係以與人腦相同之方式解決問題，儘管若干神經網路遠遠更加抽象。當代神經網路項目通常使用數千至數百萬神經單元及數百萬連接工作。神經網路可具有此項技術中已知之任何適當架構及/或組態。 在一項實施例中，資訊包含對於在樣品上偵測之一缺陷之一分類。在一項此實施例中，深度學習模型經組態為一AlexNet。舉例而言，一AlexNet包含其後接著數個全連接層(例如，3)之數個卷積層(例如，5)，其等組合地經組態且經訓練以對影像分類。在Krizhevsky等人之「ImageNet Classification with Deep Convolutional Neural Networks」，NIPS 2012年中描述經組態為AlexNet之神經網路之實例，該案以宛如全文陳述引用之方式併入本文中。可如此參考案中描述般進一步組態本文中描述之深度學習模型。 在另一此實施例中，深度學習模型經組態為一GoogleNet。舉例而言，一GoogleNet可包含層，諸如卷積層、匯集層及全連接層，諸如本文中進一步描述之經組態且經訓練以對影像分類之層。雖然GoogleNet架構可包含相對高數目個層(尤其相較於本文中描述之一些其他神經網路)，但一些層可並行操作，且彼此並行起作用之層群組通常稱為起始模組。其他層可循序操作。因此，GoogleNet不同於本文中描述之其他神經網路在於並非全部層以一循序結構配置。在Szegedy等人之「Going Deeper with Convolutions」， CVPR 2015年中描述經組態為GoogleNet之神經網路之實例，該案以宛如全文陳述引用之方式併入本文中。可如此參考案中描述般進一步組態本文中描述之深度學習模型。 在一進一步此實施例中，深度學習模型經組態為一VGG網路。舉例而言，藉由增加卷積層之數目同時固定架構之其他參數而建立VGG網路。藉由在全部層中使用實質上小的卷積濾波器可添加卷積層以增加深度。如同本文中描述之其他神經網路，產生且訓練VGG網路以對影像分類。VGG網路亦包含其後接著全連接層之卷積層。在Simonyan等人之「Very Deep Convolutional Networks for Large-Scale Image Recognition」，ICLR 2015年中描述經組態為VGG之神經網路之實例，該案以宛如全文陳述引用之方式併入本文中。可如此參考案中描述般進一步組態本文中描述之深度學習模型。 在一些此等實施例中，深度學習模型經組態為一深度殘餘網路。舉例而言，如同本文中描述之一些其他網路，一深度殘餘網路可包含其後接著全連接層之卷積層，其等組合地經組態且經訓練用於影像分類。在一深度殘餘網路中，層經組態以參考層輸入學習殘餘功能而非學習未引用功能。特定言之，代替希望各若干堆疊層直接擬合一所要底層映射，明確容許此等層擬合一殘餘映射，其由具有捷徑連接之前饋神經網路實現。捷徑連接係略過一或多個層之連接。可藉由獲取包含卷積層之一普通神經網路結構且插入捷徑連接而產生一深度殘餘網，其藉此獲取普通神經網路且將其轉變為其殘餘學習對應物。在He等人之「Deep Residual Learning for Image Recognition」，NIPS 2015年中描述深度殘餘網之實例，該案以宛如全文陳述引用之方式併入本文中。可如此參考案中描述般進一步組態本文中描述之深度學習模型。 在一進一步此實施例中，深度學習模型包含經組態用於對樣品上之缺陷分類之一或多個全連接層。一「全連接層」可大體上定義為其中各節點連接至先前層中之各節點之一層。(若干)全連接層可基於由(若干)卷積層提取之特徵執行分類，其可如本文中進一步描述般組態。(若干)全連接層經組態用於特徵選擇及分類。換言之，(若干)全連接層自一特徵圖選擇特徵且接著基於經選擇特徵對(若干)影像中之缺陷分類。經選擇特徵可包含特徵圖中之全部特徵(若適當)或僅特徵圖中之一些特徵。 若深度學習模型輸出對於樣品上偵測之一缺陷之一分類，則深度學習模型可輸出一影像分類，其可包含具有與各分類結果相關聯之一可信度之每一影像之一分類結果。亦可如本文中進一步描述般使用影像分類之結果。影像分類可具有任何適合格式(諸如一影像或缺陷ID、一缺陷描述，諸如「型樣」、「橋」等)。可如本文中進一步描述般儲存且使用影像分類結果。 在一些實施例中，由深度學習模型判定之資訊包含由深度學習模型提取之影像之特徵。在一項此實施例中，深度學習模型包含一或多個卷積層。(若干)卷積層可具有此項技術中已知之任何適合組態且通常經組態以藉由使用一或多個濾波器將一卷積功能應用至輸入影像而判定依據跨影像(即，一特徵圖)之位置而變化之一影像之特徵。以此方式，深度學習模型(或深度學習模型之至少一部分)可經組態為一卷積神經網路(CNN)。舉例而言，深度學習模型可經組態為用以提取局部特徵之一CNN，其通常係卷積層及匯集層之堆疊。本文中描述之實施例可利用深度學習概念(諸如一CNN)來解決通常難處理之表示反演問題。深度學習模型可具有此項技術中已知之任何CNN組態或架構。一或多個匯集層亦可具有此項技術中已知之任何適合組態(例如，最大匯集層)且通常經組態用於減少由一或多個卷積層產生之特徵圖之維數同時維持最重要的特徵。 由深度學習模型判定之特徵可包含本文中進一步描述或此項技術中已知之可自本文中描述之輸入推理(且可能用於產生本文中進一步描述之輸出之)任何適合特徵。舉例而言，特徵可包含每一像素之強度值之一向量。特徵亦可包含本文中描述之任何其他類型之特徵，例如，純量值向量、獨立分佈向量、聯合分佈或此項技術中已知之任何其他適合特徵類型。 在一進一步實施例中，資訊包含自影像產生之一模擬影像。深度學習模型可經組態以產生一模擬影像，如由Zhang等人在2017年5月25日發表之美國專利申請公開案第2017/0148226號、由Zhang等人在2017年7月6日發表之美國專利申請公開案第2017/0193680號、由Bhaskar等人在2017年7月6日發表之美國專利申請公開案第2017/0194126號、由Bhaskar等人在2017年7月13日發表之美國專利申請公開案第2017/0200260號及由Bhaskar等人在2017年7月13日發表之美國專利申請公開案第2017/0200265號及由Zhang等人在2017年5月23日申請之美國專利申請案第15/603,249號中描述，該等案以宛如全文陳述引用之方式併入本文中。可如此等公開案及申請案中描述般進一步組態本文中描述之實施例。 在另一實施例中，由深度學習模型判定之資訊包含自影像產生之一或多個分段區域。在一項此實施例中，深度學習模型包含經組態用於(基於針對影像判定之特徵)識別(若干)分段區域且產生各分段區域之定界框之一提議網路(proposal network)。可基於特徵(由深度學習模型或另一方法或系統針對影像判定)偵測分段區域以：藉此基於雜訊分離影像中之區域(例如，以分離具有雜訊的區域與安靜區域)；基於定位於其中之樣品特徵分離影像中之區域；基於輸出之幾何特性分離區域等。提議網路可使用可如本文中進一步描述般產生或判定之來自一特徵圖之特徵以基於經判定特徵偵測影像中之(若干)分段區域。提議網路可經組態以產生定界框偵測結果。以此方式，深度學習模型可輸出定界框，其等可包含與各分段區域或一個以上分段區域相關聯之一定界框。深度學習模型可使用各定界框輸出定界框位置。亦可如本文中進一步描述般儲存且使用分段區域產生之結果。 一提議網路或一「區域提議網路」可大體上定義為偵測影像中之物件且提出對應於該等經偵測物件之區域之一全卷積網路。在Ren等人之「Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks」，NIPS，2015年中描述提議網路之實例，該案以宛如全文陳述引用之方式併入本文中。可如此參考案中描述般進一步組態本文中描述之提議網路。提議網路對於在本文中描述之實施例中之使用可係有吸引力的，此係因為其等相對快速且能夠偵測具有不同大小之物件。提議網路可在由(若干)卷積層產生之一特徵圖上覆疊一滑動窗，藉此產生k個錨箱。在一特徵圖上覆疊滑動窗之結果可被輸入至提議網路之一中間層，其可經由一cls層產生2k個的數且經由一reg層產生4k個座標。 在另一實施例中，資訊包含自影像產生之一多維輸出。舉例而言，如本文中進一步描述，由深度學習模型產生之資訊可包含一或多個性質，諸如一維向量(例如，缺陷類型)或一多維輸出(諸如一二維類影像輸出，例如，一模擬影像、(若干)分段區域等)或一n維輸出。 一般言之，本文中描述之深度學習模型係一經訓練深度學習模型。舉例而言，可藉由一或多個其他系統及/或方法先前訓練針對其執行一或多個診斷功能之深度學習模型。另外，可在針對深度學習模型執行一或多個診斷功能之前藉由本文中描述之一或多項實施例訓練深度學習模型。以此方式，本文中描述之診斷功能不同於在一深度學習模型之訓練期間執行之深度學習模型特性化，其中在本文中描述之實施例中，已經產生且訓練深度學習模型且接著如本文中描述般判定模型之功能性，其接著可用於執行深度學習模型之一或多個額外功能。 一或多個組件包含經組態用於判定導致資訊被判定之影像之一或多個因果部分之一診斷組件，(例如)圖1中展示之診斷組件106。以此方式，本文中描述之實施例提供深度學習模型如何針對一特定輸入或影像產生資訊之一因果理解。另外，本文中描述之實施例提供一深度學習模型之一因果理解及保證。以下提供如本文中使用之該等術語之因果理解及因果部分之一正式定義。 至一深度學習模型之一輸入可包含以下之一組合：a)由x(h, w, c, t, …)定義之影像，其係跨其他尺寸(例如，通道c、時間t等)之具有高度= h及寬度= w之影像之一N維張量。(在半導體應用中，在不同工具條件下，x可係一光學影像、一電子束影像、一設計資料影像(例如，CAD影像)等)；及b)特徵向量v(m)，其係一1維向量(尺寸可被一般化為大於1。)。 可將一深度學習模型定義為F(y|x, v;w)之一可訓練函數，即，給定x及v之輸入及w之模型參數，F預測y之性質。預測輸出y可係作為一1維向量之一或多個性質，例如，缺陷類型。預測輸出y亦可係2維類影像輸出，例如，一模擬影像、分段區域等。另外，預測輸出y可係一n維輸出。給定一經訓練模型(即，w之參數被學習為W)，相對於自(x, v)至(x’, v’)之輸入改變之模型回應被定義為R = F(x’, v’; w=W) - F(x, v; w=W)。 一般言之，x及v之輸入具有相對高尺寸。舉例而言，給定具有128個像素之一寬度及128個像素之一高度之一輸入影像，尺寸係128 x 128。給定一經觀察回應，並非每一尺寸(即，像素)相等地貢獻於回應(例如，在缺陷偵測應用中，缺陷像素趨於比背景像素更重要，且取決於電路設計及程序條件，相鄰像素可或可不重要)。 如本文中描述般產生一深度學習模型之一因果理解係指定性且定量識別經受一經觀察回應之各輸入像素及各輸入特徵之重要性。正式地，重要性分數x被稱為一「因果影像」，且重要性分數v被稱為一「因果向量」。在因果影像及因果向量中，一正值意謂此像素/特徵積極地貢獻於回應(即，值愈高，回應愈高)；一近零值意謂像素/特徵與回應不相關；且一負值意謂像素/特徵對回應具有一負貢獻。因此，具有正值、近零值及負值之區域分別被稱為正區域、不相關區域及負區域。如本文中使用之術語「因果部分」係指上文描述之任何及全部因果理解資訊。舉例而言，因果部分可由因果影像及因果向量兩者定義。以此方式，因果部分可包含積極地貢獻於回應(或由深度學習模型判定之資訊)之一影像之(若干)部分、很大程度上與回應不相關之影像之(若干)部分、對回應具有一負貢獻之影像之(若干)部分或其等之某一組合。 給定一經訓練深度學習模型F(y|x, v;w=W)及一特定輸入或資料(x, v)，系統在正向方向上運行深度學習模型以產生預測y及/或相關輸出。相關輸出係應用特定的(例如，針對一分類任務)，相關輸出可係前N個分類結果。可建構且計算來自預定義(x0, v0)至(x, v)之模型之回應。使用本文中進一步描述之一或多個方法及/或演算法計算「因果影像」及/或因果向量。(x0, v0)之選擇係基於應用及演算法。 在一進一步實施例中，診斷組件經組態用於藉由計算一局部靈敏度而判定一或多個因果部分。舉例而言，如由Simonyan等人之「Deep inside convolutional networks: Visualizing image classification models and saliency maps」，ICLR Workshop，2014年描述，因果影像可經計算作為局部靈敏度，該案以宛如全文陳述引用之方式併入本文中，或。 可如上文之參考案中描述般進一步組態本文中描述之實施例。 在另一實施例中，診斷組件經組態用於藉由因果反向傳播而判定一或多個因果部分。舉例而言，診斷組件可執行深度學習模型之一自上而下反向傳播。在反向傳播程序中，在各層處，存在三個可用輸入：(1)來自先前層之啟動值；(2)針對此層之經訓練參數；及(3)自下一層反向傳播之因果值。一般言之，可針對各層類型(包含(但不限於)卷積層、全連接層、各種啟動層、各種匯集層等)設計一因果反向傳播函數以基於層計算及上文提及之三個輸入在輸入空間(即，尺寸)中指派逐像素因果分數。可在最高層(即，一網路之輸出層)處開始因果反向傳播或可以一方式初始化給定因果值之任何中間層。當將因果反向傳播反向傳播至最低層(即，至一網路之輸入層)時，因果權重形成影像空間中之因果影像。在因果影像中突顯之區域係引起深度學習模型做出其決策(即，判定其所做的資訊)之區域。 在一些實施例中，診斷組件經組態用於藉由使用一反卷積熱圖演算法執行之因果反向傳播判定一或多個因果部分。可將一反卷積熱圖視為因果反向傳播之一特定實施方案。舉例而言，如由Zeiler等人之「Visualizing and understanding convolutional networks」，ECCV，2014年，第818-833頁描述，可經由透過一反向傳播規則將來自深度學習模型之輸出之啟動映射回至像素/特徵(即，x及v)空間而計算因果影像，該案以宛如全文陳述引用之方式併入本文中。可如此參考案中描述般進一步組態本文中描述之實施例。 在又一實施例中，診斷組件經組態用於藉由使用一逐層相關性傳播執行之因果反向傳播判定一或多個因果部分。亦可將一逐層相關性傳播視為因果反向傳播之一特定實施方案。舉例而言，如由Samek等人在「Evaluating the visualization of what a Deep Neural Network has learned」，arXiv: 1509.06321中描述，可經由在守恆規則下反向傳播相關性而計算因果影像/向量，該案以宛如全文陳述引用之方式併入本文中。可如此參考案中描述般進一步組態本文中描述之實施例。 在一額外實施例中，診斷組件經組態用於藉由使用一深度提升演算法(deep lift algorithm)執行之因果反向傳播判定一或多個因果部分。亦可將一深度提升演算法視為因果反向傳播之一特定實施方案。舉例而言，如由Shrikumar等人在「Not Just A Black Box: Learning Important Features through propagating activation differences」，arXiv: 1605.01713中描述，可經由反向傳播一深度學習模型之啟動差異而計算因果影像/向量，該案以宛如全文陳述引用之方式併入本文中。可如此參考案中描述般進一步組態本文中描述之實施例。 在一進一步實施例中，診斷組件經組態用於藉由全域平均匯集而判定一或多個因果部分。如Lin等人在「Network In Network」，arXiv: 1312.4400中描述，引入且定義全域平均匯集(GAP)，該案以宛如全文陳述引用之方式併入本文中。GAP提供粗略像素級因果區域資訊，其可被近似地解釋為因果影像/向量。可如上文之參考案中描述般進一步組態本文中描述之實施例。 在一些額外實施例中，診斷組件經組態用於藉由計算梯度之一路徑積分而判定一或多個因果部分。與Sundararajan等人在「Axiomatic Attribution for Deep Networks」，arXiv: 1703.01365中之類似(該案以宛如全文陳述引用之方式併入本文中)，因果影像可經計算作為梯度之路徑積分，其中t係自(x, v)至(x’, v’)之一路徑，如本文中進一步論述。可如此參考案中描述般進一步組態本文中描述之實施例。 在另一實施例中，診斷組件經組態用於藉由計算一部分相依性圖而判定一或多個因果部分。部分相依性圖(PDP)由Friedman在「Greedy Function Approximation: A Gradient Boosting Machine」，The Annals of Statistics，29(5)：第1189-1232頁中介紹，該案以宛如全文陳述引用之方式併入本文中。因果影像可被計算為。 可如此參考案中描述般進一步組態本文中描述之實施例。 在一額外實施例中，診斷組件經組態用於藉由使用路徑積分計算一部分相依性圖而判定一或多個因果部分。由於在一更高尺寸上定義P(x)(或P(v))，故實務上上文之積分可係難處理的，吾人可藉由將P(x)定義為x沿著自x至x’之一路徑之概率分配而將PDP與路徑積分(PDPPI)組合。且PDPPI之公式為：。 類似地，亦可在梯度上定義PDPPI：。 診斷組件亦經組態用於基於影像之經判定一或多個因果部分執行一或多個功能。一或多個功能可包含本文中進一步描述之任何功能。 在一些實施例中，一或多個功能包含基於經判定一或多個因果部分更改深度學習模型之一或多個參數。舉例而言，診斷組件可判定一或多個因果部分是否係影像之(若干)正確因果部分，其可如本文中進一步描述般執行。若一或多個因果部分不正確，則診斷組件可經組態以微調或重新訓練深度學習模型以藉此更改深度學習模型之一或多個參數，該一或多個參數可包含本文中描述之任何參數。深度學習模型之微調或重新訓練可包含：將額外訓練影像輸入至深度學習模型；比較針對訓練影像產生之輸出與訓練影像之已知輸出(例如，(若干)缺陷分類、(若干)分段區域等)；及更改深度學習模型之一或多個參數直至由深度學習模型針對額外訓練影像產生之輸出實質上匹配額外訓練影像之已知輸出。另外，診斷組件可經組態以執行任何其他方法及/或演算法以基於經判定一或多個因果部分更改深度學習模型之一或多個參數。 在一項實施例中，一或多個功能包括判定導致資訊被判定之一或多個因果部分是否係影像之正確的一或多個因果部分。舉例而言，如本文中進一步描述，可由一使用者或若干使用者識別影像之正確的一或多個因果部分，且接著可比較正確的一或多個因果部分與經判定一或多個因果部分以判定正確的因果部分與經判定因果部分是否匹配及/或判定正確的因果部分與經判定因果部分之間之差異。亦可自另一方法或系統而非自一使用者獲取影像之(若干)正確的因果部分。舉例而言，藉由將影像輸入至具有已知可接受功能性之一不同深度學習模型，本文中描述之診斷組件可經組態或用以判定導致資訊由不同深度學習模型判定之影像之(若干)因果部分。給定不同深度學習模型之已知可接受功能性，可假定該一或多個因果部分係正確的一或多個因果部分，接著可比較正確的一或多個因果部分與由診斷組件針對深度學習模型判定之一或多個因果部分來判定深度學習模型是否識別影像之正確的一或多個因果部分。 在另一實施例中，一或多個組件包含經組態用於對一使用者顯示至少該影像、該經判定資訊及該經判定一或多個因果部分之一視覺化組件。舉例而言，藉由視覺化組件提供至一使用者之經顯示資訊/資料可包含(但不限於)輸入資料(x, v)、預測y及相關輸出、因果影像及/或因果向量(即，(若干)因果部分)、地面實況(若有)及其他相關資料及/或元資料。可使用一經訓練深度學習模型在一系統(諸如本文中進一步描述之系統)上部署視覺化組件。亦可使用此項技術中已知之任何適合圖形使用者介面(GUI)部署視覺化組件。視覺化組件可在正常運行時間模式中被停用且在診斷模式中被啟用。當啟用視覺化組件時，針對經選擇輸入資料產生且顯示因果影像。可由一或多個使用者(諸如領域專家或群眾外包)或針對區域標記之比較演算法及/或方法(若可用)檢查因果影像。以此方式，本文中描述之實施例提供一種用於藉由一深度學習模型視覺化對一特定輸入之預測之因果之方法。 圖3繪示可由本文中描述之實施例執行之一或多個步驟。除了本文中進一步描述之一或多個步驟之外，圖3亦繪示可經執行以開發或產生一深度學習模型之步驟，該等步驟可由本文中描述之實施例或由另一系統或方法執行。深度學習模型開發工作流程可包含來自成像工具300 (其可包含本文中描述之任何成像工具)之資料收集302。所收集之資料可包含本文中描述之任何成像工具之本文中進一步描述之輸出(例如，影像、影像資料等)。所收集之資料可係針對一或多個樣品，該一或多個樣品可或可不係相同類型(例如，相同類型之多個樣品或至少一者具有不同於其他者之一類型之多個樣品)。因此，資料收集302可產生原始資料304。 深度學習模型開發工作流程亦可包含資料標記306及選用資料擴增312。可基於使用者輸入308 (諸如來自一群眾或一或多個專家之輸入)執行資料標記。可以任何適合方式執行資料標記且標記可係此項技術中已知之任何適合標記。資料標記306可產生標記310。資料擴增可如本文中進一步描述般執行且可產生經處理資料314。接著，可在整合316中對標記及經處理資料進行整合(其可以任何適合方式執行)，藉此產生資料及標記318。 深度學習模型開發工作流程亦可包含資料分割320，其中將資料及標記318分成訓練資料322、驗證資料324及測試資料326。可以任何適合方式執行資料分割。舉例而言，可將資料及標記簡單地劃分為三個不同相等部分使得一些資料(及其對應標記)可用且用於訓練，一些其他資料(及其對應標記)用於驗證，且又其他資料(及其對應標記)用於測試。 可將訓練資料322輸入至模型訓練328，可以任何適合方式執行模型訓練328。舉例而言，模型訓練可包含將訓練資料輸入至深度學習模型且修改模型之一或多個參數直至模型之輸出與指派至資料之標記相同(或大體上相同)。模型訓練328可產生一或多個經訓練模型，接著可將該一或多個經訓練模型發送至模型選擇330，使用驗證資料324執行模型選擇330。可比較由各一或多個經訓練模型針對被輸入至一或多個經訓練模型之驗證資料產生之結果與指派至驗證資料之標記以判定哪一模型係最佳模型(例如，最佳模型332)。舉例而言，可將產生最緊密匹配驗證資料標記之結果之模型選擇為最佳模型。接著，可將測試資料326用於最佳模型332之模型評估334。可以任何適合方式執行模型評估。舉例而言，可將測試資料輸入至最佳模型且可比較由最佳模型針對測試資料產生之結果與測試資料之標記以判定由最佳模型產生之結果與標記匹配之緊密程度。亦可將最佳模型332發送至模型部署338，其中最佳模型可被發送至成像工具300以用於一生產或運行時間模式(訓練後模式)中。接著，可將最佳模型應用至由成像工具產生之額外影像、資料、輸出等。 亦可將模型評估結果發送至視覺化336，視覺化336可由本文中描述之一或多個系統執行且可包含判定導致資訊被判定之影像之一或多個因果部分且用於基於影像之經判定一或多個因果部分執行一或多個功能。換言之，圖3中展示之「視覺化」基本上可係診斷組件之本文中描述之功能性之任何者。在一些例項中，可經由模型部署338將自由一深度學習模型針對一樣品產生之一影像判定之資訊提供至診斷組件或視覺化336。然而，可經由模型評估334將自由一深度學習模型針對一樣品產生之一影像判定之資訊提供至診斷組件或視覺化336。 在一項此實施例中，一或多個組件包含經組態以在顯示之後自使用者接收輸入之一使用者介面組件，且基於來自使用者之輸入判定由診斷組件執行之一或多個功能。舉例而言，本文中描述之實施例容許一使用者強化待由一深度學習模型學習之正確的因果關係。在一個特定實例中，如本文中進一步描述，一或多個使用者可將輸入提供至本文中描述之關於影像輸入之(若干)正確的因果部分之實施例。接著，可將自使用者接收之(若干)正確的因果部分用於執行本文中描述之一或多個其他功能。使用者介面組件可具有可用於自使用者接收輸入之此項技術中已知之任何適合組態。 在一進一步實施例中，一或多個功能包含判定一或多個因果部分之一或多個特性及基於一或多個因果部分之一或多個特性判定樣品之額外影像是否應自成像工具收集且用於深度學習模型之額外訓練。舉例而言，可在如圖3中展示之模型評估之後添加診斷組件或視覺化336，且若對以下各者之因果保證失敗，則診斷組件或視覺化336可回落至資料收集302：a)一個類型或類別之大量樣本；及/或b)若干類型或類別之大量樣本。若選擇此路徑，則自成像工具300收集錯誤類型或分類之額外資料用於進一步訓練。舉例而言，如圖3中展示，視覺化336可將諸如針對額外資料收集之指令之輸出發送至資料收集302步驟，可使用成像工具300執行資料收集302步驟。可使用用於初始資料收集之相同樣品及/或先前未用於資料收集之不同樣品執行額外資料收集。 可或可不使用與原始資料收集相同之成像參數執行額外資料收集。舉例而言，嘗試使用更適用於產生深度學習模型之輸入資料之不同成像參數收集不同或較佳資料可係有利的。以此方式，本文中描述之實施例亦可提供一反覆回饋迴路，其中訓練且評估模型，且若無法產生且訓練一適合模型，則可使用不同成像參數產生不同成像資料直至已產生導致一經適當訓練模型被開發且訓練之適合影像或資料。涉及額外資料收集之回落路徑亦容許一領域專家及/或(若干)其他使用者強化且微調一深度學習模型以按一更精細粒度學習正確的因果關係。 在另一實施例中，一或多個功能包含判定一或多個因果部分之一或多個特性及基於一或多個因果部分之一或多個特性更改影像以藉此產生用於輸入至深度學習模型之一擴增影像。舉例而言，實施例可基於由系統自一或多個特性產生之導引擴增輸入影像。可如本文中進一步描述般執行基於(若干)因果部分之一或多個特性更改影像以藉此產生一經擴增影像。 在一額外實施例中，一或多個功能包含判定一或多個因果部分之一或多個特性及產生用於應用至輸入至深度學習模型之額外影像之一資料擴增方法。舉例而言，實施例可產生一新資料擴增方法之一或多個參數及/或基於由系統自一或多個特性產生之導引更改一現有資料擴增方法之一或多個參數以藉此產生一資料擴增方法。可將資料擴增方法應用至被輸入至針對其判定(若干)因果部分之深度學習模型之影像及/或尚未但將輸入至深度學習模型之影像。 在上文描述之實施例中，在如圖3中展示之模型評估之後可添加診斷組件或視覺化336，且若對以下各者之因果保證失敗，則診斷組件或視覺化336可回落至資料擴增312：a)一個類型或類別之數個樣本；b)模糊標記之樣本；c)屬於多個類型或類別之樣本；或其等之某一組合。若選擇此路徑，則比較因果影像(來自視覺化336或診斷組件)與經標記因果區域或部分(例如，來自領域專家或群眾外包)以產生一資料擴增方法。資料擴增方法可包含將一遮罩、函數、濾波器、演算法等應用至由成像工具產生之資料或影像。遮罩、函數、濾波器、演算法等可具有任何適合類型或格式，諸如隨機、模糊的或具有雜訊的。資料擴增方法可有利地增強影像或資料之(若干)因果部分(或積極地貢獻輸入影像或資料之部分)及/或不強調影像或資料之(若干)非因果部分(或很大程度上不相關及/或負面貢獻影像或資料之(若干)部分)。 在一個此實例中，可針對一輸入影像產生因果資訊且若因果資訊中之相關區域匹配待偵測之缺陷(在缺陷偵測或分類之情況中)，則診斷組件可判定不需要執行擴增作為正確地預測之模型。然而，若相關區域僅匹配一缺陷之部分或完全不匹配一缺陷(在缺陷偵測或分類之情況中)，則診斷組件可判定一擴增方法可係有利的且可請求來自一使用者之輸入以用於一可行擴增方法。接著，舉例而言，使用者可經由定界框、位置等指定輸入影像中之一或多個注意部分及/或一或多個忽略區域。可將此等使用者指定部分之資訊發送至擴增步驟以(例如)藉由憑藉歸零或添加雜訊而隨機擾動(若干)忽略部分及/或隨機變換(若干)注意部分而更改輸入影像。 接著，可將資料擴增方法應用至對應輸入資料以藉此產生新擴增資料。舉例而言，如圖3中展示，視覺化336可將新資料擴增方法發送至可應用至原始資料304之資料擴增312步驟。涉及資料擴增之回落路徑容許一領域專家及/或(若干)其他使用者強化且微調一深度學習模型以按一更精細粒度學習正確的因果關係。 因此，可取決於何時執行資料擴增312及基於哪一資訊執行資料擴增312而不同地執行資料擴增312。舉例而言，在一第一運行(或在在具有(若干)因果部分之資訊之前執行之運行中)中，擴增係選用的且可僅涉及執行(若干)實體變換，諸如平移、旋轉、鏡像等。然而，在(若干)隨後運行中，當因果資訊(例如，因果圖/因果向量)及可能的使用者輸入可用時，可使用由診斷組件及(選用)使用者輸入判定之因果資訊執行擴增以產生經擴增資料。 若通過因果保證，則在模型評估之後執行之視覺化步驟亦可回落至模型部署。換言之，若視覺化336未判定應收集額外資料及/或應產生及/或測試一新或經更改資料擴增方法，則可將模型部署為在運行時間或在生產中使用之一經訓練模型。 圖4繪示可由本文中描述之實施例執行之一或多個步驟。除了本文中進一步描述之一或多個步驟之外，圖4亦繪示可經執行以開發或產生一深度學習模型之步驟，該等步驟可由本文中描述之實施例或由另一系統或方法執行。深度學習模型開發工作流程可包含來自成像工具400 (其可包含本文中描述之任何成像工具)之資料收集402。所收集之資料可包含本文中描述之任何成像工具之本文中進一步描述之輸出(例如，影像、影像資料等)。所收集之資料可係針對一或多個樣品，該一或多個樣品可或可不係相同類型(例如，相同類型之多個樣品或至少一者具有不同於其他者之一類型之多個樣品)。因此，資料收集402可產生原始資料404。 深度學習模型開發工作流程亦可包含資料標記406及選用資料擴增412。可基於使用者輸入408 (諸如來自一群眾及/或一或多個專家之輸入)執行資料標記。可以任何適合方式執行資料標記且標記可係此項技術中已知之任何適合標記。資料標記406可產生標記410。資料擴增可如本文中進一步描述般執行且可產生經處理資料414。接著，可在整合416中整合標記及經處理資料 (其可以任何適合方式執行)，藉此產生資料及標記418。 深度學習模型開發工作流程亦可包含資料分割420，其中將資料及標記418分成訓練資料422及本文中描述之任何其他資料(圖4中未展示)。可以任何適合方式執行資料分割。舉例而言，可將資料及標記簡單地劃分為不同相等部分使得一些資料(及其對應標記)可用且用於訓練，且其他資料(及其對應標記)可用且用於其他目的。 可將訓練資料422輸入至模型訓練1 424，可以任何適合方式執行模型訓練1 424。舉例而言，模型訓練可包含將資料輸入至深度學習模型且修改模型之一或多個參數直至模型之輸出與指派至資料之標記相同(或大體上相同)。模型訓練1 424可產生一或多個經訓練模型，接著可將該一或多個經訓練模型發送至模型選擇426，可以任何適合方式執行模型選擇426。舉例而言，可比較由各一或多個經訓練模型產生之結果與指派至驗證資料之標記以判定哪一模型係最佳模型，例如，最佳模型1 428。舉例而言，可將產生最緊密匹配驗證資料標記之結果之模型選擇為最佳模型。接著，可將測試資料用於最佳模型1 428之模型評估430。可以任何適合方式執行模型評估。舉例而言，可將測試資料輸入至最佳模型1且比較由最佳模型1針對測試資料產生之結果與測試資料之標記以判定由最佳模型1產生之結果與標記匹配之緊密程度。亦可將最佳模型1 428發送至模型部署444，其中最佳模型1可被發送至成像工具400以用於一生產或運行時間模式(訓練後模式)中。接著，可將最佳模型1應用至由成像工具產生之額外影像、資料、輸出等。 亦可將模型評估結果發送至偵測432，偵測432可由本文中描述之一或多個系統執行且可包含判定導致資訊被判定之影像之一或多個因果部分。在一進一步實施例中，一或多個功能包含將該一或多個因果部分識別為影像中之一或多個所關注區域(ROI)且基於一或多個ROI調諧深度學習模型。舉例而言，可使用因果反向傳播或本文中描述之因果部分判定方法之另一者作為半監督式ROI偵測以較佳調諧原始深度學習模型。稱為「半監督式」之原因係最佳模型1之標記程序不需要確切地標記各物件之定界框。以此方式，可將一或多個因果部分識別且用作半監督式區域偵測資訊。換言之，本文中描述之診斷組件可在模型評估之後用作一偵測模組以自動產生(若干) ROI。換言之，(若干)因果部分指定負責輸出產生(例如，分類或預測)之重要像素或較高階特徵。因此，因果部分資訊提供像素級位置資訊。 舉例而言，如圖4中展示，偵測432可產生ROI 434，ROI 434可包含識別為ROI之任何一或多個因果部分之資訊，其可用於原始影像至候選圖塊之裁剪436以及最佳模型1之輸出(例如，分類預測)。特定言之，可裁剪原始影像以消除不對應於(若干) ROI之原始影像之(若干)部分。在一個此實例中，可將藉由裁剪436產生之(若干)經裁剪影像438輸出至資料分割420，資料分割420接著可使用經裁剪影像來產生可取代原始訓練資料之額外訓練資料422。接著可使用新訓練資料來調諧最佳模型1。舉例而言，可將新訓練資料輸入至模型訓練1 424，模型訓練1 424可用於調諧或微調最佳模型1之參數，其可將結果輸出至模型選擇426。模型選擇可產生最佳模型1 428，最佳模型1 428將係原始產生之最佳模型1之一修改版本。接著，可如上文描述般評估新最佳模型1且將其用於(若干) ROI之偵測，(若干) ROI可用於產生可用於再次重新調諧最佳模型1之又進一步訓練資料。以此方式，本文中描述之實施例提供用於基於由深度學習模型之先前版本判定之(若干) ROI反覆調諧一深度學習模型之一系統。 在一些實施例中，一或多個功能包含將一或多個因果部分識別為影像中之一或多個ROI (其可如本文中描述般執行)，且基於一或多個ROI訓練一額外深度學習模型。舉例而言，因果反向傳播或本文中描述之因果部分判定方法之另一者可用作半監督式ROI偵測以基於經裁剪影像訓練一第二「更精確」深度學習模型。稱為「半監督式」之原因係最佳模型1之標記程序不需要確切地標記各物件之定界框。如圖4中展示，舉例而言，可將經裁剪影像438提供至模型訓練2 440。可如本文中描述般執行模型訓練2，但使用與在模型訓練1 424中訓練之深度學習模型不同之一深度學習模型。模型訓練2之結果可產生最佳模型2 442，接著可將最佳模型2 442提供至模型部署444，可如本文中進一步描述般執行模型部署444。 因此，如可自本文中提供之實施例之描述可見，相較於用於評估一深度學習模型之先前使用之方法，本文中描述之實施例提供數個新及有利特徵及/或功能性。舉例而言，本文中描述之實施例實現以一系統方式將使用者知識回饋至一深度學習模型開發工作流程之一方法。另外，本文中描述之實施例實現理解深度學習模型為何經由各種演算法進行一預測之一方法。此外，本文中描述之實施例提供一深度學習模型之診斷學。本文中描述之實施例進一步提供對一經訓練深度學習模型之因果保證。再者，本文中描述之實施例提供使用者導引資料擴增及/或半監督式區域偵測及對經裁剪ROI影像之微調。 本文中描述之(若干)電腦子系統可進一步經組態用於單一影像偵測，如2017年5月18日由Karsenti等人發表之美國專利申請公開案第2017/0140524中描述，該案以宛如全文陳述引用之方式併入本文中。可如在共用擁有之以下美國專利申請公開案及由Zhang等人在2017年5月23日申請之美國專利申請案第15/603,249號中描述般進一步組態本文中描述之實施例：由Karsenti等人在2017年5月18日發表之美國專利申請公開案第2017/0140524號、由Zhang等人在2017年5月25日發表之美國專利申請公開案第2017/0148226號、由Bhaskar等人在2017年7月6日發表之美國專利申請公開案第2017/0193400號、由Zhang等人在2017年7月6日發表之美國專利申請公開案第2017/0193680號、由Bhaskar等人在2017年7月6日發表之美國專利申請公開案第2017/0194126號、由Bhaskar等人在2017年7月13日發表之美國專利申請公開案第2017/0200260號、由Park等人在2017年7月13日發表之美國專利申請公開案第2017/0200264號及由Bhaskar等人在2017年7月13日發表之美國專利申請公開案第2017/0200265號，該等案以宛如全文陳述引用之方式併入本文中。本文中描述之實施例亦可經組態以執行在此等專利申請公開案及申請案中描述之任何步驟。 一或多個電腦子系統可經組態用於產生本文中描述之一或多個步驟之結果。結果可包含本文中描述之任何結果，諸如經判定資訊、(若干)經判定因果部分、一或多個功能之結果等。結果可由(若干)電腦子系統以任何適合方式產生。結果可具有任何適合形式或格式，諸如一標準檔案類型。(若干)電腦子系統可產生結果且儲存結果使得結果可由(若干)電腦子系統及/或另一系統或方法使用以執行深度學習模型、成像工具、樣品或相同類型之另一樣品之一或多個功能。此等功能包含(但不限於)：更改諸如以一回饋方式在樣品上執行之一製造程序或步驟之一程序；更改諸如將以一回饋方式在樣品上執行之一製造程序或步驟之一程序等。 一系統之另一實施例亦經組態以執行一深度學習模型之診斷功能。系統包含經組態用於產生一樣品之影像之一成像工具。成像工具可具有本文中描述之任何組態。系統亦包含經組態用於獲取影像之一或多個電腦子系統，(例如)圖1中展示之(若干)電腦子系統102。可如本文中進一步描述般組態(若干)電腦子系統。系統亦包含由一或多個電腦子系統實行之一或多個組件(例如，(若干)組件100)，其等可包含本文中描述之(若干)組件之任何者。(若干)組件包含可如本文中描述般組態之深度學習模型104。舉例而言，深度學習模型經組態用於自由成像工具針對樣品產生之一影像判定資訊。(若干)組件亦包含診斷組件106，該診斷組件106經組態用於判定導致資訊被判定之影像之一或多個因果部分且用於基於影像之經判定一或多個因果部分執行一或多個功能。可如本文中描述般進一步組態此系統實施例。 可將上文描述之各系統之各實施例一起組合為一個單一實施例。 另一實施例係關於一種用於執行一深度學習模型之診斷功能之電腦實施方法。方法包含藉由將由一成像工具針對一樣品產生之一影像輸入至一深度學習模型而自該影像判定資訊。該方法亦包含藉由將該資訊輸入至一診斷組件而判定導致該資訊被判定之該影像之一或多個因果部分。另外，該方法包含使用該診斷組件基於該影像之該經判定一或多個因果部分執行一或多個功能。該深度學習模型及該診斷組件包含於由一或多個電腦系統實行之一或多個組件中。 可如本文中進一步描述般執行方法之各步驟。方法亦可包含可由本文中描述之系統、(若干)電腦子系統及/或成像工具執行之(若干)任何其他步驟。可根據本文中描述之任何實施例組態一或多個電腦系統及一或多個組件，例如，(若干)電腦子系統102、(若干)組件100、深度學習模型104及診斷組件106。另外，上文描述之方法可由本文中描述之任何系統實施例執行。 一額外實施例係關於一種儲存程式指令之非暫時性電腦可讀媒體，該等程式指令可在一或多個電腦系統上實行以執行用於執行一深度學習模型之診斷功能之一電腦實施方法。在圖5中展示一項此實施例。特定言之，如圖5中展示，非暫時性電腦可讀媒體500包含可在(若干)電腦系統504上實行之程式指令502。電腦實施方法可包含本文中描述之(若干)任何方法之(若干)任何步驟。 實施諸如本文中描述之方法之程式指令502可儲存於電腦可讀媒體500上。電腦可讀媒體可係一儲存媒體，諸如一磁碟或光碟、一磁帶或此項技術中已知之任何其他適合非暫時性電腦可讀媒體。 可以各種方式(包含基於程序之技術、基於組件之技術及/或物件導向技術等等)之任何者實施程式指令。舉例而言，可視需要使用ActiveX控制項、C++物件、JavaBeans、微軟基礎類別(「MFC」)、SSE (串流SIMD延伸)或其他技術或方法論實施程式指令。 可根據本文中描述之任何實施例組態(若干)電腦系統504。 鑑於此描述，熟習此項技術者將明白本發明之各種態樣之進一步修改及替代實施例。舉例而言，提供用於執行一深度學習模型之診斷功能之方法及系統。因此，此描述應僅解釋為闡釋性且係出於教示熟習此項技術者實行本發明之一般方式之目的。應理解，本文中展示及描述之本發明之形式將視為當前較佳實施例。如熟習此項技術者在獲益於本發明之此描述之後將明白，元件及材料可取代本文中繪示及描述之元件及材料，部分及程序可顛倒，且可獨立利用本發明之特定特徵。在不脫離如在以下發明申請專利範圍中描述之本發明之精神及範疇之情況下可對本文中描述之元件做出改變。
10‧‧‧成像工具
14‧‧‧樣品
16‧‧‧光源
18‧‧‧光學元件
20‧‧‧透鏡
22‧‧‧載物台
24‧‧‧集光器
26‧‧‧元件
28‧‧‧偵測器
30‧‧‧集光器
32‧‧‧元件
34‧‧‧偵測器
36‧‧‧電腦子系統
100‧‧‧組件
102‧‧‧電腦子系統
104‧‧‧深度學習模型
106‧‧‧診斷組件
122‧‧‧電子柱
124‧‧‧電腦子系統
126‧‧‧電子束源
128‧‧‧樣品
130‧‧‧元件
132‧‧‧元件
134‧‧‧偵測器
300‧‧‧成像工具
302‧‧‧資料收集
304‧‧‧原始資料
306‧‧‧資料標記
308‧‧‧使用者輸入
310‧‧‧標記
312‧‧‧選用資料擴增
314‧‧‧經處理資料
316‧‧‧整合
318‧‧‧資料及標記
320‧‧‧資料分割
322‧‧‧訓練資料
324‧‧‧驗證資料
326‧‧‧測試資料
328‧‧‧模型訓練
330‧‧‧模型選擇
332‧‧‧最佳模型
334‧‧‧模型評估
336‧‧‧視覺化
338‧‧‧模型部署
400‧‧‧成像工具
402‧‧‧資料收集
404‧‧‧原始資料
406‧‧‧資料標記
408‧‧‧使用者輸入
410‧‧‧標記
412‧‧‧選用資料擴增
414‧‧‧經處理資料
416‧‧‧整合
418‧‧‧資料及標記
420‧‧‧資料分割
422‧‧‧訓練資料
424‧‧‧模型訓練1
426‧‧‧模型選擇
428‧‧‧最佳模型1
430‧‧‧模型評估
432‧‧‧偵測
434‧‧‧所關注區域(ROI)
436‧‧‧裁剪
438‧‧‧經裁剪影像
440‧‧‧模型訓練2
442‧‧‧最佳模型2
444‧‧‧模型部署
500‧‧‧非暫時性電腦可讀媒體
502‧‧‧程式指令
504‧‧‧電腦系統
在受益於較佳實施例之以下詳細描述的情況下且在參考隨附圖式之後，熟習此項技術者將明白本發明之進一步優點，其中： 圖1及圖2係繪示如本文中描述般組態之一系統之實施例之側視圖之示意圖； 圖3及圖4係繪示可由本文中描述之系統執行之用於執行一深度學習模型之診斷功能之步驟之實施例之流程圖；及 圖5係繪示儲存用於引起一或多個電腦系統執行本文中描述之一電腦實施方法之程式指令之一非暫時性電腦可讀媒體之一項實施例之一方塊圖。 雖然本發明易於以各種修改及替代形式呈現，但本發明之特定實施例藉由圖式中之實例展示且在本文中經詳細描述。圖式可不按比例繪製。然而，應理解，圖式及其詳細描述不旨在將本發明限於所揭示之特定形式，而相反，本發明欲涵蓋落於如由隨附發明申請專利範圍界定之本發明之精神及範疇內之全部修改、等效物及替代物。

Claims (35)

  1. 一種經組態以執行一深度學習模型之診斷功能之系統，其包括： 一或多個電腦子系統；及 一或多個組件，其由該一或多個電腦子系統實行，其中該一或多個組件包括： 一深度學習模型，其經組態用於自由一成像工具針對一樣品產生之一影像判定資訊；及 一診斷組件，其經組態用於判定導致該資訊被判定之該影像之一或多個因果部分且用於基於該影像之該經判定一或多個因果部分執行一或多個功能。
  2. 如請求項1之系統，其中該資訊包括對在該樣品上偵測之一缺陷之一分類。
  3. 如請求項1之系統，其中該資訊包括由該深度學習模型提取之該影像之特徵。
  4. 如請求項1之系統，其中該資訊包括自該影像產生之一模擬影像。
  5. 如請求項1之系統，其中該資訊包括自該影像產生之一或多個分段區域。
  6. 如請求項1之系統，其中該資訊包括自該影像產生之一多維輸出。
  7. 如請求項1之系統，其中該深度學習模型係一經訓練深度學習模型。
  8. 如請求項1之系統，其中該深度學習模型進一步經組態為一神經網路。
  9. 如請求項1之系統，其中該一或多個功能包括基於該等經判定一或多個因果部分更改該深度學習模型之一或多個參數。
  10. 如請求項1之系統，其中該一或多個功能包括判定導致該資訊被判定之該一或多個因果部分是否係該影像之正確的一或多個因果部分。
  11. 如請求項1之系統，其中該一或多個組件進一步包括經組態用於對一使用者顯示至少該影像、該經判定資訊及該經判定一或多個因果部分之一視覺化組件。
  12. 如請求項11之系統，其中該一或多個組件進一步包括經組態以在該顯示之後自該使用者接收輸入之一使用者介面組件，且其中基於來自該使用者之該輸入判定由該診斷組件執行之該一或多個功能。
  13. 如請求項1之系統，其中該診斷組件進一步經組態用於藉由計算一局部靈敏度而判定該一或多個因果部分。
  14. 如請求項1之系統，其中該診斷組件進一步經組態用於藉由因果反向傳播判定該一或多個因果部分。
  15. 如請求項1之系統，其中該診斷組件進一步經組態用於藉由使用一反卷積熱圖演算法執行之因果反向傳播判定該一或多個因果部分。
  16. 如請求項1之系統，其中該診斷組件進一步經組態用於藉由使用一逐層相關性傳播執行之因果反向傳播判定該一或多個因果部分。
  17. 如請求項1之系統，其中該診斷組件進一步經組態用於藉由使用一深度提升演算法執行之因果反向傳播判定該一或多個因果部分。
  18. 如請求項1之系統，其中該診斷組件進一步經組態用於藉由全域平均匯集判定該一或多個因果部分。
  19. 如請求項1之系統，其中該診斷組件進一步經組態用於藉由計算對梯度之一路徑積分而判定該一或多個因果部分。
  20. 如請求項1之系統，其中該診斷組件進一步經組態用於藉由計算一部分相依性圖而判定該一或多個因果部分。
  21. 如請求項1之系統，其中該診斷組件進一步經組態用於藉由使用路徑積分計算一部分相依性圖而判定該一或多個因果部分。
  22. 如請求項1之系統，其中該一或多個功能包括判定該一或多個因果部分之一或多個特性及基於該一或多個因果部分之該一或多個特性判定該樣品之額外影像是否應自該成像工具收集且用於該深度學習模型之額外訓練。
  23. 如請求項1之系統，其中該一或多個功能包括判定該一或多個因果部分之一或多個特性及基於該一或多個因果部分之該一或多個特性更改該影像以藉此產生用於輸入至該深度學習模型之一擴增影像。
  24. 如請求項1之系統，其中該一或多個功能包括判定該一或多個因果部分之一或多個特性及產生用於應用至輸入至該深度學習模型之額外影像之一資料擴增方法。
  25. 如請求項1之系統，其中該一或多個功能包括將該一或多個因果部分識別為該影像中之一或多個所關注區域且基於該一或多個所關注區域調諧該深度學習模型。
  26. 如請求項1之系統，其中該一或多個功能包括將該一或多個因果部分識別為該影像中之一或多個所關注區域且基於該一或多個所關注區域訓練一額外深度學習模型。
  27. 如請求項1之系統，其中該成像工具經組態為一檢測工具。
  28. 如請求項1之系統，其中該成像工具經組態為一度量衡工具。
  29. 如請求項1之系統，其中該成像工具經組態為一基於電子束之成像工具。
  30. 如請求項1之系統，其中該成像工具經組態為一基於光學之成像工具。
  31. 如請求項1之系統，其中該樣品係一晶圓。
  32. 如請求項1之系統，其中該樣品係一倍縮光罩。
  33. 一種經組態以執行一深度學習模型之診斷功能之系統，其包括： 一成像工具，其經組態用於產生一樣品之影像； 一或多個電腦子系統，其經組態用於獲取該等影像；及 一或多個組件，其由該一或多個電腦子系統實行，其中該一或多個組件包括： 一深度學習模型，其經組態用於自由該成像工具針對該樣品產生之一影像判定資訊；及 一診斷組件，其經組態用於判定導致該資訊被判定之該影像之一或多個因果部分且用於基於該影像之該經判定一或多個因果部分執行一或多個功能。
  34. 一種儲存程式指令之非暫時性電腦可讀媒體，該等程式指令可在一或多個電腦系統上實行以執行用於執行一深度學習模型之診斷功能之一電腦實施方法，其中該電腦實施方法包括： 藉由將由一成像工具針對一樣品產生之一影像輸入至一深度學習模型而自該影像判定資訊； 藉由將該資訊輸入至一診斷組件而判定導致該資訊被判定之該影像之一或多個因果部分；及 使用該診斷組件基於該影像之該經判定一或多個因果部分執行一或多個功能，其中該深度學習模型及該診斷組件包含於由該一或多個電腦系統實行之一或多個組件中。
  35. 一種用於執行一深度學習模型之診斷功能之電腦實施方法，其包括： 藉由將由一成像工具針對一樣品產生之一影像輸入至一深度學習模型而自該影像判定資訊； 藉由將該資訊輸入至一診斷組件而判定導致該資訊被判定之該影像之一或多個因果部分；及 使用該診斷組件基於該影像之該經判定一或多個因果部分執行一或多個功能，其中該深度學習模型及該診斷組件包含於由一或多個電腦系統實行之一或多個組件中。
TW106135001A 2016-10-14 2017-10-13 用於經組態用於半導體應用之深度學習模型之診斷系統及方法 TWI747967B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662408402P 2016-10-14 2016-10-14
US62/408,402 2016-10-14
US15/694,719 2017-09-01
US15/694,719 US11580398B2 (en) 2016-10-14 2017-09-01 Diagnostic systems and methods for deep learning models configured for semiconductor applications

Publications (2)

Publication Number Publication Date
TW201816670A true TW201816670A (zh) 2018-05-01
TWI747967B TWI747967B (zh) 2021-12-01

Family

ID=61904631

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106135001A TWI747967B (zh) 2016-10-14 2017-10-13 用於經組態用於半導體應用之深度學習模型之診斷系統及方法

Country Status (8)

Country Link
US (1) US11580398B2 (zh)
JP (1) JP7049331B2 (zh)
KR (1) KR102530209B1 (zh)
CN (1) CN109844918B (zh)
IL (1) IL265742B (zh)
SG (1) SG10202104271VA (zh)
TW (1) TWI747967B (zh)
WO (1) WO2018071137A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI676939B (zh) * 2018-06-22 2019-11-11 富比庫股份有限公司 運用類神經網路進行分類之電子零件封裝分類系統
TWI681343B (zh) * 2018-12-14 2020-01-01 瑞昱半導體股份有限公司 物件追蹤系統、物件追蹤方法與非暫態電腦可讀取媒體
TWI689875B (zh) * 2018-06-29 2020-04-01 由田新技股份有限公司 利用深度學習系統的自動光學檢測分類設備及其訓練設備
TWI696148B (zh) * 2018-11-22 2020-06-11 財團法人金屬工業研究發展中心 影像分析方法、電子裝置與電腦程式產品
US10769784B2 (en) 2018-12-21 2020-09-08 Metal Industries Research & Development Centre Image analyzing method and electrical device
CN112558435A (zh) * 2019-09-25 2021-03-26 佳能株式会社 判断装置
CN112640038A (zh) * 2018-09-03 2021-04-09 首选网络株式会社 学习装置、推断装置及学习完成模型
TWI744786B (zh) * 2019-02-15 2021-11-01 日商日立全球先端科技股份有限公司 構造推定系統、構造推定程式
TWI750572B (zh) * 2020-01-30 2021-12-21 虹光精密工業股份有限公司 運用機器學習進行文件分類的文件處理系統及方法
TWI763383B (zh) * 2020-04-02 2022-05-01 荷蘭商Ａｓｍｌ荷蘭公司 用於預測與一製程相關聯之一製程度量之方法與裝置
TWI767233B (zh) * 2019-05-20 2022-06-11 美商賽諾西斯公司 用於使用基於機器學習的編碼在電子電路佈局中的圖案分類之方法、非暫時性電腦可讀媒體、及系統
TWI767142B (zh) * 2018-09-06 2022-06-11 日商東京威力科創股份有限公司 基板狀態判斷裝置、基板處理裝置、模型製作裝置及基板狀態判斷方法
TWI805868B (zh) * 2018-11-15 2023-06-21 美商科磊股份有限公司 使用以深度學習為基礎之缺陷偵測及分類方案用於像素位準影像量化
TWI833034B (zh) * 2020-04-24 2024-02-21 以色列商肯特有限公司 用於半導體晶圓中之缺陷之分類及檢測之電腦實施方法及系統、相關的運算單元以及分類半導體晶圓中之缺陷之方法
TWI848201B (zh) * 2020-03-10 2024-07-11 日商愛德萬測試股份有限公司 判定裝置、試驗系統、判定方法及記錄媒體

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10395356B2 (en) * 2016-05-25 2019-08-27 Kla-Tencor Corp. Generating simulated images from input images for semiconductor applications
US11237872B2 (en) 2017-05-23 2022-02-01 Kla-Tencor Corporation Semiconductor inspection and metrology systems for distributing job among the CPUs or GPUs based on logical image processing boundaries
US10430937B2 (en) * 2017-09-25 2019-10-01 United Technologies Corporation Automated material characterization system including conditional generative adversarial networks
EP3489892B1 (en) * 2017-11-24 2022-01-05 Ficosa Adas, S.L.U. Determining clean or dirty captured images
TWI653605B (zh) * 2017-12-25 2019-03-11 由田新技股份有限公司 利用深度學習的自動光學檢測方法、設備、電腦程式、電腦可讀取之記錄媒體及其深度學習系統
US11199506B2 (en) * 2018-02-21 2021-12-14 Applied Materials Israel Ltd. Generating a training set usable for examination of a semiconductor specimen
JP6873941B2 (ja) * 2018-03-02 2021-05-19 株式会社日立製作所 ロボット作業システム、及びロボット作業システムの制御方法
US10679333B2 (en) 2018-03-14 2020-06-09 Kla-Tencor Corporation Defect detection, classification, and process window control using scanning electron microscope metrology
KR20200123858A (ko) 2018-03-21 2020-10-30 케이엘에이 코포레이션 합성 이미지를 사용한 머신 러닝 모델 트레이닝
US10670536B2 (en) 2018-03-28 2020-06-02 Kla-Tencor Corp. Mode selection for inspection
US10713769B2 (en) 2018-06-05 2020-07-14 Kla-Tencor Corp. Active learning for defect classifier training
CN110163215B (zh) * 2018-06-08 2022-08-23 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读介质及电子设备
DE102018114005A1 (de) * 2018-06-12 2019-12-12 Carl Zeiss Jena Gmbh Materialprüfung von optischen Prüflingen
US10732130B2 (en) * 2018-06-19 2020-08-04 Kla-Tencor Corporation Embedded particle depth binning based on multiple scattering signals
CN108846841A (zh) * 2018-07-02 2018-11-20 北京百度网讯科技有限公司 显示屏质量检测方法、装置、电子设备及存储介质
EP3598474A1 (en) 2018-07-19 2020-01-22 FEI Company Adaptive specimen image acquisition using an artificial neural network
JP7161948B2 (ja) * 2018-09-07 2022-10-27 株式会社フジクラ 機械学習装置、機械学習方法、機械学習プログラム、及び検査装置
US10854486B2 (en) * 2018-09-19 2020-12-01 Kla Corporation System and method for characterization of buried defects
US10866197B2 (en) 2018-09-20 2020-12-15 KLA Corp. Dispositioning defects detected on extreme ultraviolet photomasks
US10796152B2 (en) * 2018-09-21 2020-10-06 Ancestry.Com Operations Inc. Ventral-dorsal neural networks: object detection via selective attention
KR20210052559A (ko) * 2018-09-24 2021-05-10 어플라이드 머티어리얼스, 인코포레이티드 Cmp 프로세스 제어 알고리즘에 대한 입력으로서의 기계 시각
CN109345529B (zh) * 2018-09-30 2021-09-24 福州大学 基于改进型二次目标检测网络线夹、均压环故障识别方法
EP3862749A4 (en) * 2018-10-01 2022-07-13 System Square Inc. TRAINING DATA GENERATION DEVICE AND TRAINING DATA GENERATION SYSTEM
RU2704751C1 (ru) * 2018-10-08 2019-10-30 федеральное государственное бюджетное образовательное учреждение высшего образования "Пермский национальный исследовательский политехнический университет" Способ определения параметров термомеханической обработки и химического состава функциональных материалов с помощью глубокой нейронной сети
KR102200496B1 (ko) * 2018-12-06 2021-01-08 주식회사 엘지씨엔에스 딥러닝을 이용한 이미지 인식 방법 및 서버
US11568324B2 (en) 2018-12-20 2023-01-31 Samsung Display Co., Ltd. Adversarial training method for noisy labels
CN109840552B (zh) * 2019-01-14 2020-04-10 湖北工业大学 一种动态图像分类方法
US11294162B2 (en) 2019-02-07 2022-04-05 Nanotronics Imaging, Inc. Fluorescence microscopy inspection systems, apparatus and methods with darkfield channel
US10922808B2 (en) 2019-02-14 2021-02-16 KLA—Tencor Corp. File selection for test image to design alignment
JP6749655B1 (ja) * 2019-03-19 2020-09-02 株式会社 システムスクエア 検査装置、異常検出方法、コンピュータプログラム、学習モデルの生成方法、及び学習モデル
JP6742037B1 (ja) * 2019-03-19 2020-08-19 株式会社 システムスクエア 学習モデルの生成方法、学習モデル、検査装置、異常検出方法、及びコンピュータプログラム
DE102019107694A1 (de) * 2019-03-26 2020-10-01 Homag Bohrsysteme Gmbh Verfahren zum Betrieb einer Maschine
JP6929322B2 (ja) * 2019-05-31 2021-09-01 楽天グループ株式会社 データ拡張システム、データ拡張方法、及びプログラム
CN110276754B (zh) * 2019-06-21 2021-08-20 厦门大学 一种表面缺陷检测方法、终端设备及存储介质
DE102019209976A1 (de) * 2019-07-08 2021-01-14 Krones Ag Verfahren und Vorrichtung zur Inspektion von Behältern in einem Behältermassenstrom
CN112362679B (zh) * 2019-07-23 2024-06-04 纬创资通股份有限公司 影像辨识装置、影像辨识方法及其计算机程序产品
US11880193B2 (en) 2019-07-26 2024-01-23 Kla Corporation System and method for rendering SEM images and predicting defect imaging conditions of substrates using 3D design
JP7497145B2 (ja) * 2019-08-30 2024-06-10 キヤノン株式会社 機械学習装置、機械学習方法及びプログラム、情報処理装置、放射線撮影システム
US11580650B2 (en) 2019-10-01 2023-02-14 KLA Corp. Multi-imaging mode image alignment
US11087449B2 (en) 2019-10-24 2021-08-10 KLA Corp. Deep learning networks for nuisance filtering
US11551344B2 (en) * 2019-12-09 2023-01-10 University Of Central Florida Research Foundation, Inc. Methods of artificial intelligence-assisted infrastructure assessment using mixed reality systems
US11449711B2 (en) * 2020-01-02 2022-09-20 Applied Materials Isreal Ltd. Machine learning-based defect detection of a specimen
CN110930406A (zh) * 2020-01-21 2020-03-27 北京中鼎高科自动化技术有限公司 一种基于卷积神经网络的匣钵筛分检测方法
JP7315089B2 (ja) * 2020-02-26 2023-07-26 日本電信電話株式会社 対象領域検出装置、対象領域検出方法、及び対象領域検出プログラム
TWI798655B (zh) * 2020-03-09 2023-04-11 美商奈米創尼克影像公司 缺陷偵測系統
JP6917083B1 (ja) * 2020-03-24 2021-08-11 株式会社 システムスクエア 教師データ生成装置、検査装置及びプログラム
WO2021199227A1 (ja) * 2020-03-31 2021-10-07 株式会社日立ハイテク エラー要因の推定装置及び推定方法
US11415526B2 (en) 2020-05-06 2022-08-16 Kla Corporation Multi-controller inspection system
CN111598084B (zh) * 2020-05-11 2023-06-02 北京阿丘机器人科技有限公司 缺陷分割网络训练方法、装置、设备及可读存储介质
US11769242B2 (en) 2020-05-21 2023-09-26 Kla Corporation Mode selection and defect detection training
US11967058B2 (en) 2020-06-24 2024-04-23 Kla Corporation Semiconductor overlay measurements using machine learning
WO2022005916A1 (en) 2020-06-29 2022-01-06 Applied Materials, Inc. Film thickness estimation from machine learning based processing of substrate images
US11891195B2 (en) * 2020-07-29 2024-02-06 The Boeing Company Mitigating damage to multi-layer networks
US11967060B2 (en) 2020-08-25 2024-04-23 Kla Corporation Wafer level spatial signature grouping using transfer learning
US20220101114A1 (en) * 2020-09-27 2022-03-31 Kla Corporation Interpretable deep learning-based defect detection and classification
KR102505484B1 (ko) * 2020-12-18 2023-03-03 한국공학대학교산학협력단 딥러닝 기반의 타이어 외관 결함 검출 방법 및 장치
CN112669275B (zh) * 2020-12-23 2024-09-10 中国电子技术标准化研究院 基于YOLOv3算法的PCB表面缺陷检测方法及装置
KR102527444B1 (ko) * 2021-01-28 2023-05-02 에스케이실트론 주식회사 웨이퍼 또는 단결정 잉곳의 품질평가 방법 및 장치
US20220270212A1 (en) * 2021-02-25 2022-08-25 Kla Corporation Methods for improving optical inspection and metrology image quality using chip design data
US11756186B2 (en) * 2021-09-15 2023-09-12 Mitutoyo Corporation Workpiece inspection and defect detection system utilizing color channels
US11727556B2 (en) 2021-09-29 2023-08-15 KLA Corp. Defect detection for multi-die masks
WO2023127081A1 (ja) * 2021-12-28 2023-07-06 株式会社日立ハイテク 画像検査装置、画像処理方法
JP2023183808A (ja) * 2022-06-16 2023-12-28 株式会社日立製作所 画像生成方法及び外観検査装置
US20240120221A1 (en) * 2022-10-03 2024-04-11 Kla Corporation Correcting target locations for temperature in semiconductor applications

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5520434B2 (zh) 1973-07-31 1980-06-02
JPH07222202A (ja) 1994-02-02 1995-08-18 Rohm Co Ltd 立体ビジョンカメラ
JP3476913B2 (ja) 1994-07-08 2003-12-10 オリンパス株式会社 欠陥種別判定装置及びプロセス管理システム
US7483065B2 (en) * 2004-12-15 2009-01-27 Aptina Imaging Corporation Multi-lens imaging systems and methods using optical filters having mosaic patterns
JP2006293820A (ja) 2005-04-13 2006-10-26 Sharp Corp 外観検査装置、外観検査方法およびコンピュータを外観検査装置として機能させるためのプログラム
US7676077B2 (en) 2005-11-18 2010-03-09 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US7570796B2 (en) 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US7391510B2 (en) 2006-01-26 2008-06-24 Orbotech Ltd System and method for inspecting patterned devices having microscopic conductors
US8698093B1 (en) 2007-01-19 2014-04-15 Kla-Tencor Corporation Objective lens with deflector plates immersed in electrostatic lens field
US8611639B2 (en) 2007-07-30 2013-12-17 Kla-Tencor Technologies Corp Semiconductor device property extraction, generation, visualization, and monitoring methods
US8126255B2 (en) * 2007-09-20 2012-02-28 Kla-Tencor Corp. Systems and methods for creating persistent data for a wafer and for using persistent data for inspection-related functions
US8175376B2 (en) * 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
JP5608575B2 (ja) * 2011-01-19 2014-10-15 株式会社日立ハイテクノロジーズ 画像分類方法および画像分類装置
US8664594B1 (en) 2011-04-18 2014-03-04 Kla-Tencor Corporation Electron-optical system for high-speed and high-sensitivity inspections
US8692204B2 (en) 2011-04-26 2014-04-08 Kla-Tencor Corporation Apparatus and methods for electron beam detection
US8855400B2 (en) * 2012-03-08 2014-10-07 Kla-Tencor Corporation Detection of thin lines for selective sensitivity during reticle inspection using processed images
US9715723B2 (en) 2012-04-19 2017-07-25 Applied Materials Israel Ltd Optimization of unknown defect rejection for automatic defect classification
US8716662B1 (en) 2012-07-16 2014-05-06 Kla-Tencor Corporation Methods and apparatus to review defects using scanning electron microscope with multiple electron beam configurations
US9222895B2 (en) 2013-02-25 2015-12-29 Kla-Tencor Corp. Generalized virtual inspector
US20140254922A1 (en) * 2013-03-11 2014-09-11 Microsoft Corporation Salient Object Detection in Images via Saliency
US9317781B2 (en) * 2013-03-14 2016-04-19 Microsoft Technology Licensing, Llc Multiple cluster instance learning for image classification
US9430824B2 (en) 2013-05-14 2016-08-30 Kla-Tencor Corporation Machine learning method and apparatus for inspecting reticles
US9171364B2 (en) 2013-06-21 2015-10-27 Kla-Tencor Corp. Wafer inspection using free-form care areas
US10502694B2 (en) 2013-08-06 2019-12-10 Kla-Tencor Corporation Methods and apparatus for patterned wafer characterization
TWI456190B (zh) 2013-09-16 2014-10-11 Univ Nat Chunghsing 偵測晶片影像瑕疵方法及其系統與電腦程式產品
US9293298B2 (en) 2013-12-23 2016-03-22 Kla-Tencor Corp. Defect discovery and inspection sensitivity optimization using automated classification of corresponding electron beam images
CN104834933B (zh) * 2014-02-10 2019-02-12 华为技术有限公司 一种图像显著性区域的检测方法和装置
US9324022B2 (en) 2014-03-04 2016-04-26 Signal/Sense, Inc. Classifying data with deep learning neural records incrementally refined through expert input
US9816939B2 (en) 2014-07-22 2017-11-14 Kla-Tencor Corp. Virtual inspection systems with multiple modes
US10747830B2 (en) * 2014-11-21 2020-08-18 Mesh Labs Inc. Method and system for displaying electronic information
US10012599B2 (en) * 2015-04-03 2018-07-03 Kla-Tencor Corp. Optical die to database inspection
US9665962B2 (en) * 2015-07-29 2017-05-30 Adobe Systems Incorporated Image distractor detection and processng
US10186026B2 (en) 2015-11-17 2019-01-22 Kla-Tencor Corp. Single image detection
US9965901B2 (en) 2015-11-19 2018-05-08 KLA—Tencor Corp. Generating simulated images from design information
US20170149690A1 (en) * 2015-11-20 2017-05-25 Dell Products L.P. Resource Aware Classification System
US11205119B2 (en) * 2015-12-22 2021-12-21 Applied Materials Israel Ltd. Method of deep learning-based examination of a semiconductor specimen and system thereof
US9916965B2 (en) 2015-12-31 2018-03-13 Kla-Tencor Corp. Hybrid inspectors
US11580375B2 (en) 2015-12-31 2023-02-14 Kla-Tencor Corp. Accelerated training of a machine learning based model for semiconductor applications
US10648924B2 (en) 2016-01-04 2020-05-12 Kla-Tencor Corp. Generating high resolution images from low resolution images for semiconductor applications
US10043261B2 (en) 2016-01-11 2018-08-07 Kla-Tencor Corp. Generating simulated output for a specimen
US10181185B2 (en) 2016-01-11 2019-01-15 Kla-Tencor Corp. Image based specimen process control
US10360477B2 (en) 2016-01-11 2019-07-23 Kla-Tencor Corp. Accelerating semiconductor-related computations using learning based models
CN105719291A (zh) 2016-01-20 2016-06-29 江苏省沙钢钢铁研究院有限公司 品种可选择的表面缺陷图像分类系统
US9830529B2 (en) * 2016-04-26 2017-11-28 Xerox Corporation End-to-end saliency mapping via probability distribution prediction
US10223615B2 (en) * 2016-08-23 2019-03-05 Dongfang Jingyuan Electron Limited Learning based defect classification

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI676939B (zh) * 2018-06-22 2019-11-11 富比庫股份有限公司 運用類神經網路進行分類之電子零件封裝分類系統
TWI689875B (zh) * 2018-06-29 2020-04-01 由田新技股份有限公司 利用深度學習系統的自動光學檢測分類設備及其訓練設備
TWI803690B (zh) * 2018-09-03 2023-06-01 日商首選網絡股份有限公司 推估方法、推估裝置、模型之產生方法及學習裝置
CN112640038A (zh) * 2018-09-03 2021-04-09 首选网络株式会社 学习装置、推断装置及学习完成模型
US11598007B2 (en) 2018-09-06 2023-03-07 Tokyo Electron Limited Substrate state determining apparatus, substrate processing apparatus, model generating apparatus, and substrate state determining method
TWI767142B (zh) * 2018-09-06 2022-06-11 日商東京威力科創股份有限公司 基板狀態判斷裝置、基板處理裝置、模型製作裝置及基板狀態判斷方法
TWI805868B (zh) * 2018-11-15 2023-06-21 美商科磊股份有限公司 使用以深度學習為基礎之缺陷偵測及分類方案用於像素位準影像量化
TWI696148B (zh) * 2018-11-22 2020-06-11 財團法人金屬工業研究發展中心 影像分析方法、電子裝置與電腦程式產品
TWI681343B (zh) * 2018-12-14 2020-01-01 瑞昱半導體股份有限公司 物件追蹤系統、物件追蹤方法與非暫態電腦可讀取媒體
US10769784B2 (en) 2018-12-21 2020-09-08 Metal Industries Research & Development Centre Image analyzing method and electrical device
TWI830467B (zh) * 2019-02-15 2024-01-21 日商日立全球先端科技股份有限公司 構造推定系統、構造推定程式
TWI744786B (zh) * 2019-02-15 2021-11-01 日商日立全球先端科技股份有限公司 構造推定系統、構造推定程式
TWI785824B (zh) * 2019-02-15 2022-12-01 日商日立全球先端科技股份有限公司 構造推定系統、構造推定程式
TWI767233B (zh) * 2019-05-20 2022-06-11 美商賽諾西斯公司 用於使用基於機器學習的編碼在電子電路佈局中的圖案分類之方法、非暫時性電腦可讀媒體、及系統
US11663485B2 (en) 2019-05-20 2023-05-30 Synopsys, Inc. Classification of patterns in an electronic circuit layout using machine learning based encoding
CN112558435A (zh) * 2019-09-25 2021-03-26 佳能株式会社 判断装置
TWI829962B (zh) * 2019-09-25 2024-01-21 日商佳能股份有限公司 判斷裝置、基板處理裝置、物品的製造方法、基板處理系統、判斷方法及電腦可讀取記錄媒體
CN112558435B (zh) * 2019-09-25 2024-05-28 佳能株式会社 判断装置
TWI750572B (zh) * 2020-01-30 2021-12-21 虹光精密工業股份有限公司 運用機器學習進行文件分類的文件處理系統及方法
TWI848201B (zh) * 2020-03-10 2024-07-11 日商愛德萬測試股份有限公司 判定裝置、試驗系統、判定方法及記錄媒體
TWI763383B (zh) * 2020-04-02 2022-05-01 荷蘭商Ａｓｍｌ荷蘭公司 用於預測與一製程相關聯之一製程度量之方法與裝置
TWI833034B (zh) * 2020-04-24 2024-02-21 以色列商肯特有限公司 用於半導體晶圓中之缺陷之分類及檢測之電腦實施方法及系統、相關的運算單元以及分類半導體晶圓中之缺陷之方法
US12020417B2 (en) 2020-04-24 2024-06-25 Camtek Ltd. Method and system for classifying defects in wafer using wafer-defect images, based on deep learning

Also Published As

Publication number Publication date
KR20190072569A (ko) 2019-06-25
KR102530209B1 (ko) 2023-05-08
IL265742B (en) 2022-04-01
WO2018071137A1 (en) 2018-04-19
IL265742A (en) 2019-06-30
CN109844918B (zh) 2023-06-20
TWI747967B (zh) 2021-12-01
US11580398B2 (en) 2023-02-14
US20180107928A1 (en) 2018-04-19
CN109844918A (zh) 2019-06-04
JP2019537839A (ja) 2019-12-26
SG10202104271VA (en) 2021-06-29
JP7049331B2 (ja) 2022-04-06

Similar Documents

Publication Publication Date Title
TWI747967B (zh) 用於經組態用於半導體應用之深度學習模型之診斷系統及方法
CN111094952B (zh) 使用统一神经网络进行缺陷检测及分类的方法及系统
US10733744B2 (en) Learning based approach for aligning images acquired with different modalities
CN110494894B (zh) 基于轮廓的缺陷检测
CN108475350B (zh) 使用基于学习的模型加速半导体缺陷检测的方法和系统
CN108475351B (zh) 用于训练基于机器学习的模型的系统和计算机实施方法
TWI731016B (zh) 用於半導體應用之以機器學習之模型為基礎之加速訓練
KR102372147B1 (ko) 학습 기반 결함 분류기의 트레이닝
CN109313724B (zh) 针对半导体应用并入神经网络及前向物理模型的系统及方法
US20200327654A1 (en) Learnable defect detection for semiconductor applications
TW201800983A (zh) 針對半導體應用自輸入影像產生經模擬影像
TWI844784B (zh) 偵測缺陷之系統、非暫時性電腦可讀媒體、及偵測缺陷之電腦實施方法