TW201931217A - 用於缺陷偵測及分類之統一神經網路 - Google Patents

用於缺陷偵測及分類之統一神經網路 Download PDF

Info

Publication number
TW201931217A
TW201931217A TW107130777A TW107130777A TW201931217A TW 201931217 A TW201931217 A TW 201931217A TW 107130777 A TW107130777 A TW 107130777A TW 107130777 A TW107130777 A TW 107130777A TW 201931217 A TW201931217 A TW 201931217A
Authority
TW
Taiwan
Prior art keywords
sample
neural network
images
defects
image
Prior art date
Application number
TW107130777A
Other languages
English (en)
Other versions
TWI761586B (zh
Inventor
賀力
摩漢 馬哈迪文
桑卡 梵卡泰若曼
應華俊
海東 楊
Original Assignee
美商克萊譚克公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商克萊譚克公司 filed Critical 美商克萊譚克公司
Publication of TW201931217A publication Critical patent/TW201931217A/zh
Application granted granted Critical
Publication of TWI761586B publication Critical patent/TWI761586B/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/22—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material
    • G01N23/225—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion
    • G01N23/2251—Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by measuring secondary emission from the material using electron or ion using incident electron beams, e.g. scanning electron microscopy [SEM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/0006—Industrial image inspection using a design-rule based approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Analytical Chemistry (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

本發明提供用於偵測一樣品上之缺陷且對該等缺陷進行分類之方法及系統。一種系統包含由一或多個電腦子系統執行之一或多個組件。該一或多個組件包含一神經網路，該神經網路經組態以偵測一樣品上之缺陷且對在該樣品上偵測到的該等缺陷進行分類。該神經網路包含一第一部分，該第一部分經組態以判定由一成像子系統產生之該樣品之影像之特徵。該神經網路亦包含一第二部分，該第二部分經組態以基於該等影像之該等經判定特徵偵測該樣品上之缺陷，且基於該等影像之該等經判定特徵對在該樣品上偵測到的該等缺陷進行分類。

Description

用於缺陷偵測及分類之統一神經網路
本發明大體上係關於經組態以使用一統一神經網路用於缺陷偵測及分類之方法及系統。
以下描述及實例並不憑藉其等包含於此章節中而被認為是先前技術。
製作半導體裝置(諸如邏輯及記憶體裝置)通常包含使用大量半導體製作程序處理一基板(諸如一半導體晶圓)以形成半導體裝置之各種特徵及多個層級。例如，微影係涉及將一圖案自一光罩轉印至配置於一半導體晶圓上之一光阻劑的一半導體製作程序。半導體製作程序之額外實例包含但不限於化學機械拋光(CMP)、蝕刻、沈積及離子植入。多個半導體裝置可製作於一單一半導體晶圓上之一配置中且接著分離成個別半導體裝置。
在一半導體製程期間之各個步驟使用檢測程序來偵測樣品上之缺陷以推動製程之較高良率及因此較高收益。檢測始終為製作半導體裝置之一重要部分。然而，隨著半導體裝置尺寸之減小，檢測對於可接受半導體裝置之成功製造變得更加重要，此係因為較小缺陷可引起裝置失效。
缺陷檢視通常涉及使用一高放大率光學系統或一掃描電子顯微鏡(SEM)以一較高解析度再次偵測本身由一檢測程序偵測到的缺陷且產生關於該等缺陷之額外資訊。因此，缺陷檢視係在樣品上已藉由檢測偵測到缺陷之處之離散位置處執行。藉由缺陷檢視針對缺陷產生之較高解析度資料更適於判定缺陷之屬性，諸如輪廓、粗糙度、更準確大小資訊等。與檢測相比，基於藉由缺陷檢視判定之資訊通常可將缺陷更準確地分類成若干缺陷類型。
深度學習之進展已使深度學習成為用於缺陷偵測及分類之一有吸引力的框架。使用深度學習框架用於缺陷偵測及分類之當前方法已獨立地解決此等問題之各者。例如，針對分類，在訓練時，一使用者可將影像級標籤指派給缺陷影像。使用影像級標籤及缺陷影像來訓練一卷積神經網路(CNN)。在生產期間(在訓練之後)，在將缺陷影像作為至CNN之一輸入之情況下，CNN將輸出影像分類及與影像分類相關聯之可信度。另外，針對偵測，一使用者可將像素級標籤指派給缺陷影像(通常多個類別之缺陷影像)。使用像素級標籤及缺陷影像來訓練不同於經訓練用於缺陷分類之CNN的一偵測CNN。換言之，偵測CNN及分類CNN相互排斥。可使用來自偵測CNN之輸出(斑塊(blob))及斑塊級標籤來訓練分類CNN。在生產期間(在訓練偵測CNN之後)，將缺陷影像輸入至偵測CNN，偵測CNN輸出斑塊，且分類CNN按斑塊輸出分類及相關聯可信度。
然而，上文描述之當前所使用方法及系統存在若干缺點。例如，當前所使用方法之易用性係不利的。特定言之，使用者在像素級注釋缺陷以供偵測網路學習具有一顯著高負擔。另外，歸因於三個網路之實質上長訓練時間及訓練缺陷要求，存在一實質上高訓練成本。在另一實例中，當前所使用方法之缺乏知識共享係不利的。特定言之，在當前所使用方法中，難以使用先前知識。例如，使用者需要注釋實質上大量先前資料之像素以針對一網路獲得預訓練權重。另外，當前所使用方法需要針對用於分類及偵測之不同網路獲得各別預訓練權重。此外，當前所使用方法為最大效能並未針對偵測取得在分類網路中學習之內容。在一額外實例中，當前所使用框架將偵測及分類作為單獨問題處理，藉此增加訓練成本。在又一實例中，當前所使用方法難以隨著全球深度學習路線圖之發展而擴展至更新穎技術。在又一實例中，當前所使用方法之成本係不利的。特定言之，影像電腦成本歸因於分離訓練程序而實質上高。
因此，發展出不具有上述缺點之一或多者之用於偵測一樣品上之缺陷且對該等缺陷進行分類的系統及方法將為有利的。
各項實施例之以下描述絕不應理解為限制隨附發明申請專利範圍之標的。
一項實施例係關於一種經組態以偵測一樣品上之缺陷且對該等缺陷進行分類之系統。該系統包含一或多個電腦子系統及由該一或多個電腦子系統執行之一或多個組件。該一或多個組件包含一神經網路，該神經網路經組態以偵測一樣品上之缺陷且對在該樣品上偵測到的該等缺陷進行分類。該神經網路包含一第一部分，該第一部分經組態以判定由一成像子系統產生之該樣品之影像之特徵。該神經網路亦包含一第二部分，該第二部分經組態以基於該等影像之該等經判定特徵偵測該樣品上之缺陷，且基於該等影像之該等經判定特徵對在該樣品上偵測到的該等缺陷進行分類。該一或多個電腦子系統經組態以產生該偵測及分類之結果。該系統可如本文中描述般進一步組態。
一額外實施例係關於經組態以偵測一樣品上之缺陷且對該等缺陷進行分類之另一系統。此系統如上文描述般組態。此系統亦包含經組態以產生一樣品之影像之一成像子系統。(若干)電腦子系統在此實施例中經組態以獲取影像。系統之此實施例可如本文中描述般進一步組態。
另一實施例係關於一種用於偵測一樣品上之缺陷且對該等缺陷進行分類之電腦實施方法。該方法包含獲取由一成像子系統產生之一樣品之影像。該方法亦包含藉由將該等影像輸入至一神經網路之一第一部分中而判定該樣品之該等影像之特徵，該神經網路經組態以偵測該樣品上之缺陷且對在該樣品上偵測到的該等缺陷進行分類。一或多個組件係由一或多個電腦系統執行，且該一或多個組件包含該神經網路。另外，該方法包含藉由將該等影像之該等經判定特徵輸入至該神經網路之一第二部分中而基於該等影像之該等經判定特徵偵測該樣品上之缺陷，且基於該等影像之該等經判定特徵對在該樣品上偵測到的該等缺陷進行分類。該方法進一步包含產生該偵測及分類之結果。
上文描述之方法之步驟之各者可如本文中進一步描述般進一步執行。另外，上文描述之方法之實施例可包含本文中描述之(若干)任何其他方法之(若干)任何其他步驟。此外，上文描述之方法可由本文中描述之系統之任一者執行。
另一實施例係關於一種非暫時性電腦可讀媒體，其儲存可在一或多個電腦系統上執行以執行用於偵測一樣品上之缺陷且對該等缺陷進行分類之一電腦實施方法的程式指令。該電腦實施方法包含上文描述之方法之步驟。該電腦可讀媒體可如本文中描述般進一步組態。該電腦實施方法之步驟可如本文中進一步描述般執行。另外，可對其執行該等程式指令之該電腦實施方法可包含本文中描述之(若干)任何其他方法之(若干)任何其他步驟。
如本文中可互換地使用之術語「設計」、「設計資料」及「設計資訊」大體上指代一IC之實體設計(佈局)及透過複雜模擬或簡單幾何及布林(Boolean)運算自該實體設計導出之資料。另外，藉由一光罩檢測系統獲取之一光罩之一影像及/或其之衍生物可用作設計之一或多個「代理」。此一光罩影像或其之衍生物可用作本文中描述之任何實施例中之使用一設計之設計佈局之一替代。設計可包含於2009年8月4日頒予Zafar等人之共同擁有之美國專利第7,570,796號及於2010年3月9日頒予Kulkarni等人之共同擁有之美國專利第7,676,077號中描述之任何其他設計資料或設計資料代理，該兩案宛如全文闡述以引用的方式併入本文中。另外，設計資料可為標準單元庫資料、整合佈局資料、用於一或多個層之設計資料、設計資料之衍生物及全部或部分晶片設計資料。
另外，本文中描述之「設計」、「設計資料」及「設計資訊」指代由半導體裝置設計者在一設計程序中產生且因此在將設計印刷於任何實體樣品(諸如光罩及晶圓)上之前可良好用於本文中描述之實施例中的資訊及資料。
現參考圖式，應注意，圖未按比例繪製。特定言之，極大地放大圖之一些元件之比例以強調元件之特性。亦應注意，圖未按相同比例繪製。已使用相同元件符號指示在一個以上圖中展示之可類似組態之元件。除非本文中另有提及，否則所描述及展示之元件之任一者可包含任何適合市售元件。
一項實施例係關於一種經組態以偵測一樣品上之缺陷且對該等缺陷進行分類之系統。如本文中進一步描述，實施例提供用於檢視及檢測(例如，電子束(electron beam)(或電子束(e beam))檢視及檢測)之一統一深度學習框架。缺陷偵測及自動缺陷分類(ADC)在當前半導體製作中變得極其重要。某一當前提出之基於深度學習之偵測已達到電子束之4 nm靈敏度，且所提出之基於深度學習之分類已依相對較高水平的易用性達成90%準確度及純度之聖杯。
然而，如本文中進一步描述，當前所使用方法已獨立地解決此等問題之各者，此針對此等方法產生若干缺點。例如，此一獨立方法在一些態樣遇到兩倍之訓練成本。此外，各件無法利用來自另一件之資訊，藉此亦影響效能。用於偵測之注釋成本(即，注釋影像用於訓練)相對較高，且在實現此激發及相對較高效能的基於深度學習之偵測及分類時，減少注釋量具有實質上高價值。
本文中描述之新穎統一方法具有優於當前所使用方法之許多優點。例如，本文中描述之統一方法能夠將來自分類之學習應用於較難偵測問題。在另一實例中，本文中描述之統一方法顯著減小使用者在像素級注釋缺陷以供偵測網路學習之負擔。在一額外實例中，本文中描述之統一方法減少用於兩個網路之訓練時間。此外，本文中描述之新穎統一方法容許網路隨著全球技術路線圖在深度網路領域中之發展而擴展。另外，本文中描述之組態提供建立此框架之一極簡潔方式。本文中描述之所提出之統一深度學習框架亦可擴展至多種檢測、檢視及其他工具，諸如商業上可購自加利福尼亞州(Calif)苗必達市(Milpitas)之KLA-Tencor的工具。
圖1中展示經組態以偵測一樣品上之缺陷且對該等缺陷進行分類之一系統之一項實施例。系統包含一或多個電腦子系統(例如，電腦子系統36及(若干)電腦子系統102)及由一或多個電腦子系統執行之一或多個組件100。在一些實施例中，系統包含經組態以產生一樣品之影像之成像系統(或子系統) 10。在圖1之實施例中，成像子系統經組態以用光在樣品之一實體版本上方掃描或將光引導至該實體版本，同時偵測來自樣品之光以藉此產生樣品之影像。成像子系統亦可經組態以用多種模式執行掃描(或引導)及偵測。
在一項實施例中，樣品係一晶圓。晶圓可包含此項技術中已知之任何晶圓。在另一實施例中，樣品係一光罩。光罩可包含此項技術中已知之任何光罩。
在一項實施例中，成像子系統組態為一基於光學之成像系統。以此方式，在一些實施例中，藉由一基於光學之成像系統產生影像。在一項此實例中，在圖1中展示之系統之實施例中，基於光學之成像子系統10包含經組態以將光引導至樣品14之一照明子系統。照明子系統包含至少一個光源。例如，如圖1中展示，照明子系統包含光源16。在一項實施例中，照明子系統經組態以依一或多個入射角將光引導至樣品，該一或多個入射角可包含一或多個傾斜角及/或一或多個法線角。例如，如圖1中展示，來自光源16之光依一傾斜入射角引導穿過光學元件18且接著透鏡20而至樣品14。傾斜入射角可包含可取決於例如樣品之特性而變化之任何適合傾斜入射角。
成像子系統可經組態以在不同時間依不同入射角將光引導至樣品。例如，成像子系統可經組態以更改照明子系統之一或多個元件之一或多個特性，使得可依不同於圖1中展示之入射角之一入射角將光引導至樣品。在一項此實例中，成像子系統可經組態以使光源16、光學元件18及透鏡20移動，使得依一不同傾斜入射角或一法線(或近法線)入射角將光引導至樣品。
在一些例項中，成像子系統可經組態以同時依一個以上入射角將光引導至樣品。例如，照明子系統可包含一個以上照明通道，該等照明通道之一者可包含如圖1中展示之光源16、光學元件18及透鏡20，且該等照明通道之另一者(未展示)可包含可不同地組態或相同之類似元件，或可包含至少一光源及可能一或多個其他組件，諸如本文中進一步描述之組件。若將此光與另一光同時引導至樣品，則依不同入射角引導至樣品之光之一或多個特性(例如，波長、偏光等)可為不同的，使得由依不同入射角照明樣品引起之光可在(若干)偵測器處彼此區別。
在另一例項中，照明子系統可僅包含一個光源(例如，圖1中展示之源16)，且可藉由照明子系統之一或多個光學元件(未展示)將來自光源之光分離至不同光學路徑中(例如，基於波長、偏光等)。接著，可將不同光學路徑之各者中之光引導至樣品。多個照明通道可經組態以同時或在不同時間(例如，當使用不同照明通道來循序照明樣品時)將光引導至樣品。在另一例項中，相同照明通道可經組態以在不同時間將具有不同特性之光引導至樣品。例如，在一些例項中，光學元件18可組態為一光譜濾光片且該光譜濾光片之性質可以多種不同方式(例如，藉由換出光譜濾光片)改變，使得可在不同時間將不同波長之光引導至樣品。照明子系統可具有此項技術中已知之用於依不同或相同入射角將具有不同或相同特性之光循序或同時引導至樣品之任何其他適合組態。
在一項實施例中，光源16可包含一寬頻電漿(BBP)光源。以此方式，由光源產生且引導至樣品之光可包含寬頻光。然而，光源可包含任何其他適合光源，諸如一雷射。雷射可包含此項技術中已知之任何適合雷射且可經組態以產生此項技術中已知之在任一或多個適合波長下之光。另外，雷射可經組態以產生單色或幾乎單色之光。以此方式，雷射可為一窄頻雷射。光源亦可包含產生在多個離散波長或波帶處之光之一多色光源。
可藉由透鏡20將來自光學元件18之光聚焦至樣品14上。儘管圖1中將透鏡20展示為一單折射光學元件，然應瞭解，實務上，透鏡20可包含組合地將來自光學元件之光聚焦至樣品之若干折射及/或反射光學元件。在圖1中展示且在本文中描述之照明子系統可包含任何其他適合光學元件(未展示)。此等光學元件之實例包含但不限於：(若干)偏光組件、(若干)光譜濾光片、(若干)空間濾光片、(若干)反射光學元件、(若干)變跡器、(若干)光束分離器、(若干)孔隙及類似者，其等可包含此項技術中已知之任何此等適合光學元件。另外，成像子系統可經組態以基於待用於成像之照明之類型而更改照明子系統之元件之一或多者。
成像子系統亦可包含經組態以引起光在樣品上方掃描之一掃描子系統。例如，成像子系統可包含載物台22，在檢測期間，樣品14安置於載物台22上。掃描子系統可包含可經組態以使樣品移動使得光可在樣品上方掃描之任何適合機械及/或機器人總成(其包含載物台22)。另外或替代地，成像子系統可經組態使得成像子系統之一或多個光學元件執行光在樣品上方之某一掃描。光可以任何適合方式(諸如以一蛇形路徑或以一螺旋路徑)在樣品上方掃描。
成像子系統進一步包含一或多個偵測通道。該一或多個偵測通道之至少一者包含一偵測器，該偵測器經組態以偵測歸因於樣品由子系統之照明而來自樣品之光，且回應於經偵測光而產生輸出。例如，圖1中展示之成像子系統包含兩個偵測通道，一個偵測通道由集光器24、元件26及偵測器28形成，且另一偵測通道由集光器30、元件32及偵測器34形成。如圖1中展示，兩個偵測通道經組態以依不同收集角度收集且偵測光。在一些例項中，兩個偵測通道經組態以偵測散射光，且該等偵測通道經組態以偵測依不同角度自樣品散射之光。然而，偵測通道之一或多者可經組態以偵測來自樣品之另一類型之光(例如，反射光)。
如圖1中進一步展示，兩個偵測通道展示為定位於紙平面中且照明子系統亦展示為定位於紙平面中。因此，在此實施例中，兩個偵測通道定位於入射平面中(例如，在入射平面中居中)。然而，偵測通道之一或多者可定位於入射平面外。例如，由集光器30、元件32及偵測器34形成之偵測通道可經組態以收集且偵測自入射平面散射之光。因此，此一偵測通道通常可稱為一「側」通道，且此一側通道可在實質上垂直於入射平面之一平面中居中。
儘管圖1展示包含兩個偵測通道之成像子系統之一實施例，然成像子系統可包含不同數目個偵測通道(例如，僅一個偵測通道或兩個或更多個偵測通道)。在一個此例項中，由集光器30、元件32及偵測器34形成之偵測通道可形成如上文描述之一個側通道，且成像子系統可包含形成為定位於入射平面之相對側上之另一側通道的一額外偵測通道(未展示)。因此，成像子系統可包含偵測通道，該偵測通道包含集光器24、元件26及偵測器28且在入射平面中居中，且經組態以收集並偵測成法向於或接近法向於樣品表面之(若干)散射角之光。因此，此偵測通道通常可稱為一「頂部」通道，且成像子系統亦可包含如上文描述般組態之兩個或更多個側通道。因而，成像子系統可包含至少三個通道(即，一個頂部通道及兩個側通道)，且該至少三個通道之各者具有其自身之集光器，該等集光器之各者經組態以收集成不同於其他集光器之各者之散射角的光。
如上文進一步描述，包含於成像子系統中之偵測通道之各者可經組態以偵測散射光。因此，圖1中展示之成像子系統可經組態用於樣品之暗場(DF)成像。然而，成像子系統亦可或替代性地包含經組態用於樣品之明場(BF)成像之(若干)偵測通道。換言之，成像子系統可包含經組態以偵測自樣品鏡面反射之光的至少一偵測通道。因此，本文中描述之成像子系統可經組態以僅用於DF成像、僅用於BF成像或用於DF成像及BF成像兩者。儘管圖1中將集光器之各者展示為單折射光學元件，然應瞭解，集光器之各者可包含一或多個折射光學元件及/或一或多個反射光學元件。
一或多個偵測通道可包含此項技術中已知之任何適合偵測器。例如，偵測器可包含光電倍增管(PMT)、電荷耦合裝置(CCD)、時間延遲積分(TDI)相機及此項技術中已知之任何其他適合偵測器。偵測器亦可包含非成像偵測器或成像偵測器。以此方式，若偵測器係非成像偵測器，則偵測器之各者可經組態以偵測散射光之某些特性(諸如強度)，但可未經組態以偵測依據在成像平面內之位置而變化之此等特性。因而，由包含於成像子系統之偵測通道之各者中的偵測器之各者產生之輸出可為信號或資料而非影像信號或影像資料。在此等例項中，一電腦子系統(諸如電腦子系統36)可經組態以自偵測器之非成像輸出產生樣品之影像。然而，在其他例項中，偵測器可組態為經組態以產生影像信號或影像資料之成像偵測器。因此，成像子系統可經組態以依若干方式產生本文中描述之影像。
應注意，本文中提供圖1以大體上繪示可包含於本文中描述之系統實施例中或可產生本文中描述之系統實施例所使用之影像的一成像系統或子系統之一組態。顯然，可更改本文中描述之成像子系統組態以最佳化成像子系統之效能，如通常在設計一商用成像系統時所執行。另外，可使用一現有系統(諸如商業上可購自加利福尼亞州苗必達市之KLA-Tencor之29xx/39xx及Puma 9xxx系列工具)來實施本文中描述之系統(例如，藉由將本文中描述之功能性添加至一現有系統)。對於一些此等系統，可將本文中描述之實施例提供為系統之選用功能性(例如，除系統之其他功能性之外)。或者，可「從頭開始」設計本文中描述之成像子系統以提供一全新成像子系統。
成像子系統之電腦子系統36可以任何適合方式(例如，經由一或多個傳輸媒體，其等可包含「有線」及/或「無線」傳輸媒體)耦合至成像子系統之偵測器，使得電腦子系統可接收由偵測器在樣品之掃描期間產生之輸出。電腦子系統36可經組態以使用偵測器之輸出來執行本文中進一步描述之若干功能。
圖1中展示之電腦子系統(以及本文中描述之其他電腦子系統)在本文中亦可稱為(若干)電腦系統。本文中描述之(若干)電腦子系統或系統之各者可採取各種形式，包含一個人電腦系統、影像電腦、大型電腦系統、工作站、網路設備、網際網路設備或其他裝置。一般而言，術語「電腦系統」可廣泛定義為涵蓋具有執行來自一記憶體媒體之指令之一或多個處理器之任何裝置。(若干)電腦子系統或系統亦可包含此項技術中已知之任何適合處理器，諸如一平行處理器。另外，(若干)電腦子系統或系統可包含具有高速處理及軟體之一電腦平台作為一獨立或一網路工具。
若系統包含一個以上電腦子系統，則不同電腦子系統可彼此耦合使得可如本文中進一步描述般在該等電腦子系統之間發送影像、資料、資訊、指令等。例如，電腦子系統36可藉由任何適合傳輸媒體耦合至(若干)電腦子系統102 (如圖1中之虛線所展示)，該等傳輸媒體可包含此項技術中已知之任何適合有線及/或無線傳輸媒體。此等電腦子系統之兩者或更多者亦可由一共用電腦可讀儲存媒體(未展示)有效耦合。
儘管上文將成像子系統描述為一基於光學或光之成像子系統，然在一些實施例中，成像子系統可組態為一基於電子束之成像子系統。以此方式，在一些實施例中，藉由一基於電子束之成像子系統產生影像。在圖1a中展示之一項此實施例中，成像子系統包含耦合至電腦子系統124之電子柱122。亦如圖1a中展示，電子柱包含電子束源126，電子束源126經組態以產生由一或多個元件130聚焦至樣品128之電子。電子束源可包含例如一陰極源或射極尖端，且一或多個元件130可包含例如一槍透鏡、一陽極、一限束孔隙、一閘閥、一束電流選擇孔隙、一物鏡及一掃描子系統，全部其等可包含此項技術中已知之任何此等適合元件。
自樣品返回之電子(例如，二次電子)可由一或多個元件132聚焦至偵測器134。一或多個元件132可包含例如一掃描子系統，其可為包含於(若干)元件130中之相同掃描子系統。
電子柱可包含此項技術中已知之任何其他適合元件。另外，電子柱可如以下各者中描述般進一步組態：於2014年4月4日頒予Jiang等人之美國專利第8,664,594號；於2014年4月8日頒予Kojima等人之美國專利第8,692,204號；於2014年4月15日頒予Gubbens等人之美國專利第8,698,093號；及於2014年5月6日頒予MacDonald等人之美國專利第8,716,662號，該等案宛如全文闡述以引用的方式併入本文中。
儘管圖1a中將電子柱展示為經組態使得電子依一傾斜入射角引導至樣品且依另一傾斜角自樣品散射，然應瞭解，電子束可依任何適合角度引導至樣品及自樣品散射。另外，基於電子束之成像子系統可經組態以如本文中進一步描述般使用多種模式(例如，運用不同照明角、收集角等)產生樣品之影像。基於電子束之成像子系統之多種模式可在成像子系統之任何影像產生參數方面不同。
電腦子系統124可如上文描述般耦合至偵測器134。偵測器可偵測自樣品之表面返回之電子，藉此形成樣品之電子束影像。電子束影像可包含任何適合電子束影像。電腦子系統124可經組態以使用由偵測器134產生之輸出針對樣品執行本文中進一步描述之一或多個功能。電腦子系統124可經組態以執行本文中描述之(若干)任何額外步驟。包含圖1a中展示之成像子系統之一系統可如本文中描述般進一步組態。
應注意，本文中提供圖1a以大體上繪示可包含於本文中描述之實施例中之一基於電子束之成像子系統之一組態。如同上文描述之基於光學之成像子系統，可更改本文中描述之基於電子束之成像子系統組態以最佳化成像子系統之效能，如通常在設計一商用成像系統時所執行。另外，可使用一現有系統(諸如商業上可購自KLA-Tencor之eSxxx及eDR-xxxx系列工具)來實施本文中描述之系統(例如，藉由將本文中描述之功能性添加至一現有系統)。對於一些此等系統，可將本文中描述之實施例提供為系統之選用功能性(例如，除系統之其他功能性之外)。或者，可「從頭開始」設計本文中描述之系統以提供一全新系統。
儘管上文將成像子系統描述為一基於光學或基於電子束之成像子系統，然成像子系統可為一基於離子束之成像子系統。此一成像子系統可如圖1a中展示般組態，惟電子束源可由此項技術中已知之任何適合離子束源取代除外。另外，成像子系統可為任何其他適合基於離子束之成像子系統，諸如包含於市售聚焦離子束(FIB)系統、氦離子顯微鏡(HIM)系統及二次離子質譜儀(SIMS)系統中之成像子系統。
如上文提及，成像子系統經組態以用能量(例如，光或電子)在樣品之一實體版本上方掃描，藉此產生樣品之實體版本之實際影像。以此方式，成像子系統可組態為一「實際」子系統而非一「虛擬」子系統。例如，圖1中展示之一儲存媒體(未展示)及(若干)電腦子系統102可組態為一「虛擬」系統。特定言之，該儲存媒體及(若干)電腦子系統並非成像子系統10之部分且不具有處置樣品之實體版本之任何能力。換言之，在組態為虛擬系統之系統中，其之一或多個「偵測器」之輸出可為先前由一實際系統或子系統之一或多個偵測器產生且儲存於虛擬系統中之輸出，且在「掃描」期間，虛擬系統可如同正掃描樣品般重播該經儲存輸出。以此方式，用一虛擬系統掃描樣品可看似如同正用一實際系統或子系統掃描一實體樣品，而實際上「掃描」涉及僅以與可掃描樣品相同之方式重播樣品之輸出。組態為「虛擬」檢測系統之系統及方法描述於2012年2月28日頒予Bhaskar等人之共同讓與之美國專利第8,126,255號及2015年12月29日頒予Duffy等人之美國專利第9,222,895號中，該兩案宛如全文闡述以引用的方式併入本文中。本文中描述之實施例可如此等專利中描述般進一步組態。例如，本文中描述之一或多個電腦子系統可如此等專利中描述般進一步組態。另外，將一或多個虛擬系統組態為一中央計算及儲存(CCS)系統可如上文引用之Duffy之專利中描述般執行。本文中描述之永久儲存機構可具有分佈式運算及儲存(諸如CCS架構)，但本文中描述之實施例不限於該架構。
如上文進一步提及，成像子系統可經組態以用多種模式產生樣品之影像。一般而言，一「模式」可由用於產生一樣品之影像之成像子系統之參數之值或用於產生樣品之影像之輸出定義。因此，不同模式可在成像子系統之成像參數之至少一者之值方面不同。例如，在一基於光學之成像子系統之一項實施例中，多種模式之至少一者使用至少一個波長之光用於照明，該至少一個波長之光不同於用於多種模式之至少另一者之照明的至少一個波長之光。該等模式可如本文中針對不同模式進一步描述般(例如，藉由使用不同光源、不同光譜濾光片等)在照明波長方面不同。在另一實施例中，多種模式之至少一者使用成像子系統之一照明通道，該照明通道不同於用於多種模式之至少另一者之成像子系統之一照明通道。例如，如上文提及，成像子系統可包含一個以上照明通道。因而，不同照明通道可用於不同模式。
在一項實施例中，藉由一檢測子系統產生影像。例如，本文中描述之光學及電子束成像子系統可組態為檢測子系統。以此方式，在一些實施例中，藉由一檢測子系統產生至神經網路之影像輸入。在另一實施例中，成像子系統係一缺陷檢視子系統。例如，本文中描述之光學及電子束成像子系統可組態為缺陷檢視子系統。特定言之，在本文中描述且在圖1及圖1a中展示之成像子系統之實施例可取決於使用其等之應用而在一或多個參數方面修改以提供不同成像能力。在一項此實例中，若圖1中展示之成像子系統將用於缺陷檢視而非用於檢測，則其將組態為具有一較高解析度。換言之，圖1及圖1a中展示之成像子系統之實施例描述用於一成像子系統之一些一般組態及各種組態，該等組態可依熟習此項技術者將顯而易見之若干方式定製以產生具有或多或少適於不同應用之不同成像能力的成像子系統。
一或多個電腦子系統可經組態以獲取由本文中描述之一成像子系統產生之樣品之影像。獲取影像可使用本文中描述之成像子系統之一者執行(例如，藉由將光或電子束引導至樣品及分別自樣品偵測光或一電子束)。以此方式，獲取影像可使用實體樣品自身及某種成像硬體執行。然而，獲取影像不一定包含使用成像硬體成像樣品。例如，另一系統及/或方法可產生影像且可將所產生影像儲存於一或多個儲存媒體(諸如如本文中描述之一虛擬檢測系統或本文中描述之另一儲存媒體)中。因此，獲取影像可包含自其中已儲存影像之儲存媒體獲取影像。
圖1中展示之由(若干)電腦子系統(例如，電腦子系統36及/或(若干)電腦子系統102)執行之(若干)組件(例如，(若干)組件100)包含神經網路104。神經網路經組態以偵測一樣品上之缺陷且對在樣品上偵測到的缺陷進行分類。以此方式，相同神經網路經組態以用於缺陷偵測及缺陷分類。因而，神經網路提供用於缺陷偵測及分類之一統一框架。
神經網路包含一第一部分，該第一部分經組態以判定由一成像子系統產生之樣品之影像之特徵。例如，如圖2之神經網路中展示，在一項實施例中，神經網路之一第一部分包含判定(若干)影像204 (如本文中進一步描述，其包含至少缺陷影像及可能亦參考影像及設計)之特徵(例如，特徵圖208)之(若干)卷積層206。此等層可如本文中描述般進一步組態。影像及特徵亦可如本文中描述般進一步組態。
神經網路亦包含一第二部分，該第二部分經組態以基於影像之經判定特徵偵測樣品上之缺陷，且基於影像之經判定特徵對在樣品上偵測到的缺陷進行分類。例如，如圖2之神經網路中展示，在一項實施例中，神經網路之一第二部分包含(若干)完全連接層210、提議網路214、(若干)所關注區域(ROI)池化層218及(若干)完全連接層220。如圖2中進一步展示，至(若干)完全連接層210之輸入係經判定特徵(例如，特徵圖208)，且(若干)完全連接層210之輸出係影像分類212。因此，(若干)完全連接層210可包含於第二部分中且可經組態用於缺陷分類。亦如圖2中展示，至提議網路214之輸入係經判定特徵(例如，特徵圖208)，且提議網路214之輸出係定界框216。術語「定界框」在本文中大體上定義為圍繞識別為有缺陷之像素之一或多個連續部分繪製的一框(方形或矩形)。例如，一定界框可包含識別為有缺陷之像素之一或兩個區域。因此，提議網路214可包含於第二部分中且可經組態用於缺陷偵測。如圖2中進一步展示，至提議網路214之輸入係經判定特徵(例如，特徵圖218)，且提議網路214之輸出可輸入至(若干) ROI池化層218。(若干) ROI池化層218之輸出可輸入至(若干)完全連接層220，(若干)完全連接層220可產生包含定界框及分類222之輸出。以此方式，提議網路214、(若干) ROI池化層218及(若干)完全連接層220可包含於第二部分中且可經組態用於缺陷偵測及分類兩者。此等層可如本文中描述般進一步組態。各種一或多個輸出亦可如本文中描述般進一步組態。
一或多個電腦子系統經組態以產生偵測及分類之結果。偵測及分類之結果可包含本文中描述之結果之任一者，諸如經偵測缺陷之定界框之資訊(例如，位置等)、偵測分數、關於缺陷分類之資訊(諸如類別標籤或ID等)，或此項技術中已知之任何此適合資訊。偵測及分類之結果可由(若干)電腦子系統以任何適合方式產生。偵測及分類之結果可具有任何適合形式或格式，諸如一標準檔案類型。(若干)電腦子系統可產生結果且儲存結果使得該等結果可由(若干)電腦子系統及/或另一系統或方法使用以針對樣品或相同類型之另一樣品執行一或多個功能。此等功能包含但不限於：以一回饋方式更改對樣品執行之一程序(諸如一製作程序)或步驟、以一前饋方式更改將對樣品執行之一程序(諸如一製作程序)或步驟等。
在一項實施例中，神經網路組態為一深度學習網路。一般而言，「深度學習」(亦稱為深度結構化學習、階層式學習或深度機器學習)係基於試圖模型化資料中之高階抽象之一組演算法的機器學習之一分支。在一簡單情況中，可能存在兩組神經元：接收一輸入信號之一組神經元及發送一輸出信號之一組神經元。當輸入層接收一輸入時，其將輸入之一經修改版本傳遞至下一層。在一深度網路中，輸入與輸出之間存在許多層(且該等層並非由神經元構成但以該方式考慮可有幫助)，而容許演算法使用由多個線性及非線性變換組成之多個處理層。
深度學習係基於學習資料之表示之一更廣泛系列之機器學習方法之部分。一觀察(例如，一影像)可以許多方式表示(諸如每像素之強度值之一向量)，或以一更抽象方式表示為一組邊緣、特定形狀之區域等。在簡化學習任務(例如，面部辨識或面部表情辨識)時，一些表示比其他表示更佳。深度學習之承諾之一係用有效率演算法取代手工製作特徵用於無監督或半監督特徵學習及階層式特徵提取。
在此領域之研究試圖進行更佳表示且建立模型以自大規模無標籤資料學習此等表示。一些表示受神經科學之發展啟發且鬆散地基於對一神經系統中之資訊處理及通信型樣之解釋，諸如試圖定義各種刺激物與大腦中之相關聯神經元回應之間的一關係之神經編碼。
在另一實施例中，神經網路係一機器學習網路。機器學習可大體上定義為對電腦提供在未明確程式化之情況下學習之能力的一類型之人工智慧(AI)。機器學習集中於在暴露於新資料時可教示其等自身成長及改變的電腦程式之開發。換言之，機器學習可定義為電腦科學之分支，「其給予電腦以在未明確程式化之情況下學習之能力」。機器學習探索可從資料學習及對資料進行之演算法的研究及建構，此等演算法藉由透過自樣本輸入建立一模型進行資料驅動之預測或決策而克服以下嚴格靜態程式指令。
本文中描述之機器學習可如以下各者中描述般進一步執行：Sugiyama之「Introduction to Statistical Machine Learning」(Morgan Kaufmann，2016年，第534頁)；Jebara之「Discriminative, Generative, and Imitative Learning」(2002年，MIT Thesis，第212頁)；及Hand等人之「Principles of Data Mining (Adaptive Computation and Machine Learning)」(2001年，MIT Press，第578頁)；其等宛如全文闡述以引用的方式併入本文中。本文中描述之實施例可如此等參考文獻中描述般進一步組態。
在一些實施例中，神經網路係一生成網路。一「生成」網路可大體上定義為本質上為概率性之一模型。換言之，一「生成」網路並非執行正向模擬或基於規則之方法之一網路。代替性地，如本文中進一步描述，生成網路可基於一適合訓練資料集而學習(因為可學習其參數)。在一項實施例中，神經網路組態為一深度生成網路。例如，網路可經組態以具有一深度學習架構，因為網路可包含執行若干演算法或變換之多個層。
在又一實施例中，神經網路可為具有一組權重之一深度神經網路，其根據經饋送以訓練其之資料模型化世界。神經網路可大體上定義為一計算方法，其係基於鬆散地模型化一生物大腦用由軸突連接之相對較大叢集之生物神經元解決問題之方式的一相對較大神經單元集合。各神經單元與許多其他神經單元連接，且連結可強制執行或抑制其等對經連接神經單元之活化狀態之影響。此等系統係自學習且經訓練而非明確程式化，且在其中在一傳統電腦程式中難以表達解決方案或特徵偵測之領域中表現出色。
神經網路通常由多個層組成，且信號路徑從前向後穿過。神經網路之目標係以與人類大腦解決問題相同之方式解決問題，但若干神經網路遠更抽象。現代神經網路計畫通常與數千至數百萬個神經單元及數百萬個連接一起運作。神經網路可具有此項技術中已知之任何適合架構及/或組態。
在一項實施例中，神經網路組態為一AlexNet。例如，分類網路結構可為AlexNet。術語「分類網路」在本文中用以指代包含一或多個完全連接層之一CNN。一般而言，一AlexNet包含若干卷積層(例如，5個)其後接著若干完全連接層(例如，3個)，其等組合地經組態且經訓練以對影像進行分類。組態為AlexNet之神經網路之實例係描述於Krizhevsky等人之「ImageNet Classification with Deep Convolutional Neural Networks」(NIPS 2012)中，其宛如全文闡述以引用的方式併入本文中。本文中描述之神經網路可如此參考文獻中描述般進一步組態。
在另一實施例中，神經網路組態為一GoogleNet。例如，分類網路結構可為GoogleNet。一GoogleNet可包含諸如卷積層、池化層及完全連接層(諸如本文中進一步描述之經組態且經訓練以對影像進行分類之卷積層、池化層及完全連接層)之層。雖然GoogleNet架構可包含相對較高數目之層(尤其相較於本文中描述之一些其他神經網路)，然一些該等層可並行操作，且彼此並行運作之層群組通常稱為初始(inception)模組。其他層可循序地操作。因此，一GoogleNet與本文中描述之其他神經網路之不同之處在於，並非全部層配置成一循序結構。組態為GoogleNet之神經網路之實例描述於Szegedy等人之「Going Deeper with Convolutions」(CVPR 2015)中，其宛如全文闡述以引用的方式併入本文中。本文中描述之神經網路可如此參考文獻中描述般進一步組態。
在又一實施例中，神經網路組態為一VGG網路。例如，分類網路結構可為VGG。VGG網路係藉由增加卷積層之數目同時固定架構之其他參數而建立。藉由在全部層中使用實質上小卷積濾光片而使得可增添卷積層以增加深度。如同本文中描述之其他神經網路，VGG網路經建立且經訓練以對影像進行分類。VGG網路亦包含卷積層其後接著完全連接層。組態為VGG之神經網路之實例描述於Simonyan等人之「Very Deep Convolutional Networks for Large-Scale Image Recognition」(ICLR 2015)中，其宛如全文闡述以引用的方式併入本文中。本文中描述之神經網路可如此參考文獻中描述般進一步組態。
在一些實施例中，神經網路組態為一深度殘差網路。例如，分類網路結構可為一深度殘差網路。如同本文中描述之一些其他網路，一深度殘差網路可包含卷積層其後接著完全連接層，其等組合地經組態且經訓練用於影像分類。在一深度殘差網路中，層經組態以學習參考層輸入之殘差函數而非學習無參考函數。特定言之，代替希望各少數堆疊層直接擬合一所要底層映射，明確容許此等層擬合藉由具有捷徑連接之前饋神經網路實現的一殘差映射。捷徑連接係跳過一或多個層之連接件。一深度殘差網路可藉由採用包含卷積層之一普通神經網路結構且插入捷徑連接(其等藉此採用普通神經網路且將其轉換為其殘差學習對應物)而建立。深度殘差網路之實例描述於He等人之「Deep Residual Learning for Image Recognition」(NIPS 2015)中，其宛如全文闡述以引用的方式併入本文中。本文中描述之神經網路可如此參考文獻中描述般進一步組態。
在一項實施例中，第一部分包含一或多個卷積層。(若干)卷積層可具有此項技術中已知之任何適合組態且通常經組態以藉由使用一或多個濾光片將一卷積函數應用於輸入影像而判定依據跨影像之位置而變化之一影像之特徵(即，一特徵圖)。以此方式，神經網路之一部分可組態為一卷積神經網路(CNN)。例如，神經網路之第一部分可組態為一CNN (其通常為卷積層及池化層之堆疊)以提取局部特徵。本文中描述之實施例可利用深度學習概念(諸如一CNN)來解決通常棘手的表示反演問題。第一部分可具有此項技術中已知之任何CNN組態或架構。一或多個池化層亦可具有此項技術中已知之任何適合組態(例如，最大池化層)且通常經組態以減少由一或多個卷積層產生之特徵圖之維度同時保留最重要特徵。
由神經網路之第一部分判定之特徵可包含本文中進一步描述或此項技術中已知之可自輸入推斷且用於產生本文中進一步描述之輸出的任何適合特徵。例如，特徵可包含每像素之強度值之一向量。特徵亦可包含本文中描述之任何其他類型之特徵，例如，純量值之向量、獨立分佈、聯合分佈之向量，或此項技術中已知之任何其他適合特徵類型。
圖2展示具有全部可能輸入及輸出之分類網路架構。然而，與該架構一起使用之輸入及輸出可取決於架構之狀態(例如，未經訓練或經訓練)及/或其將針對任何給定影像執行之功能(例如，取決於一使用者想要針對一特定影像產生之輸出或結果)而變化。例如，在圖3中展示之實施例中，神經網路展示為在一完全訓練模式中(即，神經網路已經訓練)與可提供至神經網路用於運行時間模式或生產模式之輸入一起使用。(在本文中展示之全部圖式中，加陰影之元件(例如，輸入、輸出、層)係未用於一特定應用之元件。相反地，未加陰影之元件(例如，輸入、輸出、層)係正用於神經網路之一特定應用之元件。)
特定言之，如圖3中展示，在已訓練神經網路之後之一生產模式或運行時間模式中，在至神經網路之可能輸入中，僅包含(若干)缺陷影像及可能亦(若干)參考影像及設計之(若干)影像204被輸入至神經網路。以此方式，在運行時間期間，影像級標籤200及定界框級標籤202未輸入至神經網路。代替性地，影像級標籤200及/或定界框級標籤202可僅在如本文中進一步描述般執行之一訓練階段期間輸入至神經網路。
如上文進一步描述，在運行時間期間，(若干)影像可輸入至(若干)卷積層206，(若干)卷積層206產生(若干)影像之特徵圖208。特徵圖可輸入至(若干)完全連接層210，(若干)完全連接層210產生(若干)影像之影像分類212。特徵圖亦可或替代地輸入至提議網路214，提議網路214可產生(若干)影像之定界框216。另外或替代地，提議網路之輸出可輸入至(若干)ROI池化層218，(若干)ROI池化層218可產生提供至(若干)完全連接層220之輸出。(若干)完全連接層220可產生(若干)輸入影像之定界框及分類222。因此，如圖3中清楚展示，本文中描述之神經網路提供用於缺陷分類及偵測兩者之一統一框架，且由神經網路執行之功能可取決於神經網路所用於之應用。
在一項實施例中，一或多個電腦子系統經組態以藉由將由一使用者指派給訓練缺陷影像之類別標籤及訓練缺陷影像輸入至神經網路而訓練神經網路。例如，在訓練期間，一使用者可按影像標籤指派類別。如圖4中展示，將影像級標籤200及缺陷影像(例如，(若干)影像204)用作輸入以訓練分類CNN。在此情況中，(若干)影像係訓練缺陷影像而非其中如在訓練神經網路之後之情況般偵測及/或分類缺陷之影像。影像級標籤可指派給各訓練缺陷影像且可包含諸如缺陷ID 1、缺陷ID 2、…缺陷ID n、圖案缺陷、橋接缺陷等之標籤。因此，不同影像級標籤可與各訓練缺陷影像及/或各訓練缺陷影像中之各缺陷相關聯。
儘管用於訓練缺陷影像之影像級標籤可由一使用者指派，然影像級標籤可藉由另一(已訓練)缺陷分類方法或系統指派給訓練缺陷影像。使用者或另一缺陷分類方法或系統可以任何適合方式使影像級標籤與訓練缺陷影像相關聯或將影像級標籤指派給訓練缺陷影像。另外，可以任何適合方式獲取影像級標籤及訓練缺陷影像。例如，一使用者可使用本文中描述之實施例來將影像級標籤指派給一訓練缺陷影像集。或者，可藉由一或多個電腦子系統自其中儲存標籤及訓練影像之一儲存媒體獲取影像級標籤及訓練缺陷影像。
可以任何適合方式獲取訓練缺陷影像集(例如，自本文中描述之成像子系統之一者、自一成像系統之一電腦系統、自其中儲存影像之一儲存媒體等)。以此方式，本文中描述之實施例可或可不使用一或多個實體樣品產生訓練缺陷影像集。另外，訓練缺陷影像集可包含一或多個合成影像，該一或多個合成影像可大體上定義為已針對其將一假想缺陷插入至樣品之設計中且接著已針對包含該假想缺陷之設計產生一模擬影像的影像，及/或一實體樣品之一影像(其經更改以將一缺陷插入至影像中)。以此方式，訓練缺陷影像集可包含藉由成像(若干)實際、實體樣品而產生之影像及/或模擬影像。訓練缺陷影像集較佳亦可包含可能結合一或多個非缺陷影像之上文描述之訓練缺陷影像之一或多者。例如，訓練缺陷影像集可包含現在或過去未偵測到缺陷之樣品之影像。使用包含缺陷影像及非缺陷影像之一訓練缺陷影像集可產生一神經網路，該神經網路在其用於缺陷偵測時更能夠區分缺陷影像與非缺陷影像。
在一項此實施例中，一或多個電腦子系統經組態以藉由結合一或多個訓練參考影像、針對其產生訓練缺陷影像之一樣品之一設計，或該一或多個訓練參考影像及該設計一起將類別標記及訓練缺陷影像輸入至神經網路而訓練神經網路。例如，參考影像及/或設計可作為影像之第二(及可能第三)通道而插入，例如，(若干)影像：缺陷、參考、設計204，如圖4中展示。以此方式，參考影像及設計之一或多者可與缺陷影像一起插入於一第二(及可能第三)通道中。然而，本文中描述之實施例不需要參考影像及設計。參考影像可包含樣品之無缺陷影像。以此方式，上文描述之無缺陷影像可不包含於訓練缺陷影像集中且可在訓練期間與訓練缺陷影像分開輸入至神經網路。參考影像可包含上文描述之無缺陷影像之任一者且可以任何適合方式獲取(例如，藉由成像一樣品及識別樣品之無缺陷之影像作為參考影像、藉由獲取已知無缺陷之樣品之一或多個影像、藉由自一樣品之一設計模擬參考影像等)。設計可包含本文中描述之可以任何適合方式獲取之設計或設計資料之任一者。(若干)電腦子系統可經組態以使用上文描述之資訊及影像以任何適合方式(例如，藉由將影像及資訊輸入至神經網路且調整神經網路之一或多個參數，直至由神經網路針對訓練缺陷影像產生之影像分類212匹配輸入至神經網路之影像級標籤200)訓練神經網路。
在一些實施例中，一或多個電腦子系統經組態以使用預訓練權重微調神經網路。預訓練權重可大體上定義為來自至少類似於經訓練或經調諧之神經網路或為該神經網路之部分的一先前訓練之神經網路之權重。預訓練權重可藉由從頭開始或以任何其他適合方式使用訓練資料(諸如本文中描述之訓練資料)訓練一神經網路或一神經網路之一部分而獲得。預訓練權重可用於微調本文中描述之神經網路。微調可包含微調神經網路之任一或多個參數。此微調可在訓練神經網路(如本文中進一步描述般執行)之後執行。或者，預訓練權重可用作神經網路之初始參數，且接著可微調神經網路之初始參數，此可如本文中關於訓練描述般執行。
在一項此實施例中，預訓練權重係藉由訓練一影像分類網路(例如，按一相對較大資料集(諸如ImageNet、一自然影像資料集或不一定自諸如本文中描述之成像工具之一成像工具獲得之一資料集))而獲得。在一些例項中，影像分類網路可經組態以執行對在樣品(諸如本文中描述之樣品)上偵測到的缺陷之分類。然而，影像分類網路可包含任何其他已知影像分類網路，諸如經組態以對自然影像進行分類之影像分類網路。以此方式，預訓練權重可藉由訓練具有類似於本文中描述之能力之至少某一能力之一網路而獲得。然而，影像分類網路可具有任何適合神經網路組態，包含但不限於本文中描述之可執行缺陷(或影像)分類之神經網路組態。在另一此實施例中，預訓練權重係藉由訓練經組態以對在樣品上偵測到的缺陷進行分類之第二部分而獲得。例如，在本文中描述為經組態以對在樣品上偵測到的缺陷進行分類之神經網路之第二部分可經訓練以產生預訓練權重，該等預訓練權重接著可用於微調整體神經網路。
本文中描述之預訓練權重之任一者可用於微調網路之一缺陷影像分類部分(例如，包含層206及210之網路之部分)。在微調期間，預訓練權重可用於初始化(若干)層206及因此特徵圖208。本文中描述之預訓練權重亦可用於微調網路之一缺陷偵測部分(例如，包含層206及214之網路之部分)。在微調期間，預訓練權重可用於初始化(若干)層206及因此特徵圖208。另外，本文中描述之預訓練權重及/或藉由微調網路之缺陷偵測部分而產生之神經網路之參數之經訓練值可用於微調網路之一缺陷偵測及分類部分(例如，包含層206、214、218及220之網路之部分)。在此微調程序期間，預訓練權重可用於初始化(若干)層206及因此特徵圖208且初始化層214。
在另一實施例中，一或多個電腦子系統經組態以從頭開始訓練神經網路。例如，可在不使用預訓練權重之情況下且使用本文中描述之訓練資料及影像之任一者來從頭開始訓練本文中描述之神經網路。
在一項實施例中，第二部分包含經組態以選擇經判定特徵之一或多者且基於一或多個選定特徵對缺陷進行分類的一或多個完全連接層。一「完全連接層」可大體上定義為其中節點之各者連接至先前層中之節點之各者的一層。(若干)完全連接層基於由(若干)卷積層提取之特徵而執行分類。一項此實施例展示於圖4中。特定言之，如圖4中展示，分類網路包含兩個部分：(若干)卷積層206，其等包含於本文中描述之第一部分中；及(若干)完全連接層210，其等包含於本文中描述之第二部分中。(若干)卷積層經組態以產生特徵圖208，藉此判定(若干)影像204之特徵，(若干)影像204可包含本文中進一步描述之(若干)影像及輸入之任一者。(若干)完全連接層經組態用於特徵選擇及分類。換言之，(若干)完全連接層自特徵圖208選擇特徵且接著基於選定特徵對(若干)影像中之缺陷進行分類。選定特徵可包含特徵圖中之全部特徵(在適當情況下)或僅包含特徵圖中之一些特徵。分類網路(包含(若干)卷積層及(若干)完全連接層)輸出影像分類212，影像分類212可包含每影像之一分類結果及與各分類結果相關聯之一可信度。影像分類之結果亦可如本文中進一步描述般使用。影像分類可具有任何適合格式(諸如一影像或缺陷ID、一缺陷描述，諸如「圖案」、「橋接」等)。影像分類結果可如本文中進一步描述般儲存及使用。
圖4展示在一訓練使用案例中之神經網路，其中影像級標籤200展示為輸入至神經網路。當此神經網路用於生產或運行時間時(在訓練神經網路之後)，影像級標籤200將不會輸入至神經網路。代替性地，唯一輸入將為(若干)影像204。
在一些實施例中，一或多個電腦子系統經組態以使用預訓練權重來微調神經網路。此微調可如本文中進一步描述般執行。在另一實施例中，一或多個電腦子系統經組態以從頭開始訓練神經網路。此訓練可如本文中描述般執行。以此方式，圖4中展示之網路可自預訓練權重微調。預訓練權重可藉由使用具影像級標籤之自然影像或掃描電子顯微鏡(SEM)影像訓練而獲得。自然影像可包含此項技術中已知之任何適合自然訓練影像。SEM影像可包含可用且屬於類似於神經網路將用於之(若干)樣品之樣品的任何適合SEM影像。若(若干)影像204將包含光學影像，則訓練影像可包含光學影像而非SEM影像。
如同上文描述之神經網路，經組態用於缺陷偵測之另一實施例亦包含上文描述之(若干)卷積層。以此方式，此實施例可組態為一偵測CNN。此一神經網路之一項實施例展示於圖5中。在圖5中展示之實施例中，第二部分包含經組態以基於針對影像判定之特徵偵測樣品上之缺陷且針對經偵測缺陷之各者產生定界框的一提議網路。以此方式，圖5中展示之偵測網路包含兩個部分：(若干)卷積層206，其等包含於本文中描述之第一部分中；及提議網路214，其包含於本文中描述之第二部分中。(若干)卷積層經組態以判定特徵且產生(若干)影像204之特徵圖208，(若干)影像204可包含本文中描述之(若干)影像及輸入之任一者。提議網路經組態用於缺陷偵測。換言之，提議網路使用來自特徵圖208之(若干)特徵以基於經判定特徵偵測(若干)影像中之缺陷。提議網路經組態以產生定界框偵測結果(例如，定界框216)。以此方式，偵測CNN (包含(若干)卷積層及提議網路)輸出定界框216，定界框216可包含與各經偵測缺陷或一個以上經偵測缺陷相關聯之一定界框。網路可輸出定界框位置與關於各定界框之偵測分數。一定界框之偵測分數可為一數字(諸如0.5)。缺陷偵測之結果亦可如本文中進一步描述般儲存及執行。
一提議網路或一「區域提議網路」可大體上定義為偵測影像中之物件且提出對應於該等經偵測物件之區域之一完全卷積網路。提議網路之實例描述於Ren等人之「Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks」(NIPS，2015年)中，其宛如全文闡述以引用的方式併入本文中。本文中描述之提議網路可如此參考文獻中描述般進一步組態。提議網路對於用於本文中描述之實施例中是有吸引力的，此係因為其等相對快速且能夠偵測不同大小之物件。提議網路可將一滑動窗疊加於由(若干)卷積層產生之特徵圖上，藉此產生k個錨框。將滑動窗疊加於特徵圖上之結果可輸入至提議網路之一中間層，該中間層可經由一cls層產生2k分數且經由一reg層產生4k座標。
圖5展示在一訓練使用案例中之神經網路，其中定界框級標籤202展示為輸入至神經網路。當此神經網路用於生產或運行時間時(在訓練神經網路之後)，定界框級標籤202將不會輸入至神經網路。代替性地，唯一輸入可為(若干)影像204，(若干)影像204可如本文中進一步描述般包含缺陷影像、參考影像及設計。
在一些實施例中，一或多個電腦子系統經組態以藉由將由一使用者指派給訓練缺陷影像中之定界框之類別標籤及該等訓練缺陷影像輸入至神經網路而訓練神經網路。例如，一使用者可按定界框指派類別。接著，定界框級標籤及缺陷影像可用作輸入以訓練神經網路。訓練可如本文中進一步描述般執行。類別標籤可包含本文中描述之類別標籤之任一者。訓練缺陷影像可包含本文中描述之訓練缺陷影像之任一者。另外，類別標籤及訓練缺陷影像可如本文中進一步描述般獲取。
在一項此實施例中，一或多個電腦子系統經組態以藉由與一或多個訓練參考影像、針對其產生訓練缺陷影像之一樣品之一設計，或該一或多個訓練參考影像及該設計一起將類別標籤及訓練缺陷影像輸入至神經網路而訓練神經網路。例如，參考影像及/或設計可作為輸入之第二(及可能第三)通道而插入，但不需要參考影像及/或設計。此訓練可如本文中進一步描述般執行。類別標籤、訓練缺陷影像、(若干)訓練參考影像及設計可包含本文中描述之以本文中描述之任何適合方式獲取之此等資訊及影像之任一者。
在一些實施例中，一或多個電腦子系統經組態以使用預訓練權重微調神經網路。此微調可如本文中進一步描述般執行。在一項此實施例中，預訓練權重係藉由訓練一缺陷分類網路而獲得。此等預訓練權重可如本文中進一步描述般獲得。在另一實施例中，一或多個電腦子系統經組態以從頭開始訓練神經網路。例如，對於圖5中展示之實施例，可自預訓練權重微調或從頭開始訓練網路。此訓練可如本文中進一步描述般執行。歸因於共用(若干)卷積層(在缺陷分類與缺陷偵測之間)，可使用分類預訓練權重。在一項此實例中，(若干)電腦子系統可使用利用影像級標籤獲得之預訓練權重。
圖6中展示之另一實施例經組態用於偵測及分類兩者。如同本文中進一步描述之實施例，此實施例包含可如本文中進一步描述般組態之(若干)卷積層206。因此，此神經網路可組態為一偵測及分類CNN。在圖6中展示之實施例中，第二部分包含：一提議網路，其經組態以基於針對影像判定之特徵偵測樣品上之缺陷，且針對經偵測缺陷之各者產生定界框；及(若干)所關注區域(ROI)池化層及(若干)完全連接層，其等經組態以基於針對缺陷判定之特徵對經偵測缺陷進行分類。以此方式，偵測及分類網路包含三個部分：(若干)卷積層206，其等包含於本文中描述之第一部分中；提議網路214，其包含於本文中描述之第二部分中；及(若干) ROI池化層218外加(若干)完全連接層220，其等亦包含於本文中描述之第二部分中。(若干)卷積層經組態以判定特徵及產生(若干)影像204之特徵圖208，(若干)影像204可包含本文中描述之(若干)影像及輸入之任一者。提議網路經組態用於如上文描述之缺陷偵測，且由提議網路產生之結果可包含本文中描述之缺陷偵測結果之任一者。
在一項此實施例中，第二部分包含一或多個ROI池化層其後接著一或多個完全連接層，一或多個ROI池化層經組態以產生經產生定界框之固定長度表示，固定長度表示輸入至一或多個完全連接層，且一或多個完全連接層經組態以選擇經判定特徵之一或多者且基於一或多個選定特徵對經偵測缺陷進行分類。以此方式，提議網路用於產生定界框偵測。定界框經發送至(若干) ROI池化層218，(若干) ROI池化層218建構固定長度完全連接層輸入。例如，提議網路可有利地產生具有不同尺寸或大小(其等取決於在影像中偵測到的缺陷之大小)之定界框。(若干) ROI池化層能夠接受不同大小之輸入影像。因此，(若干) ROI池化層可接受由提議網路產生之定界框影像，且可調整定界框影像之大小以產生用於(若干)完全連接層220之固定長度輸入。例如，一卷積層可接受不同大小之輸入而一完全連接層無法接受不同大小之輸入。因此，一卷積層可產生具有任意大小之特徵圖且提議網路可產生具有任意大小之定界框。接著，(若干) ROI池化層可將特徵圖及/或定界框之任一者之大小調整為(若干)完全連接層所需之一固定長度，藉此產生可輸入至(若干)完全連接層之固定長度表示。(若干)完全連接層220可如本文中描述般進一步組態。網路輸出具有分類標籤之定界框位置及關於各定界框之可信度。例如，如圖6中展示，輸出可包含定界框及分類222結果。池化層之實例描述於He等人之「Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition」(TPAMI，2015年)中，其宛如全文闡述以引用的方式併入本文中。本文中描述之(若干) ROI池化層可如此參考文獻中描述般進一步組態。定界框及分類222結果可包含本文中描述之結果之任一者且可如本文中進一步描述般儲存及使用。
如圖6中展示，定界框級標籤202及缺陷影像204可用作輸入以訓練偵測及分類CNN。參考影像及/或設計可作為輸入之第二(及可能第三)通道而插入，但不需要參考影像及/或設計。當此神經網路用於生產或運行時間時(在訓練神經網路之後)，定界框級標籤202將不會輸入至神經網路。代替性地，唯一輸入將為(若干)影像204。
在一些實施例中，一或多個電腦子系統經組態以使用預訓練權重微調神經網路。此微調可如本文中進一步描述般執行。在一些此等實施例中，一或多個電腦子系統經組態以使用提議網路微調一或多個ROI池化層及一或多個完全連接層。此微調可以任何適合方式執行。在一項此實施例中，預訓練權重係藉由訓練一影像分類網路而獲得。此一影像分類網路可如本文中描述般進一步組態。在另一此實施例中，預訓練權重係藉由訓練經組態以對在樣品上偵測到的缺陷進行分類之神經網路之第二部分而獲得。此訓練可如本文中描述般執行。在另一實施例中，一或多個電腦子系統經組態以從頭開始訓練神經網路。此訓練可如本文中進一步描述般執行。以此方式，可自藉由訓練另一神經網路或神經網路之偵測部分(包含提議網路之神經網路之部分)而獲得的預訓練權重微調網路，或可從頭開始訓練網路。預訓練權重可使用分類網路獲得，此可如本文中進一步描述般執行。由於共用(若干)卷積層，所以可使用分類預訓練權重。
因此，概括地說，本文中描述之實施例提供一種用於缺陷分類及檢測(偵測)之統一深度學習框架。統一深度學習框架之分類網路部分可使用每影像標籤之類別及缺陷影像來訓練，且將輸出每影像之類別與類別可信度。統一深度學習框架之偵測網路部分可使用每定界框之類別及缺陷影像來訓練，且將輸出定界框位置及每定界框之偵測分數。統一深度學習框架之偵測及分類網路部分可使用每定界框之類別及缺陷影像來訓練，且將輸出定界框位置及每定界框之類別與分類可信度。
統一深度學習框架之上述三個部分有利地共用(若干)相同卷積層且可使用相同預訓練權重來微調(訓練)。因此，本文中描述之實施例係一般化的且歸因於(若干)共同卷積層而提供一統一方法。框架之全部組態僅需要缺陷影像以進行訓練。不需要參考影像及/或設計影像。然而，參考影像及/或設計影像可視需要作為輸入之第二通道(及可能第三通道)而插入。另外，本文中描述之實施例可在無任何進一步注釋要求之情況下使用利用現有具影像級標籤之資料獲得之預訓練權重。
本文中描述之實施例具有優於用於缺陷偵測及分類之當前所使用方法之許多優點。例如，由於本文中描述之實施例使用一單組卷積層用於缺陷偵測及分類，故預訓練權重可使用具影像級標籤之資料(例如，自然影像及/或SEM或光學影像)而獲得。另外，由於本文中描述之實施例僅包含一組卷積層用於缺陷偵測及分類兩者，故該等實施例能夠容易地插入當前最先進技術網路，諸如AlexNet、深度殘差網路、VGG、及GoogleNet。此外，由於本文中描述之實施例僅包含一組卷積層，故可自預訓練權重微調或從頭開始訓練各網路。
因此，本文中描述之統一深度學習分類及偵測框架實施例具有優於先前所使用方法之多個優點。例如，本文中描述之實施例具有若干易用性及成本優點。在一項此實例中，本文中描述之實施例顯著減小使用者在像素級注釋缺陷以供偵測網路學習之負擔。換言之，本文中描述之實施例實現定界框標籤用於偵測，此顯著減小使用者注釋負擔。以此方式，實施例提供注釋、訓練及測試之易用性。在另一此實例中，預訓練權重可直接使用現有具影像級標籤之資料而產生。以此方式。本文中描述之實施例可藉由直接使用具影像級標籤之資料以產生預訓練權重而立即使用先前知識。本文中描述之實施例亦能夠容易建立用於產生預訓練權重之一資料集。在一額外實例中，自預訓練權重微調本文中描述之實施例減少用於兩個網路之訓練時間達約90%且減少訓練缺陷要求。以此方式，本文中描述之實施例可共用相同預訓練權重，藉此減少用於偵測及分類兩者之訓練時間及訓練缺陷要求，此可減少配方之時間(即，設置一配方所涉及之時間)。
在另一實例中，本文中描述之實施例歸因於知識共享而具有若干優點。在一項此實例中，本文中描述之實施例可利用先前知識。特定言之，預訓練權重可使用具影像級標籤之資料立即獲得。以此方式，本文中描述之實施例可利用先前資料以獲得預訓練權重。在另一此實例中，本文中描述之實施例可更佳地且更快速地滿足使用者要求。特定言之，藉由使用預訓練權重用於微調，分類任務可以有限訓練缺陷滿足使用者效能要求。偵測任務可以有限訓練資料提供新穎偵測。在一額外此實例中，本文中描述之實施例可針對最大效能跨偵測及分類網路載送資訊。
在一額外實例中，本文中描述之實施例之框架將偵測及分類作為一個問題處理，藉此降低訓練成本。在又一實例中，本文中描述之實施例有利地包含容許隨著全球深度學習路線圖之發展而擴展至更新穎技術的一般化框架。特定言之，實施例實現新技術之簡單即插即用(plug and play)。本文中描述之實施例亦可為一般化的，此係因為其等可將從分類學習之內容應用於偵測，且反之亦然。在另一實例中，本文中描述之實施例具有成本優點，此係因為影像電腦成本可歸因於共用昂貴的訓練程序而降低。
此外，本文中描述之實施例提供優於當前所使用方法之效能。例如，本文中描述之實施例提供最終滿足關於分類之90%準確度/純度及關於偵測之4 nm靈敏度之使用者要求的一統一深度學習框架，其中先前方法並不滿足此等使用者要求。另外，本文中描述之實施例針對最大效能跨偵測及分類網路載送資訊。此外，本文中描述之實施例相較於當前所使用方法具有處理能力優點。例如，本文中描述之實施例對於檢視及檢測工具可具有2倍快之處理能力，此係因為對於分類及偵測兩者僅需要一缺陷影像。
本文中描述之(若干)電腦子系統可進一步經組態用於單影像偵測，如由Karsenti等人於2017年5月18日發表之美國專利申請公開案第2017/0140524號中描述，該案宛如全文闡述以引用的方式併入本文中。本文中描述之實施例可進一步經組態以執行變換(自一輸入影像至一模擬影像)，諸如在以下各者中描述之變換：由Karsenti等人於2017年5月18日發表之共同擁有之美國專利申請公開案第2017/0140524號；由Zhang等人於2017年5月25日發表之共同擁有之美國專利申請公開案第2017/0148226號；由Bhaskar等人於2017年7月6日發表之共同擁有之美國專利申請公開案第2017/0193400號；由Zhang等人於2017年7月6日發表之共同擁有之美國專利申請公開案第2017/0193680號；由Bhaskar等人於2017年7月6日發表之共同擁有之美國專利申請公開案第2017/0194126號；由Bhaskar等人於2017年7月13日發表之共同擁有之美國專利申請公開案第2017/0200260號；由Park等人於2017年7月13日發表之共同擁有之美國專利申請公開案第2017/0200264號；及由Bhaskar等人於2017年7月13日發表之共同擁有之美國專利申請公開案第2017/0200265號；及由Zhang等人於2017年5月23日申請之美國專利申請案序號15/603,249，該等案宛如全文闡述以引用的方式併入本文中。本文中描述之實施例可如此等專利申請公開案及申請案中描述般進一步組態。另外，本文中描述之實施例可經組態以執行此等專利申請公開案及申請案中描述之任何步驟。
一系統之另一實施例經組態以偵測一樣品上之缺陷且對該等缺陷進行分類。該系統包含經組態以產生一樣品之影像之一成像子系統。該成像子系統可具有本文中描述之任何組態。該系統亦包含經組態以獲取該等影像之一或多個電腦子系統，例如，圖1中展示之(若干)電腦子系統102。(若干)電腦子系統可如本文中進一步描述般組態。該系統亦包含由一或多個電腦子系統執行之一或多個組件(例如，(若干)組件100)，該一或多個組件可包含本文中描述之(若干)組件之任一者。(若干)組件包含可如本文中所描述般組態之神經網路104。例如，該神經網路經組態以偵測樣品上之缺陷且對在樣品上偵測到的該等缺陷進行分類。該神經網路包含一第一部分，該第一部分經組態以判定由成像子系統產生之樣品之影像之特徵。該神經網路亦包含一第二部分，該第二部分經組態以基於影像之該等經判定特徵偵測該樣品上之缺陷，且基於影像之該等經判定特徵對在樣品上偵測到的該等缺陷進行分類。一或多個電腦子系統經組態以產生偵測及分類之結果。此系統實施例可如本文中描述般進一步組態。
上文描述之系統之各者之實施例之各者可在一起組合成一個單一實施例。
另一實施例係關於一種用於偵測一樣品上之缺陷且對該等缺陷進行分類之電腦實施方法。該方法包含獲取由一成像子系統產生之一樣品之影像。該方法亦包含藉由將該等影像輸入至一神經網路之一第一部分中而判定該樣品之該等影像之特徵，該神經網路經組態以偵測該樣品上之缺陷且對在該樣品上偵測到的該等缺陷進行分類。一或多個組件係由一或多個電腦系統執行，且該一或多個組件包含該神經網路。另外，該方法包含藉由將該等影像之該等經判定特徵輸入至該神經網路之一第二部分中而基於該等影像之該等經判定特徵偵測該樣品上之缺陷，且基於該等影像之該等經判定特徵對在該樣品上偵測到的該等缺陷進行分類。該方法進一步包含產生偵測及分類之結果。
該方法之步驟之各者可如本文中進一步描述般執行。該方法亦可包含可由本文中描述之系統、(若干)電腦子系統及/或成像系統或子系統執行之(若干)任何其他步驟。一或多個電腦系統、一或多個組件及神經網路可根據本文中描述之實施例之任一者(例如，(若干)電腦子系統102、(若干)組件100及神經網路104)組態。另外，上文描述之方法可藉由本文中描述之系統實施例之任一者執行。
一額外實施例係關於一種非暫時性電腦可讀媒體，其儲存可在一或多個電腦系統上執行以執行用於偵測一樣品上之缺陷且對該等缺陷進行分類之一電腦實施方法的程式指令。一項此實施例展示於圖7中。特定言之，如圖7中展示，非暫時性電腦可讀媒體700包含可在(若干)電腦系統704上執行之程式指令702。電腦實施方法可包含本文中描述之(若干)任何方法之(若干)任何步驟。
實施諸如本文中描述之方法之方法之程式指令702可儲存於電腦可讀媒體700上。電腦可讀媒體可為一儲存媒體，諸如一磁碟或光碟、一磁帶，或此項技術中已知之任何其他適合非暫時性電腦可讀媒體。
程式指令可以各種方法之任一者實施，包含基於程序之技術、基於組件之技術及/或物件導向技術等等。例如，程式指令可視需要使用ActiveX控制項、C++物件、JavaBeans、微軟基礎類別(「MFC」)、SSE (串流SIMD延伸)或其他技術或方法論實施。
(若干)電腦系統704可根據本文中描述之實施例之任一者組態。
鑒於此描述，熟習此項技術者將明白本發明之各種態樣之進一步修改及替代實施例。例如，提供用於偵測一樣品上之缺陷且對該等缺陷進行分類之方法及系統。因此，此描述應僅理解為闡釋性的且係用於教示熟習此項技術者以實行本發明之一般方式之目的。應瞭解，本文中展示且描述之本發明之形式應視為當前較佳實施例。全部如熟習此項技術者在受益於本發明之此描述之後將明白，元件及材料可替換本文中繪示且描述之元件及材料，可顛倒部分及程序且可獨立利用本發明之某些特徵。在不脫離如以下發明申請專利範圍中所描述之本發明之精神及範疇之情況下，可對本文中描述之元件進行改變。
10‧‧‧成像系統/成像子系統
14‧‧‧樣品
16‧‧‧光源/源
18‧‧‧光學元件
20‧‧‧透鏡
22‧‧‧載物台
24‧‧‧集光器
26‧‧‧元件
28‧‧‧偵測器
30‧‧‧集光器
32‧‧‧元件
34‧‧‧偵測器
36‧‧‧電腦子系統
100‧‧‧組件
102‧‧‧電腦子系統
104‧‧‧神經網路
122‧‧‧電子柱
124‧‧‧電腦子系統
126‧‧‧電子束源
128‧‧‧樣品
130‧‧‧元件
132‧‧‧元件
134‧‧‧偵測器
200‧‧‧影像級標籤
202‧‧‧定界框級標籤
204‧‧‧影像/影像：缺陷、參考、設計/缺陷影像
206‧‧‧卷積層
208‧‧‧特徵圖
210‧‧‧完全連接層
212‧‧‧影像分類
214‧‧‧提議網路/層
216‧‧‧定界框
218‧‧‧所關注區域(ROI)池化層
220‧‧‧完全連接層
222‧‧‧定界框及分類
700‧‧‧非暫時性電腦可讀媒體
702‧‧‧程式指令
704‧‧‧電腦系統
熟習此項技術者在獲益於較佳實施例之以下詳細描述並參考隨附圖式之後將明白本發明之進一步優點，其中： 圖1及圖1a係繪示如本文中描述般組態之一系統之實施例之側視圖的示意圖； 圖2係繪示在一訓練階段中之一神經網路之一項實施例的一流程圖； 圖3係繪示在一測試階段中之圖2之神經網路之一項實施例的一流程圖； 圖4係繪示在一缺陷分類使用案例中之圖2之神經網路之一項實施例的一流程圖； 圖5係繪示在一缺陷偵測使用案例中之圖2之神經網路之一項實施例的一流程圖； 圖6係繪示在一缺陷偵測及分類使用案例中之圖2之神經網路之一項實施例的一流程圖；及 圖7係繪示儲存用於引起一或多個電腦系統執行本文中描述之一電腦實施方法之程式指令的一非暫時性電腦可讀媒體之一項實施例之一方塊圖。 雖然本發明易於以各種修改及替代形式呈現，但在圖式中以實例方式展示且在本文中詳細描述本發明之特定實施例。圖式可不按比例繪製。然而，應瞭解，圖式及其等之詳細描述並不意欲將本發明限制於所揭示之特定形式，恰相反，意欲涵蓋落於如隨附發明申請專利範圍所定義之本發明之精神及範疇內之全部修改、等效物及替代物。

Claims (26)

  1. 一種經組態以偵測一樣品上之缺陷且對該等缺陷進行分類之系統，其包括： 一或多個電腦子系統；及 一或多個組件，其等由該一或多個電腦子系統執行，其中該一或多個組件包括： 一神經網路，其經組態以偵測一樣品上之缺陷且對在該樣品上偵測到的該等缺陷進行分類，其中該神經網路包括： 一第一部分，其經組態以判定由一成像子系統產生之該樣品之影像之特徵；及 一第二部分，其經組態以基於該等影像之該等經判定特徵偵測該樣品上之缺陷，且基於該等影像之該等經判定特徵對在該樣品上偵測到的該等缺陷進行分類；及 其中該一或多個電腦子系統經組態以產生該偵測及分類之結果。
  2. 如請求項1之系統，其中該神經網路進一步組態為一深度學習網路。
  3. 如請求項1之系統，其中該神經網路進一步組態為一AlexNet。
  4. 如請求項1之系統，其中該神經網路進一步組態為一GoogleNet。
  5. 如請求項1之系統，其中該神經網路進一步組態為一VGG網路。
  6. 如請求項1之系統，其中該神經網路進一步組態為一深度殘差網路。
  7. 如請求項1之系統，其中該第一部分包括一或多個卷積層。
  8. 如請求項1之系統，其中該一或多個電腦子系統進一步經組態以藉由將由一使用者指派給訓練缺陷影像之類別標籤及該等訓練缺陷影像輸入至該神經網路而訓練該神經網路。
  9. 如請求項8之系統，其中該一或多個電腦子系統進一步經組態以藉由與一或多個訓練參考影像、針對其產生該等訓練缺陷影像之一樣品之一設計，或該一或多個訓練參考影像及該設計一起將該等類別標籤及該等訓練缺陷影像輸入至該神經網路而訓練該神經網路。
  10. 如請求項1之系統，其中該一或多個電腦子系統進一步經組態以使用預訓練權重微調該神經網路。
  11. 如請求項10之系統，其中該等預訓練權重係藉由訓練一影像分類網路而獲得。
  12. 如請求項10之系統，其中該等預訓練權重係藉由訓練經組態以對在該樣品上偵測到的該等缺陷進行分類之該第二部分而獲得。
  13. 如請求項1之系統，其中該一或多個電腦子系統進一步經組態以從頭開始訓練該神經網路。
  14. 如請求項1之系統，其中該第二部分包括經組態以選擇該等經判定特徵之一或多者且基於該一或多個選定特徵對該等缺陷進行分類之一或多個完全連接層。
  15. 如請求項1之系統，其中該一或多個電腦子系統進一步經組態以藉由將由一使用者指派給訓練缺陷影像中之定界框之類別標籤及該等訓練缺陷影像輸入至該神經網路而訓練該神經網路。
  16. 如請求項15之系統，其中該一或多個電腦子系統進一步經組態以藉由與一或多個訓練參考影像、針對其產生該等訓練缺陷影像之一樣品之一設計，或該一或多個訓練參考影像及該設計一起將該等類別標籤及該等訓練缺陷影像輸入至該神經網路而訓練該神經網路。
  17. 如請求項1之系統，其中該第二部分包括一提議網路，該提議網路經組態以基於針對該等影像判定之該等特徵偵測該樣品上之缺陷，且針對該等經偵測缺陷之各者產生定界框。
  18. 如請求項17之系統，其中該第二部分進一步包括一或多個所關注區域池化層其後接著一或多個完全連接層，其中該一或多個所關注區域池化層經組態以產生該等經產生定界框之固定長度表示，其中該等固定長度表示輸入至該一或多個完全連接層，且其中該一或多個完全連接層經組態以選擇該等經判定特徵之一或多者且基於該一或多個選定特徵對該等經偵測缺陷進行分類。
  19. 如請求項18之系統，其中該一或多個電腦子系統進一步經組態以使用該提議網路微調該一或多個所關注區域池化層及該一或多個完全連接層。
  20. 如請求項1之系統，其中該成像子系統組態為一基於電子束之成像子系統。
  21. 如請求項1之系統，其中該成像子系統組態為一基於光學之成像子系統。
  22. 如請求項1之系統，其中該樣品係一晶圓。
  23. 如請求項1之系統，其中該樣品係一光罩。
  24. 一種經組態以偵測一樣品上之缺陷且對該等缺陷進行分類之系統，其包括： 一成像子系統，其經組態以產生一樣品之影像； 一或多個電腦子系統，其等經組態以獲取該等影像；及 一或多個組件，其等由該一或多個電腦子系統執行，其中該一或多個組件包括： 一神經網路，其經組態以偵測該樣品上之缺陷且對在該樣品上偵測到的該等缺陷進行分類，其中該神經網路包括： 一第一部分，其經組態以判定由該成像子系統產生之該樣品之該等影像之特徵；及 一第二部分，其經組態以基於該等影像之該等經判定特徵偵測該樣品上之缺陷，且基於該等影像之該等經判定特徵對在該樣品上偵測到的該等缺陷進行分類；及 其中該一或多個電腦子系統經組態以產生該偵測及分類之結果。
  25. 一種非暫時性電腦可讀媒體，其儲存可在一或多個電腦系統上執行以執行用於偵測一樣品上之缺陷且對該等缺陷進行分類之一電腦實施方法的程式指令，其中該電腦實施方法包括： 獲取由一成像子系統產生之一樣品之影像； 藉由將該等影像輸入至一神經網路之一第一部分中而判定該樣品之該等影像之特徵，該神經網路經組態以偵測該樣品上之缺陷且對在該樣品上偵測到的該等缺陷進行分類，其中一或多個組件係由該一或多個電腦系統執行，且其中該一或多個組件包括該神經網路； 藉由將該等影像之該等經判定特徵輸入至該神經網路之一第二部分中而基於該等影像之該等經判定特徵偵測該樣品上之缺陷，且基於該等影像之該等經判定特徵對在該樣品上偵測到的該等缺陷進行分類；及 產生該偵測及分類之結果。
  26. 一種用於偵測一樣品上之缺陷且對該等缺陷進行分類之電腦實施方法，其包括： 獲取由一成像子系統產生之一樣品之影像； 藉由將該等影像輸入至一神經網路之一第一部分中而判定該樣品之該等影像之特徵，該神經網路經組態以偵測該樣品上之缺陷且對在該樣品上偵測到的該等缺陷進行分類，其中一或多個組件係由一或多個電腦系統執行，且其中該一或多個組件包括該神經網路； 藉由將該等影像之該等經判定特徵輸入至該神經網路之一第二部分中而基於該等影像之該等經判定特徵偵測該樣品上之缺陷，且基於該等影像之該等經判定特徵對在該樣品上偵測到的該等缺陷進行分類；及 產生該偵測及分類之結果。
TW107130777A 2017-09-06 2018-09-03 用於偵測及分類缺陷之系統、非暫時性電腦可讀媒體及電腦實施方法 TWI761586B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/697,426 US10607119B2 (en) 2017-09-06 2017-09-06 Unified neural network for defect detection and classification
US15/697,426 2017-09-06

Publications (2)

Publication Number Publication Date
TW201931217A true TW201931217A (zh) 2019-08-01
TWI761586B TWI761586B (zh) 2022-04-21

Family

ID=65517348

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107130777A TWI761586B (zh) 2017-09-06 2018-09-03 用於偵測及分類缺陷之系統、非暫時性電腦可讀媒體及電腦實施方法

Country Status (5)

Country Link
US (1) US10607119B2 (zh)
KR (1) KR102336469B1 (zh)
CN (1) CN111094952B (zh)
TW (1) TWI761586B (zh)
WO (1) WO2019050992A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI761880B (zh) * 2019-08-16 2022-04-21 南韓商樂人股份有限公司 基板缺陷檢查裝置、方法、電腦可讀記錄介質及電腦程式產品
TWI801038B (zh) * 2021-12-16 2023-05-01 新加坡商鴻運科股份有限公司 瑕疵檢測方法、系統、電子設備及介質

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR102016028266A2 (pt) * 2016-12-01 2018-06-19 Autaza Tecnologia Ltda - Epp Método e sistema para a inspeção automática de qualidade de materiais
KR20190084167A (ko) * 2017-12-21 2019-07-16 주식회사 고영테크놀러지 인쇄 회로 기판 검사 장치, 스크린 프린터의 결함 유형 결정 방법 및 컴퓨터 판독 가능한 기록 매체
WO2019155467A1 (en) * 2018-02-07 2019-08-15 Applied Materials Israel Ltd. Method of generating a training set usable for examination of a semiconductor specimen and system thereof
US11029359B2 (en) * 2018-03-09 2021-06-08 Pdf Solutions, Inc. Failure detection and classsification using sensor data and/or measurement data
US10679333B2 (en) 2018-03-14 2020-06-09 Kla-Tencor Corporation Defect detection, classification, and process window control using scanning electron microscope metrology
KR20200123858A (ko) 2018-03-21 2020-10-30 케이엘에이 코포레이션 합성 이미지를 사용한 머신 러닝 모델 트레이닝
US10599951B2 (en) 2018-03-28 2020-03-24 Kla-Tencor Corp. Training a neural network for defect detection in low resolution images
US10670536B2 (en) 2018-03-28 2020-06-02 Kla-Tencor Corp. Mode selection for inspection
US10713769B2 (en) 2018-06-05 2020-07-14 Kla-Tencor Corp. Active learning for defect classifier training
US10846845B2 (en) * 2018-07-25 2020-11-24 Fei Company Training an artificial neural network using simulated specimen images
US10866197B2 (en) 2018-09-20 2020-12-15 KLA Corp. Dispositioning defects detected on extreme ultraviolet photomasks
CN112868024A (zh) 2018-10-15 2021-05-28 文塔纳医疗系统公司 用于细胞分类的系统和方法
US11037289B2 (en) * 2018-10-26 2021-06-15 Taiwan Semiconductor Manufacturing Company Ltd. Method and system for scanning wafer
CN109544548A (zh) * 2018-11-30 2019-03-29 北京百度网讯科技有限公司 餐盒的缺陷检测方法、装置、服务器、设备和存储介质
US11010885B2 (en) * 2018-12-18 2021-05-18 Kla Corporation Optical-mode selection for multi-mode semiconductor inspection
AU2019404076A1 (en) 2018-12-19 2021-07-15 Ecoatm, Llc Systems and methods for vending and/or purchasing mobile phones and other electronic devices
US11379967B2 (en) * 2019-01-18 2022-07-05 Kla Corporation Methods and systems for inspection of semiconductor structures with automatically generated defect features
US10509987B1 (en) * 2019-01-22 2019-12-17 StradVision, Inc. Learning method and learning device for object detector based on reconfigurable network for optimizing customers' requirements such as key performance index using target object estimating network and target object merging network, and testing method and testing device using the same
AU2020222971A1 (en) 2019-02-12 2021-09-23 Ecoatm, Llc Connector carrier for electronic device kiosk
US10922808B2 (en) 2019-02-14 2021-02-16 KLA—Tencor Corp. File selection for test image to design alignment
JP2021530793A (ja) * 2019-02-18 2021-11-11 エコエーティーエム， エルエルシー 電子デバイスの物理的状態評価に基づくニューラルネットワーク、および関連付けられるシステムおよび方法
CN109934811B (zh) * 2019-03-08 2022-12-30 中国科学院光电技术研究所 一种基于深度学习的光学元件表面缺陷检测方法
CN109934814B (zh) * 2019-03-15 2022-02-01 英业达科技有限公司 表面缺陷侦测系统及其方法
WO2020188452A1 (en) * 2019-03-15 2020-09-24 Invista Textiles (U.K.) Limited Yarn quality control
US11551348B2 (en) 2019-04-09 2023-01-10 KLA Corp. Learnable defect detection for semiconductor applications
EP3739513A1 (en) * 2019-05-13 2020-11-18 Fujitsu Limited Surface defect identification method and apparatus
US11497221B2 (en) 2019-07-19 2022-11-15 Walmart Apollo, Llc Systems and methods for managing meat cut quality
CN110555467B (zh) * 2019-08-13 2020-10-23 深圳创新奇智科技有限公司 一种基于模型迁移的工业数据分类方法
US11693386B2 (en) * 2019-08-27 2023-07-04 Samsung Eleotronics Co., Ltd. Method and electronic device for guiding semiconductor manufacturing process
CN110738235B (zh) * 2019-09-16 2023-05-30 平安科技（深圳）有限公司 肺结核判定方法、装置、计算机设备及存储介质
US11580650B2 (en) 2019-10-01 2023-02-14 KLA Corp. Multi-imaging mode image alignment
CN110782431B (zh) * 2019-10-08 2022-03-22 浙江大学 一种基于深度学习的高压电线结冰区域检测方法
CN112683923A (zh) * 2019-10-17 2021-04-20 神讯电脑(昆山)有限公司 基于人工神经网络的物件表面型态的筛选方法
US11087449B2 (en) 2019-10-24 2021-08-10 KLA Corp. Deep learning networks for nuisance filtering
CN110838107B (zh) * 2019-10-31 2023-02-17 广东华中科技大学工业技术研究院 变角度光学视频智能检测3c透明构件缺陷的方法及装置
CN110910353B (zh) * 2019-11-06 2022-06-10 成都数之联科技股份有限公司 一种工业假不良检测方法及系统
US11763450B1 (en) * 2019-11-14 2023-09-19 University Of South Florida Mitigating adversarial attacks on medical imaging understanding systems
CN111080622B (zh) * 2019-12-13 2023-11-07 熵智科技(深圳)有限公司 神经网络训练方法、工件表面缺陷分类与检测方法及装置
US11354793B2 (en) 2019-12-16 2022-06-07 International Business Machines Corporation Object detection with missing annotations in visual inspection
CN111161244B (zh) * 2019-12-30 2021-12-21 华南理工大学 基于FCN+FC-WXGBoost的工业产品表面缺陷检测方法
CN111325713B (zh) * 2020-01-21 2023-05-23 杭州未名信科科技有限公司 基于神经网络的木材缺陷检测方法、系统及存储介质
US11694319B2 (en) 2020-04-10 2023-07-04 Samsung Display Co., Ltd. Image-based defects identification and semi-supervised localization
CN111524119A (zh) * 2020-04-22 2020-08-11 征图新视(江苏)科技股份有限公司 基于深度学习的二维码缺陷检测方法
DE102021106999A1 (de) * 2020-04-24 2021-10-28 Krones Aktiengesellschaft Verfahren und Vorrichtung zur optischen Inspektion von Behältern in einer Getränkeverarbeitungsanlage
CN111651337B (zh) * 2020-05-07 2022-07-12 哈尔滨工业大学 一种sram存储器空间服役故障分类失效检测方法
CN111680586B (zh) * 2020-05-26 2022-08-26 电子科技大学 一种羽毛球运动员运动姿态估计方法及系统
WO2021250884A1 (ja) * 2020-06-12 2021-12-16 株式会社日立ハイテク 欠陥検査のための方法、システム、及びコンピューター可読媒体
US11645733B2 (en) 2020-06-16 2023-05-09 Bank Of America Corporation System and method for providing artificial intelligence architectures to people with disabilities
US11232550B2 (en) * 2020-06-29 2022-01-25 Applied Materials Israel Ltd. Generating a training set usable for examination of a semiconductor specimen
CN111783901A (zh) * 2020-07-13 2020-10-16 征图新视(江苏)科技股份有限公司 一种基于深度学习的印刷质量分类方法
US11631169B2 (en) * 2020-08-02 2023-04-18 KLA Corp. Inspection of noisy patterned features
US11776108B2 (en) 2020-08-05 2023-10-03 KLA Corp. Deep learning based defect detection
CN111986174A (zh) * 2020-08-17 2020-11-24 深圳市商汤科技有限公司 缺陷检测方法、装置、电子设备及计算机存储介质
US11922467B2 (en) 2020-08-17 2024-03-05 ecoATM, Inc. Evaluating an electronic device using optical character recognition
KR102512625B1 (ko) * 2020-10-26 2023-03-23 한국생산기술연구원 데이터 증강을 이용하여 결함 검사를 위한 학습 방법 및 이를 수행하는 장치
CN112067555B (zh) * 2020-11-12 2021-03-30 山东海德智能科技有限公司 一种可自动视觉识别零件种类的零件检测系统
CN112633327B (zh) * 2020-12-02 2023-06-30 西安电子科技大学 分阶段金属表面缺陷检测方法、系统、介质、设备及应用
US11748865B2 (en) 2020-12-07 2023-09-05 International Business Machines Corporation Hierarchical image decomposition for defect detection
CN112686860A (zh) * 2020-12-29 2021-04-20 厦门理工学院 一种基于红外热成像的叶片检测方法和装置以及设备
CN112767351B (zh) * 2021-01-19 2024-04-16 孙杨 一种基于敏感位置依赖分析的变电设备缺陷检测方法
CN112967267B (zh) * 2021-03-23 2024-01-23 湖南珞佳智能科技有限公司 一种全卷积神经网络的激光定向能量沉积溅射计数方法
CN113034494A (zh) * 2021-04-20 2021-06-25 佛山市南海区广工大数控装备协同创新研究院 一种基于深度学习的橡胶密封圈缺陷检测方法
DE102021002363B3 (de) 2021-05-04 2022-09-08 Karlsruher Institut für Technologie, Körperschaft des öffentlichen Rechts Gerät für eine lageunabhängige optische Oberflächeninspektion
CN113538342B (zh) * 2021-06-25 2023-08-18 汕头大学 一种基于卷积神经网络的铝质气雾罐涂层质量检测方法
CN113469992B (zh) * 2021-07-16 2022-02-18 合肥中科融道智能科技有限公司 基于增强不同层次特征表示的电力设备图像缺陷检测方法
JP7257470B2 (ja) * 2021-09-01 2023-04-13 株式会社エフ・シー・シー 欠陥検査装置、欠陥検査方法および予測モデル生成方法
US11727556B2 (en) 2021-09-29 2023-08-15 KLA Corp. Defect detection for multi-die masks
US11983920B2 (en) 2021-12-20 2024-05-14 International Business Machines Corporation Unified framework for multigrid neural network architecture
KR102568680B1 (ko) * 2022-02-09 2023-08-21 이승준 인공지능을 이용한 헤어핀 모터의 용접불량 진단장치
EP4266246A1 (en) 2022-04-22 2023-10-25 Imec VZW Automated defect classification and detection
CN114842454B (zh) * 2022-06-27 2022-09-13 小米汽车科技有限公司 障碍物检测方法、装置、设备、存储介质、芯片及车辆

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004012422A (ja) 2002-06-11 2004-01-15 Dainippon Screen Mfg Co Ltd パターン検査装置、パターン検査方法およびプログラム
JP3978098B2 (ja) 2002-08-12 2007-09-19 株式会社日立製作所 欠陥分類方法及びその装置
US7333650B2 (en) * 2003-05-29 2008-02-19 Nidek Co., Ltd. Defect inspection apparatus
US7570796B2 (en) 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US7676077B2 (en) 2005-11-18 2010-03-09 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US8698093B1 (en) 2007-01-19 2014-04-15 Kla-Tencor Corporation Objective lens with deflector plates immersed in electrostatic lens field
US8126255B2 (en) 2007-09-20 2012-02-28 Kla-Tencor Corp. Systems and methods for creating persistent data for a wafer and for using persistent data for inspection-related functions
US8664594B1 (en) 2011-04-18 2014-03-04 Kla-Tencor Corporation Electron-optical system for high-speed and high-sensitivity inspections
US8692204B2 (en) 2011-04-26 2014-04-08 Kla-Tencor Corporation Apparatus and methods for electron beam detection
JP5342606B2 (ja) 2011-06-27 2013-11-13 株式会社日立ハイテクノロジーズ 欠陥分類方法及びその装置
US8716662B1 (en) 2012-07-16 2014-05-06 Kla-Tencor Corporation Methods and apparatus to review defects using scanning electron microscope with multiple electron beam configurations
US9222895B2 (en) 2013-02-25 2015-12-29 Kla-Tencor Corp. Generalized virtual inspector
US9275308B2 (en) 2013-05-31 2016-03-01 Google Inc. Object detection using deep neural networks
US9709510B2 (en) * 2014-06-26 2017-07-18 Kla-Tencor Corp. Determining a configuration for an optical element positioned in a collection aperture during wafer inspection
US9816939B2 (en) * 2014-07-22 2017-11-14 Kla-Tencor Corp. Virtual inspection systems with multiple modes
US10650508B2 (en) * 2014-12-03 2020-05-12 Kla-Tencor Corporation Automatic defect classification without sampling and feature selection
WO2016096309A1 (en) * 2014-12-15 2016-06-23 Asml Netherlands B.V. Optimization based on machine learning
US9898811B2 (en) * 2015-05-08 2018-02-20 Kla-Tencor Corporation Method and system for defect classification
WO2017011702A1 (en) 2015-07-15 2017-01-19 Cylance Inc. Malware detection
JP6546826B2 (ja) * 2015-10-08 2019-07-17 株式会社日立パワーソリューションズ 欠陥検査方法、及びその装置
US10186026B2 (en) 2015-11-17 2019-01-22 Kla-Tencor Corp. Single image detection
US9965901B2 (en) 2015-11-19 2018-05-08 KLA—Tencor Corp. Generating simulated images from design information
US9916965B2 (en) 2015-12-31 2018-03-13 Kla-Tencor Corp. Hybrid inspectors
US11580375B2 (en) 2015-12-31 2023-02-14 Kla-Tencor Corp. Accelerated training of a machine learning based model for semiconductor applications
US10648924B2 (en) 2016-01-04 2020-05-12 Kla-Tencor Corp. Generating high resolution images from low resolution images for semiconductor applications
US10043261B2 (en) 2016-01-11 2018-08-07 Kla-Tencor Corp. Generating simulated output for a specimen
US10181185B2 (en) 2016-01-11 2019-01-15 Kla-Tencor Corp. Image based specimen process control
US10360477B2 (en) 2016-01-11 2019-07-23 Kla-Tencor Corp. Accelerating semiconductor-related computations using learning based models
CN106339718A (zh) * 2016-08-18 2017-01-18 苏州大学 一种基于神经网络的分类方法及装置
CN106599827A (zh) * 2016-12-09 2017-04-26 浙江工商大学 一种基于深度卷积神经网络的小目标快速检测方法
CN106599939A (zh) * 2016-12-30 2017-04-26 深圳市唯特视科技有限公司 一种基于区域卷积神经网络的实时目标检测方法
CN106951911B (zh) * 2017-02-13 2021-06-29 苏州飞搜科技有限公司 一种快速的多标签图片检索系统及实现方法
US11803953B2 (en) * 2017-04-10 2023-10-31 Dpix, Llc Manufacturing quality improvement through statistical root cause analysis using convolution neural networks

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI761880B (zh) * 2019-08-16 2022-04-21 南韓商樂人股份有限公司 基板缺陷檢查裝置、方法、電腦可讀記錄介質及電腦程式產品
TWI801038B (zh) * 2021-12-16 2023-05-01 新加坡商鴻運科股份有限公司 瑕疵檢測方法、系統、電子設備及介質

Also Published As

Publication number Publication date
US20190073568A1 (en) 2019-03-07
KR102336469B1 (ko) 2021-12-06
WO2019050992A1 (en) 2019-03-14
CN111094952A (zh) 2020-05-01
TWI761586B (zh) 2022-04-21
CN111094952B (zh) 2021-11-16
KR20200039808A (ko) 2020-04-16
US10607119B2 (en) 2020-03-31

Similar Documents

Publication Publication Date Title
TWI761586B (zh) 用於偵測及分類缺陷之系統、非暫時性電腦可讀媒體及電腦實施方法
TWI747967B (zh) 用於經組態用於半導體應用之深度學習模型之診斷系統及方法
TWI735774B (zh) 基於輪廓之缺陷偵測
TWI711978B (zh) 用於執行針對樣本之功能之系統及電腦實施方法，以及電腦可讀媒體
TWI731016B (zh) 用於半導體應用之以機器學習之模型為基礎之加速訓練
TWI722050B (zh) 單一影像偵測
TWI742277B (zh) 用於對準以不同模態所獲取之影像之以學習為基礎之方法
JP6893514B2 (ja) ハイブリッドインスペクタ
TWI715773B (zh) 針對半導體應用整合神經網路及前向物理模型之系統及方法
TWI734724B (zh) 針對半導體應用由低解析度影像產生高解析度影像之系統、方法及非暫時性電腦可讀媒體
CN108475351B (zh) 用于训练基于机器学习的模型的系统和计算机实施方法
TW201800983A (zh) 針對半導體應用自輸入影像產生經模擬影像
TW201928541A (zh) 用於大型偏移晶粒對晶粒檢測之多步驟影像對準方法