TW201946181A - 以合成圖像訓練機器學習模型 - Google Patents

以合成圖像訓練機器學習模型 Download PDF

Info

Publication number
TW201946181A
TW201946181A TW108109773A TW108109773A TW201946181A TW 201946181 A TW201946181 A TW 201946181A TW 108109773 A TW108109773 A TW 108109773A TW 108109773 A TW108109773 A TW 108109773A TW 201946181 A TW201946181 A TW 201946181A
Authority
TW
Taiwan
Prior art keywords
image
images
sample
machine learning
gui
Prior art date
Application number
TW108109773A
Other languages
English (en)
Other versions
TWI840346B (zh
Inventor
伊恩 萊力
賀力
桑卡 梵卡泰若曼
麥可 寇沃史基
阿軍 黑吉
Original Assignee
美商克萊譚克公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商克萊譚克公司 filed Critical 美商克萊譚克公司
Publication of TW201946181A publication Critical patent/TW201946181A/zh
Application granted granted Critical
Publication of TWI840346B publication Critical patent/TWI840346B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

本發明提供用於使用合成缺陷圖像訓練一機器學習模型之方法及系統。一個系統包含由一或多個電腦子系統執行之一或多個組件。該一或多個組件包含一圖形使用者介面(GUI)，該GUI經組態用於將一樣品之一或多個圖像及圖像編輯工具顯示給一使用者且用於自該使用者接收輸入，該輸入包含使用該等圖像編輯工具之一或多者對該等圖像之至少一者進行之一或多個更改。該(若干)組件亦包含一圖像處理模組，該圖像處理模組經組態用於將該(若干)更改應用於該至少一個圖像，藉此產生至少一個經修改圖像且將該至少一個經修改圖像儲存於一訓練集中。該(若干)電腦子系統經組態用於以其中儲存該至少一個經修改圖像之該訓練集訓練一機器學習模型。

Description

以合成圖像訓練機器學習模型
本發明大體上係關於經組態用於使用一或多個合成圖像訓練一機器學習模型之方法及系統。
以下描述及實例不因其等包含於此段落中而被承認是先前技術。
製作諸如邏輯及記憶體裝置之半導體裝置通常包含使用大量半導體製作程序處理諸如一半導體晶圓之一基板以形成半導體裝置之各種特徵及多個層級。例如，微影係涉及將一圖案自一倍縮光罩轉印至配置於一半導體晶圓上之一光阻劑的一半導體製作程序。半導體製作程序之額外實例包含但不限於化學機械拋光(CMP)、蝕刻、沈積及離子植入。多個半導體裝置可以一配置製作於一單一半導體晶圓上且接著被分成個別半導體裝置。
在一半導體製程期間之各個步驟使用檢測程序來偵測樣品上之缺陷以驅使製程中之更高良率及因此更高利潤。檢測始終為製作半導體裝置之一重要部分。然而，隨著半導體裝置之尺寸減小，檢測對於成功地製造可接受半導體裝置變得更為重要，此係因為較小缺陷可能引起裝置不合格。
缺陷檢視通常涉及重新偵測本身藉由一檢測程序偵測之缺陷及使用一高放大率光學系統或一掃描電子顯微鏡(SEM)以一較高解析度產生關於缺陷之額外資訊。因此，在其中已藉由檢測偵測到缺陷之樣品上的離散位置處執行缺陷檢視。藉由缺陷檢視產生之缺陷之較高解析度資料更適用於判定諸如輪廓、粗糙度、更準確大小資訊等之缺陷的屬性。相較於檢測，基於藉由缺陷檢視判定之資訊，一般可將缺陷更準確地分類為缺陷類型。
深度學習之進展已使深度學習成為用於缺陷偵測及分類中之一有吸引力的框架。為了分類，在訓練中，一使用者可將標籤指派給缺陷圖像。在生產期間(在訓練之後)，運用缺陷圖像作為至深度學習模型之一輸入，深度學習模型將輸出圖像分類及與圖像分類相關聯之可信度。為了偵測，一使用者可將像素級標籤指派給缺陷圖像(通常多個類別之缺陷圖像)。像素級標籤及缺陷圖像用於訓練一缺陷偵測深度學習模型，該缺陷偵測深度學習模型可不同於經訓練用於缺陷分類之深度學習模型。換言之，偵測深度學習模型及分類深度學習模型可為互斥的。來自偵測深度學習模型之輸出(斑點)及斑點級標籤可用於訓練分類深度學習模型。在生產期間(在訓練偵測深度學習模型之後)，將缺陷圖像輸入至偵測深度學習模型，該偵測深度學習模型輸出斑點，且分類深度學習模型輸出每斑點之分類及相關聯可信度。
然而，上文描述之當前使用方法及系統存在若干缺點。例如，目前，僅關於現有缺陷實例訓練分類器。此訓練具有至少三個顯著缺點。首先，無法在無所關注缺陷(DOI)實例之情況下訓練一偵測/分類模型。第二，即使使用者收集對其進行訓練之數個DOI實例，經訓練模型正確擷取且分類DOI之能力仍完全取決於此先前發現實例集之大小、品質及變異數。因為此資料難以收集，所以訓練集通常含有太少實例以訓練良好模型。甚至在其中訓練集含有一給定缺陷之許多實例之情況中，實例仍可能未涵蓋該特定缺陷可具有之外觀之整個範圍且所得分類器將遺漏未表示變體。第三，編譯一訓練集係不簡單的且易有人為錯誤。晶圓或其他樣品之圖像必須針對缺陷在視覺上梳理且以類別標籤註解。由於缺陷通常是稀疏的，故可能必須手動掃描以發現一單一例示性缺陷之圖像的數目通常使此手動缺陷偵測不切實際。
因此，發展出不具有上述缺點之一或多者之用於訓練一機器學習模型的系統及方法將為有利的。
各項實施例之以下描述絕不應理解為限制隨附技術方案之標的。
一項實施例係關於一種經組態以訓練一機器學習模型之系統。該系統包含一或多個電腦子系統及由該一或多個電腦子系統執行之一或多個組件。該一或多個組件包含經組態用於將一樣品之一或多個圖像及圖像編輯工具顯示給一使用者之一圖形使用者介面(GUI)。該GUI亦經組態用於自該使用者接收輸入，該輸入包含使用該等圖像編輯工具之一或多者對該一或多個圖像之至少一者進行之一或多個更改。該(若干)組件亦包含一圖像處理模組，該圖像處理模組經組態用於將該一或多個更改應用於該一或多個圖像之該至少一者，藉此產生至少一個經修改圖像且將該至少一個經修改圖像儲存於一訓練集中。該(若干)組件進一步包含一機器學習模型，該機器學習模型經組態用於使用藉由一成像子系統針對該樣品產生之圖像對該樣品執行一或多個功能。該(若干)電腦子系統經組態用於以其中儲存該至少一個經修改圖像之該訓練集訓練該機器學習模型。該系統可如本文中描述般進一步組態。
另一實施例係關於一種用於訓練一機器學習模型之電腦實施方法。該方法包含運用一GUI將一樣品之一或多個圖像及圖像編輯工具顯示給一使用者且經由該GUI自該使用者接收輸入。該輸入包含使用該等圖像編輯工具之一或多者對該一或多個圖像之至少一者進行之一或多個更改。該方法亦包含將該一或多個更改應用於該一或多個圖像之該至少一者藉此產生至少一個經修改圖像。另外，該方法包含將該至少一個經修改圖像儲存於一訓練集中。該應用及該儲存係藉由一圖像處理模組執行。該方法進一步包含以其中儲存該至少一個經修改圖像之該訓練集訓練一機器學習模型。該機器學習模型經組態用於使用藉由一成像子系統針對該樣品產生之圖像對該樣品執行一或多個功能。該GUI、該圖像處理模組及該機器學習模型包含於由一或多個電腦子系統執行之一或多個組件中。該訓練係藉由該一或多個電腦子系統執行。
可如本文中描述般進一步執行上述方法之步驟之各者。另外，上述方法可包含本文中描述之(若干)任何其他方法之(若干)任何其他步驟。此外，上述方法可藉由本文中描述之系統之任一者執行。
另一實施例係關於一種儲存程式指令之非暫時性電腦可讀媒體，該等程式指令可在一或多個電腦系統上執行以執行用於訓練一機器學習模型之一電腦實施方法。該電腦實施方法包含上述方法之步驟。該電腦可讀媒體可如本文中描述般進一步組態。可如本文中進一步描述般執行該電腦實施方法之步驟。另外，可針對其執行該等程式指令之電腦實施方法可包含本文中描述之(若干)任何其他方法之(若干)任何其他步驟。
如在本文中可互換地使用之術語「設計」、「設計資料」及「設計資訊」一般指代一IC之實體設計(佈局)及透過複雜模擬或簡單幾何及布林(Boolean)運算自實體設計導出之資料。另外，藉由一倍縮光罩檢測系統獲取之一倍縮光罩之一圖像及/或其衍生物可用作設計之一或多個「代理」。此一倍縮光罩圖像或其之一衍生物可用作本文中描述之任何實施例中之使用一設計之設計佈局的一替代。設計可包含2009年8月4日頒予Zafar等人之共同擁有之美國專利第7,570,796號及2010年3月9日頒予Kulkarni等人之共同擁有之美國專利第7,676,077號中描述之任何其他設計資料或設計資料代理，該等案兩者宛如全文闡述以引用的方式併入本文中。另外，設計資料可為標準單元庫資料、整合佈局資料、一或多個層之設計資料、設計資料之衍生物及完全或部分晶片設計資料。
另外，本文中描述之「設計」、「設計資料」及「設計資訊」指代由半導體裝置設計者在一設計程序中產生且因此可在將設計印刷於任何實體樣品(諸如倍縮光罩及晶圓)上之前良好地用於本文中描述之實施例中的資訊及資料。
如本文中定義之術語「擾亂點」係一使用者不關心之缺陷及/或本身被偵測到但實際上非缺陷之缺陷。可歸因於一樣品上之非缺陷雜訊源(例如，線邊緣粗糙度(LER)、圖案化特徵之相對較小臨界尺寸(CD)變動、厚度變動等)及/或歸因於檢測系統自身或其用於檢測之組態中之邊緣性而偵測到實際上並非缺陷(即使其等被偵測到)之擾亂點。因此，一般而言，檢測之目標並非偵測樣品(諸如晶圓)上之擾亂點缺陷。
現參考圖式，應注意，圖未按比例繪製。特定言之，極大地放大圖之一些元件之比例以強調元件之特性。亦應注意，圖未按相同比例繪製。已使用相同元件符號指示在一個以上圖中展示之可能類似組態之元件。除非本文中另有說明，否則所描述且展示之任何元件可包含任何適合市售元件。
一項實施例係關於一種經組態以訓練一機器學習模型之系統。一般而言，本文中描述之實施例經組態用於以合成資料改良基於學習之缺陷偵測及分類。目前，自動缺陷偵測依賴於學習以發現且分類來自先前識別實例之缺陷的經訓練機器學習模型。然而，所關注缺陷(DOI)之現有例項通常少見或不存在。本文中描述之實施例藉由利用缺陷外觀之使用者知識而使模型訓練即使在不存在例示性DOI時仍可行且在已知DOI例項之數目較少時提高模型效能。本文中描述之實施例有利地可如本文中進一步描述般組態，以容許一使用者運用圖像編輯工具將合成缺陷添加至圖像、關於所得圖像訓練分類器且觀看分類器推斷圖像之結果。
圖1中展示經組態以訓練一機器學習模型之一系統之一項實施例。系統包含一或多個電腦子系統(例如，電腦子系統36及(若干)電腦子系統102)及由一或多個電腦子系統執行之一或多個組件100。在一些實施例中，系統包含經組態用於產生一樣品之圖像之成像系統(或子系統) 10。在圖1之實施例中，成像子系統經組態用於用光在樣品之一實體版本上方掃描或將光引導至樣品之一實體版本，同時自樣品偵測光以藉此產生樣品之圖像。成像子系統亦可經組態以依多種模式執行掃描(或引導)及偵測。
在一項實施例中，樣品係一晶圓。晶圓可包含此項技術中已知之任何晶圓。在另一實施例中，樣品係一倍縮光罩。倍縮光罩可包含此項技術中已知之任何倍縮光罩。
在一項實施例中，成像子系統組態為一基於光學之成像子系統。在圖1中展示之系統之實施例中，基於光學之成像子系統10包含經組態以將光引導至樣品14之一照明子系統。照明子系統包含至少一個光源。例如，如圖1中展示，照明子系統包含光源16。照明子系統可經組態以依一或多個入射角(其可包含一或多個傾斜角及/或一或多個法向角)將光引導至樣品。例如，如圖1中展示，依一傾斜入射角引導來自光源16之光穿過光學元件18且接著穿過透鏡20而至樣品14。傾斜入射角可包含任何適合傾斜入射角，其可取決於例如樣品之特性而變化。
成像子系統可經組態以在不同時間依不同入射角將光引導至樣品。例如，成像子系統可經組態以更改照明子系統之一或多個元件之一或多個特性，使得可依不同於圖1中展示之入射角之一入射角將光引導至樣品。在一個此實例中，成像子系統可經組態以移動光源16、光學元件18及透鏡20使得依一不同傾斜入射角或一法向(或近法向)入射角將光引導至樣品。
在一些例項中，成像子系統可經組態以在相同時間依一個以上入射角將光引導至樣品。例如，照明子系統可包含一個以上照明通道，照明通道之一者可包含如圖1中展示之光源16、光學元件18及透鏡20，且照明通道之另一者(未展示)可包含可不同或相同組態之類似元件或可包含至少一光源及可能一或多個其他組件(諸如本文中進一步描述之組件)。若將此光與另一光同時引導至樣品，則依不同入射角引導至樣品之光之一或多個特性(例如，波長、偏光等)可不同，使得可在(若干)偵測器處將因依不同入射角照明樣品產生之光彼此區別。
在另一例項中，照明子系統可僅包含一個光源(例如，圖1中展示之源16)且可藉由照明子系統之一或多個光學元件(未展示)將來自光源之光分成不同光學路徑(例如，基於波長、偏光等)。接著，可將不同光學路徑之各者中之光引導至樣品。多個照明通道可經組態以在相同時間或不同時間(例如，當使用不同照明通道循序照明樣品時)將光引導至樣品。在另一例項中，相同照明通道可經組態以在不同時間以不同特性將光引導至樣品。例如，在一些例項中，光學元件18可組態為一光譜濾光片且可以多種不同方式改變光譜濾光片之性質(例如，藉由換出光譜濾光片)使得可在不同時間將不同波長之光引導至樣品。照明子系統可具有此項技術中已知之用於循序或同時依不同或相同入射角將具有不同或相同特性之光引導至樣品的任何其他適合組態。
在一項實施例中，光源16係一寬頻電漿(BBP)光源。以此方式，由光源產生且引導至樣品之光可包含寬頻光。然而，光源可包含任何其他適合光源(諸如一雷射，其可包含此項技術中已知之任何適合雷射)，且可經組態以產生此項技術中已知之(若干)任何適合波長之光。另外，雷射可經組態以產生單色或近單色之光。以此方式，雷射可為一窄頻雷射。光源亦可包含產生多個離散波長或波帶之光的一多色光源。
來自光學元件18之光可藉由透鏡20聚焦至樣品14上。儘管透鏡20在圖1中被展示為一單一折射光學元件，然應瞭解，實務上，透鏡20可包含將來自光學元件之光組合地聚焦至樣品之若干折射及/或反射光學元件。在圖1中展示且在本文中描述之照明子系統可包含任何其他適合光學元件(未展示)。此等光學元件之實例包含但不限於(若干)偏光組件、(若干)光譜濾光片、(若干)空間濾光片、(若干)反射光學元件、(若干)變跡器、(若干)光束分離器、(若干)孔隙及類似者，其等可包含此項技術中已知之任何此等適合光學元件。另外，成像子系統可經組態以基於待用於成像之照明之類型更改照明子系統之元件之一或多者。
成像子系統亦可包含經組態以引起光在樣品上方掃描之一掃描子系統。例如，成像子系統可包含在檢測期間樣品14安置於其上之載物台22。掃描子系統可包含可經組態以移動樣品使得光可在樣品上方掃描之任何適合機械及/或機器人總成(其包含載物台22)。另外或替代地，成像子系統可經組態使得成像子系統之一或多個光學元件執行光在樣品上方之某一掃描。光可以任何適合方式(諸如以一蛇紋狀路徑或以一螺旋路徑)在樣品上方掃描。
成像子系統進一步包含一或多個偵測通道。一或多個偵測通道之至少一者包含一偵測器，該偵測器經組態以偵測歸因於藉由子系統照明樣品而來自樣品之光且回應於經偵測光產生輸出。例如，圖1中展示之成像子系統包含兩個偵測通道，一個偵測通道由集光器24、元件26及偵測器28形成且另一偵測通道由集光器30、元件32及偵測器34形成。如圖1中展示，兩個偵測通道經組態以依不同收集角收集且偵測光。在一些例項中，兩個偵測通道經組態以偵測散射光，且偵測通道經組態以偵測依不同角度自樣品散射之光。然而，偵測通道之一或多者可經組態偵測來自樣品之另一類型之光(例如，反射光)。
如圖1中進一步展示，兩個偵測通道被展示為定位於紙平面中且照明子系統亦被展示為定位於紙平面中。因此，在此實施例中，兩個偵測通道定位於(例如，居中於)入射平面中。然而，偵測通道之一或多者可定位於入射平面外。例如，由集光器30、元件32及偵測器34形成之偵測通道可經組態以收集且偵測自入射平面散射之光。因此，此一偵測通道通常可稱為一「側」通道，且此一側通道可居中於實質上垂直於入射平面之一平面中。
儘管圖1展示包含兩個偵測通道之成像子系統之一實施例，然成像子系統可包含不同數目個偵測通道(例如，僅一個偵測通道或兩個或更多個偵測通道)。在一個此例項中，由集光器30、元件32及偵測器34形成之偵測通道可如上文描述般形成一個側通道，且成像子系統可包含形成為定位於入射平面之相對側上之另一側通道的一額外偵測通道(未展示)。因此，成像子系統可包含偵測通道，該偵測通道包含集光器24、元件26及偵測器28且局中與入射平面中，且經組態以依法向於或接近法向於樣品表面之(若干)散射角收集且偵測光。因此，此偵測通道通常可稱為一「頂部」通道，且成像子系統亦可包含如上文描述般組態之兩個或更多個側通道。因而，成像子系統可包含至少三個通道(即，一個頂部通道及兩個側通道)，且至少三個通道之各者具有其自身之集光器，集光器之各者經組態以依與其他集光器之各者不同之散射角收集光。
如上文進一步描述，包含於成像子系統中之偵測通道之各者可經組態以偵測散射光。因此，圖1中展示之成像子系統可經組態用於樣品之暗場(DF)成像。然而，成像子系統可亦或替代地包含經組態用於樣品之亮場(BF)成像之(若干)偵測通道。換言之，成像子系統可包含經組態以偵測自樣品鏡面反射之光之至少一個偵測通道。因此，本文中描述之成像子系統可經組態用於僅DF成像、僅BF成像或DF成像及BF成像兩者。儘管在圖1中將集光器之各者展示為單一折射光學元件，然應瞭解，集光器之各者可包含一或多個折射光學元件及/或一或多個反射光學元件。
一或多個偵測通道可包含此項技術中已知之任何適合偵測器，諸如光電倍增管(PMT)、電荷耦合裝置(CCD)、延時積分(TDI)攝影機及此項技術中已知之任何其他適合偵測器。偵測器亦可包含非成像偵測器或成像偵測器。若偵測器係非成像偵測器，則偵測器之各者可經組態以偵測散射光之某些特性(諸如強度)但可未經組態以偵測依據在成像平面內之位置而變化之此等特性。因而，由包含於成像子系統之偵測通道之各者中的偵測器之各者產生之輸出可為信號或資料，而非圖像信號或圖像資料。在此等例項中，一電腦子系統(諸如電腦子系統36)可經組態以自偵測器之非成像輸出產生樣品之圖像。然而，在其他例項中，偵測器可組態為經組態以產生圖像信號或圖像資料之成像偵測器。因此，成像子系統可經組態以依若干方式產生本文中描述之圖像。
應注意，本文中提供圖1以大體上繪示可包含於本文中描述之系統實施例中或可產生由本文中描述之系統實施例使用之圖像的一成像系統或子系統之一組態。顯然，可更改本文中描述之成像子系統組態以如在設計一商業成像子系統時所通常執行般最佳化成像子系統之效能。另外，可使用諸如商業上可購自加利福尼亞州米爾皮塔斯市之KLA之29xx/39xx及Puma系列工具的一現有系統(例如，藉由將本文中描述之功能性添加至一現有系統)來實施本文中描述之系統。對於一些此等系統，本文中描述之實施例可提供為系統之選用功能性(例如，除了系統之其他功能性之外)。或者，可「從頭開始」設計本文中描述之成像子系統以提供一全新成像子系統。
電腦子系統36可以任何適合方式(例如，經由一或多個傳輸媒體，其可包含「有線」及/或「無線」傳輸媒體)耦合至成像子系統之偵測器，使得電腦子系統可接收在樣品之掃描期間由偵測器產生之輸出。電腦子系統36可經組態以使用偵測器之輸出執行本文中進一步描述之若干功能。
圖1中展示之電腦子系統(以及本文中描述之其他電腦子系統)在本文中亦可稱為(若干)電腦系統。本文中描述之(若干)電腦子系統或系統之各者可採取各種形式，包含一個人電腦系統、圖像電腦、主機電腦系統、工作站、網路設備、網際網路設備或其他裝置。一般而言，術語「電腦系統」可廣泛定義為涵蓋具有執行來自一記憶媒體之指令之一或多個處理器的任何裝置。(若干)電腦子系統或系統亦可包含此項技術中已知之任何適合處理器，諸如一平行處理器。另外，(若干)電腦子系統或系統可包含具有高速處理及軟體之一電腦平台，其作為一獨立工具或一網路工具。
若系統包含一個以上電腦子系統，則不同電腦子系統可彼此耦合使得可在電腦子系統之間發送圖像、資料、資訊、指令等，如本文中進一步描述。例如，電腦子系統36可藉由任何適合傳輸媒體(其可包含此項技術中已知之任何適合有線及/或無線傳輸媒體)耦合至(若干)電腦子系統102 (如藉由圖1中之虛線展示)。兩個或更多個此等電腦子系統亦可藉由一共用電腦可讀儲存媒體(未展示)有效耦合。
儘管上文將成像子系統描述為一基於光學或光之成像子系統，然在一些實施例中，成像子系統組態為一基於電子束之成像子系統。在圖1a中展示之一項此實施例中，成像子系統包含耦合至電腦子系統124之電子柱122。亦如圖1a中展示，電子柱包含經組態以產生藉由一或多個元件130聚焦至樣品128之電子的電子束源126。電子束源可包含例如一陰極源或射極尖端，且一或多個元件130可包含例如一槍透鏡、一陽極、一射束限制孔隙、一閘閥、一束流選擇孔隙、一物鏡及一掃描子系統，全部該等元件可包含此項技術中已知之任何此等適合元件。
自樣品返回之電子(例如，二次電子)可由一或多個元件132聚焦至偵測器134。一或多個元件132可包含例如一掃描子系統，該掃描子系統可為包含於(若干)元件130中之相同掃描子系統。
電子柱可包含此項技術中已知之任何其他適合元件。另外，可如2014年4月4日頒予Jiang等人之美國專利第8,664,594號、2014年4月8日頒予Kojima等人之美國專利第8,692,204號、2014年4月15日頒予Gubbens等人之美國專利第8,698,093號及2014年5月6日頒予MacDonald等人之美國專利第8,716,662號中所描述般進一步組態電子柱，該等案宛如全文闡述以引用的方式併入本文中。
儘管在圖1a中將電子柱展示為經組態使得電子依一傾斜入射角引導至樣品且依另一傾斜角自樣品散射，然應瞭解，電子束可依任何適合角度引導至樣品且自樣品散射。另外，電子束子系統可經組態以如本文中進一步描述般使用多種模式來產生樣品之圖像(例如，運用不同照明角、收集角等)。電子束子系統之多種模式可在成像子系統之任何圖像產生參數方面不同。
電腦子系統124可耦合至偵測器134，如上文描述。偵測器可偵測自樣品之表面返回之電子，藉此形成樣品之電子束圖像。電子束圖像可包含任何適合電子束圖像。電腦子系統124可經組態以使用由偵測器134產生之輸出來針對樣品執行本文中進一步描述之一或多個功能。電腦子系統124可經組態以執行本文中描述之(若干)任何額外步驟。包含圖1a中展示之成像子系統之一系統可如本文中描述般進一步組態。
應注意，在本文中提供圖1a以大體上繪示可包含於本文中描述之實施例中之一電子束子系統之一組態。如同上文描述之光學子系統，可更改電子束子系統組態以如在設計一商業成像系統時所通常執行般最佳化成像子系統之效能。另外，可使用諸如商業上可購自KLA之電子束工具的一現有系統(例如，藉由將本文中描述之功能性添加至一現有系統)來實施本文中描述之系統。對於一些此等系統，可將本文中描述之實施例提供為系統之選用功能性(例如，除了系統之其他功能性之外)。或者，可「從頭開始」設計本文中描述之系統以提供一全新系統。
儘管上文將成像子系統描述為一光學或電子束子系統，然成像子系統可為一基於離子束之成像子系統。此一成像子系統可如圖1a中展示般組態，惟電子束源可由此項技術中已知之任何適合離子束源取代除外。另外，成像子系統可為任何其他適合離子束子系統，諸如包含於市售聚焦離子束(FIB)系統、氦離子顯微鏡(HIM)系統及二次離子質譜儀(SIMS)系統中之離子束工具。
如上文提及，成像子系統經組態用於掃描樣品之一實體版本上方之能量(例如，光或電子)，藉此針對樣品之實體版本產生實際圖像。以此方式，成像子系統可組態為一「實際」子系統而非一「虛擬」子系統。圖1中展示之一儲存媒體(未展示)及(若干)電腦子系統102亦可或替代地組態為一「虛擬」系統。在共同讓與之以下專利中描述組態為「虛擬」檢測系統之系統及方法：2012年2月28日頒予Bhaskar等人之美國專利第8,126,255號及2015年12月29日頒予Duffy等人之美國專利第9,222,895號，該等案兩者宛如全文闡述以引用的方式併入本文中。本文中描述之實施例可如此等專利中描述般進一步組態。例如，本文中描述之一或多個電腦子系統可如此等專利中描述般進一步組態。
如上文進一步提及，成像子系統可經組態以運用多種模式產生樣品之圖像。一般而言，一「模式」係由用於產生一樣品之圖像或產生用於產生樣品之圖像之輸出的成像子系統之參數值定義。因此，不同之模式可在成像子系統之至少一個成像參數之值方面不同。例如，在一光學子系統之一項實施例中，不同模式使用至少一個不同波長之光用於照明。模式可在照明波長方面不同，如本文中針對不同模式進一步描述(例如，藉由使用不同光源、不同光譜濾光片等)。在另一實施例中，不同模式使用成像子系統之不同照明通道。例如，如上文提及，成像子系統可包含一個以上照明通道。因而，不同照明通道可用於不同模式。
在一項實施例中，圖像係藉由一檢測子系統產生。例如，本文中描述之光學及電子束成像子系統可組態為檢測子系統。以此方式，在一些實施例中，在本文中描述之實施例中使用之一或多個圖像係藉由一檢測子系統產生。在另一實施例中，成像子系統係一缺陷檢視子系統。例如，本文中描述之光學及電子束成像子系統可組態為缺陷檢視子系統。特定言之，可在一或多個參數方面修改在本文中描述且在圖1及圖1a中展示之成像子系統之實施例以取決於其等所用於之應用而提供不同成像能力。在一個此實例中，圖1中展示之成像子系統可經組態以在其用於缺陷檢視而非用於檢測之情況下具有一較高解析度。換言之，圖1及圖1a中展示之成像子系統之實施例描述一成像子系統之某些一般組態及各種組態，其等可以對熟習此項技術者將顯而易見之若干方式定製以產生具有或多或少適用於不同應用之不同成像能力之成像子系統。
一或多個電腦子系統可經組態用於獲取由本文中描述之一成像子系統產生之樣品之圖像。可使用本文中描述之成像子系統之一者(例如，藉由將光或一電子束引導至樣品且自樣品分別偵測光或一電子束)執行獲取圖像。以此方式，可使用實體樣品自身及某種成像硬體來執行獲取圖像。然而，獲取圖像不一定包含使用成像硬體對樣品成像。例如，另一系統及/或方法可產生圖像且可將經產生圖像儲存於如本文中描述之一或多個儲存媒體(諸如一虛擬檢測系統)或本文中描述之另一儲存媒體中。因此，獲取圖像可包含自其中已儲存圖像之儲存媒體獲取圖像。
藉由(若干)電腦子系統(例如，電腦子系統36及/或(若干)電腦子系統102)執行之(若干)組件(例如，圖1中展示之(若干)組件100)包含經組態用於將一樣品之一或多個圖像及圖像編輯工具顯示給一使用者之一圖形使用者介面(例如，GUI 104)。
使用者可使用GUI來觀看本文中描述之各種類型之圖像。在一項實施例中，顯示於GUI中之一或多個圖像係包含於一初始訓練集中之圖像。以此方式，GUI可經組態以容許使用者觀看一初始訓練集中之圖像。圖2中展示可包含於系統實施例中之一GUI之一項實施例。此圖僅意欲繪示可由包含於本文中描述之實施例中之GUI提供的許多可能功能性。顯然，可將額外功能性添加至GUI且將仍在本文中描述之實施例之範疇內。另外，顯示於GUI中之元件及圖像之放置及外觀可以任何適合方式自圖2中展示之放置及外觀改變，如在產生一商業產品時將進行。
圖2中展示顯示於一顯示裝置(未展示)之螢幕202中之GUI 200，該顯示裝置可包含可包含於本文中描述之電腦子系統中或耦合至本文中描述之電腦子系統的任何適合顯示裝置。圖像204可顯示於區域206中，且顯示於該區域中之圖像可包含本文中描述之圖像之任一者。在一些例項中，GUI 200可包含欄標208，欄標208可對應於可顯示其圖像之缺陷之不同部分。例如，圖2中展示之「全部」欄標可藉由使用者選擇以觀看樣品之全部可用圖像。欄標1、2、3、…、n可對應於不同類別之缺陷，且一使用者可選擇此等欄標之一者以僅展示指派給選定類別之該等缺陷。類別可包含各種DOI類別，其中例如欄標1可對應於一第一DOI類別，欄標2可對應於一第二DOI類別等。然而，欄標之一或多者可能對應於在樣品上偵測到之擾亂點。另外，欄標之一者可用於具有一未知類別之缺陷。額外欄標可用於展示不同類型之圖像，諸如測試圖像、參考圖像、差異圖像、多模式圖像及類似者。在本文中進一步描述此等圖像。因此，一般而言，GUI較佳經組態使得使用者可自多種不同選項選擇其等想要在GUI中觀看哪些圖像。
儘管GUI在圖2中被展示為在區域206中具有四個圖像204，然GUI可展示可用及/或經選擇以供使用者觀看之樣品之儘可能多(或儘可能少)的圖像。另外，儘管圖2中展示之圖像全部相同，然應瞭解，GUI可同時展示不同類型之圖像(例如，以不同模式產生之不同圖像及/或一單一缺陷(或一個以上缺陷)之一測試、參考及差異圖像)。
GUI亦經組態用於自使用者接收輸入。可以任何適合方式自使用者接收輸入。例如，GUI可包含一或多個圖形輸入裝置，該一或多個圖形輸入裝置可包含本文中描述之圖示及/或按鈕之一或多者。但(若干)圖形輸入裝置可包含此項技術中已知之任何適合此等裝置。使用者亦可使用藉由介面軟體及/或組件(未展示)耦合至GUI之電腦子系統之一或多個輸入裝置(未展示)，諸如一鍵盤、觸控螢幕、滑鼠、電子筆等。該等輸入裝置及介面軟體/組件可包含任何適合此等市售裝置、軟體及組件。
輸入包含使用圖像編輯工具之一或多者對一或多個圖像之至少一者進行之一或多個更改。圖像編輯工具可包含本文中描述之編輯、註解及其他特徵。圖像編輯工具可包含此項技術中已知之任何直觀、易用的圖像編輯工具。圖像編輯工具亦較佳能夠產生可以可靠地用於訓練有效機器學習模型之合成缺陷。如本文中使用之術語「合成缺陷」被定義為在一樣品之一圖像中被有意地且人為地引起之任何缺陷。以此方式，「合成缺陷」並非在藉由運用成像硬體對一樣品成像而產生之實際圖像中發現之缺陷，且因此不對應於定位於一實體樣品上之實際缺陷。本文中描述之實施例提供基於自一使用者接收之輸入產生合成缺陷之多種方式。據信其中整合有圖像編輯工具之一機器學習模型-訓練介面係由本文中描述之實施例提供之一新特徵。
圖2中展示可藉由使用者使用以輸入(若干)更改之一些圖像編輯工具。如圖2中展示，不同群組之圖像編輯工具可被展示為在GUI中之不同位置中，但圖像編輯工具可以任何適合方式配置於GUI中。圖像編輯工具之一個部分210包含(在GUI中從左至右)：一選擇圖示、一繪製圖示、一塗繪(painting)圖示、一擦除圖示、一標註(或註解)圖示、一旋轉圖示以及縮小及放大圖示。使用者可點擊或以其他方式選擇圖示以執行對顯示於GUI中之圖像之一或多者的一或多個更改。圖示可用於執行本文中進一步描述之更改及功能。圖像編輯工具之額外部分212包含(在部分212中從上至下)：一對比度圖示，其具有用於改變一圖像或一圖像之一選定部分之對比度的一滑動條；一亮度圖示，其亦具有可以一類似方式使用之一滑動條；及一模糊按鈕。此等圖像編輯工具之各者可如本文中進一步描述般由一使用者選擇及使用。圖2中展示之全部圖示可具有任何適合組態及其等可用之可能額外可用性或功能性，諸如用於顯示與各圖像編輯工具相關聯之額外選項的下拉或彈出選單、用於打開或關閉與圖像編輯工具相關聯之某些功能性之無線電按鈕，及類似者。
GUI亦可包含導覽視窗214，導覽視窗214可包含可應用於個別圖像或全域地應用於全部圖像及/或在GUI內導覽之一或多個選項。例如，如在視窗214中自上至下展示，此等功能可包含：一主頁圖示，其可經選擇以將GUI改變為一主螢幕；一編輯圖示，其可經選擇以啟用GUI中之圖像編輯工具；一拒絕按鈕，其用於拒絕改變或圖像；一接受按鈕，其用於接受改變或圖像；一儲存按鈕，其用於儲存在GUI中做出之對圖像之任何改變；及一訓練按鈕，其可如本文中進一步描述般用於起始一機器學習模型之訓練。導覽視窗(及/或GUI之任何其他部分)可包含通常由GUI提供之其他工具(未展示)或功能，像「保存」、「另存為」、「打開」、「關閉」、「取消」、「重做」功能。GUI亦可包含用於移動通過圖像之額外工具(未展示)，諸如「下一個」及「前一個」按鈕、滾動條、搜尋工具及類似者。
在一項實施例中，一或多個更改包含以一缺陷類別標籤對一或多個圖像之至少一者進行註解。例如，GUI可經組態以容許使用者以類別標籤對顯示於GUI中之圖像之部分進行註解。在一個此實例中，使用者可選擇圖2之GUI中展示之標註圖示以對一圖像或一圖像之一部分(其可藉由一使用者使用GUI中之選擇圖示選擇)進行註解。註解可為一缺陷類別標籤，此係因為其可指示使用者已針對一缺陷識別之一DOI類型。此一缺陷類別標籤可為一數字(諸如上文描述之與一DOI類型相關聯之數字)，但其亦可為一實際名稱，諸如描述DOI類型之「橋」、「開路」、「粒子」及類似者。註解亦可為一標註、標籤或一圖像含有一擾亂點之任何其他適當指示，其可用於校正一不正確分類之缺陷以指示一新識別之擾亂點及/或確認一擾亂點分類。註解亦可指示一缺陷之存在或不存在，其可用於指示一使用者在顯示於GUI中之一圖像中在視覺上發現之一新識別之缺陷，以指示本身被偵測到之一缺陷實際上並非一缺陷、確認一經偵測缺陷實際上是一缺陷或一非缺陷圖像實際上無缺陷，或者標記或標註可用作用於訓練之「非缺陷」實例的一或多個圖像。
在另一實施例中，一或多個更改包含在一或多個圖像之至少一者中產生一合成缺陷。例如，GUI可經組態以容許使用者使用一系列圖像編輯工具將缺陷添加至圖像之至少一者。使用者可將缺陷添加至圖像之一或多者，且添加至圖像之任一者之缺陷可與其他合成缺陷之任一者相同或不同。例如，一使用者可將相同合成缺陷添加至不同圖像，此在已知相同DOI類型出現在樣品之一設計中之不同區域中之情況下可為有用的。使用者亦可或替代地將不同合成缺陷添加至相同圖像之不同例項。不同合成缺陷可為不同類型之缺陷，此在已知一設計之一部分易受不同類型之缺陷影響時可為有用的，但不同合成缺陷亦可為相同類型之缺陷但具有一或多個不同特性(諸如本文中進一步描述之特性)。可使用本文中進一步描述之圖像編輯工具之一或多者(包含但不限於一繪製工具、一塗繪工具、一擦除工具、轉貼工具及類似者)執行產生合成缺陷。例如，使用者可將一合成缺陷手動地繪製或塗繪至GUI中之一圖像中，使用者可手動地擦除GUI中之一圖像之一部分以藉此在圖像中產生一合成缺陷，且使用者亦可剪切及/或複製一缺陷圖像或一圖像之一部分且將其轉貼至另一圖像中以在另一圖像中產生一合成缺陷。
在又一實施例中，一或多個更改包含藉由使用者運用包含於圖像編輯工具中之一繪製工具輸入的一或多個手動繪製更改。繪製工具可包含圖2中之GUI之部分210中展示的繪製、塗繪及擦除圖示。繪製工具可用於徒手繪製一多邊形或不規則形狀。使用者可在任何可用圖像上手動繪製更改以藉此在其中插入或產生所塗繪合成缺陷。例如，GUI可顯示針對一或多個樣品產生之多種參考圖像，該等參考圖像係自測試圖像減去以偵測其中之缺陷的圖像及/或其他無缺陷圖像。可藉由對一實際樣品成像(如晶粒間或單元間缺陷偵測之情況)或藉由自樣品之一設計模擬一參考圖像而產生參考圖像。無缺陷圖像亦可為藉由對已對其執行缺陷偵測且其中未發現缺陷之樣品成像而產生之任何圖像。以此方式，用於缺陷塗繪之圖像可能已看上去像真實樣品圖像，且使用者可僅需要修改其中添加缺陷之圖像的部分以產生合成缺陷圖像。然而，可使用本文中描述之任何其他圖像來執行(若干)圖像中之(若干)手動繪製更改。例如，一使用者可手動地繪製對對應於一DOI之一測試圖像之一部分的更改以藉此產生具有不同特性之DOI之不同版本。使用者亦可對一缺陷圖像進行更改以手動地繪入額外缺陷。手動繪製之更改亦可使用擦除圖示進行以手動地移除一或多個缺陷及/或圖案化特徵或以某一方式更改一或多個缺陷及/或圖案化特徵。
在另一實施例中，一或多個更改包含將對應於一已知DOI之一圖像之一部分轉貼至一或多個圖像之至少一者中。例如，圖像編輯工具可包含可用於將來自一個圖像之一圖像圖塊複製/轉貼至另一圖像圖塊的一複製/轉貼工具。以此方式，一缺陷圖像(其可為在一實際樣品上發現之一實際缺陷或由使用者產生之一合成缺陷之一圖像)可自一個圖像複製及轉貼至另一圖像以藉此將該缺陷添加至另一圖像。當已知一DOI可能在樣品之一設計中之不同區域中時，此功能性可尤其有用。
在已將一已知DOI之圖像轉貼至一圖像中之後，亦可藉由使用者以本文中描述之任何其他方式更改所得圖像。例如，一使用者可複製一圖像之一區域且將該區域轉貼至該圖像或另一圖像之另一區域中。接著，使用者可改變經轉貼區域之一或多個特性，包含但不限於旋轉、放大率及強度。例如，一使用者可旋轉經複製圖塊圖像。使用者亦可藉由縮小或放大經複製圖像圖塊而改變經複製圖像圖塊之放大率。使用者亦可改變經複製圖像圖塊之強度以使其變暗或變亮。一使用者亦可複製且轉貼任何給定編輯(即，運用本文中描述之任何功能性產生之一經編輯區域)。換言之，可複製且轉貼一圖像之一部分且接著進行更改，或反之亦然。此等功能之各者可使用在本文中描述且在圖2中展示之圖像編輯工具執行。
在一額外實施例中，(若干)更改包含基於樣品之一已知DOI之一或多個特性在一或多個圖像之至少一者中產生一合成缺陷。在一個此實例中，圖像編輯工具可包含一使用者可添加至一樣品圖像且操縱其之一或多個特性(諸如尺寸、縱橫比、灰階強度(例如，整個形狀之一單一灰階值)及類似者)之若干預定繪製形狀(未展示)。為了編輯灰階，一使用者可選擇一圖像中之一區域且設定該區域之灰階(黑色-白色)。選項包含藉由一值(即，自黑色至白色)或藉由對圖像之一區域「取樣」以匹配該區域之色彩而設定灰階。選項亦包含使用一矩形選擇工具或藉由繪製一任意自由形式邊界而選擇一區域。預定繪製形狀可包含例如方形(或矩形)、圓形(或橢圓形)、三角形、六邊形及其他多邊形(包含規則及不規則多邊形)。在一個此實例中，圖像編輯工具可包含一矩形仿製(clone)選擇(未展示)。圖像編輯工具可經組態使得一使用者可將一預定形狀拖曳至一樣品圖像中之一特定位置中，且接著使用一滑鼠或其他圖形輸入裝置來移動或按比例調整預定形狀之邊界及/或使用一或多個下拉選單或其他特性選擇工具來藉此選擇近似表示預期DOI之特性之適當特性而修改預定形狀。若合成缺陷係基於一已知DOI之(若干)特性產生，則不需要該已知DOI之一實際圖像以產生此等合成缺陷。例如，若一使用者例如自經驗或自與針對其產生一合成缺陷之一樣品具有類似圖案化特徵之其他樣品的檢測結果知道一DOI將「看似」如何及可能定位於何處，則使用者可基於該知識產生合成缺陷而不需要DOI之一實際圖像。在一個此實例中，若一使用者自經驗知道一樣品之一設計中之線易有橋接缺陷，則使用者可選取使用本文中描述之圖像編輯工具之一或多者且基於橋接缺陷之預期特性在一圖像中之該等線之間產生一合成缺陷。
在一些實施例中，(若干)更改包含對對應於一缺陷之一或多個圖像之至少一者之一部分的一或多個修改，且產生至少一個經修改圖像包含：基於一或多個修改產生一新圖像。在一項此實施例中，一或多個修改包含按比例調整、旋轉、邊緣模糊或強度修改。像此等修改之修改可用於缺陷擴增。修改亦可應用於合成缺陷。例如，GUI可顯示如同上文描述之修改之若干可用修改，且GUI可實現將修改應用於顯示於GUI中之圖像之任一者(包含真實缺陷圖像及合成缺陷圖像)。真實缺陷圖像可包含測試圖像及/或差異圖像(其中一差異圖像係藉由自一測試圖像減去一參考圖像而產生)。
可運用用於修改之一或多個預定及/或可選擇選項在GUI中顯示修改。例如，針對一模糊修改，GUI可顯示可應用於缺陷圖像之不同類型之模糊。不同類型之模糊可對應於可用於將模糊應用於缺陷之邊緣之不同功能。一個此實例係高斯(Gaussian)模糊。模糊可應用於在與預期DOI具有大致相同形狀、大小、強度等且具有一單一灰階值之一DOI的預期位置處產生之一合成缺陷。模糊可應用於圖像之合成部分以更佳近似表示將藉由一成像子系統針對DOI產生之圖像，或提供可藉由一成像子系統針對DOI產生之多個可能圖像，此可為有利的，如本文中進一步描述。
以此方式，在GUI中可用之修改可為使用者提供可用於使合成缺陷看起來更像真實缺陷圖像之工具。但修改亦可用於產生一單一DOI之多個變動。例如，一按比例調整修改可用於產生一單一DOI類型之具有不同大小、縱橫比等之多個例項，此在DOI可在一樣品上具有不同大小及/或可在樣品上之設計之不同部分中具有不同大小時可為適當的。以一類似方式，可使用旋轉及強度修改功能產生相同DOI類型之不同變動。當已知一DOI類型在樣品上具有不同定向及/或在樣品上之一設計內之不同位置處時，及/或當已知一DOI類型可能在一樣品上具有不同灰階強度時，此等修改可為有用的。此等修改亦可產生一DOI之多個例項，該等例項在用於如本文中描述般訓練一機器學習模型時可提供一更穩健機器學習模型。例如，一使用者可使用GUI中之一灰階強度修改功能來產生樣品之一設計中之一單一位置中之一單一DOI類型的具有不同灰階強度值之多個例項。接著，全部該多個例項(或其等之一或多者)可用於如本文中進一步描述般訓練一機器學習模型。因此，經訓練機器學習模型可例如藉由設定機器學習模型之一或多個參數以將具有不同特性之一個DOI之全部多個例項偵測及/或分類為DOI而對晶圓間或DOI間變動更穩健。
因此，如上文描述，GUI可將不同類型之圖像顯示給使用者，且使用者可使用該等圖像之任一或多者產生合成或塗繪缺陷。圖像可包含測試圖像、參考圖像及差異圖像。針對樣品上或樣品之一設計中之任一個位置，GUI可顯示不同類型之圖像之一或多者，諸如僅測試圖像或測試圖像、參考圖像及差異圖像。GUI亦可顯示對應於在樣品上之不同位置處(諸如在樣品上之不同晶粒中)產生之設計的相同部分及/或樣品上之一或多個晶粒中之不同位置處之設計中的相同圖案化特徵集之不同圖像。
此外，在一些例項中，成像子系統可在多種模式(如本文中進一步描述)中產生樣品上之一單一位置之圖像，且在多種模式中產生之圖像可組合用於缺陷偵測及/或分類。當存在可用於一樣品位置、一設計位置或一缺陷之多模式圖像時，GUI可將全部該等多模式圖像顯示給使用者，且使用者可以本文中描述之任何方式輸入對經顯示多模式圖像之任一或多者的一或多個更改。在一個此實例中，若一使用者正使用GUI產生一DOI之變動，則使用者可選取對在不同模式中產生之DOI圖像進行相同或不同修改。在一個圖像中進行之改變亦可跨圖像之一任意深堆疊應用。例如，不同於面向彩色及灰色圖像(其等分別為3個及1個通道深)之大多數圖像編輯器，本文中描述之實施例支援通道尺寸之任意深度(此係因為可存在饋送至一機器學習模型中之相同樣品位點之6個以上視角)。以此方式，可藉由使用者運用提供於GUI中之圖像編輯工具進行之對圖像的修改可為其中可藉由如本文中描述之(若干)電腦子系統應用功能以模擬各種缺陷圖像的一種模擬。
另外，若一個類型之圖像係藉由一使用者運用圖像編輯工具針對一DOI產生，則GUI可將針對該圖像之模擬選項顯示給使用者，該等模擬選項可包含例如自一測試圖像模擬一差異圖像或在與對應於由使用者編輯之圖像之模式不同的一模式中模擬一圖像。GUI亦可顯示可用於運用一個圖像修改另一圖像之選項，例如，若一使用者選擇兩個圖像，則可使用於自一個圖像減去另一圖像之一功能性可用。以此方式，一使用者可產生一合成缺陷測試圖像之一差異圖像以查看差異圖像看似將如何。針對DOI產生之任何此等圖像可用於本文中進一步描述之訓練。可運用任何適合軟體及/或組件(諸如本文中描述之機器學習模型之一或多者)執行模擬。
(若干)組件亦包含一圖像處理模組(例如，圖像處理模組106)，其經組態用於將一或多個更改應用於一或多個圖像之至少一者，藉此產生至少一個經修改圖像且將至少一個經修改圖像儲存於一訓練集中。例如，一旦一使用者已對一圖像進行一或多個更改，使用者便可選擇圖2之GUI中展示之接受及/或儲存按鈕。接著，圖像處理模組可僅儲存經更改圖像但圖像處理模組亦可回應於藉由使用者進行之更改而對圖像檔案或資料進行任何其他改變。在一個此實例中，若一使用者已將一缺陷圖像剪切並轉貼至另一圖像中，則圖像處理模組可更改原始圖像資料以包含該缺陷圖像資料，使得當儲存經更改圖像資料時可保存改變。許多此等圖像處理模組及軟體在商業上可購得且可用於本文中描述之實施例。基本上，可用於基於藉由一使用者在GUI中進行之改變改變圖像資料且接著儲存該經改變圖像資料之任何軟體、組件、硬體等可用作實施例之圖像處理模組。
在其中顯示於GUI中之一或多個圖像係包含於一初始訓練集中之圖像之一項實施例中，儲存包含將至少一個經修改圖像添加至初始訓練集藉此產生訓練集。以此方式，圖像處理模組可經組態以將使用者繪製缺陷添加至訓練圖像。例如，在圖2中展示之GUI中，圖像204可已經在一訓練集中。在一使用者已依本文中描述之任何方式修改圖像之一或多者以改變圖像或產生新圖像之後，可將經修改或新圖像添加至訓練集。在一個此實例中，若使用者選擇圖2中展示之接受或儲存按鈕之一者，則GUI可顯示詢問使用者是否想要將改變或新圖像儲存於訓練集中之一提示。在其他例項中，圖像可簡單包含例如使用成像子系統及一經訓練最佳已知缺陷偵測及/或分類方法或系統針對樣品產生的圖像。在使用者已修改該等圖像及/或經產生新圖像之一或多者之後，使用者可選擇樣品圖像、經更改圖像及/或新圖像之任一或多者且接著選擇接受或儲存，此可引起GUI顯示詢問使用者是否想要產生一新訓練集之一詢問。若使用者選擇產生一新訓練集，則可顯示如可用於產生任何新資料檔案之諸如針對訓練集名稱、儲存位置等之額外提示。以此方式，藉由一使用者在GUI中進行之對任何圖像的任何更改可用於產生一新訓練集及/或更新或修改一現有訓練集。
本文中描述之實施例實現利用機器學習模型(諸如深度神經網路及本文中描述之其他模型)用於缺陷偵測及/或分類同時減輕資料收集之困難。例如，圖3繪示其中關於大量正確資料訓練一模型之一理想訓練序列。如圖3中展示，可將訓練圖像300及經標記缺陷302輸入至訓練演算法304，訓練演算法304可經組態以執行一機器學習模型之訓練。訓練機器學習模型產生經訓練模型306。接著，經訓練模型可用於缺陷偵測及/或分類。例如，可將新圖像308輸入至經訓練模型，此可產生包含但不限於經發現缺陷310之輸出。
實際上，訓練缺陷常常數目較少、被不良標記或不存在。圖4繪示此一通常遇到之訓練序列。例如，如圖4中展示，訓練圖像400可包含DOI及擾亂點之較少及/或不良實例。因此，可將訓練圖像與較少及/或不良標籤402一起輸入至訓練演算法404。訓練演算法可如本文中描述般使用訓練圖像及標籤執行訓練，藉此產生經訓練模型406。接著，經訓練模型可用於缺陷偵測及/或分類。例如，可將新圖像408輸入至經訓練模型，此產生不包含缺陷及/或包含一相對較高擾亂點率之輸出410。
在另一實施例中，顯示於GUI中之一或多個圖像係一初始訓練集中之圖像，初始訓練集不包含樣品之一已知DOI之任何例項，一或多個更改包含基於已知DOI之一或多個特性在一或多個圖像之至少一者中產生一合成缺陷，且儲存包含將至少一個經修改圖像添加至初始訓練集藉此產生訓練集。例如，通常不存在DOI之現有例項。因此，無一或多個類型之DOI可存在於訓練圖像中。可難以產生在樣品上發現之實際DOI之訓練圖像之一個原因係因為DOI特別是在於擾亂點相比時可尤其罕見。訓練集中不具有任何DOI係成問題的，此係因為以此一訓練集訓練之一機器學習模型將最有可能無法在新圖像(例如，運行時間圖像)中偵測DOI。然而，本文中描述之實施例藉由利用缺陷外觀之使用者知識而使模型訓練甚至在不存在例示性DOI時仍可行。因此，上文描述之實施例優於用於訓練一缺陷分類器之其他當前使用方法之一個優點係其容許一使用者訓練模型以在具有DOI之零真實實例之情況下偵測及/或分類該等DOI。發明者已透過實驗發現，僅關於合成缺陷(即，在無真實缺陷之情況下)訓練之模型可在檢測期間擷取真實缺陷。
在又一實施例中，顯示於GUI中之(若干)圖像係一初始訓練集中之圖像，初始訓練集包含樣品之一已知DOI之少於預定數目個例項，(若干)更改包含基於已知DOI之一或多個特性在一或多個圖像之至少一者中產生一或多個合成缺陷，藉此產生至少一個經修改圖像之一或多者，且儲存包含將至少一個經修改圖像之一或多者添加至初始訓練集藉此產生訓練集。例如，DOI之現有例項通常少見。特定言之，DOI可為罕見的(尤其是相較於擾亂點)或可實質上在樣品圖像中不易察覺且因此難以偵測。因此，訓練圖像中可存在相對較少DOI，其中「較少DOI」被定義為少於已知機器學習模型訓練所需之一預定最小數目。若運用圖像之此一訓練集訓練一機器學習模型，則機器學習模型可能無法偵測DOI或可具有一實質上高擾亂點率。訓練圖像中之DOI之錯誤標記亦可引起訓練機器學習模型之問題。錯誤標記可因樣品圖像中之實質上不易察覺DOI引起且DOI可容易錯誤分類。因此，運用此一訓練集訓練之一機器學習模型可能無法偵測DOI及/或可具有一實質上高擾亂點率。然而，本文中描述之實施例藉由利用缺陷外觀之使用者知識而甚至在已知DOI例項較少時仍改良模型效能。例如，發明者已透過實驗發現，合成缺陷可在其中較少真實訓練資料可用之情況中改良分類器之效能。
圖5繪示可在上文描述之實施例中執行之步驟之一項實施例。例如，如圖5中展示，步驟500可包含判定在一訓練集之檢測期間是否未發現缺陷或發現較少缺陷。在步驟502中，使用者可使用本文中描述之GUI基於先前實例或程序知識塗繪(或以其他方式產生合成)缺陷，如本文中進一步描述。以此方式，在不存在「良好」訓練資料(其中「良好」訓練資料一般被定義為具有至少預定最小數目個正確標記/分類之DOI且可能亦具有預定最小數目個正確標記/分類之擾亂點的訓練資料)之情況下，可使用基本圖像編輯工具將合成缺陷塗繪至乾淨樣品圖像及/或本文中描述之其他圖像中或在其等中產生合成缺陷，且接著可將具有經塗繪或合成缺陷之圖像用於本文中進一步描述之訓練。
(若干)組件進一步包含經組態用於使用藉由一成像子系統針對樣品產生之圖像針對樣品執行一或多個功能的一機器學習模型，例如，圖1中展示之機器學習模型108。在一項實施例中，一或多個功能包含偵測樣品上之缺陷。在另一實施例中，一或多個功能包含對在樣品上偵測到之缺陷分類。以此方式，機器學習模型可經組態用於缺陷偵測或缺陷分類。然而，機器學習模型亦可經組態用於缺陷偵測及缺陷分類。輸入至機器學習模型之樣品之圖像可包含運行時間圖像或在諸如檢測、度量或缺陷檢視之一程序期間針對一樣品產生之圖像。機器學習模型可經組態用於使用此等圖像(可能與一或多個其他資訊源(諸如樣品之設計資料)一起)進行缺陷偵測及/或分類。
機器學習模型可包含此項技術中已知之任何深度學習模型，包含例如一神經網路、一卷積神經網路、一生成模型等。用於本文中描述之實施例中之適合機器學習模型之實例包含經組態用於單一圖像偵測之機器學習模型，如2017年5月18日由Karsenti等人發表之美國專利申請公開案第2017/0140524號中描述，該案宛如全文闡述以引用的方式併入本文中。機器學習模型亦可經組態用於缺陷偵測及/或分類，如以下共同擁有之美國專利申請公開案中描述：2017年5月18日由Karsenti等人發表之美國專利申請公開案第2017/0140524號；2017年5月25日由Zhang等人發表之美國專利申請公開案第2017/0148226號；2017年7月6日由Bhaskar等人發表之美國專利申請公開案第2017/0193400號；2017年7月6日由Zhang等人發表之美國專利申請公開案第2017/0193680號；2017年7月6日由Bhaskar等人發表之美國專利申請公開案第2017/0194126號；2017年7月13日由Bhaskar等人發表之美國專利申請公開案第2017/0200260號；2017年7月13日由Park等人發表之美國專利申請公開案第2017/0200264號；2017年7月13日由Bhaskar等人發表之美國專利申請公開案第2017/0200265號；2017年11月30日由Zhang等人發表之美國專利申請公開案第2017/0345140號；2017年12月7日由Zhang等人發表之美國專利申請公開案第2017/0351952號；2018年4月19日由Zhang等人發表之美國專利申請公開案第2018/0107928號；2018年10月11日由Gupta等人發表之美國專利申請公開案第2018/0293721號；2018年11月15日由Ha等人發表之美國專利申請公開案第2018/0330511號；2019年1月3日由Dandiana等人發表之美國專利申請公開案第2019/0005629號；及2019年3月7日由He等人發表之美國專利申請公開案第2019/0073568號，該等案宛如全文闡述以引用的方式併入本文中。本文中描述之實施例可如此等專利申請公開案中描述般進一步組態。另外，本文中描述之實施例可經組態以執行此等專利申請公開案中描述之任何步驟。
一或多個電腦子系統經組態用於以其中儲存至少一個經修改圖像之訓練集訓練機器學習模型。例如，(若干)電腦子系統可基於由使用者編輯之圖像訓練一分類器。在一個此實例中，如圖5之步驟504中展示，(若干)電腦子系統可關於經塗繪缺陷或合成圖像訓練一機器學習模型，諸如一分類器及/或一深度神經網路。以此方式，(若干)電腦子系統可將使用者繪製缺陷輸入至訓練一模型以藉此改良偵測及/或分類器效能之一機器學習訓練演算法。另外，(若干)電腦子系統可關於資料集(如本文中進一步描述，其等部分或完全由使用者產生之合成圖像構成)訓練機器學習模型以改良該等模型在分類不可見資料時之效能。關於合成資料訓練分類器以在推斷期間捕捉真實事件係由本文中描述之實施例提供之一新特徵。
藉由以本文中描述之合成或經塗繪缺陷訓練一機器學習模型而產生之結果已顯示經訓練機器學習模型可甚至在合成或經塗繪缺陷對真實DOI之保真度相對較低時仍自合成實例捕捉真實DOI。例如，圖6展示如本文中描述般產生之一合成圖像之一個實例及使用一機器學習模型(其使用合成圖像訓練)正確地偵測及分類之一真實缺陷圖像之一個實例。特定言之，圖6中展示之圖像600係使用如本文中描述般組態之一GUI產生之一合成圖像。此圖像中之合成缺陷係圖像之中心附近之暗圓(dark circle)。可藉由手動在一非缺陷圖像中繪製一圓或藉由使用在GUI圖像編輯工具中可用之一圓形原型而在非缺陷圖像中產生此一合成缺陷。如藉由比較圖像600與真實缺陷圖像602可見，合成圖像與真實缺陷圖像之間存在各種差異。例如，合成缺陷圖像具有相對清晰的、不模糊的邊緣，而真實缺陷圖像邊緣具有顯著更多模糊。另外，合成及真實缺陷圖像在圖案化特徵內具有稍微不同形狀及稍微不同位置。然而，本發明者已發現，以此一合成缺陷圖像訓練之一機器學習模型可成功地偵測且分類圖像602中展示之真實缺陷。因此，即使合成缺陷對其等真實缺陷對應物之保真度相對較低，仍可自合成實例捕捉真實缺陷。
一或多個電腦子系統可經組態以依任何適合方式(諸如藉由將指派給訓練圖像之缺陷及/或類別標籤以及訓練圖像輸入至機器學習模型)訓練機器學習模型。可藉由使用者如本文中描述般(例如，經由GUI中之一註解工具)或以任何其他方式(藉由另一已訓練缺陷分類方法或系統)將標籤指派給訓練圖像。標籤可指派給各訓練缺陷圖像且可包含諸如缺陷ID 1、缺陷ID 2、…、缺陷ID n、圖案缺陷、橋接缺陷等之標籤。因此，不同標籤可與各訓練缺陷圖像及/或各訓練缺陷圖像中之各缺陷相關聯。
訓練集亦可包含除藉由使用者使用GUI修改之圖像之外的圖像。例如，訓練集可包含一或多個其他合成圖像，該一或多個其他合成圖像可藉由將一假設缺陷插入至樣品之設計中且接著產生包含該假設缺陷之設計之一模擬圖像而產生。以此方式，訓練集可包含模擬圖像。此等模擬圖像可藉由在上文引用之專利申請案中描述之機器學習模型之一或多者產生。訓練集亦可包含一或多個非缺陷圖像。例如，訓練集可包含其中未偵測到或尚未偵測到缺陷之樣品之圖像。使用包含缺陷圖像及非缺陷圖像之一訓練集可產生一機器學習模型，該機器學習模型能夠在其用於缺陷偵測時在缺陷圖像與非缺陷圖像之間更佳地區分。
一或多個電腦子系統亦可經組態以藉由將類別標籤及訓練圖像與一或多個訓練參考圖像及/或針對其產生訓練圖像之樣品之一設計一起輸入至機器學習模型而訓練機器學習模型。例如，參考圖像及/或設計可作為機器學習模型之第二(及可能第三)通道插入。參考圖像可包含樣品之無缺陷圖像。以此方式，無缺陷圖像及缺陷圖像可作為不同資料集而非一單一訓練圖像集輸入至機器學習模型。參考圖像可包含任何無缺陷圖像且可以任何適合方式(例如，藉由對一樣品成像且將無缺陷之樣品之圖像識別為參考圖像，藉由獲取已知無缺陷之樣品之一或多個圖像，藉由自一樣品之一設計模擬參考圖像等)獲取。設計可包含可以任何適合方式獲取之本文中描述之任何設計或設計資料。(若干)電腦子系統可經組態以使用上文描述之資訊及圖像以任何適合方式(例如，藉由將圖像及資訊輸入至機器學習模型且調整機器學習模型之一或多個參數，直至藉由機器學習模型針對訓練圖像產生之結果匹配輸入至機器學習模型之標籤)訓練機器學習模型。(若干)電腦子系統可進一步經組態以如在上文以引用的方式併入之任何專利申請公開案中描述般訓練機器學習模型。
GUI可經組態以顯示各種訓練特徵。在一項實施例中，GUI經組態用於將訓練之結果顯示給使用者。例如，GUI可經組態以若使用者例如藉由選擇圖2中展示之訓練按鈕起始訓練則顯示用於訓練機器學習模型之各種選項。訓練特徵可包含用於訓練之任何適合選項，諸如選擇待用於訓練之一或多個訓練或資料集。經訓練之機器學習模型之參數可包含模型之任何可調整參數，諸如權重及偏差。顯示於GUI中之訓練之結果可包含可藉由訓練一機器學習模型而產生之任何適合結果，該等結果可包含例如分類為缺陷圖像之圖像、分類為擾亂點之圖像及任何其他訓練結果或訓練結果之特性。以此方式，使用者介面可為一訓練介面，且圖像編輯工具可整合至訓練介面中。
在另一實施例中，GUI經組態用於顯示藉由經訓練機器學習模型針對樣品或另一樣品使用藉由成像子系統分別針對樣品或另一樣品產生之圖像執行之一或多個功能的結果。例如，GUI可經組態用於將機器學習模型對其他可用圖像之所得效能顯示給使用者。在一個此實例中，如圖5之步驟506中展示，(若干)電腦子系統可對測試資料運行分類器以發現真實缺陷。另外，使用者可使用GUI來觀看各分類器對各種資料集之效能。
在一項此實施例中，GUI經組態用於回應於顯示藉由經訓練機器學習模型針對樣品或另一樣品執行之一或多個功能的結果而自使用者接收額外輸入。例如，運行經訓練機器學習模型之結果可顯示於如本文中描述之一GUI中，且如圖5之步驟508中展示，使用者可檢視由經訓練機器學習模型(其可為一分類器或本文中描述之其他類型之模型)旗標之缺陷。使用者可使用GUI輸入結果之資訊，此可包含驗證如本文中描述之結果及/或修改結果以校正任何不正確結果。修改結果可包含移除或修改一或多個標籤(例如，以將一標籤自「缺陷」改變為「擾亂點」或「無缺陷」或自一個缺陷類別改變為另一缺陷類別)。可使用例如一註解工具(諸如本文中進一步描述之顯示於GUI中之註解工具)在結果中修改標籤。修改結果亦可或替代地使用提供於GUI中之任何其他工具(諸如將缺陷自一個類別群組拖放至另一類別群組)執行。
在一些此等實施例中，額外輸入包含藉由經訓練機器學習模型針對樣品或另一樣品執行之一或多個功能之結果的一有效性。例如，機器學習模型可對針對樣品或另一樣品產生之剩餘訓練集或其他圖像(例如，測試資料、驗證資料或運行時間圖像)運行推斷(用於缺陷偵測及/或分類)。使用者可在視覺上驗證經偵測及/或經分類之缺陷，且可使用GUI來提供針對缺陷及/或擾亂點之一或多者之一或多個輸入以指示其等是否有效。在一個此實例中，使用者可選擇其等判定為有效之缺陷且接著選擇一驗證按鈕以將選定缺陷保存為經驗證資料。使用者亦可或替代地藉由顯示於GUI中之任何其他工具(包含但不限於針對有效或無效結果之無線電按鈕、用於將個別缺陷群組成有效或無效結果之拖放功能性及類似者)來指示藉由機器學習模型偵測及/或分類之個別缺陷之任一者是否有效。
在額外此等實施例中，一或多個功能包含偵測樣品或另一樣品上之缺陷，額外輸入包含選擇經偵測缺陷之一或多者以供圖像處理模組儲存於訓練集中，藉此產生一經修改訓練集，且一或多個電腦子系統經組態用於以經修改訓練集重新訓練機器學習模型。例如，如圖5之步驟510中展示，(若干)電腦子系統可視情況將在一測試期間發現之真實缺陷添加至訓練集且重新訓練機器學習模型。
圖7繪示一經改良註解最佳已知方法之一個實施方案。可在DOI之視覺掃描耗時且易於出錯時執行此等步驟。此等步驟可減小待掃描之圖像區域。如圖7之步驟700中展示，使用者可使用如本文中描述般組態之GUI塗繪(或以其他方式產生)遺漏缺陷及/或遺漏缺陷類型。接著，(若干)電腦子系統可訓練模型，如步驟702中展示，其可如本文中描述般執行。接著，可使用經訓練模型來捕捉真實缺陷，如步驟704中展示。可藉由將經訓練機器學習模型應用於除訓練集之外之資料或圖像而執行捕捉真實缺陷，且其他資料可包含測試資料、運行時間資料及類似者。然而，捕捉真實缺陷亦可或替代地對剩餘資料集執行。
藉由機器學習模型產生之結果可如本文中描述般顯示於GUI中，且一使用者可在視覺上驗證經偵測缺陷。如步驟706中展示，圖像處理模組可將真實缺陷添加至訓練集。真實缺陷可僅包含已藉由使用者驗證之該等缺陷。如圖7中進一步展示，在執行步驟706之後，使用者可再次如本文中在步驟700中描述般使用GUI塗繪(或以其他方式產生)任何遺漏缺陷，且可藉由再次執行步驟702而使用包含經添加真實缺陷及任何新塗繪(或合成)缺陷之經修改訓練集來重新訓練模型。以此方式，無論何時使用機器學習模型偵測及/或分類一樣品上之缺陷，皆可將缺陷偵測及/或分類之結果添加至訓練集且接著可重新訓練模型。因此，(若干)電腦子系統可經組態以執行其中可運用任何(或一些)新偵測及/或分類之DOI及/或擾亂點斷續地或連續地重新訓練機器學習模型的一種適應性學習，此可隨時間改良機器學習模型之效能。
本文中描述之實施例提供優於用於訓練機器學習模型之先前使用方法及系統之若干優點。例如，本文中描述之實施例具有比當前使用方法之效能更佳之效能(例如，經改良缺陷偵測及分類)，此係因為其等容許使用者在零真實實例之情況下訓練一模型以偵測且分類DOI。當較少DOI實例(其等可包含缺陷外觀中之未表示變體)存在時，實施例亦藉由增加表示不足缺陷類型之計數以改良模型品質而提供經改良缺陷偵測及分類。另外，本文中描述之實施例提供用於在無訓練資料之情況下進行基於學習之缺陷偵測及分類的可行手段。實施例容許使用者使用缺陷外觀之現有知識而非全部或完全依賴於自晶圓圖像收集真實資料之耗時的、易於出錯的且偶爾不可用的方法來訓練模型。因此，本文中描述之實施例可在訓練資料不可用或受限時利用使用者之專家知識。以此方式，藉由本文中描述之實施例提供之經改良缺陷偵測、資料收集及時間節省使缺陷塗繪或合成產生具有實際價值。
本文中描述之實施例亦藉由將合成實例添加至訓練資料而提供使以下特徵(其等在先前工具能力中不可用)可行之經改良模型效能。一個新特徵係捕捉不存在其已知實例之缺陷。另一新特徵係在具有實質上較少實例之情況下加強缺陷偵測及缺陷之分類。一額外新特徵係改變一給定缺陷類型之外觀以捕捉在訓練集中表示不足之變體。
本文中描述之實施例亦顯著減少發現真實缺陷所需之時間(配方時間)，此係因為運用合成缺陷，使用者可實質上快速地訓練用於檢測之一模型。相比之下，在當前使用之方法及系統中，可能已不得不產生一整個樣品之圖像以尋找缺陷(或甚至僅數個缺陷實例)。本文中描述之實施例藉由關於合成缺陷訓練一機器學習模型而提供實質上高易用性(EOU)，且接著可使用該機器學習模型來發現訓練集中之「候選」缺陷。接著，使用者僅需要檢視此等候選者而非盯著一整個樣品之全部圖像以發現繁瑣且易於出錯之缺陷。
可將上文描述之實施例之各者在一起組合為一個單一實施例。
另一實施例係關於一種用於訓練一機器學習模型之電腦實施方法。方法包含本文中進一步描述之顯示、接收輸入、應用一或多個更改、儲存及訓練步驟。可如本文中進一步描述般執行方法之步驟之各者。方法亦可包含可由本文中描述之系統、(若干)電腦子系統、GUI、圖像處理子系統、機器學習模型及/或成像系統或子系統執行之(若干)任何其他步驟。一或多個電腦系統、一或多個組件、GUI、圖像處理模組及機器學習模型可根據本文中描述之實施例之任一者組態。另外，上文描述之方法可藉由本文中描述之系統實施例之任一者執行。
一額外實施例係關於一種儲存程式指令之非暫時性電腦可讀媒體，該等程式指令可在一或多個電腦系統上執行以執行用於訓練一機器學習方法之一電腦實施方法。在圖8中展示一項此實施例。特定言之，如圖8中展示，非暫時性電腦可讀媒體800包含可在(若干)電腦系統804上執行之程式指令802。電腦實施方法可包含本文中描述之(若干)任何方法之(若干)任何步驟。
實施諸如本文中描述之方法之方法的程式指令802可儲存於電腦可讀媒體800上。電腦可讀媒體可為一儲存媒體，諸如一磁碟或光碟、一磁帶或此項技術中已知之任何其他適合非暫時性電腦可讀媒體。
可以各種方式(包含基於程序之技術、基於組件之技術及/或物件導向技術等等)之任一者實施程式指令。例如，可視需要使用ActiveX控制項、C++物件、JavaBeans、微軟基礎類別(「MFC」)、SSE (串流SIMD延伸)或其他技術或方法論實施程式指令。
(若干)電腦系統804可根據本文中描述之實施例之任一者組態。
鑑於此描述，熟習此項技術者將明白本發明之各種態樣之進一步修改及替代實施例。例如，提供用於以一或多個合成圖像訓練一機器學習模型之方法及系統。因此，此描述應僅應被解釋為闡釋性的且係出於教示熟習此項技術者實行本發明之一般方式之目的。應瞭解，在本文中展示及描述之本發明之形式將被視為當前較佳實施例。如熟習此項技術者在獲益於本發明之此描述之後將明白，元件及材料可取代在本文中繪示及描述之元件及材料，部分及程序可顛倒，且可獨立利用本發明之某些特徵。可在不脫離如在以下發明申請專利範圍中描述之本發明之精神及範疇之情況下對本文中描述之元件進行改變。
10‧‧‧成像系統/成像子系統
14‧‧‧樣品
16‧‧‧光源
18‧‧‧光學元件
20‧‧‧透鏡
22‧‧‧載物台
24‧‧‧集光器
26‧‧‧元件
28‧‧‧偵測器
30‧‧‧集光器
32‧‧‧元件
34‧‧‧偵測器
36‧‧‧電腦子系統
100‧‧‧組件
102‧‧‧電腦子系統
104‧‧‧圖形使用者介面(GUI)
106‧‧‧圖像處理模組
108‧‧‧機器學習模型
122‧‧‧電子柱
124‧‧‧電腦子系統
126‧‧‧電子束源
128‧‧‧樣品
130‧‧‧元件
132‧‧‧元件
134‧‧‧偵測器
200‧‧‧圖形使用者介面(GUI)
202‧‧‧螢幕
204‧‧‧圖像
206‧‧‧區域
208‧‧‧欄標
210‧‧‧部分
212‧‧‧部分
214‧‧‧導覽視窗
300‧‧‧訓練圖像
302‧‧‧經標記缺陷
304‧‧‧訓練演算法
306‧‧‧經訓練模型
308‧‧‧新圖像
310‧‧‧經發現缺陷
400‧‧‧訓練圖像
402‧‧‧較少及/或不良標籤
404‧‧‧訓練演算法
406‧‧‧經訓練模型
408‧‧‧新圖像
410‧‧‧輸出
500‧‧‧步驟
502‧‧‧步驟
504‧‧‧步驟
506‧‧‧步驟
508‧‧‧步驟
510‧‧‧步驟
600‧‧‧圖像
602‧‧‧圖像
700‧‧‧步驟
702‧‧‧步驟
704‧‧‧步驟
706‧‧‧步驟
800‧‧‧非暫時性電腦可讀媒體
802‧‧‧程式指令
804‧‧‧電腦系統
在獲益於較佳實施例之以下詳細描述之情況下且在參考隨附圖式時，熟習此項技術者將明白本發明之進一步優點，其中：
圖1及圖1a係繪示如本文中描述般組態之一系統之實施例之側視圖的示意圖；
圖2係繪示可包含於本文中描述之實施例中之一圖形使用者介面(GUI)之一項實施例的一示意圖；
圖3至圖5及圖7係繪示可藉由本文中描述之實施例執行之各個步驟之實施例的流程圖；
圖6包含可使用本文中描述之實施例產生之一合成圖像之一實例及其中已藉由如本文中描述般訓練之一機器學習模型偵測到一缺陷的一樣品之一圖像之一實例；及
圖8係繪示儲存用於引起一或多個電腦系統執行本文中描述之一電腦實施方法之程式指令的一非暫時性電腦可讀媒體之一項實施例之一方塊圖。
雖然本發明易有各種修改及替代形式，但本發明之特定實施例在圖式中藉由實例展示且在本文中詳細描述。圖式可能未按比例。然而，應瞭解，圖式及其詳細描述並不意欲將本發明限於所揭示之特定形式，恰相反，本發明意欲涵蓋落於如由隨附發明申請專利範圍定義之本發明之精神及範疇內的全部修改、等效物及替代物。

Claims (24)

  1. 一種經組態以訓練一機器學習模型之系統，其包括： 一或多個電腦子系統；及 一或多個組件，其等由該一或多個電腦子系統執行，其中該一或多個組件包括： 一圖形使用者介面(GUI)，其經組態用於： 將一樣品之一或多個圖像及圖像編輯工具顯示給一使用者；及 自該使用者接收輸入，其中該輸入包括使用該等圖像編輯工具之一或多者對該一或多個圖像之至少一者進行的一或多個更改； 一圖像處理模組，其經組態用於對該一或多個圖像之該至少一者應用該一或多個更改，藉此產生至少一個經修改圖像且將該至少一個經修改圖像儲存於一訓練集中；及 一機器學習模型，其經組態用於使用藉由一成像子系統針對該樣品產生之圖像針對該樣品執行一或多個功能； 其中該一或多個電腦子系統經組態用於以其中儲存該至少一個經修改圖像之該訓練集訓練該機器學習模型。
  2. 如請求項1之系統，其中顯示於該GUI中之該一或多個圖像係包含於一初始訓練集中之圖像，且其中該儲存包括將該至少一個經修改圖像添加至該初始訓練集藉此產生該訓練集。
  3. 如請求項1之系統，其中該一或多個更改包括以一缺陷類別標籤對該一或多個圖像之該至少一者進行註解。
  4. 如請求項1之系統，其中該一或多個更改包括在該一或多個圖像之該至少一者中產生一合成缺陷。
  5. 如請求項1之系統，其中該一或多個更改包括藉由該使用者運用包含於該等圖像編輯工具中之一繪製工具輸入之一或多個手動繪製更改。
  6. 如請求項1之系統，其中該一或多個更改包括將對應於一已知所關注缺陷之一圖像之一部分轉貼至該一或多個圖像之該至少一者中。
  7. 如請求項1之系統，其中該一或多個更改包括基於該樣品之一已知所關注缺陷之一或多個特性在該一或多個圖像之該至少一者中產生一合成缺陷。
  8. 如請求項1之系統，其中顯示於該GUI中之該一或多個圖像係一初始訓練集中之圖像，其中該初始訓練集不包括該樣品之一已知所關注缺陷之任何例項，其中該一或多個更改包括基於該已知所關注缺陷之一或多個特性在該一或多個圖像之該至少一者中產生一合成缺陷，且其中該儲存包括將該至少一個經修改圖像添加至該初始訓練集藉此產生該訓練集。
  9. 如請求項1之系統，其中顯示於該GUI中之該一或多個圖像係一初始訓練集中之圖像，其中該初始訓練集包括該樣品之一已知所關注缺陷之少於預定數目個例項，其中該一或多個更改包括基於該已知所關注缺陷之一或多個特性在該一或多個圖像之該至少一者中產生一或多個合成缺陷，藉此產生該至少一個經修改圖像之一或多者，且其中該儲存包括將該至少一個經修改圖像之該一或多者添加至該初始訓練集藉此產生該訓練集。
  10. 如請求項1之系統，其中該一或多個更改包括對對應於一缺陷之該一或多個圖像之該至少一者之一部分的一或多個修改，且其中產生該至少一個經修改圖像包括：基於該一或多個修改產生一新圖像。
  11. 如請求項10之系統，其中該一或多個修改包括按比例調整、旋轉、邊緣模糊或強度修改。
  12. 如請求項1之系統，其中該GUI進一步經組態用於將該訓練之結果顯示給該使用者。
  13. 如請求項1之系統，其中該GUI進一步經組態用於顯示藉由該經訓練機器學習模型針對該樣品或另一樣品使用由該成像子系統分別針對該樣品或該另一樣品產生之該等圖像執行之該一或多個功能的結果。
  14. 如請求項13之系統，其中該GUI進一步經組態用於回應於顯示藉由該經訓練機器學習模型針對該樣品或該另一樣品執行之該一或多個功能的該等結果而自該使用者接收額外輸入。
  15. 如請求項14之系統，其中該額外輸入包括藉由該經訓練機器學習模型針對該樣品或該另一樣品執行之該一或多個功能之該等結果的一有效性。
  16. 如請求項14之系統，其中該一或多個功能包括偵測該樣品或該另一樣品上之缺陷，其中該額外輸入包括選擇該等經偵測缺陷之一或多者以供該圖像處理模組儲存於該訓練集中，藉此產生一經修改訓練集，且其中該一或多個電腦子系統進一步經組態用於以該經修改訓練集重新訓練該機器學習模型。
  17. 如請求項1之系統，其中該一或多個功能包括偵測該樣品上之缺陷。
  18. 如請求項1之系統，其中該一或多個功能包括對在該樣品上偵測到之缺陷分類。
  19. 如請求項1之系統，其中該成像子系統組態為一基於電子束之成像子系統。
  20. 如請求項1之系統，其中該成像子系統組態為一基於光學之成像子系統。
  21. 如請求項1之系統，其中該樣品係一晶圓。
  22. 如請求項1之系統，其中該樣品係一倍縮光罩。
  23. 一種儲存程式指令之非暫時性電腦可讀媒體，該等程式指令可在一或多個電腦系統上執行以執行用於訓練一機器學習模型之一電腦實施方法，其中該電腦實施方法包括： 運用一圖形使用者介面(GUI)將一樣品之一或多個圖像及圖像編輯工具顯示給一使用者； 經由該GUI自該使用者接收輸入，其中該輸入包括使用該等圖像編輯工具之一或多者對該一或多個圖像之至少一者進行之一或多個更改； 將該一或多個更改應用於該一或多個圖像之該至少一者，藉此產生至少一個經修改圖像； 將該至少一個經修改圖像儲存於一訓練集中，其中該應用及該儲存係藉由一圖像處理模組執行；及 以其中儲存該至少一個經修改圖像之該訓練集訓練一機器學習模型，其中該機器學習模型經組態用於使用藉由一成像子系統針對該樣品產生之圖像針對該樣品執行一或多個功能，其中該GUI、該圖像處理模組及該機器學習模型包含於由該一或多個電腦系統執行之一或多個組件中，且其中該訓練係藉由該一或多個電腦系統執行。
  24. 一種用於訓練一機器學習模型之電腦實施方法，其包括： 運用一圖形使用者介面(GUI)將一樣品之一或多個圖像及圖像編輯工具顯示給一使用者； 經由該GUI自該使用者接收輸入，其中該輸入包括使用該等圖像編輯工具之一或多者對該一或多個圖像之至少一者進行的一或多個更改； 將該一或多個更改應用於該一或多個圖像之該至少一者，藉此產生至少一個經修改圖像； 將該至少一個經修改圖像儲存於一訓練集中，其中該應用及該儲存係藉由一圖像處理模組執行；及 以其中儲存該至少一個經修改圖像之該訓練集訓練一機器學習模型，其中該機器學習模型經組態用於使用藉由一成像子系統針對該樣品產生之圖像針對該樣品執行一或多個功能，其中該GUI、該圖像處理模組及該機器學習模型包含於由一或多個電腦子系統執行之一或多個組件中，且其中該訓練係藉由該一或多個電腦子系統執行。
TW108109773A 2018-03-21 2019-03-21 以合成圖像訓練機器學習模型 TWI840346B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201862646207P 2018-03-21 2018-03-21
US62/646,207 2018-03-21
US16/357,360 US11170255B2 (en) 2018-03-21 2019-03-19 Training a machine learning model with synthetic images
US16/357,360 2019-03-19

Publications (2)

Publication Number Publication Date
TW201946181A true TW201946181A (zh) 2019-12-01
TWI840346B TWI840346B (zh) 2024-05-01

Family

ID=67985281

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108109773A TWI840346B (zh) 2018-03-21 2019-03-21 以合成圖像訓練機器學習模型

Country Status (5)

Country Link
US (1) US11170255B2 (zh)
KR (1) KR20200123858A (zh)
CN (1) CN111819583B (zh)
TW (1) TWI840346B (zh)
WO (1) WO2019183153A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI771010B (zh) * 2021-05-20 2022-07-11 鴻海精密工業股份有限公司 缺陷檢測方法、電腦裝置及儲存介質
US11823438B2 (en) 2020-11-09 2023-11-21 Industrial Technology Research Institute Recognition system and image augmentation and training method thereof

Families Citing this family (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3398123A4 (en) * 2015-12-31 2019-08-28 KLA - Tencor Corporation ACCELERATED TRAINING OF A MODEL BASED ON AUTOMATIC LEARNING FOR SEMICONDUCTOR APPLICATIONS
US11580375B2 (en) 2015-12-31 2023-02-14 Kla-Tencor Corp. Accelerated training of a machine learning based model for semiconductor applications
US11410073B1 (en) * 2017-05-31 2022-08-09 The Mathworks, Inc. Systems and methods for robust feature selection
US10769766B1 (en) * 2018-05-31 2020-09-08 Amazon Technologies, Inc. Regularized multi-label classification from partially labeled training data
US11615208B2 (en) 2018-07-06 2023-03-28 Capital One Services, Llc Systems and methods for synthetic data generation
JP2020042737A (ja) * 2018-09-13 2020-03-19 株式会社東芝 モデル更新支援システム
US11544499B2 (en) 2018-09-18 2023-01-03 Microsoft Technology Licensing, Llc Classification of synthetic data tasks and orchestration of resource allocation
KR102638267B1 (ko) * 2018-12-03 2024-02-21 삼성전자주식회사 반도체 웨이퍼 불량 분석 시스템 및 그것의 동작 방법
US10950508B2 (en) * 2019-03-20 2021-03-16 Samsung Electronics Co., Ltd. Ion depth profile control method, ion implantation method and semiconductor device manufacturing method based on the control method, and ion implantation system adapting the control method
US11386539B2 (en) * 2019-05-29 2022-07-12 Applied Materials Israel Ltd. Detecting defects in a semiconductor specimen
US11475556B2 (en) * 2019-05-30 2022-10-18 Bruker Nano, Inc. Method and apparatus for rapidly classifying defects in subcomponents of manufactured component
US11497221B2 (en) * 2019-07-19 2022-11-15 Walmart Apollo, Llc Systems and methods for managing meat cut quality
JP7390851B2 (ja) * 2019-10-18 2023-12-04 株式会社日立ハイテク 欠陥分類装置、欠陥分類プログラム
CN112784181A (zh) * 2019-11-08 2021-05-11 阿里巴巴集团控股有限公司 信息展示、图像处理方法及设备、信息展示装置
TWI786346B (zh) * 2019-11-14 2022-12-11 財團法人資訊工業策進會 遷移式模型訓練系統以及方法
US11250260B2 (en) 2019-11-15 2022-02-15 Maxar Intelligence Inc. Automated process for dynamic material classification in remotely sensed imagery
US11010606B1 (en) 2019-11-15 2021-05-18 Maxar Intelligence Inc. Cloud detection from satellite imagery
US11386649B2 (en) 2019-11-15 2022-07-12 Maxar Intelligence Inc. Automated concrete/asphalt detection based on sensor time delay
US11200659B2 (en) 2019-11-18 2021-12-14 Stmicroelectronics (Rousset) Sas Neural network training device, system and method
US11501424B2 (en) * 2019-11-18 2022-11-15 Stmicroelectronics (Rousset) Sas Neural network training device, system and method
WO2021111768A1 (ja) * 2019-12-03 2021-06-10 パナソニックＩｐマネジメント株式会社 設定システム、設定方法及びプログラム
JP7418200B2 (ja) * 2019-12-19 2024-01-19 キヤノン株式会社 識別装置、処理装置、処理方法、およびプログラム
KR102439845B1 (ko) * 2019-12-27 2022-09-02 주식회사 코어라인소프트 의료용 인공 신경망 기반 사용자 선호 스타일을 제공하는 의료 영상 판독 지원 장치 및 방법
KR20210087335A (ko) * 2020-01-02 2021-07-12 엘지전자 주식회사 로컬 장치의 성능 향상
WO2021150973A1 (en) * 2020-01-24 2021-07-29 Duke University Intelligent automated imaging system
US11256967B2 (en) * 2020-01-27 2022-02-22 Kla Corporation Characterization system and method with guided defect discovery
WO2021173138A1 (en) * 2020-02-27 2021-09-02 Lm Wind Power A/S System and method for monitoring wind turbine rotor blades using infrared imaging and machine learning
US11022566B1 (en) * 2020-03-31 2021-06-01 Applied Materials Israel Ltd. Examination of a semiconductor specimen
US12020417B2 (en) * 2020-04-24 2024-06-25 Camtek Ltd. Method and system for classifying defects in wafer using wafer-defect images, based on deep learning
EP4147166A1 (en) * 2020-05-05 2023-03-15 Amgen Inc. Deep learning platforms for automated visual inspection
WO2021250884A1 (ja) * 2020-06-12 2021-12-16 株式会社日立ハイテク 欠陥検査のための方法、システム、及びコンピューター可読媒体
IL276478B2 (en) * 2020-08-03 2023-07-01 Inspekto A M V Ltd Adaptive system and method for inspecting photographed objects
US11328410B2 (en) * 2020-08-03 2022-05-10 KLA Corp. Deep generative models for optical or other mode selection
WO2022029771A1 (en) * 2020-08-03 2022-02-10 Inspekto A.M.V Ltd Adaptive system and method for inspection of imaged items
US11776108B2 (en) 2020-08-05 2023-10-03 KLA Corp. Deep learning based defect detection
US11562476B2 (en) * 2020-09-03 2023-01-24 Applied Materials Israel Ltd. Determination of a simulated image of a specimen
JP7527902B2 (ja) * 2020-09-04 2024-08-05 キオクシア株式会社 情報処理装置
US20220172100A1 (en) * 2020-11-27 2022-06-02 Amazon Technologies, Inc. Feedback-based training for anomaly detection
DE102020216289A1 (de) * 2020-12-18 2022-06-23 Fresenius Medical Care Deutschland Gmbh Verfahren zur klassifizierung von bildern und verfahren zur optischen prüfung eines objekts
CN112731439B (zh) * 2020-12-24 2023-12-19 西安工业大学 一种粗糙表面光散射场直接计算方法
US20220270212A1 (en) * 2021-02-25 2022-08-25 Kla Corporation Methods for improving optical inspection and metrology image quality using chip design data
US11710228B2 (en) * 2021-03-05 2023-07-25 Applied Materials, Inc. Detecting an excursion of a CMP component using time-based sequence of images and machine learning
US12106550B2 (en) * 2021-04-05 2024-10-01 Nec Corporation Cell nuclei classification with artifact area avoidance
CN113362288B (zh) * 2021-05-24 2024-03-08 深圳明锐理想科技股份有限公司 一种金手指划伤检测方法、装置以及电子设备
US20240290027A1 (en) * 2021-06-30 2024-08-29 Hewlett-Packard Development Company, L.P. Synthetic Images for Machine Learning
CN116547661A (zh) * 2021-12-03 2023-08-04 宁德时代新能源科技股份有限公司 用于图像分割的数据标注方法和系统以及图像分割装置
GB2613879A (en) * 2021-12-17 2023-06-21 Zeta Motion Ltd Automated inspection system
US20230251212A1 (en) * 2022-02-07 2023-08-10 GM Global Technology Operations LLC Image processing and detection of discontinuities in battery cells
WO2023168366A2 (en) * 2022-03-03 2023-09-07 Siemens Healthcare Diagnostics Inc. Diagnostic laboratory systems and methods of imaging tube assemblies
US11727672B1 (en) * 2022-05-24 2023-08-15 Nanotronics Imaging, Inc. System and method for generating training data sets for specimen defect detection
WO2024073344A1 (en) * 2022-09-26 2024-04-04 Lam Research Corporation Generation of synthetic semiconductor images

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU1553601A (en) * 1999-11-29 2001-06-12 Olympus Optical Co., Ltd. Defect inspecting system
US7529394B2 (en) 2003-06-27 2009-05-05 Siemens Medical Solutions Usa, Inc. CAD (computer-aided decision) support for medical imaging using machine learning to adapt CAD process with knowledge collected during routine use of CAD system
JP2006220644A (ja) * 2005-01-14 2006-08-24 Hitachi High-Technologies Corp パターン検査方法及びその装置
CN101536011B (zh) 2005-01-21 2013-01-09 光子动力学公司 自动缺陷修复系统
US7676077B2 (en) 2005-11-18 2010-03-09 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US7570796B2 (en) 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US8698093B1 (en) 2007-01-19 2014-04-15 Kla-Tencor Corporation Objective lens with deflector plates immersed in electrostatic lens field
US8126255B2 (en) 2007-09-20 2012-02-28 Kla-Tencor Corp. Systems and methods for creating persistent data for a wafer and for using persistent data for inspection-related functions
JP5452392B2 (ja) * 2009-12-16 2014-03-26 株式会社日立ハイテクノロジーズ 欠陥観察方法及び欠陥観察装置
US8664594B1 (en) 2011-04-18 2014-03-04 Kla-Tencor Corporation Electron-optical system for high-speed and high-sensitivity inspections
US8692204B2 (en) 2011-04-26 2014-04-08 Kla-Tencor Corporation Apparatus and methods for electron beam detection
US8716662B1 (en) 2012-07-16 2014-05-06 Kla-Tencor Corporation Methods and apparatus to review defects using scanning electron microscope with multiple electron beam configurations
GB2521958B (en) * 2012-09-13 2019-12-04 Adobe Inc System and method for producing edited images using embedded plug-in
US8948494B2 (en) * 2012-11-12 2015-02-03 Kla-Tencor Corp. Unbiased wafer defect samples
US9222895B2 (en) 2013-02-25 2015-12-29 Kla-Tencor Corp. Generalized virtual inspector
US9898811B2 (en) * 2015-05-08 2018-02-20 Kla-Tencor Corporation Method and system for defect classification
US9704054B1 (en) * 2015-09-30 2017-07-11 Amazon Technologies, Inc. Cluster-trained machine learning for image processing
US10186026B2 (en) 2015-11-17 2019-01-22 Kla-Tencor Corp. Single image detection
US9965901B2 (en) 2015-11-19 2018-05-08 KLA—Tencor Corp. Generating simulated images from design information
US11205119B2 (en) * 2015-12-22 2021-12-21 Applied Materials Israel Ltd. Method of deep learning-based examination of a semiconductor specimen and system thereof
US11580375B2 (en) 2015-12-31 2023-02-14 Kla-Tencor Corp. Accelerated training of a machine learning based model for semiconductor applications
US9916965B2 (en) 2015-12-31 2018-03-13 Kla-Tencor Corp. Hybrid inspectors
US10648924B2 (en) 2016-01-04 2020-05-12 Kla-Tencor Corp. Generating high resolution images from low resolution images for semiconductor applications
US10043261B2 (en) 2016-01-11 2018-08-07 Kla-Tencor Corp. Generating simulated output for a specimen
US10181185B2 (en) 2016-01-11 2019-01-15 Kla-Tencor Corp. Image based specimen process control
US10360477B2 (en) 2016-01-11 2019-07-23 Kla-Tencor Corp. Accelerating semiconductor-related computations using learning based models
US10395356B2 (en) 2016-05-25 2019-08-27 Kla-Tencor Corp. Generating simulated images from input images for semiconductor applications
US10346740B2 (en) 2016-06-01 2019-07-09 Kla-Tencor Corp. Systems and methods incorporating a neural network and a forward physical model for semiconductor applications
US11580398B2 (en) 2016-10-14 2023-02-14 KLA-Tenor Corp. Diagnostic systems and methods for deep learning models configured for semiconductor applications
US10395362B2 (en) 2017-04-07 2019-08-27 Kla-Tencor Corp. Contour based defect detection
US10733744B2 (en) 2017-05-11 2020-08-04 Kla-Tencor Corp. Learning based approach for aligning images acquired with different modalities
US10769761B2 (en) 2017-06-30 2020-09-08 Kla-Tencor Corp. Generating high resolution images from low resolution images for semiconductor applications
CN107543828B (zh) * 2017-08-25 2020-09-11 广东工业大学 一种工件表面缺陷检测方法及系统
CN107563999A (zh) * 2017-09-05 2018-01-09 华中科技大学 一种基于卷积神经网络的芯片缺陷识别方法
US10607119B2 (en) 2017-09-06 2020-03-31 Kla-Tencor Corp. Unified neural network for defect detection and classification
JP6924413B2 (ja) * 2017-12-25 2021-08-25 オムロン株式会社 データ生成装置、データ生成方法及びデータ生成プログラム
US10832092B2 (en) * 2018-02-07 2020-11-10 Applied Materials Israel Ltd. Method of generating a training set usable for examination of a semiconductor specimen and system thereof
US10839575B2 (en) * 2018-03-15 2020-11-17 Adobe Inc. User-guided image completion with image completion neural networks

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11823438B2 (en) 2020-11-09 2023-11-21 Industrial Technology Research Institute Recognition system and image augmentation and training method thereof
TWI771010B (zh) * 2021-05-20 2022-07-11 鴻海精密工業股份有限公司 缺陷檢測方法、電腦裝置及儲存介質

Also Published As

Publication number Publication date
KR20200123858A (ko) 2020-10-30
CN111819583B (zh) 2024-06-04
WO2019183153A1 (en) 2019-09-26
CN111819583A (zh) 2020-10-23
US20190294923A1 (en) 2019-09-26
US11170255B2 (en) 2021-11-09
TWI840346B (zh) 2024-05-01

Similar Documents

Publication Publication Date Title
TWI840346B (zh) 以合成圖像訓練機器學習模型
TWI751376B (zh) 識別在一晶圓上偵測到之缺陷中之損害及所關注缺陷
TWI711978B (zh) 用於執行針對樣本之功能之系統及電腦實施方法，以及電腦可讀媒體
TWI722050B (zh) 單一影像偵測
TWI588924B (zh) 用於晶圓檢測之方法、裝置及電腦可讀取媒體
US7720275B2 (en) Method and apparatus for detecting pattern defects
TW201931217A (zh) 用於缺陷偵測及分類之統一神經網路
US11961219B2 (en) Generative adversarial networks (GANs) for simulating specimen images
WO2010091307A2 (en) Selecting one or more parameters for inspection of a wafer
WO2017035142A1 (en) Determining one or more characteristics of a pattern of interest on a specimen
TWI836146B (zh) 多成像模式影像對準
TWI798521B (zh) 選擇一或多個設計檔案以供在測試影像與設計對準中使用之系統及電腦實施之方法，以及非暫時性電腦可讀媒體
TW202004936A (zh) 用於檢查之模式選擇
TW201947432A (zh) 產生用於陣列區之缺陷樣本
US20220318986A1 (en) Semantic image segmentation for semiconductor-based applications
TW202104878A (zh) 用於檢測之缺陷候選的產生
CN117015850B (zh) 以经呈现设计图像进行的设计注意区域的分段
TWI855263B (zh) 用於選擇用於對樣品執行程序的工具之一模式的系統及電腦實施之方法以及相關的儲存程式指令之非暫時性電腦可讀媒體
CN117561539A (zh) 用于基于半导体应用的无监督或自我监督的深度学习
TW202226027A (zh) 用於光學或其他模式選擇之深度生成模型