TW202041850A - 使用疊層去除雜訊自動編碼器之影像雜訊降低 - Google Patents
使用疊層去除雜訊自動編碼器之影像雜訊降低 Download PDFInfo
- Publication number
- TW202041850A TW202041850A TW109100779A TW109100779A TW202041850A TW 202041850 A TW202041850 A TW 202041850A TW 109100779 A TW109100779 A TW 109100779A TW 109100779 A TW109100779 A TW 109100779A TW 202041850 A TW202041850 A TW 202041850A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- runtime
- training
- characteristic noise
- noise
- Prior art date
Links
- 230000009467 reduction Effects 0.000 title description 6
- 238000013135 deep learning Methods 0.000 claims abstract description 85
- 238000012549 training Methods 0.000 claims abstract description 84
- 238000000034 method Methods 0.000 claims abstract description 62
- 238000003860 storage Methods 0.000 claims abstract description 16
- 238000004891 communication Methods 0.000 claims abstract description 5
- 230000007547 defect Effects 0.000 claims description 40
- 238000013528 artificial neural network Methods 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 18
- 230000003628 erosive effect Effects 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 5
- 238000009987 spinning Methods 0.000 claims 1
- 230000003287 optical effect Effects 0.000 description 56
- 238000001514 detection method Methods 0.000 description 41
- 238000007689 inspection Methods 0.000 description 23
- 238000010894 electron beam technology Methods 0.000 description 19
- 238000013500 data storage Methods 0.000 description 14
- 238000005259 measurement Methods 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 12
- 239000004065 semiconductor Substances 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000013527 convolutional neural network Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 10
- 238000005286 illumination Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 230000001537 neural effect Effects 0.000 description 6
- 230000010339 dilation Effects 0.000 description 5
- 238000012795 verification Methods 0.000 description 5
- 238000010884 ion-beam technique Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 2
- 239000006002 Pepper Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 229910052802 copper Inorganic materials 0.000 description 2
- 239000010949 copper Substances 0.000 description 2
- 239000013078 crystal Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 229910052751 metal Inorganic materials 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 235000006719 Cassia obtusifolia Nutrition 0.000 description 1
- 235000014552 Cassia tora Nutrition 0.000 description 1
- 244000201986 Cassia tora Species 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 210000003050 axon Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 229910052734 helium Inorganic materials 0.000 description 1
- 239000001307 helium Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 238000012858 packaging process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000001004 secondary ion mass spectrometry Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8854—Grading and classifying of flaws
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Testing Or Measuring Of Semiconductors Or The Like (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本文揭示之實施例可包括:接收一運行時間晶粒之一運行時間影像;及使用一深度學習模組來識別該運行時間影像中之一特性雜訊;及修改該運行時間影像來降低該特性雜訊,藉此產生一去除雜訊運行時間影像。此等實施例可被執行為方法,由系統執行或自一或多個運算裝置上之非暫時性電腦可讀儲存媒體執行。一計量工具之一影像感測器可擷取該運行時間晶粒之該運行時間影像。該計量工具可包含安置於一樣本上之一運行時間晶粒、一運行時間影像感測器及與該運行時間影像感測器電子通信之一處理器。實施例可進一步包括:接收一訓練晶粒之一訓練影像;修改該訓練影像;及訓練該深度學習模組以識別該運行時間影像中之該特性雜訊且修改該運行時間影像。
Description
本發明大體係關於半導體缺陷檢測及檢視。
半導體製造產業之演進對良率管理及特定言之計量及檢測系統提出更高要求。臨界尺寸不斷縮小,但產業需要減小達成高良率、高價值生產之時間。最小化從偵測到一良率問題至解決該問題之總時間判定一半導體製造商之投資回報率。
遍及各種半導體產品,尤其在先進晶圓級封裝(aWLP)領域中,晶圓光學檢測面臨處理量及靈敏度挑戰,此係因為由晶粒粗糙度(例如,金屬晶粒粗糙度)引發之雜訊。此挑戰在受關注缺陷(DOI)及擾亂點信號類似時加劇,從而促進其等之分類及分級之困難。
存在用於雜訊濾波之一些習知方法。一核心係用於藉由用對應於核心之影像之一部分廻旋核心而執行影像處理演算法之一小矩陣。可以各種方式界定核心。中值濾波涉及用一核心之所有像素之中值替換該核心之中心像素。低通濾波涉及用一核心之所有像素之平均值替換該核心之中心像素。雖然此等雜訊濾波方法在運算上較不昂貴,但其等因其等對DOI及擾亂點之無差別對待而給缺陷偵測帶來一風險。針對位於雜訊基底中之微小缺陷,難以選擇性地抑制擾亂點信號而不損及DOI信號。
因此需要在不負面影響一DOI信號的情況下選擇性地濾波擾亂點之改良方法。
一項實施例可為一種方法,其包括:使用一處理器來接收一運行時間晶粒之一運行時間影像;及使用一深度學習模組來識別該運行時間影像中之一特性雜訊及修改該運行時間影像來降低該特性雜訊,藉此產生一去除雜訊運行時間影像。該運行時間晶粒之該運行時間影像可藉由一計量工具之一影像感測器擷取。該計量工具可為一光學計量工具或一電子束計量工具。
該方法可進一步包括:使用該處理器來接收一訓練晶粒之一訓練影像;修改該訓練影像,使得該特性雜訊降低;及訓練該深度學習模組以識別該運行時間影像中之該特性雜訊;及修改該運行時間影像以降低該特性雜訊。
該方法可進一步包括使用該處理器來偵測該去除雜訊運行時間影像中之一缺陷。該方法可進一步包括使用該處理器來將該缺陷分類為一受關注缺陷或一擾亂點。
另一種實施例可為一種包括一計量工具之系統。該計量工具可包含安置於一樣本上之一運行時間晶粒、一運行時間影像感測器及與該運行時間影像感測器電子通信之一處理器。該運行時間影像感測器可經組態以擷取該運行時間晶粒之一運行時間影像。該處理器可經組態以自該運行時間影像感測器接收該運行時間影像。該處理器可經組態以使用一深度學習模組來識別該運行時間影像中之該特性雜訊,及修改該運行時間影像來降低該特性雜訊且藉此產生一去除雜訊運行時間影像。
該處理器可經進一步組態以:接收一訓練晶粒之一訓練影像;修改該訓練影像,使得該特性雜訊降低;及訓練該深度學習模組以識別該運行時間影像中之該特性雜訊;及修改該運行時間影像以降低該特性雜訊。
該處理器可經進一步組態以偵測該去除雜訊運行時間影像中之一缺陷。該處理器可經進一步組態以將該缺陷分類為一受關注缺陷或一擾亂點。
另一種實施例可為一種非暫時性電腦可讀儲存媒體,其包括用於在一或多個運算裝置上執行步驟之一或多個程式。該一或多個程式可經組態以執行步驟以:接收藉由一計量工具之一影像感測器擷取之一運行時間影像;及使用一深度學習模組來識別該運行時間影像中之該特性雜訊;及修改該運行時間影像來降低該特性雜訊且藉此產生一去除雜訊運行時間影像。
該一或多個程式可經進一步組態以執行步驟以:接收一訓練晶粒之一訓練影像;修改該訓練影像,使得該特性雜訊降低;及訓練該深度學習模組以識別該運行時間影像中之該特性雜訊;及修改該運行時間影像以降低該特性雜訊。
該一或多個程式可經進一步組態以執行步驟以偵測該去除雜訊運行時間影像中之一缺陷。該一或多個程式可經進一步組態以執行步驟以將該缺陷分類為一受關注缺陷或一擾亂點。
該深度學習模組可經訓練以識別該運行時間影像中之該特性雜訊且修改該運行時間影像以降低該特性雜訊。
該訓練影像可具有該特性雜訊。
修改該訓練影像可產生一去除雜訊影像。訓練該深度學習模組以識別該特性雜訊可包含比較該訓練影像之一部分與該去除雜訊訓練影像之一對應部分。
修改該訓練影像可包括像素斑點選擇及平滑化、膨脹、侵蝕、模糊、模板複製、洪水填滿(flood fill)、中值濾波或低通濾波之一或多者。
該深度學習模組可為一全連接自動編碼器或一廻旋神經網路。
修改該運行時間影像以降低該特性雜訊可包含使用一編碼器層對該運行時間影像進行縮減取樣,藉此產生一稀疏表示及使用一解碼器層對該稀疏表示進行擴增取樣,藉此產生該去除雜訊運行時間影像。
該編碼器層可為一廻旋層或一最大值集區(maxpool)層。該解碼器層可為一解迴旋層或一解最大值集區(max-unpool)層。
該運行時間影像感測器可為一電荷耦合裝置或一時延及積分感測器。該運行時間影像感測器可經組態以偵測自該樣本接收之光子或電子。
該運行時間晶粒可組成一先進晶圓級封裝。
相關申請案之交叉參考
本申請案主張2019年2月22日申請的美國臨時申請案第62/808,985號及2019年1月10日申請的印度臨時申請案201941001278之優先權,其等之完整揭示內容以引用的方式併入本文中。
儘管將依據特定實施例描述所主張之標的,然其他實施例(包含未提供本文中闡述之全部優點及特徵之實施例)亦在本發明之範疇內。可在不脫離本發明之範疇之情況下進行各種結構、邏輯、程序步驟及電子改變。因此,僅參考隨附發明申請專利範圍定義本發明之範疇。
本文揭示之實施例包含在使用深度學習之影像預處理期間用於雜訊降低之方法、系統及設備。
若缺陷(分類為DOI或擾亂點之候選者)隨機散佈遍及缺陷屬性空間,且隨機雜訊一般存在於一檢測層中,則可使用一基於深度學習方法來分離DOI及擾亂點。因此,本文揭示之實施例可提供一詳細、選擇性濾波方法來克服各種半導體區段中之具挑戰性之缺陷檢測案例。此等實施例可用於其中強背景圖案雜訊可導致難以區分DOI及擾亂點之一光學或電子(電子束)檢測平台中。
可如下描述一實施例。首先,可獲得代表一晶圓上可出現之所有可能的變化之一組有雜訊訓練影像。例如,可接收來自其中需要應用去除雜訊之晶粒之所有部分之影像。其次,可對影像應用手動去除雜訊操作。第三,有雜訊影像可與去除雜訊影像配對以準備進行深度學習模組訓練。第四,深度學習模組可使用關於配對影像及所應用的去除雜訊操作之資料訓練。此深度學習模組可接著被保存且附接至一配方。最後,一運行時間晶圓之一檢測可包含使用深度學習模組在運行時間應用去除雜訊功能。效能可藉由比較應用所提出之去除雜訊技術之前及之後之缺陷數量或品質而確認。
圖1A描繪一實施例方法100。方法100可使用一訓練影像來訓練一深度學習模組以使一隨後收集之運行時間影像去除雜訊。
在101,可接收一訓練影像。訓練影像可為一訓練晶粒之一影像。訓練影像可(例如)使用稍後用於獲得一運行時間影像之計量工具、一不同計量工具、一模擬或另一之前獲得之影像獲得。訓練影像可為一單一晶粒、多個晶粒或一晶粒之一部分。計量工具可為一光學計量工具或一電子束計量工具。
訓練影像可具有一特性雜訊。特性雜訊可藉由銅或基板之表面粗糙度或晶粒引發。特性雜訊可取決於一特定製程之材料及程序參數變化。
在102,可修改訓練影像。可進行修改使得特性雜訊(例如,椒鹽(salt-and-pepper)雜訊或取決於程序參數之其他各種雜訊)降低,因此使訓練影像去除雜訊。修改可包括像素斑點選擇及平滑化、膨脹、侵蝕、模糊、模板複製、洪水填滿、中值濾波或低通濾波之一或多者,如以下段落中解釋。可基於訓練影像之特定需要或基於程序參數判定用於一實施例中之(若干)技術。
在一項實施例中,訓練影像之去除雜訊可藉由手動觀察去除雜訊訓練影像及計算缺陷信號之信雜比而確認。在另一實施例中,經訓練深度學習模組可用於檢測,且可確認該檢測之結果。一旦所獲得之掃描結果具有可接受之擾亂點候選者,便可結束經訓練深度學習模組。
可使用像素斑點選擇及平滑化修改訓練影像。像素斑點選擇可涉及選擇具有擁有近似恆定之特定性質(即,一斑點中之各像素可具有被視為斑點中之其他像素所共同之一性質(例如,灰階))之像素之一影像之一區。可使用廻旋執行斑點偵測。可藉由識別與中心像素相鄰之具有依特定臨限準則之強度位準之像素且為各者分配一灰階,直至到達不滿足準則之一像素而執行斑點之平滑化。
可使用膨脹來修改訓練影像。形態膨脹涉及掃描一影像且對於各像素,將其值設定為圍繞該像素之一經定義相鄰大小之最大像素值。可使用膨脹來增加一影像中之物件之可見性且填充小孔。
可使用侵蝕來修改訓練影像。形態侵蝕涉及掃描一影像且對於各像素,將其值設定為圍繞該像素之一經定義相鄰大小之最小像素值。侵蝕可較佳地用於移除島區(island)或較小物件,從而僅留下大影像物件。
可使用模糊來修改訓練影像。對於模糊,可平均化一特定核心大小內之像素。因此,可降低金屬晶粒之一效應或另一類型之雜訊。
可使用模板複製來修改訓練影像。對於模板複製(template replication或template copying),可選擇來自當前或一不同源之一影像之一部分以複製且貼上至同一影像之另一部分。因此,影像上之粗略圖塊可經變換為清除其等。
可使用洪水填滿來修改訓練影像。對於洪水填滿,可偵測一影像中之邊緣且可將一恆定灰階分配至由該等邊緣定界之像素。洪水填滿在具有經定義或可區分邊緣之影像中可係有效的。
可使用中值濾波來修改訓練影像。中值濾波涉及用一核心之所有像素之中值替換該核心之中心像素。在中值濾波中,考慮一特定X-Y核心內之像素,且核心中之中心像素可用核心中之所有像素之中值替換。例如,若一圖塊在X方向上在一五像素核心內具有120、110、150、160及100之灰階,則之前具有150之一值之像素可用120之一值(五像素灰階之中值)替換。一旦操作完成,核心便可偏移達一個像素且操作可重複。可使用中值濾波來移除「椒鹽」雜訊。
可使用低通濾波來修改訓練影像。低通濾波類似於中值濾波操作,但涉及用一核心之所有像素之平均值替換核心之中心像素。
在103,可訓練深度學習模組。可(例如)使用本文描述之一或多個技術來訓練深度學習模組。
在103訓練深度學習模組可如在圖1B中繪示般執行。在103訓練深度學習模組可包含訓練該深度學習模組以在104在一運行時間晶粒之一稍後運行時間影像中識別特性雜訊且接著在105修改一運行時間影像,使得特性雜訊降低。
修改訓練影像可產生一去除雜訊訓練影像。訓練深度學習模組以識別特性雜訊可包含比較訓練影像之一部分與去除雜訊訓練影像之一對應部分。
圖2A描繪一實施例方法200。方法200可使用一經訓練深度學習模組(例如,使用方法100訓練之深度學習模組)以使一運行時間影像去除雜訊。在201,可接收一運行時間影像。運行時間影像可藉由一光學計量工具之一影像感測器擷取且自該影像感測器接收。在202,可使運行時間影像去除雜訊。可使用在103訓練之深度學習模組執行去除雜訊。
在202使運行時間影像去除雜訊可如在圖2B中繪示般執行。在202使運行時間影像去除雜訊可包含在203使用經訓練深度學習模組識別運行時間影像中之特性雜訊及接著在204修改運行時間影像。因此,使用經訓練深度學習模組使運行時間影像去除雜訊,藉此產生一去除雜訊運行時間影像。
修改運行時間影像以降低特性雜訊,因此使運行時間影像去除雜訊可包含使用一編碼器層對運行時間影像進行縮減取樣以產生運行時間影像之一稀疏表示。接著,稀疏表示可使用一解碼器層擴增取樣以產生一去除雜訊運行時間影像。編碼器層可包含一廻旋層及/或一最大值集區層。解碼器層可包含一解迴旋層及/或一解最大值集區層。各種實施例中之深度學習模組可(例如)為一全連接自動編碼器、一簡單疊層去除雜訊自動編碼器或一廻旋神經網路。
訓練影像或運行時間影像或兩者可使用晶圓掃描帶技術,使用(例如)一電荷耦合裝置(CCD)感測器或時延及積分(TDI)感測器獲得。
圖3描繪使用一去除雜訊運行時間影像來識別且分類缺陷之方法300。在301,偵測一或多個缺陷。可自使用一光學計量工具獲得之一運行時間影像偵測缺陷。可使用一晶圓掃描帶技術來執行獲得運行時間影像。自此運行時間影像,缺陷可經識別且被視為用於分類為DOI或擾亂點之候選者。
在302,分類(即,分級)一或多個缺陷。具有一真實缺陷之屬性之缺陷可被分類為DOI,且不具有該等屬性之缺陷可被分類為擾亂點。
圖4描繪用作一深度學習模組之一簡單疊層去除雜訊自動編碼器(SSDA) 400之一實例,本文之一些實施例採用其之概念。在SSDA 400中,輸入影像部分x̃1
至x̃5
可透過一系列廻旋及/或最大值集區層(例如,層401及402)縮減取樣以達到藉由h1
’至h2
’給定之輸入之一稀疏表示,其中h1
至h3
表示層401與402之間的一中間表示。一旦獲得稀疏表示h1
’至h2
’,便可透過一系列解迴旋及/或解最大值集區層(例如,層403及404)擴增取樣獲得之數集以映射稀疏表示以清除/去除雜訊影像部分x1
至x5
,其中h1
’’至h2
’’表示層403與404之間的一中間表示。使用廻旋/最大值集區及解迴旋/解最大值集區層可有效地降低網路參數之數量,從而使得訓練深度學習模組更容易,同時亦避免網路與訓練集中之給定樣本之過度擬合。
在另一實施例中,一非暫時性電腦可讀儲存媒體包括用於在一或多個運算裝置上執行方法100、200或300之步驟之一或多個程式。組成非暫時性電腦可讀儲存媒體之一或多個程式可進一步包括用於執行本文揭示之方法100、200或300之額外實施例之步驟。
在另一實施例中,一系統可包括一光學計量工具。計量工具可包含安置於一樣本(例如,樣本502或604)上之一運行時間晶粒、一運行時間影像感測器(例如,偵測器512、509或607)及與該運行時間影像感測器電子通信之一處理器(例如,處理器514或608)。運行時間影像感測器可經組態以擷取運行時間晶粒之一運行時間影像。此運行時間影像可使用在處理器處訓練之深度學習模組去除雜訊。處理器可經組態以執行方法100、200及300之一些或全部步驟。
運行時間晶粒可組成一先進晶圓級封裝(aWLP)。晶圓級封裝(WLP)區段係用於其中在切割晶粒之前(即,在晶圓級自身)形成晶粒封裝之所有封裝程序之一涵蓋性術語。aWLP係指用於開發此等WLP之當前最新技術(包含製造小設計規則線-空間/通孔圖案)。
在圖5中展示一系統500之一項實施例。系統500包含基於光學之子系統501。一般言之,基於光學之子系統501經組態以藉由將電磁輻射(即,光)引導至(或掃描光遍及)一樣本502且偵測來自樣本502之光而產生樣本502之基於光學之輸出。在一項實施例中,樣本502包含一晶圓。晶圓可包含此項技術中已知之任何晶圓。在另一實施例中,樣本包含一倍縮光罩。倍縮光罩可包含此項技術中已知之任何倍縮光罩。
在圖5中展示之系統500之實施例中,基於光學之子系統501包含經組態以將光引導至樣本502之一照明子系統。照明子系統包含至少一個光源。舉例而言,如在圖5中展示,照明子系統包含光源503。在一項實施例中,照明子系統經組態以按一或多個入射角將光引導至樣本502,該一或多個入射角可包含一或多個傾斜角及/或一或多個法向角。舉例而言,如在圖5中展示,來自光源503之光按一傾斜入射角被引導穿過光學元件504,且接著穿過透鏡505至樣本502。傾斜入射角可包含任何適當傾斜入射角,其可取決於(例如)樣本502之特性而變化。
基於光學之子系統501可經組態以在不同時間按不同入射角將光引導至樣本502。舉例而言,基於光學之子系統501可經組態以更改照明子系統之一或多個元件之一或多個特性,使得光可按不同於在圖5中展示之入射角之一入射角被引導至樣本502。在一個此實例中,基於光學之子系統501可經組態以移動光源503、光學元件504及透鏡505,使得光按一不同傾斜入射角或一法向(或近法向)入射角被引導至樣本502。
在一些例項中,基於光學之子系統501可經組態以在相同時間按一個以上入射角將光引導至樣本502。舉例而言,照明子系統可包含一個以上照明通道,該等照明通道之一者可包含光源503、光學元件504及透鏡505 (如在圖5中展示)且照明通道之另一者(未展示)可包含類似元件(其等可經不同或相同地組態)或可包含至少一光源及可能一或多個其他組件,諸如本文中進一步描述之組件。若與其他光相同時將此光引導至樣本,則按不同入射角被引導至樣本502之光之一或多個特性(例如,波長、偏光等等)可為不同的,使得可在(若干)偵測器處將源自按不同入射角照明樣本502之光彼此區分。
在另一例項中,照明子系統可包含僅一個光源(例如,圖5中展示之光源503)且來自光源之光可藉由照明子系統之一或多個光學元件(未展示)分離為不同光學路徑(例如,基於波長、偏光等)。不同光學路徑之各者中之光可接著被引導至樣本502。多個照明通道可經組態以在相同時間或在不同時間將光引導至樣本502 (例如,當不同照明通道用於依序照明樣本時)。在另一例項中,相同照明通道可經組態以在不同時間將具有不同特性之光引導至樣本502。例如,在一些例項中,光學元件504可經組態為一光譜濾光器且光譜濾光器之性質可以各種不同方式(例如,藉由交換出光譜濾光器)改變,使得不同波長之光可在不同時間被引導至樣本502。照明子系統可具有此項技術中已知的用於將具有不同或相同特性之光按不同或相同入射角依序或同時引導至樣本502之任何其他合適組態。
在一項實施例中,光源503可包含一寬頻電漿(BBP)源。如此,藉由光源503產生且被引導至樣本502之光可包含寬頻光。然而,光源可包含任何其他適當之光源,諸如一雷射。雷射可包含此項技術中已知的任何適當雷射且可經組態以產生此項技術中已知的任何適當波長或若干波長之光。另外,雷射可經組態以產生單色或近單色之光。如此,雷射可係一窄頻雷射。光源503亦可包含產生多個離散波長或波帶之光之一多色光源。
來自光學元件504之光可藉由透鏡505聚焦至樣本502上。儘管透鏡505在圖5中被展示為一單一折射光學元件,但應理解,實際上,透鏡505可包含組合地將來自光學元件之光聚焦至樣本之數個折射及/或反射光學元件。在圖5中展示且在本文中描述之照明子系統可包含任何其他合適光學元件(未展示)。此等光學元件之實例包含但不限於(若干)偏光組件、(若干)光譜濾光器、(若干)空間濾光器、(若干)反射光學元件、(若干)變跡器、(若干)光束分離器(諸如光束分離器513)、(若干)孔隙及類似物,其等可包含技術中已知之任何此等適當光學元件。另外,基於光學之子系統501可經組態以基於待用於產生基於光學之輸出之照明類型更改照明子系統之元件之一或多者。
基於光學之子系統501亦可包含經組態以引起光掃描遍及樣本502之一掃描子系統。舉例而言,基於光學之子系統501可包含載台506,在基於光學之輸出產生期間將樣本502安置於該載台506上。掃描子系統可包含任何合適機械及/或機器人總成(其包含載台506),該機械及/或機器人總成可經組態以移動樣本502,使得光可掃描遍及樣本502。另外或替代性地,基於光學之子系統501可經組態使得基於光學之子系統501之一或多個光學元件執行光遍及樣本502之某種掃描。可以任何適當方式(諸如在一蛇形路徑中或在一螺旋路徑中)掃描光遍及樣本502。
基於光學之子系統501進一步包含一或多個偵測通道。一或多個偵測通道之至少一者包含一偵測器,該偵測器經組態以歸因於藉由子系統照明樣本502而偵測來自樣本502之光且回應於所偵測光產生輸出。舉例而言,在圖5中展示之基於光學之子系統501包含兩個偵測通道:一個偵測通道由集光器507、元件508及偵測器509形成且另一個偵測通道由集光器510、元件511及偵測器512形成。如在圖5中展示,兩個偵測通道經組態以按不同收集角收集及偵測光。在一些例項中,兩個偵測通道經組態以偵測散射光,且偵測通道經組態以偵測按不同角度自樣本502散射之光。然而,一或多個偵測通道可經組態以偵測來自樣本502之另一類型之光(例如,反射光)。
如在圖5中進一步展示,兩個偵測通道經展示為定位於紙平面中且照明子系統亦被展示為定位於紙平面中。因此,在此實施例中,兩個偵測通道定位(例如,居中)於入射平面中。然而,偵測通道之一或多者可定位於入射平面外。舉例而言,由集光器510、元件511及偵測器512形成之偵測通道可經組態以收集及偵測自入射平面散射出來之光。因此,此一偵測通道可被統稱為一「側」通道,且此一側通道可在實質上垂直於入射平面之一平面中居中。
儘管圖5展示包含兩個偵測通道之基於光學之子系統501之一實施例,但基於光學之子系統501可包含不同數目個偵測通道(例如,僅一個偵測通道或兩個或兩個以上偵測通道)。在一個此例項中,由集光器510、元件511及偵測器512形成之偵測通道可形成如上文描述之一個側通道,且基於光學之子系統501可包含經形成為定位於入射平面之相對側上之另一側通道之一額外偵測通道(未展示)。因此,基於光學之子系統501可包含偵測通道,該偵測通道包含集光器507、元件508及偵測器509且在入射平面中居中且經組態以收集及偵測依法向於或接近法向於樣本502表面之(若干)散射角之光。因此,此偵測通道可被統稱為一「頂部」通道,且基於光學之子系統501亦可包含如上文描述般組態之兩個或兩個以上側通道。因而,基於光學之子系統501可包含至少三個通道(即,一個頂部通道及兩個側通道),且至少三個通道之各者具有其自身之集光器,該集光器之各者經組態以收集依不同於其他集光器之各者之散射角之光。
如上文進一步描述,包含於基於光學之子系統501中之偵測通道之各者可經組態以偵測散射光。因此,在圖5中展示之基於光學之子系統501可經組態以用於樣本502之暗場(DF)輸出產生。然而,基於光學之子系統501亦可或替代性地包含經組態以用於樣本502之明場(BF)輸出產生之(若干)偵測通道。換言之,基於光學之子系統501可包含經組態以偵測自樣本502鏡面反射之光之至少一個偵測通道。因此,本文中描述之基於光學之子系統501可經組態以用於僅DF成像、僅BF成像或DF及BF成像兩者。儘管集光器之各者在圖5中被展示為單一折射式光學元件,但應理解,集光器之各者可包含一或多個折射式光學晶粒及/或一或多個反射式光學元件。
一或多個偵測通道可包含技術中已知之任何適當偵測器。例如,偵測器可包含光電倍增管(PMT)、電荷耦合裝置(CCD)、時延積分(TDI)相機及技術中已知之任何其他適當偵測器。偵測器亦可包含非成像偵測器或成像偵測器。如此,若偵測器係非成像偵測器,則偵測器之各者可經組態以偵測散射光之特定特性(諸如強度),但可非經組態以依據成像平面內之位置偵測此等特性。因而,藉由包含於基於光學之子系統之偵測通道之各者中之偵測器之各者產生之輸出可為信號或資料而非影像信號或影像資料。在此等例項中,一處理器(諸如處理器514)可經組態以自偵測器之非成像輸出產生樣本502之影像。然而,在其他例項中,偵測器可經組態為成像偵測器,該等成像偵測器經組態以產生成像信號或影像資料。因此,基於光學之子系統可經組態以按數種方式產生本文中描述之光學影像或其他基於光學之輸出。
應注意,在本文中提供圖5以大體上繪示可包含於本文中描述之系統實施例中或可產生藉由本文中描述之系統實施例使用之基於光學之輸出之一基於光學之子系統501之一組態。如通常在設計一商業輸出獲取系統時執行,本文中描述之基於光學之子系統501組態可經更改以最佳化基於光學之子系統501之效能。此外,可使用一現有系統(例如,藉由將本文中描述之功能性新增至一現有系統)實施本文中描述之系統。對於一些此等系統,本文中描述之方法可被提供為系統之可選功能性(例如,補充系統之其他功能性)。或者,本文中描述之系統可經設計為一全新系統。
處理器514可以任何適當方式(例如,經由一或多個傳輸媒體,其或其等可包含有線及/或無線傳輸媒體)耦合至系統500之組件,使得處理器514可接收輸出。處理器514可經組態以使用輸出來執行數個功能。系統500可自處理器514接收指令或其他資訊。處理器514及/或電子資料儲存單元515視情況可與一晶圓檢測工具、一晶圓計量工具或一晶圓檢視工具(未繪示)電子通信以接收額外資訊或發送指令。例如,處理器514及/或電子資料儲存單元515可與一SEM電子通信。
圖6係一系統600之一實施例之一方塊圖。系統600包含一晶圓檢測工具(其包含電子柱601),該晶圓檢測工具經組態以產生一晶圓604之影像。
晶圓檢測工具包含一輸出獲取子系統,該輸出獲取子系統包含至少一能量源及一偵測器。輸出獲取子系統可為一基於電子束之輸出獲取子系統。例如,在一項實施例中,經引導至晶圓604之能量包含電子,且自晶圓604偵測到之能量包含電子。如此,能量源可係一電子束源。在圖6中展示之一項此實施例中,輸出獲取子系統包含電子柱601,該電子柱601經耦合至電腦子系統602。一載台610可固持晶圓604。
如亦在圖6中展示,電子柱601包含一電子束源603,該電子束源603經組態以產生藉由一或多個元件605聚焦至晶圓604之電子。電子束源603可包含(例如)一陰極源或發射器尖端。一或多個元件605可包含(例如)一槍透鏡、一陽極、一束限制孔隙、一閘閥、一束電流選擇孔隙、一物鏡及一掃描子系統,其等全部可包含此項技術中已知的任何此等合適元件。
可藉由一或多個元件606將自晶圓604返回之電子(例如,二次電子)聚焦至偵測器607。一或多個元件606可包含(例如)一掃描子系統,該掃描子系統可為包含於(若干)元件605中之相同掃描子系統。
電子柱601亦可包含此項技術中已知的任何其他合適元件。
儘管電子柱601在圖6中被展示為經組態使得電子按一傾斜入射角被引導至晶圓604且以另一傾斜角自晶圓604散射,但電子束可以任何合適角度被引導至晶圓604及自晶圓604散射。另外,基於電子束之輸出獲取子系統可經組態以使用多個模式來產生晶圓604之影像(例如,使用不同照明角度、收集角度等等)。基於電子束之輸出獲取子系統之多個模式可在輸出獲取子系統之任何影像產生參數上不同。
電腦子系統602可如上文描述般耦合至偵測器607。偵測器607可偵測自晶圓604之表面返回之電子,藉此形成晶圓604之電子束影像。電子束影像可包含任何合適電子束影像。電腦子系統602可經組態以使用偵測器607之輸出及/或電子束影像執行在本文中描述之任一功能。電腦子系統602可經組態以執行本文中描述之(若干)任何額外步驟。包含圖6中展示之輸出獲取子系統之一系統600可如本文描述般進一步組態。
應注意,在本文中提供圖6以大體上繪示可用於本文中描述之實施例中之一基於電子束之輸出獲取子系統之一組態。如通常在設計一商業輸出獲取系統時執行,本文中描述之基於電子束之輸出獲取子系統組態可經更改以最佳化輸出獲取子系統之效能。此外,可使用一現有系統(例如,藉由將本文中描述之功能性新增至一現有系統)實施本文中描述之系統。對於一些此等系統,本文中描述之方法可被提供為系統之可選功能性(例如,補充系統之其他功能性)。或者,本文中描述之系統可經設計為一全新系統。
雖然輸出獲取子系統在上文被描述為係一基於電子束之輸出獲取子系統,但輸出獲取子系統可為一基於離子束之輸出獲取子系統。此一輸出獲取子系統可如在圖6中展示般組態,惟可使用此項技術中已知的任何合適離子束源取代電子束源除外。另外,輸出獲取子系統可為任何其他合適基於離子束之輸出獲取子系統,諸如包含於市售聚焦離子束(FIB)系統、氦離子顯微鏡(HIM)系統及二次離子質譜(SIMS)系統中之輸出獲取子系統。
電腦子系統602包含一處理器608及一電子資料儲存單元609。處理器608可包含一微處理器、一微控制器或其他裝置。
電腦子系統602可以任何適當方式(例如,經由一或多個傳輸媒體,其或其等可包含有線及/或無線傳輸媒體)耦合至系統600之組件,使得處理器608可接收輸出。處理器608可經組態以使用輸出來執行數個功能。晶圓檢測工具可自處理器608接收指令或其他資訊。處理器608及/或電子資料儲存單元609視情況可與另一晶圓檢測工具、一晶圓計量工具或一晶圓檢視工具(未繪示)電子通信以接收額外資訊或發送指令。
處理器608與晶圓檢測工具(諸如偵測器607)電子通信。處理器608可經組態以處理使用來自偵測器607之量測產生之影像。例如,處理器可執行方法100、200或300之實施例。
本文中描述之處理器514或608或電腦子系統602、(若干)其他系統或(若干)其他子系統可為各種系統之部分,包含一個人電腦系統、影像電腦、主機電腦系統、工作站、網路設備、網際網路設備或其他裝置。(若干)子系統或(若干)系統亦可包含此項技術中已知的任何合適處理器,諸如一並行處理器。另外,(若干)子系統或(若干)系統可包含作為一獨立或一網路工具之具有高速處理及軟體之一平台。
處理器514或608及電子資料儲存單元515或609可分別安置於系統500或600或另一裝置中或以其他方式作為系統500或600或另一裝置之部分。在一實例中,處理器514或608及電子資料儲存單元515或609分別可為一獨立控制單元之部分或在一集中式品質控制單元中。可使用多個處理器514或608或電子資料儲存單元515或609。
可藉由硬體、軟體及韌體之任何組合在實踐中實施處理器514或608。同樣地,如本文描述之處理器514或608之功能可藉由一個單元執行,或在不同組件間劃分,該等組件之各者可繼而藉由硬體、軟體及韌體之任何組合實施。處理器514或608實施各種方法及功能之程式碼或指令可儲存於可讀儲存媒體(諸如分別在電子資料儲存單元515或609中之一記憶體或其他記憶體)中。
若系統500或600分別包含超過一個處理器514或608,則不同子系統可經耦合至彼此,使得影像、資料、資訊、指令等可在子系統之間發送。例如,一個子系統可藉由任何適當傳輸媒體耦合至(若干)額外子系統,該等傳輸媒體可包含技術中已知之任何適當有線及/或無線傳輸媒體。此等子系統之兩者或兩者以上亦可藉由一共用電腦可讀儲存媒體(未展示)有效耦合。
處理器514或608可經組態以分別使用系統500或600之輸出或其他輸出來執行數個功能。例如,處理器514或608可經組態以分別發送輸出至一電子資料儲存單元515或609或另一儲存媒體。可如本文中描述般進一步組態處理器514或608。
若系統500或600包含超過一個子系統,則不同子系統可經耦合至彼此,使得影像、資料、資訊、指令等可在子系統之間發送。例如,一個子系統可藉由任何適當傳輸媒體耦合至(若干)額外子系統,該等傳輸媒體可包含技術中已知之任何適當有線及/或無線傳輸媒體。此等子系統之兩者或兩者以上亦可藉由一共用電腦可讀儲存媒體(未展示)有效耦合。
可根據本文中描述之實施例之任一者組態處理器514或608。處理器514或608亦可經組態以分別使用系統500或600之輸出或使用來自其他源之影像或資料執行其他功能或額外步驟。
處理器514或608或電腦子系統602可為一缺陷檢視系統、一檢測系統、一計量系統或一些其他類型之系統之部分。因此,本文揭示之實施例描述一些組態,其等可針對具有更適用於或較不適用於不同應用之不同能力之系統以數個方式客製化。
處理器514或608可分別以此項技術中已知的任一方式通信耦合至系統500或600之各種組件或子系統之任一者。再者,處理器514或608可經組態以藉由可包含有線及/或無線部分之一傳輸媒體接收及/或獲取來自其他系統之資料或資訊(例如,來自一檢測系統(諸如一檢視工具、包含設計資料之一遠端資料庫及類似物)之檢測結果)。如此,傳輸媒體可充當處理器514或608與分別地系統500或600之其他子系統或分別地系統500或600外部之系統之間的一資料鏈路。
本文揭示之系統500及方法之各種步驟、功能及/或操作可藉由以下項之一或多者執行:電路、邏輯閘、多工器、可程式化邏輯裝置、ASIC、類比或數位控制/開關、微控制器或運算系統。實施方法(諸如本文所描述之方法)之程式指令可經由載體媒體而傳輸或儲存於載體媒體上。載體媒體可包含一儲存媒體(諸如一唯讀記憶體)、一隨機存取記憶體、一磁碟或光碟、一非揮發性記憶體、一固態記憶體、一磁帶及類似物。一載體媒體可包含一傳輸媒體,諸如一電線、電纜、或無線傳輸鏈路。例如,可藉由一單一處理器514或608或者替代地,多個處理器514或608執行在本發明通篇描述之各種步驟。再者,系統500之不同子系統可包含一或多個運算或邏輯系統。因此,上文描述不應被解釋為對本發明之一限制而僅為一繪示。
在一例項中,處理器514或608分別與系統500或600通信。處理器514或608經組態以接收一訓練晶粒之一訓練影像(該訓練影像具有一特性雜訊)且修改訓練影像,使得特性雜訊降低。處理器514或608可經進一步組態以訓練一深度學習模組以識別一運行時間晶粒之一運行時間影像中之特性雜訊且修改運行時間影像以降低特性雜訊。處理器可經進一步組態以分別接收分別由一光學計量工具(系統500)或電子束計量工具(系統600)之一影像感測器(偵測器509)或偵測器607擷取之運行時間影像。處理器可經進一步組態以使用深度學習模組來識別運行時間影像中之特性雜訊,及修改該運行時間影像來降低特性雜訊,藉此產生一去除雜訊運行時間影像。
一額外實施例係關於一種非暫時性電腦可讀媒體,其儲存可在一處理器上執行之程式指令,以用於執行用於判定一樣本502之一表面上之一照明區之一高度之一電腦實施方式,如本文揭示。特定言之,如在圖5或圖6中展示,分別地電子資料儲存單元515或609或其他儲存媒體可含有包含分別地可在處理器514或608上執行之程式指令之非暫時性電腦可讀媒體。電腦實施方法可包含本文中描述之(若干)任何方法(包含方法100、200及300)之(若干)任何步驟。
實施方法(諸如本文描述之該等方法)之程式指令可儲存於電腦可讀媒體上,諸如在電子資料儲存單元515或609或其他儲存媒體中。電腦可讀媒體可為一儲存媒體,諸如一磁碟或光碟、一磁帶或此項技術中已知的任何其他合適非暫時性電腦可讀媒體。
可以各種方式之任一者實施程式指令,包含基於程序之技術、基於組件之技術及/或物件導向技術等等。例如,可視需要使用ActiveX控制項、C++物件、JavaBeans、微軟基礎類別(MFC)、串流SIMD延伸(SSE)或其他技術或方法實施程式指令。
藉由處理器執行之(若干)組件可包含一深度學習模組(例如,一廻旋神經網路(CNN)模組)。深度學習模組可具有本文進一步描述之組態之一者。以神經網路技術為基礎,深度學習係具有許多神經元層之一概率圖模型(統稱為一深度架構)。深度學習技術以一階層方式處理資訊(諸如影像、文字、語音等)。在本發明中使用深度學習時,使用學習資料自動完成特徵提取。例如,可基於一或多個經提取特徵使用深度學習模組來提取參考判定旋轉及平移偏移之特徵。
一般言之,深度學習(亦被稱為深度結構化學習、階層學習或深度機器學習)係基於嘗試模型化高階資料抽象之一組演算法之機器學習之一分支。在一簡單情況中,可存在兩組神經元:一組接收一輸入信號且一組發送一輸出信號。當輸入層接收一輸入時,其將輸入之一經修改版本傳遞至下一層。在一深度網路中,輸入與輸出之間可存在許多層,從而容許演算法使用多個處理層(由多個線性及非線性變換組成)。
深度學習係基於學習資料表示之機器學習方法之一更廣泛族類之部分。可以許多方式(諸如每像素強度值之一向量)或以一更抽象方式(作為一組邊緣、特定形狀區等等)表示一觀察(例如,待提取用於參考之一特徵)。一些表示在簡化學習任務方面比其他表示更佳(例如,面部辨識或面部表情辨識)。深度學習可為非監督或半監督式特徵學習及階層特徵提取提供有效演算法。
此領域中之研究嘗試形成更佳之表示且產生模型以自大規模資料學習此等表示。一些表示受神經科學中之進步激勵且鬆散地基於一神經系統中之資訊處理及通信型樣之解譯,諸如嘗試定義腦中之各種刺激與相關聯神經元回應之間的一關係之神經編碼。
取決於概率規格及網路架構存在具有深度架構之神經網路之許多變體,包含但不限於深度信念網路(DBN)、受限玻爾茲曼機(RBM)及自動編碼器。另一類型深度神經網路(一CNN)可用於特徵分析。實際實施方案可取決於輸入影像之大小、待分析特徵之數目及問題之性質而變化。除了本文揭示之神經網路外,其他層亦可被包含於深度學習模組中。
在一實施例中,深度學習模組係一機器學習模型。機器學習可大體上被定義為為電腦提供學習能力而無需明確程式化之一類型之人工智慧(AI)。機器學習致力於可教示自身在曝露至新資料時生長及改變之電腦程式之開發。機器學習探索可學習且預測資料之演算法之研究及建構。此等演算法透過自樣本輸入建構一模型藉由進行資料驅動預測或決策而克服下列嚴格靜態程式指令。
在一些實施例中,深度學習模組係一生成模型。一生成模型可大體上被定義為一本質上概率模型。換言之,一生成模型係執行正向模擬或基於規則之方法之模型。可基於一合適訓練資料集學習生成模型(其中可學習其參數)。在一項實施例中,深度學習模組經組態為一深度生成模型。例如,模型可經組態以具有一深度學習架構,其中模型可包含多個層,其等執行數個演算法或變換。
在另一實施例中,深度學習模組經組態為一神經網路。在一進一步實施例中,深度學習模組可係具有一組權重之一深度神經網路,該等權重根據已被饋送來訓練該深度神經網路之資料模型化世界。神經網路可大體上被定義為基於神經單元之一相對大集合之一運算方法,該神經單元之一相對大集合鬆散地模型化一生物腦使用藉由軸突連接之生物神經元之相對大叢集解決問題之方式。各神經單元與許多其他神經單元連接,且鏈結可強制執行或抑制其等對經連接神經單元之激發狀態之效應。此等系統自我學習且經訓練而非經明確程式化且在解決方案或特徵偵測難以在一傳統電腦程式中表達之領域中表現突出。
神經網路通常包括多個層,且信號路徑從前部橫越至後部。神經網路之目標係以與人腦相同之方式解決問題,不過若干神經網路更抽象得多。當代神經網路專案通常使用幾千至幾百萬個神經單元及幾百萬個連接工作。神經網路可具有此項技術中已知之任何適當架構及/或組態。
在一項實施例中,本文揭示之用於半導體檢測應用之深度學習模組經組態為一AlexNet。例如,一AlexNet包含數個廻旋層(例如,5個),接著係數個全連接層(例如,3個),其等組合地經組態且訓練以分析用於判定旋轉及平移偏移之特徵。在另一此實施例中,本文揭示之用於半導體檢測應用之深度學習模組經組態為一GoogleNet。例如,一GoogleNet可包含層(諸如廻旋、集區及全連接層),諸如經組態且訓練以分析用於判定旋轉及平移偏移之特徵之本文進一步描述之層。雖然GoogleNet架構可包含一相對大量層(尤其相較於本文描述之一些其他神經網路),但該等層之一些可並行操作,且彼此並行運作之層之群組被統稱為起始模組。其他層可循序操作。因此,GoogleNet與本文描述之其他神經網路之不同之處在於並非所有層經配置於一循序結構中。並行層可類似於Google之初始網路或其他結構。
在一進一步此實施例中,本文揭示之用於半導體檢測應用之深度學習模組經組態為一視覺幾何群組(VGG)網路。例如,VGG網路藉由增加廻旋層之數目同時固定架構之其他參數而產生。新增廻旋層以增加深度藉由在所有層中使用實質上小廻旋濾波器而變可能。類似於本文描述之其他神經網路,VGG網路經產生且訓練以分析用於判定旋轉及平移偏移之特徵。VGG網路亦包含廻旋層,接著係全連接層。
在一些此等實施例中,本文揭示之用於半導體檢測應用之深度學習模組經組態為一深度殘差網路。例如,類似於本文描述之一些其他網路,一深度殘差網路可包含廻旋層,接著係全連接層,其等組合地經組態且訓練以用於特徵性質提取。在一深度殘差網路中,層經組態以參考層輸入學習殘差功能,而非學習未引用功能。特定言之,替代期望各若干疊層層直接擬合一預期下層映射,明確容許此等層擬合一殘差映射,此藉由具有捷徑連接之前饋神經網路實現。捷徑連接係略過一或多個層之連接。一深度殘差網可藉由採取包含廻旋層之一普通神經網路結構且插入捷徑連接產生,其藉此採取普通神經網路且將其轉換為其殘差學習對應物。
在一進一步此實施例中,本文揭示之用於半導體檢測應用之深度學習模組包含經組態用於分析判定旋轉及偏移偏移之特徵之一或多個全連接層。一全連接層可大體上被定義為其中各節點連接至先前層中之各節點之一層。(若干)全連接層可基於藉由可如本文進一步描述般組態之(若干)廻旋層提取之特徵執行分類。(若干)全連接層經組態用於特徵選擇及分類。換言之,(若干)全連接層自一特徵圖選擇特徵且接著基於選定特徵分析(若干)輸入影像。選定特徵可包含特徵圖中之所有特徵(酌情)或特徵圖中之僅一些特徵。
在一些實施例中,藉由深度學習模組判定之資訊包含藉由深度學習模組提取之特徵性質。在一項此實施例中,深度學習模組包含一或多個廻旋層。(若干)廻旋層可具有技術中已知之任何合適組態。如此,深度學習模組(或深度學習模組之至少一部分)可經組態為一CNN。例如,深度學習模組可經組態為一CNN (其通常為廻旋及集區層之疊層)以提取局部特徵。本文描述之實施例可利用深度學習概念(諸如一CNN)以解決通常棘手的表示轉化問題。深度學習模組可具有技術中已知之任何CNN組態或架構。一或多個集區層亦可具有技術中已知之任何合適組態(例如,最大值集區層)且大體上經組態用於降低藉由一或多個廻旋層產生之特徵圖之維度同時保持最重要特徵。
一般言之,本文描述之深度學習模組係一經訓練深度學習模組。例如,深度學習模組可先前藉由一或多個其他系統及/或方法訓練。已產生且訓練深度學習模組且接著如本文描述般判定模組之功能性,其可接著用於執行深度學習模組之一或多個額外功能。
如上文陳述,雖然一CNN在本文中用於繪示一深度學習系統之架構,但本發明不限於一CNN。可在實施例中使用深度學習架構之其他變體。例如,可使用自動編碼器、DBN及RBM。亦可使用隨機森林。
訓練資料可經輸入至模組訓練(例如,CNN訓練),該模組訓練可以任何合適方式執行。例如,模組訓練可包含將訓練資料輸入至深度學習模組(例如,一CNN)及修改模組之一或多個參數直至模組之輸出與外部驗證資料相同(實質上相同)。模組訓練可產生一或多個經訓練模組,其或其等可接著被發送至模組選擇,使用驗證資料執行該模組選擇。藉由各一或多個經訓練模組針對輸入至一或多個經訓練模組之驗證資料產生之結果可與驗證資料比較以判定哪一模組係最佳模組。例如,產生最接近匹配驗證資料之結果之模組可被選定為最佳模組。測試資料可接著用於被選定模組(例如,最佳模組)之模組評估。可以任何合適方式執行模組評估。亦可將最佳模組發送至模組部署,其中最佳模組可被發送至半導體檢測工具以供使用(訓練後模式)。
實施例尤其具有大幅降低一缺陷檢測及/或檢視工具之一操作者之擁有成本及分類工作量的潛力。實施例藉由克服由晶粒引發雜訊(例如,歸因於銅粗糙度)呈現之挑戰而改良缺陷檢測、分類及檢視程序(包含針對aWLP產品或其他半導體製造產品)。實施例藉由更佳地避免擾亂點而減少總缺陷計數,藉此因缺陷檢視所花時間減少而增加有關處理量之效率。
本文揭示之各種實施例及實例中描述之方法之步驟足以執行本發明之方法。因此,在一實施例中,方法本質上由本文揭示之方法之步驟之一組合構成。在另一實施例中,方法由此等步驟構成。
儘管已關於一或多個特定實施例描述本發明,然將瞭解,可在不脫離本發明之範疇之情況下進行本發明之其他實施例。
100:方法
101:步驟
102:步驟
103:步驟
104:步驟
105:步驟
200:方法
201:步驟
202:步驟
203:步驟
204:步驟
300:方法
301:步驟
302:步驟
400:簡單疊層去除雜訊自動編碼器(SSDA)
401:層
402:層
403:層
404:層
500:系統
501:基於光學之子系統
502:樣本
503:光源
504:光學元件
505:透鏡
506:載台
507:集光器
508:元件
509:偵測器
510:集光器
511:元件
512:偵測器
513:光束分離器
514:處理器
515:電子資料儲存單元
600:系統
601:電子柱
602:電腦子系統
603:電子束源
604:晶圓
605:元件
606:元件
607:偵測器
608:處理器
609:電子資料儲存單元
610:載台
為更完全理解本發明之性質及目的,應參考結合附圖進行之以下實施方式,其中:
圖1A繪示用於訓練一深度學習模組之一實施例方法;
圖1B繪示用於一深度學習模組之一實施例操作;
圖2A繪示運行時間去除雜訊之一實施例方法;
圖2B繪示針對運行時間去除雜訊使用一深度學習模組;
圖3繪示缺陷偵測及檢視之一方法;
圖4繪示一實例簡單疊層去除雜訊自動編碼器;
圖5繪示一實施例光學系統及
圖6繪示一實施例電子束系統。
500:系統
501:基於光學之子系統
502:樣本
503:光源
504:光學元件
505:透鏡
506:載台
507:集光器
508:元件
509:偵測器
510:集光器
511:元件
512:偵測器
513:光束分離器
514:處理器
515:電子資料儲存單元
Claims (20)
- 一種方法,其包括使用一處理器: 接收藉由一計量工具之一影像感測器擷取之一運行時間晶粒之一運行時間影像;及 使用經訓練以識別該運行時間影像中之一特性雜訊且修改該運行時間影像以降低該特性雜訊之一深度學習模組: 識別該運行時間影像中之該特性雜訊,及 修改該運行時間影像以降低該特性雜訊,藉此產生一去除雜訊運行時間影像。
- 如請求項1之方法,其進一步包括使用該處理器: 接收一訓練晶粒之一訓練影像,該訓練影像具有該特性雜訊; 修改該訓練影像,使得該特性雜訊降低;及 訓練該深度學習模組以: 識別該運行時間影像中之該特性雜訊,及 修改該運行時間影像以降低該特性雜訊。
- 如請求項2之方法,其中: 修改該訓練影像產生一去除雜訊訓練影像,及 訓練該深度學習模組以識別該特性雜訊包含比較該訓練影像之一部分與該去除雜訊訓練影像之一對應部分。
- 如請求項2之方法,其中修改該訓練影像包括: 像素斑點選擇及平滑化; 膨脹; 侵蝕; 模糊; 模板複製; 洪水填滿; 中值濾波;或 低通濾波。
- 如請求項1之方法,其進一步包括使用該處理器來偵測該去除雜訊運行時間影像中之一缺陷。
- 如請求項5之方法,其進一步包括使用該處理器來將該缺陷分類為一受關注缺陷或一擾亂點。
- 如請求項1之方法,其中該深度學習模組係: 一全連接自動編碼器;或 一廻旋神經網路。
- 如請求項1之方法,其中修改該運行時間影像以降低該特性雜訊包含: 使用一編碼器層對該運行時間影像進行縮減取樣,藉此產生一稀疏表示;及 使用一解碼器層對該稀疏表示進行擴增取樣,藉此產生該去除雜訊運行時間影像。
- 如請求項8之方法,其中該編碼器層係一廻旋層或一最大值集區層,且該解碼器層係一解迴旋層或一解最大值集區層。
- 一種系統,其包括: 一計量工具,其包含: 一運行時間晶粒,其安置於一樣本上; 一運行時間影像感測器,其經組態以擷取該運行時間晶粒之一運行時間影像;及 一處理器,其與該運行時間影像感測器電子通信,該處理器經組態以: 自該運行時間影像感測器接收該運行時間影像;及 使用經訓練以識別該運行時間影像中之一特性雜訊且修改該運行時間影像以降低該特性雜訊之一深度學習模組: 識別該運行時間影像中之該特性雜訊,及 修改該運行時間影像以降低該特性雜訊且藉此產生一去除雜訊運行時間影像。
- 如請求項10之系統,其中該處理器經進一步組態以: 接收一訓練晶粒之一訓練影像,該訓練影像具有該特性雜訊; 修改該訓練影像,使得該特性雜訊降低;及 訓練該深度學習模組以: 識別該運行時間影像中之該特性雜訊,及 修改該運行時間影像以降低該特性雜訊。
- 如請求項10之系統,其中該處理器經進一步組態以偵測該去除雜訊運行時間影像中之一缺陷。
- 如請求項12之系統,其中該處理器經進一步組態以將該缺陷分類為一受關注缺陷或一擾亂點。
- 如請求項10之系統,其中該運行時間影像感測器係: 一電荷耦合裝置,或 一時延及積分感測器。
- 如請求項10之系統,其中該運行時間晶粒組成一先進晶圓級封裝。
- 如請求項10之系統,其中該運行時間影像感測器經組態以偵測自該樣本接收之光子或電子。
- 一種非暫時性電腦可讀儲存媒體,其包括用於在一或多個運算裝置上執行下列步驟之一或多個程式: 接收藉由一計量工具之一影像感測器擷取之一運行時間晶粒之一運行時間影像;及 使用經訓練以識別該運行時間影像中之一特性雜訊且修改該運行時間影像以降低該特性雜訊之一深度學習模組: 識別該運行時間影像中之該特性雜訊,及 修改該運行時間影像以降低該特性雜訊且藉此產生一去除雜訊運行時間影像。
- 如請求項17之非暫時性電腦可讀儲存媒體,其中該一或多個程式包含在一或多個運算裝置上執行下列步驟: 接收一訓練晶粒之一訓練影像,該訓練影像具有該特性雜訊; 修改該訓練影像,使得該特性雜訊降低;及 訓練該深度學習模組以: 識別該運行時間影像中之該特性雜訊,及 修改該運行時間影像以降低該特性雜訊。
- 如請求項17之非暫時性電腦可讀儲存媒體,其中該一或多個程式包含在該一或多個運算裝置上執行下列步驟: 偵測該去除雜訊運行時間影像中之一缺陷。
- 如請求項18之非暫時性電腦可讀儲存媒體,其中該一或多個程式包含在該一或多個運算裝置上執行下列步驟: 將該缺陷分類為一受關注缺陷或一擾亂點。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IN201941001278 | 2019-01-10 | ||
IN201941001278 | 2019-01-10 | ||
US201962808985P | 2019-02-22 | 2019-02-22 | |
US62/808,985 | 2019-02-22 | ||
US16/735,128 US11170475B2 (en) | 2019-01-10 | 2020-01-06 | Image noise reduction using stacked denoising auto-encoder |
US16/735,128 | 2020-01-06 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202041850A true TW202041850A (zh) | 2020-11-16 |
TWI826632B TWI826632B (zh) | 2023-12-21 |
Family
ID=71518048
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW109100779A TWI826632B (zh) | 2019-01-10 | 2020-01-09 | 用於半導體缺陷檢測及檢視之方法、系統及非暫時性電腦可讀儲存媒體 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11170475B2 (zh) |
EP (1) | EP3891491A4 (zh) |
KR (1) | KR102622720B1 (zh) |
CN (1) | CN113260852B (zh) |
TW (1) | TWI826632B (zh) |
WO (1) | WO2020146437A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11676260B2 (en) * | 2019-09-26 | 2023-06-13 | Kla Corporation | Variation-based segmentation for wafer defect detection |
US11682110B2 (en) * | 2019-09-27 | 2023-06-20 | Rensselaer Polytechnic Institute | Modularized adaptive processing neural network (MAP-NN) for low-dose CT |
US11256967B2 (en) * | 2020-01-27 | 2022-02-22 | Kla Corporation | Characterization system and method with guided defect discovery |
CN113240641B (zh) * | 2021-05-13 | 2023-06-16 | 大连海事大学 | 一种基于深度学习的集装箱破损实时检测方法 |
US20220383456A1 (en) * | 2021-05-31 | 2022-12-01 | Kla Corporation | Deep learning image denoising for semiconductor-based applications |
CN115546653B (zh) * | 2022-12-02 | 2023-04-07 | 耕宇牧星(北京)空间科技有限公司 | 一种基于深度加强网络的遥感图像去噪方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7508973B2 (en) * | 2003-03-28 | 2009-03-24 | Hitachi High-Technologies Corporation | Method of inspecting defects |
CN100375120C (zh) * | 2003-06-16 | 2008-03-12 | 英华达股份有限公司 | 藉由多张低解析度影像产生高解析度影像的方法 |
US8103087B2 (en) | 2006-01-20 | 2012-01-24 | Hitachi High-Technologies Corporation | Fault inspection method |
US8306348B2 (en) | 2007-04-24 | 2012-11-06 | DigitalOptics Corporation Europe Limited | Techniques for adjusting the effect of applying kernels to signals to achieve desired effect on signal |
US10242290B2 (en) * | 2012-11-09 | 2019-03-26 | Kla-Tencor Corporation | Method, system, and user interface for metrology target characterization |
US9401016B2 (en) * | 2014-05-12 | 2016-07-26 | Kla-Tencor Corp. | Using high resolution full die image data for inspection |
CN107924119B (zh) | 2015-08-12 | 2022-08-09 | Asml荷兰有限公司 | 检查设备、检查方法及制造方法 |
US10359371B2 (en) * | 2015-08-24 | 2019-07-23 | Kla-Tencor Corp. | Determining one or more characteristics of a pattern of interest on a specimen |
US10186026B2 (en) * | 2015-11-17 | 2019-01-22 | Kla-Tencor Corp. | Single image detection |
US9965901B2 (en) | 2015-11-19 | 2018-05-08 | KLA—Tencor Corp. | Generating simulated images from design information |
US10346740B2 (en) | 2016-06-01 | 2019-07-09 | Kla-Tencor Corp. | Systems and methods incorporating a neural network and a forward physical model for semiconductor applications |
US10147019B2 (en) * | 2017-03-20 | 2018-12-04 | Sap Se | Small object detection |
US10699926B2 (en) * | 2017-08-30 | 2020-06-30 | Kla-Tencor Corp. | Identifying nuisances and defects of interest in defects detected on a wafer |
-
2020
- 2020-01-06 US US16/735,128 patent/US11170475B2/en active Active
- 2020-01-08 WO PCT/US2020/012642 patent/WO2020146437A1/en unknown
- 2020-01-08 CN CN202080007765.1A patent/CN113260852B/zh active Active
- 2020-01-08 KR KR1020217025046A patent/KR102622720B1/ko active IP Right Grant
- 2020-01-08 EP EP20738970.1A patent/EP3891491A4/en active Pending
- 2020-01-09 TW TW109100779A patent/TWI826632B/zh active
Also Published As
Publication number | Publication date |
---|---|
TWI826632B (zh) | 2023-12-21 |
EP3891491A4 (en) | 2022-09-14 |
CN113260852B (zh) | 2022-11-11 |
WO2020146437A1 (en) | 2020-07-16 |
KR20210102474A (ko) | 2021-08-19 |
EP3891491A1 (en) | 2021-10-13 |
CN113260852A (zh) | 2021-08-13 |
US20200226722A1 (en) | 2020-07-16 |
US11170475B2 (en) | 2021-11-09 |
KR102622720B1 (ko) | 2024-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108291878B (zh) | 单一图像检测 | |
TWI826632B (zh) | 用於半導體缺陷檢測及檢視之方法、系統及非暫時性電腦可讀儲存媒體 | |
CN108475350B (zh) | 使用基于学习的模型加速半导体缺陷检测的方法和系统 | |
JP7170037B2 (ja) | 大オフセットダイ・ダイ検査用複数段階画像整列方法 | |
KR102650301B1 (ko) | 장애물 필터링을 위한 심층 학습 네트워크 | |
TWI809094B (zh) | 用於損害篩選之跨層共同-獨特分析 | |
KR20230048110A (ko) | 딥 러닝 기반 결함 검출 | |
TW202208841A (zh) | 利用深度學習方法之缺陷尺寸量測 | |
TWI754764B (zh) | 由低解析度影像產生高解析度影像以用於半導體應用 | |
TWI844784B (zh) | 偵測缺陷之系統、非暫時性電腦可讀媒體、及偵測缺陷之電腦實施方法 |