TWI763451B - 利用自動地選擇演算法模組來檢驗樣本的系統、方法、和非暫時性電腦可讀媒體 - Google Patents

利用自動地選擇演算法模組來檢驗樣本的系統、方法、和非暫時性電腦可讀媒體 Download PDF

Info

Publication number
TWI763451B
TWI763451B TW110114340A TW110114340A TWI763451B TW I763451 B TWI763451 B TW I763451B TW 110114340 A TW110114340 A TW 110114340A TW 110114340 A TW110114340 A TW 110114340A TW I763451 B TWI763451 B TW I763451B
Authority
TW
Taiwan
Prior art keywords
algorithm
module
algorithm module
image
score
Prior art date
Application number
TW110114340A
Other languages
English (en)
Other versions
TW202147249A (zh
Inventor
拉恩 斯柯勒言
艾爾 札凱
寶茲 扣漢
Original Assignee
以色列商應用材料以色列公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 以色列商應用材料以色列公司 filed Critical 以色列商應用材料以色列公司
Publication of TW202147249A publication Critical patent/TW202147249A/zh
Application granted granted Critical
Publication of TWI763451B publication Critical patent/TWI763451B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501—Semiconductor wafers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30148—Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Testing Or Measuring Of Semiconductors Or The Like (AREA)

Abstract

提供了一種系統，所述系統包括處理器，所述處理器被配置為：獲得半導體樣本的圖像集；(1)針對所述圖像集中的圖像，從複數個演算法模組中選擇至少一個演算法模組MS；(2)將所述圖像饋送到MS以獲得代表在所述圖像中的一個或多個缺陷的資料DMS；(3)獲得有關資料DMS的正確性的監督回饋；(4)針對下一圖像重複(1)至(3)，直到滿足了完成標準為止，其中在(1)處選擇的演算法模組對於針對所述圖像集中的至少兩個不同圖像來說是不同的；基於所述監督回饋而針對複數個所述演算法模組中的每一者生成分數；並使用分數以識別一個或多個演算法模組M最佳作為最適應的演算法模組來提供代表在所述圖像集中的一個或多個缺陷的資料。

Description

利用自動地選擇演算法模組來檢驗樣本的系統、方法、和非 暫時性電腦可讀媒體
本公開的主題總體涉及樣本檢驗領域，並且更具體地，涉及使樣本檢驗自動化。
當前對與所製造的元件的超大規模集成相關聯的高密度和高效能的需求要求亞微米特徵、增加的電晶體和電路速度以及提高的可靠性。這種需求要求形成具有高精確度和高均勻性的元件特徵，這又進而必需仔細地監視製造過程，包括在元件仍為半導體晶圓的形式時自動地檢驗元件。
在半導體製造期間的各種步驟處使用了檢驗過程，以偵測在樣本上的缺陷並將其分類。可藉由使過程自動化(例如，自動化缺陷分類(ADC)、自動化缺陷查驗(ADR)等)來提高檢驗的效果。
根據當前公開的主題的某些態樣，提供了一種檢驗半導體樣本的系統，所述系統包括處理器和記憶體電路(PMC)，所述處理器和記憶體電路(PMC)被配置為：獲得 一個或多個半導體樣本的圖像集；在獲得多個演算法模組後，其中每個演算法模組被配置為基於半導體樣本的圖像而提供代表在所述圖像中的一個或多個缺陷的資料：(1)針對所述圖像集中的圖像，從所述多個演算法模組中選擇至少一個演算法模組MS，(2)將所述圖像饋送到所述至少一個演算法模組MS以獲得代表在所述圖像中的一個或多個缺陷的資料DMS，(3)獲得有關由所述演算法模組MS提供的資料DMS的正確性的監督回饋，(4)針對所述圖像集中的下一圖像重複(1)至(3)，直到滿足了完成標準為止，其中在(1)處選擇的演算法模組對於所述圖像集中的至少兩個不同圖像來說是不同的，其中所述系統被配置為：至少基於所述監督回饋而針對多個所述演算法模組中的每一者生成分數；並且使用與所述演算法模組相關聯的分數以識別一個或多個演算法模組M最佳作為在所述多個演算法模組中最適應的演算法模組來提供代表在所述圖像集中的一個或多個缺陷的資料。
根據一些實施方式，從所述多個演算法模組中選擇所述至少一個演算法模組MS由被訓練來選擇所述至少一個演算法模組MS的選擇模組提供。
根據一些實施方式，針對演算法模組生成的所述分數代表已經針對此演算法模組獲得正回饋的次數與已經在(1)處選擇此演算法模組的次數之間的比率。
根據一些實施方式，在(3)處獲得的所述監督回饋影響所述選擇模組在(1)處對所述至少一個演算法模組MS的後續選擇。
根據一些實施方式，所述系統被配置為在(3)處針對所述演算法模組MS生成分數，所述分數代表所述演算法模組MS適於提供代表在所述圖像集中的一個或多個缺陷的資料的概率，其中所述分數至少取決於所述監督回饋。
根據一些實施方式，所述系統被配置為至少基於與所述演算法模組MS相關聯且至少基於先前在(3)處獲得的監督回饋而生成的分數來在(1)處選擇所述演算法模組MS。
根據一些實施方式，如果所述監督回饋在(3)處驗證了DMS，則與MS相關聯的所述分數相對於先前與MS相關聯的分數而增大；如果所述監督回饋在(3)處拒絕了DMS，則與MS相關聯的所述分數相對於先前與MS相關聯的分數而減小；所述至少一個演算法模組M最佳與在所述多個演算法模組中為最高者的分數相關聯。
根據一些實施方式，所述系統被配置為基於以下項而針對每個演算法模組生成分數：由被訓練來選擇所述至少一個演算法模組MS的選擇模組提供的第一概率；和至少基於所述監督回饋而生成的第二概率。
根據當前公開的主題的其他態樣，提供了一種檢驗半導體樣本的方法，所述方法包括藉由處理器和記憶體電路(PMC)進行以下操作：獲得一個或多個半導體樣本的 圖像集；在獲得多個演算法模組後，其中每個演算法模組被配置為基於半導體樣本的圖像而提供代表在所述圖像中的一個或多個缺陷的資料，(1)針對所述圖像集中的圖像，從所述多個演算法模組中選擇至少一個演算法模組MS，(2)將所述圖像饋送到所述至少一個演算法模組MS以獲得代表在所述圖像中的一個或多個缺陷的資料DMS，(3)獲得有關由所述演算法模組MS提供的資料DMS的正確性的監督回饋，(4)針對所述圖像集中的下一圖像重複(1)至(3)，直到滿足了完成標準為止，其中在(1)處選擇的演算法模組對於所述圖像集中的至少兩個不同圖像來說是不同的；至少基於所述監督回饋而針對多個所述演算法模組中的每一者生成分數；使用與所述演算法模組相關聯的分數以識別一個或多個演算法模組M最佳作為在所述多個演算法模組中最適應的演算法模組來提供代表在所述圖像集中的一個或多個缺陷的資料。
根據一些實施方式，從所述多個演算法模組中選擇所述至少一個演算法模組MS由被訓練來選擇所述至少一個演算法模組MS的選擇模組提供。
根據一些實施方式，針對演算法模組生成的所述分數代表已經針對此演算法模組獲得正回饋的次數與已經在(1)處選擇此演算法模組的次數之間的比率。
根據一些實施方式，在(3)處獲得的所述監督回饋影響所述選擇模組在(1)處對所述至少一個演算法模組MS的後續選擇。
根據一些實施方式，所述方法包括在(3)處針對所述演算法模組MS生成分數，所述分數代表所述演算法模組MS適於提供代表在所述圖像集中的一個或多個缺陷的資料的概率，其中所述分數至少取決於所述監督回饋。
根據一些實施方式，所述方法包括至少基於與所述演算法模組MS相關聯且至少基於先前在(3)處獲得的監督回饋而生成的分數來在(1)處選擇所述演算法模組MS。
根據一些實施方式，如果所述監督回饋在(3)處驗證了DMS，則與Ms相關聯的所述分數相對於先前與MS相關聯的分數而增大；如果所述監督回饋在(3)處拒絕了DMS，則與MS相關聯的所述分數相對於先前與MS相關聯的分數而減小；所述至少一個演算法模組M最佳與在所述多個演算法模組中為最高者的分數相關聯。
根據一些實施方式，所述方法包括基於以下項而針對每個演算法模組生成分數：由被訓練來選擇所述至少一個演算法模組MS的選擇模組提供的第一概率，和至少基於所述監督回饋而生成的第二概率。
一種非暫時性電腦可讀媒體包括指令，所述指令在由處理器和記憶體電路(PMC)執行時使所述PMC執行如上所述的操作。
根據一些實施方式，所提出的解決方案提供了在多個演算法模組(每個演算法模組包括代表模型的指令)中自動地選擇最適應的演算法模組來提供代表在樣本的給定圖像集上的缺陷的資料。
因此，根據一些實施方式，代表在給定圖像集中的缺陷的資料的決定更準確且更高效。
根據一些實施方式，提供了一種穩健的解決方案。
根據一些實施方式，向操作員提供輔助以用減少的時間來對圖像進行注釋，同時確保要注釋的圖像的多樣性和相關性。
根據一些實施方式，優化操作員的幹預位凖(由所述操作員進行的注釋)。
根據一些實施方式，所提出的解決方案允許改進演算法模組組(每個演算法模組包括代表模型的指令)。
根據一些實施方式，所提出的解決方案允許對代表較大圖像集的縮減數量的圖像進行操作，從而節省計算時間。
根據一些實施方式，所提出的解決方案允許減少必須從其中選擇推薦演算法模組的候選演算法模組的數量，從而節省計算時間和存儲要求。
根據一些實施方式，所提出的解決方案可用於各種任務，諸如缺陷識別、缺陷分割、缺陷分類等。
100:檢驗系統
101:低解析度檢驗工具
102:高解析度檢驗工具
103:系統
104:PMC
105:基於硬體的輸入介面
106:基於硬體的輸出介面
107:存儲系統
108:GUI
109:資料存儲庫
110:伺服器
112:演算法模組
121:低解析度圖像資料
122:高解析度圖像資料
123:指令相關資料
124:指令相關資料
200:操作
210:操作
220:操作
230:操作
240:操作
250:操作
260:操作
270:操作
280:操作
281:操作
282:操作
283:操作
284:操作
285:操作
290:操作
300:橢圓形
310:操作
320:操作
330:操作
340:操作
400:操作
410:操作
420:操作
430:操作
440:操作
450:操作
460:操作
470:操作
480:操作
500:操作
510:操作
520:操作
530:操作
540:操作
550:操作
560:操作
570:操作
580:操作
600:操作
610:操作
620:操作
630:操作
640:操作
700:操作
710:操作
720:操作
730:操作
740:操作
750:操作
760:操作
800:操作
810:操作
815:操作
820:操作
830:操作
840:操作
850:操作
860:操作
870:操作
880:操作
885:操作
890:操作
為了理解本發明並瞭解本發明可如何在實踐中實行，將參考附圖僅藉由非限制性示例來描述實施方式，在附圖中：圖1示出了根據當前公開的主題的某些實施方式的檢驗系統的概括框圖； 圖2示出了在多個演算法模組中選擇至少一個演算法模組的方法，所述演算法模組被識別為最適於提供代表在圖像集中的一個或多個缺陷的資料的演算法模組。
圖2A示出了基於多個圖像訓練集而構建多個演算法模組的方法。
圖2B示出了選擇代表圖像集的圖像子集的方法。
圖3示出了由人提供的關於所選擇的演算法模組的輸出的監督回饋(注釋)的非限制性示例。
圖4示出了圖2的方法的可能的實施方式。
圖5示出了依賴於選擇模組的圖2的方法的另一種可能的實施方式。
圖6示出了訓練在圖5的方法中使用的選擇模組的方法。
圖7示出了訓練在圖5的方法中使用的選擇模組的另一種方法。
圖8示出了依賴於圖4的方法和圖5的方法的圖2的方法的另一種可能的實施方式。
在以下詳細描述中，闡述了許多具體細節，以便提供對本公開內容的透徹理解。然而，本領域的技術人員將理解，當前公開的主題可在沒有這些具體細節的情況下進行實踐。在其他情況下，並未詳細地描述所熟知的方法、過程、部件和電路，以免模糊當前公開的主題。
除非具體地陳述，否則如從以下討論中清楚，將瞭解，貫穿本說明書討論，利用術語諸如「獲得」、「提供」、「選擇」、「饋送」、「輸出」、「增加」、「減少」、「分配」、「更新」等是指處理器的操縱資料和/或將資料變換為其他資料的動作和/或處理，所述資料被表示為物理(諸如電子)量和/或所述資料代表物理物件。術語「處理器」涵蓋具有可基於存儲在諸如電腦、伺服器、晶圓、硬體處理器等的記憶體中的指令而執行任務的資料處理電路的任何計算單元或電子單元。它涵蓋了可位於同一地理區中或可至少部分地位於不同區中並能夠一起通信的單個處理器或多個處理器。
本文中使用的術語「非暫時性記憶體」和「非暫時性介質」應廣義地解釋為涵蓋適合當前公開的主題的任何易失性或非易失性電腦記憶體。
本說明書中使用的術語「樣本」應廣泛地解釋為涵蓋用來製造半導體積體電路、磁頭、平板顯示器和其他半導體製造的製品的任何種類的晶圓、掩模和其他結構、以上項的組合和/或以上項的部分。
本說明書中使用的術語「檢驗」應廣義地解釋為涵蓋任何種類的計量相關操作以及與在樣本的製造期間所述樣本中的缺陷的偵測和/或分類有關的操作。檢驗藉由在要檢驗的樣本的製造期間或之後使用例如無損檢驗工具提供。作為非限制性示例，檢驗過程可包括使用相同或不同檢查工具進行運行時掃描(以單次掃描或以多次掃描)、取 樣、查驗、測量、分類和/或關於樣本或其部分提供的其他操作。同樣地，可在要檢驗的樣本的製造之前提供檢驗及檢驗可包括例如生成(多個)檢驗方案和/或其他設置操作。要注意，除非具體地陳述，否則本說明書中使用的術語「檢驗」或其衍生詞在檢查區域的解析度或大小方面不受限制。作為非限制性示例，多種無損檢驗工具包括掃描電子顯微鏡、原子力顯微鏡、光學檢查工具等。
作為非限制性示例，運行時檢驗可採用兩階段過程，例如，先是檢查樣本，接著查驗潛在缺陷的取樣位置。在第一階段期間，以高速度和相對低的解析度檢查樣本的表面。在第一階段中，產生缺陷圖，以示出在樣本上高概率有缺陷的可疑位置。在第二階段期間，以相對高的解析度更徹底地分析所述可疑位置中的至少一些。在一些情況下，兩個階段可由同一檢查工具實施，並且在一些其他情況下，這兩個階段由不同檢查工具實施。
本說明書中使用的術語「缺陷」應廣義地解釋為涵蓋在樣本上或樣本內形成的任何種類的異常或不期望的特徵。
沒有參考任何特定程式設計語言來描述當前公開的主題的實施方式。將瞭解，可使用多種程式設計語言來實施如本文所描述的當前公開的主題的教導。
本發明設想了可由電腦讀取來執行本發明的一種或多種方法的電腦程式。本發明進一步設想了有形地體現 可由電腦執行以執行本發明的一種或多種方法的指令程式的機器可讀記憶體。
考慮到這一點，注意圖1，其示出了根據當前公開的主題的某些實施方式的檢驗系統的功能框圖。圖1中示出的檢驗系統100可用於作為樣本製造過程的一部分的樣本(例如，半導體樣本，諸如晶圓和/或其部分)檢驗。所示出的檢驗系統100包括基於電腦的系統103，所述基於電腦的系統103能夠使用一個或多個樣本的圖像來自動地決定計量相關和/或缺陷相關資訊。系統103可操作地連接到一個或多個低解析度檢驗工具101和/或一個或多個高解析度檢驗工具102和/或其他檢驗工具。檢驗工具被配置為捕獲樣本的圖像和/或查驗(多個)所捕獲的圖像和/或實現或提供與(多個)所捕獲的圖像有關的測量。系統103可進一步可操作地連接到CAD(電腦輔助設計)伺服器110和/或資料存儲庫109。
系統103包括處理器和記憶體電路(PMC)104。PMC 104被配置為提供作業系統103所必需的處理，如在下述各種實施方式中進一步描述的，並且包括處理器(未單獨地示出)和記憶體(未單獨地示出)。在圖1中，PMC 104可操作地連接到基於硬體的輸入介面105和基於硬體的輸出介面106。
PMC 104的處理器可被配置為根據在PMC中包括的非暫時性電腦可讀記憶體上實施的電腦可讀指令來執行若干功能模組。此類功能模組在下文被稱為包括在PMC 中。PMC 104中包括的功能模組包括至少一個演算法模組112(或多個演算法模組112)。根據一些實施方式，演算法模組112包括存儲在非暫時性記憶體中的指令清單，所述指令使得當由PMC(諸如PMC 104)執行時，致使PMC基於半導體樣本的被接收作為輸入的圖像而提供應用相關資料(諸如代表在圖像中一個或多個缺陷的資料)。代表一個或多個缺陷的資料的示例包括例如一個或多個缺陷的位置、一個或多個缺陷的類別等。指令對模型的操作進行編碼，諸如機器學習演算法，和/或電腦視覺指令序列(例如，邊緣偵測等)，和/或影像處理指令，和/或深度神經網路，或者其他適應模型。這不是限制性的，並且在一些實施方式中，演算法模組是使用被配置為執行模型的操作(無需存儲指令)的硬體部件(例如，FPGA)實現的。
如上文所提及，在一些實施方式中，演算法模組112可包括深度神經網路(DNN)，其包括根據相應DNN架構被組織的層。作為非限制性示例，可根據卷積神經網路(CNN)架構、迴圈神經網路架構、遞迴神經網路架構、生成性對抗網路(GAN)或其他架構來組織DNN的層。任選地，層中的至少一些可被組織在多個DNN子網中。ML網路的每個層可包括多個基本計算元素(CE)，在本領域中，將其典型地稱為維度、神經元或節點。
一般來講，給定層的計算元素可與前一層和/或後一層的CE連接。在前一層的CE與後一層的CE之間的每個連接與加權值相關聯。給定CE可經由相應連接從前一層的 CE接收輸入，每個給定連接與可應用於給定連接的輸入的加權值相關聯。加權值可決定連接的相對強度並由此決定相應輸入對給定CE的輸出的相對影響。給定CE可被配置為計算啟動值(例如，輸入的加權和)並藉由將啟動函數應用於所計算的啟動來進一步匯出輸出。啟動函數可為例如身份函數、決定性函數(例如，線性、S形、閾值等)、隨機函數或其他合適的函數。來自給定CE的輸出可藉由相應連接傳輸到後一層的CE。同樣地，如上所述，在CE的輸出處的每個連接可與可在被接收作為後一層的CE的輸入之前被應用於CE的輸出的加權值相關聯。除加權值外，還可存在與連接和CE相關聯的閾值(包括限制函數)。
可在訓練之前首先選擇DNN 112的加權值和/或閾值，並且可在訓練期間進一步反覆運算地調整或修改所述加權值和/或閾值，以在所訓練的ML網路中實現最佳加權值和/或閾值集。在每次反覆運算之後，可決定在由ML網路產生的實際輸出和與相應資料訓練集相關聯的目標輸出之間的差異(也稱損失函數)。所述差異可稱為誤差值。當指示誤差值的成本或損失函數小於預定的值時，或者當實現在反覆運算之間的效能的有限改變時，可決定訓練已經完成。任選地，在訓練整個ML網路之前，可單獨地進行訓練ML子網(如果有的話)中的至少一些。
下文將用來調整深度神經網路的權重/閾值的ML網路輸入資料集稱為訓練集。
系統103被配置為藉由輸入介面105接收輸入資料，所述輸入資料可包括由檢驗工具產生的資料(和/或其衍生物和/或與其相關聯的中繼資料)和/或產生和/或存儲在一個或多個資料存儲庫109和/或CAD伺服器110和/或其他相關資料存儲庫中的資料。要注意，輸入資料可包括圖像(例如，所捕獲的圖像、從所捕獲的圖像匯出的圖像、類比圖像、合成圖像等)和相關聯的標量資料(例如，中繼資料、手工製作的屬性等)。要進一步注意，圖像資料可包括與感興趣層和/或與樣本的一個或多個其他層有關的資料。
在處理輸入資料(例如，低解析度圖像資料和/或高解析度圖像資料，任選地連同其他資料，例如設計資料、合成資料等)後，系統103可藉由輸出介面106將結果(例如，指令相關資料123和/或124)發送到(多個)檢驗工具中的任一者，將結果(例如，缺陷屬性、缺陷分類等)存儲在存儲系統107中，藉由GUI 108呈現結果，和/或將結果發送到外部系統(例如，發送到FAB的產量管理系統(YMS))。GUI 108可進一步被配置為實現與系統103有關的使用者指定的輸入。
作為非限制性示例，可藉由一個或多個低解析度檢驗機器101(例如，光學檢查系統、低解析度SEM等)來檢驗樣本。提供樣本的低解析度圖像的資訊的結果資料(低解析度圖像資料121)資訊可直接地或藉由一個或多個中間系統傳輸到系統103。替代地或另外地，可藉由高解析 度機器102檢驗樣本(例如，可藉由掃描電子顯微鏡(SEM)或原子力顯微鏡(AFM)查驗被選擇用於進行查驗的潛在缺陷位置子集)。表示樣本的高解析度圖像的資訊的結果資料(高解析度圖像資料122)可直接地或藉由一個或多個中間系統傳輸到系統103。
要注意，圖像資料可以和與其相關聯的中繼資料(例如，圖元大小、缺陷類型的文本描述、圖像捕獲過程的參數等)被接收和處理。
本領域的技術人員將容易地理解，當前公開的主題的教導不受圖1中示出的系統束縛；等同和/或修改的功能可以以另一種方式合併或劃分並可以軟體與固件和/或硬體的任何適當的組合實施。
在不以任何方式限制本公開內容的範圍的情況下，還應注意，檢驗工具可被實施為各種類型的檢查機器，諸如光學成像機器、電子束檢查機器等。在一些情況下，同一檢驗工具可提供低解析度圖像資料和高解析度圖像資料。在一些情況下，至少一個檢驗工具可具有計量能力。
要注意，圖1中示出的檢驗系統可在分散式運算環境中實施，其中圖1中示出的前述功能模組可跨若干本端和/或遠端裝置分佈，並且可藉由通信網路來進行連結。要進一步注意，在其他實施方式中，檢驗工具101和/或102、資料存儲庫109、存儲系統107和/或GUI 108中的至少一些可在檢驗系統100外部並藉由輸入介面105和輸出介面106與系統103進行資料通信地進行操作。系統103可實施 為(多個)獨立電腦，以結合檢驗工具進行使用。替代地，所述系統的相應功能可至少部分地與一個或多個檢驗工具集成。
現在注意圖2。一種方法包括獲得(200)一個或多個半導體樣本的圖像集。所述方法包括獲得(210)多個演算法模組M1至MN。已經預先提供了演算法模組的各種示例(例如，參見圖1中的附圖標記112，其為演算法模組的示例)。
演算法模組的構建可依賴於各種方法。根據一些實施方式，演算法模組可包括機器學習演算法/深度神經網路，所述機器學習演算法/深度神經網路已經預先被訓練為基於半導體樣本的圖像訓練集而執行任務(例如，缺陷偵測、缺陷分類、缺陷分割、缺陷分級等)。然而，這不是限制性的。
圖2A描述了基於半導體樣本的一個或多個圖像訓練集而構建多個演算法模組的方法的非限制性示例。假設意圖基於K個不同圖像訓練集(其中K
Figure 110114340-A0305-02-0017-6
N最大)而構建N最大個不同演算法模組(其中N最大為例如由操作員提供的數位)。所述方法可包括(281)運行所有K個不同訓練集通過所有N最大個不同演算法模組中。在第一反覆運算處，演算法模組未優化並包括例如其模型的權重的隨機值。每個模型可包括例如需要進行訓練的機器學習演算法，或者可包括包含要調諧的參數的(多個)電腦視覺塊和/或(多個)影像處理塊。如上文所提及，這不是限制性的，並且可使用 其他模型。每個演算法模組針對訓練集的每個圖像提供代表缺陷的資料。將每個訓練集分配(282)到已經針對所述訓練集提供最佳輸出的演算法模組(這可藉由計算在例如由操作員的標籤提供的預計輸出與由演算法模組提供的真實輸出之間的損失函數來決定)。如果沒有為演算法模組分配訓練集，則可將其刪除，或者可將其隨機地分配給不太成功的訓練集中的一者或多者。
然後，基於分配給每個演算法模組的訓練集而對所述每個演算法模組進行訓練。演算法模組的訓練取決於其存儲的模型的性質。例如，如果模型包括深度神經網路，則訓練可包括例如計算損失函數並執行反向傳播。一旦已經訓練每個演算法模組，所述方法可包括運行(284)所有訓練集通過所有不同訓練演算法模組。如果在最後一次反覆運算處，由每個訓練集已經被分配到的演算法模組提供最佳輸出，則所述方法結束，並且可輸出所訓練的演算法模組(操作285)。如果發生改變，則所述方法可包括重複操作282、283和284。
返回到圖2的方法，所述方法的目的是在多個演算法模組中識別最適於提供代表在圖像集中的缺陷的資料的一個或多個演算法模組。在200處獲得的圖像集(必須針對其選擇相關演算法模組)大體與已經用於訓練不同演算法模組的圖像訓練集(在281處獲得)不同。因此，由於尚未基於此圖像集來具體地對演算法模組進行訓練，需要識別 哪個(哪些)演算法模組最適於這個圖像集，並且有可能需要重新訓練一個或多個演算法模組，如下文所解釋。
根據一些實施方式，並且如圖2B所示，可將圖像集縮減(操作290)為縮減的圖像集，其上應用圖2的方法。
可選擇縮減的圖像集以包括最代表所述圖像集的圖像。例如，在圖2的方法中始終使用類似圖像並不是最佳的。對縮減的圖像集的隨機選擇可能會提供次優結果。例如，如果圖像集中的1000個圖像包括第一類缺陷的950個圖像和第二類缺陷的50個圖像，則針對縮減的圖像集對100個圖像的隨機選擇將包括第一類缺陷的95個圖像和第二類缺陷的5個圖像，對於在圖2的方法中的對演算法模組的最佳選擇來說，這產生的第二類缺陷數量太少。將這個問題稱為不平衡資料集。
如下文所解釋，將縮減的圖像集的圖像饋送到一個或多個演算法模組，所述一個或多個演算法模組提供代表在這些圖像中的缺陷的資料，並且例如由人提供對由演算法模組提供的輸出資料的監督回饋(例如，注釋)。根據一些實施方式，以優化所得的帶注釋的資料集的多樣性和穩健性的形式(即，藉由從每種類型的圖像獲得足夠數量的圖像)來選擇縮減的圖像集的圖像。
因此，操作290可包括在圖像集中選擇有限數量的圖像(其將構成縮減的圖像集)，所述有限數量的圖像儘最大可能地代表所述圖像集的域和/或種類。這個選擇可基 於圖像資料(圖元值等)，並且在一些實施方式中，還基於與圖像相關聯的任何中繼資料。
分類演算法(諸如K-均值聚類、LDA(線性判別分析)、瑪律可夫、隨機欄位、貝葉斯資訊標準(BIC)、分層聚類(GDL-U、AGDL)、決策樹、ICA(獨立成分分析)、PCA(主成分分析)、FPS(最遠點取樣)等)可用於執行操作290。特別地，可使用無監督演算法，其中不要求來自操作員的加標籤。然而，這不是限制性的，且可使用其他演算法。操作290可包括例如將圖像集聚類為多個集群，並且從每個集群選擇圖像的一部分。
根據一些實施方式，對圖像的選擇可依賴於附加資訊(特徵)，諸如代表在圖像中的缺陷的資料。這個附加資訊可用於為縮減的圖像集選擇圖像。假設圖像被饋送到在操作210處獲得的多個演算法模組中的一者或多者。每個演算法模組可輸出代表在每個圖像中的缺陷的資料(例如，位置、類別等)。這個資料可用作用於對圖像進行聚類並選擇代表圖像集的縮減的圖像集的特徵。
返回到圖2的方法，所述方法可包括針對圖像集中的每個圖像(或者如果已經使用圖2B的方法，則針對縮減的圖像集中的每個圖像)，選擇(220)多個演算法模組的一部分。這個部分包括至少一個演算法模組MS(或更多)。在下文中將提供選擇MS的各種實施方式。
所述方法可進一步包括將圖像饋送到演算法模組MS(操作230)以獲得代表在圖像中的一個或多個缺陷的資 料DMS。如果在220處已經選擇多個演算法模組M，則將圖像饋送到這些演算法模組中的每一者，並且每個演算法模組輸出對應資料DMS。
如上文所提及，DMS可包括例如在圖像中的缺陷的位置、缺陷的類別的標識等。
DMS或代表DMS的資料可使用例如顯示器來輸出給人。例如，如果DMS包括在圖像中的缺陷的位置，則經電腦化的圖像(包括例如在原始圖像中的缺陷的用橢圓形圈出的偵測到的位置)可被計算並輸出給操作員。如果DMS包括缺陷類別，則可在對應缺陷的圖像上顯示類別。這不是限制性的，並且可以任何適應的方式提供輸出。
所述方法包括獲得(230)有關由每個演算法模組MS提供的資料DMS的監督回饋(也就是說，例如來自人的外部回饋)。特別地，回饋可基於人的知識而指示在多大程度上DMS被認為是正確的。在一些實施方式中，回饋可指示DMS完全不正確，或者DMS完全正確，或者DMS僅部分正確。
圖3中示出了回饋的示例。假設圖像已經被饋送到演算法模組MS(已經針對這個圖像從多個演算法模組中選擇所述演算法模組MS)，所述演算法模組MS提供橢圓形300作為對缺陷的位置(資料DMS)的估計。根據一些實施方式，操作員的回饋可包括：- 驗證由演算法模組MS提供的建議(310)； - 改進由演算法模組MS提供的建議(操作員提供比由演算法模組MS提供的橢圓形300更聚焦於缺陷的橢圓形320)。換句話說，演算法模組MS的輸出為僅部分地正確的(340)；- 拒絕由演算法模組MS(330)提供的建議。
根據一些實施方式，可計算在由演算法模組提供的橢圓形與由人提供的橢圓形之間的交並比(intersection over union)，從而允許識別軟體是完全正確的(310)、完全錯誤的(330)還是僅部分正確的(340)。
如圖3所描繪的回饋不是限制性的。根據其他實施方式，回饋不一定以圖形形式提供，而是可例如以文本形式(例如，人提供缺陷的座標和/或缺陷的分類)提供。
基於所述監督回饋，所述方法可包括針對多個演算法模組生成(操作260)分數。
在一些實施方式中，每當演算法模組MS已經被選擇並且已經提供可相對於監督回饋評估的輸出時，就執行操作260。根據一些實施方式，如果監督回饋指示由MS提供的DMS是正確的，則可相對於先前與MS相關聯的分數來提高與MS相關聯的分數(所述先前分數可從過去反覆運算獲得，或者在第一次反覆運算時，可例如由操作員預限定。類似地，如果監督回饋拒絕DMS，則可相對於先前與MS相關聯的分數來降低與MS相關聯的分數。MS分數的修改可 影響與其他演算法模組中的每一者相關聯的分數(例如，維持總分數等於固定和，例如等於一)。
在其他實施方式中，基於在所述方法的所有反覆運算270內接收到的所有回饋，在已經滿足完成標準之後執行操作260。基於每個演算法模組已經被選擇的次數並基於針對每個演算法模組獲得的(多個)監督回饋(指示每個演算法模組已經提供正確輸出的次數)而計算分數。
如果不滿足完成標準，則所述方法可返回到操作220，在所述操作中，獲得圖像集(或縮減的圖像集)中的下一圖像，並且針對這個新的圖像選擇演算法模組MS。針對這個新的圖像類似地重複操作230至260。一般來講，針對在後續反覆運算期間選擇的至少一個下一圖像，所選擇的演算法模組MS是不同(從而允許測試多於一個演算法模組)。
例如當已經獲得足夠數量的監督回饋時，或者當已經處理足夠數量的圖像時，等等，就滿足了完成標準。
如果滿足了完成標準，則所述方法可包括：識別(操作280)至少一個演算法模組M最佳作為在多個演算法模組中最適於提供代表在圖像集中的缺陷的資料的演算法模組。可提供指示演算法模組M最佳的輸出。根據一些實施方式，對於縮減的圖像集執行圖2的方法，並且，已經將M最佳識別為在多個演算法模組中最適於提供代表在圖像集中的缺陷的資料的演算法模組，因為縮減的圖像集就代表了所述圖像集。對M最佳的選擇可基於與不同演算法模組相關 聯的分數。例如，選擇M最佳作為具有最佳分數(例如，最高分數)的演算法模組。
根據一些實施方式，監督回饋可用於重新訓練一個或多個演算法模組。根據一些實施方式，可在已經選擇M最佳之前(例如，在反覆運算270期間)執行重新訓練，並且根據一些其他實施方式，可在已經選擇M最佳之後執行重新訓練。
例如，假設在已經根據圖2的方法處理一組P圖像之後已經選擇M最佳。由人在多個P圖像上提供的標籤可用於重新訓練演算法模組M最佳。在一些實施方式中，假設M最佳是包括可由多個層代表的模型(深度神經網路)、然後僅重新訓練這些層的一部分而其他層凍結(轉移學習方法)的演算法模組。
根據一些實施方式，P圖像的已經獲得監督回饋的子集用於重新訓練(損失函數中使用的標籤可對應於監督回饋)，並且P圖像的另一個子集用於驗證所訓練的演算法模組。
現在注意圖4，其描述了圖2的方法的可能的實現方式。
所述方法包括獲得(400)一個或多個半導體樣本的圖像集。所述操作類似於操作200。所述方法包括獲得(410)多個演算法模組。所述操作類似於操作210。
所述方法包括(操作420)針對圖像集中的圖像，基於與每個演算法模組相關聯的分數來選擇至少一個演算 法模組MS。可將每個分數視為演算法模組需要被選擇的概率。
在初始化所述方法時，可將所有分數設置為相等的(然而，這不是強制性的)。如果存在N個演算法模組，則例如對於所有演算法模組，將分數設置為等於1/N。
如上文所提及，對演算法模組MS的選擇可包括基於與演算法模組相關聯的分數而執行隨機選擇。選擇演算法模組的概率可等於這個演算法模組相對於其餘可用演算法模組的相對分數。例如，可使用亂數產生器來生成亂數，並且然後基於演算法模組的分數以及亂數而選擇演算法模組MS(將這種隨機選擇稱為分類分佈，參見例如https：//en.wikipedia.org/wiki/categorical_distribution)。在初始化所述方法時，由於所有演算法模組具有相同分數，因此每個演算法模組具有相同概率被選擇。當在後續反覆運算期間重複操作420時，與演算法模組相關聯的分數演化，並且不會全都共用同一值。因此，在操作420處，具有較高分數的演算法模組具有較高概率被選擇。然而，這不意味著將始終選擇具有最高分數的演算法模組，而僅意味著演算法模組的隨機選擇受與每個演算法模組相關聯的分數的影響。
根據一些實施方式，在操作420處，可選擇多於一個演算法模組MS。要選擇的演算法模組MS的最大數量取決於例如處理能力。
所述方法進一步包括將圖像饋送到演算法模組MS(操作430，類似於230)；獲得代表一個或多個缺陷的資料DMS(操作440，類似於240)；以及獲得對DMS的監督回饋(操作450，類似於250)。
根據一些實施方式，所述方法可包括僅選擇DMS的要輸出給人的子集，以獲得監督回饋。實際上，DMS的大小可能很大，並且因此推薦藉由減小向人輸出的DMS的大小來幫助他進行回饋。對DMS的子集的選擇可依賴於各種技術。根據一些實施方式，當演算法模組提供資料DMS時，它還提供與其預測相關聯的置信度。對DMS的子集的選擇可包括僅選擇置信度位凖高於閾值的資料。根據一些實施方式，如果在420處已經選擇多個演算法模組，則對DMS的子集的選擇可包括僅選擇由分數高於閾值的演算法模組提供的DMS。根據一些實施方式，如果在420處已經選擇多個演算法模組，則對DMS的子集的選擇可依賴於在不同演算法模組的輸出中的多數投票。
基於監督回饋而針對MS生成分數(操作460)。根據一些實施方式，所有其他演算法模組的分數也基於監督回饋而更新，如下文所描述。
如果監督回饋指示演算法模組MS已經提供有效的資料DMS，則可相對於先前與演算法模組MS相關聯的分數來提高與演算法模組MS相關聯的分數PMS。換句話說，由於演算法模組MS已經提供有效的預測，因此藉由提高其 在所述方法的後續反覆運算中被選擇的概率來「獎勵」所述演算法模組。
如果監督回饋指示演算法模組MS已經提供無效資料DMS，則可相對於先前與演算法模組MS相關聯的分數來降低與演算法模組MS相關聯的分數PMS。換句話說，由於演算法模組MS已經提供錯誤預測，因此藉由降低其在所述方法的後續反覆運算中被選擇的概率來「指責」所述演算法模組。
如果監督回饋指示演算法模組MS已經提供僅部分地正確的資料DMS，則可相對於先前與演算法模組MS相關聯的分數僅部分地提高與演算法模組MS相關聯的分數PMS(例如，函數可根據演算法模組的輸出的有效性位凖來限定提高程度)。
因此，監督回饋動態地改變在下一次反覆運算中將選擇演算法模組的概率。
與演算法模組MS相關聯的分數的更新可影響與其他演算法模組相關聯的分數，以便保持所有分數的和例如等於一。
例如，可使用以下方程(
Figure 110114340-A0305-02-0027-5
是與演算法模組Mi相關聯的分數)：
Figure 110114340-A0305-02-0027-1
(如果演算法模組MS不正確)
Figure 110114340-A0305-02-0027-2
(如果演算法模組MS正確)
Figure 110114340-A0305-02-0028-3
(如果演算法模組MS僅部分地正確，其中參數α取決於演算法模組MS的輸出的有效性位凖)
Figure 110114340-A0305-02-0028-4
(對所有演算法模組Mj的所有分數的歸一化)
與MS相關聯的分數的提高可能會引起與所有其他演算法模組相關聯的分數的降低(以便保持所有分數的和等於一)。
與MS相關聯的分數的降低可能會引起與所有其他演算法模組相關聯的分數的提高(以便保持所有分數的和等於一)。
如果不滿足完成標準，則所述方法可返回到操作420，在所述操作中，提供圖像集(或縮減的圖像集)中的下一圖像，並且針對此下一圖像選擇演算法模組MS。針對此下一圖像類似地重複操作430至460。在上文已經提供完成標準的示例。
如果滿足了完成標準，則所述方法可包括：識別(操作480)至少一個演算法模組M最佳作為在多個演算法模組中最適於提供代表在圖像集中的缺陷的資料的演算法模組。可提供指示演算法模組M最佳的輸出。對M最佳的選擇可基於與演算法模組相關聯的分數而執行。例如，可將與最高分數相關聯的演算法模組(在若干反覆運算470之後)選擇為M最佳。
現在注意圖5，其描述了圖2的方法的另一種可能的實施方式。
所述方法包括類似於操作200和210的操作500和510，並且不再進行描述。
所述方法包括(操作520)針對圖像集中的圖像，選擇至少一個演算法模組MS。在這個實施方式中，使用選擇模組來選擇MS。選擇模組可包括存儲在非暫時性記憶體中的指令清單，所述指令使得當由PMC執行時致使PMC執行允許選擇演算法模組MS的模型。在一些實施方式中，選擇模組實現機器學習演算法，諸如深度神經網路。選擇模組被訓練以預測哪個演算法模組最適於提供代表當前圖像的缺陷的資料DMS。選擇模組的訓練將參考圖6進行討論。
根據一些實施方式，選擇模組提供大小為N的概率向量P’=[P’1；……；P’N](N為不同演算法模組的數量)。由選擇模組對每個演算法模組分配一個概率，所述概率代表所述演算法模組適於提供代表當前圖像的缺陷的資料DMS的概率。可選擇MS作為具有最高概率的演算法模組。在一些實施方式中，可選擇可對應於被分配最高概率的演算法模組的多於一個演算法模組MS。
所述方法進一步包括操作530(將圖像饋送到所選擇的演算法模組MS中的每一者，類似於操作230)、操作540(由每個演算法模組MS獲得代表在圖像中的一個或多個缺陷的資料DMS，類似於操作240)和操作550(獲得對DMS的監督回饋，類似於操作250)。
如果不滿足收斂標準，則所述方法可返回到操作520，在所述操作520中，提供圖像集(或縮減的圖像集) 中的新的圖像，並且針對這個新的圖像選擇演算法模組MS。針對這個新的圖像類似地重複操作530至550。在上文已經提供收斂標準的示例。
如果滿足了收斂標準，則所述方法可包括基於監督回饋而針對每個演算法模組生成分數(操作560)。根據一些實施方式，演算法模組的分數可代表在正回饋(例如，所述回饋指示演算法模組的輸出完全地正確，或者至少部分地正確，即在對應數量上，完全正確的回饋比部分正確的回饋高)的數量與演算法模組已經被選擇的次數之間的比率。此比率代表演算法模組的成功的百分比。這種計算不受限制，並且可將其他公式用於分數。
在其他實施方式中，每當執行操作550時都可針對所選擇的演算法模組MS生成分數(這在圖5中不可見)。分數可生成為在針對MS獲得的正回饋的次數(直到當前反覆運算為止)與MS已經被選擇的次數(直到當前反覆運算為止)之間的比率。
根據一些實施方式，可識別和測試尚未被選擇的一個或多個演算法模組(或已經被選擇了小於閾值的次數的一個或多個演算法模組)。如上文所提及，在操作520處，由選擇模組對每個演算法模組分配概率，並且僅選擇具有最高概率的演算法模組。可針對所有演算法模組在所有反覆運算內計算合計概率570，並且在尚未被選擇或低於閾值的演算法模組中，可使用圖像集中的圖像來選擇和測試具有最高合計概率的演算法模組。類似於如上所述， 可針對這個演算法模組生成分數。因此，當選擇M最佳時，也將考慮這個演算法模組。
所述方法可進一步包括識別(操作580)至少一個演算法模組M最佳作為在多個演算法模組中最適於提供代表在圖像集中的缺陷的資料的演算法模組。可提供指示演算法模組M最佳的輸出。可選擇M最佳作為具有最高分數的演算法模組。在一些實施方式中，可考慮其他規則來選擇M最佳。例如，為了避免其中已經選擇演算法模組一次並藉由回饋對其進行驗證(從而產生100%的成電力)的情況，可設置規則，即，僅在演算法模組已經被選擇了超過閾值的次數的情況下才可選擇所述演算法模組。可設置其他規則來選擇M最佳。
根據一些實施方式，可使用監督回饋來影響演算法模組MS的未來選擇。特別地，可根據監督回饋來藉由加權向量V=[V1；……；VN]對將來選擇中的選擇模組的輸出(概率向量P’)進行加權。假設已經選擇演算法模組Mi，並且監督回饋指示演算法模組Mi的輸出無效。然後，可選擇加權向量V，使得係數Vi小於一，由此降低由選擇模組分配給這個演算法模組Mi的概率。另一個係數Vj(j不同於i)可保持等於一。
可使用監督回饋，以便識別最適於提供代表在圖像集中的缺陷的資料的演算法模組M最佳。一旦決定演算法模組M最佳，就可使用在識別M最佳的過程期間獲得的監督回饋來重新訓練M最佳。在一些實施方式中，可基於針對這個 給定演算法模組獲得的監督回饋而在識別M最佳的過程中執行給定演算法模組的重新訓練。
現在注意圖6，其描述了訓練選擇模組的方法。假設必須在N個演算法模組M1至MN中選擇一個演算法模組。如上文關於圖2A所提及，根據一些實施方式，已經使用多個圖像訓練集預先訓練必須從其中選擇演算法模組的演算法模組。
根據一些實施方式，基於已經用於訓練不同演算法模組的相同多個圖像訓練集而訓練選擇模組(參見附圖標記600)。
所述方法包括將圖像饋送(操作610)到選擇模組，所述選擇模組被配置為輸出大小為N的向量[P1；……；PN]，其中Pi是演算法模組Mi適於提供代表這個圖像的一個或多個缺陷的資料的概率。每個圖像的標籤向量(獨熱表示)的大小為N：[1；0；……；0](如果圖像屬於用於訓練演算法模組M1的訓練集的話)，[0；1；……；0](如果圖像屬於用於訓練演算法模組M2的訓練集的話)，等等。
實際上，演算法模組預計將為在其訓練期間使用的圖像提供最佳結果。計算在選擇模組的輸出與圖像的標籤向量之間的損失函數(操作620)，以便訓練選擇模組(操作630，使用例如反向傳播)。可針對多個圖像重複所述方法(參考640)。
注意圖7，其描述了訓練選擇模組的另一種方法。在這個實施方式中，可使用包括最初未被用於訓練演算法模組M1至MN的圖像的訓練集(操作700)。所述方法包括獲得(710)訓練集的每個圖像的標籤。標籤可由操作員提供。例如，他可提供對缺陷的位置的估計。所述方法包括將訓練集的每個圖像饋送(720)到每個演算法模組。每個演算法模組Mi將提供代表在圖像中的缺陷的資料DMi。針對每個圖像，可計算(操作730)在針對所述圖像獲得的DMi與為這個圖像提供的標籤之間的交並比(這個交並比代表演算法模組的預測在多大程度上是正確的)。可針對訓練集的多個圖像重複進行這個操作。因此，針對每個圖像，獲得大小為N的向量(操作740)，對於每個演算法模組，所述向量包括在針對圖像獲得的DMi與為這個圖像提供的標籤之間的交並比。每個向量的不同值的和可歸一化。替代地，每個向量可被表示為獨熱向量(其中向量的最大值被設置為一，而其他值被設置為零)。
選擇模組的訓練(操作760)可藉由將訓練集中的每個圖像饋送(操作750)到選擇模組(所述選擇模組將提供輸出來估計哪個演算法模組最適於這個圖像)並基於在其輸出和與圖像關聯的向量之間的差異而計算損失函數來執行。
現在注意圖8，其描述了組合圖4和圖5的方法兩者的方法。
所述方法包括獲得(800)一個或多個半導體樣本的圖像集。這個操作類似於以上操作200。所述方法包括獲得(810)多個演算法模組M1至MN。這個操作類似於以上操作210。所述方法包括將圖像集中的圖像饋送(815)到選擇模組。選擇模組被配置為基於圖像而針對多個演算法模組中的每個演算法模組提供第一概率。第一概率代表每個演算法模組適於提供代表在圖像中的缺陷的資料的概率。選擇模組類似於圖5中描述的選擇模組，並且可被訓練，例如，如圖6和圖7所描述。由於存在N個演算法模組，因此選擇模組的輸出可表示為大小為N的向量P’=[P’1；……；P’N]，其中P’i是與每個演算法模組Mi相關聯的第一概率，它代表演算法模組Mi與提供代表在圖像中的缺陷的資料相關的概率。一般來講，P’1至P’N的和等於一(因為它們代表概率分佈)。
所述方法包括獲得(操作820)每個演算法模組的第二概率。類似於圖4的方法，在第一反覆運算時，例如由操作員預限定第二概率(例如，將同一第二概率1/N分配給每個演算法模組)，並且根據監督回饋來隨時間而演進。由於存在N個演算法模組，因此第二概率可由大小為N的向量P=[P1；……；PN]表示。第二概率代表演算法模組應被選擇來提供代表一個或多個缺陷的資料的概率。
藉由合計第一概率和第二概率，可針對每個演算法模組計算分數(操作830)。可藉由乘以P和P’來獲得分數。
基於與每個演算法模組相關聯的分數，所述方法包括選擇(操作840)至少一個演算法模組MS。例如，選擇具有最高分數的演算法模組。如果選擇了多個演算法模組，則可選擇具有最高分數的演算法模組。
所述方法進一步包括將圖像饋送到所選擇的演算法模組MS(操作850)，所選擇的演算法模組MS輸出(操作860))代表一個或多個缺陷的資料DMS。
所述方法進一步包括獲得(870)對DMS的監督回饋。此操作類似於操作450，並且不再進行描述。
使用監督回饋(操作880)來生成與演算法模組MS相關聯的第二概率。
如果監督回饋指示演算法模組MS已經提供有效的資料DMS，則可相對於先前與演算法模組MS相關聯的第二概率來提高與演算法模組MS相關聯的第二概率。換句話說，由於演算法模組MS已經提供有效的預測，因此藉由提高其在所述方法的後續反覆運算中被選擇的概率來「獎勵」所述演算法模組。
如果監督回饋指示演算法模組MS已經提供無效的資料DMS，則可相對於先前與演算法模組MS相關聯的第二概率來降低與演算法模組MS相關聯的第二概率。換句話說，由於演算法模組MS已經提供錯誤的預測，因此藉由降低其在所述方法的後續反覆運算中被選擇的概率來「指責」所述演算法模組。
如果監督回饋指示演算法模組MS已經提供僅部分地正確的資料DMS，則可相對於先前與演算法模組MS相關聯的第二概率，僅部分地提高與演算法模組MS相關聯的第二概率(例如，函數可根據演算法模組的輸出的有效性位凖來限定提高程度)。
因此，監督回饋動態地改變在下一次反覆運算中將選擇演算法模組的概率。
如果不滿足完成標準，則所述方法可返回到操作815，在所述操作815中，提供圖像集(或縮減的圖像集)中的下一圖像，並且針對所述下一圖像選擇演算法模組MS。針對所述下一圖像類似地重複操作820至880。在上文已經提供完成標準的示例。
如果滿足了完成標準，則所述方法可包括：識別(操作890)至少一個演算法模組M最佳作為在多個演算法模組中最適於提供代表在圖像集中的缺陷的資料的演算法模組。可提供指示演算法模組M最佳的輸出。對M最佳的選擇可基於與演算法模組相關聯的分數而實行。例如，可將與最高分數相關聯的演算法模組(在若干反覆運算885之後)選擇為M最佳。
在上述所有實施方式中，一旦已經識別出演算法模組M最佳，就可使用例如針對圖像集中的多個圖像提供的監督回饋來重新訓練所述演算法模組。在一些實施方式中，可在識別演算法模組M最佳之前的中間階段實行重新訓練。在一些實施方式中，可使用針對圖像集中的多個圖像 提供的監督回饋來重新訓練其他演算法模組(即使它們不對應於M最佳)。
要注意，可根據所有可能的技術組合來組合在各種實施方式中描述的各種特徵。將理解，本發明的應用不限於在本文中包含的描述中闡述或在附圖中示出的細節。本發明能夠具有其他實施方式並能夠以各種方式實踐或實行。因此，將理解，本文中使用的措辭和術語是出於描述目的並且不應被視為限制性的。因此，本領域的技術人員將瞭解，本公開內容所基於的概念可容易地用作設計用於實施當前公開的主題的若干目的的其他結構、方法和系統的基礎。本領域的技術人員將容易地瞭解，在不脫離本發明的在所附申請專利範圍中並由所附申請專利範圍限定的範圍的情況下，可對如上所述的本發明的實施方式應用各種修改和改變。
200:操作
210:操作
220:操作
230:操作
240:操作
250:操作
260:操作
270:操作
280:操作

Claims (17)

  1. 一種檢驗一半導體樣本的系統，該系統包括一處理器和記憶體電路(PMC)，該處理器和記憶體電路(PMC)被配置為：獲得一個或多個半導體樣本的一圖像集；獲得複數個演算法模組，每個演算法模組被配置為基於一半導體樣本的一圖像而提供代表在該圖像中的一個或多個缺陷的資料；(1)針對該圖像集中的一圖像，從該複數個演算法模組中選擇至少一個演算法模組MS；(2)將該圖像饋送到該至少一個演算法模組MS以獲得代表在該圖像中的一個或多個缺陷的資料DMS；(3)獲得有關由該演算法模組MS提供的資料DMS的正確性的一監督回饋；(4)針對該圖像集中的下一圖像重複(1)至(3)，直到滿足了完成標準為止，其中在(1)處選擇的一演算法模組對於該圖像集中的至少兩個不同圖像來說是不同的，其中該系統被配置為：至少基於該監督回饋來針對該複數個該演算法模組中的每一者生成一分數；並且使用與該演算法模組相關聯的分數以識別一個或多個演算法模組M最佳作為在該複數個演算法模組中最適應的演算法模組來提供代表在該圖像集中的一個或多個缺陷的資料。
  2. 如請求項1所述的系統，其中從該複數個演算法模組中選擇該至少一個演算法模組MS由被訓練以選擇該至少一個演算法模組MS的一選擇模組提供。
  3. 如請求項2所述的系統，其中針對一演算法模組生成的該分數代表已經針對該演算法模組獲得一正回饋的次數與已經在(1)處選擇該演算法模組的次數之間的一比率。
  4. 如請求項3所述的系統，其中在(3)處獲得的該監督回饋影響由該選擇模組在(1)處對該至少一個演算法模組MS的後續選擇。
  5. 如請求項1所述的系統，其中該PMC進一步被配置為在(3)處針對該演算法模組MS生成一分數，該分數代表該演算法模組MS適於提供代表在該圖像集中的一個或多個缺陷的資料的一概率，其中該分數至少取決於該監督回饋。
  6. 如請求項5所述的系統，其中：如果該監督回饋在(3)處驗證了DMS，則與MS相關聯的該分數相對於先前與MS相關聯的一分數而增大；如果該監督回饋在(3)處拒絕了DMS，則與MS相關聯的該分數相對於先前與MS相關聯的一分數而減小；並且該至少一個演算法模組M最佳與在該複數個演算法模組中為最高者的一分數相關聯。
  7. 如請求項1所述的系統，其中該PMC進一 步被配置為至少基於與該演算法模組MS相關聯且至少基於先前在(3)處獲得的一監督回饋而生成的一分數來在(1)處選擇該演算法模組MS。
  8. 如請求項1所述的系統，其中該PMC進一步被配置為基於以下項而針對每個演算法模組生成一分數：由被訓練以選擇該至少一個演算法模組MS的一選擇模組提供的一第一概率；和至少基於該監督回饋而生成的一第二概率。
  9. 一種由一處理器和記憶體電路(PMC)進行檢驗一半導體樣本的方法，該方法包括以下操作：獲得一個或多個半導體樣本的一圖像集；獲得複數個演算法模組，每個演算法模組被配置為基於一半導體樣本的一圖像而提供代表在該圖像中的一個或多個缺陷的資料；(1)針對該圖像集中的一圖像，從該複數個演算法模組中選擇至少一個演算法模組MS；(2)將該圖像饋送到該至少一個演算法模組MS以獲得代表在該圖像中的一個或多個缺陷的資料DMS；(3)獲得有關由該演算法模組MS提供的資料DMS的正確性的一監督回饋；(4)針對該圖像集中的一下一圖像重複(1)至(3)，直到滿足了一完成標準為止，其中在(1)處選擇的一演算法模組對於該圖像集中的至少兩個不同圖像來說是不同 的；至少基於該監督回饋來針對該複數個該演算法模組中的每一者生成一分數，及使用與該演算法模組相關聯的分數以識別一個或多個演算法模組M最佳作為在該複數個演算法模組中最適應的演算法模組來提供代表在該圖像集中的一個或多個缺陷的資料。
  10. 如請求項9所述的方法，其中從該複數個演算法模組中選擇該至少一個演算法模組MS由被訓練以選擇該至少一個演算法模組MS的一選擇模組提供。
  11. 如請求項9所述的方法，其中針對演算法模組生成的該分數代表已經針對該演算法模組獲得一正回饋的次數與已經在(1)處選擇該演算法模組的次數之間的一比率。
  12. 如請求項11所述的方法，其中在(3)處獲得的該監督回饋影響由該選擇模組在(1)處對該至少一個演算法模組MS的後續選擇。
  13. 如請求項9所述的方法，進一步包括以下步驟：在(3)處針對該演算法模組MS生成一分數，該分數代表該演算法模組MS適於提供代表在該圖像集中的一個或多個缺陷的資料的一概率，其中該分數至少取決於該監督回饋。
  14. 如請求項13所述的方法，其中：如果該監督回饋在(3)處驗證了DMS，則與MS相關 聯的該分數相對於先前與MS相關聯的一分數而增大；如果該監督回饋在(3)處拒絕了DMS，則與MS相關聯的該分數相對於先前與MS相關聯的一分數而減小；該至少一個演算法模組M最佳與在該複數個演算法模組中為最高者的一分數相關聯。
  15. 如請求項13所述的方法，進一步包括以下步驟：基於以下項而針對每個演算法模組生成一分數：由被訓練以選擇該至少一個演算法模組MS的一選擇模組提供的一第一概率；和至少基於該監督回饋而生成的一第二概率。
  16. 如請求項9所述的方法，進一步包括以下步驟：至少基於與該演算法模組MS相關聯且至少基於先前在(3)處獲得的一監督回饋而生成的一分數來在(1)處選擇該演算法模組MS。
  17. 一種非暫時性電腦可讀媒體，該非暫時性電腦可讀媒體包括指令，該指令在由一處理器和記憶體電路(PMC)執行時使該PMC執行以下操作：獲得一個或多個半導體樣本的一圖像集；在獲得複數個演算法模組後，其中每個演算法模組被配置為基於一半導體樣本的一圖像而提供代表在該圖像中的一個或多個缺陷的資料：(1)針對該圖像集中的一圖像，從該複數個演算法模組中選擇至少一個演算法模組MS；(2)將該圖像饋送到該至少一個演算法模組MS以獲 得代表在該圖像中的一個或多個缺陷的資料DMS；(3)獲得有關由該演算法模組MS提供的資料DMS的正確性的一監督回饋；(4)針對該圖像集中的一下一圖像重複(1)至(3)，直到滿足了一完成標準為止，其中在(1)處選擇的一演算法模組對於該圖像集中的至少兩個不同圖像來說是不同的；至少基於該監督回饋來針對該複數個該演算法模組中的每一者生成一分數；及使用與該演算法模組相關聯的分數以識別一個或多個演算法模組M最佳作為在該複數個演算法模組中最適應的演算法模組來提供代表在該圖像集中的一個或多個缺陷的資料。
TW110114340A 2020-05-04 2021-04-21 利用自動地選擇演算法模組來檢驗樣本的系統、方法、和非暫時性電腦可讀媒體 TWI763451B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/866,463 US11151710B1 (en) 2020-05-04 2020-05-04 Automatic selection of algorithmic modules for examination of a specimen
US16/866,463 2020-05-04

Publications (2)

Publication Number Publication Date
TW202147249A TW202147249A (zh) 2021-12-16
TWI763451B true TWI763451B (zh) 2022-05-01

Family

ID=78083021

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110114340A TWI763451B (zh) 2020-05-04 2021-04-21 利用自動地選擇演算法模組來檢驗樣本的系統、方法、和非暫時性電腦可讀媒體

Country Status (5)

Country Link
US (1) US11151710B1 (zh)
JP (1) JP7150918B2 (zh)
KR (1) KR102360769B1 (zh)
CN (2) CN115205279A (zh)
TW (1) TWI763451B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11379972B2 (en) * 2020-06-03 2022-07-05 Applied Materials Israel Ltd. Detecting defects in semiconductor specimens using weak labeling
US20220398410A1 (en) * 2021-06-10 2022-12-15 United Microelectronics Corp. Manufacturing data analyzing method and manufacturing data analyzing device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201321314A (zh) * 2011-07-26 2013-06-01 Gen Electric 廢水處理廠之線上監視及控制
CN106127120A (zh) * 2016-06-16 2016-11-16 北京市商汤科技开发有限公司 姿势估计方法和装置、计算机系统
US9761014B2 (en) * 2012-11-15 2017-09-12 Siemens Healthcare Gmbh System and method for registering pre-operative and intra-operative images using biomechanical model simulations
CN110121749A (zh) * 2016-11-23 2019-08-13 通用电气公司 用于图像采集的深度学习医疗系统和方法
CN110945528A (zh) * 2018-02-07 2020-03-31 应用材料以色列公司 产生可用于检查半导体样品的训练集的方法及其系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5414416B2 (ja) 2008-09-24 2014-02-12 キヤノン株式会社 情報処理装置及び方法
EP2394295A2 (en) * 2009-02-06 2011-12-14 KLA-Tencor Corporation Selecting one or more parameters for inspection of a wafer
US8270701B2 (en) * 2010-01-08 2012-09-18 3M Innovative Properties Company Optical web-based defect detection using intrasensor uniformity correction
JP5296739B2 (ja) * 2010-04-28 2013-09-25 浜松ホトニクス株式会社 半導体故障解析装置及び故障解析方法
US8565503B2 (en) * 2010-06-04 2013-10-22 Leica Biosystems Imaging, Inc. System and method to determine slide quality of a digitized microscope slide
NL2006700A (en) * 2010-06-04 2011-12-06 Asml Netherlands Bv Method and apparatus for measuring a structure on a substrate, computer program products for implementing such methods & apparatus.
EP2806374B1 (en) * 2013-05-24 2022-07-06 Tata Consultancy Services Limited Method and system for automatic selection of one or more image processing algorithm
JP2016173615A (ja) * 2013-06-24 2016-09-29 株式会社日立ハイテクノロジーズ 計測装置
JP6177649B2 (ja) * 2013-10-07 2017-08-09 株式会社日立ハイテクノロジーズ データ処理装置、測長システム、欠陥検査システム、画像トラッキングシステム、及びデータ処理方法
US20160358099A1 (en) * 2015-06-04 2016-12-08 The Boeing Company Advanced analytical infrastructure for machine learning
US10115040B2 (en) * 2016-09-14 2018-10-30 Kla-Tencor Corporation Convolutional neural network-based mode selection and defect classification for image fusion
GB201705189D0 (en) * 2017-03-31 2017-05-17 Microsoft Technology Licensing Llc Sensor data processor with update ability
JP6992475B2 (ja) * 2017-12-14 2022-01-13 オムロン株式会社 情報処理装置、識別システム、設定方法及びプログラム
US11199506B2 (en) * 2018-02-21 2021-12-14 Applied Materials Israel Ltd. Generating a training set usable for examination of a semiconductor specimen
JP7071904B2 (ja) * 2018-10-15 2022-05-19 株式会社東芝 情報処理装置、情報処理方法及びプログラム
US10957031B1 (en) * 2019-09-06 2021-03-23 Accenture Global Solutions Limited Intelligent defect detection from image data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201321314A (zh) * 2011-07-26 2013-06-01 Gen Electric 廢水處理廠之線上監視及控制
US9761014B2 (en) * 2012-11-15 2017-09-12 Siemens Healthcare Gmbh System and method for registering pre-operative and intra-operative images using biomechanical model simulations
CN106127120A (zh) * 2016-06-16 2016-11-16 北京市商汤科技开发有限公司 姿势估计方法和装置、计算机系统
CN110121749A (zh) * 2016-11-23 2019-08-13 通用电气公司 用于图像采集的深度学习医疗系统和方法
CN110945528A (zh) * 2018-02-07 2020-03-31 应用材料以色列公司 产生可用于检查半导体样品的训练集的方法及其系统

Also Published As

Publication number Publication date
JP7150918B2 (ja) 2022-10-11
KR102360769B1 (ko) 2022-02-14
US20210343000A1 (en) 2021-11-04
CN113610747B (zh) 2022-08-19
JP2021177541A (ja) 2021-11-11
CN115205279A (zh) 2022-10-18
KR20210135416A (ko) 2021-11-15
TW202147249A (zh) 2021-12-16
CN113610747A (zh) 2021-11-05
US11151710B1 (en) 2021-10-19

Similar Documents

Publication Publication Date Title
TWI767108B (zh) 用於檢查半導體試樣的方法與系統及在其上紀錄相關指令的電腦可讀取媒體
CN110945528B (zh) 产生可用于检查半导体样品的训练集的方法及其系统
KR102466582B1 (ko) 결함 분류기 트레이닝을 위한 능동적 학습
US10733744B2 (en) Learning based approach for aligning images acquired with different modalities
US11580398B2 (en) Diagnostic systems and methods for deep learning models configured for semiconductor applications
US10679333B2 (en) Defect detection, classification, and process window control using scanning electron microscope metrology
US10043261B2 (en) Generating simulated output for a specimen
TWI796431B (zh) 半導體樣品的基於深度學習的檢查的方法及其系統
TWI748122B (zh) 用於對多個項進行分類的系統、方法和電腦程式產品
US11686689B2 (en) Automatic optimization of an examination recipe
TWI763451B (zh) 利用自動地選擇演算法模組來檢驗樣本的系統、方法、和非暫時性電腦可讀媒體
JP2021190716A (ja) 弱いラベル付けを使用した半導体試料内の欠陥の検出
US20230096362A1 (en) Determination of a simulated image of a specimen
JP2022027473A (ja) 半導体試料の検査に使用可能な訓練データの生成
US12007335B2 (en) Automatic optimization of an examination recipe
TWI834916B (zh) 基於機器學習的取樣缺陷檢測
TW202127370A (zh) 基於機器學習的取樣缺陷檢測